講座名稱：先驗和知識引導的多模態(tài)內(nèi)容生成技術(shù)

講座人：楊易 教授

講座時間：11月27日19:30

地點：騰訊會議直播（ID：182 107 714）

講座人介紹：

楊易，浙江大學求是講席教授（二級教授），國家特聘專家。目前擔任浙江大學計算機學院副院長、微軟-教育部視覺感知重點實驗室主任、人工智能省部共建協(xié)同創(chuàng)新中心副主任。曾獲教育部全國優(yōu)秀博士論文，浙江省自然科學一等獎，澳大利亞科研終身成就獎，澳大利亞研究理事會青年職業(yè)獎，澳大利亞計算機學會顛覆創(chuàng)新金獎，谷歌學者研究獎和AWS機器學習研究獎等二十余次人工智能領(lǐng)域國際獎項。Google Scholar 引用59000余次，H-index 118，近五年連續(xù)入選Clarivate Analytics全球高被引學者。國際科研競賽中累計獲得40余次獎項，含20次世界冠軍。擔任7種重要國際期刊的副主編或領(lǐng)域主編，以及CVPR、ICCV、IJCAI，ACM MM等重要國際學術(shù)會議的重要職務(wù)等20余次。

講座內(nèi)容：

多重知識表達旨在融合多種知識表達，用于突破單一知識模式的局限，建立具有知識協(xié)同、領(lǐng)域外推的人工智能模型。人類先驗知識和數(shù)據(jù)結(jié)合是實現(xiàn)多重知識表達的一種有效方式。首先，本報告將探討多模態(tài)內(nèi)容生成技術(shù)中面臨的挑戰(zhàn)和問題，并分析多重知識表達的優(yōu)勢和特點。隨后，本報告將討論多模態(tài)內(nèi)容生成的研究進展，重點關(guān)注融合大語言模型和人類先驗知識的內(nèi)容生成技術(shù)，并舉例討論其有效性。在數(shù)字人重建方面，本報告將探討融合幾何等先驗信息的方法在數(shù)字人驅(qū)動中的應(yīng)用。在跨媒體數(shù)字人生成方面，本報告將討論從音頻、文本等輸入到生成數(shù)字人圖像、視頻等表達形式的方法和技術(shù)。本報告還將結(jié)合實際案例，討論專用知識嵌入方法和結(jié)構(gòu)化表達機制等。最后，本報告將展望先驗和知識引導多模態(tài)內(nèi)容生成的研究前景。

主辦單位：人工智能學院