講座名稱：以數(shù)據(jù)為中心的大模型并行訓(xùn)練系統(tǒng)

講座人：李誠(chéng) 副教授

講座時(shí)間：7月11日10:00-11:30

地點(diǎn)：南校區(qū)網(wǎng)安大樓A501會(huì)議室

講座人介紹：

李誠(chéng)，德國(guó)馬普學(xué)會(huì)軟件系統(tǒng)所(MPI-SWS)博士，中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院/國(guó)家高性能計(jì)算中心（合肥）長(zhǎng)聘副教授，博導(dǎo)，合肥綜合性國(guó)家科學(xué)中心人工智能研究院信息計(jì)算平臺(tái)主任，安徽省青年教學(xué)名師、教壇新秀。聚焦大模型基礎(chǔ)系統(tǒng)軟件研究，在 SOSP、OSDI、EuroSys、ATC、FAST、ASPLOS、SC、HPCA等計(jì)算機(jī)系統(tǒng)領(lǐng)域著名國(guó)際會(huì)議上發(fā)表論文40余篇。長(zhǎng)期參與SOSP、OSDI、FAST、EuroSys等會(huì)議的程序委員會(huì)。獲2024年世界人工智能大會(huì)青年優(yōu)秀論文獎(jiǎng)（全球10篇）、2023世界人工智能大會(huì)云帆獎(jiǎng)璀璨明星（全球10人）、2023年阿里巴巴優(yōu)秀合作項(xiàng)目獎(jiǎng)（全國(guó)15個(gè)）、2022 AI 2000 計(jì)算機(jī)系統(tǒng)領(lǐng)域最具影響力學(xué)者提名、2022 CCF分布式專委杰出青年學(xué)者、2021 ACM中國(guó)新星提名等10項(xiàng)科研獎(jiǎng)勵(lì)。主講《編譯原理和技術(shù)》課程入選第二批國(guó)家級(jí)線下一流課程，獲安徽省第五屆青教賽工科組一等獎(jiǎng)等10余項(xiàng)教學(xué)獎(jiǎng)勵(lì)，主編安徽省精品教材。

講座內(nèi)容：

隨著深度學(xué)習(xí)和自然語(yǔ)言處理等領(lǐng)域的迅速發(fā)展，大模型如GPT-3和其后繼者已經(jīng)成為人工智能研究的重要驅(qū)動(dòng)力。然而，大模型計(jì)算需要龐大的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源，因此需要軟硬協(xié)同的專門設(shè)計(jì)來(lái)滿足其日益增長(zhǎng)的算力需求。本報(bào)告介紹國(guó)家高性能計(jì)算中心（合肥）、合肥綜合性國(guó)家科學(xué)中心人工智能研究院科研團(tuán)隊(duì)研發(fā)的分布式并行訓(xùn)練系統(tǒng)，從數(shù)據(jù)流動(dòng)視角出發(fā)，提出內(nèi)存、存儲(chǔ)、通信與計(jì)算的協(xié)同優(yōu)化，解決大模型訓(xùn)練的“內(nèi)存墻”、“存儲(chǔ)墻”和“通信墻”問(wèn)題，提升了大規(guī)模并行計(jì)算的效率。該系統(tǒng)及關(guān)鍵技術(shù)已應(yīng)用在微軟、趨動(dòng)科技、OPPO、華為、中科類腦、百度等公司的預(yù)訓(xùn)練和微調(diào)業(yè)務(wù)中。

主辦單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院