行走在技術(shù)的最前沿 飛槳的分布式訓(xùn)練技術(shù)到底有多強(qiáng)呢?

來源:中華網(wǎng)科技

要說誰是幾年人工智能這條街上最靚的仔,那莫過于深度學(xué)習(xí),特別是“大數(shù)據(jù)”、“大模型”、“大算力”不絕于耳。隨著產(chǎn)業(yè)應(yīng)用對AI模型效果的要求越來越高,數(shù)據(jù)和參數(shù)規(guī)模不斷增長,分布式訓(xùn)練即使用多臺機(jī)器共同完成大數(shù)據(jù)大模型的訓(xùn)練任務(wù),已經(jīng)成為開發(fā)者們必須關(guān)注的技術(shù)。

各大深度學(xué)習(xí)框架也都在分布式訓(xùn)練上頻頻發(fā)力,秀肌肉顯成效。作為我國首個(gè)開源開放、自主研發(fā)、功能完備的產(chǎn)業(yè)級深度學(xué)習(xí)臺,飛槳在分布式訓(xùn)練上保持強(qiáng)勢輸出,不僅具備業(yè)內(nèi)最早支持萬億級稀疏參數(shù)模型訓(xùn)練的能力,期又創(chuàng)新的提出了4D混合并行策略,以訓(xùn)練千億級稠密參數(shù)模型。

那么,飛槳的分布式訓(xùn)練技術(shù)到底有多強(qiáng)呢?

飛槳的分布式訓(xùn)練技術(shù)在對外提供之前就已經(jīng)在百度內(nèi)部業(yè)務(wù)廣泛應(yīng)用,早在2018年飛槳的純CPU參數(shù)服務(wù)器模式,就可以支持萬億參數(shù)規(guī)模模型的訓(xùn)練,來解決搜索推薦場景面臨的數(shù)據(jù)量大、特征維度高且稀疏化的問題。

隨著模型網(wǎng)絡(luò)越來越復(fù)雜,對算力要求越來越高,在數(shù)據(jù)量不變的情況下,CPU計(jì)算能差的弱勢便暴露無遺。面對這一問題,飛槳引入了純GPU參數(shù)服務(wù)器來提升計(jì)算能,把100臺CPU機(jī)器才能訓(xùn)練的模型只用1臺多卡GPU設(shè)備即可完成訓(xùn)練,不僅節(jié)約了成本,還保障了集群的穩(wěn)定和擴(kuò)展。

此次技術(shù)升級之后,飛槳“越戰(zhàn)越勇”??紤]到在純GPU的參數(shù)服務(wù)器下,當(dāng)模型網(wǎng)絡(luò)層比較復(fù)雜時(shí),GPU 利用率很難被打滿,飛槳框架2.0版又創(chuàng)新地推出了業(yè)內(nèi)首個(gè)通用異構(gòu)參數(shù)服務(wù)器功能,可以同時(shí)使用不同的硬件進(jìn)行混合異構(gòu)訓(xùn)練,

兼容了多款CPU、AI專用芯片(如百度昆侖XPU)、GPU(如V100、P40、K40),讓用戶可以在硬件異構(gòu)集群中部署分布式訓(xùn)練任務(wù),實(shí)現(xiàn)對不同算力芯片高效利用,為用戶提供更高吞吐、更低資源消耗的訓(xùn)練能力。

飛槳分布式訓(xùn)練不僅支持參數(shù)服務(wù)器模式訓(xùn)練萬億級稀疏參數(shù)模型,對于NLP 和 CV 這類擁有復(fù)雜網(wǎng)絡(luò)、稠密參數(shù)特點(diǎn)的模型訓(xùn)練,也同樣得心應(yīng)手。其優(yōu)勢在百度“語義理解技術(shù)與臺文心ERNIE”上大有體現(xiàn),文心ERNIE采用了分布式訓(xùn)練中的集合通信模式,通過較少節(jié)點(diǎn)間的通信輪數(shù)完成全局節(jié)點(diǎn)的模型參數(shù)傳輸,大大提升通信效率,讓同步并行訓(xùn)練的多GPU擴(kuò)展能力得到極大突破。當(dāng)前飛槳集合通信模式已經(jīng)可以支持文心ERNIE 2300億參數(shù)規(guī)模的訓(xùn)練,其提出的Sharding-DP策略更是助力文心ERNIE的多項(xiàng)任務(wù)分?jǐn)?shù)刷新GLUE榜單。

文心ERNIE作為百度在各大榜單刷分霸榜,搶占高地的“利器”,其在能上的優(yōu)勢得益于飛槳的給力支持。文心ERNIE的千億級模型計(jì)算復(fù)雜,訓(xùn)練需占用T級顯存資源,想用更少的機(jī)器高效訓(xùn)練,必須采取一系列優(yōu)化措施。飛槳對此創(chuàng)新地提出了4D混合并行策略,進(jìn)一步優(yōu)化訓(xùn)練能和顯存占比,再次走到了技術(shù)的前沿。

4D混合并行策略能夠結(jié)合多種并行策略的優(yōu)點(diǎn),將分布式訓(xùn)練技術(shù)與業(yè)務(wù)緊密結(jié)合。飛槳研發(fā)人員正是通過模型并行策略、分組參數(shù)切片組合、流水線并行策略和數(shù)據(jù)并行策略的多層疊加,發(fā)揮合力作用,誕生了業(yè)內(nèi)第一個(gè)4D混合并行策略。通過測試驗(yàn)證,如此創(chuàng)新提出的4D混合并行策略的訓(xùn)練速度的確高于3D混合并行策略,效果也十分明顯。

自飛槳設(shè)計(jì)之初就開始潛心研究分布式訓(xùn)練技術(shù)以應(yīng)對大規(guī)模參數(shù)模型的訓(xùn)練任務(wù)。如今飛槳已經(jīng)開始研究下一代分布式技術(shù),來同時(shí)兼容超大規(guī)模稠密參數(shù)和稀疏參數(shù)模型的訓(xùn)練。

隨著產(chǎn)業(yè)智能化基礎(chǔ)技術(shù)底座飛槳輸出應(yīng)用到各行各業(yè)的實(shí)際業(yè)務(wù)場景中,在城市、工業(yè)、能源、通信等領(lǐng)域發(fā)揮了重要價(jià)值。相信百度還將在技術(shù)上不斷創(chuàng)新進(jìn)步,探索分布式訓(xùn)練技術(shù)等的邊界,擴(kuò)展AI賦能的領(lǐng)域,為智能化時(shí)代的發(fā)展做出貢獻(xiàn)。(辛文)

標(biāo)簽: 飛槳分布式訓(xùn)練技術(shù)

推薦

財(cái)富更多》

動(dòng)態(tài)更多》

熱點(diǎn)