(相關(guān)資料圖)

華泰證券研報表示，模型壓縮技術(shù)是實現(xiàn)AI大模型在邊/端部署的核心技術(shù)。當(dāng)前，谷歌、微軟、騰訊等廠商在該領(lǐng)域均有布局，將加速AI技術(shù)與智能終端融合，國內(nèi)SoC設(shè)計公司有望深度受益。模型壓縮技術(shù)可在保有大模型原有性能和精度基本不變前提下降低對推理算力的需求：1）量化：將浮點計算轉(zhuǎn)成低比特定點計算；2）網(wǎng)絡(luò)剪枝：去除神經(jīng)網(wǎng)絡(luò)中冗余的通道、神經(jīng)元節(jié)點等；3）知識蒸餾：將大模型作為教師模型，用其輸出訓(xùn)練性能接近、結(jié)構(gòu)更簡的學(xué)生模型。

關(guān)鍵詞：