7月9日，由中國人民大學(xué)信息資源管理學(xué)院錢明輝教授主持的國家社科基金重點項目舉行階段性成果線上發(fā)布會，發(fā)布了中國人民大學(xué)研究團隊與微點研究院聯(lián)合開發(fā)的“政研大模型（PSLLM-14B）”。

據(jù)錢明輝介紹，該模型基于Multi-Task Transformer架構(gòu)，共計140億神經(jīng)網(wǎng)絡(luò)參數(shù)，在政策文本分析挖掘任務(wù)中展現(xiàn)出良好的性能，具有“可信”、“可知”、“可用”三大特點。

“可信”是指“政研大模型（PSLLM-14B）”具有一套可信的系統(tǒng)框架，該框架的構(gòu)成要素包括可信的訓(xùn)練數(shù)據(jù)集、可信的模型架構(gòu)、可信的參數(shù)設(shè)置、可信的推理結(jié)果、可信的數(shù)據(jù)保護能力、可信的硬件設(shè)備、可信的網(wǎng)絡(luò)環(huán)境等。

【資料圖】

錢明輝稱，在訓(xùn)練數(shù)據(jù)集上，模型主要使用了經(jīng)過嚴格篩選和清洗的高質(zhì)量政策文本，同時利用不同的數(shù)據(jù)來源進行多樣化訓(xùn)練，以降低數(shù)據(jù)偏差；其次，在模型架構(gòu)和參數(shù)設(shè)置上，采用了經(jīng)過大量實驗驗證的Transformer架構(gòu)，并且根據(jù)政策文本的特點調(diào)整了模型參數(shù)，以提高模型的泛化性和準確性；最后，模型的推理結(jié)果采用了一系列驗證和評估手段，包括內(nèi)部測試、公開評測等，以保證推理結(jié)果的準確性和魯棒性。

“可知”是指“政研大模型（PSLLM-14B）”的推理過程及輸出結(jié)果具有較好的可解釋性。此次發(fā)布的“政研大模型（PSLLM-14B）”一大特點在于具有一定的思維鏈（Chain-of-thought, CoT）能力。

所謂思維鏈，是指一系列有邏輯關(guān)系的思考步驟，形成了一個完整的思考過程。“政研大模型（PSLLM-14B）”將思維鏈這一步驟分解的方式應(yīng)用在提示學(xué)習(xí)中，通過將大模型的推理過程分解成多個步驟，模型生成的結(jié)果具有更加清晰的邏輯鏈路，能夠?qū)崿F(xiàn)對大模型智能化推理過程更加清晰、透明的解釋。

而在政務(wù)相關(guān)的場景中，特別是政策制定和解讀，往往涉及到復(fù)雜的邏輯和決策過程，因此，思維鏈技術(shù)在這些場景中就可以幫助政策研究者、政策執(zhí)行者、政策受眾更好地理解和分析政策文本，把握政策的目標取向和內(nèi)在邏輯。

“可用”則是指“政研大模型（PSLLM-14B）”作為政研領(lǐng)域的首個大模型，相比其他通用大模型具有性能優(yōu)越性。在解決政策研究相關(guān)問題的過程中，“政研大模型（PSLLM-14B）”表現(xiàn)出更高的準確率，即對政策解讀任務(wù)或評估政策數(shù)據(jù)集上生成結(jié)果的正確性與真實情況的一致性更高。

在實際部署的過程中，“政研大模型（PSLLM-14B）”會以插件化的形式融入現(xiàn)有的數(shù)字基礎(chǔ)設(shè)施和政務(wù)系統(tǒng)。錢明輝舉例，該大模型可以作為政策文本分析和解讀的智能數(shù)字輔助工具，幫助政策研究人員更快地獲取政策信息，更準確地理解政策含義；也可以根據(jù)未來“政務(wù)云”系統(tǒng)的建設(shè)需要，將“政研大模型（PSLLM-14B）”在云端進行部署，提升“政務(wù)云”的智能化服務(wù)能力。

為了降低部署成本和提高適配效率，“政研大模型（PSLLM-14B）”團隊也在模型設(shè)計和優(yōu)化方面做了工作。

錢明輝表示，首先團隊在模型設(shè)計上考慮到了與硬件兼容性，模型主要模塊采用的是廣泛應(yīng)用且兼容性好的Pytorch框架編寫。其次，團隊通過一系列的模型壓縮和量化技術(shù)，降低了模型的復(fù)雜度，提高了模型的運行效率，使其在CPU設(shè)備上也能高效運行。最后，團隊還提供了一整套的模型部署和運維方案，包括模型轉(zhuǎn)換、部署、測試、監(jiān)控等，以解決軟硬件適配問題，確保模型的穩(wěn)定運行。

（文章來源：界面新聞）

關(guān)鍵詞：