人手一個ChatGPT的時代或許就要來了！

(資料圖)

當?shù)貢r間4月12日，微軟宣布開源大語言模型訓練工具Deep Speed Chat，這意味著繼OpenAI開放GPT的API方便各大廠商直接接入后，更為底層的工具也開放給所有用戶使用。

開源底層訓練工具

人工智能行業(yè)又迎來重磅消息。

當?shù)貢r間4月12日，微軟宣布開源了Deep Speed Chat，幫助用戶輕松訓練類ChatGPT等大語言模型。

據(jù)了解，這一工具是基于微軟Deep Speed深度學習優(yōu)化庫開發(fā)而成，具備訓練、強化推理等功能，還使用了RLHF(人工反饋機制的強化學習)技術(shù)，可將訓練速度提升15倍以上，成本卻大幅度降低。

簡單來說，這種接近“所見即所得”反饋的訓練工具，可以幫助沒有太多人工智能模型訓練基礎(chǔ)的用戶，在短時間內(nèi)迅速訓練出定制化的ChatGPT大語言模型，堪稱“傻瓜式服務”。

據(jù)微軟披露，目前使用該工具訓練一個130億參數(shù)的類ChatGPT模型，只需1.25小時。而訓練一個1750億參數(shù)的模型，Deep Speed Chat也只需不到一天的時間，而這一參數(shù)規(guī)模相當于ChatGPT-3.5。

據(jù)介紹，Deep Speed Chat擁有強化推理、RLHF模塊、RLHF系統(tǒng)三大核心功能。

具體來看，首先是這一工具的強化推理能力對于用戶使用更為友好，只需一個腳本即可實現(xiàn)多個訓練步驟。

“傳統(tǒng)模型訓練需要諸多流程，包括調(diào)用預訓練模型，實施訓練標注等等?！币晃粯I(yè)內(nèi)工程師告訴記者，從目前微軟介紹的情況來看，Deep Speed Chat可以大幅優(yōu)化這一過程的繁瑣度。此外，該工具還提供一個易于使用的推理API，用于在模型訓練后測試對話性能。

而RLHF模塊、RLHF系統(tǒng)則確保模型訓練過程中的精細度，同時實現(xiàn)模型訓練與推理能力的無縫切換。

從目前披露的情況來看，多位業(yè)內(nèi)人士認為，相關(guān)的大模型訓練門檻的資金投入、專業(yè)性要求都將大幅下降。

有業(yè)內(nèi)人士戲稱，如果說GPT引發(fā)了諸多行業(yè)的“工作危機”，那么如今Deep Speed Chat則可能將這場危機引入人工智能行業(yè)本身。

商業(yè)化領(lǐng)域迎重大變革

這無疑將引發(fā)整個人工智能領(lǐng)域商業(yè)化的變革。

“現(xiàn)在訓練大模型要依托超大的算力，背后是大量GPU集群，這些價格是一般小型企業(yè)乃至科研機構(gòu)無法承擔的?！币晃粡氖氯斯ぶ悄苎芯康墓こ處煾嬖V記者，類GPT模型訓練此前存在的最大障礙是硬件設(shè)備。

事實上，在過去幾個月伴隨ChatGPT的走紅，類似Deep Speed Chat的訓練開發(fā)工具也紛紛面世。但總體而言，由于缺乏支持端到端的基于RLHF的規(guī)?；到y(tǒng)，要想訓練ChatGPT模型整體效率依然不高。

有媒體此前調(diào)查發(fā)現(xiàn)，現(xiàn)有的開源系統(tǒng)的訓練效率通常還不到，這些機器所能達到的最大效率的5%。

而微軟的Deep Speed Chat面世，或許意味著這一情況從商業(yè)的角度來看將大幅改善。

記者注意到，目前在Azure云上訓練一個OPT-13B模型(一種類似于GPT系列的大型語言模型)只需要9小時，而OPT-30B模型也只需18個小時，這兩種訓練分別花費不到300美元和600 美元。

即使是當前開源領(lǐng)域，參數(shù)最大的OPT-175B，訓練時長也僅需20個小時，其訓練價格也在5000美元左右。要知道此前千億參數(shù)領(lǐng)域的模型訓練，其成本均在百萬級美元。

對于此次微軟下場推出的這款重磅服務，有業(yè)內(nèi)人士將之比喻為幾十年前家庭電腦的普及。

“現(xiàn)在我們每個人擁有一臺自己的電腦是稀松平常的事情，”一位業(yè)內(nèi)人士認為，正是這種基礎(chǔ)建設(shè)的普及，推動了整個互聯(lián)網(wǎng)時代的到來，“而如今，一場新的基礎(chǔ)建設(shè)已將拉開大幕?！?/p>

（文章來源：上海證券報）

關(guān)鍵詞：