湖北日?qǐng)?bào)訊（記者張真真、通訊員胡玥）近日，傳神語(yǔ)聯(lián)網(wǎng)網(wǎng)絡(luò)科技股份有限公司推出“任度數(shù)推分離大模型”，在業(yè)內(nèi)獨(dú)辟蹊徑，采用雙網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)數(shù)推分離，把推理網(wǎng)絡(luò)與數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)分開(kāi)。

憑借這一創(chuàng)新模式，傳神語(yǔ)聯(lián)成為全球大模型領(lǐng)域第一家實(shí)現(xiàn)數(shù)推分離技術(shù)路線的人工智能企業(yè)。

數(shù)推分離，可將其理解為兩個(gè)協(xié)同聯(lián)動(dòng)的大腦：一個(gè)是客戶數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)大腦，專注于數(shù)據(jù)的動(dòng)態(tài)管理與迭代訓(xùn)練，為模型持續(xù)注入知識(shí)；一個(gè)是推理網(wǎng)絡(luò)大腦，作為經(jīng)大量數(shù)據(jù)預(yù)訓(xùn)練的基礎(chǔ)網(wǎng)絡(luò)，有良好的推理和泛化能力。雙網(wǎng)絡(luò)通過(guò)共享嵌入層和中間表示層協(xié)同工作，形成類似“主腦”與“輔腦”的高效配合模式，既支持獨(dú)立訓(xùn)練，也支持聯(lián)合推理。

數(shù)推分離的雙網(wǎng)絡(luò)架構(gòu)，能夠突破常規(guī)大模型數(shù)推混合一體技術(shù)架構(gòu)的限制，使得推理大腦成熟后，數(shù)據(jù)大腦還可以持續(xù)不斷地學(xué)習(xí)接入的數(shù)據(jù)，并且不影響推理大腦的能力。因此，對(duì)于雙網(wǎng)絡(luò)架構(gòu)來(lái)講，上下文輸入長(zhǎng)度不再受限，可將類似1億字?jǐn)?shù)據(jù)乃至更多數(shù)據(jù)壓縮到神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)深度知識(shí)理解。

任度大模型的技術(shù)架構(gòu)無(wú)需通過(guò)大量參數(shù)存儲(chǔ)數(shù)據(jù)來(lái)豐富知識(shí)，它可依靠數(shù)據(jù)大腦在客戶場(chǎng)景中實(shí)時(shí)學(xué)習(xí)數(shù)據(jù)。這樣能大幅降低參數(shù)規(guī)模，進(jìn)而減少訓(xùn)練和推理的硬件投入成本。

這種架構(gòu)能隨著客戶業(yè)務(wù)發(fā)展產(chǎn)生的新數(shù)據(jù)持續(xù)學(xué)習(xí)并提升完成數(shù)據(jù)壓縮。在數(shù)推分離模式下，更新數(shù)據(jù)的網(wǎng)絡(luò)壓縮對(duì)推理網(wǎng)絡(luò)影響極小，能廣泛適應(yīng)各種場(chǎng)景，靈活處理數(shù)據(jù)，訓(xùn)練時(shí)間可縮短至分鐘級(jí)。

雙網(wǎng)絡(luò)大模型架構(gòu)可以降低訓(xùn)練推理的算力和能耗成本，還能有效避免一體化大模型在客戶數(shù)據(jù)微調(diào)訓(xùn)練時(shí)出現(xiàn)的基座模型能力退化和泛化能力減弱問(wèn)題。而且，數(shù)據(jù)網(wǎng)絡(luò)學(xué)習(xí)客戶數(shù)據(jù)無(wú)增加算力和專業(yè)人員，數(shù)據(jù)可在客戶現(xiàn)場(chǎng)完成訓(xùn)練，學(xué)習(xí)企業(yè)歷史數(shù)據(jù)和新數(shù)據(jù)，消除企業(yè)的數(shù)據(jù)安全擔(dān)憂。

任度的數(shù)推分離雙腦模式在應(yīng)用中，解決了客戶定制大模型的三大難題：客戶數(shù)據(jù)需離場(chǎng)、向量效果差、人才投入高，實(shí)現(xiàn)本地實(shí)時(shí)學(xué)習(xí)，讓客戶數(shù)據(jù)快速轉(zhuǎn)化為“專家”為客戶服務(wù)。重要的是，客戶數(shù)據(jù)本地訓(xùn)練不傳公有云，保障了數(shù)據(jù)隱私安全。

目前，雙網(wǎng)絡(luò)架構(gòu)的數(shù)推分離大模型已應(yīng)用于任度“雙腦”大模型一體機(jī)，其內(nèi)置的任度大模型有9B和2.1B兩種參數(shù)。在多項(xiàng)國(guó)內(nèi)外測(cè)評(píng)中，9B參數(shù)模型與數(shù)百億乃至千億參數(shù)大模型對(duì)比脫穎而出，以更少的參數(shù)實(shí)現(xiàn)領(lǐng)先性能。

傳神語(yǔ)聯(lián)創(chuàng)始人何恩培表示，“算法制勝”是具有中國(guó)特色的技術(shù)路徑之一，這符合中國(guó)人的聰明智慧，在以大模型為代表的AI時(shí)代尤為重要。