從安徽省量子計(jì)算工程研究中心獲悉，本源量子、合肥綜合性國(guó)家科學(xué)中心人工智能研究院等機(jī)構(gòu)聯(lián)合攻關(guān)，在自主超導(dǎo)量子計(jì)算機(jī)“本源悟空”真機(jī)上，全球首次運(yùn)行十億參數(shù)AI大模型微調(diào)任務(wù)。
實(shí)驗(yàn)結(jié)果顯示，在參數(shù)量減少76%的前提下，訓(xùn)練效果反而提升8.4%。這一成果不僅驗(yàn)證了量子計(jì)算助力實(shí)現(xiàn)大模型輕量化的可行性，更為破解大模型“算力焦慮”開辟了新路徑。
微調(diào)是指在通用大模型的基礎(chǔ)上，通過(guò)進(jìn)一步訓(xùn)練特定領(lǐng)域數(shù)據(jù)，使其適應(yīng)醫(yī)療診斷、金融風(fēng)控等專業(yè)場(chǎng)景。量子計(jì)算憑借其疊加態(tài)和糾纏態(tài)特性可同時(shí)探索海量參數(shù)組合，提升大模型微調(diào)的效率。
“這就好比給經(jīng)典模型裝上了‘量子引擎’，讓兩者協(xié)同發(fā)力?！北驹戳孔痈笨偛酶]猛漢表示，團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)了“量子加權(quán)張量混合參數(shù)微調(diào)”，將模型權(quán)重轉(zhuǎn)化為量子神經(jīng)網(wǎng)絡(luò)與張量網(wǎng)絡(luò)混合架構(gòu)，量子神經(jīng)網(wǎng)絡(luò)通過(guò)量子門操作提取高維非線性特征，張量網(wǎng)絡(luò)則壓縮參數(shù)規(guī)模。
在“本源悟空”的量子芯片上，單批次數(shù)據(jù)可生成數(shù)百個(gè)量子任務(wù)并行處理。實(shí)驗(yàn)數(shù)據(jù)顯示，優(yōu)化后的模型在心理咨詢對(duì)話數(shù)據(jù)集上訓(xùn)練損失降低15%，數(shù)學(xué)推理任務(wù)的嚴(yán)格準(zhǔn)確率從68%提升至82%。
合肥綜合性國(guó)家科學(xué)中心人工智能研究院副研究員陳昭昀說(shuō)：“這是量子計(jì)算首次‘真機(jī)實(shí)戰(zhàn)’大模型任務(wù)，證明現(xiàn)有硬件已能初步支撐大模型微調(diào)?！?/p>
據(jù)介紹，“本源悟空”是目前我國(guó)先進(jìn)的可編程、已交付超導(dǎo)量子計(jì)算機(jī)，已為全球139個(gè)國(guó)家超2300萬(wàn)人次提供量子算力云服務(wù)，完成35萬(wàn)個(gè)量子運(yùn)算任務(wù)，涵蓋流體動(dòng)力學(xué)、金融、生物醫(yī)藥等多個(gè)行業(yè)領(lǐng)域。
