◎本報記者 操秀英

　　近日，浪潮電子信息產業(yè)股份有限公司（以下簡稱浪潮信息）發(fā)布千億級開源大模型“源2.0”。“源2.0”創(chuàng)新采用局部注意力過濾增強機制（LFA），可以有效捕捉局部信息和短依賴信息，使模型能夠更精準地掌握上下文之間的強語義關聯(lián)，學習人類語言習慣范式本質，大幅提升數(shù)理邏輯、數(shù)學計算、代碼生成能力。

　　浪潮信息于2021年9月在業(yè)界率先推出了中文人工智能（AI）巨量模型“源1.0”，參數(shù)規(guī)模高達2457億。浪潮信息人工智能軟件研發(fā)總監(jiān)吳韶華介紹，比起“源1.0”，“源2.0”在算法、數(shù)據(jù)、計算等方面都實現(xiàn)了創(chuàng)新。在算法上，該模型基于LFA。有別于傳統(tǒng)Transformer模型結構擅長捕捉全局信息和長依賴信息能力的特點，LFA具備有效捕捉局部信息和短依賴信息的能力，可確保模型更精準地學習人類語言范式本質。

　　在數(shù)據(jù)處理方面，“源2.0”通過使用中英文書籍、論文等資料，結合高效的數(shù)據(jù)清洗流程，為大模型訓練提供了高質量的學科專業(yè)數(shù)據(jù)集和邏輯推理數(shù)據(jù)集。除此之外，浪潮信息提出基于單元測試的數(shù)據(jù)清洗方法，可更高效地獲取高質量數(shù)據(jù)集，提高訓練效率�！坝邢薜乃懔�資源下，訓練數(shù)據(jù)的質量直接決定了模型的性能。”吳韶華說，“‘源1.0’絕大部分的數(shù)據(jù)來源于網(wǎng)頁，雖然我們花費了很大力氣清洗，但數(shù)據(jù)質量確實需要進一步提高�！�源2.0’減少了網(wǎng)頁數(shù)據(jù)，增加了書籍、期刊等的數(shù)據(jù)，并引入代碼和數(shù)學數(shù)據(jù)，使模型數(shù)理邏輯能力進一步增強。”

　　不僅如此，“源2.0”還將實行全面開源（模型全開源、免費可商用、無需申請授權）。對此，浪潮信息高級副總裁劉軍表示，從計算機科學與人工智能的發(fā)展歷程來看，開源始終對軟件技術乃至IT技術的發(fā)展有巨大的推動作用。“Meta公司的LLaMA大模型開源之后，迅速吸引了大量開發(fā)者�！眲④娬f，在國內，開源開放是促進AI技術發(fā)展和商業(yè)落地的重要手段，大模型的開源開放可以使不同的模型之間共享底層數(shù)據(jù)、算法和代碼，有利于打破大模型孤島，促進模型之間的協(xié)作和更新迭代，推動AI開發(fā)更加靈活高效。

　　劉軍認為，開源開放有利于推進“技術+行業(yè)”的閉環(huán)，以更豐富的高質量行業(yè)數(shù)據(jù)反哺模型，打造更強的技術產品，并加速其商業(yè)化進程。

　　劉軍透露，未來，依托浪潮信息在AI算力平臺等方面的長期技術積累，“源2.0”將持續(xù)為大模型創(chuàng)業(yè)者和開發(fā)者提供更加豐富、全面的助力和更加開放的技術創(chuàng)新空間。