來源:中國經濟網 發(fā)布時間:2023-9-14 10:38
中國經濟網北京9月13日訊(記者 李方) 9月12日,百度發(fā)布“2023百度十大科技前沿發(fā)明”,其中超過70%涉及大模型和重構創(chuàng)新,一批創(chuàng)新AI原生應用踴躍而來,大量高價值專利成果披露。
百度首席技術官王海峰表示,大語言模型具備了理解、生成、邏輯、記憶等人工智能的核心基礎能力,為通用人工智能帶來曙光。文心一言大語言模型是百度多年技術積累和產業(yè)實踐的水到渠成,飛槳深度學習平臺和文心大模型的聯合優(yōu)化,給文心一言提供了堅實的基礎!拔覀兇竽P偷膶@暾埩、授權量都是國內第一,深度學習專利申請量全球第一。今天發(fā)布十大科技前沿發(fā)明,是百度一年來前沿創(chuàng)新成果的集中展現,有超過70%的發(fā)明都涉及到大模型和重構創(chuàng)新,我們鼓勵培養(yǎng)AI原生思維,踴躍創(chuàng)新AI原生應用!
據悉,百度發(fā)布的十大科技前沿發(fā)明涉及大模型、基于大模型的端到端搜索、飛槳、AI芯片、生成式檢索、內容生成推薦技術、自動駕駛決策系統(tǒng)、生物計算大模型、高性能量子芯片。
隨著越來越多的大模型產品陸續(xù)上線,我國生成式人工智能發(fā)展也將從“拼大模型參數”階段步入“拼原生應用、拼產業(yè)落地”階段,產品和應用的每一項功能正常運轉,都離不開大量的前沿發(fā)明作為底層技術支撐。未來,這些前沿發(fā)明將聚沙成塔,構筑起通用人工智能的四大核心能力:理解、生成、邏輯和記憶,驅動大模型各項能力在千行百業(yè)的落地應用。
附:百度2023十大科技前沿發(fā)明
一、基于大模型的檢索生成決策交互一體的智能系統(tǒng)
該發(fā)明提出了知識增強的大模型智能交互系統(tǒng)。該發(fā)明通過知識內化和知識外用兩種手段增強模型的知識性和推理能力,通過檢索增強提升模型實效性和事實準確性,通過對話增強提升模型記憶能力和多輪交互能力。該發(fā)明技術顯著提升了大模型的理解、生成、邏輯、記憶能力,并廣泛應用在百度的核心業(yè)務,賦能了千行百業(yè)。
二、基于大模型的端到端搜索技術
該發(fā)明提出了大模型端到端搜索技術,打破了傳統(tǒng)級聯分治的模式,標志著10余年來百度搜索技術架構的重大代際變革。該發(fā)明技術已被廣泛運用于通用搜索、視頻搜索、企業(yè)搜索等多場景,系統(tǒng)效果和研發(fā)效率均顯著提升。
三、飛槳端到端自適應的分布式訓練技術
該發(fā)明通過“兩個統(tǒng)一表示”對硬件資源和模型結構統(tǒng)一建模,支持任意模型在異構硬件下實現最優(yōu)模型切分和資源分配,以通用自動混合并行策略實現高效訓練,并可針對故障中斷、資源擴縮自適應重新完成最優(yōu)切分和并行策略選擇,實現自動容錯和彈性調度,在大規(guī)模分布式訓練的靈活性、易用性、高效性和魯棒性等方面具備明顯優(yōu)勢。該發(fā)明技術成功助力文心一言高效訓練,大規(guī)模集群作業(yè)訓練有效率提升超30%,在百度智能云、智能搜索和推薦等核心產品線發(fā)揮重要作用,同時也廣泛應用于傳統(tǒng)行業(yè)的智能化改造,產生了顯著的經濟效益和社會效益。
四、飛槳多硬件分層適配一體化技術
針對智能芯片多樣性,通過松耦合的分層設計和簡捷適配接口,顯著降低芯片與框架適配復雜度,廣泛兼容多種硬件類型。針對AI應用的高性能需求,支持軟硬系統(tǒng)極致優(yōu)化,充分發(fā)揮硬件潛能,實現業(yè)務應用收益最大化;谠摪l(fā)明技術,飛槳已經和40多家芯片/IP廠商完成高效適配,實現繁榮的AI軟硬件生態(tài),構建AI軟硬件適配技術體系并推進國家標準,引領行業(yè)發(fā)展。
五、面向企業(yè)級大模型平臺的AI芯片優(yōu)化技術
該發(fā)明提出了面向企業(yè)級大模型平臺的AI芯片優(yōu)化技術,通過精準控制、提前預判等方式在滿足高性能、低延遲AI計算的同時減緩AI芯片的瞬時大電流。該技術可以有效減少系統(tǒng)的整體成本、提升系統(tǒng)的穩(wěn)定性和可靠性,并且提升在各種場景下AI處理器的使用效率。該發(fā)明技術為百度智能云千帆等企業(yè)級大模型平臺提供了更加高效、穩(wěn)定的訓練和推理能力支持。目前千帆大模型已納管的國內外主流大模型數量達到42個,并提供大模型開發(fā)和應用的整套工具鏈,能為企業(yè)進行高效、可靠的AI應用的構建。
六、全鏈路生成式智能檢索系統(tǒng)
該發(fā)明實現了工業(yè)界首次將搜索系統(tǒng)與大規(guī)模生成技術相融合。通過引入全鏈路的可信度提升策略、真實數據的增強訓練和嚴格的模型風控機制,采用AI原生架構設計,完成異步模型計算架構的深度優(yōu)化,成功地突破了大模型在大規(guī)模用戶應用場景的各種挑戰(zhàn)。該發(fā)明技術全線落地百度搜索產品,進一步提升了搜索結果的準確性和可靠性,助力搜索首位極致滿足效果快速提升,并超越了國際同行。
七、基于用戶心智理解的內容生成式推薦技術
該發(fā)明全新構建對話式推薦系統(tǒng),利用大模型理解能力和生成能力的優(yōu)勢:(1)將隱式反饋變?yōu)樽匀徽Z言交互,推薦系統(tǒng)可對話,更加方便用戶理解;(2)實現內容推薦與內容生成結合,集成推薦前看點、推薦中互動、推薦后延伸,提升用戶陪伴式消費體驗;(3)基于大模型能力生成的海量高質量資源,支持個性化生成千人千面的內容。該發(fā)明技術已經在百度Feed在線應用,以對話的方式觸達用戶深層需求,激發(fā)用戶的閱讀興趣和探索效率,一期上線提升用戶時長10%。
八、數據驅動的自動駕駛決策系統(tǒng)
該發(fā)明以深度學習技術為核心,推動自動駕駛決策系統(tǒng)由規(guī)則驅動向數據驅動轉型,包括交互決策模型及其訓練方法、基于人類駕駛員和自動駕駛的數據生產方法,以及基于閉環(huán)仿真的評測系統(tǒng)等部分。該發(fā)明技術已在蘿卜快跑Robotaxi業(yè)務規(guī);涞貞,累計吸收上億幀道路交互場景數據,決策準確率達到99.5%,實現90%以上的線上規(guī)則替代,有效支持Robotaxi無人化運營。
九、融合第一性原理的生物計算大模型
該發(fā)明融合生物領域數據和生物化學原理,構建極具創(chuàng)新性的生物計算大模型,在化合物和蛋白質領域取得重大技術突破,標志著百度在生物計算方向上的國際領先性。該發(fā)明技術已廣泛應用在小分子藥物發(fā)現、多肽藥物設計、抗體藥物設計等場景,在精度和速度上超越眾多傳統(tǒng)方法,助力合作伙伴在多個管線上找到高價值候選藥物分子。
十、高性能量子芯片的設計、流片與測控全棧技術
該發(fā)明瞄準超導量子芯片研發(fā) “設計、流片、測控”閉環(huán)中的核心技術,旨在研發(fā)具有業(yè)界核心競爭力的高性能量子芯片,為量子計算的實際應用提供基礎支撐。通過“端到端”的優(yōu)化,以及與量子軟件和量子應用的融合,高性能量子芯片研發(fā)將對人工智能、材料科學、藥物研發(fā)、金融科技等領域帶來高潛價值,進而促進量子計算的產業(yè)化。