7月6日,2023世界人工智能大會在上海開幕。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰表示,文心大模型3.5效果、功能、性能全面提升,實現了基礎模型升級、精調技術創新、知識點增強、邏輯推理增強等,模型效果提升50%,訓練速度提升2倍,推理速度提升30倍。截至目前,百度飛槳深度學習開放平臺已凝聚750萬名開發者。這也是百度2023年以來首次對外披露飛槳生態最新數據。
“文心一言將發布更多優質的百度官方和第三方插件,讓用戶能夠更好地應用文心大模型,同時也將逐步開放插件生態,幫助開發者基于文心大模型打造自己的應用?!蓖鹾7宸Q。
據了解,文心一言已經于6月17日對外發布官方插件百度搜索和ChatFile。百度搜索是默認的內置插件,使得文心一言具備生成實時準確信息的能力。ChatFile是長文本摘要和問答插件,支持超長文本輸入。
王海峰還在大會上解讀了文心大模型3.5的核心技術創新。據他介紹,在基礎模型訓練上,文心大模型3.5采用了飛槳最先進的自適應混合并行訓練技術及混合精度計算策略,并采用多種策略優化數據源及數據分布,加快了模型迭代速度,顯著提升了模型效果和安全性。同時,創新了多類型多階段有監督精調、多層次多粒度獎勵模型、多損失函數混合優化策略、雙飛輪結合的模型優化等技術,進一步提升模型效果及場景適配能力。
在知識增強和檢索增強基礎上,文心大模型3.5提出了“知識點增強技術”,對用戶輸入的查詢、問題等進行分析理解,解析出生成答案所需要的相關知識點,之后運用知識圖譜和搜索引擎為這些知識點找到相應答案,最后再用這些知識點構造輸入給大模型的提示,為大模型注入更具體、更詳細、更專業的知識點,顯著提升大模型對世界知識的掌握和運用。
在推理方面,通過大規模邏輯數據構建、邏輯知識建模、多粒度語義知識組合以及符號神經網絡技術,提升文心大模型3.5在邏輯推理、數學計算及代碼生成等任務上的表現。
責任編輯:王煊
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。