數字經濟與大模型成為今年全國兩會熱議的話題之一。
21世紀經濟報道記者獲悉,全國政協委員、上海市政協副主席、致公黨上海市委主委邵志清帶來3份提案與2份建議,圍繞信息化建設和數字化轉型,邵志清在提案中建議“建設國家高水平數據開放平臺”、“建設數據資產創新應用體系”、“加強數字身份和電子認證國際合作、加快發展數字貿易”,此外,他建議“加快大模型基礎設施和創新應用生態建設”、“加強長三角地區集成電路產業協同發展”。
在加快大模型基礎設施和創新應用生態建設方面,邵志清指出目前國產大模型發展面臨的四個問題與四個發展建議。
國產大模型的四個挑戰
邵志清指出,人工智能是新一輪科技革命和產業變革的重要驅動力量,加快發展新一代人工智能是一項需要長期堅持的戰略性任務。當前,大模型技術引領著人工智能領域邁入新發展高度,在世界范圍內受到廣泛關注。隨著大模型技術不斷迭代升級,模型能力不斷加強,已逐漸形成從底層算力、模型開發到行業應用的全新智能化產業。大模型正在引發新一輪行業變革甚至新一次工業革命,已經上升為國家戰略成為大國科技競爭的核心。近期,Open AI繼ChatGPT之后發布首個文生視頻大模型SORA,我國大模型技術與美國還存在較大差距。
他認為,發展國產大模型面臨的主要挑戰包括:超大規模算力需求、超大規模數據需求、全新模型訓練算法與框架,以及大模型的應用生態。
首先,算力資源供應短期內仍然緊張。在基礎大模型研發的幾個關鍵要素中,算力是基礎,算力緊缺所帶來的限制作用尤為明顯。一方面是當前市場上算力需求劇增,加之受美國制裁影響,英偉達高端GPU芯片無法購買。另一方面是國產芯片受限于性能和生態環境問題,遲遲無法大規模商用,短期內無法形成國產化替代。隨著多模態模型的發展以及越來越大的模型參數量,大模型對算力的需求正在快速增長。
第二,高質量數據成為嚴重掣肘。精準、專業且高質量的數據,對于大模型進一步發展至關重要。目前國際主流大模型的參數數據集主要以英文為主,中文數據僅占英文的1/10。中文語料庫還存在數據不完整、標注不一致、數據重復、數據更新等問題,嚴重掣肘行業大模型研發和應用落地。此外,行業大模型對特定行業數據則提出了更高要求,政務、醫療、智慧城市等領域數據獲取難度大,隱私性高,阻礙了大模型應用落地的進程。上海成立了大模型語料數據聯盟,打造多知識、多模態、標準化的高質量語料數據,鏈接模型訓練、數據供給、學術研究、第三方服務等多方面機構,為大模型發展提供了有力數據支撐。
第三,大模型訓練的工程化有短板。即便解決了算力供應和數據集的問題,大模型訓練仍面臨計算效率問題。構建大模型訓練系統不是算力的簡單堆砌,而是一個復雜的軟硬件系統工程,需要在底層資源、集群架構、網絡規劃、故障恢復等各個方面進行優化以提升整個系統的計算效率,這通常是大模型的開發者所不具備的。目前在建的動輒千卡萬卡的集群,如果不進行工程優化,其算力資源將有很大程度的浪費。
第四,應用方向同質化。當前大模型的開發存在同質化現象,較多集中在面向知識檢索、文字生成等方面,其落地效果及實際業務收益有待進一步提升。大模型廠商需與企業用戶深度對接需求,找到高價值、差異化的大模型應用剛需。另一方面,已有一部分大模型已經聚焦到垂類領域應用,但垂類大模型的難點在于除了要深入理解客戶的業務,還需要涵蓋特定領域的數據、專業知識。
應對之道
針對國產大模型發展的上述問題,邵志清提出了四點對應的解法。
首先是加快算力基礎設施建設。統籌構建公共算力基礎設施,加快建設基于國產GPU芯片的大型智算中心。在認證評估、市場推廣、政府采購方面給予扶持,引導國內模型企業優先使用國產算力平臺,加快國產芯片規模應用和技術迭代。選取3至5個企業不同型號的國產芯片進行測試驗證,在形成良性競爭的同時避免市場單一依賴。通過公共算力服務平臺,為用戶提供按需使用的低成本算力,降低大模型訓練門檻,讓更多的中小企業和創新創業主體能夠參與到大模型的開發應用過程中,為大模型的創新發展提供扎實的基礎。
其次是加強數據語料供給,提升大模型研發支撐能力。由政府牽頭、產業鏈各環節龍頭企業參與,共同推動高水平語料數據要素建設。通過區塊鏈、多方安全計算等技術,保障各參與單位的數據安全與用戶隱私。保障語料庫建設的公共屬性,服務于大模型應用,杜絕數據壟斷。加強監管,從訓練數據集的源頭保障大模型應用符合法律法規要求和倫理道德規范。
第三是強化工程實施能力,提升資源利用率。將理論研究和工程實踐高度結合,提升訓練效率,降低資源閑置。鼓勵應用創新,保持算力平臺的高效率。倡導綠色節能,結合國家“東數西算”工程,將非實時的訓練工作轉移到西部能源資源充沛的地區,做到“東數西訓”,提升大模型產業發展的能耗水平,保障國家“雙碳”戰略的實施。建設行業標準,提高大模型開發的效率和質量,促進大模型應用的廣泛性和普適性。
第四是加快創新應用場景建設,牽引成果落地應用。建立常態化機制,重點在智能制造、生物醫藥、集成電路、智能化教育教學、科技金融、設計創意、自動駕駛、機器人、數字政府等領域構建示范應用場景,打造標桿性大模型產品和服務。引導行業用戶向大模型廠商開放有價值的核心業務場景,進一步整合并開放行業數據,開展大模型應用試點,推動大模型在應用中不斷提升能力。鼓勵大模型團隊找準行業或場景數據優勢錯位發展,探索大模型商業化模式和產業化發展路徑。
責任編輯:王超
免責聲明:
中國電子銀行網發布的專欄、投稿以及征文相關文章,其文字、圖片、視頻均來源于作者投稿或轉載自相關作品方;如涉及未經許可使用作品的問題,請您優先聯系我們(聯系郵箱:cebnet@cfca.com.cn,電話:400-880-9888),我們會第一時間核實,謝謝配合。