記者10月10日從元保獲悉，元保聯合國內保險科技研究機構分子實驗室共同發布《人工智能大模型保險行業應用評測報告》?！秷蟾妗氛J為，包括ChatGPT、百度文心一言等在內的10個主流大模型在醫療知識、保險常識、保險法律知識領域表現普遍較好，不同大模型體現出了不同特點。據悉，元保為元保保險經紀（北京）有限公司運營的互聯網保險中介平臺，于2020年正式上線運營。

專家認為，《報告》的發布一定程度上消除了保險大模型市場的信息不對稱，對于保險機構選擇大模型廠商、深度應用大模型具有指導意義。

圖為《報告》評測框架。圖片來源：《人工智能大模型保險行業應用評測報告》

《報告》結果顯示，10個主流大模型（ChatGPT3.5、ChatGPT4、Claude-1、Claude-2、清華智譜ChatGLM130B、百度文心一言、阿里通義千問、科大訊飛星火、360智腦、昆侖萬維天工）在醫療知識、保險常識、保險法律知識領域表現普遍較好，在智能核保、智能理賠、話術優化上表現不盡如人意，在營銷服務應用能力上表現參差不齊。

具體而言，國內頭部大模型在回答專業領域的基礎知識問詢時，對國內情況更加了解，回答的表現也比國外大模型更加出色。文心一言與清華智譜在保險常識、法律知識問答上均進入前兩名，得分強于GPT-4。在醫療知識回答上，文心一言亦在各大模型中最優，科大訊飛也同樣獲得較高得分，表現均強于GPT-4。

《報告》稱，頭部大模型在專業知識問答上已有較強應用能力，可直接使用程度很高。如在回答“社保與商業保險的區別”時，文心一言可從性質、建立基礎、管理體制、對象、保障范圍、資金來源、待遇給付、時間性、法律基礎等9個層面給出準確答案，內容較全面，可較好消除提問者心中困惑。清華智譜也從保障對象與范圍、性質與目的、保費承擔者、保障程度與靈活性、管理機構五大維度給出了答案，同樣有較強的應用價值。

《報告》認為，目前的大模型非常適合作為智能機器人用以服務客戶，回答客戶關于保險、醫療等方面問詢，同時也可以賦能保險代理人，成為保險代理人的展業工具之一，提升代理人服務客戶的能力。因此在代理人渠道仍處于攻堅階段的當下，大模型對于提升代理人平均產能、降低保險機構服務客戶成本、促進保單成交，或有一定幫助。

同時，《報告》總結出在此次評測中不同的大模型體現出的不同特點，具體來看：文心一言在國內大模型中體現出了較強的綜合能力，特別是中文語料充足，其訓練出的大模型在專業知識的提供上有很強實力，未來還需要在多模態理解、推理能力上繼續強化。

通義千問在專業知識問答上不算突出，不過在營銷話術、智能核保、實時質檢上有相對較好的表現，語言表達流暢、自然、清晰、簡單，具備合理的邏輯思維能力，推理和判斷能力也不錯。

清華智譜的GLM-130B最大的解答優勢在于很多問題引入了生動的例子加以說明，這對于提問者而言，無疑是個亮點。

事實上，去年底以來，以ChatGPT為代表的AI大模型橫空出世，大幅提升了AI尤其是自然語言處理技術解決實際問題的能力，在全球范圍內引起極大關注。各個行業都在嘗試探索大模型應用落地的路徑，這其中也包括保險行業。

清華大學金融科技研究院副院長、中國保險與養老金研究中心主任魏晨陽表示：“對大模型的評測工作，在全球范圍都是一個意義重大的事情。結合金融領域一個重要板塊（保險）的大模型評測，其實更具有特殊的意義。包括AI在內的科技賦能，核心在于結合具體應用場景時，模型是否在實操層面、核心業務的前沿，真正有實用價值?！?/p>

責任編輯：王煊