【資料圖】
北京商報訊(記者 魏蔚)6月28日,北京商報記者獲悉,中國工業互聯網研究院(以下簡稱“工聯院”)針對人工智能大模型在中文工業領域的知識問答能力進行系統性評測結果顯示,百度文心一言表現超過GPT3.5,綜合評價指數在國內排名第一。工聯院本次評測選取了工業領域典型的八大行業。百度文心一言在電子設備、裝備、鋼鐵、采礦、電力、石化、建材七個行業均獲國內第一。
本次工業知識問答測試主要分為客觀題與主觀題兩大類,總計超過1100個問題。主觀題主要考察四大維度:基礎能力、語句能力、概括能力和邏輯能力。評測結果顯示,GPT4表現最佳。國內頭部大模型表現亮眼,整體與GPT3.5相當。其中百度文心一言表現超過GPT3.5,在國內大模型中排名第一。在客觀題環節,評測結果顯示,GPT4與文心一言表現好于其他大模型。但評測結果也同時指出,大模型普遍準確率有較大的提升空間。主觀題方面,國內大模型的基礎能力、語句能力與GPT4接近,概括能力、邏輯能力與GPT4有一定差距。在大模型的自我認知能力和污染問題分析能力上,GPT4相較于其他大模型表現出更好的能力。
(責任編輯:周文凱 )關鍵詞: