(資料圖片)
【Techweb】8月10日消息,在中文語言理解領域最為權威的CLUE榜單中,螞蟻集團保險科技團隊以92.475的得分,打破了CLUE閱讀理解榜的歷史紀錄,排名第一。
一直以來,機器閱讀理解技術由于難度高、理解復雜,是語義理解領域最為關鍵的能力之一。據了解,憑借多年來在自然語言處理方面的深耕,螞蟻保險科技團隊自主研發了預訓練語言模型—AntInsBert,該模型僅包含十億參數量,卻一舉登頂CLUE閱讀理解榜,刷新歷史紀錄。
據悉,之所以AntInsBert僅使用1/10的參數量便取得了比肩甚至超越百億大模型的成績,主要是在兩個技術上進行了升級。首先,AntInsBert對傳統語言模型預訓練方案做了改進,設計了基于Prompt的知識增強預訓練方案,將海量知識圖譜內容引入到預訓練模型當中。
其次,為進一步挖掘AntInsBert在機器閱讀理解算法上的潛力,該方案將文本分類、信息抽取、指代消解等常見的中文語義理解任務,通過模板轉化為閱讀理解任務,模型的范化性得到了進一步提升。
關鍵詞: AntInsBert CLUE