2 月 25 日,人工智能國際頂級學術會議 AAAI 2025 開幕,在此次大會論文錄用結果中,中國電信人工智能研究院(TeleAI)科研團隊 10 篇論文成功入選。
AAAI 會議由國際先進人工智能協會主辦,是人工智能領域歷史最為悠久、最具影響力的頂級學術會議之一。本屆大會共收到 12957 篇有效投稿,最終 3032 篇文章脫穎而出,接收率為 23.4%。
中國電信人工智能研究院(TeleAI)科研團隊的 10 篇論文不僅覆蓋大語言模型偏好對齊、視覺模型參數微調、正激勵噪聲(PI Noise)采樣和表征對齊等技術方面的突破,更包括人工智能與化學、醫(yī)療的交叉研究等多個方向的系列創(chuàng)新。
在基礎科學研究中,人工智能技術的創(chuàng)新作用越發(fā)凸顯。隨著大語言模型(LLM)的快速發(fā)展,AI 對科學文獻和技術專利的理解、分析和描述正得到廣泛應用。
LLM 在化學任務中的重點之一是進行“分子文本描述生成”(Molecule Captioning),即將分子的相關信息轉化為自然語言文本描述,并在其之間進行對齊。然而,現有工作主要集中在單分子上,化學反應和自然語言文本之間的一致性在很大程度上仍然未被探索。
作為專利和文獻的重要組成部分之一,對化學反應進行準確描述不僅可以更好地理解化學反應的過程,且有助于促進化學合成和逆合成的自動化相關研究。
為此,TeleAI 聯合華東師范大學等單位提出了一項“ReactGPT”框架,集成了基于化學反應的指紋檢索模塊、特定領域提示設計模塊、兩階段上下文調優(yōu)模塊。
ReactGPT 框架旨在彌合化學反應與文本之間的差距。實驗結果表明,與先前模型相比,ReactGPT 在解決化學反應問題和生成結構正確的高質量文本方面表現出色。
放射學報告對醫(yī)生的診斷意義重大,但人工撰寫不僅負擔重且易出錯,現有的自動報告生成技術 RRG(Radiology Report Generation)方法多基于監(jiān)督回歸或注入額外知識,生成報告難以契合醫(yī)生多元偏好。
為應對這一挑戰(zhàn),TeleAI 提出多目標偏好優(yōu)化(MPO),將預訓練的報告生成模型根據多個人類偏好進行調整,具體通過多維獎勵函數來微調,并通過多目標強化學習(RL)進行優(yōu)化,從而使模型能夠在不同的偏好條件下生成符合特定醫(yī)生偏好的報告。
研究通過引入兩個新的模塊來實現與人類偏好的對齊。首先,設計了一個偏好向量融合(PVF)網絡,它位于標準的 Transformer 編碼器和解碼器之間,利用多頭注意力機制和殘差連接將偏好向量與編碼后的圖像特征融合,實現條件生成。其次,提出了一個多目標優(yōu)化(MOO)模塊,該模塊使用偏好向量表示偏好權重,并通過點積操作將