來源:科技日報 發布時間:2023-10-30 9:27
科技日報訊 (記者劉艷)近日,文心大模型4.0在“百度世界2023”發布并開啟邀請測試,搜索、如流、地圖、網盤、文庫等百度AI原生應用以全新面目亮相。
百度首席技術官王海峰說:“文心大模型4.0基本技術架構與3.0和3.5版本一脈相承,在多個關鍵技術方向上進一步創新突破。理解和生成能力提升幅度相近,邏輯和記憶能力的提升更大,邏輯的提升幅度達到理解的近3倍,記憶的提升幅度也達到了理解的2倍多。9月開始小流量上線后,一個多月內效果又提升了近30%。”
談及文心大模型4.0,百度創始人、董事長兼首席執行官李彥宏難掩自豪地表示:“這是迄今為止最強大的文心大模型,實現了基礎模型的全面升級,綜合能力與GPT-4相比毫不遜色。”
這么顯著的效果提升是怎么實現的?王海峰介紹,技術人員在萬卡算力上運行飛槳平臺,通過集群基礎設施和調度系統、飛槳框架的軟硬協同優化,支持了大模型的穩定高效訓練;建設了多維數據體系,形成了數據挖掘、分析、合成、標注、評估閉環,充分釋放數據價值,大幅提升模型效果;基于有監督精調、偏好學習、強化學習等技術進行多階段對齊,保證模型更好地與人類的判斷和選擇對齊;可再生訓練技術通過增量式參數調優,有效節省了訓練資源和時間,加快了模型迭代速度。
據了解,在強大的基礎大模型之上,百度進一步研制了智能體機制,包括理解、規劃、反思和進化,能夠做到可靠執行、自我進化,并在一定程度上將思考過程白盒化,讓機器像人一樣思考和行動,自主完成復雜任務,在環境中持續學習實現自主進化。
當下,大模型已成為人工智能發展的熱點方向和新型工業化的重要推動力,但應用層面的挑戰始終存在,如何破除大模型進一步普及的阻礙?“過去一年,科技領域最大的創新是大模型帶來的智能涌現,并成為開發AI原生應用的基礎。”李彥宏認為,AI原生應用,就是基于大模型的理解、生成、邏輯和記憶能力開發出來的應用,而這些能力是過去時代所不具備的,因此才能打開無限的創新空間。
今年5月,百度提出用AI思維重構所有產品,做出AI原生應用。“百度世界2023”大會上,百度通過展現基于文心大模型技術土壤重構的10余款AI原生應用,給出了大模型應用落地的有效路徑。