◎本報記者 操秀英

　　近日，浪潮電子信息產業股份有限公司（以下簡稱浪潮信息）發布千億級開源大模型“源2.0”。“源2.0”創新采用局部注意力過濾增強機制（LFA），可以有效捕捉局部信息和短依賴信息，使模型能夠更精準地掌握上下文之間的強語義關聯，學習人類語言習慣范式本質，大幅提升數理邏輯、數學計算、代碼生成能力。

　　浪潮信息于2021年9月在業界率先推出了中文人工智能（AI）巨量模型“源1.0”，參數規模高達2457億。浪潮信息人工智能軟件研發總監吳韶華介紹，比起“源1.0”，“源2.0”在算法、數據、計算等方面都實現了創新。在算法上，該模型基于LFA。有別于傳統Transformer模型結構擅長捕捉全局信息和長依賴信息能力的特點，LFA具備有效捕捉局部信息和短依賴信息的能力，可確保模型更精準地學習人類語言范式本質。

　　在數據處理方面，“源2.0”通過使用中英文書籍、論文等資料，結合高效的數據清洗流程，為大模型訓練提供了高質量的學科專業數據集和邏輯推理數據集。除此之外，浪潮信息提出基于單元測試的數據清洗方法，可更高效地獲取高質量數據集，提高訓練效率。“有限的算力資源下，訓練數據的質量直接決定了模型的性能。”吳韶華說，“‘源1.0’絕大部分的數據來源于網頁，雖然我們花費了很大力氣清洗，但數據質量確實需要進一步提高。‘源2.0’減少了網頁數據，增加了書籍、期刊等的數據，并引入代碼和數學數據，使模型數理邏輯能力進一步增強。”

　　不僅如此，“源2.0”還將實行全面開源（模型全開源、免費可商用、無需申請授權）。對此，浪潮信息高級副總裁劉軍表示，從計算機科學與人工智能的發展歷程來看，開源始終對軟件技術乃至IT技術的發展有巨大的推動作用。“Meta公司的LLaMA大模型開源之后，迅速吸引了大量開發者。”劉軍說，在國內，開源開放是促進AI技術發展和商業落地的重要手段，大模型的開源開放可以使不同的模型之間共享底層數據、算法和代碼，有利于打破大模型孤島，促進模型之間的協作和更新迭代，推動AI開發更加靈活高效。

　　劉軍認為，開源開放有利于推進“技術+行業”的閉環，以更豐富的高質量行業數據反哺模型，打造更強的技術產品，并加速其商業化進程。

　　劉軍透露，未來，依托浪潮信息在AI算力平臺等方面的長期技術積累，“源2.0”將持續為大模型創業者和開發者提供更加豐富、全面的助力和更加開放的技術創新空間。