機器翻譯器正成為現代人生活中必不可少的工具。

　　不管你在世界的哪個地方，美國、巴西、法國或者亞洲的婆羅洲島，借助機器翻譯，谷歌和 Facebook 這類軟件都可以把平臺上的幾乎任何文字內容都翻譯成當地語言。

　　不過你可能不知道的是，多數翻譯系統都是將英語作為中間語言進行的翻譯工作。也就是說，在把中文翻譯成法語時其實是中文到英語再到法語的。

　　這么做的原因是因為英語翻譯的數據集(包括譯入和譯出)非常多而且容易獲得。但是，用英語作為中介語總體上降低了翻譯的準確性，同時讓整個流程更加復雜臃腫。

　　比如說，在 Facebook 上，單是 News Feed 這一項服務，Facebook 就需要每天進行大約 200 億次翻譯。

　　針對這些問題，最近，Facebook 開發了新的機器翻譯模型，可以不借助英語直接實現兩種語言的雙向互譯，而且新模型在 BLEU 評估算法下的得分比傳統的借助英語的模型還高了 10 分。

　　Facebook 的新模型被稱作 M2M-100，Facebook 宣稱它是第一個多語言機器翻譯模型，可以直接在 100 種語言中的任何一對之間來回翻譯。Facebook AI 構建了一個共計由 100 種語言的 75 億個句子組成的龐大數據集。使用這個數據集，研究團隊訓練了一個擁有超過 150 億個參數的通用翻譯模型，據 Facebook 的一篇博客描述，該模型可以 “獲取相關語言的信息，并反映出更多樣化的語言文本和語言形態”。

　　“主要的挑戰在于，我們如何利用我們的翻譯系統，切實地去滿足全世界各地人們的需求，”Facebook AI 的助理研究員 Angela Fan 在采訪中表示。“你得翻譯所有的語言，涉及人們會遇到的各種需求。比如說，世界上有很多地方，當地人會使用多種語言，而英語不在其中，但現有的翻譯系統卻嚴重依賴英語。”她還指出，在 Facebook 平臺上每天以 160 種語言發布的數十億條帖子中，有三分之二是英語以外的語言。

　　為了做到這一點，Facebook 需要使用各種新技術從世界各地收集大量公開數據。“這里頭很多工作其實建立在我們在 Facebook 多年研究的基礎之上，就像不同的樂高積木，我們有點像是把積木拼在一起來構建今天的系統，”Fan 解釋道。

　　該團隊首先采用 CommonCrawl 來從網絡上收集文本示例，這是一個開放的網絡抓取數據庫。然后他們著手用 FastText 來識別文本所屬的語言，后者是 Facebook 幾年前開發并開源的文本分類系統。“這個系統基本上是看一些測試然后嘗試判定文本是用什么語言寫的，”Fan 說，“這樣我們就把一堆網絡文本按照不同的語言分開了，接下來我們的目標是識別對應的句子。”

　　“傳統上，人們使用人類譯員來創建翻譯數據，”她繼續說道，“這很難大規模來做，比如，你很難找到同時講英語和泰米爾語的人，同時講法語和泰米爾語的就更難了，非英語翻譯仍舊是一個有待加強的領域。”

　　為了大規模挖掘必需數據，Fan 的團隊重度依賴 LASER 系統。“它讀取句子，抓取文本并構建文本的數學表示，具有相同意思的句子將被映射到同一個意涵里，”她解釋道，“如果我有一句中文和一句法文，說的是同一件事，它們就會像韋恩圖 (Venn diagram)一樣有所交疊——交疊區域我們就認為是一組對應的句子。”

　　當然，不是所有語言都有大量的文字內容在網上。

　　遇到這些情況，Fan 的團隊使用單語言數據來改進。以中文譯法文為例，Fan 解釋道：“如果我的目標是翻譯中文為法文，但是因為某些原因，達不到足夠好的翻譯質量，那么我可以試著用法文的單語言數據來做改進。我要做的是訓練一個反過來的系統：從法文到中文。比如我從維基百科上取得所有的法文，然后把它翻譯到中文。”

　　這樣一來就有了大量的機器翻譯生成的 “人工合成”語料。Fan 說，“有了這些從法文反向譯過來的‘人工合成’的中文之后，我可以把這些數據加在我的前向模型里。也就是我用原來的中文數據加上這個補充出來的‘合成’數據，然后再把它們都譯成法文。由于新加了很多例句——在輸入和輸出兩端都有——模型會更加強大。”

　　這個項目是否會產生一條 “數字巴別魚”，能在全球 6200 多種口語之間進行無損翻譯，還有待觀察。Fan 指出，這個項目的最終成功取決于 AI 能夠利用的資源量。對于法語、漢語、德語、西班牙語和印地語等主要語言，資源是海量的。“人們用這些語言在網絡上寫了大量的文字，”她說，“他們能貢獻大量數據，我們的模型可以利用這些數據變得更好。”

　　“對于資源非常少的語言，我個人確定了很多我們可能需要改進的語言類別，”Fan 繼續說道。“對于非洲語言，我們在斯瓦希里語和南非荷蘭語方面相當不錯，我們可以在像祖魯語這樣的語言上進行很多改進，在這些語言上我們需要面對額外的研究挑戰。” M2M-100 的 GitHub 代碼鏈接：

　　https://github.com/pytorch/fairseq/tree/master/examples/m2m_100

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。