機器翻譯史

一般認為，機器翻譯的歷史始於 1950 年代。雖然相關理論和研究更早之前就已經進行，但在 1954 年初的喬治城大學的實驗是機器翻譯史中的一個里程碑，該實驗成功以電腦將四十多條俄文句子自動翻譯成英文，標誌著現代機器翻譯的開端。美國也因此投入了大量資金研究機器翻譯。上述實驗的研究人員聲稱在三或五年內，機器翻譯中遇到的語言邏輯的困難將會迎刃而解。蘇聯的研究人員隨後也進行了類似的實驗。

然而，實際進展比預期慢得多。1966 年，（Automatic Language Processing Advisory Committee， ALPAC）報告發現十幾年來的研究未能達到預期的成果，並認為機器翻譯在短期內不會取得突破性進展。此報告一出，相關的研究經費大幅萎縮。直至 1980 年代後期，由於電腦運算效能的提升及電腦成本的降低，研究的重心開始放在機器翻譯統計模型上。

至今仍沒有一個程式系統能夠達到 —「全自動優質翻譯任何文體」（fully automatic high quality translation of unrestricted text）的境界。。然而，現在有很多程式在嚴格限制下能提供準確的翻譯。其中有些是網路服務，如 Google 翻譯和 SYSTRAN 系統。後者為 AltaVista 的 BabelFish 提供技術支援（BabelFish 自 2008 年 5 月 9 日為雅虎所有，2012 年 5 月被微軟 Bing 翻譯取代）

起源

機器翻譯可追溯至 9 世紀的阿拉伯密碼學家肯迪（Al-Kindi）的工作，他開發了系統語言翻譯技術，包括現代機器翻譯中所使用的密碼分析、頻率分析以及機率統計。十七世紀時，哲學家如萊布尼茲與笛卡爾提出程式碼字，把字和語言聯絡。但這些建議仍然是理論，沒有發展成實際的機器。1629 年，笛卡爾提出了一種通用語言，不同語言的同意義思想共享一個符號。

最早的「翻譯機」是喬治・阿氏羅利（Georges Artsrouni）於 1930 年代中期所申請的專利，是一個使用紙帶的自動雙語詞典。俄羅斯人彼得・特洛揚斯基（Peter Troyanskii）則提出另一項更詳細的方案。該方案包含了雙語詞典，以及根據世界語的文法系統來處理語言間的文法作用的方法。系統被分為三個階段：第一階段由以源語言為母語的編輯者，將詞彙組織成邏輯形式並進行句法功能；第二階段是讓機器將這些形式「翻譯」成目標語言；第三階段需要以目標語言為母語的編輯者將此輸出正規化。他的計劃仍默默無聞，直至 1950 年代末期，特洛揚斯基的提案才為人所知，而那時電腦已是眾所周知並被使用。

早期發展

時任洛克菲勒基金會的研究員的沃倫・韋弗於 1949 年 7 月，在他發表的名為「翻譯」的備忘錄中首次提出了基於電腦來進行機器翻譯的構想。這些構想是基於資訊理論、二戰期間密碼破譯的成功、關於自然語言根本的普遍原則的理論。

幾年後，許多美國的大學開始認真研究這些想法。1954 年 1 月 7 日，在紐約的 IBM 總公司首次於喬治城 - IBM 實驗中公開展示了機器翻譯系統。此次展示亦廣泛獲得報紙報導，引起公眾的興趣。然而該系統只能被稱為「兒戲」，一共只有 250 字和 49 句經小心篩選的俄文句子翻譯為英文，主要是化學方面的內容。儘管如此，它仍促進了一個觀點：「機器翻譯即將成為現實」；不但刺激了美國，還刺激了世界上許多國家對該項研究投入資金。

早期的機器翻譯系統是透過使用大型雙語詞典和手動編碼的規則來定位輸出結果的詞序，但這類系統最終在當時的語言學發展中被認為限制過多，因此如生成語言學和轉換生成語法都被用來試圖改善機器翻譯的品質。

在此期間，作業系統被安裝。美國空軍使用的系統是由 IBM 和華盛頓大學生產，而位於美國的原子能委員會和於義大利的歐洲原子能組織使用的系統則是由喬治城大學所開發。儘管輸出的品質粗劣，但它仍然滿足了許多客戶在速度方面的主要需求。

在 1950 年代末，美國政府要求以色列的哲學家、語言學家及數學家耶霍舒亞・巴爾－希勒爾（Yehoshua Bar-Hillel）調查可否利用機器執行全自動高品質的翻譯。耶霍舒亞提出了一個關於語義歧義或雙重意義的難題。試分析以下句子：

Little John was looking for his toy box. Finally he found it. The box was in the pen.

“Pen” 這個詞可以有兩個含義，第一個含義指人們用來書寫的工具，第二個含義指某種容器。對人而言，其含義顯而易見，但他聲稱如果沒有「萬用百科全書」，機器將永遠無法處理這個問題。當時，這種型別的語義歧義只能以約限語言為機器翻譯編寫源語言文字來解決，這種約限語言所用的詞彙只會有一個確切的含義。

1960 年代、自動語言處理顧問委員會報告及 1970 年代

美國與蘇聯於 1960 年代的研究，主要都集中在英文與俄文的語言配對翻譯。翻譯的主要物件是科學和技術上的檔案，如科學期刊的文章。粗糙的翻譯足以瞭解文章的基本內容。如果討論的主題被視為是機密，它會被送往人類譯者以取得完整的版本，不是的話則被捨棄。

機器翻譯研究在 1966 年隨著 ALPAC 報告的出版遭受了巨大的打擊。該報告由美國政府委託，由釋出，美國政府於 1964 年召集七名科學家組成該委員會。美國政府擔心投入了大量資金之後卻進展不大。該報告的結論是「機器翻譯相較於人工翻譯更昂貴、更不準確、速度更慢，且儘管花費巨大，機器翻譯仍不太可能在不久的將來達到人工翻譯的水準。」

然而，該報告也建議開發一些工具來幫助翻譯人員（例如自動詞典），並應該繼續支援某些計算語言學的研究。

該報告的發表對美國的機器翻譯研究產生了深遠的影響，對蘇聯和英國的影響則較輕微。美國的機器翻譯研究幾近中止至少超過十年。然而相關研究在加拿大、法國和德國仍持續進行。在美國的主要例外有 Systran（彼得・託馬創立）和 Logos（伯納德・斯科特創立），他們分別在 1968 年和 1970 年成立了自己的公司，並為美國國防部服務。1970 年，美國空軍安裝了 Systran 系統，歐洲共同體委員會隨後也在 1976 年安裝該系統。METEO 系統是由蒙特婁大學開發，並於 1977 年安裝在加拿大，負責將天氣預報從英語翻譯成法語，在 2001 年 9 月 30 日被競爭對手的系統取代之前，METEO 系統每天翻譯近 8 萬字，每年翻譯近 3000 萬字。

1960 年代的研究集中在有限的語言配對和輸入上，而 1970 年代受全球化以及加拿大、歐洲和日本對翻譯的需求影響，刺激了對低成本機器翻譯系統的需求，目的是為了用於翻譯一系列技術和商業檔案。

1980 年代和 1990 年代早期

到了 1980 年代，用於機器翻譯的安裝系統在多樣性和數量上都有所增加，許多依賴大型計算機技術的系統投入使用，例如 Systran、Logos、Ariane-G5 和 Metal。

由於微型電腦的可用性提高，形成了低端機器翻譯系統市場。歐洲、日本和美國的許多公司都利用了這一點，而系統也被引入了中國、東歐、韓國和蘇聯市場。

1980 年代，日本的機器翻譯活動非常活躍。隨著第五代計算機的計畫，日本打算在計算機硬體和軟體方面超越競爭對手，許多大型日本電子公司參與了與英語互譯的專案（富士通、東芝、NTT、兄弟、Catena、三菱、夏普、三洋、日立、NEC、松下、弘電社、Nova、沖電氣）。

1980 年代的研究通常依賴於各種中介語言表徵來進行翻譯，包括構詞學分析、句法分析和語義分析。

1980 年代末，新的機器翻譯方法大量湧現。IBM 開發了一個「基於統計方法」的系統。Makoto Nagao 與其團隊使用了基於大量翻譯範例的方法，這種技術現在稱為「基於例項」的機器翻譯。這兩種方法的一個顯著特點是忽略了語法和語義規則，而是依賴於對大型文字語料庫的操作。

在 1990 年代，受語音辨識和語音合成技術成功的鼓舞，隨著德國 Verbmobil 專案發展，開啟了語音翻譯研究。

前向區域語言轉換器（FALCon）系統是美國陸軍研究實驗室設計的一種機器翻譯技術，1997 年投入戰場，為波斯尼亞計程車兵翻譯檔案。

由於低成本和功能更強大的計算機的出現，機器翻譯的使用有了顯著的增長。1990 年代初，機器翻譯開始從大型電腦向個人計算機和工作站過渡。兩家公司 Globalink 和 MicroTac 曾一度引領個人電腦市場，之後兩家公司的合併（1994 年 12 月）被認為符合兩者的利益。Intergraph 和 Systran 也在這個時候開始提供 PC 版本，網站也可以在網際網路上找到，例如 AltaVista 的巴別魚（使用 Systran 技術）和谷歌語言工具（最初也只使用 Systran 技術）。

2000 年代

機器翻譯領域在 2000 年代發生了重大變化，大量的研究投入了統計機器翻譯和基於例項的機器翻譯。在語音翻譯領域，研究重點則是將翻譯系統從領域限定的系統轉向領域不限定的系統。在歐洲的不同研究專案（如 TC-STAR）和美國（STR-DUST 和 US-DARPA-GALE），已經制定了自動翻譯議會演講和廣播新聞的解決方案。在這些場景中，內容翻譯不再侷限於任何特定領域，而是要涵蓋各種主題。法德合作的 Quaero 專案研究了「為多語言網際網路上使用機器翻譯的可能性」。該專案不僅要翻譯網頁，還要翻譯網際網路上的影片和音訊檔案。

這段時期只有幾間公司將統計機器翻譯投入商業用途，例如 Omniscien Technologies（前身為亞洲線上），SDL / Language Weaver（銷售翻譯產品和服務），Google（在 Google 的語言工具中，將其專屬的統計機器翻譯系統用於某些語言組合），微軟（使用其專有的統計機器翻譯系統翻譯知識庫文章）和 Ta with you （提供基於統計機器翻譯領域與一些語言知識的適應機器翻譯解決方案）。隨著研究人員將句法和形態（即語言）的知識結合到統計系統，並結合了現有基於規則系統的統計資料，研究人員開始對混合技術產生了興趣。

2010 年代

神經機器翻譯 (NMT) 方法在這段時期取代了統計機器翻譯。神經機器翻譯一詞是由 Bahdanau 等人和 Sutskever 等人所創造，他們在 2014 年發表了第一篇關於該主題的研究。神經網路只需一小部分統計模型所需的記憶體，且整段句子能以整合的方式建模。百度於 2015 年推出了第一個大規模的神經機器翻譯系統，Google 隨後於 2016 年推出了 Google 神經機器翻譯系統 (GNMT)，緊隨其後的是 DeepL 翻譯等其他翻譯服務，微軟翻譯等老式的翻譯服務也改用了 NMT 技術。

神經網路使用的是被稱為序列到序列 (seq2seq) 的單一端到端神經網路架構，這種架構使用了兩個遞迴神經網路 (RNN)：「編碼器」和「解碼器」。編碼器在源句子上使用編碼向量，解碼器則根據先前的編碼向量產生目標句子。注意力層、轉換技術和反向傳播技術的進展使神經機器翻譯變得靈活，並被應用到大多數的機器翻譯、摘要（summarization）和聊天機器人技術。