永田昌明
NTT コミュニケーション科学基礎研究所
上席特別研究員

DIFFERENT はほめ言葉である．
未来を論理的に語る訓練を心掛けよう

近年，ニューラルネットワークを用いた機械翻訳の研究は急激に進歩し，機械翻訳の精度は大幅に向上しました．Web サイトやスマートフォンのアプリによる翻訳が普及してきている中，その精度にはまだまだ課題が残されています．この精度向上をめざして研究者は文脈や状況，文化等をも反映したさらに高度な対訳技術研究に勤しんでいます．今回は，文脈 ・ 状況に基づくニューラル機械翻訳を追究する永田昌明 NTT コミュニケーション科学基礎研究所上席特別研究員に，研究の進捗と研究者としてのあり方について伺いました．

自然言語処理のトップレベルの国際会
議で高評価
現在，手掛けている研究内容について教えてください．

た中，私が手掛けていた機械翻訳の分野においても，2016年ごろに翻訳の精度が急速に向上し，ヒューマンパリティ，つまり人間並みの翻訳ができるようになりました．これまで不可能だと思われていたことが突然できる時代がやって前回お話させていただいた2013年から一貫して，ある言きたのです．このような時代の流れを受けて，今後の研究語を別の言語に翻訳する技術を追究していますが，対象はテーマを模索する中で，前後の文により翻訳文の文意が変単語の対訳と文法をベースとした統計的機械翻訳から文わってくるといった課題が山積していることに気付き，こ脈・状況に基づくニューラル機械翻訳へと変化しました（図の解決をめざして文脈・状況に基づくニューラル機械翻訳1）．2014年ごろから AI（人工知能）技術が急激に進歩し，というテーマにたどり着きました．

囲碁の勝負で AI が人間に勝ち，難しいとされていた音声Web サイトやスマートフォンのアプリによる翻訳機能認識が可能となるばかりかその質が劇的に向上する等，AIを使うと，その精度は高く高校生の宿題程度の英作文なら関連の各研究分野に大きな変化が現れてきました．こうし機械翻訳のほうが上手ではないかと思えるほどです．私は2021.499

一文単位の翻訳は実用レベル

日常会話

文脈と状況を考慮した翻訳へ

短い文・フレーズ

会議通訳

文書翻訳ニューラルネット（深層学習）により翻訳精度は大幅に向上し，一文単位の翻訳は実用レベルになった．今後は文脈と状況の考慮が課題．

図1

機械翻訳の現在の到達点と次の⽬標

貸自転車屋さんで店員と外国人がスマートフォンの翻訳機方いるにもかかわらず，つい男性を連想してしまうような能を使って交渉している場面に遭遇し，そのやり取りを見ジェンダーバイアスの問題も含まれます．そして 3 番目はながら「すごいな，翻訳技術もここまで来たか！」と感心

1 つの単語が保有する複数の意味や表現から適切な意味やしました．一方で， 2 人の間の会話は円滑とはいえるもの表現を見つけ出して反映することです．

ではありませんでした．それは，微妙な言い回しや，ニュアンスは翻訳できていないからでした．
これは，ニューラル機械翻訳の少し困った特徴で，文章訳する場合を考えます．日本語の第 １ 文に依存して，日本語の第 ２ 文の英語訳が決定される仕組みです（図 2 ）．

そのものとしては母語話者並みに流ちょうな訳文を生成す「申し訳ありませんが，先生は午後，少し遅れているのる反面，訳文が原文の意味を忠実に再現しないことがあるです．診察するまでに20分ほどかかると思います」というためです．従来の機械翻訳システムは文を基本的な入力の日本語を英訳すると，“I am afraid that the doctor is単位としていたので，たとえ 1 つずつの文の翻訳精度が人

running a bit late this afternoon. It might be about

間に匹敵したとしても，文書や会話のような複数の文から20mins before he can see you.” が正答として提示さ構成されるテキストを翻訳すると，文脈や状況を考慮してれます．しかし，日本語の第 ２ 文において「先生」といういないために照応関係が一致しない，訳語に一貫性がない主語が省略されているため，“It might be about 20minsという問題が生じてしまうのです．

before we can see you.” のように，ドクター（三人称

このような現在の技術をさらに進化させるためにご研究に臨まれているのですね．

100

文脈や状況を考慮した翻訳の例として日本語を英語に翻単数）に該当するはずの主語が「私たち」になってしまうことがあるのです．さらに，これには，ジェンダーバイアスが存在します．英語では代名詞を選択する際には性別をこれに対応するための課題は 3 つあります． 1 番目は日特定しなければいけません．しかし，機械は「ドクターは本語の会話では往々にして主語や目的語が省略されますが，男性である」という認識の下，“he” と翻訳してしまうのその省略された主語や目的語を文脈から判断して翻訳するです．

こと． ２ 番目は会話に登場してくる人物が誰かを反映した

このように日本語から英語に翻訳する際，日本語におい翻訳にすること．これには例えば「脳外科医」には男女両て省略されてしまう主語や目的語をうまく解釈しないと，2021.4

原言語

目的言語

先行文 申し訳ありませんが，先生は午後少し遅れているんです．

I’ m afraid that the doctor is running a bit late this afternoon.

入力文 診察するまでに20分ほどかかると思います．

正解: It might be about 20 minutes before he can see you.
誤り: It might be about 20 minutes before we can see you.

原言語

目的言語

先行文 昨日，渋谷へ行った． I went to Shibuya yesterday.
入力文 すごい人だった

正解: There were a lot of people.
誤り: He was a great man.

さらに英語の代名詞に性別の区別があるため「先生」や「人」の訳語にジェンダーバイアスの問題が生じる．

図2

⽂脈の考慮が必要な翻訳の例

意味が変化してしまうことに加えて，訳語が文脈によって翻訳になっている部分とそうでない部分を判別できること変化してしまうのです．例えば「昨日，渋谷に行った．すを発表しました（図 3 ）．この取り組みは先駆的で精度がごい人だった」という日本語における「すごい」のニュア

著しく高く，画期的だと評価されました．

ンスは「渋谷に行った」を受ければ「人出の多さ」だろうと考え，“There was a lot of people.” となるでしょう．
しかし，文脈を反映せずに別の意味で解釈されると，“Hewas a great man.” 等と，文としては間違いありません
が前の文に呼応しない翻訳文になってしまうのです．
さらに，どんなに翻訳精度を高めても完璧な翻訳はでき人と違うことをして，できるだけ物議を醸す
素晴らしい研究成果を上げられたのですね．研究活動をするう
えでは何を大切にしていらっしゃいますか．

ませんから，誤訳にどうアラームを鳴らすかも重要です．

私は人と違うことをすること，できるだけ（いい意味で）例えば誤訳が発見されたとき，統計的機械翻訳の場合，翻物議を醸し出すことをしたいと心掛けています．ニューラ

訳された文章が元の文章のどこにあたるかを調べたいとき

ル機械翻訳において単語対応ができないのはとても不便でには，カーソルを文章に当てるとその部分を示すことがであるなどの問題意識を持っており，この問題を解消するた

きました．ところがニューラル機械翻訳は文全体を解釈しめ，他の人とは違う方法を試して模索した結果，偶然ではて意味ベクトルを作成し，そのベクトルに従って翻訳がなありますが，「言語が違っていても，ニューラルネットに，されるので対応する部分を具体的に特定できないのです．

ある単語と別の単語が意味的に近い存在であるかを学習さ

こうした状況をかんがみて，単語対応，文対応といわれせるのは，実は簡単で，300文程度の単語対応の正解デー

る，入力した文章と出力した文章の対象を具体的に示すこタがあれば高い精度で単語対応を求められる」ことを発見とを目標に研究を進めました．そして，2020年に自然言語したのです．

処理・計算言語学の分野での世界最大の国際学会の 1 つで発 見 に 至 る プ ロ セ ス は， ま ず multilingual BERT

ある EMNLP(Empirical Methods in Natural Lan­

（Bidirectional Encoder Representations fromguage Processing) において，文脈を反映してお互いに＊Transformers）で学習した単語の意味ベクトルを眺めて

2021.4101

languageismeansofcommunication

言語

コミュニケーションの道具はaである

language is a means of communication
Q. 言語
A. Language
Q. はA. No_Answer
Q. コミュニケーション
A. communication…
日本語文の単語（スパン）に対して英語文で対訳となる単語列（スパン）を求める．
双方のスパンの意味ベクトル表現から対応関係を決める．

図3

⾔語横断スパン予測に基づく単語対応の例

みたところ，多言語間の対訳文をデータベース化した，いしたのです．

わゆる対訳コーパスを学習に全く使用していないにもかか試行錯誤を繰り返して「こんなやり方もあるかもしれなわらず，でき上がったモデルの中では，実は似たような単いな」と何気なく取り組んだことが画期的な発見に結びつ

語はベクトル空間上の割と近い場所に存在している状態にいて驚きましたが，これも人と違うことをして，物議を醸あることに気付いたことです ．

すことをしようという心掛けによるものです．

（1）

その理由は言語が違っても数字やアルファベット等で表こうした考えに至ったのは30代前半に米国で勉強させて記された部分は共通であることや，日本語と中国語も漢字いただいた経験に由来するのかもしれません．私は 2 度渡を使用することで重なるように，近い言語どうしであれば

米 し て い ま す． 1 度 目 は CMU（Carnegie Mellon

何らかの共通部分があるからです．それを眺めたときに，University）での経験です．彼らは誉め言葉として “He共通する表記や言葉がピボットとなってそれを中心に各言is a different.” と表現していたのを聞き，“different”語が独自の世界を広げるという状況が起きているのかもしは誉め言葉だと知りました．また， 2 度目の AT&T でのれないと考えました．この着想からニューラルネットにあスーパーバイザである Kenneth Church 博士も，「私はる単語と別の単語が意味的に近い存在であるかを学習させ人と違うことをして，物議を醸すものをねらう」と話してるのは実はとても簡単で，300文程度の単語対応の正解デーおり，私は研究者としてその姿勢に深く共感しました．こタがあれば高い精度で単語対応を求められることを導き出の経験をきっかけに「違う」ことは良いことなのだと価値観が変わりました．

＊ BERT：Googleによって開発された，Transformerと呼ばれる深層学習法を用いて大量のテキストから事前に学習された言語の意味表現モデル．テキ
スト分類など目的別の正解データを用いてさらに学習すると高い精度が得られる．Multilingual BERTは104言語のテキストから1つのモデルを学習したもの．

102

2021.4

また， 2 度の渡米を経てサーベイの重要性を学びました．
人と違うことをするには人と同じ部分を理解していなくてはなりませんから，自らの研究がどのポジションにあるか，何が分かっていないか等のサーベイには今も真摯に取り組たのは Google マップで到着時間を予測する機能です．道んでいます．

路のすべての交差点と道路のリンクの間，人の移動の計測

米国での経験は研究者としての歩みに大きく影響したのですね．

をして，A 地点から B 地点へ移動するのにかかる時間を時刻ごとに予想します．また，Uber Eats のレコメンデー

CMU では研究者の心構えも教えていただきました．米ション機能も同様に，注文者と注文した物等を組み合わせ国の大学の新学期にあたる夏から秋にかけて，研究について当事者が次回に注文する物を予測しています．このグラてのガイダンスが開かれていました．そのときに「研究とフニューラルネットワークのように言語化されない現実世は人間の知能の最前線にあって未解明の物事に英知を持っ界の「状況」に関する情報を反映することで，翻訳の精度て臨む」と学びました．研究とは何か，何に貢献すべきか，をさらに向上させることができると考えています．

といった基礎となる概念を明確に教えていただく機会はそれまでの研究者生活においては少なかったので，早い段階でそれ知ることができてラッキーだったと感じています．
また，米国では博士課程において，当時から研究の方法や成果，到達度等，博士号への評価指標が具体的に示されていましたから，研究への取り組み方や目標設定をしやすかったのを覚えています．

前代未聞の「辞めます」宣言
これまでの研究活動を振り返って印象に残っていること，そして今後はどのようなことに取り組むのかを教えてください．
2016年の夏に口にした「統計的機械翻訳辞めます」宣言が印象に残っています．30年ほど機械翻訳について研究しNTT にも「テーマ企画」と呼ばれる非常に良い伝統がてきましたが，ニューラル機械翻訳の登場による技術変化あります．これは入社 1，2 年目の研究者の研究企画発表によって機械翻訳の研究は大きく変化し，過去の研究が帳会です．登壇者は 3，4 年間の研究計画を理論立てて発表消しになるほどのインパクトでした．これにより，ニューします．これは米国の大学院の “Thesis proposal（論ラル機械翻訳の分野の研究者は一斉にスタートラインに立文計画書）” ととても良く似ています．どちらにおいても，つことになりました．こうした状況の中，私は研究方針を自らが研究したこと，いわゆる過去について語ることは，報告する会議で「統計的機械翻訳はニューラル機械翻訳に研究者として経験を重ねることでおのずと身についてくるは勝てません，だから辞めます」と宣言したのです．今かことですが，計画を語る，いわゆる未来を論理的に語ろうら思うと前代未聞だっただろうなと思います．とすることは訓練が必要です．その機会を若い研究者にシそれまでチームで取り組んでいた統計的機械翻訳の研究ステムとして与えるのは非常に良いことだと思います．こにおいて，年長でリーダーだった私は，第一線から退いた

うした活動から自らの立脚点を理解して，使命を明確にすような感覚でした．一方で，技術革新に伴ってそれまでのることが人と違う研究につながり，物議を醸す研究成果をチームから個人で研究できるようになり， 1 人の研究者と上げることにつながると考えます．

して復活することができました．そして，管理職としてチーこうした考えに基づいて，私は常に自分の研究を客観的ム を 率 い る 立 場 の 年 齢 に な っ て， 再 度 第 一 著 者 (firstに眺め，新しいことに取り組むようにしています．最近はauthor) として論文発表することができたことはとても感

言語の外側にある現実世界の「状況」をニューラル機械翻慨深いものがあります．

訳に反映するためにグラフニューラルネットワークの勉強

今後は研究の土台になるような何かを残したいですね．

を始めました．グラフニューラルネットワークはさまざまどんな研究をするうえでも，データは非常に重要な存在でなところで実用化されています．例えば，最近実用化されす．機械翻訳を研究していくうえでは，土台が対訳コーパ

2021.4103

スや翻訳データベースではないかと思います．多言語間の定期的に自分の研究と向き合うことは，研究企画書を書対訳文をデータベース化したものを対訳コーパスと呼びまくことでもそのスキルを養えます．NTT では毎年， 1 年すが，これを作成するのに必要なのがデータ源なのです．

間の研究計画を提出します．その際に 1 年前の研究計画に初期には国際機関の文書をデータ源としていたのですが，目を通すことになるのですが，ベストエフォートの計画と現 在 の 機 械 翻 訳 の 典 型 例 と い わ れ る，Google 翻 訳 ははいえ，いかに自分の予測が当たらないかを目の当たりにWeb をデータ源としています．一方で，Google のようすることになるのです．ところが，何度か繰り返すうちにな 1 つの企業が独占的に情報を蓄積するのは良い状況とは実行できたことや予測どおりになったこと，あるいは反対いえないという意見もあり，Web をクロールしてデータに実行できないこと，予測に反したことが分かるようになを 一 般 に 提 供 す る こ と を 目 的 と す る NPO で あ るります．経験を重ねることでより現実的な予測に基づいた

Common Crawl の Web アーカイブから，大規模に対訳研究計画を立てられるようになり，第三者にそれを分かり文を抽出して対訳コーパスを作成する試みがいくつか行わやすく伝えるためのスキルも養えます．
さらに，長期的に取り組むためには興味のあるテーマでれています．
この Common Crawl を利用したヨーロッパ言語—英語なければなりません．私自身，自分の将来の見通しが立っ間の大規模な対訳コーパスを作成するプロジェクトていたかというとそうでもありません．かつては 5 年，10ParaCrawl では，4000万文を集積した段階で機械翻訳の年を見据えて動いてはいましたが，リアリティがあるのは精度が人間と同等になったといいます．日本語はそこまで最初の １ ， 2 年かもしれません．しかも，変化の激しい今蓄積がありませんから，このままだと機械翻訳業界は欧州の時代において 5 年，10年先の未来を予測することは困難においていかれてしまいます．このため私は NTT が作成極まります．こうした状況においても，想像できる範囲で，した日英対訳コーパス JParaCrawl を充実させ，日本語想像した未来において自分はどうありたいかを描いてみるの翻訳研究の発展に尽力したいと考えています．

ことが大切だと思います．

過去に定年退官間近のある大学教授が学生たちを動員し若い研究者の皆さん，研究者ほど現役が長い仕事は他にて，後に tatoeba と呼ばれる大規模な翻訳データベース

ないかもしれません．自分が長く付き合えるテーマを見つ製作に臨まれていました ．実は当時，「定年間近でこんけて研究活動を続けていってください．

（2）

なことを始める意味は何だろう」と，その先生の熱い思いを理解できなかったのです．しかし，自分自身がその年齢に近づいた今はその気持ちが分かります．多くの人がアクセスできるデータベースを作成する活動には引き続きかかわっていきたいと考えています．
若い研究者へアドバイスをお願いできますでしょうか．
研究者にとっては，自分の興味を持ったテーマを長期にわたって追求するほど有利な状況になります．そのためには，他者に分かりやすく説明できる力を身につけること，そして，定期的に自分の研究と向き合うことの ２ つを大切にしてほしいと考えています．

104

2021.4■参考文献（1） https://www.aclweb.org/anthology/2020.emnlp-main.41.pdf（2） https://tatoeba.org/jpn/