人工知能と言語処理の現状と展望
Present and Future of AI and Natural Language Processing

国立研究開発法人産業技術総合研究所

人工知能研究センター研究センター長

辻井潤一

人工知能研究センター 研究センター長、英国マンチェスター大学客員教授、国際計算言語委員会（ICCL）委員長、
AAMT／Japio 特許翻訳研究会委員長
j-tsujii@aist.go.jp

1 はじめに力する部分が、外界への働きかけを行う行動処理に対応

人工知能の研究分野は、過去 10 年、大きな技術革新の手言語の文を生成する処理である。

する。機械翻訳の場合は、外界への働きかけ部分は、相時代を迎えている。この技術革新は、機械学習、とくに言語処理の場合には、意味に結び付けられる入力デー深層学習の進展によって引き起こされてきた。本稿では、

タが文やテキストで、その基本単位が単語という記号的この変革とは、どのようなもので、また、それが言語処なものであるために、画像や音声データの処理とは違っ理の技術にどのような影響を与えてきたかを考えよう。

た性質のものとなる。また、文にはその文法に基づいた人工知能やロボットの技術は、（1）外界からのセンシ構造がある。前述のように、結果としての行動も回答文ングデータを解釈して、それらを意味に結び付ける認識であったり、相手言語での翻訳文であったりで、物理世界処理、（2）外界の状況と自らの目的とを結びつけて推論、での行動というよりは、記号的なものとなることが多い。

問題解決を行う思考処理、（3）外界に対して働きかけるの処理も、単語列という入力データを意味に結び付け、2 人工知能技術の枠組みその意味と背景知識に基づく推論処理を行い、その結果古典的な人工知能システムの枠組みを図 1 に示す。

行動処理、の 3 つに分けて考えることができる。言語

この枠組みにうまくあっていて、理解しやすいのは自分
図１ ⼈⼯知能の要素と技術的な基盤を出力する。対話システムの場合には、回答を生成し出データの獲得と認識

⾏動の実⾏と制御

知識・オントロジー

IoT x AI

実世界

センシング

Robot x AI

認識処理

モデリング

⾏動処理

⾏動

実世界

思考処理
機械学習
計算機環境シミュレーション1

図1

74

人工知能の要素と技術的な基盤

画像データを入力、その画像に写っているもののカテロボットは、目、耳などの感覚器を持っており、この感ゴリ（たとえば、車、人、壁、など）を出力とし、この覚器からのデータを解釈して、自分が置かれている環境ような入力と出力の対の集合が訓練データとなる。このを認識する。目からの感覚データは、単純化すると、写訓練データを与えると、学習器が入力と出力をつなぐ潜真を計算機に入力したようなものを考えればよい。入力

在的な規則性（関数）を学習する。この学習の結果、新データは、例えば、2 次元の画面の各点ごとに三原色のたな入力が与えられると、その学習された関数に従って、明るさが数値化されたものである。

対応するカテゴリ名が出力できる。

入力データは、3 つの数値データの組が画面上の各点入力と出力の対の訓練データを人間から与えられるだに与えられたものである。この入力データから、画面のけで、それを結びつける関数がいかなるものかについてどの部分に人が写っているか、どの部分に壁があるか、は、人間からの教示や介在なしで学習できる。このようなどを認識するのが認識処理である。単なる数値の組（ベなシステムは、入力と出力の対の訓練データが与えられクトル）の羅列であったものに、画面の領域ごとに「人」、るだけで、学習器が自力で対の間にある関数関係を学習「壁」、「通路」、「ドア」といった意味を与える。これがするという意味で、End-to-End のシステムと呼ばれる。

認識処理である。

特別寄稿で自律的に行動するロボットであろう。たとえば、自走

深層学習が広まる以前の画像認識では、例えば、「人」

感覚器からのデータが解釈され意味が与えられると、を認識するためには、どのような特徴の集合をまず見つロボットは、たとえば、移動している「人」を避けて行けるのがよいか、次に、その特徴群がどのような関係で動し、「壁」ではなく「通路」を移動して、自分の目的結びついているときに「人」と判断すべきかなど、デー地へと移動することができる。自分の目的と自分の置かタからどのような特徴を取り出し、それを認識に使うかれた環境を考えて、どう行動すべきかを思考できる。こを人間が設計することで、認識処理のシステムを作るのれが図の中央にある思考処理、推論処理である。思考処が普通であった。入力と出力の間を結ぶのに有効な特徴

理の結果として作られたプランに従って、実際に手や足のセットを人間があらかじめ設定し、その特徴を抽出すを動かすのが行動系の処理である。

るコンポーネントと特徴を使うコンポーネントとを結ぶという構成を人間が設計するという意味で、End-to-3

図２

認識処理と深層学習、End-to-End のシステム

End のシステムではなかった。
何層にも層を積み重ねる深層学習は、どのような特徴多層のニューラルネットによる画像処理群が役に立つか、その特徴群間の相互関係がどのような現在の人工知能の発展の原動力となっているのは深層ものであれば、次のレベルでの特徴群になるかを自力で学習の技術であるが、これが最初に大きな成功を収めた学習する。人間の介在なしで、例としての大量の対の集のは、認識処理の部分であった。画像を集めて、それら合だけから、入力と出力を結ぶ関数を学習できる（図 2）。の画像に何が写っているかを教えるお手本データ（訓練この End-To-End のシステムという考え方は、必ずデータとよぶ）を大量に作ると、深層学習のシステムは、しも、認識系だけに適用されるわけではない。図 1 では、そのお手本データから学習し、新たな画像に何が写って人工知能の一般な構成として、認識処理─思考処理─

いるかを認識することができる。

行動処理という 3 つの過程があると説明した。しかし、

図 2 多層のニューラルネットによる画像処理［Taigman+:Deep
Face:
Closing
the Gap to Human-Level
Performance in Face Verification, 2014 より引用］[Taigman+: Deep Face: Closing
the Gap to

Human-Level Performance in Face Verification, 2014 より引⽤]
2YEAR BOOK 2O1875

図３ Encoder-Decoder モデル

EncoderDecoder

出⼒⽂

理の結果としての行動を考えて、この対を訓練データと⼊⼒⽂

入力として認識処理への入力データ、出力として行動処して与えることで、入力データと出力行動とを結びつける関数関係が学習させることができれば、自走ロボット、対話システム、機械翻訳システムにも、End-To-End⼊⼒⽂の分散表現

図3

Encoder-Decoder モデルのシステムとして構成できることになる。
実際、ニューラル機械翻訳の場合には、原言語文（入質の違う処理がある。これの性質の違いは、Encoder-力文）と相手言語文（出力文）の対を大量に用意するだ

Decoder モデルという、認識と生成を受け持つ 2 つのけで、その間にある関数関係をシステム側が学習する。

ニューラルネットの結合でとらえられる（図 3）。

あるいは、対話の場合には、人間同士の現実のやり取り

さらには、翻訳の場合には、入力のある部分と出力文を入力─出力対の訓練データとして用意することで、一のある部分とが対応するといった規則性をとらえる必要方の人間と同じような応答を出力する End-to-End ながあり、Encoder-Decoder モデルにおける Encoder対話システムを構成することも考えられる。

部分と Decoder 部分は完全に独立ではない。このよ

このような End-To-End のシステムは、原言語の文

うな Encoder-Decoder の内的な関係をとらえるための構造をまず認識し、それをもとに相手言語の構造を計に、LSTM という別のニューラルネットとそのうえで算、次にその構造に従って出力文を生成するという、言の Attention 機構という機構が持ち込こまれる。この語構造を使った移行方式の機械翻訳システムとは大きくAttention の機構は、翻訳だけでなく、入力画像から異なる。また、原言語と相手言語の対応の確率的な関係、そのキャプション（テキスト）を出力するタスクのようおよび、相手言語の確率的な性質を学習し、この 2 つに、入力の部分と出力の部分との相互関係をとらえたいの確率モデルを結合することで、入力文に対して最適とタスクに有効である。画像からそのキャプションを出力なる相手言語の文（翻訳文）を選択する統計的な機械翻するシステムでは、入力の画像データの部分と出力のテ訳とも異なったものになっている。

キスト・データの部分とが、相互関係している。
このようなデータの構造を取り扱う必要は、言語に関4 End-to-End システムとその設計係するタスクには普通に見られる。言語には、単語が句End-to-End のシステムでは、入力と出力の対を訓ての句や節に、そして、最終的に文の単位にまとまる。
「言練データとして与えることで、人間の介在は必要がな語に文法がある」という意味は、文には、単語並びが小い、とした。この言い方は、多少、誤解のある言い方にさな単位からより大きな単位へとまとまっていく階層構なっている。実際には、画像の認識処理に使われる CNN造があること、また、任意の単語並びや句の並びがより（Convolution Neural Network） で も、 た と え ば、大きな単位にまとまるわけではなく、まとまるための規ニューラルネットの層を実際に何層にすればよいのかな則があること、をいう。

どは、解くべき画像認識のタスクに応じて、システム設計者が決める。にまとまり、句はさらにそれを含むより大きな単位とし単語並びの持つ文法的な階層構造は、単語並びの意味とも関係している。たとえば、言語のように基本要素（たとえば、単語）の並び方に意味のあるデータ、すなわち、一次元の要素の並び

The premier of the western Canadian province

方に意味のあるデータの認識処理には、画像処理で有of British Columbia

効 で あ っ た CNN よ り も、RNN（Recurrent NeuralNetwork）が有効である。

76という単語の並びは、図 4 のような階層構造を持ち、機械翻訳や対話システムでは、この傾向はさらに顕著

この階層構造から、句全体としては、階層構造の最上位になる。機械翻訳の場合、原言語の文（入力文）を認識にある Premier が句全体の意味を規定し、句全体としする部分と相手言語の文（翻訳文）を生成する二つの性ては、特定の人物を指しているが分かる。

図4

単語列の持つ階層構造
名詞句（Canadian）

名詞句（Columbia)

特別寄稿

The premier of the western Canadian province of British Columbia ...
名詞句（Procince)

図5 NERの構成

名詞句（Premier)

図4

単語列の持つ階層構造

Entity Extraction Order:
outsideinside toLayer Stacking Order: bottom to up

Dynamics: depth of the model isdetermined by nested level of entities inthe input
Terminate Stacking Layer Condition:no entities are detected

図5

NER の構成

言語の文がこのような階層構造を持つことを、文中かことができる。

ら人物を指示している句を取り出すプログラム（NER-

従来のプログラム言語は、機械語・アセンブリ言語かNamed Entity Recognizer という）では、図５のよら出発して、計算過程に関する様々な抽象化を経て、高うなニューラルネットを処理中に動的に積み重ねる形で級なプログラム言語に至った。その抽象化のやり方に応利用する。

じて、様々なシステム開発手法やエンジニアリング手法

このように、End-To-End のシステムも、入力と出も作られてきた。

力の対という訓練データを準備すれば、あとは全能で汎

これに対して、深層学習という計算の枠組みは、これ用なシステムが学習してくれるというわけではなく、対までの von-Neuman 型の計算原理、あるいは、関数型象とするタスクによって、どのようなニューラルネットや論理型の計算原理とは大きく異なるものであり、あとワークを定義すればよいかを人間（システム開発者）がの節で述べるように、そのためのプログラム言語やエンあらかじめ設計する必要がある。

ジニアリング方法論も、その発展途上にあると考えてよ

深層学習でネットワークの構造を定義することは、深い。

層学習という計算機構を前提として、一種のプログラムを記述することに対応している。
システム開発者は、実行させたい個々のタスクに関す5 End-to-End のもつ限界る自らの知見を反映したネットワーク構造を定義する。

最近、話題になっているトピックに、D. Kahneman

実際、深層学習のネットワーク構造を定義するツールは、のいう Slow な思考と Fast な思考の議論がある。前者

Google の TensorFlow をはじめとして、多くのもの

は熟考型、後者は反射的・直観的な思考といってよいだが流通している。これらのツールは、深層学習という計ろう。人間が何か判断をする場合にも、自覚的な説明は算の枠組みを前提とした一種のプログラム言語とみなす

うまくできないが非常に素早く直観的に行う判断と、自YEAR BOOK 2O1877

覚的に、いわば、論理的で系列的な推論を重ねながら行スピードを決める、といわれる。これらの似た言語同士う判断とがある。の翻訳をプロの翻訳家が行う場合には、ほとんど、反射ある画像を見て、そこに写っているもののカテゴリを的に翻訳が実行でき、入力の文を意味に結び付け、その認識する認識処理は、反射的・直観的で非常に素早く行意味を理解した上での Slow な自覚的な処理を経って翻われる。あるいは、自転車に乗るとか、泳ぐといった行訳を行う必要はない。

動の場合も、試行錯誤を繰り返すことによって、他人にこれに対して、英語と日本語の翻訳の場合には、プロはうまく説明はできないが、反射的に行えるようになる。の翻訳家の場合でも、一般的には、タイピングのスピー

これに対して、例えば、物理の問題を解くといった場ドで翻訳を行うことはできない。文を読んで、それを相合を考えると、問題文を理解し、それを数学的に定式化

手言語で言い換える間には、かなり自覚的なプロセスがし、数式を操作することで問題を解く。この過程では、介在する。これには、動詞のような述語が最後に来る日反射だけでは説明できない、自覚的な思考が関与してい本語と主語のすぐ後に来る英語の語順のために、文の構る。

造自体をかなり変えないといけない、という事情もあろ

言語による対話、大きなテキストからの要約、翻訳とう。ただ、このような構造に関する差異の調整だけでないったタスクには、この 2 つのプロセスが複雑に絡みく、入力文の意味を理解し、どのような事柄が記述され合いながら関与しているように見える。ているのかを理解し、その結果を相手言語で表現するこ

図 1 の人工知能の全体図で、認識や行動という部分は思考というものとは一応別のものとしていた。
深層学習以前の人工知能の分野は、認識や行動の部分は、パターン認識やロボティクスの分野として人工知能とで、翻訳文をつくるという処理が行われている。このような処理が介在している場合には、背景知識という入力データにはない情報の活用が必要で、End-to-End の現在のニューラル翻訳では不可能な処理となる。の中核分野とは考えられていなかった。言語処理も、単例えば、日本語を英語に翻訳する場合に、日本語では語の並びから文が持つ階層構造を認識する処理は、言語省略されている語句を前後の文脈から補う必要がある場

処理・計算言語学という独立の分野を作り、人工知能か合など、一文単位の境界を越えた情報を参照する場合にらは周辺的な分野とされた。入力データが意味に結び付は、このような明示的な理解が必要となる。

いた後、その意味の世界で人間の心が行う計算の過程をまた、語族が近い言語同士の場合には、2 つの言語で対象とするのが人工知能の中核的な研究、とみなされて単語の語源を共有している場合が多い。このため、2 ついた。このような立場は、心の中での計算過程を研究すの言語で同じことを言い表す、語源を共有した単語があるという意味で、認知主義の人工知能と呼ばれる。

り、翻訳家が文で記述されている内容を理解していなく深層学習の発展が契機となった現在の人工知能は、認ても、相手言語で対応する単語に置き換えるだけで、読識と行動の処理という人工知能の周辺と考えられてきたみ手は困難なく理解できる。これに対して、日本語と英分野を復権し、これを人工知能の中核におくこととなっ語のように語族が異なる場合には、単語の語源自体が全た。入力と出力の対という、外から観察できることかく異なっているために単語同士の対応がかなり複雑なもら、心の計算を解明しようという、行動主義の人工知能のとなる。翻訳家は、文で記述されている内容を理解しといってよい。認知主義の人工知能は Slow な思考、行て、その内容を適切に言い表す相手言語での単語を選択

動主義の人工知能は Fast な思考に重点をおいてきたとしなければならない。この訳語の選択には、理解といういってよいだろう。

過程が関与する。

翻訳は、Slow と Fast のいずれのプロセスで行われているのだろうか？

また、End-to-End のシステムの限界はあるのだろうか？

78

6 専門テキストの翻訳

よく似た言語同士の翻訳をプロの翻訳家が行う場合、現在の End-to-End の翻訳システムを使ってみると、例えば、日本語と韓国語、イタリア語とフランス語といっテキストの種類によって、翻訳の質がかなり異なることた翻訳を行う場合には、タイピングのスピードが翻訳のに気が付く。

特許のような専門用語が多い場合には、専門用語は言答を行う。
人間のオペレータと同様な振る舞いをするシステムをのが多い。この場合には、訳語の選択に理解というプロ構成するためには、現在の End-to-End のシステムに、セスを経る必要がない。したがって、理解を経ない翻訳

当該の Call センターが対象としている業務に関するモを行う現在のニューラル翻訳で取り扱いが容易な翻訳にデルとそのモデルとの関係でユーザとのやり取りを理解なっている。

するといった、現在の End-to-End のシステムにはない、

ただ、現在のニューラル翻訳の場合には、訓練データ

特別寄稿

語族が異なっても実は語源を共有し、一対一対応するもかなりの追加機能を持たせる必要がある。に出現しない専門用語にはうまく対応できないという欠専門用語の訳出について技術的な困難を抱えているが、7 今後─その 1 AI エンジニアリング

この困難は、翻訳に理解プロセスが関与する本質的な困画像認識システム、人物同定システム、ニューラル翻難さとは別種のものである。したがって、現在の技術の訳システム、対話システムなどは、5 年前のそれらと比延長上で解決できる問題だと考えられる。実際、このよべると長足の進歩を遂げている。この方向での研究をさうな未知語に対する処理は、現在、活発に研究が進めららに進展させていくことは、今後の技術開発の一つの方れている。

向であろう。

点を持っている。このため、現状のニューラル翻訳は、しかしながら、専門性の高いテキストの翻訳であって5 節、6 節では、語族が異なる言語の翻訳において、も、本当に質の良い翻訳が現在の技術の延長でできるこ

一つの単語に対して多くの訳語が存在する場合、訳語選とには、私は、否定的である。熟練した翻訳家の場合で択の問題があると述べた。ただ、この訳語選択の問題も、も、取り扱う分野についての知識に欠けている場合には、必ずしも理解プロセスを経なければ解決できないものだ

質の高い翻訳を行うことはできない。質の高い翻訳を作けではない。文中でその単語の周辺に表れている単語にる場合には、翻訳家はその分野についての背景知識を丹手がかりがある場合には、入力文と翻訳文の対を大量に念に調べたり、分野専門家からの情報提供を受けたりす

集めた訓練データから、当該単語の周辺情報と適切な訳る必要がある。わかりやすい、質の高い翻訳を作る場合語の関係が学習され、現在の技術で解けることも多い。には、明らかに意味と背景知識に基づいた理解のプロセ

日本語では省略されている情報を補う問題も、一文中のスが関与している。

ほかの箇所や直前の文といった局所的な文脈中に省略さ現在の対話システムやテキスト抄録についても、機械翻訳と同様なことが言える。コールセンターなどでのれた語が現れている場合には、現在の技術の延長で解ける。

ユーザからの質問とそれへのオペレータの回答の対を大すなわち、4 節で述べた NER のモデルのように、我々量に収集すれば、訓練データを作ることができる。こうが持っている言語に関する知識、すなわち、言語が持つして作られた End-to-End のシステムは、新たなユー構造や規則性をニューラルネットワークの構造設計に反ザからの問い合わせに対して、それなりの回答を作りだ映することで、明示的な理解のプロセスを経ることなく、すことができる。基本的な考え方は、ニューラル翻訳と翻訳や対話システムの性能を向上させることができる。

変わらない。入力文に対応するものがユーザからの質問

4 節 に 述 べ た よ う に、 深 層 学 習 で の ニ ュ ー ラ ル

文、翻訳文に相当するものが回答文となる。

ネ ッ ト ワ ー ク の 構 造 を 記 述 す る ツ ー ル、Google の

このような対話システムも、ユーザからの質問内容をTensorFlow などのツールは、深層学習という計算原理解しているわけではない。したがって、込み入った質理を基にした一種のプログラム言語だとみなすことがで問内容、たとえば、それまでの応答過程で状況が議論さきる。翻訳、対話システムを構築するためには、このプれた後で、その状況下での質問が出された場合に、状況ログラム言語を使って、翻訳や対話の研究者が自らの知に応じた適切な回答を返す、といったことはできない。

見をシステムの構造として記述していくことになる。

人間のオペレータの場合には、ユーザとのやり取りの現在の深層学習のためのツールは、対象タスクに関し過程で、ユーザの状況を理解し、その理解に基づいて回て専門家が自らの知見を簡単に表現できるという段階まYEAR BOOK 2O18

79

で成熟してはいない。従来のプログラム言語が、さまざける動きを取るためには、当該の人間の進む方向や視線まな抽象化によって高級言語になっていたように、これの方向を考慮した予測処理が必要となる。この予測処理らのツールを土台にしてより抽象度の高いモデル記述言自体が直前の人間の移動方向と視線とを入力として、そ語を作り出していく必要がある。の移動先の予測を出力とするシステムとして定式化できまた、従来のプログラム言語には、あらかじめ開発さる。このよう人の動きを予測する End-to-End の予測れた様々なパッケージやモジュールが用意され、これら器を使うためには、人間の存在を認識する処理が先行しのパッケージを組み合わせることでより複雑なシステムていなければならない。言い換えると、ロボットが、自を作っていくことができる。

らが置かれた環境の構造を認識し、その構造を前提に周入力と出力の対だけから、内部の構造を学習で作り上辺の人の動きを予測する必要がある。ここでは、周辺環

げる End-To-End のシステムでも、あらかじめ構築さ境の明示的な理解とその理解に基づく推論処理が必要とれているモジュールを組み合わせて全体を作り上げるたなる。

めの方法論、すでに構築された学習ずみモデルを再利用していく有効な手法を確立していく必要があろう。

この例のように、明示的な理解の構造的な表現（例
えば、自分の周辺環境のどの位置に人がいるか、自分のまた、現在の深層学習では、モデルの構造だけでなく、周辺に壁があるか、など）を前提にして、その構造中の様々なハイパーパラメータの調整によって、その性能が個々の要素についての推論処理を行う必要があるタスク大きく変化する。この調整は、現在のところ、システム

では、現在の End-To-End のシステムの構成をそのま設計者の経験と勘による部分が大きい。従来のプログラまでは使えない。

ム言語では、効率上の最適化をシステム側に任せられた

入力データの多様性と出力の多様性が非常に大きな場

ように、これらの経験と勘によるハイパーパラメータや合には、入力データの多様性を作る要因を部分とその構モデル構造の最適な調整がより系統的に整理され、可能造に分け、それぞれに別の推論処理を行う必要がある。

であれば、この性能の最適化をシステム側が自動的に行

このような明示的な理解の表現の必要性は、機械翻訳、うようにする必要があろう。

対話、テキスト要約などの言語処理の場合にも、いえることである。より質の高い翻訳やユーザとの過去のやり

8 今後─その 2 明示的な理解取りに従って適切な応答を返すシステムを構築するため

自走ロボットの例で述べたように、感覚器からのデー的に表現し、その表現の上での推論処理とその統合を考

タは認識処理を経て、意味と結びつけられる。この認識

えなければ、入力が持つ多様性と出力の多様性、その複器は、入力として感覚器からのデータ、出力として認識雑な対応関係をとらえることはできないであろう。

結果のカテゴリを出力する処理である。これの認識処理

End-to-End の言語処理の限界を超えるために、このは、End-to-End のシステムとして構成できる。この認ような明示的な理解の表現をシステムの中にどのように識処理の結果を使って、自走ロボットでは、自らの目的入れ込むことができるか、これが次の大きな研究課題と地に人や壁との衝突を避けながら、移動していく別のシなろう。

ステム・コンポーネントが使われる。
では、感覚器からのデータから自走ロボットの行動まで、その全体を End-To-End のシステムとして構成できるであろうか？
実際には、自走ロボットの動作環境には、非常な多様性がある。環境にいる人の人数、その配置、壁などの位置などは、さまざまに変化する。また、その環境下でとる最適な行動も、周辺の環境と目的によって変化する。
周りにいる人間の動きを予測し、それとの衝突を避80には、入力の単語列を文脈・意味・知識をそれぞれ内部9 おわりに特別寄稿

本稿では、現在の人工知能をけん引している深層学習と End-to-End のシステム構築が、機械翻訳、対話システム、自動抄録の技術にどのような変革をもたらしつつあるかを議論した。特に、深層学習に代表されるニューラルネットの技術は、機械翻訳や対話システムの性能を大きく進展させた現在、これらの技術は実世界で広く使われるようになっている。
この技術の延長で、性能はさらに向上していくことが期待できるが、その反面、End-To-End のシステム構成の限界も見え始めている。それをどのような技術で解消していくかが、次の大きな飛躍につながると思っている。認知主義の人工知能と行動主義の人工知能との融合が求められている。

YEAR BOOK 2O18

81