AI 特許紹介(23)AI 特許を学ぶ！究める！
～解析ツリー生成 AI～
2020 年 12 月 10 日
河野特許事務所
所長 弁理士 河野英仁
「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリューションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許権者 Google
出願日

2016 年 12 月 30 日

登録日2019 年 4 月 23 日

登録番号 US10268671
発明の名称

ニューラルネットワークを使用したテキストセグメントの解析ツリーの生成671 特許は、アテンション機構を有するニューラルネットワークを用いてテキストセグメントの解析ツリーを生成する技術に関する。
2.特許内容の説明
図１は、構文解析ツリー生成システム 100 の例を示す。

1

構文解析ツリー生成システム 100 は、入力テキストセグメント 102 を受信し、入力テキストセグメント 102 ごとに、それぞれの構文解析ツリー132 を生成する。
各入力テキストセグメント 102 は、単語のシーケンスであり、たとえば、文、文の断片、別の複数の単語のシーケンス、または、特定の自然言語の句読点である。特定のテキストセグメントの解析ツリー131 は、文脈自由文法に従うテキストセグメントの構文構造を表すツリーである。
解析ツリー生成システム 100 によって取得される入力テキストセグメントは、様々な長さのシーケンスである。構文解析ツリー生成システム 100 は、様々な数の単語および句読点を有するテキストセグメントを受信するよう構成されている。
解析ツリー生成システム 100 は、エンコーダ長短期記憶（LSTM）ニューラルネット
ワーク 110 およびアテンションベースのデコーダ LSTM ニューラルネットワーク 120を含む。
入力テキストセグメントからの解析ツリーの生成の一部として、解析ツリー生成シス2

テム 100 は、エンコーダ LSTM ニューラルネットワーク 110 を使用して入力テキストセグメントを処理し、入力テキストセグメント内の各入力に対してそれぞれのエンコーダ隠れ状態を生成する。例えば、入力テキストセグメント 102 の入力のための隠れ状態112 のセットである。
エンコーダ LSTM ニューラルネットワーク 110 は、１つまたは複数の LSTM ニューラルネットワーク層を含む LSTM ニューラルネットワークであり、各 LSTM 層は、１つまたは複数の LSTM メモリブロックを含む。
各 LSTM メモリブロックは、それぞれが入力ゲート、忘却ゲート、および出力ゲートを含む１つまたは複数のセルを含むことができ、これにより、セルは、現在の活性化を生成する際に使用するための、または、LSTM ニューラルネットワーク 110 の他の構成要素に提供されるための隠れ状態として、セルによって生成された以前の活性化を記憶することができる。
エンコーダ LSTM ニューラルネットワーク 110 は、例えば、トレーニングを通じて、入力テキストセグメント内の各入力を処理して、パラメータのセットに従って入力テキストセグメント内の入力の隠れ状態を生成するように構成されている。
特に、エンコーダ LSTM ニューラルネットワーク 110 は、入力テキストセグメント内の各入力を順番に受信し、受信した入力を処理することにより、エンコーダ LSTM ニューラルネットワーク 110 の現在の隠れ状態を更新するよう構成されている。すなわ
ち、現在受信した入力を処理することによって入力テキストセグメントからの以前の入力を処理することによって生成されたエンコーダ LSTM ニューラルネットワーク 110の現在の隠れ状態を変更する。
解析ツリー生成システム 100 は、アテンションベースのデコーダ LSTM ニューラルネットワーク 120 を使用して、入力テキストセグメントのエンコーダ隠れ状態 112 を処理して、入力テキストセグメント 102 の解析ツリーの線形化表現 122 を生成する。
解析ツリーの線形化表現は、解析ツリーを集合的に表す、事前に決定された解析ツリーシンボルの語彙からのシンボルのシーケンスである。特に、構文解析ツリーシンボルの語彙には、構文解析ツリーの一部を表すシンボル、たとえば、スピーチタグの一部等、シーケンス内の他のシンボル間の階層関係を決定するシンボルなどが含まれる。シンボルはまた、未知の単語を表す未知の単語のシンボルを含む。

3

次に、解析ツリー生成システム 100 は、線形化表現 122 から解析ツリー132 を生成する。すなわち、線形化表現 122 内のシンボルを深さ優先走査順序で解析ツリーに追加し、シーケンス内のシンボルによって指定される階層関係に一致するようにツリー内にレベルを生成する。
解析ツリー生成システム 100 は、さらなる処理のための別のシステムへの入力として、解析ツリー132 または線形化表現 122 のいずれかを提供する。例えば、解析ツリー
生成システム 100 は、入力テキストセグメント 102 を分析する自然言語処理システムへの入力として解析ツリー132 または線形化表現 122 を提供することができる。例えば、感情分析、質問応答、要約、または別の自然言語処理タスクを実行する。
アテンションベースのデコーダ LSTM ニューラルネットワーク 120 は、１つまたは複数の LSTM 層を含み、線形化表現およびエンコーダの隠れ状態で現在のシンボルを受け取るよう構成されている。また、現在のシンボルからの可能な出力のセットのそれぞれについて、アテンションベースのデコーダ LSTM ニューラルネットワーク 120 の現在の隠れ状態およびパラメータのセットの現在の値に従って、それぞれの出力スコアを生成するよう構成されている。
アテンションベースのデコーダ LSTM ニューラルネットワークはディープ LSTM ニューラルネットワークである。特定のシンボルの出力スコアは、そのシンボルが線形化表現の次のシンボルである可能性を表す。つまり、そのシンボルは線形化表現の現在のシンボルの直後に続く。
出力スコアを生成する一部として、アテンションベースのデコーダ LSTM ニューラル
ネットワーク 120 は、ネットワークの隠れ状態を更新して、更新された隠れ状態を生成する。一般に、出力順序の各位置について、アテンションベースの LSTM ニューラル
ネットワーク 120 は、現在のシンボルおよびエンコーダの隠れ状態を処理して、入力のエンコーダ隠れ状態に対してアテンションベクトルを生成し、位置の出力スコアのセットを生成すべく、アテンションベクトルを処理するように構成される。
次に、構文解析ツリー生成システム 100 は、出力スコアに従って、すなわち、出力スコアが最も高いシンボルを選択することによって、出力順序における位置のシンボルを選択する。
3.クレーム671 特許のクレーム 1 は以下の通りである。
4

1. １つまたは複数のコンピュータによって実行される方法であって、以下を含む方法；
入力順序に従って配置された複数の入力を含む入力テキストセグメントを取得し、入力テキストセグメントの各入力に対してそれぞれのエンコーダ隠れ状態を生成するために、エンコーダ長短期記憶（LSTM）ニューラルネットワークを使用して入力テキストセグメントの入力を処理し、入力テキストセグメントの解析ツリーの線形化表現を生成するために、アテンションベースのデコーダ LSTM ニューラルネットワークを使用して、入力テキストセグメン
トの入力のそれぞれのエンコーダ隠れ状態を処理し、ここで、入力テキストセグメントの解析ツリーの線形化表現は、出力順序に従って配置された解析ツリーシンボルの所定の語彙からのシンボルのシーケンスであり、各入力は、シンボルのシーケンスからの 1 つまたは複数のシンボルに対応し、
ここで、エンコーダ LSTM ニューラルネットワークおよびアテンションベースのデコーダ LSTM ニューラルネットワークは、トレーニングテキストセグメントのセット、および、各トレーニングテキストセグメントについて、トレーニングテキストセグメン
トの既知の解析ツリーのそれぞれの既知の線形化表現を含むトレーニングデータに対する時間トレーニング技術による逆伝播を使用してトレーニングされており、 それぞれの既知の線形化表現は、既知の解析ツリーを表すシンボルの所定の語彙からのシンボルのトレーニングシーケンスである。

4. アテンション機構に関する論文
本特許に関連するアテンション機構に関する論文1が Oriol Vinyals 氏らにより発表されている。

Oriol Vinyals, Lukasz Kaiser, Terry Koo, Slav Petrov, Ilya Sutskever, Geoffrey
Hinton “Grammar as a Foreign Language” arXiv:1412.7449v3 [cs.CL] 9 Jun 201515上記図は、「Go.」という文での LSTM + A モデルの実行の概略図である。
Sequence-to-Sequence モデルに、アテンション機構を追加している。各出力シンボルBt を生成するために、エンコーダの LSTM 状態に対してアテンション機構を使用するアテンションモデルを採用している。具体的には図に示すように、2 つの別々の LSTMを使用する（1 つは入力ワード Ai のシーケンスをエンコードし、もう 1 つは出力シンボル Bi を生成またはデコードする）。
エンコーダの隠れ状態は(h1,…, hTA) で示され、デコーダの隠れ状態は（d1, …, dTB）：=（hTA + 1,…, hTA + TB）で示される。入力単語（1,…, TA）の各出力時間 t でアテンションベクトルを計算すべく、以下のとおり定義する。

ベクトル v と行列 W’1, W’2 は、モデルの学習可能なパラメータである。ベクトル utの長さは TA であり、その i 番目の項目には i 番目の隠れエンコーダ状態 hi にどれだけ注意を払うべきかというスコアが含まれている。これらのスコアは softmax によって正規化され、エンコーダの隠れ状態に対しアテンションマスクを生成する。最後に、d’t を dt と連結する。これは、予測を行うための新しい隠れ状態になり、リカレントモデルの次のタイムステップに送られる。

上記図は、解析ツリー及びその線形化表現を示す。
上記のモデルを解析に適用するには、解析ツリーをシーケンスに変換する可逆的な方法を設計する必要がある（線形化）。深さ優先探索の順序に従い、最初にネットワークは左から右へのスイープで文を消費し、メモリ内にベクトルを作成する。次いで、これ6

らのベクトルの情報を使用して、線形化された解析ツリーを出力する。3 つの LSTM レイヤーを使用し、入力文を逆にして、品詞タグを正規化する。
「Go」という文での LSTM
+ A モデルの実行例が上記図に示されている（上部の灰色のエッジはアテンションを示している）。

上記テーブルは F1 スコアを示している。通常の LSTM と比較して LSTM+A（LSTMにアテンション機構を追加）及び LSTM＋A+D（D:ドロップアウト）が高いスコアを記録している。

また文が長くなったとしても、F1 スコアは高いスコアを維持している。

7

上側に示されているのはアテンションマトリックスで、各列は入力に対するアテンションベクトルを示す。文章は”The yield on the benchmark issue rose to 10% from 5%”である。下側には、アテンションマスクが右に移動する、4 つの連続するタイムステップの出力が表示されている。図に示す通り、ターミナルノードが消費されるたびに、アテンションポインタが右に移動する。なお、黒矢印はモデルがアテンドする場所であり、黒丸がツリー内でデコードされている現在の出力である。
各列が入力に対するアテンションベクトルであるアテンションマトリックスから、モデルが解析ツリーを生成する際に 1 つの単語に非常に鋭く焦点を合わせていることが理解できる。また、フォーカスが最初の単語から最後の単語に単調に移動し、単語が消費されると決定論的に右に移動することも明らかである。
以上
8著者紹介河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フランクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏季セミナー修了、MIT(マサチューセッツ工科大学)コンピュータ科学・AI 研究所 AI コース修了。
AI 特許コンサルティング、医療 AI 特許コンサルティングの他、米国・中国特許の権利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech
特許入門」、「AI/IoT 特許入門 2.0」がある。

9