(57)【要約】【課題】多言語に対応した係り受け解析を実現する。【解決手段】係り受け解析システムは、１以上のプロセッサと、１以上の記憶装置と、を含む。１以上のプロセッサは、品詞の配列を取得し、特徴量抽出機械学習モデルを使用して、品詞の配列の各要素に対する複数の特徴量を抽出し、特徴量選択機械学習モデルを使用して、抽出された複数の特徴量から品詞の配列の各要素に対する特徴量を選択し、選択された特徴量に基づいて係り受け関係を推定する。【選択図】図１
2020187558.tif 000002
【特許請求の範囲】
【請求項１】
係り受け解析システムであって、
１以上のプロセッサと、
１以上の記憶装置と、を含み、
前記１以上のプロセッサは、
品詞の配列を取得し、
特徴量抽出機械学習モデルを使用して、前記品詞の配列の各要素に対する複数の特徴量を抽出し、
特徴量選択機械学習モデルを使用して、前記抽出された複数の特徴量から前記品詞の配列の各要素に対する特徴量を選択し、
前記選択された特徴量に基づいて係り受け関係を推定する、係り受け解析システム。
【請求項２】
請求項１に記載の係り受け解析システムであって、
前記１以上のプロセッサは、
言語の種類を入力として受け付け、
前記言語の種類に基づいて、前記品詞の配列の各要素に対する特徴量を選択する、係り受け解析システム。
【請求項３】
請求項１に記載の係り受け解析システムであって、
前記１以上のプロセッサは、
前記品詞の配列の各要素に対する特徴量の選択における範囲を限定する範囲情報を入力として受け付け、
前記範囲情報に基づいて、前記品詞の配列の各要素に対する特徴量を選択する、係り受け解析システム。
【請求項４】
請求項１に記載の係り受け解析システムであって、
前記１以上のプロセッサは、
前記複数の特徴量から、選択のための特徴量を取得し、
前記選択のための特徴量を使用して、前記品詞の配列の各要素に対する特徴量を選択する、係り受け解析システム。
【請求項５】
請求項１に記載の係り受け解析システムであって、
前記特徴量抽出機械学習モデルは、前記複数の特徴量それぞれを抽出するための複数の機械学習モデルを含む、係り受け解析システム。
【請求項６】
請求項１に記載の係り受け解析システムであって、
前記特徴量抽出機械学習モデルは、入力の系列に基づく処理を行う機械学習モデルを含む、係り受け解析システム。
【請求項７】
請求項１に記載の係り受け解析システムであって、
前記特徴量抽出機械学習モデルは、前記複数の特徴量の少なくとも一部の複数の特徴量を抽出するための、複数の多層パーセプトロンを含む、係り受け解析システム。
【請求項８】
請求項１に記載の係り受け解析システムであって、
前記１以上のプロセッサは、
語の配列を入力として受け付け、
前記品詞の配列の各要素に対する複数の特徴量として、前記語と前記品詞のペアの配列の各要素に対する複数の特徴量を抽出する、係り受け解析システム。
【請求項９】
請求項１に記載の係り受け解析システムであって、
前記特徴量抽出機械学習モデルは、
複数種類の言語の学習において、異なる語を語の多次元ユークリッド空間の固定点に変換し、異なる品詞を品詞の多次元ユークリッド空間の異なる元に変換する処理を行い、
前記複数種類の言語の学習の後の特定言語の学習において、異なる語を前記語の多次元ユークリッド空間の異なる元に変換し、異なる品詞を前記品詞の多次元ユークリッド空間の異なる元に変換する処理を行う、係り受け解析システム。
【請求項１０】
請求項１に記載の係り受け解析システムであって、
前記１以上のプロセッサは、前記品詞の配列の各要素に対する特徴量を選択する処理についての情報を出力する、係り受け解析システム。
【請求項１１】
１以上のプロセッサを含む計算機システムが、係り受け解析を行う方法であって、
前記１以上のプロセッサが、品詞の配列を取得し、
前記１以上のプロセッサが、特徴量抽出機械学習モデルを使用して、前記品詞の配列の各要素に対する複数の特徴量を抽出し、
前記１以上のプロセッサが、特徴量選択機械学習モデルを使用して、前記抽出された複数の特徴量から前記品詞の配列の各要素に対する特徴量を選択し、
前記１以上のプロセッサが、前記選択された特徴量に基づいて係り受け関係を推定する、ことを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語の文法解析に関し、特に、係り受け解析を行う技術に関する。
【背景技術】
【０００２】
係り受け解析は、文または句中にある語の間の関係を推定する技術である。例えば、「白い家」という句を考える。この句は「白い」と「家」という２語からなるが、「白い」が「家」にかかっている、という関係をもつ。このとき、この関係を「白い」を係り元、「家」を係り先とした有向グラフとして表すことができる。この有向グラフによる表示を、文全体に渡って、かつ木構造を持つように推定することが係り受け解析が目標とする解析結果である。
【０００３】
この係り受け解析を実現する手法を大きく分類すると、有向グラフを直接推定するグラフベース手法と、有向グラフを構成するための命令の列を推定する遷移ベース手法の２手法が知られている。
【０００４】
グラフベース手法は、有向グラフを表す行列を推定する手法である。有向グラフは、グラフ中にあるノード間のリンクの有無ないしは重みによって表すことができる。グラフベース手法はこの行列を推定する手法である。グラフベース手法による、係り受け解析の事例として、非特許文献１が知られている。
【０００５】
一方、遷移ベースの手法は、一般的に、処理待ちの語の配列、処理済みの語の集合、処理中のスタックを具備している。処理待ちの語を配列の順に処理する際、語をスタックの先頭に移動させる、スタックの先頭の語と入力された語の係り受け関係を認めてどちらか一方を処理済みとする、などの単純な処理手順を定めることで、最終的な木構造を推定する。遷移ベース手法としては、非特許文献２が知られている。
【０００６】
ところで、この係り受け解析は言語依存性が高い処理である。例えば、「白い家」をスペイン語で表すと「ｃａｓａ  ｂｌａｎｃａ」である。「ｃａｓａ」が家を、「ｂｌａｎｃａ」は白い、をそれぞれ表すが、その文中での出現順は、日本語の場合と逆順になっている。このようにそれぞれの言語によって係り元と係り先のどちらが先に現れるのかは異なる。また、この登場順の傾向も、同一の言語であっても係り元と係り先の品詞などによって異なる。
【０００７】
しかしながら、世界中の言語を俯瞰してみると、このような係り受け関係に置ける語順の任意性はある程度の大きな規則性があるという考え方がある。この考え方に基づいて、複数の言語を用いて文法解析の精度を向上する技術として特許文献１が知られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２２１６２９号公報
【非特許文献】
【０００９】
【非特許文献１】“Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ａｔｔｅｎｔｉｏｎ  ｗｉｔｈ  Ａｇｒｅｅｍｅｎｔ  ｆｏｒ  Ｄｅｐｅｎｄｅｎｃｙ  Ｐａｒｓｉｎｇ”  Ｈａｏ  Ｃｈｅｎｇ、Ｈａｏ  Ｆａｎｇ、Ｘｉａｏｄｏｎｇ  Ｈｅ、Ｊｉａｎｆｅｎｇ  Ｇａｏ、Ｌｉ  Ｄｅｎｇ
【非特許文献２】“Ｍａｎｙ  Ｌａｎｇｕａｇｅｓ，  Ｏｎｅ  Ｐａｒｓｅｒ”  Ｗａｌｅｅｄ  Ａｍｍａｒ，  Ｇｅｏｒｇｅ  Ｍｕｌｃａｉｒｅ，  Ｍｉｇｕｅｌ  Ｂａｌｌｅｓｔｅｒｏｓ，Ｃｈｒｉｓ  Ｄｙｅｒ，Ｎｏａｈ  Ａ．  Ｓｍｉｔｈ
【発明の概要】
【発明が解決しようとする課題】
【００１０】
例えば特許文献１に開示される技術は、言語共通の文法と言語個別の文法を分離して、それぞれ規則を蓄積することで、解析精度の向上を目指す技術である。非特許文献１に開示される技術は、言語毎に解析モデルを用意し、既に存在する解析モデルに存在しない言語では、その言語と言語類型論上で近縁な既知の解析モデルを用いて解析を行う。非特許文献２に開示される技術は、言語の種類を入力として多言語の文を同一の解析モデルで解析する。
【００１１】
しかしながら、これらの方法は、様々な言語において同一の言語と見なす範囲の恣意性を内包しており、機械処理の上での精度の観点とは必ずしも一致していなかった。また、特許文献１では、言語共通の文法も、例えば言語比較論上近縁性が認められている言語のみを対象として共通文法と個別文法をシステムに学習させた場合と、近縁性が認められない言語を含む複数言語を対象として共通文法と個別文法をシステムに学習させた場合とでは、大きく異なっていた。
【００１２】
さらに、非特許文献１は、既知の解析モデルの集合に含まれない未知の言語に対応するために、多くの既知の解析モデルを必要とした。複数の言語の文法解析を行うために大きなコストを必要とした。
【００１３】
本発明の一態様は、言語毎に学習を行わなくても、多言語に対応した係り受け解析を行うことができる情報処理システムを提供することを課題とする。
【課題を解決するための手段】
【００１４】
本発明の一態様は、係り受け解析システムであって、１以上のプロセッサと、１以上の記憶装置と、を含み、前記１以上のプロセッサは、品詞の配列を取得し、特徴量抽出機械学習モデルを使用して、前記品詞の配列の各要素に対する複数の特徴量を抽出し、特徴量選択機械学習モデルを使用して、前記抽出された複数の特徴量から前記品詞の配列の各要素に対する特徴量を選択し、前記選択された特徴量に基づいて係り受け関係を推定する。
【発明の効果】
【００１５】
本発明の一態様は、多言語に対応した係り受け解析を実現できる。
【図面の簡単な説明】
【００１６】
【図１】実施例１における係り受け解析システムである。
【図２】実施例２における係り受け解析システムである。
【図３】実施例３における係り受け解析システムである。
【図４】実施例３における係り受け解析システムが出力する表示画像例である。
【図５】係り受け解析システムのハードウェア構成例である。
【図６】係り受け解析方法の特徴量選択部の動作を概念的に表した例である。
【図７】係り受け解析方法の特徴量選択部の動作を概念的に表した例である。
【発明を実施するための形態】
【００１７】
以下、係り受け解析方法及び係り受け解析システムの実施例を、添付図面を参照しながら説明する。
【実施例１】
【００１８】
図１には、実施例１の係り受け解析システムの論理構成を示す。本実施例の係り受け解析システム１００は、入力部１０１、特徴量抽出部１０２、特徴量選択部１０３、係り受け関係推定部１０４、出力部１０５を含む。入力部１０１は、文もしくは語の配列、及び／または品詞や活用形のような語に付属する情報の配列を入力として受け付ける。入力部１０１は受け付けた入力に基づいて、少なくとも品詞の配列を含む入力情報を特徴量抽出部１０２に出力する。
【００１９】
特徴量抽出部１０２は、入力部１０１から受け取った入力情報に基づいて、品詞または語と品詞のペアの配列の各要素に対して、特徴量を抽出する。一つの配列要素に対する特徴量の型は、数値、多次元ユークリッド空間の元、行列、テンソル量等とすることができる。
【００２０】
特徴量抽出部１０２は、各配列要素に対する複数の特徴量を出力する。即ち、一つの配列要素に対する特徴量が数値であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の値を出力する。また、例えば、一つの配列要素に対する特徴量が多次元ユークリッド空間の元であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の多次元ユークリッド空間の元を出力する。他の特徴量の型に対しても同様である。特徴量抽出部１０２は、抽出した特徴量を特徴量選択部１０３に対して出力する。
【００２１】
特徴量抽出部１０２が出力する配列要素それぞれの複数の特徴量は、配列要素それぞれの特徴量を選択する母集団である選択対象の特徴量と、選択対象の特徴量から配列要素それぞれの特徴量を選択するために使用される選択のための特徴量と、特徴量の選択に寄与しない特徴量と、を含む。
【００２２】
特徴量選択部１０３は、選択のための特徴量に基づいて、特徴量抽出部１０２から受け取った選択対象の特徴量から、各配列要素に対する１又は複数の特徴量を選択する。特徴量選択部１０３は、選択対象の特徴量から選択された配列要素それぞれの特徴量と、選択に寄与しない特徴量とを、係り受け関係推定部１０４に出力する。
【００２３】
係り受け関係推定部１０４は、特徴量選択部１０３から受け取った特徴量に基づいて、グラフベースまたは遷移ベースの手法で入力された語または品詞における係り受け関係を推定する。係り受け関係推定部１０４は、推定した係り受け関係を、出力部１０５に出力する。出力部１０５は、表示装置や記憶装置等に、推定された係り受け関係を出力する。
【００２４】
上述のように、品詞の各配列要素に対する複数の特徴量を抽出し、複数の特徴量から１以上の特徴量を選択することで、多言語に対応した係り受け解析を実現できる。
【実施例２】
【００２５】
図２は、実施例２の係り受け解析システムの論理構成を示す。本実施例の係り受け解析システム２００は、入力部２０１、特徴量抽出部２０２、特徴量選択部２０３、係り受け関係推定部２０４、出力部２０５を含む。
【００２６】
入力部２０１は、文もしくは語の配列及び／または品詞のような語に付属する情報の配列に加え、言語の種類及び／または特徴量選択部２０３における特徴量選択の範囲を限定する範囲情報を、入力として受け付ける。入力部２０１は、受け付けた入力に基づいて少なくとも品詞の配列を特徴量抽出部２０２に出力する。入力部２０１は、受け付けた言語の種類及び／または特徴量選択部２０３における特徴量選択の範囲を限定する範囲情報を、特徴量選択部２０３に出力する。
【００２７】
特徴量抽出部１０２は、各配列要素に対する複数の特徴量を出力する。即ち、一つの配列要素に対する特徴量が数値であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の値を出力する。また、例えば、一つの配列要素に対する特徴量が多次元ユークリッド空間の元であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の多次元ユークリッド空間の元を出力する。他の特徴量の型に対しても同様である。特徴量抽出部１０２は、抽出した特徴量を特徴量選択部１０３に対して出力する。
【００２８】
実施例１と同様に、特徴量抽出部１０２が出力する配列要素それぞれの複数の特徴量は、配列要素それぞれの特徴量を選択する母集団である選択対象の特徴量と、選択対象の特徴量から配列要素それぞれの特徴量を選択するために使用される選択のための特徴量と、特徴量の選択に寄与しない特徴量と、を含む。
【００２９】
特徴量選択部２０３は、特徴量抽出部２０２から受け取った選択のための特徴量と、入力部２０１から受け取った言語の種類及び／または特徴量選択部２０３における特徴量選択の範囲を限定する範囲情報に基づいて、特徴量抽出部２０２から受け取った選択対象の特徴量から、各配列要素に対する１または複数の特徴量を選択する。特徴量選択部２０３は、選択対象から選択された特徴量と、選択に寄与しない特徴量とを、係り受け関係推定部２０４に出力する。
【００３０】
係り受け関係推定部２０４は、特徴量選択部２０３から受け取った特徴量に基づいて、グラフベースまたは遷移ベースの手法で入力された語または品詞における係り受け関係を推定する。係り受け関係推定部２０４は、推定した係り受け関係を、出力部２０５に出力する。出力部２０５は、表示装置や記憶装置等に推定された係り受け関係を出力する。
【００３１】
上述のように、品詞の各配列要素に対する複数の特徴量を抽出し、複数の特徴量から１以上の特徴量を選択することで、多言語に対応した係り受け解析を実現できる。
【実施例３】
【００３２】
図３は、実施例３の係り受け解析システムの論理構成を示す。本実施例の係り受け解析システム３００は、入力部３０１、特徴量抽出部３０２、特徴量選択部３０３、係り受け関係推定部３０４、出力部３０５を含む。
【００３３】
入力部３０１は、文もしくは語の配列及び／または品詞のような語に付属する情報の配列、並びに言語の種類を、入力として受け付ける。入力部３０１は、受け付けた入力に基づいて少なくとも品詞の配列を特徴量抽出部３０２に出力する。入力部３０１は、言語の種類を特徴量選択部３０３に出力する。
【００３４】
特徴量抽出部１０２は、各配列要素に対する複数の特徴量を出力する。即ち、一つの配列要素に対する特徴量が数値であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の値を出力する。また、例えば、一つの配列要素に対する特徴量が多次元ユークリッド空間の元であれば、特徴量抽出部１０２は、一つの配列要素に対して、複数の多次元ユークリッド空間の元を出力する。他の特徴量の型に対しても同様である。特徴量抽出部１０２は、抽出した特徴量を特徴量選択部１０３に対して出力する。
【００３５】
実施例１と同様に、特徴量抽出部１０２が出力する配列要素それぞれの複数の特徴量は、配列要素それぞれの特徴量を選択する母集団である選択対象の特徴量と、選択対象の特徴量から配列要素それぞれの特徴量を選択するために使用される選択のための特徴量と、特徴量の選択に寄与しない特徴量と、を含む。
【００３６】
特徴量選択部３０３は、特徴量抽出部３０２から受け取った選択のための特徴量と、入力部３０１から受け取った言語の種類の情報に基づいて、特徴量抽出部３０２から受け取った選択対象の特徴量から、各配列要素に対する１または複数の特徴量を選択する。特徴量選択部３０３は、選択対象の特徴量から選択された特徴量と、選択に寄与しない特徴量とを、係り受け関係推定部３０４に出力する。特徴量選択部３０３は、さらに、選択する処理についての情報、例えば、選択対象の各配列要素の特徴量が選択された特徴量に寄与した割合（例えば式（９）又は（１０）における重みα）を、出力部３０５に出力する。
【００３７】
係り受け関係推定部３０４は、特徴量選択部３０３から受け取った特徴量に基づいてグラフベースまたは遷移ベースの手法で入力された語または品詞における係り受け関係を推定する。係り受け関係推定部３０４は、推定した係り受け関係を、出力部３０５に出力する。出力部３０５は、係り受け解析結果と特徴量選択情報とを出力する。図４は、出力部３０５による出力画像例を示す。画像例は、係り受け解析結果画像３５１及び特徴量選択情報画像３５２を含む。係り受け解析結果画像３５１は、係り受け関係推定部３０４から受け取った係り受け解析結果に基づいて生成される。
【００３８】
図４の例において、係り受け解析結果画像３５１は、文中の語の係り受け関係を係り元から係り先への矢印で表示する。特徴量選択情報画像３５２は、特徴量選択部３０３から受け取った特徴量選択情報（例えば後述する特徴量選択のための重みαや、言語の種類等）に基づいて生成される。特徴量選択情報画像３５２は、例えば、特徴量選択情報の統計量、特徴量の選択が類似する言語、方言及びドメイン等を含む。
【００３９】
上述のように、品詞の各配列要素に対する複数の特徴量を抽出し、複数の特徴量から１以上の特徴量を選択することで、多言語に対応した係り受け解析を実現できる。
【実施例４】
【００４０】
図５は、実施例１、２及び３の係り受け解析システム１００、２００、及び３００に適用可能なハードウェア構成例を示す。係り受け解析システムは、一般的な計算機構成を有することができる。係り受け解析システムは、プロセッサ４０１、メモリ（主記憶装置）４０２、補助記憶装置４０３、出力装置４０４、入力装置４０５、及び通信インタフェース（Ｉ／Ｆ）４０７を含む。上記構成要素は、バスによって互いに接続されている。メモリ４０２、補助記憶装置４０３又はこれらの組み合わせは記憶装置であり、プログラム及びデータを格納している。
【００４１】
メモリ４０２は、例えば半導体メモリから構成され、主に実行中のプログラムやデータを保持するために利用される。プロセッサ４０１は、メモリ４０２に格納されているプログラムに従って、様々な処理を実行する。プロセッサ４０１がプログラムに従って動作することで、様々な機能部が実現される。補助記憶装置４０３は、例えばハードディスクドライブやソリッドステートドライブなどの大容量の記憶装置から構成され、プログラムやデータを長期間保持するために利用される。
【００４２】
プロセッサ４０１は、単一の処理ユニットまたは複数の処理ユニットで構成することができ、単一もしくは複数の演算ユニット、又は複数の処理コアを含むことができる。プロセッサ４０１は、１又は複数の中央処理装置、マイクロプロセッサ、マイクロ計算機、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、ロジック回路、グラフィック処理装置、チップオンシステム、及び／又は制御指示に基づき信号を操作する任意の装置として実装することができる。
【００４３】
補助記憶装置４０３に格納されたプログラム及びデータが起動時又は必要時にメモリ４０２にロードされ、プログラムをプロセッサ４０１が実行することにより、係り受け解析システムの各種処理が実行される。したがって、以下において係り受け解析システムにより実行される処理は、プロセッサ４０１又はプログラムによる処理である。
【００４４】
例えば、プロセッサ４０１により実行されるプログラムは、ＯＳの他、入力プログラム、特徴量抽出プログラム、特徴量選択プログラム、係り受け関係推定プログラム、及び出力プログラムを含むことができる。プロセッサ４０１は、これらプログラムに従って動作することで、入力部、特徴量抽出部、特徴量選択部、係り受け関係推定部、及び出力部として機能できる。
【００４５】
入力装置４０５は、ユーザが係り受け解析システムに指示や情報などを入力するための装置である。出力装置４０４は、入出力用の各種画像を提示する装置であり、例えば、表示装置又は印刷装置である。通信Ｉ／Ｆ４０７は、ネットワークとの接続のためのインタフェースである。入力装置４０５及び出力装置４０４は省略されてもよく、ユーザが係り受け解析システムは、ネットワークを介して、端末からアクセスされてもよい。
【００４６】
係り受け解析システムの機能は、１以上のプロセッサ及び非一過性の記憶媒体を含む１以上の記憶装置を含む１以上の計算機からなる計算機システムに実装することができる。複数の計算機はネットワークを介して通信する。例えば、係り受け解析システムの複数の機能の一部が一つの計算機に実装され、他の一部が他の計算機に実装されてもよい。
【００４７】
図５において、ソフトウェアの各要素は、記憶装置内のいずれの領域に格納されていてもよい。上述のように、プロセッサ４０１は、特定のプログラムに従って動作することで、特定の機能部として機能する。例えば、プロセッサ４０１は、上記プログラムに従って、危険判定部、生体モデル選択部、予測モデル訓練部、及び予測結果表示部として機能する。
【実施例５】
【００４８】
本実施例では、実施例１、２及び３で開示した係り受け解析システムが実施する係り受け解析方法、即ち実施例１、２及び３の各部が実施する方法の実施例について述べる。
【００４９】
下記式（１）は、入力部１０１、２０１、３０１への代表的な入力例を示す。
【００５０】
【数１】
2020187558.tif 000003
【００５１】
式１に示される三つの入力形式は、上から、文、語の配列及び語と品詞の組の配列であり、いずれも入力としては等価である。しかし、文が入力された場合、及び、語の配列が入力された場合、入力部１０１、２０１、３０１は、それぞれ形態素解析器等を用いて、語と品詞の組の配列に変換する。
【００５２】
【数２】
2020187558.tif 000004
【００５３】
上記式（２）は、入力部１０１、２０１、３０１からそれぞれ特徴量抽出部１０２、２０２、３０２に出力されるデータ形式例を示す。入力部１０１、２０１、３０１は、は、語と品詞の組の配列の要素である語と品詞の組を、それぞれ語のＩＤ（ｗi）と品詞のＩＤ（ｐj）の組に変換する。ｗiは語のＩＤを表し、ｐjは品詞のＩＤを表す。この変換は、例えば辞書を用いることにより、語と品詞の種類とのそれぞれに対して唯一の整数値を与える。即ち、同じ語のＩＤ（ｗi）は同一の解析モデルの中では常に同じ整数値であり、同じ品詞のＩＤ（ｐj）は同一の解析モデルの中では常に同じ整数値である。
【００５４】
【数３】
2020187558.tif 000005
【００５５】
上記式（３）は、特徴量抽出部１０２、２０２、３０２における第一の変換の例を示す。特徴量抽出部１０２、２０２、３０２によるこの変換例は、語または品詞のＩＤを多次元ユークリッド空間の元（ベクトルで表わすことができる）に変換する。具体的には、処理ｆは、語のＩＤ（ｗi）をＮ次元ユークリッド空間の元ｖiに変換し、処理ｇは、品詞のＩＤ（ｐj）をＭ次元ユークリッド空間の元ｕiに変換する。語のＩＤと品詞のＩＤの組（ｗi、ｐi）は、（Ｎ+Ｍ）次元ユークリッド空間の元（ｖi、ｕi）に変換される。
【００５６】
【数４】
2020187558.tif 000006
【００５７】
例えば、用いられる語に全くの共通性が見られないような多言語の文を扱う際は、上記式（４）のように、第一の変換における語のＩＤに対するｆを、多次元ユークリッド空間の固定の点への変換とすることもできる。これにより、語の元は一定となり、語の情報はマスクされ、品詞の配列のみについて学習される。
【００５８】
例えば、係り受け解析システムは、複数種類の言語の学習において、第一変換において異なる語のＩＤを固定点に変換し、その後、特定の言語の学習において、異なる語のＩＤを多次元ユークリッド空間の異なる元に変換してもよい。これにより、特定の言語の学習を効率的に行うことができる。
【００５９】
【数５】
2020187558.tif 000007
【００６０】
この第一の変換（ｆ及びｇ）は、例えば上記式（５）で示されるような、ＩＤとして使われている自然数に対応する次元の値のみ１であり、その他の次元の値は０であるようないわゆる１−ｏｆ−Ｋ表現への変換であってもよい。
【００６１】
【数６】
2020187558.tif 000008
【００６２】
また、第一の変換（ｆ及びｇ）は、上記式（６）で示されるような、ＩＤに対する任意の多次元ユークリッド空間の元を一対一に対応づける写像であってもよい。
【００６３】
【数７】
2020187558.tif 000009
【００６４】
上記式（７）は、特徴量抽出部１０２、２０２、３０２における第二の変換の例を示す。第二の変換は、第一の変換の出力を入力とする。上記式（７）は、再帰的ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＲＮＮ）を用いた変換を例示している。第二の変換への入力は、語と品詞の組の元（ｖi、ｕi）の配列であり、（Ｎ+Ｍ）×ｎ次元ユークリッド空間の元である。出力は、Ｌ次元ユークリッド空間の元ｒiの配列であり、Ｌ×ｎ次元ユークリッド空間の元である。同一の添え字の入力の要素（ｖi、ｕi）と出力の要素ｒiが対応する。
【００６５】
上記式（７）で例示されたＲＮＮは、より具体的に、Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ（ＬＳＴＭ）やＧａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔ（ＧＲＵ）であってよい。また、Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＣＮＮ）を使用することもできる。これらのように入力の系列に基づく処理を行う機械学習モデルを使用することで、適切に特徴量を抽出できる。
【００６６】
【数８】
2020187558.tif 000010
【００６７】
上記式（８）は、特徴量抽出部１０２、２０２、３０２における第三の変換の例を示す。第三の変換は、第二の変換の出力を入力とする。同一の添え字の入力の要素ｒiと出力の要素μiが対応する。上記式（８）は多層パーセプトロン（Ｍｕｌｔｉ−Ｌａｙｅｒｅｄ  Ｐｅｒｃｅｐｔｒｏｎ：ＭＬＰ）を用いた変換を例示しているがこれに限定しない。多層パーセプトロンは、全結合の２層以上のパーセプトロンである。出力は、Λ次元ユークリッド空間の元μiの配列であり、Λ×ｎ次元ユークリッド空間の元である。多層パーセプトロンを第三の変換に用いる場合は、その活性化関数には、ｔａｎｈやＲｅＬｕ等を用いることができる。
【００６８】
特徴量抽出部１０２、２０２、３０２は入力配列の各要素に対して複数の特徴量を抽出する。第一、第二及び第三の変換の一部または全部のために複数の変換方法を用意することで、複数の特徴量を抽出することができる。例えば、複数の多層パーセプトロンを用意することで、効率的に複数の特徴量を抽出することができる。または、第一、第二及び第三の変換の結果を、それぞれ入力配列の各要素に対する特徴量とすることもできる。
【００６９】
上述のように、第一、第二及び第三の変換は、それぞれ、機械学習モデルによって実行され、さらに、これら機械学習モデルは一つの特徴量抽出機械学習モデルと見ることができる。第一、第二又は第三の変換により複数の特徴量を抽出するため、同一構成であって初期値が異なるモデルを用意する、及び／または、構成が異なる複数のモデルを用意して学習を行うことができる。この点は他の実施例において同様である。
【００７０】
【数９】
2020187558.tif 000011
【００７１】
上記式（９）は、特徴量選択部１０３における特徴量選択方法の例を示す。上記式（９）は所謂、注意機構と呼ばれる方法（特徴量選択機械学習モデルの例）を例示している。γiは、選択対象の特徴量から係り受け関係を示すための特徴量を選択するための特徴量（選択のための特徴量）であり、特徴量抽出部１０２、２０２、３０２の出力に含まれる。
【００７２】
［ν1,j、・・・、νn,j］は、入力配列に対する、選択対象の特徴量配列の一つである。本例は、各入力要素に対してｍ個（種）の選択対象の特徴量を与える。ｓiは、添え字ｉの入力要素（品詞又は品詞と語の組み合わせ）に対して選択された特徴量である。
【００７３】
αは、注意機構が算出する、特徴量選択のための重みである。Ｗa及びＷrは重み（行列で表わすことができる）であり、ｂa及びｂrはバイアス項であり、これらは学習により更新されるパラメータである。αは、例えば式（９）のＳｏｆｔｍａｘ関数のように、総和が１となる関数により算出されればよく、他の例として、ｈａｒｄｍａｘ関数を用いてもよい。本技術分野及び明細書において、重みαと特徴量νとの積和は、特徴量ｓの選択に対応する。選択のための特徴量を、学習する特徴量抽出部から取得することで、適切な特徴量の選択が可能となる。
【００７４】
図６は、特徴量選択部１０３における特徴量選択方法を示す。入力の各配列要素に対するｍ個の選択対象のＤ次元特徴量ν６０１と、ｍ個の選択対象の特徴量ν６０１から選択を行うための特徴量γ６０３が、特徴量抽出部１０２から、特徴量選択部１０３に入力される。特徴量選択部１０３は、特徴量γ６０３に基づいて、特徴量νの配列の各要素に対して、一つの特徴量を選択し、選択した特徴量として特徴量ｓ６０５を出力する。特徴量選択部３０３は、例えば特徴量選択のための重みαを出力部３０５に出力することができる。
【００７５】
【数１０】
2020187558.tif 000012
【００７６】
上記式（１０）は、特徴量選択部２０３、３０３における特徴量選択方法を示す。上記式（１０）は、注意機構を利用する。特徴量選択部２０３、３０３は、選択のための特徴量に加え、言語の種類に基づき、各入力要素に対応して、選択対象の特徴量から一つの特徴量を選択する。これにより、言語に応じたより適切な特徴量を選択できる。上記式（１０）の上記式（９）との相違は、重みαの計算式がＷl＊ｌの項を含むことである。Ｗlは重み（行列で表わすことができる）であり、ｌは言語の種類を示すｄ次元ユークリッド空間の元である。
【００７７】
特徴量選択部２０３、３０３は言語の種類に代えて又は加えて、例えば入力部２０１、３０１から入力された限定範囲を示す情報に基づくαの値の範囲を限定する関数による演算を行った後に、上述のように総和が１となる関数による演算を行ってもよい。これにより、より適切な特徴量を選択することができる。
【００７８】
図７は、特徴量選択部２０３、３０３における特徴量選択方法を示す。入力の各配列要素に対するｍ個の選択対象のＤ次元特徴量ν６０１と、ｍ個の選択対象の特徴量ν６０１から選択を行うための特徴量γ６０３が、特徴量抽出部１０２から、特徴量選択部１０３に入力される。さらに、言語の種類を示す特徴量ｌ６０７が、入力部１０１から特徴量選択部１０３に入力される。
【００７９】
特徴量選択部２０３、３０３は、特徴量γ６０３及び言語の種類ｌ６０７に基づいて、特徴量νの配列の各要素に対して、一つの特徴量を選択し、選択した特徴量として特徴量ｓ６０５を出力する。特徴量選択部３０３は、例えば特徴量選択のための重みαを出力部３０５に出力することができる。
【００８０】
【数１１】
2020187558.tif 000013
【００８１】
上記式（１１）は、係り受け関係推定部１０４、２０４、３０４による、グラフベース手法を用いた場合のグラフ行列の推定方法を示す。選択に寄与しない特徴量は、特徴量抽出部１０２から入力される特徴量において、選択対象の特徴量ｓ及び選択のための特徴量γと異なる特徴量である。グラフベースの手法は２つの特徴量を用いる。本例は、ＢｉＡｆｆｉｎｅ変換を用いてグラフ行列を推定しているが、他の例として、内積を使用してもよい。
【００８２】
式１１で算出されたグラフ行列に基づいて、係り受け関係の木構造の推定を行うには、係り受け関係推定部１０４、２０４、３０４は、例えば、Ｃｈｕ−Ｌｉｕ／Ｅｄｍｏｎｄｓアルゴリズムを用いることができる。
【００８３】
実施例１または２は、推定された木構造を記述する。出力部１０５、２０５は、推定された係り受け関係を、例えばＣｏＮＬＬ形式などの適当なデータ形式に変換して記憶装置に保存することができる。他の例において、出力部１０５、２０５は、推定された係り受け関係を、文の各語に対して係り先を矢印で図示するなどの方法で出力装置４０４の画面上に出力することもできる。また、出力部１０５、２０５は、解析された係り受け関係を用いた他の言語処理システムと組み合わせるためのデータ形式に変換して、送信または記憶装置に保存することもできる。
【００８４】
【数１２】
2020187558.tif 000014
【００８５】
実施例３における出力部３０５は、さらに、特徴量選択部３０３から受け取った重みαを、例えば棒グラフとして表示することもできる。これにより、係り受けシステムについてのユーザの理解を助けることができる。出力部３０５、αを保持し、上記式（１２）のようにαを文全体で縮約したβを用いることで、例えばｋ−ｍｅａｎｓやＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌなどのクラスタ分析を実施し、類似の言語・方言・ドメインを同定することができる。
【００８６】
これにより、現在係り受け解析の対象とする文または文集合の特性を調べ、αの範囲をベータのクラスタ内での取りうる値の範囲などに限定することで、係り受け解析精度を調整することもできる。このαの範囲は、上述のように、特徴量選択部３０３に入力され、特徴量の選択における限定範囲として参照されることができる。
【実施例６】
【００８７】
本実施例では、実施例１、２及び３で開示した係り受け解析システムが実施する係り受け解析方法、即ち実施例１、２及び３の各部が実施する方法の他の実施例について述べる。本実施例は主に遷移ベースの手法について述べる。
【００８８】
上記式（１）は、入力部１０１、２０１、３０１への代表的な入力例を示す。式１に示される三つの入力形式は、上から、文、語の配列及び語と品詞の組の配列であり、いずれも入力としては等価である。しかし、文が入力された場合、及び、語の配列が入力された場合、入力部１０１、２０１、３０１は、それぞれ形態素解析器等を用いて、語と品詞の組の配列に変換する。
【００８９】
上記式（２）は、入力部１０１、２０１、３０１からそれぞれ特徴量抽出部１０２、２０２、３０２に出力されるデータ形式例を示す。入力部１０１、２０１、３０１は、は、語と品詞の組の配列の要素である語と品詞の組を、それぞれ語のＩＤ（ｗi）と品詞のＩＤ（ｐj）の組に変換する。この変換は、例えば辞書を用いることにより、語と品詞の種類とのそれぞれに対して唯一の整数値を与える。即ち、同じ語のＩＤ（ｗi）は同一の解析モデルの中では常に同じ整数値であり、同じ品詞のＩＤ（ｐj）は同一の解析モデルの中では常に同じ整数値である。
【００９０】
上記式（３）は、特徴量抽出部１０２、２０２、３０２における第一の変換の例を示す。特徴量抽出部１０２、２０２、３０２によるこの変換例は、語または品詞のＩＤを多次元ユークリッド空間の元（ベクトルで表わすことができる）に変換する。具体的には、処理ｆは、語のＩＤ（ｗi）をＮ次元ユークリッド空間の元ｖiに変換し、処理ｇは、品詞のＩＤ（ｐj）をＭ次元ユークリッド空間の元ｕiに変換する。語のＩＤと品詞のＩＤの組（ｗi、ｐi）は、（Ｎ+Ｍ）次元ユークリッド空間の元（ｖi、ｕi）に変換される。
【００９１】
例えば、用いられる語に全くの共通性が見られないような多言語の文を扱う際は、上記式（４）のように、第一の変換における語のＩＤに対するｆを、多次元ユークリッド空間の固定の点への変換とすることもできる。これにより、語の元は一定となり、語の情報はマスクされ、品詞の配列のみについて学習される。例えば、係り受け解析システムは、複数種類の言語の学習において、第一変換における語のＩＤを固定点に変換し、その後、一つの特定言語の学習において、多次元ユークリッド空間の異なる元に変換してもよい。
【００９２】
この第一の変換（ｆ及びｇ）は、例えば上記式（５）で示されるような、ＩＤとして使われている自然数に対応する次元の値のみ１であり、その他の次元の値は０であるようないわゆる１−ｏｆ−Ｋ表現への変換であってもよい。第一の変換（ｆ及びｇ）は、上記式（６）で示されるような、ＩＤに対する任意の多次元ユークリッド空間の元を一対一に対応づける写像であってもよい。
【００９３】
上記式（７）は、特徴量抽出部１０２、２０２、３０２における第二の変換の例を示す。第二の変換は、第一の変換の出力を入力とする。上記式（７）は、ＲＮＮを用いた変換を例示している。第二の変換への入力は、語と品詞の組の元（ｖi、ｕi）の配列であり、（Ｎ+Ｍ）×ｎ次元ユークリッド空間の元である。出力は、Ｌ次元ユークリッド空間の元ｒiの配列であり、Ｌ×ｎ次元ユークリッド空間の元である。同一の添え字の入力の要素（ｖi、ｕi）と出力の要素ｒiが対応する。上記式（７）で例示されたＲＮＮは、より具体的に、ＬＳＴＭやＧＲＵであってよい。また、ＣＮＮを使用することもできる。これらのように入力の系列に基づく処理を行う機械学習モデルを使用することで、適切に特徴量を抽出できる。
【００９４】
【数１３】
2020187558.tif 000015
【００９５】
上記式（１３）は、特徴量抽出部１０２、２０２、３０２における第三の変換の例を示す。第三の変換は、第二の変換の出力を入力とする。上記式（１３）は、ＲＮＮを用いた変換を例示している。第三の変換への入力は、Ｌ次元ユークリッド空間の元ｒiの配列であり、Ｌ×ｎ次元ユークリッド空間の元である。出力は、Λ次元ユークリッド空間の元μiの配列であり、Λ×ｎ次元ユークリッド空間の元である。同一の添え字の入力の要素ｒiと出力の要素μiが対応する。上記式（１３）で例示されたＲＮＮは、より具体的に、ＬＳＴＭＧＲＵであってよい。また、ＣＮＮを使用することもできる。
【００９６】
特徴量抽出部１０２、２０２、３０２は入力配列の各要素に対して複数の特徴量を抽出する。第一から第三の変換の一部または全部のために複数の変換方法を用意することで、複数の特徴量を抽出することができる。または、第一から第三の変換の結果を、それぞれ入力配列の各要素に対する特徴量とすることもできる。
【００９７】
上記式（９）は、特徴量選択部１０３における特徴量選択方法の例を示す。上記式（９）は所謂、注意機構を例示している。αは、例えば式（９）のＳｏｆｔｍａｘ関数のように、総和が１となる関数により算出されればよく、他の例として、ｈａｒｄｍａｘ関数を用いてもよい。
【００９８】
図６は、特徴量選択部１０３における特徴量選択方法を示す。図６の説明は、実施例５と同様である。
【００９９】
上記式（１０）は、特徴量選択部２０３、３０３における特徴量選択方法を示す。上記式（１０）は、注意機構を利用する。特徴量選択部２０３、３０３は、選択のための特徴量に加え、言語の種類に基づき、各入力要素に対応して、選択対象の特徴量から一つの特徴量を選択する。
【０１００】
特徴量選択部２０３、３０３は言語の種類に代えて又は加えて、例えば入力部２０１、３０１から入力された範囲情報に基づくαの値の範囲を限定する関数による演算を行った後に、上述のように総和が１となる関数による演算を行ってもよい。これにより、より適切な特徴量を選択することができる。
【０１０１】
図７は、特徴量選択部２０３、３０３における特徴量選択方法を示す。図７の説明は、実施例５と同様である。
【０１０２】
遷移ベース手法を用いた場合の係り受け関係の推定方法例を示す。遷移ベースの手法では、全体でＴ個の処理の配列によって係り受け関係を推定する。ｔ時点における状態は、ｔ時点でのスタックＳにある語、バッファＢにある語、ｔ時点の処理の種類ａによって表される。遷移ベースの手法は、ｔ＋１時点の処理を決定するために下記式（１４）の確率を計算する。
【０１０３】
【数１４】
2020187558.tif 000016
【０１０４】
上記式（１４）の確率は、Ｓ、Ｂを例えばＲＮＮによってＳ、Ｂ中の語に対応する特徴sを入力として、それぞれＬS’、ＬB次元ユークリッド空間の元に変換し、ａを処理の種類のＩＤに基づいて上記式（３）で示した方法でＬa次元ユークリッド空間の元に変換することができる。これらの変換によって生成されたＬS＋ＬB＋Ｌa次元ユークリッド空間の点ｐtを用いて、式１５のようにｔ＋１時点の処理の確率を計算することができる。
【０１０５】
【数１５】
2020187558.tif 000017
【０１０６】
この確率にしたがって、処理を暫時、スタックとバッファ双方が空になるまで続けることで係り受け関係が推定される。上記式（１５）に示した方法以外にも、いわゆるエンコーダ・デコーダモデルを用いた、上記式（１４）の確率推定方法を用いてもよい。  実施例１または２は、推定された木構造を記述する。
【０１０７】
出力部１０５、２０５は、推定された係り受け関係を、例えばＣｏＮＬＬ形式などの適当なデータ形式に変換して記憶装置に保存することができる。他の例において、出力部１０５、２０５は、推定された係り受け関係を、文の各語に対して係り先を矢印で図示するなどの方法で出力装置４０４の画面上に出力することもできる。また、出力部１０５、２０５は、解析された係り受け関係を用いた他の言語処理システムと組み合わせるためのデータ形式に変換して、送信または記憶装置に保存することもできる。
【０１０８】
実施例３における出力部３０５は、さらに、特徴量選択部３０３から受け取った重みαを、例えば棒グラフとして表示することもできる。これにより、係り受けシステムについてのユーザの理解を助けることができる。出力部３０５、αを保持し、上記式（１２）のようにαを文全体で縮約したβを用いることで、例えばｋ−ｍｅａｎｓやＧａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌなどのクラスタ分析を実施し、類似の言語・方言・ドメインを同定することができる。
【０１０９】
これにより、現在係り受け解析の対象とする文または文集合の特性を調べ、αの範囲をベータのクラスタ内での取りうる値の範囲などに限定することで、係り受け解析精度を調整することもできる。このαの範囲は、上述のように、特徴量選択部３０３に入力され、特徴量の選択のために参照されることができる。
【０１１０】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１１１】
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。
【０１１２】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１１３】
１０１、２０１、３０１……入力部
１０２、２０２、３０２……特徴量抽出部
１０３、２０３、３０３……特徴量選択部
１０４、２０４、３０４……係り受け関係推定部
１０５、２０５、３０５……出力部
３５１……特徴量選択情報画像
３５２……係り受け解析結果画像
【図１】
2020187558.tif 000018
【図２】
2020187558.tif 000019
【図３】
2020187558.tif 000020
【図４】
2020187558.tif 000021
【図５】
2020187558.tif 000022
【図６】
2020187558.tif 000023
【図７】
2020187558.tif 000024