(57)【要約】【課題】空範疇検出技術を用いて翻訳精度を向上させる翻訳モデルを学習することができる。【解決手段】二分化部３６が、原言語文の前記空範疇付き二分化句構造木を生成する。事前並べ替え部４２が、事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、原言語文の単語の並べ替えを行う。翻訳モデル学習部５２が、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、翻訳モデルを学習する。【選択図】図３
2018185573.tif 000002
【特許請求の範囲】
【請求項１】
対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行う事前並べ替え部と、
前記複数のペアの各々についての、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、原言語文を目的言語文へ翻訳するための翻訳モデルを学習する翻訳モデル学習部と、
を含む翻訳モデル学習装置。
【請求項２】
対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木を線形化して、空範疇付き原言語文を生成する線形化部と、
前記複数のペアの各々に対し、前記空範疇付き原言語文と目的言語文との間における単語の対応付けを行う単語対応付け部と、
前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、前記単語の対応付けの結果を用いて求められる、２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列と、順序を反転させた前記２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列とに基づいて、前記２つの子ノードの順序を反転させるか否かの正解ラベルを付与する並べ替え正解ラベル付与部と、
前記複数のペアの各々に対する、前記正解ラベルが付与された、前記ペアの原言語文の空範疇付き二分化句構造木に基づいて、原言語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて前記２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習する事前並べ替えモデル学習部と、
を含む事前並べ替えモデル学習装置。
【請求項３】
入力された原言語文について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、
前記原言語文の句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、
前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、
前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記原言語文の単語の並べ替えを行う事前並べ替え部と、
単語の並べ替えが行われた原言語文、及び原言語文を目的言語文へ翻訳するための翻訳モデルに基づいて、原言語文を目的言語文へ翻訳する翻訳部と、
を含む翻訳装置。
【請求項４】
構文解析部が、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、
空範疇検出部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、
二分化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、
事前並べ替え部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行い、
翻訳モデル学習部が、前記複数のペアの各々についての、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、原言語文を目的言語文へ翻訳するための翻訳モデルを学習する
翻訳モデル学習方法。
【請求項５】
構文解析部が、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、
空範疇検出部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、
二分化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、
線形化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木を線形化して、空範疇付き原言語文を生成し、
単語対応付け部が、前記複数のペアの各々に対し、前記空範疇付き原言語文と目的言語文との間における単語の対応付けを行い、
並べ替え正解ラベル付与部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、前記単語の対応付けの結果を用いて求められる、２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列と、順序を反転させた前記２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列とに基づいて、前記２つの子ノードの順序を反転させるか否かの正解ラベルを付与し、
事前並べ替えモデル学習部が、前記複数のペアの各々に対する、前記正解ラベルが付与された、前記ペアの原言語文の空範疇付き二分化句構造木に基づいて、原言語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて前記２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習する
事前並べ替えモデル学習方法。
【請求項６】
構文解析部が、入力された原言語文について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、
空範疇検出部が、前記原言語文の句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、
二分化部が、前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、
事前並べ替え部が、前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記原言語文の単語の並べ替えを行い、
翻訳部が、単語の並べ替えが行われた原言語文、及び原言語文を目的言語文へ翻訳するための翻訳モデルに基づいて、原言語文を目的言語文へ翻訳する
翻訳方法。
【請求項７】
コンピュータを、請求項１記載の翻訳モデル学習装置、又は請求項３記載の翻訳装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項２項記載の事前並べ替えモデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳モデル学習装置、事前並べ替えモデル学習装置、翻訳装置、方法、及びプログラムに係り、特に、原言語文を目的言語文に翻訳するための翻訳モデル学習装置、事前並べ替えモデル学習装置、翻訳装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
空範疇(empty category) とは、言語学、特に生成文法において、pro(またはsmall pro)と呼ばれる省略された代名詞、PRO(またはbig pro) と呼ばれるコントロールされている明示されていない主語、T(またはtrace) と呼ばれるWH 疑問文・関係節などにおける移動の痕跡を表現する空要素(null element, 音形を持たない要素) のことである。空範疇は空所(gap) と呼ばれることもある。
【０００３】
空範疇検出(empty category detection) とは、入力文における空範疇の位置や種類や文法役割を自動的に同定する処理である。
【０００４】
省略された代名詞(pro)を検出することは、日本語のような文脈から了解可能な主語を省略する言語から、英語のような主語が必須である言語への翻訳において重要である。例えば、「映画を見たい」という文において空所となっている主語は、通常の解釈では話者である。この関係を正しく分析できれば、この文を「I want to see a movie」と正しく翻訳できる。
【０００５】
(pro が)映画を見たい，pro=話者移動の痕跡(T)を検出することは、日英翻訳において日本語の関係節を正しく翻訳する上で重要である。特に英語の関係代名詞は、who やwhom のように人称変化するので、日本語から英語への翻訳では、日本語の関係節において空所が主語であるか目的語であるかを区別する必要がある。
【０００６】
例えば、「英語を上手に話す少女に会った」という文において、「英語を上手に話す」という文の空所になっている主語は関係節の修飾先となっている名詞「少女」であるという関係が正しく分析でき、かつ「少女」は「人」であるという知識があれば、「I met a girl who speaks English fluently」のように主語が人であることを表す関係代名詞who を正しく生成できる。
【０００７】
((T が) 英語を上手に話す) 少女に会った, T=少女
【０００８】
省略された代名詞proはゼロ代名詞(zero pronoun) とも呼ばれる。日本語においてゼロ代名詞を検出し、その照応先を同定する技術は、ゼロ代名詞照応(zero pronoun anaphora)、ゼロ代名詞解消(zero pronoun resolution)、省略解析(ellipsis analysis) などの様々な名称で呼ばれ、古くから研究されている。また日本語から英語への機械翻訳の前処理として、日本語のゼロ代名詞の照応解析を行う研究も古くからおこなわれている。
【０００９】
しかし、近年、盛んに研究されている統計的機械翻訳(統計翻訳)においてゼロ代名詞の照応解析技術を利用することは以下の2つの理由により難しい。まず第一に、ゼロ代名詞の照応先を特定するためには、その文脈において参照可能な対象を管理するという、一つの文を翻訳単位とする通常の機械翻訳よりも複雑な処理を必要とする。第二に、従来の日本語のゼロ代名詞照応は、述語項構造解析の拡張として実現されることが多いため、統語構造ではなく意味関係を出力する。意味関係からは、ゼロ代名詞の有無とその修飾先の述語は分かるが、文中におけるゼロ代名詞の位置の情報がないため、そのままでは統計翻訳で使用できない。
【００１０】
また、日本語から英語への統計翻訳において、ゼロ代名詞の照応を考慮した研究は少ない。
【００１１】
ゼロ代名詞照応は、省略された代名詞を検出し、その代名詞が参照する対象を同定するために前後の文を参照する必要があるが、空範疇検出は、要素が省略されていることを検出するだけであり、一つの文の中で処理が完結する。また空範疇検出は、空範疇を含む文の統語構造を出力するので、空範疇検出の出力をそのまま統計翻訳で使用することができる。
【００１２】
中国語から英語への統計翻訳においては、中国語の空範疇検出技術を利用して、入力文において省略されている要素の種類と文中の位置を*pro*や*T*などの記号を使って明示し、空範疇が明示された中国語文と英語文の対を用いて統計翻訳モデルを作成する研究がある。非特許文献１は、入力文に空範疇を自動的に挿入することにより、句に基づく統計翻訳の精度が向上したと報告している。非特許文献２ は、句構造を出力する構文解析器の後処理として、対数線形モデルに基づく空範疇検出器を提案し、階層的句に基づく統計翻訳や木から文字列への統計翻訳(tree-to-string) において精度が向上したと報告している。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Tagyoung Chung and Daniel Gildea. Effects of Empty Categories on Machine Translation. In Proceedings of the EMNLP2010, pp. 636-645, 2010.
【非特許文献２】Bing Xiang, Xiaoqiang Luo, and Bowen Zhou. Enlisting the ghost: Modeling empty categories for machine translation. In Proceedings of the ACL2013, pp. 822-831, 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明が解決しようとする課題は、日本語と英語のように語順が大きく異なる言語対においては、空範疇が明示された日本語文と英語文の間の単語対応付けの精度が低いために、非特許文献１や非特許文献２の方法をそのまま適用するのは難しいという問題である。
【００１５】
日本語文に2 つの空範疇が存在する例を図1に示す。図1(a)では、最初の*pro*は述語「よい」を含む主節の主語なので“it” に対応し、二つ目の*pro*は述語「帰る」を含む埋め込み文の主語なので“you” に対応する。図1(b) では、最初の*pro*は述語「連れ戻す」を含む主節の主語なので“I”に対応し、二つ目の*T*は述語「家出した」を含む関係節の主語なので、関係代名詞“who” に対応する。
【００１６】
日本語と英語の単語対応はもともと複雑であるが、日本語の空範疇を考慮すると単語対応が更に複雑になることが分かる。単語対応が複雑になるほど、単語対応付けの精度が低下し、統計翻訳の翻訳精度が低下するという問題がある。さらに現状の空範疇検出の精度はあまり高くないので、空範疇検出の誤りによっても単語対応の精度や翻訳の精度が低下するという問題がある。
【００１７】
本発明は、これらの課題を解決するために成されたものであり、空範疇検出技術を用いて翻訳精度を向上させることができる事前並べ替えモデルを学習することができる事前並べ替えモデル学習装置、方法、及びプログラムを提供することを目的とする。
【００１８】
また、空範疇検出技術を用いて翻訳精度を向上させることができる翻訳モデル学習装置、翻訳装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明に係る翻訳モデル学習装置は、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行う事前並べ替え部と、前記複数のペアの各々についての、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、原言語文を目的言語文へ翻訳するための翻訳モデルを学習する翻訳モデル学習部と、を含んで構成されている。
【００２０】
本発明に係る翻訳モデル学習方法は、構文解析部が、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、空範疇検出部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、二分化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、事前並べ替え部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行い、翻訳モデル学習部が、前記複数のペアの各々についての、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、原言語文を目的言語文へ翻訳するための翻訳モデルを学習する。
【００２１】
本発明に係る事前並べ替えモデル学習装置は、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木を線形化して、空範疇付き原言語文を生成する線形化部と、前記複数のペアの各々に対し、前記空範疇付き原言語文と目的言語文との間における単語の対応付けを行う単語対応付け部と、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、前記単語の対応付けの結果を用いて求められる、２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列と、順序を反転させた前記２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列とに基づいて、前記２つの子ノードの順序を反転させるか否かの正解ラベルを付与する並べ替え正解ラベル付与部と、前記複数のペアの各々に対する、前記正解ラベルが付与された、前記ペアの原言語文の空範疇付き二分化句構造木に基づいて、原言語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて前記２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習する事前並べ替えモデル学習部と、を含んで構成されている。
【００２２】
本発明に係る単語並べ替えモデル学習方法は、構文解析部が、対訳となる原言語文及び目的言語文の複数のペアに含まれる原言語文の各々について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、空範疇検出部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、二分化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、線形化部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木を線形化して、空範疇付き原言語文を生成し、単語対応付け部が、前記複数のペアの各々に対し、前記空範疇付き原言語文と目的言語文との間における単語の対応付けを行い、並べ替え正解ラベル付与部が、前記複数のペアの各々に対し、前記ペアの原言語文の前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、前記単語の対応付けの結果を用いて求められる、２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列と、順序を反転させた前記２つの子ノードが表す前記原言語文の単語列に対応する前記目的言語文の単語列とに基づいて、前記２つの子ノードの順序を反転させるか否かの正解ラベルを付与し、事前並べ替えモデル学習部が、前記複数のペアの各々に対する、前記正解ラベルが付与された、前記ペアの原言語文の空範疇付き二分化句構造木に基づいて、原言語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて前記２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習する。
【００２３】
本発明に係る翻訳装置は、入力された原言語文について、原言語の構文解析を行って、前記原言語文の句構造木を生成する構文解析部と、前記原言語文の句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力する空範疇検出部と、前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する二分化部と、前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記原言語文の単語の並べ替えを行う事前並べ替え部と、単語の並べ替えが行われた原言語文、及び原言語文を目的言語文へ翻訳するための翻訳モデルに基づいて、原言語文を目的言語文へ翻訳する翻訳部と、を含んで構成されている。
【００２４】
本発明に係る翻訳方法は、構文解析部が、入力された原言語文について、原言語の構文解析を行って、前記原言語文の句構造木を生成し、空範疇検出部が、前記原言語文の句構造木に基づいて、前記句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇付き句構造木を出力し、二分化部が、前記空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、事前並べ替え部が、前記空範疇付き二分化句構造木に基づいて、前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記原言語文の単語の並べ替えを行い、翻訳部が、単語の並べ替えが行われた原言語文、及び原言語文を目的言語文へ翻訳するための翻訳モデルに基づいて、原言語文を目的言語文へ翻訳する。
【００２５】
また、本発明のプログラムは、コンピュータを、上記の翻訳モデル学習装置、翻訳装置、事前並べ替えモデル学習装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２６】
以上説明したように、本発明の翻訳モデル学習装置、方法、及びプログラムによれば、原言語文の前記空範疇付き二分化句構造木を生成し、事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行い、単語の並べ替えが行われた原言語文及び目的言語文に基づいて、翻訳モデルを学習することにより、空範疇検出技術を用いて翻訳精度を向上させる翻訳モデルを学習することができる。
【００２７】
また、本発明の単語並べ替えモデル学習装置、方法、及びプログラムによれば、原言語文の空範疇付き二分化句構造木を生成し、原言語文の前記空範疇付き二分化句構造木を線形化して、空範疇付き原言語文を生成し、前記空範疇付き原言語文と目的言語文との間における単語の対応付けを行い、原言語文の前記空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、２つの子ノードの順序を反転させるか否かの正解ラベルを付与し、事前並べ替えモデルを学習することにより、空範疇検出技術を用いて翻訳精度を向上させることができる事前並べ替えモデルを学習することができる。
【００２８】
また、本発明の翻訳装置、方法、及びプログラムによれば、原言語文の前記空範疇付き二分化句構造木を生成し、事前並べ替えモデルに基づいて、前記ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、前記決定の結果に基づいて、前記ペアの原言語文の単語の並べ替えを行い、単語の並べ替えが行われた原言語文と、翻訳モデルとに基づいて、目的言語文に翻訳することにより、空範疇検出技術を用いて翻訳精度を向上させることができる。
【図面の簡単な説明】
【００２９】
【図１】日本語の空範疇を考慮することにより単語対応が複雑化する例を示す図である。
【図２】空範疇を考慮した事前並べ替えの方法を説明するための図である。
【図３】本発明の第１の実施の形態に係る翻訳モデル学習装置の機能的構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る事前並べ替えモデル学習装置の機能的構成を示すブロック図である。
【図５】本発明の第１の実施の形態に係る翻訳装置の機能的構成を示すブロック図である。
【図６】本発明の第１の実施の形態に係る事前並べ替えモデル学習装置における単語並べ替え学習処理ルーチンを示すフローチャート図である。
【図７】本発明の第１の実施の形態に係る翻訳モデル学習装置における翻訳モデル学習処理ルーチンを示すフローチャート図である。
【図８】本発明の第１の実施の形態に係る翻訳装置における翻訳処理ルーチンを示すフローチャート図である。
【図９】本発明の第２の実施の形態に係る事前並べ替えモデル学習装置の機能的構成を示すブロック図である。
【図１０】本発明の第２の実施の形態に係る事前並べ替えモデル学習装置における単語並べ替え学習処理ルーチンを示すフローチャート図である。
【図１１】空範疇候補のフィルタリングの閾値に対するＢＬＥＵとＲＩＢＥＳの変化を示す図である。
【図１２】空範疇を考慮した機械翻訳の精度の実験結果を示す図である。
【図１３】翻訳例を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜本発明の実施の形態の概要＞
本発明の実施の形態では、非特許文献３ で報告されている日本語の空範疇検出技術と、非特許文献４で報告されている事前並べ替え技術を組み合せて、日本語空範疇検出機能付きの日英翻訳を実現する。
【００３２】
［非特許文献３］Shunsuke Takeno, Nagata Masaaki, and Kazuhide Yamamoto. Empty Category Detection using Path Features and Distributed Case Frames. In Proceedings of the EMNLP2015, pp. 1335-1340, 2015.
【００３３】
［非特許文献４］Sho Hoshino, Yusuke Miyao, Katsuhito Sudoh, Katsuhiko Hayashi, and Masaaki Nagata. Discriminative preordering meets kendall’s tau maximization. In Proceedings of the ACL-IJCNLP2015, pp. 139-144, 2015.
【００３４】
図２に、日本語の空範疇を考慮した日英翻訳のための事前並べ替えの概念図を示す。図２（ａ）は、入力日本語文を示し、図２（ｂ）は、空範疇付き句構造木を示し、図２（ｃ）は、並べ替え正解ラベルおよび空範疇付き二分化句構造木（Ｗは反転、Ｍは単調）を示し、図２（ｄ）は、並べ替え済み日本語文を示す。
【００３５】
なお、コントロールされている明示されていない主語PROは、日本語においても英語においてもPROであることが多いので、本発明における空範疇検出の対象とはしない。
【００３６】
＜本発明の第１の実施の形態＞
＜本発明の第１の実施の形態に係る翻訳モデル学習装置の構成＞
次に、本発明の第１の実施の形態に係る翻訳モデル学習装置の構成について説明する。翻訳モデル学習装置は、日英対訳データの日本語側の文を構文解析し、得られた句構造木をもとに空範疇検出を行って空範疇付き句構造木(phrase structure tree)を得る。さらに空範疇付き句構造木を二分化(binarize) して空範疇付き二分化句構造木を得る。この空範疇付き二分化句構造木の各ノードに対して、事前並べ替えモデルに基づいて反転するWまたは反転しないMという並べ替えラベルを付与し、並べ替え済みの日本語文を得る。そして並べ替え済み日本語文と日英対訳データの英語文の対から句に基づく翻訳モデルを学習する。
【００３７】
図３に示すように、本発明の実施の形態に係る翻訳モデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述する翻訳モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この翻訳モデル学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００３８】
入力部１０は、学習データとして、対訳文である原言語文（日本語文）と目的言語文（英語文）とのペアの集合の入力を受け付ける。
【００３９】
演算部２０は、日英対訳データ２２、日本語文抽出部２４、日本語文データ２６、構文解析部２８、句構造木データ３０、空範疇検出部３２、空範疇付き句構造木データ３４、二分化部３６、空範疇付き二分化句構造木データ３８、事前並べ替えモデル４０、事前並べ替え部４２、並べ替え済み日本語文データ４４、英語文抽出部４６、英語文データ４８、翻訳モデル学習部５２、及び翻訳モデル５４を備えている。
【００４０】
日英対訳データ２２は、入力部１０により受け付けた対訳文である原言語文と目的言語文とのペアの集合を記憶している。
【００４１】
日本語文抽出部２４は、日英対訳データ２２から、日本語文の集合を抽出する。
【００４２】
日本語文データ２６は、日本語文抽出部２４により抽出された日本語文の集合を記憶している。
【００４３】
構文解析部２８は、日本語文データ２６に記憶されている日本語文の各々について、構文解析を行い、当該日本語文の句構造木を生成する。日本語文の句構造木を得るための構文解析には、非特許文献５の方法を用いることができる。
【００４４】
［非特許文献５］Katsuhiko Hayashi, Jun Suzuki, and Masaaki Nagata. Shift-reduce spinal tag parsing with dynamic programming. Transactions of the Japanese Society for Artificial Intelligence, Vol. 31, No. 2, 2016.
【００４５】
句構造木データ３０は、日本語文の各々について生成された句構造木を記憶している。
【００４６】
空範疇検出部３２は、日本語文の各々について、生成された当該日本語文の句構造木に基づいて、句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇の位置及び種類を推定し、空範疇付き句構造木を出力する。
【００４７】
日本語の句構造木を入力とする空範疇検出には、上記非特許文献３の方法を用いることができる。
【００４８】
また、現状では日本語の空範疇検出の精度はあまり高くない。そこで本発明の実施の形態では、信頼できる空範疇候補だけを日英翻訳において使用するようなフィルタリング処理を適用する。
【００４９】
以下では、例として非特許文献献３の空範疇検出法におけるフィルタリングを説明する。このような閾値処理は、空範疇候補に対して確率(信頼度のスコア) が計算できるような空範疇検出法であれば、何に対しても適用できる。
【００５０】
帰りがけ順の巡回(post-order traversal) による生成される句構造木のノードの系列をT = t1t2・・・tnとし、tiに対する空範疇の種類のラベルをeiとする。非特許文献３では、空範疇ラベルは以下の対数線形モデルにより求める
【００５１】
【数１】
2018185573.tif 000003
【００５２】
ここで
2018185573.tif 000004
はすべての空範疇ラベルの集合を表し、*pro*(省略された代名詞), *T*(移動の痕跡),NULL(空範疇なし) から構成される。また、φは素性ベクトルであり、θはφへの重みベクトルであり、Ｚは、正規化係数である。
【００５３】
上記の式は、*pro*や*T*の確率がNULLラベル(空範疇なし)の確率より高ければ空範疇が挿入されることを表す。本発明の実施の形態では、これを確率が閾値θ以上のときのみ空範疇ラベルを付与するようにする。
【００５４】
【数２】
2018185573.tif 000005
【００５５】
閾値θは予備実験により最適値を決定する。
【００５６】
これによって信頼度の低い空範疇を挿入することによる機械翻訳の精度の低下を防ぐことができる。
【００５７】
空範疇付き句構造木データ３４は、日本語文の各々について生成された空範疇付き句構造木を記憶している。
【００５８】
二分化部３６は、日本語文の各々について、当該日本語文の空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する。日本語文の空範疇付き句構造木の二分化には、人手で作成された日本語の句構造解析の正解データであるKeyaki  Treebank に付随して公開されているルールベースの二分木化ツールを用いることができる。
【００５９】
空範疇付き二分化句構造木データ３８は、日本語文の各々について生成された空範疇付き二分化句構造木を記憶している。
【００６０】
事前並べ替えモデル４０は、後述する事前並べ替えモデル学習装置１５０によって学習された事前並べ替えモデルを記憶している。
【００６１】
事前並べ替え部４２は、日本語文の各々に対し、当該日本語文の空範疇付き二分化句構造木に基づいて、空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、予め学習された事前並べ替えモデルに基づいて、当該ノードが有する２つの子ノードの順序を反転させるか否かを決定し、決定の結果に基づいて、当該日本語文の単語の並べ替えを行う。
【００６２】
並べ替え済み日本語文データ４４は、日本語文の各々について単語の並べ替えが行われた並べ替え済み日本語文が記憶されている。
【００６３】
英語文抽出部４６は、日英対訳データ２２から、英語文の集合を抽出する。
【００６４】
英語文データ４８は、英語文抽出部４６により抽出された英語文の集合を記憶している。
【００６５】
翻訳モデル学習部５２は、対訳文の各々についての、単語の並べ替えが行われた日本語文及び英語文に基づいて、日本語文を英語文へ翻訳するための翻訳モデルを学習する。
【００６６】
翻訳モデル５４は、学習された翻訳モデルを記憶している。翻訳モデル５４に記憶された翻訳モデルが、出力部５０により出力される。
【００６７】
＜本発明の第１の実施の形態に係る事前並べ替えモデル学習装置の構成＞
次に、本発明の第１の実施の形態に係る事前並べ替えモデル学習装置の構成について説明する。事前並べ替えモデル学習装置は、まず日英対訳データの日本語側の文を構文解析し、得られた句構造木をもとに空範疇検出を行って空範疇付き句構造木(phrase structure tree) を得る。さらに空範疇付き句構造木を線形化(linearize) して空範疇付き日本語文を得る。また空範疇付き句構造木を二分化(binarize) して空範疇付き二分化句構造木を得る。次に空範疇付き日本語文と日英対訳データの英語側の文において単語対応を求める。そして空範疇付き二分化句構造木と日英単語対応から非特許文献４の方法により事前並び替えモデルを学習する。
【００６８】
このように、空範疇付き日本語文と英語文の(自動) 単語対応付けにより得られた単語対応を用いて事前並べ替えモデルを学習する。日本語の空範疇付き二分化句構造木に対してこの事前並べ替えモデルを適用した場合、空範疇は既知の単語から構成される名詞句として扱われる。すなわち、空範疇に特化した並べ替えが行われることが期待されるが、自動単語対応を使うので単語対応の精度が平均的に低い。
【００６９】
図４に示すように、本発明の実施の形態に係る事前並べ替えモデル学習装置１５０は、ＣＰＵと、ＲＡＭと、後述する事前並べ替えモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この事前並べ替えモデル学習装置１５０は、機能的には図４に示すように入力部６０と、演算部７０と、出力部９０とを備えている。
【００７０】
入力部６０は、単語並べ替えのための学習データとして、対訳文である日本語文と英語文とのペアの集合の入力を受け付ける。
【００７１】
演算部７０は、日英対訳データ７２、日本語文抽出部７４、日本語文データ７６、構文解析部７８、句構造木データ８０、空範疇検出部８２、空範疇付き句構造木データ８４、線形化部８６、空範疇付き日本語文データ８８、二分化部９２、空範疇付き二分化句構造木データ９４、英語文抽出部９６、英語文データ９８、単語対応付け部１０２、日英単語対応データ１０４、並べ替え正解ラベル付与部１０６、並べ替え正解ラベルおよび空範疇付き二分化句構造木データ１０８、事前並べ替えモデル学習部１１０、及び事前並べ替えモデル１１２を備えている。
【００７２】
日英対訳データ７２は、入力部６０により受け付けた対訳文である原言語文と目的言語文とのペアの集合を記憶している。
【００７３】
日本語文抽出部７４は、日英対訳データ７２から、日本語文の集合を抽出する。
【００７４】
日本語文データ７６は、日本語文抽出部７４により抽出された日本語文の集合を記憶している。
【００７５】
構文解析部７８は、構文解析部２８と同様に、日本語文データ７６に記憶されている日本語文の各々について、構文解析を行い、当該日本語文の句構造木を生成する。
【００７６】
句構造木データ８０は、日本語文の各々について生成された句構造木を記憶している。
【００７７】
空範疇検出部８２は、空範疇検出部３２と同様に、日本語文の各々について、生成された当該日本語文の句構造木に基づいて、句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇の位置及び種類を推定し、空範疇付き句構造木を出力する。
【００７８】
空範疇付き句構造木データ８４は、日本語文の各々について生成された空範疇付き句構造木を記憶している。
【００７９】
線形化部８６は、日本語文の各々に対し、当該日本語文の空範疇付き二分化句構造木を線形化して、空範疇付き日本語文を生成する。
【００８０】
空範疇付き日本語文データ８８は、日本語文の各々について生成された空範疇付き日本語文を記憶している。
【００８１】
二分化部９２は、日本語文の各々について、当該日本語文の空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する。
【００８２】
空範疇付き二分化句構造木データ９４は、日本語文の各々について生成された空範疇付き二分化句構造木を記憶している。
【００８３】
英語文抽出部９６は、日英対訳データ７２から、英語文の集合を抽出する。
【００８４】
英語文データ９８は、英語文抽出部９６により抽出された英語文の集合を記憶している。
【００８５】
単語対応付け部１０２は、対訳文の各々に対し、空範疇付き日本語文と英語文との間における単語の対応付けを行う。単語対応付けには、GIZA++などのツールを用いることができる。
【００８６】
日英単語対応データ１０４は、対訳文の各々に対する、空範疇付き日本語文と英語文との間における単語の対応付けの結果を記憶している。
【００８７】
並べ替え正解ラベル付与部１０６は、対訳文の各々に対し、日本語文の空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、単語の対応付けの結果を用いて求められる、２つの子ノードが表す日本語文の単語列に対応する英語文の単語列と、順序を反転させた２つの子ノードが表す日本語の単語列に対応する英語文の単語列とに基づいて、２つの子ノードの順序を反転させるか否かの並べ替え正解ラベルを付与する。
【００８８】
例えば、日本語文の二分化句構造木、および日本語文と英語文の単語対応に基づいて、互いに翻訳になっている単語の列の順位相関係数(ケンドールのτ) が最大になるように、二分句構造木の各ノードにおける２つの子ノードを反転するか否かを決定し、反転するノードにはW(swap)、反転しないノードにはM(monotone) という並べ替えラベルを付与する。これを並べ替え正解ラベルと呼ぶ。
【００８９】
並べ替え正解ラベルおよび空範疇付き二分化句構造木データ１０８は、対訳文の各々についての、並べ替え正解ラベルおよび空範疇付き二分化句構造木を記憶している。
【００９０】
事前並べ替えモデル学習部１１０は、対訳文の各々に対する、並べ替え正解ラベルが付与された、日本語文の空範疇付き二分化句構造木に基づいて、日本語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習する。
【００９１】
例えば、並べ替え正解ラベルが付与された二分句構造木を学習データとして、未知の二分句構造木の各ノードに対して、反転するWまたは反転しないMという並べ替えラベルを出力するような二値分類器を学習する。この二値分類器は、子ノードの非終端記号ラベルや主辞となる単語等を素性とする対数線形モデルにより構成される。本発明の実施の形態では、この二値分類器で使用するモデルを事前並べ替えモデルと呼ぶ。
【００９２】
事前並べ替えモデル１１２は、学習された事前並べ替えモデルを記憶している。事前並べ替えモデル１１２に記憶された事前並べ替えモデルが、出力部９０により出力される。
【００９３】
＜本発明の第１の実施の形態に係る翻訳装置の構成＞
次に、本発明の第１の実施の形態に係る翻訳装置の構成について説明する。翻訳装置は、まず日本語の入力文を構文解析し、句構造木を得る。次に空範疇検出を行って空範疇付き句構造木を得る。次に二分化を適用して空範疇付き二分句構造木を得る。この空範疇付き二分化句構造木の各ノードに対して、事前並べ替えモデルに基づいて反転するWまたは反転しないMという並べ替えラベルを付与し、並べ替え済みの日本語文を得る。そして句に基づく統計翻訳により、並べ替え済み日本語文を英語文へ翻訳する。
【００９４】
図５に示すように、本発明の実施の形態に係る翻訳装置２００は、ＣＰＵと、ＲＡＭと、後述する翻訳処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この翻訳装置２００は、機能的には図５に示すように入力部１２０と、演算部１３０と、出力部１６０とを備えている。
【００９５】
入力部１２０は、翻訳対象となる日本語文の入力を受け付ける。
【００９６】
演算部１３０は、日本語文データ１３２、構文解析部１３４、句構造木データ１３６、空範疇検出部１３８、空範疇付き句構造木データ１４０、二分化部１４２、空範疇付き二分化句構造木データ１４４、事前並べ替えモデル１４６、事前並べ替え部１４８、並べ替え済み日本語文データ１５２、翻訳モデル１５４、翻訳部１５６、及び英語文データ１５８を備えている。
【００９７】
日本語文データ１３２は、入力部１２０により受け付けた翻訳対象である日本語文を記憶している。
【００９８】
構文解析部１３４は、構文解析部２８と同様に、日本語文データ１３２に記憶されている日本語文について、構文解析を行い、当該日本語文の句構造木を生成する。
【００９９】
句構造木データ１３６は、日本語文について生成された句構造木を記憶している。
【０１００】
空範疇検出部１３８は、空範疇検出部３２と同様に、生成された日本語文の句構造木に基づいて、句構造木に含まれるノードに付与する空範疇ラベルを検出して、空範疇の位置及び種類を推定し、空範疇付き句構造木を出力する。
【０１０１】
空範疇付き句構造木データ１４０は、日本語文について生成された空範疇付き句構造木を記憶している。
【０１０２】
二分化部１４２は、日本語文の空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成する。
【０１０３】
空範疇付き二分化句構造木データ１４４は、日本語文について生成された空範疇付き二分化句構造木を記憶している。
【０１０４】
事前並べ替えモデル１４６は、事前並べ替えモデル学習装置１５０によって学習された事前並べ替えモデルを記憶している。
【０１０５】
事前並べ替え部１４８は、空範疇付き二分化句構造木に基づいて、空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、事前並べ替えモデルに基づいて、当該ノードが有する前記２つの子ノードの順序を反転させるか否かを決定し、記決定の結果に基づいて、日本語文の単語の並べ替えを行う。
【０１０６】
並べ替え済み日本語文データ１５２は、単語の並べ替えが行われた日本語文を記憶している。
【０１０７】
翻訳モデル１５４は、翻訳モデル学習装置１００によって学習された翻訳モデルを記憶している。
【０１０８】
翻訳部１５６は、単語の並べ替えが行われた日本語文、及び翻訳モデルに基づいて、日本語文を英語文へ翻訳する。
【０１０９】
英語文データ１５８は、日本語文を翻訳した英語文を記憶している。英語文データ１５８に記憶された英語文が、出力部１６０により出力される。
【０１１０】
＜事前並べ替えモデル学習装置の作用＞
次に、本発明の第１の実施の形態に係る事前並べ替えモデル学習装置１５０の作用について説明する。まず、入力部６０により、対訳文である日本語文と英語文とのペアの集合の入力を受け付け、日英対訳データ７２に記憶される。そして、事前並べ替えモデル学習装置１５０のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図６に示す事前並べ替えモデル学習処理ルーチンが実行される。
【０１１１】
まず、ステップＳ１００では、日英対訳データ７２から、日本語文の各々を取り出し、日本語文データ７６に記憶し、また、英語文の各々を取り出し、英語文データ９８に記憶する。
【０１１２】
次に、ステップＳ１０２では、ステップＳ１００において取り出した日本語文の各々について、構文解析を行って、当該日本語文の句構造木を生成し、句構造木データ８０に記憶する。ステップＳ１０４では、日本語文の各々について、ステップＳ１０２で生成した句構造木に基づいて、空範疇検出を行い、空範疇付き句構造木を生成し、空範疇付き句構造木データ８４に記憶する。
【０１１３】
そして、ステップＳ１０６では、日本語文の各々について、ステップＳ１０４において生成した空範疇付き句構造木を線形化して、空範疇付き日本語文を生成し、空範疇付き日本語文データ８８に記憶する。
【０１１４】
ステップＳ１０８では、日本語文の各々について、ステップＳ１０４において生成した空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、空範疇付き二分化句構造木データ９４に記憶する。
【０１１５】
ステップＳ１１０では、対訳文である日本語文と英語文とのペアの各々について、上記ステップＳ１０６で生成された、空範疇付き日本語文と、上記ステップＳ１００で取り出した英語文とに基づいて、単語の対応付けを行う。
【０１１６】
そして、ステップＳ１１２では、対訳文である日本語文と英語文とのペアの各々について、上記ステップＳ１０８で生成された日本語文の空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、上記ステップＳ１１０で得られた単語の対応付けの結果を用いて求められる、２つの子ノードが表す日本語文の単語列に対応する英語文の単語列と、順序を反転させた２つの子ノードが表す日本語の単語列に対応する英語文の単語列とに基づいて、２つの子ノードの順序を反転させるか否かの並べ替え正解ラベルを付与し、並べ替え正解ラベルおよび空範疇付き二分化句構造木を、並べ替え正解ラベルおよび空範疇付き二分化句構造木データ１０８に記憶する。
【０１１７】
ステップＳ１１４では、対訳文である日本語文と英語文とのペアの各々に対する、並べ替え正解ラベルが付与された、日本語文の空範疇付き二分化句構造木に基づいて、日本語文の空範疇付き二分化句構造木において子ノードを２つ有するノードについて２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習し、事前並べ替えモデル１１２に記憶する。そして、事前並べ替えモデル１１２に記憶された事前並べ替えモデルが、出力部９０により出力され、事前並べ替えモデル学習処理ルーチンを終了する。
【０１１８】
＜翻訳モデル学習装置の作用＞
次に、本発明の第１の実施の形態に係る翻訳モデル学習装置１００の作用について説明する。まず、事前並べ替えモデル学習装置１５０により出力された事前並べ替えモデルが、事前並べ替えモデル４０に予め記憶される。そして、入力部１０により、対訳文である日本語文と英語文とのペアの集合の入力を受け付け、日英対訳データ２２に記憶される。そして、翻訳モデル学習装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図７に示す翻訳モデル学習処理ルーチンが実行される。
【０１１９】
まず、ステップＳ１２０では、日英対訳データ２２から、日本語文の各々を取り出し、日本語文データ２６に記憶し、また、英語文の各々を取り出し、英語文データ４８に記憶する。
【０１２０】
次に、ステップＳ１２２では、ステップＳ１２０において取り出した日本語文の各々について、構文解析を行って、当該日本語文の句構造木を生成し、句構造木データ３０に記憶する。ステップＳ１２４では、日本語文の各々について、ステップＳ１２２で生成した句構造木に基づいて、空範疇検出を行い、空範疇付き句構造木を生成し、空範疇付き句構造木データ３４に記憶する。
【０１２１】
そして、ステップＳ１２６では、日本語文の各々について、ステップＳ１２４において生成した空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、空範疇付き二分化句構造木データ３８に記憶する。
【０１２２】
ステップＳ１２８では、日本語文の各々について、ステップＳ１２６において生成した当該日本語文の空範疇付き二分化句構造木に基づいて、空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、事前並べ替えモデル４０に基づいて、当該ノードが有する２つの子ノードの順序を反転させるか否かを決定し、決定の結果に基づいて、当該日本語文の単語の並べ替えを行う。そして、日本語文の各々について単語の並べ替えが行われた並べ替え済み日本語文が、並べ替え済み日本語文データ４４に記憶される。
【０１２３】
そして、ステップＳ１３０では、対訳文である日本語文と英語文とのペアの各々に対する、上記ステップＳ１２８で得られた、並べ替え済み日本語文と、上記ステップＳ１２０で取り出した英語文とに基づいて、日本語文を英語文へ翻訳するための翻訳モデルを学習し、翻訳モデル５４に記憶する。そして、翻訳モデル５４に記憶された翻訳モデルが、出力部５０により出力されて、翻訳モデル学習処理ルーチンを終了する。
【０１２４】
＜翻訳装置の作用＞
次に、本発明の第１の実施の形態に係る翻訳装置２００の作用について説明する。まず、事前並べ替えモデル学習装置１５０により出力された事前並べ替えモデルが、事前並べ替えモデル１４６に予め記憶される。また、翻訳モデル学習装置１００により出力された翻訳モデルが、翻訳モデル１５４に予め記憶される。そして、入力部１２０により、翻訳対象となる日本語文の入力を受け付け、日本語文データ１３２に記憶される。そして、翻訳装置２００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図８に示す翻訳処理ルーチンが実行される。
【０１２５】
まず、ステップＳ１４２において、入力された日本語文について、構文解析を行って、当該日本語文の句構造木を生成し、句構造木データ１３６に記憶する。ステップＳ１４４では、ステップＳ１４２で生成した句構造木に基づいて、空範疇検出を行い、空範疇付き句構造木を生成し、空範疇付き句構造木データ１４０に記憶する。
【０１２６】
そして、ステップＳ１４６では、ステップＳ１４２において生成した空範疇付き句構造木を二分化して、空範疇付き二分化句構造木を生成し、空範疇付き二分化句構造木データ１４４に記憶する。
【０１２７】
ステップＳ１４８では、ステップＳ１４６において生成した当該日本語文の空範疇付き二分化句構造木に基づいて、空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、事前並べ替えモデル１４６に基づいて、当該ノードが有する２つの子ノードの順序を反転させるか否かを決定し、決定の結果に基づいて、当該日本語文の単語の並べ替えを行う。そして、日本語文の各々について単語の並べ替えが行われた並べ替え済み日本語文が、並べ替え済み日本語文データ１５２に記憶される。
【０１２８】
そして、ステップＳ１５０では、上記ステップＳ１５２で得られた、並べ替え済み日本語文と、翻訳モデル１５４とに基づいて、日本語文を英語文へ翻訳し、英語文データ１５８に記憶する。そして、英語文データ１５８に記憶された英語文が、出力部１６０により出力されて、翻訳処理ルーチンを終了する。
【０１２９】
以上説明したように、本発明の第１の実施の形態に係る翻訳モデル学習装置によれば、日本語文の空範疇付き二分化句構造木を生成し、事前並べ替えモデルに基づいて、ノードが有する２つの子ノードの順序を反転させるか否かを決定し、決定の結果に基づいて、日本語文の単語の並べ替えを行い、単語の並べ替えが行われた日本語文及び英語文に基づいて、翻訳モデルを学習することにより、空範疇検出技術を用いて翻訳精度を向上させる翻訳モデルを学習することができる。
【０１３０】
また、本発明の第１の実施の形態に係る単語並べ替えモデル学習装置によれば、日本語文の空範疇付き二分化句構造木を生成し、日本語文の空範疇付き二分化句構造木を線形化して、空範疇付き日本語文を生成し、空範疇付き日本語文と英語文との間における単語の対応付けを行い、日本語文の空範疇付き二分化句構造木において子ノードを２つ有する各ノードについて、２つの子ノードの順序を反転させるか否かの正解ラベルを付与し、事前並べ替えモデルを学習することにより、空範疇検出技術を用いて翻訳精度を向上させることができる事前並べ替えモデルを学習することができる。
【０１３１】
また、本発明の第１の実施の形態に係る翻訳装置によれば、日本語文の空範疇付き二分化句構造木を生成し、事前並べ替えモデルに基づいて、ノードが有する２つの子ノードの順序を反転させるか否かを決定し、決定の結果に基づいて、ペアの日本語文の単語の並べ替えを行い、単語の並べ替えが行われた原言語文と、翻訳モデルとに基づいて、英語文に翻訳することにより、空範疇検出技術を用いて翻訳精度を向上させることができる。
【０１３２】
本発明の第１の実施の形態により、日本語の空範疇を考慮した事前並べ替え型の句に基づく日英翻訳を実現できる。
【０１３３】
また、中国語から英語への統計翻訳において、中国語の空範疇検出を用いる非特許文献１や非特許文献２の方法は、日本語と英語のように語順が大きく異なる言語対では、単語対応の精度が低いためにうまくいかない。統計翻訳手法として、非特許文献１は句に基づく翻訳、非特許文献２は木から文字列への翻訳を用いているが、本発明の実施の形態は、空範疇検出と事前並べ替え型の句に基づく翻訳を組み合せること、すなわち、単語対応を2 回適用することで、語順の違いの問題を克服した。また、空範疇検出の結果を信頼度に基づきフィルタリングすることにより、空範疇の誤挿入による翻訳誤りを削減した。
【０１３４】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１３５】
第２の実施の形態では、事前並べ替えモデルを学習する際に、人手によって単語の対応付けを行っている点が、第１の実施の形態と異なっている。
【０１３６】
＜第２の実施の形態の概要＞
一般に、事前並べ替えモデルの学習に使用する対訳データは、翻訳モデルの学習に使用する対訳データと同じである必要はない。事前並べ替えモデルの学習に使用する対訳データは、翻訳モデルの学習に使用する対訳データの部分集合であってもよいし、まったく別の対訳データであってもよい。
【０１３７】
もし日本語文の空範疇検出の正解データ、および、空範疇付き日本語文と英語文の単語対応の正解データを人手で作成できれば、それらを用いて事前並べ替えモデルを学習することにより非常に高い翻訳精度が期待できる。
【０１３８】
しかし現状では、人手で作成された(空範疇を含まない) 日本語文と英語文の単語対応の正解データは存在するが、日本語文に存在する空範疇の正解データ、および、日本語の空範疇に対応する英語の単語の正解データを明示した単語対応データは存在しない。また、このような正解データを、非特許文献４の事前並べ替えモデルを学習するのに必要な量(5,000 文対から10,000 文対) 準備するのは難しい。
【０１３９】
そこで、第２の実施の形態では、人手で作成された(空範疇を含まない) 単語対応の正解データを用いて事前並べ替えモデルを学習する。日本語の空範疇付き二分化句構造木に対してこの事前並べ替えモデルを適用した場合、日本語文の空範疇付き句構造木から空範疇は名詞句(NP, noun phrase) であるという情報は得られるので、事前並べ替えモデルを用いた単語の事前並べ替えでは、空範疇は未知の単語から構成される名詞句として扱われる。すなわち、人手で作成された単語対応を利用することにより、平均的な名詞句の並べ替え精度は向上することが期待されるが、空範疇に特化しているわけではない。
【０１４０】
＜本発明の第２の実施の形態に係る事前並べ替えモデル学習装置の構成＞
次に、本発明の第２の実施の形態に係る事前並べ替えモデル学習装置の構成について説明する。
【０１４１】
図９に示すように、本発明の実施の形態に係る事前並べ替えモデル学習装置２５０は、ＣＰＵと、ＲＡＭと、後述する事前並べ替えモデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この事前並べ替えモデル学習装置２５０は、機能的には図９に示すように入力部６０と、演算部２７０と、出力部９０とを備えている。
【０１４２】
入力部６０は、単語並べ替えのための学習データとして、対訳文である日本語文と英語文とのペアの集合の入力を受け付ける。また、入力部６０は、対訳文である日本語文と英語文とのペアにおける単語対応付け情報の入力を受け付ける。
【０１４３】
演算部２７０は、日英対訳データ７２、日本語文抽出部７４、日本語文データ７６、構文解析部７８、句構造木データ８０、二分化部２９２、二分化句構造木データ２９４、英語文抽出部９６、英語文データ９８、単語対応受付部３０２、日英単語対応データ３０４、並べ替え正解ラベル付与部３０６、並べ替え正解ラベルおよび二分化句構造木データ３０８、事前並べ替えモデル学習部１１０、及び事前並べ替えモデル１１２を備えている。
【０１４４】
二分化部２９２は、日本語文の各々について、当該日本語文の句構造木を二分化して、二分化句構造木を生成する。
【０１４５】
二分化句構造木データ２９４は、日本語文の各々について生成された二分化句構造木を記憶している。
【０１４６】
単語対応受付部３０２は、対訳文の各々に対し、日本語文と英語文との間における人手による単語の対応付けの情報を受け付ける。
【０１４７】
日英単語対応データ３０４は、対訳文の各々に対する、日本語文と英語文との間における単語の対応付けの情報を記憶している。
【０１４８】
並べ替え正解ラベル付与部３０６は、対訳文の各々に対し、日本語文の二分化句構造木において子ノードを２つ有する各ノードについて、単語の対応付けの情報を用いて求められる、２つの子ノードが表す日本語文の単語列に対応する英語文の単語列と、順序を反転させた２つの子ノードが表す日本語の単語列に対応する英語文の単語列とに基づいて、上記第１の実施の形態と同様に、２つの子ノードの順序を反転させるか否かの並べ替え正解ラベルを付与する。
【０１４９】
並べ替え正解ラベルおよび二分化句構造木データ３０８は、対訳文の各々についての、並べ替え正解ラベルおよび二分化句構造木を記憶している。
【０１５０】
＜事前並べ替えモデル学習装置の作用＞
次に、本発明の第２の実施の形態に係る事前並べ替えモデル学習装置２５０の作用について説明する。まず、入力部６０により、対訳文である日本語文と英語文とのペアの集合の入力を受け付け、日英対訳データ７２に記憶される。そして、事前並べ替えモデル学習装置２５０のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１０に示す事前並べ替えモデル学習処理ルーチンが実行される。
【０１５１】
まず、ステップＳ１００では、日英対訳データ７２から、日本語文の各々を取り出し、日本語文データ７６に記憶し、また、英語文の各々を取り出し、英語文データ９８に記憶する。
【０１５２】
次に、ステップＳ１０２では、ステップＳ１００において取り出した日本語文の各々について、構文解析を行って、当該日本語文の句構造木を生成し、句構造木データ８０に記憶する。ステップＳ２００では、日本語文の各々について、ステップＳ１０２で生成した句構造木を二分化して、二分化句構造木を生成し、二分化句構造木データ２９４に記憶する。
【０１５３】
ステップＳ２０２では、入力部６０により、対訳文である日本語文と英語文とのペアの各々について、上記ステップＳ１００で取り出した日本語文と英語文との間の単語の対応付けの情報の入力を受け付ける。
【０１５４】
そして、ステップＳ２０４では、対訳文である日本語文と英語文とのペアの各々について、上記ステップＳ２００で生成された日本語文の二分化句構造木において子ノードを２つ有する各ノードについて、上記ステップＳ２０２で得られた単語の対応付けの情報を用いて求められる、２つの子ノードが表す日本語文の単語列に対応する英語文の単語列と、順序を反転させた２つの子ノードが表す日本語の単語列に対応する英語文の単語列とに基づいて、２つの子ノードの順序を反転させるか否かの並べ替え正解ラベルを付与し、並べ替え正解ラベルおよび二分化句構造木を、並べ替え正解ラベルおよび二分化句構造木データ３０８に記憶する。
【０１５５】
ステップＳ２０６では、対訳文である日本語文と英語文とのペアの各々に対する、並べ替え正解ラベルが付与された、日本語文の二分化句構造木に基づいて、日本語文の二分化句構造木において子ノードを２つ有するノードについて２つの子ノードの順序を反転させるか否かを決定するための事前並べ替えモデルを学習し、事前並べ替えモデル１１２に記憶する。そして、事前並べ替えモデル１１２に記憶された事前並べ替えモデルが、出力部９０により出力され、事前並べ替えモデル学習処理ルーチンを終了する。
【０１５６】
なお、第２の実施の形態に係る翻訳モデル学習装置及び翻訳装置の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１５７】
＜検証実験＞
＜検証実験に使用したデータとソフトウェア＞
次に、２つの日英対訳データを使って日英翻訳実験を行った実施例について以下説明する。
【０１５８】
一つは、2005 年に開催されたInternational Workshop on Spoken Language Transaction (IWSLT 2005) で使用されたものでIWSLTデータセットと呼ぶ。IWSLT データセットは旅行会話を対象領域とする話し言葉の対訳データであり、訓練データ19,972 文対、チューニング(開発) データ500 文対、テストデータ1,000 文対から構成される。省略された代名詞*pro* が非常に多く出現するので、本発明の実施の形態の評価に適している。
【０１５９】
もう一つは、Kyoto Free Translation Task コーパスで、通称KFTT と呼ばれる。KFTT は、京都に関連するWikipedia（Ｒ）の項目を日本語から英語へ翻訳した対訳データであるJapanese-English Bilingual Corpus of Wikipedia’s Kyoto Articles を加工したもので、訓練データ440,000 文対、チューニング(開発) データ1,235 文対、テストデータ1,160 から構成される。
【０１６０】
事前並べ替えモデルを作成する際には、日本語は形態素解析器MeCabとUniDic辞書を使って形態素解析し、長単位解析器Comainuを使って長単位を得た後に、上記第１の実施の形態で述べた構文解析法および空範疇検出法を使って空範疇付き二分化句構造木を得た。
【０１６１】
句に基づく日英翻訳には、統計翻訳ソフトウェアMosesを用いた。すべての実験において、Kneser-Ney 平滑化による5-gram言語モデルを使用し、BLEUを最大化するように最小誤り学習を適用した。その他のパラメータは、特に述べない限り、Mosesのデフォールトの設定を利用している。
【０１６２】
上記第２の実施の形態における事前並べ替えモデルの学習では、話し言葉のデータである日本語話し言葉コーパス(CSJ)と書き言葉である京都大学コーパス(KTC) から選んだ5319 文とその英訳に対して、人手で単語対応の正解を付与したデータを使用した。
【０１６３】
翻訳精度の評価尺度としては、統計翻訳の分野において標準的に使用される評価尺度であるBLEU、および、日本語と英語のように語順が大きく異なる言語間の翻訳において人間による評価と相関が高いとされる評価尺度であるRIBES を使用した。
【０１６４】
＜実験結果＞
予備実験として、IWSLT データセットのチューニングデータを対象として、空範疇候補のフィルタリングの閾値θを0.5 から1.0 まで変化させて、BLEU とRIBES を測定した結果を図１１に示す。
【０１６５】
上記図１１より、閾値θを変えることにより翻訳精度が大きく変化すること、および、上記第２の実施の形態における単語の事前並べ替え（REORDERING(H)）および上記第２の実施の形態における単語の事前並べ替え（REORDERING(C)）を用いた場合の翻訳精度がθ=0.75 付近で最大であることが分かる。以後の実験ではθ= 0.75を空範疇候補のフィルタリングの閾値として用いる。
【０１６６】
句に基づく翻訳をベースライン(BASELINE) として、BASELINE, REORDERING(C), REORDERING(H) の3 種類について、空範疇検出を行わない場合(w/o EC) と空範疇検出を行う場合(w/ EC) の翻訳精度を比較した結果を図１２に示す。
【０１６７】
図１２は、空範疇を考慮した機械翻訳の精度を示し、dlはdistortion limit を表し、ECは空範疇(empty category) を表す。
【０１６８】
IWSLT データセットとKFTT データセットについて、局所的な並べ替えの探索幅であるdistortion limit(dl)を6 と20 に変えて実験した。mosesのデフォールト設定ではdl=6 である。
【０１６９】
distortion limit を大きくすると、その範囲では事前並べ替えの順序が間違っていても正解に到達できる可能性が高まるので、dl=20 は本発明による精度改善の上限を求めていることに相当する。
【０１７０】
BLEUで比較した場合、IWSLT データでは、標準的な設定dl=6では、事前並べ替えの有無(BASELINE vs. REORDERING(C)/REORDERING(H)) や空範疇検出の有無(w/o EC vs. w/EC) による変化は小さい。これはIWSLT データの文が平均的に短いためだと思われる。しかし探索範囲を広げた設定dl=20 では、一貫して、空範疇検出なし(w/o EC) より空範疇検出あり(w/ EC) の方が精度が高く、事前並べ替えなし(BASELINE) より事前並べ替えあり(REORDERING(C)/REORDERING(H)) の方が精度が高い。
【０１７１】
KFTT データでは、標準的な設定dl=6および探索範囲を広げた設定dl=20 ともに一貫して、空範疇検出なし(w/o EC) より空範疇検出あり(w/ EC) の方が精度が高く、事前並べ替えなし(BASELINE) より事前並べ替えあり(REORDERING(C)/REORDERING(H)) の方が精度が高い。事前並べ替えモデルの学習に関して、自動単語対応を用いるREORDERING(C) と人手で作成した単語対応を用いるREORDERING(H) の精度は、ほぼ同程度である。この実験では、話し言葉で平均文長が短いIWSLT データでは自動単語対応の方が精度が高く、書き言葉で平均文長が長いKFTT データでは人手による単語対応の方が精度が高い。
【０１７２】
＜処理例＞
図１３に本発明の実施の形態による処理例を示す。最初の例は、空範疇検出により正しく翻訳できる例である。二番目の例は、空範疇検出と並べ替えの組合せにより正しく翻訳できる例である。三番目の例は、＊ｐｒｏ＊が二人称であることを同定しないと正しく翻訳できない例である。
【０１７３】
上述したように、本発明の実施の形態により、日本語の空範疇を考慮した事前並べ替え型の句に基づく日英翻訳を実現できる。
【０１７４】
日本語と英語のように語順が大きく異なる言語対において、空範疇検出と統計翻訳を組み合わせる方法は、決して自明ではない。本発明の実施の形態(REORDERING(C)/REORDERING(H) w/ EC) は、句に基づく翻訳(BASELINE w/o EC)、空範疇検出と句に基づく翻訳の組合せ(BASELINE w/EC)、事前並べ替え型の句に基づく翻訳(REORDERING（C）/REORDERING（H）ｗ／ｏ  ＥＣ)の３つに比べて翻訳精度が高い。
【０１７５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１７６】
例えば、上記の実施の形態においては、事前並べ替え学習装置と翻訳モデル学習装置とは別々の装置として構成される場合を例に説明したが、これに限定されるものではなく、事前並べ替え学習装置と翻訳モデル学習装置とを１つの装置として構成してもよい。
【０１７７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１７８】
１０、６０、１２０   入力部
２０、７０、１３０、２７０  演算部
２４、７４    日本語文抽出部
２８、７８、１３４   構文解析部
３２、８２、１３８   空範疇検出部
３６、９２、１４２、２９２  二分化部
４０、１１２、１４６ 事前並べ替えモデル
４２、１４８  事前並べ替え部
４６、９６    英語文抽出部
４８、９８    英語文データ
５０、９０、１６０   出力部
５２   翻訳モデル学習部
５４、１５４  翻訳モデル
８６   線形化部
１００ 翻訳モデル学習装置
１０２ 単語対応付け部
１０６ 正解ラベル付与部
１０８ 並べ替え正解ラベルおよび空範疇付き二分化句構造木データ
１１０ 事前並べ替えモデル学習部
１５０、２５０       事前並べ替えモデル学習装置
１５６ 翻訳部
２００ 翻訳装置
２９４ 二分化句構造木データ
３０２ 単語対応受付部
３０４ 日英単語対応データ
３０６ 正解ラベル付与部
３０８ 並べ替え正解ラベルおよび二分化句構造木データ
【図１】
2018185573.tif 000006
【図２】
2018185573.tif 000007
【図３】
2018185573.tif 000008
【図４】
2018185573.tif 000009
【図５】
2018185573.tif 000010
【図６】
2018185573.tif 000011
【図７】
2018185573.tif 000012
【図８】
2018185573.tif 000013
【図９】
2018185573.tif 000014
【図１０】
2018185573.tif 000015
【図１１】
2018185573.tif 000016
【図１２】
2018185573.tif 000017
【図１３】
2018185573.tif 000018