(57)【要約】【課題】品詞体系の不備による機械翻訳の精度の低下を防止できるよう品詞を推定する。【解決手段】品詞学習部６０は、日本語と英語との対訳文を含むパラレルコーパスを記憶するパラレルコーパス記憶部８０と、対訳文の各々について形態素解析を行なう日本語形態素解析部８２及び英語形態素解析部８４と、形態素解析された複数個の対訳文の各々について、日本語の文と英語の文との間の単語レベルのアライメントを行なうアライメント処理部８８と対訳文内の日本語の単語と、当該単語とアライメントされた英語の単語の機能との組み合わせの出現回数を統計的に処理することにより、英語の単語の機能を反映させるように日本語の単語の品詞体系を構築し、当該品詞体系にしたがってパラレルコーパス内の日本語の各単語の品詞を推定して品詞タグを付与するパラメータ推定処理部９０とを含む。【選択図】図６
2014229031.tif 000002
【特許請求の範囲】
【請求項１】
第１の言語と第２の言語との複数個の対訳文を含むパラレルコーパスを記憶するコーパス記憶手段と、
前記複数個の対訳文の各々について形態素解析を行なう形態素解析手段と、
前記形態素解析手段により形態素解析された前記複数個の対訳文の各々について、前記第１の言語の文と前記第２の言語の文との間の単語レベルのアライメントを行なうアライメント手段と、
前記複数個の対訳文内の前記第１の言語の単語と、各対訳文で当該単語とアライメントされた前記第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、前記第２の言語の単語の機能を反映させるように前記第１の言語の単語の品詞体系を構築し、当該品詞体系にしたがって前記パラレルコーパス内の前記第１の言語の各単語の品詞を推定して品詞タグを付与する品詞タグ付与手段とを含む、品詞推定装置。
【請求項２】
前記形態素解析手段により形態素解析された前記複数個の対訳文の各々について、前記第１の言語の文の構文解析を行なって構文解析木を出力する構文解析手段をさらに含み、
前記品詞タグ付与手段は、
前記複数個の対訳文内の前記第１の言語の単語と、各対訳文で当該単語とアライメントされた前記第２の言語の単語の機能と、各対訳文内の前記第１の言語の文の構文解析木における単語の依存関係との組み合わせの出現回数を統計的に処理することにより、前記第１の言語の単語の依存関係と前記第２の言語の単語の機能とを反映させるように前記第１の言語の単語の品詞体系を構築するための品詞体系構築手段と、
当該品詞体系と、前記パラレルコーパス内の前記第１の言語の文の構文解析木の構造とにしたがって前記パラレルコーパス内の前記第１の言語の各単語の品詞を推定し、品詞タグを付与する手段とを含む、請求項１に記載の品詞推定装置。
【請求項３】
前記形態素解析手段は、前記複数個の対訳文の各々について形態素解析を行なって各形態素に品詞の初期値を付与する初期品詞付与手段を含み、
前記品詞タグ付与手段は、
前記複数個の対訳文内の前記第１の言語の単語と、各対訳文で当該単語とアライメントされた前記第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、前記第２の言語の単語の機能を反映させるように前記第１の言語の単語の品詞体系を前記形態素解析手段により付与された品詞の体系とは別に構築し、当該品詞体系にしたがって前記パラレルコーパス内の前記第１の言語の各単語の品詞を推定して品詞タグを付与する手段を含む、請求項１に記載の品詞推定装置。
【請求項４】
前記形態素解析手段は、前記複数個の対訳文の各々について形態素解析を行なって各形態素に品詞の初期値を付与する初期品詞付与手段を含み、
前記品詞タグ付与手段は、
前記複数個の対訳文内の前記第１の言語の単語と、各対訳文で当該単語とアライメントされた前記第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、前記第２の言語の単語の機能を反映させるように前記第１の言語の単語の品詞体系を、前記形態素解析手段により付与された品詞の体系を詳細化することにより構築し、当該品詞体系にしたがって前記パラレルコーパス内の前記第１の言語の各単語の品詞を推定して品詞タグを付与する手段を含む、請求項１に記載の品詞推定装置。
【請求項５】
コンピュータを、
第１の言語と第２の言語との複数個の対訳文を含むパラレルコーパスを記憶するコーパス記憶手段と、
前記複数個の対訳文の各々について形態素解析を行なう形態素解析手段と、
前記形態素解析手段により形態素解析された前記複数個の対訳文の各々について、前記第１の言語の文と前記第２の言語の文との間の単語レベルのアライメントを行なうアライメント手段と、
前記複数個の対訳文内の前記第１の言語の単語と、各対訳文で当該単語とアライメントされた前記第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、前記第２の言語の単語の機能を反映させるように前記第１の言語の単語の品詞体系を構築し、当該品詞体系にしたがって前記パラレルコーパス内の前記第１の言語の各単語の品詞を推定して品詞タグを付与する品詞タグ付与手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は自然言語処理に関し、特に、機械翻訳のために原言語の文の単語の品詞を推定するための装置、及びそのためのコンピュータプログラムに関する。
【背景技術】
【０００２】
社会のグローバル化に伴い、一般の人でも多くの言語の文章に接する機会が多くなっている。例えばあるキーワードでインターネット上を検索すると、その単語を含む様々な文書がヒットする。そうした文書の大多数は、検索者の母語と同じ言語の文書であるだろうが、異なる言語の文書がヒットすることもある。それら文書の中には、検索者が探している情報が存在しているかもしれない。しかし、それが母語でないと、その内容を理解できない。したがって的確な情報があり、それを目にしているにもかかわらず、それを利用できないという状況が発生する。
【０００３】
こうした問題を解決するために、機械翻訳装置の開発が進められている。機械翻訳において近年支配的なのは、統計的な機械翻訳である。統計的な機械翻訳でも、精度を高めるために統語情報が利用されているが、依然として機械翻訳の精度には改善の余地がある。精度を高めることが難しい１つの原因と考えられるのが、既存の品詞体系が機械翻訳に必ずしも適しているとは限らないことである。
【０００４】
この問題を、日本語の「サ変名詞」を例として検討する。図１（１）と（２）とに、２つの日英対訳文を示す。図１（１）の例ではサ変名詞「利用」は英語では「ｕｓｅ」という動詞に訳されている。これに対して図１（２）の例では、同じサ変名詞「利用」は「ｕｓａｇｅ」という名詞に訳されている。すなわち、日本語の品詞体系は、少なくとも英語への翻訳の際には十分なものではないと考えられる。この事情は、他の言語についても変わらない。
【０００５】
このように、仮に品詞推定の精度が十分に高かったとしても、品詞体系そのものの不備のために機械翻訳の精度が低下してしまうという問題がある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Jenny  Rose  Finkel,  Trond  Grenager  and  Christopher  D.  Manning.  2007.  The  Infinite  Tree.  Proceedings  of  ACL-2007,  pp.  272-279.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
品詞をデータから推定する方式の１つとして、上記した非特許文献１に紹介されたものがある。この方式はＦｉｎｉｔｅ  ツリーモデルと呼ばれる。Ｆｉｎｉｔｅ  ツリーモデルは、隠れ状態を品詞、隠れ状態から出力される観測可能なシンボルを単語Ａとして、単語系列をＨＭＭと同様にモデル化するものである。この方式により図１（２）の対訳をモデル化したものを図２に示す。
【０００８】
このツリーのルートノードをｔとし、ツリーをＴｔと表す。ノードｔは隠れ状態ｚｔ（品詞タグに対応）と、出力ｘｔ（単語）とを持つ。図２において、ｚ１，ｚ２及びｚ３等は隠れ状態であり、ｘ１，ｘ２及びｘ３等は隠れ状態からの観測可能な出力を示す。ツリーＴｔの確率ｐ（Ｔｔ）は次の再帰的定義により与えられる。
【０００９】
【数１】
2014229031.tif 000003
ただしc(t)はノードｔの子ノードの集合である。
【００１０】
各隠れ状態の変数は、Ｃ個の値をとることができ、その値はインデックスｋで指定されるものとする。各状態ｋについて、その状態における出力分布を定めるパラメータφｋが存在する：
【００１１】
【数２】
2014229031.tif 000004
パラメータφｋは事前分布Ｈにしたがう：φｋ〜Ｈ。
【００１２】
状態間の遷移は行列πによりパラメータ化されるマルコフダイナミクスにしたがう。行列πの要素πijは以下の式により表される。
【００１３】
【数３】
2014229031.tif 000005
ベクトルπｋは親ノードの状態ｋからの遷移確率である。ベクトルπｋはパラメータρのディリクレ分布にしたがう：
【００１４】
【数４】
2014229031.tif 000006
各子ノードｚｔ′の隠れ状態は親の状態ｚｔにより定まる多項分布πｚｔにしたがう：
【００１５】
【数５】
2014229031.tif 000007
非特許文献１にはさらに、このＦｉｎｉｔｅ  ツリーモデルの状態数を無限まで拡張可能としたモデルであるＩｎｆｉｎｉｔｅ  ツリーモデルが開示されている。Ｉｎｆｉｎｉｔｅ  ツリーモデルは、Ｆｉｎｉｔｅ  ツリーモデルを階層的ディリクレ過程（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｄｉｒｉｃｈｌｅｔ  ｐｒｏｃｅｓｓ：ＨＤＰ）を用いて拡張したものである。以下、ディリクレ過程を単に「ＤＰ」と呼ぶ。ＤＰは測度の測度であって、スケーリングパラメータαと基底測度ＨとによりＤＰ（α，Ｈ）と表される。
【００１６】
ＨＤＰは、共通のランダムな基底測度によって関係付けられたＤＰの集合のことをいい、その基底測度自体もＤＰにより得たものである：
各基底測度Ｇｋ〜共通の基底測度Ｇ０を持つＤＰ（α、Ｇ０）
Ｇ０〜グローバル基底測度Ｈを持つＤＰ（γ，Ｈ）。
【００１７】
ＨＤＰは以下のように解釈される。
【００１８】
【数６】
2014229031.tif 000008
【００１９】
測度Ｇ〜ＤＰ（α、Ｇ０）の定義は以下のように与えられている。ただしＧ０は上で説明した基底測度、ＧはＧｋを一般的に表したものである。まず、それぞれ互いに独立で、それぞれ同じ分布に従う２つの確率変数の数列（π′k）∞ｋ＝１及び（φk）∞ｋ＝１を生成する。
【００２０】
【数７】
2014229031.tif 000009
πがこのようにして定義されるとき、π〜ＧＥＭ（α）と書く。
【００２１】
各基底測度Ｇｋを、共通にインデックス付けされた２つの分布πｋ及びφｋ′とみなす。分布πｋは親の状態ｋからの遷移確率の分布であり、φｋ′は状態ｋ′の出力分布である。これらを用いて、Ｉｎｆｉｎｉｔｅ  ツリーモデルは以下のように定義できる。
【００２２】
【数８】
2014229031.tif 000010
【００２３】
Ｉｎｆｉｎｉｔｅ  ツリーモデルの例を図３に示す。図２と図３との主な相違は、状態のコピーの数が有限か否かという点である。
【００２４】
これらモデルはいずれも教師なし学習が可能であるという点で非常に有利である。品詞のタグ付け対象となる入力文はほぼ無限であり、それらについて教師付学習を試みるのは非常に困難である。教師なし学習によれば、それら入力文を用いて自動的に学習を行うことができる。
【００２５】
これらモデルによれば、教師なし学習の結果、原言語の一般的な品詞体系とは異なる品詞体系を構築できるという特徴がある。しかし、その場合にも、翻訳においてそれら品詞体系を用いることでどのような利点があるかが不明であるという問題点がある。そのため、教師なし学習が可能で、かつ品詞体系の不備による機械翻訳の精度の低下を防止できるような品詞推定装置を提供できれば好ましい。
【００２６】
それゆえに本発明の目的は、品詞体系の不備による機械翻訳の精度の低下を防止できる品詞推定装置及びそのためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００２７】
本発明の第１の局面に係る品詞推定装置は、第１の言語と第２の言語との複数個の対訳文を含むパラレルコーパスを記憶するコーパス記憶手段と、複数個の対訳文の各々について形態素解析を行なう形態素解析手段と、形態素解析手段により形態素解析された複数個の対訳文の各々について、第１の言語の文と第２の言語の文との間の単語レベルのアライメントを行なうアライメント手段と、複数個の対訳文内の第１の言語の単語と、各対訳文で当該単語とアライメントされた第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、第２の言語の単語の機能を反映させるように第１の言語の単語の品詞体系を構築し、当該品詞体系にしたがってパラレルコーパス内の第１の言語の各単語の品詞を推定して品詞タグを付与する品詞タグ付与手段とを含む。
【００２８】
好ましくは、品詞推定装置は、形態素解析手段により形態素解析された複数個の対訳文の各々について、第１の言語の文の構文解析を行なって構文解析木を出力する構文解析手段をさらに含み、品詞タグ付与手段は、複数個の対訳文内の第１の言語の単語と、各対訳文で当該単語とアライメントされた第２の言語の単語の機能と、各対訳文内の第１の言語の文の構文解析木における単語の依存関係との組み合わせの出現回数を統計的に処理することにより、第１の言語の単語の依存関係と第２の言語の単語の機能とを反映させるように第１の言語の単語の品詞体系を構築するための品詞体系構築手段と、当該品詞体系と、パラレルコーパス内の第１の言語の文の構文解析木の構造とにしたがってパラレルコーパス内の第１の言語の各単語の品詞を推定し、品詞タグを付与する手段とを含む。
【００２９】
より好ましくは、形態素解析手段は、複数個の対訳文の各々について形態素解析を行なって各形態素に品詞の初期値を付与する初期品詞付与手段を含む。品詞タグ付与手段は、複数個の対訳文内の第１の言語の単語と、各対訳文で当該単語とアライメントされた第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、第２の言語の単語の機能を反映させるように第１の言語の単語の品詞体系を形態素解析手段により付与された品詞の体系とは別に構築し、当該品詞体系にしたがってパラレルコーパス内の第１の言語の各単語の品詞を推定して品詞タグを付与する手段を含む。
【００３０】
形態素解析手段は、複数個の対訳文の各々について形態素解析を行なって各形態素に品詞の初期値を付与する初期品詞付与手段を含んでもよい。品詞タグ付与手段は、複数個の対訳文内の第１の言語の単語と、各対訳文で当該単語とアライメントされた第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、第２の言語の単語の機能を反映させるように第１の言語の単語の品詞体系を、形態素解析手段により付与された品詞の体系を細分化することにより構築し、当該品詞体系にしたがってパラレルコーパス内の第１の言語の各単語の品詞を推定して品詞タグを付与する手段を含む。
【００３１】
本発明の第２の局面に係るコンピュータプログラムは、コンピュータを、第１の言語と第２の言語との複数個の対訳文を含むパラレルコーパスを記憶するコーパス記憶手段と、複数個の対訳文の各々について形態素解析を行なう形態素解析手段と、形態素解析手段により形態素解析された複数個の対訳文の各々について、第１の言語の文と第２の言語の文との間の単語レベルのアライメントを行なうアライメント手段と、複数個の対訳文内の第１の言語の単語と、各対訳文で当該単語とアライメントされた第２の言語の単語の機能との組み合わせの出現回数を統計的に処理することにより、第２の言語の単語の機能を反映させるように第１の言語の単語の品詞体系を構築し、当該品詞体系にしたがってパラレルコーパス内の第１の言語の各単語の品詞を推定して品詞タグを付与する品詞タグ付与手段として機能させる。
【図面の簡単な説明】
【００３２】
【図１】品詞体系の不備により生ずる問題を説明するための図である。
【図２】非特許文献１において紹介されたＦｉｎｉｔｅ  ツリーモデルの例を示す模式図である。
【図３】非特許文献１により開示されたＩｎｆｉｎｉｔｅ  ツリーモデルの例を示す模式図である。
【図４】本発明の一実施の形態で採用したバイリンガルＩｎｆｉｎｉｔｅ  ツリーモデルの例を模式的に示す図である。
【図５】本発明の別の実施の形態で採用したバイリンガルＩｎｆｉｎｉｔｅ  ツリーモデルの例を模式的に示す図である。
【図６】本発明の第１の実施の形態に係るＰＯＳ（品詞）タガーの学習システムの構成を示するブロック図である。
【図７】図６に示すＰＯＳタガーの学習システムのうち、タガー学習用のパラメータをパラレルコーパスから推定するためのプログラムのメインルーチンの制御構造を示すフローチャートである。
【図８】図７に示すプログラムにおいて、変数の初期化を行なうステップのより詳しい構成を示すフローチャートである。
【図９】図７に示すプログラムにおいて、変数の更新を行なうステップのより詳しい構成を示すフローチャートである。
【図１０】本発明の実施の形態に係る翻訳用品詞タグ付システムを実現するためのコンピュータの外観を示す模式図である。
【図１１】図１０に示すコンピュータのハードウェア構成を説明するブロック図である。
【発明を実施するための形態】
【００３３】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００３４】
以下に、本発明の第１〜第４の実施の形態について説明する。これら実施の形態で使用するモデルは２種類ある。第１のモデルは図４に示すジョイントモデルであり、第２のモデルは図５に示す独立モデルである。
【００３５】
ジョイントモデルは、Ｉｎｆｉｎｉｔｅ  ツリーモデルを翻訳の原言語と目的言語との２言語を対象とするように単純に変更したものである。その基本的な形は図３に示したものと同様だが、図３の場合には各状態（品詞）からの出力が原言語の単語であったのに対し、図４に示すものでは、各状態からの出力が、原言語の単語と、対訳においてその単語と対応付けられた（アライメントされた）目的言語の単語との組み合わせ、である点で図３と図４とは異なっている。図４においては、例えばノードｚ１により表される品詞タグは「払う」と「ｐａｙ」との組み合わせを出力する。ノードｚ２により表される品詞タグは「私」と「Ｉ」との組み合わせを出力する。ノードｚ３により表される品詞タグは「料金」と「ｆｅｅｓ」との組み合わせを出力する。この例では、原言語の１単語と対応付けられた一連の複数の単語（単語列）は、互いに連結されて原言語の単語と組み合わされる。逆に、原言語の１単語と対応付けられた目的言語の単語がない場合には、原言語のその単語と「Ｎｕｌｌ」との組み合わせが出力される。たとえばノードｚ４によりそれが示されている。
【００３６】
独立モデルは、各ノードが、原言語の単語と、それに対応付けられた目的言語の単語とを別々に出力するモデルである。図５に示す例では、ノードｚ１は「払う」と「ｐａｙ」との組み合わせではなく、「払う」と「ｐａｙ」とを別々に出力する。ノードｚ４は「が」と「ＮＯＮＥ」（Ｎｕｌｌに対応）とを出力する。ジョイントモデルでは、原言語の単語と目的言語の単語との組み合わせが出力になっているため、データのスパースネスが問題となる。それに対して独立モデルは原言語の単語と目的言語の単語とを別々に扱うため、データのスパースネスが問題となりにくい。
【００３７】
独立モデルは以下の式により定義される。
【００３８】
【数９】
2014229031.tif 000011
ここで、ｘ′ｔは、各状態ｚｔについて原言語の単語と対応付けられた目的言語の単語側の出力変数であり、φ′ｋは、各状態ｋについてその状態に対する出力ｘ′ｔの分布を定めるパラメータである。φ′ｋは事前分布Ｈ′にしたがう。
【００３９】
一方、品詞を推定する際の枠組みとして、導出と細分化、という２つを考えることができる。導出とは、新しい品詞体系を推定する枠組みのことをいう。細分化とは、初期値として単語に与えられた品詞を細分化する枠組みのことをいう。推定後に得られる品詞のタグは、導出の場合には初期値に依存しない識別子（例えば１，２，３…）となり、細分化の場合には初期値として与えられた品詞を細かくした識別子（例えば名詞１、名詞２、…、動詞１、動詞２、…）となる。
【００４０】
以下に説明する４つの実施の形態は、「ジョイントモデル＋導出」（第１の実施の形態）、「独立モデル＋導出」（第２の実施の形態）、「ジョイントモデル＋細分化」（第３の実施の形態）、及び「独立モデル＋細分化」（第４の実施の形態）の４つである。
【００４１】
前述のジョイントモデルの説明及び独立モデルの説明では、品詞推定に反映させる目的言語の機能として、目的言語の単語を用いた。しかし、反映させる目的言語の機能はこれに限らない。例えば、目的言語の単語の品詞（単語の機能を表す。）を用いることができる。以下の４つの実施の形態では、目的言語の単語の品詞は、目的言語について予め準備されたＰＯＳ（Part  of  Speech,  品詞）タガー（以下、単に「タガー」と呼ぶ。）により行われるものとする。すなわち、以下で説明する品詞推定システムは、あくまで原言語から目的言語への翻訳のために、原言語の単語に付す品詞を推定するシステムである。また、目的言語の単語と目的言語の単語の品詞の両方を用いてもよい。以下の４つの実施の形態では、反映させる目的言語の機能を目的言語の単語とした場合を説明する。
【００４２】
［第１の実施の形態］
図６を参照して、この実施の形態に係る翻訳用品詞タグ付システム５０は、日本語から英語への機械翻訳のために、上記した「ジョイントモデル＋導出」にしたがってタガーの学習を行うための学習データを作成する品詞学習部６０と、この学習データを記憶する学習データ記憶装置６２と、学習データ記憶装置６２に記憶された学習データを用いて品詞のタガー６６の学習を行なうタガー学習処理部６４とを含む。この学習データを使用して学習を行ったタガー６６は、日本語の入力形態素列６８に含まれる形態素の各々に対して品詞の識別子を付与して出力形態素列７０として出力する。タガー６６の機能は、形としては従来のものと同様だが、各単語に付与される品詞識別子が、翻訳後の単語の品詞まで考慮したものである点で、従来のものと異なる。
【００４３】
品詞学習部６０は、日本語と英語のパラレルコーパスを記憶するパラレルコーパス記憶部８０と、パラレルコーパス記憶部８０に記憶されたパラレルコーパスのうち、日本語の各文について形態素解析を行ない、形態素列を出力する日本語形態素解析部８２と、同じくパラレルコーパスの英語の各文について形態素解析を行い、形態素列を出力する英語形態素解析部８４とを含む。日本語形態素解析部８２及び英語形態素解析部８４の双方とも各形態素に従来の手法を使用して品詞識別子を付与するが、日本語形態素解析部８２により付与された品詞識別子は、パラメータ推定の際の処理において品詞の初期値として用いられるだけで、パラメータ推定の際に行われる品詞推定時には無視される。英語形態素解析部８４により付与された品詞識別子は、反映させる目的言語の機能として目的言語の単語の品詞を利用する場合に使用される。
【００４４】
品詞学習部６０はさらに、パラレルコーパスの各対訳について、日本語形態素解析部８２の出力する日本語の形態素列及び英語形態素解析部８４の出力する英語の形態素列とを比較することにより、両者に含まれる単語の対応付け（アライメント）を行なうアライメント処理部８８と、パラレルコーパスの各対訳のうち、日本語の文について、日本語形態素解析部８２の出力する日本語の形態素列を使用して構文解析を行ない、単語間の依存関係を表す構文解析木を出力する日本語構文解析部８６と、パラレルコーパスに含まれる対訳のすべてについて、日本語構文解析部８６の出力する構文解析木と、アライメント処理部８８の出力するアライメントされた日英の形態素列とを用いて、日本語の単語と、当該単語とアライメントされた英語の単語との組み合わせの出現回数を統計的に処理、つまり上記したジョイントモデルにしたがってパラメータを推定することにより、翻訳後の英語の単語の機能を反映させるように日本語の単語の品詞体系を構築し、当該品詞体系にしたがって日本語の各単語の品詞を推定して品詞タグを付与し、構文解析木が付されたアライメント済の対訳の形態素列とともに学習データ記憶部として出力し学習データ記憶装置６２に記憶させるパラメータ推定処理部９０とを含む。この学習データを用い、タガー６６の学習を行なうことにより、従来のものと比較して、より精度の高い機械翻訳を可能とする品詞（品詞識別子）を日本語の各形態素に付与することができる。パラメータ推定処理部９０は構文解析木を用いて品詞体系を推定するので、日本語の単語の依存関係と英語の単語の機能とを品詞体系に反映させることができる。
【００４５】
パラメータ推定処理部９０を除く品詞学習部６０を構成する各処理部及びタガー学習処理部６４の機能及び実現方法はいずれも公知のものでよい。したがってここではそれらについての詳細な説明は繰返さない。
【００４６】
パラメータ推定処理部９０は、本実施の形態ではコンピュータ上のプログラムにより実現される。図７はその全体のルーチンの制御構造を示すフローチャートである。
【００４７】
図７を参照して、このプログラムは、ジョイントモデルに関して前述した変数ｚ、α、γ、行列変数ｍ、ベクトル変数β及び行列変数πを初期化するステップ１２０と、以下の処理の繰返しを制御する制御変数ｃｏｕｎｔに初期値１を代入するステップ１２２と、制御変数ｃｏｕｎｔが予め決めたしきい値を超えたか否かを判定し、判定結果にしたがって制御を分岐させるステップ１２４とを含む。ステップ１２４で制御変数ｃｏｕｎｔの値がしきい値を超えたと判定された場合には、このルーチンの実行は終了し、制御はジョイントモデルの変数を戻り値として親ルーチンに戻る。なお、制御変数ｃｏｕｎｔのしきい値は任意であるが、初期値の収束の遅速を考慮して定める必要がある。後述する実験では制御変数ｃｏｕｎｔのしきい値は１００００に設定した。
【００４８】
このプログラムはさらに、ステップ１２４の判定がＮＯのときに実行され、上記した各変数の値を予め準備したルーチンにより更新するステップ１２６と、ステップ１２６の後、制御変数ｃｏｕｎｔの値に１を加算して制御をステップ１２４に戻すステップ１２８とを含む。
【００４９】
図８は、図７のステップ１２０で実行される変数の初期化処理を実現するルーチンの制御構造を示すフローチャートである。図８を参照して、このルーチンは、変数ｚ、α、及びγを初期化するステップ１５０と、行列変数ｍを初期化するステップ１５２と、ベクトル変数βを初期化するステップ１５４と、行列変数πを初期化するステップ１５６とを含む。
【００５０】
以下、これら各ステップで実行される処理を、擬似コードを用いて説明する。
【００５１】
〈図７：ステップ１２０〉変数の初期化
‐図８：ステップ１５０（ｚ、α、γの初期化）
・zの初期化
形態素解析時に特定された品詞を日本語の各形態素の品詞を表す変数ｚに設定する。ここでは、変数ｚとしては品詞そのものではなく品詞識別子を用いる。すなわち、形態素解析で用いられた品詞は品詞識別子に変換する。例えば、動詞：１、名詞：２、形容詞：３、等である。
【００５２】
・α、γの初期化
これらは予め定めておいた初期値に設定する。例えば、小規模データに対し、複数のものを試行して最もよかったものを用いる。
【００５３】
これ以後の説明において、使われている品詞（品詞識別子）を１，…，Ｋとする。Ｋ＋１、Ｋ＋２，…、∞をまとめて「ｅ」と表す。
【００５４】
‐図８：ステップ１５２（行列変数ｍの初期化）
本実施の形態では、上記非特許文献１の５節「Sampling  m」において紹介された方法を使用する。
【００５５】
使われている全ての品詞遷移に対して、以下のアルゴリズムによりmij  =  SAMPLEM(i,j)を決定する。
1:  for  i=1,…,K
2:    for  j=1,…,K
3:      mij  =  SAMPLEM(i,j)
4:    end
5:  end
【００５６】
３行目の関数SAMPLEM(i,j)は以下のようなアルゴリズムを持つ。
SAMPLEM(i,j)：
1:nijをカウントする（nij：「親ノードの状態（z）がi、子ノードの状態（z）がj」である数）。
2:  if  nij  =0
3:    mij  =0
4:  end
5:  else  
6:    mij  =1
7:    for  k  =  2  to  nij
8:        if  rand()  <  α／（α＋ｋ−１）
9:          mij++
10:        end
11:    end
12:  end
12:return  mij
８行目の「rand()」は０〜１の一様分布に従って乱数を生成する関数である。
【００５７】
‐図８：ステップ１５４（ベクトルβの初期化）
ベクトル変数βの初期値は以下のアルゴリズムにしたがって設定する。
【００５８】
1:  まずm・kを以下のアルゴリズムにより求める
1-1:  for  k=1,…,K
1-2:    m・k=0
1-3:    for  i=1,…,K
1-4:        m・k=  m・k  +mik
1-5:    end
1-6:  end
【００５９】
2:  次にベクトルβ＝(β1,...,βK,βe)をディリクレ分布Dirichlet(m・1，…，m・k，γ)からサンプリングする
【００６０】
‐図８：ステップ１５６（行列変数πの初期化）
この処理では、全ての品詞識別子から全ての品詞識別子への遷移確率の初期値を以下のアルゴリズムにより生成する。
1:  for  k=1,…,K
2:    ベクトルπk=（πk1,...,πkK,πke）をディリクレ分布Dirichlet(nk1+αβ1，…，nkK+αβK，nke+αβe)からサンプリングする
3:  end
以上の処理で図７のステップ１２０での変数の初期化が終了する。
【００６１】
〈図７：ステップ１２６〉変数の更新
‐図９：ステップ１８０（ｚの更新）
図９は、この実施の形態において、図７のステップ１２０で実行される変数の初期化処理を実現するルーチンの制御構造を示すフローチャートである。図９のステップ１８０では、以下のアルゴリズムにより変数ｚ（品詞識別子）が更新される。なお、以下で説明する「訓練データ」とは、図６のパラメータ推定処理部９０に与えられる入力のことを指す。
1:  for  文s∈訓練データ
2:    for  単語t∈文s
3:        ベクトルu  ＝  SAMPLEU(s)
4:        SAMPLEZ(ベクトルu，s)
5:    end
6:  end
【００６２】
３行目の関数SAMPLEUは以下のアルゴリズムにより実現される。ここで、２行目の「d(t)」は、単語tの親ノードの単語を示す。
1:  for  単語t∈文s
2:    utを一様分布Uniform(0，πzd(t)zt)からサンプリングする
3:  end
【００６３】
一方、４行目のSAMPLEZは以下の（１）（２）のアルゴリズムにより実現される。
【００６４】
（１）  ルートノードから子ノードの順番に、以下に示す動的計画法で、文s中の全ノードに対して、全ztに対する確率
【００６５】
【数１０】
2014229031.tif 000012
を計算する。ルートノードから順に計算するので、式（１）の値を計算する際は、
【００６６】
【数１１】
2014229031.tif 000013
が求まっている事を特筆しておく。
【００６７】
ここでの具体的アルゴリズムは以下のとおりである。
1-1:  for  単語t∈文s（ルートノードから順番に）
1-2:    for  zt  ＝  1，2，…，K，e
1-3:  
【００６８】
【数１２】
2014229031.tif 000014
1-4:    end
1-5:  end
【００６９】
ここで、以下の表現：
【００７０】
【数１３】
2014229031.tif 000015
は、ｚd(t)の全ての状態(1，2，…，K，e)のうち、πzd(t)ztがｕｔより大きい場合に
【００７１】
【数１４】
2014229031.tif 000016
を加える事を意味する。また、ｐ（ｘt｜ｚt）は
【００７２】
【数１５】
2014229031.tif 000017
で計算できる。ここで「・ｎxtk」（「・」は式中では文字の直上に描かれている。）は状態ｋのときの出力ｘの数、「・ｎ.k」は値がｋである隠れ状態の数、Ｎは全出力数、をそれぞれ示す。ρは事前分布Ｈ（ディリクレ分布）を決めるパラメータである。
【００７３】
（２）葉ノードからルートノードに上っていく順番でztをサンプリングし決定する。葉ノードからルートノードへサンプリングするので、ztをサンプリングする際には、c(t)の状態が決まっている事を特筆しておく。これを実現するアルゴリズムは以下のとおり。
2-1:  for  単語t∈文s  （葉ノードから順番に）
2-2:    単語tがとりうる状態（ｐ（ｚt｜ｘσ(t)，ｕσ(t)）が定義された状態）に対して、次の式により、ｐ（ｚt｜ｚc(t)，ｘ1:T，ｕ1:T）を計算：
【００７４】
【数１６】
2014229031.tif 000018
2-3:    2-2で計算された分布となる確率分布にしたがってｚをサンプリングする。この際、ｚｔとしてｅがサンプリングされた場合、ｚｔの値はＫ＋１とし、状態全体を１，…，Ｋ，Ｋ＋１，ｅとする。
2-4:  end
【００７５】
‐図９：ステップ１８２、１８４、及び１８６（ｍ、β、πの更新）
ステップ１８２は図８のステップ１５２と、ステップ１８４は図８のステップ１５４と、ステップ１８６は図８のステップ１５６と、それぞれ同じである。
【００７６】
‐図９：ステップ１８８（γの更新）
γは以下のアルゴリズムにより更新される。
【００７７】
（１）  m..を以下のアルゴリズムにより求める
1-1:  m・・=0
1-2:  for  k=1,…,K
1-3:    for  i=1,…,K
1-4:        m・・=  m・・+mik
1-5:    end
1-6:  end
【００７８】
（２）０から１の値をとる媒介変数ηを導入する。ηの値をβ分布Beta(γ+1，m・・)からサンプリングして決定する。
【００７９】
（３）γをガンマ分布Gamma(γa＋Ｋ，γb−logη)からサンプリングする。
ここで、γa、γbは予め定められた定数である。例えば両方とも１とする。
【００８０】
‐図９：ステップ１９０（αの更新）
（１）ステップ１９０では、以下のアルゴリズムによりｎ・kを求める
1-1:  for  k=1,…,K
1-2:    n・k=0
1-3:    for  i=1,…,K
1-4:        n・k=n・k+nik
1-5:    end
1-6:  end
【００８１】
（２）０〜１の値をとる媒介変数ωk、０か１の２値をとる媒介変数ｓkを導入する。ωk及びｓkの値を以下のアルゴリズムで決定する。
2-1:  for  k=1,…,K
2-2:    ωkをベータ分布Beta(α+1，n・k)からサンプリングする
2-3:    if  rand(1+n.k/α)＜1
2-4:        sk  ＝  0
2-5:    end
2-6:    else
2-7:        sk  ＝  1
2-8:    end
2-9:  end
なお、２−３の“rand(1+n.k/α)”は０〜1+n.k/αの一様分布に従って乱数を生成する処理である。
【００８２】
3:  αをガンマ分布
【００８３】
【数１７】
2014229031.tif 000019
からサンプリングする。ここで、αa、αbは予め定められた定数である。例えば、αa＝2、αb＝1とする。ただし、これら定数の値がこれらに限定されるわけではないことは当然であり、この定数以外についても同様である。
【００８４】
上記した品詞学習部６０は以下のように動作する。最初に、パラレルコーパス記憶部８０にパラレルコーパスを準備する。本実施の形態では日英の文の双方について形態素解析を行なうので、パラレルコーパスは通常の対訳文の集合であればよい。
【００８５】
続いて各対訳文のうちの日本語文については日本語形態素解析部８２で形態素解析を行なって各形態素に品詞の初期値を与えた形態素列を出力する。さらにこの形態素列に対して日本語構文解析部８６による構文解析処理を行ない、各日本文の構文解析木を得る。結果はパラメータ推定処理部９０に与えられる。実際には、パラメータ推定処理部９０の内部に設けられたデータ記憶部にこれらデータを記憶する。
【００８６】
一方、パラレルコーパスの対訳文のうち、英語の文については、英語形態素解析部８４で形態素解析を行なう。この結果、各形態素（単語）に英語の品詞が付された形態素列が出力される。
【００８７】
アライメント処理部８８が、対訳となっている日本語について日本語形態素解析部８２が出力した形態素列と、英語形態素解析部８４が出力した形態素列との間で単語レベルのアライメント処理を行なう。この結果、対訳となっている日本語文と英語文との間で、どの単語がどの単語に翻訳されているかが推定され、両者の対応付けが行われる。アライメント後の形態素列はパラメータ推定処理部９０に与えられ、その対訳文内の日本語文の構文解析木と関連付けられてパラメータ推定処理部９０の内部に記憶される。
【００８８】
パラメータ推定処理部９０は、上記図７〜図９を参照して説明したプログラムを実行することにより、各日本語文の各形態素列について、英語に翻訳された場合の単語（目的言語での機能）まで考慮して、日本語の品詞（品詞識別子）を推定するためのジョイントモデルのパラメータを推定し、かつ日本語の各形態素の品詞識別子（ｚ）を推定して付与した形態素列とともに学習データとして学習データ記憶装置６２に記憶させる。この品詞識別子は、日本語だけの情報ではなく、対訳の英語でその形態素に対応する形態素の情報まで考慮したものとなる。
【００８９】
タガー学習処理部６４は、この学習データを用いてタガー６６の学習を行なう。その結果、タガー６６が入力形態素列６８の各形態素に対して付与する日本語の品詞識別子は、日本語のみならず、その形態素に含まれる単語が英語に翻訳された場合の単語までも考慮したものとなる。したがって、このようにして品詞識別子が付された形態素からなる日本語の出力形態素列７０を従来の統計的機械翻訳装置への入力とした場合には、得られる英語訳の精度が高くなることが期待できる。実際、出願人は、その効果について実験で確かめた。その実験結果については後述する。
【００９０】
［第２の実施の形態］
第２の実施の形態は、上記した「ジョイントモデル＋導出」に相当する。すなわち、第１の実施の形態におけるジョイントモデルに代えて、前述した独立モデルを採用した。品詞については、第１の実施の形態と同様、「導出」を用いる。
【００９１】
この実施の形態に係るシステムの全体構成は図６に示したものと同様である。ただし、パラメータ推定処理部９０で使用するモデルが独立モデルである点が第１の実施の形態と異なる。
【００９２】
本実施の形態に係るパラメータ推定処理部９０を実現するプログラムの全体構成は、図７に示す第１の実施の形態におけるプログラムの全体構成と同様である。ただし、ステップ１２０とステップ１２６の内容が以下のように異なっている。
【００９３】
第２の実施の形態において、図７に示すステップ１２０で実行される処理の全体構成は、図８に示す第１の実施のものと同様である。ただし、ステップ１５４の処理のうち、ＳＡＭＰＬＥＺが以下のように第１の実施の形態のものと異なっている。ＳＡＭＰＬＥＺの内容を擬似コードで示す。
【００９４】
SAMPLEZ：
（１）ルートノードから子ノードの順番に、動的計画法で、文s中の全ノードに対して、全ztについての以下の値を計算する。
【００９５】
【数１８】
2014229031.tif 000020
ルートノードから順に計算するので、上記した値を計算する際は、
【００９６】
【数１９】
2014229031.tif 000021
が求まっている事を特筆しておく。具体的には以下のようなアルゴリズムである。
【００９７】
1-1:  for  単語t∈文s（ルートノードから順番に）
1-2:    for  zt  =  1，2，….，K，e
1-3:
【００９８】
【数２０】
2014229031.tif 000022
1-4:    end
1-5:  end
【００９９】
【数２１】
2014229031.tif 000023
【０１００】
（２）葉ノードからルートノードに上っていく順番でｚtをサンプリングして決定する。具体的には以下のアルゴリズムを用いる。
2-1:  for  単語t∈文s  （葉ノードから順番に）
2-2:    単語tがとりうる状態（ｐ(ｚt｜ｘσ(t),ｘ’σ(t),ｕσ(t))が定義された状態）に対して、ｐ(ｚt｜ｚc(t),ｘ1:T,ｘ’1:T,ｕ1:T)を計算：
【０１０１】
【数２２】
2014229031.tif 000024
2-3:    2-2で計算された分布となる確率分布にしたがってｚをサンプリングする。この際、ｚtとしてｅがサンプリングされた場合、ｚtの値はＫ＋１とし、状態全体を１,…,Ｋ，Ｋ＋１，ｅとする。
2-4:  end
【０１０２】
第１の実施の形態と同様に、この実施の形態によっても、日英機械翻訳に適した品詞識別子を日本語の形態素に付与できるようなモデルのパラメータを得ることができる。そのパラメータと、上記した処理に伴って各日本語の形態素に付与された品詞を持つ対訳文を学習データとして得ることができる。この学習データを用いて日本語の品詞タガーの学習を行なうことで、日英機械翻訳に適した品詞識別子を形態素に付与できる品詞タガーを得ることができる。
【０１０３】
［第３の実施の形態］
第３の実施の形態は、上記した「ジョイントモデル＋細分化」によるものである。すなわち、第１の実施の形態において、品詞識別子の体系を導出するのではなく、初期値として日本語の各形態素に付与された品詞タグを細分化する「細分化」を採用した。
【０１０４】
この実施の形態に係る翻訳用品詞タグ付システムの全体構成及び図７に示すプログラムの全体構成は第１の実施の形態のものと同様である。ただし、図７のステップ１２０及びステップ１２６での処理が以下のように第１の実施の形態と異なっている。
【０１０５】
基本的に、第１の実施の形態との違いは、観測確率と遷移確率とを初期値の品詞ごとに区別すること、及び、品詞識別子ｚをサンプリングする際は、初期値として与えられた品詞に対応する観測確率と遷移確率とを用いて、初期値の品詞から分けられた品詞に限ってサンプリングする点のみである。以下、図７、図８及び図９の対応するステップ番号を流用して説明する。
【０１０６】
〈図７：ステップ１２０〉変数の初期化
‐図８：ステップ１５０（ｚ、α、γの初期化）
・zの初期化
品詞ｚを、日本語形態素の解析時（日本語形態素解析部８２による）に特定された品詞に設定する。形態素解析で用いられる品詞はその識別子に変換する。このときの識別子の形式は、例えば、動詞:1-1、名詞:2-1、形容詞:3-1…等とする。以降、初期値で設定された品詞を1-1,…,P-1とする。この識別子ごとに品詞を定義しながら細分化する。
【０１０７】
・α、γの初期化
これら変数は予め定めておいた初期値に設定する。例えば、小規模データに対し、複数のものを試行して最もよかったものを用いる。
【０１０８】
以降の説明では、全品詞を1-1，1-2，…,1-K1，1-e，2-1，2-2，…，2-K2，2-e，…，P-1，P-2，…，P-KP，P-eとする。
【０１０９】
‐図８：ステップ１５２（ｍの初期化）
使われている全ての品詞遷移に対して、mij＝SAMPLEM(i,j)を決定する。
1:  for  i=1-1,…,1-K1，2-1,…,2-K2,…,P-1,…，P-KP
2:    for  j=1-1,…,1-K1，2-1,…,2-K2,…,P-1,…，P-KP
3:        mij=SAMPLEM(i,j)
4:    end
5:  end
ただし第３行目の「SAMPLEM(i,j)」は第１の実施の形態の場合と同じである。
【０１１０】
‐図８：ステップ１５４（βの初期化）
初期値の品詞ごとにβp＝（βp-1,...,βp-kp,βp-e）を求める。具体的には以下のアルゴリズムを用いる。
1:  for  p=1,…,P
2:    // m・kを求める。
2-1:  for  k=p-1,...,p-Kp
2-2:      m・k=0
2-3:      for  i∈全品詞(1-1,…，1-K1，1-e,…,P-1，P-Kp，P-e)
2-4:        m・k=m・k+mi  k
2-5:      end
2-6:  end
3:    βp＝（βp-1,...,βp-kp,βp-e）をディリクレ分布Dirichlet（m.p-1,...,m.p-kp,γ）からサンプリングする
4:  end
【０１１１】
‐図８：ステップ１５６（πの初期化）
「全ての品詞id」×「全ての品詞id」の遷移確率を生成する。具体的には以下のアルゴリズムを用いる。
1:  for  k∈全品詞(1-1,…，1-K1，1-e,…,P-1，P-Kp，P-e)
2:    πk=(πk1-1,...,πkP-Kp,πkP-e)をディリクレ分布Dirichlet(nk1-1+αβ1-1,...,ｎkP-Kp+αβP-kP,αβP-e)からサンプリングする。
3:  end
【０１１２】
〈図７：ステップ１２６〉変数の更新
‐図９：ステップ１８０（ｚの更新）
（１）文毎に以下のアルゴリズムでｚの更新処理を行なう。
1:  for  文s∈訓練データ
2:    for  単語t∈文s
3:        u  =  SAMPLEU(s)
4:        SAMPLEZ(u，s)
5:    end
6:  end
SAMPLEUは第１の実施の形態の場合と同じである。
【０１１３】
SAMPLEZ：
1:  ルートノードから子ノードの順番に、動的計画法で、文ｓ中の全ノードに対して、全ｚtに対するｐ(ｚt|ｘσ(t),ｕσ(t))を計算する。この際、ｚt及びｚd(t)は、初期値の品詞から細分化された品詞のみを考慮する。つまり、ｚt及びｚd(t)が初期値としてp-1、q-1だった場合、ｚtの候補は、p-*のみを考え、πzd(t)ztは、q-*からp-*への遷移のみを考える。なおここで例えば「p-*」は、「p-1」を細分化した品詞のすべてを表す。具体的には、以下のアルゴリズムを用いる。
1-1:  for  単語t∈文s（ルートノードから順番に）
1-2:    for  zt  =  p-1，p-2，….，p-Kp，p-e
1-3:
【０１１４】
【数２３】
2014229031.tif 000025
1-4:    end
1-5:  end
なお、上の「１−３」の式の右端の項（ｐ(ｘt|ｚt)に右から乗算される項）は、ｚd(t)のとりうる状態(q-1，q-2，…，q-Kq，q-e)からｚtのとりうる状態（p-1，p-2，…，p-Kp，p-e）への遷移の内、πzd(t)ztがｕtより大きい場合にｐ(ｚd(t)|ｘσ(d(t)),ｕσ(d(t)))を加えることを意味する。ｐ（ｘt|ｚt）は以下の式で計算できる。
【０１１５】
【数２４】
2014229031.tif 000026
【０１１６】
（２）続いて、葉ノードからルートノードに上っていく順番でztをサンプリングして決定する。具体的には以下のアルゴリズムを用いる。
2-1:  for  単語t∈文s  （葉ノードから順番に）
2-2:    単語tがとりうる状態（ｐ(ｚt|ｘσ(t),ｕσ(t))が定義された状態）に対して、ｐ(ｚt|ｚc(t),ｘ1:T,ｕ1:T)を下記の式で計算：
【０１１７】
【数２５】
2014229031.tif 000027
2-3:    2-2で計算された分布となる確率分布にしたがってｚをサンプリングする。この際、ｚtとして、p-eがサンプリングされた場合、ｚtの値はp-Kp+1とし、pから細分化された状態全体をp-1,….，p-Kp，p-Kp+1,p-eとする。
2-4:  end
【０１１８】
図９のステップ１８２，１８４、及び１８６はこの実施の形態で説明した図８のステップ１５２，１５４及び１５６とそれぞれ同様である。一方、ステップ１８８及び１９０は、第１の実施の形態で説明した図９のステップ１８８及び１９０とそれぞれ同じである。
【０１１９】
［第４の実施の形態］
第４の実施の形態は、上記した「独立モデル＋細分化」を採用したものである。すなわち、モデルとして独立モデルを用い、細分化の手法を用いた。この実施の形態を実現するための全体構成（図６）及びプログラムの構成（図７〜図９）は、第３の実施の形態と同様である。ただし、図９のステップ１８０のSAMPLEZのみが異なる。またその相違は、第１の実施の形態（ジョイントモデル＋導出）と第３の実施の形態（ジョイントモデル＋細分化）とにおけるSAMPLEZの相違と同じである。したがって、ここではそれらの詳細は繰返さない。
【０１２０】
［コンピュータによる実現］
上記実施の形態に係るシステムは、コンピュータハードウェアと、そのコンピュータハードウェア上で実行されるコンピュータプログラムとにより実現できる。図１０はこのコンピュータシステム３３０の外観を示し、図１１はコンピュータシステム３３０の内部構成を示す。
【０１２１】
図１０を参照して、このコンピュータシステム３３０は、メモリポート３５２及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ３５０を有するコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２とを含む。
【０１２２】
図１１を参照して、コンピュータ３４０は、メモリポート３５２及びＤＶＤドライブ３５０に加えて、ＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６、メモリポート３５２及びＤＶＤドライブ３５０に接続されたバス３６６と、ブートアッププログラム等を記憶する読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続され、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０とを含む。コンピュータシステム３３０はさらに、他端末との通信を可能とするネットワークへの接続を提供するネットワークインターフェイス（Ｉ／Ｆ）３４４を含む。
【０１２３】
コンピュータシステム３３０を上記した各実施の形態のシステムの各機能部として機能させるためのコンピュータプログラムは、ＤＶＤドライブ３５０又はメモリポート３５２に装着されるＤＶＤ３６２又はリムーバブルメモリ３６４に記憶され、さらにハードディスク３５４に転送される。又は、プログラムは図示しないネットワークを通じてコンピュータ３４０に送信されハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。ＤＶＤ３６２から、リムーバブルメモリ３６４から、又はネットワークを介して、直接にＲＡＭ３６０にプログラムをロードしてもよい。
【０１２４】
このプログラムは、コンピュータ３４０を、上記実施の形態に係るシステムの各機能部として機能させるための複数の命令からなる命令列を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム、又は、コンピュータ３４０にインストールされる各種プログラミングツールキット又はプログラムライブラリにより提供される。したがって、このプログラム自体はこの実施の形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット内の適切なプログラムツールを呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。
【０１２５】
図６に示す本実施の形態では、パラレルコーパス記憶部８０及び学習データ記憶装置６２等は、ＲＡＭ３６０又はハードディスク３５４により実現される。
【０１２６】
コンピュータプログラムを実行する際のコンピュータシステム３３０の動作は周知である。したがってここではその詳細については繰返さない。
【０１２７】
［実験結果］
上記実施の形態で説明したモデルの性能について、後掲の参考文献１に記載されたタスクで使用されたほぼ３２０万対の対訳文からなるコーパスを用いて実験を行なった。開発データ及びテストデータはそれぞれ２，０００文からなる。開発時のテスト用に、ＮＴＣＩＲ−７開発データ（２，７４１文）も使用した。
【０１２８】
実験には、出願人において開発した、統語情報に基づく、forest-to-string法による統計的機械翻訳システムを使用した。実験では、原言語（日本語）についての品詞タグセットを上記モデルを用いて生成するとともに品詞タガーの学習データを生成し、生成された学習データにより品詞タガーの学習を行ない、品詞タグ付けされた日本語文を統計的機械翻訳システムを用いて英語に翻訳した。翻訳された英文の評価にはＢＬＥＵスコア（参考文献２）を用いた。
【０１２９】
最初に、ＮＴＣＩＲ−９内の１０，０００の日英対訳文を用いて日本語の品詞タグセットを導出した。日本語の形態素解析にはＭｅＣａｂ（http://mecab.googlecode.com/svn/trunk/mecab/doc/index.htmlより入手可能）を用い、英語の形態素解析にはＴｒｅｅＴａｇｇｅｒを用いた。
【０１３０】
日英対訳文のアライメントには、ＧＩＺＡ＋＋（参考文献３）を双方向に適用し、「Grow-diag-final-and」ヒューリスティック（参考文献４）を使用してアライメントを統合した。
【０１３１】
日本語の構文解析には、ＣａｂｏＣｈａ（参考文献５）を用いて文節単位の構文解析木を生成した後、英語の構文解析木のような単語単位の構文解析木と形態を合わせるために、ここで「Ｃｏｎｔ」及び「Ｆｕｎｃ」と呼ぶ２通りの手法を用いて日本語の構文解析木を単語単位の構文解析木に変換した。「Ｃｏｎｔ」は、各文節中で最後に出現する内容語を文節のヘッドワードとする手法である。これに対し「Ｆｕｎｃ」は、各文節中で最後に出現する機能語を文節のヘッドワードとする。ヘッドワードが決まった後、文節中の他の単語をこのヘッドワードに従属させる。このようにして得た構文解析木のヘッドワードと修飾語との関係を保存しながら文節単位の構文解析木を単語単位の構文解析木に変換した。
【０１３２】
Ｃｏｎｔ及びＦｕｎｃによる構文解析の結果、同じ文でも２通りの構文解析木が得られる。
【０１３３】
上記した形態素解析及び構文解析の結果を用い、上記した実施の形態のジョイントモデル及び独立モデルによって日本語の品詞タグセットをそれぞれ構築すると同時に対訳文の各々の日本語文にこの品詞タグセットによる品詞のタグ付をすることで学習データとモデルのパラメータとを生成した。
【０１３４】
実験ではまた、比較のために、非特許文献１において紹介された単言語による品詞タグセットの導出（後掲のテーブルでは「Ｍｏｎｏ」と表す。）を行なった。
【０１３５】
実験において、ｕ、ｚ、π、β、α、及びγをサンプリングする処理の繰返しは１０，０００に設定した。α及びγのサンプリングにおいて、パラメータαa、αb、γa、γbはそれぞれ２、１、１及び１に設定した。ｚのサンプリングにおいて、パラメータρ及びρ′はいずれも０．０１に設定した。
【０１３６】
実験ではまた、アライメントされた英語の単語（品詞推定時に反映する目的言語の機能）について以下の３つの要因を考慮した。第１は表層、第２は品詞タグ、第３はその組合せである。後掲の実験結果のテーブル１ではこれらをそれぞれ「ｓ」、「Ｐ」、及び「ｓ＋Ｐ」で表している。また、上記実施の形態で説明したとおり、品詞タグセットの導出と、細分化との２つの手法についても、２つのモデルとの組み合わせで評価した。これらは後掲のテーブル１ではそれぞれ「ＩＮＤ」及び「ＲＥＦ」として表している。
【０１３７】
実験では、上のようにして得られた品詞セットを用いて品詞タグ付と構文解析との学習が同時に行なえる日本語の品詞タガーを、参考文献６に記載された手法にしたがって構築した。
【０１３８】
このようにして得られた品詞タガーを使用し、ＮＴＣＩＲ−９の全対訳からなる学習データの形態素解析及び構文解析と品詞タグ付とを行なった。この際に使用される品詞セットは、上記モデルを使用して得られた品詞セットである。
【０１３９】
このようにして得られた、品詞タグ付後の対訳を学習データとして、統計的機械翻訳システムの学習を行い、さらに開発データを用いてパラメータの調整を行った。さらに開発用のテストデータを用いてモデルのハイパーパラメータの調整を行なった。
【０１４０】
得られた翻訳のＢＬＥＵスコアを次のテーブル１に集約して示す。なお、テーブル１において「ＢＳ」はベースラインの翻訳システムによるＢＬＥＵスコアである。「Ｊｏｉｎｔ」はジョイントモデル、「Ｉｎｄ」は独立モデル、「ＩＮＤ」は導出、「ＲＥＦ」は細分化を、それぞれ表す。ベースラインでは、上記した品詞セットの導出又は細分化を行なわず、ＣａｂｏＣｈａにより日本語の単語に付与される品詞をそのまま用いている。なおこのテーブル中、「Ｍｏｎｏ」と記載したのは、前述のとおり、比較のために非特許文献１において紹介された単言語による品詞タグセットの導出を行なったときの結果を示す。
【０１４１】
【表１】
2014229031.tif 000028
テーブル１において太字で示した箇所は、本発明に係る実施の形態によるスコアのうち、ベースラインのスコアを上回った組み合わせである。テーブル１から明らかなように、独立モデルを用いた場合には、品詞セットの導出を用いた場合も、細分化を用いた場合もベースライン及びＭｏｎｏを上回っている。ジョイントモデルを用いた場合でも、かなりの部分でベースラインを上回るスコアが得られている。特にｓ＋Ｐの場合には、いずれもベースラインとＭｏｎｏとによるＢＬＥＵスコアを上回るスコアが得られた。
【０１４２】
テーブル１からは、独立モデルの方がジョイントモデルよりよい結果を出したことがわかる。これは、ジョイントモデル構築の際のデータのスパースネスが問題となり得ることを示している。
【０１４３】
テーブル１からはまた、細分化によって得られた品詞タグセットを用いた方が、導出によって得られたものを用いた場合よりも良い結果をもたらしていることがわかる。これは、既存の品詞セット、すなわち人間が経験に基づいて作り出した品詞セットをデータに基づいて細分化するという、人間の知恵とデータ処理とを組み合わせることで、単にデータ処理のみからは得られない結果がもたらされ得ることを示している。
【０１４４】
以上のように、本願発明によれば、原言語の品詞を推定するために、単純に原言語の単語の品詞のみを用いてＰＯＳタガーの学習データを作成するのではなく、原言語の単語が目的言語に翻訳された後の機能（翻訳先での単語又は翻訳先での品詞）まで考慮して原言語の単語の品詞を推定できる。そのために、特に機械翻訳に適した形で原言語の単語の品詞体系を構築し、原言語の各単語に、機械翻訳の精度が向上するような品詞タグを付与することができる。
【０１４５】
なお、上記した実施の形態では、品詞体系の構築に、原言語の構文解析木を利用している。しかし、本発明はそのように構文解析木を用いる場合にのみ適用可能なわけではなく、より単純に、２つの言語の単語のアライメントをした後、原言語の品詞を推定する際にアライメント後のターゲット言語の単語を考慮するようにして品詞体系を構築することも可能なことはいうまでもない。
【０１４６】
また、上記実施の形態は、日本語から英語への翻訳を例に説明した。しかし本発明はそのような言語の組み合わせに限定されるわけではない。およそ自然言語で形態素解析が可能なものであればどのような言語の組み合わせに対しても適用できる。
【０１４７】
［参考文献１］
Isao  Goto,  Bin  Lu,  Ka  Po  Chow,  Eiichiro  Sumita,  and  Benjamin  K.  Tsou.  2011.  Overview  of  the  Patent  Machine  Translation  Task  at  the  NTCIR-9  Workshop.  In  Proceedings  of  the  9th  NTCIR  Workshop,  pages  559-578.（http://research.nii.ac.jp/ntcir/workshop/OnlineProceedings9/NTCIR/01-NTCIR9-PATENTMT-GotoI.pdfにて入手可能）
［参考文献２］
Kishore  Papineni,  Salim  Roukos,  Todd  Ward,  and  Wei-Jing  Zhu.  2002.  BLEU:  a  Method  for  Automatic  Evaluation  of  Machine  Translation.  In  Proceedings  of  40th  Annual  Meeting  of  the  Association  for  Computational  Linguistics,  pages  311-318.
［参考文献３］
Franz  Josef  Och  and  Hermann  Ney.  2003.  A  Systematic  Comparison  of  Various  Statistical  Alignment  Models.  Computational  Linguistics,  29:19-51.
［参考文献４］
Philipp  Koehn,  Franz  Josef  Och,  and  Daniel  Marcu.  2003.  Statistical  Phrase-Based  Translation.  In  Proceedings  of  the  2003  Human  Language  Technology  Conference:  North  American  Chapter  of  the  Association  for  Computational  Linguistics,  pages  48-54.
［参考文献５］
Taku  Kudo  and  Yuji  Matsumoto.  2002.  Japanese  Dependency  Analysis  using  Cascaded  Chunking.  In  Proceedings  of  the  6th  Conference  on  Natural  Language  Learning,  pages  63-69.
［参考文献６］
Jun  Hatori,  Takuya  Matsuzaki,  Yusuke  Miyao,  and  Jun’ichi  Tsujii.  2011.  Incremental  Joint  POS  Tagging  and  Dependency  Parsing  in  Chinese.  In  Proceedings  of  IJCNLP,  pages  1216-1224.
【０１４８】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【０１４９】
５０  翻訳用品詞タグ付システム
６０  品詞学習部
６２  学習データ記憶装置
６４  タガー学習処理部
６６  タガー
８０  パラレルコーパス記憶部
８２  日本語形態素解析部
８４  英語形態素解析部
８６  日本語構文解析部
８８  アライメント処理部
９０  パラメータ推定処理部
【図１】
2014229031.tif 000029
【図２】
2014229031.tif 000030
【図３】
2014229031.tif 000031
【図４】
2014229031.tif 000032
【図５】
2014229031.tif 000033
【図６】
2014229031.tif 000034
【図７】
2014229031.tif 000035
【図８】
2014229031.tif 000036
【図９】
2014229031.tif 000037
【図１０】
2014229031.tif 000038
【図１１】
2014229031.tif 000039