(57)【要約】【課題】対訳データから同義述部を高精度に抽出することができる。【解決手段】単語アライメント部３４によって、第１言語文に含まれる単語と、第２言語文に含まれる単語との対応付けを行い、翻訳確率計算部３６によって、対応付けられた第１言語の単語と第２言語の単語との間の翻訳確率を計算し、ＴＰスコア計算部３７によって、第２言語の同じ単語と対応付けられた第１言語の述部である述部ペアを抽出し、当該述部ペアのＴＰスコアを計算し、素性抽出部５４によって、述部ペアについて、述部である単語と項と項の種類との組み合わせを素性として各々抽出し、ＳＩＭスコア計算部５８によって、抽出された述部ペアの各々について、ＳＩＭスコアを計算し、スコア統合部２２によって、述部ペアの各々について計算されたＴＰスコアとＳＩＭスコアとに基づいて、述部ペアから、同義述部となる述部ペアを抽出する。【選択図】図２
2014153857.tif 000002
【特許請求の範囲】
【請求項１】
予め用意された、第１言語で記述された第１言語文と第２言語で記述された第２言語文との対である対訳データの集合に基づいて、前記対訳データ毎に、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行う対応付け手段と、
前記対応付け手段による対応付けの結果に基づいて、前記第２言語の単語と対応付けられた前記第１言語の単語と前記第２言語の単語とのペアの各々について、前記ペアの前記第１言語の単語から前記第２言語の単語に翻訳される第１翻訳確率と、前記第１言語の単語と対応付けられた前記第２言語の単語と前記第１言語の単語とのペアの各々について、前記ペアの前記第２言語の単語から前記第１言語の単語に翻訳される第２翻訳確率とを計算する翻訳確率計算手段と、
前記第２言語の同じ単語と対応付けられた前記第１言語の述部である２つの単語のペアの各々を、述部ペアとして抽出し、前記翻訳確率計算手段により計算された前記第１翻訳確率及び前記第２翻訳確率に基づいて、前記述部ペアの各々について、前記述部ペアの一方の単語から前記第２言語の前記同じ単語に翻訳される前記第１翻訳確率、及び前記第２言語の前記同じ単語から前記述部ペアの他方の単語に翻訳される前記第２翻訳確率に基づくＴＰスコアを計算するＴＰスコア計算手段と、
前記第１言語文の集合の各第１言語文に対する係り受け解析の結果に基づいて前記第１言語の述部である各単語について予め求められた、前記述部である単語と、前記述部である単語と係り受け関係のある単語である項と、前記項の種類との３つ組に基づいて、前記述部ペアの各々について、前記述部ペアに含まれる各述部について、前記述部である単語と係り受け関係のある単語である項と前記項の種類との組み合わせを素性として各々抽出する素性抽出手段と、
前記述部ペアの各々について、前記述部ペアに含まれる各述部について抽出された前記素性に基づいて、述部類似度を示すＳＩＭスコアを計算するＳＩＭスコア計算手段と、
前記述部ペアの各々について計算された前記ＴＰスコアと前記ＳＩＭスコアとに基づいて、前記述部ペアから、同義述部となる述部ペアを抽出する同義述部抽出手段と、
を含む同義述部抽出装置。
【請求項２】
前記対応付け手段は、前記対訳データ毎に、前記第１言語及び前記第２言語の何れか一方の言語で記述された文に含まれる単語を並び替えて、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行う請求項１記載の同義述部抽出装置。
【請求項３】
対応付け手段と、翻訳確率計算手段と、ＴＰスコア計算手段と、素性抽出手段と、ＳＩＭスコア計算手段と、同義述部抽出手段と、を含む同義述部抽出装置の同義述部抽出方法であって、
前記対応付け手段は、予め用意された、第１言語で記述された第１言語文と第２言語で記述された第２言語文との対である対訳データの集合に基づいて、前記対訳データ毎に、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行い、
前記対応付け手段による対応付けの結果に基づいて、前記第２言語の単語と対応付けられた前記第１言語の単語と前記第２言語の単語とのペアの各々について、前記ペアの前記第１言語の単語から前記第２言語の単語に翻訳される第１翻訳確率と、前記第１言語の単語と対応付けられた前記第２言語の単語と前記第１言語の単語とのペアの各々について、前記ペアの前記第２言語の単語から前記第１言語の単語に翻訳される第２翻訳確率とを計算し、
前記ＴＰスコア計算手段は、前記第２言語の同じ単語と対応付けられた前記第１言語の述部である２つの単語のペアの各々を、述部ペアとして抽出し、前記翻訳確率計算手段により計算された前記第１翻訳確率及び前記第２翻訳確率に基づいて、前記述部ペアの各々について、前記述部ペアの一方の単語から前記第２言語の前記同じ単語に翻訳される前記第１翻訳確率、及び前記第２言語の前記同じ単語から前記述部ペアの他方の単語に翻訳される前記第２翻訳確率に基づくＴＰスコアを計算し、
前記素性抽出手段は、前記第１言語文の集合の各第１言語文に対する係り受け解析の結果に基づいて前記第１言語の述部である各単語について予め求められた、前記述部である単語と、前記述部である単語と係り受け関係のある単語である項と、前記項の種類との３つ組に基づいて、前記述部ペアの各々について、前記述部ペアに含まれる各述部について、前記述部である単語と係り受け関係のある単語である項と前記項の種類との組み合わせを素性として各々抽出し、
前記ＳＩＭスコア計算手段は、前記述部ペアの各々について、前記述部ペアに含まれる各述部について抽出された前記素性に基づいて、述部類似度を示すＳＩＭスコアを計算し、
前記同義述部抽出手段は、前記述部ペアの各々について計算された前記ＴＰスコアと前記ＳＩＭスコアとに基づいて、前記述部ペアから、同義述部となる述部ペアを抽出する
同義述部抽出方法。
【請求項４】
前記対応付け手段は、前記対訳データ毎に、前記第１言語及び前記第２言語の何れか一方の言語で記述された文に含まれる単語を並び替えて、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行う請求項３記載の同義述部抽出方法。
【請求項５】
コンピュータを、請求項１又は請求項２記載の同義述部抽出装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同義述部抽出装置、方法、及びプログラムに係り、特に、同義述部を抽出する同義述部抽出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、Ｗｅｂ上のブログや音声対話ログなど大量のテキスト情報から欲しい情報を探し出す検索技術や、有益な情報のみを自動で抽出・集計するテキストマイニング技術の高精度化が求められている。これらを実現するために必要なのが、計算機による自然文の意味理解である。
【０００３】
例えば、（１）「I bought an iPhone（登録商標）.」、（２）「I purchased an iPhone（登録商標）」という２つの文があった場合、「bought」と「purchased」は同じ意味（すなわち同義）を表しているが、文字列からはこれが同義であることは認識できない。そのため、ユーザが求める情報検索や情報抽出に障害が起きる。そこで、表層文字列が異なる場合でも正しく自然文の意味理解を行う必要がある。
【０００４】
特に、「bought」や「purchased」のような、文の「どうした」を表す述部は、文の核情報を表しており、これらが同義であるという識別が自動で可能になれば、より精度の高い情報検索・情報抽出が可能となる。
【０００５】
これらを可能にするための一つの方法として、同義述部辞書の自動獲得がある。例えば、「purchase」の同義述部として「buy」が入っている辞書があれば、その辞書を用いて、「purchaseとbuyは同義である」と識別することが可能である。
【０００６】
自動で同義表現を獲得する方法のひとつとして、同じ小説が複数の翻訳者によって翻訳されたデータを用いて、言い換え表現の抽出を行う方法がある（非特許文献１）。
【０００７】
例えば、（３）「Emma burst into tears and he tried to comfort her, saying things to make her smile.」（４）「Emma cried, and he tried to console her, adorning his words with puns.」という２つの文がある場合を考える。（３）と（４）の文は、同じ一文を異なる翻訳者が訳した英語の訳語である。そのため、元来は同じ事を表す一文であるので、これら２文間の文字列に違いがある場合、それらは「同義表現」の可能性が高い。
【０００８】
非特許文献１はその特性に焦点を当て、（３）と（４）から、「burst into tears」と「cried」のような同義表現の獲得を行っている（非特許文献１）。以後、これら単一言語内で同じことを表している複数の文が対で存在するコーパスを、単一パラレルコーパスと呼ぶ。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Barzilay, R., and McKeown, K. R., (2001). Extracting paraphrases from a parallel corpus. Proceedings of the 39th annual meeting on Association for Computational Linguistics (ACL), 50-57.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１の手法を用いると、自動で精度高く同義表現を獲得することができる。しかし、非特許文献１が対象としている「複数の翻訳者によって訳された同一の小説」などから作成できる単一パラレルコーパス自体があまり存在しない。そのため、獲得できる表現の数が限られてしまうという問題がある。
【００１１】
本発明では、上記問題点を解決するために成されたものであり、対訳データから同義述部を高精度に抽出することができる同義述部抽出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、第１の発明に係る同義述部抽出装置は、予め用意された、第１言語で記述された第１言語文と第２言語で記述された第２言語文との対である対訳データの集合に基づいて、前記対訳データ毎に、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行う対応付け手段と、前記対応付け手段による対応付けの結果に基づいて、前記第２言語の単語と対応付けられた前記第１言語の単語と前記第２言語の単語とのペアの各々について、前記ペアの前記第１言語の単語から前記第２言語の単語に翻訳される第１翻訳確率と、前記第１言語の単語と対応付けられた前記第２言語の単語と前記第１言語の単語とのペアの各々について、前記ペアの前記第２言語の単語から前記第１言語の単語に翻訳される第２翻訳確率とを計算する翻訳確率計算手段と、前記第２言語の同じ単語と対応付けられた前記第１言語の述部である２つの単語のペアの各々を、述部ペアとして抽出し、前記翻訳確率計算手段により計算された前記第１翻訳確率及び前記第２翻訳確率に基づいて、前記述部ペアの各々について、前記述部ペアの一方の単語から前記第２言語の前記同じ単語に翻訳される前記第１翻訳確率、及び前記第２言語の前記同じ単語から前記述部ペアの他方の単語に翻訳される前記第２翻訳確率に基づくＴＰスコアを計算するＴＰスコア計算手段と、前記第１言語文の集合の各第１言語文に対する係り受け解析の結果に基づいて前記第１言語の述部である各単語について予め求められた、前記述部である単語と、前記述部である単語と係り受け関係のある単語である項と、前記項の種類との３つ組に基づいて、前記述部ペアの各々について、前記述部ペアに含まれる各述部について、前記述部である単語と係り受け関係のある単語である項と前記項の種類との組み合わせを素性として各々抽出する素性抽出手段と、前記述部ペアの各々について、前記述部ペアに含まれる各述部について抽出された前記素性に基づいて、述部類似度を示すＳＩＭスコアを計算するＳＩＭスコア計算手段と、前記述部ペアの各々について計算された前記ＴＰスコアと前記ＳＩＭスコアとに基づいて、前記述部ペアから、同義述部となる述部ペアを抽出する同義述部抽出手段と、を含んで構成されている。
【００１３】
第２の発明に係る同義述部抽出方法は、対応付け手段と、翻訳確率計算手段と、ＴＰスコア計算手段と、素性抽出手段と、ＳＩＭスコア計算手段と、同義述部抽出手段と、を含む同義述部抽出装置の同義述部抽出方法であって、前記対応付け手段は、予め用意された、第１言語で記述された第１言語文と第２言語で記述された第２言語文との対である対訳データの集合に基づいて、前記対訳データ毎に、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行い、前記対応付け手段による対応付けの結果に基づいて、前記第２言語の単語と対応付けられた前記第１言語の単語と前記第２言語の単語とのペアの各々について、前記ペアの前記第１言語の単語から前記第２言語の単語に翻訳される第１翻訳確率と、前記第１言語の単語と対応付けられた前記第２言語の単語と前記第１言語の単語とのペアの各々について、前記ペアの前記第２言語の単語から前記第１言語の単語に翻訳される第２翻訳確率とを計算し、前記ＴＰスコア計算手段は、前記第２言語の同じ単語と対応付けられた前記第１言語の述部である２つの単語のペアの各々を、述部ペアとして抽出し、前記翻訳確率計算手段により計算された前記第１翻訳確率及び前記第２翻訳確率に基づいて、前記述部ペアの各々について、前記述部ペアの一方の単語から前記第２言語の前記同じ単語に翻訳される前記第１翻訳確率、及び前記第２言語の前記同じ単語から前記述部ペアの他方の単語に翻訳される前記第２翻訳確率に基づくＴＰスコアを計算し、前記素性抽出手段は、前記第１言語文の集合の各第１言語文に対する係り受け解析の結果に基づいて前記第１言語の述部である各単語について予め求められた、前記述部である単語と、前記述部である単語と係り受け関係のある単語である項と、前記項の種類との３つ組に基づいて、前記述部ペアの各々について、前記述部ペアに含まれる各述部について、前記述部である単語と係り受け関係のある単語である項と前記項の種類との組み合わせを素性として各々抽出し、前記ＳＩＭスコア計算手段は、前記述部ペアの各々について、前記述部ペアに含まれる各述部について抽出された前記素性に基づいて、述部類似度を示すＳＩＭスコアを計算し、前記同義述部抽出手段は、前記述部ペアの各々について計算された前記ＴＰスコアと前記ＳＩＭスコアとに基づいて、前記述部ペアから、同義述部となる述部ペアを抽出する。
【００１４】
第１の発明及び第２の発明によれば、対応付け手段により、第１の言語文と第２の言語文に含まれる各単語同士の対応付けを行い、翻訳確率計算手段により、対応付けられた第１言語の単語と第２言語の単語のペアの両言語間の翻訳確率を計算し、ＴＰスコア計算手段により、第２言語の同じ単語と対応付けられた第１言語の述部である２つの単語のペアの各々を、述部ペアとして抽出し、両言語間の翻訳確率に基づいて、述部ペアの各々について、ＴＰスコアを計算する。
【００１５】
そして、素性抽出手段により、第１言語文の集合に含まれる述部である単語の各々について、述部である単語と係り受け関係のある単語である項と項の種類の３つ組に基づいて、述部ペアの各々について、述部である単語と係り受け関係のある単語である項と項の種類を素性として各々抽出し、ＳＩＭスコア計算手段により、述部ペアの各々について、述部ペアに含まれる各述部について抽出された素性に基づいて、述部類似度を示すＳＩＭスコアを計算し、同義述部抽出手段により、ＴＰスコアとＳＩＭスコアとに基づいて、同義述部となる述部ペアを抽出する。
【００１６】
このように、第１の発明及び第２の発明によれば、第１の言語と第２の言語の単語を対応付け、両言語の単語間の翻訳確率を計算し、当該翻訳確率に基づいて、述部ペアのＴＰスコアを計算すると共に、第１の言語の文集合から得られる述部の素性に基づいて述部ペアのＳＩＭスコアを計算し、ＴＰスコアとＳＩＭスコアとに基づいて、同義となる述部ペアを抽出することにより、対訳データから同義述部を高精度に抽出することができる。
【００１７】
本発明において、前記対応付け手段は、前記対訳データ毎に、前記第１言語及び前記第２言語の何れか一方の言語で記述された文に含まれる単語を並び替えて、前記第１言語文に含まれる単語と、前記第２言語文に含まれる単語との対応付けを行うようにしてもよい。
【００１８】
また、本発明のプログラムは、コンピュータを、上記の同義述部抽出装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１９】
以上説明したように、本発明の同義述部抽出装置、方法、及びプログラムによれば、対訳データから同義述部を高精度に抽出することができる。
【図面の簡単な説明】
【００２０】
【図１】対訳コーパスの例を示す図である。
【図２】本発明の実施の形態に係る同義述部抽出装置の構成を示す概略図である。
【図３】自動アライメントの例を示す図である。
【図４】翻訳確率が計算された単語の例を示す図である。
【図５】ｆの単語をピボットして同義述部候補を抽出する例を示す図である。
【図６】翻訳確率に基づいて抽出された同義述部候補の例を示す図である。
【図７】単語同士の係り受け解析の解析結果の例を示す図である。
【図８】「I bought a cellphone」から抽出された「項-項の種類-述部」の３つ組の例を示す図である。
【図９】「buy」と「purchase」が共通して持つ素性の例を示す図である。
【図１０】述部類似度を示すＳＩＭスコアを計算した結果の例を示す図である。
【図１１】翻訳確率に基づくＴＰスコアとＳＩＭスコアを掛け合わせた結果の例を示す図である。
【図１２】本実施の形態に係る同義述部抽出装置において抽出された同義述部の例を示す図である。
【図１３】本発明の実施の形態に係る同義述部抽出装置の同義述部抽出処理ルーチンの内容を示すフローチャート図である。
【図１４】本発明の実施の形態に係る同義述部抽出装置の素性抽出処理ルーチンの内容を示すフローチャート図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
＜発明の概要＞
従来技術では、利用できる単一パラレルコーパス自体があまり存在しないという問題があるため、本発明では、対訳コーパスという異なる言語間の文と文の対訳が対になった大規模コーパスを用いて、同義述部表現の抽出を行う。図１に対訳コーパスの例を示す。ここで、述部とは、動詞、動作性名詞、形容詞、及び形容動詞である。
【００２３】
図１に示す対訳コーパスの例において、「I bought an iPhone（登録商標）」という一文に対し、対訳である「私は、iPhone（登録商標）を買いました」という日本語文が並んでいる。同様に、「I purchased a platinum ring.」という英語の一文に対し、「私は、プラチナの指輪を買いました。」という対訳文が並んでいる。上記の対訳コーパスの例が示すように、英語の同義述部（すなわち、「purchased」と「bought」）は、同じ日本語の表現（すなわち、「買いました」）に訳されている。つまり、別言語で同じ表現に訳される異なる２つの表現は、同義表現である。
【００２４】
そこで、本発明ではこの特性を用いて、大規模対訳コーパスから同義述部候補を抽出する。しかし、対訳コーパスのみから抽出された同義述部候補を同義述部として抽出すると、単語アライメントの結果によって全く関係のない単語同士が同義述部として抽出される可能性がある。例えば、「buy」と「spree」などである。これは、「buy」と「spree」は、「buying spree」と並んで出てくることが多いということから、アライメントを自動で行うことにより単語アライメントの間違いが起こりやすい。
【００２５】
これらの単語アライメントのエラーにより、本来同義ではない同義述部候補を排除するために、本発明では、さらに同義表現抽出の対象である言語のコーパスから抽出した各述部と係り受け関係にある「項と項の種類」の情報を用いて、同義述部候補の述部類似度を計算する。これにより、「同義の述部表現はともに出現する項が似ている」という特徴を合わせることで、大規模対訳コーパスから抽出された同義述部候補の中から、アライメントのエラーによって抽出された候補を除くことができる。
【００２６】
なお、以後、本発明の実施の形態においては、英語の同義表現獲得を例に説明するため、同義表現抽出の対象である言語（英語）をｅ（Englishを表すｅ）、翻訳先の外国語（日本語）をｆ（foreignを表すｆ）と表す。
【００２７】
＜同義述部抽出装置の構成＞
本発明の実施の形態に係る同義述部抽出装置について説明する。図２に示すように、本発明の実施の形態に係る同義述部抽出装置１００は、ＣＰＵとＲＡＭと後述する同義述部抽出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この同義述部抽出装置１００は、機能的には図２に示すように対訳コーパス入力部１０と、テキストコーパス入力部１２と、演算部２０とを備えている。
【００２８】
対訳コーパス入力部１０は、キーボードなどの入力装置からｅである英語とｆである日本語間の文と文の対訳が対になった複数の文を受け付ける。この複数の文による集合を対訳コーパスと呼ぶ。また、テキストコーパス入力部１２は、キーボードなどの入力装置からｅで記載された複数の文を受け付ける。この複数の文による集合をテキストコーパスと呼ぶ。なお、対訳コーパス入力部１０及びテキストコーパス入力部１２は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。なお、ｅは、第１言語の一例であり、ｆは、第２言語の一例である。
【００２９】
演算部２０は、スコア統合部２２と、同義述部記憶部２４と、翻訳確率算出部３０と、述部類似度計算部５０とを備えている。また、翻訳確率算出部３０は、対訳コーパス３２と、単語アライメント部３４と、翻訳確率計算部３６と、ＴＰスコア計算部３７と、同義述部候補抽出部３８と、同義述部候補記憶部４０とを備えている。また、述部類似度計算部５０は、大規模テキストコーパス５２と、素性抽出部５４と、３つ組記憶部５６と、ＳＩＭスコア計算部５８と、ＳＩＭスコア記憶部６０とを備えている。
【００３０】
翻訳確率算出部３０には、対訳コーパス入力部１０が受け付けた対訳コーパスが入力される。翻訳確率算出部３０は、入力された対訳コーパスのｅで記載された文とｆで記載された文との対である対訳データ毎に、アライメントを各々行い、アライメントされたｅで記載された文とｆで記載された文との対訳データに基づいて、対応付けられた両言語の単語間の翻訳確率（ｅ→ｆの翻訳確率、及びｆ→ｅの翻訳確率）を単語のペア毎について各々計算すると共に、ｆでの単語を共にする述部ペアの各々を抽出し、当該述部ペア各々のＴＰスコア(翻訳確率を基に計算された同義述部スコア（Score based on Translation Probability）)を計算し、当該ＴＰスコアに基づいて、同義述部候補の述部ペアの抽出を行う。
【００３１】
対訳コーパス３２には、対訳コーパス入力部１０が受け付けた対訳コーパスが記憶されている。
【００３２】
単語アライメント部３４は、対訳コーパス３２に記憶されている対訳コーパスについて、対訳データ毎に、当該翻訳元の言語である原言語（以後、Source）のｅの文に含まれる各単語が、当該翻訳先の言語である対象言語（以後、Target）のｆの文に含まれるどの単語に訳されているのかを各々対応付けるアライメントを行う。また、SourceとTargetを入れ替えて、当該Sourceのｆの文に含まれる単語の各々が、当該Targetのｅの文に含まれるどの単語に対応するかを各々対応付けるアライメントを行う。そのため、単語アライメント部３４においては、対訳データ毎にSourceがeで、Targetがfである場合（すなわち英日翻訳）と、SourceがfでTargetがeである場合（すなわち日英翻訳）との２種類の組み合わせに対してアライメントを行う。本実施の形態では、非特許文献２（Och, F. J., and Ney, H. (2003). A systematic comparison of various statistical alignment models. Computational Linguistics, 29(1), 19-51.）の手法に基づいて自動でアライメントを行う。なお、アライメントは他の手法を用いても良い。
【００３３】
本発明の実施の形態では、アライメントの精度を上げるべく、ｅの単語の並び順をｆに自動で並び替えた後、アライメントを行う。なお、ｆは標準形を、ｅは基本形の動詞を用いてアライメントを行う。図３に自動アライメントの一例を示す。下段のｅの単語に付与されている番号が、対応するｆの番号を表している。
【００３４】
翻訳確率計算部３６は、単語アライメント部３４において取得した、ｅの各単語をｆの単語に対応付けた単語の対応付けに基づいて、ｅの単語をｆの単語に翻訳する第１翻訳確率をｅの単語毎に計算する。また、翻訳確率計算部３６は、単語アライメント部３４において取得した、ｆの各単語をｅの単語に対応付けた単語の対応付けに基づいて、ｆの単語をｅの単語に翻訳する第２翻訳確率をｆの単語毎に計算する。なお、翻訳確率は、非特許文献２（Och, F. J., and Ney, H. (2003). A systematic comparison of various statistical alignment models. Computational Linguistics, 29(1), 19-51.）の方法を基に、当該単語アライメントの結果を用いて計算される。図４に翻訳確率が計算された単語の例を示す。
【００３５】
ＴＰスコア計算部３７は、単語アライメント部３４において、ｆの同じ単語と対応付けられて、当該単語との間で第１翻訳確率が計算されたｅの述部である単語と、当該単語との間で第２翻訳確率が計算されたｅの述部である単語との述部ペアの各々を抽出する。具体的には、「Targetで同じ単語に訳されていれば、Sourceの単語は同義である可能性が高い」という特性に基づいて、図５に示すように、ｆの単語をピボットとして、ｅ１→ｆ 、ｆ→ｅ２となる様に、同じｆを共有するｅの単語ｅ１とｅ２の関係性を有するペアを述部ペアとして各々抽出する。ここで、ｅ１とｅ２は同じｆを共有する２つの異なる単語である。そして、翻訳確率計算部３６において計算された述部ペア各々の第１翻訳確率と第２翻訳確率とに基づいて、ＴＰスコアを各々計算する。
【００３６】
ＴＰスコア計算部３７は、抽出された述部ペアに関する第１翻訳確率及び第２翻訳確率に基づいて、ＴＰスコアを、下記（１）式で各々計算する。
【００３７】
【数１】
2014153857.tif 000003
【００３８】
上記（１）式で求められた述部ペアのスコアの例を図６に示す。
【００３９】
同義述部候補抽出部３８は、ＴＰスコア計算部３７において抽出された述部ペアの全てを同義述部候補の述部ペアとして抽出し、同義述部候補の述部ペアと当該同義述部候補の述部ペアのＴＰスコアとを併せて同義述部候補記憶部４０に記憶する。
【００４０】
同義述部候補記憶部４０は、複数の同義述部候補である述部ペアが、ＴＰスコアと併せて記憶されている。
【００４１】
述部類似度計算部５０には、テキストコーパス入力部１２が受け付けた英語のテキストコーパスが入力される。述部類似度計算部５０は、入力されたテキストコーパスに含まれる述部の各々について、述部と係り受け関係のある「項‐項の種類‐述部」の３つ組を抽出する。なお、抽出された３つ組を基に、述部に対する「項‐項の種類」が当該述部の素性になる。
【００４２】
述部類似度計算部５０は、同義述部候補記憶部４０に記憶されている同義述部候補の述部ペアの各々について、当該述部ペアの各述部の素性を抽出し、述部ペアのＳＩＭスコア(述部類似度を示すスコア)を各々計算する。
【００４３】
大規模テキストコーパス５２は、テキストコーパス入力部１２が受け付けたｅのテキストコーパスが記憶されている。
【００４４】
素性抽出部５４は、大規模テキストコーパス５２に記憶されている大量のテキストコーパスに対し、１文毎に、単語同士の係り受け関係を付与するDependency Parserを行う。当該係り受け解析の結果から、テキストコーパスにある全ての述部の各々について、当該述部である単語と係り受け関係のある単語である項と、当該項の種類とを「項-項の種類」として各々抽出し、「項‐項の種類‐述部」の組み合わせ（３つ組）として３つ組記憶部５６に記憶する。なお、「項-項の種類」を合わせて、素性とし、Dependency Parserは既存の方法を用いる。図７に「I bought a cellphone.」の１文を例にした解析結果を示す。
【００４５】
図７に示すように、Parseは、一文の句構造を表しており、Typed dependenciesは、単語同士の係り受け関係を表している。本発明の実施の形態では、「項-項の種類-述部」の３つ組が必要なため、Typed dependenciesを用いて、そこから、nsubj (主語）、dobj（直接目的語）、iobj（間接目的語）の３種類を「項の種類」として取得し、当該項の種類を持つ「項-項の種類-述部」の３つ組を抽出する。「I bought a cellphone」から抽出された、「項-項の種類-述部」の３つ組の例を図８に示す。
【００４６】
３つ組記憶部５６は、素性抽出部５４において抽出された複数の「項-項の種類-述部」の３つ組を記憶している。
【００４７】
ＳＩＭスコア計算部５８は、３つ組記憶部５６に記憶されている「項-項の種類-述部」の３つ組の集合に基づいて、同義述部候補記憶部４０に記憶されている同義述部候補である述部ペアの各々について、当該述部ペアの各述部の素性を抽出し、各述部の素性に基づいて、当該述部ペアの述部類似度を示すＳＩＭスコアを各々計算し、ＳＩＭスコア記憶部６０に記憶する。ＳＩＭスコアは、非特許文献３（Lin, D. (1998). An Information-Theoretic Definition of Similarity. Proceedings of the Fifteenth International Conference on Machine Learning, 296-394.）に基づき下記（２）式及び（３）式に従って計算される。Ｆは素性（すなわち、「項-項の種類」）を表す。Ｉ（Ｓ）は、素性セットＳに含まれる情報量を表す。
【００４８】
【数２】
2014153857.tif 000004
【００４９】
上記（２）式の分子は、ｅ１とｅ２が共通して持つ素性の情報量に２をかけたものである。例えば、図９に示すような素性が抽出された場合、「stock-dobj」、「government-nsubj」、「property-dobj」がｅ１（すなわち「buy」）とｅ２（すなわち「purchase」）が共通して持つ素性であるため、当該素性のそれぞれの情報量を足した数が分子になる。なお、「buy」と「purchase」が持つ素性を「x」で表す。
【００５０】
上記（２）式の分母は、ｅ１、 ｅ２のそれぞれが持つ素性の情報量を総和した数である。なお、素性の情報量は上記（３）式で求める。Ｐ（ｆ）はコーパス内での素性の出現確率である。結果の例を図１０に示す。
【００５１】
ＳＩＭスコア記憶部６０は、ＳＩＭスコア計算部５８において計算された同義述部候補の述部ペアの各々についてのＳＩＭスコアを記憶している。
【００５２】
スコア統合部２２は、同義述部候補記憶部４０に記憶されている複数の同義述部候補の述部ペアとＴＰスコアの組み合わせと、ＳＩＭスコア記憶部６０に記憶されている複数の同義述部候補の述部ペアに対するＳＩＭスコアとに基づいて、複数の同義述部候補の述部ペアの各々について、同義述部であることを示す統合スコアを計算し、当該統合スコアにより、同義述部候補の述部ペアから、同義述部の述部ペアを抽出する。
【００５３】
具体的には、スコア統合部２２は、同義述部候補記憶部４０に記憶されている同義述部候補の述部ペアの各々について、同義述部候補記憶部４０に記憶されている当該述部ペアのＴＰスコアと、ＳＩＭスコア記憶部６０に記憶されている当該述部ペアのＳＩＭスコアの２つの値を統合して、統合スコアを計算する。
【００５４】
本実施の形態においては、同義述部候補である述部ペア毎に、ＴＰスコアとＳＩＭスコアを掛け合わせる(すなわち、ＴＰスコア*ＳＩＭスコア)ことにより統合スコアを各々計算する。掛け合わせた統合スコアの一例を図１１に示す。
【００５５】
図１１に示すように、「項-項の種類」を素性として類似度を計算したＳＩＭスコアをＴＰスコアに掛け合わせることで、同義述部ではない「buy」と「spree」において計算される統合スコアは小さい値となり、逆に「buy」と「acquire」のような同義述部を表す場合には、計算された統合スコアが高い値となる。なお、「buy」と「purchase」のような同義述部を表す場合は、ＴＰスコアと示す値と同様に高い統合スコアを保ったままである。このように、ＴＰスコアに「項-項関係」を素性としたＳＩＭスコアを掛け合わせることでアライメントエラーによって抽出された同義述部候補の述部ペアの統合スコアを下げることができる。
【００５６】
スコア統合部２２は、統合されたスコアに基づいて、同義述部候補から、同義述部となる述部ペアを各々抽出する。本発明の実施の形態では、述部であるｅの単語毎に、当該ｅの単語と同義述部候補の述部ペアを組む他方の述部であるｅの単語を、当該述部ペアの統合スコアの降順に並び替えて、上位３つの述部であるｅの単語を、当該述部であるｅの単語の同義述部として抽出し、同義述部記憶部２４に記憶する。抽出された述部ペアの例を図１２に示す。なお、上位１０％の述部であるｅの単語を、当該述部であるｅの単語の同義述部として抽出してもよい、統合スコアの閾値を設定して、統合スコアが閾値以上となる述部ペアを組む、述部であるｅの単語を、当該述部であるｅの単語の同義述部として抽出してもよい。また、上位３つの述部又は上位１０％の述部であるｅの単語のうち統合スコアの値が予め定められた閾値以上となる述部ペアを組む、述部であるｅの単語を、当該述部であるｅの単語の同義述部として抽出してもよい。
【００５７】
＜同義述部抽出装置の作用＞
次に、本発明の実施の形態に係る同義述部抽出装置１００の作用について説明する。図１３に示す同義述部抽出処理ルーチンを実行する前に、テキストコーパス入力部１２によりテキストコーパスが入力されると、入力されたテキストコーパスが、大規模テキストコーパス５２に記憶される。そして、同義述部抽出装置１００は、図１４に示す素性抽出ルーチンを実行する。
【００５８】
まず、ステップＳ２００において、大規模テキストコーパス５２に記憶されているテキストコーパスを読み込む。
【００５９】
次に、ステップＳ２０２において、ステップＳ２００において読み込んだテキストコーパスの１文毎に単語同士の係り受け関係を付与し、その結果を用いて、テキストコーパスに含まれるすべての述部の単語の各々について、「項‐項の種類」の素性を各々抽出し、当該述部と「項‐項の種類」を組み合わせて「項‐項の種類‐述部」の３つ組を３つ組記憶部５６に記憶し、処理を終了する。
【００６０】
次に、対訳コーパス入力部１０により対訳コーパスが入力される。そして、同義述部抽出装置１００のＲＯＭに記憶されたプログラムを、ＣＰＵが実行することにより、図１３に示す同義述部抽出処理ルーチンが実行される。
【００６１】
まず、ステップＳ１００において、ｅで記載された文とｆで記載された文とが対になった対訳データの集合である対訳コーパスを読み込む。
【００６２】
次に、ステップＳ１０４において、ステップＳ１００において読み込んだ対訳コーパスについて対訳データ毎に、英語文の単語の並び順を日本語の単語の並び順に並び替えた後、Sourceのｅの文に含まれる各単語が、Targetのｆの文に含まれるどの単語に訳されているのかを各々対応付けるアライメントを行う。また、SourceとTargetを入れ替えて、対訳データ毎に、当該Sourceのｆの文に含まれる各単語が、当該Targetのｅの文に含まれるどの単語に対応するかを各々対応付けるアライメントを行う。
【００６３】
次に、ステップＳ１０６において、ステップＳ１０４において取得した、ｅの各単語をｆの単語に対応づけた単語の対応付けに基づいて、ｅの単語をｆの単語に翻訳する第１翻訳確率を、ｆの単語に対応づけられたｅの単語毎に計算する。また、ステップＳ１０４において取得した、ｆの各単語をｅの単語に対応づけた単語の対応付けに基づいて、ｆの単語をｅの単語に翻訳する第２翻訳確率を、ｅの単語に対応づけられたｆの単語毎に計算する。
【００６４】
次に、ステップＳ１０７において、ステップＳ１０４において取得した、ｅの各単語とｆの各単語との対応付けに基づいて、同じｆを共有するｅの単語ｅ１とｅ２の関係性を有するペアを述部ペアとして各々抽出する。
【００６５】
次に、ステップＳ１０８において、ステップＳ１０７において抽出された述部ペア各々について、ステップＳ１０６において計算した当該述部ペアの第１の翻訳確率と第２の翻訳確率とに基づいて、ＴＰスコアを各々計算する。
【００６６】
次に、ステップＳ１１０において、ステップＳ１０７において抽出された述部ペアの全てを同義述部候補の述部ペアとして抽出し、ステップＳ１０８において取得した当該同義述部候補の述部ペアの各々のＴＰスコアと併せて同義述部候補記憶部４０に記憶する。
【００６７】
次に、ステップＳ１１２において、同義述部候補記憶部４０に記憶されている同義述部候補に含まれる述部ペア各々について、当該述部ペアの各述部の素性を３つ組記憶部５６から各々抽出する。
【００６８】
次に、ステップＳ１１４において、ステップＳ１１２において取得した同義述部候補に含まれる述部ペア各々の素性に基づいて、同義述部候補記憶部４０に記憶されている同義述部候補に含まれる述部ペアの各々について、当該述部ペアのＳＩＭスコアを各々計算し、ＳＩＭスコア記憶部６０に記憶する。
【００６９】
次に、ステップＳ１１６において、同義述部候補記憶部４０に記憶されている同義述部候補の述部ペアの各々について、当該述部ペアのＴＰスコアとＳＩＭスコア記憶部６０に記憶されている当該述部ペアのＳＩＭスコアを掛け合わせて（すなわち、ＴＰスコア×ＳＩＭスコア）、統合スコアを計算する。
【００７０】
次に、ステップＳ１１８において、ステップＳ１１６において取得した、同義述部候補の述部ペア各々の統合スコアに基づいて、同義述部候補から、同義述部となる述部ペアを各々抽出する。本発明の実施の形態では、述部であるｅの単語毎に、当該ｅの単語と述部ペアを組むｅの単語を、当該述部ペアの統合スコアの降順に並び替えて、上位３つの述部であるｅの単語を、当該述部であるｅの単語の同義述部として抽出する。
【００７１】
次に、ステップＳ１２０では、ステップＳ１１８において得られた同義述部である述部ペアを同義述部記憶部２４に記憶して、処理を終了する。
【００７２】
以上説明したように、本発明の実施の形態に係る同義述部抽出装置によれば、ｅとｆの単語を対応付け、両言語の単語間の翻訳確率を計算し、当該翻訳確率に基づいて、述部ペアのＴＰスコアを計算すると共に、ｅのテキストコーパスから得られる述部に係る「項‐項の種類」を素性とし、それに基づいて、述部ペアのＳＩＭスコアを計算し、ＴＰスコアとＳＩＭスコアとに基づく統合スコアを用いて、同義となる述部ペアを抽出することにより、対訳データから同義述部を高精度に抽出することができる。
【００７３】
また、同義述部を自動で抽出するために、異なる言語間の文と文の対訳が対になった対訳コーパスを用い、「翻訳先の外国語で同一の表現に訳されている同義表現獲得の対象である言語の単語集合は、同義表現になり得る」という特性に着目し、翻訳先の外国語の単語を軸にした翻訳確率を基に、同義述部候補を抽出し、対訳コーパスから抽出された同義述部候補に対して、同義表現獲得の対象である言語のテキストコーパスを用いて、各述部にかかっている「項‐項の種類」を素性とした述部類似度を計算し、その値を加えることで、抽出する同義述部の精度を向上させることができる。
【００７４】
また、同義述部を抽出するために、単一パラレルコーパスに比べ、コーパスの量が多い対訳コーパスを用い、「別の言語で同じ単語に訳される表現は同義の可能性が高い」という特徴を使って、対訳コーパスから単語の翻訳確率に基づいて、大量の述部同義候補を抽出することができる。
【００７５】
また、対訳コーパスからだけでは、アライメントエラーにより同義述部以外の表現が抽出されてしまう。そこで、対象言語のコーパスから、「項-項の種類」を素性とした述部のＳＩＭスコアを計算し、その値を対訳コーパスから抽出した値と合わせることで、アライメントエラーにより誤って高いＴＰスコアをもつ同義述部候補を排除し、精度の高い同義述部を抽出することができる。
【００７６】
また、「purchase」や「buy」のように同じことを表す述部表現を、対訳コーパスと対象言語のコーパスとを用いて自動で大量に獲得することにより、多様な同義述部を獲得することができ、自動でシソーラスを構築することができる。
【００７７】
また、自動で構築したシソーラスを用いて、検索クエリなどのキーワードの拡張を行うことができるため、検索の再現率を向上させることができる。
【００７８】
また、自動で構築したシソーラスを用いて、同義述部のまとめ上げをすることができるため、単語の出現頻度などを調べて情報分析を行うテキストマイニングの精度を向上させることができる。
【００７９】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８０】
例えば、アライメントの精度を上げるべく、ｅの単語の並び順をｆの単語の並び順に自動で並び替えた後、アライメントを行う場合を説明したが、これに限定されるものではなく、ｆの単語の並び順をｅの単語の並び順に自動で並び替えた後、アライメントを行ってもよい。また、単語の並び替えを行わずに、アライメントを行ってもよい。特に、単語の出現順序が似ている言語（例えば、日本語と韓国語）間の場合は、並び替えを行わなくてもよい。
【００８１】
また、スコア統合部において、統合スコアを計算する際に、ＴＰスコアとＳＩＭスコアを掛け合わせる場合について説明したが、これに限定されるものではなく、ＴＰスコアとＳＩＭスコアの平均値により統合スコアを計算してもよい。
【００８２】
また、同義述部を抽出する際に、対象となる述部であるｅの単語と同義述部候補の述部ペアを組む述部であるｅの単語から、当該述部ペアの統合スコアの上位３つのみを同義述部として抽出する場合について説明したが、これに限定されるものではなく、より精度の高い同義述部のみを抽出したい場合は、統合スコアの上位１つのみを同義述部として抽出してもよい。また、より多くの同義述部を抽出したい場合は、統合スコアの上位１０パーセントを抽出するようにしてもよい。また、統合スコアの閾値を設けて、閾値以上の同義述部を獲得するようにしてもよい。
【００８３】
また、上述の同義述部抽出装置１００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８４】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。また、本実施の形態の同義述部抽出装置１００の各部をハードウエアにより構成してもよい。また、対訳コーパス、大規模テキストコーパス、同義述部候補、ＳＩＭスコア、同義述部が記憶されるデータベースとしては、ハードディスク装置やファイルサーバ等に例示される記憶手段によって実現可能であり、同義述部抽出装置内部にデータベースを設けても良いし、外部装置に設けてもよい。
【符号の説明】
【００８５】
１０   対訳コーパス入力部
１２   テキストコーパス入力部
２０   演算部
２２   スコア統合部
２４   同義述部記憶部
３０   翻訳確率算出部
３２   対訳コーパス
３４   単語アライメント部
３６   翻訳確率計算部
３７   ＴＰスコア計算部
３８   同義述部候補抽出部
４０   同義述部候補記憶部
５０   述部類似度計算部
５２   大規模テキストコーパス
５４   素性抽出部
５６   ３つ組記憶部
５８   ＳＩＭスコア計算部
６０   ＳＩＭスコア記憶部
１００ 同義述部抽出装置
【図１】
2014153857.tif 000005
【図２】
2014153857.tif 000006
【図７】
2014153857.tif 000007
【図１３】
2014153857.tif 000008
【図１４】
2014153857.tif 000009
【図３】
2014153857.tif 000010
【図４】
2014153857.tif 000011
【図５】
2014153857.tif 000012
【図６】
2014153857.tif 000013
【図８】
2014153857.tif 000014
【図９】
2014153857.tif 000015
【図１０】
2014153857.tif 000016
【図１１】
2014153857.tif 000017
【図１２】
2014153857.tif 000018