(57)【要約】      （修正有）【課題】解析対象となる文書の言語およびドメインを考慮して、その文書に適した解析器を作成する自然言語処理装置を提供する。【解決手段】自然言語処理装置１００は、対訳記憶手段と対訳検索手段と単語抽出手段と正解作成手段と解析器生成手段とを備える。対訳記憶手段は、未知言語の文書と一又は複数の既知言語の文書とからなる複数の対訳文書、およびそのドメインを記憶する。対訳検索手段は、ドメインを指定して、対訳記憶手段から対訳文書を検索する。単語抽出手段は、対訳検索手段で検索された対訳文書から、未知言語の単語と既知言語の単語とを対応付けた単語ペアを抽出する。正解作成手段は、単語ペア、および検索された対訳文書における既知言語の文書の解析結果を用いて、検索された対訳文書における未知言語の文書の解析結果を推定する。解析器生成手段は、未知言語の文書の解析結果を用いて、未知言語の解析器を生成する。【選択図】図１
2013069157.tif 000002
【特許請求の範囲】
【請求項１】
未知言語の文書と一又は複数の既知言語の文書とからなる複数の対訳文書、およびこの対
訳文書のドメインを記憶する対訳記憶手段と、
ドメインを指定して、前記対訳記憶手段から対訳文書を検索する対訳検索手段と、
前記対訳検索手段で検索された対訳文書から、未知言語の単語と既知言語の単語とを対応
付けた単語ペアを抽出する単語抽出手段と、
前記単語ペア、および前記検索された対訳文書における既知言語の文書の解析結果を用い
て、前記検索された対訳文書における未知言語の文書の解析結果を推定する正解作成手段
と、
前記未知言語の文書の解析結果を用いて、前記未知言語の解析器を生成する解析器生成手
段と、
を備える自然言語処理装置。
【請求項２】
前記正解作成手段が、前記対訳検索手段で指定されたドメインと前記検索された対訳文書
のドメインとの類似性を表す第１の類似度、前記未知言語と前記検索された対訳文書にお
ける既知言語との類似性を表す第２の類似度のうちの少なくとも１つまたは両方を用いて
、前記未知言語の文書の解析結果を推定する請求項１記載の自然言語処理装置。
【請求項３】
前記正解作成手段が、前記単語ペアにおいて未知言語の単語が複数の既知言語の単語に対
応付けられている場合、前記第１の類似度が高くなる前記既知言語の単語の解析結果を利
用して、前記未知言語の単語の解析結果を推定する請求項２記載の自然言語処理装置。
【請求項４】
前記正解作成手段が、前記単語ペアにおいて未知言語の単語が複数の既知言語の単語に対
応付けられている場合、前記第２の類似度が高くなる前記既知言語の単語の解析結果を利
用して、前記未知言語の単語の解析結果を推定する請求項２記載の自然言語処理装置。
【請求項５】
解析対象となる文書のドメインを推定するドメイン推定手段を更に備え、
前記対訳検索手段が、前記ドメイン推定手段で推定されたドメインに適合する対訳文書を
前記対訳記憶手段から検索する請求項１記載の自然言語処理装置。
【請求項６】
解析対象となる文書の言語を推定する言語推定手段を更に備え、
前記対訳検索手段が、前記言語推定手段で推定された言語に適合する対訳文書を前記対訳
記憶手段から検索する請求項１記載の自然言語処理装置。
【請求項７】
ドメインを指定して、未知言語の文書と一又は複数の既知言語の文書とからなる複数の対
訳文書、およびこの対訳文書のドメインを記憶した対訳記憶手段から、対訳文書を検索す
るステップと、
前記検索された対訳文書から、未知言語の単語と既知言語の単語とを対応付けた単語ペア
を抽出するステップと、
前記単語ペアおよび前記検索された対訳文書における既知言語の文書の解析結果を用いて
、前記検索された対訳文書における未知言語の文書の解析結果を推定するステップと、
前記未知言語の文書の解析結果を用いて、前記未知言語の解析器を生成するステップと、
を備える自然言語処理方法。
【請求項８】
未知言語の解析器を生成する自然言語処理装置に、
ドメインを指定して、未知言語の文書と一又は複数の既知言語の文書とからなる複数の対
訳文書、およびこの対訳文書のドメインを記憶した対訳記憶手段から、対訳文書を検索す
る機能と、
前記検索された対訳文書から、未知言語の単語と既知言語の単語とを対応付けた単語ペア
を抽出する機能と、
前記単語ペアおよび前記検索された対訳文書における既知言語の文書の解析結果を用いて
、前記検索された対訳文書における未知言語の文書の解析結果を推定する機能と、
前記未知言語の文書の解析結果を用いて、前記未知言語の解析器を生成する機能と、
を実現させるための自然言語処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、自然言語処理装置、自然言語処理方法および自然言語処理プログ
ラムに関する。
【背景技術】
【０００２】
近年、品詞解析や構文解析などを行う解析器を作成する方法として、統計的な手法が広
く用いられている。この統計的な手法では、人手で付与した解析結果を教師データとして
解析器を学習している。しかしながら、解析器が存在しない言語（未知言語）に対して人
手で解析結果を付与することは困難である。そのため、未知言語と解析器が存在する言語
（既知言語）との対訳文書を収集し、未知言語の文書の解析結果を既知言語の文書の解析
結果から推定する手法が提案されている。この手法では、推定された未知言語の解析結果
を教師データとして解析器を学習する。
【０００３】
しかしながら、上述した手法では、収集された対訳文書のドメインを考慮した解析器の
作成を行っておらず、解析対象となる新たな文書のドメインと作成された解析器のドメイ
ンとが適合しない場合、解析精度が低下するという問題があった。ここで、ドメインとは
文書のジャンル・分野を表す。
【０００４】
例えば、解析器の作成に使用した対訳文書のドメインがスポーツ、解析対象となる文書
のドメインが政治であった場合、両者のドメインが適合しないため、従来手法では解析精
度が低下してしまった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１２８３９６号広報
【特許文献２】特開２００２−１１７０２８号広報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発明が解決しようとする課題は、解析対象となる文書の言語およびドメインを考慮して
、その文書に適した解析器を作成する自然言語処理装置を実現することである。
【課題を解決するための手段】
【０００７】
実施形態の自然言語処理装置は、対訳記憶手段と対訳検索手段と単語抽出手段と正解作
成手段と解析器生成手段とを備える。対訳記憶手段は、未知言語の文書と一又は複数の既
知言語の文書とからなる複数の対訳文書、およびそのドメインを記憶する。対訳検索手段
は、ドメインを指定して、対訳記憶手段から対訳文書を検索する。単語抽出手段は、対訳
検索手段で検索された対訳文書から、未知言語の単語と既知言語の単語とを対応付けた単
語ペアを抽出する。正解作成手段は、単語ペア、および検索された対訳文書における既知
言語の文書の解析結果を用いて、検索された対訳文書における未知言語の文書の解析結果
を推定する。解析器生成手段は、未知言語の文書の解析結果を用いて、未知言語の解析器
を生成する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の自然言語処理装置を示すブロック図。
【図２】実施形態の自然言語処理装置のハードウェア構成を示す図。
【図３】実施形態の対訳文書の収集元の一例を示す図。
【図４】実施形態の対訳記憶部に記憶された対訳文書の一例を示す図。
【図５】実施形態の類似度記憶部に記憶された類似度の一例を示す図。
【図６】実施形態の単語抽出部で抽出された単語ペアの一例を示す図。
【図７】実施形態の正解作成部で推定された未知言語の文書の解析結果の一例を示す図。
【図８】実施形態の自然言語処理装置のフローチャート。
【図９】実施形態の対訳検索部のフローチャート。
【図１０】実施形態の固有名詞を抽出する際のフローチャート。
【図１１】実施形態の連語を抽出する際のフローチャート。
【図１２】実施形態の単語ペアを抽出する際のフローチャート。
【図１３】実施形態のクロス集計表を示す図。
【図１４】実施形態の語形変化を推定する際のフローチャート。
【図１５】実施形態の単語ペアの一例を示す図。
【図１６】実施形態の単語単位での文法事項の優先順位を示す図。
【図１７】実施形態の文単位での文法事項の優先順位を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１０】
（第１の実施形態） 
第１の実施形態の自然言語処理装置は、品詞解析や構文解析を行う解析器が存在しない
言語（未知言語）と解析器が存在する言語（既知言語）との対訳文書を用いて、未知言語
の解析器を作成する装置である。この装置で作成した解析器を用いることにより、新たな
未知言語の文書を言語解析することができる。世界各地の未知言語で書かれた文書を解析
できるようになれば、文書からのユーザの関心や意図の推定、製品に関する評判や苦情の
分析などのサービスをグローバルに展開することできる。
【００１１】
本実施形態の自然言語処理装置は、指定された未知言語およびドメインに適合する対訳
文書を検索し、この検索された対訳文書を利用して未知言語の解析器を作成する。
【００１２】
図１は、第１の実施形態にかかる自然言語処理装置１００を示すブロック図である。本
実施形態の自然言語処理装置は、Ｗｅｂ１０１にあるコンテンツから、未知言語と一又は
複数の既知言語との対訳文書を収集する対訳収集部１０２と、収集された対訳文書とこの
対訳文書のドメインとを対応付けて記憶する対訳記憶部１０３と、未知言語およびドメイ
ンを指定して、対訳文書を対訳記憶部１０３から検索する対訳検索部１０４と、対訳検索
部１０４で検索された対訳文書から、未知言語の単語と既知言語の単語とを対応付けた単
語ペアを抽出する単語抽出部１０５と、この単語ペア、および検索された対訳文書におけ
る既知言語側の文書の解析結果を用いて、検索された対訳文書における未知言語側の文書
の解析結果を推定する正解作成部１０６と、推定された未知言語側の文書の解析結果を用
いて、未知言語の解析器を生成する解析器生成部１０７とを備える。
【００１３】
ここで、対訳検索部１０４は、類似度記憶部１０８に記憶されたドメイン間の類似度（
第１の類似度）、あるいは言語間の類似度（第２の類似度）を用いて対訳文書を検索する
。同様に正解作成部１０６は、類似度記憶部１０８に記憶されたドメイン間の類似度ある
いは言語間の類似度を用いて、未知言語側の文書の解析結果を推定する。
【００１４】
（ハードウェア構成）
本実施形態の自然言語処理装置は、図２に示すような通常のコンピュータを利用したハ
ードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）
等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory
）やＲＡＭ（Random Access Memory）等の対訳記憶部２０２と、各種データや各種プログ
ラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外
部記憶部２０３と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部２０
４と、外部装置との通信を制御する通信部２０５と、これらを接続するバス２０６とを備
えている。
【００１５】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の対訳記憶部２０２や
外部記憶部２０３に記憶された各種プログラムを実行することにより以下の機能が実現さ
れる。
【００１６】
（対訳収集部）
対訳収集部１０２は、未知言語と既知言語との対訳文書を収集する。このとき、既知言
語が１言語だけでは十分な量の対訳文書を収集できるとは限らないため、既知言語は複数
あることが望ましい。例えば、東欧の言語は英語だけでなくロシア語との対訳文書が存在
することが多いため、東欧の言語が未知言語の場合は、英語だけでなくロシア語との対訳
文書も収集することが考えられる。
【００１７】
対訳文書の収集元としては、通信部２０５を通じてアクセス可能なＷｅｂ１０１にある
コンテンツを利用できる。例えば、大手ニュースサイトが発信しているニュース記事やテ
レビ放送の多国語字幕データのような定期的に配信されるもののほか、世界の各言語に翻
訳されたDVDの多国語字幕データやベストセラー小説のようなものでもよい。DVDの字幕デ
ータや小説などは出版されるたびに収集すればよいが、ニュース記事やテレビ放送の字幕
データは配信間隔が配信元ごとに異なるため、収集間隔を予め個別に設定する。
【００１８】
図３は、対訳文書の発信元ＩＤ、ドメイン、言語ごとのURL、収集間隔の具体例を示し
ている。ドメインには、その対訳文書の分野・ジャンルなどを表すキーワードを用いる。
この例は、政治に関する話題を発信しているニュースを、英語はhttp://aaaというURLか
らフランス語はhttp://aaa/frというURLから１時間に１回収集することを表している。
【００１９】
なお、既知言語が１言語である場合でも、後述する各ブロックにおいて同様な処理を実
行できる。
【００２０】
（対訳記憶部）
対訳記憶部１０３は、対訳収集部１０２で収集された対訳文書およびそのドメインを対
訳記憶部２０２あるいは外部記憶部２０３に記憶する。図４は、対訳記憶部１０３に記憶
された対訳文書の一例を示している。この例では、2011/02/11の11:00に政治に関して収
集した英語の文書４０１がフランス語の文書４０２の対訳になっていることを表している
。
【００２１】
（類似度記憶部）
類似度記憶部１０８は、ドメイン間の類似度あるいは言語間の類似度を対訳記憶部２０
２あるいは外部記憶部２０３に記憶しておく。言語間の類似度は、比較言語学や計量言語
学の知見を基に設定できる。ドメイン間の類似度は、既存のニュースサイトのカテゴリー
情報などを集約して設定してもよいし、WordNetに代表されるセマンティックウェブでの
単語間の距離を用いて設定してもよい。
【００２２】
図５は、類似度記憶部１０８に記憶されたドメイン間および言語間の類似度の一例を示
している。この図では、距離が小さいほど類似度が高いことを意味している。図５(a)は
、スペイン語は、ポルトガル語やフランス語との類似度が高く、日本語との類似度が低い
ということを表している。
【００２３】
（対訳検索部）
対訳検索部１０４は、未知言語およびドメインの組合せ（未知言語＝Ｌ０、ドメイン＝
Ｄ０）を指定して、対訳文書を対訳記憶部１０３から検索する。ここで、未知言語および
ドメインは、操作部２０４を介してユーザが指定することができる。また、文書のドメイ
ンを推定するドメイン推定部（図示なし）、文書の言語を推定する言語推定部（図示なし
）を用いて、解析対象となる文書の言語およびドメインを推定するようにしてもよい。言
語推定部は、文字の出現頻度表や単語の出現頻度表などを用いて言語を推定することがで
きる。ドメイン推定部は、言語推定部で推定された言語の情報を利用し、その言語におけ
る単語の出現頻度表や文法事項（直説法・仮定法など）の割合などを用いてドメインを推
定することができる。対訳検索部１０４の詳細は後述する。
【００２４】
（単語抽出部）
単語抽出部１０５は、対訳検索部１０４で検索された対訳文書から、未知言語の単語と
既知言語の単語とを対応付けた単語ペアを抽出する。単語抽出部１０５は、（未知言語＝
Ｌ０、ドメイン＝Ｄ０）と（既知言語＝Ｌ１、ドメイン＝Ｄ１）、（Ｌ０、Ｄ０）と（Ｌ
２、Ｄ２）、・・・のそれぞれの対訳文書を用いて、Ｌ０−Ｌ１単語ペア、Ｌ０−Ｌ２単
語ペア・・・の生成を行う。図６に、単語抽出部１０５で抽出された単語ペアの一例を示
す。この図は、未知言語Ｌ０がポルトガル語、既知言語Ｌ１が英語、既知言語Ｌ２がスペ
イン語である場合に抽出された単語ペアを示している。
【００２５】
単語抽出部１０５は単語ペアを抽出するために、言語内の統計情報を用いて固有名詞、
連語、表記類似語を抽出するとともに、言語間の統計情報を用いて同一語の語形変化の推
定、および未知言語の単語に対応する既知言語の単語の推定を行なう。単語抽出部１０５
の詳細は後述する。
【００２６】
（正解作成部）
正解作成部１０６は、単語ペアおよび検索された対訳文書における既知言語側の文書の
解析結果を用いて、検索された対訳文書における未知言語側の文書の解析結果を推定する
。図７は、ポルトガル語に対して推定した解析結果の一例を示している。正解作成部１０
６の詳細は後述する。
【００２７】
（解析器生成部）
解析器生成部１０７は、正解作成部１０６で推定された未知言語Ｌ０の文書の解析結果
を教師データとして機械学習を行ない、未知言語Ｌ０の解析器を生成する。機械学習には
ＣＲＦを用いることができる。ＣＲＦは、解析結果を文ごとに分割し、前後の単語の表層
と品詞を素性として解析器を機械学習する。
【００２８】
（フローチャート）
図８のフローチャートを利用して、本実施形態にかかる自然言語処理装置の処理を説明
する。
【００２９】
（ステップＳ８０１）
まず、ステップＳ８０１では、対訳検索部１０４は、未知言語およびドメインの組合せ
（Ｌ０、Ｄ０）を指定して、対訳文書を対訳記憶部１０３から検索する。具体的には、対
訳記憶部１０３に記憶された対訳文書の中からＬ０およびＬ０に近い言語、Ｄ０およびＤ
０に近いドメインの組合せになっている対訳文書を検索する。
【００３０】
図９のフローチャートで対訳検索部１０４の動作を説明する。まず、ステップＳ９０１
では、Ｌ＝Ｌ０、Ｄ＝Ｄ０、Ｘ＝０に設定する。ここで、Ｘは検索された対訳文書の数を
示すパラメータである。対訳文書の数Ｘが多いほど後述する機械学習で利用できる教師デ
ータの量が増え、解析器の精度が高まる。
【００３１】
ステップＳ９０２では、対訳記憶部１０３から（Ｌ、Ｄ）の組合せとなる対訳文書を検
索する。ステップＳ９０３では、検索された対訳文書の数をＸに追加する。ステップＳ９
０４では、Ｘが閾値を超えるか否かを判定し、閾値を超える場合は処理を終了する。Ｘが
閾値を超えない場合は、ステップＳ９０５に移行する。ステップＳ９０５では、類似度記
憶部１０８に記憶された言語間およびドメイン間の距離に基づいて、（Ｌ０、Ｄ０）に最
も近い別の言語・ドメインの組合せを求める。そして、ステップＳ９０２では、更新され
た（Ｌ、Ｄ）の組合せについて対訳文書を検索する。
【００３２】
なお、機械学習で精度の高い解析器を学習するためには、１万程度の文書が必要になる
。そこで、本実施形態では閾値Ｘを１万に設定する。
【００３３】
ステップＳ９０５では、言語とドメインの相性を考慮して、言語・ドメインの組合せを
更新してもよい。例えば、ドメインＤ０が医療の場合はドイツ語、ファッションの場合は
フランス語やイタリア語、ＩＴの場合は英語が言語Ｌに設定されるようにしてもよい。
【００３４】
なお、ステップＳ９０５で言語・ドメインの更新を繰り返してもＸが閾値を超えない場
合は、（Ｌ０、Ｄ０）の組合せに対応する新たな対訳文書を収集するよう対訳収集部１０
２に指示してもよい。
【００３５】
このように、本実施形態の言語処理装置は、指定された言語およびドメインに適合する
対訳文書を検索する。これにより、後述の処理において解析対象となる文書に適した解析
器を作成することができる。
【００３６】
（ステップＳ８０２）
図８のフローチャートに戻って説明を続ける。ステップＳ８０２では、単語抽出部１０
５は、対訳検索部１０４で検索された対訳文書から、未知言語の単語と既知言語の単語と
を対応付けた単語ペアを抽出する。ここでは、（Ｌ０、Ｄ０）と（Ｌ１、Ｄ１）の対訳文
書から単語ペアを抽出する方法について説明する。
【００３７】
まず、未知言語Ｌ０内の統計情報を用いて、未知言語Ｌ０の固有名詞と連語を抽出する
。図１０は、固有名詞を抽出する際のフローチャートである。例えば、ヨーロッパ系の言
語の場合、常に大文字で始まる単語は固有名詞である可能性が高い。そこで、ステップＳ
１００１で、対訳文書をスペースと記号で分割して単語ｗを得る。そして、得られた各単
語wに対し、ｗがすべて小文字である場合の出現回数lower(w)、ｗが大文字で始まる(また
はすべて大文字である)場合の出現回数upper(w)を数える（ステップＳ１００２、Ｓ１０
０３）。最後に、ステップＳ１００４で、lower(w)＝0かつupper(w)≧5となる単語wを固
有名詞として抽出する。固有名詞でない単語が条件を満たす確率は（１／２）５＝１／３
２以下なので、５%以下の有意水準で検定できる。
【００３８】
ヨーロッパ系の言語でなくても、固有名詞と普通名詞を書き分ける言語であれば同じよ
うな処理を適用することができる。日本語のように固有名詞を抽出することが難しい言語
の場合は、カタカナ語をすべて固有名詞とみなして抽出するようにしてもよい。
【００３９】
図１１は、連語を抽出する際のフローチャートである。本実施形態では、C-valueを用
いて連語を抽出する。まず、ステップＳ１１０１で、対訳文書をスペースと記号で分割し
て単語ｗを得る。次に、ステップＳ１１０２でC-value(w)を計算する。最後に、ステップ
Ｓ１１０３で、C-value(w)が閾値を超えるものを連語として抽出する。閾値は全体の単語
の頻度に依存するため、本実施形態では簡単のために閾値を０に設定する。
【００４０】
次に、言語間の統計情報を用いて、固有名詞や単語、連語の間の対応関係を抽出する処
理について説明する。図１２は、この処理のフローチャートである。このフローチャート
では、（Ｌ０、Ｄ０）と（Ｌ１、Ｄ１）との対訳文書がｎ組あるものとする。
【００４１】
まず、ステップＳ１２０１では、未知言語Ｌ０の単語と既知言語Ｌ１の単語の組合せを
全て列挙する。各言語の単語は、対訳文書をスペースと記号で分割することにより抽出す
る。
【００４２】
ステップＳ１２０２では、全ての単語の組合せの中から処理対象となる組合せ（ｗ０、
ｗ１）を１つ選択する。ステップＳ１２０３では、ａ、ｂ、ｃ、ｄの各パラメータを０に
初期化する。ステップＳ１２０４では、対訳文書から１つの対訳文書を選択する。
【００４３】
ステップＳ１２０５では、選択された対訳文書における単語ｗ０と単語ｗ１の出現関係
に応じてパラメータを更新する。具体的には、対訳文書において、ｗ０とｗ１が共に出現
するときはａを、ｗ０のみが出現するときはｂを、ｗ１のみ出現するときはｃを、どちら
も出現しないときはｄを１つ増やす。
【００４４】
ステップＳ１２０６では、全ての対訳文書についてステップＳ１２０５の処理が終了し
たか否かを確認する。終了していない場合は、ステップＳ１２０４に移行して他の対訳文
書について処理を継続する。終了している場合は、ステップＳ１２０７に移行して（１）
式を計算する。
【数１】
2013069157.tif 000003
【００４５】
図１３に、（１）式における各パラメータの関係を示す。この図のようなクロス集計表に
対してχ２値を計算することにより、単語間の関連性を検定できる。
【００４６】
ステップＳ１２０７では、χ２値と閾値を比較し、χ２値が閾値以下である場合はステ
ップＳ１２０９へ、閾値より大きい場合はステップＳ１２０８へ移行する。χ２値はχ２
分布に従うことが知られているので、優位水準５％で関連性を検定したいときは閾値を３
．８４に設定する。
【００４７】
ステップＳ１２０８では、χ２値が閾値より大きくなった（ｗ０、ｗ１）の組合せを単
語ペアとして抽出する。
【００４８】
ステップＳ１２０９では、全ての単語の組合せについて処理が終了したか否かを判別し
、終了していない場合はステップＳ１２０２へ移行して他の単語の組合せについて処理を
継続する。
【００４９】
なお、上述した処理は対訳文書における出現関係を利用するものであり、単語だけでな
く連語の対応関係も抽出することができる。
【００５０】
次に、既知言語Ｌ１の標準形の情報と未知言語Ｌ０の表記類似語を用いて、未知言語Ｌ
０の語形変化を推定する処理について説明する。これにより、語形変化も考慮して単語ペ
アを抽出することができる。
【００５１】
図１４は、この処理のフローチャートである。中国語やベトナム語のような語形変化が
ない言語を除くと、ほとんどの言語では文法的機能を表すために単語の形が変化する。
【００５２】
まず、ステップＳ１４０１では、未知言語Ｌ０の単語について全ての組合せを列挙する
。単語は、未知言語側の文書をスペースと記号で分割することにより抽出する。ステップ
Ｓ１４０２では、全ての組合せの中から１つの組合せ（ｕ、ｖ）を選択する。
【００５３】
ステップＳ１４０３では、ｕとｖの類似関係を判別する。ここでは、共通部分列の長さ
が一定以上ある場合に、単語同士が類似していると判別する。具体的には、ｕとｖのうち
長いほうの長さをM、短いほうの長さをNとし、N≧M/2かつcommon(ｕ、ｖ)≧M/2のとき、
ｕとｖは類似しているとみなす。ここで、common(ｕ、ｖ)は、ｕとｖの文字列が共通して
いる区間の長さを抽出する関数である。
【００５４】
ステップＳ１４０４では、全ての組合せについて処理が終了したか否かを判別し、終了
していない場合はステップＳ１４０２に移行して他の組合せについて処理を継続する。終
了している場合は、ステップＳ１４０５に移行する。
【００５５】
ステップＳ１４０５では、ステップＳ１４０３の処理で類似していると判別された単語
の組合せをすべて集めることにより、未知言語Ｌ０の表記類似語を収集する。
【００５６】
次に、ステップＳ１４０６では、未知言語Ｌ０の表記類似語sim0と既知言語L1の標準形
w1*との組合せを全て列挙する。なお、既知言語Ｌ１は解析器を有しているため、出現し
たＬ１のすべての単語ｗを解析器にかけることにより、標準形ｗ１＊に対応する単語の集
合を求めることができる。
【００５７】
ステップＳ１４０７では、組合せを１つ選択する。ステップＳ１４０８では、表記類似
語sim0の部分集合sim0*∈2sim0についてw1*とのχ２値を計算する。χ２値の計算には、
図１２のフローチャートと同様な処理を用いる。なお、ステップＳ１４０７では、全ての
部分集合sim0*についてχ２値を計算する。ステップＳ１４０９では、χ２値が最大とな
るsim0*をw1*に対応する単語の語形変化として抽出する。
【００５８】
以上の処理を（Ｌ０、Ｄ０）と（Ｌ１、Ｄ１）だけでなく他の全ての対訳文書について
行うことにより、単語抽出部１０５は単語ペアを抽出することができる。
【００５９】
（ステップＳ８０３）
図８のフローチャートに戻って説明を続ける。ステップＳ８０３では、正解作成部１０
６は、単語ペア、および検索された対訳文書における既知言語側の文書の解析結果を用い
て、検索された対訳文書における未知言語側の文書の解析結果を推定する。
【００６０】
既知言語は解析器を有しているため、対訳文書における既知言語側の文書をこの解析器
で解析することにより、各単語の品詞情報などの解析結果を取得することができる。正解
作成部１０６は、これにより得られた既知言語側の各単語の解析結果を、単語ペアで対応
づけられた未知言語側の各単語の解析結果とみなす。
【００６１】
図１５に、単語抽出部１０５で抽出された単語ペアの一例を示す。この図は、未知言語
Ｌ０と既知言語Ｌ１の単語ペア、および未知言語Ｌ０と既知言語Ｌ２の単語ペアを示す図
である。図中の円が各言語の単語、円の中の記載が単語のＩＤを表している。矢印で結ば
れている単語同士が、単語抽出部１０５で抽出された単語ペアである。
【００６２】
一般に、対訳文書に含まれる全ての単語同士が対応関係にあるとは限らないため、未知
言語Ｌ０と既知言語Ｌ１とで対応付けを行っても、全ての単語について単語ペアを抽出す
ることはできない。従来の手法では、対応付けができなかった単語については前後からそ
の対応付けを推定する必要があり、既知言語側の解析結果の精度が高くても未知言語側の
解析結果の推定精度が低下してしまうという問題があった。本実施形態の言語処理装置は
、未知言語Ｌ０と既知言語Ｌ１との対応付けだけでなく、未知言語Ｌ０と既知言語Ｌ２と
の対応付けを利用して最終的な単語ペアを決定する。
【００６３】
例えば、図１５の場合、未知言語Ｌ０の単語４および６は、既知言語Ｌ１の単語との対
応付けが存在しないが、既知言語Ｌ２の単語Ｃ２およびＦ２とそれぞれ対応付けられてい
る。このように、本実施形態の言語処理装置は、複数の既知言語との対応付けを利用して
、未知言語の対応付けを行う。これにより、解析結果の推定に利用する単語ペアの精度を
高めることができる。
【００６４】
既知言語の単語によっては、対応付けられる既知言語の単語が複数個になり、かつこれ
ら複数の単語の解析結果が異なる場合がある。このような競合が生じる場合は、予め設定
しておいた条件に従って対応付けを選択することができる。
【００６５】
例えば、図１５の場合、未知言語Ｌ０の単語２は、既知言語Ｌ１の単語Ｃ１だけでなく
既知言語Ｌ２の単語Ａ２と対応付けられている。単語Ｃ１が名詞で単語Ａ２が形容詞の場
合、未知言語Ｌ０の単語２が対応付けられた単語の解析結果が競合する。このような場合
、本実施形態の正解作成部１０６は、言語間の距離が近い解析結果を優先することができ
る。先ほどの例の場合、類似度記憶部１０８に記憶された未知言語Ｌ０と既知言語Ｌ１の
言語間の距離を用いて、より類似度が高い（距離が小さい）言語の単語の解析結果を、単
語２の解析結果とすることができる。
【００６６】
言語間の距離ではなく、ドメイン間の距離が近いものを優先することも考えられる。こ
れらの処理で用いる言語間・ドメイン間の距離は、図５に示したものをそのまま利用して
もよいし、競合を解消するために異なる距離を設定してもよい。
【００６７】
この他にも、言語的な特徴に基づいて解析結果の競合を解消するという方法も考えられ
る。言語学で使われる文法カテゴリーには法（直説法・接続法・命令法・条件法など）や
態（能動態・受動態など）や時制（現在・過去・未来）などがあるが、各文法カテゴリー
について、どの言語の解析結果を優先するかを予め設定しておくこともできる。言語によ
っては存在しない法・態・時制などがあるため、文法カテゴリーが詳細な言語を用いるほ
うがよいと考えられる。
【００６８】
図１６は、ある単語についてどのような解析結果を優先するかの優先順位を規定した例
である。未知言語Ｌ０の文書に出現する動詞が、既知言語Ｌ１との対応付けでは「直説法
・受動態・現在」に相当し、既知言語Ｌ２との対応付けでは「直説法・能動態・現在」に
相当する場合は、未知言語Ｌ２との対応付けを優先することを表している。なお、本実施
形態では簡単のため、言語によらず文法カテゴリーのみが優先度に関わるとしているが、
言語ごとに優先度を設定してもよい。
【００６９】
未知言語Ｌ０に対して既知言語が３言語間以上ある場合、即ちＬ０の文書Ｔ０に対して
、Ｌ１の文書Ｔ１、Ｌ２の文書Ｔ２、・・・がそれぞれ対訳関係にある場合の処理につい
て説明する。単純な方法としては、Ｌ０に最も近い言語の対訳文書だけを選択して前述の
処理を適用することができる。あるいは言語間の競合は考えずに、Ｔ１の解析結果から作
成したＴ０の解析結果、Ｔ２の解析結果から作成したＴ０の解析結果、・・・を全て用い
るようにしてもよい。また、単語ではなくある文においてどのような解析結果を優先する
かの順位を用いて、解析結果の競合を解消することも考えられる。図１７は、ある文にお
いてどのような解析結果を優先するかについて優先順位を規定した例である。この例では
、平叙文に対してＬ１では「直説法・受動態・現在」と解析され、Ｌ２では「直説法・能
動態・現在」と解析された場合、Ｌ２を優先することを表している。
【００７０】
以上、解析結果の競合を解消する方法をいくつか説明したが、本実施形態における正解
作成部１０６は、これらのどれか１つを選択して競合を解消してもよいし、複数の方法を
用いて競合を解消し、一番適していると判別された解析結果を用いるようにしてもよい。
【００７１】
（ステップＳ８０４）
図８のフローチャートに戻って説明を続ける。最後に、ステップＳ８０４では、解析器
生成部１０７は、正解作成部１０６で推定された未知言語Ｌ０の文書の解析結果を教師デ
ータとして機械学習を行ない、未知言語Ｌ０の解析器を生成する。
【００７２】
（効果）
このように、本実施形態の言語処理装置は、指定された言語およびドメインに適合する
対訳文書を用いて未知言語の解析器を作成する。これにより、解析対象となる文書に適し
た解析器を作成することができる。
【００７３】
また、本実施形態の言語処理装置は、未知言語と複数の既知言語との対訳文書を用いて
、解析器の学習に使用する教師データを作成する。これにより、教師データの精度を高め
ることができ、結果として高精度な解析器を作成することができる。
【００７４】
なお、以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア
処理により実現可能である。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したも
のであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その
他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の
省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や
要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる
。
【符号の説明】
【００７６】
１００  自然言語処理装置
１０１  Ｗｅｂ
１０２  対訳収集部
１０３  対訳記憶部
１０４  対訳検索部
１０５  単語抽出部
１０６  正解作成部
１０７  解析器生成部
１０８  類似度記憶部
２０１  制御部
２０２  対訳記憶部
２０３  外部記憶部
２０４  操作部
２０５  通信部
２０６  バス
４０１  英語の文書
４０２  フランス語の文書
【図１】
2013069157.tif 000004
【図２】
2013069157.tif 000005
【図３】
2013069157.tif 000006
【図４】
2013069157.tif 000007
【図５】
2013069157.tif 000008
【図６】
2013069157.tif 000009
【図７】
2013069157.tif 000010
【図８】
2013069157.tif 000011
【図９】
2013069157.tif 000012
【図１０】
2013069157.tif 000013
【図１１】
2013069157.tif 000014
【図１２】
2013069157.tif 000015
【図１３】
2013069157.tif 000016
【図１４】
2013069157.tif 000017
【図１５】
2013069157.tif 000018
【図１６】
2013069157.tif 000019
【図１７】
2013069157.tif 000020