(57)【要約】【課題】  人間の経験に基づく経験則をガイドラインとし、これに正しい照応先を指定する機械学習規則により不適切な候補を除くことを組み合わせることにより、経験則だけ、或いは機械学習規則だけよりも高いゼロ代名詞解消の精度を実現することができるゼロ代名詞解消方法、解消装置、解消プログラムおよびプログラムを記録した記録媒体を提供する。【解決手段】  ベクトル表現された各候補を候補順序付け装置６に入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けし、順序付けられた候補ベクトルおよび機械学習規則を学習結果適用装置８に入力し、順序付けられた候補のベクトルを機械学習規則により判定して解答を求めるゼロ代名詞解消方法、解消装置、解消プログラムおよびその記録媒体。【選択図】  図１
2005025659.tif 000002
【特許請求の範囲】
【請求項１】
日本語入力文を一般文書から形態素解析装置に入力して形態素解析し、
形態素解析結果を係り受け解析装置に入力して係り受け解析し、
係り受け解析の結果をゼロ代名詞検出装置に入力してゼロ代名詞が何処にあるかを推定し、
ゼロ代名詞検出装置の検出結果であるゼロ代名詞を照応先候補抽出装置に入力して候補となる名詞句を抽出し、
ゼロ代名詞の候補をベクトル化装置に入力してベクトル表現に変換し、
ベクトル表現された各候補を候補順序付け装置に入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けし、
順序付けられた候補のベクトルおよび機械学習により得られた正しい候補を選び出す機械学習規則を学習結果適用装置に入力し、順序付けられた候補のベクトルを機械学習により得られた機械学習規則により判定して解答を求め、
解答を次以降のゼロ代名詞の候補リストに新規の候補として追加することを特徴とするゼロ代名詞解消方法。
【請求項２】
請求項１に記載されるゼロ代名詞解消方法において、
問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現作成において、Ｖについて、ゼロ代名詞の候補が意味制約を満足していればＶ＝０とし、満足していなければＶ＝１とし、Ｒについて、その候補がそのゼロ代名詞より前に完成している連体修飾節の中にあればＲ＝０とし、なければＲ＝１とし、Ａについて、その候補の格がゼロ代名詞の格と一致していればＡ＝０とし、一致していなければＡ＝１とし、Ｄについて、その候補が含まれる文の先頭からの番号とゼロ代名詞が含まれる文の番号との差（ゼロ代名詞と同じ文中にある候補はＤ＝０、直前の文にある候補はＤ＝１）とし、Ｓについて、その候補の後続助詞が「は」であればＳ＝０とし、「が」であればＳ＝１とし、「に」であればＳ＝２とし、「を」であればＳ＝３とし、それ以外であればＳ＝４とし、
問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を辞書式順序に従って各候補を並べる、
ことを特徴とするゼロ代名詞解消方法。
【請求項３】
訓練用文書ｄ或いは一般文書Ｄから日本語の入力文を受け付けて単語に各単語の情報を付与する形態素解析装置１を具備し、
形態素解析装置１による形態素解析の結果を受けて、単語を文節にまとめ、何れの文節が何れの文節を修飾しているかの情報を付与する係り受け解析装置２を具備し、
係り受け解析装置２の係り受け解析の結果を受けてゼロ代名詞が何処にあるかを推定するゼロ代名詞検出装置３を具備し、
候補となる名詞句を文章から抽出する照応先候補抽出装置４を具備し、
候補となる各名詞句をベクトル表現に変換するベクトル化装置５を具備し、
正しい照応先を指定する機械学習規則を獲得する機械学習装置７を具備し、
ベクトル表現された各候補をベクトル化装置５から入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けする装置６を具備し、
順序づけされた候補のベクトルを入力すると共に正しい候補を選び出す機械学習規則を入力して、順序付けられた候補のベクトルを機械学習規則により判定し、最初に正解と判定された候補のベクトルを解答とし、解答を照応先候補抽出装置４に戻して候補リストに追加する学習結果適用装置８を具備することを特徴とするゼロ代名詞解消装置。
【請求項４】
日本語入力文を一般文書から形態素解析装置に入力して形態素解析し、
形態素解析結果を係り受け解析装置に入力して係り受け解析し、
係り受け解析の結果をゼロ代名詞検出装置に入力してゼロ代名詞が何処にあるかを推定し、
ゼロ代名詞検出装置の検出結果であるゼロ代名詞を照応先候補抽出装置に入力して候補となる名詞句を抽出し、
ゼロ代名詞の候補をベクトル化装置に入力してベクトル表現に変換し、
ベクトル表現された各候補を候補順序付け装置に入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けし、
順序付けられた候補のベクトルおよび機械学習により得られた正しい候補を選び出す機械学習規則を学習結果適用装置に入力し、順序付けられた候補のベクトルを機械学習により得られた機械学習規則により判定して解答を求め、
解答を次以降のゼロ代名詞の候補リストに新規の候補として追加する指令をコンピュータに対して実行するゼロ代名詞解消プログラム。
【請求項５】
請求項４に記載されるゼロ代名詞解消プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ゼロ代名詞解消方法、解消装置、解消プログラムおよびプログラムを記録した記録媒体に関し、特に、人間の経験に基づく経験則をガイドラインとし、これに確率モデル、機械学習により大量のデータから自動的に獲得されている正しい照応先を指定する機械学習規則により不適切な候補を除くことを組み合わせることにより、経験則だけ、或いは機械学習規則だけよりも高い精度を実現することができ、翻訳装置或いは質問応答装置において重要な技術であるゼロ代名詞の解消の精度を向上させるゼロ代名詞解消方法、解消装置、解消プログラムおよびプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
翻訳装置或いは質問応答装置の如き自然言語処理装置においては、文章中で使用されている「彼」、「その犬」その他の或るものを指し示す「照応表現」が、具体的に何を示しているかを推定する「照応解消」という技術が必要となる。この推定を正しく実行することができるか否かが翻訳装置或いは質問応答装置の性能を大きく左右することが知られている。
照応解消をするには、構文、意味、常識、専門分野その他の関連事項に関する様々の知識が必要であることが知られている（非特許文献１  参照）。
【０００３】
日本語は、代名詞を使用する代わりに、単に主語、目的語を省略することが多く、これらの省略は「ゼロ代名詞」と呼ばれる。「彼」、「彼女」、「彼ら」の様な代名詞には、性別或いは人数に関する情報が含まれており、これらの情報を利用することにより推定の精度を向上させることができる。一方、ゼロ代名詞からは性別、人数の情報が得られないので、通常の代名詞と比較してそれだけ指し示すものの推定は困難になる。以下、例を参照して具体的に説明する。
【０００４】
例１（日英翻訳）
例えば、「おもちゃをくれた。」という日本語文には「誰が誰に」という情報が含まれていないので、そのままで英語に翻訳することは難しい。そこで、機械翻訳装置においては、“A toy was given.”の様に受動態に翻訳することがよく行なわれている。しかし、この方法に依っては受動態の文ばかり多くなり、非常に読みづらい英語になる。そこで、「誰が誰に」を前後の文脈から推定することが行われる。
【０００５】
例２（質問応答）
質問応答装置は、ユーザから質問を受け付け、その答を探し出して応答する装置である。最近の質問応答装置においては、大量の新聞記事のデータベース、インターネットの検索エンジンの出力から答らしい文字列を探し出すことが行なわれている。この様な装置は、特定の分野の知識データベースを用いず、一般的な検索技術に基づいているので、「オープンドメインＱＡシステム」の如き名称で呼ばれて活発に研究されている。
【０００６】
答らしい文字列を探し出すときは、先ず、ユーザの質問に含まれる単語である質問語を使って質問と関係のありそうな文書或いは文書断片を検索する。次に、その文書或いは断片から質問が要求している人名、地名の如き種類の文字列を抜き出す。例えば、「アメリカの大統領は誰か」と聞かれたら、「アメリカ」、「大統領」という質問語で検索を行ない、これらの質問語の含まれる文書或は断片を探し出す。そして、その文書或いは断片から含まれている人名を抜き出す。
【０００７】
ここまでで得られた人名には、アメリカの大統領以外の人名も多数含まれている。そこで、次に、アメリカの大統領と思われる人名だけに絞り込む作業を行なう。この場合、一例として、質問語との間の平均的な距離を求め、テンプレート或いはパターンマッチングを得る方法が採用される。何れにせよ、質問語と応答文字列との間の距離が近いことが前提になっている。
【０００８】
しかし、この方法には限界がある。例えば、徳川家康について詳細に書かれている文書だが、「徳川家康」という人名は文書の先頭に一度出てくるだけ、という様なことがある。人間が読めば、「徳川家康について書いている」ということが分かっても、単語の距離が近いことを前提にしている検索装置は、「徳川家康」を解答として得られない。この様な文書からも解答を正しく得るには、ゼロ代名詞の推定技術が必要となる。
【０００９】
ゼロ代名詞を含む照応解析の手法としては、従来、以下の手がかりを用いた手法が使われている。
・照応先の候補となる名詞句の抽出：
ゼロ代名詞の前に現れる名詞句を文書から抜き出す。これが候補のリストとなる。
・意味制約：
動詞、形容詞の様な用言の主語、目的語として、どの様な意味を持つものでなければならないかという、一例として「読む」の主語は人間でなければならないという制約を記述したデータベースを作成し、各候補がそれを満たしているか否かを調べる。この意味制約については、後で更に具体的に説明する。
【００１０】
意味制約としては、例えば、以下に記載されているものを利用することができる（非特許文献２  参照）。
・ゼロ代名詞から候補までの距離による制約或いはスコア付け：
候補がゼロ代名詞から何文或いは何単語離れているかにより点数付けしたり、或る程度以上離れている候補は候補リストから削除する方法。
・センター理論によるスコア付け：
センター理論は、何が話題の中心になっているか、何が話題の中心になりやすいかに関する理論の内の代表的なものである。例えば、主語が目的語より話題になりやすい。話題の中心になっているもの程省略されやすい傾向があることを利用して、候補を推定するものである（非特許文献３  参照）。
・格の一致：
主格として現れた候補は主格のゼロ代名詞になりやすく、目的格として現れた候補は目的格のゼロ代名詞になりやすいという経験則に基づく（非特許文献４  参照）。
・接続助詞の分類：
ゼロ代名詞を含む文が複文、重文であるとき、どの様な接続助詞が使われているかに着目し、同じ主語になりやすい接続助詞となりにくい接続助詞を分類することにより、優先する候補を変える方法（非特許文献５  参照）。
【００１１】
以上は代表的なものだけを取り上げているが、これ以外にも様々な手がかりを使うことが考えられ、例えば以下の文献においては、非常に複雑な経験則が考えられている（非特許文献６  参照）。
以上のように、これまでにさまざまな手法が提案されているが、いずれも少数の例と人間の内省によるものであり、現実の処理に適用しようとすると、あまり高い精度が得られないという問題があった。
そこで、確率モデル、機械学習などにより、大量のデータから正しい照応先を指定する規則を自動的に獲得しようとするアプローチが近年検討されている（非特許文献７、８  参照）。
しかし、様々な知識が必要な一方で、質の高い充分な量の訓練データを作成することが難しいという問題があった。
【非特許文献１】Ruslan Mitkov,“Anaphora Resolution,”Pearson Education, 2002, ISBN 0-582-32505-6
【非特許文献２】池原悟、宮崎正弘、白井諭、横尾昭男、中岩浩巳、大山芳史、林良彦：『日本語語彙大系』、岩波書店、1997．
【非特許文献３】Barbara J. Grosz, Aravind K. Joshi, and Scott Weinstein. Centering: A framework for modelling the local coherence of discourse. Computational Linguistics, 21(2):203-226, 1995.
【非特許文献４】Megumi Kameyama: A Property-Sharing Constraint in Centering, Proceedings of the Annual Meeting of the Association for Computational Linguistics, pp.200-206, 1986.
【非特許文献５】田村浩二、奥村学：センター理論による日本語談話の省略解析、情報処理学会研究報告、自然言語処理  107-12, pp.91-96, 1995.
【非特許文献６】村田真樹、長尾  真：用例や表層表現を用いた日本語文章中の指示詞・代名詞・ゼロ代名詞の指示対象の推定，自然言語処理，Vol.4, No.1, pp.41-56, 1997.
【非特許文献７】関和広、藤井敦、石川徹也：確率モデルを用いたゼロ代名詞の照応解析、自然言語処理、Vol.9, No.3, pp.63-85, 2002.
【非特許文献８】飯田龍、高村大也、乾健太郎、松本裕治：機械学習によるゼロ代名詞同定の一方法、情報処理学会自然言語処理研究会、NL-154-23, 2003.  なお、この発明は、以下の非特許文献９、１０も公知文献として引用される。
【非特許文献９】Katharina Morik, Peter Brockhausen, and Thorsten Joachims. Combining statistical learning with a knowledge-based approach−a case study in intensive care monitoring. Proceedings of the International Conference on Machine Learning, pages 268-277, 1999.
【非特許文献１０】Marilyn Walker, Masayo Iida, and Sharon Cote. Japanese discourse and the process of centering. Computational Linguistics, 20(2):193-233, 1994.
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述した通り、ゼロ代名詞の解消は重要な課題であり、正確な解消には多様な知識の上手な利用方法が必要とされる。経験則による方法は単純な内はよいが、多数の知識を如何に組み合わせるかについてはアドホックになりがちであり、上手に組み合わせて利用することが難しいという問題があった。一方、機械学習の如き統計的手法には、質のよい大量の訓練データを準備することが難しいという問題があった。
【００１３】
この発明は、人間の経験に基づく経験則をガイドラインとし、これに大量のデータから自動的に獲得されている正しい照応先を指定する機械学習規則により不適切な候補を除くことを組み合わせることにより、経験則だけ、或いは機械学習規則だけよりも高い精度を実現することができ、翻訳装置或いは質問応答装置において重要な技術であるゼロ代名詞の解消の精度を向上させる以上の問題を緩和したゼロ代名詞解消方法、解消装置、解消プログラムおよびプログラムを記録した記録媒体を提供するものである。
【課題を解決するための手段】
【００１４】
日本語入力文を一般文書から形態素解析装置に入力して形態素解析し、形態素解析結果を係り受け解析装置に入力して係り受け解析し、 係り受け解析の結果をゼロ代名詞検出装置に入力してゼロ代名詞が何処にあるかを推定し、ゼロ代名詞検出装置の検出結果であるゼロ代名詞を照応先候補抽出装置に入力して候補となる名詞句を抽出し、 ゼロ代名詞の候補をベクトル化装置に入力してベクトル表現に変換し、 ベクトル表現された各候補を候補順序付け装置に入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けし、順序付けられた候補のベクトルおよび機械学習により得られた正しい候補を選び出す機械学習規則を学習結果適用装置に入力し、順序付けられた候補のベクトルを機械学習により得られた機械学習規則により判定して解答を求め、解答を次以降のゼロ代名詞の候補リストに新規の候補として追加するゼロ代名詞解消方法を構成した。
【００１５】
そして、先のゼロ代名詞解消方法において、問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現の作成においては、Ｖについて、ゼロ代名詞の候補が意味制約を満足していればＶ＝０とし、満足していなければＶ＝１とし、Ｒについて、その候補がそのゼロ代名詞より前に完成している連体修飾節の中にあればＲ＝０とし、なければＲ＝１とし、Ａについて、その候補の格がゼロ代名詞の格と一致していればＡ＝０とし、一致していなければＡ＝１とし、Ｄについて、その候補が含まれる文の先頭からの番号とゼロ代名詞が含まれる文の番号との差（ゼロ代名詞と同じ文中にある候補はＤ＝０、直前の文にある候補はＤ＝１）とし、Ｓについて、その候補の後続助詞が「は」であればＳ＝０とし、「が」であればＳ＝１とし、「に」であればＳ＝２とし、「を」であればＳ＝３とし、それ以外であればＳ＝４とし、問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の辞書式順序に従って各候補を並べるゼロ代名詞解消方法を構成した。
【００１６】
ここで、訓練用文書ｄ或いは一般文書Ｄから日本語の入力文を受け付けて単語に各単語の情報を付与する形態素解析装置１を具備し、形態素解析装置１による形態素解析の結果を受けて、単語を文節にまとめ、何れの文節が何れの文節を修飾しているかの情報を付与する係り受け解析装置２を具備し、係り受け解析装置２の係り受け解析の結果を受けてゼロ代名詞が何処にあるかを推定するゼロ代名詞検出装置３を具備し、候補となる名詞句を文章から抽出する照応先候補抽出装置４を具備し、候補となる各名詞句をベクトル表現に変換するベクトル化装置５を具備し、正しい照応先を指定する機械学習規則を獲得する機械学習装置７を具備し、ベクトル表現された各候補をベクトル化装置５から入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を作成し、その数値表現を参照して候補を順序付けする装置６を具備し、順序づけされた候補のベクトルを入力すると共に正しい候補を選び出す機械学習規則を入力し、順序付けられた候補のベクトルを機械学習規則により判定し、最初に正解と判定された候補のベクトルを解答とし、解答を照応先候補抽出装置４に戻して候補リストに追加する学習結果適用装置８を具備するゼロ代名詞解消装置を構成した。
【００１７】
そして、日本語入力文を一般文書から形態素解析装置に入力して形態素解析し、形態素解析結果を係り受け解析装置に入力して係り受け解析し、係り受け解析の結果をゼロ代名詞検出装置に入力してゼロ代名詞が何処にあるかを推定し、ゼロ代名詞検出装置の検出結果であるゼロ代名詞を照応先候補抽出装置に入力して候補となる名詞句を抽出し、ゼロ代名詞の候補をベクトル化装置に入力してベクトル表現に変換し、ベクトル表現された各候補を候補順序付け装置に入力して候補毎に問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）数値表現を作成し、その数値表現を参照して候補を順序付けし、順序付けられた候補のベクトルおよび機械学習により得られた正しい候補を選び出す機械学習規則を学習結果適用装置に入力し、順序付けられた候補のベクトルを機械学習により得られた機械学習規則により判定して解答を求め、解答を次以降のゼロ代名詞の候補リストに新規の候補として追加する指令をコンピュータに対して実行するゼロ代名詞解消プログラムを構成した。
また、先のゼロ代名詞解消プログラムを記録した記録媒体を構成した。
【発明の効果】
【００１８】
上述した通りであって、この発明によれば、人間の経験に基づく経験則をガイドラインとし、これに確率モデル、機械学習により大量のデータから自動的に獲得されている正しい照応先を指定する機械学習規則により不適切な候補を除くことを組み合わせることにより、経験則だけ、或いは機械学習規則だけよりも高い精度を実現することができ、翻訳装置或いは質問応答装置において重要な技術であるゼロ代名詞の解消の精度を向上させるゼロ代名詞解消方法、解消装置、解消プログラムおよびプログラムを記録した記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１９】
この発明は、経験則に基づいて作成した所定の規則を適用することによってゼロ代名詞の候補を順に並べ、 確率モデル、機械学習により大量のデータから自動的に獲得された正しい照応先を指定する機械学習規則により明らかに不適切とは判断されなかった第１の候補、第２の候補、第３の候補、…の様に順序付けられた候補の内の最も順位の高い候補を推定の結果とする方法を採用する。ただし、全ての候補が不適切と判断された場合は、機械学習を用いた手段による推定で最も成績のよかった候補を推定の結果として出力する。
【００２０】
この方法によれば、人間の経験に基づく経験則の知識を生かしながら、多様な知識を客観的な尺度で利用することができる機械学習結果である機械学習規則の利点も生かして、経験則だけ、或いは機械学習規則だけよりも高いゼロ代名詞の候補の推定の精度を実現することができる。
【００２１】
この発明の実施の形態を図１の実施例を参照して説明する。
ゼロ代名詞の照応先の推定には、以下の各種の装置を使用して実施する。
Ｄはゼロ代名詞が解消されるべき文章である一般文書であり、ｄは予め作成準備訓された練用文書である。
１は形態素解析装置であり、訓練用文書ｄ或いは一般文書Ｄから日本語の入力文を受け付けて、単語に区切り、品詞その他の各単語の情報を付与する装置である。
２は係り受け解析装置であり、形態素解析装置１による形態素解析の結果を受けて、単語を文節にまとめ、何れの文節が何れの文節を修飾しているかの情報を付与する装置である。
【００２２】
３はゼロ代名詞検出装置であり、係り受け解析装置２の係り受け解析の結果を受けて、ゼロ代名詞が何処にあるかを推定する装置である。これには、動詞、形容詞その他の用言の格フレームのデータベースを参照し、欠けている必須格を推定する方法、その他の公知の方法を採用する。
４は照応先候補抽出装置であり、ゼロ代名詞検出装置３の検出結果を入力し、候補となる名詞句を文章から抽出する装置である。照応先候補抽出装置４は、ゼロ代名詞の候補の記憶部である候補リストを内部に有している。
【００２３】
５はベクトル化装置である。この実施例は「教師あり機械学習」を使用するので、ベクトル化装置を使用する。多くの機械学習は、各サンプルをベクトルで表現しなければ学習を実行することができない。そこで、候補となる各名詞句をベクトル表現に変換する。ベクトルの各成分はその候補を特徴付けるものである。例えば、その候補とゼロ代名詞の距離、その候補の意味カテゴリ、その候補の直後の助詞、その候補が連体修飾節中にあるか、ゼロ代名詞の格と候補の格は一致するか、その他、今日までに研究開発されている様々な特徴をベクトルの成分として使用する。訓練用文書から得られた各ゼロ代名詞の各候補をこのベクトル化装置５によりベクトル化して訓練用文書データとし、それぞれの候補が正しい照応先か否かを明示しておく。
【００２４】
６は候補順序付け装置であり、経験則に基づいて作成した所定の規則を適用して一般文書Ｄのゼロ代名詞の候補を順序付ける装置である。最も簡単な方法は、ゼロ代名詞に近い順に並べる方法である。有効な方法については後で具体的に説明する。
７は機械学習装置であり、確率モデル、機械学習により大量のデータから正しい照応先を指定する機械学習規則を自動的に獲得する装置である。この規則の自動学習には、サポートベクトルマシン、最大エントロピー法、ブースティング、決定木学習、ナイーブベイズその他の統計的自然言語で用いられている様々の機械学習方法を利用することができる。
【００２５】
８は学習結果適用装置であり、順番が小さい順に順序づけされた候補のベクトルを候補順序付け装置６から入力すると共に、機械学習装置７において得られた正しい照応先を指定する機械学習規則を入力し、順序付けにおける順番が小さい順にその候補のベクトルを機械学習により得られた機械学習規則により判定し、最初に正解と判定された候補のベクトルを解答とし、検出されたゼロ代名詞の位置と推定した照応先を出力する装置である。そして、この解答を照応先候補抽出装置４に戻してゼロ代名詞の候補の記憶部である候補リストに追加する。
【００２６】
ここで、先ず、正しい候補を選び出す規則の自動学習について説明する。訓練用文書ｄには、ゼロ代名詞の正しい位置と正しい照応先が予め付与されているものとする。
工程１：  訓練用文書ｄから入力された日本語入力文を、形態素解析装置１および係り受け解析装置２に入力してこれを形態素解析および係り受け解析し、ゼロ代名詞の位置に達したところで、その位置までに現れた全候補、或いは候補の一部、例えば３文以内に現れた候補を、ゼロ代名詞検出装置３経由せずに直接にベクトル化装置５に入力し、ベクトル化する。候補である各名詞句はここでベクトル表現に変換されて、ベクトルの各成分により特徴付けられる。なお、上述した通り、訓練用文書ｄにはゼロ代名詞の正しい位置と正しい照応先が予め付与されているので、これをゼロ代名詞検出装置３を経由させる必要はない。
工程２：  ここで、その正解はゼロ代名詞の位置にあるものとみなして、次以降のゼロ代名詞のための候補リストに、新規の候補として追加する。
工程３： 工程作１および工程２を、訓練用文書ｄについてその最初の文から数文づつ一括して、全文書に亘って繰り返すことにより、訓練用文書データが作成される。
【００２７】
ベクトル化装置５において上述の通りにして得られた訓練用文書データを機械学習装置７に入力し、これら訓練用文書データの候補が正解か否かを判断する規則を自動学習させる。この自動学習された結果の規則は、機械学習装置７に格納する（以上の下線部に、加筆訂正を施されたい。）
【００２８】
図２をも参照して、一般文書Ｄからゼロ代名詞が解消されるべき文章を入力してゼロ代名詞を解消する実際の処理を説明する。
工程１：  一般文書Ｄから入力された日本語入力文を、形態素解析装置１および係り受け解析装置２に入力してこれを形態素解析および係り受け解析する。
工程２：  ゼロ代名詞検出装置３は、係り受け解析装置２の係り受け解析の結果を受け、ゼロ代名詞が何処にあるかを推定する。これには、動詞、形容詞その他の用言の格フレームのデータベースを参照し、欠けている必須格を推定する。  工程３：ゼロ代名詞の位置に達したところで、その位置までに現れた全候補、或いは候補の一部、例えば３文以内に現れた候補を検出する。
【００２９】
工程４：  ゼロ代名詞検出装置３の検出結果であるゼロ代名詞を照応先候補抽出装置４に入力する。ゼロ代名詞の多くは名詞句を指しているので、これに着目して候補となる名詞句をゼロ代名詞検出装置３の検出結果から抜き出す。
工程５：  照応先候補抽出装置４により抽出されたゼロ代名詞の候補はベクトル化装置５に入力される。候補である各名詞句はここでベクトル表現に変換されて、ベクトルの各成分により特徴付けられる。
工程６：  ベクトル表現された各候補は、候補順序付け装置６に入力され、経験則に基づいて作成した所定の規則を適用して順序付けられる。この順序付けは後で具体的に説明する。
【００３０】
工程７：  順序付けにおける順番が小さい順にその候補のベクトルを、先に説明した機械学習により得られた規則により判定し、最初に正解と判定された候補のベクトルを解答とする。全てが不正解と判定された場合、機械学習の判定規則で最もスコアのよい候補を解答とする。
工程８：  その解答がゼロ代名詞の位置にあるとみなして、照応先候補抽出装置４の有するゼロ代名詞の候補の記憶部である候補リストに新規の候補として追加する。
工程９：一般文書Ｄについてその最初の文から１文ないし数文づつ一括して、全文書に亘って繰り返すことにより、ゼロ代名詞の解消が行われる。
【００３１】
ところで、機械学習は膨大なデータに基づいて客観的な判定規則を作るが、これと比較して人間は膨大な背景知識、経験が少ないので、人間は不適切な一般化を行なうことがある。予め、チェックする順序を決めておき、尤もらしい候補から順に調べることにより、経験的に不適切な候補は後まわしにする。
【００３２】
上述した訓練データは、一般に、正解である候補の数が、不正解である候補の数と比較して圧倒的に少ない傾向がある。そのために、機械学習の結果は、なるべく正解と判定しない規則になる。そこで、一例として、機械学習のパラメータを調整することにより、正解であるのに不正解と判定することがなるべくないようにする。機械学習としてサポートベクトルマシンの場合は、非特許文献９の方法を用いることができる。
【００３３】
ここで、この発明は、ゼロ代名詞を解消するに、経験則に基づいた候補の順序付けと統計的方法による順序付けとを組み合わせて使用し、経験則に基づいた候補の順序付けをするに５個の要素により構成される問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）を使用する。即ち、この発明は、以下のＶ、Ｒ、Ａ、Ｄ、Ｓの５個の要素を、ゼロ代名詞の候補の検出の手がかりとして有効であるという経験則に従って使用する。ここで、問題点リストの要素である「Ｖ：意味制約、Ｒ：ゼロ代名詞より前に完成している連体修飾節の中に候補が在るか否か、Ａ：候補の格がゼロ代名詞の格と一致しているか否か、Ｄ：その候補が含まれる文の先頭からの番号とゼロ代名詞が含まれる文の番号との差（番号については後で説明する）、Ｓ：候補の後続助詞」は、ゼロ代名詞の候補の尤もらしさを類推する手がかりとして有効であることが経験的に認識されており、この発明においては、これらのことを「経験則」と称している。そして、「経験則に基づいて作成した所定の規則」とは「問題点リストのＶ、Ｒ、Ａ、Ｄ、Ｓの５個の要素と、これらの要素の順序と、これらの要素に付与される０ないし４の値と、順序と値よりなる問題点リスト数値表現の辞書式順序に従って候補を並べる」ことを言う。
【００３４】
以下、問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）について、具体的に説明する。  
先ず、問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現を候補毎に作成する。
・Ｖ：その候補が意味制約を満足していればＶ＝０とし、満足していなければＶ＝１とする。
【００３５】
「意味制約を満足する」とは以下の意味内容のものである。即ち、「読む」、「書く」という動詞の主語は普通は人間であって、車、花、馬、石の如き人間以外のものが主語になることはまずない。人間、車、馬は「走る」の主語になり得るが、花、石は「走る」の主語になることはまずない。この様な各用言の主語、目的語に関する意味的な制約は、先に引用した非特許文献２：「日本語語彙大系」、その他これに類似した辞書に記載されている。従って、主語がゼロ代名詞である用言「走る」がみつかった場合、そのゼロ代名詞の候補として、人間、車、馬は尤もらしいが、花、石は尤もらしくない。そこで、このゼロ代名詞の候補としては、それが人間、車、馬である場合はＶ＝０とし、花、石の場合はＶ＝１とする。同様に、「読む」の主語がゼロ代名詞の場合は、候補が人間であればＶ＝０とし、車、花、馬、石であればらＶ＝１とする。
また、「読む」の主語が省略されていて、それが何であるかあてようとしているとする。「読む」の主語は人間であるという意味制約があるが、これは非特許文献２：「日本語語彙大系」その他の辞書、データベースに書かれている。候補として「田中太郎」「大統領」「大阪大学」「パソコン」が存在する場合、非特許文献２：「日本語語彙大系」の如き辞書、「固有表現抽出技術」を用いることで「田中太郎」「大統領」は人間であり、「大阪大学」は組織であり、「パソコン」は機械であることがわかる。従って、「読む」の主語として「田中太郎」「大統領」は合格でＶ＝０であるが、「大阪大学」、「パソコン」は失格でＶ＝１である。以上を要約するに、ゼロ代名詞の候補について、意味制約が記載されている非特許文献２：「日本語語彙大系」に代表される辞書、データベースを参照して、候補が辞書に記載の意味制約を満足している場合はＶ＝０とし、そうでなはない場合はＶ＝１とする。最後に、候補が意味制約データベースに存在しない場合は、制約がないものとして候補を受け入れる。
【００３６】
・Ｒ：その候補が、そのゼロ代名詞より前に完成している連体修飾節の中にあればＲ＝０とし、なければＲ＝１とする。
・Ａ：その候補の格が、ゼロ代名詞の格と一致していればＡ＝０とし、一致していなければＡ＝１とする（非特許文献４  参照）。
・Ｄ：入力文において、先頭から各文に番号を１から昇順に付与する。その候補が含まれる文の番号とゼロ代名詞が含まれる文の番号との差（ゼロ代名詞と同じ文中にある候補はＤ＝０、直前の文にある候補はＤ＝１）とする。
・Ｓ：その候補の後続助詞が「は」であればＳ＝０とし、「が」であればＳ＝１とし、「に」であればＳ＝２とし、「を」であればＳ＝３とし、それ以外であればＳ＝４とする（非特許文献１０  参照）。
【００３７】
この実施例は、各候補の問題点リスト（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）の数値表現の辞書式順序に従って昇順して候補を並べる。ところで、数値を並べる場合は、その数値の大小で並べるのが普通である。辞書に登録されている単語の様に、単純な数値ではないものを並べるに、辞書式順序が使われる。辞書においては、abort < abuse < achieve < alpha < bach < beta < boom < cat・・・の如くに単語が並べられている。これを一般化した順序が辞書式順序である。辞書の単語は、先ず、最初の文字に着目して、abort, abuse, achieve, alpha < bach, beta  < cat・・・・の如くにおおまかに順序付けることができる。これは、a < b < c という順序が決まっていることによる。最初の文字が同じ場合は２番目の文字に着目して比較して、abort、abuse < achieve < alpha<bach < beta、と順序付けることができる。２番目の文字で差がつかない時は３番目の文字に着目して比較する。abort < abuseと順序付けることができる。これを辞書式順序と言う。
【００３８】
この実施例の場合の辞書式順序も同様で、例えば、候補Ｃ１が（１、０、０、０、０）、候補Ｃ２が（０、０、０、０、１）、候補Ｃ３の数値表現が（０、０、１、０、０）、候補Ｃ４の数値表現が（１、０、１、０、０）であれば、先頭の数字から順に比較して行くことにより、候補をＣ２、Ｃ３、Ｃ１、Ｃ４の順番に並べる。また、問題点リストの要素Ｄ，Ｓの様に２値ではない場合も同様に、小さい数字を要素の値とする候補の順が早くなる。
【００３９】
以上の実施例は、問題点リストとして（Ｖ、Ｒ、Ａ、Ｄ、Ｓ）を取り上げているが、（Ｒ、Ｖ、Ａ、Ｄ、Ｓ）に依っても同様の効果が得られる。効果に対する寄与としては、Ｒ、Ｖ、Ａが第１に大きく、Ｄが第２に大きく、Ｓによる寄与は最も小さいと推測されている。
【００４０】
次いで、機械学習装置７において、機械学習法として、サポートベクトルマシンをベースとして、正解（正例）と不正解（負例）のデータのバランスを配慮した以下の機械学習法を用いる（非特許文献９  参照）。
【００４１】
この機械学習法は、少数派である正例を間違った場合のペナルティを、多数派である負例を間違った場合のペナルティより大きくすることにより、「正解」を「不正解」と判定することがなるべくない様にしている。これにより、候補を先のＣ２、Ｃ３、Ｃ１、Ｃ４の順に調べ、最初に正解になった候補を解答とする。機械学習により、Ｃ２、Ｃ１が不正解、Ｃ３、Ｃ４が正解と判断される場合は、Ｃ３がゼロ代名詞の解答、即ち、照応先と判断され、Ｃ４は無視される。これは経験則によりＣ４よりＣ３の方が優先度が高いと判断されたためである。一方、Ｃ２は経験則ではＣ３より優先度が高いが、機械学習により、不適切と判断されている。
【００４２】
以上のゼロ代名詞解消装置はコンピュータを主要な構成部材として構成することができる。そして、このコンピュータにＣＤその他の記録媒体からダウンロードし或いは通信回線を介してダウンロードしたプログラムをインストールしてこの発明のゼロ代名詞解消装置を実施することができる。
【図面の簡単な説明】
【００４３】
【図１】実施例を説明する図。
【図２】実施例のフローチャート。
【符号の説明】
【００４４】
１  形態素解析装置                  ２  係り受け解析装置
３  ゼロ代名詞検出装置              ４  照応先候補抽出装置
５  ベクトル化装置                  ６  候補順序付け装置
７  機械学習装置                    ８  学習結果適用装置
ｄ  訓練用文書                      Ｄ  一般文書
【図１】
2005025659.tif 000003
【図２】
2005025659.tif 000004