(57)【特許請求の範囲】
【請求項１】
コンピュータを用いて自然言語で記述された文章を文切りする方法において、
前記コンピュータが、処理対象である文章を読み込み、予め辞書記憶部に格納された辞書情報に基づいて当該文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断し、当該単独で使用されているピリオドで文を切る文切り処理を行い、文切り処理後の文章をメモリに格納するステップと、
前記コンピュータが、前記メモリから処理対象である前記文章を読み出し、当該文章を構成する単語の品詞推定を行い、当該品詞推定の結果に基づいて当該文章中のピリオドを含む単語の前後における主動詞の有無を判断し、当該ピリオドを含む単語の前後に共に主動詞がある場合に当該単語に含まれるピリオドで文を切る文切り処理を行うステップと
を含むことを特徴とする文切り方法。
【請求項２】
前記品詞推定の結果に基づいて文切り処理を行うステップでは、前記コンピュータが、前記ピリオドを含む単語の後方の主動詞を探索する場合に、当該文章中の従属接続詞または関係代名詞と動詞との位置関係に基づいて当該文章の入れ子構造を判断し、当該入れ子構造に基づいて当該動詞を主動詞として扱うかどうかを判断して文切り処理を行うことを特徴とする請求項１に記載の文切り方法。
【請求項３】
前記品詞推定の結果に基づいて文切り処理を行うステップでは、前記コンピュータが、前記ピリオドを含む単語の後方に位置する、「and」の直後の動詞は主動詞ではないと判断することを特徴とする請求項１に記載の文切り方法。
【請求項４】
前記品詞推定の結果に基づいて文切り処理を行うステップでは、前記コンピュータが、前記品詞推定の結果に基づき、前記文章中のピリオドを含む単語の直後に冠詞または代名詞がある場合は当該ピリオドで文を切ることを特徴とする請求項１に記載の文切り方法。
【請求項５】
前記単語の品詞推定を行うステップでは、前記コンピュータが、単語に対する品詞情報が付加されたコーパスに基づく確率的手法を用いて前記処理対象である文章の単語の品詞推定を行うことを特徴とする請求項１に記載の文切り方法。
【請求項６】
前記コンピュータが、処理対象である文章を読み込んで当該文章のレイアウトを解析し、解析結果として得たレイアウト情報をメモリに格納するステップをさらに含み、
前記単語の品詞推定及び品詞推定の結果に基づいて文切り処理を行うステップでは、前記コンピュータが、前記メモリに格納された前記レイアウト情報に基づいて、通常のパラグラフを構成する文章を処理対象として品詞推定及び当該品詞推定の結果に基づく文切り処理を行うことを特徴とする請求項１に記載の文切り方法。
【請求項７】
自然言語処理に伴う自然言語で記述された文章を１文ごとに切る文切り処理を行う文切り処理装置において、
予め辞書情報を格納した辞書記憶部と、
処理対象として入力された文章に対し、前記辞書情報に基づいて当該文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断して、当該単独で使用されているピリオドで文切りすると共に、当該文章を構成する単語の品詞推定を行い、当該品詞推定の結果に基づいて当該文章中のピリオドを含む単語の前後における主動詞の有無を判断して、当該ピリオドを含む単語の前後に共に主動詞がある場合に当該単語に含まれるピリオドで文切りを行う文切り処理部と
を備えることを特徴とする文切り処理装置。
【請求項８】
前記文切り処理部は、前記辞書情報に基づいて前記ピリオドを含む単語が文末に現れることのない単語である場合に、当該単語の前後における主動詞の有無に関わらず、当該単語に含まれるピリオドでは文切りを行わないことを特徴とする請求項７に記載の文切り処理装置。
【請求項９】
処理対象として入力された文章のレイアウトを解析するレイアウト解析部をさらに備え、
前記文切り処理部は、前記レイアウト解析部による解析結果に基づいて、通常のパラグラフを構成すると判断される文章を処理対象として文切り処理を行うことを特徴とする請求項７に記載の文切り処理装置。
【請求項１０】
所定の自然言語で記述された文章を翻訳する機械翻訳装置において、
処理対象である文章の入力を受け付ける入力部と、
前記入力部にて入力された文章を文切りする文切り処理部と、
前記文切り処理部にて文切りされた文章を用いて、１文ごとに翻訳を行う翻訳処理部と、
前記翻訳処理部による翻訳結果を出力する出力部とを備え、
前記文切り処理部は、前記文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断して、当該単独で使用されているピリオドで文切りすると共に、当該文章を構成する単語の品詞推定を行い、当該品詞推定の結果に基づいて当該文章中のピリオドを含む単語の前後における主動詞の有無を判断して、当該ピリオドを含む単語の前後に共に主動詞がある場合に当該単語に含まれるピリオドで文切りすることを特徴とする機械翻訳装置。
【請求項１１】
コンピュータを制御して、自然言語で記述された文章を文切りするプログラムであって、
処理対象である文章を入力し、予め辞書記憶部に格納された辞書情報を用いて当該文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断し、当該単独で使用されているピリオドで文を切る文切り処理を行い、文切りされた文章をメモリに格納する処理と、
前記メモリから処理対象である前記文章を読み出し、当該文章を構成する単語の品詞推定を行い、当該品詞推定の結果に基づいて当該文章中のピリオドを含む単語の前後における主動詞の有無を判断し、当該ピリオドを含む単語の前後に共に主動詞がある場合に当該単語に含まれるピリオドで文を切る文切り処理を行う処理と
を前記コンピュータに実行させることを特徴とするプログラム。
【請求項１２】
コンピュータを制御して、自然言語で記述された文章を翻訳するプログラムであって、
処理対象である文章を入力し、前記文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断して、当該単独で使用されているピリオドで文切りすると共に、当該文章を構成する単語の品詞推定を行い、当該品詞推定の結果に基づいて当該文章中のピリオドを含む単語の前後における主動詞の有無を判断して、当該ピリオドを含む単語の前後に共に主動詞がある場合に当該単語に含まれるピリオドで文切りする処理を行い、当該文切りされた文章をメモリに格納する文切り処理手段と、
前記メモリに格納された前記文切りされた文章を１文ずつ翻訳する翻訳処理手段として前記コンピュータを機能させることを特徴とするプログラム。
【請求項１３】
請求項１１または請求項１２に記載されたプログラムを、コンピュータにて読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、機械翻訳などで行われる自然言語の解析処理に関し、特に文章を１文ごとに切り出す文切り処理に関する。
【０００２】
【従来の技術】
機械翻訳などで行われる自然言語処理で最初に行うべき処理として、文切り処理がある。これは、自然言語で記述された処理対象である文章を１文ごとに切り出す処理である。この文切り処理で切り出された個々の文を処理単位として、実際の翻訳処理などが実行されることとなる。したがって、この文切り処理で文を切る場所を誤ると、翻訳などの目的の処理を正確に行うことができなくなる。また、機械翻訳では翻訳対象の文が長くなると処理量が爆発的に増大する。このため、文切り処理を誤り、２文に切り出すべき文を長い１文として繋げてしまうと、解析処理に時間がかかり、さらに解析を失敗する原因となる。
【０００３】
正確な文切り処理を行うためには、翻訳処理などの目的の処理を行いながら、文の意味を掴んだ上で文切りの修正を行うことが好ましいが、現状の自然言語処理の技術レベルでは、そのような修正はできない。そのため、最初の段階で精度の高い文切り処理を行うことが要求される。
【０００４】
処理対象が英文である場合、文末にはピリオドがあるので、原則として、このピリオドの有無に基づいて文の切り出しを行うことができる。しかし、ピリオドには単独で用いられて文末を示す他に短縮語などを示す用法があり、「Ｕ．Ｓ．」などのようにピリオドを含む語（以下、ピリオド語と呼ぶ）が存在する。このため、ピリオドで文が切れるかどうかの判断は必ずしも容易ではない。
【０００５】
英文に対する従来のこの種の文切り処理の手順を説明する。
まず、ピリオド語を含まない単純な英文の場合には、単独のピリオドの次に位置する単語が大文字で始まるかどうかで単純に文切りを行うことができる。例えば、
Ｉ  ｈａｖｅ  ａ  ｐｅｎ．  Ｙｏｕ  ｈａｖｅ  ａ  ｂｏｏｋ．
の場合には、「ｐｅｎ．」というようなピリオド語は存在しないので、ｐｅｎの後のピリオドは文末を示す単独のピリオドだと認識でき、その次の語「Ｙｏｕ」が大文字で始まっているので、このピリオドで文切りを行う。
【０００６】
ところで、ピリオド語の中には、「Ｍｒ．」のように文末に現れることがない単語と、「Ｕ．Ｓ．」のように、文末にも文の途中にも現れ得るために、そこで文が切れるかどうかを判断できない単語とが存在する。そこで、「Ｍｒ．」のような文末に現れることがない単語を辞書中にデータとして格納しておき、文切り処理の際に当該辞書を参照して、そのような単語の後では文を切らないという処理を行う。一方、「Ｕ．Ｓ．」のような文が切れるかどうか判断できない単語の場合には、「Ｍｒ．」の場合のように単語そのものを登録するのではなく、その単語を含む語、例えば、「Ｕ．Ｓ．  Ｐｒｅｓｉｄｅｎｔ」という単語列を辞書に登録する。そして、文中に用いられている「Ｕ．Ｓ．」を含む単語列が登録されていない単語列の場合は文を切り、登録されている単語列の場合には文を切らないという処理を行うことができる。
【０００７】
【発明が解決しようとする課題】
上述したように、自然言語の解析処理においては、初期的に行われる文切り処理を高い精度で行うことが要求される。すなわち、２文に切るべき文は確実に切ること、及び１文とすべき文を２文に切ってしまうことをできるだけ避けることが重要である。
【０００８】
処理対象が英文である場合、ピリオドの扱いが文切り処理を行う上で重要であり、従来は、文末に現れないピリオド語を辞書に登録しておき、文中のピリオドが辞書に登録されているピリオド語のものである場合は、当該ピリオドでは文を切らないという処理を行っていた。
しかしながら、処理対象が文末にも文の途中にも現れ得るピリオド語の場合、上記従来の手法では他に何も判断材料がないために、機械的に文を切ってしまうこととなる。そのため、文切り処理の精度の向上には限界があった。
【０００９】
また、「Ｕ．Ｓ．」のようにピリオドで文が切れるかどうか判断できない単語の場合、その単語を含む単語列を辞書に登録し、処理対象である文中の当該単語を含む単語列が辞書に登録されているか否かにより、文を切るか否かを判断していた。
しかしながら、同じ単語列であっても文によって切るべき場合と繋げて扱うべき場合とがあり、一律に判断すると文切り処理を誤る場合があった。例えば、上述した「Ｕ．Ｓ．  Ｐｒｅｓｉｄｅｎｔ」の場合、一般的には「Ｕ．Ｓ．」で文が切れることは少ないが、次のような文では「Ｕ．Ｓ．」で文を切らなければ正しい解析ができない。
Ｊａｐａｎｅｓｅ  Ｐｒｉｍｅ  Ｍｉｎｉｓｔｅｒ  Ｊｕｎｉｃｈｉｒｏ  Ｋｏｉｚｕｍｉ  ｗｅｎｔ  ｔｏ  Ｕ．Ｓ．  Ｐｒｅｓｉｄｅｎｔ  Ｂｕｓｈ  ｗｅｌｃｏｍｅｄ  ｈｉｍ．
したがって、この場合、「Ｕ．Ｓ．  Ｐｒｅｓｉｄｅｎｔ」という単語列を辞書に登録した場合も、登録しない場合も、正確な文切り処理をできない場合が出てきてしまうこととなる。
【００１０】
そこで、本発明は、処理対象である文中の単語の品詞を推定することにより、精度の高い文切り処理を実現することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成する本発明は、コンピュータを用いて自然言語で記述された文章を文切りする方法において、処理対象である文章を入力し、予め辞書記憶部に格納された辞書情報を用いて通常の文切り処理を行い、文切りされた文章をメモリに格納するステップと、この文章を構成する単語の品詞推定を行い、その推定結果に基づいてさらに文切り処理を行うステップとを含むことを特徴とする。ここで、より詳細には通常の文切り処理とは、文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断し、当該単独で使用されているピリオドで文を切る処理であり、品詞の推定結果に基づく文切り処理とは、文章中のピリオドを含む単語の前後における主動詞の有無を判断し、当該ピリオドを含む単語の前後に共に主動詞（主節の動詞）がある場合に当該単語に含まれるピリオドで文を切る処理である。
【００１２】
さらに詳細には、この主動詞を検出するため、処理対象である文章中の従属接続詞または関係代名詞と動詞との位置関係に基づいてこの動詞を主動詞として扱うかどうかを判断する。具体的には、品詞推定の結果に基づいて文切り処理を行うステップでは、ピリオドを含む単語の前方の主動詞を探索する場合に、主動詞を検出する以前に単語の前方に従属接続詞または関係代名詞を検出したならば、この単語に含まれるピリオドでは文を切らない。また、品詞推定の結果に基づいて文切り処理を行うステップでは、ピリオドを含む単語の後方の主動詞を探索する場合に、この文章中の従属接続詞または関係代名詞と動詞との位置関係に基づいてこの文章の入れ子構造を判断し、この入れ子構造に基づいて動詞を主動詞として扱うかどうかを判断する。
また、ピリオドを含む単語の後方に位置する、「ａｎｄ」の直後の動詞は主動詞ではないと判断する。
さらにまた、主動詞の位置に関わらず、処理対象である文章中のピリオドを含む単語の直後に冠詞または代名詞がある場合はこのピリオドで文を切ると判断する。
【００１３】
また、この文章を文切りする方法において、好ましくは、この品詞推定を、単語に対する品詞情報が付加されたコーパスに基づく確率的手法を用いて行うこととする。
さらに好ましくは、処理対象である文章を入力してレイアウトを解析し、得られたレイアウト情報をメモリに格納するステップをさらに含むこととする。そして、このレイアウト情報に基づいて、通常のパラグラフを構成する文章を処理対象として品詞推定及びその推定結果に基づく文切り処理を行う。ここで、通常のパラグラフとは、表題やリスト項目のような特別のレイアウトで用いられる文ではない、文書の内容（本文）を記述する一般的なパラグラフを意味する。
【００１４】
さらにまた、本発明は、自然言語処理に伴う自然言語で記述された文章を１文ごとに切る文切り処理を行う文切り処理装置において、予め辞書情報を格納した辞書記憶部と、処理対象として入力された文章に対し、辞書情報に基づいて文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断して、単独で使用されているピリオドで文切りすると共に、文章を構成する単語の品詞推定を行い、その推定結果に基づいて文章中のピリオドを含む単語の前後における主動詞の有無を判断して、このピリオドを含む単語の前後に共に主動詞がある場合にこの単語に含まれるピリオドで文切りを行う文切り処理部とを備えることを特徴とする。
ここで、文切り処理部は、辞書情報に基づいて、ピリオドを含む単語が文末に現れることのない単語である場合に、この単語の前後における主動詞の有無に関わらず、この単語に含まれるピリオドでは文切りを行わないとすることができる。
【００１５】
また、本発明は文切り処理として上述した品詞推定を用いた文切り処理を含む処理を実行する機械翻訳装置として実現することができる。すなわち、この機械翻訳装置は、処理対象である文章の入力を受け付ける入力部と、入力された文章を文切りする文切り処理部と、文切りされた文章を用いて、１文ごとに翻訳を行う翻訳処理部と、翻訳結果を出力する出力部とを備える。そして、この文切り処理部は、文章中のピリオドが単独で使用されているピリオドか単語に含まれるピリオドかを判断して、単独で使用されているピリオドで文切りすると共に、文章を構成する単語の品詞推定を行い、その推定結果に基づいて文章中のピリオドを含む単語の前後における主動詞の有無を判断して、このピリオドを含む単語の前後に共に主動詞がある場合にこの単語に含まれるピリオドで文切りすることを特徴とする。
【００１６】
さらにまた、本発明は、上述したコンピュータにて文切り方法を実行し、あるいはコンピュータを上述した文切り処理装置や機械翻訳装置として動作させるプログラムとして実現することができる。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に記録して配布したり、ネットワークを介して配信したりすることにより提供することができる。
【００１７】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて、この発明を詳細に説明する。
今日、機械翻訳などで行われる自然言語処理では、計算機の能力や記憶容量の飛躍的な向上を背景として、膨大な言語データ（コーパス）から言語モデルを構築して応用する、確率・統計的なアプローチが盛んになってきている。本発明は、この確率・統計的なアプローチにより文を構成する単語の品詞を推定する確率的品詞推定を文切り処理に応用する。
なお、本発明は、機械翻訳の他、要約の作成など、自然言語解析を要する種々の処理に対して適用できるものであるが、本実施の形態では、機械翻訳の初期に行われる文切り処理を例として説明する。
【００１８】
図１は、本実施の形態の機械翻訳システムを実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
図１に示すコンピュータ装置は、ＣＰＵ（中央処理装置）１０１と、Ｍ／Ｂ（マザーボード）チップセット１０２及びＣＰＵバスを介してＣＰＵ１０１に接続されたメインメモリ１０３と、同じくＭ／Ｂチップセット１０２及びＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ  Ｇｒａｐｈｉｃｓ  Ｐｏｒｔ）を介してＣＰＵ１０１に接続されたビデオカード１０４と、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどの高速なバスを介してＭ／Ｂチップセット１０２に接続されたハードディスク１０５及びネットワークインターフェイス１０６と、さらにこの高速なバスからブリッジ回路１０７及びＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バスなどの低速なバスを介してＭ／Ｂチップセット１０２に接続されたフロッピーディスクドライブ１０８及びキーボード／マウス１０９とを備える。
なお、図１は本実施の形態を実現するコンピュータ装置の構成を例示するに過ぎず、本実施の形態を適用可能であれば、他の種々のシステム構成を取ることができる。例えば、ビデオカード１０４を設ける代わりに、ビデオメモリのみを搭載し、ＣＰＵ１０１にてイメージデータを処理する構成としても良いし、音声による入出力を行うためのサウンド機構を設けたり、ＡＴＡ（ＡＴ  Ａｔｔａｃｈｍｅｎｔ）などのインターフェイスを介してＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）のドライブを設けたりしても良い。
【００１９】
図２は、図１に示したコンピュータ装置にて実現される本実施の形態による機械翻訳システムの構成を示す図である。
図２を参照すると、本実施の形態の機械翻訳システムは、処理対象である自然言語で記述された文章を入力する入力部１０と、入力された文章を文切り処理する文切り処理部２０と、文切りされた文章を翻訳する翻訳処理部３０と、翻訳結果を出力する出力部４０と、文切り処理部２０及び翻訳処理部３０の処理において利用される辞書記憶部５０とを備える。
上記構成のうち、入力部１０、文切り処理部２０、翻訳処理部３０及び出力部４０は、図１に示したメインメモリ１０３に展開されたプログラムにより制御されたＣＰＵ１０１にて実現される仮想的なソフトウェアブロックである。ＣＰＵ１０１を制御してこれらの機能を実現させる当該プログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより提供することができる。本実施の形態では、図１に示したネットワークインターフェイス１０６やフロッピーディスクドライブ１０８、図示しないＣＤ−ＲＯＭドライブなどを介して当該プログラムを入力し、ハードディスク１０５に格納する。そして、ハードディスク１０５に格納されたプログラムをメインメモリ１０３に読み込んで展開し、ＣＰＵ１０１にて実行することにより、上記各項生要素の機能を実現する。
また、辞書記憶部５０は、図１に示したハードディスク１０５やメインメモリ１０３にて実現され、文切り処理部２０及び翻訳処理部３０の処理において参照される辞書を格納する。図示の例では、ユーザ辞書５１、システム基本辞書５２、分野別辞書５３が格納されている。
【００２０】
本実施の形態の機械翻訳システムを構成する入力部１０は、処理対象である文章を入力する。本実施の形態では、処理対象は英語で記述された文章とする。処理対象である文章の入力は、図１に示したハードディスク１０５等の記憶装置に予め格納されていた文章を読み出したり、ネットワークインターフェイス１０６を介してインターネット等のネットワークから取得したり、キーボード／マウス１０９等の入力デバイスを用いたりすることにより実行される。入力された文章（以下、入力文章と称す）は、図１に示すＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納される。
【００２１】
文切り処理部２０は、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納されている入力文章を読み出して１文ごとに切る。文の切り出しには、辞書記憶部５０に格納されている辞書５１、５２、５３が適宜参照される。また、本実施の形態では、文の切り出しに確率的品詞推定を用いる。この確率的品詞推定を用いた文の切り出し処理の詳細については後述する。１文ごとに切り出された入力文章は、図１に示すＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納される。
【００２２】
翻訳処理部３０は、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納されている文切りされた入力文章を読み出して、１文ずつ翻訳する。翻訳には、辞書記憶部５０に格納されている辞書５１、５２、５３が適宜参照される。また、本実施の形態では、翻訳処理部３０による翻訳処理の手法としては、従来の機械翻訳システムで用いられている種々の手法を適用することができる。
【００２３】
出力部４０は、翻訳処理部３０による翻訳結果を出力する。翻訳結果の出力は、一般的には、図１に示したビデオカード１０４を介してディスプレイ装置に表示することにより行うが、プリンタにてプリントアウトしても良いし、ネットワークインターフェイス１０６を介して他のコンピュータシステムに送信しても良い。また、ハードディスク１０５などのファイルに保存しても良い。
【００２４】
次に、文切り処理部２０による本実施の形態の文切り処理について詳細に説明する。
図３は、文切り処理部２０の機能構成を示す図である。
図３を参照すると、文切り処理部２０は、入力文章のレイアウトを解析するレイアウト解析部２１と、通常の文切り処理を行う通常処理部２２と、確率的品詞推定を用いた文切り処理を行う品詞推定文切り処理部２３とを備える。
【００２５】
レイアウト解析部２１は、入力文章のレイアウトを解析し、パラグラフの種類などを示すレイアウト情報を抽出する。レイアウト解析は、例えば、入力文章がＨＴＭＬなどのマークアップ言語であれば、マーク（タグ）を解析することにより行うことができる。また、入力文章が独自のレイアウト情報を持つアプリケーションソフトウェアの文書データであれば、当該アプリケーションソフトウェア独自のレイアウト情報を解析することにより行うことができる。さらに、入力文章が特別なレイアウト情報を持たないプレーンテキストである場合、改行や空白、タブなどの有無によりレイアウトを推定し、レイアウト情報を抽出することができる。
【００２６】
通常処理部２２は、入力文章に対して従来から行われている通常の文切り処理を行う。すなわち、辞書情報を参照して文中のピリオドがピリオド語によるものか単独で用いられているものかを判断し、単独で用いられているピリオドに関して、当該ピリオドで文を切る。また、「Ｍｒ．」のような文末に現れることがないピリオド語では文を切らない。
【００２７】
品詞推定文切り処理部２３は、通常処理部２２において処理できない場合、すなわち、文末にも文の途中にも現れ得るピリオド語について、確率的品詞推定を用いた文切り処理を実行する。以下、確率的品詞推定を用いた文切り処理を説明する。
【００２８】
まず、本実施の形態で用いる確率的品詞推定について説明する。
品詞推定（品詞タグ付け）は、形態素解析等において文中の各単語の品詞を推定し、当該単語に情報を付する（タグを付ける）処理である。この品詞を推定するための尺度としては、次の２つがある。
・単語が取り得る複数の品詞のうち、どれが一番もっともらしい品詞であるか。例えば、「ｂｒｅａｋｆａｓｔ」は多くの場合名詞として使われ、動詞の読みは非常に少ない。
・品詞の並びに対する優先度。例えば、「ｔｈｅ」の後に動詞とも名詞とも解釈できる単語がある場合、名詞の解釈が優先される。
【００２９】
ここで、この品詞の推定を、確率的手法を用いて行うことができる。すなわち、文中の各単語について、品詞情報の付加されたコーパスを参照し、用法の出現率にしたがって上記の判断を行い、最も確率の高い品詞列を求める手法である。
図５は、この確率的品詞推定の例を示す図である。
図５に示す例では、「Ｔｉｍｅ  ｆｌｉｅｓ  ｌｉｋｅ  ａｎ  ａｒｒｏｗ」という文における単語の品詞を推定しており、「Ｔｉｍｅ」を名詞、「ｆｌｉｅｓ」を動詞、「ｌｉｋｅ」を前置詞、「ａｎ」を冠詞、「ａｒｒｏｗ」を名詞と解釈する推定結果（図の太線及び太字で示した品詞列）を示している。なお、品詞を推定するための手法としては、ルールベースを用いた手法や、決定木を利用した手法、隠れマルコフモデルなど、既存のさまざまな言語モデルや手法を用いることができる。
【００３０】
次に、上記確率的品詞推定の文切り処理への応用について説明する。
一般の文では、名詞句がそのまま１文になっている場合もあり、文の構造はさまざまである。しかし、名詞句がそのまま１文になるのは表題やリスト項目である場合が多く、普通のパラグラフ中の文では極めて少ない。特に、ピリオド語で文切りするかどうかの判断に迷う場合、その一方が名詞句の１文であることはほとんど考えられない。そのため、２文に分割すべき場合は、ピリオドの前後の文はそれぞれ主動詞を持っていると考えることができる。
したがって、２文に分割するかどうかの判断は、その位置の前方と後方に主動詞となるべきものがあるかどうかに基づいて決定できることになる。すなわち、ピリオド語の前後の一方にしか主動詞がない場合は当該ピリオド語で文を切らず、ピリオド語の前後両方に主動詞がある場合は当該ピリオド語で文を切る。例えば、上述した
Ｊａｐａｎｅｓｅ  Ｐｒｉｍｅ  Ｍｉｎｉｓｔｅｒ  Ｊｕｎｉｃｈｉｒｏ  Ｋｏｉｚｕｍｉ  ｗｅｎｔ  ｔｏ  Ｕ．Ｓ．  Ｐｒｅｓｉｄｅｎｔ  Ｂｕｓｈ  ｗｅｌｃｏｍｅｄ  ｈｉｍ．
という文では、「Ｕ．Ｓ．」の前に動詞「ｗｅｎｔ」があり、後ろに動詞「ｗｅｌｃｏｍｅｄ」があるので、「Ｕ．Ｓ．」で文を切るべきであることがわかる。
一般に、英単語は多品詞語が多いが、品詞推定処理によって各単語の品詞が推定できれば、これを利用することで原則的には主動詞を推定することができる。
【００３１】
しかしながら、従属接続詞や関係代名詞によって複文が構成される場合、１つの文中に主動詞の他に従属節における動詞が存在するので、単に動詞を捜すだけではそれが主動詞であるかどうかは不明である。例えば、
……  ｉｔ  ｗｏｕｌｄ  ｂｅ  ｍｕｃｈ  ｂｅｔｔｅｒ  ｉｆ  ｔｈｅ  Ｕ．Ｓ．  Ｔｒａｆｆｉｃ  Ｏｆｆｉｃｅ  ｗａｓ  ａｌｌｏｗｅｄ  ｔｏ  ……
のような文において、「Ｕ．Ｓ．  Ｔｒａｆｆｉｃ  Ｏｆｆｉｃｅ」は、ｉｆ以下の従属節中にある。しかし、単純にピリオドの前後で動詞を捜しただけでは、前方にはｂｅがあり、後方にはｗａｓがあるため、これらを主動詞であると誤って判断し、「Ｕ．Ｓ．」のピリオドで文切りしてしまうことになる。
【００３２】
このような誤処理を回避するため、本実施の形態では、さらに次のような個別のアルゴリズムを適用する。
１．ピリオド語の直後が冠詞または代名詞の場合は、前後の動詞に関わらず文切りする。例えば、「……  ｆｒｏｍ  Ｌ．Ａ．  Ｗｅ  ｗａｎｔ  ……」の場合、「Ｌ．Ａ．」の直後に代名詞「Ｗｅ」があるので、「Ｌ．Ａ．」の直後で文を切る。
２．ピリオド語の前方に従属接続詞か関係代名詞がある場合には、そこまでで動詞の探索を打ち切る。例えば、「……  ｉｔ  ｗｏｕｌｄ  ｂｅ  ｍｕｃｈ  ｂｅｔｔｅｒ  ｉｆ  ｔｈｅ  Ｕ．Ｓ．  Ｔｒａｆｆｉｃ  Ｏｆｆｉｃｅ  ｗａｓ  ……」の場合、「Ｕ．Ｓ．」の前方を見ると、従属接続詞「ｉｆ」があるので、そこで動詞の探索を打ち切る。したがって、動詞「ｂｅ」は検出されないため、「Ｕ．Ｓ．」では文を切らない。
３．ピリオド語の後方に従属接続詞か関係代名詞がある場合には、文の入れ子構造におけるネストレベルを＋１し、動詞が出てきたらネストレベルを−１する。そして、ネストレベルが０の時の動詞を主動詞とみなす。例えば、「……  ｍｅｅｔ  Ｄｅｍｏｃｒａｔｉｃ  Ｕ．Ｓ．  Ｓｅｎａｔｅ  ｃａｎｄｉｄａｔｅｓ  ｗｈｏ  ａｒｅ  ｙｏｕｎｇ．」の場合、「Ｕ．Ｓ．」の後方に関係代名詞「ｗｈｏ」があるので、ネストレベルを＋１する。そして、その後の動詞「ａｒｅ」でネストレベルを−１し、０に戻す。したがって、動詞「ａｒｅ」自体はネストレベルが＋１の時の動詞であるので主動詞とはみなさず、このため「Ｕ．Ｓ．」では文を切らない。
４．ピリオド語の後方において、「ａｎｄ」の直後の動詞は主動詞とみなさない。例えば、「Ｉｔ  ｉｓ  ｔｈｅ  ｊｏｂ  ｏｆ  Ｕ．Ｓ．  Ｔｒａｆｆｉｃ  Ｏｆｆｉｃｅ  ｔｏ  ｇａｔｈｅｒ  ｔｒａｆｆｉｃ  ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  ｐｒｏｖｉｄｅ  ……」の場合、「Ｕ．Ｓ．」の後方において「ａｎｄ」の直後に動詞「ｐｒｏｖｉｄｅ」があるが、これは主動詞とみなさない（なお、「ｇａｔｈｅｒ」は直前に「ｔｏ」があり、ｔｏ不定詞であることが明瞭なので、これも主動詞ではない）。したがって、「Ｕ．Ｓ．」の前方の動詞「ｉｓ」のみが主動詞と判定されるため、「Ｕ．Ｓ．」では文を切らない。
【００３３】
これらのアルゴリズムを用いると、上述した
……  ｉｔ  ｗｏｕｌｄ  ｂｅ  ｍｕｃｈ  ｂｅｔｔｅｒ  ｉｆ  ｔｈｅ  Ｕ．Ｓ．  Ｔｒａｆｆｉｃ  Ｏｆｆｉｃｅ  ｗａｓ  ａｌｌｏｗｅｄ  ｔｏ  ……
という文では、「Ｕ．Ｓ．」の前方に従属接続詞「ｉｆ」があるので、上記第２のアルゴリズムが適用され、「Ｕ．Ｓ．」で文を切らないこととなる。
以上の４つのアルゴリズムは、各々独立であり、適用する順番は任意である。また、必ずしも４つ全てを適用しなくても良い。ただし、上記のようなアルゴリズムを補足的に用いることにより、文を切るかどうかの判定の精度を向上させることができる。
なお、現在進行、現在完了、受動態などの場合は、「ｂｅ」や「ｈａｖｅ」を主動詞として扱うこととし、動詞のｉｎｇ／ｅｄ形は主動詞としないものとする。
【００３４】
図４は、文切り処理部２０による文切り処理の手順を説明するフローチャートである。なお、図４に示す動作例では、入力文章をＨＴＭＬまたはプレーンテキスト（図では単にテキストと表記）とするが、上述したように、所定のアプリケーションソフトウェアの文書データなど、種々のテキストデータに対して適用可能であることは言うまでもない。
文切り処理部２０は、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納されている入力文章を読み出し（ステップ４０１）、まず、レイアウト解析部２１により、入力文章のレイアウトを解析する。すなわち、入力文章がプレーンテキストであれば、改行などの有無に基づいてレイアウトを解析し（ステップ４０２、４０３）、入力文章がＨＴＭＬであれば、タグの解析により入力文章のレイアウトを解析する（ステップ４０２、４０４）。レイアウト解析により得られたレイアウト情報は、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納される。
【００３５】
次に、レイアウト解析された入力文章を対象として通常処理部２２及び品詞推定文切り処理部２３により文切り処理が行われる。文切り処理は、入力文章の先頭からパラグラフごとに順次行われるものとする。
通常処理部２２は、まず、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３からレイアウト解析により得られたレイアウト情報を読み出し、当該レイアウト情報に基づいて、着目中のパラグラフが通常のパラグラフか否かを判断する（ステップ４０５）。そして、通常のパラグラフである場合、単独で用いられているピリオド及び文末に現れないピリオド語を識別して通常の文切り処理を行う（ステップ４０６）。文切りされた入力文章はＣＰＵ１０１のキャッシュメモリやメインメモリ１０３に格納される。
次に、品詞推定文切り処理部２３が、通常処理部２２にて文切りされた入力文章を、ＣＰＵ１０１のキャッシュメモリやメインメモリ１０３から読み出し、文末及び文の途中のいずれにも現れ得るピリオド語に関し、上述した確率的品詞推定を用いて当該ピリオド語が文末にあるか否かを判定する。このとき、上述したように、４つの個別のアルゴリズムを用いた判定を行うこともできる。そして、判定結果に応じて文切り処理を行い（ステップ４０７）、処理結果である文切りされた入力文章を出力する（ステップ４０９）。
【００３６】
また、ステップ４０５において通常のパラグラフでないと判定された場合、通常処理部２２による通常の文切り処理を行った後（ステップ４０８）、品詞推定文切り処理部２３による処理を行わずに処理結果である文切りされた入力文章を出力する（ステップ４０９）。
【００３７】
次に、本実施の形態による文切り処理の実行例を示す。
この実行例では、品詞推定（品詞タグ付け）のための確率モデルとして、隠れマルコフモデル（ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ）に基づく品詞推定を実装した。隠れマルコフモデルは、確率的な状態遷移と確率的な記号出力を備えたオートマトンであり、そのモデルのパラメータはタグ付きコーパス（品詞情報の付与されたコーパス）から計算して求めることができる。モデルのパラメータが求まれば、ビタビ・アルゴリズム（Ｖｉｔｅｒｂｉ  ａｌｇｏｒｉｔｈｍ）で任意の入力単語列に対して最も確率の高い品詞列を求めることができる。なお、隠れマルコフモデルについては、例えば、下記文献に詳細に記載されている。
文献：Ｃｕｔｔｉｎｇ，  Ｄ．，  Ｋｕｐｉｅｃ，  Ｊ．，  Ｐｅｄｅｒｓｅｎ，  Ｊ．，  ａｎｄ  Ｓｉｂｕｎ，  Ｐ．，  Ａ  Ｐｒａｃｔｉｃａｌ  Ｐａｒｔ−ｏｆ−Ｓｐｅｅｃｈ  Ｔａｇｇｅｒ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｔｈｉｒｄ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ＡｐｐｌｉｅｄＮａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｔｒｅｎｔｏ，  Ｉｔａｌｙ  （Ａｐｒｉｌ  １９９２）
【００３８】
文を切るべき場合及び切るべきでない場合の両方があり得るピリオド語を含む例文１７９例（２文に切るべき例：３０、１文に繋げるべき例：１４９）に対し、本実施の形態を適用した。
図６は、処理結果を示す図表である。同図において、処理１は、確率的品詞推定を用い、さらに上述した４つのアルゴリズムを適用した場合の実行結果を示し、処理２は、確率的品詞推定のみを適用した場合の実行結果を示す。また、比較対照として記載した従来手法は、文末にも文の途中にも現れ得るピリオド語で常に文切りする処理である。
【００３９】
図６を参照すると、処理１では、２文に切るべき例文を全て正解し、１文とするべき例文を１４９文中１３６文で正解している。また、処理２では、２文に切るべき例文を３０文中２７文で正解し、１文とするべき例文を１４９文中１２７文で正解している。従来手法では、文末にも文の途中にも現れ得るピリオド語で常に文切りするので、２文に切るべき例文では全て正解しているが、１文とするべき例文では全て処理を誤っている。
これらの処理結果を比較すると、確率的品詞推定を用いる本実施の形態は、従来手法に比べて大幅に精度が向上していることがわかる。また、処理１、２を比較すれば、上記４つのアルゴリズムを適用する方がさらに精度を向上させ得ることがわかる。
【００４０】
以上、機械翻訳の初期的な処理として実行される文切り処理を例として本実施の形態を説明したが、上記のように、本実施の形態は文切り処理のみに関するものであるため、機械翻訳以外にも要約の作成など種々の自然言語処理に対してそのまま適用することが可能である。
また、通常の自然言語処理において、処理全体に要する時間に対する形態素解析に要する時間の割合が非常に小さいことから、初期段階の文切り処理において品詞推定を行っても顕著な処理の遅延をもたらすことはなく、十分に現実的であると言える。
【００４１】
また、上記の例では入力文章が英語で記述されており、文中のピリオドで文を切るべきかどうかを判定するために品詞推定を行う例について述べたが、ドイツ語やフランス語など英語以外の言語においても、文中のピリオドで文を切るべきかどうかを判定するために本実施の形態の手法を用いることができることは言うまでもない。
さらに、一般的に種々の自然言語による文章に対して文切り処理を行う場合であって、単なる辞書との照合のみでは文を切るべきか否か判断できない場合に、上述した品詞推定の結果を判断材料に加えて文切り処理を行うことで、精度の向上を期待することができる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、処理対象である文中の単語の品詞を推定することにより、精度の高い文切り処理を実現することができる。
【図面の簡単な説明】
【図１】本実施の形態の機械翻訳システムを実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
【図２】図１に示したコンピュータ装置にて実現される本実施の形態による機械翻訳システムの構成を示す図である。
【図３】本実施の形態における文切り処理部の機能構成を示す図である。
【図４】本実施の形態の文切り処理部による文切り処理の手順を説明するフローチャートである。
【図５】確率的品詞推定の例を示す図である。
【図６】本実施の形態による所定の例文に対する実行例の処理結果を示す図表である。
【符号の説明】
１０…入力部、２０…文切り処理部、２１…レイアウト解析部、２２…通常処理部、２３…品詞推定文切り処理部、３０…翻訳処理部、４０…出力部、５０…辞書記憶部、５１…ユーザ辞書、５２…システム基本辞書、５３…分野別辞書、１０１…ＣＰＵ（中央処理装置）、１０２…Ｍ／Ｂ（マザーボード）チップセット、１０３…メインメモリ、１０４…ビデオカード、１０５…ハードディスク、１０６…ネットワークインターフェイス、１０８…フロッピーディスクドライブ、１０９…キーボード／マウス
【図１】
0003557605.tif 000002
【図２】
0003557605.tif 000003
【図３】
0003557605.tif 000004
【図４】
0003557605.tif 000005
【図５】
0003557605.tif 000006
【図６】
0003557605.tif 000007