(57)【要約】【課題】  文書タイトルを自動的にかつ精度よく抽出するタイトル抽出装置を提供する。【解決手段】  文書タイトル抽出装置は、文書入力部３０から入力されたテキスト文書から複数のタイトル候補文を抽出するタイトル候補文抽出部３２と、抽出された複数のタイトル候補文の各々の特徴量を抽出する特徴量抽出部３４と、抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定するタイトル判定部３６と、抽出結果を出力する出力部３８とを含む。特徴量は、少なくともタイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含んでいる。【選択図】  図２
2007122403.tif 000002
【特許請求の範囲】
【請求項１】
文書から複数のタイトル候補文を抽出するタイトル候補文抽出手段と、
抽出された複数のタイトル候補文の各々の特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定する判定手段と、
判定結果を出力する出力手段とを含み、
前記特徴量は、少なくとも、タイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含む、文書タイトル抽出装置。
【請求項２】
前記類似度情報は、タイトル候補文と文書中の複数の文との類似度の度合いを表す順位情報を含む、請求項１に記載の文書タイトル抽出装置。
【請求項３】
前記類似度情報は、タイトル候補文から選択されるサブ文字列のベクトル情報と文書中の文から選択されたサブ文字列のベクトル情報とを用いて算出される、請求項１または２に記載の文書タイトル抽出装置。
【請求項４】
前記ベクトル情報は、タイトル候補文から選択されたＮ（Ｎは２以上の自然数）グラムの出現頻度と、文書中の文から選択されたＮグラムの出現頻度に基づき算出される、請求項１ないし３いずれか１つに記載の文書タイトル抽出装置。
【請求項５】
前記Ｎグラムの出現頻度に基づきベクトル情報を算出するとき、予め定められた使用禁止用のＮグラムが含まれている場合には、当該ベクトル情報を修正する、請求項４に記載の文書タイトル抽出装置。
【請求項６】
前記類似度情報は、タイトル候補文と文書中の文の編集距離により算出される、請求項１に記載の文書タイトル抽出装置。
【請求項７】
前記類似度情報は、タイトル候補文と文書中の文の最大共通文字列の長さにより算出される、請求項１に記載の文書タイトル抽出装置。
【請求項８】
前記特徴量は、タイトル候補文に、予め定められたタイトルキーワードが含まれている場合に、そのキーワードの位置と出現頻度を示すタイトルキーワード情報を含む、請求項１に記載の文書タイトル抽出装置。
【請求項９】
前記特徴量は、タイトル候補文に、予め定められた使用禁止用タイトルキーワードが含まれている場合に、その使用禁止用タイトルキーワードの位置と出現頻度を示す使用禁止用タイトルキーワード情報を含む、請求項１に記載の文書タイトル抽出装置。
【請求項１０】
前記判定手段は、各タイトル候補文の特徴量をＳＶＭにより分類し、分類結果から最適なタイトル候補文を抽出する、請求項１に記載の文書タイトル抽出装置。
【請求項１１】
前記出力手段は、判定されたタイトル文と関連情報を出力する、請求項１に記載の文書タイトル抽出装置。
【請求項１２】
文書タイトル抽出装置はさらに、画像文書を入力する入力手段と、入力された画像文書からテキスト文書を抽出するテキスト文書抽出手段とを含み、タイトル候補文抽出手段は、抽出されたテキスト文書からタイトル候補文を抽出する、請求項１に記載の文書タイトル抽出装置。
【請求項１３】
前記タイトル候補文抽出手段は、テキスト文書の先頭から一定の候補対象範囲においてタイトル候補文を抽出する、請求項１２に記載の文書タイトル抽出装置。
【請求項１４】
文書タイトル抽出装置はさらに、画像文書からレイアウト情報を抽出する手段を含み、前記特徴量は、抽出されたレイアウト情報を含む、請求項１３に記載の文書タイトル抽出装置。
【請求項１５】
文書からタイトルを抽出する方法であって、
文書から複数のタイトル候補文を抽出するステップと、
タイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含む特徴量を、すべてのタイトル候補文について抽出するステップと、
抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定するステップと、
判定結果を出力するステップとを含む、文書タイトル抽出方法。
【請求項１６】
前記類似度情報は、タイトル候補文と文書中の複数の文との類似度の度合いを表す順位情報を含む、請求項１５に記載の文書タイトル抽出方法。
【請求項１７】
前記類似度情報は、タイトル候補文から選択されるサブ文字列のベクトル情報と文書中の文から選択されたサブ文字列のベクトル情報とを用いて算出される、請求項１５または１６に記載の文書タイトル抽出方法。
【請求項１８】
前記ベクトル情報は、タイトル候補文から選択されたＮ（Ｎは２以上の自然数）グラムの出現頻度と、文書中の文から選択されたＮグラムの出現頻度に基づき算出される、請求項１５ないし１７いずれか１つに記載の文書タイトル抽出方法。
【請求項１９】
前記Ｎグラムの出現頻度に基づきベクトル情報を算出するとき、予め定められた使用禁止用のＮグラムが含まれている場合には、当該ベクトル情報を修正する、請求項１８に記載の文書タイトル抽出方法。
【請求項２０】
前記類似度情報は、タイトル候補文と文書中の文の編集距離により算出される、請求項１５に記載の文書タイトル抽出方法。
【請求項２１】
前記類似度情報は、タイトル候補文と文書中の文の最大共通文字列の長さにより算出される、請求項１５に記載の文書タイトル抽出方法。
【請求項２２】
前記特徴量は、タイトル候補文に、予め定められたタイトルキーワードが含まれている場合に、そのキーワードの位置と出現頻度を示すタイトルキーワード情報を含む、請求項１５に記載の文書タイトル抽出方法。
【請求項２３】
前記特徴量は、タイトル候補文に、予め定められた使用禁止用タイトルキーワードが含まれている場合に、その使用禁止用タイトルキーワードの位置と出現頻度を示す使用禁止用タイトルキーワード情報を含む、請求項１５に記載の文書タイトル抽出方法。
【請求項２４】
文書からタイトルを抽出するプログラムであって、
文書から複数のタイトル候補文を抽出するステップと、
タイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含む特徴量を、すべてのタイトル候補文について抽出するステップと、
抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定するステップと、
判定結果を出力するステップとを含む、文書タイトル抽出プログラム。
【請求項２５】
前記類似度情報は、タイトル候補文から選択されたＮ（Ｎは２以上の自然数）グラムの出現頻度と、文書中の文から選択されたＮグラムの出現頻度を用いて算出される、請求項２４に記載の文書タイトル抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナ等により読取られた文書から、文書タイトルを自動的に抽出する文書タイトル抽出装置に関する。
【背景技術】
【０００２】
紙原稿の一般文書を光学式スキャナ等により読み込み、電子化された画像データから、文書タイトルを抽出する装置が実用化されつつある。例えば特許文献１は、文書を画像データに変換して得られる文書画像から容易にタイトル部分を抽出するタイトル抽出装置に関し、これによれば、文書画像内の黒画素が連結している領域に外接する矩形領域を文字矩形として抽出し、さらに、隣接する複数の文字矩形を統合して、それらの文字矩形に外接する矩形領域を文字列矩形として抽出し、次に、各文字列矩形の下線属性、枠付き属性、罫線属性等の属性と、文書画像内の文字列矩形の位置や相互の位置関係とに基づいてタイトルらしさのポイント計算を行い、高ポイントを獲得した文字列矩形をタイトル矩形として抽出するものである。
【０００３】
特許文献２は、文書画像から切り出された文字列矩形に対し、この文字列矩形内の文字コードの識別を行い、文字コード識別の確信度、自然言語的タイトルらしさを解析する自然言語解析手段、語尾の統計情報、センタリング・下線・特定のフォント、文字矩形の大きさなどの手法によりタイトルを抽出するタイトル抽出装置に関する。
【０００４】
非特許文献１は、正規表現パターンを用いて技術論文の住所、都市名、URL、時間を抽出可能とし、論文開始部分に抽出されない部分を著者とタイトルとして抽出する技術を開示している。
【０００５】
非特許文献２は、文章開始部分を対象に、言語特徴（単語数、行の位置、単語と非単語の比率、首文字が大文字と小文字の比率、数字の比率）などを文の特徴量とし、ＳＶＭを利用してタイトルを判定する技術を開示している。
【０００６】
【特許文献１】特開平９−１３４４０６号
【特許文献２】特開２０００−１４８７８８
【非特許文献１】E Berkowitz, M Elkhadiri, T Sahouri and M Abraham. 2004. Intelligent Content Based Title and Author Name Extraction from Formatted Documents. Proceedings Fifteenth Midwest Artificial Intelligence and Cognitive Science Conference. age 119-124.
【非特許文献２】Hui Han, C Giles, E Manavoglu, Hongyuan Zha, Zhenyue Zhang and E Fox. 2003. Automatic Document Metadata Extraction using Support Vector Machines. ACM/IEEE Joint Conference on Digital Libraries. Page 37-48.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のタイトル抽出装置は、非定型文書に対して行領域のレイアウト的特徴を用いてタイトル抽出を行っているので、抽出率が十分でないとうい課題がある。特許文献２は、幾つかのタイトルの属性を用いてタイトルを判定しているが、複数の短い文字列矩形を持つ文書に対して、タイトル属性を持っている短い文字列矩形が多いので、誤判定しやすいという問題がある。
【０００８】
また、非特許文献１や非特許文献２に開示される技術は、文書の構造に依存しているため、技術論文以外の文書に適用し難く、また，文書の開始情報が少ない場合には、正しいタイトルの抽出ができなくなるという課題がある。
【０００９】
本発明は、上記従来の課題を解決するものであり、必ずしも文書のレイアウトと内容範囲に依存しない、言語知識を十分に活用し、タイトル候補文の長さ、候補文と他の文の類似度の順位、著者、組織名、タイトルキーワード、候補文と著者の距離、タイトル禁用キーワード、郵便番号、記号などの情報をタイトル候補文の特徴量とし、この特徴量を分類装置(例えば、ＳＶＭ)を利用してタイトルであるかどうかを判定することにより、タイトル独自の属性を最大限に利用し、柔軟な判定方式で文書タイトルおよびその関連情報を高精度に抽出することができるタイトル抽出装置、抽出方法、抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る文書タイトル抽出装置は、文書から複数のタイトル候補文を抽出するタイトル候補文抽出手段と、抽出された複数のタイトル候補文の各々の特徴量を抽出する特徴量抽出手段と、抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定する判定手段と、判定結果を出力する出力手段とを含み、特徴量は、少なくともタイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含んでいる。
【００１１】
好ましくは、類似度情報は、タイトル候補文と文書中の複数の文との類似度の度合いを表す順位情報を含む。類似度情報は、タイトル候補文から選択されるサブ文字列のベクトル情報と文書中の文から選択されたサブ文字列のベクトル情報とを用いて算出される。ベクトル情報は、タイトル候補文から選択さられたＮ（Ｎは２以上の自然数）グラムの出現頻度と、文書中の文から選択されたＮグラムの出現頻度に基づき算出される。このような類似度情報を用いることで、形態素解析を用いることなく、言語情報を活用した、高精度な文書タイトルの抽出および判定を行うことができる。
【００１２】
さらに、Ｎグラムの出現頻度に基づきベクトル情報を算出するとき、予め定められた使用禁止用のＮグラムが含まれている場合には、当該ベクトル情報を修正する。タイトルになり得ない文字列、あるいはタイトルになる可能性が低い文字列を除外することで、文書タイトルの判定および抽出精度を向上させることができる。
【００１３】
また、類似度情報は、タイトル候補文と文書中の文の編集距離により算出されるようにしてもよいし、タイトル候補文と文書中の文の最大共通文字列の長さにより算出されるようにしてもよい。
【００１４】
さらに特徴量は、タイトル候補文に、予め定められたタイトルキーワードが含まれている場合に、そのキーワードの位置と出現頻度を示すタイトルキーワード情報を含ませたり、タイトル候補文に、予め定められた使用禁止用タイトルキーワードが含まれている場合に、その使用禁止用タイトルキーワードの位置と出現頻度を示す使用禁止用タイトルキーワード情報を含ませるようにしてもよい。これにより、タイトル候補文の特徴量に種々の特徴を含ませ、タイトルの判定精度を向上させることができる。
【００１５】
文書タイトルを判定する判定手段は、タイトル候補文の特徴量に基づき、最適なタイトル候補文を抽出する。好ましくは、ＳＶＭ（サポートベクトルマシン）により特徴量を分類し、判定を行う。出力手段は、例えば、ディスプレイ等の表示装置を含み、判定されたタイトル文と関連情報を出力する。関連情報は、著者や組織名等である。
【００１６】
文書タイトル抽出装置はさらに、画像文書を入力する入力手段と、入力された画像文書からテキスト文書を抽出するテキスト文書抽出手段とを含み、タイトル候補文抽出手段は、抽出されたテキスト文書からタイトル候補文を抽出するものであってもよい。画像文書を入力する入力手段は、画像文書を光学的に読取るスキャナを含み、スキャナにより読取られた画像文書データから、ＯＣＲ等によりテキストデータを抽出する。好ましくは、タイトル候補文抽出手段は、テキスト文書の先頭から一定の候補対象範囲においてタイトル候補文を抽出する。おおよそ、タイトルとなり得るような文書は、先頭部分に含まれていることが多いからである。
【００１７】
特徴量は、入力された画像文書から得られたレイアウト情報を含むものであってもよい。これらの情報を利用することで、文書タイトルの判定精度が向上する。
【００１８】
本発明に係る文書からタイトルを抽出する方法は、文書から複数のタイトル候補文を抽出するステップと、タイトル候補文と文書中の複数の文との類似度情報を含む特徴量をすべてのタイトル候補文について抽出するステップと、抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定するステップと、判定結果を出力するステップとを含む。さらに本発明に係る文書からタイトルを抽出するプログラムは、文書から複数のタイトル候補文を抽出するステップと、タイトル候補文と文書中の複数の文との類似度情報を含む特徴量をすべてのタイトル候補文について抽出するステップと、抽出された特徴量に基づき複数のタイトル候補文の中から文書タイトルを判定するステップと、判定結果を出力するステップとを含む。
【発明の効果】
【００１９】
本発明に係る文書タイトル抽出装置によれば、タイトル候補文の各々の特徴量を抽出し、当該特徴量が、タイトル候補文と文書中の複数の文との類似度の関数である類似度情報を含むようにしたので、必ずしも、文書のレイアウト、画像情報と内容範囲に依存することなく、言語知識を十分に活用した柔軟な判定方式で文書タイトルと関連属性を高精度に抽出することが可能である。好ましくは、ＳＶＭを使用した抽出する方法を行うことにより、判別ルール適用の不完全性、ＯＣＲの誤認識に影響しにくいので、スキャンされたテキスト文書（ＯＣＲを実施したテキスト文書）のタイトル及び関連情報の自動抽出に最適である。ＳＶＭを使用することにより、学習によって，システムの抽出性能(抽出範囲の拡張，抽出精度)を高めることが可能である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の最良の実施形態について図面を参照して説明する。
【実施例】
【００２１】
図１は、本発明の実施例に係る文書タイトル抽出装置の構成を示す図である。タイトル抽出装置１０は、入力装置１２、表示装置１４、主記憶装置１６、記憶装置１８、中央処理装置（ＣＰＵ）２０、これらを接続するバス２２を含んでいる。
【００２２】
入力装置１２は、キー操作により情報を入力するキーボード、原稿に記載された文書等を光学的に読み取る光学式読取装置（スキャナ）、外部装置や外部メモリ等からのデータを入力する入力インターフェース等を含む。表示装置１４は、文書から抽出されたタイトルおよびその関連情報等を表示するディスプレイ等を含む。主記憶装置１６は、ＲＯＭまたはＲＡＭを含み、文書からタイトル候補文を抽出したり、タイトル候補文の特徴量を抽出したり、文書タイトルを判定するためのプログラムや演算処理されたデータ等を記憶する。記憶装置１８は、例えばハードディスク等の大容量記憶装置を含み、スキャナによって光学的に読取られた画像文書データや、特徴量の抽出の際に使用される各種辞書データベース等を蓄積する。ＣＰＵ（Central Processing Unit）２０は、主記憶装置１６に記憶されたプログラムに従い各部を制御する。
【００２３】
図２は、文書テキスト抽出装置を機能的に示したブロックである。文書入力部３０は、文書のテキスト文を入力する。テキスト文は、例えば、入力インターフェースを介して受け取られたテキストデータ、または、スキャナにより光学的に読み取られた画像文書データからＯＣＲ（文字認識装置）により抽出されたテキストデータであってもよい。勿論、それ以外の手法により得られたものであっても良い。
【００２４】
タイトル候補文抽出部３２は、入力されたテキスト文からタイトルの候補となり得るタイトル候補分を抽出する。タイトル候補文抽出部は、入力されたテキスト文書の先頭から所定の範囲を候補対象範囲とし、候補対象範囲に含まれるテキスト文から、特定の記号および改行記号で切り分けた部分をタイトル候補文とする。
【００２５】
図３は、タイトル候補文抽出部３２による動作フローを示している。タイトル候補文抽出部３２は、入力文書の先頭からα％の部分と候補対象範囲に設定する（ステップＳ１０１）。αは、整数であり、例えば５０である。次に、タイトル候補文抽出部は、候補対象範囲に含まれるテキスト文から、記号（;.?!=~@#$%^&*_|\n；。？！…）と改行記号で切り分けた部分をタイトル候補文とする（ステップＳ１０２）。最後に、切り分けられたタイトル候補文を集合として記憶装置等に記憶する（ステップＳ１０３）。
【００２６】
図４は、日本語を入力文書とする例を示している。同図(ａ)は、スキャナ等により読取られたテキスト文の入力文書であり、同図（ｂ）は、入力文書の先頭から５０％の部分を候補対象範囲として抽出した例であり、同図（ｃ）は、候補対象範囲から記号や改行で切り分けたタイトル候補文の集合を示している。
【００２７】
再び図２に戻り、抽出されたタイトル候補文は、特徴量抽出部３４に供給される。特徴量抽出部３４は、タイトル候補文の類似度を判定するための特徴量を、すべてのタイトル候補文から抽出する。特徴量は、図５に示すように、候補文の長さ４０、類似度の順位情報４１、著者情報４２、組織名情報４３、タイトルキーワード情報４４、著者の位置情報４５、タイトル禁用キーワード４６、郵便番号４７、記号の数４８、の９つの要素から構成される。
【００２８】
図６は、特徴量を構成する各部の情報の算出方法を説明する図である。「候補文の長さ」４０は、タイトル候補文の長さであり、単位はByteである。例えば、候補文の長さ（Byte）／１５０(定数)の値で表す。
【００２９】
「類似度の順位情報」４１は、タイトル候補文と文書中の他の文間の類似度を計算し、類似度が一番高いものを該タイトル候補文の類似度とする。すべでのタイトル候補に対して、類似度の降順でソートし、順位１からＭを付ける(Ｍがタイトル候補文の数)。類似度の順位情報＝１／類似度の順位で表される。
【００３０】
類似度は、次の方法により求めることができる。
方法1：タイトル候補文のＶＳＭベクトル特徴量を用いて、文間の類似度(或いは文間の距離)を求める方法。ＶＳＭベクトル特徴量は、単語のＴＦ（ＴＦ／ＩＤＦ）、ＴＦとＩＤＦの関数値を用いることができる。また、文字列をＮグラムに切り分け、ＮグラムのＴＦ(ＴＦ／ＩＤＦ)、或いは、ＴＦとＩＤＦの関数値としてもよい。さらに、公開されているベクトル間の類似度、距離の計算方法を用いても良い。
【００３１】
方法２：  文字列間の編集距離で文間の距離を求める方法。
方法３：  ２文字列間の最大共通文字列の長さで文間の類似度とを求める方法。
方法４：  他の公開された任意の方法。
本実施例では、後述するように、文字列を２グラムに切り分け、２グラムベクトル特徴量間の類似度を算出する。
【００３２】
「著者情報」４２は、タイトル候補文に著者を含む場合には、フラグが「１」にセットされ、その他は「０」である。例えば、公開された固有名抽出技術、あるいは人名抽出技術を用いることができる。図７は、電話帳などに掲載されている日本人の名字とその件数を順位で表した名字辞書である。タイトル候補文と図７の名字辞書を比較し、ヒットすれば、フラグを「１」、ヒットしなければ「０」とするようにしてもよい。また、名字辞書と同様に、日本人の名前辞書を用意し、タイトル候補文と名前辞書とを比較し、ヒットすれば、フラグを「１」、ヒットしなければ「０」としてもよい。また、名字と名前の双方がヒットするときのみ、フラグを「１」にセットするようにしてもよい。ヒットするか否かは、文字列が完全一致する場合のみならず、前方一致、後方一致等の部分一致であってもよい。
【００３３】
「組織名情報」４３は、タイトル候補文に組織名情報を含む場合には、フラグが「１」にセットされ、その他は「０」である。例えば、予め組織名を登録した組織名辞書とタイトル候補文とを比較し、組織名がヒットした場合には、フラグを「１」、ヒットしない場合には、「０」とする。ヒットするか否かは、文字列が完全一致する場合のみならず、前方一致、後方一致等の部分一致であってもよい。
【００３４】
「タイトルキーワード情報」４４は、タイトル候補文に予め定められたタイトルキーワードが含まれているか否かを示す情報であり、タイトルキーワードの位置とタイトルキーワードが出現した頻度を合計したものである。タイトルキーワードは、例えばタイトルキーワード辞書として登録しておく。「著者の位置情報」４５は、タイトル候補文の番号を文書に出現する前後（位置）に大きい順（昇順）で1から付与する。仮に、第ｉ番目のタイトル候補文に始めて著者が出現したとする。番号１から番号ｉ+３のタイトル候補文の「著者の位置情報」＝１、その他の候補文の「著者の位置情報」＝０となる。
【００３５】
「タイトル禁用キーワード」４６は、タイトル候補文に予め定められたタイトル使用禁止用キーワードが含まれているか否かを示す情報であり、タイトル禁用キーワードの位置とタイトル禁用キーワードが出現した頻度を合計したものである。タイトル禁用キーワードは、タイトルに使用されることがない文字列または使用される可能性が低い文字列を予め辞書に登録し、それに該当するか否かをチェックする。
【００３６】
「郵便番号」４７は、連続６桁の数字を郵便番号とする。タイトル候補文に郵便番号を含む場合には、フラグを「１」、その他の場合には「０」とする。「記号の数」４８は、タイトル候補文に含まれる、“，”，“．”，“；”の数である。
【００３７】
なお、候補文類似度用特徴量は、図５に示すように、９個の要素から構成される例を示したが、これに限定されるものではない。タイトル抽出には、少なくても２番目の「類似度順位情報」を含めばよく、「類似度順位情報」と他の情報を適宜組み合わせるようにしてもよい。例えば、「類似度順位情報」と５次元目の「タイトルキーワード情報」を特徴量としたり、あるいは「類似度順位情報」と７次元目の「タイトル禁用キーワード情報」を特徴量としてもよい。勿論、他の言語情報を追加してもよい。例えば、住所の情報等を追加してもよい。さらに、スキャナから読取られた画像文書であれば、文書のレイアウト情報(候補文の位置関係など)や画像情報(文字の大きさ、色、文字の種類など)を得ることができ、これらを特徴量の情報として追加することも可能である。
【００３８】
再び図２に戻り、特徴量抽出部３４により抽出されたすべてのタイトル候補文の特徴量がタイトル判定部３６へ供給される。タイトル判定部３６は、学習によって構成された判定分類部から構成される．分類部は、公開された任意の分類技術を使用してもよい。例えば、具体例として、ＳＶＭ(Support Vector Machine)の分類技術を使用することができる。ＳＶＭエンジンは、例えば、論文“Support Vector Machine によるテキスト分類”，1998,自然言語処理，128-24等に記載されている。
【００３９】
タイトル判定部３６によりタイトルが抽出されると、その抽出結果が抽出結果出力部３８に供給される。抽出結果出力部３８は、表示装置１４に、抽出されたタイトルを表示させる。同時に、著者等の関連情報も表示するようにしてもよい。
【００４０】
次に、特徴量の類似度の算出方法について説明する。先ず、タイトル候補文の左から右へすべての連続な２文字の文字列（２グラム）を抽出する。例えば、タイトル候補文が「知的財産権」であれば、「知的」、「的財」、「財産」、「産権」のように２グラムの文字列が切り出される。タイトル候補文の２グラムベクトル特徴量をＡ＝（β１、β２、・・・βＮ）で表す。文書中の他の文の２グラムベクトル特徴量をＢ＝（β’１、β’２、・・・β’Ｎ）で表す。次の公式で、タイトル候補文と文書中の他の文間のすべての類似度ｓｉｍ（Ａ，Ｂ）を計算する。
【００４１】
【数１】
2007122403.tif 000003
【００４２】
図８は、２グラムベクトル特徴量を計算するときのフローを示している。タイトル候補文の左から右へすべての連続な２文字の文字列（２グラム）を抽出する（ステップＳ２０１）。次に、すべての２グラムの出現頻度＃（ｘ）を求める（ステップＳ２０２）。次に、使用禁止として２グラムが予め登録された禁用２グラム辞書５０を参照し、禁用２グラムが含まれていれば、ベクトル特徴量の次元数を修正する（ステップＳ２０３）。最後に、修正後の２グラム頻度＃’（ｘ）を用いて、ベクトル特徴量Ａ、Ｂを生成する（ステップＳ２０４）。
【００４３】
図９は、２グラム頻度＃’（ｘ）の算出方法を示している。
ＭＩ(ｘ，ｙ)：２グラムｘ、yの相互情報量；
＃(ｘ)は、２グラムＸが本文書に出現した回数；
Ｎは、すべでの２グラムが出現した回数；
＃(ｘ，ｙ) ：本文書にＸとＹが共起する回数；
【００４４】
このように本実施例の文書タイトル抽出装置は、タイトル候補文から類似度用特徴量を抽出し、その特徴量に基づき文書タイトルを抽出・判定するようにしたので、言語情報と統計ベースの判別基準の融合により、文書タイトルと関連情報を高精度に抽出することが可能である。完全に文書の内容により、タイトルと関連情報を抽出するので、必ずしも、文書のレイアウト、画像情報および内容範囲に依存しない、汎用性の高い文書タイトルを抽出することができる。論文のキーワード情報、概要内容、専門領域の関連情報を必ずしも必須としないので、タイトル抽出範囲は、領域に依存しない。さらに、形態素解析を使用せず、タイトル候補文から選定された２文字のサブ文字列を抽出し、文に存在しているすべての２文字文字列間の相互情報量を該文のベクトルとし、ベクトル間のＣｏｓ値を文間の類似度とすることにより、ＯＣＲの僅かな誤認識がタイトルの判定に影響しにくい特徴があり、スキャンされた画像文書のタイトル抽出に適切である。タイトル候補文の長さ、類似度の順位、著者、組織名、タイトルキーワード、候補文と著者の距離、タイトル禁用キーワード、郵便番号、記号などの情報を該文の特徴量とし、分類装置(例えばＳＶＭ)を利用してタイトルであるかどうかを判定することにより、高精度にタイトルを抽出することが可能である。
【００４５】
図１０は、本発明の文書タイトル抽出装置の第２の実施例を示しブロック図である。第２の実施例は、図２に示す文書入力部３０を変形するものである。画像文書入力部６０は画像文書を入力し、入力された画像文書データをレイアウトと画像情報抽出部６２へ出力する。入力は、例えばスキャナ等を用いることができる。レイアウトと画像情報抽出部６２は、画像文書データから、レイアウト情報と画像情報を抽出する。レイアウト情報は、例えば、タイトル候補文の位置関係などの情報を含み、画像情報は、文字の大きさ、色、字体などの情報を含む。レイアウト情報および画像情報の抽出は、公知の技術を用いることができ、例えば、特開平９−１３４４０６号や特開平２０００−１４８７８８号などに開示されている。
【００４６】
次に、テキスト情報抽出部６４は、例えばＯＣＲにより、画像情報からテキスト情報を抽出する。ＯＣＲは、公知の技術、あるいは市販されているＯＣＲを使用することができる。抽出されたテキスト情報は、タイトル候補文抽出部３２へ供給される。また、第２の実施例では、特徴量抽出部３４において、タイトル候補文の特徴量を抽出するに際して、レイアウトと画像情報抽出部６２で得られたレイアウト情報と画像情報を含めることができる。
【００４７】
第２の実施例では、画像文書をスキャナ等により読み込み、読み込んだ画像文書から自動的に文書タイトルを抽出することができる。同時に、画像文書データに含まれるレイアウト情報を、タイトル候補文の特徴量に加えることで、文書タイトルの判定精度をより向上させることができる。
【００４８】
次に、本発明の文書タイトル抽出装置を、中国語文書について実施したときの例を説明する。中国語文書についても、図２に示すように、文書入力部３０によりテキスト文書が入力され、タイトル候補文抽出部３２により文書中からタイトル候補文が抽出される。特徴量抽出部３４は、以下に示すように、中国語の特徴量において、著者名および組織名等において最適化される。
【００４９】
図１１は、中国人の名字用字辞書と名前用字辞書を示している。ここでの方法は、中国人名に限定するものである。著者抽出方法は、中国人名の名字の識別及び名前の識別から構成され、次のような判断基準を用いることができる。
【００５０】
中国人名は、４文字以上のものが少ないので、タイトル候補文の字列が４文字以上なら、人名ではないと判断する。
中国人名には、２文字の名字が非常に少ないので、タイトル候補文の文字列の先頭２文字が２文字名字であるかどうかを判断する。もし、２文字名字であれば、本候補文字列が名字であると判定することができる。
人名判定値を計算する。まず、出現頻度をもつ中国人名字に出現した文字のリスト表(名字用字辞書と呼ぶ)と名前に出現した文字のリスト表(名前用字辞書と呼ぶ)を用意する。名字用字辞書と名前用字辞書が文字の出現頻度の高い順でソートされている。さらに、名字用字辞書をＡ、Ｂ、Ｃの３つのグルーブにわける。
Ａグルーブ：名字用字辞書に先頭から走査して、出現頻度の累計が全体の９５％までに含まれれば、走査した文字の集合をＡグループとする。
Ｂグルーブ：名字用字辞書に先頭から走査して、出現頻度の累計が全体の９９％までに含まれれば、走査した文字の集合をＢグループとする。
Ｃグルーブ：名字用字辞書にすべての文字の集合をCグルーブとする。つまり、残りの１％に該当すれば、Ａ、Ｂ以外のＣグループとなる。
【００５１】
同様に，名前用字辞書をＤ、Ｅ、Ｆの３つのグルーブに分ける。名字と名前の判定値をそれぞれＭとＮで表す。
もし、候補文字列の先頭部分がＡ集合に含む名字であるなら、Ｍ＝ＳＡ；
もし、候補文字列の先頭部分がＢ集合に含む名字であるなら、Ｍ＝ＳＢ；
もし、候補文字列の先頭部分がＣ集合に含む名字であるなら、Ｍ＝ＳＣ；
もし、候補文字列の先頭部分がＣ集合に含む名字でなければ、Ｍ＝０；
もし、候補文字列の最後部分がＤ集合に含む名前用字であれば、Ｎ＝ＳＤ；
もし、候補文字列の最後部分がE集合に含む名前用字であれば、Ｎ＝ＳＥ；
もし、候補文字列の最後部分がF集合に含む名前用字であれば、Ｎ＝ＳＦ；
もし、候補文字列の最後部分がF集合に含む名前用字でなければ、Ｎ＝０；
【００５２】
もし、Ｍ+Ｎ＞閾値であれば、候補文字列が人名と判定される。なお、ＳＡ、ＳＢ、ＳＣ、ＳＤ、ＳＥ、ＳＦは、定数である。ＳＡ＞ＳＢ＞ＳＣ、ＳＤ＞ＳＥ＞ＳＦの関係がある。
【００５３】
次に、組織名の抽出方法について説明する。ここでは、公開された固有名抽出技術、或いは人名抽出技術を用い、次のような判断基準を用いることができる。
【００５４】
長さ測定。もし、入力された文字列の長さが４文字以下であれば、タイトル候補分は、組織名ではないとし、終了する。
タイトル候補文の文字列が、組織名を含むかどうかをチェックする。図１２は、中国語の組織名辞書の一例を示す図である。もし、タイトル候補分が辞書の組織名を含むなら、判定値＋Ａとする。
タイトル候補文の文字列が、組織の全称であるかどうかを判断する。もし、全称であれば、判定値+Ｂとする。これも、組織名辞書と照合することにより行われる。
タイトル候補文の文字列が、組織名キーワードを含むかどうかをチェックする。もし、含むなら、判定値+Ｃとする。これは、文字列の特定の位置(例えが、文尾)に組織名キーワード(例えば，「大学」)が含まれるか否かの照合を行う。
以上により、判定値＞閾値を満足すれば，タイトル候補文の文字列を組織名と判定する。なお、Ａ、Ｂ、Ｃは定数である。
【００５５】
図１３は、中国語の２グラムタイトルキーワード辞書と、２グラムタイトル禁用キーワード辞書を示している。タイトル候補文の特徴量のタイトルキーワード情報４４およびタイトル禁用キーワード情報４６（図５を参照）を抽出するとき、２グラムタイトルキーワード辞書および２グラムタイトル禁用キーワード辞書が参照される。例えば、タイトル禁用キーワードの先頭に示す「本病」は、日本語では、「この病」という意味であり、このような文字列が文書タイトルには使用されないと判定する。
【００５６】
次に、中国語のサンプル文書からタイトル候補文を抽出する例を説明する。図１４（ａ）は、中国語のサンプル文書から抽出されたタイトル候補文（カッコ内に日本語の意味を記載）を示している。図１４（ｂ）は、これらのタイトル候補文についての特徴量を示している。図中、“：”の前の数字は、特徴量の次元番号（図５に示す特徴量の９つの要素であり、１は、候補文の長さ、２は、類似度の順位情報、３は著者情報、４は組織名情報、５はタイトルキーワード情報、６は著者の位置情報、７はタイトル禁用キーワード情報、８は郵便番号、９は記号の数）を示し、“：”の後ろの数字は対応する次元の値を示している。“＃”の後ろの文書は、対応しているタイトル候補文である。
【００５７】
例えば、上から２番目のタイトル候補文では、２次元目の類似度の順位が「１」であり、すなわち、文書の他のタイトル候補文との２グラムベクトルによる類似度が最も高いことを示しおり、５次元目のタイトルキーワード情報が「１」であり、タイトルキーワードが含まれていることを示している。
【００５８】
こうして得られたタイトル候補文の特徴量は、ＳＶＭにより分類される。図１５は、図１４（ｂ）の特徴量を、ＳＶＭにより分類したときの結果であり、第１列目の破線で囲んだデータは、正分類境界面までの距離を表している。上記の結果から分かるように、正分類境界面に一番近いものは、“工?段?量工作管理初探”（保線区の計量作業管理の初期検討）であり、この候補文が文書タイトルとして抽出される。
【００５９】
以上、本発明の好ましい実施の形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【産業上の利用可能性】
【００６０】
本発明に係る文書タイトル抽出装置は、言語知識を用いた文書情報抽出方法として、種々の言語の文書タイトルの抽出に利用することができる。さらに、紙原稿をコピー感覚でリアルタイムに電子化し、紙原稿のレイアウト、画像情報、内容範囲に依存せず、自動的にインデックスすることが可能となり、従って、汎用なスキャンインデックスシステムに最適である。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施例に係る文書タイトル抽出装置を実行するハードウエア構成を示す図である。
【図２】本実施例に係る文書タイトル抽出装置の機能ブロックを示す図である。
【図３】タイトル候補文抽出部の動作フローを説明する図である。
【図４】日本語入力文書からタイトル候補文を抽出した例を示す図である。
【図５】候補文類似度特徴量抽出部により抽出される特徴量を説明する図である。
【図６】特徴量の求め方を説明する図である。
【図７】日本語の苗字辞書の一例を示す図である。
【図８】２グラムベクトル特徴量の算出フローを示す図である。
【図９】２グラム頻度＃’（ｘ）の算出方法を説明する図である。
【図１０】本発明の第２の実施例に係る文書タイトル抽出装置の機能ブロックを示す図である。
【図１１】中国人の名字および名前の辞書を示す図である。
【図１２】中国の組織名の辞書を示す図である。
【図１３】中国語の２グラムタイトルキーワード辞書と２グラムタイトル禁用キーワード辞書を示す図である。
【図１４】図１４(ａ)は、中国語サンプル文書のタイトル候補文を示し、図１４（ｂ）はタイトル候補文の特徴量を示す図である。
【図１５】図１４に示すタイトル候補文の特徴量をＳＶＭにより分類した結果を示す図である。
【符号の説明】
【００６２】
１０：文書タイトル抽出装置          １２：入力装置
１４：表示装置                      １６：主記憶装置
１８：記憶装置                      ２０：ＣＰＵ
３０：文書入力部                    ３２：タイトル候補文抽出部
３４：特徴量抽出部                  ３６：タイトル判定部
３８：抽出結果出力部                ６０画像文書入力部
６２：レイアウトと画像情報抽出部    ６４：テキスト文書抽出部
【図１】
2007122403.tif 000004
【図２】
2007122403.tif 000005
【図３】
2007122403.tif 000006
【図４】
2007122403.tif 000007
【図５】
2007122403.tif 000008
【図６】
2007122403.tif 000009
【図７】
2007122403.tif 000010
【図８】
2007122403.tif 000011
【図９】
2007122403.tif 000012
【図１０】
2007122403.tif 000013
【図１１】
2007122403.tif 000014
【図１２】
2007122403.tif 000015
【図１３】
2007122403.tif 000016
【図１４】
2007122403.tif 000017
【図１５】
2007122403.tif 000018