(57)【要約】【課題】電子化文書をユーザが容易に、かつ、確実に検索することを目的とする。【解決手段】電子化文書から認識文字列と、認識文字列に関連する文字列画像と、を対応付けて抽出し、記憶装置に記憶する抽出手段と、抽出手段で抽出された複数の文字列画像を提示する提示手段と、提示手段で提示された複数の文字列画像からユーザの選択操作に応じて選択された文字列画像に対応する認識文字列を記憶装置から取得する取得手段と、取得手段で取得された認識文字列を検索クエリとして電子化文書を検索する検索手段と、を有することによって課題を解決する。【選択図】図１２
2011060034.tif 000002
【特許請求の範囲】
【請求項１】
電子化文書から認識文字列と、前記認識文字列に関連する文字列画像と、を対応付けて抽出し、記憶装置に記憶する抽出手段と、
前記抽出手段で抽出された複数の前記文字列画像を提示する提示手段と、
前記提示手段で提示された複数の文字列画像からユーザの選択操作に応じて選択された文字列画像に対応する認識文字列を前記記憶装置から取得する取得手段と、
前記取得手段で取得された認識文字列を検索クエリとして電子化文書を検索する検索手段と、
を有する、検索装置。
【請求項２】
前記抽出手段は、電子化文書を複数のレイアウトブロックに分割し、各レイアウトブロックの位置と、各レイアウトブロックの大きさと、各レイアウトブロックに含まれる文字のサイズと、前記文字の色と、前記文字の書体と、の何れか又は全てに基づき、レイアウトブロックの重要度を設定し、設定したレイアウトブロックの重要度と、レイアウトブロックに含まれる文字列の出現に関する統計情報と、に基づき、文字列の重要度を設定し、設定した文字列の重要度に基づいて、認識文字列として抽出する、請求項１記載の検索装置。
【請求項３】
検索装置が実行する検索方法であって、
電子化文書から認識文字列と、前記認識文字列に関連する文字列画像と、を対応付けて抽出し、記憶装置に記憶する抽出ステップと、
前記抽出ステップで抽出された複数の前記文字列画像を提示する提示ステップと、
前記提示ステップで提示された複数の文字列画像からユーザの選択操作に応じて選択された文字列画像に対応する認識文字列を前記記憶装置から取得する取得ステップと、
前記取得ステップで取得された認識文字列を検索クエリとして電子化文書を検索する検索ステップと、
を含む、検索方法。
【請求項４】
コンピュータを、
電子化文書から認識文字列と、前記認識文字列に関連する文字列画像と、を対応付けて抽出し、記憶装置に記憶する抽出手段と、
前記抽出手段で抽出された複数の前記文字列画像を提示する提示手段と、
前記提示手段で提示された複数の文字列画像からユーザの選択操作に応じて選択された文字列画像に対応する認識文字列を前記記憶装置から取得する取得手段と、
前記取得手段で取得された認識文字列を検索クエリとして電子化文書を検索する検索手段と、
して機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索装置、検索方法及びプログラムに関する。
【背景技術】
【０００２】
近年のコンピュータ（ＰＣ）の普及に伴い、文書は、文書作成ソフト等のＰＣ上のアプリケーションソフトを用いて電子的に作成されるのが一般的となってきた。このように電子的に作成された電子文書はＰＣ環境に保管され、必要に応じて、検索・参照されて使用される。普通の人にとっても、検索操作はありふれた普通の便利機能として認識されている。
一方、文書を紙に出力した紙文書も依然として利用されている。電子文書と比較して、読みやすさ、扱いの汎用性、持ち運びの容易性、全貌把握の容易性、等の利点があるからである。ところが、紙文書はそのままの形ではスペースをとるので、紙文書をスキャンして電子化し、電子化文書としてＰＣ環境に保管することも従来から行われている。紙文書をスキャンして作成されたＰＤＦ文書もこの一例である。また電子化文書では、文書画像から文字認識によって電子テキストを抽出して検索可能とすることも行われている。
このような電子化文書の検索においては、電子文書の検索の場合にはなかった誤認識という問題が発生している。文字認識には必ず誤認識があり、文字列は文字化けしている可能性がある。例えば、本来「商品化仕様」と紙文書に記載されている文字列が、文字認識の結果「嵩品イヒ仕様」と誤認識されたとする。このような場合、ユーザが「商品化仕様」とキー入力し検索指示しても検索されることはない。英語の場合では、例えば、「ＩＯＳ」という単語があったとして、「７０Ｓ」と誤認識されてしまえばユーザが「ＩＯＳ」とキー入力し検索指示しても検索されることはない。
【０００３】
一方、インタネット等の検索の世界において、ユーザにできるだけキー入力させないことが潮流となっている。例えば、次に絞り込むための検索クエリ候補を表示すること等で、選択操作だけで検索クエリをキー入力することなく検索できるように工夫されている。このような工夫を電子化文書に適用すると、検索クエリの表示として誤認識結果の「嵩品イヒ仕様」が提示されることになってしまい、そうなるとユーザはそれが「商品化仕様」であることが分からないので検索指示を出すことができなくなってしまう。
電子化された紙文書の検索方法については、従来から多くの技術が提案されている。
例えば特許文献１は、文書画像を文字認識によって文字列に変換して索引語を抽出して登録しておき、検索時にはユーザが入力する文書画像を文字認識して検索語を抽出して検索する技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２１９９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方式は、誤認識の可能性を無視している。１００％の文字認識ができれば問題はないが、誤認識があって、索引時の文字認識と検索時の文字認識が食い違えば検索できなくなってしまう。
【０００６】
本発明はこのような問題点に鑑みなされたもので、電子化文書をユーザが容易に、かつ、確実に検索することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明の検索装置は、電子化文書から認識文字列と、前記認識文字列に関連する文字列画像と、を対応付けて抽出し、記憶装置に記憶する抽出手段と、前記抽出手段で抽出された複数の前記文字列画像を提示する提示手段と、前記提示手段で提示された複数の文字列画像からユーザの選択操作に応じて選択された文字列画像に対応する認識文字列を前記記憶装置から取得する取得手段と、前記取得手段で取得された認識文字列を検索クエリとして電子化文書を検索する検索手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、電子化文書をユーザが容易に、かつ、確実に検索することができる。
【図面の簡単な説明】
【０００９】
【図１】索装置の構成の一例を示す図である。
【図２】電子化文書から重要語が抽出される過程を示した図である。
【図３】検索画面の一例を示した図である。
【図４】電子文書のレイアウト解析により生成されるレイアウト解析テーブルの一例を示した図である。
【図５】検索索引と文書データベースとの構成の一例を示した図である。
【図６】検索選択肢リストの構成の一例を示した図である。
【図７】２つの文字列の類似性を判定する方式、及びそのために必要なテーブル（文字度数ベクトル）の構成の一例を示した図である。
【図８】検索装置の動作、より具体的にはＣＰＵの処理手順の一例を示すフローチャートである。
【図９】ステップＳ８−４の一部である文書登録処理の一例を示したフローチャートである。
【図１０】ステップＳ９−７の重要語統合化処理の一例を示したフローチャートである。
【図１１】ステップＳ１０−５の不完全照合処理の一例を示すフローチャートである。
【図１２】ステップＳ８−４の一部である検索処理の一例を示したフローチャートである。
【図１３】重要語テーブルの一例を示した図である。
【図１４】ＰＤＦ等の電子化文書をオープンした後、検索を起動した際に表示される検索画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜実施形態１＞
図１は、検索装置の構成の一例を示す図である。
図示の構成において、ＣＰＵは、マイクロプロセッサであり、文字認識処理、文書登録処理、検索処理、表示処理、画面制御処理等のための演算、論理判断等を行い、バスを介してバスに接続された各構成要素を制御する。
ＢＵＳは、バスであり、ＣＰＵの制御対象である各構成要素を指示するアドレス信号、コントロール信号を転送する。また、各構成要素間のデータ転送を行う。
ＲＯＭは、読出専用の不揮発性メモリである。ＲＯＭは、ブートプログラム、及び、ＣＰＵが各種処理で使用する初期データ等を記憶する。ブートプログラムは、システム起動時にＣＰＵによって実行されるプログラムである。
入力装置は、ボタン、タッチパネル等であり、オペレータ（ユーザ）からの各種の指示を検索装置に入力する。
表示装置は、液晶ディスプレイ等であり、各種情報（例えば、検索クエリの文字列画像や検索結果等）を表示する。
【００１２】
ＲＡＭは、読み書き可能なランダムアクセスメモリであって、各構成要素からの各種データの一次記憶に用いられる。ＲＡＭは、処理に必要なデータを記憶するバッファ、表示に必要な表示データを一時記憶するバッファ、スキャンした文書画像を一時的に蓄える文書画像バッファとして用いられる。また、ＲＡＭには、文書画像のレイアウトを解析したレイアウト解析テーブル、文字列のマッチングに必要な文字度数ベクトル等の処理中に値変更が行われる各種データ等を格納される。
通信装置は、ネットワークコントローラである。通信装置は、通信回線を介して検索装置と外部とのデータ交換を行う装置である。
ＨＤＤは、ハードディスクであり、ＣＰＵにより実行される制御プログラム等が格納される。制御プログラムは、必要に応じてＲＡＭに示す主記憶にロードされ実行される。ＨＤＤには、検索装置で管理する文書データベース、検索索引、検索選択肢リスト、重要語を記憶する重要語テーブル等が格納される。
かかる各構成要素からなる検索装置においては、入力装置等からの各種イベントに応じて作動するものである。入力装置等からのインタラプトが供給されると信号がＣＰＵに送られ、それに伴ってイベントが発生し、イベントに応じてＣＰＵがＲＯＭ又はＲＡＭ内に記憶される各種命令（プログラム）を読み出し、その実行によって各種の制御が行われる。
【００１３】
図２は、電子化文書から重要語が抽出される過程を示した図である。２−１は、スキャンされる前の紙文書のイメージを示している。文書がスキャンされると、スキャンイメージ（電子化文書）が文書画像バッファに転送され、更にレイアウト解析処理が行われる。レイアウト解析の結果、２−２に示すように電子化文書が特性の異なるレイアウトブロックに分割される。文字認識結果を図示すると２−３のようになる。表題文字は、特殊なフォントで印刷されていたので認識精度があまりよくなく、誤認識されていることを示している。
なお、紙文書をスキャンするのではなく、電子文書等を指定して抽出処理を始める場合もある。この場合、検索装置は、レンダリング生成された印刷イメージを電子化文書として、同様にレイアウト解析する。また、電子化文書の内部構造が解析されて文字認識を経ずに電子化文書内に保持されている文字コードが直接抽出されることもある。また、文字認識の際、ロゴ画像が認識されて文字コード化され、１つのロゴ画像から複数文字分の文字コード列が抽出されることもある。
【００１４】
次に、検索装置が重要語を抽出するために形態素解析をかけると２−４のようになる。「／」は文節の切れ目を意味し、文章が文節単位に分割されていることが分かる。辞書に登録されていない単語等、解析不能個所は、未知語として切り出される。形態素解析によって、文節の解析、未知語解析、付属語解析も行われるので、単語語幹等の文節構成要素を抽出するのは容易である。英語の場合は、スペース切りされた単語に対して単語の基本形が抽出される。
次に検索装置が各ブロックの重要度を付与すると２−５のようになる。検索装置は、ブロックの位置、大きさ、ブロック中の文字のポイントサイズ、文字色、書体等からそのブロックの重要度を推定する。２−５では、文字ポイントサイズが大きい点、ブロック中心が中央より上に位置している点、等から、検索装置は、タイトルブロックは重要であると推定し、ブロック重要度＝１０（重要である）としている。これに対し、電子化文書は、本文ブロックはそうでないことからブロック重要度＝２（重要でない）と推定している。
検索装置は、ブロック重要度や各単語の重要度から２−６のように重要語を抽出する。この重要語は誤認識のために文字化けし、人間には判別が困難である。なお、重要語は、検索の際に提示する検索クエリとして使用されることになる。２−７では、検索装置が、これまでの解析過程から対応する文字画像を抽出している。英語の場合も同様である。
２−８は、紙文書に書かれた英単語の例であり、"ＩＯＳ"が特殊な書体で書かれている。２−９は、それを認識した例であり、"７０Ｓ"と誤認識している。同様に人間には判別が困難である。
【００１５】
図３は、検索画面の一例を示した図である。３−１は、検索指示画面の例である。文書中から抽出された重要語（キーワード）が重要な順に検索クエリとして列挙されている。ユーザは、このうちの１つを選択することにより検索を指示できる。ユーザが検索を指示すると３−２の画面になり検索結果が表示される。ここでは「商品化仕様」を選択した場合の例で、ヒットした、「商品化仕様」が文書中に存在する文書のサムネール画像が複数個表示されている。
【００１６】
図４は、電子文書のレイアウト解析により生成されるレイアウト解析テーブルの一例を示した図である。なお、以下の説明の電子化文書は、紙文書をスキャンして取得した電子化文書の場合と、電子文書等からレンダリング生成、或いは抽出した印刷イメージを電子化文書とした場合と、の両方を含んでいる。
４−１は、ブロックＩＤであり、電子化文書上でのレイアウトブロックを特定する識別情報が記憶される。ブロックＩＤは、ブロックのリーディングオーダ順に番号付けされる。
４−２は、該当するレイアウトブロックの電子化文書上での位置を示す情報であり、ブロックの左上隅の座標が記憶される。
４−３は、ブロックのサイズであり、横方向の画素数と縦方向の画素数との２つが記憶される。検索装置は、４−２、４−３の情報から該当ブロックの中心座標が分かり、これらとページ全体のサイズから、ブロックのページ上の位置（中心より上か下か、右か左か）を知ることができる。
４−４は、ブロックタイプである。検索装置は、４−４からそのレイアウトブロックが表現する情報の種別（文字情報、自然画情報、グラフィック情報、等）が分かる。
４−５は、ブロック重要度であり、該当レイアウトブロックの文書中での重要度を数値化したものが記憶される。ブロック重要度は、ブロックのページ上での位置、ブロックの大きさ、ブロック中の文字のポイントサイズ、文字の色、書体等によって決定される。ページ上でのブロックの位置がページ中央よりも上である場合、文字のポイントサイズが大きい場合、文字色が黒以外の特殊な色（赤、青、等）の場合、書体が明朝以外の特殊な書体（ゴシック等）の場合、等のときにブロック重要度が大きくなる。検索装置は、ブロック重要度の値は０（無価値）から１０（最重要）の範囲に入るように調整して正規化する。
【００１７】
４−６は、文字情報の格納された領域へのリンクを示す情報である。文字が無いブロック（自然画等）は、リンクが終端することで情報が存在しないことを示す。
４−７から４−１１までは、文字に関する情報である。
４−７は、そのブロックの文字の平均的なポイントサイズである。例えば、１０ポイントの文字が主体であれば、１０が記憶され、１２ポイントの文字が主体であれば１２が記憶される。
４−８は、そのブロックにある文字の色情報（黒、赤、青、等）である。
４−９は、そのブロックにある文字の書体（明朝、ゴシック等）の情報である。
４−１０は、認識信頼度であり、そのブロックにある文字を文字認識したときの信頼度（認識精度）である。認識信頼度が低いのは文字認識が困難であったことを意味し、認識結果が間違っている可能性が大きいことを意味になる。電子文書のように認識が行われていない場合は、最高の値が記憶される。或いは、電子化文書から認識済みの文字列が抽出された場合は認識信頼度として所定の標準的な値が記憶される。
４−１１は、各ブロックの認識後の文字列である。文字認識を経ずに文書から文字コードが直接抽出された場合、抽出された文字コード列が記憶される。
４−１２は、その文書の電子化文書を示している。レイアウト構造テーブルで示す座標はこの電子化文書上での位置を示す。
【００１８】
図５は、検索索引と文書データベースとの構成の一例を示した図である。
５−１は、検索索引であり、文書を検索するための索引情報を記述する。
５−１−１は、検索文字列であり、文書中の検索単語の文字列が格納される。文字認識された文字列が格納される場合は誤認識があれば誤認識のまま格納される。
５−１−２は、文書ＩＤであり、該当文字列の存在する文書を識別する情報が格納される。
５−１−３、５−１−４は、検索単語（検索文字列）の文書集合内での出現に関する統計情報（ｔｆ値、ｄｆ値）が格納される。ｔｆ値は、単語頻度を意味し、単語の使用度数である。ｔｆ値は、該当検索単語が見つかるたびにカウントアップされていく。ｄｆ値は、ドキュメント頻度を意味し、該当単語が使われた文書の文書数である。ｄｆ値は、該当単語が使用されている文書が見つかるたびにカウントアップされる。統計情報は、各単語の統計的な重要度を算出するための元データとして使用される。
【００１９】
５−１−５は、文字位置であり、該当単語（該当もじれ右ｔ）が文書ＩＤで示す文書に存在する位置が格納される。認識文字列中の位置（何文字目から何文字目まで）、及び、どのレイアウトブロックに存在するか（ブロックＩＤ）、そのブロック中での位置（何文字目から何文字目まで）が格納される。
５−１−６は、画像位置が格納される。該当単語が該当文書の電子化文書上のどの位置に存在するか、また、その画像の縦サイズ、横サイズの情報が記憶される。位置が分かるので検索文字列に該当する文字列画像が抽出されていることと等価である。
５−２は、文書を管理するための情報である文書データベースの構成の例を示した図である。
５−２−１は、文書ＩＤであり、該当文書を特定するための識別情報が格納される。
５−２−２は、認識文字列であり、該当電子化文書の文字認識結果が格納される。各ブロックのテキストがブロックのリーディングオーダ順に直列化して格納される。文字認識を経ずに文書から文字コードが直接抽出された場合は、抽出された文字コード列が格納される。
５−２−３は、該当電子化文書のレイアウト構造が格納される。レイアウト情報テーブルの構成で示したフォーマットで記述する。
５−２−４は、認識文字列と対応付けられた電子化文書が格納される。
【００２０】
図６は、検索選択肢リストの構成の一例を示した図である。検索装置は、電子化文書中から抽出した検索単語のリストを記憶する。
６−１は、抽出された検索単語（文字列）に対応する文字列画像が格納される。電子文書等から抽出された検索単語で画像がない場合は文字コードが記憶され、必要に応じてレンダリング画像が生成される。
６−２は、抽出された検索単語の単語重要度が格納される。単語重要度は、各単語の統計情報（ｔｆ値、ｄｆ値）、所属するブロックのブロック重要度から算出され、０から１０に正規化された値となる。検索選択肢は、単語重要度の降順にソートされる。
６−３は、認識文字列であり、文字列画像に対応した認識後の文字列が格納される。文字認識を経ずに電子文書等から文字コードが直接抽出された場合は抽出された文字コードが記憶される。類似する文字列が統合され、１つの文字列画像に複数の認識文字列が対応することがある。この場合、認識文字列が複数個列挙される構造になる。統合の際に代表として選定される文字列画像は、間違いが最も少なくなるよう、認識信頼度が最も大きい文字列画像が選ばれる。
【００２１】
６−４は、単語重要度の算出式の例である。検索装置は、ｔｆ値をｄｆ値で除算し、それにブロック重要度に適当な値αを乗じた値を加算して算出する。ｔｆ／ｄｆの項は、統計的に重要な単語を抽出するための尺度として情報検索分野で幅広く使用されているｔｆ−ｉｄｆの理論を流用したものである。αは重み係数であり、ブロック重要度を単語頻度による重要度より重視する度合いを設定する。検索装置は、ブロック重要度を重視する場合は、αの値を大きく設定し、単語頻度による重要度を重視する場合は、逆にαの値を小さく設定する。また、検索装置は、現実にテーブルに値を設定する際は、所定の値を乗じて単語重要度の値が０から１０の範囲に入るように調整し格納する。
【００２２】
図７は、２つの文字列の類似性を判定する方式、及びそのために必要なテーブル（文字度数ベクトル）の構成の一例を示した図である。
７−１は、１文字成分に基づく文字度数ベクトルの作成方法を示している。検索装置は、各文字に対してその文字が文字列に含まれれば、対応する度数をカウントアップする。簡易的には、検索装置は、存在するかどうかだけを１／０で表現する。１文字成分だけでは文字の順序を表現できないので、例えば、「ａｂｃ」と「ｃｂａ」が同じ情報になってしまう。そこで順序情報を含めるために７−２の２文字成分を導入する。２文字成分は、順序付き２字組の存在に応じて、文字成分と同様に対応する度数をカウントするものである。１文字成分と同じく、簡易的には、検索装置は、存在するかどうかだけを１／０で表現する。
【００２３】
７−３はこのように作成された度数ベクトルの構成を示した図である。文字列「あう人」に相当するベクトルで説明する。７−３−１は、１文字成分に対応したベクトルである。「あ」「う」「人」に相当する成分の度数のみが１となっている。７−３−２は、２文字成分に対応したベクトルである。「あう」「う人」に相当する成分の度数のみが１となっている。文字度数ベクトルが作成されれば、比較対象の文字列のベクトルを単純比較することにより類似性を容易に判定することができる。完全一致する文字列については、明らかにベクトルも一致する。類似する文字列については、完全一致にならなくとも、相当数の成分が一致すれば類似すると判定できる。例えば、「あう人」に比較して「あう入」のベクトルは、１文字成分が「あ」「う」、２文字成分が「あう」のみになり、一致度が落ちるが類似していると判定できる。「商品化仕様」と「嵩品イヒ仕様」との例では、「品」「仕」「様」「仕様」の成分が一致するので類似すると判定できる。精度を向上させたければ、３字組まで比較するようにすればよい。計算負荷が高くなってしまうが、類似比較の精度を更に高めることができる。
上述の動作をフローチャートに従って説明する。
【００２４】
図８は、検索装置の動作、より具体的にはＣＰＵの処理手順の一例を示すフローチャートである。
ステップＳ８−１は、システムの初期化処理であり、ＣＰＵが各種パラメータの初期化や初期画面の表示等を行う処理である。
ステップＳ８−２は、クリック、タッチ等の入力装置から何らかのイベントが発生するのをＣＰＵにおいて待つ処理である。イベントが発生すると、ステップＳ８−３においてＣＰＵがこのイベントを判別し、イベントの種類に応じて各種の処理に分岐する。各種イベントに対応した分岐先の複数の処理をステップＳ８−４という形でまとめて表現している。図９で詳述する文書登録処理、図１２で詳述する検索処理がこの分岐先の一部となる。他の処理としては、詳細は記述しないが、文書スキャン処理、印刷処理、文書データベース管理処理、文書オープン処理、文書編集処理等の処理がある。例えば、スキャンが指示された場合は、原稿台から紙文書のスキャン処理を行い、スキャンされた電子化文書を文書画像バッファに転送する処理を行う。ステップＳ８−５は、上記の各処理の処理結果や処理終了を通知し、画面を各処理の指示に従って表示する処理である。エラーがあった場合のエラー表示、正常な処理が行われた場合に設定されている表示データの画面表示への反映等通常広く行われる処理である。
【００２５】
図９は、ステップＳ８−４の一部である文書登録処理の一例を示したフローチャートである。スキャンされ、文書画像バッファにたまっている電子化文書の登録、或いは、ユーザ操作によって指定された電子文書等の登録を行う処理である。
ステップＳ９−１において、ＣＰＵは、登録対象文書の電子化文書をレイアウト解析し、解析結果をレイアウト解析テーブルに作成する。レイアウトブロックの座標、サイズ、タイプ等の情報をこの段階でテーブルに設定する。例えば、認識後の文字列は認識文字列に、認識結果の信頼度は認識信頼度の項目に設定される。ＣＰＵは、レイアウト解析の過程で文字認識も行い、文字認識に関する情報がレイアウト解析テーブルに設定される。文書から文字コードが抽出された場合も、文字コードに関連する必要な情報が設定される。ＣＰＵは、文字ポイントサイズ、文字色、書体の情報も文字認識処理等によって情報を取得し、設定する。
ステップＳ９−２において、ＣＰＵは、各レイアウトブロックの重要度をブロックの位置、ブロックのサイズ、ブロック中の文字列に含まれる文字のポイントサイズ、文字の色、文字の書体等から推定し、レイアウト構造テーブルのブロック重要度の項目に設定する。なお、ＣＰＵは、これらの情報の何れか、又は任意の組合せ、又は全てに基づきレイアウトブロックの重要度を推定（又は算出）するようにしてもよい。
ステップＳ９−３において、ＣＰＵは、レイアウト解析テーブルに登録された認識文字列を言語的に形態素解析し、文章の文節への分割、未知語の推定、文節の構造の解析を行う。
【００２６】
ステップＳ９−４において、ＣＰＵは、形態素解析結果から単語（文字列）の語幹を抽出し、抽出単語を検索索引に登録する。英語等の場合は、単語を切り出し、基本形に正規化することになる。ＣＰＵは、登録の際、存在する文書ＩＤ、存在する認識文字列上での文字位置、文字列画像の存在する画像位置を格納し、ｔｆ値、ｄｆ値等の統計情報を設定する。既登録の場合は今回の度数を加算することになる。
ステップＳ９−５において、ＣＰＵは、今回抽出された単語について、ｔｆ値、ｄｆ値、ブロック重要度の各情報から、６−４に示すように単語重要度を算出する。
ステップＳ９−６において、ＣＰＵは、算出された単語重要度で各単語をランキングし、単語重要度が所定の閾値を超えた単語を重要語候補として選出する。
ステップＳ９−７において、ＣＰＵは、選出された重要語候補について、図１０に詳述する重要語統合化の処理を行い、類似する重要語候補があれば１つに統合する。
ステップＳ９−８において、ＣＰＵは、統合された重要語候補について、対応する文字列画像を抽出する。検索索引の画像位置を辿ることによって抽出することになる。
ステップＳ９−９において、ＣＰＵは、統合された重要語がある場合は文字列画像が複数個抽出されているはずなので、代表画像を１つ選定する。選定の際、ＣＰＵは、検索索引から文書ＩＤを辿り、文書データベースのレイアウト構造を辿ることによって認識信頼度を入手し、認識信頼度が最も高い文字列画像を代表として採用するものとする。認識信頼度が最も高い代表を採用することで表示する文字列画像の間違いの可能性を最も低くする。
ステップＳ９−１０において、ＣＰＵは、重要語を文字列画像付きで検索選択肢リストに登録する。
ステップＳ９−１１において、ＣＰＵは、文書の本体を文書データベースに登録し、その後リターンする。
【００２７】
図１０は、ステップＳ９−７の重要語統合化処理の一例を示したフローチャートである。
ステップＳ１０−１において、ＣＰＵは、重要語候補を１つ取得する。
ステップＳ１０−２において、ＣＰＵは、重要語候補が尽きたかどうか判定し、尽きた場合はリターンする。重要語候補がまだ残っている場合、ステップＳ１０−３に進み、ＣＰＵは、比較対象の重要語候補を１つ取得する。
ステップＳ１０−４において、ＣＰＵは、比較対象の重要語候補が尽きたかどうか判定し、尽きた場合は次の重要語候補の処理のためにステップＳ１０−１にループする。比較対象の重要語候補がまだ残っている場合、ステップＳ１０−５に進み、ＣＰＵは、図１１に詳述する不完全照合処理を行って、２つの文字列が類似しているかどうか比較する。
ステップＳ１０−６において類似していないと判定した場合、次の比較対象重要語候補の処理のためにステップＳ１０−３にループする。類似していると判定した場合、ステップＳ１０−７に進み、ＣＰＵは、類似する２つの重要語候補を統合し、次の重要語候補の処理のためにステップＳ１０−１にループする。
【００２８】
図１１は、ステップＳ１０−５の不完全照合処理の一例を示すフローチャートである。
ステップＳ１１−１において、ＣＰＵは、比較対象の２つの文字列について、１文字成分の文字度数ベクトルを作成する。
ステップＳ１１−２において、ＣＰＵは、２つの文字列について、２字組成分の文字度数ベクトルを作成する。
ステップＳ１１−３において、ＣＰＵは、作成された１文字と２字組の文字度数ベクトルを、２つの文字列について比較し、一致する成分の個数を求める。
ステップＳ１１−４において、ＣＰＵは、一致個数が所定の閾値を超えているかどうかを判定する。ＣＰＵは、超えている場合にはステップＳ１１−５において類似していると判定してリターンし、閾値を超えていない場合はステップＳ１１−６において類似していないと判定してリターンする。
【００２９】
図１２は、ステップＳ８−４の一部である検索処理の一例を示したフローチャートである。
ステップＳ１２−１において、ＣＰＵは、検索選択肢リストから検索単語を取得し、対応する文字列画像を取得する。
ステップＳ１２−２において、ＣＰＵは、取得された文字列画像を検索クエリの候補として表示する。このとき、まとまった矩形領域になっていればそのまま表示すればよいが、文字列の途中がたまたま行末にかかっている場合もある。このようなときは分割されている２つ（或いはそれ以上）の文字列画像を連結する処理を行った後、連結文字列画像を表示することになる。
ステップＳ１２−３において、ＣＰＵは、ユーザに選択操作をさせるため、ユーザ操作を受け付け、待ち状態に入る。
ステップＳ１２−４において、ＣＰＵは、ユーザの選択操作に応じてユーザ操作の内容を判定する。選択以外の操作の場合、ＣＰＵは、ステップＳ１２−９に分岐する。選択操作であった場合、ステップＳ１２−５に進み、ＣＰＵは、文字列画像に対応する認識文字列を入手する。
【００３０】
ステップＳ１２−６において、ＣＰＵは、入手された認識文字列をクエリとして検索処理を実行する。より具体的に説明すると、ＣＰＵは、検索索引を参照してヒットする文書ＩＤを取得する。文字列画像が複数の認識文字列が統合されたものであった場合、ＣＰＵは、認識文字列取得と検索とを複数回実行する。
ステップＳ１２−７において、ＣＰＵは、複数回の検索が実行された場合には、複数作成された検索結果をマージする。
ステップＳ１２−８において、ＣＰＵは、検索結果を画面表示してリターンする。
ステップＳ１２−４において選択以外の操作であった場合、ステップＳ１２−９に分岐し、ＣＰＵは、画面制御関係の操作であるかを判定する。画面制御以外の操作であればステップＳ１２−１０において、ＣＰＵは、検索操作の解除等を含む、その他の処理を遂行し、リターンする。画面制御関係の操作であった場合は、ステップＳ１２−１１に分岐し、ＣＰＵは、候補の変更、次候補画面の表示等を含む、必要な画面制御処理を行い、ステップＳ１２−３にループする。
【００３１】
＜実施形態２＞
実施形態１においては、ＣＰＵは、重要語の抽出において、レイアウトブロックの重要度以外に単語の統計情報に基づいて単語重要度を算出していたが、統計情報以外に重要語候補を予め設定しておくようにしてもよい。この場合、検索装置が、重要語テーブルを別途保持しておくことになる。
図１３は、重要語テーブルの一例を示した図である。電子化文書の本体から自動抽出すべき単語のリストである。各運用組織によって自由にテーブルを構成すればよいが、例えば、その会社で扱う製品の名前等、検索が発生すると思われる単語を予め登録しておく。
１３−１は、重要語の文字列が記憶される。
１３−２は、重要語に対応した単語重要度が記憶される。
このようなテーブルを持つことにより、検索装置は、文字列を抽出した後はこの重要語テーブルと比較し、この単語重要度を設定するだけでよいので、検索選択肢リストの作成負荷が軽減でき、より小さな機器での実現が可能となる。
【００３２】
＜実施形態３＞
上述した実施形態では、文書データベースからの電子化文書の検索という形態で説明したが、電子化文書内部の文字列検索に適用することもできる。このような形態での検索画面の例を図１４に示す。
図１４は、ＰＤＦ等の電子化文書をオープンした後、検索を起動した際に表示される検索画面の一例を示す図である。
１４−１は、検索指示画面である。電子化文書中から抽出された重要語（キーワード）が重要な順に列挙される。オペレータはこのうちの１つを選択することにより検索の実行を指示する。検索を指示すると１４−２の画面になる。指示した検索語と電子化文書内で一致する文字列とが検索結果として表示される。ここでは「商品化仕様」を選択した場合の例で、電子化文書中で使用されている個所が複数個表示されている。
このような電子化文書内の文字列の検索は、通例、電子化文書をオープンした状態で行われる。電子化文書をオープンする処理は、図９の文書登録処理と概ね類似する処理で記述することができる。最後のステップＳ９−１１の「文書を登録」処理の代わりに「文書をオープン」処理を行う点が異なるのみである。
また、不完全照合処理においては、文字度数ベクトルを使用する方法を説明したが、他の方法を使用してもよい。一般的にパターン列の類似性を判定するには、ＤＰマッチングを使う方法、オートマトンを使用する方法等が提案されており、それらを流用することもできる。誤認識しやすい文字パターンを加味したマッチングを行うこともできる。例えば「化」は「イヒ」に誤認識しやすいと思えば、その両者を同一とみなしたマッチングをすれば、「商品化仕様」と「嵩品イヒ仕様」との類似度を利用しない場合に比べて更に１ポイント以上向上する。
【００３３】
＜その他の実施形態＞
上述した機能又はフローチャートに係る工程は、ネットワーク又は各種記憶媒体を介して記憶装置等に記憶したソフトウェア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【００３４】
以上、上述した各実施形態によれば、電子化文書の検索において検索クエリ候補として提示されるのは、認識結果の文字列ではなく文書中から抽出した部分画像なので、誤認識の文字化けの心配がなく人間が分かる検索クエリ候補が提示される。また、該検索クエリ候補を指定して検索指示すると、検索クエリとなる文字列は、新たに認識される文字列ではなく予め検索対象に対応付けられて保持されていた実際の認識文字列なので、誤認識の可能性を含めて必ず一致がとれ、検索できる。これにより、電子化された文書を人間に分かりやすくかつ確実に検索する技術を提供することができる。
つまり、上述した各実施形態によれば、電子化文書をユーザが容易に、かつ、確実に検索することができる。
【００３５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図１】
2011060034.tif 000003
【図２】
2011060034.tif 000004
【図３】
2011060034.tif 000005
【図４】
2011060034.tif 000006
【図５】
2011060034.tif 000007
【図６】
2011060034.tif 000008
【図７】
2011060034.tif 000009
【図８】
2011060034.tif 000010
【図９】
2011060034.tif 000011
【図１０】
2011060034.tif 000012
【図１１】
2011060034.tif 000013
【図１２】
2011060034.tif 000014
【図１３】
2011060034.tif 000015
【図１４】
2011060034.tif 000016