(57)【要約】【課題】ユーザの手を煩わせることのないインデックス作成機能を有しなから、ＯＣＲ認識を用いることなく、精度の高い検索が可能な画像文書処理装置及び方法を提供する。【解決手段】  本発明の画像文書処理装置は、画像文書中の文字数がＭである文字列の画像を切り出し、これを１文字ごとに分割して各文字画像の画像特徴を抽出し、その画像特徴に基づき、フォントベースにおける全ての文字画像の画像特徴を１文字単位で格納している字形特徴辞書１５より、適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次のインデックス行列を作成する。検索時は、入力された検索式中の検索キーワードを構成する１検索文字単位にインデックス情報格納部を検索して検索文字を含むインデックス行列を有する画像文書を取り出す。【選択図】図１
2008171379.tif 000002
【特許請求の範囲】
【請求項１】
文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、
入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、
前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成する特徴適合部と、
前記特徴適合部にて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索部とを有することを特徴とする画像文書処理装置。
【請求項２】
前記文字列抽出部は、前記入力された画像文書における見出し領域を切り出すことを特徴とする請求項１に記載の画像文書処理装置。
【請求項３】
前記文字列抽出部は、射影法と連通域統計分析法とにより、画像文書における重要領域を切り出すことを特徴とする請求項１に記載の画像文書処理装置。
【請求項４】
前記画像特徴抽出部は、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出することを特徴とする請求項１に記載の画像文書処理装置。
【請求項５】
前記特徴適合部は、抽出された文字画像の画像特徴を、前記字形特徴辞書に格納されている全ての文字画像と適合させて候補文字を選択することを特徴とする請求項１に記載の画像文書処理装置。
【請求項６】
前記特徴適合部が選択する候補文字数Ｎが変更可能であることを特徴とする請求項１に記載の画像文書処理装置。
【請求項７】
前記検索部は、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出すことを特徴とする請求項１に記載の画像文書処理装置。
【請求項８】
前記インデックス行列の各要素には、位置に応じた相関値が設定されており、
前記検索部は、
検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理部と、
前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出する相関度算出部と、
前記相関度算出部の算出結果に基づいて画像文書の取り出す順序を決定する順序決定部とを含むことを特徴とする請求項１に記載の画像文書処理装置。
【請求項９】
前記相関度算出部は、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とする請求項８に記載の画像文書処理装置。
【請求項１０】
前記インデックス行列の各要素に設定されている相関値が、変更が可能であることを特徴とする請求項８に記載の画像文書処理装置。
【請求項１１】
前記行の相関度加重因子が、変更が可能であることを特徴とする請求項９に記載の画像文書処理装置。
【請求項１２】
前記画像特徴抽出部を用いて、前記字形特徴辞書を作成する字形特徴辞書生成部を備えることを特徴とする請求項１に記載の画像文書処理装置。
【請求項１３】
入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、
前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成する特徴適合ステップと、
前記特徴適合ステップにて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
検索時に、前記インデックス情報格納ステップにて格納されたインデックス情報を、入力された検索式中の検索キーワードを構成する１検索文字単位に検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索ステップとを有することを特徴とする画像文書処理方法。
【請求項１４】
請求項１から１２の何れか１項に記載の画像文書処理装置の各部としてコンピュータを機能させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書を画像として入力して蓄積する画像文書処理装置及び画像文書処理方法に関するものであり、特に、蓄積された画像文書に対する検索機能を有する画像文書処理装置及び画像文書処理方法に関するものである。
【背景技術】
【０００２】
文書をイメージスキャナ等の画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする文書ファイリング装置が実用化されている。
【０００３】
イメージデータとして読取った画像文書に対して検索を行うには、各画像文書に、検索のためのインデックス情報を手動で付与するといった作業が必要となり、非常に労力を要する。
【０００４】
また、画像文書の文字領域（テキスト領域）を定位し、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒａｄｅｒ）認識を行い、テキスト内容でフルテキスト検索を可能にする装置も提案されている。ＯＣＲ認識を利用した先行技術として、例えば特許文献１がある。
【０００５】
しかしながら、ＯＣＲ認識には多大な計算が必要で時間が掛かるといった問題がある。さらに、文字認識率も高くないため、誤認されて検索に掛からない可能性もあり、検索精度に問題がある。
【０００６】
一方、特許文献２には、ＯＣＲ認識を用いることなく、自動によるフルテキスト検索を可能にする技術が開示されている。
【０００７】
上記公報の構成では、予め文字を画像特徴によって類似した文字ごとに類似文字カテゴリに分類したカテゴリ辞書を用意しておく。そして、画像文書を登録する時、テキスト領域（文字領域）の各文字を文字認識することなく、画像特徴を抽出し、画像特徴をもとに文字カテゴリに分類して、各文字ごとに識別されたカテゴリ列を入力画像と共に記憶しておく。検索する時には、検索キーワードの各文字を対応するカテゴリに変換し、変換されたカテゴリ列を一部に含む画像文書を検索結果として取り出す。
【０００８】
そして、該構成による効果として、文書登録時に少ない計算機パワーで高速に登録処理が行えるとともに、検索時には漏れの少ない検索を実現することのできる文書ファイリングを提供できる、と記載されている。
【特許文献１】特開平７−１５２７７４号公報
【特許文献２】特開平１０−７４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献２の構成では、以下のような問題がある。
【００１０】
すなわち、上記公報の構成によれば、各類似文字カテゴリに対して、該類似文字カテゴリに属する文字の特徴ベクトルの平均である代表ベクトルが決められると共に、該類似文字カテゴリに属する文字の文字コードのうちの、任意の１つが代表文字コードとして決められている。
【００１１】
そして、画像文書を登録するときは、画像文書のテキスト領域にある各文字画像の特徴ベクトルを、上記類似文字カテゴリの代表ベクトルと適合して、文字ごとに属する類似文字カテゴリを識別させる。テキスト領域にある文字画像は、識別された類似文字カテゴリの代表文字コードに置き換えられ、代表文字コード列として記憶される。
【００１２】
ところが、このような代表ベクトルとの間で適合をとる手法では、計算量は多少減少するものの、各文字の特徴ベクトルに対して直接適合をとる構成ほどには正確な適合結果を得ることはできない。そのため。検索漏れになる可能性がある。また、このような適合をとる作業及び続くインデックスを作る作業は、一般的にＯＦＦライン作業のため、ユーザにとってそれほどの効果はなく、正確な適合がなされることの方が好ましい。
【００１３】
また、検索においても問題がある。つまり、検索するときには、文字コード・カテゴリ対応テーブルを参照して、検索キーワードをその文字が含まれるカテゴリの代表文字コード列に変換する。そして、登録されている画像文書から得られた代表文字コード列の中から、詳細には代表文字コード列より作られたインデックスを用いて、キーワードから変換された代表文字コード列を検索する。
【００１４】
ところが、検索キーワードを代表文字コード列に変換しての検索では、類似文字カテゴリ中の位置までは分析することはできない。そのため、同じ類似文字カテゴリ内に属している各文字は、類似度の高いものも低いものも同じ関連具合となり、関連性の高い画像文書から順に正確に提示するといったことができない。
【００１５】
本発明の目的は、ユーザの手を煩わせることのないインデックス作成機能を、ＯＣＲ認識を用いることなく実現しながら、高精度な検索が可能な画像文書処理装置及び画像文書処理方法を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の画像文書処理装置は、上記目的を達成するために、文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成する特徴適合部と、前記特徴適合部にて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索部とを有することを特徴としている。
【００１７】
上記構成によれば、文字列抽出部にて定位されて切り出された画像文書中の文字列の画像を、画像特徴抽出部が１文字ごとに分割して各文字画像の画像特徴を抽出する。そして、画像特徴部が、その画像特徴に基づき、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、切り出した文字列の文字数Ｍ×Ｎ次のインデックス行列を作成する。
【００１８】
作成されたインデックス行列は、インデックス情報格納部にて、入力された画像文書に対応づけて格納され、検索に際しては、このインデックス行列が画像文書を検索するためのインデックス情報として利用される。
【００１９】
これにより、ユーザの手を煩わせることなく、また、ＯＣＲ認識も用いることなく、画像文書の文字領域にある文字列を自動的に定位し、定位した文字列の画像特徴で画像文書のインデックス情報を生成することができる。
【００２０】
しかも、各文字画像の画像特徴を抽出して、画像特徴が似ている候補文字を複数選択するので、選択する候補文字数を適切に設定することで、ＯＣＲ認識のように文字認識に時間がかかることもなく、認識漏れをなくして正確な検索が可能となる。
【００２１】
また、字形特徴辞書は、全て単文字の文字画像の画像特徴を単位として作成されており、特徴適合部は、切り出された文字列の画像を単文字の文字画像に分割して画像特徴の適合をとるので、生成されたインデックス行列の精度が高い。
【００２２】
検索時は、検索部が、入力された検索式中の検索キーワードを構成する１検索文字単位にインデックス情報格納部を検索して検索文字を含むインデックス行列を有する画像文書を取り出す。
【００２３】
このように、検索キーワードを構成する検索文字単位でインデックス行列を分析して検索キーワードを含むインデックス行列を検出することで、単文字検索による全面的な検索を保証できる。
【００２４】
さらに、本発明の画像文書処理装置は、前記文字列抽出部が、前記入力された画像文書における見出し領域を切り出すことを特徴とすることもできる。
【００２５】
上記構成によれば、前記文字列抽出部が画像文書における見出し領域を切り出すので、画像文書の見出しに対してインデックス行列が作成されていくこととなる。
【００２６】
したがって、画像文書のテキスト領域全域を対照にインデックス行列を作成するよりも、１つの画像文書に作成されるインデックス行列数が絞り込むことができ、見出しを対象に画像文書を検索することが可能となり、効率のよいキーワード検索が可能となる。
【００２７】
さらに、本発明の画像文書処理装置は、前記文字列抽出部が、射影法と連通域統計分析法とにより、画像文書における重要領域を切り出すことを特徴とすることもできる。
【００２８】
これにより、前記文字列抽出部が画像文書における見出し領域の切り出しを、容易に実現することが可能となる。
【００２９】
さらに、本発明の画像文書処理装置は、前記画像特徴抽出部が、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出することを特徴とすることもできる。
【００３０】
これにより、字形の違いによるが画像特徴を効率よく抽出することができる。
【００３１】
さらに、本発明の画像文書処理装置は、前記特徴適合部が、抽出された文字画像の画像特徴を、前記字形特徴辞書に格納されている全ての文字画像と適合させて候補文字を選択することを特徴とすることもできる。
【００３２】
これにより、最も正確な順序にて候補文字を選択してインデックス行列を作成することができる。
【００３３】
さらに、本発明の画像文書処理装置は、前記特徴適合部が選択する候補文字数Ｎが変更可能であることを特徴とすることもできる。
【００３４】
候補文字数Ｎを変更可能とすることで、ユーザの要望に応じたインデックス行列を作成することができる。例えば、候補文字数Ｎを少なくすることで、インデックス行列の次数が小さくなり、検索時間は短くでき、検索精度及び検索正確率を上げられる。逆に候補文字数Ｎを多くすることで、インデックス行列の次数が大きくなり、検索漏れをなくして検索率を上げることができる。
【００３５】
さらに、本発明の画像文書処理装置は、前記検索部が、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出すことを特徴とすることもできる。
【００３６】
前述した特許文献２の構成によれば、検索キーワードを代表文字コード列に変換しての検索であっため、類似文字カテゴリ中の位置までは分析することはできない。そのため、同じ類似文字カテゴリ内に属している各文字は、類似度の高いものも低いものも同じ関連具合となり、関連性の高い画像文書から順に正確に提示するといったことができなかった。
【００３７】
しかしながら、上記構成によれば、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出されるので、検索結果を、関連性の高い画像文書から順に提示することができる。
【００３８】
さらに、本発明の画像文書処理装置は、前記インデックス行列の各要素には、位置に応じた相関値が設定されており、前記検索部が、検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理部と、前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出する相関度算出部と、前記相関度算出部の算出結果に基づいて画像文書の取り出す順序を決定する順序決定部とを含むことを特徴とすることもできる。
【００３９】
上記構成によれば、インデックス行列の各要素には、位置に応じた相関値が設定されている。この相関値は、検索文字とインデックス行列内の候補文字との相関値であり、特徴適合部が選択した候補文字の順に応じて設定され、通常は列番号の若い要素ほど大きい値に設定される。
【００４０】
検索部のインデックス行列検索処理部は、検索キーワードを構成する１検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納する。
【００４１】
そして、検索部の相関度算出部が、この保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出し、順序決定部が、相関度の高いものから順に画像文書を取り出す。
【００４２】
これにより、検索キーワードを構成する各検索文字のインデックス行列内の適合位置が高いインデックス行列を有する画像文書から順に取り出し、検索結果を、関連性の高い画像文書から順に提示するといったことを簡単に実現できる。
【００４３】
さらに、前記相関度算出部が、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とすることもできる。
【００４４】
これによれば、前記相関度算出部は、インデックス行列における隣接する行に適合していると判断すると、対応する行の相関値に行の相関度加重因子が加重される。つまり、文字単位での検索を行いながら、検索キーワードの各検索文字が連続して含まれるような場合には、そのインデックス行列を有する画像文書の検索結果が上位となる。これにより、簡単な計算で有効な検索を実施することができる。
【００４５】
本発明の画像文書処理装置においては、さらに、前記インデックス行列の各要素に設定されている相関値が、変更が可能であることを特徴とすることもできる。
【００４６】
相関値を変更可能とすることで、ユーザの要望に応じた検索を実現できる。例えば、候補文字数Ｎは同じであっても、Ｎ個の候補文字の列番号に応じた相関値を、第Ａ番目までは高くそれ以降は低く設定するといった変化を付けることで、検索結果は変化するので、ユーザの要望に応じて柔軟な対応が取れる。
【００４７】
本発明の画像文書処理装置においては、さらに、前記行の相関度加重因子が、変更が可能であることを特徴とすることもできる。
【００４８】
行の相関度加重因子を変更可能とすることで、ユーザの要望に応じた検索を実現できる。例えば、行の相関度加重因子を大きくすることで、算出される相関度への貢献度が、連続的に適合された２行の相関値では大きくなり、語彙を一つの単位として検索した結果に近づくようになる。逆に行の相関度加重因子を小さくすることで、字を１つの単位として検索した結果に近づくようになる。これにより、ユーザの要望に応じた検索となるように、柔軟な対応が取れる。
【００４９】
さらに、本発明の画像文書処理装置においては、前記画像特徴抽出部を用いて、前記字形特徴辞書を作成する字形特徴辞書生成部を備えることを特徴とすることもできる。
【００５０】
これによれば、字形特徴辞書生成部が、画像特徴抽出部を兼用して、字形特徴辞書を作成するので、ユーザが、異なる字体、字号、フォントに対して、字形の特徴を抽出させて字形特徴辞書を作成することが簡単に行える。また、字体等だけでなく、異なる言語の文字についても、各字体、字号、フォントに対して、簡単に字形特徴辞書を作成することができる。
【００５１】
さらに、本発明は、上記した本発明の画像文書処理装置における各部としてコンピュータを機能させるためのプログラムと、該プログラムが記録されたコンピュータ読み取り可能な記録媒体の、その範疇とする。
【００５２】
さらに、本発明の画像文書処理装置は、入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で抽出する文字列抽出ステップと、前記文字列抽出ステップにて抽出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を１文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成する特徴適合ステップと、前記特徴適合ステップにて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、検索時に、前記インデックス情報格納ステップにて格納されたインデックス情報を、入力された検索式中の検索キーワードを構成する１検索文字単位に検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索ステップとを有することを特徴とすることもできる。
【００５３】
さらに、本発明は、上記した本発明の画像文書処理装置における各部としてコンピュータを機能させるためのプログラムと、該プログラムが記録されたコンピュータ読み取り可能な記録媒体の、その範疇とする。
【００５４】
つまり、上記画像文書処理装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記した各部としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
【００５５】
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像文書処理装置として動作する。したがって、上記画像文書処理装置と同様の効果を奏する。
【発明の効果】
【００５６】
本発明の画像文書処理装置は、以上のように、文字画像の画像特徴を１文字単位で格納している字形特徴辞書と、入力された画像文書中にある文字画像を複数の文字よりなる文字列単位で切り出す文字列抽出部と、前記文字列抽出部にて切り出された文字列の文字画像を１文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にＮ個（Ｎ＞１の整数）の文字画像を候補文字として選択し、前記文字列の文字数をＭ個（Ｍ＞１の整数）とした場合に、Ｍ×Ｎ次のインデックス行列を作成する特徴適合部と、前記特徴適合部にて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、検索時に、入力された検索式中の検索キーワードを構成する１検索文字単位に前記インデックス情報格納部を検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索部とを有する構成である。
【００５７】
これにより、ユーザの手を煩わせることのないインデックス作成機能を、ＯＣＲ認識を用いることなく実現しながら、高精度な検索が可能な画像文書処理装置及び画像文書処理方法を提供することができる。
【発明を実施するための最良の形態】
【００５８】
本発明は、画像の特徴認識と適合技術とに基づく画像文書のインデックス生成と検索に関するものである。そして、より好適な実施の形態として、ここでは、画像文書の重要文字領域に基づいて画像文書のインデックス情報を生成し、生成されたインデックス情報に対して検索を行う方法及び装置について開示する。
【００５９】
以下、本発明にかかる実施の一形態について、図１〜図１４に基づいて説明する。なお、本発明はこれに限定されるものではない。
【００６０】
図２は、本実施形態の画像文書処理装置の構成図である。図２において、１はキーボードであり、検索キーワードの入力や、後述する候補文字数、相関値、行の相関度加重因子Ｑ等の設定値変更にも用いられる。
【００６１】
２は、イメージスキャナであり、画像文書を取得するものである。なお、画像文書の取得は、イメージスキャナ２に限られるものではなく、ネットワーク等を介して通信を行うことによって取得するものであってもよい。また、イメージスキャナ２を用いた検索キーワードの入力も可能である。
【００６２】
３は、検索した画像文書を出力して表示する表示装置である。表示される内容には、相関度の情報や、画像名称などの情報も含まれる。
【００６３】
４は、画像文書より検索の要となる重要領域の切り出しを行う画像文書特徴抽出処理、画像文書に対する検索を可能にするインデックス情報を作成するインデックス情報生成処理、作成したインデックス情報を用いた検索処理を実際に行うプロセッサである。５は、プロセッサ４が実際の処理を行うためのソフトウエア等を格納した外部記憶装置である。
【００６４】
上記プロセッサ４における実際の処理は、外部記憶装置５に蓄えられたソフトウエアによって実行される。プロセッサ４は、例えば通常のコンピュータ本体等で構成される。本実施の形態では、プロセッサ４は、インデックス情報生成処理に用いる後述する字形特徴辞書１５（図１参照）を作成する字形特徴辞書作成処理も実施するようになっている。
【００６５】
外部記憶装置５は、例えば高速アクセスが可能なハードディスク等で構成することができる。外部記憶装置５は、画像文書を大量に保持するために光ディスクなどの大容量デバイスを用いるような構成をとっても構わない。
【００６６】
後述する字形特徴辞書１５、インデックス情報データベース１７、画像文書データベース１９、字形見本データベース１３等は、この外部記憶装置５にて構成される。
【００６７】
図１は、本発明の実施の一形態を示すものであり、画像文書処理装置の機能を示す機能ブロック図である。
【００６８】
図１に示すように、本実施の形態の画像文書処理装置は、文字データベース入力部（文字ＤＢ入力部）１１、字体正規化処理部１２、字形見本データベース（字形見本ＤＢ）１３、文字画像特徴抽出部（画像特徴抽出部）１４、字形特徴辞書１５、特徴適合部（特徴適合部）１６、インデックス情報データベース（インデックス情報ＤＢ：インデックス情報格納部）１７、重要領域初期処理部（文字列抽出部）１８、画像文書データベース（画像文書ＤＢ）１９、画像文書特徴データベース（画像文書特徴ＤＢ）２０、画像文書入力部２１、検索部２２、意味解析部２３、キーワード入力部２４、及び検索結果表示部２５を含んでいる。
【００６９】
このうち、文字ＤＢ入力部１１、字体正規化処理部１２、字形見本ＤＢ１３、文字画像特徴抽出部１４、字形特徴辞書１５にて、上記した字形特徴辞書作成処理を実施する字形特徴辞書生成部３０が構成される。
【００７０】
まず、字形特徴辞書生成部３０を構成する、上記機能ブロック１１、１２、１３、１４、１５について説明する。
【００７１】
文字ＤＢ入力部１１は、字形特徴辞書１５を作成するために必要な、基本となる文字データベースを入力するためのものである。本装置が、例えば、中国語対応の装置であれば、中華人民共和国におけるＧＢ２３１２の６７６３個の全文字等が入力される。また、本装置が、日本語対応の装置であれば、ＪＩＳ第一水準の約３，０００字種等が入力される。つまり、ここで言う文字には、符号が含まれる。このような文字ＤＢ入力部１１は、プロセッサ４にて構成され、文字データベースは、記録媒体を介して、或いはネットワーク等を通じて供給される。
【００７２】
字体正規化処理部１２は、文字ＤＢ入力部１１より入力された文字データベースに含まれる全ての文字について、異なるフォントとサイズの文字画像を作成するものである。異なるフォントとサイズの文字画像は、字形見本ＤＢ１３に格納される。
【００７３】
図３に、字体正規化処理部１２が字形見本ＤＢ１３を作成する処理を示す。字体正規化処理部１２には、本装置が中国語対応の装置であれば、例えば、宋体、倣宋体、黒体、楷体等の字形見本１２ａが具備されている。また、本装置が日本語対応の装置であれば、ＭＳ明朝、ＭＳゴシック…等の字形見本が具備されている。
【００７４】
字体正規化処理部１２における変形処理部１２ｂが、文字データベースの文字を画像化し、文字画像を標準化処理する。次に、変形処理部１２ｂは、字形見本１２ａを参照して、標準化処理した文字画像に対し、変形処理を施し、さらに異なるフォントとサイズの文字画像にする。変形処理には、例えば、曖昧化処理、拡大・縮小化処理、微細化処理等がある。このように変形処理された文字画像を、字体基準部１２ｃは、基準文字画像として字形見本ＤＢ１３に格納する。
【００７５】
字形見本ＤＢ１３には、文字データベースの全ての文字に対して、同じ文字であっても、フォント、サイズによって決まる字形毎に基準文字画像が格納されている。例をあげると、文字種は同じ「中」であっても、定められているフォントの数だけ形状の異なる基準文字画像の「中」があり、また、定められているサイズの数だけ大きさの異なる基準文字画像の「中」が格納されている。
【００７６】
文字画像特徴抽出部１４は、文字画像の特徴（画像特徴）を抽出して、字形特徴辞書１５に格納するものでもある。本実施の形態では、文字画像特徴抽出部１４は、文字画像外囲特徴と網格方向との組合せによって文字画像の特徴を抽出し、特徴ベクトルとする。なお、文字画像の特徴は、これらに限られるものではなく、他の特徴を抽出して特徴ベクトルを形成してもよい。
【００７７】
ここで、文字画像外囲特徴及び網格方向特徴について説明しておく。図４は、文字画像外囲特徴の説明図である。文字画像外囲特徴とは、文字画像の外部からみた輪郭の特徴である。図４に示すように、文字画像の外接矩形の４辺から走査し、白画素から黒画素に変化する点までの距離を特徴とし、最初に変化する位置と２度目に変化する位置を取り出す。
【００７８】
例えば、外接矩形をＸ行Ｙ列に分割した場合、行を単位として左方向と右方向からそれぞれ画像を走査し、列を単位として上方向と下方向からそれぞれ走査する。なお、図４は、行を単位に左からの走査している図面である。
【００７９】
また、図４において、実線の矢印１にて、最初に白画素から黒画素に変化する点までの走査軌跡を示している。破線の矢印２は、２回目に白画素から黒画素に変化する点までの走査軌を示している。実線の矢印３は、最後まで白画素から黒画素に変化する点を検出することができなかった走査軌跡を示しており、このような場合、距離値は０となる。
【００８０】
一方、図５（ａ）（ｂ）は、網格方向特徴の説明図である。文字画像を粗い網格に分割し、各格子領域内の黒画素についてあらかじめ定めた複数方向に触手を伸ばす。そして、各方向に連結する黒画素の画素数を計数し、該黒画素の各方向成分別の分布状況を表す方向寄与度を、識別関数としてユークリッド距離を用いて黒画素数の差に応じた値により距離値を除算して距離値を算出する。
【００８１】
図５（ａ）では、文字画像を４×４の１６個の格子に分割し、格子の交点からＸ軸方向に最も近い黒画素から白画素になる点を中心に、Ｘ軸方向（０°）、４５°方向、Ｙ軸方向（９０°）の３方向に触手を伸ばしている。
【００８２】
本実施例では、文字画像を８×８の４角の網に分割し、図５（ｂ）に示すように、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の８方向に触手を伸ばすようになっている。
【００８３】
なお、網格方向の特徴の抽出方法としては、触手の伸ばす方向や、触手を伸ばす中心点を置き方など、様々な手法があり、例えば、特開２０００−１８１９９４号公報等に記載されている。
【００８４】
文字画像特徴抽出部１４は、このような文字画像の特徴の抽出を、文字形状見本ＤＢ１３に格納されている、基準文字画像の全部に対して行う。そして、文字画像特徴抽出部１４は、字形見本ＤＢ１３に格納されている基準文字画像の抽出結果については字形特徴辞書１５に格納し、字形特徴辞書１５を生成する。
【００８５】
図６に、文字画像特徴抽出部１４による字形特徴辞書１５を作成する処理を示す。文字画像特徴抽出部１４における字形基準化部１４ａが、字形見本ＤＢ１３から基準文字画像を取り出し、文字画像特徴取出部１４ｂは、字形基準化部１４ａが取り出した基準文字画像に対してその特徴を取り出す。そして、特徴分類部１４ｃが、字形見本ＤＢ１３を参照して、基準文字画像毎に抽出した特徴を分類して、字形特徴辞書１５に格納する。
【００８６】
文字画像特徴取出部１４ｂにおいては、上述したように、単文字ごと、加重付けによる異なる基準文字画像の特徴の適値を求め、基準文字画像の標準特徴を取得する。
【００８７】
文字画像特徴取出部１４ｂが、異なる字体字号を加重させることによって、異なる字形特徴辞書を作成することができる。多字体の画像特徴を融合し、単文字画像特徴を単位で字形特徴辞書を作成することで、多字体・字号画像文書の自動インデックスと管理を満足できる。
【００８８】
次に、画像文書特徴抽出処理を実施する画像文書特徴抽出部３１を構成する、画像文書ＤＢ１９、画像文書特徴ＤＢ２０、重要領域初期処理部１８、文字画像特徴抽出部１４について説明する。
【００８９】
画像文書ＤＢ１９は、画像文書入力部２１より画像文書が入力されると、識別のための文書ＩＤを付けて保存するものである。
【００９０】
重要領域初期処理部１８は、画像文書ＤＢ１９に新しい画像文書が保存されると、そのイメージデータより画像文書における重要領域を定位して抽出して、文字画像を前述した文字画像特徴抽出部１４に送るものである。
【００９１】
図９に、画像文書５０に対して、Ｔ１、Ｔ２、Ｔ３の３領域を重要領域として定位した様子を示す。この図９からも分かるように、画像文書５０におけるタイトル部分を重要領域Ｔとして抽出する。
【００９２】
重要領域初期処理部１８にて抽出されて文字画像特徴抽出部１４に送られる文字画像は、通常は複数の文字を含んだ文字列の画像である。したがって、これ以降は、重要領域初期処理部１８より送られる文字画像は文字列の画像であるとして説明する。
【００９３】
本実施の形態では、重要領域初期処理部１８は射影法と連通域統計分析により、重要領域Ｔの定位及び抽出を行う。なお、このような重要領域Ｔは、主にタイトル部分が相当し、例えば、特開平９−３１９７４７号公報、特開平８−１５３１１０等に記載されている方法など、従来ある様々な手法を用いることができる。
【００９４】
画像文書の全ての文字領域（テキスト領域）を対象とすることなく、このようにタイトル部分などの重要領域Ｔのみを定位し抽出しているため、検索の対象となる情報量を少なくして検索時間を短くできる。
【００９５】
但し、全てのテキスト領域を定位することなく、タイトル部などの重要領域のみを定位することは必須の構成要素でない。つまり、全文テキスト領域を定位して抽出することも可能である。
【００９６】
文字画像特徴抽出部１４は、重要領域初期処理部１８から入力される文字列の画像については、１文字の文字画像に分割した上で、字形特徴辞書１５の作成時と同様、各文字画像の特徴を抽出する。そして、抽出した特徴は、画像文書特徴ＤＢ２０に画像文書ごとに格納する。
【００９７】
画像文書特徴ＤＢ２０には、重要領域初期処理部１８にて抽出された重要領域Ｔに含まれる文字列の画像の特徴情報が、文字列を構成する各文字それぞれの特徴（特徴ベクトル）として格納される。
【００９８】
図９に示ように、１つの画像文書５０に対して、抽出された全ての重要領域Ｔ１、Ｔ２、Ｔ３…に含まれる文字列の文字画像の特徴、つまり文字列を構成する各文字の文字画像の特徴が、画像文書５０の文書ＩＤと共に格納される。
【００９９】
次に、インデックス情報作成処理を実施するインデックス情報生成部３２を構成する、文字画像特徴抽出部１４、字形特徴辞書１５、特徴適合部１６、インデックス情報ＤＢ１７、画像文書特徴ＤＢ２０について説明する。
【０１００】
文字画像特徴抽出部１４、字形特徴辞書１５、画像文書特徴ＤＢ２０の機能は既に説明したとおりである。
【０１０１】
特徴適合部１６は、画像文書特徴ＤＢ２０より画像文書の重要領域Ｔに含まれる文字画像の特徴を読み出し、該読み出した特徴に基づいて、字形特徴辞書１５を参照して後述するようにインデックス行列を作成して、画像文書のインデックス情報を生成するものである。
【０１０２】
ここで、インデックス情報が１つの画像文書に対して１つ生成され、インデックス情報に含まれるインデックス行列は、重要領域Ｔ毎に作成される。したがって、１つの画像文書内に重要領域Ｔが複数ある場合は、当該画像文書のインデックス情報の中に複数のインデックス行列が含まれることとなる。
【０１０３】
図７に、インデックス情報ＤＢ１７を作成する処理を示す。上述したように、ある画像文書が入力されて画像文書ＤＢ１９に格納されると、文字画像特徴取出部１４ｂが、各重要領域Ｔに含まれる文字列の文字画像の特徴を抽出して、画像文書特徴ＤＢ２０に格納する。
【０１０４】
特徴適合部１６は、画像文書特徴ＤＢ２０より、各重要領域Ｔに含まれる文字列の画像の特徴を読み出し、単文字ごとに字形特徴辞書１５内の基準文字画像と適合を行って、重要領域Ｔそれぞれのインデックス行列を作成する。
【０１０５】
そして、特徴適合部１６は、これらインデックス行列に、当該画像文書のその他の情報である、文書ＩＤや画像文書ＤＢ１９内における該当する画像文書の保存位置の情報などを含めてインデックス情報とし、インデックス情報ＤＢ１７に格納する。
【０１０６】
図８に、特徴適合部１６によるインデックス行列を作成する処理の一例を示す。図８は、図９における重要領域Ｔ３に含まれる文字列「去神仙居住的地方」の８つの文字画像について、インデックス行列を作成する説明図である。
【０１０７】
文字列『去神仙居住的地方』は、「去」「神」「仙」「居」「住」「的」「地」「方」の１文字画像に分割される。このような文字列の画像を１文字づつの画像に分割する処理は、従来よるある方法を利用できる。
【０１０８】
「去」…「地」の８文字には、並び順に従い、「去」には１、「神」には２、…「方」には８というように、１〜８までの番号が付される。この番号は、インデックス行列の行番号に相当する。
【０１０９】
このような８つの文字画像全てに対して、図８に参照符号Ａにて示す、画像文書特徴ＤＢ２０より格納されている文字画像「去」に対する特徴を取り出し（Ｓ１）、字形特徴辞書１５を参照して特徴が近い（適合度が高い）順に、Ｎ個の候補文字を選択する（Ｓ２）といった処理が実施される。
【０１１０】
適合度の高い順に抽出されるＮ個の候補文字には、抽出順序に応じた番号が付され、これがインデックス行列の列番号に相当する。そして、検索キーワードに含まれる各検索文字と候補文字との適合度を示す文字相関値（相関値）は、この列番号に応じて設定されている。
【０１１１】
図８に、参照符号１００にて示すテーブルは、文字列『去神仙居住的地方』のインデックス行列の内容を示している。例えば、５文字目の「住」の文字画像に対しては、行番号５の行に適合度の高い１列目から順に、「任」,「佳」，「住」，…「仁」の候補文字が抽出されている。テーブル１００において、例えば候補文字「去」のインデックス行列内の位置は［１,１］、候補文字「屑」の位置は［４,２］、候補文字「仁」の位置は［５,Ｎ］となる。
【０１１２】
なお、図８のテーブル１００では、理解を助けるために、文字列の各文字に対応する候補文字に対しては○を付して示している。
【０１１３】
このようなインデックス行列の行数Ｍは、重要領域初期処理部１８が重要領域Ｔとして抽出した文字列の画像の文字数にて決まる。また、列数Ｎは、１文字について選出する候補文字数にて決まる。したがって、本発明によれば、インデックス行列の次元数（列数）を変えることで、インデックス行列内の要素数、つまり、候補文字数量を柔軟に設定することができる。そのため、画像文書の検索において、正確でほぼ漏れのない検索を行うことができる。
【０１１４】
インデックス行列において、選択された候補文字の情報の持たせ方は、検索キーワードの入力方法に応じて適宜設定することができる。例えば、検索キーワードをキーボード１より入力する構成であれば、キーボードから入力された検索キーワードに対して検索を掛けることができるように、候補文字を文字コード等の情報で格納する。
【０１１５】
また、イメージスキャナ２等を用いて検索キーワードをイメージデータにて入力する構成であれば、検索キーワードの特徴（特徴ベクトル）を抽出し、特徴ベクトル同士を比べて掛けることができるように、候補文字を特徴（特徴ベクトル）の情報で格納すればよい。
【０１１６】
図９に、インデックス情報ＤＢ１７におけるインデックス情報のデータ配置例を示す。複数の重要領域Ｔ１、Ｔ２、Ｔ３…Ｔｎが存在する画像文書５０のインデックス情報では、複数の重要領域Ｔ１、Ｔ２、Ｔ３…Ｔｎに対して作成されたインデックス行列が線形に配置される。図９の例では、文書ＩＤが先頭に配置され、続いて、複数のインデックス行列が配列され、最後に保存位置の情報が配置されている。ここで、５×Ｎは、インデックス行列のサイズを示しており５行Ｎ列であることを示している。
【０１１７】
インデックス情報をこのようなデータ配置としておくことで、画像文書ＤＢ１９内の画像文書の格納位置と、画像文書中の重要領域Ｔの位置を迅速に定位して、検索結果の表示に用いることができる。
【０１１８】
また、実際の要求に従って、インデックス情報に画像文書の他の属性を追加することもできる。
【０１１９】
次に、インデックス情報を用いた検索処理を実施する検索部２２について説明する。図１０は、検索部２２の機能と検索処理とを示す説明図である。検索部２２は、インデックス行列検索処理部２２ａ、文字相関値保存部（保存部）２２ｂ、相関度算出部２２ｃ、表示順序決定部（順序決定部）２２ｄ、及び画像文書抽出部２２ｅを含む。
【０１２０】
インデックス行列検索処理部２２ａには、キーワード入力部２４より検索キーワードが入力される。キーワード入力部２４としては、前述したキーボード１或いはイメージスキャナ２等が相当する。
【０１２１】
インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７に対して検索を行い、入力された検索キーワードを含むインデックス行列を検出するものである。インデックス行列検索処理部２２ａは、検索キーワードを１文字ごとに分割し、各検索文字を含むインデックス行列を探し、検索文字が含まれている場合は、当該検索文字のインデックス行列内の適合位置の情報を取得する。なお、インデックス行列の抽出手順例については、図１１のフローチャートを用いて後述する。
【０１２２】
文字相関値保存部２２ｂは、インデックス行列検索処理部２２ａにて取得された適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存するものである。
【０１２３】
相関度算出部２２ｃは、インデックス行列検索処理部２２ａにおける全てのインデックス行列に対する検出が完了すると、検出されたインデックス行列と検索キーワードとの相関度を算出するものである。
【０１２４】
相関度の算出は、文字相関値保存部２２ｂに保存されている適合位置及び文字相関値の情報を用い、予め設定されている相関度算出方法に従うことで算出する。相関度の算出については、図１２、図１３を用いて後述する。
【０１２５】
なお、ここでは、文字相関値保存部２２ｂが、適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存する構成としていたが、文字相関値保存部２２ｂは、適合位置のみを保存し、相関度算出部２２ｃが、適合位置の情報より文字相関値を取得する構成としてもよい。
【０１２６】
表示順序決定部２２ｄは、相関度算出部２２ｃにて算出された相関度の情報を基に、表示順序を決定するものである。表示順序決定部２２ｄは、相関度の高いインデックス行列を含む画像文書より順に、画像文書の内容が検索結果表示部２５に表示されるように表示順序を決定する。
【０１２７】
画像文書抽出部２２ｅは、表示順序決定部２２ｄにて決定された順序に従い画像文書が表示されるように、画像文書ＤＢ１９より画像文書のイメージデータを読み出し、検索結果表示部２５に出力して表示させるものである。
【０１２８】
検索結果表示部２５は、表示順序に従い画像文書を表示する。サムネイル表示などであってもよい。検索結果表示部２５としては、前述した表示装置３等が相当する。
【０１２９】
ここで、検索手順について説明する。図１１は、検索部２２における検索手順を示すフローチャートである。Ｒ個の文字列よりなる検索キーワードが入力され、検索が指示されると、インデックス行列検索処理部２２ａは、まず、検索キーワードの第１番目の検索文字を取り出す（Ｓ１１）。
【０１３０】
次に、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第１番目の検索文字を検索する（Ｓ１２）。
【０１３１】
全てのインデックス行列に対する検索が完了すると、第１番目の検索文字を検索できたかどうかを判断し、１つも検索できなかった場合はＳ１９に移行し、検索できた場合はＳ１４に進む。
【０１３２】
Ｓ１４においては、インデックス行列検索処理部２２ａが、第１番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。
【０１３３】
続いて、インデックス行列検索処理部２２ａは、第１番目の検索文字が含まれていた全てのインデックス行列を取り出す（Ｓ１５）。そして、検索キーワードの次の文字である第２番目の検索文字を取り出し、Ｓ１５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する（Ｓ１６）。
【０１３４】
Ｓ１５で取り出した全てのインデックス行列に対する検索が完了すると、第２番目の検索文字を検索できたかどうかを判断し（Ｓ１７）、１つも検索できなかった場合は上記と同様にＳ１９に移行し、検索できた場合はＳ１８に進む。
【０１３５】
Ｓ１８においては、インデックス行列検索処理部２２ａが、第２番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部２２ｂに保存する。
【０１３６】
続いて、インデックス行列検索処理部２２ａは、再度Ｓ１６に戻り、検索キーワードのさらに次の文字である第３番目の検索文字を取り出し、Ｓ１５で取り出した第１番目の検索文字を含んでいたインデックス行列に対して検索する。
【０１３７】
そして、ここでも、検索が完了すると、インデックス行列検索処理部２２ａは、第３番目の検索文字を検索できたかどうかを判断し（Ｓ１７）、１つも検索できなかった場合はＳ１９に移行し、検索できた場合は再度Ｓ１８に進み、検索キーワードのさらなる次の検索文字についての検索を行う。
【０１３８】
このようなＳ１６〜Ｓ１８までの処理、つまり、Ｓ１５にて抽出した、第１番目の検索文字が含まれているインデックス行列を対象とした、第２番目以降の各検索文字の絞り込み検索を、インデックス行列検索処理部２２ａは、Ｓ１７で文字を１つも検出できなかったと判断するか、検索キーワード内の全検索文字に対しての検索が完了したと判断するまで行い、その後、Ｓ１９に移行する。
【０１３９】
Ｓ１９では、検索キーワードにおける次の文字である第２番目の検索文字を取り出す。次いで、検索文字が終わりか、つまり、全ての検索文字に対して検索を終えたかどうを判断し（Ｓ２０）、終わっていない場合は、Ｓ１２に戻る。
【０１４０】
そして、上記と同様にして、インデックス行列検索処理部２２ａは、インデックス情報ＤＢ１７内の全てのインデックス行列に対して、第２番目の検索文字を検索する。検索できた場合は、インデックス行列の適合位置と文字相関値を保存した上でＳ１５に進み、第２番目の検索文字を含んでいる全てのインデックス行列に対して、検索キーワードの次の文字、つまり、第２番目の次である第３番目以降の各検索文字に対して、Ｓ１６〜Ｓ１８を繰り返し行って絞り込み検索を行う。
【０１４１】
インデックス行列検索処理部２２ａは、上記のような検索を、Ｓ１９で検索文字を一つ進め、進めた検索文字を含むインデックス行列を取り出し、それ以降の検索文字にて絞り込みを掛けるといった処理を、第３番目以降の各検索文字についても順次行う。
【０１４２】
そして、Ｓ１９にて検索キーワード内の全ての検索文字について取り出しを終え、Ｓ２０にて、全ての検索文字に対して検索を終了したと判断した場合は、Ｓ２１に進む。
【０１４３】
Ｓ２１では、相関度算出部２２ｃが、検索キーワードと各インデックス行列との相関度を、後述するように相関度基準にしたがって算出する。
【０１４４】
そして、表示順序決定部２２ｄが相関度の高いインデックス行列を含む画像文書より表示されるように表示順序を決定し、画像文書抽出部２２ｅが画像文書ＤＢ１９より画像文書のイメージデータを取得し、検索結果表示部２５が相関度の高い順に画像文書を表示する（Ｓ２２）。
【０１４５】
続いて、図１２、図１３を用いて、相関度算出部２２ｃにおける相関度基準にしたがった、インデックス行列と検索キーワードとの相関度算出方法について説明する。
【０１４６】
図１２の参照符号１０１のブロックには、検索条件を記載している。そして、参照符号１０２のブロックには、相関度を計算するためのある仮定の検索キーワードとインデックス行列との相対関係を記載している。ブロック１０１に示した検索条件で、検索キーワードとインデックス行列とが、ブロック１０２に示すような相対関係であった場合、検索キーワードとインデックス行列の相関度は、ブロック１０３にて示されるような計算式にて算出されることとなる。
【０１４７】
まず、ブロック１０１の検索条件について説明する。検索キーワードの文字数はＲ個であり、第１番目の検索文字がＣ１、第２番目がＣ２、…、第Ｒ番目がＣｒである。
【０１４８】
検索対照となるインデックス行列はＭ×Ｎ次行列である。つまり、重要領域Ｔとして切り出された文字列画像の文字数がＭ個であり、文字列の各文字それぞれの候補として選択された候補文字数がＮ個である。
【０１４９】
検索文字と各候補文字との相関値である文字相関値は、インデックス行列の各位置に応じて定められているので、インデックス行列と同じ次数の行列となる。つまり、文字相関値行列Weightは、Ｍ×Ｎ次行列である。例えば、Weight[i][j]は、インデックス行列における位置［ｉ，ｊ］（＝Index[i][j]）にある候補文字が適合された場合の文字相関値を表している。本実施の形態では、インデックス行列の列番号[ｊ]が同じであれば、行番号[ｉ]に関わらず、文字相関値は同じである。
【０１５０】
行の相関度加重因子Ｑは、インデックス行列における隣接する２行にわたって、検索文字が適合した場合に、それら２行の文字相関値に加えられる加重である。隣接する２行にわたって検索文字が適合する場合、検索キーワードの連続する２文字を含んでいる可能性が高い。
【０１５１】
行の相関度加重因子Ｑを高く設定すると、相関度算出部２２ｃが算出する相関度への貢献度が、連続的に適合された２行の文字相関値では大きくなるが、隣接しない各行の文字相関値では小さくなる。つまり、行の相関度加重因子Ｑを高く設定することで、語彙を一つの単位として検索した結果に近づくようになり、逆に行の相関度加重因子Ｑを小さくすることで、字を１つの単位として検索した結果に近づくようになる。
【０１５２】
検索文字Ｃ１が適合した文字相関値はＷ１、検索文字Ｃ２が適合した文字相関値はＷ２,…、検索文字Ｃｒが適合した文字相関値はＷｒとして表す。
【０１５３】
続いて、ブロック１０２に示す、相関度を計算するために仮定した、検索キーワードとインデックス行列との相対関係について説明する。
【０１５４】
検索キーワードとインデックス行列とは、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にある。検索文字Ｃ１、Ｃ２、…Ｃｒが適合した各候補文字のインデックス行列内の位置、つまり適合位置を、［Ｃ１ｉ，Ｃ１ｊ］,［Ｃ２ｉ，Ｃ２ｊ］,…［Ｃｒｉ，Ｃｒｊ］として表す。
【０１５５】
そして、さらなる相対関係として、ブロック１０２に示す式（１）、
Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１，Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１（ｍ＞ｋ）
の関係にある。
【０１５６】
該式において、ｋ,ｍは、検索キーワードを構成する各検索文字の相対位置を表している。また、Ｃ（ｋ＋１）ｉは、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号を示し、Ｃｋｉは、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号を示している。
【０１５７】
したがって、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字が適合した候補文字のインデックス行列内の行番号が、検索キーワードの第ｋ番目の検索文字が適合した候補文字のインデックス行列内の行番号にプラス１したものと同じであることを示している。換言すると、Ｃ（ｋ＋１）ｉ＝Ｃｋｉ＋１は、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。
【０１５８】
Ｃ（ｍ＋１）ｉ＝Ｃｍｉ＋１も同様であり、検索キーワードの第ｍ＋１番目の検索文字と第ｍ番目の検索文字とが、インデックス行列における隣接した２行にそれぞれ適合する関係にあることを示している。
【０１５９】
検索キーワードとインデックス行列とが、このような相対関係にある場合、検索キーワードとインデックス行列との相関度は、ブロック１０３に示す式（２）にて算出される。
【０１６０】
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗｒ
該式において、Ｗ１は、第１番目の検索文字Ｃ１が適合した文字相関値であり、Ｗ２は第２番目の検索文字Ｃ２が適合した文字相関値、Ｗ(ｋ−1)は、第（ｋ−１）番目の検索文字Ｃ（ｋ−１）が適合した文字相関値である。同様にして、Ｗ(ｋ)は、第ｋ番目の検索文字Ｃｋが適合した文字相関値であり、Ｗ(ｋ＋１)は、第(ｋ＋１)番目の検索文字Ｃ(ｋ＋１)が適合した文字相関値である。また、Ｗ(ｍ−1)は、第（ｍ−１）番目の検索文字Ｃ（ｍ−１）が適合した文字相関値である。同様にして、Ｗ(ｍ)は、第ｍ番目の検索文字Ｃｍが適合した文字相関値であり、Ｗ(ｍ＋１)は、第(ｍ＋１)番目の検索文字Ｃ(ｍ＋１)が適合した文字相関値である。そして、最後のＷｒは、第ｒ番目の最後の検索文字Ｃ１が適合した文字相関値である。
【０１６１】
このように、相関度の算出においては、検索キーワードを構成する全検索文字の文字相関値Ｗが積算（累計）される。
【０１６２】
そして、式（２）におけるＱ*（Ｗｋ＋Ｗ(ｋ＋１)）は、検索キーワードにおける第ｋ番目の検索文字Ｃｋと第（ｋ＋１）番目の検索文字Ｃ（ｋ＋１）とが、インデックス行列における隣接した２行にそれぞれ適合しているので、文字相関値Ｗｋと文字相関値Ｗ(ｋ＋１)とに行の相関度加重因子Ｑが掛け合わされていることを示している。Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）についても同様である。
【０１６３】
なお、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。Ｗ(ｍ−1)とＷｍについても同様である。
【０１６４】
ところで、図１２のブロック１０２に示した検索キーワードとインデックス行列との相対関係では、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあるとしたので、式（２）においては、Ｗ１〜Ｗｒまでの全ての検索文字の文字相関値が累積されている。
【０１６５】
しかしながら、これは一例であり、例えば、式（１）の相対関係を有するものの、検索文字Ｃ１と検索文字Ｃｒとがインデックス行列内の何れの候補文字にも適合しなかった場合の相関度を算出する式は、次式のようになり、累積項が少ない分、当然その相関度は低くなる。
【０１６６】
SimDegree＝Ｗ２＋…＋Ｗ(ｋ−1)＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)）＋…
＋Ｗ（ｍ−1）＋Ｑ*（Ｗｍ＋Ｗ(ｍ＋１)）＋…＋Ｗ（ｒ−１）
また、全ての検索文字Ｃ１、Ｃ２、…Ｃｒがインデックス行列内の何れかの候補文字と適合する関係にあり、かつ、検索キーワードの第ｋ＋１番目の検索文字と第ｋ番目の検索文字、及び、第ｋ＋２番目の検索文字と第ｋ＋１番目の検索文字とが、それぞれ隣接した２行に適合する関係にある場合、相関度を算出する式は次式のようになるであろう。
【０１６７】
SimDegree＝Ｗ１＋Ｗ２＋…＋Ｗ(ｋ−1)
＋Ｑ*（Ｗｋ＋Ｗ(ｋ＋１)＋Ｗ（ｋ＋２））…＋ＷＲ
この場合も、検索キーワードの第ｋ−１番目の検索文字と第ｋ番目の検索文字は、隣接した２行に適合する関係にはないため、Ｗ(ｋ−1)とＷｋとの両方に対して相関度加重因子Ｑを掛け合わせてはいない。
【０１６８】
次に、図１３を用いて、相関度計算の具体例を説明する。ここでは、図８に示した、文字列『去神仙居住的地方』のインデックス行列（テーブル１００参照）と、検索キーワード『神仙』との相関度を求める。
【０１６９】
図１３のブロック１０４に検索条件を示す。相関値行列WeightはＭ×Ｎ次，文字相関値はWeight[i]＝[１，１−１/Ｎ，１−２/Ｎ，…，１/Ｎ]（i＝０，１，…，Ｍ−１），行の相関度加重因子Ｑである。
【０１７０】
検索キーワード『神仙』は、それぞれ、第１番目の検索文字である『神』と第２番目の検索文字である『仙』とに分割され、それぞれに対してインデックス行列内の候補文字に対して検索される。
【０１７１】
図８のテーブル１００を参照すると分かるように、検索文字である『神』は、インデックス行列における位置[ｉ，ｊ]の[２，２]に適合し、検索文字である『仙』は、インデックス行列における[３，１]に適合する。
【０１７２】
したがって、ブロック１０５に示すように、検索文字『神』の文字相関値は（１−１/Ｎ）、検索文字『仙』の文字相関値は１となる。
【０１７３】
そして、検索文字『神』の行番号は[２]であり、検索文字『仙』の行番号は[３]であり、図８のテーブル１００に示すように、これら２つの検索文字は、インデックス行列における隣接した２行にそれぞれ適合している。
【０１７４】
したがって、ブロック１０６に示すように、検索文字『神』の文字相関値（１−１/Ｎ）と検索文字『仙』の文字相関値１には、行の相関度加重因子Ｑが掛け合わされ、検索キーワードの『神仙』と文字列『去神仙居住的地方』のインデックス行列との相関度は、SimDegree＝Ｑ*（（１−１/Ｎ）＋１）となる。
【０１７５】
検索キーワードとインデックス行列との相関度は、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを、ユーザの要望にしたがって柔軟に調整することで、より理想的な検索結果を得ることができる。
【０１７６】
ユーザは、キーボード１等を用いて、相関値行列における加重（文字相関値）と行の相関度加重因子Ｑなどのパラメータを必要に応じて適宜設定することができる。
【０１７７】
そして、このような画像特徴によるインデックスと適合方式は、多言語の画像文書のインデックスと検索を満足できる、文字認識を行わず、計算量が少ない。本発明は中国語に限らず各種言語の画像文書に応用できる。
【０１７８】
最後に、意味解析能付きの検索処理につい説明する。図１にも示すように、本実施の形態の画像文書処理装置では、検索キーワード入力部２４と検索部２２との間に、意味解析部２３が設けられている。図１４に意味解析機能付きの検索処理を示す。
【０１７９】
意味解析部２３は、意味分析処理部２３ａと概念辞典２３ｂとから構成される。意味分析処理部２３ａは、検索キーワード入力部２４から検索キーワードが入力されると、概念辞典２３ｂを参照して、検索キーワードの語彙を分析する。
【０１８０】
例えば、検索キーワードとして「中日関係」が入力されると、意味分析処理部２３ａは、「中日関係」に関連する単語として、例えば「中国」，「日本」，「関係」の３つを検索部２２の入力する。これら「中国」，「日本」，「関係」はｏｒの関係にあり、検索式は、「中国」ｏｒ「日本」ｏｒ「関係」となる。
【０１８１】
検索部２２には、該検索式「中国」ｏｒ「日本」ｏｒ「関係」が入力され、検索部２２は、インデックス情報ＤＢ１７に対して検索を掛け、「中国」を含む画像文書、「日本」を含む画像文書、及び「関係」を含む画像文書を抽出する。
【０１８２】
これにより、入力された検索キーワードが直接的に含まれている画像文書だけでなく、関連の画像文書も検索できる。
【０１８３】
最後に、画像文書処理装置の各ブロック、特に、字体正規化処理部１２、文字画像特徴抽出部１４、特徴適合部１６、重要領域初期処理部１８、検索部２２、意味解析部２３等は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１８４】
すなわち、画像文書処理装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像文書処理装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像文書処理装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１８５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１８６】
また、画像文書処理装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１８７】
発明の詳細な説明の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項との範囲内で、種々変更して実施することができるものである。
【産業上の利用可能性】
【０１８８】
本発明は、画像の特徴認識と適合技術とに基づく画像文書のインデックス生成と検索に関するもので、例えば、画像文書の重要文字領域に基づいて画像文書のインデックス情報を生成し、生成されたインデックス情報に対して検索を行う方法及び装置等に適用できる。
【図面の簡単な説明】
【０１８９】
【図１】本発明の実施の一形態を示すものであり、画像文書処理装置の機能を示す機能ブロック図である。
【図２】上記画像文書処理装置の構成図である。
【図３】上記画像文書処理装置における字形見本データベースを作成する処理を示す説明図である。
【図４】上記画像文書処理装置における文字画像特徴抽出部にて用いられる文字画像外囲特徴の説明図である。
【図５】図５（ａ）及び図５（ｂ）は共に、上記画像文書処理装置における文字画像特徴抽出部にて用いられる網格方向特徴の説明図である。
【図６】上記画像文書処理装置における字形特徴辞書を作成する処理を示す説明図である。
【図７】上記画像文書処理装置におけるインデックス情報データベースを作成する処理を示す説明図である。
【図８】上記画像文書処理装置における、インデックス行列を作成する処理を、具体例を用いて示す説明図である。
【図９】上記画像文書処理装置にて処理される、画像文書例と、インデックス情報データベース中における、この画像文書のインデックス情報のデータ配置例とを示す説明図である。
【図１０】上記画像文書処理装置における検索部の機能と検索処理を示す説明図である。
【図１１】上記検索部における検索手順を示すフローチャートである。
【図１２】上記検索部が用いる、検索キーワードとインデックス行列との相関度を算出する方法を示す説明図である。
【図１３】上記検索キーワードとインデックス行列との相関度の算出を、具体例を用いて示す説明図である。
【図１４】上記画像文書処理装置における意味解析機能付きの検索処理を示す説明図である。
【符号の説明】
【０１９０】
１４    画像特徴抽出部
１５    字形特徴辞書
１６    特徴適合部
１７    インデックス情報データベース（インデックス情報格納部）
１８    重要領域初期処理部（文字列抽出部）
２２    検索部
２２ａ  インデックス行列検索処理部
２２ｂ  文字相関値保存部（保存部）
２２ｃ  相関度算出部
２２ｄ  表示順序決定部（順序決定部）
３０    字形特徴辞書生成部
【図１】
2008171379.tif 000003
【図２】
2008171379.tif 000004
【図３】
2008171379.tif 000005
【図４】
2008171379.tif 000006
【図５】
2008171379.tif 000007
【図６】
2008171379.tif 000008
【図７】
2008171379.tif 000009
【図８】
2008171379.tif 000010
【図９】
2008171379.tif 000011
【図１０】
2008171379.tif 000012
【図１１】
2008171379.tif 000013
【図１２】
2008171379.tif 000014
【図１３】
2008171379.tif 000015
【図１４】
2008171379.tif 000016