(57)【要約】【課題】画像を用いて文字検索を行う画像処理装置において、文字検索の条件指定の容易性と検索時間の短縮を両立させる。【解決手段】画像処理装置の構成として、画像入力部１によって入力された画像から文字部を抽出する抽出手段（２１，２２）と、抽出された文字部を文字の色ごとにグループ化して分割する分割処理部２３と、文字検索の条件としてキーワードと文字の色を指定可能な検索条件指定部４と、検索条件指定部４でキーワードと文字の色が指定された場合に、分割処理部２３で文字の色ごとに分割されたグループのうち、指定の文字の色に対応するグループに属する文字部を対象に、指定のキーワードを用いた文字検索を行う文字検索部５とを備える。【選択図】図１
2006155588.tif 000002
【特許請求の範囲】
【請求項１】
画像から文字部を抽出する抽出手段と、
前記抽出手段によって抽出された前記文字部を文字の色ごとにグループ化して分割する分割手段と、
文字検索の条件としてキーワードと文字の色を指定可能な検索条件指定手段と、
前記検索条件指定手段によって前記キーワードと前記文字の色が指定された場合に、前記分割手段によって文字の色ごとに分割されたグループのうち、前記指定の文字の色に対応するグループに属する文字部を対象に、前記指定のキーワードを用いた文字検索を行う文字検索手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像を入力する画像入力手段を備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像入力手段は、原稿の画像を読み取る画像読取手段からなる
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記抽出手段は、前記画像入力手段によって入力された画像を文字部と絵柄部に分離する分離手段と、前記画像の文字部をＯＣＲ処理するＯＣＲ処理手段とからなる
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
画像から文字部を抽出する抽出ステップと、
前記抽出ステップで抽出された前記文字部を文字の色ごとにグループ化して分割する分割ステップと、
文字検索の条件としてキーワードと文字の色が指定された場合に、前記分割ステップで文字の色ごとに分割されたグループのうち、前記指定の文字の色に対応するグループに属する文字部を対象に、前記指定のキーワードを用いた文字検索を行う文字検索ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
画像から文字部を抽出する抽出ステップと、
前記抽出ステップで抽出された前記文字部を文字の色ごとにグループ化して分割する分割ステップと、
文字検索の条件としてキーワードと文字の色が指定された場合に、前記分割ステップで文字の色ごとに分割されたグループのうち、前記指定の文字の色に対応するグループに属する文字部を対象に、前記指定のキーワードを用いた文字検索を行う文字検索ステップと
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を用いて文字検索を行う画像処理装置と画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
文字検索の一つの形態として、スキャナで原稿から読み取って得られた電子文書をＯＣＲ(Optical Character Reader)処理し、これによって文字部と認識された部分を対象に、キーワードを指定（入力）して文字検索を行う場合がある。こうしたキーワードに基づく文字検索では、例えば膨大な量の文字部を対象に全文検索等を行う場合に、文字検索を開始してから終了するまでの時間（以下、検索時間）が非常に長くなってしまう。
【０００３】
そこで、下記特許文献１には、文字検索を高速で行うために、画像の特徴情報としてインデックスを利用する技術が記載されている。また、下記特許文献２には、インデックス情報から得られる特徴の一つとして、インデックス情報を構成する画像中に含まれる文字の属性（文字の大きさ、間隔、種類）が開示されている。
【０００４】
【特許文献１】特開２００１−３４４２４５号公報
【特許文献２】特開平７−２１３４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、文字検索に際して、上記インデックスのような画像の特徴情報を指定する場合は、指定のための操作が非常に面倒なものとなる。また、文字検索の条件として、例えば文字の大きさや間隔、種類を指定する場合は、一見して文字の大きさや間隔を正確に判別することが難しく、また文字のフォント等に関する知識に乏しいユーザにとっては文字の種類を判別することも難しいものとなる。したがって、検索時間を短縮するにあたって、文字検索の条件を適切かつ簡単に指定することが難しいという難点があった。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、画像から文字部を抽出する抽出手段と、この抽出手段によって抽出された文字部を文字の色ごとにグループ化して分割する分割手段と、文字検索の条件としてキーワードと文字の色を指定可能な検索条件指定手段と、この検索条件指定手段によってキーワードと文字の色が指定された場合に、分割手段によって文字の色ごとに分割されたグループのうち、指定の文字の色に対応するグループに属する文字部を対象に、指定のキーワードを用いた文字検索を行う文字検索手段とを備えるものである。
【０００７】
本発明に係る画像処理方法は、画像から文字部を抽出する抽出ステップと、この抽出ステップで抽出された文字部を文字の色ごとにグループ化して分割する分割ステップと、文字検索の条件としてキーワードと文字の色が指定された場合に、分割ステップで文字の色ごとに分割されたグループのうち、指定の文字の色に対応するグループに属する文字部を対象に、指定のキーワードを用いた文字検索を行う文字検索ステップとを含むものである。
【０００８】
本発明に係る画像処理装置及び画像処理方法においては、画像から文字部を抽出するとともに、抽出した文字部を文字の色ごとにグループ化して分割し、文字検索の条件としてキーワードと文字の色を指定すると、指定の文字の色に対応するグループに属する文字部を対象に、指定のキーワードを用いた文字検索を行うものとなっているため、文字の大きさや間隔、種類などを指定する場合に比較して文字検索の条件指定が容易になるとともに、文字検索の対象範囲を指定の文字色を含むグループに絞り込むことが可能となる。
【発明の効果】
【０００９】
本発明によれば、文字検索を行うにあたって、文字検索の条件を適切かつ簡単に指定することができるとともに、検索時間を大幅に短縮することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の具体的な実施の形態について図面を参照しつつ詳細に説明する。
【００１１】
図１は本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。図示した画像処理装置は、大きくは、画像入力部１と、画像処理部２と、データ蓄積部３と、検索条件指定部４と、文字検索部５とを備えた構成となっている。
【００１２】
画像入力部１は画像を入力するものである。この画像入力部１は、例えば、原稿の画像を光学的に読み取るスキャナ等の画像読取装置を用いて構成することができる。画像入力部１によって入力される画像は、カラー画像、白黒画像、カラー・白黒混在画像のいずれであってもよい。また、カラー画像としては、黒と黒以外の１色（例えば、赤色など）からなる２色カラー、それに他の１色を加えた３色カラー、４色以上のフルカラーを含む。
【００１３】
また、画像読取装置で画像入力部１を構成した場合は、そこから入力される画像のデータ形式がビットマップ形式となるが、例えばネットワーク通信機能を備えた送受信部で受信した画像データを入力するものや、メモリカード等の小型記憶媒体から画像データを読み出すカードリーダ、あるいは自装置内又は外付けのハードディスク等の大容量記憶部から画像データを読み出す手段などによって画像入力部１を構成した場合は、ビットマップ形式に限らず他のデータ形式であってもよい。ただし、本実施形態においては、一例として、カラースキャナからなるカラー画像読取装置で画像入力部１を構成した場合について説明する。特に、画像読取装置で画像入力部１を構成した場合は、紙媒体に印刷された文字部を電子化して文字検索に利用することができる。
【００１４】
画像処理部２は、画像入力部１から入力された画像データに所定の画像処理を施すものである。具体的な画像処理機能部の一例として、画像処理部２は、Ｔ／Ｉ分離部２１と、ＯＣＲ処理部２２と、分割処理部２３と、圧縮処理部２４と、ファイル生成部２５とを備えている。
【００１５】
Ｔ／Ｉ分離部２１は、画像入力部１から入力された画像を文字部（テキスト）と絵柄部（イメージ）に分離するものである。ＯＣＲ処理部２２は、画像入力部１から入力された画像の文字部をＯＣＲ処理するものである。
【００１６】
分割処理部２３は、ＯＣＲ処理によってテキストデータに変換された画像の文字部を文字の色ごとにグループ化して分割するものである。文字の色情報は、画像入力部（画像読取装置）１から入力される画像に含まれる文字部を構成する個々の文字の属性情報から採取することができる。また、グループ化による分割処理は、上述のようにテキストデータに変換された文字部に対し、一文字単位で行う。そして、グループ化のための文字の色区分に関しては、例えば、文字の色をＹＣｂＣｒ色空間で表すものとすると、Ｙ値、Ｃｂ値、Ｃｒ値にそれぞれ色区分のための複数の閾値を設定し、これらの閾値に基づいて、ＹＣｂＣｒ色空間を複数の色領域、例えば黒色領域、赤色領域、青色領域、黄色領域、緑色領域に区分する。
【００１７】
圧縮処理部２４は、画像入力部１から入力された画像を、Ｔ／Ｉ分離部２１で分離した文字部と絵柄部に分けて個別に圧縮するものである。ファイル生成部２５は、圧縮処理部２４で圧縮された文字部と絵柄部を所定のファイルフォーマットにしたがって一つのファイルとして生成するものである。
【００１８】
データ蓄積部３は、画像処理部２で画像処理されたデータを蓄積するものである。このデータ蓄積部３は、例えばハードディスクによって構成されるものである。
【００１９】
検索条件指定部４は、文字検索の条件を指定するためのもので、例えば表示部と入力部を有するユーザインタフェース（ＵＩ）を用いて構成されるものである。この検索条件指定部４では、文字検索の条件として、キーワード（単語）のほかに、文字の色を指定できるようになっている。検索条件として指定可能な文字の色は、分割処理部２３での文字の色区分に対応したものとなる。例えば、上述のようにＹＣｂＣｒ色空間を黒色領域、赤色領域、青色領域、黄色領域、緑色領域に区分するものとすると、検索条件指定部４では、黒、赤、青、黄、緑の５色から、いずれか１色又は複数色（この例では最大で４色）を指定可能となる。また、文字検索の条件として文字の色を指定しない場合は、全色、つまり５色全てが検索対象となる。
【００２０】
文字検索部５は、検索条件指定部４で指定された文字検索の条件に応じて、文字の検索処理を行うものである。検索対象となるデータが入ったファイルは、別途、ユーザインタフェースを用いてファイル名を指定するか、当該ファイルに入っているデータの画像をユーザインタフェースの表示部に表示した状態で検索実行を指示することで指定される。また、文字検索部５による検索結果はユーザインタフェースの表示部に表示される。
【００２１】
続いて、本発明の実施形態に係る画像処理装置を用いて文字検索を行う場合の処理手順について説明する。文字検索に係る処理は、大きくは、第１の処理と第２の処理に分けて行われる。
【００２２】
まず、図２に示す第１の処理では、最初に、画像入力部１から１ページ分（原稿１枚分）又は複数ページ分（原稿複数枚分）の画像を入力する（ステップＳ１１）。以降の処理は、１ページごとに順に行ってもよいし、複数ページまとめて行ってもよい。次に、画像入力部１から入力された画像をＴ／Ｉ分離部２２で文字部と絵柄部に分離する（ステップＳ１２）。
【００２３】
図３に１つの入力画像を文字部と絵柄部に分離した例を示す。図３においては、１つ（１ページ分）の入力画像のなかに５つの文字部１１〜１５と２つの絵柄部１６，１７が存在している。ここでは、説明を分かりやすくするために、文字部１１が全て黒色文字、文字部１２が全て赤色文字、文字部１３が全て黄色文字、文字部１４が全て青色文字、文字部１５が全て緑色文字で構成されているものとするが、１つの文字部が複数色の文字で構成されていてもよい。
【００２４】
次いで、画像の文字部をＯＣＲ処理部２３でＯＣＲ処理することにより、各々の文字部１１〜１５をテキストデータに変換する（ステップＳ１３）。これにより、各々の文字部１１〜１５を構成する個々の文字が、一文字ごとに文字コードに変換される。ちなみに、Ｔ／Ｉ分離部２１とＯＣＲ処理部２２は、画像入力部１によって入力された画像から文字部１１〜１５を抽出する抽出手段を構成するものとなる。このように抽出手段をＴ／Ｉ分離部２１とＯＣＲ処理部２２によって構成することにより、画像入力部１によって入力される画像データがビットマップデータ（スキャンデータ）であっても、文字部をテキストデータとして抽出することができる。
【００２５】
続いて、先ほどＯＣＲ処理された文字部１１〜１５を分割処理部２３で文字の色ごとにグループ化して分割する（ステップＳ１４）。ここでは、色区分のためのグループとして、例えば図４に示すように、黒色系グループＧ１と、赤色系グループＧ２と、青色系グループＧ３と、黄色系グループＧ４と、緑色系グループＧ５といった５つのグループが予め用意されているものとする。各々のグループＧ１〜Ｇ５は、上述のようにＹＣｂＣｒ色空間に複数の閾値を設定することで、当該ＹＣｂＣｒ色空間の一部の領域として区分されるものである。
【００２６】
分割処理部２３では、各々の文字部１１〜１５を構成する文字の色情報を、１文字単位で採取し、その色情報をＲＧＢ→ＹＣｂＣｒに色変換した後、ＹＣｂＣｒ色空間内のいずれの領域（いずれの色グループ）に含まれるかを判別する。例えば、図４に示すように、上記５つの文字部１１〜１５について分割処理した場合は、文字部１１を構成する全ての文字（黒色文字）が黒色系グループＧ１に、文字部１２を構成する全ての文字（赤色文字）が赤色系グループＧ２に、文字部１３を構成する全ての文字（黄色文字）が黄色系グループＧ４に、文字部１４を構成する全ての文字（青色文字）が青色系グループＧ３に、文字部１５を構成する全ての文字（緑色文字）が緑色系グループＧ５に振り分けられる。
【００２７】
また、各々の文字部を構成する文字を、当該文字の色に応じたグループに振り分けるにあたっては、入力画像のなかで当該文字の位置を示す座標データを各グループ内で文字コードと対応付けておく。このように各々の文字に座標データを１：１の関係で対応付けておく理由は、各グループに文字を振り分けた後でも、座標データにしたがって元の画像を復元できるようにするためである。なお、Ｔ／Ｉ分離によって分離された１つの文字部に複数色の文字が存在する場合は、１つの文字部を構成する文字が、複数のグループに分散して振り分けられることになる。
【００２８】
続いて、文字部と絵柄部を圧縮処理部２４で圧縮する（ステップＳ１５）。文字部については、先ほどの分割処理で文字の色ごとにグループ化しているため、各々のグループに属する文字部をグループ（文字の色）ごとに二値化した後、例えばファクシミリに採用されているＧ４圧縮方式で文字部を圧縮処理する。また、絵柄部については、文字部とは別に、周知の方式で圧縮処理する。
【００２９】
次に、上述のように圧縮された各グループの文字部と絵柄部をファイル生成部２５で１つのファイルにまとめて当該ファイルを生成する（ステップＳ１６）。ファイル生成のためのフォーマットとしては、例えばＭＲＣ(Mixed Raster Content)フォーマットを採用することができる。次いで、ファイル生成部２５で生成したファイルを、ユーザが指定又は自動で生成したファイル名を付けてデータ蓄積部３に蓄積（格納）する（ステップＳ１７）。
【００３０】
一方、図５に示す第２の処理では、まず、検索条件指定部４において文字検索を行うための検索条件を指定する（ステップＳ２１）。検索条件の指定は、ユーザが検索条件指定部４で所定の入力操作を行うことで実施される。その際、文字検索の条件としては、少なくとも１つのキーワードを指定することが必須であるが、それ以外にもユーザの希望によって文字の色を指定することができる。文字の色は、１色だけ指定するものであってもよいし、複数色を同時に指定し得るものであってもよい。
【００３１】
次に、文字検索の条件の１つとして、上記ステップＳ２１で文字色の指定が行われたかどうかを判断する（ステップＳ２２）。そして、文字色の指定が行われた場合は、文字検索部５において、指定の文字色に対応するグループを特定し、このグループに属する文字部のみを対象に、指定のキーワードを用いた文字検索を行う（ステップＳ２３，Ｓ２４）。例えば、文字検索の条件として、文字の色が黒色で指定された場合は、黒色文字が振り分けられているグループＧ１に属する文字部のみを対象に（換言すると、他のグループＧ２〜Ｇ５に属する文字部は文字検索の対象から除外して）、指定のキーワードを用いた文字検索を行う。また、文字検索の条件として、文字の色が黒色と青色の２色で指定された場合は、黒色文字が振り分けられているグループＧ１に属する文字部と青色文字が振り分けられているグループＧ３に属する文字部のみを対象に（換言すると、他のグループＧ２，Ｇ４，Ｇ５に属する文字部は文字検索の対象から除外して）、指定のキーワードを用いた文字検索を行う。
【００３２】
これに対して、上記ステップＳ２１で文字色の指定が行われなかった場合は、文字検索部５において、全てのグループＧ１〜Ｇ５を対象に、指定のキーワードを用いた文字検索を行う（ステップＳ２５）。その後は、文字検索部５による文字検索結果を、例えばユーザインタフェースの表示部に出力（表示）する（ステップＳ２６）。
【００３３】
このように本発明の実施形態に係る画像処理装置とこれを用いた画像処理方法においては、画像入力部１によって入力された画像から文字部を抽出するとともに、この文字部を文字の色ごとにグループ化して分割しておき、実際の文字検索に際しては、検索条件でキーワードと一緒に文字の色を指定することで、当該文字の色に対応（マッチング）するグループに属する文字部のみを対象に文字検索を行うものとしている。この場合、文字の色は視覚的に誰でも容易に判別しやすい扱いとなるため、この文字の色を文字検索の条件の１つとして採用することにより、文字検索の条件を適切かつ簡単に指定することができる。また、文字検索の条件として文字の色を指定した場合は、文字検索の対象範囲を、指定の文字色に対応するグループに属する文字部だけに絞り込むことができるため、検索時間を大幅に短縮することができる。
【００３４】
具体的な事例として、例えば、数百ページにわたる画像の文字部を対象に文字検索を行うにあたって、当該画像の文字部が、複数のタイトルと各々のタイトルに関連する文章で構成され、かつタイトルが青色の文字、当該タイトルに関連す文章の大半が黒色文字、文章中特に重要な部分が赤色の文字で構成されている場合に、文字検索の条件として文字の色を青色で指定することにより、文字検索の対象範囲を、タイトルを構成する文字部（青色文字）だけに絞り込むことができる。したがって、数百ページにわたる画像の文字部を対象に文字検索を行う場合でも、非常に短時間で所望の検索結果を得ることができる。
【００３５】
また、上記フローチャートに基づく画像処理方法は、各々のステップをプログラム処理によって実現することが可能である。したがって、本発明は、上記フローチャートに基づく各々のステップ、特に、画像から文字部を抽出する抽出ステップ（Ｓ１２，Ｓ１３）と、この抽出ステップで抽出された文字部を文字の色ごとにグループ化して分割する分割ステップ（Ｓ１４）と、文字検索の条件としてキーワードと文字の色が指定された場合（ステップＳＳ２２でＹｅｓの場合）に、分割ステップで文字の色ごとに分割されたグループのうち、指定の文字の色に対応するグループに属する文字部を対象に、指定のキーワードを用いた文字検索を行う文字検索ステップ（Ｓ２３，Ｓ２４）をコンピュータに実行させるための画像処理プログラムとして提供することが可能である。さらに、この画像処理プログラムをＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することも可能である。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置を用いて文字検索を行う場合の処理手順を示すフローチャート（その１）である。
【図３】入力画像を文字部と絵柄部に分離した例を示す図である。
【図４】文字部をグループ化して分割する際の処理例を示す図である。
【図５】本発明の実施形態に係る画像処理装置を用いて文字検索を行う場合の処理手順を示すフローチャート（その２）である。
【符号の説明】
【００３７】
１…画像入力部、２…画像処理部、３…データ蓄積部、４…検索条件指定部、５…文字検索部、２１…Ｔ／Ｉ分離部、２２…ＯＣＲ処理部、２３…分割処理部、２４…圧縮処理部、２５…ファイル生成部
【図１】
2006155588.tif 000003
【図２】
2006155588.tif 000004
【図３】
2006155588.tif 000005
【図４】
2006155588.tif 000006
【図５】
2006155588.tif 000007