(57)【要約】【課題】  文字列を含む画像内から複数の文字認識対象領域の候補を自動で抽出し、ユーザによる文字認識対象領域の選択操作を簡便にする文字認識装置を実現する。【解決手段】  文字列を含む画像から文字認識対象領域を決定し、その領域から文字列を抽出し、その文字列に対して文字認識を行う本発明の文字認識装置は、複数の文字認識対象領域の候補の可能な組み合わせを作成する組み合わせパターン作成処理部２２と、前記作成された文字認識対象領域の候補の組み合わせを表示する表示処理部３２と、ユーザによる選択を受け付ける入力処理部１２と、表示された組み合わせのいずれかの内、選択された組み合わせを文字認識対象領域として決定する認識対象領域決定処理部２３とを備えているので、画像内から複数の文字認識対象領域の候補を自動で抽出し、ユーザによる文字認識対象領域の選択操作を簡便にすることができる。【選択図】  図１
2007034531.tif 000002
【特許請求の範囲】
【請求項１】
文字列を含む画像内の文字認識対象領域を決定し、決定された文字認識対象領域から文字列を抽出し、抽出した文字列に対して文字認識を行う文字認識装置において、
前記画像から、前記文字認識対象領域の候補となる候補領域を抽出する候補領域抽出手段と、
候補領域抽出手段が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成手段と、
前記作成された候補領域の組み合わせを表示する表示手段と、
ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力手段と、
表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定手段と、
を備えたことを特徴とする文字認識装置。
【請求項２】
前回文字認識に利用した文字認識対象領域に対応する候補領域の組み合わせを基準の組み合わせとして記憶する組み合わせパターン記憶手段を備え、
前記組み合わせパターン作成手段は、その記憶された基準の組み合わせと一致する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前回文字認識に利用した文字認識対象領域に対応する候補領域の組み合わせを基準の組み合わせとして記憶する組み合わせパターン記憶手段を備え、
前記組み合わせパターン作成手段は、前記組み合わせパターン記憶手段に記憶された前記基準の組み合わせと近似する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することを特徴とする請求項１に記載の文字認識装置。
【請求項４】
過去に文字認識に利用した文字認識対象領域に対応する過去の候補領域の組み合わせを累積して記憶する組み合わせパターン記憶手段を備え、
前記組み合わせパターン作成手段は、前記組み合わせパターン記憶手段に累積して記憶された過去の候補領域の組み合わせと近似する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することを特徴とする請求項１に記載の文字認識装置。
【請求項５】
過去に文字認識に利用した文字認識対象領域に対応する過去の候補領域の組み合わせを、過去に文字認識に利用した複数回数分記憶する組み合わせパターン記憶手段と、
上記過去の候補領域の組み合わせの利用度合いを統計処理する統計情報処理手段とを備え、
前記組み合わせパターン作成手段は、前記統計情報処理手段が算出した利用度合いの順に優先して、前記候補領域の組み合わせを前記前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することを特徴とする請求項１に記載の文字認識装置。
【請求項６】
文字列を含む画像内の文字認識対象領域を決定し、決定された文字認識対象領域から文字列を抽出し、抽出した文字列に対して文字認識を行う文字認識方法において、
前記画像から、前記文字認識対象領域の候補となる候補領域を抽出する候補領域抽出工程と、
候補領域抽出工程が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成工程と、
前記作成された候補領域の組み合わせを表示する表示工程と、
ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力工程と、
表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定工程と、
を含んでいることを特徴とする文字認識方法。
【請求項７】
請求項１乃至５のいずれか一項に記載の文字認識装置の各手段として、コンピュータを機能させるための文字認識プログラム。
【請求項８】
請求項７記載の文字認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から文字列を認識する文字認識に関する。
【背景技術】
【０００２】
名刺に記載されている氏名、住所、電話番号等の文字認識を行い、それらをアドレス帳等に蓄積するための文字認識装置に関し、以下のような従来例がある。
【０００３】
特許文献１において、文字行抽出部が、撮影後に画像上の文字列画像あるいは文字行画像を抽出し、抽出された文字行が表示部利用者が理解できるように表示され、それを見た利用者が操作部のボタン操作によって、画像内の文字認識対象となる文字行を選択し、自動的に文字認識する携帯情報端末及びそれを用いた文字認識方法が記載されている。
【０００４】
また、特許文献２において、文字が含まれている画像データを表示手段に表示し、表示された画像データに含まれる文字領域の範囲を、カーソルによる始点と終点の入力などの範囲指定手段で指定し、文字認識を行う領域を決定する装置が記載されている。
【特許文献１】特開2005−18507（公開日：2005年1月20日）
【特許文献２】特開2002−352190（公開日：2002年12月6日）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の装置は、複数領域に分散した文字列を含む画像を対象とする場合、複数の文字認識対象領域を一度に指定し、文字認識処理を行うことはできず、認識対象領域を一箇所ごとに指定する必要がある。
【０００６】
特許文献２の装置は、カーソルにより始点と終点を入力し認識領域を決めるため、操作がわずらわしい。また、携帯端末で上記操作を行う場合、表示装置が小さい為カーソルの移動操作が困難で、細かい点の指定は難しいという欠点がある。
【０００７】
さらに、特許文献１・２の装置では、複数領域に分散した文字列を含む画像を対象とする場合、複数箇所を領域指定しなくてはならない。また、同じフォーマットの文書を複数回認識する場合においても、上記２つの装置は同じ領域指定処理をその都度行わなくてはならない。
【０００８】
本発明は、そのような状況に鑑みてなされたものであり、その目的は、複数領域の文字認識対象領域の候補を自動で抽出し、ユーザによる文字認識の対象となる領域の指定をする操作を簡便にする文字認識装置を実現することである。
【課題を解決するための手段】
【０００９】
（１）本発明に係る文字認識装置は、上記の課題を解決するために、文字列を含む画像内の文字認識対象領域を決定し、決定された文字認識対象領域から文字列を抽出し、抽出した文字列に対して文字認識を行う文字認識装置において、前記画像から、前記文字認識対象領域の候補となる候補領域を抽出する候補領域抽出手段と、候補領域抽出手段が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成手段と、前記作成された候補領域の組み合わせを表示する表示手段と、ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力手段と、表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定手段と、を備えたことを特徴とする。
【００１０】
当該構成において、候補領域抽出手段が、前記画像から、前記文字認識対象領域の候補となる候補領域を抽出する。次に、組み合わせパターン作成手段が、抽出された候補領域の可能な全ての組み合わせを作成する。
【００１１】
候補領域の組み合わせとは、前記画像全体の領域に対して候補領域を特定するデータの組み合わせであり、例えば、前記画像全体の領域に対する候補領域の位置を特定するデータの組み合わせなどである。候補領域の位置を特定するデータとしては、例えば前記画像全体の領域のある点を原点として算出した座標データや、前記画像を光学的に読み取って生成された二次元画素配列の中で、候補領域を表す代表画素の行列位置を表すデータなどを挙げることができる。
【００１２】
なお、抽出された候補領域が１つであれば、可能な全ての組み合わせとして、当該候補領域を特定するデータの１つのみが作成され、抽出された候補領域が複数であれば、可能な全ての組み合わせとして、当該複数の候補領域を特定する各データの組み合わせが１つ以上作成される。
【００１３】
続いて、認識対象領域決定手段が、表示手段を用いて前記候補領域の組み合わせをユーザに提示する。組み合わせの提示の仕方は、前記画像を表示手段に表示し、表示した画像中に含まれる候補領域と上記組み合わせとを視覚的に対応付けることが好ましい。ユーザは、提示された候補領域の組み合わせから所望のものを入力手段により選択する。
【００１４】
上記の構成によれば、特に、前記画像から複数の候補領域が抽出された場合において、候補領域の組み合わせの作成とユーザへの提示とが自動的にユーザの介在なしに行われる。従って、本文字認識装置は、ユーザの文字認識対象領域の指定操作を従来技術によるものに比べ大幅に簡便にすることができる。
【００１５】
（２）また、本発明の文字認識装置は、上記構成に加えて、前回文字認識に利用した文字認識対象領域に対応する候補領域の組み合わせを基準の組み合わせとして記憶する組み合わせパターン記憶手段を備え、前記組み合わせパターン作成手段は、その記憶された基準の組み合わせと一致する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することが好ましい。
【００１６】
当該構成において、組み合わせパターン記憶手段が、前回の文字認識時に利用した候補領域の組み合わせを基準の組み合わせとして記憶し、組み合わせパターン作成手段は、複数の候補領域の組み合わせを作成する際に、基準の組み合わせと一致する組み合わせのユーザへの提示順位が最先になるように各組み合わせの優先順位を表す情報も作成する。
【００１７】
そして、組み合わせパターン作成手段は、作成した候補領域の組み合わせの中から、その作成した優先順位の情報に従って、基準の組み合わせと一致する組み合わせを特定するデータを表示手段に出力する。この結果、表示手段はユーザに候補領域の組み合わせを提示する際に、基準の組み合わせ、すなわち前回利用した候補領域の組み合わせと一致する組み合わせを優先して提示する。
【００１８】
従って、複数の候補領域の組み合わせをユーザに提示する場合に、前回利用した組み合わせと同じ組み合わせが最初にユーザに提示されるので、同じフォーマットの原稿を複数枚文字認識する際には、二回目の文字認識作業からはユーザの文字認識対象領域の指定操作をさらに簡便にすることができる。
【００１９】
なお、上記では、提示された候補領域の組み合わせからユーザが所望の組み合わせを選択しているが、一致する組み合わせがある場合には、ユーザからの入力を待たずに、認識対象領域決定手段がその組み合わせを文字認識対象領域として決定して文字認識を行ってもよい。
【００２０】
（３）また、本発明の文字認識装置は、上記構成に加えて、前回文字認識に利用した文字認識対象領域に対応する候補領域の組み合わせを基準の組み合わせとして記憶する組み合わせパターン記憶手段を備え、前記組み合わせパターン作成手段は、前記組み合わせパターン記憶手段に記憶された前記基準の組み合わせと近似する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することが好ましい。
【００２１】
当該構成において、組み合わせパターン記憶手段が、前回の文字認識時に利用した候補領域の組み合わせを基準の組み合わせとして記憶し、組み合わせパターン作成手段は、複数の候補領域の組み合わせを作成する際に、基準の組み合わせに近似する組み合わせのユーザへの提示順位が最先になるように各組み合わせの優先順位を表す情報も作成する。
【００２２】
そして、組み合わせパターン作成手段は、作成した候補領域の組み合わせの中から、その作成した優先順位の情報に従って、基準の組み合わせに近似する組み合わせを特定するデータを表示手段に出力する。この結果、表示手段はユーザに候補領域の組み合わせを提示する際に、基準の組み合わせ、すなわち前回利用した候補領域の組み合わせに近似する組み合わせを優先して提示する。
【００２３】
なお、基準の組み合わせと作成した組み合わせとが近似しているとは、基準の組み合わせに含まれた各候補領域を特定するデータと、作成した組み合わせに含まれた各候補領域を特定するデータとが近似しているということである。例えば、候補領域を特定するデータが、前記画像全体の領域に対する候補領域の位置を特定するデータである場合、基準の組み合わせに含まれた各候補領域の位置を特定するデータと、作成した組み合わせに含まれた各候補領域の位置を特定するデータとの差が、予め定めた閾値以下に納まるとき、組み合わせパターン作成手段は、基準の組み合わせと作成した組み合わせとが近似していると判断することができる。
【００２４】
従って、前回利用した組み合わせと一致する組み合わせが無い場合でも、近似する組み合わせがあれば、最初にユーザに提示されるので、似たフォーマットの原稿を複数枚文字認識する際にも、二回目の文字認識作業からはユーザの文字認識対象領域の指定操作をさらに簡便にすることができる。
【００２５】
（４）また、本発明の文字認識装置は、上記構成に加えて、過去に文字認識に利用した文字認識対象領域に対応する過去の候補領域の組み合わせを累積して記憶する組み合わせパターン記憶手段を備え、前記組み合わせパターン作成手段は、前記組み合わせパターン記憶手段に累積して記憶された過去の候補領域の組み合わせと近似する、前記候補領域の組み合わせを優先して前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することが好ましい。
【００２６】
当該構成において、組み合わせパターン記憶手段は、前回一回分だけではなく、過去に利用された候補領域の組み合わせを累積して記憶しており、組み合わせパターン作成手段は、累積して記憶された過去の候補領域の組み合わせの中から近似する組み合わせを検索し、近似する組み合わせがある場合は、その組み合わせのユーザへの提示順位が最先になるように各組み合わせの優先順位を表す情報を作成する。
【００２７】
従って、過去複数回の文字認識において一度でも利用した組み合わせに近似する組み合わせであれば、ユーザへの提示順位が先になるので、ユーザの文字認識対象領域の指定操作をさらに簡便にすることができる。
【００２８】
なお、ユーザが新たに選択した組み合わせが、ユーザへの提示順位を最先にした組み合わせと異なる場合には、ユーザが新たに選択した組み合わせの提示順位が最先となるように、組み合わせパターン作成手段が、組み合わせパターン記憶手段に記憶されたその提示順位を書き換えることが好ましい。この場合、ユーザへの提示順位を最先にした組み合わせの提示順位は２位に下がり、その他の過去に利用された組み合わせの提示順位は３位などに繰り下がる。
【００２９】
また、そのような提示順位に、過去に利用した日時を表す情報を組み合わせ、日時を表す情報を対応する組み合わせと一緒にユーザに提示することにより、ユーザが組み合わせの選択を判断するのに、利用の新しさを参考にすることもできる。
【００３０】
（５）また、本発明の文字認識装置は、上記構成に加えて、過去に文字認識に利用した文字認識対象領域に対応する過去の候補領域の組み合わせを、過去に文字認識に利用した複数回数分記憶する組み合わせパターン記憶手段と、上記過去の候補領域の組み合わせの利用度合いを統計処理する統計情報処理手段とを備え、前記組み合わせパターン作成手段は、前記統計情報処理手段が算出した利用度合いの順に優先して、前記候補領域の組み合わせを前記前記表示手段に表示するように、複数の候補領域の可能な組み合わせを作成することが好ましい。
【００３１】
当該構成において、組み合わせパターン記憶手段は、前回一回分だけではなく、過去複数回分の候補領域の組み合わせを記憶しており、統計情報処理記憶手段は、それら組み合わせを過去にユーザが文字認識に利用した利用度合いを統計処理する。利用度合いは、ある組み合わせが文字認識に利用された回数でもよいし、所定期間に対して利用された回数などでもよい。組み合わせパターン作成手段は、過去に利用された組み合わせと近似する組み合わせのユーザへの提示順位が、統計情報処理手段が算出した利用度合いの順番になるように各組み合わせの優先順位を表す情報を作成する。
【００３２】
従って、過去により多く利用した組み合わせであれば、ユーザへの提示順位が先になるので、ユーザの文字認識対象領域指定操作をさらに簡便にすることができる。
【００３３】
（６）一方、本発明に係る文字認識方法は、上記課題を解決するために、文字列を含む画像内の文字認識対象領域を決定し、決定された文字認識対象領域から文字列を抽出し、抽出した文字列に対して文字認識を行う文字認識方法において、前記画像から、前記文字認識対象領域の候補となる候補領域を抽出する候補領域抽出工程と、候補領域抽出工程が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成工程と、前記作成された候補領域の組み合わせを表示する表示工程と、ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力工程と、表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定工程と、を含んでいることを特徴とする。
【００３４】
当該構成において、上記文字認識装置と同様に、候補領域抽出工程で、前記画像から、前記文字認識対象領域の候補となる候補領域が抽出される。候補領域の抽出とは、前記画像全体の領域に対して候補領域を特定するデータを抽出することである。複数の候補領域が抽出された場合に、組み合わせパターン作成工程が、抽出された候補領域（を特定するデータ）の可能な全ての組み合わせを作成し、認識対象領域決定工程が、表示工程を用いて前記候補領域の組み合わせをユーザに提示する。ユーザは、提示された候補領域の組み合わせから所望のものを入力工程により選択する。
【００３５】
上記の構成によれば、特に、前記画像から複数の候補領域が抽出された場合において、候補領域の組み合わせの作成とユーザへの提示とが自動的にユーザの介在なしに行われる。従って、本文字認識方法は、ユーザの文字認識対象領域の指定操作を従来技術によるものに比べ大幅に簡便にすることができる。
【００３６】
ところで、上記文字認識装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、少なくとも上述した候補領域抽出手段・組み合わせパターン作成手段・認識対象領域決定手段・表示手段・入力手段としてコンピュータを動作させる文字認識プログラムであり、本発明に係る記録媒体には、当該文字認識プログラムが記録されている。
【００３７】
この文字認識プログラムがコンピュータによって実行されると、当該コンピュータは、上記文字認識装置として動作する。したがって、上記文字認識装置と同様に、文字認識対象領域の候補となる候補領域の組み合わせの作成とユーザへの提示とが自動的にユーザの介在なしに行われるので、ユーザの文字認識対象領域の指定操作を従来技術によるものに比べ大幅に簡便にすることができるという効果を奏する。
【発明の効果】
【００３８】
本発明に係る文字認識装置は、以上のように、文字列を含む画像から、文字認識対象領域の候補となる候補領域を抽出する候補領域抽出手段と、候補領域抽出手段が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成手段と、前記作成された候補領域の組み合わせを表示する表示手段と、ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力手段と、表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定手段と、を備えたことを特徴としている。
【００３９】
また、本発明の文字認識方法は、以上のように、文字列を含む画像から、文字認識対象領域の候補となる候補領域を抽出する候補領域抽出工程と、候補領域抽出工程が複数の候補領域を抽出した場合に、抽出された候補領域の可能な組み合わせを作成する組み合わせパターン作成工程と、
前記作成された候補領域の組み合わせを表示する表示工程と、ユーザによる前記候補領域の組み合わせの選択結果を入力として受け付ける入力工程と、表示された候補領域の組み合わせのいずれかの内、ユーザにより選択された候補領域の組み合わせを文字認識対象領域として決定する認識対象領域決定工程と、を含んでいることを特徴としている。
【００４０】
それゆえ、前記画像からの候補領域の抽出およびその領域が複数ある場合における候補領域の組み合わせの作成とユーザへの提示が自動的にユーザの介在なしに行われる。従って、本文字認識装置または文字認識方法は、ユーザの文字認識対象領域指定操作を従来技術によるものに比べ大幅に簡便にすることができる。
【発明を実施するための最良の形態】
【００４１】
[第一の実施形態]
本発明による文字認識装置の例として第一の実施形態を以下に説明する。
【００４２】
[第一の実施形態の機能ブロック図について]
図１に、上記文字認識装置の一実施形態の機能ブロック図を示し、以下にその概略を説明する。
【００４３】
本実施形態の文字認識装置は、画像入力処理部１１、入力処理部１２、文字認識部２０Ａおよび表示処理部３２を備えている。また、上記文字認識部２０Ａは、候補領域抽出処理部２１、組み合わせパターン作成処理部２２、認識対象領域決定処理部２３および文字認識処理部２４を備えている。
【００４４】
画像入力処理部１１は、名刺などの文字列を含む原稿の画像を光学的に読み取り、画像データを生成して候補領域抽出処理部２１へ出力する。なお、画像入力処理部１１を、カメラやスキャナなどの画像読み取り装置によって構成することができる。
【００４５】
入力処理部１２は、例えば文字認識装置を搭載した携帯電話の場合、テンキーや決定ボタンなどを備えており、文字認識装置を操作するユーザの各種指示を受け付ける。
【００４６】
候補領域抽出処理部２１は、画像入力処理部１１から受け取った画像データにぼけ補正および二値化などの画像処理を行って補正画像データを生成する。また、候補領域抽出処理部２１は、上記補正画像データから文字認識の対象となる領域（文字認識対象領域）の候補を矩形領域（候補領域）として抽出し、例えば、読み取った原稿の左上隅を基準とする各矩形領域の原稿上の位置を特定する座標データを生成する。生成された座標データは組み合わせパターン作成処理部２２へ出力されるとともに、各矩形領域内の補正画像データは文字認識処理部２４および表示処理部３２へ出力される。
【００４７】
なお、候補領域抽出処理部２１が矩形領域を抽出する場合、具体的には、画像中の画素のつながり情報を基に、例えば行を抽出する。行抽出の方法は従来手法で可能である。
【００４８】
ここで、横書きの文字列を含む画像を文字認識処理する場合を例に説明する。図３に、抽出された矩形領域と、記憶された座標データの例とを示す。この例は、原稿としての名刺を携帯電話機のカメラで撮影した場合の例である。１つの矩形領域が１行の文字列として抽出された結果、全部で５行（１行目が会社名、２行目が所属、３行目が肩書きと氏名、４行目が住所、５行目が電話番号）の文字列が各矩形領域として抽出されている。各行のＸＹ座標は、名刺の左上隅を基準位置として、行方向および列方向をＸ−Ｙ直交座標系のそれぞれＸ方向およびＹ方向として、１行目(79,175)(443,287)、２行目(124,318)(386,379)、３行目(110,459)(993,590)、４行目(534,798)(1413,876)、５行目(968,850)(1418,898)である。各行について、矩形領域の左上端および右下端のＸＹ座標が記憶されている。
【００４９】
組み合わせパターン作成処理部２２は、候補領域抽出処理部２１から受け取った各矩形領域の座標データの組み合わせを特定することができるように、各矩形領域の可能な組み合わせ（以下、組み合わせパターンという）を全て作成し、その組み合わせパターンを、ユーザに提示する文字認識対象領域の候補として認識対象領域決定処理部２３へ出力する。
【００５０】
認識対象領域決定処理部２３は、組み合わせパターン作成処理部２２から受け取った組み合わせパターンを表示処理部３２に出力する。また、表示処理部３２に表示された組み合わせパターンをユーザが見ながら入力処理部１２を操作した結果、入力処理部１２から受け取ったユーザの選択結果を基に、組み合わせパターンの候補の中から実際の文字認識処理に使用する組み合わせパターンを決定し、決定した組み合わせパターンを文字認識処理部２４に出力する。
【００５１】
文字認識処理部２４は、認識対象領域決定処理部２３により決定された文字認識対象領域について、例えば行ごとに画素の切れ目または画素のヒストグラム情報を検出し、その検出結果をマッチング辞書と照合するなどの方法により、１文字ごとの画像データを切り出す。さらに、文字認識処理部２４は、１文字ごとの画像データを文字のマッチング辞書と照合するなどの方法により、認識結果の候補となる文字の文字コードを出力する。文字認識手法については、従来のどの方法を用いてもよい。
【００５２】
表示処理部３２は、候補領域抽出処理部２１から受け取った補正画像データと、認識対象領域決定処理部２３から受け取った組み合わせパターンのそれぞれとを合わせて画面上に表示する。なお、具体的な表示形態については後述する。
【００５３】
入力処理部１２は、画面上に表示された文字認識対象の候補としての組み合わせパターンに対するユーザの選択を受け付け、その入力を認識対象領域決定処理部２３へ出力する。文字認識処理部２４は、候補領域抽出処理部２１から受け取った各矩形領域内の補正画像データと、認識対象領域決定処理部２３から受け取った決定した組み合わせパターンの情報を元に、決定した文字認識対象領域について、従来技術による文字認識処理を行い、認識結果を表示処理部３２に出力する。表示処理部３２は、文字認識処理部２４から受け取った認識結果を画面上に表示する。
【００５４】
以上の構成により、文字認識対象領域の候補として、各矩形領域のあらゆる組み合わせパターンをユーザに提示するので、ユーザは提示された組み合わせパターンの中から、所望の矩形領域の組み合わせを文字認識対象領域として簡単に選択することができる。
【００５５】
文字認識装置の具体的な動作については、後で詳述する。
【００５６】
[第一の実施形態の構成図について]
図２は、上記文字認識装置をカメラ付携帯電話機に搭載した場合のハードウェアの構成例を示すブロック図である。
【００５７】
本携帯電話機は、入力部１０、ＣＰＵ２０、出力部３０、ＲＡＭ４０およびＲＯＭ５０を備えている。
【００５８】
入力部１０は、既に説明した画像入力処理部１１および入力処理部１２を備えている。
【００５９】
ＣＰＵ２０は、ＲＯＭ５０に格納された文字認識プログラムを読み出して本発明の文字認識処理を実行する上記文字認識部２０Ａとして機能するほか、携帯電話機で実行される各種処理を制御する。
【００６０】
出力部３０は、出力処理部３１と、上述の表示処理部３２とを備えている。なお、出力処理部３１は、文字認識の結果を出力する。
【００６１】
ＲＡＭ４０は、ＣＰＵ２０が実行した各種演算の結果を一時的に記憶する記憶部であり、本実施の形態では、後述する候補領域抽出結果記憶部４１、組み合わせパターン記憶部４２および認識結果記憶部４３として機能する。
【００６２】
ＲＯＭ５０は、上記文字認識プログラムを含む各種プログラムや、文字認識処理に必用な各種データを記憶している記憶部である。その各種データとして、後述するフォーマット情報５１、マッチング辞書５２および後処理辞書５３を挙げることができる。
【００６３】
候補領域抽出結果記憶部４１は、候補領域抽出処理部２１で抽出された結果、すなわち抽出された各矩形領域を特定する座標データを一時的に記憶する。
【００６４】
組み合わせパターン記憶部４２は、組み合わせパターン作成処理部２２により作成された組み合わせパターンを記憶する。
【００６５】
認識結果記憶処理部４３は、文字認識処理部２４における認識結果の候補となる文字の文字コードを記憶する。
【００６６】
フォーマット情報５１は、たとえば、名刺について言えば、「名前は名刺の中央付近にある」、「住所は右下付近にある」といった定型文書のフォーマットに関する情報を蓄積している。
【００６７】
マッチング辞書５２は、１文字ごとの画像データを切り出す文字切り出し処理や、１文字ごとの文字コードを特定するマッチング処理などに用いるデータを格納している。
【００６８】
後処理辞書２１は、文字認識処理部２４で認識された文字列がどういった内容の文字列であるかを決めるために、認識結果の文字列と比較するキーワードを格納している。
[第一の実施形態のフローチャートについて]
図４において、本実施形態の文字認識処理の大きな流れをフローチャートにて示す。
【００６９】
本実施形態のカメラ付携帯電話機が起動されると、文字認識処理を行う指示が、入力処理部１２を介してユーザによって入力されたか否かを、ＣＰＵ２０に備えられた図示しない制御部が判断する（ステップ１；以下Ｓ１と略記する）。
【００７０】
文字認識処理を行う指示が入力された場合、カメラが起動され、画像が撮影された後、画像入力処理部１１が、光学的に読み取った画像から画像データを生成する（Ｓ２）。
【００７１】
次に、候補領域抽出処理部２１が、上述したとおり、文字認識に適した補正画像データを生成し、生成した補正画像データから行に相当する矩形領域の抽出を行うとともに、各矩形領域の原稿上の位置を特定する座標データを生成する（Ｓ３）。なお、候補領域抽出処理部２１は、生成した座標データを抽出結果記憶部４１に一時保存するが、生成した座標データを抽出結果記憶部４１に保存するかしないかは、本実施の形態においては本質的ではない。
【００７２】
続いて、組み合わせパターン作成処理部２２が、各矩形領域について特定した座標データを用いて、文字認識対象領域の候補の組み合わせパターンを作成する（Ｓ４）。Ｓ４の具体例については後述する。なお、組み合わせパターン作成処理部２２は、作成した組み合わせパターンを組み合わせパターン記憶部４２に一時保存するが、組み合わせパターンを組み合わせパターン記憶部４２に保存するかしないかは、本実施の形態においては本質的ではない。
【００７３】
次に、上記組み合わせパターンは、認識対象領域決定処理部２３を経て、表示処理部３２に送られるので、表示処理部３２が、候補の各組み合わせパターンを画面上に表示する（Ｓ５）。Ｓ５の具体例についても後述する。
【００７４】
ユーザは、表示された組み合わせパターンの中から、文字認識を行うパターンを入力処理部１２によって選択する。この選択結果を認識対象領域決定処理部２３が受け付けることにより、文字認識処理を行う文字認識対象領域を決定する（Ｓ６）。
【００７５】
続いて、文字認識処理部２４が、決定された文字認識対象領域に基づいて文字認識を行う（Ｓ７）。なお、文字認識処理部２４は、画像中の決定された文字認識対象領域に含まれる文字列について、文字切り出し、パターンマッチング、項目分類等を、従来の技術を用いて行う。上記の項目分類とは、認識結果の文字列と後処理辞書２１中のキーワードとの比較や、文字認識処理部で抽出した文字の大きさの情報などにより、認識した文字列がどういった内容の文字列であるか（例えば、認識結果の文字列が、会社名なのか、所属部署名なのか、肩書名なのか、住所なのか、電話番号なのか等）を判断することである。また、文字認識処理部２４は、認識結果の候補となる文字の文字コードを認識結果記憶部４３に一時保存するが、認識結果記憶部４３に文字コードを保存するかしないかは、本実施の形態においては本質的ではない。
【００７６】
最後に、表示処理部３２が、文字認識された結果を画面上に表示する（Ｓ８）。
【００７７】
[組み合わせパターンの作成方法について]
組み合わせパターンとは、文字認識対象領域である複数の矩形領域（候補領域）から、いくつかを選択し、それらを組み合わせたもののことである。
【００７８】
組み合わせパターン作成処理部２２は、図４に示したフローチャートの組み合わせパターン作成処理（Ｓ４）において、複数の文字認識対象領域の候補を組み合わせて、可能な組み合わせパターンを作成する。以下でまず、その組み合わせパターンの作成方法についてフローチャートで説明し、次にその具体例について説明する。
【００７９】
図５において、組み合わせパターン作成処理のフローチャートを示す。図３で例示した行抽出結果の座標データが入力されたものとして説明を行う。
【００８０】
候補領域抽出処理部２１により抽出された座標データを組み合わせパターン作成処理部２２が受け取ることにより、処理が開始される。組み合わせパターン作成処理部２２は、受け取った行座標データから画像の中心付近の行で、その行の高さ（以下、行高さと略記する）の高い行を１つ選び、第１領域とする。
【００８１】
行高さが高いかどうかの判断は、以下のように行う。例えば、図３に示す行抽出結果の例を用いた場合、各行の行高さは各行の矩形領域の右下端と左上端のＹ座標から求めるので、以下のとおりである：
１行目の行高さは、２８７−１７５＝１１２
２行目の行高さは、３７９−３１８＝６１
３行目の行高さは、５９０−４５９＝１３１
４行目の行高さは、８７６−７９８＝７８
５行目の行高さは、８９８−８５０＝４８
上記すべての行の行高さ平均は、８６である。
【００８２】
行高さが高いかどうかの判断は、その行の行高さが、行高さ平均の値以上であれば高いと判断するという条件でもよいし、行高さの最大値を持つ行を高いと判断するという条件でもよいし、行高さ平均を定数Ａ倍（Ａ＞１）した値より高い行高さを持つ行を高いと判断するという条件でもよい。これらの条件により行高さが高いと判断された行が複数ある場合は、各行の中心点と画像の中心点との距離を計算し、画像の中心点との距離が最も短い行を第１領域とする。
【００８３】
また、抽出された各矩形領域の行のうち、どの行が中心付近にあるかの判断は、以下のように行う。
【００８４】
抽出されたすべての行は、上から１行目の行の左上端座標から、上から５行目の行の右下端座標に囲まれた矩形領域、つまり、上記の例では、座標が（７９，１７５）から（１４１８，８９８）の矩形領域の範囲内にある。この矩形領域を横に３分割して得られる上側、中側、下側の３領域のうち、中側の領域に含まれる行が中心付近に位置するものであると判断する。
【００８５】
この図３に示す例の場合、全部で５行あるうち、中心に近く行高さの大きい上から３行目を選択し、第１領域とする。第１領域を境とし、残りの領域を２つに分け、第２領域、第３領域とする（Ｓ１１）。
【００８６】
次に、組み合わせパターン作成処理部２２は、第２領域、第３領域にある行の座標をチェックし、さらに領域が２つに分割できるか判定する（Ｓ１２）。判定には、行間が閾値より広いという判定基準を用いる。例えば、図３の第２領域は、行間が閾値より広いという条件を満たしているので、さらに２つの領域に分割する（Ｓ１３）一方、第３領域は行間が閾値より小さいので、分割しない。
【００８７】
図６に、Ｓ１１からＳ１３の処理結果の例を示す。処理結果の例１は、Ｓ１１にて上から３行目が選択され、第１領域が特定された状態を示している。処理結果の例２は、Ｓ１１にて、第１領域を境として、第１領域より上側に位置する１行目と２行目とをまとめた第２領域、４行目と５行目とをまとめた第３領域が特定された状態を示している。さらに、処理結果の例３は、Ｓ１２・１３にて、第２領域を２分割し、１行目を第２領域、２行目を第４領域として特定した状態を示している。
【００８８】
組み合わせパターン作成処理部２２は、これ以上分割する領域がない場合、領域を分割する処理を終了し、領域分割の結果から組み合わせパターンを作成する（Ｓ１４）。組み合わせパターン作成処理部１３は、作成した組み合わせパターンを認識対象領域決定処理部２３に出力し、処理を終了する（ステップ１５）。この後、処理はＳ５へ移行する。
【００８９】
次に、図３に示す具体例を用いて組み合わせパターンを説明する。
【００９０】
原稿が名刺の場合、氏名が名刺の中央付近に印刷されていることが一般的であるため、組み合わせパターンには最初に特定した第１領域（以下、領域１と呼ぶ）を必ず含むというルールを付けることが実用上好ましい。
【００９１】
この例の場合、領域数は４つなので、組み合わせパターンは
２つの組み合わせの場合：領域１＋領域２                  （組み合わせパターン１）
領域１＋領域３                  （組み合わせパターン２）
領域１＋領域４                  （組み合わせパターン３）
３つの組み合わせの場合：領域１＋領域２＋領域３          （組み合わせパターン４）
領域１＋領域２＋領域４          （組み合わせパターン５）
領域１＋領域３＋領域４          （組み合わせパターン６）
４つの組み合わせの場合：領域１＋領域２＋領域３＋領域４  （組み合わせパターン７）
の７つとなる。
【００９２】
[組み合わせパターン表示方法について]
図４に示すフローチャートの組み合わせパターン表示処理（Ｓ５）として、文字認識対象領域の候補の組み合わせを、組み合わせパターンとして表示する方法について説明する。図７に示す組み合わせパターンの例１は、上記組み合わせパターン１の表示例であり、「領域１」と「領域２」とを破線枠で囲むことによって、「領域１」と「領域２」とが文字認識の候補領域であることをユーザが把握できるようになっている。組み合わせパターンの例２は、上記組み合わせパターン４の表示例であり、「領域１」と「領域２」と「領域３」とを破線枠で囲むことによって、「領域１」「領域２」「領域３」の３つが文字認識の候補領域であることをユーザが把握できるようになっている。
【００９３】
組み合わせパターンの表示形態は、ユーザに候補領域の組み合わせを提示できさえすれば任意であるが、図７に示すように、原稿の画像上に候補領域を表す破線枠のような印を重ね合わせて表示すると、ユーザが使い易くなる。このように候補領域を他の領域から区別できればよいので、候補領域を表す印の代わりに、候補領域の色を変えて表示してもよいし、組み合わせパターン以外の領域を消去ないしグレーアウトしてもよいし、候補領域のみ表示を反転させるなどしてもよい。
【００９４】
また、認識対象決定処理部２３は、上記の例の場合、７つの組み合わせパターンをユーザの操作により、あるいは所定の時間間隔で自動的に順番に切り替えて表示する。例えば、認識対象決定処理部２３は、携帯電話機の矢印キーの上キーが押下される毎に、
組み合わせパターン１→組み合わせパターン２→組み合わせパターン３→組み合わせパターン４→組み合わせパターン５→組み合わせパターン６→組み合わせパターン７→組み合わせパターン１、
の順で画面上に表示する。
【００９５】
また、認識対象決定処理部２３は、番号キー１で組み合わせパターン１を、番号キー２で組み合わせパターン２を表示してもよい。
【００９６】
ユーザに対して組み合わせパターンの切り替え表示が可能であれば、どのような表示方法をとってもよい。
【００９７】
[組み合わせパターン選択方法について]
図４に示すフローチャートの組み合わせパターン決定処理（Ｓ６）として、組み合わせパターンの決定方法、すなわち文字認識対象領域の決定方法について説明する。
【００９８】
上記の例のように、認識対象決定処理部２３は、表示処理部２４を通して組み合わせパターンを順に表示し、ユーザの意図する行の組み合わせパターンが表示された場合に、入力処理部１２における決定キーの押下などを入力として受け付け、組み合わせパターンを決定する。決定方法はどのような方法でもよい。
【００９９】
[第二の実施形態]
次に第二の実施形態について説明する。第二の実施形態では、第一の実施形態に加えて、前回文字認識に利用した文字認識の対象領域の組み合わせを記憶しておき、それを基準として、今回行う文字認識において、可能な組み合わせをユーザに提示する際の優先順位を決めるものである。
【０１００】
[第二の実施形態の機能ブロック図について]
図８に、上記文字認識装置の他の実施形態の機能ブロック図を示し、以下にその概略を説明する。但し、本実施形態では、図１の第一の実施形態の機能ブロック図において破線で囲んだ組み合わせパターン処理部２０Ｂに関連する部分のみ異なるので、図８では組み合わせパターン処理部２０Ｂ１のみを示す。
【０１０１】
本実施形態の組み合わせパターン処理部２０Ｂ１は、上述した認識対象領域決定処理部２３と組み合わせパターン作成処理部２２Ｂとを備えている。なお、組み合わせパターン処理部２０Ｂ１が利用する基準組み合わせパターン記憶部６１は、図８において図示の便宜上、組み合わせパターン処理部２０Ｂ１内に仮想的に記載されているが、実際には後述するＲＡＭ６０内に置かれている。
【０１０２】
組み合わせパターン作成処理部２２Ｂは、候補領域抽出処理部２１から受け取った各矩形領域の座標データの組み合わせを特定することができるように、組み合わせパターンを全て作成し、その組み合わせパターンを、ユーザに提示する文字認識対象領域の候補として認識対象領域決定処理部２３へ出力する。また、組み合わせパターン作成処理部２２Ｂは、基準組み合わせパターン記憶部６１から前回文字認識に利用された組み合わせパターンを基準組み合わせパターンとして読み出し、その基準組み合わせパターンと一致する組み合わせパターンが有るか無いかを判断する。基準組み合わせパターンと一致する組み合わせパターンが有る場合、組み合わせパターン作成処理部２２Ｂは、その組み合わせパターンを表示する優先順位を最も高くしてその優先順位も認識対象領域決定処理部２３へ出力する。
【０１０３】
認識対象領域決定処理部２３は、組み合わせパターン作成処理部２２Ｂから受け取った組み合わせパターンを表示の優先順位に従って表示処理部３２に出力する。また、表示処理部３２に表示された組み合わせパターンをユーザが見ながら入力処理部１２を操作した結果、入力処理部１２から受け取ったユーザの選択結果を基に、組み合わせパターンの候補の中から実際の文字認識処理に使用する組み合わせパターンを決定し、決定した組み合わせパターンを文字認識処理部２４および基準組み合わせパターン記憶部６１に出力する。
【０１０４】
なお、ユーザが決定した組み合わせパターンが上記基準組み合わせパターンと一致し、基準組み合わせパターン記憶部６１に既に記憶されている場合には、基準組み合わせパターン記憶部６１の記憶内容を書き換える必要は無いが、上書きしてもよい。また、ユーザが決定した組み合わせパターンをユーザが過去に何回選択したかを表す選択回数と合わせて履歴として残し、選択回数の多い順に上記の優先順位が高くなるようにしてもよい。
【０１０５】
基準組み合わせパターン記憶部６１は、認識対象領域決定処理部２３から出力され文字認識に利用された組み合わせパターンを組み合わせパターン作成処理部２２Ｂが次回の文字認識処理に利用できるように記憶する。
【０１０６】
以上の構成により、前回利用した組み合わせパターンと一致する組み合わせパターンが優先的にユーザに提示されるので、ユーザは優先的に提示された組み合わせパターンを選択することにより、より少ない手順で所望の矩形領域の組み合わせを文字認識対象領域として選択することができる。
【０１０７】
[第二の実施形態の構成図について]
図９は、上記文字認識装置をカメラ付携帯電話機に搭載した場合のハードウェアの構成例を示すブロック図である。
【０１０８】
本携帯電話機の構成は、ＲＡＭ（不揮発性メモリ）６０が追加されている以外、図２に示す第一の実施形態の携帯電話機と同一構成である。
【０１０９】
ＲＡＭ（不揮発性メモリ）６０上の基準組み合わせパターン記憶部６１は、認識対象領域決定処理部２３から出力された決定した組み合わせパターンを記憶し、次回の文字認識の際に記憶した情報が利用されるので、装置の電源がオフの場合でも記憶内容を保持するために不揮発性メモリ上に構成される。
【０１１０】
[第二の実施形態のフローチャートについて]
図１０において、本実施形態の文字認識処理の大きな流れをフローチャートにて示す。図４に示す第一の実施形態のフローチャートとの相違点は、認識対象領域決定処理部２３がユーザの選択により組み合わせパターンを決定した後、その組み合わせパターン選択結果を基準組み合わせパターン記憶部６１に記憶する処理（Ｓ２０７）が追加されている点である。
【０１１１】
[第二の実施形態における組み合わせパターンの作成方法について]
第二の実施形態における組み合わせパターン作成処理について説明する。
【０１１２】
図１１において、本実施形態の組み合わせパターン作成処理の流れをフローチャートにて示す。図５に示す第一の実施形態のフローチャートとの相違点は、組み合わせパターン出力の処理（Ｓ２１７）の前に、基準組み合わせパターン記憶部６１に記憶されたデータがあるかをチェックし（Ｓ２１５）、データがある場合は、作成した組み合わせパターンの内、記憶している基準の組み合わせパターンに一致するものの表示順位を上げる処理（Ｓ２１６）が追加された点である。つまり、第一の実施形態では、図７に示すように、文字認識対象領域の候補の組み合わせパターンの表示は、処理された順番で行われるが、本実施形態では、記憶された基準の組み合わせパターンに一致するものが優先して表示される。
【０１１３】
[表示優先順位の変更方法について]
組み合わせパターン作成処理部２２Ｂが、作成した組み合わせパターンの表示優先順位を変更する方法について以下に説明する。
【０１１４】
図１２に、組み合わせパターンの作成処理の過程で作成されるデータの一例を示す。領域分割処理で得られた各領域（この例では第１から第４領域）について、その領域中心点の座標が記録されている。組み合わせパターン作成処理部２２Ｂが、抽出された文字認識対象領域とその領域の中心点の座標を対応付けたデータを作成する。中心点の座標に代えて、領域の矩形座標を用いてもよい。
【０１１５】
図１３に、組み合わせパターン作成処理部２２Ｂが、図１２に例示する領域のデータを組み合わせて、組み合わせパターンおよび表示順位を作成した結果の例を示す。この例では、当初、最初に作成された組み合わせパターン（「領域１＋領域２」、中心点座標データ「(551,524)＋(261,231)」のもの）の表示順位が１位である。しかし、各組み合わせパターンを、記憶された基準組み合わせパターン（「領域１＋領域２＋領域３」、中心点座標データ「(551,524)＋(261,231)＋(976,848)」のもの）と比較した結果、当初は表示順位が４位であった組み合わせパターン（「領域１＋領域２＋領域３」、中心点座標データ「(551,524)＋(261,231)＋(976,848)」）の表示順位が１位に変更されている。
【０１１６】
組み合わせパターン作成処理部２２Ｂは、それぞれの領域データの組み合わせパターンに対して、表示順位を付与する。基準組み合わせパターン記憶部６１にデータが記憶されていない場合は、表示順位は、組み合わせパターン作成処理部２２Ｂが組み合わせパターンを作成した順序となる。基準組み合わせパターン記憶部６１にデータが記憶されている場合は、記憶されている基準組み合わせパターンのデータと作成した組み合わせパターンのデータとを比較する。組み合わせパターン作成処理部２２Ｂは、それらのデータが一致していると判断した場合は、その組み合わせパターンについての表示順位を上げる。一致の判断は、基準組み合わせパターンの領域数と作成した組み合わせパターンの領域数とが同数で、かつ両パターン間で対応し合う領域同士の中心点座標間の距離（差分）がすべて閾値以下の場合に、一致しているとする。
【０１１７】
図１４に、上記処理のフローチャートを示す。なお、以下の各ステップの主体は、全て組み合わせパターン作成処理部２２Ｂである。
【０１１８】
組み合わせパターン作成処理部２２Ｂは、記憶された基準組み合わせパターンが基準組み合わせパターン記憶部６１にあるかをチェックし、あれば次（Ｓ２２２）へ進み、無ければ処理を終了する（Ｓ２２１）。
【０１１９】
次に、作成された組み合わせパターンがあるかをチェックし、あれば次（Ｓ２２３）へ進み、無ければ処理を終了する（Ｓ２２２）。
【０１２０】
次に、上記作成された組み合わせパターンと記憶された基準組み合わせパターンの領域数が同じかをチェックする。同じ場合は次（Ｓ２２４）へ進み、異なる場合は、Ｓ２２５へ進む（Ｓ２２３）。
【０１２１】
次に、記憶された基準組み合わせパターンの各領域の中心点座標と上記作成された組み合わせパターンの各領域の中心点座標がすべて近いか（距離が閾値以下か）をチェックする。近い場合は次（Ｓ２２６）へ進み、遠い場合は、Ｓ２２５へ進む（Ｓ２２４）。組み合わせパターンが複数作成される場合には、最初に処理した組み合わせパターンの次の組み合わせパターンについても、Ｓ２２２に戻って処理を繰り返す（Ｓ２２５）。
【０１２２】
最後に、組み合わせパターン作成処理部２２Ｂは、一致していると判断された組み合わせパターンの表示順位を上げ（Ｓ２２５）、処理を終了する。
【０１２３】
[第三の実施形態]
次に第三の実施形態について説明する。
【０１２４】
第三の実施形態のポイントは、組み合わせパターンの作成処理の際に、基準組み合わせパターン記憶部６１に記憶された基準組み合わせパターンに近似する組み合わせパターンを作成し、その表示順位を上げる点である。
【０１２５】
[第三の実施形態の機能ブロック図について]
図１５に、上記文字認識装置のさらに他の実施形態の機能ブロック図を示し、以下にその概略を説明する。但し、本実施形態では、図１の第一の実施形態の機能ブロック図において破線で囲んだ組み合わせパターン処理部２０Ｂに関連する部分のみ異なるので、図１５では組み合わせパターン処理部２０Ｂ２のみを示す。
【０１２６】
本実施形態の組み合わせパターン処理部２０Ｂ２は、上記認識対象領域決定処理部２３および組み合わせパターン作成処理部２２Ｃを備えている。なお、組み合わせパターン処理部２０Ｂ２が利用する前記基準組み合わせパターン記憶部６１およびＲＡＭ４０は、図１５において図示の便宜上、組み合わせパターン処理部２０Ｂ２内に仮想的に記載されている。
【０１２７】
組み合わせパターン作成処理部２２Ｃは、候補領域抽出処理部２１から受け取った各矩形領域の座標データの組み合わせを特定することができるように、組み合わせパターンを全て作成し、その組み合わせパターンを、ユーザに提示する文字認識対象領域の候補として認識対象領域決定処理部２３へ出力する。また、基準組み合わせパターン記憶部６１から前回文字認識に利用された基準組み合わせパターンを読み出し、その基準組み合わせパターンに近似する組み合わせパターンを表示する優先順位を最も高くしてその優先順位も認識対象領域決定処理部２３へ出力する。さらに、ＲＡＭ４０を利用して、作成した組み合わせパターンのうち、基準組み合わせパターン記憶部６１に記憶した基準組み合わせパターンに近似するものを作成し、認識対象領域決定処理部２３へ出力する。なお、近似する組み合わせパターンの作成方法については、以下で詳述する。
【０１２８】
認識対象領域決定処理部２３は、組み合わせパターン作成処理部２２Ｃから受け取った組み合わせパターンを表示処理部３２に出力する。また、表示処理部３２に表示された組み合わせパターンをユーザが見ながら入力処理部１２を操作した結果、入力処理部１２から受け取ったユーザの選択結果を基に、組み合わせパターンの候補の中から実際の文字認識処理に使用する組み合わせパターンを決定し、決定した組み合わせパターンを文字認識処理部２４および基準組み合わせパターン記憶部６１に出力する。
【０１２９】
基準組み合わせパターン記憶部６１は、認識対象領域決定処理部２３から出力され文字認識に利用された組み合わせパターンを組み合わせパターン作成処理部２２Ｃが次回の文字認識処理に利用できるように記憶する。
【０１３０】
以上の構成により、前回利用した組み合わせパターンと近似する組み合わせパターンを作成し、その組み合わせパターンを優先的にユーザに提示するので、ユーザは優先的に提示された組み合わせパターンを選択することにより、より少ない手順で所望の矩形領域の組み合わせを文字認識対象領域として選択することができる。
【０１３１】
[第三の実施形態における組み合わせパターンの作成方法について]
近似する組み合わせパターンの作成方法について以下に説明する。なお、全体および詳細な処理の流れについては、[第三の実施形態のフローチャートについて]にて図２０、図２１に示すフローチャートを用いて説明する。
【０１３２】
図１６に、入力された名刺画像から抽出された矩形領域と、記憶された座標データの例とを示す。この例は、原稿としての名刺を携帯電話機のカメラで撮影した場合の例である。１つの矩形領域が１行の文字列として抽出された結果、全部で６行（１行目が会社名、２行目が所属、３行目が肩書き、４行目が氏名、５行目が住所、６行目が電話番号）の文字列が各矩形領域として抽出されている。各行のＸＹ座標は、名刺の左上隅を基準位置として、行方向および列方向をＸ−Ｙ直交座標系のそれぞれＸ方向およびＹ方向として、１行目(79,175)(443,287)、２行目(124,318)(386,379)、３行目(79,240)(123,300)、４行目(60,350)(370,788)、５行目(534,798)(1413,876)、６行目(968,850)(1418,898)である。各行について、矩形領域の左上端および右下端のＸＹ座標が記憶されている。
【０１３３】
上記矩形領域を入力画像から抽出した後、既に述べた領域分割処理で、各矩形領域を領域分割した結果の例を、図１７に示す。図１７では、上から４行目が第１領域として特定され、第１領域を境として、第１領域より上側に位置する１行目から３行目までがそれぞれ第４領域、第５領域、第２領域となり、第１領域より下側に位置する５行目と６行目とがまとめて第３領域として特定された状態を示している。
【０１３４】
図１８に、組み合わせパターンの作成処理の過程で作成されるデータの一例を示す。領域分割処理で得られた各領域（この例では第１から第５領域）について、その領域中心点の座標が記録されている。組み合わせパターン作成処理部２２Ｃが、抽出された文字認識対象領域とその領域の中心点の座標を対応付けたデータを作成する。中心点の座標に代えて、領域の矩形座標を用いてもよい。
【０１３５】
図１９に、組み合わせパターン作成処理部２２Ｃが、図１８に例示する領域のデータを組み合わせて、組み合わせパターンおよび表示順位を作成した結果の例を示す。なお、図１９に示す例では、組み合わせ中の領域数が３未満の組み合わせパターンについては図示していない。
【０１３６】
この例では、当初、最初の処理で作成される、図示しない組み合わせパターン（「領域１＋領域２」、中心点座標データ「(215,569)＋(101,270)」のもの）の表示順位が、最初に作成されたが故に、１位になっている。また、図１９下側の例に示すとおり、基準データとして、基準組み合わせパターン（領域数３、「領域１＋領域２＋領域３」、中心点座標データ「(551,524)＋(261,231)＋(976,848)」のもの）が、基準組み合わせパターン記憶部６１に記憶されている。ここで、作成された各組み合わせパターンを、上記の記憶された基準組み合わせパターンと以下のルールにより比較する。
【０１３７】
組み合わせパターン作成処理部２２Ｃは、作成された組み合わせパターンの領域数と中心点座標データとを、基準組み合わせパターンと比較し、近似しているか否かを判断する。そのルールの一例は、以下の通りである。
（１）各組み合わせパターンにつき評価値１および評価値２を計算する。
評価値１：組み合わせを構成する領域の個数が一致するか（一致すれば＋１点）
評価値２：中心点の座標の距離が閾値以内か（閾値以内であれば＋１点）
（２）各組み合わせパターンの総合評価値を計算する。
総合評価値＝（重みＡ＊評価値１）＋（重みＢ＊評価値２）
ただし、重みＡ＜重みＢ、重みＡ＞１、重みＢ＞１
（３）総合評価値の順に、作成した組み合わせパターンの表示順位を変更する。
（４）総合評価値が閾値以上であれば、近いと判断する。
【０１３８】
以上のルールにより作成された各組み合わせパターンを、上記の記憶された基準組み合わせパターンと比較し、総合評価値の高い順に、作成した組み合わせパターンの表示順位を変更するので、当初は表示順位が６位であった組み合わせパターン（「領域１＋領域２＋領域５」、中心点座標データ「(215,569)＋(101,270)＋(255,348)」）の総合評価値が最も高いとして、表示順位が１位に変更されている。
【０１３９】
[第三の実施形態のフローチャートについて]
本実施形態における文字認識方法の大きな流れは、図１０において示す第二の実施形態のフローチャートと同じである。
【０１４０】
図２０に、本実施形態において組み合わせパターン作成処理部２２Ｃが行う処理のフローチャートを示す。なお、以下の各ステップの主体は、全て組み合わせパターン作成処理部２２Ｃである。
【０１４１】
まず、図４および図５に示される第一の実施形態と同様の方法により、文字認識対象領域の候補の組み合わせパターンを作成する（Ｓ３０１）。
【０１４２】
次に、基準組み合わせパターン記憶部６１に、基準組み合わせパターンが記憶されているかをチェックし、記憶されていれば次のＳ３０３へ進み、無ければ処理を終了する（Ｓ３０２）。
【０１４３】
次に、作成された組み合わせパターンがあるかをチェックし、あれば次のＳ３０４へ進み、無ければＳ３０７へ進む（Ｓ３０３）。
【０１４４】
次に、作成された組み合わせパターンが記憶された基準組み合わせパターンと近いかをチェックする。近いかどうかの判断は、上で述べた組み合わせパターンの総合評価値が閾値以上であれば、近いと判断する。近い場合は、Ｓ３０５へ進み、遠い場合は、Ｓ３０６へ進む（Ｓ３０４）。
【０１４５】
次に、上記作成された組み合わせパターンをＲＡＭ４０に保存し、Ｓ３０６へ進む（Ｓ３０５）。組み合わせパターンが複数作成される場合に対応し、最初に処理した組み合わせパターンの次の組み合わせパターンについても、Ｓ３０３に戻って処理を繰り返す（Ｓ３０６）。
【０１４６】
最後に、ＲＡＭ４０に保存した組み合わせパターンの表示順位を、記憶された基準組み合わせパターンとの比較結果である総合評価値の順に入れ替えて、認識対象領域決定処理部２３へ出力する（Ｓ３０７）。
【０１４７】
なお、上記Ｓ３０４において、作成した組み合わせパターンが基準組み合わせパターンと近似しているかを総合評価値で判断する処理を、図２１に示すフローチャートを用いて説明すると以下のとおりである。以下の処理は、組み合わせパターン作成処理部２２Ｃが作成した各組み合わせパターンに対して行われる。
【０１４８】
最初に、組み合わせパターン作成処理部２２Ｃは、作成した組み合わせパターンに含まれる矩形領域数と基準組み合わせパターンに含まれる矩形領域数とを比較する（Ｓ３１１）。
【０１４９】
矩形領域数が同じであれば、組み合わせパターン作成処理部２２Ｃは、評価値１の点数に１点を加える（Ｓ３１２）。
【０１５０】
組み合わせパターン作成処理部２２Ｃは、基準組み合わせパターンとの比較を行っている組み合わせパターンに含まれる矩形領域のうち、まだ基準組み合わせパターンとの比較処理を行っていないものがあるかどうかチェックする（Ｓ３１３）。
【０１５１】
組み合わせパターン作成処理部２２Ｃは、基準組み合わせパターンとの比較処理をまだ行っていない矩形領域がある場合、基準組み合わせパターン中のいずれかの矩形領域の中心点座標と、作成した組み合わせパターンに含まれる未比較の矩形領域の中心点座標との距離が閾値以内であるかどうかをチェックする（Ｓ３１４）。
【０１５２】
上記Ｓ３１４において、中心点座標間の距離が閾値以内であると判断された場合は、組み合わせパターン作成処理部２２Ｃは、評価値２の点数に１点を加える（Ｓ３１５）。
【０１５３】
作成した組み合わせパターンのすべての矩形領域について、基準組み合わせパターンとの比較が終了した後、この作成した組み合わせパターンの総合評価値を計算しＲＡＭ４０に保存した後、組み合わせパターン作成処理部２２Ｃは、上記Ｓ３０４の処理を終了する（Ｓ３１６）。ここで計算された総合評価値は、上記[第三の実施形態における組み合わせパターンの作成方法について]において既述のとおり、作成した組み合わせパターンの表示順位を変更する為に用いられる。
【０１５４】
[第四の実施形態]
第四の実施形態は、第三の実施形態における基準組み合わせパターン記憶部６１を変更し、過去の組み合わせパターンを複数セット記憶可能な基準組み合わせパターン記憶部６１Ｂとする点でのみ異なる。この変更により、本実施形態では、過去複数回の文字認識に利用した候補領域の組み合わせパターンのいずれかと近似する組み合わせパターンが作成された場合、その作成された組み合わせパターンがユーザへ優先的に提示される。
【０１５５】
[第四の実施形態の機能ブロック図について]
図２２に、上記文字認識装置のさらに他の実施形態の機能ブロック図を示し、以下にその概略を説明する。但し、本実施形態では、図１の第一の実施形態の機能ブロック図において破線で囲んだ組み合わせパターン処理部２０Ｂに関連する部分のみ異なるので、図２２では組み合わせパターン処理部２０Ｂ３のみを示す。
【０１５６】
本実施形態の組み合わせパターン処理部２０Ｂ３は、上記認識対象領域決定処理部２３および組み合わせパターン作成処理部２２Ｄを備えている。なお、組み合わせパターン処理部２０Ｂ３が利用する上記基準組み合わせパターン記憶部６１ＢおよびＲＡＭ４０は、図２２において図示の便宜上、組み合わせパターン処理部２０Ｂ３内に仮想的に記載されている。
【０１５７】
組み合わせパターン作成処理部２２Ｄは、候補領域抽出処理部２１から受け取った各矩形領域の座標データの組み合わせを特定することができるように、組み合わせパターンを全て作成し、その組み合わせパターンを、ユーザに提示する文字認識対象領域の候補として認識対象領域決定処理部２３へ出力する。また、基準組み合わせパターン記憶部６１Ｂから過去に文字認識に利用された基準組み合わせパターン（複数セット）を読み出し、その基準組み合わせパターンと一致する組み合わせパターンを表示する優先順位を最も高くしてその優先順位も認識対象領域決定処理部２３へ出力する。さらに、ＲＡＭ４０を利用して、作成した組み合わせパターンのうち、基準組み合わせパターン記憶部６１Ｂに記憶した基準組み合わせパターン（複数セット）に近似するものを作成し、認識対象領域決定処理部２３へ出力する。
【０１５８】
認識対象領域決定処理部２３は、組み合わせパターン作成処理部２２Ｄから受け取った組み合わせパターンを表示処理部３２に出力する。また、表示処理部３２に表示された組み合わせパターンをユーザが見ながら入力処理部１２を操作した結果、入力処理部１２から受け取ったユーザの選択結果を基に、組み合わせパターンの候補の中から実際の文字認識処理に使用する組み合わせパターンを決定し、決定した組み合わせパターンを文字認識処理部２４および基準組み合わせパターン記憶部６１Ｂに出力する。
【０１５９】
基準組み合わせパターン記憶部６１Ｂは、認識対象領域決定処理部２３から出力され文字認識に利用された組み合わせパターンを組み合わせパターン作成処理部２２Ｄが次回の文字認識処理に利用できるように記憶する。
【０１６０】
以上の構成により、過去に利用した組み合わせパターン（複数セット）と近似する組み合わせパターンを作成し、その組み合わせパターンを優先的にユーザに提示するので、ユーザは優先的に提示された組み合わせパターンを選択することにより、より少ない手順で所望の矩形領域の組み合わせを文字認識対象領域として選択することができる。
【０１６１】
[第四の実施形態における表示優先順位の変更方法について]
まず、図２３において、表示優先順位を変更するために組み合わせパターン作成処理部２２Ｄが用いる、基準組み合わせパターン記憶部６１Ｂに記憶された複数の組み合わせパターンの例を示す。
【０１６２】
基準組み合わせパターン記憶部６１Ｂは、過去に利用した組み合わせパターンを複数個記憶している。記憶された各組み合わせパターンには、その組み合わせパターンに含まれる矩形領域の数、矩形領域の組み合わせのパターン、および各矩形領域の中心点座標がデータとして保持されている。この例では、過去３回分の基準組み合わせパターンが記憶されている。
【０１６３】
図２４において、行抽出の処理後に組み合わせパターン作成処理部２２Ｄが作成した、各矩形領域の組み合わせパターンとその中心点座標のデータの例を示す。作成された各組み合わせパターンは、その組み合わせパターンに含まれる矩形領域の数、矩形領域の組み合わせのパターン、各矩形領域の中心点座標、および基準組み合わせパターン記憶部６１Ｂに記憶されている各基準組み合わせパターンとの比較により求めた総合評価値をデータとして保持している。
【０１６４】
作成された各組み合わせパターンが保持する上記総合評価値の個数は、基準組み合わせパターン記憶部６１Ｂに記憶されている基準組み合わせパターンの数と同数である。この例の場合、基準組み合わせパターン記憶部６１Ｂには、３つの基準組み合わせパターンが記憶されているので、図２４に示す作成された組み合わせパターンの各々は、第一から第三の基準組み合わせパターンとの比較結果である３つの総合評価値を保持している。
【０１６５】
組み合わせパターン作成処理部２２Ｄは、作成したそれぞれの組み合わせパターンに対して、図２３に示す複数の基準組み合わせパターン各々との比較を行い、複数の総合評価値を計算した後、それらの総合評価値を合計し、最終的な総合評価値（以下、合計総合評価値という）を求める。なお、合計総合評価値を算出する方法は、複数の総合評価値を合計する以外に、最大となる総合評価値を合計総合評価値とするなどの方法でもよい。比較方法および総合評価値の計算方法は、第三の実施形態において用いた方法を使用できる。組み合わせパターン作成処理部２２Ｄは、作成した各組み合わせパターンに対して上記合計総合評価値を求めた後、その合計総合評価値が高い順に、作成した組み合わせパターンの表示順位を変更する。
【０１６６】
[第五の実施形態]
次に第五の実施形態について説明する。本実施形態では、過去に利用した組み合わせパターン（複数セット）を記憶することに加え、それらを統計処理することにより、より高頻度で利用された組み合わせパターンに近似する組み合わせパターンを優先的に表示する。
【０１６７】
[第五の実施形態の機能ブロック図について]
図２５に、上記文字認識装置のさらに他の実施形態の機能ブロック図を示し、以下にその概略を説明する。但し、本実施形態では、図１の第一の実施形態の機能ブロック図において破線で囲んだ組み合わせパターン処理部２０Ｂに関連する部分のみ異なるので、図２５では組み合わせパターン処理部２０Ｂ４のみを示す。
【０１６８】
本実施形態の組み合わせパターン処理部２０Ｂ４は、上記認識対象領域決定処理部２３、組み合わせパターン作成処理部２２Ｅおよび統計情報処理部２５を備えている。なお、組み合わせパターン処理部２０Ｂ４が利用する前記基準組み合わせパターン記憶部６１は、図２５において図示の便宜上、組み合わせパターン処理部２０Ｂ４内に仮想的に記載されている。
【０１６９】
組み合わせパターン作成処理部２２Ｅは、候補領域抽出処理部２１から受け取った各矩形領域の座標データの組み合わせを特定することができるように、組み合わせパターンを全て作成し、その組み合わせパターンを、ユーザに提示する文字認識対象領域の候補として認識対象領域決定処理部２３へ出力する。また、組み合わせパターン作成処理部２２Ｅは、基準組み合わせパターン記憶部６１Ｂから過去に文字認識に利用された基準組み合わせパターン（複数セット）を読み出し、さらに統計情報処理部２８から過去利用された基準組み合わせパターンのうち高頻度で利用された組み合わせパターンがどれであるかの情報を受け取る。そして、その基準組み合わせパターンと近似する組み合わせパターンを表示する優先順位を最も高くしてその優先順位も認識対象領域決定処理部２３へ出力する。
【０１７０】
認識対象領域決定処理部２３は、組み合わせパターン作成処理部２２Ｅから受け取った組み合わせパターンを表示処理部３２に出力する。また、表示処理部３２に表示された組み合わせパターンをユーザが見ながら入力処理部１２を操作した結果、入力処理部１２から受け取ったユーザの選択結果を基に、認識対象領域決定処理部２３は、組み合わせパターンの候補の中から実際の文字認識処理に使用する組み合わせパターンを決定し、決定した組み合わせパターンを文字認識処理部２４および基準組み合わせパターン記憶部６１Ｂに出力する。
【０１７１】
基準組み合わせパターン記憶部６１Ｂは、認識対象領域決定処理部２３から出力され文字認識に利用された組み合わせパターンを組み合わせパターン作成処理部２２Ｅが次回の文字認識処理に利用できるように記憶する。
【０１７２】
以上の構成により、過去に高頻度で利用した組み合わせパターン（複数セット）と近似する組み合わせパターンを優先的にユーザに提示するので、ユーザは優先的に提示された組み合わせパターンを選択することにより、より少ない手順で所望の矩形領域の組み合わせを文字認識対象領域として選択することができる。
【０１７３】
[第五の実施形態のフローチャートについて]
図２６において、本実施形態の文字認識処理の大きな流れをフローチャートにて示す。
【０１７４】
図１０に示す第二の実施形態のフローチャートとの相違点は、認識対象領域決定処理部２３が、決定した組み合わせパターンを基準組み合わせパターン記憶部６１に記憶した後、その組み合わせパターンの利用頻度に関する統計処理を実行し記憶する処理（Ｓ５０８）が追加されている点である。
【０１７５】
組み合わせパターン選択結果統計処理（Ｓ５０８）では、組み合わせパターン決定処理（Ｓ５０６）でユーザにより選択され認識対象領域決定処理部２３が決定した組み合わせパターンを、認識対象領域決定処理部２３が、組み合わせパターン選択結果記憶処理（Ｓ５０７）で基準組み合わせパターン記憶部６１に記憶した後、統計情報処理部２５が記憶された組み合わせパターンを統計処理し、結果を記憶蓄積する。
【０１７６】
[統計処理について]
統計処理には、ユーザにより選択された組み合わせパターンが、既に記憶済みの基準組み合わせパターンと同じとみなしてよいかどうか、すなわち、記憶された基準組み合わせパターンの各領域の中心点座標とユーザにより選択された組み合わせパターンの各領域の中心点座標との距離がすべて閾値以下かどうかを判断する演算処理を含む。統計情報処理部２５がこのような演算処理を行った結果、ユーザにより選択された組み合わせパターンと同じとみなせる記憶済みの基準組み合わせパターンについて、ユーザによる利用回数を更新する。この利用回数は、例えば、基準組み合わせパターン記憶部６１において、各基準組み合わせパターンに対応付けて記憶しておけばよい。
【０１７７】
これにより、たとえば、名刺を何枚も入力していくと、よく入力される名刺のフォーマット（組み合わせパターン）情報が基準組み合わせパターン記憶部６１に、また、入力履歴情報が統計情報処理部２５に蓄積される。入力履歴情報とは、基準組み合わせパターンが過去に利用された回数（採用数）である。図２７において、基準組み合わせパターンと入力履歴情報（採用数）とが対応づけられている例を示す。基準組み合わせパターン記憶部６１に記憶された各基準組み合わせパターンは、組み合わせパターンを特定する組み合わせパターン番号、その組み合わせパターンに含まれる矩形領域の数、矩形領域の組み合わせのパターン、および各矩形領域の中心点座標をデータとして保持し、統計情報処理部２５に記憶された入力履歴情報（採用数）と、組み合わせパターン番号により対応付けられている。
【０１７８】
たとえば、図２８に示すように、名刺中心部の氏名の領域と右下部の住所と電話番号の領域とを文字認識対象領域としている組み合わせパターンが何度も選択されると、名刺中心部の氏名の領域と右下部の住所と電話番号の領域との組み合わせパターンに対する入力履歴が、統計情報処理部２５に高い頻度で蓄積される。その結果、今後このようなフォーマットの名刺を文字認識処理すると、Ｓ５０４で組み合わせパターン作成処理が実行されると、認識対象領域決定処理部２３が、基準組み合わせパターン記憶部６１に蓄積された入力履歴を参照することによって、作成された各組み合わせパターンに近似した基準組み合わせパターンの利用頻度を取得する。さらに、認識対象領域決定処理部２３が、最も利用頻度の高い基準組み合わせパターンを特定する。この結果、名刺の中心部の氏名の領域と右下部の住所と電話番号の領域とが、文字認識対象領域の候補の組み合わせパターンとして、Ｓ５０５で最初にユーザに提示されるようになる。
【０１７９】
[第五の実施形態の表示優先順位の変更方法について]
表示優先順位の変更方法は、第二の実施形態における方法に準ずる。相違点は以下のとおりである。
【０１８０】
統計情報処理部２５あるいは基準組み合わせパターン記憶部６１に統計情報が蓄積されていない場合は、表示順位は、組み合わせパターン作成処理部２２Ｅが組み合わせパターンを作成した順である。
【０１８１】
統計情報処理部２５あるいは基準組み合わせパターン記憶部６１に統計情報が蓄積されている場合は、組み合わせパターン作成処理部２２Ｅは、統計情報処理部２５に蓄積されている過去に高頻度で選択された基準組み合わせパターンがどれかの情報（採用数）を用いて、その組み合わせパターンの詳細データを基準組み合わせパターン記憶部６１Ｂから取り出し、作成した組み合わせパターンのデータとを比較する。この比較されるデータとは、例えば上述した中心点座標である。組み合わせパターン作成処理部２２Ｅは、それらのデータが一致または近似していると判断した場合は、その組み合わせパターンについての表示順位を上げる。
【０１８２】
［各実施形態の効果について］
このように、第一乃至第五の実施形態では、複数領域に分散した文字列を含む画像から、候補領域抽出処理部２１が文字認識処理の対象の候補となる領域を抽出し、組み合わせパターン作成処理部２２・２２Ｂ・２２Ｃ・２２Ｄ・２２Ｅが前記複数の文字認識対象領域の候補から可能な組み合わせを作成し、表示処理部３２が前記作成された文字認識対象領域の候補の組み合わせをユーザに提示し、入力処理部１２がユーザから望む文字認識対象領域の組み合わせの選択結果を受け取り、その選択結果を元に認識対象領域決定処理部２３が、実際の文字認識処理を行う文字認識対象領域を決定し、文字認識処理部２４が文字認識処理を行う。従って、本文字認識装置は、複数の文字認識対象領域の候補を自動で抽出し、ユーザの文字認識対象領域指定操作を簡便にすることができる。
【０１８３】
また、第二乃至第五の実施形態では、組み合わせパターン作成処理部２２Ｂ・２２Ｃ・２２Ｄ・２２Ｅが、複数の文字認識対象領域の候補の組み合わせの内、ユーザに優先的に提示するのがよいと考えられる組み合わせパターンの表示優先順位を上げ、表示処理部３２が優先的に表示するので、ユーザの文字認識対象領域指定操作をさらに簡便にすることができる。
【０１８４】
［補足事項］
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１８５】
本発明の文字認識装置は、文字列の書かれた文書の画像を取り込むカメラなどの画像取り込み手段と、前記画像取り込み手段から取り込まれた画像から文字行を抽出する行抽出手段と前記行抽出結果を蓄積する行抽出結果蓄積手段と行の組み合わせパターンを作成する行組み合わせパターン作成手段と前記行組み合わせパターン作成手段が作成した行組み合わせパターンを前記画像とともに表示する表示手段と前記行組み合わせパターンのいずれかを認識対象領域として指定する指定手段と、前記指定手段により指定された認識対象領域に対して文字認識を行う文字認識手段を持つ文字認識装置で、前記行抽出結果蓄積手段に蓄積された行抽出結果から、行の組み合わせパターンを作成し、いずれかの行組み合わせパターンを認識対象領域として指定することを特徴とする構成とすることもできる。
【０１８６】
本発明の文字認識装置は、さらに行組み合わせパターン履歴を蓄積する行組み合わせパターン履歴蓄積手段を持ち、前記行組み合わせパターン作成手段は、行組み合わせパターン履歴蓄積手段に蓄積された過去の行組み合わせパターンを優先して作成することを特徴とする構成とすることもできる。
【０１８７】
本発明の文字認識装置は、前記行組み合わせパターン履歴蓄積手段は、前記指定手段によって指定された前回の行組み合わせパターンを蓄積しており、前記行組み合わせパターン作成手段は、行組み合わせパターン履歴蓄積手段に蓄積された前回の行組み合わせパターンに最も近い行組み合わせパターンを優先して作成することを特徴とする構成とすることもできる。
【０１８８】
本発明の文字認識装置は、前記行組み合わせパターン蓄積手段は、前記指定手段によって指定された前回以前の複数の行組み合わせパターンを蓄積しており、前記行組み合わせパターン作成手段は、前記行組み合わせパターン蓄積手段に蓄積された前回以前の複数の行組み合わせパターンを参照して、行組み合わせパターンを作成することを特徴とする構成とすることもできる。
【０１８９】
本発明の文字認識装置は、さらに行組み合わせパターン統計情報を記憶している組み合わせパターン統計情報蓄積手段を持ち、前記行組み合わせパターン作成手段は、前記行組み合わせパターン統計情報蓄積手段中の行組み合わせパターン統計情報を利用して、行組み合わせパターン作成処理を行うことを特徴とする構成とすることもできる。
【０１９０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９１】
最後に、本発明の文字認識装置の各ブロック、特に文字認識部２０Ａは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９２】
すなわち、本発明の文字認識装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである本発明の文字認識装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記文字認識装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９４】
また、本発明の文字認識装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１９５】
本発明によれば、文字認識の対象となる領域の組み合わせの候補を自動的に抽出することによって、よりユーザが複数の認識対象領域を選択しやすい文字認識装置を実現できるので、カメラ付携帯電話機やカメラ付携帯電子機器をはじめとする種々のシステムに広く好適に使用できる。
【図面の簡単な説明】
【０１９６】
【図１】本発明の第一の実施形態を示すものであり、カメラ付携帯電話機に搭載する文字認識装置の要部構成を示す機能ブロック図である。
【図２】本発明の第一の実施形態を示すものであり、上記文字認識装置の要部構成を示す構成図である。
【図３】本発明の実施形態の説明で用いる、行抽出結果を例示する説明図である。
【図４】本発明の第一の実施形態としての文字認識処理全体の手順を示すフローチャートである。
【図５】本発明の第一の実施形態の組み合わせパターン作成処理を詳細に示すフローチャートである。
【図６】上記組み合わせパターン作成処理における領域分割処理（Ｓ１１〜１３）の処理結果を例示する説明図である。
【図７】本発明の第一の実施形態における、組み合わせパターンの表示例を示す説明図である。
【図８】本発明の第二の実施形態における文字認識装置の機能ブロック図のうち、図１の破線部内の構成の変形例を示す機能ブロック図である。
【図９】本発明の第二の実施形態を示すものであり、文字認識装置の要部構成を示す構成図である。
【図１０】本発明の第二の実施形態としての文字認識処理全体の手順を示すフローチャートである。
【図１１】本発明の第二の実施形態において、組み合わせパターン作成処理を詳細に示すフローチャートである。
【図１２】本発明の第二の実施形態において、組み合わせパターンの作成処理の過程で作成されるデータの一例を示す説明図である。
【図１３】本発明の第二の実施形態において、上記組み合わせパターン作成処理部が、組み合わせパターンおよび表示順位を作成した結果を例示する説明図である。
【図１４】本発明の第二の実施形態の表示優先順位を変更する処理を詳細に示すフローチャートである。
【図１５】本発明の第三の実施形態における文字認識装置の機能ブロック図のうち、図１の破線部内の構成の変形例を示す機能ブロック図である。
【図１６】本発明の第三の実施形態の説明で用いる、行抽出結果を例示する説明図である。
【図１７】本発明の第三の実施形態において、上記組み合わせパターン作成処理における領域分割処理（Ｓ１１〜１３）の処理結果を例示する説明図である。
【図１８】本発明の第三の実施形態において、上記組み合わせパターンの作成処理の過程で作成されるデータの一例を示す説明図である。
【図１９】本発明の第三の実施形態において、上記組み合わせパターン作成処理部が、組み合わせパターンおよび表示順位を作成した結果を例示する説明図である。
【図２０】本発明の第三の実施形態における組み合わせパターン作成処理を詳細に示すフローチャートである。
【図２１】本発明の第三の実施形態における組み合わせパターン作成処理のうち、近似の判断部分（Ｓ３０４）を詳細に示すフローチャートである。
【図２２】本発明の第四の実施形態における文字認識装置の機能ブロック図のうち、図１の破線部内の構成の変形例を示す機能ブロック図である。
【図２３】本発明の第四の実施形態において、上記組み合わせパターン作成処理部が、組み合わせパターンおよび表示順位の作成に用いる基準データを例示する説明図である。
【図２４】本発明の第四の実施形態において、上記組み合わせパターン作成処理部が、組み合わせパターンの作成および総合評価値の計算をした結果を例示する説明図である。
【図２５】本発明の第五の実施形態における文字認識装置の機能ブロック図のうち、図１の破線部内の構成の変形例を示す機能ブロック図である。
【図２６】本発明の第五の実施形態としての文字認識処理全体の手順を示すフローチャートである。
【図２７】本発明の第五の実施形態において、上記組み合わせパターン作成処理部が組み合わせパターンおよび表示順位の作成に用いる基準データと入力履歴情報（採用数）との対応付けを例示する説明図である。
【図２８】本発明の第五の実施形態の説明において、高頻度に文字認識処理される文字認識対象領域の組み合わせパターンを例示する説明図である。
【符号の説明】
【０１９７】
１２    入力処理部（入力手段）
２１    候補領域抽出処理部（候補領域抽出手段）
２２    組み合わせパターン作成処理部（組み合わせパターン作成手段）
２３    認識対象領域決定処理部（認識対象領域決定手段）
２５    統計情報処理部（統計情報処理手段）
３２    表示処理部（表示手段）
６１    基準組み合わせパターン記憶部（組み合わせパターン記憶手段）
６１Ｂ  基準組み合わせパターン記憶部（組み合わせパターン記憶手段）
【図１】
2007034531.tif 000003
【図２】
2007034531.tif 000004
【図３】
2007034531.tif 000005
【図４】
2007034531.tif 000006
【図５】
2007034531.tif 000007
【図６】
2007034531.tif 000008
【図７】
2007034531.tif 000009
【図８】
2007034531.tif 000010
【図９】
2007034531.tif 000011
【図１０】
2007034531.tif 000012
【図１１】
2007034531.tif 000013
【図１２】
2007034531.tif 000014
【図１３】
2007034531.tif 000015
【図１４】
2007034531.tif 000016
【図１５】
2007034531.tif 000017
【図１６】
2007034531.tif 000018
【図１７】
2007034531.tif 000019
【図１８】
2007034531.tif 000020
【図１９】
2007034531.tif 000021
【図２０】
2007034531.tif 000022
【図２１】
2007034531.tif 000023
【図２２】
2007034531.tif 000024
【図２３】
2007034531.tif 000025
【図２４】
2007034531.tif 000026
【図２５】
2007034531.tif 000027
【図２６】
2007034531.tif 000028
【図２７】
2007034531.tif 000029
【図２８】
2007034531.tif 000030