(57)【要約】【課題】  多様な原稿画像入力方向に対応する。【解決手段】  画像データをエリア１〜エリア４に分割し、各エリアとの関係において、各テキスト領域の方向判定を行えば、２ｉｎ１や４ｉｎ１等の比較的一般的なレイアウトにおける方向判定の精度を高めることができる。特に、４分割のエリア分けを採用したことにより、１枚の原稿に１枚〜４枚の画像が記録された画像データには容易に対応し得る。【選択図】        図１８
2005346418.tif 000002
【特許請求の範囲】
【請求項１】
原稿画像データから文字を含む文字領域を抽出する文字領域抽出ステップと、
前記原稿画像データを所定数のエリアに分割する分割ステップと、
所定の基準に基づいて前記抽出された文字領域を選択し、当該選択された文字領域内の文字画像を文字認識することにより、当該文字領域において文字が正立する方向を判別し、当該判別した文字領域の文字方向に基づいて各エリアの方向を判別するエリア方向判別ステップと、
前記判別された各エリアの方向に基づいて、前記原稿画像データの方向を判別する原稿画像方向判別ステップと
を有することを特徴とする方向判定方法。
【請求項２】
前記エリア方向判別ステップでは、各エリアの方向を判定するのに十分になるまで、前記所定の基準に基づいて前記文字認識処理対象となる文字領域を順次選択していくことを特徴とする請求項１に記載の方向判定方法。
【請求項３】
前記前記所定の基準は、前記文字領域の大きさに基づく基準を含むことを特徴とする請求項１に記載の方向判定方法。
【請求項４】
前記分割ステップでは、前記原稿画像データを４つのエリアに分割することを特徴とする請求項１に記載の方向判定方法。
【請求項５】
前記原稿画像方向判別ステップでは、前記判別された各エリアの方向と各エリアに含まれる文字領域の属性とに基づいて、前記原稿画像データの方向を判別することを特徴とする請求項１に記載の方向判定方法。
【請求項６】
原稿画像データから文字を含む文字領域を抽出する文字領域抽出手段と、
前記原稿画像データを所定数のエリアに分割する分割手段と、
所定の基準に基づいて前記抽出された文字領域を選択し、当該選択された文字領域内の文字画像を文字認識することにより、当該文字領域において文字が正立する方向を判別し、当該判別した文字領域の文字方向に基づいて各エリアの方向を判別するエリア方向判別手段と、
前記判別された各エリアの方向に基づいて、前記原稿画像データの方向を判別する原稿画像方向判別手段と
を有することを特徴とする方向判定装置。
【請求項７】
前記エリア方向判別手段では、各エリアの方向を判定するのに十分になるまで、前記所定の基準に基づいて前記文字認識処理対象となる文字領域を順次選択していくことを特徴とする請求項６に記載の方向判定装置。
【請求項８】
前記前記所定の基準は、前記文字領域の大きさに基づく基準を含むことを特徴とする請求項６に記載の方向判定装置。
【請求項９】
前記分割手段では、前記原稿画像データを４つのエリアに分割することを特徴とする請求項６に記載の方向判定装置。
【請求項１０】
前記原稿画像方向判別手段では、前記判別された各エリアの方向と各エリアに含まれる文字領域の属性とに基づいて、前記原稿画像データの方向を判別することを特徴とする請求項６に記載の方向判定装置。
【請求項１１】
原稿画像データから文字を含む文字領域を抽出する文字領域抽出ステップと、
前記原稿画像データを所定数のエリアに分割する分割ステップと、
所定の基準に基づいて前記抽出された文字領域を選択し、当該選択された文字領域内の文字画像を文字認識することにより、当該文字領域において文字が正立する方向を判別し、当該判別した文字領域の文字方向に基づいて各エリアの方向を判別するエリア方向判別ステップと、
前記判別された各エリアの方向に基づいて、前記原稿画像データの方向を判別する原稿画像方向判別ステップと
の各ステップをコンピュータに実行させるためのプログラムコードを含むことを特徴とする方向判定プログラム。
【請求項１２】
請求項１１に記載の方向判定プログラムを格納したコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原稿画像の方向を判定する方向判定方法及び方向判定装置に関する。
【背景技術】
【０００２】
文字認識処理においては、読み取り時の原稿画像の方向、すなわち、画像データの方向が重要であり、例えば、原稿画像が逆向きのとき、画像データから切り出される文字も逆向きになるため、文字認識が困難となる。従って、画像データの文字認識処理に際しては、画像データを正方向に設定する必要がある。また、コピー時やスキャン時に読み取った原稿の向きを自動的に揃える場合にも読み取った原稿画像の方向を判断する必要がある。従来の原稿の方向を判定する処理は、例えば特許文献１、２などに記載されている。
【０００３】
原稿方向判定においては、例えば、原稿画像の２値画像データを属性ごとに像域分離し（像域分離）、テキスト領域について回転角度０度、９０度、１８０度、２７０度の状態で、文字認識を行い（１文字処理）、最も認識率の高い方向を正方向と判定する（文字判定適当時処理）。
【０００４】
図２７のフローチャートは、このような原稿方向判定の処理の例を示す。
【０００５】
図２７において、ステップＳ２７０１は「像域分離」の処理、ステップＳ２７０５は「１文字処理」の処理、ステップＳ２７０７は「文字判定適当時処理」の処理である。
【０００６】
またステップＳ２７０１（像域分離）の後には、１文字を抽出する処理（ステップＳ２７０３）を実行し、ステップＳ２７０５（１文字処理）の後には、処理対象文字が方向判定に適しているか否かの判断（ステップＳ２７０６）を実行し、ステップＳ２７０７（文字判定適当時処理）の後には結果補正（ステップＳ２７１１）、結果加算（ステップＳ２７１２）を実行して、もっとも確からしい文字の方向に基づいて原稿方向の判定を行なう（ステップＳ２７１４）。
【０００７】
【特許文献１】特開平９−２８２４１３号公報
【特許文献２】特開平８−２１２２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図２７の方向判定では、２ｉｎ１や４ｉｎ１と呼ばれる複数毎の原稿を一枚の紙に印刷した原稿等、文字方向が一様でない原稿画像について、方向を誤判定したり、スキャン方向によっては「方向不明」の判断が生じる。
【０００９】
これは、方向判定処理高速化のために方向判定のための文字認識処理対象文字数が比較的少数であることに起因する。
【００１０】
本発明はこのような問題点を解消すべく創案されたもので、多様な原稿画像入力方向に対応することを目的とする。
【発明の効果】
【００１１】
本発明によれば、多様な原稿画像に対して、精度の高い方向判定を実現し得る。
【課題を解決するための手段】
【００１２】
本発明に係る方向判定方法は、原稿画像データから文字を含む文字領域を抽出する文字領域抽出ステップと、前記原稿画像データを所定数のエリアに分割する分割ステップと、所定の基準に基づいて前記抽出された文字領域を選択し、当該選択された文字領域内の文字画像を文字認識することにより、当該文字領域において文字が正立する方向を判別し、当該判別した文字領域の文字方向に基づいて各エリアの方向を判別するエリア方向判別ステップと、前記判別された各エリアの方向に基づいて、前記原稿画像データの方向を判別する原稿画像方向判別ステップとを有する。
これによって、多様な原稿画像に対して、精度の高い方向判定を実現し得る。
【００１３】
本発明に係る方向判定装置は、原稿画像データから文字を含む文字領域を抽出する文字領域抽出手段と、前記原稿画像データを所定数のエリアに分割する分割手段と、所定の基準に基づいて前記抽出された文字領域を選択し、当該選択された文字領域内の文字画像を文字認識することにより、当該文字領域において文字が正立する方向を判別し、当該判別した文字領域の文字方向に基づいて各エリアの方向を判別するエリア方向判別手段と、前記判別された各エリアの方向に基づいて、前記原稿画像データの方向を判別する原稿画像方向判別手段とを有する。
【００１４】
これによって、多様な原稿画像に対して、精度の高い方向判定を実現し得る。
【発明を実施するための最良の形態】
【００１５】
次に本発明に係る方向判定方法及び方向判定装置の好適な実施例を図面に基いて説明する。
【実施例】
【００１６】
［画像処理装置］
図１において、画像処理装置は、スキャナ、ファイル読み込み装置などの画像入力部１１を有し、この画像入力部１１から原稿を画像データとして入力する。
【００１７】
画像入力部１１はバス１７に接続され、バス１７を介して文字認識処理を実行するプロセッサ１２に接続されている。
【００１８】
バス１７にはさらにキーボード１３、ディスク１４、メモリ１５、出力部１６が接続されている。
【００１９】
メモリ１５は、プロセッサ１２において処理制御情報を作成する際の一時データ記憶、あるいは画像入力部１１で読み込んだ画像データ１５ａを蓄積する。また、後述するフローチャートに対応するような処理をコンピュータに実行させるための制御プログラム１５ｃが格納される。
【００２０】
プロセッサ１２は、メモリ１５に格納された制御プログラム１５ｃを実行することにより、領域識別部１２ａ、方向判定部１２ｂ、画像回転部１２ｃ、領域情報回転部１２ｄ、文字認識部１２ｅ、文字認識結果出力部１２ｆとして機能する。
【００２１】
領域識別部１２ａは画像データ１５ａを領域識別して領域情報１５ｂを抽出する。領域情報１５ｂはメモリ１５に格納される。
【００２２】
なお、メモリ１５には、さらに後述する文字領域リスト１５ｄ、認識結果データ１５ｅ、処理済み面積データ１５ｆが格納される。
【００２３】
キーボード１３は、指示操作を行い、ディスク１４は、補助記憶装置として機能する。
【００２４】
出力部１６は、ディスプレイ、プリンタ、ネットワーク、認識結果等の各種情報等を出力し、あるいは他の記憶装置等に格納する処理を行う。また出力部１６において、出力先の形式に対応したデータ変換を可能としてもよい。
【００２５】
画像入力部１１で読み取った文書は、画像データ１５ｂとしてメモリ１５に格納される。画像データ１５ｂはプロセッサ１２に設けられた画像処理部（図示せず。）等により２値化処理されて、領域識別部１２ａに送られ、ヒストグラム法や輪郭線追跡などの手法により、テキスト、図、表などの領域に像域分離されて属性分類される。像域分離においては、特に文字の領域に注目し、テキスト領域、キャプション、表中文字、写真・線画中文字等の領域が抽出される。
【００２６】
領域識別部１２ａで抽出された文字の領域の情報は方向判定部１２ｂに入力され、方向判定部１２ｂは文字の領域について、文字画像（あるいは文字画像の特徴ベクトル）を０度、９０度、１８０度、２７０度の４方向に順次回転する。ここで文字認識部１２ｅは、各方向について、テキスト領域内の所定数の文字パターンについてのみ文字認識処理する。
【００２７】
方向判定部１２ｂは、各方向の類似度（距離）から、原稿の正方向を判断し、正方向の回転角度を画像回転部１２ｃに出力する。
【００２８】
方向判定部１２ｂによる方向判定の結果、画像データが正立していないと判断された場合は、画像回転部１２ｃで画像データを回転するとともに、領域情報回転部１２ｄによって領域情報１５ｂを回転する。
【００２９】
図１７は、画像データを像域分離して文字の領域を抽出した例を示す。
【００３０】
図１７は縦５０００ピクセル、横４０００ピクセルの長方形の画像データであり、全体が縦横１／２ずつに４分割されている。図１６に示すように、４分割された領域をそれぞれ、左上のエリア１、右上のエリア２、左下のエリア３、右下のエリア４とする。
【００３１】
図１７の画像データにおいては、文字の領域として、７個のテキスト領域Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が抽出され、図１８の文字領域リストに示すように各テキスト領域Ｔ１〜Ｔ７のデータが抽出されている。
【００３２】
図１８の各テキスト領域のデータには、属性、始点（左上）Ｘ座標、始点（左上）Ｘ座標、幅、高さ、エリア１内面積（当該テキスト領域がエリア１に重なる面積）、エリア２内面積、エリア３内面積、エリア４内面積、状態が含まれる。
【００３３】
属性は文字の領域を分類するものであり、文字領域がテキスト領域のときに「０」、キャプション領域のときに「１」、表中文字のときに「２」、写真・線画中文字のときに「３」とされ、状態は、未処理の領域のとき「０」、処理済みの領域であって方向判定に適しているときに「１」、処理済みの領域であって方向判定に不適であるときに「２」とされる。
【００３４】
このように画像データをエリア１〜エリア４に分割し、各エリアとの関係において、各テキスト領域の方向判定を行えば、２ｉｎ１や４ｉｎ１等の縮小レイアウトにおける方向判定の精度を高めることができる。特に、４分割のエリア分けを採用したことにより、１枚の原稿に１枚〜４枚の画像が記録された画像データには容易に対応し得る。
【００３５】
方向判定部１２ｂはテキスト領域Ｔ１〜Ｔ７について、回転角度０度、９０度、１８０度、２７０度の各状態について、文字認識部１２ｅによる文字認識処理を実行し、類似度を判定する。文字認識処理はテキスト領域内の所定数の文字パターンについてのみ実行され、処理の迅速化が図られている。
【００３６】
方向判定部１２ｂは、各方向の類似度から、類似度最良（距離最短）の方向を原稿の正方向と判断し、正方向の回転角度を画像回転部１２ｃに出力する。
【００３７】
方向判定部１２ｂによる方向判定の結果、画像データが正立していないと判断された場合は、画像回転部１２ｃで画像データを回転するとともに、領域情報回転部１２ｄによって領域情報１５ｂを回転する。
【００３８】
以上の処理で得られた正方向の画像データ１５ａおよび領域情報１５ｂについて、文字認識部１２ｅによって文字認識処理を実行し、文字認識結果出力部１２ｆから、文字認識した結果の文字データを出力する。
【００３９】
［文字方向判定処理および文字方向判定方法］
図２は、図１の文字認識処理装置の文字方向判定処理、および本発明に係る文字方向判定方法の実施例を示すフローチャートである。
【００４０】
図２において、文字方向判定処理および文字方向判定方法は以下の各ステップによって実行される。
【００４１】
ステップＳ２０１：まず像域分離の処理を実行し、入力された原稿の二値画像データから属性ごとに領域を抽出する。領域の属性には、前記の文字、写真、線画、表等がある。
【００４２】
ステップＳ２０２：図１６のエリア分けを行うとともに、ステップＳ２０１で抽出された文字の領域について、図１８の文字領域リストを抽出する。図１７では、各エリア１〜エリア４の境界を一点鎖線で示している。図１８の文字領域リストにおいて、文字の領域として、テキスト領域Ｔ１〜Ｔ７が抽出されており、各領域の、エリア１〜エリア４にそれぞれ含まれる面積は、領域Ｔ１が１２６、２８、０、０、領域Ｔ２が０、０、０、０、領域Ｔ３が１４４、１４４、０、０、領域Ｔ４が３３、３３、１１０、０、領域Ｔ５が０、０、１３２、０、領域Ｔ６が１６、１６、４８、２１６、領域Ｔ７が０、０、０、１４０である。
【００４３】
ステップＳ２０３：以下テキスト領域を１個ずつ順次処理していくため、ステップＳ２０３において、全てのテキスト領域の処理が終了したか否かを判断する。全てのテキスト領域の処理が終了したときはステップＳ２１５にジャンプし、未処理のテキスト領域が残っているときはステップＳ２０４に進む。
【００４４】
ステップＳ２０４：未処理のテキスト領域のうちの１個の領域を処理対象として選択する。選択に際しては、文字領域リスト（図１８）、および処理済面積格納領域１５ｆ（図１）のデータ（図２０、２１、２３〜２５）を参照する。処理済面積のデータには、処理済の各領域Ｔ１〜Ｔ７のうち、エリア１〜エリア４に含まれる処理済面積の合計が記録される。
【００４５】
処理対象の領域は、処理済面積の量が少ないエリアにおいて、大きな面積を占めるテキスト領域から順に選択される。
【００４６】
図２０は初期状態の処理済面積のデータを示し、全てのエリアの処理済み面積が「０」である。
【００４７】
１回目の領域選択では、全てのエリアの処理済面積が同じなのでエリア１で最も大きな面積を占める領域Ｔ３が選択され、認識処理の結果、図２１に示すように、エリア１およびエリア２に処理済み面積が登録される。
【００４８】
図２１に示すように、２回目のテキスト領域選択では、処理済面積が小さいエリア３において、最大占有面積を有するテキスト領域Ｔ５を選択する。このように処理済面積が小さいエリアで最大占有面積を有するテキスト領域を順次選択する。
【００４９】
なお、図２１のような結果が得られているときに、未処理のテキスト領域の全てでエリア３の処理済み面積が０であった場合は、次に処理の不足しているエリア４において面積が最大のテキスト領域が選択される。
【００５０】
処理領域選択の処理の詳細は図２６に関連して後述する。
【００５１】
ステップＳ２０５：ステップＳ２０４で選択した領域（例えば領域Ｔ３）から１文字分の矩形を抽出するとともに、領域Ｔ３内に含まれる文字の平均サイズ、平均文字ピッチ、平均行ピッチを求める。
【００５２】
１文字分の矩形Ｒは図５のように設定され、図６に示すように１文字分の矩形を所定個数（例えば４×４）の小領域ＳＲに分割する。各小領域ＳＲにおける黒画素の分布に基づいて、図７に示すように、各小領域をｄ１〜ｄ４の４つの特徴ベクトルのいずれかで表す（例えば小領域を２×２に分割し、黒画素が含まれる領域がどのように分布しているかに基づいていずれの特徴ベクトルで表すか予め決めておけばよい）。したがって、各文字について１６の小領域があり、さらに各小領域は４つの特徴ベクトルで表せるので、各文字は（１６×４＝）６４次元の特徴量（特徴べクトル）で表される。
【００５３】
特徴量算出、文字認識の処理については図３、図４に関連して後述する。
【００５４】
ステップＳ２０６：ステップＳ２０５において１文字矩形の抽出に成功したか否かを判断する。１文字矩形の抽出に成功したときはステップＳ２０７に進み、不成功であったときはステップＳ２１２にジャンプする。
【００５５】
ステップＳ２０７：ステップ２０５で抽出した１文字について方向判定のための文字認識処理を実行する。
【００５６】
ステップＳ２０８：ステップ２０７の処理結果に基いて、各方向での類似度（距離値）の差が所定値以上あるかどうか及び最良の類似度が所定値以下であるかなどに基づいて、ステップＳ２０５で抽出した文字が、方向判定に適している文字か否かを判定する。
【００５７】
例えば、図８に示すように、文字回転角度０度、９０度、１８０度、２７０度それぞれについて、文字認識結果の第１候補の類似度が、「４０００」、「８５００」、「６５００」、「９２００」であり、最良の類似度「４０００」（０度）と２番目の類似度「６５００」（１８０度）との差が「２５００」と比較的大である。この場合、抽出した文字は方向判定に適すると判断する。
【００５８】
一方、図９に示すように、文字回転角度０度、９０度、１８０度、２７０度それぞれについて、文字認識結果の第１候補の類似度が、「４２００」、「７５００」、「８７００」、「４０００」であり、最良の類似度「４０００」（２７０度）と２番目の類似度「４２００」（０度）との差が「２００」と小である。この場合、抽出した文字は方向判定に不適と判断する。
【００５９】
ステップＳ２０８で方向判定に適すると判断したときはステップＳ２０９に進み、不適と判断したときはステップＳ２１０に進む。
【００６０】
ステップＳ２０９：処理対象の文字領域（例えば領域Ｔ３）について、認識した文字の方向を判定するために、各回転方向のスコアをカウントするという統計処理を行う。
【００６１】
スコアは式（１）によって算出される。
【００６２】
スコアは、図１０〜図１３に示す文字領域認識結果のようにカウントされる。図１０は初期状態であり、全ての回転方向の認識文字数、スコアが「０」である。
【００６３】
【数１】
2005346418.tif 000003
式（１）から明らかなように、スコアは、認識の第１候補の演算値（類似度）が最も小さい（良好な）方向であり、スコアは、第１候補の演算値が小さいほど大である。
【００６４】
ステップＳ２０７において図８の結果が得られたとき、式（１）の定数を「１０２４」とすると、スコアは７６８である。このときの文字の判定結果は、方向０度、スコア
７６８である。このようなスコアを図１０の初期値に加算すると、図１１の結果が得られる。
【００６５】
ステップＳ２１０：文字認識処理は実行せず、不適当と判定された文字数をカウントする等の処理を行う。
【００６６】
ステップＳ２１１：対象としている文字領域の処理を続けるか否かを判定する。例えば、対象としている文字領域での認識した文字数がＮ未満の場合処理を続ける。
【００６７】
ステップＳ２１２：処理した文字領域が方向判定に適当であったか否かの判定を行なう。例えば、各回転方向のスコアの差が小さい場合（文字ごとの一番良い演算値の方向がまちまちである場合）は、この領域の方向判定結果を無視し、ステップＳ２０３に戻り、次の文字領域の処理に移行する。
【００６８】
例えば、図１２の認識結果は、０度、９０度、１８０度、２７０度の各方向におけるスコアのカウント値が、「８２５０」、「０」、「０」、「３２８」であり、０度の方向にカウント値が集中している。すなわち特定方向が特徴付けられている。このような文字領域は方向判定に適している。一方、図１３の認識結果は、０度、９０度、１８０度、２７０度の各方向におけるスコアのカウント値が、「１８９５」、「５１２」、「２２８６」、「１０９８」であり、スコアの各方向の差（最も大きいスコア２２８６と２番目に大きいスコア１８９５の差）が小さい。このような文字領域は方向判定に不適である。
【００６９】
ステップＳ２１３：ステップＳ２１２の文字領域適否判定結果を補正する。
【００７０】
まず、ステップＳ２０５で得た平均文字サイズ（高さ、幅）、平均文字間隔、平均行間隔へから対象文字領域に含まれる文字数を推定する。
【００７１】
図１４に示すように、文字領域が幅Ｗ、高さＨ、平均文字幅ｗｃ、平均文字間隔ｗｇ、平均文字高さｈｃ、平均行間隔ｈｇであったとすると、１行中の文字数Ｘ、文字領域中の行数Ｙ、文字領域中の推定最大文字数Ｃは、それぞれ式（２）、（３）、（４）で与えられる。
【００７２】
【数２】
2005346418.tif 000004
推定最大文字数Ｃを実際の処理文字数（図１０〜図１３、図１５）で除算し、その商を対象文字領域の結果に乗ずることによって認識結果を補正する。
【００７３】
例えば、領域Ｔ３（図１８）において、図１２の認識結果が得られ、平均文字幅ｗｃ＝７０、平均文字間隔ｗｇ＝５、平均文字高さｈｃ＝７０、平均行間隔ｈｇ＝３５であった場合、推定最大文字数Ｃ＝ＸＹ＝４０４.０６となる。この推定最大文字数Ｃを処理文字数の１１（＝１０＋１）で除算した商は３６．７３である。この商を図１２の結果に乗じて補正を行うと、図２２の結果が得られる。すなわち、０度のスコア＝８２５０×３６．７３＝３０３０４５、２７０度のスコア＝１２０４８×３６．７３＝１２０４８となる。
【００７４】
ステップＳ２１４：ステップＳ２１３で得られた文字領域の認識結果を全体の結果に加算する。例えば、図２２全領域のスコア３０３０４５（０度）と１２０４８（２７０度）を、各エリアに重なっている面積の比率に基づいて文字領域が含まれるエリア１、エリア２に割り振り、加算することにより、図２３に示すように、９０度のエリア１で１４２０６９、９０度のエリア２で１６０４３５、２７０度のエリア１で１２０４８、２７０度のエリア２で６３７８となる。図１９は、全エリアおよび各エリアのスコアの初期値を示す。
【００７５】
このような統計処理により、各エリアについて、いずれかの回転方向への特徴付けが生じているか否かを判別し得る。
【００７６】
ステップＳ２１５：認識した文字数や領域数、全体の認識結果、各部分領域の認識結果から処理を続行するか否かを判定する。例えば、図２１に示すように、処理済みの領域がエリア１、エリア２に偏っており、エリア３、エリア４の認識結果が不充分のとき、ステップＳ２０３に戻って、処理を続ける。
【００７７】
ステップＳ２１６：以上の処理結果に基いて、文字方向を判定する。
【００７８】
例えば、図２４の処理結果が得られた場合、スコアが０度に集中していることが明らかであり、文字は正立していると判断される。
【００７９】
一方、図２５に示すように、エリア１、エリア２が９０度の回転方向のスコアが高く、エリア３、エリア４は１８０度の回転方向のスコアが高い。この場合、各文字領域の属性を判断する。例えば、エリア１、エリア２は本文テキストであり、エリア３、エリア４は表中文字であった場合は、判定結果は領域１、２を優先し９０度の回転方向を採用する。このようにして、最も適した原稿の方向を判別して原稿画像を出力（印刷や表示）することができる。なお、原稿画像に対して文字認識処理を行うときは、各エリアに適した方向に基づいて文字認識処理を行えばよい。
【００８０】
また全ての文字領域が本文テキストであった場合は、判定結果は混在（複数の文字方向が混在する）と判断する。そのときは所定のエリア（例えばエリア１）の方向に基づいて原稿の回転方向を判別してもよいし、各エリアの方向の組合せに応じて予め定めておいた方向を原稿の方向として判別するようにしても良い。
【００８１】
また、例えばコピーを行なう際に、このような原稿の方向を識別する構成を組み込めば、ＡＤＦ（オートドキュメントフィーダ）で読み取った複数の原稿の中に２ｉｎ１や４ｉｎ１などの縮小レイアウトされた原稿が混じっていたとしても、最適な原稿の方向を判断し、その判断した原稿の方向で向きを揃えてプリント出力できる。
【００８２】
図２６は、図２のステップＳ２０４（処理領域選択）の処理を示す。
【００８３】
図２６において、処理領域選択の処理は以下の各ステップによって実行される。
【００８４】
ステップＳ２６０１：まず、エリア１〜エリア４の番号ｉと、領域（例えばＴ１〜Ｔ７）の番号ｊと、各エリアｉ内領域の最大面積Ａｍａｘｉを初期化し、ステップＳ２６０２に進む。
【００８５】
ステップＳ２６０２：エリア１〜エリア４をＡＡｉで定義し、処理が不充分（処理済み面積が小さい）か否か判断する。ＡＡｉの処理が不充分のときはステップＳ２６０３に進み、処理が充分であったときはステップＳ２６０９にジャンプする。
【００８６】
ステップＳ２６０３：ｊ番目の領域ｊがＡＡｉに含まれるか否か、すなわち領域ｊのＡＡｉ内の部分の面積Ａｉｊが「０」でないかを判断する。Ａｉｊが「０」でなければステップＳ２６０４に進み、「０」であればステップＳ２６０６にジャンプする。
【００８７】
ステップＳ２６０４：面積ＡｉｊがＡｍａｘｉより大か否か判断する。Ａｉｊ＞Ａｍａｘｉであれば、Ａｍａｘｉを入れ替えるためにステップＳ２６０５に進み、そうでなければステップＳ２６０６にジャンプする。
【００８８】
ステップＳ２６０５：ＡｍａｘｉにＡｉｊを代入し、ｉ、ｊをｍａｘ（ｉ，ｊ）として保存する。これによって、処理対象の候補を順次抽出する。
【００８９】
ステップＳ２６０６：そのエリア内で全ての領域の処理が終了したか否か、すなわちｊ＝ｊｍａｘか否かを判断する。全ての領域の処理が終了したときはステップＳ２６０９に進み、未処理の領域が存在するときはステップＳ２６０７に進む。
【００９０】
ステップＳ２６０７：領域番号ｊを「１」進めて、ステップＳ２６０８に進む。
【００９１】
ステップＳ２６０８：エリアＡＡｉ内で最大面積の領域を抽出したか否かを判断する。最大面積の領域を抽出したときはそのまま処理を終了し、最大面積の領域が抽出されなかったときはステップＳ２６０３に戻って他の領域の処理を行う。
【００９２】
ステップＳ２６０９：エリアＡＡｉ内で全ての領域の処理が終了したにもかかわらず最大面積の領域が発見されなかったときは、エリアの番号を進め、ステップＳ２６０１に進む。
【００９３】
ステップＳ２６１０：全てのエリアの処理が終了したか否かを判断する。全てのエリアの処理が終了したときはそのまま処理を終了し、そうでなければステップＳ２６０２に戻って、次のエリアの処理に進む。
【００９４】
図３は、図２のステップＳ２０７（１文字処理）の処理を示す。
【００９５】
図３において、１文字処理は以下の各ステップによって実行される。
【００９６】
ステップＳ３０１：まず、切り出された１文字について前記６４次元の特徴ベクトルを抽出し、ステップＳ３０２に進む。
【００９７】
ステップＳ３０２：文字認識処理を実行し、ステップＳ３０３に進む。
【００９８】
ステップＳ３０３：０度、９０度、１８０度、２７０度の４方向の回転角度において文字認識処理が完了したか否かを判断する。４方向の処理が未完のときはステップＳ３０４に進み、４方向が完了したときはそのまま処理を終了する。
【００９９】
ステップＳ３０４：特徴ベクトルを回転し、他の回転角度における文字認識を実行するため、ステップＳ３０２に戻る。
【０１００】
図４は、図３のステップＳ３０２（文字認識）の処理を示す。
【０１０１】
図４において、文字認識の処理は以下の各ステップによって実行される。
【０１０２】
ステップＳ４０１：まず特徴ベクトルの次元数を削減するために、特徴ベクトルを変換する。３２×６４の変換行列を６４次元の特徴ベクトルに乗ずることにより、特徴ベクトルを３２次元とする。
【０１０３】
ステップＳ４０２：大分類の演算を行う。すなわち変換後の特徴ベクトルと、認識辞書内の文字の平均ベクトルとの距離を求め、より近い方から文字から所定数（例えば上位Ｋ個）を抽出する。
【０１０４】
大分類の演算は辞書作成時に求めた各文字の平均ベクトルと特徴ベクトルの距離を計算する。
【０１０５】
ここで認識辞書の文字Ａの平均ベクトルを式（５）、認識対象の文字Ｂの変換後の特徴ベクトルを式（６）で示すとき、両ベクトルの距離Ｄは式（７）で与えられる。
【０１０６】
【数３】
2005346418.tif 000005
認識結果の候補は、例えば２文字が出力され、各文字に距離が類似度とされる。
【０１０７】
なおエリア分割方法、分割形状は以上の実施例に限定されるものではなく、レイアウトがある程度予想できる原稿については、そのレイアウトに沿ったエリア分割を採用し得る。
【０１０８】
またスコアの統計処理は、単なるスコア加算に限定されるものではなく、原稿画像の性質に応じて平均、重み付き平均、メディアン等種々の統計処理を採用し得る。
【図面の簡単な説明】
【０１０９】
【図１】本発明に係る文字認識処理装置の実施例を示すブロック図である。
【図２】図１の文字認識処理装置で実施される文字方向判定処理および本発明に係る文字方向判定方法の実施例を示すフローチャートである。
【図３】図２における１文字処理の詳細を示すフローチャートである。
【図４】図３における文字認識の処理を示すフローチャートである。
【図５】１文字の外接矩形を示す図である。
【図６】図５の外接矩形を４×４の領域に分割した状態を示す図である。
【図７】輪郭線量の分割を示す図である。
【図８】１文字認識結果の例を示す表である。
【図９】１文字認識結果の他の例を示す表である。
【図１０】１個の文字領域の認識結果の例を示す表である。
【図１１】図１０に文字領域のその後の認識結果を示す表である。
【図１２】図１０に文字領域の他の認識結果を示す表である。
【図１３】図１０に文字領域のさらに他の認識結果を示す表である。
【図１４】１個の文字領域の１行文字数、行数を推定する状況を示す図である。
【図１５】図１０に文字領域のさらに他の認識結果を示す表である。
【図１６】画像をエリア１〜エリア４に分割した状態を示す図である。
【図１７】画像の文字領域を抽出した結果を示す図である。
【図１８】文字領域リストの例を示す図である。
【図１９】認識結果の初期値を示す表である。
【図２０】処理済み面積の初期値を示す表である。
【図２１】図２０の処理済み面積のその後の状態を示す表である。
【図２２】文字領域結果を示す表である。
【図２３】１文字領域の認識結果を示す表である。
【図２４】１文字領域の他の認識結果を示す表である。
【図２５】１文字領域のさらに他の認識結果を示す表である。
【図２６】図２の処理領域選択の処理の詳細を示すフローチャートである。
【図２７】前提技術としての文字方向判定方法を示すフローチャートである。
【符号の説明】
【０１１０】
１１  スキャナ、カメラ等の画像入力部
１２  プロセッサ
１２ａ  領域識別部
１２ｂ  方向判別部
１２ｃ  画像回転部
１２ｄ  領域情報回転部
１２ｅ  文字認識部
１２ｆ  文字認識結果出力部
１３  キーボード
１４  ディスク
１５  メモリ
１５ａ  画像データ
１５ｂ  領域情報
１５ｃ  制御プログラム
１５ｄ  文字領域リスト
１５ｅ  認識結果データ
１５ｆ  処理済み面積データ
１６  ディスプレイ、プリンタ、ネットワーク等の出力部
【図１】
2005346418.tif 000006
【図２】
2005346418.tif 000007
【図３】
2005346418.tif 000008
【図４】
2005346418.tif 000009
【図５】
2005346418.tif 000010
【図６】
2005346418.tif 000011
【図７】
2005346418.tif 000012
【図８】
2005346418.tif 000013
【図９】
2005346418.tif 000014
【図１０】
2005346418.tif 000015
【図１１】
2005346418.tif 000016
【図１２】
2005346418.tif 000017
【図１３】
2005346418.tif 000018
【図１４】
2005346418.tif 000019
【図１５】
2005346418.tif 000020
【図１６】
2005346418.tif 000021
【図１７】
2005346418.tif 000022
【図１８】
2005346418.tif 000023
【図１９】
2005346418.tif 000024
【図２０】
2005346418.tif 000025
【図２１】
2005346418.tif 000026
【図２２】
2005346418.tif 000027
【図２３】
2005346418.tif 000028
【図２４】
2005346418.tif 000029
【図２５】
2005346418.tif 000030
【図２６】
2005346418.tif 000031
【図２７】
2005346418.tif 000032