(57)【要約】【課題】縦書・横書が一文書で混在する文書画像を無条件で与えても適切な文字行領域情報を得ることを可能にする。【解決手段】対象文書画像から文字行と見なすことができる行候補領域を縦・横方向の行候補として抽出し（黒画素の連結成分の外接矩形を求め、隣接する矩形を統合）、抽出された縦・横の行候補領域の間に重複する領域が生じた場合に、各行候補領域の文字行らしさを行尤度（例えば、行の特徴量：行長さ、行高さ、行サイズの縦横比、連結成分間距離、連結成分サイズ、これらのばらつき等）として計算し（ステップＳ５）、結果に従い重複領域の中の不適正な行候補を削除し、適切な文字行領域情報を出力する。【選択図】　　　　図１
2004038530.tif 000002
【特許請求の範囲】
【請求項１】
処理対象として入力された画像から横方向の行と見なせる行候補領域を抽出する横行抽出ステップと、該対象画像から縦方向の行と見なせる行候補領域を抽出する縦行抽出ステップと、前記横行及び縦行抽出ステップの結果をもとに互いが重複する領域を有する横方向と縦方向の行候補領域を検出する重複行検出ステップと、重複行検出ステップで検出された重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断し、不適切な方向の行を選択する不適切行選択ステップと、前記不適切行選択ステップの結果に従い不適切な行候補を削除する行削除ステップの各ステップを備えたことを特徴とする画像処理方法。
【請求項２】
請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップで抽出された行候補領域を格納する行データ格納ステップを備え、前記重複行検出ステップが、前記行データ格納ステップで格納されている行候補領域の中から一行を選び出すステップと、該一行と異なる方向を持ち、かつ領域が重なり合う行候補領域を少なくとも一行選び出すステップを備えたことを特徴とする画像処理方法。
【請求項３】
請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップで抽出された行候補領域を格納する行データ格納ステップを備え、前記重複行検出ステップが、前記行データ格納ステップで格納されている行候補領域の中から一行を選び出す１次選出ステップと、該一行と異なる方向を持ち、かつ領域が重なり合う行候補領域を全て選び出す２次選出ステップと、２次選出ステップ以降に新たに選出される行に対して順次適用し、該行と異なる方向を持ち、かつ領域が重なり合う行候補領域を全て選び出す高次選出ステップと、前記高次選出ステップを所定の条件に従い停止する行選出停止ステップを備えたことを特徴とする画像処理方法。
【請求項４】
請求項３に記載された画像処理方法において、前記行選出停止ステップが、選出の際に、あらかじめ定められた選出ステップ回数へ達したとき、選出対象となる行候補領域がなくなったとき、選出された行候補領域数が所定数以上となったとき、選出された行候補領域の外接矩形の面積が所定値を超えたときの各停止条件中の少なくとも一つの条件の成立により選出を停止するステップであることを特徴とする画像処理方法。
【請求項５】
請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップの各々が、黒画素または白画素の連結成分を抽出するステップ、隣接する画素で明度の近い画素同士を連結成分として抽出するステップ、隣接する画素で色の近い画素同士を連結成分として抽出するステップの各ステップの中の少なくとも一つの連結成分抽出ステップと、前記連結成分抽出ステップで得た連結成分から近傍の連結成分を選択するステップと、近傍の連結成分同士のサイズを比較するステップと、比較結果をもとに連結成分のグループ化を行うステップと、グループ化された連結成分の外接矩形を求めるステップとを備えたことを特徴とする画像処理方法。
【請求項６】
請求項１に記載された画像処理方法において、前記不適切行選択ステップが、重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断するために各行候補領域において行らしさを表す尤度を計算するステップを備えたことを特徴とする画像処理方法。
【請求項７】
請求項１に記載された画像処理方法において、前記不適切行選択ステップが、重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断するために各方向の行候補領域における単数または複数の行候補全体で行らしさを表す尤度を計算するステップを備えたことを特徴とする画像処理方法。
【請求項８】
請求項６又は７に記載された画像処理方法において、前記尤度を計算するステップが、単数または複数の特徴量を求めるステップと、求めた特徴量にもとづいて尤度を算出するステップを備えたことを特徴とする画像処理方法。
【請求項９】
請求項８に記載された画像処理方法において、前記特徴量を求めるステップが、行の長さを算出するステップ、行の高さを算出するステップ、行サイズの縦横比を算出するステップ、行を構成する画素の連結成分間の距離を算出するステップ、行を構成する画素の連結成分のサイズを算出するステップ、行の長さのばらつきを算出するステップ、行の高さのばらつきを算出するステップ、行サイズの縦横比のばらつきを算出するステップ、行を構成する画素の連結成分間の距離のばらつきを算出するステップ、行を構成する画素の連結成分のサイズのばらつきを算出するステップ、行を構成する画素の明度情報を抽出するステップ、行を構成する画素の色情報を抽出するステップ、行を構成する画素のエッジ強度を算出するステップ、行を構成する画素の連結成分と周囲の画素の明度差を算出するステップ、行を構成する画素の連結成分と周囲の画素の色差を算出するステップの各ステップの中の少なくとも一つを備えたことを特徴とする画像処理方法。
【請求項１０】
請求項７に記載された画像処理方法において、前記尤度を計算するステップが、重複領域を有する横方向と縦方向の行候補領域の横・縦の行数比を算出するステップと、算出された行数比が予め定められた値であるときに、別の尤度計算処理を適用する計算処理ステップを備えたことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載された画像処理方法において、前記別の尤度計算処理を適用する計算処理ステップが、前記重複領域を有する行候補領域に隣接する行候補領域を抽出するステップと、抽出された行候補領域の高さが所定の条件を満たすかを調べるステップと、行候補領域の高さが所定の条件を満たしているものの数をカウントするステップと、該カウント値が所定の条件を満たすかを調べるステップと、該調査結果をもとに行らしさを表す尤度を決定するステップとを備えたことを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載された画像処理方法において、前記抽出された行候補領域の高さを調べるステップが、行候補領域の高さ方向の位置がほぼ一致し、行候補領域の高さの差が小さいものを所定の条件に合致する行候補領域と判断するステップであることを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載された画像処理方法において、前記所定の条件に合致する行候補領域と判断するステップが、高さの差が小さいものが存在する場合でもさらに距離が近い場所に高さの差が大きいものが存在する場合には、条件に一致する行は存在しないと判断するステップであることを特徴とする画像処理方法。
【請求項１４】
請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップの前段に処理対象として入力された原画像から圧縮画像を生成するステップと、前記行削除ステップを経た後に得られる圧縮画像にもとづく行領域を原画像にもとづく値に復元するステップとをさらに備えたことを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップが、原画像の解像度に応じて圧縮比を変更するステップを備えたことを特徴とする画像処理方法。
【請求項１６】
請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップは、原画像が二値画像であるとき、原画像の圧縮単位となる画素範囲に黒画素が含まれていれば、生成する圧縮画像の当該画素を黒画素とするステップを備えたことを特徴とする画像処理方法。
【請求項１７】
請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップは、原画像が二値画像であるとき、原画像の圧縮単位となる画素範囲に白画素が含まれていれば、生成する圧縮画像の当該画素を白画素とするステップを備えたことを特徴とする画像処理方法。
【請求項１８】
請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップが、原画像が多値画像のときには、原画像の圧縮単位となる画素範囲の平均画素値を生成する圧縮画像の当該画素の画素値とするステップ、原画像の圧縮単位となる画素範囲の中で最も明度の高い画素値を生成する圧縮画像の当該画素の画素値とするステップ、原画像の圧縮単位となる画素範囲の中で最も明度の低い画素値を生成する圧縮画像の当該画素の画素値とするステップの各ステップの中の少なくとも一つを備えたことを特徴とする画像処理方法。
【請求項１９】
請求項１乃至１８に記載された画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２０】
請求項１９に記載されたプログラムを搭載したコンピュータを備え、該コンピュータにより対象画像のデータを処理することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像に含まれる文字・文書画像の認識処理の前段で利用される文字行領域を表す情報を取得するための画像処理に関し、より詳細には、対象とする１画像に縦行・横行が存在する場合であっても適切な文字行領域を表す情報が得られるようにする画像処理方法、同方法の実行に用いるプログラム及び画像処理装置に関する。
【０００２】
【従来の技術】
文字・文書を対象とする画像処理では、従来より読み取った文字・文書画像に対して文字認識等の処理が行われている。この処理を行う際に、処理対象画像に存在する文字・文書画像が占める文字領域の正しい位置情報を取得することは、高い認識精度を得るために不可欠である。仮に、文書画像のどこに文字があるのか不明な状態で文字認識処理を行った場合、文字認識の必要のない写真、図などの領域に文字認識処理を行ってしまうことになるため、不要な処理で時間がかかるだけでなく、文字の存在しない領域に無理に文字認識を実行した結果として、大量にエラ−が出力されることになり、認識結果を利用する際に、大きな困難を伴うことになる。
このため、文字領域の正しい位置情報を取得するための処理方法として、二値画像の黒画素の連結成分を用いた方法が提案された。この方法では、入力された画像の黒画素の連結成分の外接矩形を得、得た外接矩形から、文字、表、図、等に基本要素を分類し、その中から文字要素を取り出し統合して行を生成するという処理を行っている（例えば、特開平９−４４５９４号公報参照）。
【０００３】
ところで、日本語文書は、文字を縦書き・横書きのいずれにすることも可能であるから、予め行方向を知っておかなければ、文字認識処理を行っても正しい認識結果を得ることは困難である。上述の例では、行方向については考慮していないので、適正な行方向へ対応するために何らかの方法により知る必要がある。
こうした課題に対して、特開平１０−６３７７６号公報に示される方法では、処理対象領域を何らかの方法で与えておき、処理対象領域の黒画素の連結成分の外接矩形を求め、得られた外接矩形から次のような量を求めて行方向を推定している。
・外接矩形の縦・横各方向への線密度特徴（射影）を求める。
・隣接矩形間距離の縦・横両方向に関する累計値を求める。
・隣接矩形間の重複値（座標の重なり幅）の縦・横両方向に関する累計値を求
める。
手順としては、まず外接矩形の射影から縦方向・横方向の文字列数の推定を行う。推定した文字列数が１の場合、上記射影情報から行方向を決定する。文字列数が１でない場合は、外接矩形の距離の累計値からこれらの比を求め、所定値を越えたときの比から行方向を決定する。比の値が所定値内におさまって行方向がまだはっきりしない場合は、矩形間の重複値の累計値から行方向を決定する。
【０００４】
【発明が解決しようとする課題】
しかしながら、この方法（特開平１０−６３７７６号公報）では、処理対象となる領域があらかじめ指定されていなければならず、また、外接矩形の射影を用いる関係からこの領域内では縦行と横行が混在していてはならない。従って、縦書き・横書きが一つの文書で混在する文書画像だけを無条件で与えて処理をさせることができず、自動化の妨げとなってしまう。
本発明は、画像読み取り手段等により入力される画像を対象とし、そこに含まれる文字・文書画像が占める文字領域を表す情報を取得する処理における上記した従来技術の問題点に鑑みてなされたものであり、その目的は、縦書き・横書きが一つの文書で混在する文書画像を無条件で与えても適切な文字行領域情報を得ることを可能にする処理を行うための画像処理方法、同方法の実行に用いるプログラム及び画像処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、処理対象として入力された画像から横方向の行と見なせる行候補領域を抽出する横行抽出ステップと、該対象画像から縦方向の行と見なせる行候補領域を抽出する縦行抽出ステップと、前記横行及び縦行抽出ステップの結果をもとに互いが重複する領域を有する横方向と縦方向の行候補領域を検出する重複行検出ステップと、重複行検出ステップで検出された重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断し、不適切な方向の行を選択する不適切行選択ステップと、前記不適切行選択ステップの結果に従い不適切な行候補を削除する行削除ステップの各ステップを備えたことを特徴とする画像処理方法である。
【０００６】
請求項２の発明は、請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップで抽出された行候補領域を格納する行データ格納ステップを備え、前記重複行検出ステップが、前記行データ格納ステップで格納されている行候補領域の中から一行を選び出すステップと、該一行と異なる方向を持ち、かつ領域が重なり合う行候補領域を少なくとも一行選び出すステップを備えたことを特徴とする方法である。
【０００７】
請求項３の発明は、請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップで抽出された行候補領域を格納する行データ格納ステップを備え、前記重複行検出ステップが、前記行データ格納ステップで格納されている行候補領域の中から一行を選び出す１次選出ステップと、該一行と異なる方向を持ち、かつ領域が重なり合う行候補領域を全て選び出す２次選出ステップと、２次選出ステップ以降に新たに選出される行に対して順次適用し、該行と異なる方向を持ち、かつ領域が重なり合う行候補領域を全て選び出す高次選出ステップと、前記高次選出ステップを所定の条件に従い停止する行選出停止ステップを備えたことを特徴とする方法である。
【０００８】
請求項４の発明は、請求項３に記載された画像処理方法において、前記行選出停止ステップが、選出の際に、あらかじめ定められた選出ステップ回数へ達したとき、選出対象となる行候補領域がなくなったとき、選出された行候補領域数が所定数以上となったとき、選出された行候補領域の外接矩形の面積が所定値を超えたときの各停止条件中の少なくとも一つの条件の成立により選出を停止するステップであることを特徴とする方法である。
【０００９】
請求項５の発明は、請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップの各々が、黒画素または白画素の連結成分を抽出するステップ、隣接する画素で明度の近い画素同士を連結成分として抽出するステップ、隣接する画素で色の近い画素同士を連結成分として抽出するステップの各ステップの中の少なくとも一つの連結成分抽出ステップと、前記連結成分抽出ステップで得た連結成分から近傍の連結成分を選択するステップと、近傍の連結成分同士のサイズを比較するステップと、比較結果をもとに連結成分のグループ化を行うステップと、グループ化された連結成分の外接矩形を求めるステップとを備えたことを特徴とする方法である。
【００１０】
請求項６の発明は、請求項１に記載された画像処理方法において、前記不適切行選択ステップが、重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断するために各行候補領域において行らしさを表す尤度を計算するステップを備えたことを特徴とする方法である。
【００１１】
請求項７の発明は、請求項１に記載された画像処理方法において、前記不適切行選択ステップが、重複領域を有する横方向と縦方向の行候補領域の文字行としての適性を判断するために各方向の行候補領域における単数または複数の行候補全体で行らしさを表す尤度を計算するステップを備えたことを特徴とする方法である。
【００１２】
請求項８の発明は、請求項６又は７に記載された画像処理方法において、前記尤度を計算するステップが、単数または複数の特徴量を求めるステップと、求めた特徴量にもとづいて尤度を算出するステップを備えたことを特徴とする方法である。
【００１３】
請求項９の発明は、請求項８に記載された画像処理方法において、前記特徴量を求めるステップが、行の長さを算出するステップ、行の高さを算出するステップ、行サイズの縦横比を算出するステップ、行を構成する画素の連結成分間の距離を算出するステップ、行を構成する画素の連結成分のサイズを算出するステップ、行の長さのばらつきを算出するステップ、行の高さのばらつきを算出するステップ、行サイズの縦横比のばらつきを算出するステップ、行を構成する画素の連結成分間の距離のばらつきを算出するステップ、行を構成する画素の連結成分のサイズのばらつきを算出するステップ、行を構成する画素の明度情報を抽出するステップ、行を構成する画素の色情報を抽出するステップ、行を構成する画素のエッジ強度を算出するステップ、行を構成する画素の連結成分と周囲の画素の明度差を算出するステップ、行を構成する画素の連結成分と周囲の画素の色差を算出するステップの各ステップの中の少なくとも一つを備えたことを特徴とする方法である。
【００１４】
請求項１０の発明は、請求項７に記載された画像処理方法において、前記尤度を計算するステップが、重複領域を有する横方向と縦方向の行候補領域の横・縦の行数比を算出するステップと、算出された行数比が予め定められた値であるときに、別の尤度計算処理を適用する計算処理ステップを備えたことを特徴とする方法である。
【００１５】
請求項１１の発明は、請求項１０に記載された画像処理方法において、前記別の尤度計算処理を適用する計算処理ステップが、前記重複領域を有する行候補領域に隣接する行候補領域を抽出するステップと、抽出された行候補領域の高さが所定の条件を満たすかを調べるステップと、行候補領域の高さが所定の条件を満たしているものの数をカウントするステップと、該カウント値が所定の条件を満たすかを調べるステップと、該調査結果をもとに行らしさを表す尤度を決定するステップとを備えたことを特徴とする方法である。
【００１６】
請求項１２の発明は、請求項１１に記載された画像処理方法において、前記抽出された行候補領域の高さを調べるステップが、行候補領域の高さ方向の位置がほぼ一致し、行候補領域の高さの差が小さいものを所定の条件に合致する行候補領域と判断するステップであることを特徴とする方法である。
【００１７】
請求項１３の発明は、請求項１２に記載された画像処理方法において、前記所定の条件に合致する行候補領域と判断するステップが、高さの差が小さいものが存在する場合でもさらに距離が近い場所に高さの差が大きいものが存在する場合には、条件に一致する行は存在しないと判断するステップであることを特徴とする方法である。
【００１８】
請求項１４の発明は、請求項１に記載された画像処理方法において、前記横行及び縦行抽出ステップの前段に処理対象として入力された原画像から圧縮画像を生成するステップと、前記行削除ステップを経た後に得られる圧縮画像にもとづく行領域を原画像にもとづく値に復元するステップとをさらに備えたことを特徴とする方法である。
【００１９】
請求項１５の発明は、請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップが、原画像の解像度に応じて圧縮比を変更するステップを備えたことを特徴とする方法である。
【００２０】
請求項１６の発明は、請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップは、原画像が二値画像であるとき、原画像の圧縮単位となる画素範囲に黒画素が含まれていれば、生成する圧縮画像の当該画素を黒画素とするステップを備えたことを特徴とする方法である。
【００２１】
請求項１７の発明は、請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップは、原画像が二値画像であるとき、原画像の圧縮単位となる画素範囲に白画素が含まれていれば、生成する圧縮画像の当該画素を白画素とするステップを備えたことを特徴とする方法である。
【００２２】
請求項１８の発明は、請求項１４に記載された画像処理方法において、前記圧縮画像を生成するステップが、原画像が多値画像のときには、原画像の圧縮単位となる画素範囲の平均画素値を生成する圧縮画像の当該画素の画素値とするステップ、原画像の圧縮単位となる画素範囲の中で最も明度の高い画素値を生成する圧縮画像の当該画素の画素値とするステップ、原画像の圧縮単位となる画素範囲の中で最も明度の低い画素値を生成する圧縮画像の当該画素の画素値とするステップの各ステップの中の少なくとも一つを備えたことを特徴とする方法である。
【００２３】
請求項１９の発明は、請求項１乃至１８に記載された画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００２４】
請求項２０の発明は、請求項１９に記載されたプログラムを搭載したコンピュータを備え、該コンピュータにより対象画像のデータを処理することを特徴とする画像処理装置である。
【００２５】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施形態に基づき説明する。
なお、下記の「実施形態１」〜「実施形態４」ではそれぞれ、本発明の「画像処理方法」を実施するための処理ステップに併せて、各処理ステップの実行に必要な手段（装置）を示す。これらの手段（装置）は、後記「実施形態５」に示すように、本発明の「画像処理方法」の各処理ステップの実行プログラムを搭載したコンピュータによって実施することができるが、各処理ステップの実行に必要な機能を電気回路の形態によって実施することも可能である。
「実施形態１」
ここでは、縦書き・横書きが一つの文書で混在する文書画像を無条件で与えても正しい文字行領域情報を得ることを可能にする基本的な画像処理方法を示すもので、文字行と見なすことができる領域（なお、以下の記述において、文字行と見なすことができる領域を“行候補領域”“行候補”或いは単に“行”と記載することがある）を縦・横方向の行候補として抽出し、抽出された縦横の行候補領域の間に重なりが生じた場合に、不要な行候補を削除するという処理を要部とする。
図１は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図２は、本実施形態に係る画像処理装置の構成を示すブロック図である。なお、以下に示す実施形態では、処理対象の文書画像は二値画像を基本として説明をするが、一部を手直しすれば濃淡画像やカラー画像に対しても同様の処理が行えるので、二値画像対象の処理と異なる点があればその都度説明する。
【００２６】
本実施形態に係る画像処理装置を図２を参照してその概略を説明すると、画像入力手段１０１は、処理対象の原画像を取得し、格納しておく手段（例えば、カラー画像データを出力するスキャナ、撮像装置などの原稿読み取り装置により実施し得る）であり、画像入力手段１０１で取得した原画像データを行抽出手段１０２に送出する。
行抽出手段１０２（後記で図４を参照し詳述）は、一文書から文字行と見なせる行の全てを抽出し、抽出した文字行情報を行格納手段１０３に送る。
重複行抽出手段１０４は、行格納手段１０３から得た文字行情報をもとに重なり合う重複行を抽出し、結果を行尤度計算手段１０５に出力する。
行尤度計算手段１０５（後記で図６を参照し詳述）は、重複行それぞの文字行としての尤もらしさを計算し、その計算結果を不適行削除手段１０６に送る。
不適行削除手段１０６は、重複行を排除するために行尤度の計算結果をもとに不適な行を判断し、その削除処理を行い、その結果を行格納手段１０３に送る。
行格納手段１０３は、正しい文字行情報を出力できるように、不適行の削除処理の結果を反映した文字行情報を追加し格納する。
【００２７】
次に、本実施形態に係る画像処理方法を図１のフローチャートを参照して説明する。なお、以下の説明は、上記画像処理装置の各構成要素の詳細な構成とその動作の説明を合わせて行う。
図１のフローによると、まず、処理したい原稿を画像入力手段１０１により原画像として取得する（Ｓ１）。ここで取得される画像は、通常のラスタ方式による連続画素データの形式をとる。
行抽出手段１０２を用い、処理対象画像から横方向の行候補を抽出し、そのデータを行格納手段１０３に格納する（Ｓ２）。ここで、行候補の抽出に用いることが可能な方法には様々あるが、ここでは黒画素の連結成分を利用する方法を例示する。
図３は、本実施形態に係る行抽出処理（Ｓ２／Ｓ３）のより詳細なフローを示すチャートであり、図４は、本実施形態に係る行抽出手段１０２のより詳細な構成を示すブロック図である。
行抽出手段１０２は、図４に示すように、連結成分抽出手段１０２−０１、近傍連結成分抽出手段１０２−０２、連結成分サイズ比較手段１０２−０３、連結成分グループ化手段１０２−０４、グループ構成連結成分外接矩形算出手段１０２−０５を備える。行抽出手段１０２が備える上記各手段の持つ機能は、フローに従った以下の動作説明により示す。
【００２８】
本例の行抽出の手順を示す図３のフローによると、まず連結成分算出手段１０２−０１を用い、処理対象画像から黒画素の連結成分を抽出する（Ｓ２−０１）。なお、この抽出処理で、処理対象の文書画像が２値画像でなく濃淡画像の場合は、互いに接する画素のうち、明度値の近いものをグループ化し、これを連結成分として用いればよい。また、カラー画像の場合は明度値でなく色の近いものをグループ化すればよい。色の近さは、たとえば画素の各色成分の差の２乗和などを用いて計算する。これらの連結成分抽出の手法の詳細は、本願出願人による先の出願（特願２００１−８６４８４号）に説明があり、これを参照することとする。
次いで、抽出した連結成分をもとに近傍連結成分抽出手段１０２−０２を用い、抽出したい行の方向（ここでは横方向）の近傍の連結成分を抽出する。近傍の定義にはさまざま考えられるが、ここでは連結成分の外接矩形の大きさ程度の距離以内とする。この後、抽出した近傍の連結成分をもとに連結成分サイズ比較手段１０２−０３を用い、抽出された連結成分同士を比較し（Ｓ２−０２）、サイズが似通っているかどうかを調べる（Ｓ２−０３）。例えば、高さが近く、位置も近い場合にそれらは同一の行を生成するとみなして、これらを連結成分グループ化手段１０２−０４を用いてグループ化する（Ｓ２−０４）。サイズが近いと判断できない場合には（Ｓ２−０３−ＮＯ）このグループ化処理をパスする。
上記した近傍連結成分に対するグループ化処理をすべての矩形について吟味したことを確認し（Ｓ２−０５）、確認できたグループの外接矩形を、グループ構成連結成分外接矩形算出手段１０２−０５を用いて算出し、この座標値を文字行データとし、次のステップに渡す（Ｓ２−０６）。
また、上記した横方向の行候補におけると同様に、縦方向の行候補も抽出し、得た文字行データを次のステップに渡す（Ｓ３）。
【００２９】
図１に示すフローのステップＳ２，Ｓ３で横方向と縦方向の文字行データをそれぞれ抽出した後、重複行抽出手段１０４を用いて、抽出結果として得た横方向と縦方向の文字行候補の中から、位置が重なり合うものがあるか否かを判定し、ある場合に重なり合う文字行候補同士を１本ずつ取り出す（Ｓ４）。
次いで、１本ずつ取り出した位置が重なり合う文字行候補同士をどちらかが正しい文字行に相当するものであるから、その判断を行うために、重なり合う対象文字行候補の行らしさ（尤度）を行尤度計算手段１０５で重なり合う行それぞれについて計算する（Ｓ５）。
このときに用いる行らしさの計算方法には、様々なものが考えられるが、ここでは以下の方法で行うこととする。
図５は、本実施形態に係る行尤度計算処理（Ｓ５）のより詳細なフローを示すチャートであり、図６は、本実施形態に係る行尤度計算手段１０５のより詳細な構成を示すブロック図である。
行尤度計算手段１０５は、図６に示すように、行長算出手段１０５−０１、行高算出手段１０５−０２、縦横比算出手段１０５−０３、連結成分間距離算出手段１０５−０４、連結成分サイズ算出手段１０５−０５、特徴量合算手段１０５−０６を備える。行尤度計算手段１０５が備える上記各手段の持つ機能は、フローに従った以下の動作説明により示す。
【００３０】
本例の行尤度計算の手順を示す図５のフローによると、まず、行長算出手段１０５−０１と行高算出手段１０５−０２を用い、対象文字行の長さ、高さを求める（Ｓ５−０１）。
この後、求めた行の長さ、高さをもとに縦横比算出手段１０５−０３で行の縦横比（長さ比）を計算する（Ｓ５−０２）。
また、連結成分間距離算出手段１０５−０４を用いて、行を構成する連結成分同士の距離を求める（Ｓ５−０３）。ここで求めた連結成分同士の距離は、文字間隔に相当するものである。
さらに、連結成分サイズ算出手段１０５−０５を用いて、行を構成する連結成分のサイズを吟味する（Ｓ５−０４）。ここでは、連結成分のうち、文字らしいサイズの連結成分数を数える。
次に、以上のステップＳ５−０２〜Ｓ５−０４で求めた値を特徴量として用い、特徴量合算手段１０５−０６で文字行らしさを表す尤度を計算する（Ｓ５−０５）。尤度の計算方法には様々な方法が考えられるが、ここでは、あらかじめ求めておいた各特徴量の典型値との差の絶対値の線型和を尤度とする例を次に示す。
即ち、ある特徴量ｉの値をＦｉ、行候補が実際に行である場合の特徴量ｉの典型値をＥｉとすると尤度Ａは、下記［式１］で表せる。
【００３１】
【式１】
2004038530.tif 000003
【００３２】
なお、［式１］において、Ｋｉは重みであり、実験により最適な値を求めておく。
また、典型値Ｅｉは実験により求める値で、行であることがわかっている領域を多数用意し、それらから得られる特徴量Ｆｉの平均値として求めればよい。
また、上記した線型和の例に代えて、マハラノビス距離を用いることもでき、その例を次に示す。
即ち、ある特徴量ｉの値をＦｉ、実験により求めた特徴量の典型値（平均値）をＥｉ、実験時の特徴量の分散をＶｉとすると、尤度Ａは、下記［式２］で表せる。
【００３３】
【式２】
2004038530.tif 000004
【００３４】
なお、実際のマハラノビス距離は分散だけでなく、特徴量間の共分散も考慮に入れる必要があるが、ここでは簡単のために共分散は無視した。
さらに、濃淡画像やカラー画像の場合は明度情報や色情報を上記の特徴量として用いてもよい。エッジ強度、連結成分を構成する画素の明度と周囲の明度の差、連結成分を構成する画素の色と周囲の色の差、などを用いることが可能である。　このうち、エッジ強度の求め方の例を次に示す。
注目画素を中心にした３×３画素の範囲に、係数を図７の（Ａ）或いは（Ｂ）とした空間フィルタを明度値（ＲＧＢ成分からなるカラー画像の場合はＧ値とする）に対して施し、得られた値の絶対値和をこの注目画素のエッジ強度とする。これを文字行を構成する画素全体に対して行い、その平均値を文字行におけるエッジ強度とするという方法を用いる。
【００３５】
上記のようにして、行尤度計算（Ｓ５）を行った後、得られた重なり合う一対の文字行候補それぞれの尤度をもとに不適行削除手段１０６で行らしくないほうを削除する（Ｓ６）。この削除処理では、尤度Ａは小さいほど文字らしいので、不適行削除手段１０６により、縦行と横行のうち、尤度Ａの値が小さいほうを正しい文字行とみなし、他方を削除する。
重なり合う一対の文字行候補から不適行を削除するための一連の処理ステップ（Ｓ４〜Ｓ６）は、重なりをもつ一対の文字行候補単位で行い、重なりをもつ行候補同士を次々に吟味し、重なりがなくなるまでこの処理を繰り返し、全ての対象行候補の処理の終了を確認して（Ｓ７−ＹＥＳ）、重なりのない正しい文字行情報を処理結果として行格納手段１０３から出力し（Ｓ８）、このフローを終了する。
【００３６】
「実施形態２」
上記した「実施形態１」では一行対一行の重なりを取り出し、その単位で不適正行の削除までの一連の処理を行う手順によっており、行候補全体の処理操作が多くなり、又条件によってはエラーが生じる可能性があるという問題を含んでいた。本実施形態は、この問題点を解消することを意図し、横行と縦行が複数対複数の重なりを検知し、各グループ内で尤度を計算し、少ない処理操作で適切な文字行領域情報を得ることを可能にするものである。
図８は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図９は、本実施形態に係る画像処理装置の構成を示すブロック図である。
本実施形態に係る画像処理装置を図９を参照してその概略を説明すると、画像入力手段２０１は、処理対象の原画像を取得し、格納しておく手段（例えば、カラー画像データを出力するスキャナ、撮像装置などの原稿読み取り装置により実施し得る）であり、画像入力手段２０１で取得した原画像データを行抽出手段２０２に送出する。
行抽出手段２０２は、一文書から文字行と見なせる行候補の全てを抽出し、抽出した文字行情報を行格納手段２０３に送る。なお、行抽出手段２０２は、「実施形態１」の行抽出手段２０２と同様の構成（図４を参照し上記で詳述）を有する。
重複行群抽出手段２０４（後記で図１０を参照し詳述）は、行格納手段１０３から得た文字行情報をもとに重なり合う重複行を所定の条件に従って重複行群として抽出し、結果を行群尤度計算手段２０５に出力する。
行群尤度計算手段２０５（後記で図６を参照し詳述）は、重複行群における縦・横それぞれの文字行としての尤もらしさを計算し、その計算結果を不適行群削除手段２０６に送る。
不適行削除手段１０６は、重複行を排除するために行尤度の計算結果をもとに不適な行を判断し、その削除処理を行い、その結果を行格納手段２０３に送る。
行格納手段２０３は、正しい文字行情報を出力できるように、不適行の削除処理の結果を反映した文字行情報を追加し格納する。
【００３７】
次に、本実施形態に係る画像処理方法を図８のフローチャートを参照して説明する。なお、以下の説明は、画像処理装置（図９）の各構成要素のより詳細な構成とその動作の説明を合わせて行う。
図８のフローによると、まず、処理したい原稿を画像入力手段１０１により原画像として取得する（Ｓ２１）。ここで取得される画像は、通常のラスタ方式による連続画素データの形式をとる。
次いで、行抽出手段２０２を用い、処理対象画像から横方向及び縦方向の行候補をそれぞれ抽出し、その文字行データを行格納手段２０３に格納する（Ｓ２３，Ｓ２４）。ここに、行候補の抽出に用いる方法は上記「実施形態１」と同様に実施することができる。従って、行抽出処理については先の説明（Ｓ２，Ｓ３に関する説明）を参照することとし、説明を省略する。
この後、抽出した横方向及び縦方向の文字行データをもとに重複行群抽出手段２０４により、行の重複判定を行う（Ｓ２４）。
図１０は、本実施形態に係る複数行重なり判定ステップ（Ｓ２４）のより詳細なフローを示すチャートであり、図１１は、本実施形態に係る重複行群抽出手段２０４のより詳細な構成を示すブロック図である。
重複行群抽出手段２０４は、図１１に示すように、行選択手段２０４−０１、重複縦行抽出手段２０４−０２、重複横行抽出手段２０４−０３、重複行抽出制御手段２０４−０４、重複行群格納手段２０４−０５を備える。重複行群抽出手段２０４が備える上記各手段の持つ機能は、フローに従った以下の動作説明により示す。
【００３８】
本例の複数行重なり判定（Ｓ２４）の手順を示す図１０のフローによると、まず行選択手段２０４−０１を用い、ある横行を１つ選ぶ（Ｓ２４−０１）。
次いで、重複縦行抽出手段２０４−０２により、この選択した横行と位置が重なっている縦行をすべて抽出する（Ｓ２４−０２）。この抽出結果は重複行群格納手段２０４−０５に格納する。
この後に、重複横行抽出手段２０４−０３により、ステップＳ２４−０２で抽出された縦行と重なり合う横行をすべて抽出する（Ｓ２４−０３）。
このステップＳ２４−０２，Ｓ２４−０３の行抽出処理を繰り返す。この結果抽出された行群の一例を図１２に示す。同図の（Ａ）に示す原画像からは、（Ｃ）に示す横行、（Ｄ）に示す縦行が抽出され、上記した横行→縦行→横行→…と繰り返すステップＳ２４−０２，Ｓ２４−０３の手順を行うと、同図の（Ｂ）に示す行群が抽出できる。
ステップＳ２４−０２，Ｓ２４−０３の繰り返しは所定の終了条件をもって終了させる（Ｓ２４−０４）。重複行抽出制御手段２０４−０４によりその制御を実行する。終了条件として様々な条件を設定することが可能であり、以下に示すような条件が例示できる。
・　予め定めておいた有限回で終了させる。
・　新たに重なる行が検知できなくなった時点で終了させる。
・　重なりを持つ行の外接矩形がある程度以上の面積になった時点で終了させる。なお、重なりを持つ行の外接矩形については、図１２（Ｅ）の例示を参照。
・　重なりを持つ行の本数がある数以上になったら終了させる。
これらの条件は必要に応じて複合して用いるようにする。例えば、行の本数があらかじめ定められた数まで増えなくても、新たに重なる行が検知できなければ終了させて、無限ループに陥ることがないようにする。なお、本例では、有限回の繰り返しで処理を終了させるように条件設定を行うことにする。
【００３９】
次に、ステップＳ２４（図１０）で得た重なりを持つ行群データをもとに、図８のフローでは、行群尤度算出手段２０５により行群中の縦行群と横行群のそれぞれで尤度を求める（Ｓ２５）。縦行群と横行群の尤度は、上記「実施形態１」と同様の手法を用いて各行ごとに尤度を求め、求めた値の平均値を用いることにより実施し得る。また、行が複数あることから、行長や行高のばらつき（分散）を尤度値を求めるための特徴量に加えても良い。
このようにして、縦横の各行群から一つずつの尤度を計算し、得られた結果をもとに、不適行群削除手段２０６を用い、尤度Ａの値の大きい（文字らしくない）行群を判定し、判定結果に従い不適行を削除する（Ｓ２６）。例えば、横行群から求めたＡが縦行群から求めたＡよりも大きければ、横行群に属する行をすべて削除する。
複数行が重なり合う縦行群と横行群から不適行群を削除するための一連の処理ステップ（Ｓ２４〜Ｓ２６）は、上記のように一つの横行を選択し所定条件に従う行群単位で行い、縦行群と横行群同士を次々に吟味し、吟味する横行がなくなるまでこの処理を繰り返し、全ての対象行処理の終了を確認して（Ｓ２７−ＹＥＳ）、重なりのない正しい文字行情報を処理結果として行格納手段２０３から出力し（Ｓ２８）、このフローを終了する。
【００４０】
「実施形態３」
上記した「実施形態２」では複数行が重なり合う縦行群と横行群を所定条件に従って抽出することにより求めた行群単位で不適正ないずれかの行群を削除するという手順により、目的とする行データを得るという方法を採っており、より適正な行データの取得が可能になる。ところが、この方法では、図１３に示すような目次の記事、即ち目次の項目と対応するページ番号が記載された原稿（同図中、（Ａ）は原稿の画像を示す）の場合、ページの並び部分が縦行として抽出されてしまう（同図中、（Ｂ）は行抽出結果を示す）、というエラーが生じる場合がある。本実施形態は、このようなエラーを生じないようにし、適切な文字行領域情報を得ることを可能にするものである。
図１４は、本実施形態に係る画像処理方法の処理フロー（一部）を示すチャートであり、図１５は、本実施形態に係る画像処理装置の構成を示すブロック図である。
本実施形態に係る画像処理装置は、図１５に示すような構成で、同図中破線で囲んだ部分は、上記「実施形態２」の装置構成（図９）と同様である。従って、先の説明を参照することとし、ここでは説明を省略する。
また、本実施形態に特有の構成要素として、行数比算出手段３０１、隣接行抽出手段３０２、行高吟味手段３０３、尤度設定手段３０４、カウンタ値吟味手段３０５、カウント手段３０６を備える。本実施形態に特有のこれらの各手段の持つ機能は、フローに従った以下の動作説明により明らかにする。
【００４１】
次に、本実施形態に係る画像処理方法を図１４のフローチャートを参照して説明する。なお、本実施形態のフローは、「実施形態２」のフロー（図８）における複数行重なり判定のステップＳ２４（詳細フローは図１０）と行群の尤度計算のステップＳ２５の間に図１４に示すフローを挿入することを特徴とするものである。従って、以下の説明は、図１４のフローに示す手順を中心に行う。なお、この手順を説明するために用いる例を図１６に示す。同図は、目次の記載事項の目次に対応するページ番号の行抽出を例にこの処理を説明するための図である。
上記「実施形態２」において示したように、複数行重なり判定ステップＳ２４で縦横行同士で重なり合っている行群を抽出した後に、本実施形態特有の処理として図１４のフローによる処理が行われる。ここでは、抽出した行群をもとに行数比算出手段３０１により、横行と縦行の数が１：多（または多：１）の関係にあるか否かをか吟味する（Ｓ３１）。なお、この関係は、図１６（Ａ）に示すように、縦行（点線）が“１”である場合に、重なり合う横行が“５”となる例示したページの並び部分において成立する。
このときに、１：多（または多：１）の関係が成り立たなければ、行群の尤度計算のステップＳ２５（図８参照）へ進む。
【００４２】
他方、１：多（または多：１）が成り立てば、目次を記載した記事のページの並び部分である可能性があるので、さらに別の観点で吟味を行う。
次に吟味する観点は、条件にあう行数をカウントするので、そのために用意したカウント手段３０６のカウント値を“０”にリセットする（Ｓ３２）。
次いで、隣接行抽出手段３０２を用いて複数抽出された行（以下「参照元行」と呼び、図１６（Ｂ）に示す例では、ページ番号の並びがこれに相当する）の長さ方向に隣接した行を探す（Ｓ３３）。このときには、高さ方向の座標値が一致し、参照元行に最も近い行（以下「隣接行」と呼び、図１６（Ｂ）に示す例では目次の項目、例えば“従来手法”と記載した横行がこれに相当する）を選び出す。
ステップＳ３３を経て、もし隣接行があれば（Ｓ３４−ＮＯ）、以下のＳ３５〜Ｓ３７のステップへ進めるがなければ、このステップをパスしＳ３８へ進める。
隣接行があれば、行高吟味手段３０３を用い、隣接行と参照元行の高さが近ければ（Ｓ３５−ＹＥＳ）、カウント手段３０６のカウント値に“１”を加算して（Ｓ３６）、後記のステップＳ３８へ進めて、参照元の行を変更して（Ｓ３９）、他の参照元行について上記と同様の処理を行う。この処理は、目次ページ番号とペアになる文字列（目次項目の記載）を探していることに相当する。
【００４３】
隣接行の高さが参照元行と合わず、しかも高すぎる場合は（Ｓ３７−ＹＥＳ）、同じ参照元行に対するこれ以上の隣接行の探索は行わず、後記のステップＳ３８へ進む。この処理は、ペアになるべき文字列が存在しないと判断したことに相当する。
この手順を必要とする例を図１６（Ｃ）に示す。この例では、隣接行と参照元行の間に、目次ページ番号と対応する文字列の関係が成立しないような高さを有した図形が存在しており、目次としては不自然な構成である。
隣接行の高さが参照元行と合わないが、高すぎるという程ではない場合は（Ｓ３７−ＮＯ）、ステップＳ３３に戻って同じ参照元行に対し、現在の隣接行の次に位置が近い隣接行を探索する。
隣接行の吟味がすべて終了した場合や、条件を満たす隣接行が見つかった場合は、まだ未吟味の参照元行があるか否かを確認する（Ｓ３８）。ここで、まだ未吟味の参照元行がある場合は参照元行を変更し（Ｓ３９）、再び前記のステップＳ３３に戻って隣接行の探索を行う。
ステップＳ３８で未吟味の参照元矩形がない場合は、カウンタ値吟味手段３０５によりカウンタ値を吟味する（Ｓ４０）。即ち、カウンタ値があらかじめ定められた値より大きいか、或いは全参照元行数との比率がある一定値以上の場合は（Ｓ４０−ＹＥＳ）、目次のページ番号の並びであると判断し、尤度設定手段３０４を用いて、行群の尤度として単数行（１：多の行数の関係にある場合の“１”側の行）の方が削除されるような値を設定し（Ｓ４１）、ステップＳ２６（図８）へ進む。カウンタ値吟味手段３０５によりカウンタ値を吟味する手順を図１６の例で説明すると、図１６（Ｂ）の例では、参照元行５に対し、条件に合う隣接行が５行見つかることになり、カウンタ値５となる。カウンタ値の全参照元行数に対する割合は１．０となり極めて高いので、これは目次のページ番号であると判断するのが妥当ということになる。
カウンタ値を吟味した結果、カウンタ値があらかじめ定められた値より大きくない場合は、ステップＳ２５（図８）へ進み、尤度計算を行う。
【００４４】
「実施形態４」
本実施形態は、上記の「実施形態１」「実施形態２」に示したような、入力文書画像から適切な文字行候補領域情報を得ることを可能にする画像処理方法及び装置における処理の高速化を意図するものである。ここでは対象画像データに圧縮をかけることにより、その意図を実現させるものである。
図１７は、本実施形態に係る画像処理方法の処理フローを示すチャートであり、図１８は、本実施形態に係る画像処理装置の構成を示すブロック図である。
本実施形態では、上記「実施形態１」において、処理の高速化を図るための要素を適用した例を示す。従って、「実施形態１」の画像処理方法及び画像処理装置（図１及び図２）と同じ構成要素については、図面上で同一の参照番号を付すこととし、同じ構成要素については先の説明を参照することとし、ここでは説明を省略する。
図１８に示すように、本実施形態に特有の構成要素として、圧縮画像生成手段４０１、座標値変換手段４０２を備える。本実施形態に特有のこれらの各手段の持つ機能は、フローに従った以下の動作説明により明らかにする。
【００４５】
ここで、本実施形態に係る画像処理方法を図１７のフローチャートを参照して説明する。なお、本実施形態のフローは、「実施形態１」と同様のフロー（図１参照）における画像入力のステップＳ１と横行抽出のステップＳ２の間に圧縮画像生成のステップＳ４１、及び同じく全ての行を吟味したかを確認するステップＳ７と結果出力のステップＳ８の間に座標値変換のステップＳ４２を挿入することを特徴とするものである。従って、以下の説明は、図１７のフローで追加した手順を中心に行う。
上記「実施形態１」において示したように、画像入力ステップＳ１で処理対象画像を画像入力手段１０１により入力した後、圧縮画像生成手段４０１を用いて処理対象の原画像から圧縮画像（縮小画像）を生成する（Ｓ４１）。圧縮画像は原画像の数画素四方を１画素にまとめることで生成する。圧縮比は固定値を用いてもよいし、原画像の解像度にあわせて変化させてもよい。例えば、原画像の解像度が高い場合には圧縮率を高めるようにすれば、処理時間は解像度が増してもあまり増加しないようにすることが可能である。ここでは固定値として２×２画素の範囲を１画素にまとめる圧縮を行うとする。なお、まとめた画素の値は、二値画像の場合は２×２画素に黒画素が含まれていれば黒、そうでなければ白とする（いわゆるＯＲ圧縮）といった方法を採用することにより実施し得る。また、濃淡画像やカラー画像の場合は２×２画素領域内の平均値を用いるなどの方法を採用しても良い。
ステップＳ４１で生成された圧縮画像がその後、処理対象画像として横行データの抽出ステップ（Ｓ２）に渡され、以下、「実施形態１」と同様の処理ステップを経て、ステップＳ７まで進む。
ステップＳ７で、すべての行を吟味したと判断されたら、座標値変換手段４０２で前段までの手順を経て得られた正しい行領域情報を示す座標値を原画像のものに変換する（Ｓ４２）。２×２画素を１画素にまとめる圧縮を採用した場合には、Ｘ，Ｙ座標とも座標値を２倍にする座標値変換を行うようにすればよい。この例では使用する画像の画素数が４分の１に減るため、処理の高速化を図ることが可能になる。
【００４６】
「実施形態５」
本実施形態は、上記した「実施形態１」〜「実施形態４」に示した文字行領域情報を得るための画像処理のステップを実行する手段として、汎用のコンピュータを利用した実施形態を示すものである。
図１９は、本実施形態の処理装置の構成を示す。図１９に示すように、本実施形態は、汎用のコンピュータにより実施する例を示すものであり、構成要素としてＣＰＵ８０１、メモリ８０２、ハードディスクドライブ８０３、入力装置８０４、ＣＤ−ＲＯＭドライブ８０５、ディスプレイ８０６、マウスなどを用意する。また、ＣＤ−ＲＯＭドライブ８０５が用いるＣＤ−ＲＯＭなどのリムーバブルな記録媒体８０７には、本発明の文字行領域情報を得るための上記した処理機能や処理手順を実現させるためのプログラム（ソフトウェア）が記録されている。
処理対象の原稿画像は、スキャナー等の入力装置８０４により入力され、例えばハードディスク８０３などに格納されているものである。ＣＰＵ８０１は、記録媒体８０７から上記した処理機能、手順を実現するプログラムを読み出し、プログラムに従う文字行領域情報を得るための処理を対象画像に実行し、その結果をディスプレイ８０６などに出力する。
【００４７】
【発明の効果】
（１）　請求項１の発明に対応する効果
互いに重なり合う重複領域を持つ縦・横方向の行候補領域に対して文字行としての適性を判断し、その結果をもとに不適切な方向の行を削除するようにしたので、縦書・横書が一文書で混在する文書画像を無条件で与えても、適切な文字行領域を表す情報を得ることが可能になり、従来法におけるように処理対象領域を指定することなく、適切に文字行を把握することができる。
（２）　請求項２の発明に対応する効果
請求項１の発明において、互いに重なり合う重複領域を持つ縦・横方向の行候補領域を取り出すための基本的な手順を提供する。
（３）　請求項３，４の発明に対応する効果
縦・横方向の行候補領域が複数対複数の重なりを検知して所定のルールでグループ化し、各グループ（行候補群）内でどちらがより適切な行かを判定するようにしたので、少ない処理操作で文字行領域情報を得ることが可能になる。
（４）　請求項５の発明に対応する効果
黒画素または白画素の連結成分、隣接する画素で明度の近い画素同士の連結成分、隣接する画素で色の近い画素同士の連結成分として抽出するという方法を用意したので、二値及び多値（カラー）画像に対しても請求項１の発明が適用可能になる。
【００４８】
（５）　請求項６〜９の発明に対応する効果
互いに重なり合う重複領域を持つ縦・横方向の行候補領域の文字行としての適性を、文字行の特徴量（行長さ、行高さ、行サイズの縦横比、連結成分間距離、連結成分サイズ、上記各量のばらつき、画素の明度、画素の色情報、画素のエッジ強度、画素の連結成分と周囲の画素の明度差、画素の連結成分と周囲の画素の色差等）を含む、行らしさを表す尤度計算によって判断するようにしたので、より適切な結果を得ることが可能になる。
（６）　請求項１０〜１３の発明に対応する効果
グループ（行候補群）内でどちらがより適切な行かを判定するようにした場合に生じる可能性のあるエラー（図１３に関する記載参照）を起こす条件を考慮した行らしさを表す尤度計算処理を行うようにしたので、このエラーを回避することが可能になる。
（７）　請求項１４〜１８の発明に対応する効果
縦・横方向の行候補領域を抽出する処理の前段に入力原画像に圧縮をかける（原画像が二値のとき、圧縮単位に黒画素が含まれていれば、圧縮画像を黒画素に、逆に白画素であれば圧縮画像を黒画素とする。また、原画像が多値のとき、圧縮単位の平均値、最高明度値、最低明度値の少なくとも一つを採用する。）ようにしたので、処理の高速化を図ることが可能になる。
（８）　請求項１９，２０の発明に対応する効果
請求項１乃至１８に記載された画像処理方法の各ステップを実行するためのプログラムを汎用のコンピュータに搭載することにより、上記（１）〜（７）の効果を容易に具現化し、また、該効果を奏する画像処理装置を提供することが可能になる。
【図面の簡単な説明】
【図１】本発明に係わる文字行領域を表す情報を取得する画像処理方法の処理フロー（実施形態１）を示すチャートである。
【図２】図１の処理を行うための画像処理装置の構成を示すブロック図である。
【図３】図１における行抽出ステップ（Ｓ２，Ｓ３）の詳細フローを示すチャートである。
【図４】図２における行抽出手段のより詳細な構成を示すブロック図である。
【図５】図１における行尤度計算ステップ（Ｓ５）の詳細フローを示すチャートである。
【図６】図２における行尤度計算手段のより詳細な構成を示すブロック図である。
【図７】カラー画像における文字行の特徴量を得るための処理に用いる空間フィルタの特性を示す。
【図８】本発明に係わる文字行領域を表す情報を取得する画像処理方法の処理フロー（実施形態２）を示すチャートである。
【図９】図８の処理を行うための画像処理装置の構成を示すブロック図である。
【図１０】図８における複数行重なり判定ステップ（Ｓ２４）の詳細フローを示すチャートである。
【図１１】図９における重複行群抽出手段のより詳細な構成を示すブロック図である。
【図１２】重複行群を抽出する処理を説明するための図を示す。
【図１３】実施形態２の重複行群抽出処理により発生し得る縦行の抽出エラーを説明するための図である。
【図１４】縦行の抽出エラーを回避する処理フロー（実施形態３）を示すチャートである。
【図１５】図１４の処理を行うための手段を備えた画像処理装置の構成を示すブロック図である。
【図１６】縦行の抽出エラーを回避する処理（実施形態３）を説明するための図である。
【図１７】本発明に係わる文字行領域を表す情報を取得する画像処理方法の処理フロー（実施形態４）を示すチャートである。
【図１８】図１７の処理を行うための画像処理装置の構成を示すブロック図である。
【図１９】本発明に係わる画像処理方法を実行するコンピュータを示す図である。
【符号の説明】
１０１，２０１…画像入力手段、　　１０２，２０２…行抽出手段、
１０３，２０３…行格納手段、　　　　　　１０４…重複行抽出手段、
１０５…行尤度計算手段、　　　　１０６…不適行削除手段、
２０４…重複行群抽出手段、　　　２０５…行群尤度計算手段、
２０６…不適行群削除手段、　　　３０１…行数比算出手段、
３０２…隣接行抽出手段、　　　　３０３…行高吟味手段、
３０４…尤度設定手段、　　　　　３０５…カウンタ値吟味手段、
３０６…カウント手段、　　　　　４０１…圧縮画像生成手段、
４０２…座標値変換手段、　　　　８０１…ＣＰＵ、
８０２…メモリ、　　　　　　　　８０３…ハードディスクドライブ、
８０４…入力装置、　　　　　　　８０５…ＣＤ−ＲＯＭドライブ、
８０６…ディスプレイ、　　　　　８０７…ＣＤ−ＲＯＭ。
【図１】
2004038530.tif 000005
【図２】
2004038530.tif 000006
【図３】
2004038530.tif 000007
【図４】
2004038530.tif 000008
【図５】
2004038530.tif 000009
【図６】
2004038530.tif 000010
【図７】
2004038530.tif 000011
【図８】
2004038530.tif 000012
【図９】
2004038530.tif 000013
【図１０】
2004038530.tif 000014
【図１１】
2004038530.tif 000015
【図１２】
2004038530.tif 000016
【図１３】
2004038530.tif 000017
【図１４】
2004038530.tif 000018
【図１５】
2004038530.tif 000019
【図１６】
2004038530.tif 000020
【図１７】
2004038530.tif 000021
【図１８】
2004038530.tif 000022
【図１９】
2004038530.tif 000023