(57)【特許請求の範囲】
【請求項１】
文書画像中において基準位置又は基準となる画素塊の位置をユーザが指定する基準位置指定手段と、少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から抽出する所定画素塊抽出手段と、前記所定画素塊抽出手段により抽出した所定の画素塊の位置が前記基準位置又は基準となる画素塊の位置となるように入力された文書画像全体の位置を補正する画像補正手段を有し、前記基準位置指定手段は、奇数ページにおける基準位置又は基準となる画素塊の位置を指定する奇数ページ基準位置指定手段と、偶数ページにおける基準位置又は基準となる画素塊の位置を指定する偶数ページ基準位置指定手段と、奇数ページと偶数ページとで前記奇数ページ基準位置指定手段または偶数ページ基準位置指定手段のいずれかの出力を切り替えるページ切替手段を含んで構成されており、奇数ページと偶数ページとで個別に前記所定画素塊抽出手段による抽出領域を設定可能であることを特徴とする文書画像処理装置。
【請求項２】
入力された文書画像をページごとに保持する画像記憶手段と、前記画像記憶手段中の処理すべき複数ページの文書画像のレイアウトを解析し各ページの文書画像中の同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を所定の画素塊とするとともに前記基準位置を決定する前記所定画素塊抽出手段と、前記所定画素塊抽出手段により抽出した所定の画素塊の位置が基準位置となるように入力された文書画像全体の位置を補正する画像補正手段を有し、前記所定画素塊抽出手段は、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とするとともに奇数ページの基準位置を決定し、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とするとともに偶数ページの基準位置を決定することを特徴とする文書画像処理装置。
【請求項３】
入力された文書画像をページごとに保持する画像記憶手段と、文書画像中において基準位置をユーザが指定する基準位置指定手段と、少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から抽出する所定画素塊抽出手段と、前記所定画素塊抽出手段により抽出した所定の画素塊の位置が前記基準位置となるように入力された文書画像全体の位置を補正する画像補正手段を有し、前記基準位置指定手段は、奇数ページにおける基準位置を指定する奇数ページ基準位置指定手段と、偶数ページにおける基準位置を指定する偶数ページ基準位置指定手段と、奇数ページと偶数ページとで前記奇数ページ基準位置指定手段または偶数ページ基準位置指定手段のいずれかの出力を切り替えるページ切替手段を含んで構成されており、奇数ページと偶数ページとで個別に前記所定画素塊抽出手段による抽出領域を設定可能であり、前記所定画素塊抽出手段は、前記画像記憶手段中の処理すべきすべてのページの文書画像のレイアウトを解析して文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とし、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とすることを特徴とする文書画像処理装置。
【請求項４】
前記所定画素塊抽出手段は、前記文書画像から画素塊の矩形枠を抽出する矩形枠抽出手段と、文書画像の文字列方向を特定する文字列方向指定手段と、前記文字列方向指定手段により指定された方向に前記矩形枠を連結する連結矩形枠作成手段と、前記基準位置又は基準となる画素塊の位置に最も近い連結矩形枠を抽出する連結矩形枠抽出手段を含むことを特徴とする請求項１に記載の文書画像処理装置。
【請求項５】
前記文字列方向指定手段は、ユーザが文字列の方向を指定するユーザインタフェースを有することを特徴とする請求項４に記載の文書画像処理装置。
【請求項６】
前記文字列方向指定手段は、文書画像のレイアウトを解析することによって文字列の方向を特定する文書レイアウト解析手段を有することを特徴とする請求項４に記載の文書画像処理装置。
【請求項７】
前記文書レイアウト解析手段は、文書画像の背景となる白画素のランを縦と横の両方向で抽出し、予め与えられた閾値以上の白画素のランに対して隣接する白画素のラン同士を統合して白画素領域の矩形枠を縦と横の両方向で作成し、前記矩形枠で縦と横の両方向で所定の幅以上の矩形枠を抽出し、抽出した縦方向と横方向の矩形枠で数の多い方をその文書の文字列方向と決定する構成であることを特徴とする請求項６に記載の文書画像処理装置。
【請求項８】
さらに、前記所定画素塊抽出手段において所定の画素塊を抽出できないとき該当する文書画像に関する情報を記録しておく未検出ログ生成手段を有することを特徴とする請求項１または請求項４ないし請求項７のいずれか１項に記載の文書画像処理装置。
【請求項９】
さらに、入力された文書画像に対してスキュー補正を行うスキュー補正手段を有することを特徴とする請求項１ないし請求項８のいずれか１項に記載の文書画像処理装置。
【請求項１０】
前記スキュー補正手段は、画素塊群の矩形枠の中心座標をハフ変換し、スキュー角を検出することを特徴とする請求項９に記載の文書画像処理装置。
【請求項１１】
前記所定の画素塊はページ番号の画像であり、さらに、画像中の文字を認識する文字認識手段と、画像補正手段にて位置を補正した後に前記ページ番号の画像中のページ番号を前記文字認識手段にて認識し該ページ番号順にページの順番をソートするソート手段を有することを特徴とする請求項１ないし請求項１０のいずれか１項に記載の文書画像処理装置。
【請求項１２】
予めユーザからの基準位置または基準となる画素塊の位置の指定を基準位置指定手段が受け取り、少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から所定画素塊抽出手段が抽出し、抽出した所定の画素塊の位置が前記基準位置又は前記基準となる画素塊の位置となるように入力された文書画像全体の位置を画像補正手段が補正するものであって、前記基準位置または基準となる画素塊の位置の指定は、奇数ページにおける基準位置又は基準となる画素塊の位置の指定と、偶数ページにおける基準位置又は基準となる画素塊の位置の指定とを個別に設定可能であり、前記画素塊の抽出は、奇数ページと偶数ページにおける基準位置又は基準となる画素塊の位置の指定に従って行うことを特徴とする文書画像処理方法。
【請求項１３】
処理すべき複数ページの文書画像のレイアウトを解析して少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から所定画素塊抽出手段が抽出するとともに基準位置を決定し、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を画像補正手段が補正するものであって、前記画素塊の抽出は、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とするとともに奇数ページの基準位置を決定し、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とするとともに偶数ページの基準位置とすることを特徴とする文書画像処理方法。
【請求項１４】
予めユーザによる基準位置の指定を基準位置指定手段が受け取り、処理すべき複数ページの文書画像のレイアウトを解析して各ページの文書画像中の同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を所定の画素塊として所定画素塊抽出手段が抽出し、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を画像補正手段が補正するものであって、前記基準位置の指定は、奇数ページにおける基準位置の指定と、偶数ページにおける基準位置の指定とを個別に設定可能であり、前記画素塊の抽出は、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とし、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とし、前記文書画像全体の位置の補正は、奇数ページまたは偶数ページに応じて行うことを特徴とする文書画像処理方法。
【請求項１５】
文書画像から所定の画素塊を抽出できないとき、該当する文書画像に関する情報を記録しておくことを特徴とする請求項１２ないし請求項１４のいずれか１項に記載の文書画像処理方法。
【請求項１６】
予めユーザが行う基準位置または基準となる画素塊の位置の指定を受けるステップと、少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から抽出するステップと、抽出した所定の画素塊の位置が前記基準位置又は前記基準となる画素塊の位置となるように入力された文書画像全体の位置を補正するステップをコンピュータに実行させるプログラムであって、前記基準位置または基準となる画素塊の位置の指定を受けるステップが、奇数ページにおける基準位置又は基準となる画素塊の位置の指定と、偶数ページにおける基準位置又は基準となる画素塊の位置の指定とを個別に設定可能であり、前記画素塊を抽出するステップが、奇数ページと偶数ページにおける基準位置又は基準となる画素塊の位置の指定に従って画素塊を抽出するプログラムを記憶した前記コンピュータが読み取り可能な記憶媒体。
【請求項１７】
処理すべき複数ページの文書画像のレイアウトを解析して各ページの文書画像中の同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を所定の画素塊とするとともに前記基準位置を決定するステップと、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を補正するステップをコンピュータに実行させるプログラムであって、前記画素塊を抽出するステップが、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とするとともに奇数ページの基準位置を決定し、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とするとともに偶数ページの基準位置とするプログラムを記憶した前記コンピュータが読み取り可能な記憶媒体。
【請求項１８】
予めユーザが行う基準位置の指定を受けるステップと、処理すべき複数ページの文書画像のレイアウトを解析するステップと、各ページの文書画像中の同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を所定の画素塊として抽出するステップと、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を補正するステップをコンピュータに実行させるプログラムであって、前記基準位置の指定を受けるステップが、奇数ページにおける基準位置又は基準となる画素塊の位置の指定と、偶数ページにおける基準位置又は基準となる画素塊の位置の指定とを個別に設定可能であり、前記所定の画素塊として抽出するステップが、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とし、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とし、前記文書画像全体の位置を補正するステップが、奇数ページまたは偶数ページに応じて文書画像全体の位置を補正するプログラムを記憶した前記コンピュータが読み取り可能な記憶媒体。
【請求項１９】
さらに、文書画像から所定の画素塊を抽出できないとき、該当する文書画像に関する情報を記録しておくステップをコンピュータに実行させるプログラムを記憶した前記コンピュータが読み取り可能な請求項１６ないし請求項１８のいずれか１項に記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書画像の位置補正を行う文書画像処理装置及び文書画像処理方法と、そのような処理をコンピュータに実行させるプログラムを記憶したコンピュータが読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
紙文書をスキャナ等により電子化して入力し、様々な画像ファイルフォーマットにて保管・管理し、ディスプレイなどの表示装置やプリンタなどの出力装置に出力するシステムが広く利用されている。紙文書をスキャナなどで読み込んだ文書画像は、例えばスキャナに対する紙文書のセットの状態や、文書を搬送するタイプのスキャナでは、搬送時のスキューなど、種々の要因によって文書位置がずれてしまうことがある。
【０００３】
上述のように紙文書を電子化して保管・管理するシステムでは、文書画像を最良の状態で保管・管理することが望まれる。そのため、上述のような読み取った文書画像の位置のずれを補正し、文書画像の位置をそろえる処理を行うことが考えられている。
【０００４】
画像の位置ずれに関する従来の技術として、例えば特開平１１−１２０２８８号公報に記載されているように、基準となる位置に罫線で表現される表が文書中に存在するとき、表の縦線と横線の位置を黒画素のランレングスで抽出し、位置のずれを検出する方法がある。しかしこの方法では、文書画像中に罫線のある表が必要であり、表のない文書では位置のずれを検出し、補正することができない。
【０００５】
また、例えば特開平１１−２８２９５９号公報に記載されているように、所定の書式の文書を対象とし、文字列が存在すべき座標を辞書として記憶しておき、入力した文書画像から文字列の位置を画素投影法により検出し、辞書にある座標の値と投影法により検出した座標値との差によりずれを検出する方法がある。しかしこの方法では、文書画像データは多階調である必要があるため多くのメモリを必要とする。また、各文字と文字列の位置があらかじめ決められた定型の文書でないと文書の位置のずれを検出し、補正することはできない。そのため、フォーマットの異なる文書を蓄積して保管するといった用途には利用できないという問題がある。さらに、文字列を検出できなかったときには補正処理を中止するだけであり、その後の処理について考慮されていなかった。
【０００６】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、任意のフォーマットの文書に対して位置補正を行うことができる文書画像処理装置を提供することを目的とするものである。また、位置補正ができなかった文書について後での取り扱いを容易にした文書画像処理装置及び文書画像処理方法を提供することを目的とするものである。さらに、そのような処理をコンピュータに実行させるプログラムを記憶したコンピュータが読み取り可能な記憶媒体を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明は、予めユーザが基準位置または基準となる画素塊の位置を指定し、少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から抽出し、抽出した所定の画素塊の位置が前記基準位置又は前記基準となる画素塊の位置となるように入力された文書画像全体の位置を補正するものであって、前記基準位置または基準となる画素塊の位置の指定は、奇数ページにおける基準位置又は基準となる画素塊の位置の指定と、偶数ページにおける基準位置又は基準となる画素塊の位置の指定とを個別に設定可能であり、前記画素塊の抽出は、奇数ページと偶数ページにおける基準位置又は基準となる画素塊の位置の指定に従って行うことを特徴とするものである。
【０００８】
また本発明は、処理すべき複数ページの文書画像のレイアウトを解析して少なくとも一部のページに共通して存在する所定の画素塊を入力された文書画像から抽出するとともに基準位置を決定し、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を補正するものであって、前記画素塊の抽出は、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とするとともに奇数ページの基準位置を決定し、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とするとともに偶数ページの基準位置とすることを特徴とするものである。
【０００９】
さらに本発明は、予めユーザが基準位置を指定し、処理すべき複数ページの文書画像のレイアウトを解析して各ページの文書画像中の同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を所定の画素塊として抽出し、各ページの文書画像に存在する所定の画素塊の位置が前記基準位置となるように文書画像全体の位置を補正するものであって、前記基準位置の指定は、奇数ページにおける基準位置の指定と、偶数ページにおける基準位置の指定とを個別に設定可能であり、前記画素塊の抽出は、文書画像の奇数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を奇数ページにおける所定の画素塊とし、また文書画像の偶数ページについて同様の位置にほぼ同一の画素塊が存在する場合に該画素塊を偶数ページにおける所定の画素塊とし、前記文書画像全体の位置の補正は、奇数ページまたは偶数ページに応じて行うことを特徴とするものである。
【００１０】
このように、位置補正を行う際の画素塊は少なくとも一部のページに共通して存在するものであればよい。従って、従来のように文書中に必ず表が存在しなければならないといった制限はなく、また固定的な文字列などを設けておく必要もなく、任意のフォーマットの文書について、予め指定された基準位置又は基準となる画素塊の位置となるように文書画像の位置を補正し、あるいは文書画像中に共通して現れる画素塊を自動的に抽出し、それを基準として文書画像の位置を補正することができる。
このとき、基準位置または基準となる画素塊の位置は、例えば見開きの文書などのように奇数ページと偶数ページで異なる場合があり、奇数ページと偶数ページについてそれぞれの位置を設定可能とし、あるいは抽出可能としている。
なお、各ページの文書画像について、先にスキュー補正を行っておくと、所定の画素塊の抽出が容易になるとともに、位置補正後の文書画像に傾きなどが発生せず、良好な処理結果を提供することができる。さらに、入力された文書画像のページを認識し、ページ順にソートして出力してもよい。特に所定の画素塊としてページ番号の記載領域を抽出する場合には、位置補正用に抽出した画素塊について文字認識を行えば文書画像のページを認識することが可能である。
上述のような位置補正の処理を行う際に、所定の画素塊を抽出できないときには位置補正を行うことができない。このような場合には、該当する文書画像に関する情報を未検出ログとして記録しておく。このようにして、位置補正できない文書画像を除き、多くの文書画像の位置補正を自動的に行った上で、位置補正できなかった文書画像についてユーザに提示することが可能になる。ユーザは、記録されている未検出ログをもとに、位置補正できなかった文書画像のみについて位置補正を行えばよい。
【００１１】
【発明の実施の形態】
図１は、本発明の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は画像記憶部、３は所定画素塊抽出部、４は基準位置指定部、５は差分抽出部、６は画像移動部である。画像入力部１は、スキャナなどの画像読取装置で構成され、文書上の画像を読み取り、文書画像として出力する。もちろん文書画像がファイルなどとして既に存在している場合には、画像入力部１はファイルなどから文書画像を読み込むものであってよい。さらに、文書画像がネットワークなどを介して転送されてくるような構成でもよく、この場合には画像入力部１はネットワークのインタフェースとして構成することができる。このように画像入力部１は文書画像の入力形態に応じて構成される。
【００１２】
画像記憶部２は、画像入力部１で入力された文書画像をページ単位で保持する。また、位置補正処理を行った後の文書画像についても保持することができる。もちろん、位置補正処理後の文書画像は別の記憶部に保持したり、あるいは外部へ出力するように構成し、この画像記憶部２には保持しないようにしてもよい。また、次の所定画素塊抽出部３や画像移動部６の要求に応じて文書画像を画像入力部１で入力可能であれば、入力された文書画像をこの画像記憶部２に保持しなくてもよいし、画像記憶部２自体を設けなくてもよい。
【００１３】
所定画素塊抽出部３は、画像記憶部２に保持している各ページの文書画像中から所定の画素塊を抽出し、抽出した所定の画素塊の座標を差分抽出部５へ出力する。所定の画素塊は、処理する各文書画像中に共通に存在する文書構成要素とし、例えばページ番号、ヘッダ、フッタ、ロゴなどとすることができる。これらの文書構成要素のうちの１つについて所定の画素塊とし、その所定の画素塊を文書画像のレイアウト解析によって取得したり、あるいは、予め所定の画素塊が存在する大まかな領域を特定座標領域として設定しておき、その特定座標領域から所定の画素塊を抽出することができる。この所定の画素塊を抽出する際に、基準位置指定部４で指定される基準位置を利用することも可能である。なお、所定の画素塊の抽出方法の具体例については後述する。
【００１４】
基準位置指定部４は、所定の画素塊を移動させたい座標を基準位置として指定する。具体的には基準位置指定部４は、例えばキーボード、マウス、ディスプレイ等からなるユーザインタフェースで構成することができ、このユーザインタフェースを介してユーザから基準位置として与えられる文書画像中での位置情報を獲得し、２次元の座標データとして差分抽出部５へ座標値を出力する。
【００１５】
差分抽出部５は、所定画素抽出部３から出力される座標値と基準位置指定部４から出力される座標値の差を求め、差分値を画像移動部６へ出力する。
【００１６】
画像移動部６は、差分抽出部５から入力した差分量に従い、画像記憶部２に保持されている当該ページの文書画像全体を差分量だけ移動させる。これによって文書画像の位置補正が行われる。位置補正後の文書画像は、この例では画像記憶部２に保持させる。このとき、位置補正前の文書画像と置き換えてもよい。あるいは、位置補正後の文書画像をそのまま出力してもよい。
【００１７】
次に、本発明の第１の実施の形態における動作について、概要を説明する。図２は、本発明の第１の実施の形態における動作の具体例の説明図、図３は、位置補正後の文書画像の具体例の説明図である。ここでは、例えば図２（Ｂ）に示すような文書画像において、所定の画素塊としてページの右下に記載されたページ番号（図中の「１１」の部分）を抽出して基準位置に合わせるものとする。
【００１８】
まず、予め基準位置指定部４を用いて、所定の画素塊を配置したい基準位置の座標を指定しておく。例えば図２（Ａ）に×印で示す位置をユーザが基準位置指定部４で基準位置として指定したものとする。指定された基準位置の座標が差分抽出部５に出力される。
【００１９】
基準位置の指定が終わった後、画像入力部１は、例えば紙文書をスキャナ等により読み込んだり、あるいは予めビットマップの形式で保存されている１ないし複数ページの文書画像を受け取り、画像記憶部２へ送る。図２（Ｂ）には、画像入力部１に入力された文書画像の一例を示している。この例では、文書内容が全体的に左上にずれた画像となっている。
【００２０】
所定画素塊抽出部３は、画像記憶部２に保持されている所定ページの文書画像中から所定の画素塊を抽出し、抽出した画素塊の座標を差分抽出部５へ出力する。この例では上述のように文書画像中のページ番号を所定の画素塊として抽出する。図２（Ｂ）に示す例では、下部の右よりの領域に存在するページ番号「１１」を所定の画素塊として抽出する。
【００２１】
差分抽出部５は、所定画素抽出部３から出力される座標値と、基準位置指定部４から出力される座標値の差を求め、差分値を画像移動部６へ出力する。図２（Ｃ）において、所定画素抽出部３で抽出したページ番号を表す所定の文字塊「１１」と、図２（Ａ）に示した基準位置指定部４で指定された基準位置の座標（×で示す）との差分値（両矢印で示す）を求める。なお、所定の画素塊中のいずれの位置と基準位置との差を求めるかは任意であり、例えば所定の画素塊の中心や左上隅、右下隅等とすることができる。
【００２２】
画像移動部６は、差分抽出部５から出力された差分値に従い、画像記憶部２に記憶されている所定ページの文書画像全体を差分値に従って移動させる。これによって、例えば図２（Ｂ）に示すように右上にずれていた文書画像は、図２（Ｃ）に示す差分値だけ右下に移動され、図３に示すような文書画像が得られる。得られた位置補正後の文書画像は、そのまま出力したり、あるいは画像記憶部２に再度格納する。
【００２３】
このようにして１ページ分の文書画像について、位置補正の処理が終了する。画像入力部１は、画像移動部により文書画像の位置補正処理が終了すると、次のページの画像データを読み込み、画像記憶部２へ送る。以降、順番にすべてのページの画像データの移動が終わるまで繰り返し実行する。あるいは、画像入力部１はすべてのページの文書画像を画像記憶部２に保持させておき、所定画素塊抽出部３以降の処理を各ページの文書画像について繰り返して実行してもよい。この場合、画像入力部１による画像記憶部２への２ページ目以降の文書画像の格納は、所定画素塊抽出部３以降の処理と並行して実行することも可能である。
【００２４】
上述の処理をすべてのページの文書画像について実行することによって、各ページの文書画像の位置を揃えることができる。上述の具体例では右下に存在するページ番号を所定の画素塊として抽出し、位置補正を行う例を示したが、これに限らず、各ページに共通して存在する任意の文書構成要素を所定の画素塊として抽出し、位置補正を行うことが可能である。
【００２５】
次に、所定画素塊抽出部３の構成及び動作についてさらに説明する。図４は、所定画素塊抽出部３におけるレイアウト解析による所定画素塊の抽出の具体例の説明図である。所定画素塊抽出部３において所定の画素塊を抽出するための一つの方法として、ページ全体のレイアウトを解析して、基準位置に近い画素塊を所定の画素塊として抽出する方法がある。例えば１ページ分の文書画像を解析し、図４（Ａ）に実線で示すように文書中の各構成要素をそれぞれ矩形領域として抽出する。ここで、基準位置指定部４から図中の破線で示した×印の位置が基準位置として指定されている場合、この基準位置に最も近い矩形領域を図４（Ｂ）に示すように所定の画素塊として抽出することができる。以下に、このようなレイアウト解析を行って所定の画素塊を抽出する構成について示す。
【００２６】
図５は、所定画素塊抽出部３の一例を示すブロック構成図、図６は、所定画素塊抽出部３の一例における動作の具体例の説明図である。図中、１１は矩形枠抽出部、１２は文字列方向指定部、１３は連結矩形枠作成部、１４は連結矩形枠抽出部である。矩形枠抽出部１１は、黒画素が連結している領域を矩形枠の座標群で抽出する。例えば図２（Ｂ）に示すような文書画像が入力されている場合には、矩形枠抽出部１１は、この文書画像中の黒画素の連結から黒画素の外接矩形枠を抽出し、その結果、図６（Ａ）に示すような矩形枠が得られる。
【００２７】
文字列方向指定部１２は、文字列の方向を指定する。例えば図２（Ｂ）に示すような文書画像の場合には、文字列方向を横と指定すればよい。この文字列方向指定部１２は、基準位置指定部４と同様にユーザインタフェースで構成することができる。あるいは、入力された文書画像に文字列方向を示す情報が付加されていれば、その情報を利用することもできる。もちろん、予め決めておいたり、外部から指定されてもよい。
【００２８】
連結矩形枠作成部１３は、矩形枠抽出部１１で抽出した矩形枠を、文字列方向指定部１２で指定された文字列の方向に連結して連結矩形枠を作成する。例えば矩形枠抽出部１１で図６（Ａ）に示すように矩形枠が抽出され、文字列方向指定部１２で文字列の方向として横方向が指定された場合には、各矩形枠を横方向に連結し、図６（Ｂ）に示すような連結矩形枠を作成する。
【００２９】
連結矩形枠抽出部１４は、連結矩形枠作成部１３で作成した連結矩形枠のうちから、所定の画素塊に対応する連結矩形枠を抽出する。連結矩形枠の抽出方法としては、例えば基準位置指定部４から基準位置の座標を受け取ることができる場合には、その基準位置に近い連結矩形枠を抽出すればよい。例えば図６（Ｂ）において破線の×印で示した位置が基準位置として指定されているとき、図６（Ｃ）に示すように基準位置に最も近い連結矩形枠が抽出されることになる。このようにして所定の画素塊を抽出することができる。この図６（Ｃ）に示す連結矩形枠（所定の画素塊）の所定の位置の座標が差分抽出部５に出力されることになる。
【００３０】
図７は、文字列方向指定部１２の一例を示すブロック構成図、図８は、文字列方向指定部１２の一例における動作の具体例の説明図である。図中、図５と同様の部分には同じ符号を付して説明を省略する。２１は縦方向白ラン抽出部、２２は縦方向白ラン連結部、２３は縦方向連結白ラン選択部、２４は横方向白ラン抽出部、２５は横方向白ラン連結部、２６は横方向連結白ラン選択部、２７は連結白ラン数比較及び文字列方向決定部である。この例では、図５に示した例における説明では、文字列方向指定部１２をユーザインタフェースで構成し、ユーザが文字列の方向を指定する例を示した。これに限らず、文字列方向を文書画像の解析によって自動的に検出することが可能であり、図７及び図８にその場合の構成及び動作を示している。
【００３１】
まず、文書画像を縦方向と横方向に走査し、一定以上の長さを持つ白ランを縦方向白ラン抽出部２１及び横方向白ラン抽出部２４において抽出する。そして、縦方向白ラン連結部２２は、縦方向白ラン抽出部２１で抽出した隣接する白ランを統合する。同様に、横方向白ラン連結部２５は、横方向白ラン抽出部２４で抽出した隣接する白ランを統合する。図２（Ｂ）に示した文書画像について縦方向白ラン抽出部２１で抽出した白ランを縦方向白ラン連結部２２で統合した状態を図８（Ａ）にハッチングを施して示している。また、同じく横方向白ラン抽出部２４において抽出した白ランを横方向白ラン連結部２５で統合した状態を図８（Ｂ）にハッチングを施して示している。
【００３２】
このようにして横方向と縦方向に白ランを統合した後、連結白ラン数比較及び文字列方向決定部２７において、統合された白ランの領域の数（連結白ラン数）を数え、縦方向と横方向で連結白ラン数を比較することによって文書画像の文字列方向を決める。一般に横書き文書では横方向の連結白ラン数が多く、縦書きでは縦方向が多い。図２（Ｂ）に示すような文書画像の例の場合には、図８（Ａ）、（Ｂ）から分かるように横方向の連結白ラン数が多く、横書きの文書であると判断される。
【００３３】
上述の図５に示した例と同様に、矩形枠抽出部１１で外接矩形枠を抽出した後、上述のようにして連結白ラン数比較及び文字列方向決定部２７から出力される文字列方向をもとに、連結矩形枠作成部１２は連結矩形枠を作成する。そして、所定の画素塊を連結矩形枠抽出部１３で抽出して出力することになる。図２（Ｂ）に示した文書画像の例では、矩形枠抽出部１１で図６（Ａ）に示すように外接矩形枠が抽出された後、上述のようにして連結白ラン数比較及び文字列方向決定部２７から出力される文字列方向（この例では横書き）をもとに、連結矩形枠作成部１２は図６（Ｂ）に示すような連結矩形枠が作成される。そして、例えば図６（Ｃ）に示すように、基準位置に最も近い連結矩形枠が所定の画素塊として抽出されることになる。
【００３４】
なお、基準位置に最も近い連結矩形枠を選択する際に、もともと選択すべき矩形枠（画素塊）が存在しない場合の誤選択を防止するため、例えば領域や距離などの制限を付しておくとよい。
【００３５】
図９は、本発明の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。３１はレイアウト解析部、３２はページレイアウト保持部、３３は共通要素抽出部である。この第２の実施の形態では、各ページの文書画像に共通して存在する画素塊を自動的に検出し、その検出した画素塊を所定の画素塊として基準位置に合わせる構成を示している。この第２の実施の形態における所定画素塊抽出部３は、レイアウト解析部３１，ページレイアウト保持部３２，共通要素抽出部３３などを有している。
【００３６】
レイアウト解析部３１は、画像記憶部２に保持されている文書画像のレイアウトを解析し、各領域の黒画素塊の属性（文字、図形、グラフなど）を取得する。レイアウト解析部３１で取得されたレイアウトデータは、ページごとにページレイアウト保持部３２に保持される。
【００３７】
共通要素抽出部３３は、ページレイアウト保持部３２に保持されているページ毎のレイアウト情報（領域の座標値と属性）を解析し、各ページから抽出した矩形枠で各ページ間の座標値の差が小さく、属性が同じ矩形枠を抽出する。その矩形枠を所定の画素塊とすればよい。なお、複数の矩形枠が抽出される場合には、すべてを利用してもよいし、そのうちの１ないし複数を選択して利用してもよい。抽出された矩形枠の選択時には、例えば位置の誤差が小さい、矩形枠の大きさのバラツキが少ない、矩形枠の位置がどこであるかなどの選定条件を設け、その選定条件に従って矩形枠を選択すればよい。この例ではさらに、共通要素抽出部３３はそれぞれのページの文書画像について、上述のようにして抽出した所定の画素塊の座標を差分抽出部５へ出力する。さらに、各ページの文書画像中の所定の画素塊の位置から、例えば平均値や統計的な手法などを用いて基準位置を算出してもよい。
【００３８】
差分抽出部５は、共通要素抽出部３３から出力される所定の画素塊の座標と、基準位置指定部４で指定された基準位置との差分値を求める。共通要素抽出部３３で基準位置を算出する場合には、算出された基準位置を用いて各ページの文書画像中の所定の画素塊の位置との差分値を求めてもよい。この場合には基準位置指定部４は不要である。
【００３９】
次に、本発明の第２の実施の形態における動作の一例について、具体例を用いながら概要を説明する。図１０は、本発明の第２の実施の形態における動作の具体例の説明図である。まず画像入力部１から１ページ分の文書画像が画像記憶部２に保持されると、レイアウト解析部３１は文書画像のレイアウトを解析し、各領域の画素塊の属性（文字、図形、グラフなど）を取得してページレイアウト保持部３２に格納する。図１０（Ａ）には、１ページ目のレイアウト解析結果を模式的に示している。この例では、右上部にロゴマークなどの図形が存在し、中央部に本文などの文字領域が存在し、下部中央にページ番号などの文字領域が存在している。
【００４０】
１ページ目の文書画像のレイアウト解析が終了すると、画像入力部１は、２ページ目の文書画像を画像記憶部２へ送る。レイアウト解析部３１は、同様にして画像記憶部２に保持されている文書画像のレイアウトを解析し、画素塊の属性を取得してページレイアウト保持部３２に格納する。図１０（Ｂ）には、２ページ目のレイアウト解析結果を模式的に示している。この例では、右上部にロゴマークなどの図形が存在し、中央部右側にグラフなどの図形が、またその図形の左側と中央下部に本文などの文字領域が存在し、下部中央にページ番号などの文字領域が存在している。
【００４１】
以後同様にして、レイアウト解析部３１はすべてのページの文書画像についてレイアウト解析を行い、解析結果をページレイアウト保持部３２へ格納してゆく。図１０（Ｃ）にはｎページ目のレイアウト解析結果を模式的に示しており、途中のページについても同様のレイアウト解析結果が得られる。
【００４２】
このようにしてすべてのページのレイアウト情報をページレイアウト保持部３２に格納したら、共通要素抽出部３３は、ページレイアウト保持部３２に保持されているページ毎のレイアウト情報（領域の座標値と属性）を解析し、各ページから抽出した矩形枠の間で座標値の差が小さく、属性が同じ矩形枠を抽出する。図１０（Ａ）〜（Ｃ）に示すようなレイアウト解析結果が得られている場合には、図１０（Ｄ）に示すように右上部に配置されている図形と、下部中央に配置されている文字領域が抽出される。中央部の領域については各ページにおいて形状が大きく異なっており、抽出されない。
【００４３】
図１０（Ｄ）に示す例では、共通した矩形枠が複数抽出されている。このような場合、予め設定された選定条件に基づいて選択することができる。例えばページ間で誤差が小さいものや、大きさが揃っているものを選択することができる。または、上部にあるもの、下部にあるもの等といった存在位置や、矩形枠の属性（例えば図形、文字など）によって選択してもよい。あるいはユーザがユーザインタフェースを用いて選択したり、基準位置指定部４によって指定された基準位置に最も近いものを選択してもよい。
【００４４】
このようにして共通の矩形枠が抽出され、複数の場合にはそのうちの１つが選択されたら、その矩形枠を所定の画素塊とする。そして、各ページの文書画像における所定の画素塊（矩形枠）の座標を順次差分抽出部５へ送る。
【００４５】
差分抽出部５では、共通要素抽出部３３から送られてくる所定の画素塊の座標と、基準位置指定部４で指定された基準位置との差分値を算出する。あるいは、共通要素抽出部３３で基準位置についても算出し、この基準位置を用いて同じく共通要素抽出部３３から送られてくる所定の画素塊の座標との差分値を算出してもよい。差分値は画像移動部６に送られ、この差分値に従って画像移動部６で文書画像の移動を行う。このようにして、自動的に所定の画素塊を探索して設定し、基準位置に合わせるように位置補正処理を行うことができる。
【００４６】
図１１は、本発明の第３の実施の形態を示すブロック構成図、図１２は、スキューを含む文書画像の一例の説明図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。４１はスキュー補正部である。入力される文書画像は、例えば図２に示したように位置がずれているほか、傾いている場合もある。例えば文書画像を入力する際に、画像読取装置で紙文書を搬送する際に傾いたり、紙文書をセットする際に傾いたままセットしたり、あるいは、紙文書上に形成されている画像自体が傾いている場合など、種々の要因によって文書画像に傾きが生じる。この第３の実施の形態では、このような文書画像の傾きについても補正するものである。
【００４７】
スキュー補正部４１は、画像入力部１から送られてくる文書画像について傾きを検出し、傾きがなくなるように文書画像の回転処理を行って画像記憶部２に保持させる。傾きの検出方法は任意である。例えば、文書画像から黒画素塊を囲む矩形枠を抽出し、文字として想定する大きさの矩形枠のみを選択する。文字として想定する大きさは、例えば入力された文書画像の解像度が１００ｄｐｉなら６ドット以上８０ドット以下の大きさ程度に設定しておくとよい。このようにして選択された矩形枠の中心座標群を求め、これらの中心座標群からハフ変換により傾き角度を計算すればよい。このようにして計算された傾き角度だけ文書画像の回転を行えばよい。
【００４８】
例えば図１２（Ａ）に示すように傾いた文書画像が入力された場合、黒画素塊を囲む矩形枠を抽出して想定する大きさの矩形枠を選択すると、図１２（Ｂ）に示すような矩形枠が得られる。得られた矩形枠の中心座標群からハフ変換を行って傾き角度を求め、その角度だけ図１２（Ａ）に示す文書画像を回転すればよい。このようにして、スキューなどの傾きが文書画像に存在していても、それを補正することができる。
【００４９】
なお、画像記憶部２に傾き補正後の文書画像が保持された以降の処理については上述の第１の実施の形態と同様であるので、ここでは説明を省略する。図１１に示した例では第１の実施の形態として示した構成にスキュー補正部４１を設けたが、これに限らず、第２の実施の形態に対して適用してもよい。
【００５０】
この第３の実施の形態では、入力された文書情報を画像記憶部２に保持させる前に傾き補正処理を行っているが、傾き補正処理に限らず、種々の処理を入力された文書情報を画像記憶部２に保持させる前に行うことが可能である。例えば複数ページの文書画像中に天地が逆の画像が存在する場合、そのままでは位置補正ができないし、保存にも耐えられる画像ではない。そこで、天地が逆か否かを判定し、天地が逆の文書画像については１８０度回転させる処理を行うとよい。もちろん、他の処理も含め、２以上の処理を組み合わせて行ってもよい。
【００５１】
図１３は、本発明の第４の実施の形態を示すブロック構成図、図１４は、奇数ページと偶数ページとでレイアウトが異なる文書の一例の説明図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。５１は奇数ページ基準位置指定部、５２は偶数ページ基準位置指定部、５３はページ切替部である。入力される文書画像によっては、見開きの文書をそれぞれのページごとに入力される場合がある。このような見開きの文書においては、ページ番号やヘッダ、フッタ、ロゴなどの位置が左右対称に設けられるなど、奇数ページと偶数ページとで異なるレイアウトである場合がある。例えば図１４に示した例では、偶数ページではページ番号が左下に振られ、奇数ページでは右下に振られている。このような文書画像が入力された場合、１つの基準位置の指定だけでは奇数ページあるいは偶数ページのいずれかの位置が大きくずれてしまったり、あるいは所定の画素塊が抽出できなくなって位置あわせを行えなくなってしまう。この第４の実施の形態では、奇数ページと偶数ページとでそれぞれ基準位置を指定することで、このような問題を解消したものである。
【００５２】
奇数ページ基準位置指定部５１は、奇数ページにおける基準位置を指定する。また、偶数ページ基準位置指定部５２は、偶数ページにおける基準位置を指定する。なお、奇数ページ基準位置指定部５１及び偶数ページ基準位置指定部５２は、同じユーザインタフェースを用いて構成してもよい。
【００５３】
ページ切替部５３は、位置補正の対象となっている文書画像が奇数ページであるか偶数ページであるかによって、奇数ページ基準位置指定部５１で指定された基準位置あるいは偶数ページ基準位置指定部５２で指定された基準位置のいずれかを選択して差分抽出部５に送る。
【００５４】
それ以外の部分の動作は上述の第１の実施の形態と同様であり、差分抽出部５では、ページ切替部５３から送られてくる基準位置と所定画素塊抽出部３で抽出した所定画素塊の位置との差分値を算出すればよく、その差分値を用いて画像移動部６で文書画像の移動を行えばよい。
【００５５】
なお、所定画素塊抽出部３において、指定された基準位置を利用して所定の画素塊を抽出する場合には、ページ切替部５３から出力される基準位置を用いて所定の画素塊を抽出すればよい。これによって奇数ページと偶数ページとで異なる位置に配置されている所定の画素塊を正確に抽出することができる。
【００５６】
図１３に示した例では第１の実施の形態として示した構成に、奇数ページ及び偶数ページそれぞれの基準位置を指定する構成を設けた例を示した。しかしこれに限らず、例えば上述の第２の実施の形態において基準位置指定部４を用いる構成において適用することも可能である。また上述の第２の実施の形態においては、所定画素塊抽出部３で所定の画素塊を特定する際に、奇数ページのレイアウト情報と偶数ページのレイアウト情報に分けて、それぞれ、所定の画素塊を特定するように構成するとよい。もちろんこの第４の実施の形態は、上述の第３の実施の形態と組み合わせることも可能である。
【００５７】
図１５は、本発明の第５の実施の形態を示すブロック構成図、図１６は、ページソートの一例の説明図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。６１は文字認識部、６２は認識結果保存部、６３はページソート部である。入力される文書画像によっては、ページ順序が入力される順序と異なる場合がある。例えば画像読取装置に紙原稿をセットしたときに原稿が入れ替わっていた場合には入力された文書画像のページ順序が入れ替わってしまう。このような場合に、例えば所定の画素塊としてページ番号が記載された文字領域を用いる場合、抽出した所定の画素塊について文字認識を行えばページ番号を知ることができる。これを利用して、入力された文書画像の並べ替えが可能である。この第５の実施の形態では、このようなページ順序の並べ替えを実現する例を示している。
【００５８】
文字認識部６１は、所定画素塊抽出部３で抽出された所定の画素塊、すなわちページ番号が記載された文字領域の画像について文字認識処理を行い、ページ番号を取得する。認識結果保存部６２は、各ページの文書画像毎に文字認識部６１で認識されるページ番号を保存する。ページソート部６３は、認識結果保存部６２に保存されているページ番号を参照し、例えばページ番号が昇順となるように画像記憶部２内の各ページの文書画像の順序を入れ替える。このとき、画像記憶部２内の文書画像自体を移動させて入れ替えてもよいし、入力順序のインデックスを並べ替えてもよい。
【００５９】
また、画像入力部１にファイル名のリストを与え、画像入力部１が与えられたリストをもとにファイルから文書画像を読み出して入力する場合には、文字認識部６１で認識したページ番号を、画像入力部１で文書画像を読み出す際に使用したファイル名と対応付けて認識結果保存部６２に格納しておき、ページソート部６３でページ順序を並べ替えてもよい。図１６にはこの場合の例を示しており、文字認識部６１で認識されたページ番号はファイル名と対応付けられて、図１６（Ａ）に示すように認識結果保存部６２に格納される。ページソート部６３は認識結果保存部６２に格納された認識結果を基にページ番号によって並べ替えを行い、図１６（Ｂ）に示すような並べ替えたファイル名のリストを得る。並べ替えたファイル名のリストは、画像記憶部２に格納したり、あるいは外部へ出力することができる。これによって、ページ順序が昇順に並んでいなくても、位置補正のために抽出した所定の画素塊をもとにページ番号を認識し、ページ順序を並べ替えることができる。なお、認識結果保存部６２には文字認識部６１による認識結果のみを保持させ、ページソート部６３でファイル名のリストを取得して、認識結果保存部６２内の文字認識結果に従ってファイル名を並べ替えてもよい。
【００６０】
本発明の第５の実施の形態について、簡単に動作の一例を説明しておく。ここでは処理対象となる文書画像のファイル名のリストが与えられるものとして説明する。画像入力部１は、与えられたファイル名のリストを元にページ毎に文書画像を読み出し、画像記憶部２へ出力する。所定画素塊抽出部３は、文書画像中から所定の画素塊、ここではページ番号やページ順序を示す文字列を含む画素塊を抽出する。基準位置指定部４，差分抽出部５，画像移動部６の動作は上述の第１の実施の形態などと同様であり、抽出した所定の画素塊の位置と基準位置との差分値に従って当該ページの文書画像の位置を補正する。
【００６１】
一方、所定画素塊抽出部３で抽出した所定の画素塊は文字認識部６１に送られる。文字認識部６１は、入力された所定の画素塊について文字認識処理を行い、認識結果を認識結果保存部６２へ送る。認識結果保存部６２は、現在処理しているページのファイル名と文字認識結果を対にして保存する。
【００６２】
画像入力部１は、画像移動部により１ページ分の文書画像の位置補正処理及びページ番号の認識処理が終了すると、次のページの文書画像を読み込み、画像記憶部２へ送る。以降、順番にすべてのページの文書画像について、位置補正処理及びページ番号の認識処理を行ってゆく。
【００６３】
最後のページの文書画像について位置補正処理及びページ番号の認識処理が終了したら、ページソート部６３は、認識結果保存部６２に保存している文字認識結果のコード順（ページ番号順）にファイル名のリストをソートし、順番を入れ替える。このようにして、与えられたファイル名を正しいページ順序で並べ替えることができる。
【００６４】
なお、上述の動作例では文書画像のファイル名のリストが画像入力部１に与えられる場合の例を示したが、例えば画像入力装置から文書画像が順次読み取られる場合や、回線などを介して文書画像が順次入力される場合もある。これらの場合には入力された１ページ分の文書画像毎に一連番号やファイル名などの識別情報を付与しておき、この識別情報を並べ替えればよい。あるいは、並べ替えた順に再度識別情報を付与し直してもよい。
【００６５】
また、図１５に示した例では上述の第１の実施の形態に示した構成に対して文字認識部６１，認識結果保存部６２，ページソート部６３を追加して構成した例を示したが、これに限らず、上述の第２の実施の形態に対してもこの第５の実施の形態を適用可能である。ただし、共通要素抽出部３３においてページ番号などのページ順序を示す画素塊を所定の画素塊として抽出し、抽出した所定の画素塊の画像を文字認識部６１に転送することになる。さらに、上述の第３及び第４の実施の形態と適宜組み合わせて構成することも可能である。
【００６６】
図１７は、本発明の第６の実施の形態を示すブロック構成図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。７１は未検出ログ生成部である。上述のように所定画素抽出部３は、文書画像中から所定の画素塊を抽出するが、文書画像中の所定の画素塊が存在せず、所定の画素塊を抽出できなかった場合には、当該ページの文書画像に関する情報を未検出ログ生成部７１に送る。例えば画像入力部１に文書画像のファイル名のリストが与えられている場合には、そのページの文書画像に対応するファイル名を未検出ログ生成部７１へ送ればよい。もちろん、ファイル名以外でも、所定の画素塊を抽出できなかったページの文書画像を特定できればどのような情報でもよい。
【００６７】
未検出ログ生成部７１は、所定画素塊抽出部３で所定の画素塊が抽出できなかったときに送られてくる文書画像に関する情報を記録しておく。このように所定の画素塊が抽出できなかったページの文書画像についてログを残しておくことによって、一連の位置補正処理が終了した後、ユーザがログを参照して位置補正できなかったページの文書画像についてのみ、手動あるいは別の画素塊を利用して位置補正を行うことができる。あるいは、この未検出ログ生成部７１によって生成されたログを別のユーザ支援システムで参照し、自動で位置補正できなかったページの文書画像についてユーザによる位置補正を支援するようにシステムを構成することも可能である。
【００６８】
図１７に示した例では上述の第１の実施の形態を用いて構成した例を示したが、これに限らず、第２の実施の形態においても未検出ログ生成部７１を搭載可能である。ただしこの場合には、共通要素抽出部３３で共通の矩形枠を抽出する際にすべてのページに存在する矩形枠が存在しないときに、より多くのページに存在する矩形枠を所定の画素塊として抽出するようにし、その矩形枠が存在しなかったページの文書画像について、その文書画像に関する情報を未検出ログ生成部７１に残すように構成すればよい。さらに、この第６の実施の形態を上述の第３ないし第５の実施の形態と適宜組み合わせて構成することも可能である。
【００６９】
図１８は、本発明の文書画像処理装置の機能または文書画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、１０１はプログラム、１０２はコンピュータ、１１１は光磁気ディスク、１１２は光ディスク、１１３は磁気ディスク、１１４はメモリ、１２１は光磁気ディスク装置、１２２は光ディスク装置、１２３は磁気ディスク装置である。
【００７０】
上述の本発明の各実施の形態に示した構成における機能は、コンピュータにより実行可能なプログラム１０１によっても実現することが可能である。その場合、そのプログラム１０１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク１１１，光ディスク１１２、磁気ディスク１１３，メモリ１１４等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００７１】
これらの記憶媒体にプログラム１０１を格納しておき、例えばコンピュータ１０２の光磁気ディスク装置１２１，光ディスク装置１２２，磁気ディスク装置１２３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム１０１を読み出し、本発明の各実施の形態で説明した構成の機能を実行することができる。あるいは、予め記憶媒体をコンピュータ１０２に装着しておき、例えばネットワークなどを介してプログラム１０１をコンピュータ１０２に転送し、記憶媒体にプログラム１０１を格納して実行させてもよい。
【００７２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、任意のフォーマットの文書画像について、共通する文書要素が存在していれば位置補正処理を行うことができる。また位置補正ができなかった場合、その旨を記録しておくことで、後工程での修正が容易となるという効果がある。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態を示すブロック図である。
【図２】  本発明の第１の実施の形態における動作の具体例の説明図である。
【図３】  位置補正後の文書画像の具体例の説明図である。
【図４】  所定画素塊抽出部３におけるレイアウト解析による所定画素塊の抽出の具体例の説明図である。
【図５】  所定画素塊抽出部３の一例を示すブロック構成図である。
【図６】  所定画素塊抽出部３の一例における動作の具体例の説明図である。
【図７】  文字列方向指定部１２の一例を示すブロック構成図。
【図８】  文字列方向指定部１２の一例における動作の具体例の説明図である。
【図９】  本発明の第２の実施の形態を示すブロック図である。
【図１０】  本発明の第２の実施の形態における動作の具体例の説明図である。
【図１１】  本発明の第３の実施の形態を示すブロック構成図である。
【図１２】  スキューを含む文書画像の一例の説明図である。
【図１３】  本発明の第４の実施の形態を示すブロック構成図である。
【図１４】  奇数ページと偶数ページとでレイアウトが異なる文書の一例の説明図である。
【図１５】  本発明の第５の実施の形態を示すブロック構成図である。
【図１６】  ページソートの一例の説明図である。
【図１７】  本発明の第６の実施の形態を示すブロック構成図である。
【図１８】  本発明の文書画像処理装置の機能または文書画像処理方法をコンピュータプログラムで実現した場合におけるコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１…画像入力部、２…画像記憶部、３…所定画素塊抽出部、４…基準位置指定部、５…差分抽出部、６…画像移動部、１１…矩形枠抽出部、１２…文字列方向指定部、１３…連結矩形枠作成部、１４…連結矩形枠抽出部、２１…縦方向白ラン抽出部、２２…縦方向白ラン連結部、２３…縦方向連結白ラン選択部、２４…横方向白ラン抽出部、２５…横方向白ラン連結部、２６…横方向連結白ラン選択部、２７…連結白ラン数比較及び文字列方向決定部、３１…レイアウト解析部、３２…ページレイアウト保持部、３３…共通要素抽出部、４１…スキュー補正部、５１…奇数ページ基準位置指定部、５２…偶数ページ基準位置指定部、５３…ページ切替部、６１…文字認識部、６２…認識結果保存部、６３…ページソート部、７１…未検出ログ生成部、１０１…プログラム、１０２…コンピュータ、１１１…光磁気ディスク、１１２…光ディスク、１１３…磁気ディスク、１１４…メモリ、１２１…光磁気ディスク装置、１２２…光ディスク装置、１２３…磁気ディスク装置。
【図１】
0003962891.tif 000002
【図２】
0003962891.tif 000003
【図３】
0003962891.tif 000004
【図４】
0003962891.tif 000005
【図５】
0003962891.tif 000006
【図６】
0003962891.tif 000007
【図７】
0003962891.tif 000008
【図８】
0003962891.tif 000009
【図９】
0003962891.tif 000010
【図１０】
0003962891.tif 000011
【図１１】
0003962891.tif 000012
【図１２】
0003962891.tif 000013
【図１３】
0003962891.tif 000014
【図１４】
0003962891.tif 000015
【図１５】
0003962891.tif 000016
【図１６】
0003962891.tif 000017
【図１７】
0003962891.tif 000018
【図１８】
0003962891.tif 000019