(57)【要約】【課題】撮影画像から有効な直線成分の検出が難しい場合に不適当な傾き補正が実行されることを簡易な構成により防止可能とする。【解決手段】原稿読取システム１が、撮影画像から抽出されたエッジ画素に基づき複数の線分を抽出する線分抽出部３３と、線分の交差状態を判定することにより、複数の線分の交差線分率を算出する交差線分率算出部３４と、複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する傾き補正角度設定部３５と、推定された傾斜角度に基づき、撮影画像を回転させることにより当該撮影画像の傾き補正を行う画像回転部３６とを備え、交差線分率が所定の閾値以上の場合、画像回転部による前記傾き補正を実行しない構成とする。【選択図】図４
2013235418.tif 000002
【特許請求の範囲】
【請求項１】
原稿の紙面を順次撮影した撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、
前記直線成分の交差状態を判定することにより、前記複数の直線成分のうち相互に交差する直線成分の割合である交差線分率を算出する交差線分率算出部と、
前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、
前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像を回転させることにより当該撮影画像の傾き補正を行う画像回転部と
を備え、
前記画像回転部が前記傾き補正を行う第１の動作モードと、前記画像回転部が前記傾き補正を行わない第２の動作モードとを有し、前記交差線分率が所定の閾値以上の場合、前記第２の動作モードを実行することを特徴とする画像処理装置。
【請求項２】
前記閾値は、第１の値と、当該第１の値よりも大きい第２の値とからなり、
一連の前記撮像画像において、今回の撮影画像における前記交差線分率が前記第１の値よりも大きな前回の撮影画像の前記交差線分率から減少して前記第１の値を下回った場合、前記第２の動作モードを前記第１の動作モードに切り替える一方、今回の撮影画像における前記交差線分率が前記第２の値よりも小さな前回の撮影画像の前記交差線分率から増大して前記第２の値を上回った場合、前記第１の動作モードを前記第２の動作モードに切り替えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記傾斜角度推定部は、前記交差状態の判定により、判定対象である直線成分が１または複数の他の線分と交差する場合、当該判定対象である直線成分を前記統計的処理の対象から除外することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
書籍のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、書籍を電子化する作業を効率良く行うことができる。また、この書画カメラを用いた原稿読取システムでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部や原稿エッジの位置等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。
【０００３】
画像の傾斜角度を推定する技術に関しては、例えば、エッジ部分の画素濃度を強調するエッジ処理後に二値化した画像データをハフ変換処理（直線成分抽出）してパラメータ図表を生成するハフ変換手段と、そのパラメータ図表における座標の度数を角度θ毎に積算してヒストグラムを生成するヒストグラム生成手段と、そのヒストグラムから座標の度数が最大の角度θを特定することにより傾斜角度を推定する傾斜角度検出手段とを備えたデータ処理装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平１１−３２８４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような画像の傾斜角度を精度良く推定するためには、原稿の水平・垂直等の基準方向に沿った外形輪郭、文字列、及び図形枠等から検出した有効な直線成分を用いることが必要となる。一方、例えば原稿の紙面の広範囲にわたって写真や複雑な図形等が存在すると、傾斜角度推定ではノイズとなる直線成分が混在してしまい、有効な直線成分を検出することが難しくなり、そのような場合には、画像の傾斜角度の推定に大きな誤差が生じるという問題がある。
【０００６】
しかしながら、上記特許文献２に記載された従来技術は、紙面の内容等を考慮するものではないため、上記のような問題に対応することは困難であった。したがって、そのような従来技術により、有効な直線成分の検出が難しい画像を適宜傾き補正して連続的に表示や記録を行う場合には、一連の傾き補正後の画像の向きが不自然に変化して見難い画像となってしまう。
【０００７】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、簡易な構成により、撮影画像から有効な直線成分の検出が難しい場合に不適当な傾き補正が実行されることを防止可能とする画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、原稿の紙面を順次撮影した撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記直線成分の交差状態を判定することにより、前記複数の直線成分のうち相互に交差する直線成分の割合である交差線分率を算出する交差線分率算出部と、前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像を回転させることにより当該撮影画像の傾き補正を行う画像回転部とを備え、前記画像回転部が前記傾き補正を行う第１の動作モードと、前記画像回転部が前記傾き補正を行わない第２の動作モードとを有し、前記交差線分率が所定の閾値以上の場合、前記第２の動作モードを実行することを特徴とする。
【発明の効果】
【０００９】
このように本発明によれば、簡易な構成により、撮影画像から有効な直線成分の検出が難しい場合に不適当な傾き補正が実行されることを防止可能とするという優れた効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る原稿読取システム１を示す全体構成図
【図２】図１に示した原稿読取システム１において書籍Ｂを正規の読取位置にセットした状態を示す平面図
【図３】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図４】図１に示した原稿読取システム１による画像表示手順の要部を示すフロー図
【図５】図４中の交差線分率取得（ＳＴ１０５）で取得される交差線分率の例を示す説明図
【図６】図４中の交差線分率取得（ＳＴ１０５）の詳細を示すフロー図
【図７】図４中の交差線分率取得（ＳＴ１０５）およびデスキュー実施の可否判定（ＳＴ１０６）の具体例を示す説明図
【図８】図７におけるデスキュー実施の判定処理の概略を示す状態遷移図
【図９】図４中のデスキュー実施の可否判定（ＳＴ１０６）の詳細を示すフロー図
【図１０】図４中の線分情報統計処理（ＳＴ１０７）の詳細を示すフロー図
【発明を実施するための形態】
【００１１】
上記課題を解決するためになされた第１の発明は、原稿の紙面を順次撮影した撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記直線成分の交差状態を判定することにより、前記複数の直線成分のうち相互に交差する直線成分の割合である交差線分率を算出する交差線分率算出部と、前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像を回転させることにより当該撮影画像の傾き補正を行う画像回転部とを備え、前記画像回転部が前記傾き補正を行う第１の動作モードと、前記画像回転部が前記傾き補正を行わない第２の動作モードとを有し、前記交差線分率が所定の閾値以上の場合、前記第２の動作モードを実行する構成とする。
【００１２】
これによると、簡易な構成により、撮影画像から有効な直線成分の検出が難しい場合に不適当な傾き補正が実行されることを防止することができる。特に、有効な直線成分の割合（換言すれば、ノイズ成分の割合）の指標として直線成分の交差線分率を用いるため、画像の種別（写真、図形、及び文字等）を判定する等の複雑な処理を不要としつつ、傾き補正の可否を高速かつ高精度に決定できるという利点がある。
【００１３】
また、第２の発明は、上記第１の発明において、前記閾値は、第１の値と、当該第１の値よりも大きい第２の値とからなり、一連の前記撮像画像において、今回の撮影画像における前記交差線分率が前記第１の値よりも大きな前回の撮影画像の前記交差線分率から減少して前記第１の値を下回った場合、前記第２の動作モードを前記第１の動作モードに切り替える一方、今回の撮影画像における前記交差線分率が前記第２の値よりも小さな前回の撮影画像の前記交差線分率から増大して前記第２の値を上回った場合、前記第１の動作モードを前記第２の動作モードに切り替える構成とする。
【００１４】
これによると、２つの閾値によりヒステリシスを持たせて２つの動作モードを切り替える構成としたため、撮影画像を順次傾き補正する際に、原稿が静止状態であるにも拘わらず何らかの不安定化要因（照明の変化、紙面の僅かな揺れ、イメージセンサのノイズ、確率的ハフ変換のランダム性等）により、直線成分の交差線分率が変動して不適当な傾き補正が実行されることを防止することができる。
【００１５】
また、第３の発明は、上記第１または第２の発明において、前記傾斜角度推定部は、前記交差状態の判定により、判定対象である直線成分が１または複数の他の線分と交差する場合、当該判定対象である直線成分を前記統計的処理の対象から除外する構成とする。
【００１６】
これによると、判定対象である直線成分が１または複数の他の直線成分と交差する場合には、当該判定対象である直線成分を統計的処理の対象から除外する構成としたため、統計的処理の対象からノイズ成分（すなわち、原稿の基準方向と一致しない不適切な直線成分）を効果的に除去することができ、その結果、撮影画像の傾斜角度を精度良く推定することが可能となる。
【００１７】
また、第４の発明は、上記第１から第３の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システムである。
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
図１は本発明に係る原稿読取システム１を示す全体構成図であり、図２は原稿読取システム１において書籍Ｂを正規の読取位置にセットした状態を示す平面図である。この原稿読取システム１は、書籍（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２０】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状に開いた脚７と、この脚７に支持されたアーム８とを有している。脚７の上面には、書籍Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、脚７から斜め上方に伸縮自在に設けられる一方、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の画角や光軸方向（撮影方向）の調整が可能となっている。また、カメラ部４は、画角や倍率を連続的に可変させる公知のズーム機能を有している。
【００２１】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。
【００２２】
なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２３】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に書籍Ｂを開いた状態で載置することにより、書籍Ｂの見開き２ページと書籍Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、図２に示すように、書籍Ｂの上縁Ｂａを左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、書籍Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対してディスプレイ表示される。
【００２４】
なお、原稿読取システム１が読み取る原稿は、書籍に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２５】
図３は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００２６】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００２７】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮影画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３７から読み出される。また、後述する画像傾斜補正部３０での交差線分率の算出や統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３８から読み出される。
【００２８】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３７およびパラメータ記憶部３８は汎用のメモリからなる。
【００２９】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３７に順次格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に順次出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３０】
画像傾斜補正部３０は、撮影画像のグレースケール変換や２値化を行うグレースケール変換部３１と、グレースケール変換された撮影画像について複数のエッジ画素を抽出する（エッジ検出を行う）エッジ抽出部３２と、抽出された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分（直線成分）の抽出を行う線分抽出部（直線抽出部）３３と、抽出された各線分の相互の交差状態を判定し、全ての線分のうち他の線分と相互に交差する線分が占める割合である交差線分率を算出する交差線分率算出部３４と、抽出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき撮影画像の傾き補正角度を設定する傾き補正角度設定部（傾斜角度推定部）３５と、傾き補正角度に基づき撮影画像を回転させる画像回転部３６とを有している。
【００３１】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３２】
図４は図１に示した原稿読取システム１による画像表示手順の要部を示すフロー図であり、図５は図４中の交差線分率取得（ＳＴ１０５）で取得される交差線分率の例を示す説明図である。
【００３３】
原稿読取システム１を利用するユーザは、まず、読取位置（書画カメラ２の撮影可能位置）に書籍Ｂを開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。その後、書画カメラ２による撮像が開始され、ＰＣ３の画像データ入力部２２において書画カメラ２からの画像の入力が検出される（ＳＴ１０１）。この撮影画像の入力は、所定のフレームレートで実施され、各撮影画像に対して以下で示すような処理が順次実行される。
【００３４】
次に、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３７に格納した後、グレースケール変換部３１が撮影画像をＲＧＢのカラー画像から白黒画像に変換する（ＳＴ１０２）。このグレースケール変換処理は、中間値法等の周知の方法を用いて行うことができる。書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。
【００３５】
続いて、エッジ抽出部３２は、グレースケール変換された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ１０３）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。更に、線分抽出部３３は、取得された複数のエッジ画素から線分（直線成分）の抽出を行う（ＳＴ１０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換は、画像の中から端点を持つ線分を検出する際に用いられ、検出された線分について始点，終点の座標値を取得することができる。
【００３６】
ここで抽出された端点の座標値等の各線分の情報（以下、「線分情報」という。）はパラメータ記憶部３８に格納される。この線分情報には、各線分における両端点の座標等のデータのみならず、後述する交差線分であるか否かを示すフラグ（以下、「交差線分フラグ」と称する。２つの線分が交差しないとき交差線分フラグは「false」を、交差するときは「true」の値をとるものとする。）などの所定の動作条件の成立の有無や、データの状態を確認するための標識が含まれる。なお、撮影画像から抽出される直線成分としては、少なくともそれらの傾斜角度についての統計的処理により書籍Ｂの傾斜の度合いを推定可能なものであればよく、本実施形態に示す線分に限定されるものではない。
【００３７】
次に、交差線分率算出部３４は、各線分の相互の交差状態を判定し、入力された撮像画像について交差線分率を算出する（ＳＴ１０５）。ここで「交差線分」を他線分との交点を持つ線分と、「非交差線分」を他線分との交点を持たない線分と定義すると、交差線分率＝交差線分の数／（交差線分の数＋非交差線分の数）で示される。なお、交差線分の数＋非交差線分の数＝全線分の数である。また、「交差線分」には、自身の端点が他の線分の端点と一致するものや、自身の端点が他の線分上に位置するものを含ませてもよい。
【００３８】
ここで、図５に示すように、撮影画像４１の交差線分率は、見開きページである紙面の内容（すなわち、画像の種別）によって大きく変化する。例えば図５（Ａ）に示す教科書Ｂ１では、文字や記号等が表示される文章領域４３が紙面の大半を占め、一部に表、図面、写真等を含む図形領域４４が存在する。この教科書Ｂ１における外形輪郭、文章領域４３、及び図形領域４４の枠線等からは、非交差線分（画像の傾斜角度の推定に有効な直線成分）が多く抽出されるため、ここでの交差線分は２０〜３０％程度である。また、図５（Ｂ）に示す動物図鑑Ｂ２では、交差線分（ノイズ成分）が多く抽出される写真等の図形領域４４が文章領域４３よりも紙面において多くを占めるようになり、ここでの交差線分は６０〜７０％程度である。さらに、図５（Ｃ）に示す動物図鑑Ｂ２の一部（写真部分）を拡大して撮影した画像では、撮影画像４１全体を図形領域４４が占めており、また書籍の外形輪郭等も存在しないため、ここでの交差線分率は略１００％である。なお、ここでは、図５（Ａ）に示すように、原稿（教科書Ｂ１）の基準方向（線Ｃ１参照）が撮影画像の基準方向（線Ｃ２参照）に対してα°傾いた例を示している。また、図５（Ｃ）では、図示の便宜上、図５（Ｂ）に示した動物図鑑Ｂ２に対して撮影画像４１を縮小して示している。
【００３９】
再び図４を参照して、次に、傾き補正角度設定部３５は、ＳＴ１０５で算出された交差線分率に基づき、現在の撮影画像についてデスキュー実施の可否（画像回転部による傾き補正の可否）を判定する（ＳＴ１０６）。詳細は後述するが、このデスキュー実施の判定では、交差線分率が所定の閾値以下の場合には、デスキューＯＮ（ＳＴ１０６：ＹＥＳ）と判定し、ＰＣ３では傾き補正を行う第１動作モードが実行される。一方、交差線分率が所定の閾値以上の場合には、デスキューＯＦＦ（ＳＴ１０６：ＮＯ）と判定し、これにより、ＰＣ３では傾き補正を行わない第２動作モードが実行される。
【００４０】
傾き補正を実行する場合（ＳＴ１０６：ＹＥＳ）、傾き補正角度設定部３５は、線分抽出部３３により検出された複数の線分の傾斜角度に関する情報について統計的処理（以下、線分情報統計処理という。）を行うことによって撮影画像の傾斜角度を推定して傾き補正角度を設定する（ＳＴ１０７）。この線分情報統計処理では、線分の傾斜角度に関するヒストグラムの情報が生成される。
【００４１】
さらに、その傾き補正角度に基づき、画像回転部３６は、矩形の撮影画像を回転させて撮影画像の傾き補正を行う（ＳＴ１０８）。これにより、正規の読取位置にて（すなわち、傾きなしで）書籍Ｂの紙面が読み取られた場合と同等の撮影画像を生成することができる。なお、傾き補正された撮影画像は、画像傾斜補正部３０から表示データ生成部２７およびデータ格納部２８に送られる。そして、表示データ生成部２７は傾き補正後の撮影画像に対して、例えばそのページ全体からコンテンツが記載されている領域を抽出し、書籍Ｂの高さに起因する湾曲を補正してフラットな画像を生成して表示部２６に表示する（ＳＴ１０９）。一方、傾き補正を実行しない場合（ＳＴ１０６：ＮＯ）、傾き補正されていない撮影画像が表示部２６に表示される。
【００４２】
ＰＣ３では、上記一連の処理ＳＴ１０１〜ＳＴ１０９が繰り返し実行されることにより、傾き補正された一連の画像（映像）が表示部２６に順次表示される。なお、ＳＴ１０６においてデスキュー実施を不可と判定した場合には、ＳＴ１０７及びＳＴ１０８を省略する構成としたが、これに限らず、例えばＳＴ１０７で設定される傾き補正角度に拘わらず、ＳＴ１０６と同様の判定処理をＳＴ１０８において画像回転部３６に実行させる構成としてもよい。
【００４３】
このような処理を実行することにより、原稿読取システム１では、簡易な構成により、撮影画像から検出される有効な線分の割合が低い場合、つまり撮像画像から有効な直線成分の検出が難しい場合でも不適当な傾き補正が実行されることを防止することができる。特に、有効な線分の割合（換言すれば、ノイズ成分の割合）の指標として交差線分率を用いるため、画像の種別（写真、図形、及び文字等）を判定する等の複雑な処理を不要としつつ、傾き補正の可否を高速かつ高精度に決定できるという利点がある。
【００４４】
図６は、図４中の交差線分率取得（ＳＴ１０５）の詳細を示すフロー図である。まず、交差線分率算出部３４は、他の線分と交差する線分の数を示す交差線分カウンタｉを初期化してｉ＝０とし（ＳＴ２０１）、続いて各線分の相互の交差状態を判定するために、線分情報として取得された全ての線分から交差状態について未判定の１つの線分を判定対象線分として抽出する（ＳＴ２０２）。
【００４５】
ＳＴ２０２において未判定の線分が抽出された場合（ＳＴ２０３：ＹＥＳ）、その線分の交差状態を示す交差線分フラグを初期化して「false」（交差なし）とし（ＳＴ２０４）、更に、線分情報として取得された全ての線分から判定対象線分以外の１つの線分を比較対象線分（他の線分）として抽出する（ＳＴ２０５）。このＳＴ２０５では、線分情報において今回の判定対象線分と未だ比較されていない他の１つの線分が比較対象線分として順次選択される。
【００４６】
ＳＴ２０５において比較対象線分が抽出された場合（ＳＴ２０６：ＹＥＳ）、交差線分率算出部３４は、ＳＴ２０２で抽出した判定対象線分がステップＳＴ２０５で抽出した比較対象線分と交差するか否かの判定を実行する（ＳＴ２０７）。各線分の交差状態は、線分の両端点の座標に基づき公知の方法を用いて判定することができる。そこで、判定対象線分が比較対象線分と交差する場合（ＳＴ２０８：ＹＥＳ）、交差線分率算出部３４では、交差線分フラグを「true」（交差あり）に変更する（ＳＴ２０９）と共に、交差線分カウンタｉをカウントアップしてｉ＝ｉ＋１とする（ＳＴ２１０）。その後、交差線分率算出部３４は、今回の判定対象線分をＳＴ２０２の抽出候補から除外し（ＳＴ２１１）、更に、ＳＴ２０５で抽出されるべき比較対象線分の情報をリセットする（ＳＴ２１２）。その後は、ＳＴ２０２に戻って上記と同様の処理を実施する。
【００４７】
一方、ＳＴ２０８において交差しないと判定された場合（ＮＯ）、交差線分率算出部３４は、今回の比較対象線分をＳＴ２０５の抽出候補から除外し（ＳＴ２１３）、ＳＴ２０５に戻って次の比較対象線分を抽出して上記と同様の処理を実施する。なお、今回の判定対象線分を全ての比較対象線分と比較し終えて、ＳＴ２０５で新たな比較対象線分が抽出されない場合には（ＳＴ２０６：ＮＯ）、当該判定対象線分は、他のいずれの線分とも交差しないため、ＳＴ２０９およびＳＴ２１０の処理が省略されてＳＴ２１１に進む。
【００４８】
最終的に全ての線分について交差状態の判定が終了すると（ＳＴ２０３：ＮＯ）、交差線分率算出部３４は、交差線分カウンタｉの値を線分情報として取得された全線分数で除算することにより、交差線分率（％）を算出する（ＳＴ２１４）。
【００４９】
なお、交差線分率取得の過程で各線分に付与された交差線分フラグの値（false又はtrue）は、原稿の傾斜角度を推定するために生成される、ヒストグラムの度数カウントにおいて参照される。
【００５０】
図７は図４中の交差線分率取得（ＳＴ１０５）およびデスキュー実施の可否判定（ＳＴ１０６）の具体例を示す説明図であり、図８は図７におけるデスキュー実施の可否判定の処理の概略を示す状態遷移図である。
【００５１】
図７に示すように、ここではデスキュー実施の可否を判定するための交差線分率の閾値として閾値ＴＬ１（第１の値）と、この閾値ＴＬ１よりも大きい閾値ＴＬ２（第２の値）とを用いる。ここでは、閾値ＴＬ１＝７０％、閾値ＴＬ２＝８０％とするが、これらの値は撮影する原稿の内容に応じて適宜変更することができる。また、図７では、デスキュー実施の可否判定（ＳＴ１０６）の結果が切り替わる（デスキューＯＮ→ＯＦＦまたはデスキューＯＦＦ→ＯＮ）点を白抜きの丸印で表示して他の点（黒塗りの丸印）と区別している。
【００５２】
まず、時間Ｔ１〜Ｔ２では、図５（Ａ）に示したような文章領域４３が比較的多いページを撮影している。この間において算出された全ての交差線分率は閾値ＴＬ１以下であり、図４のＳＴ１０６においてデスキューＯＮと判断され、また、この状態は、図８における「Non-Threshold Status」５１にある。時間Ｔ１〜Ｔ２では、同一ページを撮影しているため、理想的には同一の交差線分率が算出されるべきであるが、実際には、照明の変化、紙面の僅かな揺れ、イメージセンサのノイズ、確率的ハフ変換のランダム性等により、交差線分率が変動（図８中の変動幅Ｄ１参照）している。なお、時間Ｔ１における点Ｐ１は、撮影開始直後の交差線分率を示すものではなく、一連の撮影の途中段階のものである。
【００５３】
次に、時間Ｔ２〜Ｔ３では、ユーザによりページめくり（撮影する紙面の変更）が行われる。このとき、交差線分率は、時間Ｔ２における点Ｐ７から時間Ｔ３における点Ｐ１０まで次第に増大する。ここで、点Ｐ８から点Ｐ９へ移行（上昇）した際に、交差線分率は閾値ＴＬ１を上回るが、依然として閾値ＴＬ２未満であり、図８における「Threshold1 Status」５２に移行してデスキューＯＮの状態が継続される。そして、点Ｐ９から点Ｐ１０へ更に移行（上昇）した際に、交差線分率は閾値ＴＬ２を上回り、これにより、図４のＳＴ１０６においてデスキューＯＦＦ（図８中デスキューＯＦＦ５３を併せて参照）と判断された後、再び図８における「Non-Threshold Status」５１に戻る。
【００５４】
次に、時間Ｔ３〜Ｔ４では、図５（Ｂ）に示したような図形領域４４が文章領域４３よりも多くを占めるページ（同一ページ）を撮影している。この間においても時間Ｔ１〜Ｔ２の場合と同様に、交差線分率が変動（図８中の変動幅Ｄ２参照）しており、点Ｐ１３から点Ｐ１４へ移行（下降）した際に、交差線分率は閾値ＴＬ２未満となるが、依然として閾値ＴＬ１を超えており、図８における「Threshold2 Status」５４に移行してデスキューＯＦＦの状態が継続される。そして、その直後に点Ｐ１４から点Ｐ１５へ移行（上昇）した際に、交差線分率は閾値ＴＬ２以上となり、再び図８における「Non-Threshold Status」５１に戻る。
【００５５】
次に、時間Ｔ４〜Ｔ５では、時間Ｔ２〜Ｔ３の場合と同様に、ユーザによりページめくりが行われる。このとき、交差線分率は、時間Ｔ４における点Ｐ１７から時間Ｔ５における点Ｐ１９まで次第に減少する。ここで、点Ｐ１７から点Ｐ１８へ移行（下降）した際に、交差線分率は閾値ＴＬ２未満となるが、依然として閾値ＴＬ１を超えており、図８における「Threshold2 Status」５４に移行してデスキューＯＦＦの状態が継続される。そして、点Ｐ１８から点Ｐ１９へ更に移行（下降）した際に、交差線分率は閾値ＴＬ１以下となり、これにより、図４のＳＴ１０６においてデスキューＯＮ（図８中デスキューＯＮ５５を併せて参照）と判断された後、再び図８における「Non-Threshold Status」５１に戻る。
【００５６】
次に、時間Ｔ５〜Ｔ６では、時間Ｔ１〜Ｔ２の場合と同様に、交差線分率が変動（図８中の変動幅Ｄ３参照）しており、点Ｐ２３から点Ｐ２４へ移行（上昇）した際に、交差線分率は閾値ＴＬ１を超えるが、依然として閾値ＴＬ２未満であり、図８における「Threshold1 Status」５２に移行してデスキューＯＮの状態が継続される。そして、その直後に点Ｐ２４から点Ｐ２５へ移行（下降）した際に、交差線分率は閾値ＴＬ１以下となり、再び図８における「Non-Threshold Status」５１に戻る。
【００５７】
このように、上記デスキュー実施の可否判定（ＳＴ１０６）では、一連の撮像画像において、今回の撮影画像における交差線分率が閾値ＴＬ１よりも大きな前回の撮影画像の交差線分率から減少して閾値ＴＬ１を下回った場合、第２の動作モード（デスキューＯＮ）を第１の動作モード（デスキューＯＦＦ）に切り替える一方、今回の撮影画像における交差線分率が閾値ＴＬ２よりも小さな前回の撮影画像の交差線分率から増大して閾値ＴＬ２を通過した場合、第１の動作モードを第２の動作モードに切り替える。つまり、２つの閾値ＴＬ１、ＴＬ２によりヒステリシスを持たせて２つの動作モード（デスキューＯＮ／ＯＦＦ）を切り替える構成としたため、撮影画像を順次傾き補正する際に、原稿が静止状態であるにも拘わらず何らかの不安定化要因により、直線成分の交差線分率が変動して不適当に動作モード（デスキューＯＮ、ＯＦＦ）の切替えが実行されることを防止することができる。
【００５８】
なお、ここでは２つの閾値ＴＬ１、ＴＬ２を用いたが、これに限らず、例えば、閾値ＴＬ２のみを用いて、交差線分率が閾値ＴＬ２未満の場合に第１の動作モードを実行する一方、交差線分率が閾値ＴＬ２以上の場合に第２の動作モードを実行する構成も可能である。
【００５９】
図９は図４中のデスキュー実施の可否判定（ＳＴ１０６）の詳細を示すフロー図である。まず、傾き補正角度設定部３５は、初期状態として図８における「Non-Threshold Status」５１とすると共にデスキューＯＦＦに設定する（ＳＴ３０１）。続いて、ＳＴ１０５で交差線分率が取得されると（ＳＴ３０２：ＹＥＳ）、「Non-Threshold Status」であるか否かを判定する（ＳＴ３０３）。
【００６０】
そこで、「Non-Threshold Status」において閾値を通過すると（ＳＴ３０４：ＹＥＳ）、その通過した閾値がＴＬ１の場合には（ＳＴ３０５：ＴＬ１）には図８における「Threshold1 Status」５２にあると判断する（ＳＴ３０６）。一方、通過した閾値がＴＬ２の場合（ＳＴ３０４：ＴＬ２）には図８における「Threshold2 Status」５４にあると判断する（ＳＴ３０７）。その後は、再びＳＴ３０２に戻る。
【００６１】
ＳＴ３０３において、「Non-Threshold Status」にない場合、続いて「Threshold1 Status」であるか否かを判定する（ＳＴ３０８）。そこで、「Threshold1 Status」において閾値を通過すると（ＳＴ３０９：ＹＥＳ）、その通過した閾値がＴＬ１の場合には（ＳＴ３１０：ＴＬ１）には「Non-Threshold Status」にあると判断する（ＳＴ３１１）。一方、通過した閾値がＴＬ２の場合（ＳＴ３１０：ＴＬ２）にはデスキューＯＦＦ（図８中符号５３を参照）とした後（ＳＴ３１２）、「Non-Threshold Status」にあると判断する（ＳＴ３１１）。その後は、再びＳＴ３０２に戻る。
【００６２】
ＳＴ３０８において、「Threshold1 Status」にない場合、続いて「Threshold2 Status」であるか否かを判定する（ＳＴ３１３）。そこで、「Threshold2 Status」において閾値を通過すると（ＳＴ３１４：ＹＥＳ）、その通過した閾値がＴＬ２の場合（ＳＴ３１５：ＴＬ２）には「Non-Threshold Status」にあると判断する（ＳＴ３１６）。一方、通過した閾値がＴＬ１の場合には（ＳＴ３１５：ＴＬ１）にはデスキューＯＮ（図８中符号５５を参照）とした後（ＳＴ３１６）、「Non-Threshold Status」にあると判断する（ＳＴ３１７）。その後は、再びＳＴ３０２に戻る。
【００６３】
図１０は図４中の線分情報統計処理（ＳＴ１０７）の詳細を示すフロー図である。まず、傾き補正角度設定部３５は、パラメータ記憶部３８から画像処理の対象となる撮影画像についての線分情報を取得する（ＳＴ４０１）。この線分情報には、図６のＳＴ２０７における各線分の交差判定結果が含まれる。
【００６４】
次に、傾き補正角度設定部３５は、各線分についての交差の有無を判定するために、線分情報における全ての線分から１つの線分（未判定の線分）を判定対象線分として抽出し（ＳＴ４０２）、その判定対象線分の交差線分フラグを参照して交差の有無を判定する（ＳＴ４０４）。なお、少なくとも線分情報統計処理の開始時には、比較が終了していない判定対象線分が存在するため、全線分の交差判定が終了したか否かの判定（ＳＴ４０３）ではＮｏと判定される。
【００６５】
次に、傾き補正角度設定部３５は、判定対象線分について交差なし（交差線分フラグ＝false）と判定した場合（ＳＴ４０４：ＮＯ）には、当該判定対象線分の座標データに基づきその傾斜角度θを算出し（ＳＴ４０５）、その算出結果をヒストグラム情報に追加（すなわち、統計的処理の対象として抽出）する（ＳＴ４０６）。つまり、横軸を傾斜角度θ、縦軸を度数として、θに対応する度数をカウントアップする。その後、当該判定対象線分をＳＴ４０２の抽出候補から除外し（ＳＴ４０７）、再びＳＴ４０２に戻る。
【００６６】
一方、傾き補正角度設定部３５は、判定対象線分について交差あり（交差線分フラグ＝true）と判定した場合（ＳＴ４０４：ＹＥＳ）には、ＳＴ４０５およびＳＴ４０６を実行せずに（ヒストグラム情報に追加しない）当該判定対象線分をＳＴ４０２の抽出候補から除外し（ＳＴ４０７）、再びＳＴ４０２に戻る。
【００６７】
最終的に全ての判定対象線分の交差状態の判定が終了すると（ＳＴ４０３：Ｙｅｓ）、傾き補正角度設定部３５は、ＳＴ４０６において追加されたヒストグラム情報に基づきヒストグラムを生成し、このヒストグラムの傾斜角度分布における最大度数を検索する（ＳＴ４０８）。そして、傾き補正角度設定部３５は、検索した最大度数の値（例えば、階級の間隔の中間値）を撮影画像の傾斜角度（つまり、傾き補正角度）として推定する（ＳＴ４０９）。
【００６８】
このように、ＳＴ４０７において判定対象である線分が他の線分と交差する場合には、当該判定対象である線分を統計的処理の対象から除外する構成としたため、統計的処理の対象からノイズ成分（すなわち、原稿の基準方向と一致しない不適切な線分）を効果的に除去することができ、その結果、撮影画像の傾斜角度を精度良く推定することが可能となる。また、各線分の交差の有無の判定についてはＳＴ１０５における交差線分率取得の処理結果を用いるため、処理を簡略化することができる。
【００６９】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態では、他の１つの線分と交差する線分を統計的処理の対象から除外する構成としたが、２以上の所定数の他の線分と交差する場合に除外する構成としてもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００７０】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、簡易な構成により、撮影画像から有効な直線成分の検出が難しい場合に不適当な傾き補正が実行されることを防止可能とし、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７１】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
２６  表示部
２７  表示データ生成部
２８  データ格納部
３０  画像傾斜補正部
３２  エッジ抽出部
３３  線分抽出部（直線抽出部）
３４  交差線分率算出部
３５  傾き補正角度設定部（傾斜角度推定部）
３６  画像回転部
４１  撮影画像
Ｂ  書籍（原稿）
【図１】
2013235418.tif 000003
【図２】
2013235418.tif 000004
【図３】
2013235418.tif 000005
【図４】
2013235418.tif 000006
【図５】
2013235418.tif 000007
【図６】
2013235418.tif 000008
【図７】
2013235418.tif 000009
【図８】
2013235418.tif 000010
【図９】
2013235418.tif 000011
【図１０】
2013235418.tif 000012