(57)【要約】【課題】書画カメラ等で読み取られた原稿の画像の傾斜角度を推定する場合に、当該画像から取得された傾斜角度の推定に用いるための情報におけるノイズ成分を効果的に除去する。【解決手段】撮影画像を取得する画像データ入力部２２と、撮影画像からエッジ画素を抽出するエッジ抽出部３３と、エッジ画素に基づき複数の線分を抽出する線分抽出部３３と、複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する傾斜角度推定部３４と、推定した傾斜角度に基づき撮影画像を回転させる画像回転部３５とを備え、傾斜角度推定部が、各線分の相互の交差状態を判定し、判定対象である線分が１または複数の他の線分と交差する場合、この判定対象である線分を統計的処理の対象から除外する構成とする。【選択図】図２
2013137616.tif 000002
【特許請求の範囲】
【請求項１】
原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、
前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、
前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部と
を備え、
前記傾斜角度推定部は、前記各線分の相互の交差状態を判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外することを特徴とする画像処理装置。
【請求項２】
前記傾斜角度推定部は、前記判定対象である線分の少なくとも一方の端点と、前記他の線分の少なくとも一方の端点とが所定の距離範囲内ある場合、前記判定対象である線分が前記他の線分と交差しないと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記傾斜角度推定部は、前記統計的処理において、前記複数の線分の傾斜角度についてのヒストグラムの情報を生成し、当該ヒストグラムの度数分布に基づき前記撮影画像の傾斜角度を推定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。また、この書画カメラでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部や原稿エッジの位置等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。
【０００３】
画像の傾斜角度を推定する技術に関しては、例えば、エッジ処理後に二値化した画像データをハフ変換処理してパラメータ図表を生成するハフ変換手段と、そのパラメータ図表における座標の個数を角度θ毎に積算してヒストグラムを生成するヒストグラム生成手段と、そのヒストグラムから座標の個数が最多の角度θを特定することにより傾斜角度を推定する傾斜角度検出手段とを備えたデータ処理装置が知られている（特許文献２参照）。また、この従来技術によれば、ヒストグラムを生成する代わりに、パラメータ図表においてハフ曲線の重複が多い座標を抽出してグループ化し、各グループの代表の座標を選出して傾斜角度を推定することもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平１１−３２８４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のような画像の傾斜角度を精度良く推定するためには、原稿の水平・垂直等の基準方向に沿った外形輪郭や図形枠等に基づく情報を用いることが望ましい。一方、原稿内に複雑な図形（地図、イラスト、写真等）が存在したり、原稿と共に撮影される原稿の載置面に模様や照明光の直接反射領域等が存在したりする場合には、それら原稿内の図形や載置面の模様等から抽出された直線成分等が、画像の傾斜角度の推定に用いる情報のノイズ成分（すなわち、原稿の基準方向と一致しないために傾斜角度を推定するのに不適切な情報）となって傾斜角度の推定精度に悪影響を及ぼす。
【０００６】
しかしながら、上記特許文献２に記載のような従来技術では、上記のようなノイズ成分を効果的に除去するための構成を有していないため、原稿の種類や載置面の状態によっては、画像の傾斜角度を精度良く推定することが難しくなるという問題があった。つまり、上記従来技術では、画像中の図形や模様等から画像の傾斜角度を適切に反映しない角度の直線成分等が多く抽出された場合には、誤った傾斜角度が推定される。
【０００７】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、読み取られた原稿の画像の傾斜角度を推定する場合に、当該画像から取得された傾斜角度の推定に用いるための情報のノイズ成分を効果的に除去することにより、傾斜角度を精度良く推定可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記各線分の相互の交差状態を判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外することを特徴とする。
【発明の効果】
【０００９】
このように本発明によれば、読み取られた原稿の画像の傾斜角度を推定する場合に、当該画像から取得された傾斜角度の推定に用いるための情報のノイズ成分を効果的に除去することにより、傾斜角度を精度良く推定可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る原稿読取システム１を示す全体構成図
【図２】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図３】図１の原稿読取システム１による原稿読取手順の要部を示すフロー図
【図４】図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図
【図５】図３中の線分抽出処理（ＳＴ１０４）の結果の一例を示す説明図
【図６】図３中の傾斜角度推定処理（ＳＴ１０５）における処理対象の抽出過程の一例を示す説明図
【図７】図３中の画像回転処理（ＳＴ１０６）の結果の一例を示す模式図
【図８】図３中の傾斜角度推定処理（ＳＴ１０５）の詳細を示すフロー図
【図９】図８中の線分リスト情報取得（ＳＴ２０１）において取得される線分リスト情報の概要を示す説明図
【図１０】図８中の交差判定（ＳＴ２０６）に関する各線分の比較手順の概要を示す説明図
【図１１】図８の傾斜角度推定処理によって生成されるヒストグラムの一例を示す図
【図１２】図８中の交差判定（ＳＴ２０６）における２つの線分の交差状態を示す説明図
【図１３】第２実施形態に係る撮影画像の一例を示す模式図
【図１４】第２実施形態に係る線分抽出処理の結果の一例を示す説明図
【図１５】第２実施形態に係る傾斜角度推定処理における処理対象の抽出過程の一例を示す説明図
【図１６】第２実施形態に係る画像回転処理の結果の一例を示す模式図
【図１７】第２実施形態に係る傾斜角度推定処理の詳細を示すフロー図
【図１８】図１７中のＴ字接続判定（ＳＴ３０６）における２つの線分の接続状態の説明図
【図１９】第２実施形態に係る傾斜角度推定処理の第１の変形例を示すフロー図
【図２０】第２実施形態に係る傾斜角度推定処理の第２の変形例による処理対象の抽出過程の一例を示す模式図
【図２１】第３実施形態に係る線分抽出処理の結果の一例を示す模式図
【図２２】第３実施形態に係る傾斜角度推定処理の詳細を示すフロー図
【図２３】図２２中の接続判定（ＳＴ５０５）における２つの線分の接続状態の説明図
【図２４】第３実施形態に係る傾斜角度推定処理の変形例を示すフロー図
【発明を実施するための形態】
【００１１】
上記課題を解決するためになされた第１の発明は、画像処理装置において、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記各線分の相互の交差状態を判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外する構成とする。
【００１２】
これによると、抽出された複数の線分の傾斜角度の統計的処理によって撮影画像の傾斜角度を推定する場合に、各線分の相互の交差状態を判定し、判定対象である線分が１または複数の他の線分と交差する場合には、この判定対象である線分を統計的処理の対象から除外する構成としたため、統計的処理の対象からノイズ成分を効果的に除去することができ、その結果、撮影画像の傾斜角度を精度良く推定することが可能となる。
【００１３】
また、第２の発明は、前記第１の発明において、前記判定対象である線分の少なくとも一方の端点と、前記他の線分の少なくとも一方の端点とが所定の距離範囲内ある場合、前記判定対象である線分が前記他の線分と交差しないと判定する構成とする。
【００１４】
これによると、原稿の基準方向と一致する原稿の外形輪郭や図形枠等の画像から抽出された線分は端点同士が略一致（互いに接続）すると考えられるが、そのような線分（傾斜角度を推定するのに適切な情報）がノイズ成分として統計的処理の対象から除去されることを抑制し、撮影画像の傾斜角度をより精度良く推定することが可能となる。
【００１５】
また、第３の発明は、前記第１または第２の発明において、前記傾斜角度推定部は、前記統計的処理において、前記複数の線分の傾斜角度についてのヒストグラムの情報を生成し、当該ヒストグラムの度数分布に基づき前記撮影画像の傾斜角度を推定する構成とする。
【００１６】
これによると、ノイズ成分が除去された処理対象に基づき度数分布のばらつきの少ないヒストグラムが生成されるため、簡易な処理に基づき撮影画像の傾斜角度を精度良く推定することが可能となる。
【００１７】
また、第４の発明は、前記第１から第３の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
＜第１実施形態＞
図１は、第１実施形態に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２０】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状の脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。
【００２１】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。また、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２２】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対して表示される。なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２３】
図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００２４】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００２５】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮像画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３６から読み出され、また、後述する画像傾斜補正部３０での統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３７から読み出される。
【００２６】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。
【００２７】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３６に格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００２８】
画像傾斜補正部３０は、撮影画像のグレースケール変換や２値化を行うグレースケール変換部３１と、グレースケール変換された撮影画像について複数のエッジ画素を抽出する（エッジ検出を行う）エッジ抽出部３２と、抽出された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分（直線成分）の抽出を行う線分抽出部３３と、抽出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する傾斜角度推定部３４と、推定された傾斜角度に基づき撮影画像を回転させる処理を行う画像回転部３５とを有している。
【００２９】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３０】
図３は図１の原稿読取システム１による原稿読取手順の要部を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図であり、図５は図３中の線分抽出処理（ＳＴ１０４）の結果の一例を示す説明図であり、図６は図３中の傾斜角度推定処理（ＳＴ１０５）における処理対象の抽出過程の一例を示す説明図であり、図７は図３中の画像回転処理（ＳＴ１０６）の結果の一例を示す模式図である。
【００３１】
まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本を開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される（ＳＴ１０１）。
【００３２】
ここで、撮影画像は、例えば図４に示すように、書画カメラ２の撮影エリア４０により矩形の外形輪郭線が画成され、本Ｂの紙面の画像とその背景となる載置面６の画像とを含む。本Ｂの紙面には、文字や記号等が表示される文章領域４３と、図面や写真等（ここでは、地図の挿絵）が表示される図形枠４４とが含まれる。
【００３３】
図４では、傾き補正が必要となる撮像画像の例を示している。つまり、撮影画像の水平（横）方向をＸ軸方向、垂直（縦）方向をＹ軸方向とすると、撮影画像の仮想の水平線（原稿の基準方向）Ｈ１は、後に詳述する傾き補正の目標方向となるＸ軸に平行な補正基準線Ｈ０に対して角度θだけ傾いている。ここでは説明の便宜上、図示等を省略するが、撮影画像の仮想の垂直線についても水平線Ｈ０と同様に原稿の基準方向とすることが可能であり、その場合、Ｙ軸に平行な方向が傾き補正の目標方向となる。
【００３４】
次に、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３６に格納した後、グレースケール変換部３１が撮影画像をＲＧＢのカラー画像から白黒画像に変換する（ＳＴ１０２）。このグレースケール変換処理は、中間値法等の周知の方法を用いて行うことができる。書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。続いて、エッジ抽出部３２は、グレースケール変換された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ１０３）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。更に、線分抽出部３３は、検出された複数のエッジ画素から線分の抽出（直線成分検出）を行う（ＳＴ１０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換では、画像の中から端点を持つ線分を検出する際に用いられ、検出された線分について始点，終点の座標値を取得することができる。ここで抽出された端点の座標値等の各線分のデータは、線分リスト情報としてパラメータ記憶部３７に格納される。
【００３５】
この線分抽出処理により、例えば図５に示すように、本Ｂの紙面の画像および載置面６の画像において複数の線分Ｌ（図５中の実線参照）が検出される。ここで、本Ｂの外形輪郭および原稿綴じ部や図形枠４４において検出される線分Ｌｖは、本Ｂの水平または垂直方向に概ね整列する傾向にある。また、文章領域４３において検出される線分Ｌｗは、文章の各行の方向（ここでは、本Ｂの水平方向）に概ね整列する傾向にある。一方、図形枠４４内に記載された図、記号、写真、マンガの線や載置面６（特に繊維など、微細なテクスチャが表れやすい場合）において検出される線分Ｌｘは、互いに交差した不規則な状態となる傾向にある。
【００３６】
次に、傾斜角度推定部３４は、線分抽出部３３により検出された複数の線分からノイズ成分（本Ｂの基準方向と一致しないために傾斜角度を推定するのに不適切な線分）を除去した後、残った線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する（ＳＴ１０５）。
【００３７】
この傾斜角度推定処理については後に詳述するが、統計的処理では、例えば図５に示した図形枠４４内や載置面６の画像における不規則な状態の線分Ｌｘを主なノイズ成分と見なして処理の対象から除外する。このような線分は、互いに交差している傾向にあり、各線分の相互の交差状態を判定することにより、ノイズと識別することが可能である。その結果、例えば図６に示す本Ｂの外形輪郭および原稿綴じ部や図形枠４４において抽出した線分Ｌｖや、文章領域４３において抽出した線分Ｌｗのように、撮影画像の傾斜角度を推定するのに適切な有効線分（原稿の基準方向に沿った線分）を処理対象として抽出することができる。
【００３８】
その後、画像回転部３５は、推定された傾斜角度に基づき撮影画像を回転させることにより撮影画像の傾きを補正し、これにより、正規の読取位置にて（すなわち、傾きなしで）本Ｂの紙面が読み取られた場合と同等の撮影画像を生成する（ＳＴ１０６）。この画像回転処理により、例えば図７に示すように、原稿の基準方向（水平・垂直方向）と目標方向（Ｘ軸・Ｙ軸方向）とが略一致して撮影画像の傾きが解消される。なお、傾き補正された撮影画像は、画像傾斜補正部３０から表示データ生成部２７およびデータ格納部２８に送られる。そして、表示データ生成部２７では傾き補正後の撮像画像に対して、例えばそのページ全体からコンテンツが記載されている領域を抽出し、本の高さに起因する湾曲を補正してフラットな画像を生成して表示部２６に表示する。
【００３９】
図８は図３中の傾斜角度推定処理（ＳＴ１０５）の詳細を示すフロー図であり、図９は図８中の線分リスト情報取得（ＳＴ２０１）において取得される線分リスト情報の概要を示す説明図であり、図１０は図８中の交差判定（ＳＴ２０６）に関する各線分の比較手順の概要を示す説明図であり、図１１は図８の傾斜角度推定処理によって生成されるヒストグラムの一例を示す図であり、図１２は図８中の交差判定（ＳＴ２０６）における２つの線分の交差状態を示す説明図である。
【００４０】
図８において、まず、傾斜角度推定部３４は、パラメータ記憶部３７から画像処理の対象となる撮影画像についての線分リスト情報を取得する（ＳＴ２０１）。この線分リスト情報は、上述したように確率的ハフ変換等によって生成されたものであり、例えば図９に示すように、複数の線分（ここでは、ｎ本の線分Line 1〜Line n）の各々における両端点Ａ，Ｂの座標データ（(Xa_1,Ya_1), (Xb_1,Yb_1)〜(Xa_n,Ya_n), (Xb_n,Yb_n)）等が含まれる。
【００４１】
次に、各線分の相互の交差状態を判定するために、線分リスト情報にある全ての線分から１つの線分を検査対象線分（判定対象である線分）として抽出し（ＳＴ２０２）、更に、線分リスト情報にある全ての線分から検査対象線分以外の１つの線分を比較対象線分（他の線分）として抽出する（ＳＴ２０４）。なお、少なくとも傾斜角度推定処理の開始時には、比較が終了していない検査対象線分および比較対象線分が存在するため、ステップＳＴ２０３，ＳＴ２０５では共にＮｏと判定される。
【００４２】
次に、ステップＳＴ２０２で抽出した検査対象線分がステップＳＴ２０４で抽出した比較対象線分と交差するか否かを判定し、交差する場合（ＳＴ２０６；Ｙｅｓ）には、当該検査対象線分をステップＳＴ２０２の抽出候補から除外し（ＳＴ２０７）、更に、ステップＳＴ２０４で抽出されるべき比較対象線分の情報をリセットする（ＳＴ２０８）。これにより、当該検査対象線分は、統計的処理の対象から除外される。その後、再びステップＳＴ２０２に戻り、まだ交差状態を判定していない次の検査対象線分を上記と同様に抽出する。
【００４３】
一方、検査対象線分と比較対象線分とが互いに交差しない場合（ＳＴ２０６；Ｎｏ）には、当該比較対象線分をステップＳＴ２０４の抽出候補から除外する（ＳＴ２０９）。その後、再びステップＳＴ２０４に戻り、まだ交差状態を判定していない次の比較対象線分を上記と同様に抽出する。
【００４４】
ここで、上記ステップＳＴ２０２およびＳＴ２０４等に関する各線分の比較手順の概要について説明する。例えば図１０に示すように、傾斜角度推定部３４は、まず検査対象線分としてLine 1（リストにおいて最上位の線分）を抽出する一方、比較対象線分としてLine 2（検査対象線分を除き、リストにおいて最上位の線分）を抽出する。このとき、Line 1には検査処理が終了したことを示す検査処理済フラグ（図１０では、Trueの場合をチェックマーク?で示している。他のフラグも同様。）を付与し、また、Line 2には比較処理が終了したことを示す比較処理済フラグを付与する。さらに、ステップＳＴ２０６において検査対象線分のLine 1と比較対象線分のLine 2とが交差すると判定した場合には、交差済みであることを示す交差判定フラグ（図示せず）を付与する。
【００４５】
また、ステップＳＴ２０６において交差しないと判定した場合には、ステップＳＴ２０４に戻って次の比較対象線分のLine 3（検査対象線分および比較済みの比較対象線分を除き、リストにおいて最上位の線分）を抽出し、上記と同様に検査対象線分との交差状態を判定する。ステップＳＴ２０４における比較対象線分の抽出は、ステップＳＴ２０６において検査対象線分と比較対象線分とが交差すると判定する（ＳＴ２０６；Ｙｅｓ）か、所定の検査対象線分（例えば、Line 1）について全ての比較対象線分（例えば、Line 2〜Line n）との比較が終了する（ＳＴ２０５；Ｙｅｓ）まで順次行う。
【００４６】
最終的に、所定の検査対象線分と交差する比較対象線分が存在しない場合（ＳＴ２０５；Ｙｅｓ）、傾斜角度推定部３４は、当該検査対象線分の座標データに基づきその傾斜角度θを算出し（ＳＴ２１０）、その算出結果をヒストグラム情報に追加（すなわち、統計的処理の対象として抽出）する（ＳＴ２１１）。つまり、横軸を傾斜角度θ、縦軸を度数として、θに対応する度数をカウントアップする。
【００４７】
この処理によって、最終的に全ての検査対象線分（ここでは、Line 1〜Line n）の交差状態の判定が終了すると（ＳＴ２０３；Ｙｅｓ）、傾斜角度推定部３４は、ステップＳＴ２１１において追加されたヒストグラム情報に基づき、例えば図１１に示すようなヒストグラムを生成し、このヒストグラムの傾斜角度分布における最大度数を検索する（ＳＴ２１２）。そして、傾斜角度推定部３４は、検索した最大度数の値（例えば、階級の間隔の中間値）を撮影画像の傾斜角度として推定する（ＳＴ２１３）。
【００４８】
書画カメラの利用シーンでは、ユーザは、ユーザと対面する位置に書画カメラを設置して、ユーザが本を読む際の状態のまま（つまり、書画カメラ１の略Ｖ字状の脚７の根元の側に、本の上段が位置するように（図１参照））、本を撮像範囲に置くのが自然だと考えられる。そうすると、撮影画像の傾斜角度は通常は一定の範囲内となり、ヒストグラムの階級の値も所定の範囲（ここでは、−45°〜＋45°）に制限するとよい。もちろん、このように狭く限定することなく、撮像画像の傾斜角度として例えば±１８０゜を許容してもよい。また、撮影画像の水平・垂直の双方を基準方向とする場合には、両基準方向に対する傾斜角度の度数分布を重ねるようにデータを処理してヒストグラムを生成することができる。なお、ヒストグラムの階級の間隔（境界値）は、読取対象となる原稿の種類や紙面の内容に応じて適宜変更することができる。
【００４９】
次に、図１２を参照して上記ステップＳＴ２０６における判定の詳細について説明する。ここでは、検査対象線分Line 1を端点Ａ（Xa_1，Ya_1）および端点Ｂ（Xb_1，Yb_1）を結ぶ線分とし、また、比較対象線分Line 2を端点Ａ（Xa_2，Ya_2）および端点Ｂ（Xb_2，Yb_2）を結ぶ線分とする。
【００５０】
両線分の交差判定には、以下の（式１）および（式２）を用いる。ただし、Ｄ＝（Xb_1−Xa_1）×（Yb_2−Ya_2）−（Yb_1−Ya_1）×（Xb_2−Xa_2）とする。
【００５１】
ｒ＝（（Yb_2−Ya_2）×（Xa_2−Xa_1）−（Xb_2−Xa_2）×（Ya_2−Ya_1））／Ｄ    ・・・（式１）
【００５２】
ｓ＝（（Yb_1−Ya_1）×（Xa_2−Xa_1）−（Xb_1−Xa_1）×（Ya_2−Ya_1））／Ｄ    ・・・（式２）
【００５３】
ここで、上記（式１）のｒおよび（式２）のｓが次の（条件１）を満たすとき、Line 1およびLine 2が互いに交差すると判定する。
【００５４】
０＋Δ＜ｒ＜１−Δ 且つ ０＋Δ＜ｓ＜１−Δ・・・（条件１）
【００５５】
上記（条件１）においては、Δ＝０とすることも可能であるが、Δを適切な値（０＜Δ＜＜１）に設定することにより、一方の線分の端点が他方の線分の端点と一致する場合（以下、Ｌ字接続状態という。ただし、端点同士が一致すると見なせる程度に近接する（互いに所定の距離範囲内ある）場合も含む。）や、一方の線分の端点が他方の線分上に位置する場合（以下、Ｔ字接続状態という。ただし、端点が線分上に位置すると見なせる程度に互いに近接する（所定の距離範囲内ある）場合も含む。）を交差状態から排除している。即ち、本実施形態では、Δを０より大きな値（例えば、０．０５）に設定し、検査対象線分と比較対象線分とが完全に交わる場合（以下、完全交差状態という。）のみを交差していると判定する。
【００５６】
このように、上記原稿読取システム１では、傾斜角度推定部３４が、各線分の相互の交差状態を判定し、他の線分と交差しない線分のみをヒストグラム情報に追加する（すなわち、他の線分と交差する線分をヒストグラム情報から除外する、あるいはヒストグラム情報に加えない）構成としたため、統計的処理の対象からノイズ成分（図５に示すＬｘ）を効果的に除去することができ、その結果、撮影画像の傾斜角度を精度良く推定することが可能となる。なお、本実施形態では、他の線分と交差する線分は、その交点数にかかわらずヒストグラム情報から除外する構成としたが、より多くの他の線分（例えば、２以上の他の線分）と交差する線分のみをヒストグラム情報から除外する構成としてもよい。
【００５７】
また、上記原稿読取システム１では、傾斜角度推定部３４が完全交差状態のみを交差と判定する構成であるため、原稿の基準方向と一致する本Ｂの外形輪郭（その多くがＬ字接続状態を有する）および原稿綴じ部や図形枠４４等の画像から抽出された有効線分がノイズ成分として統計的処理の対象から除去されることを抑制することが可能となる。なお、図３に示した線分抽出処理（ＳＴ１０４）において、本Ｂの外形輪郭および原稿綴じ部や図形枠４４等の角部において線分同士が接続しない状態で抽出される傾向にあれば、上記完全交差状態に限らず、Ｌ字接続状態やＴ字接続状態を含めて交差していると判定（すなわち、条件１においてΔ＝０に設定）してもよい。
【００５８】
さらに、上記原稿読取システム１では、撮影画像の傾斜角度推定処理において、ノイズ成分が除去された処理対象（線分の集合）に基づきヒストグラムが生成されるため、ばらつきの少ない度数分布が形成されて簡易な処理に基づき撮影画像の傾斜角度を精度良く推定することが可能となるという利点もある。
【００５９】
＜第２実施形態＞
図１３は第２実施形態に係る撮影画像の一例を示す模式図であり、図１４は線分抽出処理（図３中のステップＳＴ１０４に対応）の結果の一例を示す説明図であり、図１５は傾斜角度推定処理（同ＳＴ１０５に対応）における処理対象の抽出過程の一例を示す説明図であり、図１６は画像回転処理（同ＳＴ１０６に対応）の結果の一例を示す模式図である。図１３〜図１６では、上述の第１実施形態と同様の構成要素について同様の符号が付されている。また、第２実施形態において、以下で特に言及しない事項については、第１実施形態の場合と同様とする。
【００６０】
この第２実施形態は、例えば図１３に示すように、読取対象である本Ｂ０が読取対象外の他の本Ｂ１、Ｂ２の上に重ねて載置されている（すなわち、撮影エリア４０内に読取対象の原稿の他に、その下側に位置する読取対象外の他の原稿の一部が含まれる）場合などに好適である。ここでは図示しないが、本の紙面の内容は図４に示したものと同様である。
【００６１】
線分抽出処理では、例えば図１４に示すように、本Ｂ０の画像のみならず、本Ｂ１、Ｂ２の画像においても複数の線分Ｌ０〜Ｌ２が検出される。ここでは、説明の便宜上、本Ｂ０〜Ｂ２の外形輪郭や原稿綴じ部からそれぞれ抽出された線分のみを示し、各紙面や載置面６から抽出される線分を省略しているが、第１実施形態で説明した、交差する線分を除去する処理が行なわれる。
【００６２】
本Ｂ１（本Ｂ２の場合も同様）の外形輪郭から検出される線分は、例えば図１４中の拡大部XIVに示す線分Ｌ１のように、一方の端点Ａが本Ｂ０の外形輪郭から検出される線分Ｌ０に接続（線分Ｌ０上に位置）してＴ字接続状態となり、且つ他方の端点Ｂが撮影エリア４０の外周縁（撮影画像の外形輪郭線）に接続する傾向にある。このような読取対象外の原稿の外形輪郭等から抽出される線分は、ノイズ成分として傾斜角度推定の統計的処理に与える影響が大きいため、優先的に除外することが望ましい。
【００６３】
そこで、傾斜角度推定部３４は、各線分の端点について他の線分との接続状態を判定することにより、上記のような読取対象外の原稿の外形輪郭等から抽出される線分を統計的処理の対象から除外する処理を行う。この傾斜角度推定処理については後に詳述するが、統計的処理では、例えば図１４に示した本Ｂ１、Ｂ２の外形輪郭等から抽出した線分Ｌ１、Ｌ２を主なノイズ成分と見なして処理の対象から除外する。その結果、例えば図１５に示す本Ｂの外形輪郭において抽出した線分Ｌ０のように、撮影画像中の本の傾斜角度を推定するのに適切な有効線分を処理対象として抽出することができる。また、画像回転部３５は、推定された傾斜角度に基づき撮影画像を回転させることにより撮影画像を補正し、これにより、例えば図１６に示すように、原稿の基準方向と目標方向とが一致して撮影画像の傾きが解消される。
【００６４】
即ち、第１実施形態では、Ｔ字接続状態やＬ字接続状態は交差状態ではないとされ、ノイズ成分として除去されないが、第２実施形態では、Ｔ字接続状態やＬ字接続状態が特定の条件を満たす場合は、これをノイズ成分とみなして傾斜角度の検出対象から除外する処理を行なう。
【００６５】
図１７は第２実施形態に係る傾斜角度推定処理（図３中のステップＳＴ１０５に対応）の詳細を示すフロー図であり、図１８は図１７中のＴ字接続判定（ＳＴ３０６）における２つの線分の接続状態の説明図である。
【００６６】
図１７において、ステップＳＴ３０１〜ＳＴ３０５およびステップＳＴ３０８〜ＳＴ３１４は、第１実施形態の図８におけるステップＳＴ２０１〜ＳＴ２０５およびステップＳＴ２０７〜ＳＴ２１３にそれぞれ相当するため詳細な説明は省略する。一方、図１７では、図８のステップＳＴ２０６とは異なる処理を行うステップＳＴ３０６およびＳＴ３０７が実施される。
【００６７】
ステップＳＴ３０６において、傾斜角度推定部３４は、ステップＳＴ３０２で抽出した検査対象線分がステップＳＴ３０４で抽出した比較対象線分に対してＴ字接続状態であり、且つＴ字の縦画（Ｔ字を手書きしたときに第二画に該当する部分をいう。以下同じ）に相当するか否かを判定する。そこで、検査対象線分がＴ字接続状態にあり、且つＴ字の縦画に相当する場合（Ｙｅｓ）には、更に、他方の端点（Ｔ字接続とは反対側の端点）が撮影エリア４０の外周縁に接続するか否かを判定する（ＳＴ３０７）。そして、ステップＳＴ３０７において、他方の端点が撮影エリア４０の外周縁に接続する場合（Ｙｅｓ）には、ステップＳＴ３０８に進み、当該線分成分を傾斜角度推定から除外する処理を行う。例えば、図１４中XIVでは、Ｌ０を境界としてＬ１側に含まれる線分成分は、本Ｂ１に起因するノイズ成分とみなし、全て傾斜角度推定のためのヒストグラム情報から除外する。その後は図８と同様の処理が実施される。
【００６８】
一方、検査対象線分が比較対象線分に対してＴ字接続状態にない又はＴ字接続状態にあってもＴ字の横画（Ｔ字を手書きしたときに第一画に該当する部分をいう。）に相当する場合（ＳＴ３０６；Ｎｏ）、或いは、他方の端点が撮影エリア４０の外周縁に接続しない場合（ＳＴ３０７；Ｎｏ）には、ステップＳＴ３１０に進み、その後は図８と同様の処理が実施される。
【００６９】
次に、図１８を参照して上記ステップＳＴ３０６における判定の詳細について説明する。図１８に関し、特に言及しない点については、上述の図１２に関する説明と同様とする。
【００７０】
上記ステップＳＴ３０６では、例えば図１８に示すように、検査対象線分Line 1が、比較対象線分Line 2に対してＴ字接続状態にあり、且つＴ字の縦画であるか否か（すなわち、検査対象線分Line 1の端点Ａ（Xa_1，Ya_1）が比較対象線分Line 2上（端点を除く）に位置するか否か）が判定される。図１８では、検査対象線分Line 1の端点Ａ（Xa_1，Ya_1）周辺を各画素Ｐｅ単位に拡大して示している。
【００７１】
この判定には、上述の（式１）および（式２）を用いることができる。そして、上記ｒおよびｓが次の（条件２）を満たすとき、検査対象線分Line 1が、比較対象線分Line 2に対してＴ字接続状態にあり、且つＴ字の縦画であると判定する。
【００７２】
ｒ＝０±Δ 若しくは ｒ＝１±Δ ・・・（条件２）
【００７３】
上記（条件２）においては、Δ＝０とすることも可能であるが、Δを適切な値（０＜Δ＜＜１）に設定することにより、検査対象線分Line 1の端点Ａが比較対象線分Line 2上に位置すると見なせる程度に比較対象線分Line 2に近接する場合（すなわち、図１８中の距離ｄ０が所定の閾値以下の場合）も実質的に接続するとしてＴ字接続状態に含ませることができる。本実施形態では、Δを０より大きな値に設定し、検査対象線分と比較対象線分とが近接する場合も含めて接続していると判定する。
【００７４】
なお、上述したＳＴ３０７では、端点と撮像エリア４０の接続が曖昧となる状況が発生しない前提で接続有無を判定しているが、ここで示した接続状態の判定方法は、上記ステップＳＴ３０７における判定にも同様に適用することができる。
【００７５】
また、以上の説明ではＴ字接続か否かの判定は、（条件２）にのみ従っているが、これに、Line 1とLine 2の成す角度を判定条件として加えてもよい。実際に画像を回転させる角度は、例えば２゜，４゜．．．といった離散的な値とすることがあるが、この回転角度のステップ角より小さい角度で交わる線分情報は、撮影エリア４０の外周縁に接続するか否かにかかわらず考慮する必要がない。従って、Line 1とLine 2の交差角度が所定角度以下である場合は、接続判定処理を省略することができる。また、撮像対象ページの下のページが少しずれて、その輪郭が表に見えるような場合も、Line 1とLine 2の成す角度は小さく、ノイズとして除去すべき対象となる。
【００７６】
図１９は、第２実施形態に係る傾斜角度推定処理の第１の変形例を示すフロー図である。図１９において、ステップＳＴ４０１〜ＳＴ４０６およびステップＳＴ４０９〜ＳＴ４１５は、第１実施形態の図８におけるステップＳＴ２０１〜ＳＴ２０６およびステップＳＴ２０７〜ＳＴ２１３にそれぞれ相当するため詳細な説明は省略する。一方、図１９では、ステップＳＴ４０６の後に、更に、図１７のステップＳＴ３０６、ＳＴ３０７にそれぞれ相当するステップＳＴ４０７、ＳＴ４０８が実施される。
【００７７】
すなわち、この第１の変形例では、第１実施形態の場合と同様に、検査対象線分が比較対象線分と交差する場合には、当該検査対象線分が抽出候補（ヒストグラム情報の対象）から除外されると共に、更に、検査対象線分が比較対象線分に対してＴ字接続状態にあり且つその縦画に相当する場合には、当該検査対象線分が抽出候補から除外される。これにより、傾斜角度推定の統計的処理の対象からノイズ成分をより効果的に除去することができ、その結果、撮像画像の傾斜角度をより精度良く推定することが可能となる。
【００７８】
図２０は、第２実施形態に係る傾斜角度推定処理の第２の変形例による処理対象の抽出過程の一例を示す模式図である。
【００７９】
第２実施形態において、読取対象外の原稿の外形輪郭等から抽出される線分には、図１５中の拡大部XVに示す線分Ｌ１のように、一方の端点が本Ｂ０の外形輪郭から検出される線分Ｌ０に接続していても、他方の端点が、別の線分に接続するなどして、撮影エリア４０の外周縁に接続しないものが存在する。
【００８０】
このような場合、図２０に示すように、ユーザは、傾斜角度推定処理に際し、表示部２６で撮像画像を確認しながら入力操作部２４（共に図２参照）で操作することにより、撮影エリア４０の外周縁を標準の大きさから縮小する（図２０中の２点鎖線および実線参照）ことができる。これにより、図２０中の拡大部XXに示すように、別の線分にＬ字状に接続していた線分Ｌ１の他方の端点が撮影エリア４０の外周縁に接続した状態となり、上述の図１７におけるステップＳＴ３０７における判定において、当該線分Ｌ１をヒストグラム情報への追加の対象から除外することが可能となる。
【００８１】
他方、撮影エリア４０の外周縁から所定範囲を占める外縁部において、Ｌ字接続状態を検出した場合、Ｌ字を構成する２つの線分情報を傾斜角度推定のためのヒストグラム情報から除外する、というアルゴリズムを採用してもよい。
【００８２】
このように、第２実施形態に係る原稿読取システム１では、傾斜角度推定部３４が、本Ｂ０の外形輪郭から抽出される線分と撮像画像の外形輪郭線との双方に実質的に接続する本Ｂ１、Ｂ２の外形輪郭や載置面の画像から抽出された線分を統計的処理の対象から除外する構成としたため、統計的処理の対象からノイズ成分を効果的に除去することができ、その結果、撮像画像の傾斜角度を精度良く推定することが可能となる。特に、撮影エリア４０内に複数の原稿を重ねて配置した場合でも、最上位に載置された原稿の画像の傾きを確実に補正することが可能となる。
【００８３】
＜第３実施形態＞
図２１は、第３実施形態に係る線分抽出処理（図３中のステップＳＴ１０４に対応）の結果の一例を示す模式図である。図２１では、上述の第１または第２実施形態と同様の構成要素について同様の符号が付されている。また、第３実施形態において、以下で特に言及しない事項については、第１または第２実施形態の場合と同様とする。
【００８４】
図２１に示すように、第３実施形態の線分抽出処理においては、上述の図５の場合と同様に、本Ｂの紙面の画像および載置面６の画像において、複数の線分Ｌｖ、Ｌｗ、Ｌｘが検出される。ここで検出された複数の線分の中には、図２１中の拡大部XXI_aに示す外形輪郭から抽出された２つの線分Ｌｖのように、線分同士が互いにＬ字接続状態にあるものが存在する。このようなＬ字接続状態にある線分は、原稿の基準方向に一致して延在し、傾斜角度推定部３４の統計的処理に適する有効線分である可能性が高い。特に、線分同士が互いに略直交する場合には有効線分である可能性がより高くなる。
【００８５】
また、図２１中の拡大部XXI_bに示す載置面６から抽出された線分Ｌｘおよび外形輪郭から抽出された線分Ｌｖのように、線分同士がＴ字接続状態にあるものが存在する。このＴ字接続状態の線分においては、ノイズ成分である比較的短い線分Ｌｘが本Ｂの外形輪郭等から抽出された比較的長い線分Ｌｖに接続するような場合が多く、両線分のうち短い方を除外することが望ましい。
【００８６】
そこで、傾斜角度推定部３４は、各線分が互いにＬ字接続状態となるか否かを判定することにより、統計的処理に適する処理対象を抽出し、更に、残りの線分において線分同士がＴ字接続状態にあるか否かを判定し、Ｔ字接続状態にある場合には、より短い線分の方をノイズ成分として除外する。これにより、撮影画像の傾斜角度を推定するのに適切な線分を処理対象として抽出することができる。
【００８７】
図２２は第３実施形態に係る傾斜角度推定処理（図３中のステップＳＴ１０５に対応）の詳細を示すフロー図であり、図２３は図２２中の接続判定（ＳＴ５０５）における２つの線分の接続状態の説明図である。
【００８８】
図２２において、ステップＳＴ５０１〜ＳＴ５０４およびステップＳＴ５１４、ＳＴ５１５は、第１実施形態の図８におけるステップＳＴ２０１〜ＳＴ２０４、およびステップＳＴ２１２、ＳＴ２１３にそれぞれ相当するため詳細な説明は省略する。
【００８９】
ステップＳＴ５０５において、傾斜角度推定部３４は、ステップＳＴ５０２で抽出した検査対象線分と、ステップＳＴ５０４で抽出した比較対象線分とが互いにＬ字接続状態にあるか否かを判定する（ＳＴ５０５）。ここで、互いにＬ字接続状態にある場合（Ｙｅｓ）、当該検査対象線分の傾斜角度θを算出し（ＳＴ５０６）、これをヒストグラム情報に追加する（ＳＴ５０７）。そして、当該検査対象線分をステップＳＴ５０２の抽出候補から除外し（ＳＴ５０８）、ステップＳＴ５０４で抽出されるべき比較対象線分の情報をリセットする（ＳＴ５０９）。その後、再びステップＳＴ５０２に戻り、まだ接続状態を判定していない次の検査対象線分を抽出する。
【００９０】
一方、ステップＳＴ５０５においてＬ字接続状態にない場合（Ｎｏ）、続いて検査対象線分が比較対象線分と互いにＴ字接続状態にあるか否かを判定する（ＳＴ５１０）。ここで、Ｔ字接続状態にある場合（Ｙｅｓ）、両線分の接続角度および線分長をそれぞれ算出する（ＳＴ５１１）。そして、検査対象線分が有効である場合（ＳＴ５１２；Ｙｅｓ）、ステップＳＴ５０６に進み、上記と同様の処理を行う。ここで、ステップＳＴ５１２では、両線分の接続角度が所定の範囲内（例えば、９０°前後）にあり、且つ比較対象線分よりも検査対象線分が長い場合に有効であると判定する。
【００９１】
また、ステップＳＴ５１０においてＴ字接続状態にない場合（Ｎｏ）、或いは、ステップＳＴ５１２において有効でないと判定された場合（Ｎｏ）、当該比較対象線分をステップＳＴ５０４の抽出候補から除外する（ＳＴ５１３）。その後、再びステップＳＴ５０４に戻り、まだ接続状態を判定していない次の比較対象線分を抽出する。本実施形態では、最終的に全ての比較対象線分の比較が終了した場合（ＳＴ５１６；Ｙｅｓ）、図８におけるステップＳＴ２０５と同様に、当該検査対象線分をヒストグラム情報に追加する（ＳＴ５０７）。或いは、全ての比較対象線分の比較が終了した場合（ＳＴ５１６；Ｙｅｓ）にステップＳＴ５０８に進み、当該検査対象線分をヒストグラム情報に追加しない構成も可能である。
【００９２】
なお、Ｔ字状態接続の判定に関する上記ステップＳＴ５１０〜ＳＴ５１３は必要に応じて省略することができる。また、上記ステップＳＴ５０５において、検査対象線分と比較対象線分がＬ字接続状態にある場合には、更に、両線分の接続角度を判定し、その接続角度が９０°またはその近傍（略直角）である場合にのみ、ステップＳＴ５０６に進む構成としてもよい。これにより、原稿の基準方向に沿った辺を有する矩形状の外形輪郭や図形枠等に基づく有効線分をヒストグラム情報に確実に追加することが可能となる。この場合は、ＳＴ５０７で行われるヒストグラム情報への追加（度数のカウントアップ）において、通常の線分（ＳＴ５１６（Ｙｅｓ）を経由する場合）よりカウント値を多くするような重み付けを行ってもよい。
【００９３】
次に、図２３を参照して上記ステップＳＴ５０５における判定の詳細について説明する。図２３に関し、特に言及しない点については、上述の図１２に関する説明と同様とする。
【００９４】
上記ステップＳＴ５０５では、例えば図２３に示すように、検査対象線分Line 1が、比較対象線分Line 2に対してＬ字接続状態にあるか否か（すなわち、検査対象線分Line 1の端点Ａ（Xa_1，Ya_1）が比較対象線分Line 2の端点Ａ（Xa_2，Ya_2）と一致するか否か）が判定される。図２３では、検査対象線分Line 1の端点Ａ（Xa_1，Ya_1）およびLine 2の端点Ａ（Xa_2，Ya_2）周辺を各画素Ｐｅ単位に拡大して示している。
【００９５】
この判定には、上述の（式１）および（式２）を用いることができる。そして、上記ｒおよびｓが次の（条件３）を満たすとき、検査対象線分Line 1が、比較対象線分Line 2に対してＬ字接続状態にあると判定する。
【００９６】
ｒ＝０±Δ 且つ ｓ＝０±Δ ・・・（条件３）
【００９７】
上記（条件３）においては、Δ＝０とすることも可能であるが、Δを適切な値（０＜Δ＜＜１）に設定することにより、検査対象線分Line 1の端点Ａが比較対象線分Line 2の端点Ａと一致すると見なせる程度に両端点が近接する場合（すなわち、図２３中の距離ｄ１が所定の閾値以下の場合）もＬ字接続状態に含ませることができる。本実施形態では、Δを０より大きな値に設定し、検査対象線分と比較対象線分とが近接する場合も含めて接続していると判定する。
【００９８】
このように第３実施形態では、交差している線分をヒストグラム生成の過程で除去する第１、第２実施形態の考え方とは異なり、本の傾斜角度を最も反映する本の外形を積極的に抽出するプロセスを重視したものである。
【００９９】
図２４は、第３実施形態に係る傾斜角度推定処理（図３中のステップＳＴ１０４に対応）の変形例を示すフロー図である。ステップＳＴ６０１〜ＳＴ６０６およびステップＳＴ６０８〜ＳＴ６１４は、第１実施形態の図８におけるステップＳＴ２０１〜ＳＴ２０６、およびステップＳＴ２０７〜ＳＴ２１３にそれぞれ相当するため詳細な説明は省略する。一方、図２４では、線分間の交差を判定するステップＳＴ６０６の後に、更に、図２３のステップＳＴ５０５と同様のステップＳＴ６０７が実施される。
【０１００】
ステップＳＴ６０７では、傾斜角度推定部３４は、ステップＳＴ６０２で抽出した検査対象線分がステップＳＴ６０４で抽出した比較対象線分に対してＬ字接続状態にあるか否かを判定する。ここで、Ｌ字接続状態にある場合（Ｙｅｓ）、ステップＳＴ６１０に進み、その後は図８と同様の処理が実施される。これにより、傾斜角度推定の統計的処理の対象からノイズ成分をより効果的に除去することができ、その結果、撮像画像の傾斜角度をより精度良く推定することが可能となる。
【０１０１】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、撮影画像の傾斜角度を推定において実施する線分の傾斜角度についての統計的処理は、上記ヒストグラムを用いた方法に限定されず、他の周知の方法を用いることが可能である。また、上記実施形態で示した統計的処理の対象を抽出（または除外）する処理は単独で実施する必要はなく、統計的処理の対象を選択するための他の周知の方法を組み合わせることも可能である。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１０２】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、読み取られた原稿の画像の傾斜角度を推定する場合に、当該画像から取得された傾斜角度の推定に用いるための情報におけるノイズ成分を効果的に除去することにより、傾斜角度を精度良く推定可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【０１０３】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
６  載置面
２２  画像データ入力部（撮影画像取得部）
２３  画像処理装置
３２  エッジ抽出部
３３  線分抽出部
３４  傾斜角度推定部
３５  画像回転部
４０  撮影エリア
４３  文章領域
４４  図形枠
【図１】
2013137616.tif 000003
【図２】
2013137616.tif 000004
【図３】
2013137616.tif 000005
【図４】
2013137616.tif 000006
【図５】
2013137616.tif 000007
【図６】
2013137616.tif 000008
【図７】
2013137616.tif 000009
【図８】
2013137616.tif 000010
【図９】
2013137616.tif 000011
【図１０】
2013137616.tif 000012
【図１１】
2013137616.tif 000013
【図１２】
2013137616.tif 000014
【図１３】
2013137616.tif 000015
【図１４】
2013137616.tif 000016
【図１５】
2013137616.tif 000017
【図１６】
2013137616.tif 000018
【図１７】
2013137616.tif 000019
【図１８】
2013137616.tif 000020
【図１９】
2013137616.tif 000021
【図２０】
2013137616.tif 000022
【図２１】
2013137616.tif 000023
【図２２】
2013137616.tif 000024
【図２３】
2013137616.tif 000025
【図２４】
2013137616.tif 000026
【手続補正書】
【提出日】平成24年6月28日(2012.6.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、
前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、
前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部と
を備え、
前記傾斜角度推定部は、前記複数の線分の両端点の座標データを含む線分リスト情報を取得し、この線分リスト情報から前記各線分の相互の交差状態を所定の判定式を用い判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外することを特徴とする画像処理装置。
【請求項２】
前記傾斜角度推定部は、前記判定対象である線分の少なくとも一方の端点と、前記他の線分の少なくとも一方の端点とが所定の距離範囲内にある場合、前記判定対象である線分が前記他の線分と交差しないと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記傾斜角度推定部は、前記統計的処理において、前記複数の線分の傾斜角度についてのヒストグラムの情報を生成し、当該ヒストグラムの度数分布に基づき前記撮影画像の傾斜角度を推定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の画像処理装置は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記複数の線分の両端点の座標データを含む線分リスト情報を取得し、この線分リスト情報から前記各線分の相互の交差状態を所定の判定式を用い判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記課題を解決するためになされた第１の発明は、画像処理装置において、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記複数の線分の両端点の座標データを含む線分リスト情報を取得し、この線分リスト情報から前記各線分の相互の交差状態を所定の判定式を用い判定し、判定対象である線分が１または複数の他の線分と交差する場合、当該判定対象である線分を前記統計的処理の対象から除外する構成とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、第２の発明は、前記第１の発明において、前記判定対象である線分の少なくとも一方の端点と、前記他の線分の少なくとも一方の端点とが所定の距離範囲内にある場合、前記判定対象である線分が前記他の線分と交差しないと判定する構成とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
上記（条件１）においては、Δ＝０とすることも可能であるが、Δを適切な値（０＜Δ＜＜１）に設定することにより、一方の線分の端点が他方の線分の端点と一致する場合（以下、Ｌ字接続状態という。ただし、端点同士が一致すると見なせる程度に近接する（互いに所定の距離範囲内にある）場合も含む。）や、一方の線分の端点が他方の線分上に位置する場合（以下、Ｔ字接続状態という。ただし、端点が線分上に位置すると見なせる程度に互いに近接する（所定の距離範囲内にある）場合も含む。）を交差状態から排除している。即ち、本実施形態では、Δを０より大きな値（例えば、０．０５）に設定し、検査対象線分と比較対象線分とが完全に交わる場合（以下、完全交差状態という。）のみを交差していると判定する。