(57)【要約】【課題】デスキュー処理において、複雑な図形等を含む原稿の画像の傾斜角度を推定する場合であっても、ノイズ成分を簡易な処理により除去して処理負荷や処理時間の増大を抑制しつつ傾斜角度を精度良く推定する。【解決手段】撮影画像から抽出した線分の統計的処理を行うことによって撮影画像の傾斜角度を推定する傾斜角度推定部３６と、推定した傾斜角度に基づき撮影画像を回転させる画像回転部３７とを備えた画像処理装置３において、ノイズ成分除去部３５が、各線分の相互の交差状態を判定し、判定対象である線分が所定の閾値以上の交点を有する場合、当該判定対象である線分をノイズ成分として統計的処理の対象から除外する構成とした。【選択図】図２
2013149055.tif 000002
【特許請求の範囲】
【請求項１】
原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、
前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、
前記統計的処理の対象として不適切なノイズ成分を前記線分から除去するノイズ成分除去部と、
前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部と
を備え、
前記ノイズ成分除去部は、前記各線分の相互の交差状態を判定し、判定対象である線分が所定の閾値以上の交点を有する場合、当該判定対象である線分を前記ノイズ成分として選択することを特徴とする画像処理装置。
【請求項２】
前記ノイズ成分除去部は、前記ノイズ成分として選択した複数の前記線分について一連の交差状態にある線分群毎にグループ分けし、当該各グループにおいて、前記線分群を含むように範囲を定めた領域内に存在する線分を前記交点の数に拘わらず前記ノイズ成分として更に選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ成分除去部は、前記各グループにおいて、少なくとも２以上の線分の端点を結ぶ線によって形成される多角形または閉曲線内を前記領域として設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ成分除去部は、前記領域についてその重心を基準に所定の割合で縮小した縮小領域を設定し、当該縮小領域内に存在しない線分について前記ノイズ成分の選択対象から除外することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記ノイズ成分除去部は、前記ノイズ成分を除去した場合に前記統計的処理の対象となる有効線分の数が規定数未満である場合、前記閾値を増大させて前記ノイズ成分を再選択することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
請求項１から請求項５のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。また、この書画カメラでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。
【０００３】
画像の傾斜角度を推定する技術に関しては、例えば、エッジ処理後に二値化した画像データをハフ変換処理してパラメータ図表を生成するハフ変換手段と、そのパラメータ図表における座標の個数を角度θ毎に積算してヒストグラムを生成するヒストグラム生成手段と、そのヒストグラムから座標の個数が最多の角度θを特定することにより傾斜角度を推定する傾斜角度検出手段とを備えたデータ処理装置が知られている（特許文献２参照）。また、この従来技術によれば、ヒストグラムを生成する代わりに、パラメータ図表においてハフ曲線の重複が多い座標を抽出してグループ化し、各グループの代表の座標を選出して傾斜角度を推定することもできる。
【０００４】
さらに、画像の傾斜角度の推定精度を向上させるための技術として、原稿の画像を複数の領域に分割した分割画像毎にハフ変換を行ってヒストグラムデータを生成し、当該ヒストグラムデータの生成の際に、分割画像が写真または絵柄を示している場合にはデータを加算せず、分割画像が文字または線画を示している場合にはデータを加算する画像処理装置が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平１１−３２８４０８号公報
【特許文献３】特許４１４０５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、原稿内に複雑な図形（地図、イラスト、写真等）が存在する場合には、それら原稿内の図形から多数の直線成分が抽出され、それらの直線成分は、画像の傾斜角度の推定に用いる情報のノイズ成分（すなわち、原稿の基準方向と一致しないために傾斜角度を推定するのに不適切な情報）となって傾斜角度の推定精度に悪影響を及ぼす場合がある。
【０００７】
しかしながら、上記特許文献３に記載のような従来技術では、ノイズ成分を除去するために分割画像毎に属性を判定する（すなわち、写真、絵柄、文字、線画等の画像の種類を識別する）という複雑な処理が必要となり、処理負荷や処理時間の増大を招くという問題があった。また、上記特許文献３では分割画像の属性を判定するための具体的な方法については開示されていないが、その判定の精度によっては、画像の傾斜角度を推定するための適切な情報が排除されたり、ノイズ成分が増大したりするという問題が生じる。
【０００８】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、複雑な図形等を含む原稿の画像の傾斜角度を推定する場合であっても、当該画像から取得された傾斜角度の推定に用いるための情報におけるノイズ成分を簡易な処理により除去することにより、処理負荷や処理時間の増大を抑制しつつ傾斜角度を精度良く推定可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記統計的処理の対象として不適切なノイズ成分を前記線分から除去するノイズ成分除去部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記ノイズ成分除去部は、前記各線分の相互の交差状態を判定し、判定対象である線分が所定の閾値以上の交点を有する場合、当該判定対象である線分を前記ノイズ成分として選択することを特徴とする。
【発明の効果】
【００１０】
このように本発明によれば、複雑な図形等を含む原稿の画像の傾斜角度を推定する場合であっても、当該画像から取得された傾斜角度の推定に用いるための情報におけるノイズ成分を簡易な処理により除去することができ、その結果、処理負荷や処理時間の増大を抑制しつつ傾斜角度を精度良く推定可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る原稿読取システム１を示す全体構成図
【図２】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図３】図１の原稿読取システム１による原稿読取手順を示すフロー図
【図４】図３中の画像入力（ＳＴ１０２）により取得された撮影画像の一例を示す模式図
【図５】図３中のデスキュー（ＳＴ１０３）の手順の詳細を示すフロー図
【図６】図５中の線分抽出（ＳＴ２０４）によって抽出された線分の配列データの一例を示す図
【図７】図５中の線分抽出（ＳＴ２０４）の処理結果の一例を示す説明図
【図８】図５中の交点検出（ＳＴ２０５）の処理過程の一例を示す説明図
【図９】図５中の線分選定（ＳＴ２０６）の選定結果の一例を示す説明図
【図１０】図５中の領域選定（ＳＴ２０７）における一処理過程を示す説明図
【図１１】図５中の領域選定（ＳＴ２０７）における一処理過程を示す説明図
【図１２】図５中の領域選定（ＳＴ２０７）における一処理過程を示す説明図
【図１３】図５中の傾斜角度推定（ＳＴ２０９）における有効線分の一例を示す説明図
【図１４】図５中の傾斜角度推定（ＳＴ２０９）において生成されるヒストグラムの一例を示す図
【図１５】図５中の画像回転（ＳＴ２１０）の処理結果の一例を示す模式図
【図１６】図５中の領域選定（ＳＴ２０７）における一処理過程の変形例を示す説明図
【図１７】図５中の領域選定（ＳＴ２０７）における一処理過程の変形例を示す説明図
【図１８】第２実施形態に係るデスキュー（図３中のＳＴ１０４に対応）の手順の詳細を示すフロー図
【発明を実施するための形態】
【００１２】
上記課題を解決するためになされた第１の発明は、画像処理装置において、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の線分を抽出する線分抽出部と、前記複数の線分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記統計的処理の対象として不適切なノイズ成分を前記線分から除去するノイズ成分除去部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記撮影画像の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記ノイズ成分除去部は、前記各線分の相互の交差状態を判定し、判定対象である線分が所定の閾値以上の交点を有する場合、当該判定対象である線分を前記ノイズ成分として選択する構成とする。
【００１３】
これによると、抽出された複数の線分の傾斜角度の統計的処理によって撮影画像の傾斜角度を推定する場合に、所定の閾値以上の交点を有する線分を統計的処理の対象から除外する構成としたため、複雑な図形等を含む原稿の画像であっても、ノイズ成分となる線分を簡易な処理により除去することができ、その結果、処理負荷や処理時間の増大を抑制しつつ傾斜角度を精度良く推定することが可能となる。
【００１４】
また、第２の発明は、前記第１の発明において、前記ノイズ成分除去部は、前記ノイズ成分として選択した複数の前記線分について一連の交差状態にある線分群毎にグループ分けし、当該各グループにおいて、前記線分群を含むように範囲を定めた領域内に存在する線分を前記交点の数に拘わらず前記ノイズ成分として更に選択する構成とする。
【００１５】
これによると、ノイズ成分として選択された線分群を含むように範囲を定めた領域内に存在する線分は、図形等から抽出されたノイズ成分である可能性が高いため、所定の閾値以上の交点を有していない線分を含めてノイズ成分をより効果的に除去することができる。
【００１６】
また、第３の発明は、前記第２の発明において、前記ノイズ成分除去部は、前記各グループにおいて、少なくとも２以上の線分の端点を結ぶ線によって形成される多角形または閉曲線内を前記領域として設定する構成とする。
【００１７】
これによると、ノイズ成分が存在する領域を簡易かつ適切に設定することが可能となり、ノイズ成分となる線分を簡易な処理により除去することができる。
【００１８】
また、第４の発明は、前記第２または第３の発明において、前記ノイズ成分除去部は、前記領域についてその重心を基準に所定の割合で縮小した縮小領域を設定し、当該縮小領域内に存在しない線分について前記ノイズ成分の選択対象から除外する構成とする。
【００１９】
これによると、傾斜角度の推定に適した原稿の外形輪郭や図形枠等がノイズ成分として除去されることを防止し、不要な線分のみをノイズ成分として除去することができる。
【００２０】
また、第５の発明は、前記第１から第４の発明のいずれかにおいて、前記ノイズ成分除去部は、前記ノイズ成分を除去した場合に前記統計的処理の対象となる有効線分の数が規定数未満である場合、前記閾値を増大させて前記ノイズ成分を再選択する構成とする。
【００２１】
これによると、ノイズ成分となる線分の過度な除去により有効線分が不足して傾斜角度の推定精度が低下するという不都合を回避することができる。
【００２２】
また、第６の発明は、前記第１から第５の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。
【００２３】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２４】
＜第１実施形態＞
図１は、第１実施形態に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２５】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状の脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。
【００２６】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。
【００２７】
なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。また、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２８】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対して表示される。なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２９】
図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００３０】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００３１】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮像画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３８から読み出され、また、後述する画像傾斜補正部３０での統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３９から読み出される。
【００３２】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。ただし、画像処理装置としての処理機能はＰＣ３のソフトウェア処理に基づくものに限定されず、同様の処理を実行可能なハードウェアを用いて実現してもよい。
【００３３】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３８に格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３４】
画像傾斜補正部３０は、撮影画像を縮小する画像縮小処理部３１と、縮小された撮影画像についてエッジ抽出（本やコンテンツの輪郭抽出等）を行うエッジ抽出部３２と、抽出されたエッジ画素の２値化および細線化を行う２値化処理部３３と、複数のエッジ画素から線分の抽出（直線成分検出）を行う線分抽出部３４と、抽出された複数の線分からノイズ成分（傾斜角度を推定するのに不適切な線分）を除去するノイズ成分除去部３５と、ノイズ成分が除去された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する傾斜角度推定部３６と、推定された傾斜角度に基づき撮影画像を回転させる処理を行う画像回転部３７とを有している。
【００３５】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３６】
図３は図１の原稿読取システム１による原稿読取手順を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０２）により取得された撮影画像の一例を示す模式図である。
【００３７】
まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本を開いた状態でセットし（ＳＴ１０１）、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される（ＳＴ１０２）。
【００３８】
ここで、撮影画像は、例えば図４に示すように、書画カメラ２の撮影エリア４１により矩形の外形輪郭線で画成され、本Ｂの紙面の画像とその背景となる載置面６の画像とを含む。本Ｂの紙面には、文字や記号等が表示された文章領域４２と、地図の挿絵が表示された図形領域４３と、表が示された表領域４４とが含まれる。
【００３９】
図４では、傾き補正が必要となる撮像画像の例を示している。つまり、撮影画像の水平（横）方向をＸ軸方向、垂直（縦）方向をＹ軸方向とすると、撮影画像の仮想の水平線（原稿の基準方向）Ｈ１は、後に詳述する傾き補正の目標方向となるＸ軸に平行な補正基準線Ｈ０に対して角度θだけ傾いている。ここでは説明の便宜上、図示等を省略するが、撮影画像の仮想の垂直線についても水平線Ｈ１と同様に原稿の基準方向とすることが可能であり、その場合、Ｙ軸に平行な方向が傾き補正の目標方向となる。
【００４０】
再び図３を参照して、ＰＣ３では、書画カメラ２から受信した撮影画像データのデスキュー処理を行って撮像画像の傾きを補正する（ＳＴ１０３）。最終的に傾き補正された撮影画像は、画像傾斜補正部３０から表示データ生成部２７に送られて表示部２６に表示され（ＳＴ１０４）、同時にデータ格納部２８に送られて格納される。なお、詳細な説明は省略するが、画像処理部２３は、上述のデスキュー処理の他にも周知の画像処理を必要に応じて撮像画像に対して行うことができる。
【００４１】
図５は図３中のデスキュー（ＳＴ１０３）の手順の詳細を示すフロー図である。また、この図５中の処理に関し、図６は線分抽出（ＳＴ２０４）によって抽出された線分の配列データの一例を示す図であり、図７は線分抽出（ＳＴ２０４）の処理結果の一例を示す説明図であり、図８は交点検出（ＳＴ２０５）の処理過程の一例を示す説明図であり、図９は線分選定（ＳＴ２０６）の選定結果の一例を示す説明図であり、図１０、図１１及び図１２は領域選定（ＳＴ２０７）における一連の処理過程の例を示す説明図であり、図１３は傾斜角度推定（ＳＴ２０９）における有効線分の一例を示す説明図であり、図１４は傾斜角度推定（ＳＴ２０９）において生成されるヒストグラムの一例を示す図であり、図１５は画像回転（ＳＴ２１０）の処理結果の一例を示す模式図である。
【００４２】
図５に示すように、デスキュー処理では、まず画像縮小処理部３１が、撮像画像のデータ量を低減して画像処理を高速化するために画像の縮小処理を行う（ＳＴ２０１）。この縮小処理は、周知の方法を用いて行うことができるが、後の線分の抽出を適切に行うためにエッジ保存型の処理を用いることがより好ましい。続いて、エッジ抽出部３２は、縮小された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ２０２）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。さらに、２値化処理部３３は、抽出されたエッジ画素について周知の方法により２値化および細線化を行う（ＳＴ２０３）。
【００４３】
次に、線分抽出部３４は、細線化された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分の抽出を行う（ＳＴ２０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換は、画像の中から端点を持つ線分を抽出する際に用いられ、抽出された線分について両端点の座標値を取得することができる。ここで抽出された各線分のデータはナンバリングされ、図６に示す線分の配列データとしてパラメータ記憶部３９に格納される。ここで、線分の配列データには、抽出された各線分（線分番号１〜ｎ）についての両端点（端点１、２）のＸＹ座標や、後に詳述するグループ番号、選定属性、交点数、交点座標等が含まれる。この線分の配列データの内容は画像処理部２３の処理状況に応じて動的に変化する。
【００４４】
この線分抽出処理により、図７に示すように、本Ｂの紙面の画像において複数の線分（図７中の実線参照）が抽出される。ここで、本Ｂの外形輪郭および原稿綴じ部や表領域４４における図形枠（表の外枠）において抽出される線分Ｌｖは、本Ｂの水平または垂直方向に概ね整列する傾向にある。また、文章領域４２において抽出される線分Ｌｗは、文章の各行の方向（ここでは、本Ｂの水平方向）に概ね整列する傾向にある。一方、図形領域４３における地図から抽出される線分Ｌｘは、互いに交差した不規則な状態となる傾向にある。以下では、説明の便宜上、図形領域４３から抽出される線分Ｌｘのみに注目して図５中のステップＳＴ２０５〜ＳＴ２０８の処理について述べる。なお、ここでは図形領域４３に地図が表示される例を示したが、これに限らず他の図形等（例えば、漫画、イラスト、写真、記号群など）についても同様に処理することができる。
【００４５】
次に、ノイズ成分除去部３５は、ステップＳＴ２０４で抽出された複数の線分について相互の交差状態を判定し、図８に示すように全ての交点Ｐｉを検出する（ＳＴ２０５）。検出した交点Ｐｉの数および各座標のデータは、図６中の各線分の配列データに格納される。
【００４６】
ここで、交点Ｐｉの座標の抽出は、ステップＳＴ２０１の縮小画像における全画素の行列配置に対応させたページメモリ（記録媒体のメモリ配列。後述するように、状況に応じて画素値のインクリメントを行うため、当該ページメモリは、各画素２ビット以上の多値ビットマップを構成する）を用いて行うことができる。図８中には、破線で囲まれた交点Ｐｉ０の周囲領域（５×５画素）に対応するメモリ配列（一部）の例を示している。メモリ配列内の各アドレスに表示された数値の初期値は０であり、ステップＳＴ２０４で線分が抽出されると、この抽出された１つの線分を構成する画素（アドレス）に対して１が加算される。この処理を全ての線分（ここでは、図６中の線分番号１〜ｎ）について行った結果が図８中のメモリ配列である。線分の交点位置の画素は、２以上の線分を構成するため、数値が２以上となった画素を交点とみなす。この場合、隣接する複数の画素（例えば、２×２画素）を１つの交点として扱うとよく、図８ではメモリ配列内の太線内の配列が交点Ｐｉ０に相当する。
【００４７】
なお、ステップＳＴ２０５における交点検出処理については、ここで示した方法に限らず、他の周知の方法を用いてもよい。また、判定対象である線分が交点を有する場合としては、他の線分と完全に交差する場合に限らず、他の線分とＴ字状やＬ字状に接続する場合があるが、図形枠等から抽出される有効線分が除外されることを抑制するためにＴ字状接続やＬ字状接続における交点をステップＳＴ２０５の検出対象から除外してもよい。一方、Ｔ字状接続やＬ字状接続における交点を検出対象から除外しない場合には、判定対象である線分の一方の端点が、他の線分に近接する場合に、Ｔ字状接続やＬ字状接続であると見なして交点を検出することも可能である。      
【００４８】
再び図５を参照して、ノイズ成分除去部３５は、ステップＳＴ２０４で抽出された複数の線分からノイズ成分の候補となる線分を選定する（ＳＴ２０６）。より詳細には、ノイズ成分除去部３５は、所定の閾値（ここでは、閾値＝２）以上の交点を有する線分のみを選定する。これにより、例えば図９中に太線で示すような複数の線分Ｌ１が選定される。選定結果は、図６中の各線分の配列データに選定属性として格納され、この選定属性としては、交点が閾値以上の場合には選定された線分であることを示す０が付され、交点が１以下の場合には非選定線分であることを示す１が付される。線分の選定の基準となる閾値については適宜変更することが可能である。
【００４９】
なお、ステップＳＴ２０６では、線分の両端点間に存在する交点の数によって線分を選定する構成としたが、各線分の長さ（両端点間の距離）を考慮し、単位長さ当たりの交点の数によって線分を選定する構成としてもよい。これにより、地図等から抽出される線分のように単位長さ当たりの交点の数が比較的大きいものをノイズ成分として効果的に除去できる一方、表等から抽出される線分のように単位長さ当たりの交点の数が比較的小さいものがノイズ成分として除去されることを防止することができる。
【００５０】
次に、ノイズ成分除去部３５は、撮像画像においてノイズ成分の候補となる線分が存在する領域を選定する（ＳＴ２０７）。この領域選定処理では、まずステップＳＴ２０６で選定された複数の線分について、一連の交差状態にある線分群毎にグルーピングを行う。
【００５１】
より詳細には、例えば図６において、上記ステップＳＴ２０６で選定された線分（選定属性＝０）において最も線分番号が小さい線分（ここでは、線分番号１）をグループ１に属するもの（グループ番号＝１）とし、この線分番号１が有する交点座標と同一座標の交点を有する他の線分（選定属性＝０）を探索し、それら探索された線分についてもグループ番号＝１に設定する。さらに、それらの新たにグループ番号＝１が付与された線分（線分番号２等）についても、線分番号１と同様の探索処理を順次行う。その後は、新たに探索された線分について芋蔓式に探索処理を行って、最終的に探索される線分がなくなるまで同様の処理を繰り返す。その結果、図１０に示すように、一連の交差状態にある第１の線分群をグループ１に設定することがでる。
【００５２】
続いて、グループ番号が未だ設定されていない線分（選定属性＝０）において最も線分番号が小さい線分（ここでは、線分番号３）をグループ２に属するもの（グループ番号＝２）とし、上記グループ１の場合と同様に、線分番号３が有する交点座標を起点として他の線分を順次探索し、それら探索された線分についてグループ番号＝２に設定する。その結果、図１０に示すように、一連の交差状態にある第２の線分群をグループ２に設定することができる。
【００５３】
なお、ここではステップＳＴ２０６で選定された線分が２つのグループ１，２に属する例を示したが、線分の交差状態によっては更に多くのグループ（グループ番号＝３以降）を同様に設定することが可能である。
【００５４】
その後、ノイズ成分除去部３５は、図１１中に破線で示すように、上記グループ１，２に属する線分群を含むように範囲を定めたノイズ成分領域Ｒ１、Ｒ２を設定する。このノイズ成分領域Ｒ１、Ｒ２は、上述のように交点の数が閾値以上でない場合でも不要な線分が存在する可能性が高い領域であり、図６に示す線分の配列データの端点座標の情報に基づき、各グループ１，２において、少なくとも２以上の線分の端点を結ぶ線によって形成される多角形として設定する。
【００５５】
より詳細には、例えばグループ１における任意の１つの端点（ここでは、線分番号１の一方の端点）を基点Ｐ１とし、この基点Ｐ１との距離を他の全ての端点について算出する。そこで算出した距離が最小となる端点を新たな基点Ｐ２に設定する。そして、基点Ｐ１の場合と同様に、基点Ｐ２との距離を残りの他の全ての端点について算出し、算出した距離が最小となる端点を新たな基点Ｐ３に設定する。その後は、同様の処理により順次基点を設定し、最終的に全ての線分について少なくとも一方の端点を基点として設定するまで処理を繰り返す。その結果、図１１に示すグループ１に属する線分群を囲むように外周を定めた多角形のノイズ成分領域Ｒ１を設定することができる。グループ２のノイズ成分領域Ｒ２についても同様である。
【００５６】
なお、所定の基点から新たな基点を設定する際には、距離が最小となる端点（新たな基点の候補）について、その端点と基点とを結ぶ線分と、グループ１における全ての線分との交差状態を判定し、交差すると判定した場合には、距離が次に小さい別の端点を新たな基点の候補として選択するとよい。これにより、本来ならノイズ成分領域に包含されるべき線分が、外部にはみ出す事態が防止され、ノイズ成分領域の設定精度が向上する。また、ここでは、ノイズ成分領域を多角形として設けた（すなわち、隣接する基点同士を直線で結んだ）例を示したが、隣接する基点同士を曲線で結ぶことにより、各基点を通る閉曲線内をノイズ成分領域として設定してもよい。
【００５７】
さて、特定の点や線分がノイズ成分領域（以降、単に「閉空間」と呼称することがある）の内外いずれに存在するかを判定するために、上述した多値ビットマップのコピーを作りワークメモリとして利用する。まず、上述した端点の連結によって閉空間を特定する際、端点を連結する毎に当該端点で規定される線分を多値ビットマップに描画（プロット）する。このとき多値ビットマップの画素値は、内外判定用の仮想的な線分（境界）であることを明示するため例えば０ｘｆｆ（＝１０進数の２５５）のように、交点検出過程では得られない特別な値としておく（多値ビットマップにおいて、画素値＝０ｘｆｆは画素座標に２５４個の交点が存在することを意味し、通常はありえない値である）。
【００５８】
そして、この閉空間を構成する線分の描画が完了すると、図６に示す線分の配列データから当該閉空間に含まれる１つの線分を抽出する。そして、この線分の中点（閉空間の内部に必ず存在する）を始点として、いわゆる「塗りつぶしアルゴリズム」によって、閉空間の内側に対応する多値ビットマップの座標を特定の値（上述した０ｘｆｆとは異なり、しかも交点検出過程では得られない特別な値。例えば０ｘｆｅ（＝１０進数の２５４））で塗りつぶす。この「塗りつぶしアルゴリズム」は、指定された点を出発点に、その周囲に境界色（ここでは０ｘｆｆ）でない画素があれば色を付ける（即ち、０ｘｆｅで置き換える）処理をリカーシブルコール（再帰呼出し）して繰り返すもので、公知のアルゴリズムで実現できる。
【００５９】
その後、ノイズ成分除去部３５は、図６に示す線分の配列データと「塗りつぶしアルゴリズム」によって閉空間の内部を塗りつぶした多値ビットマップを参照して、図１２に示すように、ノイズ成分領域Ｒ１、Ｒ２内に存在する全ての線分Ｌ２（選定属性＝１）の選定属性を０に変更する。ここでは、ノイズ成分領域Ｒ１、Ｒ２に内包される線分のみの選定属性を変更する構成としたが、少なくとも一方の端点のみがノイズ成分領域Ｒ１、Ｒ２内に存在する線分の属性を０に変更する構成としてもよい。
【００６０】
このように、ノイズ成分除去部３５は、ハフ変換に基づいて抽出した各線分の相互の交差状態を判定し、互いに交差する線分の群によって規定される（張られる）閉空間内に存在する線分は、他の線分と交差していなくても（他の線分との交差の有無にかかわらず）撮像画像（原稿）の傾斜角度の推定から除外する、つまり従来は特定の傾斜角度をもった線分情報として考慮していたものを、考慮の対象から除外している。これはハフ変換後の直線成分が交錯する空間内で、他の直線と交差しない単独の線分があったとしても、そのような線分は数量の多少にかかわらず、線図等のコンテンツに依存しているか偶発的なものであり、傾斜角度の推定において参照すべきではないことが経験的に認められるからである。
【００６１】
次に、ノイズ成分除去部３５は、図６の線分の配列データにおいて選定属性が０の線分を不要線分とし、画像傾斜補正部３０での統計的処理に用いる線分（ステップＳＴ２０４で抽出された複数の線分）から排除する（ＳＴ２０８）。つまり、ステップＳＴ２０６で選定した第１の不要線分（図９中の線分Ｌ１参照）と、ステップＳＴ２０７で選定したノイズ成分領域Ｒ１、Ｒ２内に存在する第２の不要線分（図１２中の線分Ｌ２参照）とが排除される。その結果、図１３に示すように、図７に示した線分Ｌｖや線分Ｌｗのように、撮影画像の傾斜角度を推定するのに適切な有効線分（原稿の基準方向に沿った線分）を処理対象として抽出することができる。
【００６２】
なお、上記第１の不要線分において、ノイズ成分領域の外周（すなわち、図１１中の端点を接続する辺）に重なる線分が存在する場合には、当該線分を不要線分から除外するとよい。これにより、図形枠等の有効成分がノイズ成分として除去されることを回避できる。また、ノイズ成分除去部３５により、上記第１の不要線分および第２の不要線分における各線分の長さを算出し、これが規定の長さ（例えば、原稿の短辺長さの４０％）以上である場合には、当該線分を不要線分から除外するとよい。これにより、縁なしの図形等が原稿一面に存在する場合でも、原稿の外形輪郭や綴じ部から抽出される有効成分がノイズ成分として除去されることを回避できる。
【００６３】
次に、傾斜角度推定部３６は、ステップＳＴ２０８において排除されずに残った有効線分に基づき撮影画像の傾斜角度を推定する（ＳＴ２０９）。より詳細には、傾斜角度推定部３６は、図６の線分の配列データにおいて選定属性が１の線分（主として図７に示した線分Ｌｖや線分Ｌｗからなる）について、各々の端点座標に基づきその線分の傾斜角度θをそれぞれ算出し、その算出結果をヒストグラム情報に追加（すなわち、統計的処理の対象として抽出）する。つまり、ヒストグラムの横軸を傾斜角度θ、縦軸を度数として、θに対応する度数をカウントアップする。そして、追加されたヒストグラム情報に基づき、例えば図１４に示すようなヒストグラムを生成し、このヒストグラムの傾斜角度分布における最大度数を検索し、この最大度数の値（例えば、階級の間隔の中間値）を撮影画像の傾斜角度として推定する。
【００６４】
なお、書画カメラの利用シーンでは、ユーザは、ユーザと対面する位置に書画カメラを設置して、ユーザが本を読む状態のまま（つまり、図１の書画カメラ２の略Ｖ字状の脚７の根元の側に、本の上段が位置するように）、本を撮像範囲に置くのが自然である。そうすると、撮影画像の傾斜角度は通常は一定の範囲内となり、ヒストグラムの階級の値も所定の範囲（ここでは、−45°〜＋45°）に制限するとよい。もちろん、このように狭く限定することなく、撮像画像の傾斜角度として例えば±180゜を許容してもよい。また、撮影画像の水平・垂直の双方を基準方向とする場合には、両基準方向に対する傾斜角度の度数分布を重ねるようにデータを処理してヒストグラムを生成することができる。なお、ヒストグラムの階級の間隔（境界値）は、読取対象となる原稿の種類や紙面の内容に応じて適宜変更することができる。
【００６５】
次に、画像回転部３７は、ステップＳＴ２０９において推定された傾斜角度に基づき撮影画像を回転させる（ＳＴ２１０）。これにより、撮影画像の傾きが補正され、正規の読取位置にて（すなわち、傾きなしで）本Ｂの紙面が読み取られた場合と同等の撮影画像が生成される。つまり、図１５に示すように、原稿の基準方向（水平・垂直方向）と目標方向（Ｘ軸・Ｙ軸方向）とが略一致して撮影画像の傾きが解消される。なお、傾き補正された撮影画像は、画像傾斜補正部３０から表示データ生成部２７およびデータ格納部２８に送られる。そして、表示データ生成部２７では傾き補正後の撮像画像に対して、例えばそのページ全体からコンテンツが記載されている領域を抽出し、本の高さに起因する湾曲を補正してフラットな画像を生成して表示部２６に表示する。
【００６６】
なお、図５に示したデスキュー処理では、所定の閾値以上の交点を有する第１の不要線分に加え、交点の数に拘わらずノイズ成分領域Ｒ１、Ｒ２内に存在する第２の不要線分を排除する構成としたが、上記ステップＳＴ２０７を省略して、ステップＳＴ２０６において選定した第１の不要線分のみを排除する構成も可能である。
【００６７】
図１６及び図１７は図５中の領域選定（ＳＴ２０７）の一連の処理過程の変形例を示す説明図である。以下で特に言及しない事項については、図１０〜図１２に関して説明した領域選定の処理と同様とする。
【００６８】
この変形例では、ノイズ成分除去部３５は、上述と同様にステップＳＴ２０６で選定された線分をグルーピング（図１０参照）した後に、ノイズ成分領域Ｒ１、Ｒ２（図１１参照）を設定する。その後、ノイズ成分除去部３５は、図１６に示すように、多角形をなすノイズ成分領域Ｒ１、Ｒ２の重心（図心）Ｇ１，Ｇ２の位置を周知の方法により算出する。例えば、ノイズ成分領域Ｒ１内に始点を設定し、この始点と各基点とを結ぶ線によってノイズ成分領域Ｒ１内に形成された複数の三角形の重心（位置ベクトル）をそれぞれ算出し、これらの重心を各三角形の面積で加重平均することにより重心Ｇ１（重心Ｇ２も同様）を求めることができる。
【００６９】
続いて、ノイズ成分除去部３５は、各ノイズ成分領域Ｒ１、Ｒ２において、重心Ｇ１，Ｇ２と各基点との距離を算出し、当該距離を短縮する（ここでは、９０％の長さとなる）ように各基点を内側に移動させることによって縮小されたノイズ成分領域（縮小領域）Ｒ１ａ、Ｒ２ａを設定する。そこで、ノイズ成分除去部３５は、図１７に示すように、縮小ノイズ成分領域Ｒ１ａ、Ｒ２ａ内に存在する全ての線分Ｌ２ａ（選定属性＝１）の選定属性を０に変更する。
【００７０】
このように、縮小ノイズ成分領域Ｒ１ａ、Ｒ２ａを用いることにより、例えば図７中の線分Ｌｖや線分Ｌｗのような傾斜角度の推定に適した原稿の外形輪郭や図形枠等がノイズ成分として除去されることを防止し、不要な線分のみをノイズ成分として除去することができる。なお、ノイズ成分領域Ｒ１、Ｒ２の縮小の割合は、処理対象となる原稿画像に応じて適宜変更することが可能である。
【００７１】
上記原稿読取システム１では、原稿画像の傾斜角度の推定に際し、ノイズ成分除去部３５が、各線分の相互の交差状態を判定し、判定対象である線分が所定の閾値以上の交点を有する場合、当該判定対象である線分をノイズ成分として選択する構成としたため、複雑な図形等を含む原稿の画像であっても、ノイズ成分となる線分を簡易な処理により除去することができ、その結果、安価な画像処理装置（ＣＰＵ等）を用いた場合であっても処理負荷や処理時間の増大を抑制しつつ傾斜角度を精度良く推定することが可能となる。
【００７２】
また、上記原稿読取システム１では、ノイズ成分除去部３５は、一連の交差状態にあるグループ１，２の線分群（第１の不要線分）を含むようにそれぞれ範囲を定めたノイズ成分領域Ｒ１、Ｒ２内に存在する線分を交点の数に拘わらず更なるノイズ成分（第２の不要線分）として選択することができ、これにより、所定の閾値以上の交点を有していない線分を含めてノイズ成分をより効果的に除去することができる。この場合、ノイズ成分領域Ｒ１、Ｒ２は、第１の不要線分のうち少なくとも２以上の線分の端点を結ぶ線によって形成される多角形または閉曲線によって画成することができ、これにより、ノイズ成分が存在する領域を簡易かつ適切に設定することが可能となる。
【００７３】
また、ノイズ成分除去部３５は、ノイズ成分領域Ｒ１、Ｒ２をその重心Ｇ１、Ｇ２を基準に所定の割合で縮小した縮小ノイズ成分領域Ｒ１ａ、Ｒ２ａを設定し、当該縮小領域内に存在しない線分についてノイズ成分の選択対象から除外することができ、これにより、傾斜角度の推定に適した原稿の外形輪郭や図形枠等がノイズ成分として除去されることを防止し、不要な線分のみをノイズ成分として除去することができる。
【００７４】
＜第２実施形態＞
図１８は第２実施形態に係るデスキュー（図３中のＳＴ１０４に対応）の手順の詳細を示すフロー図である。図１８において、ステップＳＴ３０１〜ＳＴ３０８およびＳＴ３１２、ＳＴ３１３は、第１実施形態の図５におけるステップＳＴ２０１〜ＳＴ２０８およびＳＴ２０９、ＳＴ２１０にそれぞれ相当するため詳細な説明は省略する。また、第２実施形態において、以下で特に言及しない事項については、第１実施形態の場合と同様とする。
【００７５】
上述の第１実施形態では、図５中の線分選定（ＳＴ２０６）において２以上の交点を有する線分をノイズ成分の候補と選定するものとしたが、ここで選定されずに残った有効線分が少ない場合（例えば、図７に示した本Ｂの紙面に線分ＬｖやＬｗが殆ど存在しない場合）には、傾斜角度推定（図５中のＳＴ２０９参照）の精度が低下する場合がある。
【００７６】
そこで、第２実施形態では、ノイズ成分除去部３５は、不要線分を排除した（ＳＴ３０８）後に、残りの有効線分の数をカウントし（ＳＴ３０９）、その数が規定数に満たない場合（ＳＴ３１０：Ｎｏ）には、交点の閾値を１つ増やし（ＳＴ３１１）、再び線分選定（ＳＴ３０６）を実行する。その後、閾値を漸増させ最終的に有効線分が規定数（すなわち、傾斜角度を精度良く推定可能な数）以上となると（ＳＴ３１０：Ｙｅｓ）、ノイズ成分除去部３５は傾斜角度推定（ＳＴ３０９）を実行する。このような処理を行うことにより、ノイズ成分の過度な除去により有効線分が不足して傾斜角度の推定精度が低下するという不都合を回避することができる。
【００７７】
なお、第２実施形態では、有効線分が不足する場合の処理について示したが、逆に有効線分が多数存在して、傾斜角度推定の処理負荷が大きくなるような場合には、ノイズ成分除去部３５は、ステップＳＴ３１２において、各有効線分の長さを算出し、これが規定の長さ以下である場合には、当該線分を不要線分とみなして除外する構成とすることができる。
【００７８】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、撮影画像の傾斜角度を推定において実施する線分の傾斜角度についての統計的処理は、上記ヒストグラムを用いた方法に限定されず、他の周知の方法を用いることが可能である。また、上記実施形態で示した統計的処理の対象を除外する処理は単独で実施する必要はなく、統計的処理の対象を選択するための他の周知の方法を組み合わせることも可能である。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００７９】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、複雑な図形等を含む原稿の画像の傾斜角度を推定する場合であっても、当該画像から取得された傾斜角度の推定に用いるための情報のノイズ成分を簡易な処理により除去することにより、処理時間の増大等を抑制しつつ傾斜角度を精度良く推定可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００８０】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
６  載置面
２２  画像データ入力部（撮影画像取得部）
２３  画像処理装置
３２  エッジ抽出部
３４  線分抽出部
３５  ノイズ成分除去部
３６  傾斜角度推定部
３７  画像回転部
４１  撮影エリア
４２  文章領域
４３  図形領域
Ｒ１，Ｒ２  ノイズ成分領域
Ｒ１ａ，Ｒ２ａ  縮小ノイズ成分領域（縮小領域）
【図１】
2013149055.tif 000003
【図２】
2013149055.tif 000004
【図３】
2013149055.tif 000005
【図４】
2013149055.tif 000006
【図５】
2013149055.tif 000007
【図６】
2013149055.tif 000008
【図７】
2013149055.tif 000009
【図８】
2013149055.tif 000010
【図９】
2013149055.tif 000011
【図１０】
2013149055.tif 000012
【図１１】
2013149055.tif 000013
【図１２】
2013149055.tif 000014
【図１３】
2013149055.tif 000015
【図１４】
2013149055.tif 000016
【図１５】
2013149055.tif 000017
【図１６】
2013149055.tif 000018
【図１７】
2013149055.tif 000019
【図１８】
2013149055.tif 000020