(57)【要約】      （修正有）【課題】書画カメラ等で読み取られた原稿と読み取られた画像との基準方向（例えば、上下方向）を一致させつつ画像の傾き補正を高精度に実施可能とする。【解決手段】原稿読取システムは、撮影画像を取得する画像データ入力部２２と、撮影画像から複数のエッジ画素を抽出するエッジ抽出部３２と、エッジ画素に基づき複数の線分（直線成分）を抽出する線分抽出部３３と、直線成分の傾斜角度について統計的処理を行って撮影画像の傾斜角度を推定する傾斜角度推定部３４と、推定された傾斜角度に基づき撮影画像を回転させる画像回転部３５とを備え、傾斜角度推定部は、統計的処理において、所定の有効範囲外にある直線成分の傾斜角度を＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせて有効範囲内に収める構成とする。【選択図】図３
2013207525.tif 000002
【特許請求の範囲】
【請求項１】
原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、
前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、
前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記原稿の傾き補正を行うべく前記撮影画像を回転させる画像回転部と
を備え、
前記傾斜角度推定部は、前記直線成分の傾斜角度の有効範囲に関する情報を取得し、前記統計的処理において、前記有効範囲外にある前記直線成分の傾斜角度を＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせて前記有効範囲内に収めることを特徴とする画像処理装置。
【請求項２】
前記紙面は、製本された前記原稿の見開きページであり、
前記直線成分の傾斜角度は、前記撮影画像の上下方向を基準とした角度であり、
前記傾斜角度の有効範囲は、前記撮影画像の上下方向を０°とした場合に、−４５°以上かつ＋４５°以下の範囲内で設定されたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記傾斜角度推定部は、前記統計的処理において、前記複数の直線成分の傾斜角度についてのヒストグラムの情報を生成し、当該ヒストグラムの度数分布に基づき前記撮影画像の傾斜角度を推定することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。また、この書画カメラでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部や原稿エッジの位置等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。
【０００３】
画像の傾斜角度を推定する技術に関しては、例えば、エッジ部分の画素濃度を強調するエッジ処理後に二値化した画像データをハフ変換処理（直線成分抽出）してパラメータ図表を生成するハフ変換手段と、そのパラメータ図表における座標の度数を角度θ毎に積算してヒストグラムを生成するヒストグラム生成手段と、そのヒストグラムから座標の度数が最大の角度θを特定することにより傾斜角度を推定する傾斜角度検出手段とを備えたデータ処理装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平１１−３２８４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述のように画像の傾斜角度を推定するために画像から抽出される直線成分は、画像の内容（例えば、本などにおける縦書き文章と横書き文章との違い）によって、傾きの分布が異なる場合がある。
【０００６】
しかしながら、上記特許文献２に記載のような従来技術では、ヒストグラムから座標の度数が最大の角度θを特定し、この角度θだけ画像データを回転させて画像の傾きを補正する構成であるため、本などのように基準方向（例えば、上下方向）が規定された原稿を読み取る場合には、傾き補正後の画像の基準方向と原稿の基準方向とが一致しない（回転により原稿が横向きとなる）場合があった。
【０００７】
これに対し、原稿の基準方向と画像の基準方向の不一致を生じさせないように、直線成分の傾きの範囲を限定してヒストグラムを生成することも考えられるが、原稿の内容によっては限定された傾きの範囲内で得られる度数が減少し、上記特許文献２のような最大の角度θを特定することが難しくなるなどして画像の傾斜角度の推定精度が著しく低下する場合があった。
【０００８】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、読み取られた原稿の画像から抽出された直線成分の傾斜角度の統計的処理を適切に行うことにより、原稿と読み取られた画像との基準方向を一致させつつ画像の傾き補正を高精度に実施することを可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記原稿の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記直線成分の傾斜角度の有効範囲に関する情報を取得し、前記統計的処理において、前記有効範囲外にある前記直線成分の傾斜角度を＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせて前記有効範囲内に収めることを特徴とする。
【発明の効果】
【００１０】
このように本発明によれば、読み取られた原稿の画像から抽出された直線成分の傾斜角度の統計的処理を適切に行うことにより、原稿と読み取られた画像との基準方向を一致させつつ画像の傾き補正を高精度に実施することが可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る原稿読取システム１を示す全体構成図
【図２】図１に示した原稿読取システム１において本Ｂを正規の読取位置にセットした状態を示す平面図
【図３】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図４】図１に示した原稿読取システム１による原稿読取手順の要部を示すフロー図
【図５】図４中の画像入力（ＳＴ１０１）により取得された撮影画像の一例（原稿の傾きなし）を示す模式図
【図６】図４中の線分情報統計処理（ＳＴ１０５）における線分の角度補正前のヒストグラムの一例を示す説明図（（Ａ）縦書き文書、（Ｂ）横書き文書）
【図７】図４中の線分情報統計処理（ＳＴ１０５）の詳細を示すフロー図
【図８】図７中の線分リスト情報取得（ＳＴ２０１）において取得される線分リストの一例を示す説明図
【図９】図７中のＳＴ２０６によって得られるヒストグラムデータを示す説明図（（Ａ）数値データ、（Ｂ）グラフ）
【図１０】図７中のヒストグラムデータの補正処理（ＳＴ２０８、ＳＴ２０９）の結果の一例を示す説明図
【図１１】図１０に示した補正処理（ＳＴ２０８、ＳＴ２０９）のシフト操作の変形例を示す説明図（（Ａ）傾斜角度範囲の変更時、（Ｂ）有効範囲の変更時）
【図１２】図７に示した線分情報統計処理（ＳＴ１０５）の変形例を示すフロー図
【発明を実施するための形態】
【００１２】
上記課題を解決するためになされた第１の発明は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記エッジ画素に基づき複数の直線成分を抽出する直線抽出部と、前記複数の直線成分の傾斜角度について統計的処理を行うことによって前記撮影画像の傾斜角度を推定する傾斜角度推定部と、前記傾斜角度推定部が推定した前記傾斜角度に基づき、前記原稿の傾き補正を行うべく前記撮影画像を回転させる画像回転部とを備え、前記傾斜角度推定部は、前記直線成分の傾斜角度の有効範囲に関する情報を取得し、前記統計的処理において、前記有効範囲外にある前記直線成分の傾斜角度を＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせて前記有効範囲内に収める構成とする。
【００１３】
これによると、直線成分の傾斜角度の統計的処理において、直線成分の傾斜角度が有効範囲外にある場合にその傾斜角度を＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせて有効範囲内に収めることにより、処理対象を容易に確保できる（すなわち、処理対象の不足による誤差の発生を防止できる）構成としたため、原稿と読み取られた画像との基準方向（例えば、上下方向）を一致させつつ画像の傾き補正を高精度に実施することが可能となる。
【００１４】
また、第２の発明は、上記第１の発明において、前記紙面は、製本された前記原稿の見開きページであり、前記直線成分の傾斜角度は、前記撮影画像の上下方向を基準とした角度であり、前記傾斜角度の有効範囲は、前記撮影画像の上下方向を０°とした場合に、−４５°以上かつ＋４５°以下の範囲内で設定された構成とする。
【００１５】
これによると、原稿の内容（例えば、縦書き文章と横書き文章との違い）に拘わらず、簡易な処理により、書籍等の原稿と読み取られた画像との基準方向を一致させつつ高精度な画像の傾き補正が可能となる。
【００１６】
また、第３の発明は、上記第１または第２の発明において、前記傾斜角度推定部は、前記統計的処理において、前記複数の直線成分の傾斜角度についてのヒストグラムの情報を生成し、当該ヒストグラムの度数分布に基づき前記撮影画像の傾斜角度を推定する構成とする。
【００１７】
これによると、ヒストグラムの度数を十分に確保できるため、度数が多い（通常は最多）の傾斜角度を容易に特定することが可能となり、簡易な処理に基づき撮影画像の傾斜角度を精度良く推定することが可能となる。
【００１８】
また、第４の発明は、上記第１から第３の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。
【００１９】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２０】
図１は本発明に係る原稿読取システム１を示す全体構成図であり、図２は原稿読取システム１において本Ｂを正規の読取位置にセットした状態を示す平面図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２１】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状の脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。脚７の上面には、本Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。
【００２２】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。
【００２３】
なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２４】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、図２に示すように、本Ｂの上縁Ｂａを左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、本Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対して表示される。
【００２５】
なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２６】
図３は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００２７】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００２８】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮像画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３６から読み出され、また、後述する画像傾斜補正部３０での統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３７から読み出される。
【００２９】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３６およびパラメータ記憶部３７は汎用のメモリからなる。
【００３０】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３６に格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３１】
画像傾斜補正部３０は、撮影画像のグレースケール変換や２値化を行うグレースケール変換部３１と、グレースケール変換された撮影画像について複数のエッジ画素を抽出する（エッジ検出を行う）エッジ抽出部３２と、抽出された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分（直線成分）の抽出を行う線分抽出部（直線抽出部）３３と、抽出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定する傾斜角度推定部３４と、推定された傾斜角度に基づき撮影画像を回転させる処理を行う画像回転部３５とを有している。
【００３２】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３３】
図４は図１に示した原稿読取システム１による原稿読取手順の要部を示すフロー図であり、図５は図４中の画像入力（ＳＴ１０１）により取得された撮影画像の一例（原稿の傾きなし）を示す模式図であり、図６は図４中の線分情報統計処理（ＳＴ１０５）における線分の角度補正前のヒストグラム情報の一例を示す説明図である。
【００３４】
まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本を開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される（ＳＴ１０１）。
【００３５】
ここで、撮影画像は、例えば図５に示すように、書画カメラ２の矩形の撮影エリア４０により画定され、この撮影エリア４０内には本Ｂの画像とその背景となる載置面６の画像とが含まれる。ここでは図示しないが、例えば本Ｂの紙面（ここでは、見開きページ）には、文字や記号等が表示される文章領域４３と、図面や写真等が表示される図形枠４４（図６（Ａ）、（Ｂ）参照）とが含まれる。
【００３６】
図５では、撮影画像（撮影エリア４０）の横（水平）方向をＸ軸方向、縦（垂直）方向をＹ軸方向とし、理想的に本Ｂがセットされた場合（原稿の傾きなし）の例を示している。この場合、原稿の基準方向（ここでは、本Ｂの画像において左右のページの境界線となる綴じ中心線４６の延在方向）は、撮影画像の基準方向（ここでは、Ｙ軸方向）と一致している。
【００３７】
一方、本Ｂが正規の読取位置にセットされないと、原稿の基準方向が、撮影画像の基準方向と一致しない場合がある（図６（Ａ）、（Ｂ）参照）。この場合、図５中に基準線Ｌ０で示す撮影画像の基準方向（角度０°）に対して、綴じ中心線４６で示す原稿（本Ｂの画像）の基準方向が時計回り方向（＋９０°方向）または反時計回り方向（−９０°方向）に傾いた状態となる。なお、原稿および撮影画像の基準方向については、ここで示したものに限らず、例えば、原稿の基準方向を本Ｂの左右方向（横方向）とし、撮影画像の基準方向をＸ軸方向としても良い。
【００３８】
次に、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３６に格納した後、グレースケール変換部３１が撮影画像をＲＧＢのカラー画像から白黒画像に変換する（ＳＴ１０２）。このグレースケール変換処理は、中間値法等の周知の方法を用いて行うことができる。書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。
【００３９】
続いて、エッジ抽出部３２は、グレースケール変換された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ１０３）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。更に、線分抽出部３３は、取得された複数のエッジ画素から直線成分としての線分の抽出を行う（ＳＴ１０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換は、画像の中から端点を持つ線分を検出する際に用いられ、検出された線分について始点，終点の座標値を取得することができる。ここで抽出された端点の座標値等の各線分のデータは、線分リスト情報としてパラメータ記憶部３７に格納される。なお、撮像画像から抽出する直線成分としては、ここに示す線分に限らず、少なくとも本Ｂの傾斜の度合いを反映するものであれば良い。
【００４０】
次に、傾斜角度推定部３４は、線分抽出部３３により検出された複数の線分の傾斜角度に関する情報について統計的処理（以下、線分情報統計処理という。）を行うことによって撮影画像の傾斜角度を推定する（ＳＴ１０５）。この線分情報統計処理では、線分の傾斜角度に関するヒストグラムの情報が生成される。
【００４１】
ここで、図６（Ａ）には文章領域４３に縦書きの文章が記載された例を示し、一方、図６（Ｂ）には文章領域４３に横書きの文章が記載された例を示している。線分の角度補正前の図６（Ａ）のヒストグラムでは、主として文章領域４３（縦書きの文章）から抽出された比較的多数の線分の角度が反時計回り方向の−４５°〜０°付近の度数を構成し（図形枠４４等の縦線に基づき加算された度数を含む）、また図形枠４４等の横線から抽出された比較的小数の線分の角度が時計回り方向の＋４５°〜＋９０°付近の度数を構成する。一方、線分の角度補正前の図６（Ｂ）のヒストグラムでは、主として文章領域４３（横書きの文章）から抽出された比較的多数の線分の角度が時計回り方向の＋４５°〜＋９０°付近の度数を構成し（図形枠４４等の横線に基づき加算された度数を含む）、また図形枠４４等の縦線から抽出された比較的小数の線分の角度が−４５°〜０°付近の度数を構成する。
【００４２】
さて、図形枠４４に写真、図形等が含まれる場合、写真等から抽出される線分の傾斜角はランダムとなることが多い。しかも、これらの抽出線分は交錯した塊となって表れることが多い。従って線分の交錯状態（即ち、線分が交差すること）を検出して、交差線分をヒストグラム生成の際のカウント対象から除外すれば、図形枠４４中含まれる写真等の影響を除去することが可能である。図６（Ａ），（Ｂ）は、交差線分を除外してカウントしたヒストグラムを示している。
【００４３】
つまり、図６（Ａ）、（Ｂ）では、本Ｂの画像はそれぞれ同じ角度αで反時計回り方向に傾いているが、本Ｂの内容（縦書き文章と横書き文章との違い）によって、線分の傾斜角度のヒストグラムは異なる分布となっているため、本Ｂの傾斜角度が誤って推定される可能性がある。そこで、後に詳述するように、傾斜角度推定部３４は、本Ｂの傾斜角度の推定に際し、線分抽出部３３により検出された複数の線分の傾斜角度の補正後に画像の傾斜角度を推定する。
【００４４】
その後、画像回転部３５は、推定された傾斜角度に基づき撮影画像を回転させることにより撮影画像の傾きを補正し（すなわち、図６（Ａ）、（Ｂ）における角度αを解消する処理）、これにより、正規の読取位置にて（すなわち、傾きなしで）本Ｂの紙面が読み取られた場合と同等の撮影画像を生成する（ＳＴ１０６）。この画像回転処理により、例えば図５に示したように、原稿の基準方向（水平・垂直方向）と目標方向（Ｘ軸・Ｙ軸方向）とが略一致して撮影画像の傾きが解消される。
【００４５】
なお、傾き補正された撮影画像は、画像傾斜補正部３０から表示データ生成部２７およびデータ格納部２８に送られる。そして、表示データ生成部２７では傾き補正後の撮像画像に対して、例えばそのページ全体からコンテンツが記載されている領域を抽出し、本の高さに起因する湾曲を補正してフラットな画像を生成して表示部２６に表示する。
【００４６】
図７は図４中の線分情報統計処理（ＳＴ１０５）の詳細を示すフロー図であり、図８は図７中の線分リスト情報取得（ＳＴ２０１）において取得される線分リストの一例を示す説明図であり、図９は図７中のＳＴ２０６によって得られるヒストグラムデータを示す説明図（（Ａ）数値データ、（Ｂ）グラフ）であり、図１０はヒストグラムデータの補正処理（ＳＴ２０８、ＳＴ２０９）の結果の一例を示す説明図（（Ａ）数値データ、（Ｂ）グラフ）であり、図１１は図１０に示した補正処理（ＳＴ２０８、ＳＴ２０９）のシフト操作の変形例を示す説明図である。
【００４７】
図７において、まず、傾斜角度推定部３４は、パラメータ記憶部３７から画像処理の対象となる撮影画像についての線分リストの情報を取得する（ＳＴ２０１）。この線分リストは、上述したように確率的ハフ変換等によって生成されたものであり、例えば図８に示すように、複数の線分（ここでは、ｎ本の線分Line 1〜Line n）の各々における両端点の座標データ（(Xa_1,Ya_1), (Xb_1,Yb_1)〜(Xa_n,Ya_n), (Xb_n,Yb_n)）等が含まれる。なお、図示していないが、線分リストには上述した交差線分であるか否かを示すフラグを格納するデータ領域が設けられており、当該フラグの値に基づき、線分毎にヒストグラム生成に使用するか否かが決定される。
【００４８】
次に、傾斜角度推定部３４は、線分リストにある線分から統計処理の対象となる１つの線分を検索し（ＳＴ２０２）、未検索の線分がある場合（ＳＴ２０３：ＹＥＳ）、その線分の座標データを取得する（ＳＴ２０４）。続いて傾斜角度推定部３４は、その処理対象線分の座標データに基づきその傾斜角度（撮影画像の基準方向（Ｙ軸方向）に対する線分の角度）を算出し（ＳＴ２０５）、その算出結果をヒストグラム情報に追加する（ＳＴ２０６）。つまり、横軸を傾斜角度、縦軸を度数として、傾斜角度に対応する度数をカウントアップする。その後は、再びＳＴ２０２に戻り、線分リストにある全ての線分について同様の処理を繰り返し実行する。これにより、最終的に図９（Ａ）、（Ｂ）に示すようなヒストグラムの情報が生成される。なお、ヒストグラムの階級の間隔（境界値）は、読取対象となる原稿の種類や紙面の内容に応じて適宜変更することができる。
【００４９】
全線分の傾斜角度の算出が終了すると（ＳＴ２０３：ＮＯ）、傾斜角度推定部３４は、線分の傾斜角度の有効範囲の情報をデータ格納部２８から取得する。この傾斜角度の有効範囲としては、ユーザが入力操作部２４を介して予め設定した値（ここでは、−４５°〜＋４５°；図９（Ｂ）参照）を用いる。
【００５０】
なお、線分の傾斜角度の有効範囲は、ここで用いる値に限らず変更が可能である。また、場合によっては、傾斜角度推定部３４は、線分の傾斜角度のヒストグラムデータ（角度分布）に基づき原稿の種類を判定し、この原稿の種類に応じて異なる傾斜角度の有効範囲を設定することもできる。
【００５１】
次に、傾斜角度推定部３４は、有効範囲外にある線分の傾斜角度を＋９０°または−９０°の単位でシフトさせて有効範囲内に収める補正処理を行う。より詳細には、傾斜角度推定部３４は、図１０（Ａ）、（Ｂ）に示すように、有効範囲の上限（＋４５°）を越える線分の角度Ａについては、Ａ−９０°とする（ＳＴ２０８）一方、有効範囲の下限（−４５°）に満たない線分の角度Ａについては、Ａ＋９０°とする（ＳＴ２０９）。その結果、本Ｂの内容に拘わらず、図６（Ａ）、（Ｂ）に示したような文章領域４３や図形枠４４等から抽出されるような略９０°単位でずれた線分の角度を重ねたデータが得られることとなる。
【００５２】
なお、ＳＴ２０８およびＳＴ２０９は、ここで示す順序で実施する必要はなく、実質的に同時処理することが可能である。
【００５３】
図１１（Ａ）は、本の傾斜角度の範囲とシフト操作の関係を示している。図示するように、撮影画像の基準方向の設定によっては、＋９０°または−９０°の１回のシフトで有効範囲内に収まらない場合もあり得るが、その場合には、有効範囲内に収まるまで複数回シフトさせる。つまり、傾斜角度推定部３４は、有効範囲外にある線分の傾斜角度は、＋θまたは−θ（ただし、θは９０°の倍数）だけシフトさせることとなる。
【００５４】
このような＋９０°または−９０°を越えるシフトは、例えば本を上下逆の状態で書画カメラにセットした場合に、天地反転処理と傾斜角補正を同時に行うようなケースで行われる。ここで、本が上下逆にセットされているか否かは、例えば撮像画像から文字部分を抽出し、画像を複数角度に回転させたものをＯＣＲ(Optical Character Recognition，光学文字認識)を行なって判定することができる。また画像の回転角度のステップを細かくすれば、本の回転角度を検出することも可能である。
【００５５】
最終的に、傾斜角度推定部３４は、有効範囲外にあった線分の傾斜角度が有効範囲内にシフトされたヒストグラムデータに基づき、線分の傾斜角度分布における最大度数を検索し、この最大度数の値を撮影画像の傾斜角度として推定する（ＳＴ２１０）。この場合、最大度数の検索は、有効範囲内のみで実施すればよい。なお、ここでは、最大度数を検索することとしたが、これに限らず、例えば、傾斜角度の有効範囲をより狭く設定し、度数を係数とした加重平均から撮影画像の傾斜角度を推定してもよい。
【００５６】
上記原稿読取システム１における書画カメラ２の利用シーンでは、ユーザは、自身の正面に書画カメラ２を設置して、ユーザが本を読む際の状態のまま（すなわち、図２中の書画カメラ２の脚７のガイド部材９側に本Ｂの上側が位置するように）、本を撮像範囲に置くのが自然である。そうすると、本Ｂの傾斜角度は通常一定の範囲（例えば、−４５°〜＋４５°）内となることが想定される。
【００５７】
したがって、上述のように、−４５°〜＋４５°またはこれよりも小さい範囲で有効範囲を設定し、この有効範囲内に収めるように線分の傾斜角度をシフトさせることにより、統計的処理の処理対象を容易に確保できる（すなわち、処理対象の不足による誤差の発生を防止できる）。換言すれば、得られた処理対象（線分の角度）の数が少ない場合でも、統計的処理を有効に実施することが可能となる。その結果、本Ｂと撮像画像との基準方向（ここでは、上下方向）を一致させつつ画像の傾き補正を高精度に実施することが可能となる。
【００５８】
図１１（Ｂ）は有効範囲を−３０°〜＋３０°としたときの、本の傾斜角度の範囲とシフト操作の関係を示している。図示するように、有効範囲を４５゜より小さくすると、ヒストグラムのシフト操作が不要な角度範囲が存在することが分かる。即ち、ヒストグラムにおいて傾斜角度θｐが＋３０゜≦θｐ＜＋６０゜等の範囲にあるときは、上述した度数の加算を行う必要がない。これらの範囲はθ＝９０゜を加減算しても−３０゜〜＋３０゜に収まらず、そもそも画像の傾きを補正する範囲（有効範囲）外となってしまうからである。
【００５９】
なお、画像から抽出した線分情報にのみ基づいて本の傾斜角度を判定すると、本の傾斜角度が丁度±４５゜のときは、上述したＯＣＲのような手段を用いない限り、縦書き文書と横書き文書の判別が困難になる。従って、画像の傾き補正を安定的に行うという観点からは、補正を許容する有効範囲をθｓとするとき、−４５゜＜θｓ＜＋４５゜とすることが望ましい。
【００６０】
図１２は図７に示した線分情報統計処理（ＳＴ１０５）の変形例を示すフロー図
である。図１２におけるＳＴ３０１、ＳＴ３０３〜ＳＴ３０６は、図７におけるＳＴ２０１〜ＳＴ２０５とそれぞれ同様の処理であり、また、図１２におけるＳＴ３０２、ＳＴ３１１は、図７におけるＳＴ２０７、ＳＴ２０６とそれぞれ同様の処理であるため詳細な説明は省略する。
【００６１】
図１２に示す変形例では、線分の傾斜角度を補正するタイミングにおいて、図７に示したフローとは異なる。図７のフローでは、全ての線分の傾斜角度についてヒストグラムの情報を生成した後に線分の傾斜角度の補正を実施したが、図１２では、線分の傾斜角度を随時補正しながらヒストグラムの情報に追加する。
【００６２】
より詳細には、傾斜角度推定部３４は、ＳＴ３０６において線分の傾斜角度を算出した後、線分の傾斜角度が有効範囲の上限（＋４５°）を超える＋側データである場合（ＳＴ３０７：ＹＥＳ）には、図７のＳＴ２０８と同様に＋側データの補正（−９０°のシフト）を実施する（ＳＴ３０８）。一方、線分の傾斜角度が有効範囲の下限（−４５°）に満たない−側データである場合（ＳＴ３０９：ＹＥＳ）には、図７のＳＴ２０９と同様に−側データの補正（＋９０°のシフト）を実施する（ＳＴ３１０）。傾斜角度推定部３４は、こうして補正された線分の傾斜角度をヒストグラム情報に追加する（ＳＴ３１１）。
【００６３】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、上記実施形態ではヒストグラムを用いて統計的処理を実施したが、実際にヒストグラムを生成する必要はなく、ヒストグラムを生成したのと同等の処置を実施すればよい。また、図１２の変形例にも示したように、直線成分の傾斜角度の補正（シフト）のタイミングは、特に限定されるものではなく、最終的に傾斜角度を補正したデータに基づき撮影画像の傾斜角度が推定されれば良い。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６４】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、読み取られた原稿の画像から抽出された直線成分の傾斜角度の統計的処理を適切に行うことにより、原稿と読み取られた画像との基準方向（例えば、上下方向）を一致させつつ画像の傾き補正を高精度に実施可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００６５】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
６  載置面
２２  画像データ入力部（撮影画像取得部）
２３  画像処理装置
３２  エッジ抽出部
３３  線分抽出部
３４  傾斜角度推定部
３５  画像回転部
４０  撮影エリア
４３  文章領域
４４  図形枠
４６  綴じ中心線
【図１】
2013207525.tif 000003
【図２】
2013207525.tif 000004
【図３】
2013207525.tif 000005
【図４】
2013207525.tif 000006
【図５】
2013207525.tif 000007
【図６】
2013207525.tif 000008
【図７】
2013207525.tif 000009
【図８】
2013207525.tif 000010
【図９】
2013207525.tif 000011
【図１０】
2013207525.tif 000012
【図１１】
2013207525.tif 000013
【図１２】
2013207525.tif 000014