(57)【要約】      （修正有）【課題】傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリアの四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止すると共に、撮影画像データを効率的に利用可能とする。【解決手段】原稿読取システムが、撮影画像の傾き補正を行う画像回転部と、傾き補正前における補正前撮影画像の画像エリア４０内に位置し、且つ撮影画像を所定の基準回転角度で回転させた基準補正撮影画像の画像エリア４１内に位置する矩形の切出しエリアを設定する切出しエリア設定部と、画像回転部によって傾き補正された撮影画像から切出しエリア４２に相当する領域の画像を切り出す画像切出し部と、画像切出し部によって切り出された画像から生成された表示データに基づき矩形の画像表示エリアに撮影画像を表示する表示部とを備えた構成とする。【選択図】図１０
2013225819.tif 000002
【特許請求の範囲】
【請求項１】
原稿の紙面を撮影した矩形の撮影画像をその図心を軸に回転させることにより当該撮影画像の傾き補正を行う画像回転部と、
前記傾き補正前における補正前撮影画像の画像エリア内に位置し、且つ前記撮影画像を所定の基準回転角度で回転させた基準補正撮影画像の画像エリア内に位置する矩形の切出しエリアを設定する切出しエリア設定部と、
前記画像回転部によって傾き補正された撮影画像から前記切出しエリアに相当する領域の画像を切り出す画像切出し部と、
前記画像切出し部によって切り出された画像から生成された表示データに基づき矩形の画像表示エリアに撮影画像を表示する表示部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記切出しエリアは、前記補正前撮影画像の画像エリアを同じアスペクト比で縮小された形状を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切出しエリアでは、その対頂点をなす２つの頂点が前記基準補正撮影画像の画像エリアの辺上に位置することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記撮影画像の傾き補正角度を設定する傾き補正角度設定部を更に有し、
前記画像切出し部は、前記傾き補正角度が前記基準回転角度よりも大きい場合、前記画像の切り出しを実施しないことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記表示部は、前記切出しエリアに対応する画像表示エリアを有することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
請求項１から請求項５のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【請求項７】
前記カメラ部は、撮影範囲を変更可能であることを特徴とする請求項６に記載の原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
書籍のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、書籍を電子化する作業を効率良く行うことができる。また、この書画カメラを用いた原稿読取システムでは、正規の読取位置（すなわち、水平・垂直等の基準方向）に対して傾いた状態で原稿がセットされた場合でも、読み取られた原稿の画像（原稿綴じ部や原稿エッジの位置等）に基づき傾斜角度を推定することにより、画像の傾きを自動的に補正することができる。
【０００３】
ところで、撮影画像を回転させてその傾きを補正した場合、その矩形の画像エリアの四隅において、傾き補正前の撮影画像の画像エリアと重複しない領域が生じる。したがって、傾き補正後の撮影画像をディスプレイ等において表示する際には、傾き補正前の画像エリアに基づいて設定された矩形の画像表示エリアの四隅において画像データが欠損した領域が生じてしまう。
【０００４】
そこで、例えば、画像の回転により生じる画面（画像表示エリア）の四隅の切れ（画像データの欠損）を特定のパターンを用いてマスクし、他のパターン画像と合成する（画像データの欠損領域に特定の表示をするための画像データを発生させる）ことにより、画面の切れによる画像の不自然さを除去する技術が存在する（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平１１−３２８４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２に記載された従来技術では、画像表示エリアの四隅の切れをマスクする特定のパターンに応じて、画像データの欠損領域に特定の表示をするためのデータを発生させる必要があるため画像表示処理が複雑となるという問題があった。さらに、画像表示エリアの四隅の切れを特定パターンでマスクしたとしても、画像表示エリアが不自然な八角形になってしまう課題は依然として解決されていない。
【０００７】
この場合、撮影画像の中心部における所定の領域（傾き補正により画像を回転させても画像表示エリア内に収まるサイズ）の画像データのみを使用することにより、画像表示エリア内の四隅における画像データの欠損に起因する不自然な表示を回避することも考えられる。しかし、画像の回転角度（補正すべき角度）に応じて画像データの欠損領域（換言すれば、画像表示エリアにおいて画像の回転による影響を受けない領域）の形状や大きさが変化するため、その結果、表示される画像サイズや撮像領域が時々刻々変化し、画像表示等を安定して行うことが難しいという問題が生じる。
【０００８】
さらに、上記従来技術では、撮影画像を比較的大きな角度（例えば、±１８０°）まで回転させることを想定し、上記特定のパターンとして円形や楕円形を用いるため、矩形の画像エリアを有する撮影画像のデータを効率的に利用することが難しいという問題もあった。
【０００９】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリアの四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止できると共に、撮影画像データを効率的に利用可能とする画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、原稿の紙面を撮影した矩形の撮影画像をその図心を軸に回転させることにより当該撮影画像の傾き補正を行う画像回転部と、前記傾き補正前における補正前撮影画像の画像エリア内に位置し、且つ前記撮影画像を所定の基準回転角度で回転させた基準補正撮影画像の画像エリア内に位置する矩形の切出しエリアを設定する切出しエリア設定部と、前記画像回転部によって傾き補正された撮影画像から前記切出しエリアに相当する領域の画像を切り出す画像切出し部と、前記画像切出し部によって切り出された画像から生成された表示データに基づき矩形の画像表示エリアに撮影画像を表示する表示部とを備えたことを特徴とする。
【発明の効果】
【００１１】
このように本発明によれば、傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリアの四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止できると共に、撮影画像データを効率的に利用可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る原稿読取システム１を示す全体構成図
【図２】図１に示した原稿読取システム１において書籍Ｂを正規の読取位置にセットした状態を示す平面図
【図３】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図４】図１に示した原稿読取システム１による画像表示手順の要部を示すフロー図
【図５】図４に示した画像表示手順における入力画像の一例を示す説明図
【図６】図４中の傾き補正（ＳＴ１０３）の概要を示す説明図
【図７】図４中の画像切出し（ＳＴ１０４）の概要を示す説明図
【図８】図４中の画像表示（ＳＴ１０５）の概要を示す説明図
【図９】図４中の切出しエリア設定（ＳＴ１０１）の詳細を示すフロー図
【図１０】図４中の切出しエリア設定（ＳＴ１０１）の概要を示す説明図
【図１１】図４中の傾き補正（ＳＴ１０３）の詳細を示すフロー図
【図１２】図１１中の線分情報統計処理（ＳＴ３０５）の詳細を示すフロー図
【図１３】図４中の画像切出し（ＳＴ１０４）の詳細を示すフロー図
【発明を実施するための形態】
【００１３】
上記課題を解決するためになされた第１の発明は、原稿の紙面を撮影した矩形の撮影画像をその図心を軸に回転させることにより当該撮影画像の傾き補正を行う画像回転部と、前記傾き補正前における補正前撮影画像の画像エリア内に位置し、且つ前記撮影画像を所定の基準回転角度で回転させた基準補正撮影画像の画像エリア内に位置する矩形の切出しエリアを設定する切出しエリア設定部と、前記画像回転部によって傾き補正された撮影画像から前記切出しエリアに相当する領域の画像を切り出す画像切出し部と、前記画像切出し部によって切り出された画像から生成された表示データに基づき矩形の画像表示エリアに撮影画像を表示する表示部とを備えた構成とする。
【００１４】
これによると、補正前撮影画像の画像エリア内および基準補正撮影画像の画像エリア内に共に位置する切出しエリアを設定し、傾き補正された撮影画像から矩形の切出しエリアに相当する領域の画像を切り出して生成した表示データに基づき撮影画像を表示するため、傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリアの四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止できると共に、撮影画像データを効率的に利用することが可能となる。
【００１５】
また、第２の発明は、上記第１の発明において、前記切出しエリアは、前記補正前撮影画像の画像エリアを同じアスペクト比で縮小された形状を有する構成とする。
【００１６】
これによると、矩形の切出しエリアの設定が容易となると共に、標準の画像エリアと同じアスペクト比で切り出された画像によりユーザに違和感を与えることなく画像表示を行うことが可能となる。
【００１７】
また、第３の発明は、上記第１または第２の発明において、前記切出しエリアでは、その対頂点をなす２つの頂点が前記基準補正撮影画像の画像エリアの辺上に位置する構成とする。
【００１８】
これによると、矩形の切出しエリアの設定が容易となると共に、表示データにおいて撮影画像データをより効率的に利用することが可能となる。
【００１９】
また、第４の発明は、上記第１から第３の発明のいずれかにおいて、前記撮影画像の傾き補正角度を設定する傾き補正角度設定部を更に有し、前記画像切出し部は、前記傾き補正角度が前記基準回転角度よりも大きい場合、前記画像の切り出しを実施しない構成とする。
【００２０】
これによると、撮影画像の傾き補正において基準回転角度よりも大きな回転がなされた場合に、切り出された画像の四隅において不自然な領域の発生を防止することができる。
【００２１】
また、第５の発明は、上記第１から第４の発明のいずれかにおいて、前記表示部は、前記切出しエリアに対応する画像表示エリアを有する構成とする。
【００２２】
これによると、画像表示エリアに撮影画像（切り出された画像）の全体を大きく表示して、撮影画像が存在しない部分に他の画像を合成する等の処理が不要となる。
【００２３】
また、第６の発明は、上記第１から第５の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システムである。
【００２４】
また、第７の発明は、上記第６の発明において、前記カメラ部が撮影範囲を変更可能な構成とする。
【００２５】
これによると、ユーザは、原稿のサイズに拘わらず、表示部の画像表示エリア内に表示された撮影画像に基づきカメラ部の撮影範囲を調整することにより、撮影が必要な原稿領域を切出しエリア内に収めることができ、画像の切出しを意識せずに撮影を行うことが可能となる。
【００２６】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２７】
図１は本発明に係る原稿読取システム１を示す全体構成図であり、図２は原稿読取システム１において書籍Ｂを正規の読取位置にセットした状態を示す平面図である。この原稿読取システム１は、書籍（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２８】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状に開いた脚７と、この脚７に支持されたアーム８とを有している。脚７の上面には、書籍Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、脚７から斜め上方に伸縮自在に設けられる一方、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の画角や光軸方向（撮影方向）を調整可能となっている。また、カメラ部４は、画角や倍率を連続的に可変させる公知のズーム機能を有している。
【００２９】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。
【００３０】
なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００３１】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に書籍Ｂを開いた状態で載置することにより、書籍Ｂの見開き２ページと書籍Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、図２に示すように、書籍Ｂの上縁Ｂａを左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、書籍Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対してディスプレイ表示される。
【００３２】
なお、原稿読取システム１が読み取る原稿は、書籍に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００３３】
図３は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００３４】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００３５】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮影画像の傾き補正を行う画像傾斜補正部３０を有している。画像傾斜補正部３０によって処理される撮影画像データは画像データ記憶部３８から読み出され、また、後述する画像傾斜補正部３０での撮影画像の基準回転角度や統計的処理等に用いられる各種パラメータの情報はパラメータ記憶部３９から読み出される。また、パラメータ記憶部３９には、予めカメラ部４に搭載されたイメージセンサに関する情報（例えば、縦横の有効出力画素（ピクセル）数）が格納されている。
【００３６】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３８およびパラメータ記憶部３９は汎用のメモリからなる。
【００３７】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３８に順次格納し、必要に応じてその撮影画像データを画像傾斜補正部３０に順次出力する。そして、画像傾斜補正部３０は、撮影画像データの画像処理の際に撮影画像の傾斜角度を推定すると共に、その推定した傾斜角度に基づき撮影画像の傾き補正を行う。傾き補正された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３８】
画像傾斜補正部３０は、後に詳述するように撮影画像から切り出されて表示部２６に表示される領域となる矩形の切出しエリアを設定する切出しエリア設定部３１と、撮影画像のグレースケール変換や２値化を行うグレースケール変換部３２と、グレースケール変換された撮影画像について複数のエッジ画素を抽出する（エッジ検出を行う）エッジ抽出部３３と、抽出された複数のエッジ画素に基づき当該エッジ画素を結ぶ複数の線分（直線成分）の抽出を行う線分抽出部３４と、抽出された複数の線分の傾斜角度について統計的処理を行うことによって撮影画像の傾斜角度を推定すると共に、当該傾斜角度に基づき撮影画像の傾き補正角度を設定する傾き補正角度設定部３５と、傾き補正角度に基づき撮影画像を回転させる画像回転部３６と、この画像回転部３６によって傾き補正された撮影画像から前出の切出しエリアに相当する領域の画像を切り出す画像切出し部３７とを有している。
【００３９】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００４０】
図４は図１に示した原稿読取システム１による画像表示手順の要部を示すフロー図であり、図５は図４に示した画像表示手順における入力画像の一例を示す説明図であり、図６、図７及び図８はそれぞれ図４中の傾き補正（ＳＴ１０３）、画像切出し（ＳＴ１０４）及び画像表示（ＳＴ１０５）の概要を示す説明図である。
【００４１】
原稿読取システム１を利用するユーザは、まず、読取位置（書画カメラ２の撮影可能位置）に書籍Ｂを開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される。このとき、ＰＣ３では、後に詳述するように、撮影画像から切り出されて表示部２６に表示される領域となる矩形の切出しエリア４２（図７参照）が切出しエリア設定部３１により設定される（ＳＴ１０１）。
【００４２】
ここで、例えば図５に示すように、撮影画像の画像エリア４０は、書画カメラ２の撮影エリアに基づく矩形の外形輪郭を有し、この画像エリア４０内には、書籍Ｂの画像とその背景となる載置面６の画像とが含まれる。書籍Ｂの紙面（ここでは、見開きページ）には、文字や記号等が表示される文章領域４３と、図面や写真等が表示される図形領域４４とが含まれる。
【００４３】
この図５では、傾き補正が必要となる撮影画像の例を示しており、画像エリア４０の水平（横）方向をＸ軸方向、垂直（縦）方向をＹ軸方向とすると、書籍Ｂの画像の仮想の水平線（原稿の基準方向）Ｈ１は、後に詳述する傾き補正の目標方向となるＸ軸に平行な補正基準線Ｈ０に対して角度θだけ傾いている。ここでは説明の便宜上、図示等を省略するが、書籍Ｂの画像に関する仮想の垂直線についても水平線Ｈ１と同様に原稿の基準方向とすることが可能であり、その場合、Ｙ軸に平行な方向が傾き補正の目標方向となる。
【００４４】
再び図４を参照して、次に、ＰＣ３の画像データ入力部２２において書画カメラ２からの撮影画像の入力が検出されると（ＳＴ１０２：ＹＥＳ）、後に詳述するように、傾き補正角度設定部３５が、入力された撮影画像の傾斜角度を推定して傾き補正角度を設定し、さらに、その傾き補正角度に基づき、画像回転部３６が矩形の撮影画像を回転させて撮影画像の傾き補正を行う（ＳＴ１０３）。
【００４５】
ここで、傾き補正前における撮影画像の画像エリア４０を画像表示エリア（すなわち、ディスプレイ等における画像の表示領域）とすると、図６に示すように、撮影画像をその図心Ｇを軸に傾き補正角度θだけ時計回り方向に回転させた場合、図６中に破線で示す傾き補正後の画像エリア４１には、画像エリア４０と重複しない領域が生じる（すなわち、画像表示エリアの四隅において画像データが欠損した領域Ｒが生じる）。
【００４６】
そこで、画像切出し部３７は、図７に示すように、傾き補正後の撮影画像からＳＴ１０１で設定された切出しエリア４２に相当する領域の画像を切り出し（ＳＴ１０４）、画像表示エリアにおける画像データが欠損した領域Ｒ（図６参照）を除去する。
【００４７】
その後、表示部２６は、画像切出し部３７によって切り出された画像から表示データ生成部２７が生成した表示データに基づき、矩形の画像表示エリアに撮影画像（切り出した画像）を表示する（ＳＴ１０５）。
【００４８】
このように、画像データの回転によって発生する画像データの欠損領域Ｒを除去するように切出しエリア４２を設定すると、撮影画像の画像エリア４０の周辺部分に画像データ（撮像データ）の不使用領域が発生する（図７では、撮影画像の画像エリア４０から切出しエリア４２を除いた部分が不使用領域となる）。この場合に、イメージセンサが出力する画像データが占めるエリア（即ち、補正前撮影画像の画像エリア４０）をそのまま表示部２６に表示にしてしまうと、切出しエリア４２のみならず不使用領域までもが表示され、表示が不自然になってしまう。つまり、上述した領域Ｒのように四隅の画像欠損としては表れないが、画像の周辺全体が欠損した状態で表示されてしまう。
【００４９】
そこで、例えば図８に示すように、表示部２６における画面５１には、切出しエリア４２に対応する矩形の画像表示エリア５２が設けられており、この画像表示エリア５２にはＳＴ１０４で撮影画像（全体画像）から切り出された画像のみが表示される。これにより、画像表示エリア５２に撮影画像（切り出された画像）の全体を大きく表示して、撮影画像が存在しない部分に他の画像を合成する等の処理が不要となる。なお、ここでは、画像表示エリア５２の周辺には、図示しないマウス等でユーザが操作可能な複数の動作設定ボタン等を含む動作設定エリア５３が設けられているが、動作設定エリア５３を設けずに画面５１全体を画像表示エリア５２としてもよい。
【００５０】
また、後述するように、切出しエリア４２の大きさはユーザが設定する基準回転角度θｓ（原稿の最大傾斜角度。詳細は後述する）によって一意に定まるため、基準回転角度θｓに応じて画像表示エリア５２を決定してもよい。例えば、基準回転角度θｓを大きくすると切出しエリア４２は小さくなるため、これに応じて画像表示エリア５２を小さくすればよい。一方、画像表示エリア５２の大きさが一定の場合は、基準回転角度θｓに応じて表示倍率を変更すればよい。つまり、基準回転角度θｓが大きければ画像サイズは小さいため、表示倍率を相対的に大きくすればよい。
【００５１】
ＰＣ３では、上記一連の処理ＳＴ１０２〜ＳＴ１０５が繰り返し実行されることにより、傾き補正された一連の画像（映像）が表示部２６に表示される。最終的に画像の入力が一定時間ないと判定されると（ＳＴ１０２：ＮＯ）、全ての動作が終了する。
【００５２】
なお、上述のように切出しエリア４２は撮影画像の画像エリア４０より小さくなるため、図８において、原稿が画像表示エリア５２内に完全に収まらないこともあり得るが、そのような場合、ユーザは、カメラ部４の位置（高さ）の調整やズーム機能の利用により画面５１を見ながら画角（撮影範囲）を変更し、原稿全体（または撮影を必要とする原稿の一部の領域）を画像表示エリア５２内に収める操作を自ずと行う。その結果、ユーザは画像の切出しを意識せずに撮影を実行することが可能となる。
【００５３】
さて、切出しエリア４２を設けることに関して、上述した不使用領域の発生によって、イメージセンサの有効出力画素数に対して実際に表示される画素数は減少する。しかし、昨今のイメージセンサは高画素化が進んでいることから（例えば、書画カメラとして５００万画素のイメージセンサを搭載する製品が知られている）、不使用領域の存在は画質に直ちに影響を与えるものではない。
【００５４】
図９及び図１０は、図４中の切出しエリア設定（ＳＴ１０１）の詳細を示すフロー図及び説明図である。
【００５５】
図９に示すように、まず、切出しエリア設定部３１は、パラメータ記憶部３９（図３参照）にアクセスして、入力された画像のサイズ情報を取得する（ＳＴ２０１）。ここでは、画像のサイズ情報として、図１０に示す傾き補正前における撮影画像の画像エリア４０（すなわち、従来どおり画像表示エリアに全体表示される傾き補正が不要な、前の撮影画像の画像エリアに相当）のＸ軸方向およびＹ軸方向の長さにそれぞれ相当するＸ軸方向のピクセル数ＬｉｘおよびＹ軸方向のピクセル数Ｌｉｙが取得される。
【００５６】
次に、切出しエリア設定部３１は、切出しエリア４２を設定するための撮影画像の回転角度である基準回転角度θｓの値を取得する（ＳＴ２０２）。基準回転角度θｓのデフォルト値もパラメータ記憶部３９に格納されているが、ユーザは、入力操作部２４を介して別途所定の基準回転角度θｓを設定することができる。基準回転角度θｓとしては、通常の撮影で想定される原稿（書籍等）の傾きの最大値（例えば、±２０°）が設定される。
【００５７】
ここで、原稿読取システム１を利用するユーザは、自身と対面する位置に書画カメラ２を設置して、書籍を読む際の状態のまま、図２に示したように書籍Ｂの上縁Ｂａを左右方向に延びるガイド部材９に突き当てて書籍を撮影範囲内に置くのが自然だと考えられる。そうすると、撮影画像の傾斜角度は通常は一定の範囲内となるため、比較的大きな画像の傾き（例えば、±４５°以上）は考慮しなくてよい。
【００５８】
続いて、切出しエリア設定部３１は、切出しエリア４２のサイズを算出する（ＳＴ２０３）。この切出しエリア４２は、少なくとも傾き補正前における撮影画像（補正前撮影画像）の画像エリア４０内に位置し、且つ撮影画像を基準回転角度θｓで回転させた撮影画像（基準補正撮影画像）の画像エリア４１内に位置するように設定される。これにより、傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリア５２の四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止できると共に、矩形の撮影画像データを効率的に利用することが可能となる。
【００５９】
ここでは特に、切出しエリア４２は、図１０に示すように、その対頂点をなす２つの頂点Ｐ１、Ｐ３が基準補正撮影画像の画像エリア４１の辺上に位置するように設定される（但し、補正前撮影画像の画像エリア４０を時計回りに回転して、傾き補正を実行すると想定した場合。傾き補正を反時計回りの方向に行う場合は、頂点Ｐ２、Ｐ４が基準補正撮影画像の画像エリア４１の辺上に位置することになる）。これにより、矩形の切出しエリア４２の設定が容易となると共に、切出しエリア４２を最大化して撮影画像データをより効率的に利用することが可能となる。また、切出しエリア４２は、補正前撮影画像の画像エリア４０と同じアスペクト比で図心Ｇを中心に縮小された矩形状をなすように設定される。これにより、標準の画像エリア４０と同じアスペクト比で切り出された画像によりユーザに違和感を与えることなく画像表示を行うことが可能となる。
【００６０】
また、図１０から理解されるように、基準回転角度θｓが小さいほど切出し領域４２は大きくなる。つまり、θｓが小さいほど、補正前撮影画像の画像エリア４０の対角線と交わる基準補正撮影画像の画像エリア４１の辺位置は外側に移動し、Ｐ１とＰ３の間隔が大きくなる。従って、上述のイメージセンサの不使用領域を小さくしたい場合（例えば、解像度劣化を少なくして原稿を読み取りたい場合）、ユーザは基準回転角度θｓを小さく設定すればよい。ただし、このとき傾き補正を実行する最大角度は小さくなるから、原稿をなるべく傾斜しないように書画カメラにセットする必要がある。逆に、読み取った画像のデータ量を制限する必要があったり、高解像度化を要しないような場合、ユーザはθｓを大きく設定しておくとよい。θｓを大きくすると切出しエリア４２は小さくなるが、これは原稿の配置状態（即ち、傾き補正の要否とその回転角度の大きさ）とは無関係に設定される。つまり、原稿に傾き補正が必要ない状況であっても、切出しエリア４２のサイズは小さくなる。この小さくなった切出し領域４２に原稿が収まらない場合、ユーザは例えば書画カメラ２のカメラ位置を高くして全体が映るようにするから、同一原稿を読み取る場合の解像度が低くなるのである。このように、ユーザは基準回転角度θｓの設定によって、実質的に原稿の読み取り解像度を調整できるようになる。
【００６１】
なお、上述してきた説明では、傾き補正（画像の回転処理）は図心Ｇを軸に実行されるとしているが、回転処理を行うソフトウェアの実装においてはＸ，Ｙ座標の原点（例えば図１０の補正前撮影画像の画像エリア４０の左隅）を中心に回転処理を行ない、最終的に回転領域の中心を図心Ｇに一致させる座標変換を行ってもよい。即ち、回転処理そのものにおいて図心Ｇを軸とすることは必須の概念ではない。
【００６２】
図１０に示す切出しエリア４２のＸ軸方向およびＹ軸方向の長さの１／２幅であるＬｘおよびＬｙは次の（式１）および（式２）によって算出することができる。
【００６３】
【数１】
2013225819.tif 000003
【００６４】
そして、切出しエリア設定部３１は、既知の画像エリア４０の各頂点の座標と、Ｌｉｘ、ＬｉｙおよびＬｘ、Ｌｙの値から切出しエリア４２の各頂点Ｐ１〜Ｐ４の座標を算出する（ＳＴ２０４）。
【００６５】
図１１は、図４中の傾き補正（ＳＴ１０３）の詳細を示すフロー図である。ＰＣ３では、書画カメラ２から取得した撮影画像データを画像データ入力部２２が画像データ記憶部３８に格納した後（ＳＴ３０１）、グレースケール変換部３２が撮影画像をＲＧＢのカラー画像から白黒画像に変換する（ＳＴ３０２）。このグレースケール変換処理は、中間値法等の周知の方法を用いて行うことができる。書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。
【００６６】
続いて、エッジ抽出部３３は、グレースケール変換された撮影画像において輝度が急激に変化する部位をエッジ画素として抽出する（ＳＴ３０３）。このエッジ画素抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。更に、線分抽出部３４は、取得された複数のエッジ画素から直線成分としての線分の抽出を行う（ＳＴ３０４）。この線分抽出処理は、確率的ハフ（Hough）変換等の周知の方法を用いて行うことができる。確率的ハフ変換は、画像の中から端点を持つ線分を検出する際に用いられ、検出された線分について始点，終点の座標値を取得することができる。ここで抽出された端点の座標値等の各線分のデータは、パラメータ記憶部３９に格納される。なお、撮影画像から抽出する直線成分としては、ここに示す線分に限らず、少なくとも書籍Ｂの傾斜の度合いを反映するものであれば良い。
【００６７】
次に、傾き補正角度設定部３５は、線分抽出部３４により検出された複数の線分の傾斜角度に関する情報について統計的処理（以下、線分情報統計処理という。）を行うことによって撮影画像の傾斜角度を推定する（ＳＴ３０５）。この線分情報統計処理では、線分の傾斜角度に関するヒストグラムの情報が生成される。
【００６８】
その後、画像回転部３６は、推定された傾斜角度に基づき撮影画像を回転させることにより撮影画像の傾きを補正し、これにより、正規の読取位置にて（すなわち、傾きなしで）書籍Ｂの紙面が読み取られた場合と同等の撮影画像を生成する（ＳＴ３０６）。この画像回転処理により、例えば図６に示したように、原稿の基準方向（水平・垂直方向）と目標方向（Ｘ軸・Ｙ軸方向）とが略一致して撮影画像の傾きが解消される。
【００６９】
図１２は図１１中の線分情報統計処理（ＳＴ３０５）の詳細を示すフロー図である。まず、傾き補正角度設定部３５は、パラメータ記憶部３９から画像処理の対象となる撮影画像についての全ての線分の情報（以下、「線分情報」という。）を取得する（ＳＴ４０１）。この線分情報は、上述したＳＴ３０４における確率的ハフ変換等によって生成されたものであり、例えば複数の線分の各々における両端点の座標データ等が含まれる。
【００７０】
次に、各線分の相互の交差状態を判定するために、線分情報にある全ての線分から１つの線分を検査対象線分（判定対象である線分）として抽出し（ＳＴ４０２）、更に、線分情報にある全ての線分から検査対象線分以外の１つの線分を比較対象線分として抽出する（ＳＴ４０４）。なお、少なくとも線分情報統計処理の開始時には、比較が終了していない検査対象線分および比較対象線分が存在するため、対象となる線分の有無を判定するＳＴ４０３、ＳＴ４０５では共にＮｏと判定される。
【００７１】
次に、ＳＴ４０２で抽出した検査対象線分がＳＴ４０４で抽出した比較対象線分と交差するか否かを判定し、交差する場合（ＳＴ４０６；Ｙｅｓ）には、当該検査対象線分をＳＴ４０２の抽出候補から除外し（ＳＴ４０７）、更に、ＳＴ４０４で抽出されるべき比較対象線分の情報をリセットする（ＳＴ４０８）。これにより、当該検査対象線分は、統計的処理の対象から除外される。その後、再びＳＴ４０２に戻り、まだ交差状態を判定していない次の検査対象線分を上記と同様に抽出する。なお、各線分の交差状態は、線分の両端点の座標に基づき公知の方法を用いて判定することができる。
【００７２】
一方、検査対象線分と比較対象線分とが互いに交差しない場合（ＳＴ４０６；Ｎｏ）には、当該比較対象線分をＳＴ４０４の抽出候補から除外する（ＳＴ４０９）。その後、再びＳＴ４０４に戻り、まだ交差状態を判定していない次の比較対象線分を上記と同様に抽出する。
【００７３】
最終的に、所定の検査対象線分と交差する比較対象線分が存在しない場合（ＳＴ４０５；Ｙｅｓ）、傾き補正角度設定部３５は、当該検査対象線分の座標データに基づきその傾斜角度θを算出し（ＳＴ４１０）、その算出結果をヒストグラム情報に追加（すなわち、統計的処理の対象として抽出）する（ＳＴ４１１）。つまり、横軸を傾斜角度θ、縦軸を度数として、θに対応する度数をカウントアップする。
【００７４】
この処理によって、最終的に全ての検査対象線分の交差状態の判定が終了すると（ＳＴ４０３；Ｙｅｓ）、傾き補正角度設定部３５は、ＳＴ４１１において追加されたヒストグラム情報に基づきヒストグラムを生成し、このヒストグラムの傾斜角度分布における最大度数を検索する（ＳＴ４１２）。そして、傾き補正角度設定部３５は、検索した最大度数の値（例えば、階級の間隔の中間値）を撮影画像の傾斜角度（つまり、傾き補正角度）として推定する（ＳＴ４１３）。
【００７５】
このように、統計的処理の対象から交差線分を排除することにより、撮影画像の傾斜角度を推定するのに適切な有効線分（原稿の基準方向に沿った線分）を処理対象として撮影画像の傾斜角度を精度良く推定することが可能となる。なお、ここでは、撮影画像から抽出した直線成分（線分）に基づき撮影画像の傾斜角度を推定したが、これに限らず、他の公知の方法により撮影画像の傾斜角度を推定してもよい。場合によっては、原稿自体の傾きを検出するための各種センサを備えた構成も可能である。
【００７６】
図１３は図４中の画像切出し（ＳＴ１０４）の詳細を示すフロー図である。まず、画像切出し部３７は、ＳＴ１０３で傾き補正された撮影画像を取得し（ＳＴ５０１）、続いて、出力画像（切出し画像）を格納するためのメモリ領域をデータ格納部２８において確保する（ＳＴ５０２）。
【００７７】
次に、画像切出し部３７は、ＳＴ１０１で算出された矩形の切出しエリア４２の各頂点Ｐ１〜Ｐ４（図１０参照）の座標を取得する（ＳＴ５０３）。そこで、画像切出し部３７は、傾き補正された撮影画像の切出しエリア４２内において、所定の画素（例えば、頂点Ｐ１）を始点としてＹ軸方向およびＸ軸方向に向けて全ての画素を順に抽出し（ＳＴ５０４、ＳＴ５０５）、抽出された画素の座標に基づき当該画素が切出しエリア４２内にあるか否かを判定する（ＳＴ５０６）。なお、ＳＴ５０９およびＳＴ５０８は、それぞれＳＴ５０４およびＳＴ５０５に対応するループ端の終端である。
【００７８】
ＳＴ５０６において抽出された画素が切出しエリア４２内にある場合（ＹＥＳ）、当該画素の画素値の情報をＳＴ５０２で設定したメモリ領域に記憶する（ＳＴ５０７）。一方、抽出された画素が切出しエリア４２内にない場合（ＮＯ）、当該画素の画素値は不要な情報として表示データから除外される。
【００７９】
このようにして、切出しエリア４２内の全ての画素について画素値が取得される。これにより、表示データ生成部２７は、データ格納部２８に格納された切出し画像のデータから適切な表示データを生成することができる。
【００８０】
なお、図示は省略したが、画像切出し部３７は、切出しエリア４２内の画像の切出しを行うに際し、傾き補正角度設定部３５が推定した撮影画像の傾斜角度と基準回転角度とを比較し、撮影画像の傾き補正角度が基準回転角度を超えた場合、一連の画像切出し処理を中止することができる。つまり、撮影画像の傾き補正において基準回転角度よりも大きな回転がなされた場合には、基準回転角度θｓに基づき設定された切出しエリア４２は傾き補正後の撮影画像内に収まらないが、そのような場合には画像切出し処理を中止することで、切り出された画像の四隅において不自然な領域の発生を防止することができる。また、別法として、撮影画像の傾き補正角度が基準回転角度θｓを超えた場合に、切出しエリア設定部３１が、ＳＴ２０３の切出しサイズを傾き補正前における撮影画像の画像エリア４０のサイズに設定する構成も可能である。また、撮影画像の傾き補正角度が基準回転角度θｓを超えた場合に、基準回転角度θｓだけ回転させたうえで、基準回転角度θｓに対応した切出しエリア４２の画像を切出すようにしてもよい。これによって、ある程度の傾斜角補正を実行し、かつ画像の四隅に不自然な領域が発生するのを防止することができる。
【００８１】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００８２】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、傾き補正を行った撮影画像をディスプレイ等に表示する場合であっても、矩形の画像表示エリアの四隅において撮影画像データの欠損に起因する不自然な領域の発生を防止できると共に、撮影画像データを効率的に利用可能とし、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００８３】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
２６  表示部
２７  表示データ生成部
２８  データ格納部
３０  画像傾斜補正部
３１  切出しエリア設定部
３５  傾き補正角度設定部
３６  画像回転部
３７  画像切出し部
４０  補正前撮影画像の画像エリア
４１  基準補正撮影画像の画像エリア
４２  切出しエリア
５２  画像表示エリア
Ｇ  図心
θｓ  基準回転角度
【図１】
2013225819.tif 000004
【図２】
2013225819.tif 000005
【図３】
2013225819.tif 000006
【図４】
2013225819.tif 000007
【図５】
2013225819.tif 000008
【図６】
2013225819.tif 000009
【図７】
2013225819.tif 000010
【図８】
2013225819.tif 000011
【図９】
2013225819.tif 000012
【図１０】
2013225819.tif 000013
【図１１】
2013225819.tif 000014
【図１２】
2013225819.tif 000015
【図１３】
2013225819.tif 000016