(57)【要約】【課題】書画カメラ等で読み取られた原稿の画像において、撮影時に外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、その外形線の欠落部分を容易かつ確実に補完可能とする。【解決手段】画像処理装置（ＰＣ）３が、撮影画像におけるエッジ画素を抽出するエッジ抽出部３２と、原稿の上下方向の少なくとも一方側における左右の角点を検出すると共に、その一方側におけるのど点を検出する角点・のど点検出部３３と、エッジ画素に基づき、原稿の少なくとも一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部３４と、角点とのど点とを結ぶ線分に対する角度に基づき線分の候補の中から無効線分を排除する無効線分排除部３５と、無効線分が排除された線分で構成された外形線に対して線分補間を行う線分補間部３６とを備えた構成とする。【選択図】図２
2013192101.tif 000002
【特許請求の範囲】
【請求項１】
製本された原稿の左右の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記原稿の上下方向の少なくとも一方側における左右の角点を検出する角点検出部と、
前記原稿の少なくとも前記一方側における綴じ中心線の端点であるのど点を検出するのど点検出部と、
前記エッジ画素に基づき、前記原稿の少なくとも前記一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部と、
前記左右の紙面の少なくとも一方に関し、前記角点と前記のど点とを結ぶ線分に対する角度に基づき前記線分の候補の中から無効線分を排除する無効線分排除部と、
前記無効線分が排除された前記線分の候補で構成された外形線における欠落部分に対して線分補間を行う線分補間部とを備えたことを特徴とする画像処理装置。
【請求項２】
前記線分認識部は、前記角点と前記のど点との間で前記エッジ画素をトレースすることにより、前記複数の線分の候補を認識することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記無効線分排除部は、前記線分の候補の端点と、これに隣接する他の線分の両端点を通る仮想直線との最短距離を算出し、当該最短距離が所定の閾値以上である場合、当該線分の候補を無効線分として排除することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、
前記原稿の左右方向の少なくとも一方側における上下の角点を検出する角点検出部と、
前記エッジ画素に基づき、前記原稿の少なくとも前記一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部と、
前記上下の角点を結ぶ線分に対する角度に基づき前記線分の候補の中から無効線分を排除する無効線分排除部と、
前記無効線分が排除された複数の線分で構成された外形線における欠落部分に対して線分補間を行う線分補間部とを備えたことを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
本のページを自然に開いた状態で上方から撮影してページの画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。このような書画カメラを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、本を電子化する作業を効率良く行うことができる。
【０００３】
この種の書画カメラで書籍などの製本された原稿を読み取る場合、原稿を自然に開いたままの状態では、ページが浮き上がるなどして読み取られた画像にずれや歪みが生じるため、ユーザは手指等で原稿を押さえてページの反りを解消する必要がある。しかしながら、ユーザが手指等で原稿を押さえた場合、その手指等も一緒に撮影されてしまうため、取得した撮像画像が見苦しいものとなってしまう。
【０００４】
そこで、原稿の所定部分（例えば手指が置かれる確率の高い原稿の左右端付近）に相当する画像の濃度分布に基づき、当該所定部分に手指が存在するか否かを判定し、手指が存在する場合には、その領域を白データに置き換えることによりそれらの像を消去する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平６−７８１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、製本された原稿の外形輪郭を画定するエッジ（以下、外形線という。）の情報は、撮影画像における原稿領域の認識や種々の画像処理（例えば、平面化処理）の際に重要となるが、上述のように原稿を押さえたユーザの指等によって原稿の外縁部が覆われると外形線の認識が困難となる場合がある。
【０００７】
しかしながら、上記特許文献２に記載された従来技術では、手指が存在する場合にその領域を単に白データに置き換える構成であるため、画像の見栄えは向上するものの、指に覆われた外形線は必ずしも認識することはできないという問題があった。また、この従来技術では、手指を検出対象としているため、外形線を覆う他の物体（例えば本を押さえる道具等）には対応できない場合があった。
【０００８】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、撮影時に外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、その外形線の欠落部分を容易かつ確実に補完可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、製本された原稿の左右の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記原稿の上下方向の少なくとも一方側における左右の角点を検出する角点検出部と、前記原稿の少なくとも前記一方側における綴じ中心線の端点であるのど点を検出するのど点検出部と、前記エッジ画素に基づき、前記原稿の少なくとも前記一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部と、前記左右の紙面の少なくとも一方に関し、前記角点と前記のど点とを結ぶ線分に対する角度に基づき前記線分の候補の中から無効線分を排除する無効線分排除部と、前記無効線分が排除された前記線分の候補で構成された外形線における欠落部分に対して線分補間を行う線分補間部とを備えることを特徴とする。
【発明の効果】
【００１０】
このように本発明によれば、撮影時に外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、その外形線の欠落部分を容易かつ確実に補完可能となるという優れた効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る原稿読取システム１を示す全体構成図
【図２】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図３】図１中の原稿読取システム１による原稿読取手順の要部を示すフロー図
【図４】図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図
【図５】図３中の角点検出（ＳＴ１０３）の詳細を示すフロー図
【図６】図５中のエッジ検索（ＳＴ２０１）の処理の一例を示す説明図
【図７】図５中の角点推定（ＳＴ２０３）の処理の一例を示す説明図
【図８】図５中の角点の有効性判定（ＳＴ２０４）の処理の一例を示す説明図
【図９】図３中の線分認識（ＳＴ１０５）の結果一例を示す模式図
【図１０】図３中の線分認識（ＳＴ１０５）におけるエッジトレースの処理過程の一例を示す模式図
【図１１】図３中の無効線分排除（ＳＴ１０６）の詳細を示すフロー図
【図１２】図１１中のＳＴ３０１、ＳＴ３０３の処理の概要を示す説明図
【図１３】図１１中のＳＴ３０５の処理の概要を示す説明図
【図１４】図３中の無効線分排除（ＳＴ１０６）の結果一例を示す模式図
【図１５】図３中の線分補間（ＳＴ１０７）の結果一例を示す模式図
【発明を実施するための形態】
【００１２】
上記課題を解決するためになされた第１の発明に係る画像処理装置は、製本された原稿の左右の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記原稿の上下方向の少なくとも一方側における左右の角点を検出する角点検出部と、前記原稿の少なくとも前記一方側における綴じ中心線の端点であるのど点を検出するのど点検出部と、前記エッジ画素に基づき、前記原稿の少なくとも前記一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部と、前記左右の紙面の少なくとも一方に関し、前記角点と前記のど点とを結ぶ線分に対する角度に基づき前記線分の候補の中から無効線分を排除する無効線分排除部と、前記無効線分が排除された前記線分の候補で構成された外形線における欠落部分に対して線分補間を行う線分補間部とを備える構成とする。
【００１３】
これによると、撮影時に原稿の上下方向の少なくとも一方側における外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、当該手指等から認識される無効線分を排除し、外形線の欠落部分を容易かつ確実に補完することが可能となる。
【００１４】
また、第２の発明は、前記第１の発明において、前記線分認識部は、前記角点と前記のど点との間で前記エッジ画素をトレースすることにより、前記複数の線分の候補を認識する構成とする。
【００１５】
これによると、外形線の線分の候補をより適切に認識することができ、外形線の欠落部分をより精度良く補完することが可能となる。
【００１６】
また、第３の発明は、前記第１または第２の発明において、前記無効線分排除部は、前記線分の候補の端点と、これに隣接する他の線分の両端点を通る仮想直線との最短距離を算出し、当該最短距離が所定の閾値以上である場合、当該線分の候補を無効線分として排除する構成とする。
【００１７】
これによると、他の線分との距離に基づき、手指等から認識される無効線分をより効果的に排除することができ、外形線の欠落部分をより精度良く補完することが可能となる。
【００１８】
また、第４の発明に係る画像処理装置は、原稿の紙面を撮影した撮影画像を取得する撮影画像取得部と、前記撮影画像における複数のエッジ画素を抽出するエッジ抽出部と、前記原稿の左右方向の少なくとも一方側における上下の角点を検出する角点検出部と、前記エッジ画素に基づき、前記原稿の少なくとも前記一方側における外形線を構成し得る複数の線分の候補を認識する線分認識部と、前記上下の角点を結ぶ線分に対する角度に基づき前記線分の候補の中から無効線分を排除する無効線分排除部と、前記無効線分が排除された複数の線分で構成された外形線における欠落部分に対して線分補間を行う線分補間部とを備えた構成とする。
【００１９】
これによると、撮影時に原稿の左右方向の少なくとも一方側における外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、当該手指等から認識される無効線分を排除し、外形線の欠落部分を容易かつ確実に補完することが可能となる。
【００２０】
また、第５の発明は、前記第１から第４の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を備えた画像入力装置とを備えた原稿読取システムである。
【００２１】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２２】
図１は、第１実施形態に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、本（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２３】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状の脚７と、この脚７に支持され、斜め上方に伸縮自在のアーム８とを有している。アーム８は、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の光軸方向（撮影方向）を調整可能となっている。
【００２４】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の少なくとも一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。
【００２５】
また、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。この場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２６】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に本Ｂを開いた状態で載置することにより、本Ｂの見開き２ページと本Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対して表示される。なお、原稿読取システム１が読み取る原稿は、本に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２７】
図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００２８】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００２９】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部（撮影画像取得部）２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、撮影画像データの画像処理の際に本Ｂの外形線を検出する外形検出部３１を有している。外形検出部３１によって処理される撮影画像データは画像データ記憶部３７から読み出され、また、後述する外形検出部３１での処理に用いられる各種パラメータの情報はパラメータ記憶部３８から読み出される。
【００３０】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。或いは、ＰＣ３を画像処理装置と解釈して、特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３７およびパラメータ記憶部３８は汎用のメモリからなる。
【００３１】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３７に格納し、必要に応じてその撮影画像データを外形検出部３１に出力する。そして、外形検出部３１によって検出された外形線のデータは、画像処理部２３が実行する周知の画像処理（例えば、平面化）に必要な情報となる。所定の画像処理がなされた撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３２】
外形検出部３１は、撮影画像について複数のエッジ画素を抽出して二値化したエッジ画像を取得するエッジ抽出部３２と、製本された（背の部分が綴じられた）本Ｂの４つの角点および本Ｂの左右のページの境界線（綴じ中心線）をなすのど部の上下の端点（以下、のど点という。）を検出する角点・のど点検出部３３と、本Ｂの外形線を構成し得る複数の線分の候補として、エッジ画像における各エッジ画素を結ぶ複数の線分（直線成分等）を認識する線分認識部３４と、認識された線分の候補の中から無効線分を排除する無効線分排除部３５と、無効線分が排除された線分の候補で構成された外形線における欠落部分に対して線分補間を行う線分補間部３６とを有している。
【００３３】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３４】
図３は図１の原稿読取システム１による原稿読取手順の要部を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す模式図である。
【００３５】
まず、ユーザは、読取位置（書画カメラ２の撮影可能位置）に本Ｂを開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。これにより、画像の入力、すなわち書画カメラ２での撮像が開始されてその撮影画像データがＰＣ３に順次送信される（ＳＴ１０１）。
【００３６】
ここで、撮影画像は、例えば図４（Ａ）、（Ｂ）に示すように、書画カメラ２の矩形の撮影エリア４０により画定され、この撮影エリア４０内には本Ｂの画像とその背景となる載置面６の画像とが含まれる。中央ののど部４２によって仕切られた左右の紙面（見開き）４１Ｌ、４１Ｒには、ここでは図示しないが、文字や記号等が表示される文章領域や、図面や写真等が表示される図形枠等がそれぞれ含まれている。
【００３７】
本Ｂのような製本された原稿を読み取る場合、図４（Ａ）に示すように、本Ｂを自然に開いたままの状態では、ページが浮き上がるなどして読み取られた画像にずれや歪みが生じ得る。そこで、ユーザは、図４（Ｂ）に示すように、手指Ｆ１、Ｆ２により紙面４１Ｌ、４１Ｒの外周縁部を押さえてページの反りを解消する場合がある。以下では、図４（Ｂ）に示すような手指Ｆ１、Ｆ２を含む撮像画像を取得した場合のＰＣ３の処理について説明する。なお、ここでは、本Ｂを押さえてページの浮き上がりを防止する手段として手指を示しているが、これに限らず、例えば書画カメラ２に設けられた押さえ治具等でもよい。
【００３８】
再び図３を参照して、ＰＣ３では、書画カメラ２から受信した撮影画像データを画像データ入力部２２が画像データ記憶部３７に格納した後、エッジ抽出部３２は、撮影画像において輝度が急激に変化する部位を二値化したエッジ画素として抽出することによりエッジ画像を取得する（ＳＴ１０２）。このエッジ抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。
【００３９】
次に、角点・のど点検出部３３は、後に詳述するように、略矩形をなす本Ｂの４つの角点を検出する（ＳＴ１０３）。ここで検出される角点は、通常は紙面４１Ｌ、４１Ｒよりもややサイズの大きい表紙の四隅となる。
【００４０】
さらに、角点・のど点検出部３３は、検出した角点の情報に基づき、本Ｂの２つののど点を検出する（ＳＴ１０４）。のど点検出では、例えばハフ変換等を用いてエッジ画像における縦方向の直線を複数検出した後、上側の左右の角点の中間位置と下側の左右の角点の中間位置の座標との比較からのど部から検出された直線を選択し、この直線の上下端の位置（外形線の上辺、下辺との交点）をのど点（図８中の符号Ｄ１、Ｄ２参照）として設定することができる。この場合、予めのど点候補とその周辺のエッジ画素との形状（接続関係）を想定した複数の画像パターンを準備しておき、直線およびその周辺画素をそれらの画素パターンと比較することにより、のど点の検出が容易となる。
【００４１】
なお、ＳＴ１０３、ＳＴ１０４における角点およびのど点の検出は、上述の方法に限らず、他の周知の方法を用いて実行することが可能である。
【００４２】
次に、線分認識部３４は、後に詳述するように、検出された複数のエッジ画素から線分の認識（直線成分等の検出）を行う（ＳＴ１０５）。この線分認識処理では、所定の始点および終点が設定され、本Ｂの外周領域に対してエッジのトレース処理を行うことにより、本Ｂの外形線を構成し得る複数の線分の候補を認識する。ここで認識された各線分に関する端点の座標値等のデータは、パラメータ記憶部３８に格納される。
【００４３】
その後、無効線分排除部３５は、後に詳述するように、ＳＴ１０５において認識された複数の線分から外形線を構成するのに不適切な無効線分を抽出し、この抽出した無効線部を線分の候補から排除する（ＳＴ１０６）。これにより、線分認識部３４によって認識された線分の候補のうち、外形線を構成するのに適切な有効線分が選別される。
【００４４】
最後に、線分補間部３６は、無効線分が排除された線分の候補で構成された外形線について、欠落部分（線分同士の端点が接続していない領域）が存在する場合には、この欠落部分に対して線分補間を行う（ＳＴ１０７）。この線分補間処理では、線形補間により端点間を直線で結ぶことにより、外形線を補完することができるが、これに限らず、例えば高次のスプライン補間を実施して端点間を曲線で結んでもよい。
【００４５】
図５は図３中の角点検出（ＳＴ１０３）の詳細を示すフロー図であり、図６、図７及び図８はそれぞれ図５中のエッジ検索（ＳＴ２０１）、角点推定（ＳＴ２０３）及び角点の有効性判定（ＳＴ２０４）の処理の一例を示す説明図である。
【００４６】
図５に示すように、まず角点・のど点検出部３３は、撮影エリア４０の四方から対角線上にエッジ画素を検索する（ＳＴ２０１）。より詳細には、図６に示すように、矩形をなす撮影エリア４０において互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に対して所定角度（ここでは±４５度）傾斜した仮想直線Ｌ１〜Ｌ４を、撮影画像の４つの頂点４５ａ〜４５ｄを始点として、その始点から対角線上を撮影画像の中心に向かって、所定の移動間隔で段階的に平行移動させながら、仮想直線Ｌ１〜Ｌ４と本Ｂの輪郭成分との交点（エッジ画素）を収集する。この仮想直線Ｌ１〜Ｌ４の移動は、後に角点を推定可能な所定数の交点が検出されるまで実施される。
【００４７】
一般にユーザは見開いた本Ｂの下辺の中央（即ち、本Ｂの下辺と「のど」が交差する部分）の近傍（図４（Ｂ）の状況）や、見開き両ページの左右かつ本Ｂの上下中央部分を押さえることが多い。このように撮像エリア４０の四方から対角線上にエッジ画素を検出することで、角点検出の際に、ユーザが本Ｂの反りを解消するために置いた指等を有効に排除することができる。
【００４８】
ここで、仮想直線については、始点から最初の交点が検出されるまでは、仮想直線Ｌ１〜Ｌ４を第１の移動間隔step1で大きく移動させ、交点が検出されると、その直前の位置から仮想直線を第２の移動間隔step2で細かく移動させるとよい。
【００４９】
このように傾斜した仮想直線を所定の移動間隔で段階的に平行移動させながら、輪郭成分と仮想直線との交点を収集すると、仮想直線が本Ｂの角点付近の輪郭成分に到達したところで、交点の列が概ね直角に近い状態で２方向に分かれるように現れるため、この交点の出現状況から本Ｂの角点を精度よく検出することができる。ただし、実際問題として、書籍等の外形角点の形状は鈍っていることが多く、本実施形態では、以下のように外形角点の位置を推定によって求めている。
【００５０】
まず、角点・のど点検出部３３は、ＳＴ２０１で検索されたエッジ画素から角点を推定するための直線を検出する（ＳＴ２０２）。例えば、図７に示すように、本Ｂの左下の角領域において、概ねＸ軸方向に沿って存在する輪郭点Ｐｘ１、Ｐｘ２と、概ねＹ軸方向に沿って存在する輪郭点Ｐｙ１、Ｐｙ２とが、ＳＴ２０１においてエッジ画素として検索された場合、角点・のど点検出部３３は、輪郭点Ｐｘ１、Ｐｘ２を通る直線Ｌｘと、輪郭点Ｐｙ１、Ｐｙ２を通る直線Ｌｙとをそれぞれ検出することができる。そして、角点・のど点検出部３３は、直線Ｌｘと直線Ｌｙとの交点を角点Ｃとして設定する（ＳＴ２０３）。
【００５１】
ここで、より多くの輪郭点が存在する場合には、それらのうちの２点に基づき複数の直線が抽出される（すなわち、角点候補となる複数の交点が算出される）が、直線同士の角度θａや２点の位置関係に基づき最適な交点を選択することができる。また、輪郭成分において外形線の２辺が閉じている（すなわち、角点付近のエッジ画素が連続している）場合には、仮想直線Ｌ１〜Ｌ４を始点から平行移動させて、最初に検出した交点を角点Ｃとして選定することができる。つまり、角点に仮想直線が接した場合、理想的には輪郭成分との交点は一つとなるため、接触したことをもって角点を検出するのである。また、仮想直線を対角方向にstep1の移動間隔で移動させ、交点を複数検出したならば、それまでの移動方向とは逆の方向（つまり、仮想直線Ｌ１の場合は頂点４５ａの方向）に細かく（例えばstep2で）移動させ、交点が１又は０となったことに基づき角点を検出するようにしてもよい。そして、これらの操作をstep幅を小さくしながら複数回繰り返すことで、理論上は角点の検出精度が向上する。さらに、載置面６の画像にノイズ成分が存在する場合には、予め除去しておくとよい。
【００５２】
本Ｂの４つの角点を設定した後に、角点・のど点検出部３３は、それら角点の位置関係から設定した角点の有効性を判定する（ＳＴ２０４）。角点の有効性は、例えば図８に示すように、４つの角点Ｃ１〜Ｃ４の位置関係（各角点間の距離や各角点を結ぶ線分のなす角度の比較等）に基づき、角点Ｃ１〜Ｃ４が略矩形状に配置されているか否かにより判定する。
【００５３】
そして、角点・のど点検出部３３は、全ての角点Ｃ１〜Ｃ４が有効である場合（ＳＴ２０５；ＹＥＳ）には、角点検出処理を終了する。一方、角点・のど点検出部３３は、いずれかの角点が有効でないと判定した場合（ＳＴ２０５；ＮＯ）には、他の角点に基づき無効と判断した角点の座標を補正する（ＳＴ２０６）。例えば、図８に示すように、紙面の図形枠の角等を検出することにより、誤った角点Ｃ３ｅが設定されていた場合、他の３つの角点Ｃ１、Ｃ２、Ｃ４との位置関係から適切な位置に角点Ｃ３を設定することができる。
【００５４】
図９は図３中の線分認識（ＳＴ１０５）の結果の一例を示す模式図であり、図１０は図３中の線分認識（ＳＴ１０５）におけるエッジトレースの処理過程の一例を示す模式図である。
【００５５】
例えば、左紙面４１Ｌの下辺（外形線）を対象とするエッジトレース処理では、のど点Ｄ１および角点Ｃ１をそれぞれ始点および終点に設定し、のど点Ｄ１から角点Ｃ１に向けてエッジ画素を探索する。ここでは、線分の特徴（直線、曲線、分岐等）に基づき予め複数の画素パターンが準備されており、探索した一群のエッジ画素をそれらの画素パターンと比較して一致した場合に線分およびその端点を認識する。
【００５６】
エッジトレース処理においては、図１０（Ａ）に示すように、本Ｂの外形線を覆う障害物（ここでは手指Ｆ２）が存在する場合、線分は比較的大きな角度で折れ曲がる。この場合、手指Ｆ２の外形輪郭に沿って線分の分岐が生じる。
【００５７】
また、図１０（Ｂ）に示すように、一部の領域においてエッジ画素を探索できない場合には、線分が完全に折り返され、０度（または３６０度）に近い角度をなす。このように障害物やエッジ画素の欠落によりエッジを探索できない場合には、エッジの探索範囲を拡げて（終点方向に位置する次の始点を選択して）さらに探索を継続する。最終的に、エッジ画素の探索が終点（ここでは角点Ｃ１）または撮影エリア４０の外縁まで達すると線分認識処理が終了する。
【００５８】
なお、線分認識の処理は、少なくとも本Ｂの外形線を構成し得る複数の線分の候補を認識可能な限りにおいて、上述の方法に限らず、他の周知の方法を用いてもよい。また、ここでは左紙面の下辺（外形線）の線分認識についてのみ示したが、右紙面の下辺についても同様に処理することが可能である。
【００５９】
図１１は図３中の無効線分排除（ＳＴ１０６）の詳細を示すフロー図であり、図１２は図１１中のＳＴ３０１、ＳＴ３０３の処理の概要を示す説明図であり、図１３は図１１中のＳＴ３０５の処理の概要を示す説明図であり、図１４は図３中の無効線分排除（ＳＴ１０６）の結果の一例を示す模式図である。
【００６０】
図１１に示すように、無効線分排除部３５は、線分認識部３４によって認識された各線分について、それらの両端点の座標の情報を取得し（ＳＴ３０１）、それら両端点が予め設定された有効領域内にあるか否かを判定する（ＳＴ３０２）。そして、線分が有効領域内にない場合（ＮＯ）、当該線分を無効線分として除去する（ＳＴ３０７）。
【００６１】
ここで、例えば図１２に示すように、有効領域Ｒは、線分認識におけるエッジトレースの始点（のど点Ｄ１）から終点（角点Ｃ１）に向けて帯状に延びる平行四辺形の領域を設定することができる。ここで、平行四辺形の１組の対辺は、エッジトレースの始点および終点を結ぶ基準線Ｌｓに平行であり、他の１組の対辺はそれぞれエッジトレースの始点および終点を通るように設定されている。
【００６２】
線分が有効領域内にある場合（ＳＴ３０２；ＹＥＳ）、無効線分排除部３５は、更に、判定対象である線分Ｌ０の両端点を結ぶ直線と基準線Ｌｓとのなす角度θｂ（図１２参照）を算出し（ＳＴ３０３）、予め設定された所定の閾値（例えば２０度）以下であるか否かを判定する（ＳＴ３０４）。そして、角度θｂが閾値を超える場合（ＮＯ）、無当該線分を無効線分として除去する（ＳＴ３０７）。
【００６３】
線分と基準線Ｌｓとの角度θｂが閾値以下の場合（ＳＴ３０４；ＹＥＳ）、無効線分排除部３５は、判定対象の線分Ｌ０の端点とこれに隣接する他の線分との距離を算出し（ＳＴ３０５）、この距離が予め設定された所定の閾値以下であるか否かを判定する（ＳＴ３０６）。
【００６４】
ここで、例えば図１３に示すように、無効線分排除部３５は、判定対象線分の端点Ｐａと、これに隣接する他の線分の両端点Ｐｂ、Ｐｃを通る仮想直線Ｌｉとの最短距離ｄを算出し、この最短距離ｄを閾値と比較する。この場合、端点Ｐａと端点ＰｂとのＸ軸方向の距離ΔＸを算出し、この距離ΔＸの値に応じて閾値を変化させることができる。例えば、距離ΔＸの増大に応じて閾値を線形的に増加させるとよい。なお、隣接する他の線分は、ΔＸの大きさに基づき選択（ΔＸが最小となる線分を選択）することができる。同様に、本Ｂの外形輪郭における左右の辺の場合は、Ｙ軸方向の距離ΔＹに応じて閾値を変化させることができる。
【００６５】
最終的に全ての線分の判定が終了すると（ＳＴ３０８）、無効線分除去の処理が終了し、図１４に示すような、有効線分で構成された外形線が得られる。なお、ＳＴ３０５、ＳＴ３０６の処理については、省略することも可能である。ここで、形成される外形線には、障害物（ここでは手指）による遮蔽やエッジ画素の欠落により、各線分の連続性が絶たれた欠落部分Ｌａが存在する。
【００６６】
図１５は図３中の線分補間（ＳＴ１０７）の結果一例を示す模式図である。
【００６７】
原稿読取システム１では、上述のように角点（Ｃ１またはＣ２）とのど点（Ｄ１）とを結ぶ線分に対する角度に基づき、外形線を構成する線分の候補の中から無効線分を排除した後に、図１５に示すように、残りの有効線分で構成された外形線における欠落部分Ｌａ（図１４参照）に対して、既にエッジトレースによって生成された線分で、かつ欠落部分Ｌａの両側に隣接する２つの線分の開放端を結合して線分Ｌｃを生成する。即ち、線分を挿入して補間を行なう。または、既に存在する線分の開放端を、その線分の延長線上に延伸して、欠落部分Ｌａを挟んで対向する線分の開放端と接続する。これにより、撮影時に原稿の下方側における外形線（下辺）の一部を覆う手指が存在することにより当該外形線の一部が取得できない場合でも、外形線の欠落部分Ｌａを容易かつ確実に補完することができる。
【００６８】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。上記実施形態では、原稿の下辺（外形線）の処理についてのみ示したが、原稿の上辺についても同様に実施することができる。さらに、原稿の左右の辺（Ｙ軸方向の外形線）についても同様に処理可能であり、その場合、のど点の座標は不要となり、上下の角点間でエッジトレースを実施することとなる。また、線分認識においてエッジトレースの始点または終点に用いる角点は、ページの角点としてもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００６９】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、撮影時に外形線の一部を覆う手指等が存在することにより当該外形線の一部が取得できない場合でも、その外形線の欠落部分を容易かつ確実に補完可能とし、本などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００７０】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
２２  画像データ入力部（撮影画像取得部）
２３  画像処理装置
３０  外形検出部
３１  エッジ抽出部
３３  角点・のど点検出部
３４  線分認識部
３５  無効線分排除部
３６  線分補間部
４１Ｌ  左紙面
４１Ｒ  右紙面
Ｃ、Ｃ１〜Ｃ４  角点
Ｄ１、Ｄ２  のど点
【図１】
2013192101.tif 000003
【図２】
2013192101.tif 000004
【図３】
2013192101.tif 000005
【図４】
2013192101.tif 000006
【図５】
2013192101.tif 000007
【図６】
2013192101.tif 000008
【図７】
2013192101.tif 000009
【図８】
2013192101.tif 000010
【図９】
2013192101.tif 000011
【図１０】
2013192101.tif 000012
【図１１】
2013192101.tif 000013
【図１２】
2013192101.tif 000014
【図１３】
2013192101.tif 000015
【図１４】
2013192101.tif 000016
【図１５】
2013192101.tif 000017