(57)【要約】【課題】書画カメラで撮影した撮影画像中の手指の像を確実に消去する。【解決手段】原稿読取システム１が、撮影画像中の肌色領域を検出する肌色検出部３１と、肌色領域の輪郭を抽出する輪郭抽出部３３と、肌色領域の輪郭に外接する矩形を生成する外接矩形生成部３４と、外接矩形が撮影画像の外縁に接する場合に、当該外接矩形を手指の像が存在する手指領域として認識する手指領域設定部３５と、手指領域の色を変更することにより、手指の像を除去する手指像除去部３６とを備えた構成とし、撮影画像において手指の像が存在する領域を精度良く推定して手指の像を確実に消去する。【選択図】図４
2013247531.tif 000002
【特許請求の範囲】
【請求項１】
矩形の撮影画像において肌色領域を検出する肌色検出部と、
前記肌色領域の輪郭を抽出する輪郭抽出部と、
前記撮影画像の外縁をなす４辺とそれぞれ平行な４辺を有すると共に、前記輪郭に外接する外接矩形を生成する外接矩形生成部と、
前記外接矩形が前記撮影画像の外縁に接する場合に、当該外接矩形内の色を変更することにより当該外接矩形内に存在する像を除去する像除去部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記像除去部は、色を変更した前記外接矩形を外囲するように設定された領域において平滑化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記像除去部は、色を変更する前の前記外接矩形におけるいずれかの角部の色を用いて当該外接矩形内の色を変更することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記輪郭抽出部は、前記撮影画像の外縁に接する前記外接矩形を外囲するように設定された領域に存在する像の輪郭を抽出し、
前記像除去部は、前記像の輪郭が手指および当該手指の影の輪郭を含む場合にのみ、前記外接矩形内の色を変更することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
請求項１から請求項４のいずれかに記載の画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムに関する。
【背景技術】
【０００２】
書籍などの原稿を上方から撮影して画像を読み取ることができる書画カメラ（ブックスキャナ）が普及している（特許文献１参照）。この種の書画カメラで書籍などの製本された原稿を読み取る場合、原稿を自然に開いた状態ではページが浮き上がるなどして読み取られた画像にずれや歪みが生じるため、ユーザは手指で原稿を押さえてページの反りを解消する必要がある。一方で、ユーザの手指が原稿と一緒に撮影されると、撮影画像が見苦しくなるという問題がある。
【０００３】
そこで、カラー画像中の手指の像を肌の色に基づき検出し、検出した手指の像を消去する技術が知られている（特許文献２参照）。また、そのような手指の像をより確実に検出するために、撮影画像における原稿の左右端部に所定の幅で設定された検出対象領域において、原稿の端縁に沿って上下に延在する複数のラインを対象として、ライン毎に設定値より低輝度の画素（すなわち、手指と推定される画素）が連なった線分を検出し、左右に隣接するラインの線分と互いにライン方向の位置が設定画素数分以上の長さにわたって重複する線分からなる群を抽出し、この線分群の全ての画素位置から原稿外側に存在する画像を消去するようにした技術が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０３２４０号公報
【特許文献２】特開平６−１０５０９１号公報
【特許文献３】特開平１０−３３６４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献２に記載された従来技術のように手指の像を肌の色に基づき検出する場合には、手指全体を確実に検出可能なように肌の色の範囲を設定することは容易ではなく、手指の一部が欠けた状態で検出される（手指全体を検出できない）という問題があった。また、特許文献３に記載された従来技術では、手指の像の欠けた部位が上述の線分群の原稿外側に存在する場合には、その欠けた部位を含めて手指の像を除去できるものの、その欠けた部位の位置や大きさによっては手指の像全体を除去することが難しくなるという問題があった。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、撮影画像において手指の像が存在する領域を精度良く推定することにより、手指の像を確実に消去することを可能とした画像処理装置およびこれを備えた原稿読取システムを提供することを主目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、矩形の撮影画像において肌色領域を検出する肌色検出部と、前記肌色領域の輪郭を抽出する輪郭抽出部と、前記撮影画像の外縁をなす４辺とそれぞれ平行な４辺を有すると共に、前記輪郭に外接する外接矩形を生成する外接矩形生成部と、前記外接矩形が前記撮影画像の外縁に接する場合に、当該外接矩形内の色を変更することにより当該外接矩形内に存在する像を除去する像除去部とを備えたことを特徴とする。
【発明の効果】
【０００８】
このように本発明によれば、撮影画像において手指の像が存在する領域を精度良く推定することにより、手指の像を確実に消去することが可能となるという優れた効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る原稿読取システム１を示す全体構成図
【図２】図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図
【図３】図１に示した原稿読取システム１による撮影画像中の手指像の除去手順を示すフロー図
【図４】図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す図
【図５】図３中の肌色検出（ＳＴ１０２）の処理結果を示す説明図
【図６】図３中の輪郭抽出（ＳＴ１０４）の処理結果を示す説明図
【図７】図３中の外接矩形生成（ＳＴ１０５）の処理結果を示す説明図
【図８】図３中の手指領域内の色変更（ＳＴ１１２）の処理結果を示す説明図
【図９】図３中の平滑化領域設定（ＳＴ１１１）の処理結果を示す説明図
【図１０】手指像を除去した後の撮影画像を示す図
【図１１】図３中の手指像認識（ＳＴ１１０）の処理の詳細を示すフロー図
【図１２】図１１中の輪郭抽出（ＳＴ２０４）の処理結果の一例を示す図
【図１３】図７に示した外接矩形生成の変形例を示す説明図
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の発明は、矩形の撮影画像において肌色領域を検出する肌色検出部と、前記肌色領域の輪郭を抽出する輪郭抽出部と、前記撮影画像の外縁をなす４辺とそれぞれ平行な４辺を有すると共に、前記輪郭に外接する外接矩形を生成する外接矩形生成部と、前記外接矩形が前記撮影画像の外縁に接する場合に、当該外接矩形内の色を変更することにより当該外接矩形内に存在する像を除去する像除去部とを備えたことを特徴とする。
【００１１】
これによると、肌色領域の外接矩形が撮影画像の外縁に接する場合にその外接矩形を手指の像が存在する領域であると推定するため、撮影画像において手指の像が存在する領域を精度良く推定することができ、また、その外接矩形内の色を変更することにより外接矩形内に存在する像（手指の像を含む）を除去するため、手指の像を確実に消去することが可能となる。
【００１２】
また、第２の発明は、上記第１の発明において、前記像除去部は、色を変更した前記外接矩形を外囲するように設定された領域において平滑化処理を行う構成とする。
【００１３】
これによると、外接矩形の色を変更した場合に、当該外接矩形の境界部分が際立つことを防止して、撮影画像全体の外観を良好に維持できる。
【００１４】
また、第３の発明は、上記第１または第２の発明において、前記像除去部は、色を変更する前の前記外接矩形におけるいずれかの角部の色を用いて当該外接矩形内の色を変更する構成とする。
【００１５】
これによると、外接矩形内の色を適切な色を用いて変更することを可能とし、手指の像を除去した後の撮影画像全体の外観を良好に維持できる。
【００１６】
また、第４の発明は、上記第１から第３の発明のいずれかにおいて、前記輪郭抽出部は、前記撮影画像の外縁に接する前記外接矩形を外囲するように設定された領域に存在する像の輪郭を抽出し、前記像除去部は、前記像の輪郭が手指および当該手指の影の輪郭を含む場合にのみ、前記外接矩形内の色を変更する構成とする。
【００１７】
これによると、撮影画像の外縁に接する外接矩形内における手指の存在をより確実に判定することができ、撮影画像中の手指以外の像を誤って除去することを防止することができる。
【００１８】
また、第５の発明は、上記第１から第４の発明のいずれかに係る画像処理装置と、前記撮影画像を生成するカメラ部を有する画像入力装置とを備えた原稿読取システムである。
【００１９】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２０】
図１は本発明に係る原稿読取システム１を示す全体構成図である。この原稿読取システム１は、書籍（原稿）Ｂの紙面の画像を読み取って、紙面の画像データを取得するものであり、紙面を撮影して映像信号に変換する書画カメラ（画像入力装置）２と、この書画カメラ２と通信可能に接続されたＰＣ３とから構成される。
【００２１】
書画カメラ２は、撮影機能を有するカメラ部４と、このカメラ部４を保持するスタンド部５とを備えている。カメラ部４は、ＣＣＤやＣＭＯＳ等からなるイメージセンサと、ＬＥＤや蛍光ランプ等からなる照明用光源（共に図示せず）とを内蔵する。スタンド部５は、机上面などの載置面６に載置される略Ｖ字状に開いた脚７と、この脚７に支持されたアーム８とを有している。脚７の上面には、書籍Ｂの撮影位置を規定するための一対のガイド部材９が突設されている。アーム８は、脚７から斜め上方に伸縮自在に設けられる一方、ヒンジ部８ａによってカメラ部４を回動可能に保持しており、これにより、カメラ部４の画角や光軸方向（撮影方向）の調整が可能となっている。また、カメラ部４は、画角や倍率を連続的に可変させる公知のズーム機能を有している。
【００２２】
ＰＣ３は、書画カメラ２の各種動作条件をユーザが設定したり、書画カメラ２で撮像した撮影画像をユーザが確認したりするための入出力装置として機能すると共に、撮影画像の画像処理や記録等を行う画像処理装置としても機能する。
【００２３】
なお、原稿読取システム１において書画カメラ２と共に用いられる装置としては、ＰＣ(Personal Computer)に限らず同様の機能を実現可能な任意の情報処理装置を用いることができる。また、ＰＣ３の機能の一部を書画カメラ２に付加することや、ＰＣ３と書画カメラ２とを一体的に構成することも可能である。さらに、書画カメラ２とＰＣ３は直接的に接続されている必要はなく、例えば図示しないネットワークを介して接続されていてもよい。このように構成した場合、書画カメラ２が撮像のためのトリガ信号を発生させ（具体的には、例えばイメージキャプチャを指示するスイッチやボタン）、遠隔のＰＣ３（例えば、サーバ）に対してプッシュ型のデータ伝送をすることになる。
【００２４】
書画カメラ２による撮影では、ユーザがカメラ部４の真下（光軸方向）の載置面６上に書籍Ｂを開いた状態で載置することにより、書籍Ｂの見開き２ページと書籍Ｂの周囲の載置面６の一部を含む撮影画像（動画または静止画）が得られる。このときユーザは、書籍Ｂの上縁を左右方向に延びるガイド部材９に突き当てて前後方向位置および傾きを調節することにより、書籍Ｂを読取位置に精度良くセットすることが可能である。撮影画像は、ＰＣ３に適宜送信され、そこで必要な画像処理がなされた後、所定の記録媒体に保存されると共にユーザに対してディスプレイ表示される。
【００２５】
なお、原稿読取システム１が読み取る原稿は、書籍に限らず、文字、図面、写真その他これに類する情報を含む任意の情報伝達媒体とすることができる。更に、この情報伝達媒体はポジフィルム、ネガフィルム等の透過原稿であってもよく、この場合は、例えば透明な導光板の側面に光源を配置した光源ユニットにより背面から光を照射し、透過光を撮像するように構成すればよい。
【００２６】
図２は、図１中の書画カメラ２およびＰＣ３の概略構成を示すブロック図である。
【００２７】
書画カメラ２は、カメラ部４を備えた撮像処理部１１と、ユーザが設定した動作条件に基づいて撮像処理部１１に所要の動作を行わせる操作指示部１２と、ＰＣ３との接続のためのＵＳＢ規格等に準拠する外部インタフェイス１３とを有している。
【００２８】
ＰＣ３は、書画カメラ２との接続のためのＵＳＢ規格等に準拠する外部インタフェイス２１と、書画カメラ２からの撮影画像データが入力される画像データ入力部２２と、撮影画像の記録や表示に際して必要な画像処理を行う画像処理部２３と、キーボード等からなる入力操作部２４においてユーザが設定した動作条件を書画カメラ２に対して送信する操作系制御部２５と、画像処理後の撮影画像をＬＣＤやプロジェクタ等からなる表示部２６に表示するためのデータを生成する表示データ生成部２７と、画像処理後の撮影画像データを保存するデータ格納部２８とを有している。画像処理部２３は、書籍Ｂと共にユーザの手指が撮影された場合に、その撮影画像中の手指の像を除去するべく画像を補正する画像補正部３０を有している。画像補正部３０によって補正処理される撮影画像データは画像データ記憶部３７から順次読み出される。また、後述する画像補正部３０での処理に用いられる各種データや各種パラメータの情報は、パラメータ記憶部３８に保存され、必要に応じて読み出される。
【００２９】
ＰＣ３における画像データ入力部２２、画像処理部２３、操作系制御部２５および表示データ生成部２７等における処理機能は、画像処理アプリケーションなどのプログラムをＣＰＵで実行するソフトウェア処理によって実現することができる。もちろんＰＣ３を画像処理装置と解釈して、それらの特定の処理を高速に実行するハードウェアを備える構成としてもよい。画像データ記憶部３７およびパラメータ記憶部３８は汎用のメモリからなる。
【００３０】
ＰＣ３において、画像データ入力部２２は、書画カメラ２から送信される撮影画像データを画像処理部２３の画像データ記憶部３７に順次格納し、必要に応じてその撮影画像データを画像補正部３０に順次出力する。そして、画像補正部３０は、撮影画像において手指の像が存在する可能性の高い領域（以下、手指領域という。）を推定すると共に、その手指領域における手指の像を除去するための処理を行う。手指の像が除去された撮影画像データは、データ格納部２８に格納されると共に、表示データ生成部２７に送られて表示部２６に表示される。
【００３１】
画像補正部３０は、撮影画像において肌色領域（肌色が付された領域）を検出する肌色検出部３１と、その肌色領域についてグレースケール変換や２値化を行うグレースケール変換部３２と、グレースケール変換された各肌色領域について輪郭を抽出する（エッジ画素を抽出する）輪郭抽出部３３と、各肌色領域を内包するように、抽出された輪郭に外接する外接矩形を生成する外接矩形生成部３４と、外接矩形が矩形の撮影画像の外縁に接する場合に、その外接矩形を手指領域として設定する手指領域設定部３５と、その手指領域の色を変更することにより、手指領域内の像（手指の像を含む）を除去する手指像除去部（像除去部）３６とを有している。
【００３２】
また、ＰＣ３において、ユーザは入力操作部２４を操作することにより、書画カメラ２で撮影される画像の解像度、フレームレート、シャッタスピード、照明用光源の発光量などの動作条件を適宜入力することができる。この動作条件は、操作系制御部２５から書画カメラ２に対して制御信号として送信され、書画カメラ２では、ＰＣ３からの制御信号に基づき操作指示部１２が送出した処理命令にしたがって撮像処理部１１が撮影動作を実行する。
【００３３】
図３は図１に示した原稿読取システム１による撮影画像中の手指像の除去手順を示すフロー図であり、図４は図３中の画像入力（ＳＴ１０１）により取得された撮影画像の一例を示す図であり、図５、図６、及び図７はそれぞれ図３中の肌色検出（ＳＴ１０２）、輪郭抽出（ＳＴ１０４）、及び外接矩形生成（ＳＴ１０５）の処理結果を示す説明図であり、図８は手指領域内の色変更（ＳＴ１１２）の処理結果を示す説明図であり、図９は平滑化領域設定（ＳＴ１１１）の処理結果を示す説明図であり、図１０は手指像を除去した後の撮影画像を示す図である。
【００３４】
原稿読取システム１を利用するユーザは、まず、読取位置（書画カメラ２の撮影可能位置）に書籍Ｂを開いた状態でセットし、書画カメラ２を起動させると共に、ＰＣ３で所要のアプリケーションを起動させる。その後、書画カメラ２による撮像が開始され、ＰＣ３の画像データ入力部２２において書画カメラ２からの画像の入力が検出される（ＳＴ１０１）。この撮影画像の入力は、所定のフレームレートで実施され、各撮影画像に対して以下で示すような処理が順次実行される。書画カメラ２から入力され撮影画像のデータは、画像データ入力部２２によって画像データ記憶部３７に順次格納される。
【００３５】
ここで、図４に示すように、ＳＴ１０１において入力された撮影画像４０の外縁は、矩形の画像エリア４１の４辺によって画定される。撮影画像４０には、書籍Ｂおよびその背景となる載置面６の像の他、書籍Ｂの周縁部（ここでは、左右端における空白領域）を押さえる左右の手指（指先）Ｆ１、Ｆ２の像が含まれる。綴じ中心線４２で仕切られた書籍Ｂの左右紙面には、文字や記号等が表示された文章領域４３と、図形が表示された図形領域４４とが含まれている。
【００３６】
再び図３を参照して、次に、肌色検出部３１は撮影画像４０における全ての肌色領域を検出する（ＳＴ１０２）。この肌色領域の検出では、撮影画像４０における全画素から、予め設定された肌色の範囲に含まれる色を有する画素が抽出され、それら抽出された画素からなる各画素群によって肌色領域が構成される。より詳細には、肌色検出部３１は、ＲＧＢのカラー画像である撮影画像のＲＧＢ値をＨＳＶカラーモデルに変換し、肌色の範囲として予め設定された色相Ｈの範囲（例えば、０〜３０）内にある全ての画素を抽出する。なお、肌色の範囲は、少なくとも数値化できれば良く、ＨＳＶに限らず他のカラーモデルを用いて設定してもよい。
【００３７】
上記ＳＴ１０２では、例えば図５に示すように、図形領域４４中の内枠領域４４ａ、４４ｂと、左右の手指Ｆ１、Ｆ２の像とがそれぞれ肌色領域（図５中の塗りつぶされた領域を参照）として検出される。ここでは、説明の便宜上、内枠領域４４ａ、４４ｂおよび手指Ｆ１、Ｆ２の像の全体がそれぞれ肌色領域として検出される例を示しているが、実際には、照明光の反射状況等により内枠領域４４ａ、４４ｂや手指Ｆ１、Ｆ２の像の一部が肌色と認識されずに欠けたり途切れたりした状態で検出される場合がある。
【００３８】
再び図３を参照して、次に、グレースケール変換部３２はＳＴ１０２で検出された肌色領域を白黒画像に変換する（ＳＴ１０３）。このグレースケール化の処理は、中間値法等の周知の方法を用いて行うことができる。なお、書画カメラ２がＹＣ分離後の信号を直接出力する構成であれば、Ｙ（輝度）信号をそのまま用いるとよい。
【００３９】
続いて、輪郭抽出部３３は、グレースケール化された肌色領域において輝度が急激に変化する部位（エッジ画素）を輪郭として抽出する（ＳＴ１０４）。この輪郭抽出処理は、キャニー（Canny）法等の周知の方法を用いて行うことができる。これにより、例えば図６に示すように、内枠領域４４ａ、４４ｂおよび左右の手指Ｆ１、Ｆ２の像の輪郭がそれぞれ抽出される。
【００４０】
次に、外接矩形生成部３４は、抽出された各肌色領域の輪郭の外接矩形を生成する（ＳＴ１０５）。外接矩形の４辺は、それぞれ対応する画像エリア４１の４辺と平行である。外接矩形の生成処理では、外接矩形生成部３４は、ＳＴ１０４で抽出されたエッジ画素（輪郭）において、上下、左右または斜めに連続した一群の画素に所定のラベルを付す。そして、同一のラベルが付された一群の画素における座標情報（Ｘ方向（左右方向）及びＹ方向（上下方向）の最大値および最小値）に基づき、図７中に太線で示すように、各肌色領域を外囲する外接矩形Ｒ１〜Ｒ４が生成される。図７において、外接矩形Ｒ１の左辺Ｒａ１は、画像エリア４１の左辺４１Ｌに重なり、また、外接矩形Ｒ２の右辺Ｒａ２は、画像エリア４１の右辺４１Ｒに重なる。他の外接矩形Ｒ３、Ｒ４は、画像エリア４１の４辺から離間した位置にある。
【００４１】
再び図３を参照して、次に、手指領域設定部３５は、ＳＴ１０５において生成された複数の外接矩形のうちの１つの情報（未取得の情報）の取得を実行する（ＳＴ１０６）。そこで、外接矩形の情報が取得された場合（ＳＴ１０７：ＹＥＳ）には、当該外接矩形が撮影画像４０の外縁に接する（すなわち、外接矩形の少なくとも１辺が画像エリア４１の４辺のいずれかに近接または重なる）か否かを判定する（ＳＴ１０８）。そこで、手指領域設定部３５は、ＳＴ１０８において外接矩形が撮影画像４０の外縁に接する場合（ＹＥＳ）には、当該外接矩形を手指領域として設定する（ＳＴ１０９）。
【００４２】
次に、手指像除去部３６は、ＳＴ１０９で設定された手指領域内に存在する手指の像を認識する（ＳＴ１１０）。この手指の像の認識処理については後に詳述するが、手指領域内において手指の像が認識された場合（ＳＴ１１１：ＹＥＳ）には、その手指の像を除去するための処理に進む。一方、手指の像を認識できない場合（ＳＴ１１１：ＮＯ）には、再びＳＴ１０６に戻り、手指領域設定部３５が次の外接矩形の情報（未取得の情報）を取得する。
【００４３】
上記ＳＴ１１０及びＳＴ１１１を実行することで、手指領域内における手指の存在をより確実に判定することができ、撮影画像中の手指以外の像（例えば、書籍Ｂにおいて肌色が付された図形等）を誤って除去することを防止できる。ただし、ＳＴ１０９で認識された手指領域内には、通常は比較的高い確率で手指の像が存在するため、ＳＴ１１０及びＳＴ１１１を省略することも可能である。
【００４４】
続いて、手指像除去部３６は、ＳＴ１０９で設定された手指領域内に存在する手指の像を除去すべく、その手指領域内の色を変更する（ＳＴ１１１）。より詳細には、手指像除去部３６は、色を変更する手指領域における４つの角部のうちの１つ（例えば、図７中の外接矩形Ｒ１の角点Ｃ）の画素の色を参照し、手指領域内の全ての画素の色をその角部と同一色に変更する。この色の変更により、図８に示すように、手指領域（ここでは、外接矩形Ｒ１、Ｒ２）内の手指の像が除去される。
【００４５】
なお、ＳＴ１１１において色を参照する部位としては、外接矩形の内側（書籍Ｂの中心側）における２つの角部のうちの一方が好ましい。これにより、手指領域の色を適切な色（例えば、ページの背景色）を用いて変更することが可能となり、手指の像を除去した後の撮影画像全体の外観を良好に維持することができる。これに限らず、手指領域の色を変更するために、外接矩形の角部以外の他の部位の色を用いてもよい。或いは、予め定めた所定の色を用いて手指領域の色を変更するようにしてもよい。また、画像エリア４１における書籍Ｂのサイズが比較的小さい（載置面６が比較的広い領域を占める）場合には、外接矩形の角部の一部がページの外に位置する場合もあり得るが、その場合には、ページ上に存在する角部（ページの中心側に位置する角部）における画素の色を参照するとよい。
【００４６】
続いて、手指像除去部３６は、手指領域を外囲するように平滑化領域を設定する（ＳＴ１１３）。例えば、図９に示すように、平滑化領域Ｒｓは、外接矩形Ｒ２の３辺（画像エリア４１の左辺４１Ｌに重なる左辺Ｒ２ａ以外）に対してその周囲に所定の間隔をもって離間された３辺と、画像エリア４１の左辺４１Ｌに重なる１辺とを有する矩形によって画定される。なお、平滑化領域は、少なくとも手指領域を外囲するものであれば、その形状やサイズを適宜変更することが可能である。
【００４７】
その後、手指像除去部３６は、ＳＴ１１３にて設定した平滑化領域内の画素値を周知の平滑化フィルタを用いて平滑化する（ＳＴ１１４）。この平滑化処理により、手指領域（外接矩形内）の色を変更した場合に、その手指領域の境界部分が際立つことを防止して、撮影画像全体の外観を良好に維持できる。その後、再びＳＴ１０６に戻り、手指領域設定部３５が次の外接矩形の情報を取得して、全ての外接矩形の処理が終了する（ＳＴ１０７：ＮＯ）まで、上述と同様の処置を実施する。
【００４８】
このような一連の処理の結果、図４に示した撮影画像中の手指Ｆ１、Ｆ２の像が除去されて、図１０に示すような手指の像が存在しない画像を取得することができる。
【００４９】
図１１は図３中の手指像認識（ＳＴ１１０）の処理の詳細を示すフロー図であり、図１２は図１１中の輪郭抽出（ＳＴ２０４）の結果の一例を示す図である。
【００５０】
手指像除去部３６は、図３中のＳＴ１０１と同じ撮影画像のデータを取得する（ＳＴ２０１）と共に、ＳＴ１０５で設定された外接矩形領域の情報を取得する（ＳＴ２０２）。次に、ＳＴ１０３と同様に、グレースケール変換部３２により、撮影画像における外接矩形領域を白黒画像に変換し（ＳＴ２０３）、その後、ＳＴ１０４と同様に、輪郭抽出部３３により、グレースケール化された外接矩形領域において輝度が急激に変化する部位を輪郭として抽出する（ＳＴ２０４）。これにより、外接矩形領域（手指判定領域）に存在する像の輪郭が抽出される。
【００５１】
次に、手指像除去部３６は、ＳＴ２０４で抽出された輪郭において、手指の輪郭に接続される手指の影の輪郭（以下、接続輪郭という。）が存在するか否かを判定する（ＳＴ２０５）。この接続輪郭は、例えば、図１２に示すように、外接矩形領域Ｒ２内において、手指の輪郭Ｅ１に接続されると共に、輪郭Ｅ１の一方側（照明によって手指の影が生じる側）において輪郭Ｅ１を外囲するように延在する手指の影の輪郭Ｅ２である。手指像除去部３６は接続輪郭が存在する場合（ＳＴ２０５：ＹＥＳ）には、手指領域内に手指の像が存在すると判定し（ＳＴ２０６）、一方、接続輪郭が存在しない場合（ＳＴ２０５：ＮＯ）には、手指領域内に書籍の像（図形等）が存在すると判定する（ＳＴ２０７）。この場合、手指の輪郭Ｅ１および手指の影の輪郭Ｅ２としての認識は、輪郭における特徴点のマッチングや曲率判定等の処理により可能である。
【００５２】
なお、ここでは、手指領域内に手指の像が存在するかを認識するための処理を外接矩形領域内において実施することとしたが、少なくとも手指領域を外囲する領域であれば、外接矩形領域とは異なる領域（手指判定領域）を設定した場合でも同様の処理を実施することができる。
【００５３】
図１３は図７に示した外接矩形生成の変形例を示す説明図である。図７では、各肌色領域に対して１つの外接矩形Ｒ２が生成される例を示したが、肌色領域に途切れた部位が存在する場合には、図１３に示すように、１つの肌色領域に対して複数の外接矩形Ｒ５〜Ｒ７が生成される場合がある。この場合、上述の実施形態では、外接矩形Ｒ５のみが撮影画像４０の外縁に接するため、外接矩形Ｒ５について上述の外接矩形Ｒ２と同様の処理が実施されることとなる。
【００５４】
一方、図１３の変形例では、撮影画像４０の外縁に接しない外接矩形Ｒ６、Ｒ７の少なくとも一部が、撮影画像４０の外縁に接する外接矩形Ｒ５に重複する場合には、それら外接矩形Ｒ５〜Ｒ７に対して外接する更なる外接矩形Ｒ８が生成される。つまり、撮影画像４０の外縁に接する外接矩形Ｒ５に重なる他の外接矩形Ｒ６、Ｒ７が存在する場合には、外接矩形Ｒ５の領域が実質的に拡大される。そして、拡大された外接矩形Ｒ８に対して上述の外接矩形Ｒ２と同様の処理が実施される。これにより、肌色領域に欠けたり途切れたりした部位が生じた場合でも手指の像が存在する領域を精度良く推定することが可能となる。
【００５５】
このように、原稿読取システム１では、肌色領域の外接矩形Ｒ１、Ｒ２が撮影画像４０の外縁（画像エリア４１の４辺のいずれか）に接する場合にその外接矩形を手指の像が存在する手指領域として認識するため、撮影画像４０において手指の像が存在する領域を精度良く推定することができ、また、手指領域内の色を変更して手指の像を除去する構成としたため、手指の像を確実に消去することが可能となる。
【００５６】
本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、手指の像の除去処理は、原稿の左右端部に限らず、上下端部についても同様に実施することが可能である。また、手指の像の除去処理は、他の画像処理を組み合わせて実施することができ、例えば、撮影画像を平面化処理した後に手指像の除去処理を実施してもよい。なお、上記実施形態に示した本発明に係る画像処理装置およびこれを備えた原稿読取システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００５７】
本発明に係る画像処理装置およびこれを備えた原稿読取システムは、撮影画像において手指の像が存在する領域を精度良く推定することにより、手指の像を確実に消去することを可能とし、書籍などの原稿を読み取って得られた画像を処理する画像処理装置およびこれを備えた原稿読取システムなどとして有用である。
【符号の説明】
【００５８】
１  原稿読取システム
２  書画カメラ（画像入力装置）
３  ＰＣ（画像処理装置）
３１  肌色検出部
３３  輪郭抽出部
３４  外接矩形生成部
３５  手指領域設定部
３６  手指像除去部
４０  撮影画像
４１  画像エリア
４４  図形領域
４４ａ，４４ｂ  内枠領域
Ｂ  書籍（原稿）
Ｃ  角部
Ｅ１  手指の輪郭
Ｅ２  手指の影の輪郭
Ｆ１，Ｆ２  手指の像
Ｒ１〜Ｒ４  外接矩形
Ｒｓ  平滑化領域（手指判定領域）
【図１】
2013247531.tif 000003
【図２】
2013247531.tif 000004
【図３】
2013247531.tif 000005
【図４】
2013247531.tif 000006
【図５】
2013247531.tif 000007
【図６】
2013247531.tif 000008
【図７】
2013247531.tif 000009
【図８】
2013247531.tif 000010
【図９】
2013247531.tif 000011
【図１０】
2013247531.tif 000012
【図１１】
2013247531.tif 000013
【図１２】
2013247531.tif 000014
【図１３】
2013247531.tif 000015