(57)【要約】  撮像対象が撮像装置に近接していることを判別する。  撮像装置（１）は、撮像面（１ａ）上の撮像対象（５）の距離を検知できない場合に、発光部（３ａ）で発光した状態で撮像部（２）により撮像した撮像対象（５）の撮像画像が所定の明領域以上であれば、撮像対象（５）が撮像装置（１）に近接していることが判別される。これにより、ユーザに対して、手のひらが撮像装置（１）に近接しすぎており、手のひらを撮像装置（１）から遠ざけるように促すことが可能となり、円滑に撮像対象（５）の撮像を実行できるようになる。
2012124055.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を撮像する撮像部と、
前記撮像対象の距離を計測する際に発光して前記撮像対象の前記撮像部が撮像する側を照らす第１の発光部と、
前記撮像対象を撮像する際に発光して前記撮像対象の前記撮像部が撮像する側を照らす第２の発光部と、
前記第１の発光部の発光により前記撮像対象との距離を測定する測距部と、
前記測距部が前記撮像対象との距離を測定できない場合に、前記第２の発光部が発光した状態で前記撮像部が撮像した前記撮像対象の撮像画像の明領域に基づき、前記撮像対象が前記撮像部に近接していることを判別する判別部と、
を有することを特徴とする撮像装置。
【請求項２】
前記判別部は、前記発光部が発光していない状態で前記撮像部が撮像した前記撮像対象の撮像画像と、前記発光した状態で撮像された前記撮像画像との差分を取った差分画像の明領域に基づき、判別する、
ことを特徴とする請求の範囲第１項記載の撮像装置。
【請求項３】
前記差分画像を二値化する画像処理部を更に有し、
前記判別部は、前記画像処理部が二値化した前記差分画像の白画素の前記差分画像の面積に対して占める明領域の割合に基づき、判別する、
ことを特徴とする請求の範囲第２項記載の撮像装置。
【請求項４】
前記判別部は、前記二値化された前記差分画像を均等に４分割したうちのいずれかの差分画像の白画素の当該差分画像の面積に対して占める明領域の割合に基づき、判別する、
ことを特徴とする請求の範囲第３項記載の撮像装置。
【請求項５】
撮影対象との距離を計測する際に第１の発光部が発光して前記撮像対象の撮像部が撮像する側を照らし、前記撮像対象との距離を測定し、
前記撮像対象との距離が測定できない場合に、前記撮像対象を撮影する際に第２の発光部が発光して前記撮像対象の撮像する側を照らした状態で前記撮像した前記撮像対象の撮像画像の明領域に基づき、前記撮像対象が近接していることを判別する、
ことを特徴とする撮像方法。
【請求項６】
コンピュータに、
撮影対象との距離を計測する際に第１の発光部に発光させて前記撮像対象の撮像部が撮像する側を照らし、前記撮像対象との距離を測定させ、
前記撮像対象との距離が測定できない場合に、前記撮像対象を撮影する際に第２の発光部が発光させて前記撮像対象の撮像する側を照らした状態で前記撮像した前記撮像対象の撮像画像の明領域に基づき、前記撮像対象が近接していることを判別させる、
処理を実行させることを特徴とする撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
撮像装置、撮像方法及び撮像プログラムに関する。
【背景技術】
【０００２】
例えば、生体認証を行うような撮像装置は、非接触で撮像した手のひらの静脈の読み取りを行うものであるが、このような撮像装置は、撮像対象が当該撮像装置の撮像カメラから所定の距離の範囲に位置する場合に正常に撮像を行うことができる。このため撮像装置は、撮像対象との距離を検出する必要がある。【０００３】
そこで、当該撮像カメラに対する撮像対象の距離等を検出するために、例えば、撮像対象にスポット光を投光した状態で当該撮像対象を撮像して、撮像した撮像画像のスポット光に応じて、撮像カメラに対する撮像対象の距離を検知する方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１０３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、このような撮像装置から撮像対象までの距離の検知方法では、撮像対象を撮像装置に近接させた場合には、撮像対象に投光されたスポット光が撮像カメラの撮像領域外に位置するようになり、当該スポット光が撮像されない。スポット光が撮像されなくなると、撮像対象の撮像装置に対する距離が検知できなくなる。このため、撮像対象が撮像装置に近接しているのか、または、撮像対象が存在していないのかを判別できなくなるという問題点があった。【０００６】
本発明はこのような点に鑑みてなされたものであり、撮像対象が撮像装置に近接していることを判別することができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、前記撮像対象の距離を計測する際に発光して前記撮像対象の前記撮像部が撮像する側を照らす第１の発光部と、前記撮像対象を撮像する際に発光して前記撮像対象の前記撮像部が撮像する側を照らす第２の発光部と、前記第１の発光部の発光により前記撮像対象との距離を測定する測距部と、前記測距部が前記撮像対象との距離を測定できない場合に、前記第２の発光部が発光した状態で前記撮像部が撮像した前記撮像対象の撮像画像の明領域に基づき、前記撮像対象が前記撮像部に近接していることを判別する判別部と、を有する撮像装置が提供される。【０００８】
また、上記目的を達成するために、上記撮像装置と同様の判別を実行する方法及びプログラムが提供される。
【発明の効果】
【０００９】
このような撮像装置、撮像方法及び撮像プログラムにより、撮像対象が撮像装置に近接していることを判別することができる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る撮像装置を説明するための概念図である。
【図２】撮像対象の撮像装置までの距離に応じた撮像画像の例を示す図である。
【図３】撮像装置から撮像対象までの距離の検出を説明するための図である。
【図４】撮像装置に対する撮像対象の傾き状態の検出を説明するための図である。
【図５】第２の実施の形態に係る撮像装置の斜視図を示す図である。
【図６】第２の実施の形態に係る撮像装置の内部構成を説明するための図である。
【図７】第２の実施の形態に係る撮像装置のハードウェア構成例を示す図である。
【図８】第２の実施の形態に係る撮像装置が備える機能を示すブロック図である。
【図９】第２の実施の形態に係る撮像装置の近接判別の処理手順を示すフローチャートである。
【図１０】第２の実施の形態に係る撮像装置の撮像画像の画素判別処理手順を示すフローチャート（その１）である。
【図１１】第２の実施の形態に係る撮像装置の撮像画像の画素判別処理手順を示すフローチャート（その２）である。
【図１２】第２の実施の形態に係る撮像装置が接続された情報処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について説明する。
［第１の実施の形態］
図１は、第１の実施の形態に係る撮像装置を説明するための概念図である。
【００１２】
なお、図１（Ａ）は高さ（ａ）〜（ｄ）にそれぞれ位置する撮像対象５を撮像する撮像装置１の側面図、図１（Ｂ）は撮像装置１の上部平面図をそれぞれ表している。
撮像装置１は、撮像対象５が当該撮像装置１の撮像面１ａの近傍に位置していることを判別することができるものである。
【００１３】
このような撮像装置１は、図１に示されるように、撮像部２、発光部３ａ，３ｂ及び判別部４を備える。
撮像部２は、撮像対象５を撮像する。撮像部２は、例えば、後述する図３に示されるように、撮像カメラ２ａ及び光学系２ｂを備えており、撮像カメラ２ａで撮像対象５の画像を撮像する。
【００１４】
発光部３ａは、後述する測距部６が撮像装置１の撮像面１ａから撮像対象５までの距離を計測する際に、撮像部２の撮像カメラ２ａの光軸と平行（もしくは略平行）であって、１点に集中させた光であるスポット光を撮像対象５に投光する。撮像装置１は、撮像部２に撮像させた撮像対象５の撮像画像の中心部と発光部３ｂからのスポット光との間隔と、撮像部２の中心部と発光部３ａとの間隔とを比較することにより、撮像面１ａから撮像対象５までの距離を計測することができる。なお、撮像装置１の撮像面１ａから撮像対象５までの距離については後述する。
【００１５】
発光部３ｂは、発光して撮像対象５の撮像部２が撮像する側を照らす。なお、発光部３ｂは、必要に応じて撮像対象５を照らすものであり、常時照らすものではない。
測距部６は、発光部３ａの発光により撮像対象５との距離を測定する。
【００１６】
判別部４は、発光部３ｂが発光した状態で撮像部２が撮像した撮像対象５の撮像画像の明領域に基づき、撮像対象５が撮像部２に近接していることを判別する。明領域は、例えば、２５６階調の６９以上の明度（または輝度）の集合であるように、所定の明度（または輝度）以上の領域のことである。
【００１７】
それでは、以下、測距部６による撮像装置１による撮像面１ａから撮像対象５までの距離の計測について説明する。
まず、撮像対象５の撮像面１ａに対する高さに応じた発光部３ａから投光されたスポット光の撮像画像について説明する。
【００１８】
図２は、撮像対象の撮像装置までの距離に応じた撮像画像の例を示す図である。
なお、図２（Ａ）〜（Ｃ）は、図１（Ａ）の距離（ａ）〜（ｃ）に位置する撮像対象５を撮像した撮像画像ｇをそれぞれ表している。
【００１９】
まず、撮像対象５が図１（Ａ）の距離（ａ）に位置する場合の撮像画像ｇは、図２（Ａ）に示されるように、中心に撮像対象５と共に、撮像対象５に発光部３ａ１〜３ａ４から投光されたスポット光３ａ１ｓ〜３ａ４ｓが映っている。
【００２０】
また、撮像対象５を撮像部２の撮像カメラ２ａの光軸に沿って図１（Ａ）の距離（ｂ），（ｃ）に移動するに連れて、図２（Ｂ），（Ｃ）に示されるように、各距離に対応する撮像画像ｇは撮像対象５が拡大すると共に、スポット光３ａ１ｓ〜３ａ４ｓの間隔が広がって、位置が外側に移動する。
【００２１】
次いで、測距部６による、このような撮像画像ｇのスポット光３ａ１ｓ〜３ａ４ｓを利用した撮像対象５から撮像画像１の撮像面１ａまでの距離の検出について説明する。
図３は、撮像装置から撮像対象までの距離の検出を説明するための図である。
【００２２】
なお、図３（Ａ）は、撮像部２を構成する撮像カメラ２ａ及び光学系２ｂと、撮像対象５との側面図を、図３（Ｂ）は、撮像対象５の撮像画像ｇをそれぞれ示している。また、図３では、発光部３ａ２及び発光部３ａ２によるスポット光３ａ２ｓのみを例に挙げている。
【００２３】
既述の通り、撮像部２が、発光部３ａ２から撮像対象５にスポット光３ａ２ｓが投光された撮像画像５が撮像される。
この時、図３（Ａ）に示されるように、撮像部２から撮像対象５までが距離Ｌの時、撮像部２の光軸と撮像対象５とが直交する位置Ｏからの撮像範囲をｗ、撮像部２から発光部３ｂ２までの距離をｄ、位置Ｏから撮像対象５のスポット光３ａ２ｓの位置をｄ＋ｘとする。なお、ｘは、発光部３ａ２からのスポット光の光軸のずれθ１により生じた変異量を表す。
【００２４】
さらに、図３（Ｂ）に示されるように、撮像部２が撮像した撮像画像ｇは、撮像対象５の中心（位置Ｏ）からスポット光３ａ２ｓまでの距離をａ、スポット光３ａ２ｓの移動方向の画像範囲をＷとする。
【００２５】
この時、次の比例関係が成り立つ。
（ａ／Ｗ）＝｛（ｄ＋ｗ）／ｗ｝  ・・・（１）
また、撮像範囲ｗは撮像部２の画角の配置α１と距離Ｌとで表すことができ、光軸ずれθ１によるずれｘも距離Ｌと光軸ずれθ１とで表すことができることから、式（１）を以下の式（２）のように表すことができる。
【００２６】
（ａ／Ｗ）＝｛（ｄ＋Ｌｔａｎθ１）／（Ｌｔａｎα１）｝  ・・・（２）
式（２）から、距離Ｌは次のように表すことができる。
Ｌ＝ｄ／｛（ａ／Ｗ）＊ｔａｎα１−ｔａｎθ１｝  ・・・（３）
ｔａｎθ１＝（ａ／Ｗ）＊ｔａｎα１−ｄ／Ｌ  ・・・（４）
ここで、光軸のずれθ１を算出する場合には、撮像装置１が予め測定した距離Ｌにおいてスポット光の距離ａを計測して、式（４）に適用することでｔａｎθ１を算出（校正）することができる。なお、この処理は、発光部３ａ１〜３ａ４のそれぞれについて実行する。
【００２７】
ところで、撮像部２の撮像カメラ２ａのレンズの実装上の制限等に起因して、既知の距離Ｌを決定する際の距離原点（即ち、既知の距離Ｌを得るための撮像部２の撮像カメラ２ａのレンズ上の起点となる点）を厳密に求めることが困難な場合があり、この場合には、２つの校正測定点を用いてｔａｎθ１を算出する。
【００２８】
つまり、撮像カメラ２ａのレンズから撮像対象５までの距離Ｌのみに基づいてｔａｎθ１を算出するのではなく、２つの校正測定点の距離（差）に基づいてｔａｎθ１を算出する。
【００２９】
即ち、距離差Δを予め厳密に求めた２つの校正測定点のそれぞれに撮像対象５を配置して撮像カメラ２ａによって撮像画像ｇを撮像し、撮像された撮像画像ｇから撮像対象５までの距離Ｌの算出を行うことによって、光軸のずれθ１を校正することができる。
【００３０】
具体的には、既知の距離Ｌの校正測定点ａ１において撮像した撮像画像におけるスポット光の位置ａ１’を計測し、さらに、校正測定点ａ１から距離Δだけ離れた校正測定点ａ２において撮像した撮像画像におけるスポット光の位置ａ２’を測定し、それぞれを式（４）に代入することによって、次の式（５）を得ることができる。
【００３１】
（ａ１’／Ｗ）＊ｔａｎα１−ｄ／Ｌ＝（ａ２’／Ｗ）＊ｔａｎα１−ｄ／（Ｌ＋Δ）  ・・・（５）
当該式（５）から距離Ｌは次式で表される。
【００３２】
距離Ｌ＝｛−Δ＋ｓｑｕａ（Δ2−４ｋ）｝／２  ・・・（６）
但し、ｋ＝Δ＊ｄ／｛（ａ１’−ａ２’）＊ｔａｎα１／Ｗ｝  ・・・（７）
したがって、スポット光の位置を利用して式（６）及び（７）により距離Ｌを算出することが可能となる。
【００３３】
また、このようにしてスポット光３ａ１ｓ〜３ａ４ｓに対する距離Ｌを利用した、撮像対象５の傾き状態の検出について説明する。
図４は、撮像装置に対する撮像対象の傾き状態の検出を説明するための図である。
【００３４】
なお、図４中では、紙面横方向をＸ方向、紙面縦方向をＺ方向として、紙面の奥行き方向にＹ方向の座標を定めている。また、当該座標に対して、発光部３ａ１〜３ａ４及びスポット光３ａ１ｓ〜３ａ４ｓの位置を点で表しており、発光部３ｂ３を原点に位置させると、発光部３ａ４は（ｎ、０，０）に、発光部３ａ１は（０、ｎ，０）に、発光部３ａ２は（ｎ、ｎ，０）に位置する。
【００３５】
上記のように、測距部６は、例えば、発光部３ａ１〜３ａ４から投光されたスポット光３ａ１ｓ〜３ａ４ｓを利用して、スポット光３ａ１ｓ〜３ａ４ｓまでの距離Ｌ１〜Ｌ４を算出することができる。
【００３６】
撮像対象５は、撮像部２の撮像カメラ２ａと対向する面が平面または平面と見なせる場合には、撮像対象５の撮像される面は、係数ａ，ｂ，ｃ，ｄを用いて次式で表される。
ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０  ・・・（８）
式（８）に対して、スポット光３ａ１ｓ〜３ａ４ｓの位置の座標を代入することにより、係数ａ，ｂ，ｃ，ｄを算出することができ、これらの係数から法線ベクトルが定まり、撮像対象５の傾き及び姿勢の情報を検出することができる。
【００３７】
また、図４に示されるように、スポット光３ａ４ｓ，３ａ１ｓを通る直線で平面を分割し、スポット光３ａ４ｓ，３ａ３ｓ，３ａ１ｓを通る平面と、スポット光３ａ２ｓ，３ａ４ｓ，３ａ１ｓを通る平面との２つの平面を求めることができる。
【００３８】
そして、例えば、撮像対象がＹ方向を中心にどれだけ傾いているかを検出する場合、つまり、図４における角度θ２を検出する場合には、式（８）に基づき、次式で表すことができる。
【００３９】
ｔａｎθ２＝ａ／ｃ  ・・・（９）
また、
ｔａｎθ２＝（Ｌ４−Ｌ３）／ｎ  ・・・（１０）
と表すこともできる。
【００４０】
第１の実施の形態の場合には、撮像対象５が撮像装置１の撮像面１ａに対して、その撮像画像ｇにスポット光が映される適正撮像距離内（例えば、５〜１００ｍｍであって、図１（Ａ）の位置（ａ）〜（ｃ）に対応）に存在し、スポット光も撮像画像ｇに映されるため、測距部６は距離Ｌを算出することが可能である。
【００４１】
しかし、撮像対象５を撮像部２の撮像カメラ２ａの光軸に沿って図１（Ａ）の距離（ｃ）から（ｄ）に移動する場合には、スポット光３ａ２ｓが外側に移動して撮影範囲内に入らなくなり、撮像画像ｇにスポット光３ａ２ｓが映らなくなる。
【００４２】
このように撮像対象５が、その撮像画像ｇにスポット光が映らなくなる不適正撮像距離内（０〜５ｍｍ）まで撮像装置１の撮像面１ａに近接すると、測距部６は撮像対象５までの距離Ｌを算出できなくなり、撮像装置１に対して撮像対象５が適正撮像距離範囲内に存在しているのか、それとも、撮像対象５が存在していないのかが分からなくなる。
【００４３】
そこで、以下、第１の実施の形態の撮像装置１における撮像対象５の撮像装置１に対する近接判別方法を説明する。
撮像対象５（例えば、手のひら）を、図１に示されるように、撮像装置１の撮像面１ａを覆うように、撮像面１ａの直上に配置してしまい、撮像装置１が発光部３ａで当該撮像装置１から撮像対象５までの距離を検出できない場合に以下の処理が実行される。なお、撮像装置１から撮像対象５までの距離を検出できない理由については第２の実施の形態で説明する。
【００４４】
撮像部２が、発光部３ｂが発光した状態で撮像対象５を撮像する。このようにして撮像された撮像対象５の撮像画像は、撮像対象５が撮像装置１に対して不適正撮像距離内に位置している場合には、発光部３ｂの発光により、撮像対象５からの反射光が適正距離よりも強くなるため、適正距離の撮像画像における明領域の比率に対して、明領域の比率が高くなるため、明るく映し出される。一方、撮像対象５が撮像装置１の撮像面上に配置されていない、あるいは撮像に適正な距離よりも離れている場合には、撮像対象５の撮像画像は、適正距離の撮像画像における明領域の比率に対して明領域の比率が低くなるため、暗く映し出される。
【００４５】
このように、撮像装置１は、発光部３ａで撮像面１ａの直上の撮像対象５の距離を検知できない場合に、発光部３ｂで発光した状態で撮像部２により撮像するようにした。これにより、撮像された撮像対象５の撮像画像に対して明領域が多くを占めれば、撮像対象５が撮像装置１に近接していることが判別され、撮像画像に対して暗領域が多くを占めれば撮像対象５が撮像装置１にセットされていない、あるいは撮像に適正な距離よりも離れていることが判別される。
【００４６】
したがって、このような判別が行われることにより、撮像対象５がユーザの手のひらであれば、ユーザに対して、手のひらが撮像装置１に近接しすぎており、手のひらを撮像装置１から撮像に適正な距離まで遠ざけるように促すことができるようになり、円滑に撮像対象５の撮像を実行できるようになる。
【００４７】
［第２の実施の形態］
第２の実施の形態では第１の実施の形態の撮像装置についてより具体的に説明する。
図５は、第２の実施の形態に係る撮像装置の斜視図を示す図である。
【００４８】
図５に示される撮像装置１０は、手のひらがかざされるフィルタ１１で上部が、外装ケース１２で周囲がそれぞれ覆われている。また、外装ケース１２には、外部機器と接続する際のケーブル等が接続される外部接続口１２ａが設けられている。このような撮像装置１０は、例えば、ＰＣ（Personal Computer：パーソナルコンピュータ）に接続されて、または、金融機関等の現金自動預け払い機に組み込まれる等して、ユーザの認証に利用される。
【００４９】
次に、フィルタ１１と外装ケース１２とで覆われる内部構成について説明する。
図６は、第２の実施の形態に係る撮像装置の内部構成を説明するための図である。
なお、図６（Ａ）は撮像装置１０の側面図、図６（Ｂ）は図６（Ａ）の一点鎖線Ｘ−Ｘにおける撮像装置１０の上面図である。
【００５０】
撮像装置１０は、まず、カメラ回路基板１３の中央に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像カメラ１４が設けられている。さらに、撮像カメラ１４に対して、集光レンズ等のレンズ光学系を具備する光学ユニット１５が設けられている。これにより、撮像カメラ１４は、フィルタ１１に対向する手のひらを撮像することができる。
【００５１】
また、カメラ回路基板１３には、撮像カメラ１４の周囲に円状に沿って、複数の、例えば、近赤外線を発光する発光素子１６ａと、フォトダイオード等の受光素子１６ｂとが搭載されている。発光素子１６ａ及び受光素子１６ｂの上方には、リング状の導光体１７が設けられている。当該導光体１７は、例えば、樹脂で構成され、カメラ回路基板１３の発光素子１６ａの光を上方に導き、対象物に均一光を照射することができる。
【００５２】
さらに、図６（Ｂ）に示されるように、カメラ回路基板１３の四隅の対角線上には、撮像装置１０から手のひらまでの距離を計測するための４つの距離計測用の発光素子１８が設けられている。発光素子１８は、フィルタ１１に対向する手のひらにスポット光を投光して、第１の実施の形態で説明したように、当該スポット光を利用して、フィルタ１１から撮像対象の手のひらまでの距離を４点で計測することができる。なお、各々発光素子１８の間隔は、最も距離の遠い対角線上に配置される。この４つの発光素子１８から投光されたスポット光でそれぞれ計測される距離が全て揃わない場合には、手のひらの傾斜を検出することができる。なお、当該発光素子１８には、ビーム照射機構１９が取り付けられている。ビーム照射機構は、発光素子１８の光が、手のひらの方向に向かうように、他の方向への光の拡散を遮蔽する。
【００５３】
また、撮像装置１０は、カメラ回路基板１３の裏面に、カメラ回路基板１３上の撮像カメラ１４等の各構成部と電気的に接続する回路部２１と、当該回路部２１と電気的に接続する外部コネクタ部２２とを有する。
【００５４】
回路部２１は、ＣＰＵ（Central Processing Unit）２１ａ、ＲＯＭ（Read Only Memory）（図示を省略）、ＲＡＭ（Random Access Memory）２１ｃ及び入出力インタフェース２１ｄを備えており、カメラ回路基板１３上の撮像カメラ１４等の各構成部と電気的に接続して、撮像カメラ１４が撮像した撮像画像の情報が通知されて、当該撮像画像に対して画像処理等を実行する。また、回路部２１は、撮像カメラ１４から通知された撮像画像を利用して、手のひらまでの距離の計測等を実行する。
【００５５】
外部コネクタ部２２は、外部接続口１２ａを介して、外部機器と接続されるケーブル等と電気的に接続して、回路部２１の処理結果を外部機器に送信し、また、外部機器から信号を受信することができる。
【００５６】
さらに、このような撮像装置１０が備える、撮像カメラ１４、発光素子１６ａ，１８、受光素子１６ｂ及び回路部２１等のハードウェア構成について説明する。
図７は、第２の実施の形態に係る撮像装置のハードウェア構成例を示す図である。
【００５７】
撮像装置１０の回路部２１は、図４に示されるように、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ及び入出力インタフェース２１ｄを備えており、当該ＣＰＵ２１ａにはＲＯＭ２１ｂ、ＲＡＭ２１ｃ、入出力インタフェース２１ｄ、撮像カメラ１４及び発光素子１５，１６が接続されている。
【００５８】
ＣＰＵ２１ａは、ＲＯＭ２１ｂ等の記憶媒体に記憶された各種プログラムを実行することにより、この撮像装置１０全体を統括的に制御する。
ＲＯＭ２１ｂには、撮像装置１０上のＯＳ（Operating System）及びアプリケーションのプログラムが格納される。
【００５９】
ＲＡＭ２１ｃには、ＣＰＵ２１ａに実行させるＯＳ及びプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２１ｃには、ＣＰＵ２１ａによる処理に必要な各種データが格納される。
【００６０】
入出力インタフェース２１ｄは、外部コネクタ部２２ｄと電気的に接続されており、外部コネクタ部２２を介して外部機器から送信される信号をＣＰＵ２１ａに通知し、ＣＰＵ２１ａから送信される信号を外部機器に送信する。
【００６１】
このような構成を有する撮像装置１０では、例えば、第１の実施の形態の説明の通り、手のひらに発光素子１６ａからスポット光を投光した状態で手のひらを撮像して、撮像画像に映されたスポット光と、撮像画像の中心部との距離と、撮像カメラ１４の撮像範囲とに応じて、撮像装置１０（フィルタ１１）から手のひらまでの距離を検知することができる。具体的には、手のひらに４箇所からスポット光が投光されるために、手のひらの４つの部分に対するフィルタ１１からの距離を検知することができる。なお、撮像装置１０から手のひらまでを計測することができる適正撮像距離は撮像装置１０（フィルタ１１）から５〜１００ｍｍの範囲であって、最適な距離は、３５〜７５ｍｍ前後である。また、０〜５ｍｍ及び１００ｍｍ以上の不適正撮像距離の範囲にかざされた手のひらまでの距離は計測することができず計測不可となってしまう。
【００６２】
次に、このような構成を有する撮像装置１０が備える機能について説明する。
図８は、第２の実施の形態に係る撮像装置が備える機能を示すブロック図である。
撮像装置１０は、撮像装置１０から手のひらまでの距離を計測して、計測不可となった場合に、当該手のひらが撮像装置１０から０〜５ｍｍの範囲内に位置しているか否かを判別することができるものである。
【００６３】
このような撮像装置１０は、画像情報保持部２１１、撮像実行部２１２、画像情報受信部２１３、距離計測部２１４、画像処理部２１５、画像判別部２１６及び出力要求部２１７を備えている。
【００６４】
画像情報保持部２１１は、撮像カメラ１４で撮像された撮像画像等の情報を保持する。
撮像実行部２１２は、距離を計測する場合、また、手のひらの近接判別を行う場合に応じて、発光素子１５，１６を発光させて、または発光させずに、撮像カメラ１４による撮像を実行させる。
【００６５】
画像情報受信部２１３は、撮像カメラ１４の撮像画像情報を受信して、画像情報保持部２１１に保持させる。
距離計測部２１４は、画像情報保持部２１１に保持されている４つ発光素子１８から投光されたスポット光が映った撮像画像を用いて、既述のようにして、撮像装置１０から手のひらまでの距離を計測する。また、距離計測部２１４は、撮像装置１０から手のひらまでの４つの距離から手のひらが傾いているか否かを判定する。例えば、第１の実施の形態で説明した方法により、４つのスポット光がそれぞれ映った撮像画像から、撮像装置１０から手のひらまでの４つの距離が揃わない場合には、手のひらは傾いていると判定される。
【００６６】
画像処理部２１５は、画像情報保持部２１１が保持する発光素子１５の発光時及び非発光時に撮像されたそれぞれの手のひらの撮像画像の差分を取る。また、画像処理部２１５は、差分を取った撮像画像を二値化する。
【００６７】
なお、撮像装置１０にかざした手のひらは、必ずしもフィルタ１１の全体を覆うわけではなく、手のひらがフィルタ１１の一部を覆う場合、または、手のひらが傾いた状態でフィルタ１１を覆う場合がある。これらの場合には、発光素子１６ａを発光させた状態で撮像カメラ１４が手のひらを撮像した撮像画像は、フィルタ１１を覆っている箇所は明るく（白く）なり、また、フィルタ１１を覆っていない箇所も明るくなってしまい、手のひらの領域とそれ以外の領域との境界が明確にならなくなってしまう。そこで、発光素子１６ａの発光時及び非発光時に撮像カメラ１４で手のひらを撮像した撮像画像の差分を取ることで、手のひら以外の領域は暗く（黒く）なり、手のひらの領域と、手のひらではない領域とを区別して映し出すことが可能となる。
【００６８】
さらに、画像処理部２１５は、このようにして差分を取った撮像画像を、スポット光が４箇所から投光されることに応じて、４分割した撮像画像の各領域に対して、明度（または輝度）が所定の階調以上のものを白画素、所定の階調未満のものを黒画素として二値化する。画像処理部２１５はこのような処理を行って得られた情報はそれぞれ画像情報保持部２１１に保持させる。
【００６９】
画像判別部２１６は、画像処理部２１５が二値化を行って、距離が計測できなかった撮像画像の領域の白画素の画素数（明領域）が、選択した撮像画像の領域の面積に対して所定の割合を占めているか否かを判別する。判別した結果、明領域が所定の割合を占めている場合には、距離が計測できなかった撮像画像の領域に対応する手のひらが撮像装置１０から０〜５ｍｍの範囲内に位置していることを判別する。
【００７０】
なお、このようにして４分割した撮像画像の領域のうち１つでも明領域が、所定の割合を占める場合は、撮像装置１０のフィルタ１１を手のひらの一部が覆っていることが考えられる。したがって、この場合には手のひらが撮像装置１０から０〜５ｍｍの範囲内に位置していると判別する。
【００７１】
出力要求部２１７は、距離計測部２１４及び画像判別部２１６における測定結果及び判別結果を外部機器にそれぞれ出力する。
次にこのような機能を備える撮像装置１０で行われる手のひらの近接判別の処理について説明する。
【００７２】
図９は、第２の実施の形態に係る撮像装置の近接判別の処理手順を示すフローチャートである。
［ステップＳ１１］  撮像実行部２１２が距離計測用の４つの発光素子１８から手のひらに光を投光させてスポット光が投光された手のひらの画像を撮像カメラ１４に撮像させる。
【００７３】
画像情報受信部２１３が撮像カメラ１４から受信した当該スポット光が撮像画像の情報を受信して、画像情報保持部２１１に保持させる。
距離計測部２１４は撮像画像に映っているスポット光を利用して撮像装置１０から手のひらまでの距離を計測する。
【００７４】
［ステップＳ１２］  距離計測部２１４は、手のひらまでの距離の計測結果において、撮像装置１０から、撮像画像の４箇所の領域までのそれぞれの距離が計測不可であるか否かを領域ごとに判定する。次の処理は、計測不可が１箇所でもあればステップＳ１３に進められ、計測不可が１箇所もなければ手のひらまでの距離の計測が完了したため近接判別の処理は終了する。
【００７５】
［ステップＳ１３］  撮像実行部２１２は、距離計測部２１４から撮像実行要求が通知されると、発光素子１６ａを発光させない状態で撮像カメラ１４により手のひらの撮像を実行させる。
【００７６】
画像情報受信部２１３は、撮像カメラ１４から受信した発光なしの撮像画像の情報を受信して、画像情報保持部２１１に保持させる。
［ステップＳ１４］  撮像実行部２１２は、距離計測部２１４から撮像実行要求が通知されると、発光素子１６ａを発光させた状態で撮像カメラ１４により手のひらの撮像を実行させる。
【００７７】
画像情報受信部２１３は、撮像カメラ１４から受信した発光ありの撮像画像の情報を受信して、画像情報保持部２１１に保持させる。
なお、ステップＳ１３，Ｓ１４の処理は、ステップＳ１４，Ｓ１３の順に行っても構わない。
【００７８】
［ステップＳ１５］  画像処理部２１５は、画像情報保持部２１１が保持する発光素子１５の発光の有無に応じた手のひらの撮像画像の差分を取る。さらに、画像処理部２１５は、差分を取った撮像画像を均等に４分割する。
【００７９】
［ステップＳ１６］  画像判別部２１６は、画像処理部２１５から通知された差分を取り４分割した撮像画像の各領域に対して、撮像装置１０に対して手のひらが０〜５ｍｍの範囲内に位置しているか否かを判別する。
【００８０】
なお、ステップＳ１６の判別結果が、手のひらが０〜５ｍｍの範囲内に位置していないということであれば、手のひらが撮像装置１０から１００ｍｍ以上離れているか、または、手のひらが撮像装置１０にかざされていないことになる。
【００８１】
さらに、ステップＳ１６で行われる処理について具体的に説明する。
図１０及び図１１は、第２の実施の形態に係る撮像装置の撮像画像の画素判別処理手順を示すフローチャートである。
【００８２】
［ステップＳ１６ａ］  画像処理部２１５は、ステップＳ１５において差分を取って４分割した撮像画像の領域（ｉ＝１〜４の番号が対応付けられる）の中から１つの領域（ｉ＝１）を選択する。
【００８３】
［ステップＳ１６ｂ］  画像処理部２１５は、ステップＳ１６ａで選択した画像情報保持部２１１が保持する差分を取って４分割された撮像画像の領域をまず二値化する。二値化は、例えば、２５６階調の６９以上を白画素、６８以下を黒画素とする。
【００８４】
［ステップＳ１６ｃ］  画像処理部２１５は、ステップＳ１６ｂで選択した二値化した撮像画像の領域の２分の１の面積に対する白画素の画素数（明領域）を計数する。
［ステップＳ１６ｄ］  画像判別部２１６は、ステップＳ１６ｃで画像処理部２１５が計測した明領域が４分割して選択した撮像画像の領域全体の１０％以上であるか否かを判別する。
【００８５】
次の処理は、明領域が選択した撮像対象の領域全体の１０％以上である場合には、ステップＳ１６ｅに進められ、１０％未満である場合には、ステップＳ１６ｊに進められる。
［ステップＳ１６ｅ］  画像処理部２１５は、選択した撮像画像の領域の４分の３の面積に対する白画素の画素数（明領域）を計数する。
【００８６】
［ステップＳ１６ｆ］  画像判別部２１６は、ステップＳ１６ｅで画像処理部２１５が計測した明領域が４分割して選択した撮像画像の領域全体の６０％以上であるか否かを判別する。
【００８７】
次の処理は、明領域が、選択した撮像対象の領域全体の６０％以上である場合には、ステップＳ１６ｉに進められ、６０％未満である場合には、ステップＳ１６ｇに進められる。
【００８８】
［ステップＳ１６ｇ］  画像処理部２１５は、選択した撮像画像の領域全体の面積に対する白画素の画素数（明領域）を計数する。
［ステップＳ１６ｈ］  画像判別部２１６は、ステップＳ１６ｇで画像処理部２１５が計測した明領域が４分割して選択した撮像画像の領域全体の６０％以上であるか否かを判別する。
【００８９】
次の処理は、明領域が、選択した撮像画像の領域全体の６０％以上である場合には、ステップＳ１６ｉに進められ、６０％未満である場合には、ステップＳ１６ｊに進められる。
【００９０】
［ステップＳ１６ｉ］  画像判別部２１６は、選択した撮像画像の領域に対応する手のひらの部分は撮像装置１０から０〜５ｍｍの範囲内に位置していることを判別する。
［ステップＳ１６ｊ］  画像判別部２１６は、選択した撮像画像の領域がｉ＝４であるか否かの判別を行う。
【００９１】
次の処理は、選択した撮像画像の領域がｉ＝４である場合には上記の処理を終了し、選択した撮像画像の領域がｉ＝４ではない場合にはステップＳ１６ｋに進められる。
［ステップＳ１６ｋ］  画像処理部２１５は、ステップＳ１５で４分割した撮像画像から選択していない次の番号（ｉ＋１）の領域を選択して、再びステップＳ１６ｃに進められる。
【００９２】
なお、図１０及び図１１のフローチャートでは、撮像画像を二値化するための明度（または輝度）の閾値を２５６階調の６９としているが、ユーザは所望の閾値を設定することも可能である。また、手のひらが撮像装置１０から０〜５ｍｍの範囲内に位置していることを確実に判別するための明領域の閾値は撮像画像の５０％以上であることが望ましく、図１０及び図１１のフローチャートでは６０％以上としている。さらに、この場合、ステップＳ１６ｃ，Ｓ１６ｄでは、選択した領域の２分の１の領域の明領域が１０％未満のものは、残り２分の１が明領域であっても、閾値の６０％を満たさない。したがって、ステップＳ１６ｃ，Ｓ１６ｄにより、閾値に満たない明領域を含む撮像画像の領域を早期に判別対象から取り除くことができ、図１０及び図１１による処理負担を軽減することができる。
【００９３】
次にこのような撮像装置１０を利用した具体例について説明する。
［実施例］
本実施例では、撮像装置１０を、ＰＣ等の情報処理装置に対して、撮像装置１０を利用して、ユーザ認証を行って、ログイン等を行う場合について説明する。
【００９４】
図１２は、第２の実施の形態に係る撮像装置が接続された情報処理装置のハードウェア構成例を示す図である。
情報処理装置３０は、例えば、ＰＣであって、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＨＤＤ（Hard Disk Drive）３０ｃ、グラフィック処理部３０ｄ及び入出力インタフェース３０ｅを備える。
【００９５】
ＣＰＵ３０ａは、ＨＤＤ３０ｃ等の記憶媒体に記憶された各種プログラムを実行することにより、この情報処理装置３０全体を統括的に制御する。
ＲＡＭ３０ｂには、ＣＰＵ３０ａに実行させるＯＳ及びプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ３０ｂには、ＣＰＵ３０ａによる処理に必要な各種データが格納される。
【００９６】
ＨＤＤ３０ｃには、情報処理装置３０上のＯＳ及びアプリケーションのプログラムが格納される。また、ＨＤＤ３０ｃには、ＣＰＵ３０ａによる処理に必要な各種データが格納される。
【００９７】
グラフィック処理部３０ｄは、具体例としては、ビデオカード、グラフィックボードであって、ＣＰＵ３０ａからの命令に従って、画像を表示するモニタ３０ｆに画像データを送信する。
【００９８】
入出力インタフェース３０ｅは、キーボード３０ｇ及びマウス３０ｈが接続されている。入出力インタフェース３０ｅは、キーボード３０ｇ及びマウス３０ｈから送られてくる信号をＣＰＵ３０ａに出力する。
【００９９】
さらに、入力インタフェース３０ｅには上記に説明した撮像装置１０が接続されている。
撮像装置１０は、外部接続口１２ａから、例えば、ＵＳＢ（Universal Serial Bus）ケーブルにより、情報処理装置３０の入力インタフェース３０ｅと電気的に接続されている。
【０１００】
このような情報処理装置３０では、ログインパスワードに対応付けられたユーザの手のひらの静脈パターンを予め保持している。情報処理装置３０は、撮像装置１０が読み取ったユーザの手のひらの静脈パターン情報が通知されると、ログインパスワードに対応付けられた静脈パターンとの認証を行って適合する場合にログインが完了する。
【０１０１】
以下、情報処理装置３０に接続された撮像装置１０を利用してログインする場合を説明する。
情報処理装置３０に電源が投入されると、撮像装置１０は、まず、出力要求部２１７がモニタ３０ｆに「撮像装置１０のフィルタ１１に手のひらを近づけてください」との表示の出力要求を情報処理装置３０に通知する。
【０１０２】
ユーザはこのような表示に応じて、撮像装置１０のフィルタ１１に手のひらを近づける。なお、この場合には、ユーザは撮像装置１０のフィルタ１１から０〜５ｍｍの距離内に手のひらをかざしてしまっているものとする。
【０１０３】
そして、距離計測部２１４が発光する距離測定用の発光素子１８を利用して手のひらの距離を計測する。すると、手のひらの４箇所のうち少なくとも１箇所が計測不可であるために、撮像実行部２１２が発光素子１５の発光時及び非発光時に撮像カメラ１４で手のひらの撮像をそれぞれ実行させる（ステップＳ１１〜Ｓ１４）。
【０１０４】
さらに、画像処理部２１５が発光素子１６ａの発光時及び非発光時の撮像画像の差分を取り、４分割する（ステップＳ１５）。
画像判別部２１６は、差分を取って４分割した撮像画像の領域中から１つの領域を選択して、二値化する。二値化した撮像画像の領域の白画素の画素数（明領域）を計数し、当該明領域が、４分割して選択した撮像画像の領域全体の６０％以上であるために、選択した撮像画像の領域に対応する手のひらの部分が撮像装置１０のフィルタ１１から０〜５ｍｍの範囲内に位置していることを判別する（ステップＳ１６ａ〜Ｓ１６ｆ，Ｓ１６ｉ）。
【０１０５】
同様に、４分割した撮像画像のその他の各領域においても上記と同様の処理を実行して、いずれの領域に対応する手のひらの部分が撮像装置１０のフィルタ１１から０〜５ｍｍの範囲内に位置していることを判別する。
【０１０６】
出力要求部２１７は、モニタ３０ｆに「撮像装置１０から手のひらを遠ざけて下さい」との表示の出力要求を情報処理装置３０に通知する。
情報処理装置３０が出力する上記の表示に応じて、ユーザが手のひらを撮像装置１０から遠ざける。この間も、距離計測部２１４は発光する距離測定用の発光素子１８を利用して手のひらの距離を計測する。距離計測部２１４がユーザの手のひらが撮像装置１０から適切な距離の範囲（３５〜７５ｍｍ）に入ったことを検知すると、出力要求部２１７は、モニタ３０ｆに「手のひらの動きを止めてください」との表示の出力要求を情報処理装置３０に通知する。
【０１０７】
距離計測部２１４が、ユーザの手のひらが撮像装置１０から適切な距離の範囲で停止して、手のひらの４箇所の距離に基づいて、手のひらが撮像装置１０のフィルタ１１に対して水平であることを検知すると、撮像装置１０は、ユーザの手のひらの静脈パターンを読み取り、読み取った静脈パターンの情報を情報処理装置３０に通知する。なお、距離計測部２１４は、手のひらがフィルタ１１に対して水平でないことを検知した場合には、出力要求部２１７は、モニタ３０ｆに「手のひらをフィルタ１１に対して水平にしてください」との表示の出力要求を情報処理装置３０に通知する。
【０１０８】
情報処理装置３０は、撮像装置１０から通知された静脈パターンの情報と、予め保持しているログインパスワードに対応付けた静脈パターンとの検証を行って、静脈パターンが一致する場合には、情報処理装置３０のログインが完了する。
【０１０９】
なお、上記と同様に、手のひらの４箇所のうち少なくとも１箇所が計測不可である場合に、ステップＳ１６ａ〜Ｓ１６ｋの処理を経て、画像判別部２１６が、手のひらが撮像装置１０から０〜５ｍｍの範囲内に位置しないことを判別すると、出力要求部２１７は、モニタ３０ｆに「撮像装置１０に手を近づけてください。または、撮像装置１０に手のひらをかざしてください」との表示の出力要求を情報処理装置３０に通知する。その後、再び、距離計測部２１４が発光する距離測定用の発光素子１８を利用して手のひらの距離を計測して、上記の処理が実行される。
【０１１０】
このように、撮像装置１０は、フィルタ１１上にかざされた手のひらの距離を検知できない場合に、発光素子１６ａの発光時及び非発光時に撮像カメラ１４で撮像し、それぞれの撮像画像の差分を取るようにした。これにより、撮像された手のひらの撮像画像において、明領域が撮像画像に対して所定の領域以上であれば、手のひらが撮像装置１０に対して不適正撮像距離内に位置していることが判別され、所定の領域未満であれば手のひらが撮像装置１０にセットされていない、あるいは撮像に適正な距離よりも離れていることが判別される。
【０１１１】
したがって、このような判別が行われることにより、ユーザに対して、手のひらを撮像装置１０に近づけるように促すことが可能であり、手のひらが撮像装置１０に不適正な撮像距離内に位置しすぎた場合には、撮像装置１０から手のひらを遠ざけるように促すことが可能となり、円滑に手のひらの撮像を実行できるようになる。
【０１１２】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、撮像装置１，１０が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープ等がある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ（Compact Disc）−ＲＯＭ／ＲＷ（Re-Writable）等がある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）等がある。
【０１１３】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１１４】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１１５】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することもできる。
【０１１６】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【０１１７】
１，１０  撮像装置
１ａ  撮像面
２  撮像部
２ａ，１４  撮像カメラ
２ｂ  光学系
３ａ，３ａ１〜３ａ４，３ｂ  発光部
３ａ１ｓ〜３ａ４ｓ  スポット光
４  判別部
５  撮像対象
６  測距部
１１  フィルタ
１２  外装ケース
１２ａ  外部接続口
１３  カメラ回路基板
１５  光学ユニット
１６ａ，１８  発光素子
１６ｂ  受光素子
１７  導光体
１９  ビーム照射機構
２１  回路部
２１ａ，３０ａ  ＣＰＵ
２１ｂ  ＲＯＭ
２１ｃ，３０ｂ  ＲＡＭ
２１ｄ，３０ｅ  入出力インタフェース
２２ｄ  外部コネクタ部
３０  情報処理装置
３０ｃ  ＨＤＤ
３０ｄ  グラフィック処理部
３０ｆ  モニタ
３０ｇ  キーボード
３０ｈ  マウス
２１１  画像情報保持部
２１２  撮像実行部
２１３  画像情報受信部
２１４  距離計測部
２１５  画像処理部
２１６  画像判別部
２１７  出力要求部
【図１】
2012124055.tif 000003
【図２】
2012124055.tif 000004
【図３】
2012124055.tif 000005
【図４】
2012124055.tif 000006
【図５】
2012124055.tif 000007
【図６】
2012124055.tif 000008
【図７】
2012124055.tif 000009
【図８】
2012124055.tif 000010
【図９】
2012124055.tif 000011
【図１０】
2012124055.tif 000012
【図１１】
2012124055.tif 000013
【図１２】
2012124055.tif 000014
【国際調査報告】
2012124055.tif 000015
2012124055.tif 000016
2012124055.tif 000017
2012124055.tif 000018