(57)【要約】      （修正有）【課題】対象物へのタッチ操作を行う場合に、手指を含む物体の大きさ、位置及び形状を対象物の撮影画像から精度良く抽出する物体検出装置を提供する。【解決手段】物体検出装置２０は、物体との距離を距離に応じた輝度で表す距離画像３から、手指を表す手指候補領域８０を抽出すると共に、物体からの反射光の強度を輝度で表す反射強度画像を、反射強度画像の輝度に基づいて複数の領域に分割する。そして、物体検出装置は、複数の領域のうち、領域の輪郭線の形状が手指候補領域８０の輪郭線の形状と類似する抽出領域と、前記手指候補領域８０と、を統合した領域を物体の領域とする。【選択図】図１５
2017068437.tif 000002
【特許請求の範囲】
【請求項１】
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出する抽出部と、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割する分割部と、
前記複数の領域のうち、領域の輪郭線の形状が前記抽出部により抽出された前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする統合部と、
を含む物体検出装置。
【請求項２】
前記統合部は、前記複数の領域のうち、前記手指候補領域と重複する割合が予め定めた割合以上で、かつ、前記手指候補領域の輪郭線の形状の特徴量と、前記手指候補領域の輪郭線に対応した輪郭線の形状の特徴量と、の差分が閾値以下である領域を、前記抽出領域とする
請求項１記載の物体検出装置。
【請求項３】
前記統合部は、前記手指候補領域の輪郭線の形状の特徴量を、前記手指候補領域の輪郭線に含まれる各々の輪郭画素のうち、前記輪郭画素の輝度と、前記手指候補領域外で、かつ、前記輪郭画素から予め定めた範囲にある近傍画素の輝度と、の差分が閾値より小さい画素が連続する区間、及び、前記距離画像の枠線と重複する区間を前記手指候補領域の輪郭線から取り除いた区間から求める
請求項２記載の物体検出装置。
【請求項４】
前記統合部は、前記分割部によって前記複数の領域に分割される前記反射強度画像の分割対象範囲を、予め定めた輝度以上を有する範囲に縮小する
請求項２または請求項３記載の物体検出装置。
【請求項５】
前記統合部は、前記複数の領域のうち、前記手指候補領域と重複する割合が最も大きい領域が前記予め定めた割合未満である場合、前記手指候補領域と重複する割合が前記予め定めた割合以上になるまで、前記予め定めた輝度を大きくして、前記分割部によって前記複数の領域に分割される前記反射強度画像の分割対象範囲を更に縮小する
請求項４記載の物体検出装置。
【請求項６】
前記物体は人間の手指である
請求項１〜請求項５の何れか１項に記載の物体検出装置。
【請求項７】
前記距離画像及び前記反射強度画像は、人間の体に装着された撮影装置で撮像された画像である
請求項１〜請求項６の何れか１項に記載の物体検出装置。
【請求項８】
コンピュータに、
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出し、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割し、
前記複数の領域のうち、領域の輪郭線の形状が前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする
処理を実行させる物体検出方法。
【請求項９】
コンピュータに、
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出し、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割し、
前記複数の領域のうち、領域の輪郭線の形状が前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする
処理を実行させる物体検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、物体検出方法、及び物体検出プログラムに関する。
【背景技術】
【０００２】
近年、例えば工場等の現場において、拡張現実機能（ＡＲ：Augmented Reality)を利用して、作業員の作業を支援する手法が提案されている。具体的には、現場の特定の場所にカメラで識別可能なマーカーを設置し、カメラ機能を有するタブレット端末でマーカーを撮影した場合、マーカーに対応付けられた情報をタブレット端末の画面に重畳して表示する例が提案されている。この場合、作業員は、作業に関する様々なマニュアル等を現場に持ち運ばなくても、タブレット端末を持参しさえすれば、マーカーを撮影するだけでマーカーが設置された場所に必要なマニュアル等を参照することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８２０１４号公報
【非特許文献】
【０００４】
【非特許文献１】石井裕剛、外５名、「拡張現実感を利用した原子力発電プラントの解体支援方法の提案と評価」、日本バーチャルリアリティ学会論文誌、日本バーチャルリアリティ学会、平成20年6月30日、Vol.13、 No.2、p.289-300
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、こうした現場では作業員は両手で作業を行うことが多く、タブレット端末では使用時に手で持って操作する必要があるため作業を進める上で妨げとなることがある。したがって、図２６に示すように、タブレット端末の代わりに例えばヘッドマウントカメラ９０及び眼鏡型ディスプレイ９１といったウェアラブル機器を組み合わせたハンズフリーの作業環境の実現が現場の作業員から求められている。
【０００６】
こうしたハンズフリーを実現するウェアラブル機器を用いた場合、タブレット端末のように画面をタッチして必要な情報を呼び出したり切り替えたりする操作が困難になる。そこで、例えば、手の動きによってウェアラブル機器に指示を与えるジェスチャー操作が用いられることがある。ジェスチャー操作では、ヘッドマウントカメラ９０によって作業員の手が撮影され、手の位置及び形状を解析することで操作内容を特定し、特定した操作内容に応じた処理が、眼鏡型ディスプレイ９１に表示された情報に対して実行される。
【０００７】
対象物上の特定の箇所を指定する作業例としては、点検作業時に壁面のひび割れといった異常箇所を発見した場合に、当該箇所を指定して対象物や位置に関する情報を電子的に記録し他の作業者と共有することが考えられる。
【０００８】
このような作業に対し、ウェアラブル機器向けのジェスチャー操作の多くは、指や手の形状や空中での動作を用いるため、特定の箇所を指定する際に位置ずれが生じやすいといった課題がある。
【０００９】
しかし対象物が作業者の手が届く場所にある場合は、対象物上の該当箇所を直接触れて指定する操作（タッチ操作）が考えられ、タッチ操作であれば位置ずれが生じにくいという効果がある。
【００１０】
このタッチ操作の実現には、ウェアラブル機器を用いて対象物並びに作業者の手の位置及び形状をできるだけ正確に取得することが重要な処理となる。
【００１１】
一つの側面として、本発明は、対象物へのタッチ操作を行う場合に、手指を含む物体の大きさ、位置及び形状を対象物の撮影画像から精度良く抽出することを目的とする。
【課題を解決するための手段】
【００１２】
一つの態様では、物体検出装置は、物体との距離を距離に応じた輝度で表す距離画像から、物体を表す手指候補領域を抽出すると共に、物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割する。そして、物体検出装置は、複数の領域のうち、領域の輪郭線の形状が手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を物体の領域とする。
【発明の効果】
【００１３】
一つの側面として、対象物へのタッチ操作を行う場合に、手指を含む物体の大きさ、位置及び形状を対象物の撮影画像から精度良く抽出することができる、という効果を有する。
【図面の簡単な説明】
【００１４】
【図１】距離画像の一例を示す図である。
【図２】反射強度画像の一例を示す図である。
【図３】物体検出システムの構成の一例を示す図である。
【図４】物体検出装置をコンピュータで実現する場合の構成の一例を示す図である。
【図５】第１実施形態に係る物体検出処理の流れの一例を示すフローチャートである。
【図６】距離画像の輝度ヒストグラムの一例を示す図である。
【図７】距離画像から近傍領域及び手指候補領域を抽出した結果の一例を示す図である。
【図８】反射強度画像分割処理の流れの一例を示すフローチャートである。
【図９】反射強度画像から輝度に基づく画像分割の処理過程の一例を示した図である。
【図１０】画像統合処理の流れの一例を示すフローチャートである。
【図１１】抽出領域の誤結合の一例を示す図である。
【図１２】抽出領域の過分割の一例を示す図である。
【図１３】手指候補領域の輪郭線の一例を示す図である。
【図１４】抽出領域の輪郭線の一例を示す図である。
【図１５】第１実施形態に係る画像統合処理によって統合された手指領域の一例を示す図である。
【図１６】反射強度画像での反射強度の差異の一例を示す図である。
【図１７】第２実施形態に係る物体検出処理の流れの一例を示すフローチャートである。
【図１８】反射強度画像の輝度ヒストグラムを用いた分割対象範囲の設定方法の一例を示す図である。
【図１９】分割対象範囲の設定の流れの一例を示す図である。
【図２０】第２実施形態に係る画像統合処理の流れの一例を示すフローチャートである。
【図２１】誤結合した抽出領域の一例を示す図である。
【図２２】分割対象範囲と交差する手指候補領域の輪郭線の端点の一例を示す図である。
【図２３】分割対象範囲と交差する抽出領域の輪郭線の端点の一例を示す図である。
【図２４】範囲を縮小した分割対象領域の一例を示す図である。
【図２５】第２実施形態に係る画像統合処理によって統合された手指領域の一例を示す図である。
【図２６】作業員の装備の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、同じ働きを担う構成要素または処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。
【００１６】
ウェアラブル機器を用いたジェスチャー操作として、例えば、特定の操作に対応付けられた指や手の形状、或いは空中での動作を用いて、眼鏡型ディスプレイ９１等に表示された情報の操作や作業現場内の対象物を指定する方法（モーション操作）がある。
【００１７】
しかし、モーション操作の場合、例えば、作業員が情報を操作する意図がないにもかかわらず、ウェアラブル機器の特定の操作に対応付けられた手の動きを偶然に実行してしまい、誤操作を引き起こしてしまう場合が考えられる。また、空中で指や手を動かすモーション操作では、例えば腕を固定しての動作に比べて指や手の位置が変化しやすくなり、対象物上の特定の箇所を指示する操作では位置ずれが生じやすい状況が発生する。
【００１８】
ここで、対象物が作業者の手が届く範囲内にある場合は、作業者が対象物上に目印を書く、あるいは直接指で触れることで特定の箇所を指定する操作（タッチ操作）が用いられることがある。
【００１９】
こうしたタッチ操作であれば、対象物へのタッチ操作の有無を判定することで、意図しない動きによる誤操作を回避でき、更に、空中での指や手の動作であるモーション操作に比べて対象物上の特定の箇所を指定する際の位置ずれが生じにくくなる。
【００２０】
タッチ操作では、例えば、作業員の手の位置及び形状を撮影した画像から検出する検出処理、並びに、タッチ操作対象物と指の接触判定処理を行うことになる。
【００２１】
手の検出処理の一例としては、予め取得した手の肌の色及び外観の特徴に基づいて、可視光を利用した光学カメラの撮影画像から手と推定される領域を検出する方法が用いられることがある。しかし、この場合、例えば手を照射する光源が太陽光か、或いは照明器具からの光かといった光源の相違によって、撮影画像の手に対応する領域の色が予め取得した手の肌の色と異なってしまうことがある。また、光学カメラに対する手の向き、或いは拳を握る等の手の形状の変化によって、撮影画像の手に対応する領域の形状が予め取得した手の外観と異なってしまうことがある。その結果、撮影画像から手に対応する領域を検出することが困難になることがある。
【００２２】
その他の撮影画像からの手の検出処理の例としては、手と背景との特徴量（例えば彩度）の差分を利用する方法、又は時間的に連続する撮影画像間における撮影画像の特徴量の差分を利用する方法がある。しかし、光学カメラを装着した作業員は現場内を移動して作業することから、手の撮影場所や撮影角度が逐次変化するため、特徴量の差分を用いて撮影画像から手に対応する領域を検出することも困難である場合が多い。
【００２３】
更に、接触判定処理の一例としては、例えば物体を異なる方向から撮影する光学ステレオカメラを用いて、カメラからタッチ操作対象物及び指までの距離を測定する方法、又は作業員の指先に接触センサを装着してタッチ操作対象物への接触を検出する方法がある。しかし、光学ステレオカメラを用いる場合、作業者の移動に伴う照明位置や角度の変化によって、対象物の色や明るさが変わるため対応が困難になる場合がある。また、作業員の体に装着し難くなることがある。また、指先に接触センサを装着する場合には、接触センサが作業員の様々な作業の妨げになることが想定される。
【００２４】
一方、近年、従来に比べて安価な赤外光を用いる距離センサが普及しつつある。距離センサには複数の測定方式があり、その中の一つに距離測定対象の物体に赤外光を照射し、物体からの反射光を受光するまでの時間差に基づいて、物体までの距離を計測する測定方式（TOF方式）がある。
【００２５】
赤外光を用いる距離センサは、光学カメラに比べて光源の違いによる影響を受けにくく、物体までの距離を精度良く計測することができる。なお、計測結果は、距離センサから物体までの距離計測結果に基づいた距離画像として出力される。距離画像は、物体までの距離計測結果に応じて輝度が変化する画像であり、例えば、距離センサから物体までの距離が遠くなる程、距離画像における当該物体に対応する画素の輝度が高くなる。なお、距離画像は、距離センサから物体までの距離が遠くなる程、距離画像における当該物体に対応する画素の輝度が低くなるものであってもよい。
【００２６】
図１は、距離画像３の一例を示す図である。タッチ操作の際、作業員はタッチ操作対象物に触れる指先９２に注目することから、図１に示すように、指先９２が距離画像３の中央部付近に位置する場合が多くなる。一方、手首から手の甲にかけての手背部９３は、指先９２が距離画像３の中央部付近にくることから、距離画像３の周辺部に位置する場合が多くなる。
【００２７】
タッチ操作対象物に対して指先９２でタッチ操作を行う場合を考えると、作業員は腕を伸ばしてタッチ操作対象物に触れようとするため、指先９２とタッチ操作対象物との間の距離の差が小さくなる。したがって、距離画像３上で、タッチ操作対象物に対応する領域と指先９２に対応する領域の画素の輝度差も小さくなる。一方、タッチ操作対象物と手背部９３との距離の差は、タッチ操作対象物と指先９２との距離の差に比べて大きい。したがって、距離画像３におけるタッチ操作対象物に対応する領域と手背部９３に対応する領域との輝度差は、タッチ操作対象物に対応する領域と指先９２に対応する領域との輝度差に比べて大きくなる。
【００２８】
すなわち、距離画像３の輝度に基づいて、タッチ操作対象物から手背部９３を分離することは比較的容易であるが、タッチ操作対象物から指先９２を分離することは、タッチ操作対象物と手背部９３を分離する場合に比べて困難になる。また、タッチ操作対象物と指先９２の輝度差が、距離センサが有する固有の計測誤差（ノイズ）内に含まれる程度に小さい場合、タッチ操作対象物から指先９２を分離することが更に困難になる。
【００２９】
図１の手指領域検出結果９４は、輝度に基づいて距離画像３から手指５を検出した際の画像の一例を示す。ここで、手指５とは、指先９２及び手背部９３を合わせた部分のことをいう。手指領域検出結果９４から、手背部９３に対応する領域は距離画像３から検出しやすいが、指先９２に対応する領域は輪郭がはっきりとせず、距離画像３から検出し難いことがわかる。
【００３０】
距離センサの距離測定方式がTOF方式の場合は、前述した距離画像３の他、反射光の強度が輝度に比例する反射強度画像を取得可能な場合がある。この反射強度画像と同じ距離センサから得られる距離画像３は、共通の照射部、受光部を用いることから撮影範囲、すなわち画角も共通であり、各々の画像において同じ位置にある画素は、同一物体の同じ位置を表しているとみなすことができる。
【００３１】
反射強度画像は、物体からの反射光の強度に応じて輝度が変化する画像であり、例えば、反射光の強度が強くなる程、反射強度画像における当該物体に対応する画素の輝度が高くなる。なお、反射強度画像は、物体からの反射光の強度が強くなる程、反射強度画像における当該物体に対応する画素の輝度が低くなるものであってもよい。
【００３２】
反射強度画像は、物体へ照射した赤外光の反射光の強度を利用しており、光学カメラを用いる場合に比べて、物体表面の色及び外観の特徴に影響されにくい特徴がある。
【００３３】
しかし、反射光の強度は、距離センサから物体までの距離と共に、物体表面の材質に基づく赤外光への反射率に大きく依存する。とりわけ、金属及び鏡のような材質の場合は他の材質に比べて反射率が高いため反射光の強度が過剰に強くなり、照射から反射光の受光までの時間差が正しく得られず距離測定が失敗する場合がある。
【００３４】
また、距離センサから照射する赤外光が点光源の場合には、例えば対象とする物体上に同心円状の照射ムラが生じることがある。
【００３５】
図２は、反射強度画像の一例を示す図である。反射強度画像４では、一見すると図１に示した距離画像３に比べて、指先９２が明確に撮影されているように見える。しかし、例えば反射強度画像４から個々の物体に対応する領域を抽出するため、隣接する画素の輝度の類似性に基づいて複数に領域に分割すると、分割結果９５に示すように、部材９６の一部分が手指５に結合されることがある。したがって、手指５に対応する領域の形状が領域９７のようないびつな形状に分割される場合がある。このような領域分割の失敗原因としては、物体表面の材質の相違や赤外光の照射ムラの影響が考えられ、複数の物体を１つの領域として誤って結合する場合（誤結合）、または反対に同一の物体であっても対応する領域を複数に分割する場合（過分割）がある。
【００３６】
したがって、反射強度画像４の領域分割結果から手指５の形状と大きさの類似度が高い領域を選択するには、領域分割結果から選択した領域に対して、誤結合や過分割の有無も含めた、手指５の形状、大きさについての類似性を評価する方法が必要となる。
【００３７】
ここで、反射強度画像４での領域分割における誤結合や過分割の発生に対する照射ムラの影響を考えると、誤結合及び過分割は、照射強度が弱い画像周辺部において発生しやすく、照射強度が強い画像中央部では発生しにくい傾向にある。
【００３８】
更に、タッチ操作時の手指５は指先９２が画像中央部に位置する場合が多いことを考えると、反射強度画像４上で誤結合及び過分割が発生しやすい画像周辺部に位置する手背部９３と手指５との類似性を評価することが重要となる。
【００３９】
一方、距離画像３における手指５に対応する領域において、指先９２を除いた手背部９３に対応する部分は手指５との類似性が高くなる傾向が見られる。したがって、距離画像３から得た手指５に対応する領域を基準として、反射強度画像４から得た領域との類似度を評価することで、誤結合や過分割も考慮した評価ができると考えられる。
【００４０】
ここで距離画像３と反射強度画像４における手背部９３に対応する領域の形状及び大きさを比較すると、画角及び撮影距離はどちらの画像でも同じである。したがって、反射強度画像４において誤結合または過分割が発生していない場合、手背部９３に対応する領域の形状及び大きさは、距離画像３における手背部９３に対応する領域と同一とみなすことができる程度に近似する。しかし、画素単位で見た場合、以下に示す各画像の特徴から差異が生じる。
【００４１】
例えば、反射強度画像４での輝度に対応する反射光強度の特徴として、カメラからの距離がほぼ等しい物体でも照射方向に垂直な面（例えば手背部９３における手の甲）での反射光の強度は強くなる。また、照射方向に平行な面（例えば手背部９３の側面）の反射光の強度は距離の変化以上に弱くなる。
【００４２】
一方、距離測定結果は、反射光の強度ではなく対象物への照射から反射光の受光までの時間差に強く依存する。これらの特徴から、手背部９３に対応する距離画像３と反射強度画像４の各画像上での領域の輪郭線の形状は、全体としては類似するが画素単位では差異が生じ、単純な画素単位での領域の形状比較では類似性を正しく評価できないことがある。
【００４３】
また、手背部９３または手指５に対応する距離画像３及び反射強度画像４の各画像での領域の面積（画素数）の比較による領域の類似性評価も考えられる。しかし、反射強度画像４から得た領域において誤結合と過分割の両方が発生した場合、面積としては適切と評価されるが形状としては適切でない場合も考えられるため、面積比較だけでは十分な評価とはならない場合がある。
そこで、以降では、手指５を例にして、画像から手指５の大きさ、位置、及び形状を精度良く抽出することができる物体検出装置について説明する。
【００４４】
（第１実施形態）
図３は、第１実施形態に係る物体検出システム１の構成例を示す図である。物体検出システム１は、撮影装置１０、物体検出装置２０、及び表示装置３０を含む。
【００４５】
撮影装置１０は、手指５を含む撮影の対象物体に赤外光を照射する赤外光源、及び距離センサを含み、距離センサで生成した距離画像３及び反射強度画像４を物体検出装置２０に出力する。
【００４６】
撮影装置１０の設置形態としては、ハンズフリー環境を実現するため、物体検出システム１を利用する作業員等の人（ユーザ）の頭部に装着される形態、例えば前述したヘッドマウントカメラ９０のような形態が用いられる。
【００４７】
なお、撮影装置１０は、赤外光源及び距離センサを含む形態とするが、これに限らず、例えば赤外光源と距離センサとを分離し、それぞれをユーザの頭部に装着するようにしても良い。また、撮影装置１０は、距離画像３及び反射強度画像４の画角が、撮影装置１０を装着したユーザの視界と同じ範囲に近づくよう調整されユーザに装着されているものとする。
【００４８】
物体検出装置２０は、取得部２１、手指候補領域輝度設定部２２、手指候補領域抽出部２３、分割部２４、及び統合部２５を含み、撮影装置１０で取得された距離画像３及び反射強度画像４を用いて、手指５の位置及び形状（手指領域）を検出する。
【００４９】
そのため、取得部２１は、撮影装置１０、手指候補領域輝度設定部２２、及び分割部２４と接続され、距離画像３及び反射強度画像４を撮影装置１０から取得する。取得部２１は、取得した距離画像３を手指候補領域輝度設定部２２に出力し、かつ、取得した反射強度画像４を分割部２４に出力する。
【００５０】
手指候補領域輝度設定部２２は、取得部２１及び手指候補領域抽出部２３と接続され、距離画像３を取得部２１から取得する。
【００５１】
手指候補領域輝度設定部２２は、取得した距離画像３における各画素の輝度の分布を示す輝度ヒストグラムを生成し、輝度ヒストグラムの勾配変化率に基づいて、ユーザの手指５に対応すると考えられる領域の輝度を設定する。なお、ユーザの手指５に対応すると考えられる領域を手指候補領域という。そして、手指候補領域輝度設定部２２は、設定した手指候補領域の輝度（手指候補領域輝度）を手指候補領域抽出部２３に出力する。
【００５２】
なお、手指候補領域輝度設定部２２の処理については後ほど詳細に説明する。また、以降、手指候補領域輝度設定部２２を、単に「設定部２２」という場合がある。
【００５３】
手指候補領域抽出部２３は、設定部２２及び統合部２５と接続され、手指候補領域輝度を設定部２２から取得する。そして、手指候補領域抽出部２３は、手指候補領域輝度に基づいて、距離画像３から手指候補領域を抽出する。手指候補領域抽出部２３は、抽出した手指候補領域に関する情報を統合部２５に出力する。なお、以降、手指候補領域抽出部２３を、単に「抽出部２３」という場合がある。
【００５４】
分割部２４は、取得部２１及び統合部２５と接続され、反射強度画像４を取得部２１から取得する。そして、分割部２４は、隣接する画素の輝度差に基づく予め定めた分割アルゴリズムに従って、取得した反射強度画像４を複数の領域に分割する。分割部２４は、分割した複数の領域に関する情報を統合部２５に出力する。
【００５５】
統合部２５は、抽出部２３、分割部２４、及び表示装置３０と接続され、距離画像３における手指候補領域に関する情報を抽出部２３から取得し、かつ、分割された反射強度画像４の複数の領域に関する情報を分割部２４から取得する。統合部２５は、反射強度画像４の複数の領域の中から、輪郭線が手指候補領域と最も類似する抽出領域を選択し、手指候補領域と抽出領域とを統合することで、ユーザの手指領域を確定する。そして、統合部２５は、確定したユーザの手指領域に関する情報を表示装置３０に出力する。なお、統合部２５の処理については後ほど詳細に説明する。
【００５６】
表示装置３０は、物体検出装置２０の統合部２５と接続され、ユーザの手指領域に関する情報を統合部２５から取得する。そして、表示装置３０は、表示装置３０の画面の手指領域に対応する位置に、手指領域に対応した手指５の形状を表示する。
【００５７】
なお、表示装置３０の設置形態としては、ハンズフリー環境を実現するため、例えば前述した眼鏡型ディスプレイ９１のような形態が用いられる。なお、表示装置３０に必ずしも手指領域を表示する画面（例えば、液晶画面又は有機エレクトロルミネッセンス画面等）は必要なく、例えばユーザの網膜上にレーザを走査しながら照射することで、網膜上に映像を描画する網膜ディスプレイを用いても良い。
【００５８】
図３では、一例として、物体検出装置２０を撮影装置１０及び表示装置３０と分離させた形態を示しているが、物体検出システム１の装置形態はこれに限られない。例えば、物体検出装置２０を撮影装置１０及び表示装置３０の一方と統合しても良く、更に言えば、撮影装置１０、物体検出装置２０、及び表示装置３０を１つの装置として統合しても良い。
【００５９】
次に、図４に、物体検出装置２０をコンピュータで実現する場合の構成図の一例を示す。
【００６０】
コンピュータ１００は、ＣＰＵ１０２、メモリ１０４、及び不揮発性の記憶部１０６を含む。ＣＰＵ１０２、メモリ１０４、及び不揮発性の記憶部１０６は、バス１０８を介して互いに接続される。また、コンピュータ１００は、入力装置１１２、撮影装置１０、及び表示装置３０と、コンピュータ１００と、を接続してデータを送受信するＩ／Ｏ（Input/Output）１１０を備え、Ｉ／Ｏ１１０はバス１０８に接続される。
【００６１】
入力装置１１２は、例えばキーボード及びマウス等の、コンピュータ１００の操作者がコンピュータ１００に指示を与えるための入力デバイスを含む。また、入力装置１１２は、例えばＣＤ−ＲＯＭ又はフラッシュメモリ等の記録媒体１１６に記録されるデータを読み取るための読み取り装置を含む。なお、入力装置１１２を必ずしもＩ／Ｏ１１０に接続する必要はない。
【００６２】
なお、記憶部１０６は、ＨＤＤ(Hard Disk Drive)又はフラッシュメモリ等によって実現できる。
【００６３】
記憶部１０６には、コンピュータ１００を図３に示す物体検出装置２０として機能させるための物体検出プログラム１２０が記憶される。記憶部１０６に記憶される物体検出プログラム１２０は、取得プロセス１２２、手指候補領域輝度設定プロセス１２４、手指候補領域抽出プロセス１２６、分割プロセス１２８、及び統合プロセス１３０を含む。
【００６４】
ＣＰＵ１０２は、物体検出プログラム１２０を記憶部１０６から読み出してメモリ１０４に展開し、物体検出プログラム１２０に含まれる各プロセスを実行することで、コンピュータ１００が図３に示す物体検出装置２０として動作する。
【００６５】
また、ＣＰＵ１０２が取得プロセス１２２を実行することで、コンピュータ１００が図３に示す取得部２１として動作する。また、ＣＰＵ１０２が手指候補領域輝度設定プロセス１２４を実行することで、コンピュータ１００が図３に示す手指候補領域輝度設定部２２として動作する。また、ＣＰＵ１０２が手指候補領域抽出プロセス１２６を実行することで、コンピュータ１００が図３に示す手指候補領域抽出部２３として動作する。また、ＣＰＵ１０２が分割プロセス１２８を実行することで、コンピュータ１００が図３に示す分割部２４として動作する。また、ＣＰＵ１０２が統合プロセス１３０を実行することで、コンピュータ１００が図３に示す統合部２５として動作する。
【００６６】
なお、コンピュータ１００は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
【００６７】
次に、第１実施形態に係る物体検出装置２０の作用について説明する。第１実施形態に係る物体検出装置２０は、例えば、距離画像３及び反射強度画像４の撮影通知を撮影装置１０から取得した場合に、物体検出処理を実行する。
【００６８】
図５は、物体検出処理の流れの一例を示すフローチャートである。なお、以降では、撮影装置１０で撮影された各画像からユーザの手指５を検出する例を示すが、物体検出装置２０で検出する物体は手指５に限られず、例えば指示棒などの物体上の特定の箇所の指示に用いる物体でも良い。また、距離画像３は、撮影装置１０から物体までの距離が遠くなる程、対応する部分の輝度が高く表示され、反射強度画像４は、物体での赤外光の反射強度が強くなる程、対応する部分の輝度が高く表示される。
【００６９】
ステップＳ１００では、取得部２１が、距離画像３及び反射強度画像４を撮影装置１０から取得し、例えばメモリ１０４の予め定めた領域にそれぞれ記憶する。
【００７０】
ステップＳ２００では、設定部２２が、距離画像３をメモリ１０４から取得し、距離画像３に含まれる各画素の輝度の分布、すなわち各輝度における画素数を示す輝度ヒストグラムを生成する。そして、設定部２２は、撮影距離に対する輝度ヒストグラムの勾配変化率の特徴からタッチ操作対象物までの撮影距離を推定し、推定した撮影距離に基づいて手指候補領域を抽出するための輝度（手指候補領域輝度）を閾値ｖ２として算出する。
【００７１】
ここで説明の前提として、タッチ操作対象物におけるユーザがタッチする部分の形状は平坦とする。また、タッチ操作対象物は、距離画像３において所定の割合以上の領域を占め、かつ、ユーザの手指５に比べて大きい領域であるものとする。
【００７２】
まず、手指候補領域の役割と、これを抽出するための閾値ｖ２について詳細を説明する。
【００７３】
手指候補領域は、後述する反射強度画像から選択した抽出候補領域の形状判定に用いるため、距離画像３上の手指の大きさおよび形状を再現し、かつ、タッチ操作対象物等を含まないようにする必要がある。
【００７４】
ここで、図６（Ａ）は、撮影装置１０による距離画像３の撮影環境の一例を側面から見た図であり、撮影装置１０、手指５およびタッチ操作対象物９８の位置関係を示している。
【００７５】
手指候補領域として、手指５だけを含む領域の抽出を行うための閾値ｖ２は、撮影装置１０からの距離のうち、タッチ操作対象物９８に到達しない距離の中で、最大の距離に対応する値に設定することが好ましい。
【００７６】
例えば、閾値ｖ２が小さすぎる（撮影距離が短い）場合は、抽出した手指候補領域が本来の手指領域よりも小さくなる。また、閾値ｖ２が大きすぎる（撮影距離が長い）場合は、手指５に加えてタッチ操作対象物９８まで手指候補領域に含まれるため、得られた手指候補領域の形状は本来の手指領域と形状が異なり、反射強度画像から選択した抽出候補領域の形状判定に用いることが困難となる場合がある。
【００７７】
次に、手指５とタッチ操作対象物９８を含む距離画像における輝度ヒストグラムと、その勾配変化率の差異について詳細を説明する。
【００７８】
図６（Ｂ）は、図６（Ａ）に示した撮影環境下で得られた距離画像３における輝度ヒストグラムの一例を示す図であり、横軸に輝度、縦軸に各輝度における画素数を示している。距離画像３の輝度は撮影装置１０から物体までの距離（撮影距離）に相当するため、輝度ヒストグラムは、撮影距離毎の画素数を表している。なお、設定部２２は、輝度ヒストグラム８２を生成する際、各画素の輝度を８ビット、すなわち０から２５５に正規化する。なお、輝度の正規化範囲は一例であり、８ビットより少ないビット数、又は多いビット数で輝度を正規化しても良い。
【００７９】
ここで、タッチ操作対象物９８に対して手指５でタッチ操作することを考えると、例えば頭部に装着した撮影装置１０で対象物を撮影することから、距離測定範囲（撮影距離の最大値）は撮影装置１０から１ｍ程度に制限できる。
【００８０】
したがって、距離測定範囲（最大値）をＭＴとし、距離画像３の輝度範囲を８ビット（０〜２５５）で正規化する場合、距離測定結果Ｔに対する輝度Ｌは（１）式で示される。
【００８１】
（数１）
Ｌ＝( Ｔ * ２５５ ) / ＭＴ  ・・・（１）
【００８２】
例えば、距離測定範囲  ＭＴが１５００ｍｍ、距離測定結果Ｔが６００ｍｍ である場合、輝度範囲を８ビットで正規化した時の輝度Ｌは、式（１）より“１０２”となる。
【００８３】
ユーザがタッチ操作対象物９８にタッチする際、多くの場合、ユーザはタッチ操作対象物９８に対向した位置に移動するため、図６（Ａ）のように、タッチ操作対象物９８は、撮影装置１０の撮影方向に対して垂直とみなせる範囲に存在すると考えられる。加えて、タッチ操作対象物９８は、撮影方向に対して平面状の形状を有することから、その撮影距離は連続的に変化する。このため、図６（Ｂ）におけるタッチ操作対象物９８に対応する画素は、輝度ヒストグラム上では輝度変化に対して画素数が大きく変化する。
【００８４】
一方、手指５は撮影方向に沿って伸びており、距離の変化に対する面積の変化はタッチ操作対象物９８に比べて小さくなる。したがって、手指５に対応する画素の輝度ヒストグラムにおける輝度変化に対する画素数の変化も小さくなることから、タッチ操作対象物９８に対応する部分の輝度ヒストグラム上の勾配変化率は、手指５に対応する部分の勾配変化率に比べて大きくなる。
【００８５】
次に閾値ｖ２の推定について詳細に説明する。
【００８６】
ここで、輝度ヒストグラムの勾配変化率を輝度の最小値から最大値に向かって探索し、勾配変化率が所定の閾値以上となる輝度を、タッチ操作対象物９８の撮影距離に相当する輝度ｖ０とする。
【００８７】
図６（Ｃ）は、図６（Ｂ）において、輝度ｖ０の付近を拡大した図であり、これを輝度ヒストグラム８２とする、また、図６（Ｄ）は、図６（Ｃ）に示す輝度ヒストグラム８２の勾配変化率を示したグラフである。
【００８８】
前述したように、閾値ｖ２は、タッチ操作対象物９８に到達しない撮影距離の中で、最大の距離に対応する値に設定することが好ましい。しかし、距離測定結果に含まれるノイズの影響によって閾値ｖ２を直接求めることは困難であることが多いため、輝度ｖ０から所定の調整値ｆ１（例えば３０ｍｍに相当する輝度値）だけ小さい輝度値を閾値ｖ２としてもよい。調整値ｆ１については、実際の作業を通じて事前に求めておくことが好ましい。或いは、コンピュータシミュレーション等により事前に求めておいてもよい。
【００８９】
ここで、想定する撮影環境において、ユーザはタッチ操作対象物９８に近づきすぎるとタッチ操作が困難となることから、タッチ操作対象物９８の撮影距離は少なくとも１００ｍｍ以上と考えられ、この撮影距離を閾値ｖ１とする。閾値ｖ１の撮影距離内の物体は手指５及び腕の一部に限られることから、距離画像３上の領域（輝度０から閾値ｖ１までの画素を含む領域）を近傍領域８１とすると、近傍領域８１には手指５及び腕の一部が含まれるが、タッチ操作対象物９８は含まれない。
【００９０】
したがって、図６（Ｄ）に示すように、設定部２２は、輝度ヒストグラム８２の傾きが予め定めた傾きｒ１より大きくなる輝度値ｖ０を、閾値ｖ１から輝度が高くなる方向に向かって探索し、得られた輝度値ｖ０から調整値ｆ１だけ小さくすることで閾値ｖ２を求める。ただし、輝度ヒストグラム８２の勾配変化率が傾きｒ１より大きくならないまま累積画素数が閾値ｅ１以上となった場合には、設定部２２は、累積画素数が閾値ｅ１となる輝度を閾値ｖ２に設定する。この閾値ｅ１は、例えばユーザの手指５の大きさ等から考えられる手指候補領域８０の最大の大きさに対応する画素数として、例えばメモリ１０４の予め定めた領域に予め設定しておけば良い。
【００９１】
なお、閾値ｖ１から輝度が高くなる方向に向かって閾値ｖ０を探索する理由は、閾値ｖ１未満の近傍領域８１は、ユーザの手指５及び腕の一部しか含まれない領域であるため、あえて閾値ｖ１未満の輝度から閾値ｖ０の探索を開始する必要がないためである。
【００９２】
そして、設定部２２は、求めた閾値ｖ２を、例えばメモリ１０４の予め定めた領域に記憶する。
【００９３】
なお、傾きｒ１及び閾値ｖ１は、手指５及びタッチ操作対象物９８の距離画像３の大きさ、並びに、撮影装置１０の撮影方向に対する傾きにより変化するため、実際の作業を通じて事前に求めておくことが好ましい。或いは、傾きｒ１及び閾値ｖ１は、コンピュータシミュレーション等により事前に求めておいてもよい。このようにして求めた傾きｒ１及び閾値ｖ１は、例えばメモリ１０４の予め定めた領域に予め記憶される。
【００９４】
ステップＳ３００では、抽出部２３が、ステップＳ１００で取得した距離画像３、ステップＳ２００で設定した閾値ｖ２、及びメモリ１０４に予め記憶されている閾値ｖ１を、メモリ１０４から取得する。
【００９５】
そして、抽出部２３は、閾値ｖ１以下の輝度を有する画素の集まりを近傍領域８１として距離画像３から抽出する。次に、抽出部２３は、近傍領域８１に含まれる画素に隣接し、かつ、閾値ｖ２以下の輝度を有する画素を距離画像３から抽出する。更に、抽出部２３は、閾値ｖ２以下の輝度を有する抽出した画素に隣接し、かつ、閾値ｖ２以下の輝度を有する画素を距離画像３から抽出する処理を繰り返し実行することで、手指候補領域８０を距離画像３から抽出する。
【００９６】
このように手指候補領域８０を距離画像３から抽出する理由は、手指５から離れた場所に存在する、輝度が閾値ｖ１より高く閾値ｖ２以下であって、かつ、手指５とは異なる異物を、手指５として距離画像３から誤抽出してしまうことを防ぐためである。
【００９７】
図７は、距離画像３から近傍領域８１及び手指候補領域８０を抽出した結果の一例を示す図である。距離画像３には手指５の他、輝度が閾値ｖ１より高く閾値ｖ２以下である異物８３が含まれている。しかし、距離画像３から近傍領域８１を抽出した近傍領域抽出結果画像３Ａ、及び距離画像３から手指候補領域８０を抽出した手指候補領域抽出結果画像３Ｂには、共に異物８３は含まれず、手指５だけが抽出されている。
【００９８】
ステップＳ４００では、分割部２４が、反射強度画像４をメモリ１０４から取得し、反射強度画像４に含まれる各画素の輝度に基づいて、反射強度画像４を複数の領域に分割する反射強度画像分割処理を実行する。
【００９９】
図８は、反射強度画像分割処理の流れの一例を示すフローチャートである。
【０１００】
まず、ステップＳ４０５では、分割部２４が、反射強度画像４の各画素にラベルを割り当てる。各画素に割り当てる各ラベルには、例えば画素が含まれる領域を示す識別子が含まれる。ステップＳ４０５では、まだ各画素が何れの領域に含まれるか不明であるため、分割部２４は、画素毎に異なる領域を示すラベルを各々の画素に割り当てる。
【０１０１】
ステップＳ４１０では、分割部２４が、同じ領域を示すラベル（以降、「同じラベル」という）が割り当てられている画素の画素数をラベル毎に算出すると共に、同じラベルが割り当てられている画素の輝度平均値をラベル毎に算出する。なお、ステップＳ４０５の直後の処理では、各々の画素に割り当てられたラベルは全て異なっているため、同じラベルが割り当てられている画素の画素数は“１”であり、同じラベルが割り当てられている画素の輝度平均値は、各々の画素の輝度となる。
【０１０２】
ステップＳ４１５では、分割部２４が、反射強度画像４の中から未選択の画素を１つ選択する。以降、ステップＳ４１５で分割部２４が選択した画素を「注目画素」という。
【０１０３】
ステップＳ４２０では、分割部２４が、注目画素と同じラベルを割り当てられている画素数が閾値ｄ４以下であるか否かを判定する。肯定判定の場合には、ステップＳ４２５に移行する。
【０１０４】
ステップＳ４２５では、分割部２４が、注目画素と隣接する隣接画素に割り当てられているラベル及び隣接画素の輝度を参照し、注目画素と隣接画像に各々割り当てられているラベルが異なり、かつ、注目画素と隣接画像の輝度差が閾値ｄ１以下か否かを判定する。肯定判定の場合にはステップＳ４３０に移行する。
【０１０５】
なお、反射強度画像４の画素は横方向及び縦方向に規則正しく碁盤目状（グリッド状）に並べられているため、注目画素と隣接する隣接画素は、例えば注目画素の上下左右、右斜め上、右斜め下、左斜め上、及び左斜め下の最大８個存在する。したがって、ステップＳ４２５では、分割部２４は、隣接画素のうち何れか１つを参照する。
【０１０６】
ステップＳ４３０では、分割部２４が、注目画素と同じラベルをステップＳ４２５で参照した隣接画素に割り当てる。分割部２４は、新たなラベルを割り当てた画素数をカウントするための変数であるラベル変更画素数に“１”を加算して、例えばメモリ１０４の予め定めた領域に記憶する。
【０１０７】
これは前述したように、例えば物体の材質の相違及び物体の向きによって赤外光の反射強度が変動することがあるが、一般的に見て、同じ物体の赤外光に対する反射強度は比較的近い値を取ることが多い。したがって、ステップＳ４２５の判定処理において、注目画素と隣接画素の輝度差が閾値ｄ１以下であれば、注目画素と隣接画素は、同じ物体に対応する同じ領域に含まれる画素である可能性が高いと判断できるためである。
【０１０８】
すなわち、分割部２４では、注目画素と隣接画素の輝度値が近い場合には、それぞれ同じ物体に対応する領域に含まれる画素であると考え、注目画素と隣接画素に同じラベルを割り当てる。この処理を繰り返すことで、ラベルに基づいて生成した領域を広げていく。
【０１０９】
一方、ステップＳ４２５の判定処理が否定判定の場合には、ステップＳ４３０の処理を実行せず、ステップＳ４４０に移行する。
【０１１０】
ステップＳ４４０では、分割部２４が、ステップＳ４１５で選択した注目画素に、他の隣接画素が存在するか否か判定する。肯定判定の場合にはステップＳ４２０に移行し、ステップＳ４２０〜Ｓ４３５の処理を繰り返すことで、輝度差が予め定めた閾値ｄ１以下である隣接する画素同士を結合し、同じ物体と考えられる領域の範囲を広げていく。
【０１１１】
なお、ステップＳ４２０の判定処理が否定判定となった場合に実行されるステップＳ４３５の処理については、後ほど説明する。
【０１１２】
ステップＳ４４０の判定処理が否定判定、すなわち、ステップＳ４１５で選択した注目画素と、注目画素の周囲にある全ての隣接画素と、の輝度差を比較して画素の結合を行った場合は、ステップＳ４４５に移行する。
【０１１３】
ステップＳ４４５では、分割部２４が、反射強度画像４に含まれる全ての画素をステップＳ４１５で選択したか否か判定し、否定判定の場合にはステップＳ４１５に移行して、未選択の他の画素を新たな注目画素として選択する。こうして、分割部２４は、反射強度画像４に含まれる全ての画素についてステップＳ４１５〜Ｓ４４５の処理を繰り返すことで、同じ物体と考えられる領域の範囲を更に広げていく。
【０１１４】
このように、同じ物体と考えられる領域の範囲を広げていった場合、同じ領域内の画素の輝度にばらつきが生じることがある。その結果、異なる物体に対応する別々の領域に含まれるべき画素を同一の領域に含まれる画素であると誤って判定し、別々の領域を誤って結合する場合が考えられる。このため、ステップＳ４２５の判定処理で、単に注目画素と隣接画素の輝度差を比較して、隣接画素が注目画素と同じ領域に含まれる画素かを判定するだけでは、画素の結合に関して誤判定を生じる可能性がある。
【０１１５】
そこで、領域の大きさ（画素数）を所定の閾値と比較する。具体的には、ステップＳ４２０の判定処理で領域内の画素数を閾値ｄ４と比較し、画素数が閾値ｄ４を超えた場合（すなわち、否定判定の場合）はステップＳ４３５に進み、分割部２４において画素間の結合の判定について新たな条件を追加する。
【０１１６】
ステップＳ４３５において、分割部２４は、注目画素と同じラベルが割り当てられた各画素の輝度平均値と、隣接画素と同じラベルが割り当てられた各画素の輝度平均値と、を算出し、これらの輝度平均値差が閾値ｄ２以下か否かを判定する。これは、注目画素を含む領域内、及び隣接画素を含む領域内のそれぞれで輝度のばらつきがあったとしても、各々の領域内における輝度平均値が閾値ｄ２以下であれば、各々の領域は同じ物体を表している可能性が高いと考えられるからである。したがって、肯定判定の場合にはステップＳ４２５に移行して、分割部２４は、更に画素間の輝度差を判定した上で、ステップＳ４３０で各々の画素に同じラベルを割り当てて領域を結合する。
【０１１７】
一方、ステップＳ４３５の判定処理が否定判定の場合には、注目画素を含む領域、及び隣接画素を含む領域は異なる物体の領域を表していると考えられるため、注目画素と隣接画素とを結合させることなく、ステップＳ４４０に移行する。
【０１１８】
そして、ステップＳ４４５の判定処理が肯定判定の場合には、ステップＳ４５０に移行する。
【０１１９】
ステップＳ４５０では、分割部２４が、反射強度画像４に含まれる全ての画素に対する結合した画素の割合に基づいて、反射強度画像４の分割を終了するか否かを判定する。具体的には、分割部２４は、ステップＳ４３０で記憶した、新たなラベルに変更したラベル変更画素数をメモリ１０４から取得し、反射強度画像４に含まれる全ての画素数に対するラベル変更画素数の割合が閾値ｄ３以下であるか否かを判定する。
【０１２０】
否定判定の場合にはステップＳ４１０に移行し、分割部２４は、ステップＳ４１０〜Ｓ４５０の処理を繰り返すことで、反射強度画像４の分割を更に実行する。分割当初はラベルが変更される画素が多いが、分割が進むにつれて、ラベルが変更される画素が減少していく傾向にある。したがって、ラベルが更新された画素の割合が所定の割合より多い場合には、まだ分割途中であると考えられるため、ステップＳ４５０が否定判定の場合に反射強度画像４の分割を更に行う。すなわち、ラベルが更新された画素の割合が閾値ｄ３より多い場合には、更に反射強度画像４の分割を継続した方が、検出対象である手指５等の物体に近似した領域を得ることができる。
【０１２１】
なお、ステップＳ４５０が否定判定のためステップＳ４１０に移行した場合、分割部２４は、ラベル変更画素数を“０”に初期化してから、ステップＳ４１０〜Ｓ４５０の処理を繰り返す。
【０１２２】
一方、ステップＳ４５０の判定処理が肯定判定の場合には、反射強度画像分割処理を終了する。
【０１２３】
以上により図５に示すステップＳ４００の反射強度画像分割処理が終了し、反射強度画像４が画像の輝度に基づいて複数の領域に分割される。
【０１２４】
図９は、ステップＳ４００の反射強度画像分割処理によって反射強度画像４が複数の領域に分割され、分割画像６が生成される状況を示した図である。なお、画像４１は、反射強度画像分割処理前の反射強度画像４の指先９２部分を拡大した図であり、反射強度画像分割処理が進むに従い、画像４２→画像４３→画像４４→画像４５の順に指先９２の分割状況が変化することがわかる。
【０１２５】
図５のステップＳ５００では、統合部２５が、ステップＳ４００の反射強度画像分割処理で得られた複数の領域の中から、領域の輪郭線がステップＳ３００で距離画像３から抽出された手指候補領域８０の輪郭線と類似する領域を選択する。なお、反射強度画像分割処理の結果、反射強度画像４から得られた複数の領域を含む画像を分割画像６といい、分割画像６の複数の領域のうち、手指候補領域８０の輪郭線と類似する領域を抽出領域という。
【０１２６】
そして、統合部２５は、手指候補領域８０と抽出領域とを統合した領域を、手指５を表す領域とする画像統合処理を実行する。以下、ステップＳ５００における画像統合処理の詳細について説明する。
【０１２７】
図１０は、画像統合処理の流れの一例を示すフローチャートである。
【０１２８】
まず、ステップＳ５０５では、統合部２５が、ステップＳ４００で取得した分割画像６の複数の領域の中から、ステップＳ３００で抽出した手指候補領域８０と重複する画素数が最も多い領域（抽出候補領域７）を選択する。
【０１２９】
ステップＳ５１０では、統合部２５が、ステップＳ５０５で選択した抽出候補領域７の画素数に対する、手指候補領域８０との重複部分の画素数の割合が閾値ｃ１以上であるか否かを判定する。閾値ｃ１は、抽出候補領域７が手指５を表す領域であるかを、手指候補領域８０との重複部分の画素数の割合から判定するための値として、コンピュータシミュレーション等によって予め定められた値であり、例えばメモリ１０４の予め定めた領域に記憶されている。
【０１３０】
ステップＳ５１０が肯定判定の場合には、抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値ｃ１以上であることを示している。したがって、統合部２５は、ステップＳ５０５で選択した抽出候補領域７は手指５を表す領域の候補であると判定し、ステップＳ５１５に移行する。
【０１３１】
一方、否定判定の場合には、抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値ｃ１未満であることから、ステップＳ５０５で選択した抽出候補領域７は、手指５を表す領域としては手指候補領域８０との重複部分の割合が少ないと考えられる。したがって、統合部２５は、ステップＳ５０５で選択した抽出候補領域７は手指５を表す領域ではないと判定し、図１０に示す画像統合処理を終了する。
【０１３２】
このようにステップＳ５１０で否定判定となる原因としては、例えば赤外光の照射ムラ等の理由により、反射強度画像４から手指５を表す領域が精度良く分割されず、図１１に示すように、抽出候補領域７が手指５以外の他の領域と誤って結合したことが考えられる。したがって、この場合には、例えば手指５を照らす光源の数または位置等を調整し、図５に示した物体検出処理を再度実行すればよい。
【０１３３】
ステップＳ５１５では、統合部２５が、手指候補領域８０の画素数に対する抽出候補領域７の画素数の割合が閾値ｃ２以上であるか否かを判定する。閾値ｃ２は、抽出候補領域７が手指５を表す領域であるかを、手指候補領域８０と重複する画素数の割合から判定するための値として、コンピュータシミュレーション等によって予め定められた値であり、例えばメモリ１０４の予め定めた領域に記憶されている。
【０１３４】
ステップＳ５１５が肯定判定の場合には、手指候補領域８０に占める抽出候補領域７の割合が閾値ｃ２以上であることから、統合部２５は、ステップＳ５０５で選択した抽出候補領域７は手指５を表す領域の候補であると判定し、ステップＳ５２０に移行する。
【０１３５】
一方、否定判定の場合には、手指候補領域８０に占める抽出候補領域７の割合が閾値ｃ２未満であることから、ステップＳ５０５で選択した抽出候補領域７は手指５を表す領域としては手指候補領域８０との重複部分の割合が少ないと考えられる。したがって、統合部２５は、ステップＳ５０５で選択した抽出候補領域７は手指５を表す領域ではないと判定し、図１０に示す画像統合処理を終了する。
【０１３６】
このようにステップＳ５１５で否定判定となる原因としては、図１２に示すように、例えば抽出候補領域７が手指候補領域８０の大きさに比べて過剰に分割され、小さくなってしまったためと考えられる。なお、この場合もステップＳ５１０が否定判定であった場合と同じように、例えば手指５を照らす光源の数または位置等を調整し、図５に示した物体検出処理を再度実行すればよい。
【０１３７】
ステップＳ５２０では、統合部２５が、手指候補領域８０及び抽出候補領域７の輪郭線をそれぞれ抽出する。なお、輪郭線の抽出には、例えばガウシアンフィルタを用いて輪郭を強調することで輪郭線を抽出するCanny法等、公知の抽出方法を用いることができる。
【０１３８】
ステップＳ５２５では、統合部２５が、手指候補領域８０の輪郭線から、抽出候補領域７の輪郭線と類似度を比較しない比較対象外の部分（除外輪郭線）を抽出する。
【０１３９】
具体的には、統合部２５は、ステップＳ５２０で抽出した手指候補領域８０の輪郭線に含まれる各画素と、手指候補領域８０の輪郭線に含まれる各画素に隣接する隣接画素で、かつ、手指候補領域８０の領域外にある画素と、の輝度差を算出する。そして、統合部２５は、手指候補領域８０の輪郭線に含まれる各画素のうち、当該輝度差が所定の値より小さい画素を抽出する。
【０１４０】
なお、手指候補領域８０の輪郭線に含まれる画素に複数の隣接画素が存在する場合、例えば各々の隣接画素との輝度差の平均値と、輝度差に関する所定の値と、を比較しても良い。或いは、各々の隣接画素との輝度差のうち最も大きい輝度差と、輝度差に関する所定の値と、を比較しても良い。
【０１４１】
更に、統合部２５は、輝度差が所定の値より小さい画素が所定の数以上連続する部分を除外輪郭線として手指候補領域８０の輪郭線から抽出すると共に、距離画像３における除外輪郭線の各々の端点の座標を取得する。
【０１４２】
既に説明したように、距離画像３では、タッチ操作対象物９８と指先９２の距離が近いため、ステップＳ５２０で指先９２の輪郭線が距離画像３から抽出されない場合が多い。すなわち、ステップＳ５２０で抽出された手指候補領域８０の輪郭線は、本来の物体の輪郭線ではない場合が多い。手指候補領域８０の輪郭線に含まれる画素との輝度差が所定の値より小さい隣接画素は、手指候補領域８０と同じ物体（この場合、指先９２）を表している可能性が高いと考えられる。したがって、画素間の輝度差に関して上記条件を満たす手指候補領域８０の輪郭線を除外輪郭線として手指候補領域８０の輪郭線から抽出することで、本来の物体の輪郭線とは異なる輪郭線の部分を取得することができる。
【０１４３】
図１３は、手指候補領域８０の輪郭線について説明する図である。例えば、図１３（Ａ）に示す手指候補領域８０が距離画像３から抽出された場合、ステップＳ５２５によって、図１３（Ｂ）に示すように手指候補領域８０の輪郭線上に除外輪郭線５０が設定される。また、手指候補領域８０の輪郭線上に除外輪郭線５０の端点５０Ａ、５０Ｂが配置される。
【０１４４】
ステップＳ５３０では、統合部２５が、ステップＳ５２５で手指候補領域８０の輪郭線から抽出した端点５０Ａ、５０Ｂに対応する抽出候補領域７の輪郭線上の位置を取得する。具体的には、統合部２５は、ステップＳ５２０で抽出した抽出候補領域７の輪郭線に含まれる各画素の中から、ステップＳ５２５で取得した除外輪郭線５０の各々の端点５０Ａ、５０Ｂの座標に最も近い画素である最近傍画素の座標を各々取得する。取得した各々の最近傍画素の座標は、手指候補領域８０の端点５０Ａ、５０Ｂに対応した端点を表す。
【０１４５】
図１４は、抽出候補領域７の輪郭線について説明する図である。例えば、図１４（Ａ）に示す抽出候補領域７が反射強度画像４から選択された場合、図１４（Ｂ）に示すように、ステップＳ５３０によって抽出候補領域７の輪郭線上に、手指候補領域８０の端点５０Ａ、５０Ｂにそれぞれ対応した端点５２Ａ、５２Ｂが設定される。
【０１４６】
ステップＳ５３５では、統合部２５が、手指候補領域８０の輪郭線と距離画像３の枠線との交点の座標を、枠線と交差する手指候補領域８０の輪郭線の端点として取得する。
【０１４７】
例えば、図１３（Ｂ）において、枠線と交差する手指候補領域８０の輪郭線の端点は５１Ａ、５１Ｂで表される。なお、手指候補領域８０の輪郭線のうち、距離画像３の枠線と重複する輪郭線を枠輪郭線５１という。枠輪郭線５１は、距離画像３の画角によって生成された輪郭線であるため、除外輪郭線５０と同様に、本来の物体の輪郭線とは異なる輪郭線を示している。また、手指候補領域８０の輪郭線のうち、除外輪郭線５０及び枠輪郭線５１以外の他の輪郭線を比較輪郭線８という。手指候補領域８０の比較輪郭線８は、本来の物体の輪郭線を示していると考えられる。
【０１４８】
更に、統合部２５は、抽出候補領域７の輪郭線と反射強度画像４の枠線との交点の座標を、枠線と交差する抽出候補領域７の輪郭線の端点として取得する。
【０１４９】
例えば、図１４（Ｂ）において、反射強度画像４の枠線と交差する抽出候補領域７の輪郭線の端点は５３Ａ、５３Ｂで表される。なお、抽出候補領域７の輪郭線のうち、反射強度画像４の枠線と重複する輪郭線を枠輪郭線５３という。枠輪郭線５３は、反射強度画像４の画角によって生成された輪郭線であるため、本来の物体の輪郭線とは異なる輪郭線を示している。また、抽出候補領域７の輪郭線のうち、端点５２Ａと端点５３Ａの間の輪郭線、及び端点５２Ｂと端点５３Ｂの間の輪郭線を比較輪郭線９という。抽出候補領域７の比較輪郭線９は、本来の物体の輪郭線を示していると考えられる。
【０１５０】
ステップＳ５４０では、統合部２５が、手指候補領域８０における比較輪郭線８の形状特徴と、抽出候補領域７における比較輪郭線９の形状特徴と、を取得し、各々の比較輪郭線８、９の形状特徴の差異を算出する。比較輪郭線８、９の形状特徴は、例えば、比較輪郭線８、９に含まれる各々の画素を積分することで算出される輪郭モーメントによって数値化される。輪郭モーメントの算出方法には公知の方法を用いることができるが、例えば輪郭線の相似、並進、回転に不変な性質を有するＨｕ不変モーメントを用いれば良い。
【０１５１】
したがって、統合部２５は、手指候補領域８０における比較輪郭線８のＨｕ不変モーメントの値と、抽出候補領域７における比較輪郭線９のＨｕ不変モーメントの値と、の差分を算出する。なお、Ｈｕ不変モーメントの差分が小さい程、比較輪郭線８、９の形状特徴が類似している。
【０１５２】
ステップＳ５４５では、統合部２５が、ステップＳ５４０で算出した比較輪郭線８、９のＨｕ不変モーメントの差分が閾値ｃ０以下であるか否かを判定する。閾値ｃ０は、比較輪郭線８、９の形状特徴が互いに類似しているかを判定するための値として、コンピュータシミュレーション等によって予め定められた値であり、例えばメモリ１０４の予め定めた領域に記憶されている。
【０１５３】
ステップＳ５４５の判定処理が肯定判定の場合には、手指候補領域８０における比較輪郭線８の形状特徴と、抽出候補領域７における比較輪郭線９の形状特徴と、が類似しているとみなすことができる。すなわち、図５のステップＳ４００での反射強度画像分割処理で、手指５に対応する領域が反射強度画像４から正しく分割されたことになる。したがって、統合部２５は、手指候補領域８０と抽出候補領域７とは同じ手指５を表していると判定し、ステップＳ５５０に移行する。なお、ステップＳ５４５の判定処理が肯定判定の場合となる抽出候補領域７が抽出領域となる。
【０１５４】
ステップＳ５５０では、統合部２５が、ステップＳ３００で距離画像３から抽出された手指候補領域８０と、ステップＳ５０５で反射強度画像４から選択した抽出領域を統合して、ユーザの手指領域を確定する。ここで、手指候補領域８０と抽出領域を統合するとは、手指候補領域８０に含まれる画素の位置と、抽出領域に含まれる画素の位置に関して各々論理和をとり、手指候補領域８０と抽出領域を重ね合わせて１つの手指領域とすることをいう。
【０１５５】
統合部２５は、確定した手指領域を示す座標を表示装置３０に出力して、ユーザの手指５の位置及び形状を表示装置３０に表示させる。
【０１５６】
一方、ステップＳ５４５の判定処理が否定判定の場合には、統合部２５は、図５のステップＳ４００での反射強度画像分割処理で、手指５に対応する領域が反射強度画像４から正しく分割されなかったとみなす。したがって、統合部２５は、手指候補領域８０と抽出候補領域７とは異なる物体を表していると判定し、手指候補領域８０と抽出候補領域７を統合することなく、図１０に示す画像統合処理を終了する。
【０１５７】
また、図１０に示す画像統合処理の終了に伴い、図５に示す物体検出処理を終了する。
【０１５８】
図１５は、図１０に示した画像統合処理によって統合された手指領域８４の一例を示す図である。図１５に示すように、手指領域８４は、手指候補領域８０と抽出領域とを統合した領域として表される。
【０１５９】
このように第１実施形態に係る物体検出装置２０によれば、反射強度画像４を複数の領域に分割し、分割した領域の中から、輪郭線に基づいて距離画像３から抽出した手指候補領域８０と類似する抽出領域を取得する。そして、物体検出装置２０は、手指候補領域８０と抽出領域とを統合し、撮影装置１０の画像上における物体の位置及び形状を特定する。
【０１６０】
したがって、各領域の輪郭線の類似度を判定することなく、単に手指候補領域８０と重複する反射強度画像４の抽出候補領域７と手指候補領域８０とを統合する場合に比べて、撮影装置１０の画像から物体の大きさ、位置、及び形状を精度良く抽出することができる。
【０１６１】
また、第１実施形態に係る物体検出装置２０によれば、各領域の輪郭線の類似度を判定する際、手指候補領域８０及び抽出候補領域７の各々の輪郭線のうち、比較輪郭線８、９を用いて手指候補領域８０及び抽出候補領域７の類似度を判定する。
【０１６２】
したがって、手指候補領域８０及び抽出候補領域７を囲む全ての輪郭線を用いて、手指候補領域８０及び抽出候補領域７の類似度を判定する場合に比べて、撮影装置１０の画像から物体の大きさ、位置、及び形状を更に精度良く抽出することができる。
【０１６３】
なお、物体検出システム１において撮影装置１０は必ずしも必要ではない。例えば、取得部２１は、予め撮影され、コンピュータ等の電子機器に記憶されている距離画像３及び反射強度画像４を、インターネット等のネットワークを経由して当該電子機器から取得しても良い。
【０１６４】
（第２実施形態）
既に説明したように、距離センサから照射する赤外光が点光源の場合には、光源から対象物までの距離や角度によって、対象物体上に同心円状の照射ムラが発生する。その結果、対象物からの反射光の強度が弱くなり反射強度画像４における輝度が低下するため、別々の物体に対応する複数の領域を精度良く分割できない場合がある。
【０１６５】
例えば、赤外光の照射ムラが大きくなるにつれて、図１６に示すように、反射強度画像４の中央部５４と周辺部５５との間で輝度に差異が生じることがある。
【０１６６】
ユーザは、タッチ操作を行う場合、タッチ操作対象物９８を視野の中央に合わせるように頭部や身体の姿勢を調整する傾向がある。このため、頭部等に装着した撮影装置１０から照射する赤外光は視野の中央、すなわち反射強度画像４の中央部５４で最も強くなり、視野の周辺に広がるにつれて弱まるためである。
【０１６７】
反射強度画像４の中央部５４は赤外光の照射強度が強いため、反射光の強度および輝度も高くなり、それに伴いタッチ操作対象物９８と手指５の反射強度の差異も大きくなる。
【０１６８】
例えば、図１６の例では、反射強度画像４の中央部５４は周辺部５５に比べて反射光の強度が大きいため、中央部５４では周辺部５５に比べてタッチ操作対象物９８と手指５の反射光の強度の差異が大きくなる。したがって、中央部５４のように、反射強度画像４の反射光の強度が所定値以上の範囲では、周辺部５５に比べて反射強度画像４のタッチ操作対象物９８に対応する領域から検出対象である手指５に対応する領域が抽出しやすくなる。その結果、図１６に示すように、反射強度画像４の分割結果である分割画像６において、手背部９３より指先９２に対応する領域の方が精度良く抽出できる。
【０１６９】
そこで、以降では、上記の知見に基づき、反射強度画像４の反射強度が所定値以上の領域に対して反射強度画像４の分割処理を実行することで、手指５に対応した抽出領域を精度良く反射強度画像４から抽出する物体検出装置について説明する。
【０１７０】
第２実施形態に係る物体検出システム２の構成例は、第１実施形態に係る物体検出システム１の構成例を示した図３と同様である。ただし、第１実施形態とは反射強度画像４の分割処理が異なるため、分割部２４が分割部２４Ａに、また、統合部２５が統合部２５Ａにそれぞれ置き換えられる。更に、当該置き換えに伴い、物体検出装置２０も物体検出装置２０Ａに置き換えられる。
【０１７１】
分割部２４Ａは、取得部２１及び統合部２５Ａと接続され、反射強度画像４を取得部２１から取得する。そして、分割部２４Ａは、反射強度画像４の反射強度が所定値以上の範囲に対して、隣接する画素の輝度差に基づく予め定めた分割アルゴリズムを実行することで、取得した反射強度画像４を複数の領域に分割する。
【０１７２】
なお、分割部２４Ａは、反射強度画像４から選択された抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値より小さいとの指示を統合部２５Ａから受け付けた場合、反射強度画像４の分割対象範囲を縮小し、分割アルゴリズムを再度実行する。
【０１７３】
そして、分割部２４Ａは、分割した複数の領域に関する情報を統合部２５Ａに出力する。
【０１７４】
統合部２５Ａは、抽出部２３、分割部２４Ａ、及び表示装置３０と接続され、距離画像３における手指候補領域８０に関する情報を抽出部２３から取得し、かつ、分割された反射強度画像４の複数の領域に関する情報を分割部２４Ａから取得する。
【０１７５】
そして、統合部２５Ａは、反射強度画像４の複数の領域の中から、輪郭線が手指候補領域８０と最も類似する抽出領域を選択し、手指候補領域８０と抽出領域とを統合することで、ユーザの手指領域８４を確定する。
【０１７６】
この際、統合部２５Ａは、反射強度画像４の複数の領域の中から選択した抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値より小さい場合、反射強度画像４の分割対象範囲を縮小するよう分割部２４Ａに指示を出力する。
【０１７７】
そして、統合部２５Ａは、確定したユーザの手指領域８４に関する情報を表示装置３０に出力する。
【０１７８】
第２実施形態に係る物体検出装置２０Ａをコンピュータで実現する場合の構成例は、第１実施形態に係る物体検出装置２０をコンピュータで実現する場合の構成例を示した図４と同様である。ただし、第１実施形態とは反射強度画像４の分割処理が異なるため、分割プロセス１２８が分割プロセス１２８Ａに置き換えられると共に、統合プロセス１３０が統合プロセス１３０Ａに置き換えられる。また、プロセスの置き換えに伴い、物体検出プログラム１２０が物体検出プログラム１２０Ａに置き換えられると共に、コンピュータ１００がコンピュータ１００Ａに置き換えられる。
【０１７９】
記憶部１０６には、コンピュータ１００Ａを図３に示す物体検出装置２０Ａとして機能させるための物体検出プログラム１２０Ａが記憶される。記憶部１０６に記憶される物体検出プログラム１２０Ａは、取得プロセス１２２、手指候補領域輝度設定プロセス１２４、手指候補領域抽出プロセス１２６、分割プロセス１２８Ａ、及び統合プロセス１３０Ａを含む。
【０１８０】
ＣＰＵ１０２は、物体検出プログラム１２０Ａを記憶部１０６から読み出してメモリ１０４に展開し、物体検出プログラム１２０Ａに含まれる各プロセスを実行することで、コンピュータ１００Ａが図３に示す物体検出装置２０Ａとして動作する。
【０１８１】
また、ＣＰＵ１０２が分割プロセス１２８Ａを実行することで、コンピュータ１００Ａが図３に示す分割部２４Ａとして動作する。また、ＣＰＵ１０２が統合プロセス１３０Ａを実行することで、コンピュータ１００Ａが図３に示す統合部２５Ａとして動作する。
【０１８２】
なお、記憶部１０６は、ＨＤＤ又はフラッシュメモリ等によって実現できる。また、コンピュータ１００Ａは、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。
【０１８３】
次に、第２実施形態に係る物体検出装置２０Ａの作用について説明する。第２実施形態に係る物体検出装置２０Ａは、例えば、距離画像３及び反射強度画像４の撮影通知を撮影装置１０から取得した場合に、物体検出処理を実行する。
【０１８４】
図１７は、第２実施形態に係る物体検出処理の流れの一例を示すフローチャートである。図１７に示す物体検出処理のフローチャートが図５に示す第１実施形態に係る物体検出処理のフローチャートと異なる点は、ステップＳ３５０、Ｓ６００、及びＳ７００の処理が追加された点である。また、ステップＳ５００がステップＳ５０１に置き換えられている。その他の処理は、図５に示す第１実施形態に係る物体検出処理の各処理と同じであるので説明を省略する。
【０１８５】
ステップＳ３５０では、分割部２４Ａが、反射強度画像４をメモリ１０４から取得し、反射強度画像４に含まれる各画素の輝度に基づいて、ステップＳ４００での反射強度画像分割処理による反射強度画像４の分割対象範囲を設定する。そのため、まず分割部２４Ａは、反射強度画像４に対して平滑化処理を実行して平滑化画像を生成する。反射強度画像４を平滑化することで、反射強度画像４に含まれるノイズ成分を除去し、分割対象範囲に含まれるべき画素が欠落し領域の分割が失敗することを回避するためである。
【０１８６】
図１８は、反射強度画像４の分割対象範囲の設定方法を説明する図である。図１８に示すように、分割部２４Ａは、横軸を輝度、縦軸を画素数として、反射強度画像４を平滑化した平滑化画像に含まれる各画素の輝度ヒストグラム８５を生成する。第２実施形態に係る分割部２４Ａは輝度ヒストグラム８５を生成する際、一例として、各画素の輝度を８ビット、すなわち０から２５５に正規化しているが、８ビットより少ないビット数、又は８ビットより多いビット数で輝度を正規化しても良い。
【０１８７】
そして、分割部２４Ａは、例えば輝度が閾値ｉｒ０以上の画素で形成される領域を、反射強度画像４の分割対象範囲として設定する。
【０１８８】
なお、閾値ｉｒ０は、例えば手指５に対応した抽出候補領域７を精度良く反射強度画像４から抽出することができる値として、コンピュータシミュレーション等により予め求められた値であり、例えばメモリ１０４の予め定めた領域に予め記憶しておけば良い。
【０１８９】
図１９は、反射強度画像４の分割対象範囲の設定の流れの一例を示す図である。分割部２４Ａによって反射強度画像４から平滑化画像１１が生成され、更に、平滑化画像１１の輝度ヒストグラム８５から分割対象範囲１２が設定される。
【０１９０】
そして、ステップＳ４００では、分割部２４Ａが、既に説明した反射強度画像分割処理を実行して、ステップＳ３５０で設定した反射強度画像４の分割対象範囲１２内を複数の領域に分割する。
【０１９１】
ステップＳ５０１では、統合部２５Ａが、ステップＳ４００の反射強度画像分割処理で得られた複数の領域の中から、領域の輪郭線がステップＳ３００で距離画像３から抽出された手指候補領域８０の輪郭線と類似する領域、すなわち抽出領域を選択する。
【０１９２】
そして、統合部２５Ａは、手指候補領域８０と抽出領域とを統合し、ユーザの手指領域８４を確定する。
【０１９３】
図２０は、ステップＳ５０１における画像統合処理の流れの一例を示すフローチャートである。ステップＳ５０１の画像統合処理のフローチャートが図１０に示した第１実施形態に係る画像統合処理のフローチャートと異なる点は、ステップＳ５５５が追加されると共に、ステップＳ５３５がステップＳ５３６に置き換えられた点である。なお、ステップＳ５０１を実行する毎に、後ほど説明する分割対象範囲縮小フラグはオフに初期化される。
【０１９４】
ステップＳ５１０の判定処理が否定判定の場合、すなわち、ステップＳ５０５で選択された抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値ｃ１未満である場合には、ステップＳ５５５に移行する。
【０１９５】
この場合、図２１に示すように、図１７のステップＳ３５０で設定した分割対象範囲１２が広すぎて、抽出候補領域７が手指５以外の他の領域と誤って結合し、抽出候補領域７の大きさが分割対象範囲１２内の手指候補領域８０より大きくなったと考えられる。
【０１９６】
したがって、ステップＳ５５５では、統合部２５Ａが、例えばメモリ１０４の予め定めた領域に予め記憶されている分割対象範囲縮小フラグをオンに設定する。分割対象範囲縮小フラグは、反射強度画像４の分割対象範囲１２を更に縮小するか否かを表す識別子であり、統合部２５Ａは、分割対象範囲縮小フラグをオンに設定することで、分割対象範囲１２の縮小を分割部２４Ａに指示する。そして、図２０に示す画像統合処理を終了する。
【０１９７】
一方、ステップＳ５１０の判定処理が肯定判定の場合には、統合部２５Ａは、既に第１実施形態で説明したステップＳ５１５〜Ｓ５３０の処理を実行する。そして、統合部２５Ａは、手指候補領域８０の除外輪郭線５０及び除外輪郭線５０の端点５０Ａ、５０Ｂ、並びに、手指候補領域８０の端点５０Ａ、５０Ｂに対応した抽出候補領域７の端点５２Ａ、５２Ｂを取得する。
【０１９８】
ステップＳ５３６では、統合部２５Ａが、図１７のステップＳ３５０で設定した反射強度画像４の分割対象範囲１２を距離画像３上に重ね合わせる。そして、統合部２５Ａは、距離画像３の手指候補領域８０の輪郭線と、距離画像３上に重ね合わせた反射強度画像４の分割対象範囲１２と、の交点の座標を、分割対象範囲１２と交差する手指候補領域８０の輪郭線の端点として取得する。
【０１９９】
図２２は、分割対象範囲１２と交差する手指候補領域８０の輪郭線の端点の一例を示す図である。例えば、図２２（Ａ）に示すように、距離画像３上に分割対象範囲１２が重ね合わされた場合、図２２（Ｂ）に示すように、分割対象範囲１２と交差する手指候補領域８０の輪郭線の端点は５６Ａ、５６Ｂに設定される。なお、端点５６Ａと端点５６Ｂとを接続する線を手指候補領域８０における分割輪郭線５６という。
【０２００】
分割輪郭線５６は、分割対象範囲１２によって生成される輪郭線であるため、除外輪郭線５０と同様に、本来の物体の輪郭線とは異なる輪郭線を示している。したがって、分割対象範囲１２に含まれる手指候補領域８０の輪郭線のうち、除外輪郭線５０及び分割輪郭線５６以外の他の輪郭線が比較輪郭線８となる。
【０２０１】
更に、統合部２５Ａは、反射強度画像４の抽出候補領域７の輪郭線と分割対象範囲１２との交点の座標を、分割対象範囲１２と交差する抽出候補領域７の輪郭線の端点として取得する。
【０２０２】
図２３は、分割対象範囲１２と交差する抽出候補領域７の輪郭線の端点の一例を示す図である。例えば、図２３（Ａ）に示すように分割対象範囲１２が設定された反射強度画像４から抽出候補領域７が選択された場合、図２３（Ｂ）に示すように、分割対象範囲１２と交差する抽出候補領域７の輪郭線の端点は５７Ａ、５７Ｂに設定される。なお、端点５７Ａと端点５７Ｂとを接続する線を抽出候補領域７における分割輪郭線５７という。
【０２０３】
分割輪郭線５７は、手指候補領域８０における分割輪郭線５６と同様に、分割対象範囲１２によって生成される輪郭線であるため、本来の物体の輪郭線とは異なる輪郭線を示している。したがって、抽出候補領域７の輪郭線のうち、端点５２Ａと端点５７Ａの間の輪郭線、及び端点５２Ｂと端点５７Ｂの間の輪郭線が抽出候補領域７における比較輪郭線９となる。
【０２０４】
以降、統合部２５Ａは、既に第１実施形態で説明したステップＳ５４０〜Ｓ５５０の処理を実行する。当該処理により、統合部２５Ａは、ステップＳ５３６で取得した手指候補領域８０における比較輪郭線８の形状特徴と、抽出候補領域７における比較輪郭線９の形状特徴と、に基づいて、抽出候補領域７が手指候補領域８０に類似しているか判定する。そして、統合部２５Ａは、抽出候補領域７が手指候補領域８０に類似している場合、当該抽出候補領域７を抽出領域として手指候補領域８０と統合してユーザの手指領域８４を確定し、図２０に示す画像統合処理を終了する。
【０２０５】
なお、一例として、図２０のステップＳ５１０及びステップＳ５１５では、それぞれ、第１実施形態に係る図１０のステップＳ５１０及びステップＳ５１５と同じ閾値ｃ１、閾値ｃ２を用いている。しかし、第１実施形態とは反射強度画像４の分割対象範囲１２が異なることから、それぞれの閾値の値を変えるようにしても良い。
【０２０６】
こうして、図１７におけるステップＳ５０１の画像統合処理が終了した後、ステップＳ６００では、統合部２５Ａが、分割対象範囲縮小フラグがオンに設定されているか否かを判定する。否定判定の場合には、ステップＳ３５０で反射強度画像４の分割対象範囲１２が適切に設定されたとみなされるため、図１７に示す物体検出処理を終了する。
【０２０７】
なお、ステップＳ５０１の画像統合処理で、手指候補領域８０と抽出領域とが統合されず、ユーザの手指領域８４が確定しなかった場合、分割画像６の分割条件を修正して、ステップＳ４００の反射強度画像分割処理を再度実行しても良い。
【０２０８】
例えば、図２０のステップＳ５１５の判定処理が否定判定となったことでユーザの手指領域８４が確定しなかった場合、分割画像６上で、手指５に対応する領域が複数の領域に細かく分割されてしまったことが原因の１つとして考えられる。したがって、例えば、図１７のステップＳ４００における反射強度画像分割処理で隣接画素との結合条件を決定する閾値ｄ１を大きくする等して、反射強度画像分割処理を再度実行しても良い。
【０２０９】
一方、ステップＳ６００の判定処理が肯定判定の場合には、ステップＳ７００に移行する。
【０２１０】
ステップＳ７００では、分割部２４Ａが、ステップＳ３５０で反射強度画像４の分割対象範囲１２を設定する際に用いた輝度に関する閾値を上げる。例えば、図１８に示すように、当初の分割対象範囲１２を設定する際に用いた閾値がｉｒ０であれば、分割部２４Ａは、閾値ｉｒ０に対して閾値をｉｒほど上げたｉｒ１を新たな分割対象範囲１２の閾値とする。このように分割対象範囲１２を設定する際に用いる閾値を更新した後、ステップＳ３５０に移行する。
【０２１１】
ステップＳ３５０では、分割部２４Ａが、ステップＳ７００で更新された閾値（例えば閾値ｉｒ１）以上の輝度を有する画素で形成される領域を、反射強度画像４の分割対象範囲１２として設定する。
【０２１２】
図２４は、閾値をｉｒ１に上昇した場合の反射強度画像４の分割対象範囲１２の例を示す図である。閾値をｉｒ１に上昇した場合、閾値ｉｒ１より低い閾値ｉｒ０を用いた場合の分割対象範囲１２（図２１参照）より、分割対象範囲１２が狭くなる。したがって、閾値更新前に比べて、手指５に対応する領域が他の領域と誤って結合する可能性が低くなることから、ステップＳ４００において、分割部２４Ａは、手指５の形状に近づくように反射強度画像４を分割することができる。
【０２１３】
以上により、図１７に示す画像統合処理を終了する。
【０２１４】
図２５は、図１７に示した画像統合処理によって統合された手指領域８４の一例を示す図である。図２５に示すように、手指領域８４は、距離画像３の手指候補領域８０と、反射強度画像４を分割した分割画像６の抽出領域と、を統合した領域として表される。
【０２１５】
このように第２実施形態に係る物体検出装置２０Ａによれば、反射強度画像４の反射強度が所定値以上の領域に対して反射強度画像分割処理を実行する。したがって、物体検出装置２０Ａは、例えば検出対象である物体に光源の照射ムラがある場合であっても、撮影装置１０で撮影した画像から物体の大きさ、位置、及び形状を精度良く抽出することができる。
【０２１６】
また、第２実施形態に係る物体検出装置２０Ａによれば、反射強度画像４から選択した抽出候補領域７に占める手指候補領域８０との重複部分の割合が閾値より小さい場合、反射強度画像４の分割対象範囲１２を縮小して、抽出候補領域７を選択し直す。
【０２１７】
したがって、例えば検出対象である物体に光源の照射ムラがある場合であっても、物体検出装置２０Ａは、実際の手指５の大きさ、位置、及び形状に近い抽出領域を反射強度画像４から抽出することができる。
【０２１８】
以上、各実施形態を用いて開示の技術を説明したが、開示の技術は各実施形態に記載の範囲には限定されない。開示の技術の要旨を逸脱しない範囲で各実施形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も開示の技術の技術的範囲に含まれる。例えば、開示の技術の要旨を逸脱しない範囲で処理の順序を変更してもよい。
【０２１９】
また、各実施形態では、物体検出プログラム１２０、１２０Ａが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る物体検出プログラムは、コンピュータ読取可能な記録媒体１１６に記録されている形態で提供することも可能である。例えば、開示の技術に係る物体検出プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、及びＵＳＢメモリ等の可搬型記録媒体に記録されている形態で提供することも可能である。また、開示の技術に係る物体検出プログラムは、フラッシュメモリ等の半導体メモリ等に記録されている形態で提供することも可能である。
【０２２０】
なお、各実施形態では手指５を例にして、画像から手指５の大きさ、位置、及び形状を精度良く抽出することができる物体検出装置について説明した。
【０２２１】
しかし、開示の技術に係る物体検出装置は、手指５以外の物体であっても画像から物体の大きさ、位置、及び形状を精度良く抽出できることは言うまでもない。
【０２２２】
以上の各実施形態を含む実施形態に関し、更に以下の付記を開示する。
【０２２３】
（付記１）
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出する抽出部と、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割する分割部と、
前記複数の領域のうち、領域の輪郭線の形状が前記抽出部により抽出された前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする統合部と、
を含む物体検出装置。
【０２２４】
（付記２）
前記統合部は、前記複数の領域のうち、前記手指候補領域と重複する割合が予め定めた割合以上で、かつ、前記手指候補領域の輪郭線の形状の特徴量と、前記手指候補領域の輪郭線に対応した輪郭線の形状の特徴量と、の差分が閾値以下である領域を、前記抽出領域とする
付記１記載の物体検出装置。
【０２２５】
（付記３）
前記統合部は、前記手指候補領域の輪郭線の形状の特徴量を、前記手指候補領域の輪郭線に含まれる各々の輪郭画素のうち、前記輪郭画素の輝度と、前記手指候補領域外で、かつ、前記輪郭画素から予め定めた範囲にある近傍画素の輝度と、の差分が閾値より小さい画素が連続する区間、及び、前記距離画像の枠線と重複する区間を前記手指候補領域の輪郭線から取り除いた区間から求める
付記２記載の物体検出装置。
【０２２６】
（付記４）
前記統合部は、前記分割部によって前記複数の領域に分割される前記反射強度画像の分割対象範囲を、予め定めた輝度以上を有する範囲に縮小する
付記２または付記３記載の物体検出装置。
【０２２７】
（付記５）
前記統合部は、前記複数の領域のうち、前記手指候補領域と重複する割合が最も大きい領域が前記予め定めた割合未満である場合、前記手指候補領域と重複する割合が前記予め定めた割合以上になるまで、前記予め定めた輝度を大きくして、前記分割部によって前記複数の領域に分割される前記反射強度画像の分割対象範囲を更に縮小する
付記４記載の物体検出装置。
【０２２８】
（付記６）
前記物体は人間の手指である
付記１〜付記５の何れか１項に記載の物体検出装置。
【０２２９】
（付記７）
前記距離画像及び前記反射強度画像は、人間の体に装着された撮影装置で撮像された画像である
付記１〜付記６の何れか１項に記載の物体検出装置。
【０２３０】
（付記８）
コンピュータに、
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出し、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割し、
前記複数の領域のうち、領域の輪郭線の形状が前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする
処理を実行させる物体検出方法。
【０２３１】
（付記９）
前記複数の領域のうち、前記手指候補領域と重複する割合が予め定めた割合以上で、かつ、前記手指候補領域の輪郭線の形状の特徴量と、前記手指候補領域の輪郭線に対応した輪郭線の形状の特徴量と、の差分が閾値以下である領域を、前記抽出領域とする
付記８記載の物体検出方法。
【０２３２】
（付記１０）
前記手指候補領域の輪郭線の形状の特徴量を、前記手指候補領域の輪郭線に含まれる各々の輪郭画素のうち、前記輪郭画素の輝度と、前記手指候補領域外で、かつ、前記輪郭画素から予め定めた範囲にある近傍画素の輝度と、の差分が閾値より小さい画素が連続する区間、及び、前記距離画像の枠線と重複する区間を前記手指候補領域の輪郭線から取り除いた区間から求める
付記９記載の物体検出方法。
【０２３３】
（付記１１）
前記複数の領域に分割される前記反射強度画像の分割対象範囲を、予め定めた輝度以上を有する範囲に縮小する
付記９または付記１０記載の物体検出方法。
【０２３４】
（付記１２）
前記複数の領域のうち、前記手指候補領域と重複する割合が最も大きい領域が前記予め定めた割合未満である場合、前記手指候補領域と重複する割合が前記予め定めた割合以上になるまで、前記予め定めた輝度を大きくして、前記複数の領域に分割される前記反射強度画像の分割対象範囲を更に縮小する
付記１１記載の物体検出方法。
【０２３５】
（付記１３）
前記物体は人間の手指である
付記８〜付記１２の何れか１項に記載の物体検出方法。
【０２３６】
（付記１４）
前記距離画像及び前記反射強度画像は、人間の体に装着された撮影装置で撮像された画像である
付記８〜付記１３の何れか１項に記載の物体検出方法。
【０２３７】
（付記１５）
コンピュータに、
物体との距離を距離に応じた輝度で表す距離画像から、前記物体を表す手指候補領域を抽出し、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割し、
前記複数の領域のうち、領域の輪郭線の形状が前記手指候補領域の輪郭線の形状と類似する抽出領域と、前記手指候補領域と、を統合した領域を前記物体の領域とする
処理を実行させる物体検出プログラム。
【０２３８】
（付記１６）
前記複数の領域のうち、前記手指候補領域と重複する割合が予め定めた割合以上で、かつ、前記手指候補領域の輪郭線の形状の特徴量と、前記手指候補領域の輪郭線に対応した輪郭線の形状の特徴量と、の差分が閾値以下である領域を、前記抽出領域とする
付記１５記載の物体検出プログラム。
【０２３９】
（付記１７）
前記手指候補領域の輪郭線の形状の特徴量を、前記手指候補領域の輪郭線に含まれる各々の輪郭画素のうち、前記輪郭画素の輝度と、前記手指候補領域外で、かつ、前記輪郭画素から予め定めた範囲にある近傍画素の輝度と、の差分が閾値より小さい画素が連続する区間、及び、前記距離画像の枠線と重複する区間を前記手指候補領域の輪郭線から取り除いた区間から求める
付記１６記載の物体検出プログラム。
【０２４０】
（付記１８）
前記複数の領域に分割される前記反射強度画像の分割対象範囲を、予め定めた輝度以上を有する範囲に縮小する
付記１６または付記１７記載の物体検出プログラム。
【０２４１】
（付記１９）
前記複数の領域のうち、前記手指候補領域と重複する割合が最も大きい領域が前記予め定めた割合未満である場合、前記手指候補領域と重複する割合が前記予め定めた割合以上になるまで、前記予め定めた輝度を大きくして、前記複数の領域に分割される前記反射強度画像の分割対象範囲を更に縮小する
付記１８記載の物体検出プログラム。
【０２４２】
（付記２０）
前記物体は人間の手指である
付記１５〜付記１９の何れか１項に記載の物体検出プログラム。
【０２４３】
（付記２１）
前記距離画像及び前記反射強度画像は、人間の体に装着された撮影装置で撮像された画像である
付記１５〜付記２０の何れか１項に記載の物体検出プログラム。
【０２４４】
（付記２２）
物体との距離を輝度で表す距離画像から、前記物体を表す手指候補領域を抽出し、
前記物体からの反射光の強度を輝度で表す反射強度画像を、前記反射強度画像の輝度に基づいて複数の領域に分割し、
前記複数の領域の中から、領域の輪郭線が前記手指候補領域の輪郭線と類似する抽出領域を選択し、前記手指候補領域と前記抽出領域とを統合した領域を前記物体の領域とする
処理を実行させる物体検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０２４５】
１(２)・・・物体検出システム、３・・・距離画像、３Ａ・・・近傍領域抽出結果画像、３Ｂ・・・手指候補領域抽出結果画像、４・・・反射強度画像、５・・・手指、６・・・分割画像、７・・・抽出領域、８(９)・・・比較輪郭線、１０・・・撮影装置、１１・・・平滑化画像、１２・・・分割対象範囲、２０(２０Ａ)・・・物体検出装置、２１・・・取得部、２２・・・手指候補領域輝度設定部（設定部）、２３・・・手指候補領域抽出部（抽出部）、２４(２４Ａ)・・・分割部、２５(２５Ａ)・・・統合部、３０・・・表示装置、５０・・・除外輪郭線、５０Ａ(５０Ｂ、５２Ａ、５２Ｂ、５３Ａ、５３Ｂ、５６Ａ、５６Ｂ、５７Ａ、５７Ｂ)・・・端点、５１・・・(手指候補領域の)枠輪郭線、５３・・・(抽出領域の)枠輪郭線、５６(５７)・・・分割輪郭線、８０・・・手指候補領域、８１・・・近傍領域、８２・・・（距離画像の）輝度ヒストグラム、８４・・・手指領域、８５・・・（反射強度画像の）輝度ヒストグラム、９０・・・ヘッドマウントカメラ、９１・・・眼鏡型ディスプレイ、９２・・・指先、９３・・・手背部、１００(１００Ａ)・・・コンピュータ、１０２・・・ＣＰＵ、１０４・・・メモリ、１０６・・・記憶部、１０８・・・バス、１１２・・・入力装置、１１６・・・記録媒体、１２０(１２０Ａ)・・・物体検出プログラム
【図３】
2017068437.tif 000003
【図４】
2017068437.tif 000004
【図５】
2017068437.tif 000005
【図８】
2017068437.tif 000006
【図１０】
2017068437.tif 000007
【図１１】
2017068437.tif 000008
【図１２】
2017068437.tif 000009
【図１３】
2017068437.tif 000010
【図１４】
2017068437.tif 000011
【図１７】
2017068437.tif 000012
【図１８】
2017068437.tif 000013
【図２０】
2017068437.tif 000014
【図２１】
2017068437.tif 000015
【図２２】
2017068437.tif 000016
【図２３】
2017068437.tif 000017
【図２４】
2017068437.tif 000018
【図２６】
2017068437.tif 000019
【図１】
2017068437.tif 000020
【図２】
2017068437.tif 000021
【図６】
2017068437.tif 000022
【図７】
2017068437.tif 000023
【図９】
2017068437.tif 000024
【図１５】
2017068437.tif 000025
【図１６】
2017068437.tif 000026
【図１９】
2017068437.tif 000027
【図２５】
2017068437.tif 000028