(57)【特許請求の範囲】
【請求項１】
距離画像を記憶する記憶部と、
前記距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージすることで生成される、前記第３画素グループが表す第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成すると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点により表される、前記第３領域の輪郭線の形状に基づいて決定することで、前記距離画像を複数の領域に分割する領域分割部と、
前記複数の領域の中から所定の条件を満たす領域を選択する選択部と、
を備えることを特徴とする領域抽出装置。
【請求項２】
前記領域分割部は、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする請求項１記載の領域抽出装置。
【請求項３】
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする請求項１又は２記載の領域抽出装置。
【請求項４】
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする請求項１又は２記載の領域抽出装置。
【請求項５】
前記選択部は、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする請求項１乃至４のいずれか１項に記載の領域抽出装置。
【請求項６】
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージすることで生成される、前記第３画素グループが表す第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成すると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点により表される、前記第３領域の輪郭線の形状に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータに実行させる領域抽出プログラム。
【請求項７】
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージすることで生成される、前記第３画素グループが表す第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成すると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記第１領域と前記第２領域とをマージして前記第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点により表される、前記第３領域の輪郭線の形状に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータが実行することを特徴とする領域抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域抽出装置、領域抽出プログラム、及び領域抽出方法に関する。
【背景技術】
【０００２】
近年、カメラによって撮影した画像に視覚情報を付加して表示する拡張現実技術の開発が行われている。拡張現実技術では、ウェアラブル装置、タブレット端末等の情報処理装置が用いられ、ウェアラブル装置としては、カメラを装着したヘッドマウントディスプレイ（ＨＭＤ）装置等が用いられる。これらの情報処理装置の画面上では、ユーザの視野内に存在する対象物の位置に対応させて、その対象物に関する情報が表示される。
【０００３】
このような拡張現実技術を利用すれば、工場における保守点検、機器設置等のユーザの作業を支援することが可能である。ユーザは両手を用いて作業を行うことが多いため、タブレット端末よりも、頭部に装着可能なＨＭＤ装置の方がユーザの作業支援に適している。
【０００４】
ＨＭＤ装置の操作方法として、対象物に対するインタラクションを含むジェスチャが用いられることがある。ジェスチャによる操作では、ＨＭＤ装置は、画像内におけるユーザの手の動きを認識することによって、特定の操作が行われたことを検出する。この場合、手の動きを認識するために、画像から精度良く手領域を抽出することが重要になる。
【０００５】
距離画像を用いて手領域を抽出する技術も知られている（例えば、特許文献１〜特許文献３を参照）。画像の領域分割、平面検出、指先検出に関する技術も知られている（例えば、非特許文献１〜非特許文献６を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２３８８２８号公報
【特許文献２】特開２０１５−１１４７６２号公報
【特許文献３】特開２０１４−１８２４４２号公報
【非特許文献】
【０００７】
【非特許文献１】Felzenszwalb et al.,“Efficient Graph-Based Image Segmentation”, International Journal of Computer Vision, Vol. 59, No. 2, September 2004
【非特許文献２】増田 宏，“レーザ計測データに基づく形状再構成技術”，咸臨：日本船舶海洋工学会誌  第４０号，２０１２年１月
【非特許文献３】飯沼 宏成他，“３次元ハフ変換を用いた平面検出の高速化アルゴリズム”，２０１３年度精密工学会春季大会学術講演会講演論文集，２０１３年
【非特許文献４】Trevor et al.,“Efficient Organized Point Cloud Segmentation with Connected Components”, Semantic Perception Mapping and Exploration, May 2013
【非特許文献５】Bhuyan et al.,“Fingertip Detection for Hand Pose Recognition”, International Journal on Computer Science and Engineering, Vol. 4, No. 3, March 2012
【非特許文献６】Jang et al.,“3D Finger CAPE: Clicking Action and Position Estimation under Self-Occlusions in Egocentric Viewpoint”, IEEE Transactions on Visualization and Computer Graphics, Vol. 21, No. 4, April 2015
【発明の概要】
【発明が解決しようとする課題】
【０００８】
距離画像の各画素の画素値は、距離画像センサから物体までの距離を表すため、ユーザの手の近くに他の物体が存在しない状況では、距離画像の画素のうち、閾値よりも小さい画素値を有する近距離画素からなる領域を、手領域として抽出することができる。しかし、手が壁に触れている場合等、手の近くに他の物体が存在する状況では、適切な閾値を設定することが困難であり、必ずしも手領域を抽出できるとは限らない。
【０００９】
カメラ及び背景が固定されていれば、２時刻の距離画像間における背景差分を用いて手領域を抽出することも可能である。しかし、ＨＭＤ装置のように、ユーザとともにカメラが移動する場合、距離画像内で背景の物体の位置が変化するため、背景差分を用いて手領域を抽出することは困難である。
【００１０】
なお、かかる問題は、ＨＭＤ装置の操作のために距離画像から手領域を抽出する場合に限らず、他の画像処理のために距離画像から所定領域を抽出する場合においても生ずるものである。
【００１１】
１つの側面において、本発明は、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することを目的とする。
【課題を解決するための手段】
【００１２】
１つの案では、領域抽出装置は、記憶部、領域分割部、及び選択部を含む。記憶部は、距離画像を記憶する。領域分割部は、距離画像内の複数の隣接画素ペアそれぞれについて以下の処理を行うことで、距離画像を複数の領域に分割する。
（１）領域分割部は、隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、第１画素が属する第１画素グループと第２画素が属する第２画素グループとを含む第３画素グループを生成する。
（２）領域分割部は、第１画素グループが表す第１領域と第２画素グループが表す第２領域とをマージして第３画素グループが表す第３領域を生成するか否かを、第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定する。
【００１３】
選択部は、領域分割部が生成した複数の領域の中から、所定の条件を満たす領域を選択する。
【発明の効果】
【００１４】
実施形態によれば、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することができる。
【図面の簡単な説明】
【００１５】
【図１】領域抽出装置の機能的構成図である。
【図２】領域抽出処理のフローチャートである。
【図３】ＨＭＤ装置の機能的構成図である。
【図４】領域抽出処理の具体例を示すフローチャートである。
【図５】平滑化フィルタを示す図である。
【図６】領域分割処理のフローチャートである。
【図７】２つの画素グループのマージ処理を示す図である。
【図８】領域分割処理を示す図である。
【図９】手らしさの判定を省略した領域分割処理を示す図である。
【図１０】手らしさの判定処理のフローチャートである。
【図１１】直線を含む輪郭形状を示す図である。
【図１２】指先を含む輪郭形状を示す図である。
【図１３】情報処理装置の構成図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、領域抽出装置の機能的構成例を示している。図１の領域抽出装置１０１は、記憶部１１１、領域分割部１１２、及び選択部１１３を含む。記憶部１１１は、距離画像１２１を記憶し、領域分割部１１２は、距離画像１２１を複数の領域に分割する。選択部１１３は、領域分割部１１２が生成した複数の領域の中から、所定の条件を満たす領域を選択する。
【００１７】
図２は、図１の領域抽出装置１０１が行う領域抽出処理の例を示すフローチャートである。まず、領域分割部１１２は、距離画像１２１内の複数の隣接画素ペアそれぞれについて以下の処理を行うことで、距離画像１２１を複数の領域に分割する（ステップ２０１）。
（１）領域分割部１１２は、隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、第１画素が属する第１画素グループと第２画素が属する第２画素グループとを含む第３画素グループを生成する。
（２）領域分割部１１２は、第１画素グループが表す第１領域と第２画素グループが表す第２領域とをマージして第３画素グループが表す第３領域を生成するか否かを、第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定する。
【００１８】
次に、選択部１１３は、領域分割部１１２が生成した複数の領域の中から、所定の条件を満たす領域を選択する（ステップ２０２）。
【００１９】
図１の領域抽出装置１０１によれば、抽出対象の近くに他の物体が存在する状況でも、距離画像から抽出対象を表す領域を抽出することができる。
【００２０】
図３は、図１の領域抽出装置１０１を含むＨＭＤ装置の構成例を示している。図３のＨＭＤ装置は、領域抽出装置１０１、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３を含む。領域抽出装置１０１は、記憶部１１１、領域分割部１１２、選択部１１３、取得部３１１、及び取得部３１２を含み、領域分割部１１２は、分割部３２１及び判定部３２２を含む。
【００２１】
記憶部１１１は、距離画像１２１、映像情報３３１、画素グループ情報３３２、及び指標３３３を記憶する。距離画像１２１は、距離画像センサ３０２によって撮影され、距離画像１２１の各画素の画素値は、距離画像センサ３０２から物体までの距離を表す。距離画像センサ３０２から物体までの距離の代わりに、所定の基準点から物体までの距離を表す画素値を用いてもよい。距離画像１２１は、デプスマップと呼ばれることもある。
【００２２】
映像情報３３１は、撮像装置３０１によって撮影された映像を表し、複数時刻におけるフレームの画像を含む。画素グループ情報３３２は、距離画像１２１の領域分割によって生成される複数の領域それぞれに対応する画素グループを表す。指標３３３は、各領域の手らしさを示す情報である。
【００２３】
例えば、工場における保守点検作業において、ユーザは、電力計、圧力計、温度計等の各種計測機器が表示する計測値を確認する。そして、ユーザは、ジェスチャによって、確認結果をＨＭＤ装置に入力したり、計測値又は計測機器の画像をＨＭＤ装置に入力したりする作業を行う。
【００２４】
撮像装置３０１は、例えば、カラー映像を撮影するカメラであり、作業領域の映像を撮影する。取得部３１１は、撮像装置３０１から映像を取得し、映像情報３３１として記憶部１１１に格納する。距離画像センサ３０２は、レーザ光線、赤外線等を用いて各時刻における距離画像１２１を撮影する。取得部３１２は、距離画像センサ３０２から距離画像１２１を取得して、記憶部１１１に格納する。表示装置３０３は、映像情報３３１を画面に表示する。
【００２５】
分割部３２１は、距離画像１２１から隣接する２つの画素を隣接画素ペアとして抽出し、各隣接画素ペアの画素値の差分が閾値よりも小さい場合、それぞれの画素が属する画素グループをマージする。判定部３２２は、マージによって生成された画素グループが表す領域に対して、領域の手らしさを示す指標３３３を求め、求めた指標３３３に基づいて領域が手らしいか否かを判定する。
【００２６】
判定部３２２が手らしいと判定した場合、分割部３２１は、画素グループ情報３３２からマージ前の２つの画素グループを削除して、マージ後の画素グループを新たに追加する。一方、判定部３２２が手らしくないと判定した場合、分割部３２１は、マージ前の２つの画素グループを画素グループ情報３３２に残し、マージ後の画素グループは追加しない。
【００２７】
距離画像１２１の領域分割が終了した後、選択部１１３は、画素グループ情報３３２が表す複数の画素グループそれぞれに対応する複数の領域の中から、手領域を選択する。
【００２８】
ユーザの頭部に装着されるヘッドマウントモジュールは、図３のＨＭＤ装置全体を含んでいてもよく、ＨＭＤ装置の一部の構成要素のみを含んでいてもよい。例えば、撮像装置３０１、距離画像センサ３０２、及び表示装置３０３をヘッドマウントモジュールとして実装し、領域抽出装置１０１を頭部以外の身体部位に装着されるモジュールとして実装することができる。
【００２９】
図４は、図３の領域抽出装置１０１が行う領域抽出処理の具体例を示すフローチャートである。まず、距離画像センサ３０２は、現時刻における距離画像１２１を撮影し、取得部３１２は、撮影された距離画像１２１を記憶部１１１に格納する（ステップ４０１）。そして、分割部３２１は、平滑化フィルタ等を用いて、距離画像１２１の領域を平滑化する（ステップ４０２）。
【００３０】
図５は、平滑化フィルタの例を示している。図５の平滑化フィルタは、３画素×３画素のフィルタであり、中央の画素の画素値は、フィルタ内の９個の画素の各画素値に重み１／９を乗算して加算した結果に置き換えられる。このような重み付き加算を距離画像１２１の全画素に対して行うことで、距離画像１２１のノイズが低減される。
【００３１】
次に、分割部３２１は、平滑化された距離画像１２１の隣接する画素間の局所的特徴と、複数の画素からなる領域の形状の大局的特徴とを用いて、距離画像１２１の領域分割を行う（ステップ４０３）。そして、選択部１１３は、領域分割によって生成された複数の領域の中から、手領域を選択する（ステップ４０４）。
【００３２】
図６は、図４のステップ４０３における領域分割処理の例を示すフローチャートである。この領域分割処理では、２つの画素の画素値の差分が小さい隣接画素ペアから順に、それらの画素が同じ画素グループにマージされる。
【００３３】
距離画像１２１における画素値の差分が小さい場合、２つの画素は、３次元空間内で互いに距離が近い２点を表していると考えられる。また、既に同じ画素グループにマージされている複数の画素も、互いに距離が近い複数の点を表していると考えられる。そこで、隣接画素ペアをマージする際、それぞれの画素が属する２つの画素グループがマージされる。
【００３４】
このとき、局所的特徴である画素値の差分のみを用いるのではなく、マージ後の画素グループが表す領域の大局的特徴である、手らしさが評価され、手らしいと判定された場合に、マージ後の画素グループが採用される。手らしさの評価は、例えば、領域の３次元形状と輪郭形状とに基づいて行われる。
【００３５】
まず、分割部３２１は、距離画像１２１内の全画素をそれぞれ異なる画素グループに分類した画素グループ情報３３２を生成して、記憶部１１１に格納する（ステップ６０１）。そして、分割部３２１は、距離画像１２１内で隣接する２つの画素のすべての組み合わせを隣接画素ペアとして生成し、各隣接画素ペアの画素値の差分を計算する（ステップ６０２）。
【００３６】
次に、分割部３２１は、未選択の隣接画素ペアのうち、差分が最も小さい隣接画素ペアを選択し（ステップ６０３）、選択した隣接画素ペアの画素値の差分を閾値Ｔと比較する（ステップ６０４）。画素値の差分が閾値Ｔよりも小さい場合（ステップ６０４，ＹＥＳ）、判定部３２２は、隣接画素ペアの２つの画素グループをマージしたときに生成される領域が手らしいか否かをチェックする（ステップ６０５）。
【００３７】
マージ後の領域が手らしい場合（ステップ６０５，ＹＥＳ）、分割部３２１は、選択した隣接画素ペアのそれぞれの画素が属する２つの画素グループをマージする（ステップ６０６）。そして、分割部３２１は、画素グループ情報３３２からマージ前の２つの画素グループを削除して、マージ後の画素グループを追加する。これにより、マージ前の２つの画素グループが表す領域同士がマージされて、マージ後の画素グループが表す領域が生成される。
【００３８】
次に、分割部３２１は、未選択の隣接画素ペアが残っているか否かをチェックし（ステップ６０７）、未選択の隣接画素ペアが残っている場合（ステップ６０７，ＹＥＳ）、ステップ６０３以降の処理を繰り返す。
【００３９】
一方、画素値の差分が閾値Ｔ以上である場合（ステップ６０４，ＮＯ）、又はマージ後の領域が手らしくない場合（ステップ６０５，ＮＯ）、分割部３２１は、２つの画素グループをマージすることなく、ステップ６０７以降の処理を行う。そして、未選択の隣接画素ペアが残っていない場合（ステップ６０７，ＮＯ）、分割部３２１は、処理を終了する。
【００４０】
図７は、２つの画素グループのマージ処理の例を示している。距離画像７０１の各画素に割り当てられた番号は、その画素が属する画素グループのグループ番号を表す。隣接画素ペア７０２の画素値の差分が閾値Ｔよりも小さい場合、グループ番号“１”の画素グループとグループ番号“２”の画素グループとをマージした領域が手らしいか否かがチェックされる。その領域が手らしいと判定された場合、マージ前の一方の画素グループのグループ番号“２”を、他方の画素グループのグループ番号“１”に変更することで、それらの画素グループがマージされる。
【００４１】
ステップ６０４の閾値Ｔは、固定値であってもよく、選択した隣接画素ペアのそれぞれの画素が属する画素グループの画素数に応じて変更してもよい。例えば、非特許文献１の領域分割処理を用いた場合、閾値Ｔは、次式により設定することができる。
Ｔ＝Ｔ０＋ｋ／Ｎ      （１）
【００４２】
式（１）のＴ０及びｋは正の定数であり、Ｎは、隣接画素ペアのそれぞれの画素が属する画素グループの画素数のうち大きい方の値を表す。例えば、画素ａ及び画素ｂが属する画素グループの画素数を、それぞれ、Ｎａ及びＮｂとすると、Ｎは、次式により求められる。
Ｎ＝ｍａｘ（Ｎａ，Ｎｂ）      （２）
【００４３】
式（１）の閾値Ｔは、Ｎが大きいほど小さくなり、Ｎが小さいほど大きくなる。したがって、隣接画素ペアの各画素が属する領域が小さいうちは、閾値Ｔを大きく設定して、画素グループのマージを促進することができる。一方、隣接画素ペアのいずれかの画素が属する領域が大きくなると、閾値Ｔを小さく設定して、マージの判定基準をより厳しくすることができる。
【００４４】
図８は、領域分割処理の例を示している。距離画像８０１に対する領域分割処理の初期段階において、マージ結果８０２が示すように、少数の画素同士がマージされて、多数の小領域が生成される。次に、領域分割処理がある程度進行すると、マージ結果８０３が示すように、画素グループ同士がマージされて、より大きな領域が生成される。そして、最終的には、マージ結果８０４が示すように、距離画像８０１は、左手の手領域８１１及び右手の手領域８１２を含む、複数の領域に分割される。
【００４５】
図９は、図６のステップ６０５における手らしさの判定を省略した場合の領域分割処理の例を示している。この場合、距離画像９０１に対する領域分割処理の初期段階において、マージ結果９０２が示すように、手領域及び背景領域それぞれの内部で、少数の画素同士がマージされて、多数の小領域が生成される。
【００４６】
次に、領域分割処理がある程度進行すると、マージ結果９０３が示すように、画素グループ同士がマージされて、より大きな領域が生成される。しかし、手と背景の物体との距離が近い場合、領域分割処理がさらに進行すると、マージ結果９０４が示すように、手領域と背景領域とがマージされて、１つの領域に統合されてしまう。
【００４７】
ステップ６０４の局所的特徴に基づく判定のみでは、このようなマージ結果が生成される可能性が高くなる。そこで、図６の領域分割処理では、ステップ６０５の大局的特徴に基づく判定が追加されている。
【００４８】
図１０は、図６のステップ６０５における手らしさの判定処理の例を示すフローチャートである。図９に示したように、初期段階においては手領域及び背景領域それぞれの内部で画素グループ同士がマージされていくため、２つの画素グループをマージした領域の大きさが所定の大きさよりも小さい場合は、マージ後の領域は無条件で手らしいと判定される。一方、マージ後の領域の大きさが所定の大きさ以上である場合は、指標３３３に基づいて手らしさが判定される。
【００４９】
まず、判定部３２２は、隣接画素ペアのそれぞれの画素が属する画素グループの画素数を閾値Ｍと比較する（ステップ１００１）。いずれの画素グループの画素数も閾値Ｍ以上である場合（ステップ１００１，ＹＥＳ）、判定部３２２は、２つの画素グループをマージした領域の手らしさを示す指標３３３を計算する（ステップ１００２）。そして、判定部３２２は、指標３３３がマージ条件を満たすか否かをチェックする（ステップ１００３）。
【００５０】
指標３３３がマージ条件を満たす場合（ステップ１００３，ＹＥＳ）、判定部３２２は、マージ後の領域は手らしいと判定する（ステップ１００４）。一方、指標３３３がマージ条件を満たさない場合（ステップ１００３，ＮＯ）、判定部３２２は、マージ後の領域は手らしくないと判定する（ステップ１００５）。
【００５１】
また、いずれかの画素グループの画素数が閾値Ｍよりも小さい場合（ステップ１００１，ＮＯ）、判定部３２２は、マージ後の領域は手らしいと判定する（ステップ１００４）。
【００５２】
ステップ１００２において、判定部３２２は、例えば、以下のような指標３３３を計算する。
（ａ）領域の平面性を示す指標
領域の平面性は、領域内の画素が表す複数の点を通る曲面が平面に近いか否かを表す。３次元空間内で、手の表面は大まかには同一平面上にあるが、手の表面と物体表面とは同一平面上にないことを利用すれば、手領域と背景の物体の物体領域とを分離することが可能になる。
（ｂ）領域の輪郭形状を示す指標
領域の輪郭形状は、領域の外周上の画素が表す複数の点を通る輪郭線の形状を表す。手領域の輪郭線は、ある程度の丸みを帯びた曲線であることが多いため、輪郭形状の直線性が高過ぎる場合は、手らしくないと判定することができる。
（ｃ）マージ前後の領域における手の特徴の有無を示す指標
領域の手の特徴は、指先のような手固有の輪郭線の形状を表す。マージ前のいずれかの領域の輪郭線が手の特徴を表しており、マージ後の領域の輪郭線が手の特徴を表していない場合、マージ後の領域は手らしくないと判定することができる。
【００５３】
判定部３２２は、上記（ａ）〜（ｃ）のいずれかの指標を単独で用いて手らしさを判定してもよく、２つ以上の指標を組み合わせて手らしさを判定してもよい。
【００５４】
領域の平面性に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ後の画素グループに含まれる画素が表す３次元空間内の点の位置関係に基づいて、マージ後の領域から平面を検出する。この場合、画素グループ内の全画素が表す点のうち、平面から所定距離内に存在する点の割合を、平面性を示す指標３３３として用いることができる。そして、判定部３２２は、ステップ１００３において、指標３３３が示す割合が所定値以上である場合、マージ条件を満たすと判定し、指標３３３が示す割合が所定値よりも小さい場合、マージ条件を満たさないと判定する。
【００５５】
領域から平面を検出する方法としては、Random Sample Consensus（ＲＡＮＳＡＣ）に基づく平面検出方法（非特許文献２）、３次元ハフ変換に基づく平面検出方法（非特許文献３）、ラベリングに基づく平面検出方法（非特許文献４）等を用いることができる。
【００５６】
ＲＡＮＳＡＣに基づく平面検出方法では、画素グループ内の画素が表すＰ個の点の中から３点がランダムに選択され、３点を通る平面の方程式が計算される。そして、Ｐ個の点のうち、平面から所定距離内に存在する点の個数がカウントされる。このような平面の計算と点のカウントとを繰り返し、カウントされた点の個数が最も多い平面の方程式が、検出結果として採用される。
【００５７】
領域の輪郭形状に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ後の画素グループに含まれる画素が表す３次元空間内の点のうち、輪郭線上の点の位置関係に基づいて、輪郭線から直線を検出する。輪郭線から直線を検出する方法としては、ハフ変換等を用いることができる。
【００５８】
輪郭形状を示す指標３３３としては、検出された直線の長さ又は本数を用いることができる。直線の長さを指標３３３として用いる場合、判定部３２２は、ステップ１００３において、指標３３３が示す長さが所定値よりも短ければ、マージ条件を満たすと判定し、指標３３３が示す長さが所定値以上であれば、マージ条件を満たさないと判定する。直線の本数を指標３３３として用いる場合、判定部３２２は、指標３３３が示す本数が所定値よりも少なければ、マージ条件を満たすと判定し、指標３３３が示す本数が所定値以上であれば、マージ条件を満たさないと判定する。
【００５９】
また、判定部３２２は、輪郭線を複数の線分に分割し、それぞれの線分に対して直線らしさを評価してもよく、最小二乗法等を用いて各線分の直線らしさを評価してもよい。
【００６０】
図１１は、直線を含む輪郭形状の例を示している。領域１１０１の輪郭形状は丸みを帯びているが、領域１１０２の輪郭形状は直線性が高い。このため、領域１１０１と領域１１０２をマージすると、マージ後の輪郭形状は直線性が高くなり、手らしくないと判定される。
【００６１】
マージ前後の領域における手の特徴の有無に基づいて手らしさを判定する場合、判定部３２２は、例えば、マージ前後の各画素グループに含まれる画素が表す輪郭線上の点の位置関係に基づいて、輪郭線から手の特徴を検出する。手の特徴としては、例えば、指先の形状を用いることができ、指標３３３としては、マージ前後の各領域における手の特徴の有無を用いることができる。輪郭線から指先の形状を検出する方法としては、非特許文献５、非特許文献６等の指先検出方法を用いることができる。
【００６２】
そして、判定部３２２は、ステップ１００３において、マージ後の領域が手の特徴を有する場合、マージ条件を満たすと判定し、マージ前の領域が手の特徴を有し、マージ後の領域が手の特徴を有していない場合、マージ条件を満たさないと判定する。
【００６３】
図１２は、指先を含む輪郭形状の例を示している。領域１２０１の輪郭形状は指先の形状を含んでいるが、領域１２０１と領域１２０２をマージすると、マージ後の輪郭形状は指先の形状を含まなくなる。このため、マージ後の領域は手らしくないと判定される。
【００６４】
図４のステップ４０４において、選択部１１３は、領域分割によって生成された複数の領域のうち、例えば、以下のような条件を満たす領域を、手領域として選択する。
（ｄ）画素グループの画素数Ｑが、所定範囲内（Ｑｍｉｎ＜Ｑ＜Ｑｍａｘ）である。
（ｅ）画素グループ内の画素間の距離の平均値が、所定範囲内である。
（ｆ）領域が距離画像の下端に接している。
（ｇ）領域がステップ１００３で用いたマージ条件を満たす。
【００６５】
上記（ｆ）の条件を用いる理由は、ＨＭＤ装置の場合、ユーザの頭部に装着された距離画像センサ３０２とユーザの手との位置関係から、距離画像１２１の下端から上端へ向かって手が伸びていることが多いためである。図８の例では、距離画像８０１の下端に接している手領域８１１及び手領域８１２が選択される。
【００６６】
また、上記（ｇ）の条件を用いる理由は、図１０のステップ１００１において、マージ前の画素グループの画素数が閾値Ｍよりも小さい場合、ステップ１００３の判定がスキップされるためである。
【００６７】
選択部１１３は、上記（ｄ）〜（ｇ）のいずれかの条件を単独で用いて手領域を選択してもよく、２つ以上の条件を組み合わせて手領域を選択してもよい。
【００６８】
図１の領域抽出装置１０１及び図３のＨＭＤ装置の構成は一例に過ぎず、領域抽出装置１０１及びＨＭＤ装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３のＨＭＤ装置において、映像情報３３１を用いない場合、撮像装置３０１及び取得部３１１を省略することができる。
【００６９】
図２、図４、図６、図９、及び図１０のフローチャートは一例に過ぎず、領域抽出装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図４の領域抽出処理において、距離画像１２１のノイズが少ない場合、ステップ４０２の処理を省略することができる。ステップ４０４において、選択部１１３は、上記（ｄ）〜（ｇ）以外の条件を用いて手領域を選択してもよい。
【００７０】
図１０の手らしさの判定処理のステップ１００３において、判定部３２２は、上記（ａ）〜（ｃ）以外の指標を用いて手らしさを判定してもよい。
【００７１】
図５の平滑化フィルタ、図７の距離画像７０１、図８の距離画像８０１、図９の距離画像９０１、図１１の領域１１０１、領域１１０２、図１２の領域１２０１、及び領域１２０２は一例に過ぎず、別の平滑化フィルタ、距離画像等を用いてもよい。
【００７２】
領域抽出装置１０１の抽出対象は、ユーザが手に持っているペン又は棒のように、手以外の所定の物体であってもよい。この場合、領域抽出装置１０１は、手領域の代わりに所定の物体領域を抽出する。また、領域抽出装置１０１は、距離画像から抽出した領域に基づいて手又は物体の動きを認識することで、ＨＭＤ装置に対する特定の操作が行われたことを検出してもよく、他の画像処理を行ってもよい。
【００７３】
図１及び図３の領域抽出装置１０１は、例えば、図１３に示すような情報処理装置（コンピュータ）を用いて実現可能である。図１３の情報処理装置は、Central Processing Unit（ＣＰＵ）１３０１、メモリ１３０２、補助記憶装置１３０３、媒体駆動装置１３０４、及びネットワーク接続装置１３０５を備える。これらの構成要素はバス１３０６により互いに接続されている。
【００７４】
メモリ１３０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１３０２は、図１及び図３の記憶部１１１として用いることができる。
【００７５】
ＣＰＵ１３０１（プロセッサ）は、例えば、メモリ１３０２を利用してプログラムを実行することにより、図１及び図３の領域分割部１１２及び選択部１１３として動作する。ＣＰＵ１３０１は、プログラムを実行することにより、取得部３１１及び取得部３１２としても動作する。
【００７６】
補助記憶装置１３０３は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１３０３は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１３０３にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。補助記憶装置１３０３は、図１及び図３の記憶部１１１として用いることができる。
【００７７】
媒体駆動装置１３０４は、可搬型記録媒体１３０７を駆動し、その記録内容にアクセスする。可搬型記録媒体１３０７は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１３０７は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。ユーザは、この可搬型記録媒体１３０７にプログラム及びデータを格納しておき、それらをメモリ１３０２にロードして使用することができる。
【００７８】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１３０２、補助記憶装置１３０３、又は可搬型記録媒体１３０７のような、物理的な（非一時的な）記録媒体である。
【００７９】
ネットワーク接続装置１３０５は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１３０５を介して受け取り、それらをメモリ１３０２にロードして使用することができる。
【００８０】
なお、情報処理装置が図１３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、他の装置との通信を行う必要がない場合は、ネットワーク接続装置１３０５を省略してもよく、可搬型記録媒体１３０７を利用しない場合は、媒体駆動装置１３０４を省略してもよい。
【００８１】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【００８２】
図１乃至図１３を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
距離画像を記憶する記憶部と、
前記距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割する領域分割部と、
前記複数の領域の中から所定の条件を満たす領域を選択する選択部と、
を備えることを特徴とする領域抽出装置。
（付記２）
前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記１記載の領域抽出装置。
（付記３）
前記領域分割部は、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記１又は２記載の領域抽出装置。
（付記４）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記３記載の領域抽出装置。
（付記５）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記領域分割部は、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記３記載の領域抽出装置。
（付記６）
前記選択部は、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記１乃至５のいずれか１項に記載の領域抽出装置。
（付記７）
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータに実行させる領域抽出プログラム。
（付記８）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７記載の領域抽出プログラム。
（付記９）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７又は８記載の領域抽出プログラム。
（付記１０）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記９記載の領域抽出プログラム。
（付記１１）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記９記載の領域抽出プログラム。
（付記１２）
前記コンピュータは、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記７乃至１１のいずれか１項に記載の領域抽出プログラム。
（付記１３）
距離画像内の複数の隣接画素ペアそれぞれについて、前記隣接画素ペアに含まれる第１画素と第２画素との画素値の差分に基づいて、前記第１画素が属する第１画素グループと前記第２画素が属する第２画素グループとを含む第３画素グループを生成し、前記第１画素グループが表す第１領域と前記第２画素グループが表す第２領域とをマージして前記第３画素グループが表す第３領域を生成するか否かを、前記第３画素グループに含まれる複数の画素それぞれが表す複数の点の位置関係に基づいて決定することで、前記距離画像を複数の領域に分割し、
前記複数の領域の中から所定の条件を満たす領域を選択する、
処理をコンピュータが実行することを特徴とする領域抽出方法。
（付記１４）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す曲面の平面性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７記載の領域抽出方法。
（付記１５）
前記コンピュータは、前記第３領域の大きさが所定の大きさよりも小さい場合、前記第１領域と前記第２領域とをマージすると決定し、前記第３領域の大きさが前記所定の大きさよりも大きい場合、前記複数の点が表す前記第３領域の輪郭線の形状に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記７又は８記載の領域抽出方法。
（付記１６）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記輪郭線の直線性に基づいて、前記第１領域と前記第２領域とをマージするか否かを決定することを特徴とする付記９記載の領域抽出方法。
（付記１７）
前記所定の条件を満たす前記領域は、手が写っている手領域であり、前記コンピュータは、前記第１領域の輪郭線の形状が前記手の特徴を表しており、前記第３領域の前記輪郭線の形状が前記手の特徴を表していない場合、前記第１領域と前記第２領域とをマージしないと決定することを特徴とする付記９記載の領域抽出方法。
（付記１８）
前記コンピュータは、前記複数の領域のうち前記距離画像の下端に接している領域を、前記所定の条件を満たす前記領域として選択することを特徴とする付記７乃至１１のいずれか１項に記載の領域抽出方法。
【符号の説明】
【００８３】
１０１  領域抽出装置
１１１  記憶部
１１２  領域分割部
１１３  選択部
１２１、７０１、８０１、９０１  距離画像
３０１  撮像装置
３０２  距離画像センサ
３０３  表示装置
３１１、３１２  取得部
３２１  分割部
３２２  判定部
３３１  映像情報
３３２  画素グループ情報
３３３  指標
７０２  隣接画素ペア
８０２〜８０４、９０２〜９０４  マージ結果
８１１、８１２  手領域
１１０１、１１０２、１２０１、１２０２  領域
１３０１  ＣＰＵ
１３０２  メモリ
１３０３  補助記憶装置
１３０４  媒体駆動装置
１３０５  ネットワーク接続装置
１３０６  バス
１３０７  可搬型記録媒体
【図１】
0006651814.tif 000002
【図２】
0006651814.tif 000003
【図３】
0006651814.tif 000004
【図４】
0006651814.tif 000005
【図５】
0006651814.tif 000006
【図６】
0006651814.tif 000007
【図７】
0006651814.tif 000008
【図８】
0006651814.tif 000009
【図９】
0006651814.tif 000010
【図１０】
0006651814.tif 000011
【図１１】
0006651814.tif 000012
【図１２】
0006651814.tif 000013
【図１３】
0006651814.tif 000014