(57)【要約】【課題】  本発明は、撮像画像に基づいてジェスチャ操作を認識する装置の操作性を向上させることを目的とする。【解決手段】  上記課題を解決する為、本発明は、所定の物体を用いたジェスチャ操作を認識する情報処理装置の制御方法であって、操作面上の空間を撮像した画像の情報を取得し（Ｓ３００）、前記画像から、前記空間に含まれる物体が写る領域を抽出し（Ｓ３０１）、前記抽出された領域が、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされる場合に、前記操作面上に、前記所定の物体を移動させる指示を表すガイドを表示させる（Ｓ３０７）と、を備える。【選択図】  図３
2016110517.tif 000002
【特許請求の範囲】
【請求項１】
所定の物体を用いたジェスチャ操作を認識する情報処理装置であって、
操作面上の空間を撮像した画像の情報を取得する取得手段と、
前記画像から、前記空間に含まれる物体が写る領域を抽出する抽出手段と、
前記抽出された領域が、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされる場合に、前記操作面上に、前記所定の物体を移動させる指示を表すガイドを表示させる制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記制御手段は、前記操作面上の、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされた領域の位置に基づいて、前記ガイドを表示させる位置を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、前記操作面のうち、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされた領域の位置を基準として、前記撮像された画像の画角の内側に相当する位置に、前記ガイドを表示させる位置を決定することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記抽出された領域が、前記ジェスチャ操作のために動かされた前記所定の物体の全体であるとみなされる場合に、前記抽出された領域の軌跡に基づいて前記ジェスチャ操作を認識する認識手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記認識手段は、前記抽出された領域の面積が、基準となる面積の範囲に含まれない場合は、前記抽出された領域を、前記ジェスチャ操作に用いられる所定の物体の一部であるとみなさないことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記認識手段は、前記抽出された領域が、所定の時間の間に連続して抽出されていない場合は、前記抽出された領域を、前記抽出された領域を、前記ジェスチャ操作に用いられる所定の物体の一部であるとみなさないことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記認識手段は、前記抽出された領域が、前記所定の時間の間に基準となる距離を越える移動をしていない場合は、前記抽出された領域を、前記抽出された領域を、前記ジェスチャ操作に用いられる所定の物体の一部であるとみなさないことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記制御手段は、プロジェクタを制御して前記操作面上に画像を投影させる手段であって、
前記プロジェクタと前記操作面上の空間を撮像する撮像手段と、前記操作面との設置状況に基づいて、前記基準となる範囲および前記基準となる距離を設定する設定手段を更に備えることを特徴とする請求項５又は７に記載の情報処理装置。
【請求項９】
前記ジェスチャ操作に用いられる所定の物体の一部であるとみなされなかった領域の特徴を学習する学習手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
所定の物体を用いたジェスチャ操作を認識する情報処理装置の制御方法であって、
取得手段により、操作面上の空間を撮像した画像の情報を取得する工程と、
前記画像から、前記空間に含まれる物体が写る領域を抽出する工程と、
制御手段により、前記抽出された領域が、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされる場合に、前記操作面上に、前記所定の物体を移動させる指示を表すガイドを表示させる工程と、
を備えることを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項１０に記載された情報処理装置の制御方法を実行させるプログラム。
【請求項１２】
請求項１１に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ操作を認識する技術に関する。
【背景技術】
【０００２】
従来、手を用いたジェスチャ操作（ハンドジェスチャ）を認識し、指示入力を行う装置が提案されてきた。
【０００３】
特許文献１のジェスチャ認識システムでは、ハンドジェスチャの動き及び空間内の位置を認識した結果に応じた画面上の位置にハンドアイコンを出力表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３１５１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ハンドジェスチャを認識する装置では、カメラまたは距離画像センサが、撮像可能な範囲（例えば画角内）のユーザの手を捉えて、その動きを認識する構成であることが多い。しかしながら、手がカメラまたは距離画像センサの画角から出てしまうなど、正しくユーザの手を認識できない状況が発生しても、その原因や対策をユーザが容易に理解できない場合があった。
【０００６】
特許文献１では、装置が正しくハンドジェスチャを認識した場合には、アイコンが表示されることでユーザにフィードバックがあるが、認識されなかった場合に、ユーザにその原因や対策を把握させることは考慮されていない。
【０００７】
本発明は、上記課題を鑑みてなされたものであり、撮像画像に基づいてジェスチャ操作を認識する装置の操作性を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題の解決するため、本発明は所定の物体を用いたジェスチャ操作を認識する情報処理装置であって、操作面上の空間を撮像した画像の情報を取得する取得手段と、前記画像から、前記空間に含まれる物体が写る領域を抽出する抽出手段と、前記抽出された領域が、前記ジェスチャ操作のために動かされた前記所定の物体の一部であるとみなされる場合に、前記操作面上に、前記所定の物体を移動させる指示を表すガイドを表示させる制御手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、撮像画像に基づいてジェスチャ操作を認識する装置の操作性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】情報処理装置１００を設置したテーブルトップインタフェースの外観とハードウェア構成及び機能構成を表すブロック図。
【図２】ハンドジェスチャを行う手の位置と本発明に係るガイド表示の関係の例を表す図。
【図３】ハンドジェスチャ認識処理の流れの一例を表すフローチャート。
【図４】ガイド表示処理の流れの一例を表すフローチャート。
【図５】抽出される手領域と表示されるガイドの一例を表す図。
【図６】基準値設定処理及びノイズ学習処理の流れの一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明に係る実施形態の情報処理を、図面を参照して詳細に説明する。なお、実施形態に記載する構成は例示であり、本発明の範囲をそれらの構成に限定する趣旨のものではない。
【００１２】
（第１の実施形態）
本実施形態では、ジェスチャに用いられるユーザの手の部位のうち一部が認識されている場合に、手の移動を促すガイダンスを提示するテーブルトップインタフェースシステムを説明する。なお、ジェスチャ操作は、ユーザの手に限らず、例えばスタイラスやその他の物体を用いて入力されることも可能であるが、以下では手が用いられる場合を例に挙げて説明する。
【００１３】
図１（ａ）は、本実施形態に係る情報処理装置１００を設置したテーブルトップインタフェースシステムの外観の一例である。また、位置情報を定義する座標軸も示す。操作面１０１は、テーブルトップインタフェースの操作面部分であり、ユーザは、操作面１０１をタッチすることでタッチ操作が可能である。本実施形態では、操作面１０１の上方に、操作面を見下ろすようにして距離画像センサ１０２が設置される。距離画像センサ１０２が撮像する距離画像の画素値には、距離画像センサ１０２から操作面１０１までの距離が反映される。撮像された距離画像は、情報処理装置１００に入力画像として入力される。情報処理装置１００は、入力画像を解析することでユーザの手１０６の三次元位置を取得し、操作を認識する。本実施形態では、赤外光の反射パターン（または反射時間）によって距離情報を取得する方式のセンサを利用する。また本実施形態では、可視光カメラ１０３もまた、上方から操作面１０１を見下ろすようにして設置される。情報処理装置１００は、可視光カメラ１０３を制御して、操作面１０１に載置された物体を撮像してその読み取り画像を得る書画カメラとして機能することができる。情報処理装置１００は、可視光カメラ１０３によって得られる可視光画像や、距離画像センサ１０２によって得られる距離画像に基づいて、操作面１０１上の空間に存在する物体を検出し、さらに識別する。物体には、例えば、ユーザの手１０６、紙媒体や本などのドキュメントやその他の立体物を含む。ただし、図１（ａ）のシステムの場合、距離画像センサ１０２と可視光カメラ１０３の画角には、操作面周囲に存在するユーザの頭部は含まれない。また、操作面１０１を上方からみた画像が得られる構成であれば、必ずしも距離画像センサ１０２及び可視光カメラ１０３自体が上方に設置されている必要はなく、例えばミラーを用いて反射光を撮像するように構成しても構わない。
【００１４】
プロジェクタ１０４は、操作面１０１の上面に画像の投影することで本実施形態の表示部として機能する。本システムでは、ユーザは投影された画像１０５に対して、タッチやジェスチャによる操作を行うことができる。本実施形態では、ユーザの手１０６の検出および操作の認識に距離画像を用いる。なお、可視光画像からの肌色領域を検出するなどしても画像から人の手を検出することも可能である。本実施形態の場合は、距離画像を用いることで、プロジェクタ１０４の投影光の影響でユーザの手の色が変化しても影響を受けにくいという利点がある。また、本システムの表示装置としては、プロジェクタ１０４に替えて、操作面１０１を液晶ディスプレイとするなどとすることもできる。
【００１５】
本実施形態では、操作面１０１上の三次元空間に図１（ａ）に示すｘ、ｙ、ｚ軸を点１０７を原点として定義し、位置情報を扱う。ここでは、テーブル上面に平行な二次元がｘ、ｙ平面、テーブル上面に直交し上方に伸びる方向をｚ軸の正方向としている。本実施形態では、操作面上面と距離画像センサ１０２の検出可能領域（画角）は一致した矩形であるとする。そして、操作面の４辺付近の領域のうち、ｘ軸と重なる長辺を「下端」、その逆側の長辺を「上端」、ｙ軸と重なる部分を「左端」、その逆側の短辺を「右端」と呼ぶ。これら４つの領域は、ｘｙ平面内の領域として座標で定義される。
【００１６】
なお、本実施形態では、ｚ軸方向は、世界座標系での高さ方向に相当する。しかしながら本実施形態は、ホワイトボードや壁面など、水平ではない面を操作面１０１とするシステムにも適用可能である。なお本実施形態では、可視光カメラ１０３、距離画像センサ１０２、プロジェクタ１０４はそれぞれ情報処理装置１００に入出力用のインタフェースを介して接続された外部装置であり、情報処理装置１００と協同して情報処理システムを構成する。ただし、これらのデバイスは、情報処理装置１００に一体化されていても構わない。
【００１７】
図１（ｂ）は、本実施形態に係る情報処理装置１００を含むテーブルトップインタフェースのハードウェア構成図である。ＣＰＵ１１０は、情報処理装置１００の制御プログラムを実行して各種処理のための演算や論理判断などを行い、システムバス１１４に接続された各構成要素を制御する。ＲＯＭ１１１は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１１０による制御のためのプログラムを格納する。ＲＡＭ１１２は、ＣＰＵ１１０のワークエリア、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを提供するために用いられる。記憶装置１１３は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクや接続された外部記憶装置などであり、情報処理装置１００が利用する各種データを格納する。本実施形態は、ＣＰＵ１１０が、ＲＯＭ１１１に格納されたプログラムをＲＡＭ１１２に展開し、後述する各フローチャートに従った処理を実行することで実現されている。ただし、複数の中央処理装置を組み合わせて処理を実行させても構わない。また例えば、ＣＰＵ１１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、後述するフローチャートの各処理に対応させた演算部や回路を構成すればよい。
【００１８】
図２は、ハンドジェスチャを行う手の位置と本発明に係るガイド表示の関係の例を表す図である。領域２００の矩領域形が、距離画像センサ１０２の検出範囲である。本実施形態では、領域１００は、操作面１０１の上面と一致するとする。領域２００内で手を動かすと、その動きに応じてハンドジェスチャが認識される。ただし、領域２００の境界は、ユーザには視認されない。領域２０１は、プロジェクタ１０４による投影可能な範囲を表す矩形領域である。このように、投影範囲である領域２０１は、ジェスチャが検出可能な範囲である領域２００に包含される。領域２００の境界を視認できないユーザは、投影範囲の領域２０１の周囲で手を動かしているつもりで、検出範囲２００から手を出してしまう場合がある。例えばＡ１，Ａ２，Ａ３，Ａ４は、ユーザＡが、テーブルの下端付近で手を動かしているため、手の一部は距離画像センサ１０２の検出可能領域２００の境界より外で動かされている状態を表している。この位置で手を動かされた場合、距離画像センサ１０２の検出領域２００には、手の指先しか含まれない。ここでジェスチャ操作が認識されるためには、手全体が画像から抽出されることが必要であるとすると、ハンドジェスチャは認識できない。一方、Ｂ１，Ｂ２，Ｂ３，Ｂ４は、ユーザＢが距離画像センサ１０２の画角の右端で手を動かした時の状態を表している。このとき、Ｂ１〜Ｂ４は、手全体が領域２００内に入っているので、情報処理装置１００は正しくハンドジェスチャ認識を行うことができる。
【００１９】
本実施形態では、ユーザＡに対して、ユーザの手の一部がジェスチャ検出可能な領域２００内に無いことが、ジェスチャ操作が検出できない理由であり、手を移動させることで、ジェスチャ認識されることを示すため、ガイド表示２０３を表示する。特に本実施形態では、ガイド表示２０３をユーザの手を模した画像を用いて表示する。ユーザは、ガイド表示２０３に手を重ねるように移動させることで、ジェスチャ操作が認識可能な環境を得ることができる。
【００２０】
次に、図３、図４を参照して、上述したガイド表示を行うための本実施形態の具体的な処理の流れを説明する。まず、図３は、本実施形態に係るハンドジェスチャ認識処理の流れの一例を表したフローチャートである。
【００２１】
本実施形態では、情報処理装置１００が起動されたことに応じて、図３のフローチャートの処理が開始され、所定の周期で繰り返される。ただし、特定のアプリケーションが実行された場合などに開始される処理としても構わない。本実施形態では、処理が繰り返される周期は、距離画像センサ１０２の撮像映像のフレームレートに一致するとする。
【００２２】
ステップＳ３００において、ＣＰＵ１１０は、ＲＡＭ１１２のワーク領域を初期化し、距離画像センサ１０２によって撮像された距離画像を、入力画像として取得し、ＲＡＭ１１２に保持する。
【００２３】
ステップＳ３０１において、ＣＰＵ１１０は、取得された入力画像から、手領域を抽出し、その情報をＲＡＭ１１２に保持する。本実施形態では、入力として取得した距離画像の各画素が示すｚ方向の座標値に対して閾値処理を行うことで、操作面１０１よりも高さが高い座標値を持つ領域を、手領域として抽出する。ただし、抽出方法はこれに限られず、例えば別途撮像された可視光画像のＲＧＢ値を解析し、肌色領域に対応する部分を抽出する等してもよい。
【００２４】
ステップＳ３０２において、ＣＰＵ１１０は、抽出された手領域を対象として、ジェスチャ認識処理が可能かを判定する。本実施形態では、予め記憶装置１１３などに記憶されたジェスチャ辞書に格納された手画像の軌跡を表すモデルと、入力画像から抽出された手領域の形状及び移動軌跡をマッチングすることによって、ジェスチャ操作を認識する。従ってステップＳ３０２は、抽出された手領域の形状と、辞書に格納された情報とのマッチング処理に基づいて、手全体を含む形状かを判定する。認識処理が可能であると判定された場合は、ステップＳ３０３に進み、ジェスチャ認識処理が実行される。ジェスチャ認識処理では、上述した通りのマッチング処理により、入力されたハンドジェスチャを特定し、特定されたジェスチャに対応付けられた処理を実行する。
【００２５】
一方、認識処理が可能ではないと判定された場合、処理はステップＳ３０４に進む。この場合には、例えば、抽出された手領域に、指の部分だけしか含まれない場合が含まれる。ただし本実施形態では、抽出された手領域の面積、形状が手全体であるとみなせるものであれば、認識可能と判定し、それ以外は認識不可能と判定する。手の移動速度が高速であると、手がぶれて面積が大きくなる場合もあるので、手の移動速度を検出して、面積の閾値は可変とするような構成を加えても良い。
【００２６】
ステップＳ３０４では、ＣＰＵ１１０が、抽出された手領域の面積が、予め定められた基準の範囲内であり、かつ、操作面の４辺に定義された４つの端領域のいずれかに含まれるかを判定する。なお、基準面積の範囲は、距離画像センサ１０２が人の指を検出したときの平均的な大きさに基づいて定められる。範囲外の場合とは、ジェスチャに用いられる人の手の一部（指）だとはみなされないほど小さすぎる場合、あるいは大きすぎる場合である。範囲外の場合、あるいは、４つの端領域に含まれない場合（つまり操作面の中央に存在する場合）は、ステップＳ３０４の判定結果はＮＯとなり、ステップＳ３０８に進む。なお、ステップＳ３０４は手ではないものが写った場合をノイズとして除外するための処理である。ステップＳ３０８では、抽出された手領域をノイズとみなし、抽出された手領域に関する各情報をメモリからクリアして処理を終了する。
【００２７】
ステップＳ３０５では、ＣＰＵ１１０は、抽出した手画像が、所定時間の間継続して存在しているかを判定する。具体的には、距離画像センサ１０２が撮像する距離画像の連続する所定数のフレームにおいて、同じ手だとみなされる手領域が抽出され続けているかを判定する。ただし、ノイズの状況などによりあるフレームでは手領域がうまく抽出されない場合も存在するため、連続する所定数のフレームのうち、同じ手だとみなされる手領域が抽出されたフレームの割合が基準より多いことをもって判定しても良い。なお、同じ手だとみなされるか否かは、連続するフレーム間での形状や位置の変化量が小さいことなどから判定可能である。この処理は、ジェスチャ操作が手の動きを検出することで認識されるものであることから、極短い時間だけ手が検出されただけでは、ユーザはジェスチャ操作を入力しようとしているのではないため、ガイド表示の必要はない判断するための処理である。まだ所定時間が経過していない場合は、手領域の情報をＲＡＭ１１２に保持したまま一旦処理を終了し、次のフレームの入力画像を対象として処理を繰り返す。所定時間が経過したと判定された場合は、ステップＳ３０６に進む。
【００２８】
ステップＳ３０６では、ＣＰＵ１１０が、抽出された手領域が、上記の所定時間の間に基準距離を越える移動があったかを判定する。ここで基準距離とは、辞書に格納されたハンドジェスチャの内容に基づいて設定される。ステップＳ３０６の処理は、ジェスチャ操作が手の動きを検出することで認識されるものであることから、手が移動しない場合、ユーザはジェスチャ操作を入力しようとしているのではないため、ガイド表示の必要はない判断するための処理である。移動がない場合は、手領域の情報をＲＡＭ１１２に保持したまま一旦処理を終了し、次のフレームの入力画像を対象として処理を繰り返す。基準距離を越える移動があったと判定された場合は、ステップＳ３０７に進む。ステップＳ３０７では、ＣＰＵ１１０によってガイド表示処理が実行される。
【００２９】
図４は、ステップＳ３０７で実行されるガイド表示処理の流れの一例を表すフローチャートである。ステップＳ４００において、ＣＰＵ１１０は、ＲＡＭ１１２にワーク領域を確保し、初期化する。そして、抽出された手領域の中心位置を表すｘｙ座標を取得する。ここで図５は、抽出される手領域と表示されるガイドの一例を示す図であり、図２の手Ａ１付近の拡大図に相当する。図５（ａ）は、テーブル１０１の下端領域内で、領域２００の境界の内側で手領域５００が検出された状態を示す。手領域の中心位置５０１の座標は（Ｘ１，Ｙ１）と取得されたとする。
【００３０】
ステップＳ４０１において、ＣＰＵ１１０は、抽出された手領域が、操作面上に定義された下端の領域に含まれるか否かを判定する。下端領域に含まれる場合はステップＳ４０２において、ＣＰＵ１１０は、手領域の上（ｙ軸の正の方向）にガイド表示の中心位置の座標を決定する。本実施形態では一例として、ガイド表示２０３として表示する手のイメージ画像の中心座標（Ｘ２，Ｙ２）＝（Ｘ１，Ｙ１＋ｄｙ）と決定する。ｄｙは、平均的な人の手の大きさに基づいて定められる値であって、少なくとも手の縦幅の半分よりは大きい値とする。さらにその時抽出されている手領域の大きさに応じて可変の値としてもよい。ガイド表示の中心位置が決定されたら、処理はステップＳ４０９に進む。なお、ここでｄｙを少なくとも手の縦幅の半分より大きい値とするのは、手の全体が検出可能領域２００の境界の内側へ入るだけの移動促すためには、ユーザの手の現在位置よりも、少なくとも手の縦幅の半分以上ｙ軸方向に移動させる必要があるからである。図５（ｂ）は、図５（ａ）の手領域５００に基づいてガイド表示２０３の中心位置５０３が決定された状態を表す。このように、少なくとも手の縦幅の半分より大きく、境界の内側に手のイメージを提示すれば、ユーザはガイド表示に手を重ねることで、検出可能領域２００内に手全体を挿入できる。
【００３１】
一方、抽出された手領域が、操作面上に定義された下端の領域に含まれないと判定された場合（ステップＳ４０１：ＮＯ）は、ステップＳ４０３に進む。ステップＳ４０３では、抽出された手領域が、テーブル上に定義された上端の領域に含まれるか否かを判定する。上端領域に含まれる場合は、ステップＳ４０４において、ＣＰＵ１１０は、手領域の下（ｙ軸の負の方向）にガイド表示の中心位置の座標を決定する。本実施形態では一例として、ガイド表示２０３として表示する手のイメージ画像の中心座標（Ｘ２，Ｙ２）＝（Ｘ１，Ｙ１−ｄｙ）と決定する。ガイド表示の中心位置が決定されたら、処理はステップＳ４０９に進む。
【００３２】
一方、抽出された手領域が、操作面上に定義された上端の領域に含まれないと判定された場合（ステップＳ４０３：ＮＯ）は、ステップＳ４０５に進む。ステップＳ４０５では、抽出された手領域が、操作面上に定義された右端の領域に含まれるか否かを判定する。右端領域に含まれる場合は、ステップＳ４０６において、ＣＰＵ１１０は、手領域の左（ｘ軸の負の方向）にガイド表示の中心位置の座標を決定する。本実施形態では一例として、ガイド表示２０３として表示する手のイメージ画像の中心座標（Ｘ２，Ｙ２）＝（Ｘ１−ｄｘ，Ｙ１）と決定する。なおｄｘは、平均的な人の手（手首より先）の大きさに基づいて定められる固定値であって、少なくとも掌の横幅の半分よりは大きい値とする。さらにその時抽出されている手領域の大きさに応じて可変の値としてもよい。ここでｄｘを少なくとも掌の縦幅の半分より大きい値とするのは、掌の全体が検出可能領域２００の境界の内側へ入るだけの移動を促すためには、ユーザの手の現在位置よりも、少なくとも掌の横幅の半分以上ｘ軸方向に移動させる必要があるからである。ガイド表示の中心位置が決定されたら、処理はステップＳ４０９に進む。
【００３３】
一方、抽出された手領域が、操作面上に定義された右端の領域に含まれないと判定された場合（ステップＳ４０５：ＮＯ）は、ステップＳ４０７に進む。ステップＳ４０７では、抽出された手領域が、操作面上に定義された左端の領域に含まれるか否かを判定する。左端領域に含まれる場合は、ステップＳ４０８において、ＣＰＵ１１０は、手領域の右（ｘ軸の正の方向）にガイド表示の中心位置の座標を決定する。本実施形態では一例として、ガイド表示２０３として表示する掌のイメージ画像の中心座標（Ｘ２，Ｙ２）＝（Ｘ１＋ｄｘ，Ｙ１）と決定する。ガイド表示の中心位置が決定されたら、処理はステップＳ４０９に進む。
【００３４】
抽出された手領域が、操作面上に定義された左端の領域に含まれないと判定された場合（ステップＳ４０７：ＮＯ）は、ガイド表示は必要ないとして、ここでガイド表示処理は終了する。
【００３５】
ステップＳ４０９において、ＣＰＵ１１０は、決定された中心座標に合わせて、記憶装置１１３等に予め記憶された掌のイメージをガイド表示２０３として表示するための描画データを、プロジェクタ１０４に出力する。そして、ガイド表示処理、及びハンドジェスチャ認識処理を終了する。
【００３６】
以上第１の実施形態によれば、ユーザがハンドジェスチャを入力しようと手を動かした時に、該手の一部がジェスチャの検出可能領域に含まれないことが原因でジェスチャ操作が認識不能な場合、ユーザに適切な位置まで手を移動することを促すことができる。従って、ユーザは、意図通りの動作が実行されない理由を把握した上で、ガイドに従うことで、本来の目的を達成することが容易となる。
【００３７】
＜第１の実施形態の変形例１＞
第１の実施形態には、以下のような変形を加えることができる。変形例１では、距離画像センサ１０２、可視光カメラ１０３、プロジェクタ１０４の設置状況に応じて、上述した第１実施形態のジェスチャ認識処理で用いる面積や距離の基準値を変更する処理を加える。
【００３８】
図６（ａ）のフローチャートは、変形例１にかかる基準値変更処理の流れの一例を表すフローチャートである。変形例１では、ユーザが距離画像センサ１０２、可視光カメラ１０３、プロジェクタ１０４の配置や設置状況を変更した場合に、情報処理装置１００を起動し距離閾値設定機能を呼び出されたことに応じて、図５のフローチャートの処理が開始されるとする。
【００３９】
ステップＳ６００では、ＣＰＵ１１０が、プロジェクタ１０４を制御して、所定のスタート画像をテーブル１０１上に投影させる。なお、スタート画像には、画像サイズ等を測る為の特定のパターンが含まれる。ステップＳ６０１では、ＣＰＵ１１０が、可視光カメラ１０３を制御して、スタート画像が投影された操作面１０１を撮影させ、撮像画像を取得する。ステップＳ６０６において、ＣＰＵ１１０は、可視光カメラ１０３から得られた撮像画像と、必要に応じてユーザ入力された設置状況を表すパラメータに基づいて、投影画像の解像度と、操作面上の物理サイズの対応関係を取得する。例えば、特定パターンの１ドットが、撮影映像では何ｍｍ相当として撮像されるかに基づく算出を行う。設置状況によっては、座標軸毎に対応関係を取得する。
【００４０】
ステップＳ６０３において、ＣＰＵ１１０は、取得された対応関係と、辞書に格納された手のモデルサイズとに基づいて、図３のフローチャートのステップＳ３０４、及びステップＳ３０６で用いられる基準値を設定し、処理を終了する。例えば、撮像画像の解像度１ドットが物理的には０．３ｍｍに対応すると算出されている場合、基準距離が、１０ｃｍと辞書登録されているのであれば、ステップＳ４０６では画像内で３３３ドットを越える移動が検出されたかを判定することになる。
【００４１】
＜第１の実施形態の変形例２＞
変形例２では、ユーザの意図に反してガイド表示を行ってしまった場合に、ユーザ指示を受け付けることでノイズ画像を学習することで、その後の処理の精度を向上させる。ここでは特に、距離画像センサ１０２や操作面１０１の設置状態に応じて、定常的に出現してしまうノイズを、学習することを目的としている。また、手領域の検出を可視光カメラ１０３の撮像画像から色に基づいて抽出する場合は、環境光・反射光などの影響を学習することが可能となる。ただし、変形例２に係る情報処理装置では、ステップＳ３０８のノイズ処理において、手領域としての処理の対象ではなくなった領域の特徴を、ノイズ情報としてＲＡＭ１１２に蓄積するとする。
【００４２】
図６（ｂ）は、変形例２に係るノイズ学習処理の流れの一例を示すフローチャートである。本実施形態では、ガイド表示が表示されたとき（ステップＳ４０９）、そのガイド表示に対して特定操作が入力されたことに応じて、ノイズ学習処理が開始されるとする。なお、特定操作とは、例えばタップ操作や、フリック操作、あるいはガイド表示をこすって消そうとするような操作など、任意に設定されればよい。
【００４３】
ステップＳ６１０において、ＣＰＵ１１０は、ＲＡＭ１１２に蓄積されているノイズ情報を取得する。ステップＳ６１１では、ノイズの特徴を取得する。具体的には、ノイズと判断された領域の出現パターンの面積、位置、出現時間隔を取得する。ステップＳ６１２において、ＣＰＵ１１０は、取得した特徴をノイズ条件として保持し、処理を終了する。
【００４４】
変形例２では、例えばハンドジェスチャ認識処理のステップＳ３０１において手領域を検出する際には、保持されたノイズ条件を参照することで、手領域としての抽出精度を向上させることができる。
【００４５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
１００  情報処理装置、１０２  距離画像センサ、１０３  可視光カメラ、１０４  プロジェクタ
【図１】
2016110517.tif 000003
【図２】
2016110517.tif 000004
【図３】
2016110517.tif 000005
【図４】
2016110517.tif 000006
【図５】
2016110517.tif 000007
【図６】
2016110517.tif 000008