(57)【要約】【課題】  距離画像センサを有する情報処理装置において、ユーザの手や物体の位置が変化していないにも関わらず、距離画像センサによる検出結果に急峻な変化が生じている場合、急峻な変化をユーザによる操作と判定して処理を実行することを防ぐことを目的とする。【解決手段】  操作面に画面を表示する情報処理装置であって、前記操作面方向の画像を撮像する撮像部と、撮像された画像に基づいて前記撮像部から被撮像物までの距離情報を取得する第１取得手段と、前記操作面と物体の距離に基づいてユーザの操作を認識する認識手段と、前記第１の取得手段により順次取得された複数の異なる画像に基づく距離情報を用いて、前記画像の所定の領域における距離の変化量を取得する第２の取得手段と、を有し、前記認識手段は、第２の取得手段により取得された変化量が所定の条件を満たす場合に、前記ユーザの操作の認識しないことを特徴とする。【選択図】  図３
2018055257.tif 000002
【特許請求の範囲】
【請求項１】
操作面に画面を表示する情報処理装置であって、
前記操作面方向の画像を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、前記撮像部から被撮像物までの距離情報を前記画像内の領域毎に取得する第１取得手段と、
前記第１の取得手段により取得された距離情報から計算される前記操作面と物体の距離に基づいてユーザの操作を認識する認識手段と、
前記第１の取得手段により順次取得された複数の異なる画像に基づく距離情報を用いて、前記画像の所定の領域における距離の変化量を取得する第２の取得手段と、
を有し、
前記認識手段は、第２の取得手段により取得された変化量が所定の条件を満たす場合に、前記ユーザの操作の認識しないことを特徴とする情報処理装置。
【請求項２】
前記所定の領域は第１の領域および第２の領域から構成され、
前記第１の領域において、前記第２の取得手段の取得する変化量が正であり所定の大きさ以上である画素の数を記憶する第１の記憶手段と、
前記第２の領域において、前記第２の取得手段が取得する変化量が負であり所定の大きさ以上である画素の数を記憶する第２の記憶手段と、を有し、
前記所定の条件は前記第１の記憶手段の記憶する画素の数および前記第２の記憶手段の記憶する画素数がともに所定の数よりも多いことであることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記所定の領域において、前記第２の取得手段により取得される変化量が所定の符号であり所定の大きさ以上である画素の数を記憶する記憶手段と、を有し、
前記所定の条件は前記記憶手段に記憶される前記画素の数が所定の数よりも多いことであることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記情報処理装置は、前記操作面に画面を投影する投影手段を有することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
【請求項５】
前記認識手段は前記第１の取得手段により取得される距離情報に基づき、前記操作面と撮像領域の物体の距離が所定の距離よりも離れている領域を検出することを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
前記認識手段は、前記第２の取得手段により取得される変化量が所定の条件を満たさない場合、前記操作面から第１の距離よりも離れている領域を検出し、前記距離情報の変化量が所定の条件を満たす場合、前記第１の距離よりも大きな値である第２の距離よりも離れている領域を検出することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記第２の距離の大きさは前記第２の取得手段により取得される変化量の大きさの最大値よりも大きいことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
操作面に画面を表示する情報処理装置であって、
前記操作面方向の画像を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、前記撮像部から被撮像物までの距離情報を前記画像内の領域ごとに取得する第１の取得手段と、
前記第１の取得手段により取得された距離情報から計算される前記操作面と物体の距離に基づいてユーザの操作を認識して前記ユーザの操作に対応する処理を実行する実行手段と、
前記第１の取得手段により順次取得された複数の異なる画像に基づく距離情報を用いて、前記画像の所定の領域における距離情報の変化量を取得する第２の取得手段と、を有し、
前記実行手段は第２の取得手段により取得された変化量が所定の条件を満たす場合に、前記ユーザの操作を認識して前記ユーザの操作に対応する処理を実行しないことを特徴とする情報処理装置。
【請求項９】
撮像部を有する情報処理装置の制御方法であって、
操作面に画面を表示する表示ステップと、
前記撮像部を用いて前記操作面方向の画像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像に基づいて、前記撮像部から被撮像物までの距離情報を前記画像内の領域毎に取得する第１の取得ステップと、
前記第１の取得ステップにより取得された距離情報から計算される前記操作面と物体の距離に基づいてユーザの操作を認識する認識ステップと、
前記第１の取得ステップにおいて順次取得した複数の異なる画像に基づく距離情報を用いて、前記画像の所定の領域における距離情報の変化量を取得する第２の取得ステップと、
を有し、
前記認識ステップは、前記第２の取得ステップにより取得された変化量が所定の条件を満たす場合に、前記ユーザの操作の認識しないことを特徴とする情報処理装置の制御方法。
【請求項１０】
撮像部を有する情報処理装置の制御方法であって、
操作面に画面を表示する表示ステップと、
前記撮像部を用いて前記操作面方向の画像を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像に基づいて、前記撮像部から被撮像物までの距離情報を前記画像内の領域毎に取得する第１の取得ステップと、
前記第１の取得ステップにより取得された距離情報から計算される前記操作面と物体の距離に基づいてユーザの操作を認識して前記ユーザの操作に対応する処理を実行する実行ステップと、
前記第１の取得ステップにおいて順次取得した複数の異なる画像に基づく距離情報を用いて、前記画像の所定の領域における距離情報の変化量を取得する第２の取得ステップと、
を有し、
前記実行ステップは、前記第２の取得ステップにより取得された変化量が所定の条件を満たす場合に、前記ユーザの操作を認識して前記ユーザの操作に対応する処理を実行しないことを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータに請求項９または請求項１０に記載の情報処理装置の制御方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、およびその制御方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
近年では、机や壁など任意の操作面にユーザインタフェース（以下、ＵＩ）を投影し、机に投影されたＵＩに対してタッチやリリースなどのユーザの指先の動きで操作を行うことができる情報処理装置が提案されている。
【０００３】
上記のような情報処理装置においては、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式等の距離画像センサを用いて、距離画像センサと操作面との間に存在する手や物体の距離を検出し、操作を受付ける。
【０００４】
情報処理装置は、距離画像センサの撮像した画像から距離画像センサから撮像物までの距離を求め、操作面と操作を行う指先との間の距離を取得する。その大きさに基づいてユーザの指先や物体が操作面に接触しているかを判定する。
【０００５】
たとえば、操作面と、ユーザの指先の距離に所定の閾値を設ける。ユーザの指先と操作面の距離が所定の閾値よりも小さければ、操作面がタッチされている状態であり、閾値よりも大きければ操作面がタッチされていない状態であるとする（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１２８９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
距離画像センサの設置環境や周囲の温度変化等により、距離画像センサの検出結果に急峻な変化が生じる場合がある。このような急峻な変化は、距離画像センサの撮像領域内の所定の領域で発生しやすい。たとえば、ある距離画像センサでは、距離画像センサにより撮像される画像の左右端の領域において上記のような急峻な変化が発生しやすい。
【０００８】
距離画像センサに上記のような急峻な変化が生じた場合、実際にはユーザの手や物体の位置が変化していなくても、情報処理装置がユーザの手や物体の位置が変化したと判定し、タッチ操作やリリース操作を受付けた場合の処理を実行してしまうことがある。
【０００９】
たとえば、ユーザの手が操作面から所定の距離以上離れていたにも関わらず、情報処理装置がユーザの手が操作面に接触したと判定し、タッチ操作を受付けた時の処理を実行してしまう。また、ユーザが操作面に指先を接触させたままの状態であったにも関わらず、ユーザの手が操作面から離れたと情報処理装置が判定し、リリース操作を受付けたときの処理をしてしまい、操作面に表示されている表示が変わってしまうことがある。
【００１０】
本発明は、ユーザの手や物体の位置が変化していないにも関わらず、距離画像センサによる検出結果に急峻な変化が生じている場合、急峻な変化をユーザによる操作と判定して処理を実行することを防ぐことを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するための、本発明は、操作面に画面を表示する情報処理装置であって、前記操作面方向の画像を撮像する撮像部と、前記撮像部により撮像された画像に基づいて、前記撮像部から被撮像物までの距離情報を前記画像内の領域毎に取得する第１取得手段と、前記第１の取得手段により取得された距離情報から計算される前記操作面と物体の距離に基づいてユーザの操作を認識する認識手段と、前記第１の取得手段により順次取得された複数の距離情報に基づき、前記画像の所定の領域における距離の変化量を取得する第２の取得手段と、を有し、前記認識手段は、第２の取得手段により取得された変化量が所定の条件を満たす場合に、前記ユーザの操作の認識しないことを特徴とする。
【発明の効果】
【００１２】
本発明に係る情報処理装置は、ユーザの手や物体の位置が変化していないにも関わらず、距離画像センサによる検出結果に急峻な変化が生じている場合、急峻な変化をユーザによる操作と判定して処理を実行することを防ぐことができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の情報処理装置を利用するシステムの外観の一例を表す図である。
【図２】第１実施形態の情報処理装置のハードウェア構成および、機能構成の一例を表すブロック図である。
【図３】第１実施形態におけるタッチ入力認識処理の流れの一例を表すフローチャートである。
【図４】第１実施形態における補正値画像の計算する処理の流れの一例を表すフローチャートである。
【図５】第１実施形態における距離画像の補正処理と補正値画像の計算処理のプロセスの一例を表す図である。
【図６】第１実施形態における変化量判定画像の計算処理のプロセスの一例を表す図である。
【図７】第１実施形態における変化量判定画像内の監視領域の一例を示す図である。
【図８】第１の実施形態における監視領域が二つの場合に所定の変化量の変化が発生しているかを決定する処理の流れの一例を表すフローチャートである。
【図９】第１実施形態における監視領域が一つの場合に所定の変化量の変化が発生しているかを決定する処理の流れの一例を表すフローチャートである。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明に係る実施例の情報処理装置を、図面を参照して詳細に説明する。なお、実施例に記載する構成は例示であり、本発明の範囲をそれらの構成に限定する趣旨のものではない。
【００１５】
また、本実施形態において「タッチ」とは、テーブル等の操作面の表面やそこに投影されたアイテムの表示領域に指先を接触または近接させることにより当該操作面およびアイテムに対する入力を開始する動作である。「リリース」とは、タッチ後の操作面およびアイテムから接触または近接させた指先を離すことにより、当該物体およびアイテムに対する入力を終了する動作である。
【００１６】
第１の実施形態にかかる情報処理装置はタッチからリリースに至る間の指先の位置、動き、速度等に基づいて「タップ」、「ムーブ」、「フリック」等の様々なユーザによる操作を認識することができる。例えば、指先を操作面にタッチした後、操作面に沿った方向にはほぼ動かさずにすぐリリースするという一連の流れの入力は「タップ」と呼ばれる。本実施形態では、タップをＵＩ選択のための入力として認識し、操作面に投影されたアイテムに対するタップを認識し、ユーザに対してフィードバックを行う情報処理装置を例に説明する。情報処理装置はタップによりアイテムが選択されたことを認識し、選択されたアイテムの色を変化させたり、操作面に投影するＵＩを切り替える等してユーザに対してフィードバックを行う。
【００１７】
本実施形態では、操作面にタッチセンサを設けず、机等の任意の物体上の面を操作面としてユーザの操作を認識する。本実施形態では、距離画像センサを用いて距離画像センサから指先やタッチペン、操作面までの距離情報を含む距離画像を取得する。
【００１８】
距離画像とは、各画素の値として、基準となる位置（例えば、撮像部のレンズ中心など）から被撮像物までの、画像の奥行き方向に沿った距離に対応する情報が反映された画像である。本実施形態では、距離画像は画素毎に距離情報を有することして説明する。しかし、距離画像センサの撮像した画像内を複数の領域に分割し、領域毎の距離情報が取得できる方法であればいずれの方法を用いてもよい。本実施形態では距離画像の撮像部としてＴＯＦ方式の距離画像センサを用いることとする。ＴＯＦ方式の距離画像センサは、センサから発したレーザ光が撮像対象物に反射されて戻ってくるまでの時間差（位相差）から距離計測を行う。本実施形態ではＴＯＦ方式の距離画像センサを用いることとして説明するが、距離画像センサから被撮像面までの距離を検出することができるものであればよい。例えば、パターン光投影方式の赤外光センサやステレオカメラを用いることとしてもよい。
【００１９】
本実施形態では、距離画像センサおよびプロジェクタを含む情報処理装置が操作面であるテーブルに投影表示したＵＩをユーザが片手の指先によりタップする場合を例に説明する。
【００２０】
情報処理装置に搭載された距離画像センサの撮像する距離画像に基づいてユーザの操作が認識されるとする。撮像部は距離画像センサ、操作面はプロジェクタがＵＩを投影するテーブル、撮像部と操作面の間に存在する物体はユーザの手である。なお、以下では、ユーザの手によって操作される場合を例に説明するが、スタイラスやロボットアームなどの物体によって操作されることとしてもよい。また、撮像部と操作面の間に存在する物体として、手以外の物体がテーブル上に載置される場合にも適用可能である。また、操作面はテーブルに限らず、操作面を直立したスクリーンやホワイトボード等とし本発明を適用することも可能である。
【００２１】
［情報処理装置の外観］
図１は、本実施形態に係る情報処理装置１００の外観の一例である。３次元空間内の位置情報を定義する世界座標系の座標軸は図１に示すように設定される。
【００２２】
操作面１０１は、プロジェクタ１０４がＵＩ画像１０５を投影するテーブル部分であり、ユーザは操作面１０１に対して手１０２の指先でタッチおよびリリースをすることでタップを行う。
【００２３】
本実施形態では、操作面１０１の上方に、操作面方向を撮像するよう距離画像センサ１０３が設置される。距離画像センサ１０３は所定時間毎に距離画像センサから被撮像物までの距離を示す距離情報を含む距離画像を撮像し、撮像される距離画像の奥行き方向に関する情報がタップの認識に利用される。
【００２４】
情報処理装置１００は、撮像した距離画像から操作面１０１よりも所定の距離以上前景となる領域を抽出することにより、操作面１０１上の空間に存在するユーザの手１０２を検出する。本実施形態では、上述の操作面１０１よりも所定の距離以上前景となる領域を手領域とする。
【００２５】
さらに、撮像した距離画像から検出される手１０２に相当する手領域のうち、指先に相当する座標および距離を算出し、それらに基づき世界座標系における指先の位置を計算する。
【００２６】
本実施形態では、ユーザは投影されたＵＩ画像１０５に含まれるアイテム１０６に対してタップを行う。情報処理装置が距離画像センサ１０３の撮像する画像に基づいて、タップ操作を検出した場合に、プロジェクタ１０４は投影しているアイテムの色を変化させたり、画面を遷移させたりする。
【００２７】
なお、操作面１０１と距離画像センサ１０３の位置関係は操作面１０１を上方から見た画像が得られる構成であればよい。そのため、距離画像センサ１０３が操作面１０１の上方に設置されている構成でなくてもよい。例えば、操作面１０１の上方に設置されたミラーを設置し、下方からミラーを撮像するように構成することで、操作面１０１を上方から見た画角の画像が得られるようにしてもよい。
【００２８】
プロジェクタ１０４についても距離画像センサ１０３と同様に、操作面１０１に投影を行うことのできる構成であればよく、プロジェクタ１０４が操作面１０１の上方に設けられていなくてもよい。例えば異なる方向に向けて投影された投影光を、ミラーなどを利用して操作面１０１に反射させて投影を行うこととしてもよい。
【００２９】
また、手領域の検出の精度を上げるために、可視光センサや赤外センサを操作面１０１の上方に設置するとしてもよい。可視光センサによって撮像された画像中の肌色領域を抽出し利用することにより、手領域の検出精度が向上する場合がある。肌色抽出を行う際には、プロジェクタ１０４が投影表示するＵＩ画像１０５は、色調や光量を制限することが好ましい。また、プロジェクタ１０４の投影周期と可視光センサの撮像周期とを同期して、ユーザが視覚的に確認できないレベルで高速に投影と撮像を切り替えることで、投影光の影響を受けずに肌色抽出による手領域検出を行うことも可能である。また、赤外センサによって撮像された赤外画像に基づき、たとえば操作面１０１の輝度と大きく異なる画素を手領域として検出することも可能である。
【００３０】
［装置の構成］
図２（ａ）は、本実施形態に係る情報処理装置１００のハードウェア構成図である。１０７は情報処理装置１００全体を制御する制御部である。
【００３１】
中央処理ユニット（ＣＰＵ）２００は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０１や記憶装置２０３に格納されたＯＳやプログラムを実行して、各種処理の演算や論理判断などを行い、システムバス２０４に接続された各構成を制御する。ＣＰＵ２００が実行する処理には、後述する距離画像の補正処理やタッチ入力の認識処理などがある。
【００３２】
記憶装置２０３は、ハードディスクドライブや各種インタフェースによって接続された外部記憶装置などであり、実施形態の補正処理・認識処理にかかるプログラムや各種データを記憶する。
【００３３】
距離画像センサ１０３は、ＣＰＵ２００の制御に従い、操作面１０１と操作面１０１上のユーザの手１０２を含む空間の距離画像を撮像し、撮像した距離画像をシステムバス２０４に出力する。本実施形態では、距離画像の撮像方法として、環境光や操作面１０１上の投影表示による影響が小さい赤外光を利用する方式を基に説明するが、視差方式などを利用することとしてもよい。
【００３４】
プロジェクタ１０４は、ＣＰＵ２００の制御に従い、操作面１０１に操作対象となるアイテム１０６を含むＵＩ画像１０５やタップ操作に対するフィードバックを投影表示する。
【００３５】
図２（ｂ）は、本実施形態における情報処理装置１００の機能構成の一例を示すブロック図である。各機能部は、ＣＰＵ２００が、ＲＯＭ２０１に格納されたプログラムをＲＡＭ２０２に展開し、後述する各フローチャートに従った処理を実行することで実現される。図２（ｂ）に示される各機能部の処理を演算部や回路を用いて実行することとしてもよい。
【００３６】
距離画像取得部２１０は、距離画像センサ１０３によって撮像された距離情報を含む距離画像を、入力画像として順次取得し、ＲＡＭ２０２に記憶する。なお距離画像取得部２１０が取得し、各機能部とやり取りする対象は、実際には画像データに対応する信号であるが、本明細書では単に「距離画像を取得する」として説明する。
【００３７】
補正部２１１は、距離画像取得部２１０によって取得された距離画像の各画素が保持する距離の値を、補正値画像に基づいて補正する。補正値画像とは、各画素に記憶された距離画像の各画素の距離を補正する値を保持する画像であり、その算出方法については後述する。
【００３８】
基準画像取得部２１２は、基準画像を取得する。基準画像は、物体等が置かれていない操作面が撮像された際に取得されると推測される既知の距離画像である。たとえば、距離画像センサのレンズ特性および世界座標系との並進・回転移動パラメータ、さらに操作面であるテーブルが世界座標系のどの平面と一致するかの情報に基づいて予め算出される。基準画像は工場出荷時に予め決められ記憶装置２０３に記憶されていることとする。基準画像はサービスマンやユーザによるメンテナンス操作により更新されることとしてもよい。また、情報処理装置の電源がＯＮになった後、物体の置かれていない平面を距離画像センサ１０３が撮像し、当該距離画像を基準画像としてもよい。
【００３９】
特定部２１３は、距離画像中の手領域を特定する。手領域とは、入力された距離画像のうち、ユーザの手が映っている領域である。本実施形態では、補正後の距離画像と基準画像の差分を画素毎に計算し、操作面１０１よりも第１または第２の閾値よりも前景であるとみなされる画素の集合を手領域として特定する。第１の閾値と第２の閾値については図３にて後述する。
【００４０】
計算部２１４は、距離画像と基準画像の差分を画素毎に算出する。計算部２１４で計算される差分は補正値画像を生成するときに用いられる。
【００４１】
検知部２２０は、撮像領域内の物体やユーザの手の動きがないにも関わらず距離画像センサが検出する、急峻な変化が発生しているかを検出する。検知部２２０が行う処理については図６、図８を用いて後述する。
【００４２】
指先検出部２１６は、補正後の距離画像の手領域から指先に相当する位置を検出する。本実施形態では、手領域の輪郭点を抽出し、その曲率が最も指先らしいとみなされる輪郭点を指先位置として検出する。ただし、指先位置の検出方法はこれに限らず、例えば距離画像の端部と手領域の交点からの距離が最長となる手領域中の画素の位置を指先位置とすることとしてもよい。
【００４３】
座標変換部２１７は、補正後の距離画像に検出された指先位置を世界座標系に変換するための処理を行う。本実施形態では、距離画像センサのレンズ特性および世界座標系との並進・回転移動パラメータを用いることにより、距離画像中の指先位置を世界座標に変換する。距離画像センサの撮像した距離画像に基づく距離補正画像中の指先位置を座標変換するためのパラメータは予め設定されており、工場出荷時に決められた値である。これらの値についてはサービスマンによるメンテナンス等で更新されることとしてもよい。
【００４４】
認識部２１８は、指先位置の世界座標の軌跡に基づき、指先による操作面へのタップ等のユーザの操作を認識する。本実施形態では、指先と操作面との距離が所定距離以下に近づいてから離れるまでの間について、その間の経過時間と操作面に水平な方向への移動量とがそれぞれ所定値以下であることに基づきタップを認識する。本実施形態では、認識部２１８がタップを検出することとして説明する。しかし、認識部２１８がタップ以外のユーザの指先による操作、例えば、ムーブやフリック等を認識することができることとしてもよい。
【００４５】
表示制御部２１９は、ＲＯＭ２０１や記憶装置２０３に記憶された情報を用いて、プロジェクタ１０４で操作面１０１に投影表示するＵＩ画像１０５を生成し、出力する。本実施形態では、所定の位置（たとえば、アイテム１０６の表示領域内）においてタップが認識された場合に、ＵＩ画像１０５の内容を変更して表示する。
【００４６】
ここで、本実施形態における情報処理装置がユーザの操作を認識するための処理の流れについて説明する。
【００４７】
図３は第１実施形態で実行される、タッチ入力の認識処理の流れを示すフローチャートである。プロジェクタ１０４より投影表示されたＵＩ画像１０５内のアイテム１０６をユーザがタップで選択する場合について説明する。本実施形態において情報処理装置は、ユーザがアイテム１０６を選択したことを認識して、プロジェクタ１０４が投影するＵＩ画像１０５を変更する。
【００４８】
以下、図３のフローチャートで表される処理をタッチ入力認識処理と呼ぶ。図３のフローチャートの処理は、情報処理装置の各機能部を構成するＣＰＵ２００がＲＯＭ２０１に記憶されたプログラムをＲＡＭ２０２に展開して実行することで実現される。
【００４９】
本実施形態では、距離画像センサ１０３によって撮像された距離画像が情報処理装置１００に入力されたことに応じて図３のフローチャートの処理が開始される。図３のフローチャートに示す処理は、距離画像センサ１０３から距離画像が入力される毎に繰り返し実行される。タッチ入力認識処理が繰り返される周期は、距離画像センサ１０３の撮像映像のフレームレートに一致する。
【００５０】
距離画像取得部２１０は、距離画像センサ１０３から入力画像として、ＵＩ画像１０５が投影される操作面１０１（テーブル）とユーザの手１０２を含む空間を撮像した距離画像を一定時間毎に取得する（Ｓ３００）。
【００５１】
補正部２１１は、距離画像取得部２１０によって取得された距離画像を、一つ前のフレームに対するＳ３１１で生成された補正値画像に基づいて補正する（Ｓ３０１）。本実施形態では、入力された距離画像の各画素の値に補正値画像の対応する画素の値を加算することで補正を行う。なお、補正の方法はこれに限らず、たとえば乗除算や減算を伴う方法で誤差を補正することも可能である。
【００５２】
なお、Ｓ３０１において、既に記憶された補正値画像に基づいて距離画像を補正するが、情報処理装置が処理を開始して最初のフレームにおいては補正値画像が計算・記憶されていない場合がある。本実施形態では、距離画像をタッチ入力認識処理の開始に先駆けて取得し、取得した距離画像と基準画像との差を補正値画像の初期画像として記憶する。これにより、タッチ入力認識処理の最初のフレームから距離画像を適切に補正することが可能になる。
【００５３】
計算部２１４は、距離画像センサ１０３の検出した距離画像について前フレームの距離画像からの距離画像センサ１０３の検出する距離の時間経過に伴う変化量を示す変化量判定画像を生成する（Ｓ３０２）。変化量判定画像を生成するための処理については、図６を用いて後述する。
【００５４】
検知部２２０はＳ３０２で生成した変化量判定画像を用いて、変化量判定画像の監視領域で所定の変化量の変化が検出されたかを判定する（Ｓ３０３）。Ｓ３０３で所定の変化量の変化が検出された場合、距離画像センサは物体やユーザの手の移動がないにも関わらず、急峻な変化を検出している。Ｓ３０３において検知部２２０が行う処理の詳細は図８を用いて後述する。
【００５５】
はじめに、Ｓ３０３において監視領域内で所定の変化量の変化が検出されなかった場合について説明する。
【００５６】
検知部２２０は、撮像領域内の手領域を特定するための閾値を第１の閾値に設定する（Ｓ３０４）。第１の閾値は距離画像センサ１０３が撮像する画像から物体やユーザの手を検出するときに用いる閾値である。その後、特定部２１３が、Ｓ３０１で補正された距離画像から手領域を特定する（Ｓ３０５）。Ｓ３０５では、特定部２１３が補正後の距離画像から操作面１０１に対して第１の閾値よりも前景にある部分を手領域として特定する。指先検出部２１６は、Ｓ３０５で特定された手領域から指先を検出し（Ｓ３０６）、座標変換部２１７が指先の座標を世界座標系に変換する（Ｓ３０７）。本実施形態では、Ｓ３０６において、手領域の輪郭点を抽出し、輪郭点から指先の形を外挿し、その曲率を求める。曲率を基に最も指先らしいとみなされる輪郭点を特定し、その輪郭点を指先位置として検出する。ただし、指先位置の検出方法はこれに限らず、例えば距離画像の端部と手領域の交点からの距離が最長となる手領域中の画素の位置を指先位置とするなどとしてもよい。
【００５７】
認識部２１８は、指先位置の世界座標の軌跡に基づき、指先による操作面へのタップを認識する（Ｓ３０８）。本実施形態では、指先と操作面との距離が所定距離以下に近づいてから離れるまでの間の経過時間と操作面に水平な方向への移動量とがそれぞれ所定値以下であることに基づきタップを認識する。なお、タップは距離画像センサ１０３の取得した単一の入力画像ではなく複数の連続した入力画像系列において計算された指先位置の軌跡に基づき認識される。ここではタップ操作について説明するが、ムーブやフリックなど他のジェスチャ操作についての認識を行うことができることとしてもよい。
【００５８】
認識部２１８は、タップがＵＩ画像１０５中のアイテム１０６が表示されている領域において認識されたか否かを判定する（Ｓ３０９）。
【００５９】
タップがアイテム１０６の表示領域において認識された場合、表示制御部２１９はプロジェクタ１０４が操作面１０１に投影するＵＩ画像１０５を変更し、投影する（Ｓ３１０）。本実施形態では、ＵＩ画像１０５に含まれる画像の色を変更するものとする。ＵＩ画像１０５の変更はアイテム１０６の色を変更させるだけでなく、アイテム１０６を点灯させたり、表示するＵＩ画像１０５全体を変更し、異なる内容のＵＩ画像１０５をプロジェクタ１０４が投影することとしてもよい。
【００６０】
最後に、計算部２１４が補正後の距離画像および、基準画像取得部２１２により取得される基準画像を用いて次のフレームで用いる補正値画像を生成し、本フレームの距離画像に対するタッチ認識処理を終了する（Ｓ３１１）。Ｓ３１１において、計算部２１４が行う処理については、図４および図５を用いて後述する。
【００６１】
次に、Ｓ３０３において検知部２２０が変化量判定画像の監視領域内で所定の変化量の変化を検出した場合の処理について説明する。
【００６２】
Ｓ３０３において、変化量判定画像中の所定の監視領域内で所定の変化量の変化を検出した場合、検知部２２０は手領域の検出に用いる閾値を第２の閾値に設定する。第２の閾値は第１の閾値よりも大きな値であり、Ｓ３０２で生成された変化量判定画像中の変化量の大きさの最大値よりも大きい値とする。第２の閾値を上記のように設定することにより、物体やユーザの手の移動がないにも関わらず、距離画像センサ１０３が検出した急峻な変化を物体であるとして認識してしまうことを防ぐことができる。
【００６３】
閾値を第２の閾値とした後に、特定部２１３はＳ３０１で補正をした距離画像に対して手領域を検出する（Ｓ３１３）。その後、Ｓ３１１へ進み、補正部２１１が補正値画像を生成し、タッチ入力認識処理を終了する。
【００６４】
Ｓ３０３において所定の変化量の変化が検出される場合には、距離画像センサ１０３の検出結果に物体やユーザの手の移動を伴わない急峻な誤差が生じている。したがって、所定の変化量の変化が生じた場合には操作の認識を行わず、各操作に対応するＵＩ画像の変更を行わない。このようにすることで、ユーザが物体や指先を動かしていないも関わらず発生する距離画像センサの急峻な変化をユーザによる入力であると判定して、情報処理装置が操作面に表示したアイテムに対応する処理を実行してしまうことを防ぐことができる。
【００６５】
［変化量判定画像を生成する処理］
図６を用いて、Ｓ３０２における計算部２１４が変化量判定画像を生成するプロセスを説明する。
【００６６】
変化量判定画像は、前フレームの距離画像、前フレームの手領域、本フレームの距離画像から求められる。
【００６７】
はじめに、計算部２１４は本フレームにおいて距離画像センサ１０３が撮像した画像と、前フレームの距離画像の差を計算する。その後、計算部２１４は各画素の距離の差を算出してできた画像から、前フレームで手領域であった部分をマスクし、変化量判定画像を生成する。一つ前のフレームで手領域であった領域における距離画像から検出される距離の急峻な変化は物体やユーザの手の移動であることが想定される。したがって、一つ前のフレームで手領域であった領域を除く領域について変化量判定画像を生成することで、操作面を撮像する領域の検出結果の変化量を算出することができる。
【００６８】
本実施形態では、一つ前のフレームにおいて手領域であった部分を除いて変化量判定画像を生成した。変化量判定画像の生成方法としては、手領域をマスクした画像を使用せずに、前のフレームの距離画像と現フレームの距離画像から画素毎に差分を算出することとしても良い。
【００６９】
［監視領域での変化量の算出と手領域を特定するための閾値を決定する処理の説明］
次に、Ｓ３０３において、検知部２２０が変化量判定画像に所定の変化量の変化があるかを判定する処理について図７、図８を用いて説明する。
【００７０】
図７は、Ｓ３０２において求められる変化量判定画像と、変化量判定画像中の監視領域を表す図である。図７（ａ）では変化量判定画像６００に対して左右端にひとつずつ、合計２つの監視領域を有している。６０１が第１監視領域であり、６０２が第２監視領域である。第１、第２の監視領域の設定の方法は上記の方法に限らない。図７（ｂ）のように変化量判定画像６００に対して、第１監視領域を６０３、第２監視領域を６０４とすることとしてもよい。監視領域は図７の（ａ）（ｂ）に示す領域に限らず、距離画像センサの撮像領域の物体の移動を伴わない急峻な変化が起こりやすい領域に対応する領域を監視領域として設定することが望ましい。
【００７１】
図８は、図３のＳ３０３において計算部２１４が行う処理の流れを示すフローチャートである。図８に示す処理を実行するためのプログラムは記憶装置２０３に記憶されており、ＣＰＵ２００がプログラムを読み出して実行することで処理を実現する。以下、図８のフローチャートに従って説明する。
【００７２】
検知部２２０は、監視領域内に手領域があるかを判定する（Ｓ７００）。検知部２２０は、本フレームの補正後の距離画像について、前フレームについてＳ３０３の処理を実行した後に求められた閾値を用いて手領域を特定する。検知部２２０は、当該特定された手領域が撮像画像中の監視領域と重複するかを判定する。
【００７３】
検知部２２０が、第１の監視領域６０１、第２の監視領域６０２に手領域が無い場合と判定した場合、距離画像センサ１０３の検出結果に物体やユーザの手の移動が無いにもかかわらず発生する急峻な変化は発生していないと判断する（Ｓ７０４）。この場合、検知部２２０は図３のＳ３０４以降の処理を実行する。
【００７４】
一方、検知部２２０が第１の監視領域６０１、第２の監視領域６０２のいずれかの領域に手領域があると判断した場合、以下の処理を行う。
【００７５】
検知部２２０は、第１監視領域６０１について変化量判定画像から求められる距離の変化量が正の値であり、且つ距離の変化量の大きさが所定の閾値以上である画素の数をカウントする（Ｓ７０１）。変化量判定画像の距離値の変化量の符号が正とは、今回のフレームにおける撮像部から撮像される面までの距離が前フレームにおける撮像部から撮像される面までの距離と比較して長くなっていることを意味する。
【００７６】
次に検知部２２０は、第２の監視領域について変化量判定画像から求められる変化量が負の値で変化量の大きさが閾値以上の画素をカウントする（Ｓ７０２）。ここで、前フレームと今回のフレームの距離値の変化量の符号が負とは、今回のフレームにおける撮像部から撮像される面までの距離が、前フレームにおける撮像部から撮像される面までの距離と比較して短くなっていることを意味する。即ち、検知部２２０は第２の監視領域において、第１の監視領域とは反対方向に所定の大きさ以上の変化が発生しているかを判定する。
【００７７】
検知部２２０は第１監視領域内においてカウントした画素数と、第２検視領域においてカウントした画素数がともに所定の数より多いかを判定する（Ｓ７０３）。所定の数は固定の画素数である。所定の数の決定の仕方はいずれの方法でもよく、例えば、第１および第２の監視領域に含まれる画素の何パーセントという形で決定されてもよい。Ｓ７０３において、少なくとも一方の監視領域において、カウントの数が所定数以下であった場合、検知部２２０は距離画像センサの検出結果に物体の移動を伴わない急峻な変化は発生していないと判定する（Ｓ７０４）。そして、検知部２２０は図３のＳ３０４以降の処理を実行する。
【００７８】
Ｓ７０３においてどちらの領域においてもカウントした画素数がそれぞれの所定数を上回った場合、検知部２２０は距離画像センサの検出結果に物体の移動を伴わない急峻な変化が発生していると判定する（Ｓ７０５）。そして、検知部２２０は図３のＳ３１２以降の処理を実行する。
【００７９】
上述した例では距離値の変化量が第１監視領域において正の値で、大きさが所定の閾値以上の画素の数をカウントし、第２監視領域において距離値の変化量が負の値で大きさが所定の閾値以上の画素の数をカウントすることとして説明をした。第１、第２監視領域においていずれか一方の監視領域における距離値の変化量が正で、他方の監視領域における距離値の変化量が負であればよい。すなわち、第１監視領域において距離値の変化量が負で大きさが閾値以上の画素をカウントし、第２監視領域で距離値の差が正で大きさが閾値以上の画素の数をカウントするとしてもよい。
【００８０】
図８は、変化量判定画像内の所定の２つの領域を監視領域とし、２つの監視領域における距離値の変化量の大きさが所定の閾値を越える画素の数をカウントする場合について説明した。Ｓ３０３において監視領域での変化量を算出する方法は図８に示した方法に限らない。例えば、変化量判定画像内のあるひとつの領域内の距離の変化量を監視し、物体やユーザの手の移動を伴わない距離画像センサの検出結果の急峻な変化を検出することとしてもよい。そのような場合についての処理を図９に示す。図９のフローチャートを用いてとの差分について説明する。
【００８１】
Ｓ７００において、監視領域に手領域があると判断された場合、Ｓ３０２において生成した変化量判定画像に基づき、検知部２２０は変化量が正で、変化量の大きさが所定の閾値以上の画素の数をカウントする（Ｓ８００）。
【００８２】
検知部２２０はＳ８００においてカウントした画素の数が所定の数よりも多いかを判定する（Ｓ８０１）。所定の数とは、たとえば、監視領域に含まれる画素の２５パーセントのように予め決められている数である。検知部２２０はカウントした画素の数が所定の数以下である場合、検知部２２０は距離画像センサの検出結果に物体の移動を伴わない急峻な変化は発生していないと判定する（Ｓ７０４）。そして、検知部２２０は処理を図３のＳ３０４に進め、以降の処理を実行する。一方で、検知部２２０はカウントした画素の数が所定の数よりも多い場合、検知部２２０は距離画像センサの検出結果に物体の移動を伴わない急峻な変化が発生していると判定する（Ｓ７０５）。そして、検知部２２０は処理を図３のＳ３１２にすすめ、以降の処理を実行する。
【００８３】
図９では、監視領域内の画素の距離値の変化量が正の値であり、その大きさが閾値以上である画素をカウントする場合について説明した。Ｓ８０１では、監視領域内の画素の距離値が負であり、変化量が所定の閾値以上である画素をカウントするとしてもよい。さらに、Ｓ８０１において、検知部２２０が変化量判定画像に基づいて、各画素について距離値の変化量の絶対値を求め、距離値の変化量の絶対値が所定の閾値以上の画素の数をカウントすることとしてもよい。
【００８４】
［補正値画像の計算処理の説明］
次に、図３のタッチ入力認識処理のＳ３１１において計算部２１４が実行する処理について図４および図５を用いて説明する。
【００８５】
図５は第１実施形態においてＳ３１１で計算部２１４が行う処理の流れを示す模式図である。
【００８６】
はじめに、図５を用いて補正値画像を計算する流れについて説明する。
【００８７】
計算部２１４は距離画像センサ１０３の取得した距離画像と基準画像の距離値の差をとり、差分画像を生成する。
【００８８】
一方で、補正部２１１は距離画像センサ１０３が今回撮像した距離画像と一つ前のフレームの距離画像を取得したときに算出された補正値画像から本フレームの距離画像の補正を行う。特定部２１３は補正後の距離画像をもちいて、操作面１０１からＳ３０３の処理を実行した後にもとめられた閾値以上前景にある領域を手領域として特定する。
【００８９】
計算部２１４は差分画像と手領域を用いて、差分画像中の手領域以外の領域について、距離画像と基準画像の差分を相殺するような補正値画像を生成する。このとき、手領域については手領域でない部分の補正値に基づいて近似を行い、補正値画像を算出する。手領域の補正値画像の算出の方法は上記の方法に限らない。手領域については、１フレーム前の補正値画像と同様の補正値を用いることとしてもよい。その後、補正部２１１は生成した補正値画像をＲＡＭ２０２に記憶する。
【００９０】
上記のようにすることで、補正値画像を生成することができる。ここで生成された補正値画像は次のフレームの距離画像について補正を行う際に用いられる。
【００９１】
図４を用いて補正値画像を計算するための処理について説明する。図４は第１実施形態の補正値画像の計算処理を表すフローチャートである。図４のフローチャートの処理は、Ｓ３１３において距離画像中の手領域特定処理が行われたことまたは、Ｓ３１０において操作面１０１に投影されているＵＩ画像が変更されたことに応じて開始される。図４に示すフローチャートの処理に関するプログラムは記憶装置２０３に記憶されており、ＣＰＵ２００がそのプログラムを実行することで処理を実現する。
【００９２】
計算部２１４が、Ｓ３００で取得した距離画像とＳ３０２で取得した基準画像から差分画像を生成する（Ｓ４００）。
【００９３】
計算部２１４は、補正した距離画像とＳ３０５またはＳ３１３において特定される手領域を用いて、手領域以外の領域について補正値画像にＳ４００で算出された差分画像を統合する（Ｓ４０１）。計算部２１４はＳ３０１で用いた補正値画像についてＳ３０４またはＳ３１２において決定した閾値を用いて手領域を検出し、手領域以外の領域で各画素の補正値をＳ４００で計算した差分画像に基づいて上書きする。このとき、Ｓ４００の差分画像で検出された差分を相殺するよう、補正値画像の補正値を上書きする。統合の方法は上記の方法に限らない。たとえば、差分画像の画素値と元の補正値画像の画素値との重みづけをして加算することで、突発的なノイズに伴う極端な補正値の変化を抑制することが可能となる。
【００９４】
計算部２１４は、補正値画像の手領域について補正値画像を平面で近似する（Ｓ４０２）。これにより、補正値画像内の画素値の更新されなかった手領域についても補正値を求めることができるようになる。なお、本発明は平面での近似に限らず、たとえば任意の面で近似するとしてもよい。たとえば、距離計測誤差の空間的特性が理論的・経験的に既知である場合には、それに基づいた任意の曲面などで近似することとしてもよい。手領域相当画素の補正値を周辺画素の補正値から補間することで、平面近似により生じる手領域外の補正値の劣化を抑えることが可能である。
【００９５】
補正部２１１は、補正値画像をＲＡＭ２０２に記憶する（Ｓ４０３）。記憶された補正値画像は、次フレームのタッチ入力認識処理におけるＳ３０１の処理で使用される。
【００９６】
また、上述した例では、Ｓ４０１において、手領域を除く領域において補正値画像を統合するとしたが、操作面上にユーザの手以外の物体が存在し得るシステムにおいてはこの限りではない。Ｓ３０４またはＳ３１２においてユーザの手以外の物体領域も距離画像中に特定した上で、Ｓ４０１において手領域および物体領域を除く領域の差分画像を補正値画像に統合する。このようにすることで、物体が存在する場合であっても、補正値画像を正しく計算することが可能である。
【００９７】
本実施形態においては距離画像センサが所定時間毎に撮像する距離画像から求められる変化量判定画像内に監視領域を設け、監視領域内において計測される距離の値の時間経過に伴う変化量が所定の条件を満たすか否かを判定する。上記の判定結果に応じて、距離画像センサの検出結果に物体やユーザの手の移動を伴わない急峻な変化が発生しているかを判定した。距離画像センサの検出結果に物体やユーザの手の移動を伴わない急峻な変化が発生していると考えられる場合に、情報処理装置が操作面に表示中のアイテムに対応する処理を実行しないこととした。このようにすることで、物体やユーザの手の移動がないにも関わらず、距離画像センサの検出結果により操作面に投影されるアイテムに対応する処理が実行されてしまうことを防ぐことができる。
【００９８】
＜その他の実施形態＞
第１の実施形態では、タップ操作を認識する処理を行うよりも前に、距離画像センサに物体やユーザの手の移動を伴わない急峻な変化が発生した場合にユーザの操作の認識を行わない場合について説明した。距離画像センサの検出結果に物体やユーザの手の移動を伴わない急峻な変化が発生した場合に、ユーザの操作を認識し、当該ユーザの操作に対応する処理を実行しないこととしてもよい。
【００９９】
第１の実施形態では、一つの情報処理装置内に距離画像センサ１０３およびプロジェクタ１０４が含まれる場合について説明した。距離画像センサ１０３、プロジェクタ１０４が入出力用インタフェースを介して情報処理装置と接続され、情報処理装置と距離画像センサ１０３、プロジェクタ１０４が協働して処理を行う情報処理システムとしてもよい。
【０１００】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのコンピュータプログラム、及び該コンピュータプログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2018055257.tif 000003
【図２】
2018055257.tif 000004
【図３】
2018055257.tif 000005
【図４】
2018055257.tif 000006
【図５】
2018055257.tif 000007
【図６】
2018055257.tif 000008
【図７】
2018055257.tif 000009
【図８】
2018055257.tif 000010
【図９】
2018055257.tif 000011
【手続補正書】
【提出日】平成29年9月26日(2017.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
平面に画像を表示する表示する情報処理装置であって、
前記平面の上方にある撮像部から前記平面上の複数の点のそれぞれまでの距離情報を取得する第１の取得手段と、
前記第１の取得手段により取得された距離情報と、前記距離情報が取得されてから所定の時間が経過した後に前記第１の取得手段により取得された距離情報を用いて、前記平面上の複数の点のそれぞれにおける前記第１の取得手段により取得された距離情報の変化量を取得する第２の取得手段と、
前記第２の取得手段により取得された変化量に従ってユーザからの入力を受け付ける受付手段と、を有し、
前記受付手段は、前記平面の所定の領域において、前記第２の取得手段により取得された前記変化量が所定の条件を満たしたことを検知して、前記平面に表示された画面へのユーザからの入力を受け付けないことを特徴とする情報処理装置。
【請求項２】
前記所定の領域は第１の領域および第２の領域で構成され、
前記第１の領域において、前記第２の取得手段の取得した前記変化量が正であり所定の大きさ以上である前記平面上の点の数を記憶する第１の記憶手段と、
前記第２の領域において、前記第２の取得手段が取得した前記変化量が負であり所定の大きさ以上である前記平面上の点の数を記憶する第２の記憶手段と、を有し、
前記所定の条件は前記第１の記憶手段に記憶された画素の数および前記第２の記憶手段に記憶された前記平面上の点の数がともに所定の数よりも多いことであることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記変化量が正とは、前記第１の取得手段により取得された距離情報が、前記距離情報が取得されてから所定の時間が経過した後に前記第１の取得手段により取得された距離情報よりも短い距離を示す距離情報であり、
前記変化量が負とは、前記第１の取得手段により取得された距離情報が、前記距離情報が取得されてから所定の時間が経過した後に前記第１の取得手段により取得された距離情報よりも長い距離を示す距離情報であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記所定の領域において、前記第２の取得手段により取得された前記変化量が所定の符号であり所定の大きさ以上である前記平面上の点の数を記憶する記憶手段と、を有し、前記所定の条件は前記記憶手段に記憶された前記平面上の点の数が所定の数よりも多いことであることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記情報処理装置は、前記平面に画面を投影する投影手段を有することを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
前記投影手段は、前記受付手段による入力の受け付けに従って、前記平面に投影される画面を変化させることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記情報処理装置は前記第１の取得手段により取得された距離情報に基づき、前記平面と前記撮像部により撮像されている物体の距離が所定の距離よりも離れている領域を検出する検出手段をさらに有することを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記検出手段は、前記第２の取得手段により取得された前記変化量が所定の条件を満たさない場合、前記撮像部により撮像されている物体が前記平面からの距離が第１の閾値よりも離れている領域を検出し、前記距離情報の変化量が所定の条件を満たす場合、前記撮像部により撮像されている物体が前記平面から前記第１の閾値よりも大きな第２の閾値よりも離れている領域を検出することを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記第２の閾値の大きさは前記第２の取得手段により取得された前記変化量の大きさの最大値よりも大きいことを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
平面に画像を表示する情報処理装置であって、
前記平面の上方にある撮像部から前記平面上の複数の点のそれぞれまでの距離情報を取得する第１の取得手段と、
前記第１の取得手段により取得された距離情報と、前記距離情報が取得されてから所定の時間が経過した後に前記第１の取得手段により取得された距離情報とを用いて、前記平面上の複数の点のそれぞれにおいて、前記第１の取得手段により取得された距離情報の変化量を取得する第２の取得手段と、
前記第２の取得手段により取得された距離情報の変化量に応じて、ユーザの入力を受け付ける受付手段と、
前記受付手段によるユーザ入力の受け付けに従って、前記ユーザ入力に対応する処理を実行する制御手段と、を有し、
前記制御手段は、前記平面の所定の領域において、前記第２の取得手段により取得された変化量が所定の条件を満たしたことを検知して、前記受付手段により受け付けられたユーザの入力に対応する処理を実行しないよう制御することを特徴とする情報処理装置。
【請求項１１】
平面に画像を表示する表示ステップと、
前記平面の上方にある撮像部から前記平面上の複数の点のそれぞれまでの距離情報を取得する第１の取得ステップと、
前記第１の取得ステップにおいて取得された距離情報と、前記距離情報が取得されてから所定の時間が経過した後に、前記第１の取得ステップにおいて取得された距離情報を用いて、前記平面上の複数の点のそれぞれにおいて、前記第１の取得ステップにおいて取得された前記距離情報の変化量を取得する第２の取得ステップと、
前記第２の取得手段により取得された変化量を取得して、前記変化量に従ってユーザからの入力を受け付ける受付ステップと、を有する情報処理装置の制御方法において、
前記受付ステップは、前記平面の所定の領域において、前記第２の取得手段により取得された前記変化量が所定の条件を満たしたことを検知して、前記平面に表示された画面へのユーザからの入力を受け付けないことを特徴とする情報処理装置の制御方法。
【請求項１２】
平面に画像を表示する表示ステップと、
前記平面の上方にある撮像部から前記平面上の複数の点のそれぞれまでの距離情報を取得する第１の取得ステップと、
前記第１の取得ステップにおいて取得された距離情報と、前記距離情報が取得されてから所定の時間が経過した後に、前記第１の取得ステップにおいて取得された前記第２の距離情報を用いて、前記平面上の複数の点のそれぞれにおいて、前記第１の取得ステップにおいて取得された前記距離情報の変化量を取得する第２の取得ステップと、
前記第２の取得手段により取得された距離情報の変化量に応じて、ユーザの入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けられたユーザの入力の受け付けに従って、前記ユーザ入力に対応する処理を実行する制御手段と、を有する画像処理装置の制御方法であって、
前記制御ステップにおいて、前記平面の所定の領域で、前記第２の取得手段により取得された変化量が所定の条件を満たしたことを検知して、前記受付ステップにおいて、受け付けられたユーザの入力に対応する処理を実行しないよう制御することを特徴とする情報処理装置の制御方法。
【請求項１３】
請求項１１または１２に記載の情報処理装置の制御方法をコンピュータが実行するためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記課題を解決するための、本発明は、平面に画像を表示する表示する情報処理装置であって、前記平面の上方にある撮像部から前記平面上の複数の点のそれぞれまでの距離情報を取得する第１の取得手段と、前記第１の取得手段により取得された距離情報と、前記距離情報が取得されてから所定の時間が経過した後に前記第１の取得手段により取得された距離情報を用いて、前記平面上の複数の点のそれぞれにおける前記第１の取得手段により取得された距離情報の変化量を取得する第２の取得手段と、前記第２の取得手段により取得された変化量に従ってユーザからの入力を受け付ける受付手段と、を有し、前記受付手段は、前記平面の所定の領域において、前記第２の取得手段により取得された前記変化量が所定の条件を満たしたことを検知して、前記平面に表示された画面へのユーザからの入力を受け付けないことを特徴とする。