(57)【要約】【課題】３次元ジェスチャ入力とディスプレイ面へのタッチ入力が可能なユーザインタフェースを提供する。【解決手段】本発明に係るユーザインタフェース装置は、透明ディスプレイと、前記透明ディスプレイに画像を出力する画像出力手段と、前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段とを備える。解析手段は、距離画像内の対象物がディスプレイから離れた距離にある場合はジェスチャ認識により入力操作を検出し、対象物がディスプレイに実質的に接触している場合はポインティング操作を入力操作として検出する。【選択図】図４
2012003690.tif 000002
【特許請求の範囲】
【請求項１】
透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出する解析手段と、
を備え、
前記解析手段は、
距離画像内の対象物が前記透明ディスプレイから所定の距離よりも離れている場合は、距離画像内の対象物のジェスチャを認識して入力操作を検出し、
距離画像内の対象物が前記透明ディスプレイから前記所定の距離以内の場合は、距離画像内の対象物と対応する前記透明ディスプレイの位置に対するポインティング操作を入力操作として検出する、
ユーザインタフェース装置。
【請求項２】
前記所定の距離は、実質的に前記透明ディスプレイに接触しているとみなせる距離である、
請求項１に記載のユーザインタフェース装置。
【請求項３】
前記解析手段は、距離画像内の対象物が前記透明ディスプレイから前記所定の距離よりも離れている場合に、前記対象物の形状が所定の形状であるときは、ポインティング操作を支援するためのユーザインタフェース要素を、前記透明ディスプレイに表示する、
請求項１または２に記載のユーザインタフェース装置。
【請求項４】
前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われる、
請求項１〜３のいずれか１項に記載のユーザインタフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像センサを用いたユーザインタフェース装置に関する。
【背景技術】
【０００２】
キーボードやマウスなどの入力装置を用いることなくユーザからの入力を受け付ける技術として、タッチパネルや距離画像センサを用いたユーザインタフェース装置が知られている。
【０００３】
タッチパネルを用いるユーザインタフェースでは、ユーザが指やスタイラスなどでディスプレイパネルに触れることで操作が行われる。タッチパネルの方式には、抵抗膜方式、静電容量方式、光センサ方式、赤外線方式、表面弾性波方式（超音波方式）、電磁誘導方式などが提案されている。抵抗膜方式は最も普及している方式であるが、パネル表面に触れるまで入力を検知できない。一方、静電容量方式や光センサ方式では、対象（指やスタイラス）がパネル表面に触れる前に近接検知を行うことが可能である。ただし、検出可能な距離はパネル表面から数ｃｍ程度であり、奥行きのあるジェスチャ入力（３次元入力）には適さない。
【０００４】
距離画像センサ（３次元カメラ、深度センサなどとも呼ばれる）を用いるユーザインタフェースでは、ディスプレイの前でユーザが手や体などを動かすことでジェスチャによって操作が行われる。距離画像センサは、数十ｃｍから数ｍまでの距離を検知することが可能である。空中でのユーザ動作によって入力操作が可能となるが、画面上のアイコンを選択するような状況ではディスプレイを直接タッチする方が物理的なフィードバックを得られるので、精度の高い入力が行える。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００６／００２６５２１号明細書
【特許文献２】特表２００９−５２８５１４号公報
【特許文献３】特開２０１０−０１５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、３次元ジェスチャ入力と２次元平面（ディスプレイ平面）における入力の両方の利点を兼ね備えたユーザインタフェース装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明ではディスプレイとして透明ディスプレイを採用し、透明ディスプレイの背後から透明ディスプレイ越しに得られる距離画像からユーザの入力操作を検出する。この際、ユーザの指やスタイラスなどの対象物が、透明ディスプレイからある程度離れている場合はジェスチャ入力と解釈し、透明ディスプレイに近づいている場合はパネルに対するタッチ式による入力であると解釈する。
【０００８】
より具体的には、本発明に係るユーザインタフェース装置は、透明ディスプレイと、
前記透明ディスプレイに画像を出力する画像出力手段と、
前記透明ディスプレイの背面に設置され、前記透明ディスプレイ越しに距離画像を取得する距離画像センサと、
前記距離画像センサによって取得される距離画像を解析してユーザの入力操作を検出す
る解析手段と、
を備え、
前記解析手段は、
距離画像内の対象物が前記透明ディスプレイから所定の距離よりも離れている場合は、距離画像内の対象物のジェスチャを認識して入力操作を検出し、
距離画像内の対象物が前記透明ディスプレイから前記所定の距離以内の場合は、距離画像内の対象物と対応する前記透明ディスプレイの位置に対するポインティング操作をユーザの入力操作として検出する。
【０００９】
ここで、上記の所定の距離は、実質的に透明ディスプレイに接触しているみなせる距離とすることが好ましい。すなわち、対象物が完全に透明ディスプレイに触れている場合だけでなく多少離れている場合も、ディスプレイに接触した入力操作と見なすことが好ましい。この所定距離は、たとえば、透明ディスプレイの大きさなどに応じて定めればよい。
【００１０】
このような構成を採用することで、本発明に係るユーザインタフェース装置は、３次元ジェスチャ入力と２次元平面での入力を、タッチパネルを用いることなく距離画像センサだけで実現できる。
【００１１】
また、本発明において、距離画像内の対象物が透明ディスプレイから所定の距離よりも離れている場合に、対象物の形状が所定の形状であるときは、ポインティング動作を支援するためのユーザインタフェース要素を、透明ディスプレイに表示することが好ましい。
【００１２】
ここで、所定の形状は、ポインティング操作を行うための形状であり、たとえば、１本の指だけを伸ばした掌の形状やスタイラスの形状など、尖った形状とすることができる。また、ポインティング動作を支援するためのユーザインタフェース要素の表示とは、メニュー要素などユーザが選択可能な要素の表示であったり、ポインティング位置付近の拡大表示などであったりする。
【００１３】
このように、ユーザがポインティング動作を行う場合に、ユーザが透明ディスプレイに触れる前にポインティング動作のためのユーザインタフェース要素が表示されるので、利便性の高いユーザインタフェースを提供できる。
【００１４】
また、本発明において、前記透明ディスプレイへの画像出力と、前記距離画像センサによる距離画像の取得は交互に行われることが好ましい。
【００１５】
このようにすれば、画像表示の影響を受けることなく距離画像の取得が行える。また、画像出力と距離画像取得の切り替えを十分高速に行えば、表示画像品質を損なうことなく距離画像の取得が行える。
【００１６】
本発明は、上記手段の少なくとも一部を含むユーザインタフェース装置として捉えることができる。また、これらの処理を行う情報入力方法、さらには、これらの方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１７】
本発明によれば、３次元ジェスチャ入力と２次元平面での入力を、タッチパネルを用いることなく実現できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係るユーザインタフェース装置の概要を示す図である。
【図２】本実施形態に係るユーザインタフェース装置の機能ブロックを示す図である。
【図３】本実施形態に係るユーザインタフェースの処理を示すフローチャートである。
【図４】本実施形態に係るユーザインタフェースの処理における距離画像解析処理の詳細を示すフローチャートである。
【図５】ジェスチャ入力領域と接触入力領域を説明する図である。
【図６】ジェスチャ入力領域でスクロール操作に対応するジェスチャ入力をする場合の動作を説明する図である。
【図７】ポインティング操作のジェスチャ入力のために指先を透明ディスプレイに接触させる場合の動作を説明する図である。
【発明を実施するための形態】
【００１９】
本実施形態に係るユーザインタフェース装置の概要を、図１，２を参照して説明する。本実施形態においては、情報処理装置１からの画像出力は、透明ディスプレイ２に表示される。距離画像センサ３は透明ディスプレイ２の背面側に設置され、距離画像の取得は透明ディスプレイ２越しに行われる。
【００２０】
情報処理装置１は、ＣＰＵ，主記憶装置、補助記憶装置、ネットワーク装置などを含むコンピュータである。情報処理装置１は、画像を透明ディスプレイ２に出力する。また、距離画像センサ３を入力装置として利用する。もちろん、距離画像センサに加えて、キーボードやマウス、コントローラ（有線／無線）などを入力装置として備えていてもよい。情報処理装置１は、メモリ上に展開されたプログラムをＣＰＵが実行することで、本明細書において説明する各機能を実現する。
【００２１】
なお、情報処理装置１と透明ディスプレイ２と距離画像センサ３を別体であるとして説明したが、透明ディスプレイ２と距離画像センサ３、または、情報処理装置１と透明ディスプレイ２と距離画像センサ３を一体として構成してもかまわない。
【００２２】
透明ディスプレイ２は、透明状態とデジタル画像の表示状態を切り換え可能な表示装置である。透明ディスプレイとしては、たとえば、ＥＬ素子を用いたＥＬディスプレイ、液晶ディスプレイ等を用いることができる。本実施形態では、透明有機ＥＬディスプレイを用いている。この有機ＥＬディスプレイは、自発光であり、低電力で高輝度、高コントラスト、高視野角であるため表示画像が見やすく、液晶ディスプレイのようにバックライトを必要としないため薄型化が可能という利点がある。透明ディスプレイ２には、情報処理装置１から出力される画像が表示される。
【００２３】
距離画像センサ３は、赤外光などの光パルスを照射し、物体に当たって戻ってくる反射光とその飛行時間を検出することで、物体の形状と距離を計測する。距離画像センサ３が取得した距離画像は、情報処理装置１に入力される。
【００２４】
情報処理装置１の画像出力部１２は、制御部１１によって生成された画像データを透明ディスプレイ２へ出力する。また、距離画像入力部１３は、距離画像センサ３から距離画像を取得する。距離画像解析部１４は、距離画像を解析して情報処理装置１へ対するユーザの入力操作を検出する。距離画像を介した入力操作に従って、制御部１１はプログラムの実行を行う。
【００２５】
制御部１１は、また、透明ディスプレイ２上での画像表示と、距離画像センサ３による距離画像取得のタイミングを制御して、画像表示のための光と距離画像センサの光パルスを時分割で交互に点滅させる。このとき、点滅の時間を人間の目には知覚されない程度に
十分短くすることで、表示画像を損なうことなく、かつ、ディスプレイの真裏から距離センシングのための光パルスを照射することができる。
【００２６】
図３に、本実施形態に係るユーザインタフェース装置が行う処理のフローチャートを示す。ユーザインタフェース装置は、図３に示す処理を繰り返し実行する。ここでは、透明ディスプレイ２が１秒間に３０フレームの画像を表示するものとする。まず、１フレーム分の画像の出力を開始し（Ｓ１）、１／６０秒後に画像出力を停止させる（Ｓ２）。透明ディスプレイ２に画像表示がされていない状態で、距離画像センサ３から距離計測用の光パルスを発光し距離画像を取得する（Ｓ３）。そして、距離画像を解析してユーザからの入力を取得する（Ｓ４）。これらの処理を繰り返すことで、画像の表示とユーザからの入力の受付が同時に行える。なお、ここでは距離画像の解析処理（Ｓ４）を透明ディスプレイ２に画像を表示していない状態で行うとして説明したが、距離画像の取得が画像非表示状態で行われれば十分であり、距離画像の解析は画像表示中に行ってもよい。
【００２７】
なお、距離画像の取得がディスプレイの画像非表示時に行われればよいので、距離画像計測を１フレーム表示のたびにおこなう必要はないし、ディスプレイ表示と距離画像計測の時間を同一とする必要もない。たとえば、透明ディスプレイ２に数フレーム続けて表示した後に、距離画像の取得を１回行うというような動作を採用してもかまわない。
【００２８】
次に、ステップＳ４における距離画像解析処理の詳細について、図４〜図７を参照して説明する。図４は、距離画像解析処理の詳細処理を示すフローチャートである。距離画像解析処理では、まず、取得した距離画像からディスプレイに近づいている対象物（指やスタイラスなど）を抽出する（Ｓ４１）。そして、この対象物との距離から、対象物がジェスチャ入力領域内に位置するか、接触入力領域内に位置するかを判断する（Ｓ４２）。図５に示すように、接触入力領域は、透明ディスプレイ２からの距離がｄ１以下の領域である。ここで、ｄ１は対象物が実質的に透明ディスプレイ２に接触していると見なせる距離である。ジェスチャ入力領域は、透明ディスプレイ２からの距離がｄ１より大きくｄ２以内の領域である。距離ｄ１やｄ２は、ユーザインタフェースの要求や透明ディスプレイの大きさなどにより決定される。距離画像センサ３と透明ディスプレイ２との間の距離がＬである場合は、距離画像において距離Ｌ〜Ｌ＋ｄ１の間に対象物があれば接触入力領域に存在すると判断し、距離Ｌ＋ｄ１〜Ｌ＋ｄ２の間に対象物があればジェスチャ入力領域に存在すると判断する。
【００２９】
距離画像から検出された対象物がジェスチャ入力領域内にある場合は、対象物の形状や動きなどからジェスチャの認識を行う（Ｓ４３）。対象物の形状や動作と入力操作との間の関係は適宜設計により定めればよい。このような関係の一つとして、指先や棒などの尖った形状がポインティング操作に対応づけられる。ステップＳ４３でのジェスチャ認識の結果、対象物の形状や動作がポインティング操作以外であると判定されれば、対象物のジェスチャを入力として処理する（Ｓ４４）。たとえば、開いた手を動かすジェスチャをスクロール操作として処理したり、両手を近づけたり離したりすることでズームイン・ズームアウト操作として処理したりする。逆に、ステップＳ４３でのジェスチャ認識の結果、対象物の形状や動作がポインティング操作を表すものと判定されれば、ポインティング操作を支援するためのユーザインタフェース要素を透明ディスプレイ２に表示する（Ｓ４５）。たとえば、選択可能なメニュー部品を表示したり、カーソルを表示したり、カーソル部分の拡大表示をすることなどが考えられる。
【００３０】
また、ステップＳ４２で対象物が接触入力領域内にあると判定された場合は、対象物がポイントする透明ディスプレイ２内の位置（ポインティング位置）を算出し（Ｓ４６）、その位置に対するポインティング操作として処理を行う（Ｓ４７）。
【００３１】
図６，図７を参照してユーザの入力操作の一具体例を説明する。
【００３２】
図６に示すように、ユーザが透明ディスプレイから離れた位置（ジェスチャ入力領域内）で開いた手を動かした場合は、ジェスチャ入力領域内でのポインティング操作以外のジェスチャであると判定される。そして、開いた手を動かすというジェスチャに対応した処理、ここでは画面のスクロール処理が実行される。
【００３３】
一方、図７Ａに示すように、ユーザが透明ディスプレイから離れた位置（ジェスチャ入力領域内）で指先を透明ディスプレイに近づける場合は、ジェスチャ入力領域内でのポインティング操作のためのジェスチャであると判定される。そして、ポインティング操作支援のために、メニュー画面を透明ディスプレイに表示する。図７Ｂに示すように、ユーザが指先をさらに透明ディスプレイに近づけて接触させた（正確には接触領域内に移動させた）場合は、指先位置に対するポインティング操作、すなわち指先が触れた位置のメニューを選択したという処理が実行される。
【００３４】
本実施形態に係るユーザインタフェース装置によれば、３次元ジェスチャ入力とディスプレイへの接触入力の両方を実現できる。従来は３次元ジェスチャ入力のための距離画像センサと接触入力のためのタッチパネルの両方が必要であったが、本実施形態によればタッチパネルを用いずに両方式の入力が実現できる。さらに、透明ディスプレイの背面から距離画像を取得しているので、距離画像内での対象物の位置と、ユーザが操作を意図するディスプレイ内の位置とのずれが少なくなり、ユーザにとって利便性の高い入力が可能となる。
【符号の説明】
【００３５】
１  情報処理装置
２  透明ディスプレイ
３  距離画像センサ
１１  制御部
１２  画像出力部
１３  距離画像入力部
１４  距離画像解析部
【図１】
2012003690.tif 000003
【図２】
2012003690.tif 000004
【図３】
2012003690.tif 000005
【図４】
2012003690.tif 000006
【図５】
2012003690.tif 000007
【図６】
2012003690.tif 000008
【図７】
2012003690.tif 000009