(57)【要約】【課題】ディスプレイの表示面から離れた場所におけるユーザの手の位置を、より少ない演算量で検出でき、かつ、ディスプレイの開口率を低下させることが無い【解決手段】ユーザの手を含むデプスマップから、ユーザの手のポイント位置を取得するポイント位置取得部１２と、少なくとも該ポイント位置に基づいて入力映像を処理し、ディスプレイ部６に出力する表示映像処理部１６とを備えている。【選択図】図１
2013127752.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ部と、
上記ディスプレイ部の表示面よりも前方に設置され、当該表示面と平行な方向に光軸を有し、二次元の配列データであるデプスマップを取得する距離計測装置であって、当該配列データに含まれる各データが、上記表示面の横軸における位置と、上記表示面に直交する軸における位置とによって特定され、かつ、上記表示面の縦軸における位置を奥行き情報として有するデプスマップを取得する距離計測装置と、
上記デプスマップから、ユーザの手の領域を取得する手領域取得手段と、
上記手の領域から、上記表示面の横軸における上記手の位置と、上記表示面の縦軸における上記手の位置とを少なくとも含むポイント位置を取得するポイント位置取得手段と、
少なくとも上記ポイント位置に基づいて入力映像を処理し、上記ディスプレイ部に出力する表示映像処理手段と、を備えていることを特徴とする表示操作システム。
【請求項２】
上記表示面の横軸における上記手の位置の変化量と、上記表示面の縦軸における上記手の位置の変化量とを少なくとも算出する変化量算出手段をさらに備え、
上記表示映像処理手段は、上記ポイント位置、および上記各変化量に基づき、上記入力映像を処理することを特徴とする請求項１に記載の表示操作システム。`
【請求項３】
上記表示映像処理手段は、上記ディスプレイ部における、上記ポイント位置に対応する位置に表示されている表示物を、上記各変化量の分だけ移動させるように、上記入力映像を処理することを特徴とする請求項２に記載の表示操作システム。
【請求項４】
上記変化量算出手段は、上記表示面に直交する軸における上記手の位置をさらに含む上記ポイント位置を取得し、
上記変化量算出手段は、上記表示面に直交する軸における上記手の位置の変化量をさらに算出し、
上記表示映像処理手段は、上記ポイント位置、および、上記表示面に直交する軸における上記手の位置の変化量に基づき、上記入力映像を処理することを特徴とする請求項３に記載の表示操作システム。
【請求項５】
上記表示映像処理手段は、上記ディスプレイ部における上記ポイント位置に対応する位置に表示されている表示物を、上記表示面に直交する軸における上記手の位置の変化量に応じた倍率で拡大または縮小させるように、上記入力映像を処理することを特徴とする請求項４に記載の表示操作システム。
【請求項６】
上記手の領域から、ユーザの手の形状を取得する手形状取得手段をさらに備え、
上記表示映像処理手段は、上記ポイント位置および上記手の形状に基づき、上記入力映像を処理することを特徴とする請求項１〜５のいずれか１項に記載の表示操作システム。
【請求項７】
上記距離計測装置は、赤外線を照射することによって、上記デプスマップを得ることことを特徴とする請求項１〜６のいずれか１項に記載の表示操作システム。
【請求項８】
上記ポイント位置取得手段は、上記手の領域における重心位置を、上記ポイント位置として取得することを特徴とする請求項１〜７のいずれか１項に記載の表示操作システム。
【請求項９】
上記ポイント位置取得手段は、上記手の領域における、上記表示面にもっとも近い位置を、上記ポイント位置として取得することを特徴とする請求項１〜７のいずれか１項に記載の表示操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが手を用いてディスプレイに入力する非接触型の表示操作システムに関する。
【背景技術】
【０００２】
従来、コンピュータを用いた装置のユーザインターフェースとして、キャラクタユーザインターフェース(CUI:Character User Interface)、テキストユーザインターフェース(TUI:Text User Interface)、またはグラフィカルユーザインターフェース(GUI:Graphical User Interface)が主に用いられている。
【０００３】
中でも、ＧＵＩでは、コンピュータの画面上に、ウィンドウ、アイコン、ボタンと言ったグラフィックが表示され、ユーザはそれらの中から目的の動作を表すグラフィックをマウス等のポインティングデバイスを用いて選択する。すなわち、ＧＵＩとは直感的な操作を提供するユーザインターフェースである。
【０００４】
ユーザが直感的に入力する方法は、大きく２つに分類される。一方は、ディスプレイの画面に触れることにより操作する「タッチ操作」であり、他方は、ディスプレイの画面に触れずに人の動きを検知させて操作する「ジェスチャー操作」である。
【０００５】
図１８（ａ）は、従来技術に係るタッチ操作を表す概略図である。図１８（ａ）に示すように、ユーザは、自身の手等を用いることによりディスプレイの表面に触れ、「タッチ」「タッチアップ」「フリック」「ドラッグ」等の接触方法により、ディスプレイに対して入力できる。
【０００６】
図１８（ｂ）は、従来技術に係るジェスチャー操作を表す概略図である。図１８（ｂ）に示すように、ユーザは、ディスプレイの表面に触れることなく、ユーザは自身の手を動かすことによりディスプレイから離れた場所からディスプレイに対して入力できる。
【０００７】
ジェスチャー操作、つまり「非接触型」の入力方法に関しては、特許文献１に、位置センサを用いた非接触型の表示操作システムが開示されている。この非接触型の表示操作システムは、当該位置センサを用いて検出される、ディスプレイ前方に重ね合わせるように規定したセンシング領域における表示操作指示物体（例えば、ユーザの手）の２次元位置情報を利用している。そして、当該表示操作指示物体の位置を認識することにより、ディスプレイに対して入力している。
【０００８】
また、特許文献２に、２台のカメラにより撮像した三次元画像を用いた非接触型の画像表示操作システムが開示されている。この表示操作システムを用いると、入力指示物体（例えば、ユーザの手）が２つある場合でも、当該２つの入力指示物体を別々に識別することができるため、所謂「マルチジェスチャー」が可能になる。図１９は、２台のカメラを用いて２つの手の位置を取得する表示操作システムの例示的な図である。図１９に示すように、当該表示操作システムでは、第１のカメラ１９２がディスプレイ１９０の下方に設置され、第２のカメラ１９４がディスプレイ１９０の右側に設置されている。当該表示操作システムを用いる際の２つの手の位置情報の取得方法は、以下の（１）〜（４）の通りである。
（１）まず、第１および第２のカメラ１９２、１９４を用いて、それぞれ第１および第２の画像２０４、２０６を撮像する。
（２）次に、第１の画像２０４より第１および第２の手１９６、１９８を取得し、第２の画像２０６より第３および第４の手２００、２０２を取得する。
（３）続いて、手の形状および色等を判定条件として用いることにより、第１および第４の手１９６、２０２が一致すること、および、第２および第３の手１９８、２００が一致することを判定する。
（４）最後に、第２および第３の手１９８、２００が一致することから手の位置Ｐ１が取得され、第１および第４の手１９６、２０２が一致することから手の位置Ｐ２が取得される。
【０００９】
また、特許文献３には、非接触型のユーザ入力装置およびユーザ入力方法が開示されている。特許文献３に開示されている非接触型のユーザ入力装置は、ディスプレイ全面に複数の線状の送信電極および複数の線状の受信電極を備えており、送信電極と受信電極との各交点において、導電性の物体（例えば、ユーザの手または指）が近づくと受信電極を流れる交流電流が変化する。また、特許文献３に開示されている非接触型のユーザ入力装置を用いたユーザ入力方法により、この交流電流の変化を利用して導電性の物体の形状およびディスプレイからの距離を取得することができる。更に、送信電極と受信電極との各交点を独立して駆動させることができるため、ディスプレイに対して複数の導電性の物体（例えば、同じユーザの右手および左手、または複数のユーザの手）が近づく場合でも、それぞれの導電性の物体を独立した物体と識別することができるため、「マルチジェスチャー」が可能になる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−２７７１９４号明細書（２００９年１１月２６日公開）
【特許文献２】特開２０１１−８１４８０号明細書（２０１１年４月２１日公開）
【特許文献３】特開２００６−１７９０３５号明細書（２００６年７月６日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１では、表示面から離れたある平面上の入力しか検知できない。したがって、ユーザの指が検知面から表示面により近づいたり、あるいは表示面からより遠ざかったりすると、正確に検知できない。
【００１２】
特許文献２には、特許文献１のような問題はない。しかし、複数のカメラを使って処理するため、装置構成が大がかりになる。また、複数の手の位置を判定する際に処理するデータ量が多いため、必然的に演算量が多くなってしまう。
【００１３】
特許文献３では、線状の送信電極および受信電極がディスプレイの全面に備えられているため、ディスプレイの開口率が低下してしまう。
【００１４】
本発明は、上記の課題に鑑みて為されたものであり、本発明の一態様によれば、ディスプレイの表示面から離れた場所におけるユーザの手の位置を、より少ない演算量で検出でき、かつ、ディスプレイの開口率を低下させることが無い。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る表示操作システムは、ディスプレイ部と、上記ディスプレイ部の表示面よりも前方に設置され、当該表示面と平行な方向に光軸を有し、二次元の配列データであるデプスマップを取得する距離計測装置であって、当該配列データに含まれる各データが、上記表示面の横軸における位置と、上記表示面に直交する軸における位置とによって特定され、かつ、上記表示面の縦軸における位置を奥行き情報として有するデプスマップを取得する距離計測装置と、上記デプスマップから、ユーザの手の領域を取得する手領域取得手段と、上記手の領域から、上記表示面の横軸における上記手の位置と、上記表示面の縦軸における上記手の位置とを少なくとも含むポイント位置を取得するポイント位置取得手段と、少なくとも上記ポイント位置に基づいて入力映像を処理し、上記ディスプレイ部に出力する表示映像処理手段と、を備えていることを特徴としている。
【００１６】
上記の構成によれば、表示操作システムでは、ディスプレイ部の表示面の前面に向けられたユーザの手の位置に関する情報を、当該表示面の縦軸方向および横軸方向ならびに当該表示面からの奥行き方向における各位置の情報として、取得する。つまり、ディスプレイ部に対するユーザの手の位置情報を、三次元位置情報として取得することができる。その際、表示操作システムでは、ユーザの体全体ではなく、手のみを含んだデプスマップを取得して処理するため、データ演算量は従来に比べて少なくて済む。また、デプスマップを取得するための距離計測装置は、ディスプレイ部の表示面に貼り付けるようなものではないため、ディスプレイ部の開口率が低下することはない。
【００１７】
従って、本実施形態によれば、ディスプレイ部の表示面から離れた場所におけるユーザの手の位置を、より少ない演算量で検出でき、かつ、ディスプレイ部の開口率を低下させることが無い表示操作システムを実現できる。
【００１８】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記表示面の横軸における上記手の位置の変化量と、上記表示面の縦軸における上記手の位置の変化量とを少なくとも算出する変化量算出手段をさらに備え、上記表示映像処理手段は、上記ポイント位置、および上記各変化量に基づき、上記入力映像を処理することが好ましい。
【００１９】
これにより、ユーザは、ディスプレイ部に対して向けた手を、ディスプレイ部に対して２次元的に移動させると、ディスプレイ部に表示されている入力映像を様々に変更することができる。
【００２０】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記表示映像処理手段は、上記ディスプレイ部における、上記ポイント位置に対応する位置に表示されている表示物を、上記各変化量の分だけ移動させるように、上記入力映像を処理することが好ましい。
【００２１】
これにより、ユーザは、ディスプレイ部に対して向けた手を、ディスプレイ部に対して２次元的に移動させると、ディスプレイ部に表示されている所望の表示物を手を移動させた距離と同じ距離だけ移動させることができる。
【００２２】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記変化量算出手段は、上記表示面に直交する軸における上記手の位置をさらに含む上記ポイント位置を取得し、上記変化量算出手段は、上記表示面に直交する軸における上記手の位置の変化量をさらに算出し、上記表示映像処理手段は、上記ポイント位置、および、上記表示面に直交する軸における上記手の位置の変化量に基づき、上記入力映像を処理することが好ましい。
【００２３】
これにより、ユーザは、ディスプレイ部に対して向けた手を、ディスプレイ部に対して三次元的に移動させると、ディスプレイ部に表示されている入力映像を、その移動に応じた内容に変更することができる。
【００２４】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記表示映像処理手段は、上記ディスプレイ部における上記ポイント位置に対応する位置に表示されている表示物を、上記表示面に直交する軸における上記手の位置の変化量に応じた倍率で拡大または縮小させるように、上記入力映像を処理することが好ましい。
【００２５】
これにより、ユーザは、ディスプレイ部に対して向けた手を、ディスプレイ部に対して垂直に移動させると、ディスプレイ部に表示されている所望の表示物を拡大および縮小させることができる。
【００２６】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記手の領域から、ユーザの手の形状を取得する手形状取得手段をさらに備え、上記表示映像処理手段は、上記ポイント位置および上記手の形状に基づき、上記入力映像を処理することが好ましい。
【００２７】
これにより、ユーザは、ディスプレイ部に対して向けた手を、様々な形状に変更することにより、ディスプレイ部に対して様々な入力指示を与えることができる。
【００２８】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記距離計測装置は、赤外線を照射することによって、上記デプスマップを得ることが好ましい。
【００２９】
赤外線は人間の目には見えないため、距離計測を行う場合に優位である。
【００３０】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記ポイント位置取得手段は、上記手の領域における重心位置を、上記ポイント位置として取得することが好ましい。
【００３１】
これにより、ユーザが手を握って表示面に近づけた場合でも、ポイント位置を取得できる。
【００３２】
また、本発明に係る表示操作システムは、上記の構成に加えて、上記ポイント位置取得手段は、上記手の領域における、上記表示面にもっとも近い位置を、上記ポイント位置として取得することが好ましい。
【００３３】
これにより、ユーザが指し示そうと意図した位置を、確実にポイント位置として取得できる。
【発明の効果】
【００３４】
以上のように、本発明に係る表示操作システムは、ディスプレイ部と、上記ディスプレイ部の表示面よりも前方に配置され、当該表示面と平行な方向に光軸を有し、二次元の配列データであるデプスマップを取得する距離計測装置であって、当該配列データに含まれる各データが、上記表示面の横軸における位置と、上記表示面に直交する軸における位置とによって特定され、かつ、上記表示面の縦軸における位置を奥行き情報として有するデプスマップを取得する距離計測装置と、上記デプスマップから、ユーザの手の領域を取得する手領域取得手段と、上記手の領域から、上記表示面の横軸における上記手の位置と、上記表示面の縦軸における上記手の位置とを少なくとも含むポイント位置を取得するポイント位置取得手段と、少なくとも上記ポイント位置に基づいて入力映像を処理し、上記ディスプレイ部に出力する表示映像処理手段と、を備えていることを特徴としている。
【００３５】
上記の構成によれば、ディスプレイの表示面から離れた場所におけるユーザの手の位置を、より少ない演算量で検出でき、かつ、ディスプレイの開口率を低下させることが無い表示操作システムを実現できる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係る表示操作システムの要部構成を示すブロック図である。
【図２】（ａ）は、本発明の一実施形態に係る表示操作システムを正面から示す図であり、（ｂ）は、本発明の一実施形態に係る表示操作システムを側面から示す図である。
【図３】（ａ）は、本発明の一実施形態に係る表示操作システムにおける、ユーザの手のポイント位置の一例を示す図であり、（ｂ）は、本発明の一実施形態に係る表示操作システムが備える距離計測装置が撮像したデプスマップの一例を示す図である。
【図４】（ａ）は、物体に対して赤外線を照射する様子を示す図であり、（ｂ）は、物体から反射された赤外線の格子パターンを示す図である。
【図５】本発明の一実施形態に係る表示操作システムが実行する、ポイント位置、ポイント位置変化量、および手形状を取得するための一連の処理の流れを示すフローチャートである。
【図６】キャリブレーションを説明するための図である。
【図７】（ａ）は、ポイント位置取得部が取得するポイント位置およびその変化量の内容を分類して示す表であり、（ｂ）は、手形状取得部が取得する手形状の内容を分類して示す表であり、（ｃ）は、表示映像処理部がポイント位置取得部および手形状取得部から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。
【図８】（ａ）は、ディスプレイ部における切替前の表示映像（ウィンドウ）を示す図であり、（ｂ）は、ディスプレイ部６における切替後の表示映像（ウィンドウ）を示す図である。
【図９】（ａ）は、ディスプレイ部におけるウィンドウの移動を示す図であり、（ｂ）は、ディスプレイ部におけるウィンドウの拡大または縮小を示す図である。
【図１０】（ａ）は、ディスプレイ部におけるテキストの移動を示す図であり、（ｂ）は、ディスプレイ部におけるテキストの拡大または縮小を示す図である。
【図１１】（ａ）は、ディスプレイ部の表示面にユーザの手が接触している状態を示す図であり、（ｂ）は、ディスプレイ部表示面にユーザの手が接触している際のデプスマップを示す図である。
【図１２】本発明の他の実施形態に係る表示操作システムが実行する、ポイント位置、ポイント位置変化量、および手形状を取得するための一連の処理流れを示すフローチャートである。
【図１３】（ａ）は、ポイント位置取得部が取得するポイント位置およびその変化量の内容を分類して示す表であり、（ｂ）は、手形状取得部が取得する手形状の内容を分類して示す表であり、（ｃ）は、表示映像処理部がポイント位置取得部および手形状取得部から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。
【図１４】本発明の更に他の実施形態に係る表示操作システムが実行する、ポイント位置およびポイント位置変化量を取得するための一連の流れを示すフローチャートである。
【図１５】（ａ）は、ポイント位置取得部が取得するポイント位置およびその変化量の内容を分類して示す表であり、（ｂ）は、表示映像処理部がポイント位置取得部から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。
【図１６】本発明の更に他の実施形態に係る表示操作システムの要部構成を示すブロック図である。
【図１７】本発明の更に他の実施形態に係る表示操作システムの要部構成を示すブロック図である。
【図１８】（ａ）は、従来技術に係るタッチ操作を表す概略図であり、（ｂ）は、従来技術に係るジェスチャー操作を表す概略図である。
【図１９】２台のカメラを用いて２つの手の位置を取得する、従来技術に係る表示操作システムの例示的な図である。
【発明を実施するための形態】
【００３７】
〔実施形態１〕
本発明に係る表示操作システムの一実施形態について、図１〜９を参照して説明する。
【００３８】
（表示操作システム１）
図１は、本発明の一実施形態に係る表示操作システム１の要部構成を示すブロック図である。図１に示すように、表示操作システム１は、距離計測装置２、制御部４、およびディスプレイ部６を備えており、制御部４は、ポイント位置取得部１２（ポイント位置取得手段、変化量算出手段、手領域取得手段）、手形状取得部１４（手形状取得手段）、および表示映像処理部１６（表示映像処理手段）を備えている。
【００３９】
図２（ａ）は、本発明の一実施形態に係る表示操作システム１の概略図である。図２（ａ）に示すように、ディスプレイ部６の表示面に、６つのウィンドウ２０（表示物）およびウィンドウ２０の各々にそれぞれ対応するテキスト２２（表示物）が表示されており、距離計測装置２は、ディスプレイ部６の前方下部に設置されている。ユーザの手８はウィンドウ２０の１つを指差している。
【００４０】
（距離計測装置２）
本発明の一実施形態に係る表示操作システム１に用いられる距離計測装置２は、図２（ａ）および（ｂ）に示すように配置される。具体的には、距離計測装置２は、ディスプレイ部６の表示面よりも前方に設置される。ここで、距離計測装置２は、当該表示面と平行な方向に光軸を有する。言い換えると、距離計測装置２の光軸は、ディスプレイ部６の表示面に沿った方向に合わせられている。
【００４１】
距離計測装置２は、ディスプレイ部６を正面に見たときの略中央下部に、ディスプレイ部６の表示面から１０〜１５ｃｍほど離して設置される。これにより、図２（ｂ）に示すように、ディスプレイ部６と同一の幅、ディスプレイ部６と同一の高さ、およびディスプレイ部６の表示面から２０〜３０ｃｍを奥行きとして規定される空間が、距離計測装置２によりセンシングされる領域（センシング領域）２４となる。
【００４２】
距離計測装置２は、センシング領域２４内にある物体の距離映像（デプスマップ）を撮像する。したがって、距離計測装置２は、ユーザの体全体ではなく、センシング領域２４に入る手８のみを含んだデプスマップを取得する。デプスマップの詳細については後述する。
【００４３】
本実施形態において、距離計測装置２は、ディスプレイ部６の表示面から１０〜１５ｃｍほど離して設置されているが、本発明はこれに限定されるものではない。距離計測装置２をディスプレイ部６から１５ｃｍよりも大きく離して設置すれば、より大きな空間をセンシング領域２４として規定できることは当業者には明白である。
【００４４】
図３（ａ）は、本発明の一実施形態に係る表示操作システム１の他の概略図である。図３（ａ）に示すように、距離計測装置２はディスプレイ部６の前方下部に設置されている。また、ユーザの手８は、ディスプレイ部６に向けて指を差しており、指の先端がポイント位置３０となっている。なお、本実施形態においては、距離計測装置２は、人の目には見えない赤外線を照射する機能、物体（被撮影物）から反射された赤外線を測定する機能、所定の位置から物体までの距離を算出する機能、および、デプスマップを作成する機能を有している。
【００４５】
（デプスマップ３２）
図３（ｂ）は、距離計測装置２が撮像したデプスマップ３２の一例を示す図である。デプスマップ３２は、二次元の配列（アレイ）データであり、各データは奥行き情報を有する。より詳細には、二次元の配列データに含まれる各データは、ディスプレイ部６の表示面の横軸（Ｘ軸）における位置と、当該表示面に直交する軸（Ｚ軸）における位置とによって特定され、かつ、当該表示面の縦軸（Ｙ軸）における位置を奥行き情報として有する。
【００４６】
なお、図３（ｂ）に示すデプスマップ３２では、距離計測装置２に対して最も近い位置を０階調（黒）、最も遠い位置を２５５階調（白）、それらの間の位置を距離に応じた１〜２５４階調（グレー）で表示している。ディスプレイ６は、距離計測位置２から遠い位置および近い位置の両方を含んでいるため、デプスマップ３２においてグレーのグラデーションで表現されている。一方、手８は間の位置にあるため、グレーで表現されている。
【００４７】
なお、本図のデプスマップは、２５６階調で示している。つまり、８bit精度の距離測定装置２によって取得したデプスマップを示す図である。ディスプレイ６の大きさまたは用途次第では、より高精度の距離測定装置２を用いる。通常は、１１bit精度の距離測定装置を用いて、２０４８階調のデプスマップを取得する。
【００４８】
（赤外線による距離測定）
距離計測装置２がデプスマップを作成する際の、赤外線の利用方法について、図４を参照して以下に説明する。図４（ａ）は、物体に対して赤外線を照射する様子を示す図であり、図４（ｂ）は、物体から反射された赤外線の格子パターンを示す図である。
【００４９】
図４（ａ）の例では、距離計測装置２は、互いに異なる位置にある物体４０および４２に対して、赤外線を照射する。その際、一様な赤外線を照射するのではなく、一定のパターン（格子パターン、ランダムパターン）を有する赤外線を照射する。そして、物体４０および物体４２が反射した赤外線を、それぞれ計測する。その際、パターンの違いによって、距離計測装置２から各物体までの距離を測定する。
【００５０】
距離計測装置２が、物体４０および４２に対して、一定の格子間隔の格子パターンを有する赤外線を照射した場合を例に説明する。図４（ａ）に示すように、距離計測装置２における赤外線の照射口からは、物体４０よりも物体４２の方が遠くに離れている。この結果、より近くにある物体４０からの反射光は、より格子間隔が狭い格子パターン４４を有する赤外線として、距離計測装置２に届く。一方、より遠くにある物体４２からの反射光は、より格子間隔が広い格子パターン４６を有する赤外線として、距離計測装置２に届く。そこで距離計測装置２は、計測した赤外線の格子パターンにおける格子間隔と、基準となる格子パターンの格子間隔とを比較することによって、各物体までの距離をそれぞれ算出する。
【００５１】
（制御部４）
図１に示すように、制御部４は、ポイント位置取得部１２、手形状取得部１４、および表示映像処理部１６を備えている。制御部４は、距離計測装置２から入力されたデータを、ポイント位置取得部１２、手形状取得部１４、表示映像処理部１６の順に処理し、処理したデータをディスプレイ部６に出力するような構成をしている。
【００５２】
（ポイント位置取得部１２）
ポイント位置取得部１２は、このデプスマップ３２を用いることによりユーザの手８のポイント位置３０を取得する。なお、ポイント位置取得部１２は、ポイント位置３０を取得する際、図３（ｂ）に示す処理範囲３４に含まれる手のみのデータを処理する。したがって、ユーザの体を認識する必要のあるジェスチャー操作におけるデータ処理に比べて、処理するデータ量が少ないため、処理する演算量が必然的に少なくなるという利点がある。
【００５３】
（手形状取得部１４）
手形状取得部１４は、ユーザの手８がどのような形状をしているかを判別し、手８の形状を取得する。具体的には、ポイント位置取得部１２が取得した手８の領域と、一般的な手の形状を表すテンプレートとをマッチングさせることにより、手８の形状を判断し取得する。
【００５４】
（表示映像処理部１６）
表示映像処理部１６は、ポイント位置取得部１２が取得したポイント位置３０の座標Ｐ（Ｘ，Ｙ，Ｚ）およびポイント位置変化量ΔＰ（ΔＸ，ΔＹ，ΔＺ）に加え、手形状取得部１４が取得した手８の形状に従って、図１に示されている入力映像を処理し、ディスプレイ部６に出力する。
【００５５】
（ディスプレイ部６）
ディスプレイ部６は、表示映像処理部１６が処理した入力映像を新しい入力映像として表示面に表示させる。つまり、ディスプレイ部６の表示面に表示されている映像を切り替えることができる。こうして、ユーザは、ディスプレイ部６に手８を接触させることなく、ディスプレイ部６に対して入力することができる。
【００５６】
（取得処理の流れ）
図５は、本発明の一実施形態に係る表示操作システム１におけるポイント位置、ポイント位置変化量、および手８の形状を取得するための一連の流れを示すフローチャートである。
【００５７】
（初期化）
ステップＳ１では、制御部４が表示操作システムを初期化する。
【００５８】
まず、距離計測装置２により撮像されるデプスマップ３２の処理範囲３４の範囲を設定する。この範囲は任意に設定できる。図３（ｂ）に示す処理範囲３４のＺ軸方向に沿った長さを長く設定する場合、処理範囲３４は広く設定される。つまり、ディスプレイ部６から離れた位置におけるユーザの手８のポイント位置３０を取得することができるため、ディスプレイ部６からより離れた位置においてもディスプレイに対して入力することができるという利点がある。また、図３（ｂ）に示す処理範囲３４のＺ軸方向に沿った長さを短く設定する場合、処理範囲３４は狭く設定される。つまり、制御部４が処理しなければならない範囲が狭まるため、制御部４が処理する演算量は軽減されるという利点がある。
【００５９】
次に、距離計測装置２を用いて、ユーザの手８が含まれていないデプスマップ３２を撮像し取得する。これ以降、このユーザの手８が含まれていないデプスマップ３２のことを参照画像と呼ぶことにする。
【００６０】
（キャリブレーション）
さらに、制御部４は、ユーザによるポイント位置のＸ座標およびＹ座標を取得する際の精度を向上させるために、キャリブレーションを行っても良い。図６は、キャリブレーションを説明するための図である。図６に示す例では、制御部４は、ディスプレイ部６の画面における所定の位置に、ポイント画像６０を表示する。ユーザがこのポイント画像６０をポイントすると、制御部４は、その位置の座標（Ｘ座標およびＹ座標）を取得する。次に、ポイント画像６０を表示した位置とは異なる位置に、ポイント画像７６２を表示する。ユーザがこのポイント画像６２をポイントすると、制御部４は、そのポイント位置を取得する。
【００６１】
このように、制御部４は、ディスプレイ部６の画面上の所定の位置にポイント画像を表示することと、そのポイント画像に対してユーザがポイントした位置を取得することとを、ポイント画像の表示位置を変えながら２回以上、繰り返す。そして、表示した位置の座標（Ｘ座標およびＹ座標）と、取得した位置の座標（Ｘ座標およびＹ座標）とのずれに基づき、表示位置と取得位置とを一致させるためのキャリブレーションを実施する。具体的には、取得したポイント位置を補正するための補正パラメータを算出する。制御部４は、このようなキャリブレーションを実施した場合、デプスマップから取得したユーザのポイント位置の座標に対して、補正パラメータを用いた補正処理を実行する。そして、補正処理後の座標データを、ユーザによるポイント位置として確定させる。
【００６２】
（デプスマップの取得）
ステップＳ２では、距離計測装置２がユーザの手８が含まれているデプスマップ３２を撮像し取得する。なお、ここでいう手８とは、必ずしも、ユーザの手全体であるとは限らない。すなわち手８は、ユーザの手の少なくとも一部分を意図する。したがって、距離計測装置２は、ユーザの指のみが含まれるデプスマップ３２を取得してもよい。
【００６３】
（手の領域の取得）
ステップＳ３では、ポイント位置取得部１２が、ステップＳ２にて取得されたデプスマップ３２からステップＳ１にて取得された参照画像を差分し差画像を取得する。
【００６４】
ステップＳ４では、ポイント位置取得部１２が、ステップＳ３で取得された差画像からノイズを除去する。
【００６５】
ステップＳ５では、ポイント位置取得部１２が、ステップＳ４にてノイズが除去された差画像に基づき、差画像内の一定量の領域に基準値以上の値が存在すれば、その領域を手８の領域として取得する。
【００６６】
ステップＳ６では、ステップＳ５において手８の領域が取得されたか否かが制御部４により判定される。ステップＳ５にて手８の領域が取得された場合は次のステップＳ７に進み、ステップＳ５にて手８の領域が取得されなかった場合はステップＳ２に戻り、その後の一連のステップを行う。
【００６７】
（ポイント位置情報の取得）
ステップＳ７では、ポイント位置取得部１２がポイント位置３０の座標Ｐ（Ｘ，Ｙ，Ｚ）を取得する。具体的には、まず、ステップＳ５にて取得した手８の領域における重心位置（例えば座標Ｐm（Ｘm、Ｙm、Ｚm））を算出し、それをポイント位置３０として取得する。これにより、ユーザが手８を握って表示面に近づけた場合でも、ポイント位置３０を特定できる。なお、ポイント位置取得部１２は、手８の領域におけるディスプレイ部６の表示面にもっとも近い位置（例えば座標Ｐｎ（Ｘn、Ｙn、Ｚn））を、ポイント位置３０として取得してもよい。この場合は、ユーザが指し示そうと意図した位置を、確実にポイント位置として取得できる。
【００６８】
また、ポイント位置取得部１２は、座標（Ｘm、Ｙm、Ｚm）と、座標（Ｘn、Ｙｎ、Ｚｎ）とを両方とも算出し、さらに両者を重み付けした座標を算出して、それをポイント位置３０として取得しても良い。その際、重みをα(０＜α＜１)とすると、ポイント位置取得部１２は、ポイント位置３０として座標（αＸm＋（１−α）Ｘｎ、αＹm＋（１−α）Ｙｎ、αＺm＋（１−α）Ｚｎ）を取得することになる。
【００６９】
次に、図３（ｂ）に示すように、ディスプレイ部６の前方の空間、つまり上述したセンシング領域２４においてＸＹＺ空間座標系を適用する。つまり、ディスプレイ部６の幅方向をＸ軸方向、ディスプレイ部６の高さ方向をＹ軸方向、およびディスプレイ部６の表示面からの奥行き方向をＺ軸方向として、ユーザの手８のポイント位置３０をＸ、Ｙ、Ｚを用いた座標Ｐ（Ｘ，Ｙ，Ｚ）として取得する。したがって、座標Ｐ（Ｘ，Ｙ，Ｚ）は、表示面の横軸における位置（Ｘ）と、表示面における縦軸における位置（Ｙ）と、表示面に対して垂直な方向における位置を（Ｚ）と表す。
【００７０】
ステップＳ８では、ポイント位置取得部１２がポイント位置３０の変化量ΔＰ（ΔＸ，ΔＹ，ΔＺ）を取得する。具体的には、ユーザが手８を動かした後の現時点（現フレーム）における手８のポイント位置３０の座標をＰ１（ＸＰ１，ＹＰ１，ＺＰ１）、ユーザが手８を動かす前の時点（前フレーム）における手８のポイント位置３０の座標をＰ０（ＸＰ０，ＹＰ０，ＺＰ０）として、ポイント位置取得部１２がポイント位置３０の変化量ΔＰをＰ１−Ｐ０から算出する。つまり、Ｐ１−Ｐ０＝（ＸＰ１，ＹＰ１，ＺＰ１）−（ＸＰ０，ＹＰ０，ＺＰ０）から算出された値を、ポイント位置変化量ΔＰ（ΔＸ，ΔＹ，ΔＺ）として取得する。
【００７１】
（手形状の取得）
ステップＳ９では、手形状取得部１４が手８の形状を取得する。具体的には、手形状取得部１４が、ステップＳ５にてポイント位置取得部１２が取得した手８の領域と、一般的な手の形状を表すテンプレート（手形状画像）とをマッチングさせることにより、手８の形状を特定し取得する。
【００７２】
手形状取得部１４が手８の形状を取得すると、ステップＳ２に戻り、図５におけるステップＳ２からステップＳ９までの各ステップを無期限に繰り返し、ポイント位置取得部１２が各時点（フレーム）における手８のポイント位置３０およびポイント位置変化量ΔＰを取得し、手形状取得部１４が各時点（フレーム）における手８の形状を取得する。
【００７３】
（映像処理の方法）
表示映像処理部１６の映像処理について、図７を参照しながら説明する。
【００７４】
図７（ａ）は、ポイント位置取得部１２が取得するポイント位置およびその変化量の内容を分類して示す表である。図７（ａ）に示すように、番号ａはポイント位置（Ｘ，Ｙ，Ｚ）に対応し、番号ｂはＸ、Ｙに関するポイント位置変化量（ΔＸ，ΔＹ）に対応し、番号ｃはＺに関するポイント位置変化量（ΔＺ）に対応し、番号ｄはポイント位置取得終了に対応している。
【００７５】
図７（ｂ）は、手形状取得部１４が取得した手８の形状を分類して示す表示である。図７（ｂ）に示すように、番号Ａは手８の「指を立てる」形状に対応し、番号Ｂは手８の「手を握る」形状に対応し、番号Ｃは手８の「手を開く」形状に対応している。
【００７６】
図７（ｃ）は、表示映像処理部１６がポイント位置取得部１２および手形状取得部１４から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。番号１〜６の各々に対応する内容について、図７（ｃ）に加えて、図８〜１１を参照しながら説明する。
【００７７】
（表示映像切り替え）
図７（ｃ）における番号１は、表示映像処理部１６が、番号ａの情報を取得した後に番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、ポイント位置（Ｘ，Ｙ，Ｚ）を取得した後にポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、表示映像（ウィンドウ）２０の切り替えを行う。具体的には、図８を参照しながら説明する。
【００７８】
図８（ａ）は、ディスプレイ部６における切替前の表示映像（ウィンドウ）２０を示す図であり、図８（ｂ）は、ディスプレイ部６における切替後の表示映像（ウィンドウ）２０を示す図である。図８（ａ）に示すように、切り替えたい表示映像（ウィンドウ）２０（例えば、「ＡＮＩＭＥ」）の前にてユーザが手８をかざすと、ポイント位置取得部１２が手８のポイント位置３０を取得する（図８（ａ）の番号ａに対応）。
【００７９】
次に、図８（ｂ）に示すように、切り替えたい表示映像（ウィンドウ）２０の前からユーザが手８を離すと、ポイント位置取得部１２が手８のポイント位置の取得を終了する（図７（ａ）の番号ｄに対応）。これに従い、表示映像処理部１６は、ユーザが切り替えたいウィンドウ２０（例えば、「ＡＮＩＭＥ」）を他のウィンドウ２０（例えば、「ＮＥＷＳ」）に切り替えるように、入力映像を処理し、ディスプレイ部６に出力する。切替後のウィンドウ２０を含む映像を、表示面に表示する。
【００８０】
（ウィンドウ移動）
図８（ｃ）における番号２は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ａおよび番号ｂの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の「指を立てる」形状およびポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、手８の「指を立てる」形状およびユーザがディスプレイ部６の表示面に対して平行に手８を移動させたことにより生じたポイント位置変化量（ΔＸ，ΔＹ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、ウィンドウ２０の移動を行う。具体的には、図９（ａ）を参照しながら説明する。
【００８１】
図９（ａ）は、ディスプレイ部６におけるウィンドウ２０の移動を示す図である。図９（ａ）に示すように、移動させたいウィンドウ２０（例えば、「ＡＮＩＭＥ」）の前にてユーザが手８を「指を立てる」形状にしてかざすと、ポイント位置取得部１２がポイント位置３０を取得し、手形状取得部１４が手８の「指を立てる」形状を取得する（図７（ａ）の番号ａおよび図７（ｂ）の番号Ａに対応）。
【００８２】
次に、図９（ａ）に示すように、ユーザが手８を「指を立てる」形状のままにしながら、ディスプレイ部６の表示面に対して平行に移動後アイコン位置９０まで手８を移動させると、ポイント位置取得部１２が新たなポイント位置３０を取得し、手形状取得部１４が移動前と変わらない手８の「指を立てる」形状を取得する（図７（ａ）の番号ｂおよび図７（ｂ）の番号Ａに対応）。これに従い、表示映像処理部１６は、ウィンドウ２０を移動後ウィンドウ位置９０に移動させる。そして、移動後ウィンドウ位置９０に移動されたウィンドウ２０を表示させるように入力映像を処理し、ディスプレイ部６に出力する。ディスプレイ部６は、ウィンドウ位置９０に移動されたウィンドウ２０を含む映像を、表示面に表示する。
【００８３】
続いて、ユーザが手８を「手を開く」形状に変更することにより、ポイント位置取得部１２が手８のポイント位置の取得を終了する（図７（ａ）の番号ｄおよび図７（ｂ）の番号Ｃに対応）。これに従い、ウィンドウ２０の移動が終了する。
【００８４】
（ウィンドウの拡大または縮小）
図７（ｃ）における番号３は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ａおよび番号ｃの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の「指を立てる」形状およびポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、手８の「指を立てる」形状およびユーザがディスプレイ部６の表示面に対して垂直に手８を移動させたことにより生じるポイント位置変化量（ΔＺ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、ポイント位置変化量（ΔＺ）に応じた倍率で、アイコン２０を拡大または縮小する。具体的には、図９（ｂ）を参照しながら説明する。
【００８５】
図９（ｂ）は、ディスプレイ部６におけるウィンドウ２０の拡大または縮小を示す図である。図９（ｂ）に示すように、拡大または縮小させたいウィンドウ２０（例えば、「ＡＮＩＭＥ」）の前にてユーザが手８を「指を立てる」形状にしてかざすと、ポイント位置取得部１２がポイント位置３０を取得し、手形状取得部１４が手８の「指を立てる」形状を取得する（図７（ａ）の番号ａおよび図７（ｂ）の番号Ａに対応）。
【００８６】
次に、図９（ｂ）に示すように、ユーザが手８を「指を立てる」形状のままにしながら、ディスプレイ部６の表示面に対して垂直に手８を移動させると、ポイント位置取得部１２が新たなポイント位置３０を取得し、手形状取得部１４が移動前と変わらない手８の「指を立てる」形状を取得する（図７（ａ）の番号ｃおよび図７（ｂ）の番号Ａに対応）。これに従い、表示映像処理部１６は、ウィンドウ２０を拡大または縮小後ウィンドウ位置９２にまで拡大または縮小させるように、入力映像を処理する。これによりディスプレイ部６は、ウィンドウ位置９２にまで拡大または縮小されたウィンドウ２０を、表示面に表示する。
【００８７】
続いて、ユーザが手８を「手を開く」形状に変更することにより、ポイント位置取得部１２が手８のポイント位置の取得を終了する（図７（ａ）の番号ｄおよび図７（ｂ）の番号Ｃに対応）。これに従い、ウィンドウ２０の拡大または縮小が終了する。
【００８８】
なお、ユーザがディスプレイ部６の表示面に対して垂直に手８を移動させる際に、手８を当該表示面に対して近づけるとウィンドウ２０が縮小するように、手８を当該表示面に対して遠ざけると拡大するように予め設定されていてもよく、逆に、手８を当該表示面に対して近づけると拡大するように、遠ざけると縮小するように予め設定されていてもよい。
【００８９】
（表示の移動）
図７（ｃ）における番号４は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ｂおよび番号ｂの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の「指を立てる」形状およびポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、手８の「手を握る」形状およびユーザがディスプレイ部６の表示面に対して平行に手８を移動させたことにより生じるポイント位置変化量（ΔＸ，ΔＹ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、テキスト２２をの移動させるように、入力映像を処理する。具体的には、図１０（ａ）を参照しながら説明する。
【００９０】
図１０（ａ）は、ディスプレイ部６におけるテキスト２２の移動を示す図である。図１０（ａ）に示すように、移動させたいテキスト２２（例えば、「ＡＮＩＭＥ」）の前にてユーザが手８を「指を立てる」形状にしてかざすと、ポイント位置取得部１２がポイント位置３０を取得し、手形状取得部１４が手８の「指を立てる」形状を取得する（図７（ａ）の番号ａおよび図７（ｂ）の番号Ａに対応）。
【００９１】
次に、図１０（ａ）に示すように、ユーザが手８を「手を握る」形状に変更してから、ディスプレイ部６の表示面に対して平行に移動後表示位置１００まで手８を移動させると、ポイント位置取得部１２が新たなポイント位置３０を取得し、手形状取得部１４が手８の新たな「手を握る」形状を取得する（図７（ａ）の番号ｂおよび図７（ｂ）の番号Ｂに対応）。これに従い、表示映像処理部１６は、テキスト２２を移動後表示位置１００に移動させるように、入力映像を処理し、ディスプレイ部６に出力する。ディスプレイ部６は、移動後表示位置１００に移動されたテキスト２２を含む映像を表示面に表示する。
【００９２】
続いて、ユーザが手８を「手を開く」形状に変更することにより、ポイント位置取得部１２が手８のポイント位置の取得を終了する（図７（ａ）の番号ｄおよび図７（ｂ）の番号Ｃに対応）。これに従い、ウィンドウ２０の移動が終了する。
【００９３】
（表示の拡大または縮小）
図７（ｃ）における番号５は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ｂおよび番号ｃの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の「指を立てる」形状およびポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、手８の「手を握る」形状およびユーザがディスプレイ部６の表示面に対して垂直に手８を移動させたことにより生じるポイント位置変化量（ΔＺ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、テキスト２２を拡大または縮小する。具体的には、図１０（ｂ）を参照しながら説明する。
【００９４】
図１０（ｂ）は、ディスプレイ部６におけるテキスト２２の拡大または縮小を示す図である。まず、拡大または縮小させたいテキスト２２（例えば、「ＡＮＩＭＥ」）の前にて位置３０を取得し、手形状取得部１４が手８の「指を立てる」形状を取得する（図７（ａ）の番号ａおよび図７（ｂ）の番号Ａに対応）。
【００９５】
次に、図１０（ｂ）に示すように、ユーザが手８を「手を握る」形状に変更してから、ディスプレイ部６の表示面に対して垂直に手８を移動させると、ポイント位置取得部１２が新たなポイント位置３０を取得し、手形状取得部１４が手８の新たな「手を握る」形状を取得する（図７（ａ）の番号ｃおよび図７（ｂ）の番号Ｂに対応）。これに従い、表示映像処理部１６は、テキスト２２を拡大または縮小後表示１０２にまで拡大または縮小させるように、入力映像を処理し、ディスプレイ部６に出力する。ディスプレイ部６は拡大または縮小後表示１０２を含む映像を表示面に表示する。
【００９６】
続いて、ユーザが手８を「手を開く」形状に変化することにより、ポイント位置取得部１２が手８のポイント位置の取得を終了する（図７（ａ）の番号ｄおよび図７（ｂ）の番号Ｃに対応）。これに従い、表示映像処理部１６は、テキスト２２の拡大または縮小を終了する。
【００９７】
なお、ユーザがディスプレイ部６の表示面に対して垂直に手８を移動させる際に、手８を当該表示面に対して近づけるとテキスト２２が縮小するように、手８を当該表示面に対して遠ざけると拡大するように予め設定されていてもよく、逆に、手８を当該表示面に対して近づけると拡大するように、遠ざけると縮小するように予め設定されていてもよい。
【００９８】
（表示面の接触）
図７（ｃ）における番号６は、表示映像処理部１６が、番号ａの情報を取得する場合である。換言すれば、表示映像処理部１６が、ポイント位置（Ｘ，Ｙ，Ｚ）を取得するだけの場合であり、続いて、手８のポイント位置３０が移動されたり、手８の形状が変更されたりすることはない。番号ａの情報はＺ＝０の情報を伴っているため、番号６の場合、表示映像処理部１６は、ユーザの手８がディスプレイ部６の表示面に接触していると判定し、ディスプレイ部６の表示面に警告を表示させる。具体的には、図１１を参照しながら説明する。
【００９９】
図１１（ａ）は、ディスプレイ部６の表示面にユーザの手８が接触している状態を示す図であり、図１１（ｂ）は、ディスプレイ部６の表示面にユーザの手８が接触している際のデプスマップ３２である。図１１（ａ）に示すように、ディスプレイ部６の表示面にユーザの手８が接触すると、ポイント位置取得部１２が手８のポイント位置９４を取得する（図７（ａ）の番号ａに対応）。ここで、図１１（ｂ）に示すように、ユーザの手８はディスプレイ部６の表示面に接触しているため、ポイント位置取得部１２は、ディスプレイ部６の表示面からの奥行きを表すＺの値としてＺ＝０を取得する。
【０１００】
これに従い、表示映像処理部１６は、ディスプレイ部６の表示面にユーザの手８が接触していると判定し、ユーザに対する警告文１１２を含むように、入力映像を処理し、ディスプレイ部６に出力する。ディスプレイ部６は、警告文１１２を含む映像（警告画面１１０）を表示面に表示する。
【０１０１】
（本実施形態のまとめ）
本実施形態の表示操作システム１では、ディスプレイ部６の表示面の前面に向けられたユーザの手８の位置に関する情報を、当該表示面の縦軸方向および横軸方向ならびに当該表示面からの奥行き方向における各位置の情報として、取得する。つまり、ディスプレイ部６に対するユーザの手８または指の位置情報を、三次元位置情報として取得することができる。その際、表示操作システム１では、ユーザの体全体ではなく、ユーザの手８（または指）のみを含んだデプスマップ３２を取得して処理するため、データ演算量は従来に比べて少なくて済む。また、デプスマップを取得するための距離計測装置２は、ディスプレイ部６の表示面に貼り付けるようなものではないため、ディスプレイ部６の開口率が低下することはない。
【０１０２】
従って、本実施形態によれば、ディスプレイ部６の表示面から離れた場所におけるユーザの手８の位置を、より少ない演算量で検出でき、かつ、ディスプレイ部６の開口率を低下させることが無い表示操作システム１を実現できる。
【０１０３】
〔実施形態２〕
本発明に係る他の実施形態について、図１２および１３を参照して説明する。本実施形態における表示操作システム１の構成は、実施形態１における表示操作システム１と同一であるため、その説明は省略する。
【０１０４】
なお、本実施形態は、実施形態１での、ポイント位置（Ｘ，Ｙ，Ｚ）におけるＺ、および、ポイント位置変化量（ΔＸ，ΔＹ，ΔＺ）におけるΔＺを使用しない場合である。従って、本実施形態においては、ポイント位置を（Ｘ，Ｙ）と表示し、ポイント位置変化量を（ΔＸ，ΔＹ）と表示する。
【０１０５】
（取得処理の流れ）
図１２は、本発明の他の実施形態に係る表示操作システム１におけるポイント位置、ポイント位置変化量、および手形状を取得するための一連の流れを示すフローチャートである。
【０１０６】
なお、図１２において、図５に示す実施形態１に係るフローチャートの工程と同一の工程には同一の番号を付している。更に、図１２におけるステップＳ１からステップＳ５に関しては、実施形態１と同一の内容であるため、その説明を省略する。
【０１０７】
（手の領域の取得判定）
ステップＳ６では、ステップＳ５において手８の領域が取得されたか否かが判定される。ステップＳ５にて、手８の領域が取得された場合は次のステップＳ１１に進み、ステップＳ５にて、手８の領域が取得されなかった場合はステップＳ２に戻り、その後の一連のステップを実行する。
【０１０８】
（ポイント位置情報の取得）
ステップＳ１１では、ポイント位置取得部１２がポイント位置３０の座標Ｐ（Ｘ，Ｙ）を取得する。このように、本実施形態においては、ポイント位置取得部１２は、Ｚの値は取得しない。これは、本実施形態の表示操作システム１が、Ｚの値を考慮せずに、表示映像を処理するからである。
【０１０９】
ステップＳ１２では、ポイント位置取得部１２がポイント位置３０の変化量ΔＰ（ΔＸ，ΔＹ）を取得する。具体的には、ユーザが手８を動かした後の現時点（現フレーム）における手８のポイント位置の座標をＰ１（ＸＰ１，ＹＰ１）、ユーザが手８を動かす前の時点（前フレーム）における手８のポイント位置の座標をＰ０（ＸＰ０，ＹＰ０）として、ポイント位置取得部１２がポイント位置３０の変化量ΔＰをＰ１−Ｐ０から算出する。つまり、Ｐ１−Ｐ０＝（ＸＰ１，ＹＰ１）−（ＸＰ０，ＹＰ０）から算出された値を、ポイント位置変化量ΔＰ（ΔＸ，ΔＹ）として取得する。
【０１１０】
（手形状の取得）
ステップＳ９では、手形状取得部１４が手８の形状を取得する。具体的には、手形状取得部１４が、ステップＳ５にてポイント位置取得部１２が取得した手８の領域と、手の形状を表すテンプレートとをマッチングさせることにより、手８の形状を判断し取得する。
【０１１１】
手形状取得部１４が手８の形状を取得すると、ステップＳ２に戻り、図１２におけるステップＳ２からステップＳ９までの各ステップを無期限に繰り返し、ポイント位置取得部１２が各時点（フレーム）における手８のポイント位置３０およびポイント位置変化量を取得し、手形状取得部１４が各時点（フレーム）における手８の形状を取得する。
【０１１２】
（映像処理の方法）
表示映像処理部１６の映像処理について、図１３を参照しながら説明する。
【０１１３】
図１３（ａ）は、ポイント位置取得部１２が取得するポイント位置３０およびその変化量の内容を分類して示す表である。図１３（ａ）に示すように、番号ａはポイント位置（Ｘ，Ｙ）に対応し、番号ｂはＸ、Ｙに関するポイント位置変化量（ΔＸ，ΔＹ）に対応し、番号ｄはポイント位置取得終了に対応している。
【０１１４】
図１３（ｂ）は、手形状取得部１４が取得した手８の形状を分類して示す表示である。。図１３（ｂ）に示すように、番号Ａは手８の「指を立てる」形状に対応し、番号Ｂは手８の「手を握る」形状に対応し、番号Ｃは手８の「手を開く」形状に対応している。
【０１１５】
図１３（ｃ）は、表示映像処理部１６がポイント位置取得部１２および手形状取得部１４から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。番号１、２、４、および６の各々に対応する処理内容について、以下に簡単に記述する。
【０１１６】
（表示映像切り替え）
図１３（ｃ）における番号１は、表示映像処理部１６が、番号ａの情報を取得した後に番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、ポイント位置（Ｘ，Ｙ）を取得した後にポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、表示映像（ウィンドウ）２０を切り替えるように、入力映像を処理する。
【０１１７】
（ウィンドウ移動）
図１３（ｃ）における番号２は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ａおよび番号ｂの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８を「指を立てる」形状およびポイント位置（Ｘ，Ｙ）を取得した後に、手８の「指を立てる」形状およびユーザがディスプレイ部６の表示面に対して平行に手８を移動させたことにより生じるポイント位置変化量（ΔＸ，ΔＹ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、ウィンドウ２０を移動させるように、入力映像を処理する。
【０１１８】
（表示の移動）
図１３（ｃ）における番号４は、表示映像処理部１６が、番号Ａおよび番号ａの情報を取得した後に、番号Ｂおよび番号ｂの情報を取得し、最後に番号Ｃおよび番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の「指を立てる」形状およびポイント位置（Ｘ，Ｙ）を取得した後に、手８の「手を握る」形状およびユーザがディスプレイ部６の表示面に対して平行に手８を移動させることにより生じるポイント位置変化量（ΔＸ，ΔＹ）を取得してから、手８の「手を開く」形状を取得することによりポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、テキスト２２を移動させるように、入力映像を処理する。
【０１１９】
（表示面の接触）
図１３（ｃ）における番号６は、表示映像処理部１６が、番号ａの情報を取得する場合である。換言すれば、表示映像処理部１６が、ポイント位置（Ｘ，Ｙ）を取得するだけの場合であり、続いて、手８のポイント位置３０が移動されたり、手８の形状が変更されたりすることはない。番号ａの情報はＺ＝０の情報を伴っているため、番号６の場合、表示映像処理部１６は、ユーザの手８がディスプレイ部６の表示面に接触していると判定し、ディスプレイ部６の表示面に警告を表示させる。
【０１２０】
〔実施形態３〕
本発明に係る更に他の実施形態について、図１４および１５を参照して説明する。本実施形態における表示操作システムの構成は、実施形態１における表示操作システム１の構成と同一であるため、その説明は省略する。本実施形態では、実施形態１とは異なり、手８の形状を取得せず、ポイント位置３０およびその変化量のみを取得する。
【０１２１】
（ポイント位置およびその変化量取得）
図１４は、本発明の他の実施形態に係る表示操作システム１におけるポイント位置、およびポイント位置変化量を取得するための一連の流れを示すフローチャートである。
【０１２２】
なお、図１４において、図５に示す実施形態１に係るフローチャートの工程と同一の工程には同一の番号を付している。更に、図１４におけるステップＳ１からステップＳ７に関しては、実施形態１と同一の内容であるため、その説明を省略する。
【０１２３】
（ポイント位置変化量の取得）
ステップＳ８では、ポイント位置取得部１２がポイント位置３０の変化量ΔＰ（ΔＸ，ΔＹ，ΔＺ）を取得する。具体的には、ユーザが手８を動かした後の現時点（現フレーム）における手８のポイント位置３０の座標をＰ１（ＸＰ１，ＹＰ１，ＺＰ１）、ユーザが手８を動かす前の時点（前フレーム）における手８のポイント位置３０の座標をＰ０（ＸＰ０，ＹＰ０，ＺＰ０）として、ポイント位置取得部１２がポイント位置３０の変化量ΔＰをＰ１−Ｐ０から算出する。つまり、Ｐ１−Ｐ０＝（ＸＰ１，ＹＰ１，ＺＰ１）−（ＸＰ０，ＹＰ０，ＺＰ０）から算出された値を、ポイント位置変化量ΔＰ（ΔＸ，ΔＹ，ΔＺ）として取得する。
【０１２４】
ポイント位置取得部１２がポイント位置変化量ΔＰを取得すると、ステップＳ２に戻り、図１４におけるステップＳ２からステップＳ８までの各ステップを無期限に繰り返し、ポイント位置取得部１２が、各時点（フレーム）における手８のポイント位置３０およびポイント位置変化量ΔＰを取得する。
【０１２５】
（映像処理の方法）
表示映像処理部１６の映像処理について、図１５を参照しながら説明する。
【０１２６】
図１５（ａ）は、ポイント位置取得部１２が取得するポイント位置３０およびその変化量の内容を分類して示す表である。図１５（ａ）に示すように、番号ａはポイント位置（Ｘ，Ｙ，Ｚ）に対応し、番号ｂはＸ、Ｙ，Ｚに関するポイント位置変化量（ΔＸ，ΔＹ，ΔＺ）に対応し、番号ｄはポイント位置取得終了に対応する。
【０１２７】
図１５（ｂ）は、（ｃ）は、表示映像処理部１６がポイント位置取得部１２から取得した情報の組み合わせと、入力映像の処理内容とを対応付けて示す表である。番号１、２、３、および６の各々に対応する処理内容について、以下において簡単に記述する。
【０１２８】
（表示映像切り替え）
図１５（ｃ）における番号１は、表示映像処理部１６が、番号ａの情報を取得した後に番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、ポイント位置（Ｘ，Ｙ，Ｚ）を取得した後にポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、表示映像（ウィンドウ）２０を切り替えるように、入力映像を処理する。
【０１２９】
（ウィンドウ移動）
図１５（ｃ）における番号２は、表示映像処理部１６が、番号ａの情報を取得した後に、番号ｂの情報を取得し、最後に番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の形状に関連しないポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、ユーザがディスプレイ部６の表示面に対して平行に手８を移動させることにより生じるポイント位置変化量（ΔＸ，ΔＹ）を取得してから、ポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、ウィンドウ２０を移動させるように、入力映像を処理する。
【０１３０】
（ウィンドウ拡大または縮小）
図１５（ｃ）における番号３は、表示映像処理部１６が、番号ａの情報を取得した後に、番号ｃの情報を取得し、最後に番号ｄの情報を取得する場合である。換言すれば、表示映像処理部１６が、手８の形状に関連しないポイント位置（Ｘ，Ｙ，Ｚ）を取得した後に、ユーザがディスプレイ部６の表示面に対して垂直に手８を移動させることにより生じるポイント位置変化量（ΔＺ）を取得してから、ポイント位置取得終了をする場合である。この場合、表示映像処理部１６は、ウィンドウ２０を拡大または縮小させるように、入力映像を処理する。
【０１３１】
（表示面の接触）
図１５（ｃ）における番号６は、表示映像処理部１６が、番号ａの情報を取得する場合である。換言すれば、ポイント位置（Ｘ，Ｙ，Ｚ）を取得するだけの場合であり、続いて、手８のポイント位置が移動されることはない。番号ａの情報はＺ＝０の情報を伴っているため、番号６の場合、表示映像処理部１６は、ユーザの手８がディスプレイ部６の表示面に接触していると判定し、ディスプレイ部６の表示面に警告を表示させる。
【０１３２】
〔実施形態４〕
本発明に係る更に他の実施形態について、図１６を参照して説明する。なお、上述した各実施形態と同じ部材については、同じ符号を付すと共に、その詳細な説明を省略する。
【０１３３】
図１６は、本発明の第４の実施形態に係る表示操作システム１ａの要部構成を示すブロック図である。この図に示すように、表示操作システム１ａは、表示装置１６０、外部接続部１６２、および距離計測装置２を備えている。表示装置１６０は、制御部４、およびディスプレイ部６を備えており、制御部４は、ポイント位置取得部１２、手形状取得部１４、および表示映像処理部１６を備えている。
【０１３４】
表示操作システム１ａにおいて、距離計測装置２は、外部接続部１６２を介して表示装置１６０に接続されている。すなわち距離計測装置２は、表示操作システム１ａから分離可能である。言い換えると、表示装置１６０に対して外部接続部１６２を介して距離計測装置２を後付することによって、表示操作システム１ａを構成することができる。外部接続部１６２は、たとえば、ＵＳＢ規格に基づくＵＳＢコネクタであるが、これには限定されない。
【０１３５】
本実施形態の表示操作システム１ａと、実施形態の表示操作システム１とは、装置の構成が互いに異なっているが、全体としての機能は互いに同等である。すなわち、距離計測装置２がデプスマップを撮像して表示装置１６０に提供する。表示装置１６０は、提供されたデプスマップを用いて、ユーザの手８のポイント位置、および、手８の形状を取得する。そして、取得したこれらの情報を用いて、入力映像を処理する。
【０１３６】
〔実施形態５〕
本発明に係る更に他の実施形態について、図１７を参照して説明する。なお、上述した各実施形態と同じ部材については、同じ符号を付すと共に、その詳細な説明を省略する。
【０１３７】
図１７は、本発明の第５の実施形態に係る表示操作システム１ｂの要部構成を示すブロック図である。この図に示すように、表示操作システム１ｂは、表示装置１７０、外部接続部１６２、および表示映像処理パラメータ生成装置１７２を備えている。表示装置１６０は、制御部４、およびディスプレイ部６を備えており、制御部４は、表示映像処理部１６を備えている。一方、表示映像処理パラメータ生成装置１７２は、距離計測装置２、ポイント位置取得部１２、手形状取得部１４、およびパラメータ生成部１７４を備えている。
【０１３８】
表示操作システム１ｂにおいて、表示映像処理パラメータ生成装置１７２は、外部接続部１６２を介して表示装置１７０に接続されている。すなわち表示映像処理パラメータ生成装置１７２は、表示操作システム１ｂから分離可能である。言い換えると、表示装置１７０に対して外部接続部１６２を介して表示映像処理パラメータ生成装置１７２を後付することによって、表示操作システム１ｂを構成することができる。外部接続部１６２は、たとえば、ＵＳＢ規格に基づくＵＳＢコネクタであるが、これには限定されない。
【０１３９】
本実施形態の表示操作システム１ｂと、実施形態１の表示操作システム１とは、装置の構成が互いに異なっているが、全体としての機能は互いに同等である。本実施形態では、表示映像処理パラメータ生成装置１７４内の距離計測装置２がデプスマップを撮像してポイント位置取得部１２に出力する。ポイント位置取得部１２は、ユーザの手８のポイント位置を取得し、パラメータ生成部１７４に出力する。また、ポイント位置取得部１２は、手８の領域を取得し、手形状取得部１４に出力する。手形状取得部１４は、手８の形状を取得し、パラメータ生成部１７４に出力する。パラメータ生成部１７４は、入力されたポイント位置および形状に基づき、表示映像を処理するためのパラメータを生成して、表示装置１７０の表示映像処理部１６に出力する。ここでいうパラメータとは、たとえば、ユーザによる入力操作の内容（クリック、ドロップ、またはドラッグ等）を示す。表示映像処理部１６は、入力されたパラメータを用いて入力映像を処理し、処理後の入力映像をディスプレイ部６に出力する。
（付記事項１）
なお、本発明の各実施形態におけるディスプレイ部２の表示面には、特許文献３に記載されているような線状の電極等は設置されていないため、ディスプレイ部２の開口率は低下しない。また、当該表示面に表示面保護用のシートまたはガラスを設置する必要がないため、ディスプレイ部６の開口率および表示性能は低下しない。
【０１４０】
（付記事項２）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１４１】
本発明は、テレビ等のディスプレイ装置に好適に用いることができる。
【符号の説明】
【０１４２】
１          表示操作システム
１ａ        表示操作システム
１ｂ        表示操作システム
２          距離計測装置
４          制御部
６          ディスプレイ部
８          手
１２        ポイント位置取得部
１４        手形状取得部
１６        表示映像処理部
２０        ウィンドウ（表示映像）
２２        テキスト
２４        センシング領域
３０        ポイント位置
３２        デプスマップ
３４        処理範囲
４０        物体
４２        物体
４４        格子パターン
４４        格子パターン
６０        ポイント画像
６２        ポイント画像
９０        移動後ウィンドウ位置
９２        拡大または縮小後ウィンドウ位置
１００        移動後表示位置
１０２        拡大または縮小後表示
１１０        警告画面
１１２        警告文
１１４        接触位置
１６０        表示装置
１６２        外部接続部
１７０        表示装置
１７２        表示映像処理パラメータ生成装置
１７４        パラメータ生成部
【図１】
2013127752.tif 000003
【図２】
2013127752.tif 000004
【図３】
2013127752.tif 000005
【図４】
2013127752.tif 000006
【図５】
2013127752.tif 000007
【図６】
2013127752.tif 000008
【図７】
2013127752.tif 000009
【図８】
2013127752.tif 000010
【図９】
2013127752.tif 000011
【図１０】
2013127752.tif 000012
【図１１】
2013127752.tif 000013
【図１２】
2013127752.tif 000014
【図１３】
2013127752.tif 000015
【図１４】
2013127752.tif 000016
【図１５】
2013127752.tif 000017
【図１６】
2013127752.tif 000018
【図１７】
2013127752.tif 000019
【図１８】
2013127752.tif 000020
【図１９】
2013127752.tif 000021