(57)【要約】【課題】ユーザのジェスチャによる表示装置の操作の精度を向上させることができる表示装置を提供する。【解決手段】表示装置１は、画像を表示する表示部１２と、表示手段の表示面側で物体が動く方向を特定する動きベクトル検出部１１５と、動きベクトル検出部１１５が特定した物体が動く方向に基づいて、表示部１２において物体により指し示された位置である指示位置を特定する検出動作特定部１１７と、を有する。【選択図】図４
2018109911.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
前記表示手段の表示面側で物体が動く方向を特定する方向特定手段と、
前記方向特定手段が特定した前記物体が動く方向に基づいて、前記表示手段において前記物体により指し示された位置である指示位置を特定する位置特定手段と、
を有することを特徴とする表示装置。
【請求項２】
前記位置特定手段は、前記表示手段の画面に対する前記物体が動く方向の角度に基づいて、前記指示位置を特定することを特徴とする、
請求項１に記載の表示装置。
【請求項３】
前記位置特定手段は、前記物体の先端を起点として前記物体が動く方向に延長した線と前記表示手段との交点を前記指示位置として特定することを特徴とする、
請求項１又は２に記載の表示装置。
【請求項４】
前記表示手段の中心位置を通り、かつ前記表示手段と直交する中心線と、前記物体が動く方向の直線とが交わる位置を回転中心として、前記中心線と前記直線とが成す角度だけ前記物体が動く方向を回転させることにより、前記物体が動く方向を変換する変換手段をさらに有し、
前記位置特定手段は、前記変換手段が変換した後の前記物体が動く方向と前記表示手段との交点を前記指示位置として特定することを特徴とする、
請求項３に記載の表示装置。
【請求項５】
前記位置特定手段は、前記物体が動く方向が第１の範囲である場合に、前記物体の先端位置を起点として前記物体が動く方向に延長した線と前記表示手段との交点を前記指示位置として特定し、前記物体が動く方向が前記第１の範囲と異なる第２の範囲である場合に、前記物体の先端位置を起点として前記表示手段に直交する方向に延長した線と前記表示手段との交点を前記指示位置として特定することを特徴とする、
請求項３又は４に記載の表示装置。
【請求項６】
前記位置特定手段は、前記物体の先端位置を起点として前記物体が動く方向に延長した線が前記表示手段の表示領域と交わらない場合に、前記物体の先端位置を起点として前記表示手段に直交する方向に延長した線と前記表示手段との交点を前記指示位置として特定することを特徴とする、
請求項５に記載の表示装置。
【請求項７】
前記位置特定手段は、前記物体の動きを検出できる検出可能領域に前記物体が入った位置を起点とする前記物体の動きベクトルに基づいて、前記指示位置を特定することを特徴とする、
請求項１から６のいずれか一項に記載の表示装置。
【請求項８】
前記方向特定手段は、前記物体の少なくとも一部の外形を特定し、
前記位置特定手段は、特定した外形の物体が動く方向に基づいて、前記指示位置を特定することを特徴とする、
請求項１から７のいずれか一項に記載の表示装置。
【請求項９】
前記表示手段に表示された画像に対して、前記位置特定手段が特定した前記指示位置に対応する処理を実行する処理実行手段をさらに有することを特徴とする、
請求項１から８のいずれか一項に記載の表示装置。
【請求項１０】
前記表示手段の表示面側で前記物体の位置を検出する物体検出手段と前記表示手段との第１距離を測定する測定手段をさらに有し、
前記位置特定手段は、前記測定手段が測定した前記第１距離にさらに基づいて、前記指示位置を特定することを特徴とする、
請求項１から９のいずれか一項に記載の表示装置。
【請求項１１】
前記位置特定手段は、前記測定手段が測定した前記第１距離と、前記物体検出手段が前記物体を検出できる検出可能領域における前記物体を検出した位置と、に基づいて特定した前記物体と前記表示手段との第２距離に基づいて、前記指示位置を特定することを特徴とする、
請求項１０に記載の表示装置。
【請求項１２】
前記物体と前記表示手段との距離を測定する測定手段をさらに有し、
前記位置特定手段は、前記測定手段が測定した前記距離にさらに基づいて、前記指示位置を特定することを特徴とする、
請求項１から９のいずれか一項に記載の表示装置。
【請求項１３】
前記位置特定手段は、前記方向特定手段が複数の前記物体が動く方向を特定した場合に、前記複数の物体が動きを開始した順序に基づいて選択した物体が動く方向に基づいて、前記指示位置を特定することを特徴とする、
請求項１から１２のいずれか一項に記載の表示装置。
【請求項１４】
前記位置特定手段は、前記複数の物体のうち、最も早く動きを開始した物体が動く方向に基づいて、前記指示位置を特定することを特徴とする、
請求項１３に記載の表示装置。
【請求項１５】
前記位置特定手段は、最も早く動きを開始した物体が複数ある場合、前記複数の物体のうち、最も長く動きを継続した物体が動く方向に基づいて、前記指示位置を特定することを特徴とする、
請求項１４に記載の表示装置。
【請求項１６】
前記位置特定手段は、同時に動いている前記複数の物体のうち、最後に動いていた物体が動く方向に基づいて、前記指示位置を特定することを特徴とする、
請求項１３に記載の表示装置。
【請求項１７】
画像を表示する表示装置に対する指示を検出する指示検出装置であって、
前記表示装置の表示面側で物体が動く方向を特定する方向特定手段と、
前記方向特定手段が特定した前記物体が動く方向に基づいて、前記表示装置における前記物体により指し示された位置である指示位置を特定する位置特定手段と、
前記位置特定手段が特定した前記指示位置を前記表示装置に送信する送信手段と、
を有することを特徴とする指示検出装置。
【請求項１８】
コンピュータが実行する、
表示装置の表示面側で物体が動く方向を特定するステップと、
前記物体が動く方向に基づいて、画像を表示する表示手段において前記物体により指し示された位置である指示位置を特定するステップと、
前記指示位置に基づいて、前記表示手段に表示する画像を処理するステップと、
を有することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザのジェスチャモーションを取得して表示画像を制御する表示装置、指示検出装置及び画像表示方法に関するものである。
【背景技術】
【０００２】
昨今、表示装置がモーションセンサを実装して仮想的な釦をソフトウエアで実現することで、ユーザは、表示装置を見ながら映像の操作を手指のジェスチャで行うことができる。ところが、ユーザの手指の大きさ、及びモーションセンサと手指の距離は、ユーザ毎に異なる。したがって、複数のユーザが同じジェスチャを行っても、表示装置は、ユーザ毎に異なるジェスチャを行っていると判定する場合がある。ジェスチャの認識精度を向上する方法として、特許文献１には、手指の大きさとジェスチャ入力領域の比率に基づいて動作を判定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０３３６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザがジェスチャにより表示装置を操作する場合、ユーザは、表示装置に対して様々な位置に立つことが想定される。ユーザが立つ位置が異なると、同じ操作であっても、ユーザの手指の動きが異なる場合がある。しかしながら、特許文献１に開示された技術では、ユーザの手指の動きが考慮されていない。したがって、ユーザが、表示装置に対して異なる方向からジェスチャを行うと、同一の操作を行うためのジェスチャであるにもかかわらず、異なるジェスチャであると認識されてしまう場合があった。その結果、表示装置が、ジェスチャによって表示装置を操作しようとしたユーザの意図と異なる動作を実行してしまう場合があるという問題があった。
【０００５】
そこで、本発明は上述した点に鑑みてなされたものであり、ジェスチャによる表示装置の操作の精度を向上させることができる表示装置、指示検出装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、画像を表示する表示手段と、前記表示手段の表示面側で物体が動く方向を特定する方向特定手段と、前記方向特定手段が特定した前記物体が動く方向に基づいて、前記表示手段において前記物体により指し示された位置である指示位置を特定する位置特定手段と、を有することを特徴とする。
【０００７】
本発明の指示検出装置は、画像を表示する表示装置に対する指示を検出する指示検出装置であって、前記表示装置の表示面側で物体が動く方向を特定する方向特定手段と、前記方向特定手段が特定した前記物体が動く方向に基づいて、前記表示装置における前記物体により指し示された位置である指示位置を特定する位置特定手段と、前記位置特定手段が特定した前記指示位置を前記表示装置に送信する送信手段と、を有することを特徴とする。
【０００８】
本発明の画像表示方法は、コンピュータが実行する、表示装置の表示面側で物体が動く方向を特定するステップと、前記物体が動く方向に基づいて、画像を表示する表示手段において前記物体により指し示された位置である指示位置を特定するステップと、前記指示位置に基づいて、前記表示手段に表示する画像を処理するステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ジェスチャによる表示装置の操作の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】指示検出システムの概要を示す図である。
【図２】ユーザの位置による手指の動作の認識の差異を説明するための図である。
【図３】ユーザの動作について説明するための図である。
【図４】ユーザの動作に対して行う固定位置化演算について説明するための図である。
【図５】表示装置の構成を示すブロック図である。
【図６】固定位置化演算のフローチャートである。
【図７】本発明の第２の実施形態の概要を説明するための図である。
【図８】ＸＺ平面での演算を説明するための図である。
【図９】ＺＹ平面での演算を説明するための図である。
【図１０】表示装置の構成を示すブロック図である。
【図１１】固定位置化演算のフローチャートである。
【図１２】本発明の第３の実施形態の概要を説明するための図である。
【図１３】指示位置の差異を説明するための図である。
【図１４】表示装置の構成を示すブロック図である。
【図１５】固定位置化演算のフローチャート（１）である。
【図１６】固定位置化演算のフローチャート（２）である。
【図１７】複数人が同時に動作する場合の処理を示すフローチャート（１）である。
【図１８】複数人が同時に動作する場合の処理を示すフローチャート（２）である。
【図１９】複数人が同時に動作する場合の調停処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
＜第１の実施形態＞
［表示装置１の概要］
本発明の第１の実施形態における表示装置の動作を説明する。第１の実施形態においては、表示装置１が、モーションセンサの認識領域に侵入したユーザの手指とモーションセンサとの位置関係に基づいて、ユーザが行ったジェスチャの方向を特定する。そして、表示装置１は、特定したジェスチャの方向に基づいて、ユーザの表示装置１における指示位置を特定することにより、操作の内容を特定する。
【００１２】
表示装置１は、ユーザが行ったジェスチャに対応する動きベクトルの回転処理を行い、固定の位置における動作に変換する。本実施形態における固定の位置は、例えば表示装置１の表示部に対して真正面の位置であるが、真正面以外の位置であってもよい。また、以下の説明においては、表示装置１がユーザの手指の動作を座標変換し、表示装置１の表示部の正面に位置する動作へ変換することを、固定位置化演算と称する。
【００１３】
図１は、指示検出システムＳの概要を示す図である。指示検出システムＳは、表示装置１と、映像信号発生器２と、モーションセンサデバイス３とを有する。図１においては、複数のユーザが、ジェスチャを用いて表示装置１を操作していることを想定している。
【００１４】
表示装置１は、制御部１１と、表示部１２とを有する。制御部１１は、モーションセンサデバイス３から取得した物体の位置を示す座標情報に基づいてユーザのジェスチャを特定し、表示部１２を制御する指示検出装置である。モーションセンサデバイス３は、表示装置１の表示部１２の表示面側で物体の位置を検出する物体検出手段である。制御部１１は、座標情報に基づいて特定したユーザのジェスチャによる指示位置を表示部１２に通知する。また、制御部１１は、映像信号発生器２を制御して、映像信号発生器２から映像信号を受信する。制御部１１は、受信した映像信号を表示部１２に入力して、映像信号に基づく画像を表示部１２に表示させる。
【００１５】
表示部１２は、映像信号発生器２が出力した動画及び静止画などの映像を表示する。図１においては制御部１１が表示部１２と分離しているが、制御部１１は表示部１２と一体に構成されていてもよい。また、表示装置１は、モーションセンサデバイス３を含んでいてもよい。
【００１６】
図２は、ユーザの位置による手指の動作の認識の差異を説明するための図である。図２においては、モーションセンサデバイス３が手指を認識する領域である検出可能領域７にユーザＵ１、ユーザＵ２、及びユーザＵ３の手指が存在し、表示装置１の内部にあるユーザ指示領域８を指し示すことを想定している。
【００１７】
まず、各ユーザが、各自の手指をユーザ指示領域８に向う、実線の矢印で示した方向に手指を動かす。モーションセンサデバイス３は、各ユーザの手指の動作を検出する。表示装置１の制御部１１は、モーションセンサデバイス３が検出した手指の動作を、ユーザ毎に異なる直線の動作と判定する。本実施形態においては、制御部１１は、ユーザ毎に異なる直線の動作と判定された動作を、検出可能領域７の内部にある手指であれば、全て同じ動作に変換する。また、本実施形態における動作の変換処理は、直進する動作に限らず、手を回転させる動作や手を水平及び垂直方向に移動する動作など、他の動作にも適用することができる。
【００１８】
図３は、ユーザの動作について説明するための図である。図３は、各機器及びユーザを上部から下部に対して見た場合の平面である。ユーザＵ１の手指は、侵入位置Ｐ１（Ｘ１, Ｚ１）より検出可能領域７に侵入し、動きベクトルＬ２で示す動作を行い、動作停止位置Ｐ３（Ｘ３, Ｚ３）で停止する。図３において、手首中心Ｔ０は、ユーザの手首の中心を示す。
【００１９】
図４は、ユーザの動作に対して行う固定位置化演算について説明するための図である。表示装置１の制御部１１は、中心位置Ｐ０（Ｘ０, Ｚ０）を通りＺ軸と平行線である中心線Ｌ１と動きベクトルＬ２の延長線とが交わる位置に基づいて、中心線Ｌ１と動きベクトルＬ２とが成す角度θ１を算出する。表示装置１の制御部１１は、中心線Ｌ１と動きベクトルＬ２とが交わる位置を回転中心として、角度θ１だけ動きベクトルＬ２に回転処理を実施することにより、座標変換後動きベクトルＬ３を算出する。そして、表示装置１の制御部１１は、ユーザＵ１の動作を座標変換後動きベクトルＬ３として処理する。
【００２０】
本実施形態においては、図３で示した固定位置化演算前の状態を、図４で示した固定位置化演算後の状態に変換する処理を、図５のブロック図と図６のフローチャートを用いて説明する。
以下、表示装置１の構成及び動作について詳細に説明する。
【００２１】
［表示装置１の構成及び動作］
図５は、表示装置１の構成を示すブロック図である。表示装置１は、制御部１１と、表示部１２と、記憶部１３とを有する。制御部１１は、検出座標入力部１１１と、手位置情報検出部１１２と、指位置情報検出部１１３と、侵入角度検出部１１４と、動きベクトル検出部１１５と、座標変換部１１６と、検出動作特定部１１７と、描画部１１８と、画像保持部１１９と、画像選択部１２０と、拡大縮小部１２１と、合成部１２２と、を有する。図５の実線は映像信号の流れを示し、破線はセンサ信号及び制御信号の流れを示す。
【００２２】
まず、表示装置１のブロック毎の動作について説明する。
制御部１１は、表示装置１を制御する制御手段であり、例えばＣＰＵ（Central Processing Unit）である。制御部１１は、後述する記憶部１３に記憶されたプログラムを実行することにより、検出座標入力部１１１、手位置情報検出部１１２、指位置情報検出部１１３、侵入角度検出部１１４、動きベクトル検出部１１５、座標変換部１１６、検出動作特定部１１７、描画部１１８、画像保持部１１９、画像選択部１２０、拡大縮小部１２１、及び合成部１２２として機能する。
【００２３】
表示部１２は、画像を表示する、例えば液晶パネルである。表示部１２は、映像信号発生器２が出力した動画及び静止画などの映像を表示する。記憶部１３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを記憶している。
【００２４】
検出座標入力部１１１は、初期化時に、中心位置及び検出可能領域７の座標について確認を行う。具体的には、検出座標入力部１１１は、中心位置Ｐ０（Ｘ０，Ｚ０）を確認し、中心位置Ｐ０（Ｘ０，Ｚ０）を基準とした、検出可能領域７の境界の座標を確認する。検出座標入力部１１１は、確認した中心位置Ｐ０（Ｘ０，Ｚ０）及び検出可能領域７を、手位置情報検出部１１２に通知する。検出座標入力部１１１は、その後、モーションセンサデバイス３から取得した物体の位置を示す座標情報を手位置情報検出部１１２に通知する。
【００２５】
検出座標入力部１１１は、モーションセンサデバイス３が物体の動く方向を検出した場合、モーションセンサデバイス３から物体の動く方向を取得してもよい。検出座標入力部１１１は、例えば図３における物体の動く方向を示す動きベクトルＬ２を取得し、動きベクトル検出部１１５に通知する。
【００２６】
手位置情報検出部１１２は、検出座標入力部１１１から取得した物体の位置を示す座標情報に基づいて、ジェスチャを行うユーザの手指の位置を検出する。また、手位置情報検出部１１２は、ユーザの手指の他に、所定の指示棒の先端位置を検出してもよい。
そして、手位置情報検出部１１２は、検出座標入力部１１１から取得した物体の位置を示す座標情報を、指位置情報検出部１１３及び侵入角度検出部１１４に通知するとともに、動きベクトル検出部１１５に、検出した手の位置を示す情報を通知する。
【００２７】
指位置情報検出部１１３は、手位置情報検出部１１２から取得したユーザの手指に関する座標情報に基づいて指の位置を検出する。そして、指位置情報検出部１１３は、検出した指の位置を示す情報を、動きベクトル検出部１１５に通知する。
【００２８】
侵入角度検出部１１４は、手位置情報検出部１１２から取得したユーザの手指に関する座標情報及び検出可能領域７に基づいて、手指の侵入位置Ｐ１（Ｘ１, Ｚ１）を検出する。そして、侵入角度検出部１１４は、中心位置Ｐ０（Ｘ０, Ｚ０）と検出可能領域７とに基づいて中心線Ｌ１を算出する。侵入角度検出部１１４は、中心線Ｌ１と、侵入位置Ｐ１（Ｘ１, Ｚ１）と、動作停止位置Ｐ３（Ｘ３, Ｚ３）とに基づいて角度θ１を算出する。侵入角度検出部１１４は、算出した角度θ１を座標変換部１１６に伝送する。
【００２９】
動きベクトル検出部１１５は、表示部１２の表示面側で物体が動く方向を特定する方向特定手段として機能する。表示部１２の表示面側で動く物体は、例えばユーザの手指、又は所定の指示棒である。手指の侵入位置Ｐ１（Ｘ１, Ｚ１）と、動作停止位置Ｐ３（Ｘ３, Ｚ３）を結ぶ線の方向が、物体が動く方向に相当する。動きベクトル検出部１１５は、特定した動く方向を、例えばベクトルとして検出座標入力部１１１に通知する。
【００３０】
動きベクトル検出部１１５は、手位置情報検出部１１２及び指位置情報検出部１１３から取得したユーザの手指に関する座標情報に基づいて、物体が動く方向を示す動きベクトルＬ２を算出する。具体的には、動きベクトル検出部１１５は、指示を行う指の先端の位置である指先位置Ｐ２（Ｘ２, Ｚ２）と、動作停止位置Ｐ３（Ｘ３, Ｚ３）とに基づいて動きベクトルＬ２を算出する。そして、動きベクトル検出部１１５は、座標変換部１１６に動きベクトルＬ２を示す情報を通知する。動きベクトル検出部１１５は、動きベクトルＬ２を侵入角度検出部１１４に通知してもよい。
【００３１】
動きベクトル検出部１１５は、物体の少なくとも一部の外形を特定してもよい。動きベクトル検出部１１５は、例えば、ユーザの指の先端、又は手首の中心を特定する。
なお、動きベクトル検出部１１５は、検出座標入力部１１１から動きベクトルＬ２を取得した場合、動きベクトルＬ２の算出を行わず、検出座標入力部１１１から取得した動きベクトルＬ２を座標変換部１１６に通知する。
【００３２】
座標変換部１１６は、表示部１２の中心位置を通り、かつ表示部１２と直交する中心線と、手指が動く方向の直線とが交わる位置を回転中心として、中心線と指が動く方向の直線とが成す角度θ１だけ物体が動く方向を回転させることにより、物体が動く方向を変換する。具体的には、座標変換部１１６は、侵入角度検出部１１４から取得した角度θ１、及び動きベクトル検出部１１５から取得した動きベクトルＬ２を用いて座標変換を実施して、座標変換後動きベクトルＬ３を算出する。そして、座標変換部１１６は、座標変換後動きベクトルＬ３を検出動作特定部１１７に通知する。
【００３３】
検出動作特定部１１７は、動きベクトル検出部１１５が特定した物体が動く方向に基づいて、表示部１２において物体により指し示された位置である指示位置を特定する位置特定手段として機能する。検出動作特定部１１７は、指示位置を特定することで、ユーザの動作を特定する。具体的には、検出動作特定部１１７は、座標変換部１１６から取得した座標変換後動きベクトルＬ３が示す指示位置に基づいてユーザＵ１の動作を特定する。本実施形態では、検出動作特定部１１７は、ユーザが、ユーザの人差し指を座標変換後動きベクトルＬ３の距離だけ直進させた動作を行ったと特定したことを想定している。
【００３４】
検出動作特定部１１７は、特定した動作が画像選択であれば画像選択の指示情報を画像選択部１２０に通知する。検出動作特定部１１７は、特定した動作が画像の拡大または縮小であれば、拡大または縮小の指示情報を拡大縮小部１２１に伝送する。検出動作特定部１１７は、特定した動作によって画像の描画が必要であれば、描画の指示情報を描画部１１８に伝送する。
【００３５】
検出動作特定部１１７は、動きベクトル検出部１１５が物体の少なくとも一部の外形を特定した場合、特定した外形の物体が動く方向に基づいて、指示位置を特定する。例えば、検出動作特定部１１７は、動きベクトル検出部１１５が特定した指の先端が動く方向に基づいて指示位置を特定する。また、検出動作特定部１１７は、表示部１２の画面に対する物体が動く方向の角度に基づいて、指示位置を特定してもよい。具体的には、検出動作特定部１１７は、中心線Ｌ１と動きベクトルＬ２を延長した直線とがなす角度θ１に基づいて、指示位置を特定する。
【００３６】
描画部１１８は、表示部１２に表示された画像に対して、検出動作特定部１１７が特定した指示位置に対応する処理を実行する。具体的には、描画部１１８は、検出動作特定部１１７から取得した描画指示に係る情報に基づいて描画を実施し、その画像を合成部１２２に伝送する。
【００３７】
画像保持部１１９は、映像信号発生器２から動画または静止画などの画像を取得する。画像保持部１１９が取得する画像の枚数は、表示装置１の記憶部１３が保有するメモリ量に応じて定められる。また、画像保持部１１９は、画像の取得を完了する時刻に、映像信号発生器２に対して完了を示す制御信号を送信してもよい。その後、画像保持部１１９は、画像選択部１２０の指示に応じて保持する画像のうち指示された画像を伝送する。なお、画像保持部１１９は、画像選択部１２０の指示がある時刻に映像信号発生器２から画像を取得してもよい。
【００３８】
画像選択部１２０は、検出動作特定部１１７から取得した指示情報に基づいて画像保持部１１９から画像を取得する。そして、画像選択部１２０は、画像保持部１１９から取得した画像を拡大縮小部１２１に伝送する。拡大縮小部１２１は、検出動作特定部１１７から取得した指示情報に基づいて拡大または縮小を行う。拡大縮小部１２１は、指示情報を取得していない場合、拡大及び縮小を行わず合成部１２２に伝送する。
【００３９】
合成部１２２は、描画部１１８から取得した画像と拡大縮小部１２１から取得した画像とを合成し、表示部１２に伝送する。
以下、ユーザが行う動作に対する固定化演算について詳細に説明する。
【００４０】
［ユーザが行う動作に対する固定化演算処理］
以下の説明においては、表示装置１が映像を表示している状態であることを想定している。以下、表示装置１の制御部１１が、ユーザＵ１が行う動作に対して固定値化演算を施し、ユーザの動作を特定する動作について、図６のフローチャートを用いて説明する。図６は、本発明の第１の実施形態に係る、固定位置化演算のフローチャートである。なお、図６のフローチャートにおいては、モーションセンサデバイス３が、検出座標入力部１１１に座標情報を通知したものとして説明を行う。
【００４１】
ステップＳ１００において、検出座標入力部１１１は、検出可能領域７及び認識可能領域の中心位置Ｐ０（Ｘ０，Ｚ０）を確認する。検出座標入力部１１１は、確認した検出可能領域７及び認識可能領域の中心位置Ｐ０（Ｘ０，Ｚ０）を、手位置情報検出部１１２に通知する。ステップＳ１０１及びステップＳ１０２において、手位置情報検出部１１２は、検出座標入力部１１１から取得した物体の位置を示す座標情報に基づいて、ユーザの手指を示す情報を検出する。手位置情報検出部１１２は、ステップＳ１０１及びステップＳ１０２を、手指を検出するまで繰り返す。
【００４２】
ステップＳ１０３において、手位置情報検出部１１２は、ステップＳ１０１及びステップＳ１０２において検出した手指について、検出座標入力部１１１から取得したユーザの手指を示す情報に基づいて、手首の中心や人差し指の先端などの手の外形を示す座標情報を検出する。手位置情報検出部１１２は、検出した手の外形を示す座標情報を、指位置情報検出部１１３、侵入角度検出部１１４、及び動きベクトル検出部１１５に通知する。
【００４３】
ステップＳ１０４において、侵入角度検出部１１４は、手位置情報検出部１１２から取得したユーザの手指に関する座標情報及び検出可能領域７に基づいて、検出可能領域７への侵入位置Ｐ１（Ｘ１, Ｚ１）を検出し、座標変換部１１６に通知する。
ステップＳ１０５において、指位置情報検出部１１３は、手位置情報検出部１１２から取得したユーザの手指に関する座標情報に基づいて、指の先端に関する座標を検出し、動きベクトル検出部１１５に通知する。
【００４４】
ステップＳ１０６において、動きベクトル検出部１１５は、ステップＳ１０５で指位置情報検出部１１３から取得した指の先端に関する座標に基づいて、指先位置Ｐ２（Ｘ２, Ｚ２）を特定し、侵入角度検出部１１４に通知する。
ステップＳ１０７において、侵入角度検出部１１４は、ステップＳ１００からステップＳ１０６までの動作で取得した中心位置Ｐ０（Ｘ０, Ｚ０）と、侵入位置Ｐ１（Ｘ１, Ｚ１）と、指先位置Ｐ２（Ｘ２, Ｚ２）とに基づいて、ユーザの手指の侵入角度である角度θ１を算出する。侵入角度検出部１１４は、検出した角度θ１を座標変換部１１６に通知する。
【００４５】
ステップＳ１０８及びステップＳ１０９において、動きベクトル検出部１１５は、ユーザが、指を指先位置Ｐ２（Ｘ２, Ｚ２）から動作停止位置Ｐ３（Ｘ３, Ｚ３）まで動かす間、動作完了の確認を実施する。ステップＳ１０９において、動きベクトル検出部１１５は、動作が完了していない場合（Ｓ１０９でＮｏ）、ステップＳ１０８に戻り、動作完了の確認を実施する。そして、動きベクトル検出部１１５は、動作完了を確認した後（Ｓ１０９でＹｅｓ）、動きベクトルＬ２を算出し、座標変換部１１６に動きベクトルＬ２を通知する。
【００４６】
ステップＳ１１０及びステップＳ１１１において、座標変換部１１６は、動きベクトル検出部１１５から動きベクトルＬ２を取得していない場合、指先位置Ｐ２（Ｘ２, Ｚ２）、及び動作停止位置Ｐ３（Ｘ３, Ｚ３）を取得する。座標変換部１１６は、指先位置Ｐ２（Ｘ２, Ｚ２）、及び動作停止位置Ｐ３（Ｘ３, Ｚ３）を取得することで、動作開始座標及び動作終了座標を取得する。なお、座標変換部１１６は、ステップＳ１１０及びステップＳ１１１において、侵入角度検出部１１４から角度θ１を取得してもよい。座標変換部１１６は、ステップＳ１１０及びＳ１１１において角度θ１を取得した場合、ステップＳ１１３を省略する。
【００４７】
ステップＳ１１２において、座標変換部１１６は、ステップＳ１１０及びステップＳ１１１で取得した動作開始座標及び動作終了座標に基づいて、動きベクトルＬ２を算出する。座標変換部１１６は、ステップＳ１１０及びステップＳ１１１において動きベクトルＬ２を取得している場合、ステップＳ１１２を省略する。
ステップＳ１１３において、座標変換部１１６は、侵入角度検出部１１４から角度θ１を取得する。座標変換部１１６は、ステップＳ１１０及びステップＳ１１１において角度θ１を取得している場合、ステップＳ１１３を省略する。
【００４８】
ステップＳ１１４において、座標変換部１１６は、動きベクトルＬ２と角度θ１とに基づいて座標変換後動きベクトルＬ３を算出する。座標変換後動きベクトルＬ３は、ユーザが表示部１２の真正面に位置して手指を動かした場合の動作と同一である。そして、座標変換部１１６は、座標変換後動きベクトルＬ３を検出動作特定部１１７に通知する。
【００４９】
ステップＳ１１５において、検出動作特定部１１７は、座標変換後動きベクトルＬ３に基づいてユーザの手指の動作を特定する。本実施形態において、検出動作特定部１１７は、ユーザが人差し指を表示部１２の正面からＬ３が示す距離だけ動作したと特定する。
【００５０】
ステップＳ１１６において、検出動作特定部１１７は、検出した動作に基づいて他のブロックに指示を通知する。検出動作特定部１１７は、表示画像の選択を行う動作を特定した場合、画像選択の指示情報を画像選択部１２０に通知する。検出動作特定部１１７は、表示画像の拡大または縮小を行う動作を特定した場合、拡大または縮小の指示情報を拡大縮小部１２１に通知する。検出動作特定部１１７は、表示画像に描画を実施する動作を特定した場合は描画部１１８に描画指示を通知する。
【００５１】
ステップＳ１１７において、動きベクトル検出部１１５は、ユーザが動作を継続しているかどうかを判別する。動きベクトル検出部１１５は、ユーザが動作を継続している場合（Ｓ１１７でＹｅｓ）、ステップＳ１０８に戻り、動作の確認を行う。動きベクトル検出部１１５は、ユーザが動作を継続していない場合（Ｓ１１７でＮｏ）、検出動作を終了する。
【００５２】
［第１の実施形態の効果］
以上、説明したように、本実施形態においては、表示装置１の検出動作特定部１１７は、検出可能領域７に入ったユーザの手指の角度に基づいて、ユーザが表示部１２の真正面に位置する場合の動作に変換して、ユーザの指示を特定する。このようにすることで、表示装置１の検出動作特定部１１７は、ユーザが表示部１２に対してどのような位置に存在しても、ユーザが実施したジェスチャ動作を特定できる確率を向上することができる。
【００５３】
＜第２の実施形態＞
第２の実施形態においては、表示装置１の制御部１１は、モーションセンサデバイス３と表示部１２との距離、及びユーザの手指がモーションセンサデバイス３の認識可能な領域に侵入する角度に基づいて、ユーザが手指のジェスチャを用いて表示部１２における指示した場所を特定する。
【００５４】
図７は、本発明の第２の実施形態の概要を説明するための図である。表示装置１は、測距センサ１５をさらに有する。表示装置１の制御部１１は、モーションセンサデバイス３と測距センサ１５とを直線で結んだセンサ間距離Ｌ４を算出する。なお、表示部１２は、モーションセンサデバイス３がユーザの動作を認識する検出可能領域７の外部に位置する。認識外距離Ｌ５は、検出可能領域７と表示部１２との距離を示す。
【００５５】
上述したように、表示装置１の制御部１１は、表示部１２が検出可能領域７の外部に位置する場合、ユーザが指し示す位置を検出可能領域７の内部の座標で表現できない。そこで、表示装置１の制御部１１は、検出可能領域７と表示部１２との距離である認識外距離Ｌ５を算出し、検出可能領域７の外部座標を算出する。本実施形態における表示装置１の検出動作特定部１１７は、表示部１２とモーションセンサデバイス３との距離に基づいて認識外距離Ｌ５を算出し、検出可能領域７の内部の座標に認識外距離Ｌ５を加えることで、ユーザが指し示す指示位置を特定する。
【００５６】
［ユーザが指し示す指示位置を特定するための演算方法］
表示装置１の制御部１１は、ユーザが指し示す位置を検出するための演算を、ＸＹＺの三次元空間をＸＺ平面とＺＹ平面とに分けて実施する。図８は、本発明の第２の実施形態に係る、ＸＺ平面での演算を説明するための図である。制御部１１は、ＸＺ平面において、認識外距離Ｌ５と、センサ間距離Ｌ４及び角度θ２とを求め、指示座標誤差δ１を算出する。そして、制御部１１は、指示座標誤差δ１に基づいてユーザ指示位置のＸ座標を算出する。
【００５７】
まず、表示装置１の制御部１１は、測距センサ１５を用いてセンサ間距離Ｌ４を算出する。次に、制御部１１は、測距センサ位置Ｐ５（Ｘ５, Ｚ５）と、センサ間距離Ｌ４と、検出可能領域７とに基づいて測距センサ侵入位置Ｐ４（Ｘ４, Ｚ４）を算出する。また、制御部１１は、角度θ２を算出する。
【００５８】
制御部１１は、センサ間距離Ｌ４と、角度θ２と、測距センサ侵入位置Ｐ４（Ｘ４, Ｚ４）とに基づいて、認識外距離Ｌ５を算出する。制御部１１は、認識外距離Ｌ５及び角度θ１に基づいて指示座標誤差δ１を算出する。表示装置１の検出動作特定部１１７は、認識境界交点Ｐ６（Ｘ６, Ｚ６）に指示座標誤差δ１及び認識外距離Ｌ５を加算することで、ユーザ指示位置Ｐ７（Ｘ７, Ｚ７）を算出する。
【００５９】
図９は、本発明の第２の実施形態に係る、ＺＹ平面での演算を説明するための図である。制御部１１は、ユーザ指示位置のＹ座標であるＹ７を、ＸＺ平面での演算で求めた認識外距離Ｌ５と、認識境界交点Ｙ６と、指先位置Ｐ２（Ｚ２, Ｙ２）とに基づいて算出する。そして、制御部１１は、ＺＹ平面でのユーザ指示位置Ｐ７（Ｚ７, Ｙ７）を算出する。検出動作特定部１１７は、物体の先端である指先位置Ｐ２（Ｘ２，Ｙ２，Ｚ２）を起点として物体が動く方向に延長した線と表示装置１との交点を、ユーザ指示位置Ｐ７（Ｘ７，Ｙ７，Ｚ７）として特定する。
【００６０】
以下、第２の実施形態の動作を、図１０のブロック図と図１１のフローチャートを用いて説明する。
図１０は、本発明の第２の実施形態に係る、表示装置１の構成を示すブロック図である。第２の実施形態における表示装置１は、第１の実施形態の表示装置１に対して、測距センサ１５と、デバイス距離検出部１２３と、指示座標算出部１２４とをさらに有する。
【００６１】
デバイス距離検出部１２３は、モーションセンサデバイス３と表示部１２との第１距離を測定する。具体的には、デバイス距離検出部１２３は、測距センサ１５を用いて、第１距離であるセンサ間距離Ｌ４を測定する。指示座標算出部１２４は、侵入角度検出部１１４から取得した角度θ１及び角度θ２と、デバイス距離検出部１２３から取得したセンサ間距離Ｌ４と、動きベクトル検出部１１５から取得した動きベクトルＬ２とに基づいてユーザが指し示す座標を算出する。
【００６２】
検出動作特定部１１７は、デバイス距離検出部１２３が測定した第１距離に基づいて指示座標算出部１２４が算出したユーザが指し示す座標に基づいて、指示位置を特定する。なお、侵入角度検出部１１４は、第１の実施形態の動作と、デバイス距離検出部１２３が検出したセンサ間距離Ｌ４を指示座標算出部１２４に通知する動作の両方を実施する。
【００６３】
図１１は、本発明の第２の実施形態に係る、固定位置化演算のフローチャートである。なお、以下の説明においては、第１の実施形態の動作と異なる動作について説明し、同様の動作については適宜省略する。
【００６４】
ステップＳ２００において、デバイス距離検出部１２３は、モーションセンサデバイス３との距離であるセンサ間距離Ｌ４を算出するために、測距センサ位置Ｐ５（Ｘ５, Ｚ５）及び測距センサ１５の座標を取得する。そして、デバイス距離検出部１２３は、測距センサ位置Ｐ５（Ｘ５, Ｚ５）と測距センサ１５とを結ぶ直線と、測距センサ位置Ｐ５（Ｘ５, Ｚ５）を通りＺ軸と平行な直線とがなす角度θ２を算出する。次に、デバイス距離検出部１２３は、検出可能領域７に基づいて測距センサ侵入位置Ｐ４（Ｘ４, Ｚ４）を算出することで認識外距離Ｌ５を算出する。
【００６５】
ステップＳ２０１において、指示座標算出部１２４は、ユーザ指示位置Ｘ７を算出する。まず、指示座標算出部１２４は、侵入角度検出部１１４から、ユーザの指の指先位置Ｐ２（Ｘ２, Ｚ２）及び中心線Ｌ１に基づいて算出した角度θ１を取得し、認識外距離Ｌ５とｔａｎθ１とを積算することで指示座標誤差δ１を算出する。次に、指示座標算出部１２４は、ユーザの指の指先位置Ｐ２（Ｘ２, Ｚ２）と検出可能領域７とに基づいて認識境界交点Ｐ６（Ｘ６, Ｚ６）を算出し、Ｘ６に指示座標誤差δ１を加算することでユーザ指示位置Ｘ７を算出する。
【００６６】
ステップＳ２０２において、指示座標算出部１２４は、ユーザ指示位置Ｙ７を算出する。まず、指示座標算出部１２４は、指先位置Ｐ２のＺ軸の値であるＺ２、認識境界交点Ｐ６のＺ軸の値であるＺ６、及び認識外距離Ｌ５に基づいて、ユーザの人差し指の先端を示す指先位置Ｐ２から認識境界交点Ｐ６までの距離と、ユーザの人差し指の先端の先端を示す指先位置Ｐ２から表示部１２までの距離との比を算出する。次に、指示座標算出部１２４は、距離の比に応じて、指先位置Ｐ２のＹ軸の値であるＹ２、及び認識境界交点Ｐ６のＹ軸の値であるＹ６に基づいてユーザ指示位置Ｙ７を算出する。
【００６７】
検出動作特定部１１７は、上述したステップＳ２０１及びステップＳ２０２で算出したユーザ指示位置Ｐ７（Ｘ７, Ｙ７）に基づいてユーザの動作を特定する。具体的には、検出動作特定部１１７は、センサ間距離Ｌ４と、モーションセンサデバイス３が物体を検出できる検出可能領域７における物体を検出した位置と、に基づいて特定した物体と表示部１２との第２距離に基づいて、指示位置を特定する。第２距離は、認識外距離Ｌ５に相当する。検出動作特定部１１７は、特定した指示位置を描画部１１８に通知する。このようにすることで、表示装置１の描画部１１８は、ユーザがジェスチャにより指示した内容を処理することができる。
【００６８】
（変形例）
以上の説明においては、デバイス距離検出部１２３は、測距センサ１５を用いて、第１距離であるセンサ間距離Ｌ４を検出したが、デバイス距離検出部１２３は、物体と表示部１２との距離を測定してもよい。測距センサ１５は、例えば赤外線測距センサを含み、表示部１２に対する物体の距離と方位とを検出する。デバイス距離検出部１２３は、測距センサ１５が検出した物体の距離と方位とに基づいて、物体と表示部１２との距離を測定する測定手段として機能する。検出動作特定部１１７は、デバイス距離検出部１２３が特定した物体と表示部１２との距離に基づいて、指示位置を特定する。
【００６９】
［第２の実施形態の効果］
以上、説明したように、表示装置１の制御部１１は、モーションセンサデバイス３と表示部１２との距離を考慮した演算を行うことで、モーションセンサデバイス３及びユーザの位置に関係なく、検出動作特定部１１７はユーザが指し示す指示位置を特定することができる。このようにすることで、ユーザは、機器やユーザの位置に関係なく、ジェスチャによる制御を行うことができる。そして、ユーザは、例えば意図した座標を中心として、表示装置１の表示部１２に表示された画像に対して拡大や縮小などを実施することができる。
【００７０】
＜第３の実施形態＞
第３の実施形態では、表示装置１の制御部１１は、ユーザの手指がモーションセンサデバイス３の認識可能な領域に侵入する角度に基づいて、ユーザが指し示す座標を算出するか、常に固定の位置における動作に変換するかを判定する。例えば、表示装置１の制御部１１は、手指等の物体が侵入する角度が閾値を超えた場合に、物体が動く方向に基づいてユーザが指し示す座標を算出するか、固定の位置における動作に変換するかを判定する。
【００７１】
図１２は、本発明の第３の実施形態の概要を説明するための図である。図１２において、ユーザＵ２は表示装置１の正面に位置し、ユーザＵ１は表示装置１の近傍に位置していることを想定している。そして、ユーザＵ１は領域８ａを、ユーザＵ２は領域８ｂを、人差し指で指し示し、指し示す距離を変更する動作を行うことが想定されている。このとき、ユーザＵ１は、指先を表示装置１の表示部１２に向けていない状態で、表示部１２に対して垂直方向、つまりＺ軸方向に指を動作させる。一方、ユーザＵ２は、指先を表示装置１の表示部１２に向けた状態で、表示部１２に対して垂直方向、つまりＺ軸方向に指を動作させてユーザＵ１と同一の動作を行うことが想定される。したがって、表示装置１の制御部１１は、ユーザの位置と表示部１２の位置との関係に応じて、第１の実施形態及び第２の実施形態において説明した固定位置化演算の実施を行うか判定する。
【００７２】
図１３は、本発明の第３の実施形態に係る、指示位置の差異を説明するための図である。表示装置１の検出動作特定部１１７は、ユーザが図１３に示した動作Ｌ６を実施する場合、指し示す位置をユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）ではなく、ユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）と特定する。
【００７３】
検出動作特定部１１７は、固定位置化演算の実施を行うと判定した場合、物体が動く方向が第１の範囲である領域８ａである場合に、物体の先端位置を起点として物体が動く方向に延長した線と表示部１２との交点であるユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）を指示位置として特定する。また、検出動作特定部１１７は、物体が動く方向が第１の範囲と異なる第２の範囲である領域８ｂである場合に、物体の先端位置を起点として表示部１２に直交する方向に延長した線と表示部１２との交点をユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）として特定する。なお、検出動作特定部１１７は、物体の先端位置を起点として物体が動く方向に延長した線が表示部１２の表示領域と交わらない場合に、物体の先端位置を起点として表示部１２に直交する方向に延長した線と表示部１２との交点を指示位置として特定する。
【００７４】
本実施形態における表示装置１の制御部１１は、第２の実施形態で説明した方法を用いてユーザが指し示す領域を算出し、ユーザが指し示す領域が表示部１２の表示領域の内部か否かに基づいて固定位置化演算を実施するか否かを判定する。なお、ユーザは、固定位置化演算を実施するか否かを判定する領域を設定することができる。例えば、ユーザは、表示部１２の表示領域における任意の領域を特定し、ユーザが特定した領域の内部を指し示す場合には固定化演算を行わないように設定する。
以下、図１４のブロック図と図１５及び図１６のフローチャートを用いて、第３の実施形態の表示装置１の構成及び動作を説明する。
【００７５】
［第３の実施形態に係る表示装置１の構成及び動作］
図１４は、本発明の第３及び第４の実施形態に係る、表示装置１の構成を示すブロック図である。表示装置１は、算出方法判定部１２５をさらに有する。算出方法判定部１２５は、固定位置化演算を実施するか否かを判定する。
【００７６】
算出方法判定部１２５は、ユーザが固定位置化演算を実施するか否かを判定する領域を設定した場合、侵入角度検出部１１４からユーザＵ１の手指の侵入角度である角度θ１を取得する。算出方法判定部１２５は、角度θ１に基づいて、ユーザが指示した指示位置が、ユーザが特定した領域の内部を指し示すか否かを判定する。そして、算出方法判定部１２５は、指示位置が領域の内部を指し示すか否かに基づいて、固定位置化演算を実施するか否かを判定する。
【００７７】
算出方法判定部１２５は、ユーザが指し示す領域が表示部１２の表示領域の内部か否かに基づいて判定する場合、指示座標算出部１２４からユーザＵ１の手指が指示する領域として図１３におけるユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）とユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）とを取得する。そして、算出方法判定部１２５は、ユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）が表示部１２の表示領域にある場合は、ユーザが指示する座標としてユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）を採用する。算出方法判定部１２５は、ユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）が表示部１２の表示領域外にある場合は、ユーザが指示する座標としてユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）を採用する。
【００７８】
また、算出方法判定部１２５は、ユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）を採用する場合は固定位置化演算を実施しないことを座標変換部１１６及び検出動作特定部１１７に通知する。算出方法判定部１２５は、ユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）を採用する場合は第２の実施形態と同一の座標変換を実施するように座標変換部１１６及び検出動作特定部１１７に通知する。
【００７９】
図１５は、本発明の第３の実施形態に係る、固定位置化演算のフローチャート（１）である。図１６は、本発明の第３の実施形態に係る、固定位置化演算のフローチャート（２）である。なお、以下の説明においては、第１の実施形態の動作、及び第２の実施形態の動作と異なる動作について説明し、同様の動作については適宜省略する。
以下、図１５及び図１６を用いて、第３の実施形態の表示装置１の動作を説明する。
【００８０】
ステップＳ３００において、算出方法判定部１２５は、判定モードを確認する。判定モードは、ユーザがメニューなどで選択することができる。
【００８１】
ステップＳ３０１において、算出方法判定部１２５は、侵入角度検出部１１４から取得した角度θ１と、指示座標算出部１２４から取得したユーザ指示位置Ｐ７（Ｘ７, Ｙ７, Ｚ７）及びユーザ指示位置Ｐ８（Ｘ２, Ｙ２, Ｚ７）とに基づいてユーザ指示位置の採用と、固定位置化演算の判定とを実施する。
【００８２】
ステップＳ３０２において、算出方法判定部１２５は、ステップＳ３０１で実施した判定結果に基づいてユーザ指示位置を決定する。そして、算出方法判定部１２５は、判定結果に基づき、座標変換部１１６及び検出動作特定部１１７に固定位置化演算を実施するか否かを通知する。ステップＳ１０８からステップＳ１１２における動作は、第１の実施形態及び第２の実施形態と同様であるので省略する。
【００８３】
ステップＳ３０３において、座標変換部１１６は、ステップＳ３０２において算出方法判定部１２５から取得した判定結果に基づき固定位置化演算の実施可否を判定する。座標変換部１１６は、ユーザ指示位置が表示部１２の表示領域内であり固定位置化演算を実施する場合（Ｓ３０３でＹｅｓ）、ステップＳ１１３に進む。座標変換部１１６は、ユーザ指示位置が表示部１２の表示領域外であり固定位置化演算を実施しない場合（Ｓ３０３でＮｏ）、ステップＳ１１５に進む。
【００８４】
ステップＳ１１３において、検出動作特定部１１７は、ユーザの指が指し示す領域はユーザの指の先端を延長した場所ではなく、ユーザの指を表示装置の垂直方向、つまりＺ軸方向に延長した場所を指示位置として特定する。以下、ステップＳ１１４からステップＳ１１７までの動作は第１の実施形態及び第２の実施形態と同様であるので省略する。
【００８５】
［第３の実施形態の効果］
以上、説明したように、本実施形態では、表示装置１の制御部１１が、表示部１２の位置とユーザの位置との関係を、ユーザの指が指し示す領域で判定する。そして、制御部１１は、ユーザが表示部１２の真横など近接する位置に存在する場合は、ユーザのジェスチャ動作を、ユーザが正面に位置する場合の動作と同一と判定する。このようにすることで、制御部１１は、ユーザが表示部１２を斜めから指し示していないと想定される位置に存在しても、ユーザに違和感を与えないジェスチャ動作の判定を実施することができる。
【００８６】
＜第４の実施形態＞
第４の実施形態においては、表示装置１の制御部１１は、複数人のユーザがモーションセンサデバイス３の認識領域内に存在し、ジェスチャ動作を実施する場合に、誰の動作を採用するかを判定する調停処理を行う。以下、表示装置１の制御部１１が行う調停処理について、図１４のブロック図、図１７、図１８、及び図１９のフローチャートを用いて説明する。なお、本実施形態において、動きベクトル検出部１１５は、特定した動作の動作開始時刻及び動作完了時刻を記憶する。
【００８７】
図１７は、本発明の第４の実施形態に係る、複数人が同時に動作する場合の処理を示すフローチャート（１）である。図１８は、本発明の第４の実施形態に係る、複数人が同時に動作する場合の処理を示すフローチャート（２）である。なお、以下の説明においては、第１の実施形態の動作、第２の実施形態の動作、及び第３の実施形態の動作と異なる動作について説明し、同様の動作については適宜省略する。
【００８８】
ステップＳ４００において、動きベクトル検出部１１５は、複数人の動きベクトルを同時に特定した場合、各動きベクトルについて採用するか否かの判定を、後述する図１９のフローチャートを用いて実施する。ステップＳ４０１において、動きベクトル検出部１１５は、採用する動きベクトルが存在する場合はステップＳ１１０に、採用する動きベクトルが存在しない場合はステップＳ１０８に戻る。
【００８９】
図１９は、本発明の第４の実施形態に係る、複数人が同時に動作する場合の調停処理を示すフローチャートである。動きベクトル検出部１１５は、上述したステップＳ４００において、動きベクトル検出部１１５が特定した動きベクトル全てについて、調停処理を実施する。
【００９０】
ステップＳ４１１において、動きベクトル検出部１１５は、特定した動作の順序が１位か否かを判定する。具体的には、動きベクトル検出部１１５は、記憶した動作開始時刻の順序を検索し、動作開始時刻の順序が１位か否かを判定する。動きベクトル検出部１１５は、動作の順序が１位である場合はステップＳ４１２に、動作の順序が１位でない場合はステップＳ４１６に進む。
【００９１】
ステップＳ４１２において、動きベクトル検出部１１５は、同じ順位の動きベクトルが他に無いかを判定する。具体的には、動きベクトル検出部１１５は、動作開始時刻が同一の動きベクトルが有るか否かを判定する。動きベクトル検出部１１５は、同じ順位の動きベクトルが他に無い場合、つまり、動作開始が一番早い動きベクトルだと判定した場合はステップＳ４１５に進み、同じ順位の動きベクトルが他にある場合はステップＳ４１３に進む。
【００９２】
ステップＳ４１３において、動きベクトル検出部１１５は、動作完了時刻の順序を検索する。動きベクトル検出部１１５は、動作の順序が最下位である場合又は特定した動作が動作を継続している場合、最後まで動作していたと判断し、ステップＳ４１４に進む。動きベクトル検出部１１５は、動作の順序が最下位ではない場合はステップＳ４１５に進む。
【００９３】
ステップＳ４１４において、動きベクトル検出部１１５は、調停処理を実施した動きベクトルを採用する。そして、動きベクトル検出部１１５は、採用した動きベクトルの情報を、指示座標算出部１２４に通知する。ステップＳ４１５において、動きベクトル検出部１１５は、調停処理を実施した動きベクトルを採用せずに消去する。
【００９４】
ステップＳ１１５において、検出動作特定部１１７は、動きベクトル検出部１１５が複数の物体が動く方向を特定した場合に、複数の物体が動きを開始した順序に基づいて選択した物体が動く方向に基づいて、指示位置を特定する。具体的には、検出動作特定部１１７は、複数の物体のうち、最も早く動きを開始した物体が動く方向に基づいて、指示位置を特定する。また、例えば、検出動作特定部１１７は、最も早く動きを開始した物体が複数ある場合、複数の物体のうち、最も長く動きを継続した物体が動く方向に基づいて、指示位置を特定する。具体的には、検出動作特定部１１７は、同時に動いている複数の物体のうち、最後に動いていた物体が動く方向に基づいて、指示位置を特定する。
【００９５】
［第４の実施形態の効果］
以上説明したように、本実施形態における表示装置１の動きベクトル検出部１１５は、複数人のユーザがモーションセンサデバイスの認識領域内に存在する場合に、ユーザの動作開始時刻と動作完了時刻とに基づいて、ジェスチャ動作を採用するかの判定を行う。表示装置１の動きベクトル検出部１１５は、動作開始が一番早いジェスチャを採用し、二番目以降のジェスチャは消去することで、複数人のユーザのうち、誰のジェスチャが採用されたかを容易に判別できる。また、動きベクトル検出部１１５は、ユーザが同時にジェスチャ動作を行った場合、ジェスチャ動作が長い方を採用することで、ユーザに違和感を与えない調停処理を実施することができる。
【００９６】
以上、本発明の実施の形態、およびいくつかの実施の形態をもとに説明した。これらの任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。また本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９７】
例えば、以上の説明においては、表示装置１が、ユーザが行ったジェスチャに対応する動きベクトルの回転処理を行うことにより指示位置を特定する方法について説明したが、動きベクトルに基づいて指示位置を特定する方法は、これに限らない。例えば、表示装置１は、動きベクトルの延長線と表示部１２とが交わる位置を指示位置として特定してもよい。
【符号の説明】
【００９８】
１・・・表示装置
１２・・・表示部
１１５・・・動きベクトル検出部
１１７・・・検出動作特定部
１１８・・・描画部
１２３・・・デバイス距離検出部
【図１】
2018109911.tif 000003
【図２】
2018109911.tif 000004
【図３】
2018109911.tif 000005
【図４】
2018109911.tif 000006
【図５】
2018109911.tif 000007
【図６】
2018109911.tif 000008
【図７】
2018109911.tif 000009
【図８】
2018109911.tif 000010
【図９】
2018109911.tif 000011
【図１０】
2018109911.tif 000012
【図１１】
2018109911.tif 000013
【図１２】
2018109911.tif 000014
【図１３】
2018109911.tif 000015
【図１４】
2018109911.tif 000016
【図１５】
2018109911.tif 000017
【図１６】
2018109911.tif 000018
【図１７】
2018109911.tif 000019
【図１８】
2018109911.tif 000020
【図１９】
2018109911.tif 000021