(57)【要約】      （修正有）【課題】操作性が良好で、操作時の手振れを軽減させ、疲労しにくい操作装置を提供する。【解決手段】ユーザに対向して配置され、ユーザが操作機器に対して命令や情報を入力するための仮想操作面を立体的に表示する３次元表示機器１１と、ユーザに対向して配置され、ユーザの距離画像を取得する取得部１２と、仮想操作面を操作するユーザの操作位置を判定する操作位置判定部１３と、仮想操作面を配置する際に基準となる基準位置を取得する基準位置取得部１４と、仮想操作面の配置位置を計算する計算部１５と、ユーザの視聴位置を判定する視聴位置判定部１６と、立体表示する仮想操作面の表示データを作成し、３次元表示機器１１に送出する作成部１７と、操作位置データおよび仮想操作面の位置データに基づいて、操作機器に対する操作内容を判定して操作機器２００に指示する指示部１８とを備える。【選択図】図１
2014056462.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対向して配置され、ユーザが操作機器に対して命令や情報を入力するための仮想操作面を立体的に表示する３次元表示機器と、
ユーザに対向して配置され、ユーザの距離画像を取得する取得部と、
前記取得部で取得した距離画像データに基づいて、前記仮想操作面を操作するユーザの操作位置を判定する操作位置判定部と、
前記取得部で取得した距離画像データに基づいて、前記仮想操作面を配置する際に基準となる基準位置を取得する基準位置取得部と、
前記基準位置取得部で取得した基準位置の位置データに基づいて、前記仮想操作面の配置位置を計算する計算部と、
前記取得部で取得した距離画像データに基づいて、ユーザの視聴位置を判定する視聴位置判定部と、
前記視聴位置の位置データ、前記３次元表示機器の位置データおよび前記仮想操作面の位置データに基づいて、立体表示する前記仮想操作面の表示データを作成し、前記３次元表示機器に送出する作成部と、
前記操作位置データおよび前記仮想操作面の位置データに基づいて、前記操作機器に対する操作内容を判定して前記操作機器に指示する指示部とを備える操作装置。
【請求項２】
前記３次元表示機器は、ヘッドアップディスプレイである請求項１記載の操作装置。
【請求項３】
前記取得部は、ステレオカメラである請求項１記載の操作装置。
【請求項４】
前記取得部は、深度センサである請求項１記載の操作装置。
【請求項５】
前記操作位置判定部は、ユーザの手の３次元位置を操作位置と判定する請求項１記載の操作装置。
【請求項６】
前記基準位置は、ユーザの肘の位置あるいは腕の位置とする請求項１乃至請求項５のいずれか１項に記載の操作装置。
【請求項７】
前記基準位置は、深度センサあるいは圧力センサで取得したデータを利用して特定する請求項１乃至請求項５のいずれか１項に記載の操作装置。
【請求項８】
前記肘の位置の特定は、ユーザの着席近傍に設けた肘当てに圧力センサを設置し、最も圧力が高い箇所とする請求項６記載の操作装置。
【請求項９】
前記肘の位置の特定は、予め手首から肘までの長さを決め、手首の位置から指のある方の反対側に伸びている方向を、前記長さで延ばした位置とする請求項６記載の操作装置。
【請求項１０】
前記視聴位置判定部は、ユーザの目の３次元位置を視聴位置と判定する請求項１乃至請求項４のいずれか１項に記載の操作装置。
【請求項１１】
前記仮想操作面は、平面である請求項１乃至請求項７のいずれか１項に記載の操作装置。
【請求項１２】
前記仮想操作面は、曲面である請求項１乃至請求項７のいずれか１項に記載の操作装置。
【請求項１３】
前記仮想操作面の位置や向きは、肘の位置に対して手首までの基準となる基準方向を予め決め、肘から手首までの距離に応じて、前記基準方向で位置や向きを特定する請求項６記載の操作装置。
【請求項１４】
前記基準方向は、予め決定せず、手を上げて指を人差し指だけ伸ばした状態で操作受付開始とした場合、その際の手首までの方向と決定する請求項１３記載の操作装置。
【請求項１５】
前記仮想操作面は、前記基準方向に対して相対的な位置と向きとなるように予め設定する請求項１３記載の操作装置。
【請求項１６】
空気流を発射する空気銃を前記仮想操作面の近傍に設置し、ユーザが前記仮想操作面を触れたことを認識した際、前記空気銃から空気流を放出する請求項１乃至請求項１５のいずれか１項に記載の操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、操作時の手振れを軽減させる操作装置に関する。
【背景技術】
【０００２】
機器を操作する際には、機器に対する命令や情報の入力が欠かせない。しかし、車などの乗物内で操作機器へ手を伸ばして操作する場合、車の振動や手振れにより正しい位置に手を持っていきづらい。
【０００３】
そこで、３次元表示機器の手前に仮想操作面を表示させることにより、手の操作位置と表示位置を一致させて直感的に操作ができるようにしたり、仮想操作面を形成する場合には、操作者の位置、モニタやステレオカメラの配置態様に応じて適宜調整することが行われている。
【０００４】
また、利用者の操作を限定することなく、表示上の操作位置に対する利用者の操作位置を認識させることができるように、利用者の近くに操作基準面及び仮想操作面を設定するものも提案されている。
【０００５】
しかし、表示装置と平行に仮想操作面が表示され、地面に対して垂直に仮想操作面を設ける場合には、見にくいだけでなく、手を前に出さなくてはならず、肘を上げることになり手が振動の影響を受けやすくなる。また、操作面の向きがユーザに対して垂直なので操作しづらいという問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１７５６１７号公報
【特許文献２】特開２０１１−１８７０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、操作性が良好で、操作時の手振れを軽減させ、疲労しにくい操作装置を提供することである。
【課題を解決するための手段】
【０００８】
実施形態の操作装置は、ユーザに対向して配置され、ユーザが操作機器に対して命令や情報を入力するための仮想操作面を立体的に表示する３次元表示機器と、ユーザに対向して配置され、ユーザの距離画像を取得する取得部と、前記取得部で取得した距離画像データに基づいて、前記仮想操作面を操作するユーザの操作位置を判定する操作位置判定部と、前記取得部で取得した距離画像データに基づいて、前記仮想操作面を配置する際に基準となる基準位置を取得する基準位置取得部と、前記基準位置取得部で取得した基準位置の位置データに基づいて、前記仮想操作面の配置位置を計算する計算部と、前記取得部で取得した距離画像データに基づいて、ユーザの視聴位置を判定する視聴位置判定部と、前記視聴位置の位置データ、前記３次元表示機器の位置データおよび前記仮想操作面の位置データに基づいて、立体表示する前記仮想操作面の表示データを作成し、前記３次元表示機器に送出する作成部と、前記操作位置データおよび前記仮想操作面の位置データに基づいて、前記操作機器に対する操作内容を判定して前記操作機器に指示する指示部とを備える。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る操作装置の概略構成を示すブロック図である。
【図２】取得部と取得する距離画像の位置の座標系を示す図である。
【図３】３次元表示機器や取得部の配置の一例を示す図である。
【図４】手の稼動範囲と仮想操作面の配置との関係を説明する図である。
【図５】手首固定で、仮想操作面を操作できる範囲を示す図である。
【図６】手首固定で、仮想操作面を操作できる範囲を示す図である。
【図７】手首固定で、仮想操作面を操作できる範囲を示す図である。
【図８】手首固定で、仮想操作面を操作できる範囲を示す図である。
【図９】手首固定で、仮想操作面を操作できる範囲を示す図である。
【図１０】球面的な仮想操作面の配置例を示す図である。
【図１１】面の向きがユーザの方向となる仮想操作面の配置例を示す図である。
【図１２】実施形態に係る操作装置における基本的な処理の流れを示すフローチャートである。
【図１３】計算部における仮想操作面の配置位置を計算する処理の流れを示すフローチャートである。
【図１４】図４に示す２重球面内に仮想操作面を複数用意した一例を示す図である。
【図１５】図４に示す２重球面内に、仮想立体アイコンを立体的に表示して操作対象とした一例を示す図である。
【図１６】面の向きがユーザに対して同じ仮想操作面の配置例を示す図である。
【図１７】通常の表示機器の下方に、３次元表示機器を配置する例を示すとともに、空気銃の配置の一例を示す図である。
【図１８】家庭での３次元表示機器による仮想操作面を示す図である。
【図１９】ヘッドマウントディスプレイによる仮想操作面と空気銃の配置の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１１】
本実施形態に係る操作装置では、例えば肘あるいは肘の位置を基準位置とし、肘あるいは肘の位置をあまり動かさずにタッチ操作できるように、仮想操作面の位置や向きや形状を考慮して立体表示する。
【００１２】
本実施形態に係る操作装置は、演算処理装置（ＣＰＵ）、主メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、入力装置（例えば、操作パネルなど）、ハードディスク装置や半導体メモリであるフラッシュメモリを使用したソリッドステートドライブ（ＳＳＤ）装置等の記憶装置を具備したパーソナル・コンピュータ等の汎用計算機を用いることができ、仮想操作面の立体表示及び操作支援用の処理プログラムをインストールすることにより実現できる。
【００１３】
図１は、本発明の実施形態に係る操作装置１００の概略構成を示すブロック図である。実施形態に係る操作装置１００は、主として３次元表示機器１１、取得部１２、操作位置判定部１３、基準位置取得部１４、計算部１５、視聴位置判定部１６、作成部１７、指示部１８から構成されている。図２は、取得部と取得する距離画像の位置の座標系を示す図である。図３は、３次元表示機器１１や取得部１２の配置の一例を示す図である。
【００１４】
操作装置１００は、操作機器２００に対して、指示部１８から指示を発して操作機器２００を操作する。操作機器２００は、例えば車載ステレオ装置である。指示部１８により音量をアップするように指示が来た場合、音量をアップする。
【００１５】
３次元表示機器１１は、ユーザに対向して配置され、ユーザが操作機器に対して命令や情報を入力するための仮想操作面を立体的に表示するものである。３次元表示機器１１は、図３に示すように、例えば車両の運転席の前方に配置することができる。３次元表示機器１１は、車両の助手席の裏側に配置することもできる。このような場合には、車両の後部座席の着席者が操作装置１００を操作する。
【００１６】
ユーザは、例えば３次元表示機器１１との間の一定の位置に立体表示された仮想操作面に対し、指などの形状が操作判定の対象となることを意識して操作を行うことができる。３次元表示機器１１は、ユーザの両眼に対して別々の画像を提示することにより、ユーザが立体視できるものである。一般的には、左右眼に視差のある映像を提示すると同時に、ユーザの頭部運動に合わせて映像の見え方を変化させる必要がある。
【００１７】
３次元表示機器１１には、例えば、ヘッドアップディスプレイ、プロジェクタ、裸眼立体視ディスプレイ、偏光眼鏡でのディスプレイ、フォログラム等で構成することができる。カーナビゲーション装置の画面やインパネを利用することもできる。３次元表示機器１１が、ヘッドマウントディスプレイなどピントが変えられる機器では、操作表示位置と指とで目のピントが同じ位置になるように、表示のピントの位置を合わせて表示させるのが好適である。
【００１８】
取得部１２は、操作装置１００に対面するユーザを含む物体との距離情報を画像形式で取得するものである。取得した距離画像データは、操作位置判定部１３、基準位置取得部１４、視聴位置判定部１６に送られる。取得部１２は、例えばステレオカメラあるいは深度センサで構成することができる。ステレオカメラは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラである。ステレオ画像から距離を求める場合には、三角測量の原理を用いるのが通常である。また、深度センサでは、ある一定の範囲に赤外線を照射して細かい点が分布した状態とし、そこに存在する物体によって点の模様が変化するので、それを捉えて奥行き情報を得る。
【００１９】
操作位置判定部１３は、取得部１２で取得した距離画像データに基づいて、物体までの奥行きを取得し、仮想操作面を操作する手の３次元位置を特定するものである。手の位置の特定は、体から出ている棒状の物体の先端を手と認識すればよい。その形状をそのままの形で認識する。
【００２０】
基準位置取得部１４は、取得部１２で取得した距離画像データに基づいて、仮想操作面を配置する際の基準となる位置を特定するものである。本実施形態では、“基準位置”として“関節の位置”や“肘が接している場所”すなわち“肘の位置”についての３次元情報によって特定する。ステレオカメラで取得した距離画像に限られず、深度センサや圧力センサなどで取得したデータを利用して、“基準位置”を特定してもよい。“肘の位置”の特定には、例えば圧力センサをユーザの着席近傍に設けた肘当てに設置し、最も圧力が高い箇所を“肘の位置”とすることが出来る。また、手首から肘までの長さを決めておき、手首の位置から指のある方の反対側に伸びている方向をその長さで延ばした位置が、“肘の位置”となる。手首から肘までの長さの特定は、ステレオカメラから見て肘の折曲がりを確認できる位置に腕を配置し、肘を伸ばしたり折り曲げたりして肩から肘までの直線と肘から手首までの直線の２つを認識し、その交点と手首までの距離で決めればよい。特定した“基準位置”や“腕の位置”の３次元情報は、計算部１５に送られる。
【００２１】
計算部１５は、得られた“腕の位置”や“基準位置”の３次元情報に基づいて、“仮想操作面”の配置位置を計算するものである。“仮想操作面”は平面としてもよいが、平面に限る必要はない。以下、平面とした“仮想操作面”、平面でない“仮想操作面”について詳述する。
【００２２】
＜仮想操作面を平面とした場合＞
図４は、手の稼動範囲と仮想操作面の配置との関係を説明する図である。図４を使用して仮想操作面を平面とした場合を説明する。“手首”を固定した場合、手を動かせる範囲は、肘から手首までの直線上に手がある状態(以下、状態Ａという)から、手首を支点にして前方向は９０度傾けた状態(以下、状態Ｂという)までである。また、支点に対して後ろ方向は９０度傾けた状態(以下、状態Ｃという)までである。また、支点に対して横方向も同様に９０度傾けた状態までである。尚、手首が柔軟で手を動かせる範囲が広いユーザの場合には、手の稼動範囲を広げてもよい。
【００２３】
次に、“肘の位置”を固定した状態で、状態Ａでの指先位置が到達する（届く）範囲は肘から等距離となる球(図４では、外側の円)となり、状態Ｂや状態Ｃでの指先位置が到達する（届く）範囲は肘から等距離となる球(図４では、内側の円)となる。つまり、外側の球と内側の球の間に、仮想操作面を配置すればよいことになる。
【００２４】
図５乃至図９は、手首固定で、仮想操作面を操作できる範囲を示す図である。ユーザがタッチできる仮想操作面の向きは、仮想操作面の下部が同一の場所とした場合、図５のＡ面から図６のＢ面を経て図７のＣ面まで前方に傾けた状態まで操作することができる。逆に後方に傾けた場合、図５のＡ面から図８のＤ面を経て図９のＥ面まで傾けた状態まで操作することができる。Ｃ面の場合は手を曲げることにより操作することができる。後方に傾けた場合は、手を前方に傾ける方法に加え後方に傾けた側でもタッチすることができる。つまり、肘から手首までの距離より離れた位置で、仮想操作面の向きが肘に対して反対側の方向(Ｃ面)からユーザ方向(Ａ面)を通って肘の方向(Ｅ面)までの範囲である。
【００２５】
仮想操作面の下部が同一の場所として説明したが、必ずしも同一の場所とする必要は無い。２つの球面の間であれば、どの位置にどの向きに配置してもよい。
【００２６】
また、肘から真上方向に仮想操作面の下部となるように説明したが、手をあまり上げなくて済むように、また、仮想操作面が見やすい向きに設置されるように説明位置より前方で下方として、仮想操作面の法線方向をユーザの向きとするほうが望ましい。
【００２７】
また、実際には肘の位置は完全に固定される必要はなく、仮想操作面の向きや位置や大きさはもっと広い範囲で設定することもできる。
【００２８】
また、ヘッドマウントディスプレイのように３次元表示機器１１が操作する手より手前にある場合には、手のひらを上側にして、仮想操作面が裏側になり、範囲は同様となる。手で触った領域を手前にずらして表示してもよいし、表示しないようにしてもよい。ステレオカメラを装着した場合、左右の目の直前にヘッドマウントディスプレイをそれぞれ配置しても、実際の眼の位置とは少しずれるので、深度センサなどにより距離情報を取得して、映像を目で見える位置に補正するのが好適である。ヘッドマウントディスプレイでは目の位置は固定されるが、その中に目の位置を取得できるステレオカメラを装着し、装着ずれを補正させてより正確に表示するのが好適である。
【００２９】
＜仮想操作面を平面としない場合＞
次に、仮想操作面を平面としない場合について説明する。図１０は、球面的な仮想操作面の配置例を示す図である。図１１は、面の向きがユーザの方向となる仮想操作面の配置例を示す図である。
【００３０】
肘を固定して手の稼動範囲内に平面を設置すると、２つの球面の間に配置する必要があるので配置可能範囲が狭くなる。そこで、仮想操作面を平面とはせず、手の稼動範囲内の球面上に配置してもよい。そうすることにより、肘を動かさなくても広範囲に仮想操作面を設置できる。例えば、図４での外側の球面の少し内側に、仮想操作面を球面的に配置する。見え方は例えば図１０のように、ある範囲で区切った球面が見えるように配置となる。その球面上にボタンやアイコンを配置すればよい。
【００３１】
また、図１１のように、面の法線方向がユーザの方向になるように、仮想操作面を配置してもよい。そうすることにより、球面上に面を配置するより押しやすくなる。また、より押しやすいように、仮想操作面をユーザ方向から少し上の方向に向けてもよい。
【００３２】
仮想操作面を２つの球面の間に設置すればよいので、上記の配置や形にこだわらず仮想操作面を曲げて配置してもよい。また、仮想操作面ではなく立体物を配置してもよい。例えば、四角い立方体や球のような表示物を配置し、触る面により操作内容を変えてもよい。また、触った領域と奥行き分、仮想表示が凹んだ位置に表示させるようにし、より触っていることを目で感じさせてもよい。
【００３３】
“肘の位置”から操作しやすい範囲は上記に示したが、“肘の位置”に対して手首までの基準となる基準方向を予め決めておき、ユーザによって異なる肘から手首までの距離に応じて、その基準方向での操作しやすい仮想操作面の位置や向きを特定する。例えば、図１６のように、基準方向を決めたら、仮想操作面はその少し下に操作しやすい向きで配置される。
【００３４】
操作中は“肘の位置”は多少なりとも動くので、最初に“肘”で特定した位置を基準として仮想操作面の位置を固定しておいても良いし、“肘の位置”に連動させても良い。また、最初に“肘の位置”を特定した際の肩など動かない体の位置を基準として、仮想操作面の位置を連動させて移動させてもよい。基準方向は予め決めておいても良いが、手を上げて指を人差し指だけ伸ばした状態で操作受付開始とした場合、そのときの手首までの方向を基準方向としても良い。
【００３５】
仮想操作面は基準方向に対して相対的な位置と向きとなるように予め設定しておいても良い。人差し指だけ伸ばしたときの手首から指先の角度によっての相対的な位置と向きとなるようにしても良い。このとき相対関係はあらかじめ設定しておく。
【００３６】
また、予め仮想操作面位置を設定しておいて、その位置に合うようにユーザが移動しても良い。例えば、肘当てを用意しておいて、そこに肘を当てたときの仮想操作面となるように位置を設定する。
【００３７】
視聴位置判定部１６は、取得部１２で取得した距離画像に基づいて、ユーザの視聴位置を特定するものである。視聴位置は、ユーザの目の３次元位置データで特定する。
【００３８】
作成部１７は、視聴位置と３次元表示機器１１と仮想操作面の位置の関係に基づいて、３次元表示機器１１を利用して仮想操作面の表示を作成する。例えば２視差の表示装置の場合、それぞれの目に対して仮想操作面の位置が決められた位置になるように、取得部１２に対しての３次元表示機器１１の位置と向きの関係から表示を計算し作成する。取得部１２が３次元表示機器１１に取り付けられている場合は、取得部１２と３次元表示機器１１の相対関係は固定されるのであらかじめ３次元表示機器１１の位置と向きの相対関係を計算しておく。取得部１２が３次元表示機器１１に取り付けられていない場合は、取得部１２によって３次元表示機器１１の位置を特定するなどにより３次元表示機器１１の相対関係を計算する。
【００３９】
指示部１８は、仮想操作面と操作位置により行った操作を特定し操作機器２００に操作指示を伝えるものである。仮想操作面と操作位置により行った操作を特定し、操作機器２００に操作指示を伝える。例えば仮想操作面に一時停止のマークを表示させておき、手がそのマークを押したら一時停止を操作機器に伝えて一時停止させる。このとき、少しのずれを許容するために、すばやく触る方向に指が動いた場合には、多少遠くても触ったことにしてもよい。
【００４０】
次に、以上のように構成された操作装置１００による基本的な処理の流れについて説明する。
【００４１】
図１２は、操作装置１００における基本的な処理の流れを示すフローチャートである。
【００４２】
まず、取得部１２を構成する深度センサやステレオカメラによって、物体の奥行きを表す距離画像を取得する（ステップＳ１２０１）。操作装置１００を操作するユーザの体の一部を捉える。
【００４３】
次に、深度センサやステレオカメラで得たデータに基づいて、基準位置を取得する（ステップＳ１２０２）。例えば、基準位置は、ユーザの“肘の位置”である。
【００４４】
次いで、操作装置１００において表示させる仮想操作面の配置位置を、“肘の位置”を基準として計算する（ステップＳ１２０３）。配置位置の計算処理の流れは後述する。
【００４５】
次いで、ユーザによる仮想操作面上の操作位置を判定する（ステップＳ１２０４）。例えば、仮想操作面上のユーザの手の位置が操作位置となる。
【００４６】
次に、ユーザによる操作機器２００に対する操作の有無を判定する（ステップＳ１２０５）。
【００４７】
操作していると判定した場合（ステップＳ１２０５でＹｅｓ）には、操作機器２００に対して、操作内容を指示（ステップＳ１２０６）した後、ステップＳ１２０７へ移行する。一方、操作していないと判定した場合（ステップＳ１２０５でＮｏ）には、直ちにステップＳ１２０７へ移行する。
【００４８】
ステップＳ１２０７では、深度センサやステレオカメラで得たデータに基づいて、ユーザが仮想操作面を視聴している位置の判定を行う。
【００４９】
次いで、作成部１７で、表示する仮想操作面の生成を行う（ステップＳ１２０８）。
【００５０】
次に、作成部１７で生成した仮想操作面を、３次元表示機器１１に送って表示させる（ステップＳ１２０９）。３次元表示機器１１は、ユーザから見て仮想操作面があたかも設定あるいは調整された位置に存在するかのように見えるように仮想操作面を表示する。これにより、ユーザは認識した立体映像である仮想操作面に対し、手や指を用いて操作を実行することができる。
【００５１】
上記に限られず、操作装置１００における操作の受付開始は、ユーザの音声やジェスチャーによって決定してもよい。受付を開始後に仮想操作面を表示しても良く、音で受付開始を知らせても良い。
【００５２】
一方、操作装置１００における操作の終了は、ユーザが指をたたんだり、手を下ろすことを契機としても良い。さらに、操作受付は指先だけに限り、指先以外が触れた場合には、操作終了としても良い。
【００５３】
図１３は、計算部１５における仮想操作面の配置位置を計算する処理の流れを示すフローチャートである。
【００５４】
まず、基準位置、例えば“肘の位置”から仮想操作面までの距離を、“肘の位置”から操作位置、例えば“手”までの距離によって特定する（ステップＳ１３０１）。
【００５５】
次に、仮想操作面の向きや配置位置を、基準位置、例えば“肘の位置”を起点として、基準方向、例えば“肘から手の方向”になるように回転処理する（ステップＳ１３０２）。
【００５６】
次いで、仮想操作面の向きや位置を、基準方向より少し下に微調整する（ステップＳ１３０３）。仮想操作面を立体表示する位置は、ユーザの操作感として実際に仮想操作面が形成される位置とは若干異なる位置に表示させる方が好適な場合がある。仮想操作面の形成位置と仮想操作面画像の立体表示位置とは必ずしも一致する必要はない。
【００５７】
以上のようにして、仮想操作面の配置位置が計算される。
【００５８】
（変形例）
本実施形態については、以下のような変形例が可能である。
【００５９】
＜仮想操作面に関して＞
仮想操作面はアイコンなどを表示するための土台であるため、面上に操作するアイコンやボタンなどを配置すればよく、面を表示しておく必要は無い。
【００６０】
図１４は、図４に示す２重球面内に仮想操作面を複数用意した一例を示す図である。このような場合には、指の高さに応じて階層を切り替えてもよい。その場合、タッチしたと認識するのは、指を一度すばやく下げ上げすればよい。または、仮想操作面間に隙間を設け、その隙間を手が移動してタッチしないようにしてもよい。階層化した仮想操作面により、操作可能なアイコンを増やすことができる。肘が固定された状態で操作面の面積を小さくせざるを得ない場合に、有効である。
【００６１】
尚、ユーザにわかりやすくするため、現在操作対象としている階層の表示を濃くし、違う階層は薄く表示するのが好適である。
【００６２】
図１５は、図４に示す２重球面内に、図１０のような仮想操作面上に仮想立体アイコンを立体的に表示して操作対象とした一例を示す図である。
【００６３】
その場合、タッチしたとするのは、指を一度すばやく下げ上げすればよい。または、立体アイコンの間の隙間を手が移動してタッチしないようにできるようにしてもよい。そうすることにより、肘が固定された状態でも選択できるアイコンを増やすことができる。また、常に操作できるアイコンを表示し続けることができるため、選択したいアイコンが選びやすくなる。また、立体アイコンは四角にこだわらず、丸や三角や、例えば電話の場合電話の形など、意味に合わせた立体の形にしてもよい。
【００６４】
＜基準位置について＞
“肘の位置”を固定された基準として説明したが、人の関節ならどこでもよく、例えば、手首基準、指の関節基準、肩基準などとしてもよい。また、操作を足で行う場合には、腰基準、足の付け根基準、ひざ基準、足首基準、足の指の関節基準としてもよい。また、額や舌で操作する場合には、首基準とすればよい。操作できる範囲である仮想操作面は、基準とした関節から先の関節が曲がる範囲内での配置となる。
【００６５】
基準とした“関節の位置”が移動したことに連動して、仮想操作面の位置をずらしてもよい。そのとき、その基準の関節より体側の関節の位置や体の向きによって稼動範囲が変わるため、それを考慮して仮想操作面の位置や向きなどを変更してもよい。例えば、肘が体にくっついているときは、手は体の外側に移動しづらいので仮想操作面は内側にする。そして肘が体から離れているときは、手は体の外側に移動しやすくなるので仮想操作面は外側にする。
【００６６】
基準とした関節が、３次元表示機器の外側に離れすぎた場合、仮想操作面が３次元表示機器の範囲よりはみ出し表示できなくなる。その場合にも、表示されない仮想操作面があるとして操作は受け付けるようにしてもよい。
【００６７】
関節基準ではなく、肘当てのように何かに体の一部を当てた位置を基準としてもよい。他に、両手のひらの付け根を両ひざの上に置き、その手のひらの位置を基準として、キーボードやテンキーやボタンの仮想操作表示をしてもよい。その場合、キーボードひとつとせず、左右に分割して表示してもよい。また、車を運転中の場合手のひらの付け根をハンドルの上に置いたときでもよい。その場合、３次元表示機器はＨＵＤ(ヘッドアップディスプレイ)でもよい。また、ハンドルは円状に回転するので、位置だけではなく仮想操作面をそれに合わせて回転させても良い。操作できる範囲である仮想操作面は、基準とした接点から次の関節までの自由度と、その関節から先の関節が曲がる範囲での配置となる。
【００６８】
手首の関節を基準とした場合に、肘の位置からの表示面の向きが変わらないように、手首の位置に連動させて、仮想操作面の位置を移動に加え、回転して表示してもよい。
【００６９】
＜３次元表示機器の配置＞
仮想操作面を表示するためには、３次元表示機器を図３のように縦に長くしておくか、もしくは図１７のように、通常の表示機器の下方に、仮想操作面表示用の３次元表示機器１１を別途、配置してもよい。家庭などで仮想操作面表示をする場合には、図１８のように、テレビなどの表示機器の手前の下に、床で真上向きや視聴者に見やすいように斜めに設置し、仮想操作面を斜めに設置して、手をあまり上げずに操作できるようにしてもよい。
【００７０】
＜操作の受付＞
ユーザが仮想操作面を見ている場合のみ、操作を受け付けるようにして誤動作を防止するのが好適である。
【００７１】
＜タッチの感触について＞
空気流を発射する空気銃を、仮想操作面の近傍に設置し、仮想操作面を触ったことがユーザに判るようにするのが好適である。
【００７２】
仮想操作面に触ったことを認識して、空気銃から手に空気流を当てる。一つの空気銃で指の位置に空気銃の向きを追従させてもよいし、３次元表示機器面に透明の空気銃を敷き詰めて触った領域のみ空気を発射させてもよい。空気銃を敷き詰める場合は、３次元表示機器などの面に、配置し平行に照射してもよい。
【００７３】
図１７は、空気銃の配置の一例を示す図である。図１７に示すように、表示機器と仮想操作面表示用の３次元表示機器との間など横長の隙間に、線に配置し縦方向の放射線状に照射してもよい。また、点に配置し点の放射線状に照射してもよい。また、図１９のように、ヘッドマウントディスプレイなどでは空気銃を機器の裏側に、面にたくさん敷き詰めて配置しておいて、仮想操作面に触った領域のみ空気を発射させてもよい。それぞれの空気銃に対して指を追従させて、より近い位置の空気銃から発射させてもよい。また、近いほど空気銃の強度を大きくしてもよい。また、ボタンのある領域に指が来た場合、空気銃を弱く照射し、ボタンが押されたら空気銃を強く照射して、ボタンを押している感覚をさせてもよい。また、空気銃が指の温度と近くなるようにヒーターを使って温度調整をしてもよい。その場合、指の温度を読み取っておいて、その温度にしたがって、発射する空気の温度を変えてもよい。
【００７４】
本実施形態によれば、手の揺らぎが起きにくい状態で操作することが可能となるので、車など乗り物の振動による手の動きや手振れを軽減するもので操作性が著しく向上する。また、肘をあまり動かさなくてすむため、疲れを軽減することもできる。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１００・・・操作装置
１１・・・３次元表示機器
１２・・・取得部
１３・・・操作位置判定部
１４・・・基準位置取得部
１５・・・計算部
１６・・・視聴位置判定部
１７・・・作成部
１８・・・指示部
２００・・・操作機器
【図１】
2014056462.tif 000003
【図２】
2014056462.tif 000004
【図３】
2014056462.tif 000005
【図４】
2014056462.tif 000006
【図５】
2014056462.tif 000007
【図６】
2014056462.tif 000008
【図７】
2014056462.tif 000009
【図８】
2014056462.tif 000010
【図９】
2014056462.tif 000011
【図１０】
2014056462.tif 000012
【図１１】
2014056462.tif 000013
【図１２】
2014056462.tif 000014
【図１３】
2014056462.tif 000015
【図１４】
2014056462.tif 000016
【図１５】
2014056462.tif 000017
【図１６】
2014056462.tif 000018
【図１７】
2014056462.tif 000019
【図１８】
2014056462.tif 000020
【図１９】
2014056462.tif 000021