(57)【要約】【課題】入力操作し易い入力操作装置を提供する。【解決手段】入力操作装置は、表示装置に対して通信可能に接続され、ユーザのジェスチャによる入力操作を可能とする。入力操作装置は、表示装置に表示させるレイヤであって、奥行き方向ＤＤに並ぶ複数のレイヤＬａ，Ｌｂを含む表示内容を、生成する表示内容生成部と、ジェスチャを検出するジェスチャ検出部と、ジェスチャ検出部が検出したジェスチャに基づいて表示内容を操作する表示操作部と、を備える。表示操作部は、予め設定された状態切替用のジェスチャによって、複数のレイヤのうち操作対象となる操作レイヤＯＰＬについてのレイヤ変更の有効状態と、無効状態とを、切り替える状態切替部と、有効状態の場合に、操作レイヤＯＰＬの変更を許可し、無効状態の場合に、操作レイヤＯＰＬの変更を禁止する操作レイヤ変更部と、を有する。【選択図】図７
2020071641.tif 000002
【特許請求の範囲】
【請求項１】
表示装置（１５）に対して通信可能に接続され、ユーザのジェスチャによる入力操作を可能とする入力操作装置であって、
前記表示装置に表示させるレイヤであって、奥行き方向（ＤＤ）に並ぶ複数のレイヤ（Ｌ）を含む表示内容を、生成する表示内容生成部（２１）と、
前記ジェスチャを検出するジェスチャ検出部（２２）と、
前記ジェスチャ検出部が検出した前記ジェスチャに基づいて前記表示内容を操作する表示操作部（２３）と、を備え、
前記表示操作部は、
予め設定された状態切替用の前記ジェスチャによって、前記複数のレイヤのうち操作対象となる操作レイヤ（ＯＰＬ）についてのレイヤ変更の有効状態と、無効状態とを、切り替える状態切替部（２３ａ）と、
前記有効状態の場合に、前記操作レイヤの変更を許可し、前記無効状態の場合に、前記操作レイヤの変更を禁止する操作レイヤ変更部（２３ｂ）と、を有する入力操作装置。
【請求項２】
前記状態切替部は、前記ユーザの状態切替判定部位（ＭＳＰ）が特定の姿勢である状態切替用の前記ジェスチャをしている間、前記レイヤ変更を前記有効状態とする請求項１に記載の入力操作装置。
【請求項３】
前記状態切替部は、前記ユーザの状態切替判定部位が特定の姿勢である状態切替用の前記ジェスチャをしている間、前記レイヤ変更を前記無効状態とする請求項１に記載の入力操作装置。
【請求項４】
前記状態切替部は、前記ユーザの状態切替判定部位が特定の動きを伴う状態切替用の前記ジェスチャをすると、前記有効状態と、前記無効状態とを、切り替える請求項１に記載の入力操作装置。
【請求項５】
前記操作レイヤ変更部は、前記ユーザのレイヤ変更判定部位（ＬＣＰ）の前記奥行き方向おける位置に応じて、前記操作レイヤを変更する請求項２から４のいずれか１項に記載の入力操作装置。
【請求項６】
前記レイヤ変更判定部位と、前記状態切替判定部位とは、互いに異なる請求項５に記載の入力操作装置。
【請求項７】
前記レイヤ変更判定部位と、前記入力操作における動きを伴う前記ジェスチャに使用する部位とは、互いに異なる請求項５又は６に記載の入力操作装置。
【請求項８】
前記レイヤ変更判定部位は、前記ユーザが動きを伴う前記ジェスチャを行なったときに、前記状態切替判定部位よりも、前記奥行き方向の動きが少ない部位である請求項６又は７に記載の入力操作装置。
【請求項９】
前記ユーザに対して触感を提示する触感提示装置（１４）に対して通信可能に接続された請求項１から８のいずれか１項に記載の入力操作装置であって、
前記有効状態の場合に、前記触感提示装置に触感を提示させるように前記触感提示装置を制御する触感制御部（２４）を、さらに備える入力操作装置。
【請求項１０】
前記触感制御部は、前記ジェスチャがなされる空間（ＧＳ）のうち、現在の前記操作レイヤを含む一部の前記レイヤに対応した位置において、前記触感提示装置に触感を提示させる請求項９に記載の入力操作装置。
【請求項１１】
前記触感制御部は、前記ジェスチャがなされる空間のうち、現在の前記操作レイヤ及び前記現在の前記操作レイヤに前記奥行き方向に隣接する前記レイヤに対応した位置において、前記触感提示装置に触感を提示させる請求項９又は１０に記載の入力操作装置。
【請求項１２】
前記表示内容は、前記複数のレイヤの間を移動させることが可能なオブジェクトを、さらに含み、
前記触感制御部は、前記オブジェクトが前記複数のレイヤの間を移動する場合に、前記触感提示装置に触感を提示させる請求項９から１１のいずれか１項に記載の入力操作装置。
【請求項１３】
前記表示内容生成部は、前記複数のレイヤのうち、前記操作レイヤ以外のレイヤを、前記操作レイヤに対して視認性を低下させた態様にて表示させる請求項１から１２のいずれか１項に記載の入力操作装置。
【請求項１４】
前記表示内容生成部は、前記ユーザの所定部位と、前記ジェスチャがなされる空間における各前記レイヤに対応する位置との前記奥行き方向における距離に応じて、視認性の低下度合を変える請求項１から１３のいずれか１項に記載の入力操作装置。
【請求項１５】
ユーザに対して表示を行なう表示装置（１５）と、
前記表示装置に表示させるレイヤであって、奥行き方向（ＤＤ）に並ぶ複数のレイヤ（Ｌ）を含む表示内容を、生成する表示内容生成部（２１）と、
前記ユーザのジェスチャを検出するジェスチャ検出部（２２）と、
前記ジェスチャ検出部が検出した前記ジェスチャに基づいて前記表示内容を操作する表示操作部（２３）と、を備え、
前記表示操作部は、
予め設定された状態切替用の前記ジェスチャによって、前記複数のレイヤのうち操作対象となる操作レイヤ（ＯＰＬ）についてのレイヤ変更の有効状態と、無効状態とを、切り替える状態切替部（２３ａ）と、
前記有効状態の場合に、前記操作レイヤの変更を許可し、前記無効状態の場合に、前記操作レイヤの変更を禁止する操作レイヤ変更部（２３ｂ）と、を有するユーザインタフェースシステム。
【請求項１６】
前記表示装置は、表示よりも奥側の風景（３）を透過して前記ユーザに視認させることが可能に形成されている請求項１５のユーザインタフェースシステム。
【請求項１７】
前記表示内容は、前記レイヤとして、
前記風景と重畳する表示により現実を拡張する拡張現実レイヤ（Ｌａ，Ｌｂ）と、
前記拡張現実レイヤよりも手前側に配置され、前記風景とは独立した情報を表示する独立情報レイヤ（Ｌ０）と、を含む請求項１６に記載のユーザインタフェースシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この明細書による開示は、入力操作装置及びユーザインタフェースシステムに関する。
【背景技術】
【０００２】
従来、ユーザのジェスチャによる入力操作を可能とする装置が知られている。特許文献１に開示の装置は、ユーザの手の奥行き方向位置から、ディスプレイに表示させるレイヤであって、奥行き方向に並ぶレイヤのうち、選択しようとしているレイヤを検出する。そして、ユーザの選択動作から、レイヤに割り当てられたコマンドを選択するようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４６４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、奥行き方向の移動を伴うジェスチャと、レイヤ選択のジェスチャとの区別が困難である。例えば、奥行き方向の移動を伴うジェスチャをユーザが行なうと、選択しようとしているレイヤが変更されてしまう。このため、誤作動が発生し易く、入力操作し易いとはいえなかった。
【０００５】
開示される目的のひとつは、入力操作し易い入力操作装置及びユーザインタフェースシステムを提供することにある。
【課題を解決するための手段】
【０００６】
ここに開示された態様のひとつは、表示装置（１５）に対して通信可能に接続され、ユーザのジェスチャによる入力操作を可能とする入力操作装置であって、
表示装置に表示させるレイヤであって、奥行き方向（ＤＤ）に並ぶ複数のレイヤ（Ｌ）を含む表示内容を、生成する表示内容生成部（２１）と、
ジェスチャを検出するジェスチャ検出部（２２）と、
ジェスチャ検出部が検出したジェスチャに基づいて表示内容を操作する表示操作部（２３）と、を備え、
表示操作部は、
予め設定された状態切替用のジェスチャによって、複数のレイヤのうち操作対象となる操作レイヤ（ＯＰＬ）についてのレイヤ変更の有効状態と、無効状態とを、切り替える状態切替部（２３ａ）と、
有効状態の場合に、操作レイヤの変更を許可し、無効状態の場合に、操作レイヤの変更を禁止する操作レイヤ変更部（２３ｂ）と、を有する。
【０００７】
このような態様によると、操作レイヤの変更について、有効状態と無効状態とが切り替わる。こうした有効状態では、操作レイヤの変更が許可されているので、ユーザがジェスチャ等により、操作レイヤを変更することができる。一方、無効状態では、操作レイヤの変更が禁止されているので、たとえユーザがジェスチャ等をしたとしても、操作レイヤが変更されない。このように、ユーザが意図せずに操作レイヤが変更されてしまうことが抑制されるので、誤作動が発生し難くなる。こうした有効状態と無効状態との切り替えは、状態切替用の専用のジェスチャによって実施されるので、他のジェスチャによって誤って有効状態になることも抑制される。以上により、入力操作し易い入力操作装置を提供することができる。
【０００８】
また、開示された態様の他のひとつにおいてユーザインタフェースシステムは、
ユーザに対して表示を行なう表示装置（１５）と、
表示装置に表示させるレイヤであって、奥行き方向（ＤＤ）に並ぶ複数のレイヤ（Ｌ）を含む表示内容を、生成する表示内容生成部（２１）と、
ユーザのジェスチャを検出するジェスチャ検出部（２２）と、
ジェスチャ検出部が検出したジェスチャに基づいて表示内容を操作する表示操作部（２３）と、を備え、
表示操作部は、
予め設定された状態切替用のジェスチャによって、複数のレイヤのうち操作対象となる操作レイヤ（ＯＰＬ）についてのレイヤ変更の有効状態と、無効状態とを、切り替える状態切替部（２３ａ）と、
有効状態の場合に、操作レイヤの変更を許可し、無効状態の場合に、操作レイヤの変更を禁止する操作レイヤ変更部（２３ｂ）と、を有する。
【０００９】
このような態様によると、操作レイヤの変更について、有効状態と無効状態とが切り替わる。こうした有効状態では、操作レイヤの変更が許可されているので、ユーザがジェスチャ等により、操作レイヤを変更することができる。一方、無効状態では、操作レイヤの変更が禁止されているので、たとえユーザがジェスチャ等をしたとしても、操作レイヤが変更されない。このように、ユーザが意図せずに操作レイヤが変更されてしまうことが抑制されるので、誤作動が発生し難くなる。こうした有効状態と無効状態との切り替えは、状態切替用の専用のジェスチャによって実施されるので、他のジェスチャによって誤って有効状態になることも抑制される。
【００１０】
故に、表示内容に奥行き方向に並ぶ複数のレイヤが含まれるような複雑な表示を、表示装置が表示したとしても、こうした表示に対して入力操作し易いユーザインタフェースシステムを提供することができる。
【００１１】
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態のユーザインタフェースシステムの概要を示すブロック図である。
【図２】第１実施形態の表示装置による表示例を示す図である。
【図３】図２のレイヤを説明するための図である。
【図４】第１実施形態の表示装置による他の表示例を示す図である。
【図５】図４のレイヤを説明するための図である。
【図６】第１実施形態の表示操作部を示すブロック図である。
【図７】第１実施形態におけるユーザのジェスチャ、操作レイヤ、及びレイヤ変更の有効又は無効状態の関係を説明するためのタイムチャートである。
【図８】第１実施形態の入力操作装置によるフローチャートである。
【図９】第２実施形態の入力操作装置によるフローチャートである。
【図１０】比較例のレイヤ変更判定部位を説明するための図である。
【図１１】第２実施形態のレイヤ変更判定部位を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【００１４】
（第１実施形態）
本開示の第１実施形態によるユーザインタフェースシステム１００は、図１に示されるように、移動体としての車両１に用いられ、当該車両１に搭載されている。ユーザインタフェースシステム１００は、撮像装置１１、位置取得装置１２、記憶装置１３、触感提示装置１４、表示装置１５、及び入力操作装置２０等により構成されている。
【００１５】
撮像装置１１は、撮影対象を撮影し、画像を生成する装置であって、ジェスチャを検出する検出装置として機能している。１つ又は複数のカメラ等により構成されている。カメラは、撮像素子、レンズ及び制御部としての回路ユニットを有している。
【００１６】
撮像素子は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤイメージセンサないしはＣＭＯＳイメージセンサを採用することができる。レンズは、撮影対象を撮像素子上に結像させるために、撮影対象と撮像素子との間に配置されている。回路ユニットは、撮像素子と通信可能に接続されていることにより、撮像素子を制御すると共に、画像をデータとして生成する。さらに回路ユニットは、入力操作装置２０と通信可能に接続されていることにより、入力操作装置２０へ向けて当該データを電気信号として出力する。
【００１７】
カメラは、例えば車両１のインストルメントパネルないしはステアリング等に設置され、撮影対象を、インストルメントパネルないしはステアリングに対向して設けられた座席に着座したユーザないしユーザがジェスチャをする空間ＧＳとしている。したがって撮像装置１１は、ユーザのジェスチャを撮像し、その画像を入力操作装置２０へ出力することができる。
【００１８】
なお、カメラとしては、可視光からカラー画像を生成するもの、可視光からモノクロ画像を生成するもの、赤外光から画像を生成するものが採用され得る。また、カメラとしては、輝度情報による画像を生成する２Ｄカメラだけでなく、輝度情報に加えて深度情報を含む情報による画像を生成する３Ｄカメラが採用され得る。２Ｄカメラが採用される場合であっても、撮影対象の画像における大きさ、輝度、デフォーカス量等に基づいて、深度情報を推測することができる。
【００１９】
位置取得装置１２は、車両１の位置を取得する。位置取得装置１２としては、車両１よりも前方の風景３を撮影し、風景３に映り込んだ対象を認識する画像認識装置が採用され得る。あるいは、位置取得装置１２としては、例えばＧＰＳ等の全球測位衛星システム、地磁気センサ、Ｗｉ−Ｆｉ（登録商標）による測位装置、ビーコンユニット等、車両１の地図上の位置（好ましくは方向も）を取得可能な装置、以上挙げた複数の装置の組み合わせが採用され得る。
【００２０】
記憶装置１３は、入力操作装置２０において使用されるデータを記憶しておくための装置である。記憶装置１３には、例えばフラッシュメモリ、ハードディスク等が採用され得る。
【００２１】
触感提示装置１４は、ユーザに対して触感を提示する。触感提示装置１４としては、例えば超音波により触感を提示する超音波振動発生装置、空気の流動により触感を提示する空気砲発生装置、レーザ照射により触感を提示するフェムト秒レーザ発振装置等が採用され得る。
【００２２】
表示装置１５は、ユーザに対して表示を行なう。表示装置１５は、例えば車両１のウインドシールド２に貼り付けられた透明なディスプレイ、ウインドシールド２に表示光を投影することによって虚像を表示するヘッドアップディスプレイ等が採用され得る。すなわち、表示装置１５は、車両１よりも前方の風景３、すなわち表示よりも奥側の風景３を透過してユーザに視認させることが可能であることが好ましい。こうして座席に着座したユーザに対する前方にて、表示内容が表示される。
【００２３】
したがって、本実施形態では、車両１の後方から前方へ向かう方向が、表示を視認する上での奥行き方向ＤＤに相当する。以下において、奥行き方向ＤＤにおいて、後側（換言すると座席側）を手前側と、前側（換言するとウインドシールド２側）を奥側と記載する。
【００２４】
入力操作装置２０は、いわゆるコンピュータであり、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリによって提供され、プロセッサによって読み取り可能なコンピュータプログラム及びデータを非一時的に格納するための記憶媒体である。
【００２５】
入力操作装置２０は、撮像装置１１、位置取得装置１２、記憶装置１３、触感提示装置１４、及び表示装置１５と通信可能に接続されており、ユーザのジェスチャによる入力操作を可能とする装置である。ここでいう装置間の通信は、有線通信、無線通信問わず各種の好適な通信方式が採用され得る。例えばハーネスによる有線ネットワーク、また例えばＣＡＮ（登録商標）等の車内ネットワーク、また例えば携帯電話網、インターネット等の公衆通信ネットワーク、あるいはこれらの組み合わせが採用され得る。
【００２６】
また、本実施形態におけるジェスチャとは、ユーザが入力操作のために行なう意思表示手段であって、動きを伴う身振りないし手振りと、動きを伴わない体の姿勢と、を含む広義的な概念として理解される。
【００２７】
入力操作装置２０は、機能ブロックとして、表示内容生成部２１、ジェスチャ検出部２２、表示操作部２３及び触感制御部２４を有している。これら表示内容生成部２１、ジェスチャ検出部２２、表示操作部２３及び触感制御部２４は、制御部として機能する。
【００２８】
表示内容生成部２１は、表示装置１５に表示させるレイヤであって、奥行き方向ＤＤに並ぶ複数のレイヤＬを含む表示内容を、生成する。表示内容は、表示装置１５の特性に応じた表示形態にて表示される。具体的に、表示内容は、虚像として表示される場合もあり、実像として表示される場合もあり得る。また、表示内容は、平面的な単数又は複数の画面に表示される場合もあり、立体的な３Ｄ映像として表示される場合もあり得る。
【００２９】
レイヤＬは、グラフィックソフトウエア分野においては一般的に用いられる仮想的な構造であり、表示内容のうち一部が層別された層構造である。複数のレイヤＬが重畳されることによって表示装置１５による表示が成立する。ひとつの形態としてレイヤＬは、例えば３Ｄ映像において実際の表示位置が奥行き方向ＤＤに前後することによって、実体的に独立した表示層として認識可能に構成される。他のひとつの形態としてレイヤＬは、１つの平面的な画面において、表示効果によって疑似的に奥行き方向ＤＤに前後するように視認させることによって、独立した表示層として認識可能に構成される。他のひとつの形態としてレイヤＬは、実際の表示からは区別が付かず、入力操作装置２０ないし表示装置１５の内部の制御によって、内部的に独立した表示層として扱われる。この場合であっても、ユーザによる入力操作の過程において、ユーザがレイヤＬを認識可能となるような手法を採用することができる。この手法としては、例えば後述する触感の提示、あるいは音声等の補助的な情報提示が挙げられる。
【００３０】
表示内容生成部２１が生成する表示内容は、撮像装置１１から入力操作装置２０へ入力された情報、位置取得装置１２から入力操作装置２０へ入力された情報、車両１から得られた他の情報等に基づいて、決定される。随時、表示内容が生成されると、そのデータが表示装置１５へと出力され、表示装置１５によって表示される。
【００３１】
ここで、表示内容生成部２１及び表示装置１５による表示例を図２〜５を用いて説明する。図２の表示例は、車両１が市街地を走行中に、ユーザからウインドシールド２を介して視認される風景３に、虚像が重畳された表示を示している。すなわち、この表示は、風景３と重畳する表示により現実を拡張する拡張現実（ＡＲ；Augmented Reality）表示であるといえる。
【００３２】
具体的に、図２では、虚像により、３つのピン画像ＩＰ１，ＩＰ２，ＩＰ３が表示されている。これらピン画像ＩＰ１，ＩＰ２，ＩＰ３は、情報としてユーザに提供されるべき地点を示している。このうち、左右に表示されたピン画像ＩＰ１，ＩＰ３は、風景３として実際に確認できる構造物よりも奥側に隠れた地点を示している。このため、ピン画像ＩＰ１，ＩＰ３に、それぞれ個別に対応するように、地点拡大画像ＩＥ１，ＩＥ３が表示されている。地点拡大画像ＩＥ１，ＩＥ３は、ピンの地点に存在する構造物等を、拡大して表示している。
【００３３】
これら画像ＩＰ１，ＩＰ２，ＩＰ３，ＩＥ１，ＩＥ３は、いずれかの複数のレイヤＬのうち、いずれかのレイヤＬに属している。例えば図３に示すように、奥行き方向ＤＤに並ぶ２つのレイヤＬａ，Ｌｂが設定される。そして、現在の車両１の位置から、各ピン画像ＩＰ１，ＩＰ２，ＩＰ３が対応する地点までの距離に対応させて、各画像ＩＰ１，ＩＰ２，ＩＰ３，ＩＥ１，ＩＥ３が、各レイヤＬａ，Ｌｂに割り当てられる。具体的に、画像ＩＰ１，ＩＥ１は、最も奥側のレイヤＬｂに属するように設定され、同様に、画像ＩＰ３，ＩＥ３は、最も奥側のレイヤＬｂに属するように設定される。画像ＩＰ２は、最も手前側のレイヤＬａに属するように設定される。これらレイヤＬａ，Ｌｂは、現実を拡張する機能を有しているので、拡張現実レイヤに該当する。
【００３４】
また、ユーザによる入力操作の基準になるような、カーソル画像ＩＣが表示されている。このカーソル画像ＩＣは、例えば操作対象となる操作レイヤＯＰＬ（後で詳述する）に属するように配置されていてもよく、複数のレイヤＬとは別のポイント専用レイヤ上に表示されていてもよい。
【００３５】
これら画像ＩＰ１，ＩＰ２，ＩＰ３，ＩＥ１，ＩＥ３及びカーソル画像ＩＣは、１つの表示物の単位として定義されるオブジェクトとして、機能する。
【００３６】
図４の表示例は、何らかのユーザによる入力操作により、ピン画像ＩＰ１の地点に関する情報を提示するウインドウ画像ＩＷを表示した場合を示している。この場合には、図５に示すように、表示内容生成部２１は、レイヤＬａ，Ｌｂよりも手前側に、追加のレイヤＬ０を生成する。そして、ウインドウ画像ＩＷは、追加のレイヤＬ０に属するように設定される。このため、図４では、ウインドウ画像ＩＷが最も手前側に認識されるように表示されている。ウインドウ画像ＩＷは、ウインドシールド２を介して視認される風景３に位置を合わせて表示されるわけではなく、当該風景３とは独立した情報を表示しているので、拡張現実レイヤではなく、独立情報レイヤに該当する。
【００３７】
図４の表示例では、レイヤＬ０が操作レイヤＯＰＬとなっているため、レイヤＬａ，Ｌｂに表示されるピン画像ＩＰ１，ＩＰ２，ＩＰ３等を操作することはできない。
【００３８】
ジェスチャ検出部２２は、ユーザのジェスチャを検出する。具体的に、ユーザを撮影対象とした撮像装置１１による画像データを解析し、ユーザが行なったジェスチャを抽出及び判定する。特に本実施形態では、ユーザの手及び指（以下、手指）のジェスチャを、入力操作に用いるため、ユーザの手指の位置、ユーザの手指の姿勢、及びユーザの手指の動きを解析する。
【００３９】
ユーザのジェスチャの検出方法としては、以下のような方法を採用することができる。例えば、記憶装置１３にジェスチャ判定用の基準画像を記憶しておき、予め記憶された基準画像と撮像装置１１から取得した画像を比較することにより、ジェスチャを検出することができる。
【００４０】
また例えば、予め、ユーザが特定のジェスチャをしている画像と、その分類結果（何のジェスチャをしているか）とが対になった教師データを用意し、これをニューラルネットワークに学習させてジェスチャ解析用学習済みモデルを構築する。そして、この学習済みモデルに撮像装置１１から取得した画像を入力し、得られた結果から、ジェスチャを検出することができる。
【００４１】
表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャに基づいて、表示内容を操作する。より詳細に、表示操作部２３は、ジェスチャ検出部２２が検出したユーザのジェスチャを、表示内容生成部２１が表示内容を生成又は変更するためのトリガとなり得るコマンド（命令）に変換する。こうしたコマンドを表示内容生成部２１が参照することにより、表示内容は操作される。
【００４２】
表示操作部２３は、図６に示すように、サブ機能ブロックとして、状態切替部２３ａ及び操作レイヤ変更部２３ｂを有する。状態切替部２３ａは、複数のレイヤＬのうち操作対象となる操作レイヤＯＰＬを変更するレイヤ変更の有効状態と、無効状態とを、切り替える。ここで、操作対象となる操作レイヤＯＰＬは、通常１つのレイヤＬである。ただし、２つ以上のレイヤＬを一括で操作したい状況では、２つ以上のレイヤＬが操作レイヤＯＰＬに設定されることが許容されてもよく、逆に一切の操作を禁止したい状況では、操作レイヤＯＰＬが存在しない（すなわち、全てのレイヤＬが操作不能な状態である）ことが許容される。
【００４３】
有効状態と無効状態とを切り替えるための状態切替用のジェスチャは、予め設定されている。第１実施形態において、状態切替用のジェスチャは、ユーザの状態切替判定部位ＭＳＰが特定の姿勢であるジェスチャであって、動きを伴わないジェスチャとなっている。特に本実施形態では、状態切替用ジェスチャをしている間、操作レイヤＯＰＬの変更が有効状態に設定される。例えば、ユーザの状態切替判定部位ＭＳＰとはユーザの指先であり、ユーザの状態切替判定部位ＭＳＰが特定の姿勢であるジェスチャとは、指先を２本以上伸ばした姿勢である。ユーザが指先を２本以上伸ばしている間、有効状態が設定される。
【００４４】
なお、ユーザの状態切替判定部位ＭＳＰが特定の姿勢であるジェスチャは、上述のジェスチャに限らず、例えば拳を握った姿勢、２本の指先を合わせて物をつまむような姿勢等を採用することもできる。
【００４５】
操作レイヤ変更部２３ｂは、上記有効状態の場合に、操作レイヤＯＰＬの変更を許可する。一方、操作レイヤ変更部２３ｂは、無効状態の場合には、操作レイヤＯＰＬの変更を禁止する。操作レイヤ変更部２３ｂは、状態切替用のジェスチャとは異なるジェスチャ又は方法によって、操作レイヤＯＰＬを変更する。より好ましくは、操作レイヤ変更部２３ｂは、入力操作するための他のジェスチャとも異なるジェスチャ又は方法によって、操作レイヤＯＰＬを変更する。
【００４６】
本実施形態の操作レイヤ変更部２３ｂは、有効状態においては、ジェスチャがなされる空間ＧＳ（すなわち撮像装置１１の撮影対象となっている空間ＧＳ）におけるユーザのレイヤ変更判定部位ＬＣＰの奥行き方向ＤＤの位置に応じて、操作レイヤＯＰＬを変更するようになっている。各レイヤＬには、ジェスチャがなされる空間ＧＳにて対応する位置が仮想的に設定されている。
【００４７】
例えば、ユーザのレイヤ変更判定部位ＬＣＰが奥行き方向ＤＤのうち手前側に変位して、現在の操作レイヤＯＰＬよりも手前側に配置されたレイヤＬに対応する位置に到達すると、当該手前側のレイヤＬが新たな操作レイヤＯＰＬに変更される。逆に、ユーザのレイヤ変更判定部位ＬＣＰが奥行き方向ＤＤのうち奥側に変位して、現在の操作レイヤＯＰＬよりも奥側に配置されたレイヤＬに対応する位置に到達すると、当該奥側のレイヤＬが新たな操作レイヤＯＰＬに変更される。
【００４８】
ユーザのレイヤ変更判定部位ＬＣＰは、通常、状態切替判定部位ＭＳＰ、及び入力操作における動きを伴うジェスチャに使用する部位とは、異なる部位に設定される。より好適には、ユーザが動きを伴うジェスチャを行ったときに、状態切替判定部位ＭＳＰよりも奥行き方向ＤＤの動きが少ない部位が、レイヤ変更判定部位ＬＣＰに設定される。本実施形態では、レイヤ変更判定部位ＬＣＰは、ユーザの手首である。なお、レイヤ変更判定部位ＬＣＰとしては、手首に限らず、手指の関節、掌の中心、肘、又は上記の組み合わせ（この場合では、例えば各部位の座標の平均値を検出する）等が採用され得る。
【００４９】
なお、操作レイヤＯＰＬのレイヤ変更において、無効状態が設定されたとしても、指先のジェスチャによりカーソル画像ＩＣを操作して、操作レイヤＯＰＬにおいて座標指定の操作をすることは、表示操作部２３によって許可される。
【００５０】
本実施形態における入力操作例を図７を用いて説明する。（ａ）のタイミングでは、ユーザは、指先を５本共伸ばした姿勢をとっている。指先を２本以上伸ばしているので、ジェスチャ検出部２２は、状態切替用のジェスチャをしている状態であると判定し、状態切替部２３ａは、レイヤ変更の状態を、有効状態に切り替える。そして、操作レイヤ変更部２３ｂによって、レイヤＬａが操作レイヤＯＰＬに設定されている。
【００５１】
（ｂ）のタイミングでは、ユーザは、人差し指１本のみを伸ばした姿勢をとっている。指先を２本以上伸ばしていないので、ジェスチャ検出部２２は、状態切替用のジェスチャをしていない状態であると判定し、状態切替部２３ａは、レイヤ変更を、無効状態に切り替える。
【００５２】
（ｃ）のタイミングでは、ユーザは、人差し指１本のみを伸ばした姿勢にて、手指を全体に奥側へ変位させるジェスチャを行なう。このジェスチャは、いわゆる「押す」ジェスチャであり、例えば選択している対象を決定することに用いられる。
【００５３】
ここで、指先を２本以上伸ばしていないので、ジェスチャ検出部２２は、状態切替用のジェスチャをしていない状態であると判定し、レイヤ変更の状態は、無効状態のままである。そして、ユーザのレイヤ変更判定部位ＬＣＰである手首の座標が、奥側に変位している。この変位によっても、レイヤ変更の状態は無効状態であるため、操作レイヤ変更部２３ｂが操作レイヤＯＰＬを、レイヤＬａよりも奥側に配置されたレイヤＬｂに変更することはない。したがって、「押す」ジェスチャに伴って、操作レイヤＯＰＬが変更されることが抑制されている。
【００５４】
触感制御部２４は、表示操作部２３と連携して、触感提示装置１４を制御する。ここで、触感制御部２４は、レイヤ変更の状態が有効状態である場合に、触感提示装置１４に触感を提示させるように触感提示装置１４を制御し、無効状態である場合には、触感提示装置１４の作動を禁止する。
【００５５】
具体的に触感制御部２４は、有効状態において、ジェスチャがなされる空間ＧＳのうち、現在の操作レイヤＯＰＬ及び現在の操作レイヤＯＰＬに奥行き方向ＤＤに隣接するレイヤＬに対応した位置において、触感提示装置１４に触感を提示させる。
【００５６】
例えばユーザの手指の奥行き方向ＤＤの位置が、現在の操作レイヤＯＰＬに対応する位置と、現在の操作レイヤＯＰＬに奥行き方向ＤＤに隣接するレイヤＬに対応する位置との中間位置に位置する場合には、ユーザに対して触感は提示されない。そして、中間位置から現在の操作レイヤＯＰＬに対応する位置又は現在の操作レイヤＯＰＬに奥行き方向ＤＤに隣接するレイヤＬに対応する位置に近づくと、徐々に強い触感を提示するようになり、現在の操作レイヤＯＰＬに対応する位置又は現在の操作レイヤＯＰＬに奥行き方向ＤＤに隣接するレイヤＬに対応する位置において、最も強い触感が提示される。
【００５７】
これにより、例えば、ユーザの手指の奥行き方向ＤＤの位置を、現在の操作レイヤＯＰＬに対応する位置から、隣接する操作レイヤＯＰＬに対応する位置に変位させると、触感あり→触感なし→触感ありと触感が変化する。故に、ユーザに対して、２つの位置の間の距離を実感させることができると共に、操作レイヤＯＰＬが切り替わったことを容易に認識させることができる。
【００５８】
なお、触感の提示ついての位置の判定は、レイヤ変更判定部位ＬＣＰを基準としてもよく、レイヤ変更判定部位ＬＣＰとは異なる指先等を基準としてもよい。また、触感の強さを徐々に変化させなくてもよく、触感を提示すべきと判定された場合に、一定の強さの触感を与えるようにしてもよい。
【００５９】
また、表示内容には、複数のレイヤＬの間を移動させること（所属レイヤＬを変更すること）が可能なオブジェクトが含まれている。例えばユーザが指先でこのオブジェクトをつまむジェスチャを行うと、表示操作部２３は、当該オブジェクトが属するレイヤＬを変更可能な状態とする。そして、ユーザが指先をつまんだ状態で指先を奥行き方向ＤＤに変位させると、表示操作部２３は、その変位に応じてオブジェクトが属するレイヤＬを変更する。
【００６０】
このオブジェクトがレイヤＬの間を移動する場合に、触感制御部２４は、触感提示装置１４に触感を提示させる。
【００６１】
また、表示内容生成部２１は、各レイヤＬに表示される内容の視認性を変更することが可能となっている。
【００６２】
この一例として、表示内容生成部２１は、複数のレイヤＬのうち、操作レイヤＯＰＬ以外のレイヤＬを、操作レイヤＯＰＬに対して視認性を低下させた態様で表示する。具体的に、本実施形態では、輝度の低下により視認性を低下させている。なお、視認性の低下は、レイヤＬの透過率の上昇、彩度の低下、輝度の低下、そのレイヤＬに属するオブジェクトの表示位置の画面周辺方向への移動、ぼかし、拡縮、及び歪みのうち１つまたは２以上の組み合わせにより実現可能である。
【００６３】
他の一例として、表示内容生成部２１は、ユーザの所定部位と、ジェスチャがなされる空間ＧＳにおける各レイヤＬに対応する位置との奥行き方向ＤＤにおける距離に応じて、視認性の低下度合を変える。低下度合が変わることによって、ユーザは容易に表示の距離感を認識することができる。このユーザの所定部位とは、例えば指先である。
【００６４】
以下、第１実施形態のユーザインタフェースシステム１００による処理、特に入力操作装置２０による処理を、図８のフローチャートを用いて以下に説明する。
【００６５】
まず、ステップＳ１０１では、入力操作装置２０は、初期設定を行なう。ここでは、操作レイヤＯＰＬのレイヤ変更が無効状態に初期設定される。ステップＳ１０１の処理後、ステップＳ１０２へ移る。
【００６６】
ステップＳ１０２では、ジェスチャ検出部２２は、撮像装置１１が撮影したユーザの手指の画像データに基づいて、手指の位置を取得する。ステップＳ１０２の処理後、ステップＳ１０３へ移る。
【００６７】
ステップＳ１０３では、ジェスチャ検出部２２は、上記画像データに基づいて、手指の形状を取得する。ステップＳ１０３の処理後、ステップＳ１０４へ移る。なお、ステップＳ１０２，１０３は、処理の順番を入れ替えてもよく、同時に処理されてもよい。
【００６８】
ステップＳ１０４では、表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャが、操作レイヤＯＰＬの変更を有効状態とする姿勢か否かを判定する。すなわち、ジェスチャ検出部２２が検出したジェスチャが状態切替用のジェスチャか否かを判定する。ステップＳ１０４にて肯定判定が下された場合、ステップＳ１０５へ移る。ステップＳ１０４にて否定判定が下された場合、ステップＳ１０６へ移る。
【００６９】
ステップＳ１０５では、表示操作部２３がレイヤ変更を有効状態にし、この状態でユーザのレイヤ変更判定部位ＬＣＰの位置に基づいて、操作レイヤＯＰＬを設定する。ステップＳ１０５の処理後、Ｓ１０６へ移る。
【００７０】
ステップＳ１０６では、表示操作部２３は、ユーザの所定部位（指先）の位置に基づいて、操作レイヤＯＰＬにおける操作座標を設定する。ステップＳ１０６の処理後、ステップＳ１０７へ移る。
【００７１】
ステップＳ１０７では、ジェスチャ検出部２２は、例えばオブジェクトを選択するジェスチャ等のユーザのジェスチャを検出する。ステップＳ１０７の処理後、ステップＳ１０８へ移る。
【００７２】
ステップＳ１０８では、ジェスチャ検出部２２は、検出したジェスチャが、表示を操作するジェスチャであるか否かを判定する。ステップＳ１０８にて肯定判定が下された場合、ステップＳ１０９へ移る。ステップＳ１０８にて否定判定が下された場合、ステップＳ１０９へ移る。
【００７３】
ステップＳ１０９では、表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャに応じた操作を実施する。ステップＳ１０９の処理後、ステップＳ１１０へ移る。
【００７４】
ステップＳ１１０では、入力操作装置２０は、表示を終了する指示が有るか否かを判定する。例えば、例えば車両１又はユーザインタフェースシステム１００に設けられた終了スイッチがユーザにより押下されたか否かを判定する。ステップＳ１１０にて肯定判定が下された場合、一連の処理を終了する。ステップＳ１１０にて否定判定が下された場合、ステップＳ１０２へ戻る。
【００７５】
（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。
【００７６】
第１実施形態の入力操作装置２０によると、操作レイヤＯＰＬの変更について、有効状態と無効状態とが切り替わる。こうした有効状態では、操作レイヤＯＰＬの変更が許可されているので、ユーザがジェスチャ等により、操作レイヤＯＰＬを変更することができる。一方、無効状態では、操作レイヤＯＰＬの変更が禁止されているので、たとえユーザがジェスチャ等をしたとしても、操作レイヤＯＰＬが変更されない。このように、ユーザが意図せずに操作レイヤＯＰＬが変更されてしまうことが抑制されるので、誤作動が発生し難くなる。こうした有効状態と無効状態との切り替えは、状態切替用の専用のジェスチャによって実施されるので、他のジェスチャによって誤って有効状態になることも抑制される。以上により、入力操作し易い入力操作装置２０を提供することができる。
【００７７】
また、第１実施形態によると、ユーザの状態切替判定部位ＭＳＰが特定の姿勢である状態切替用のジェスチャをしている間、操作レイヤＯＰＬの変更は、有効状態となる。このようにすると、ユーザが有効状態を維持するかどうかを、大げさな動きのあるジェスチャをしなくとも、適宜コントロールすることができるので、誤作動の発生を抑制しつつ、迅速な入力操作を可能とすることができる。
【００７８】
また、第１実施形態によると、有効状態において、ユーザのレイヤ変更判定部位ＬＣＰの奥行き方向ＤＤおける位置に応じて、操作レイヤＯＰＬが変更される。したがって、奥行き方向ＤＤに並ぶ複数のレイヤＬから、直感的に操作レイヤＯＰＬを設定することができるので、入力操作よりし易くすることができる。
【００７９】
また、仮にレイヤ変更判定部位ＬＣＰと状態切替判定部位ＭＳＰとを同じ部位とすると、ユーザの状態切替用のジェスチャの実施前後において、状態切替判定部位ＭＳＰが変位する可能性が高いので、有効状態と無効状態との切り替えの瞬間の前後に操作レイヤＯＰＬが変更されてしまう恐れがある。そこで第１実施形態によると、レイヤ変更判定部位ＬＣＰと、状態切替判定部位ＭＳＰとは、互いに異なるので、有効状態と無効状態との切り替えの瞬間の前後に、状態切替用のジェスチャの実施に伴って操作レイヤＯＰＬが変更されてしまう誤作動の発生を抑制することができる。
【００８０】
また、第１実施形態によると、レイヤ変更判定部位ＬＣＰと、入力操作における動きを伴うジェスチャに使用する部位とは、互いに異なる。このようにすると、有効状態において、動きを伴うジェスチャをした場合に、一緒に操作レイヤＯＰＬが変更されてしまう事態を抑制できるので、入力操作の間違いが少なくなり、円滑な入力操作を実現することができる。
【００８１】
また、第１実施形態によると、レイヤ変更判定部位ＬＣＰは、ユーザが動きを伴うジェスチャを行なったときに、状態切替判定部位ＭＳＰよりも、奥行き方向ＤＤの動きが少ない部位である。このようにすると、操作レイヤＯＰＬの変更の有効状態において、ユーザが動きを伴うジェスチャを実施しても、レイヤ変更判定部位ＬＣＰの奥行き方向ＤＤの位置は変位し難いので、動きを伴うジェスチャの実施に伴って操作レイヤＯＰＬが変更されてしまう誤作動の発生を抑制することができる。
【００８２】
また、第１実施形態によると、有効状態の場合に、ユーザに対して触感が提示される。こうした触感の提示により、ユーザが操作レイヤＯＰＬのレイヤ変更が有効状態であることを認識し易くすることができる。
【００８３】
また、第１実施形態によると、ジェスチャがなされる空間ＧＳのうち、現在の操作レイヤＯＰＬを含む一部のレイヤＬに対応した位置において、ユーザに対して触感が提示される。触感の提示が一部のレイヤＬに対応して行われるので、ユーザが入力操作において特に重要なレイヤＬを認識し易くなり、その重要なレイヤＬは現在の操作レイヤＯＰＬを含むので、ユーザが操作レイヤＯＰＬを間違えることが抑制されて、円滑な入力操作を実現することができる。
【００８４】
また、第１実施形態によると、ジェスチャがなされる空間ＧＳのうち、現在の操作レイヤＯＰＬ及びこれに奥行き方向ＤＤに隣接するレイヤＬに対応した位置において、ユーザに対して触感が提示される。こうした触感の提示では、ユーザが操作レイヤＯＰＬに近い位置で入力操作をしているかどうかを容易に認識することができ、また、隣接するレイヤＬと操作レイヤＯＰＬとの間の距離感を容易に認識することができる。さらには、操作レイヤＯＰＬを変更するとき等の隣接するレイヤＬと操作レイヤＯＰＬとの間の行き来において、触感が提示されるので、操作レイヤＯＰＬが変更されることを容易に認識することができる。したがって、入力操作の間違いが抑制されて、円滑な入力操作を実現することができる。
【００８５】
また、第１実施形態によると、オブジェクトが複数のレイヤＬの間を移動する場合に、ユーザに対して触感が提示される。故に、ユーザがオブジェクトの移動を実感することができるので、オブジェクトが属するレイヤＬの認識誤りによる入力操作の間違いが抑制されて、円滑な入力操作を実現することができる。
【００８６】
また、第１実施形態によると、複数のレイヤＬのうち操作レイヤＯＰＬ以外のレイヤＬは、操作レイヤＯＰＬに対して視認性を低下させた態様にて表示される。故に、ユーザは現在の操作レイヤＯＰＬがどのレイヤＬであるか認識できるので、入力操作の間違いが抑制されて、円滑な入力操作を実現することができる。
【００８７】
また、ユーザの所定部位と、ジェスチャがなされる空間ＧＳにおける各レイヤＬに対応する位置との奥行き方向ＤＤにおける距離に応じて、視認性の低下度合を変わる。故に、ユーザは、所定部位に対する各レイヤＬの距離感を容易に認識することができるので、円滑な入力操作を実現することができる。
【００８８】
また、第１実施形態のユーザインタフェースシステム１００によると、操作レイヤＯＰＬの変更について、有効状態と無効状態とが切り替わる。こうした有効状態では、操作レイヤＯＰＬの変更が許可されているので、ユーザがジェスチャ等により、操作レイヤＯＰＬを変更することができる。一方、無効状態では、操作レイヤＯＰＬの変更が禁止されているので、たとえユーザがジェスチャ等をしたとしても、操作レイヤＯＰＬが変更されない。このように、ユーザが意図せずに操作レイヤＯＰＬが変更されてしまうことが抑制されるので、誤作動が発生し難くなる。こうした有効状態と無効状態との切り替えは、状態切替用の専用のジェスチャによって実施されるので、他のジェスチャによって誤って有効状態になることも抑制される。
【００８９】
故に、表示内容に奥行き方向ＤＤに並ぶ複数のレイヤＬが含まれるような複雑な表示を、表示装置１５が表示したとしても、こうした表示に対して入力操作し易いユーザインタフェースシステム１００を提供することができる。
【００９０】
また、第１実施形態によると、表示装置１５は、表示よりも奥側の風景３を透過してユーザに視認させることが可能に形成されている。このようにすると、風景３と対応した位置を指定する入力操作等において、直感的な入力操作を実現することができるので、入力操作のし易さを格別なものとすることができる。
【００９１】
また、第１実施形態によると、レイヤＬは、風景３と重畳する表示により現実を拡張する拡張現実レイヤＬａ，Ｌｂと、拡張現実レイヤＬａ，Ｌｂよりも手前側に配置され、風景３とは独立した情報を表示する独立情報レイヤＬ０と、を含む。拡張現実レイヤＬａ，Ｌｂよりも風景３との関連性が低い独立情報レイヤＬ０が、より手前側に配置されることによって、ユーザは、各レイヤＬａ，Ｌｂ，Ｌ０と風景３との関連性を容易に認識することができるので、入力操作の間違いが抑制されて、直感的かつ円滑な入力操作を実現することができる。
【００９２】
（第２実施形態）
図９に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。
【００９３】
第２実施形態において、状態切替用のジェスチャは、ユーザの状態切替判定部位ＭＳＰが特定の動きを伴うジェスチャである。そして、状態切替用ジェスチャをする毎に、操作レイヤＯＰＬの変更についての有効状態と無効状態とが切り替わる。本実施形態において、ユーザの状態切替判定部位ＭＳＰとは、手の甲及び手の指であって、ユーザの状態切替判定部位ＭＳＰが特定の姿勢であるジェスチャとは、手を振る動作である。なお、ジェスチャの他の例としては、手を回す動作、手で何かを掴む動作、指先ではじく動作等が採用され得る。
【００９４】
ここで、本実施形態では、操作レイヤＯＰＬのレイヤ変更を有効化するジェスチャと、無効化するジェスチャとを、同じジェスチャとしたが、互いに異なるジェスチャとすることもできる。
【００９５】
また、レイヤ変更判定部位ＬＣＰは、第１実施形態と同様に手首に設定されている。
【００９６】
以下、第２実施形態のユーザインタフェースシステム１００による処理、特に入力操作装置２０による処理を、図１１のフローチャートを用いて以下に説明する。
【００９７】
まず、ステップＳ２０１では、入力操作装置２０は、初期設定を行なう。ここでは、操作レイヤＯＰＬのレイヤ変更が有効状態又は無効状態に初期設定される。ステップＳ２０１の処理後、ステップＳ２０２へ移る。
【００９８】
ステップＳ２０２では、ジェスチャ検出部２２は、撮像装置１１が撮影したユーザの手指の画像データに基づいて、手指の位置を取得する。ステップＳ２０２の処理後、ステップＳ２０３へ移る。
【００９９】
ステップＳ２０３では、ジェスチャ検出部２２が検出したジェスチャを取得する。ステップＳ２０３の処理後、ステップＳ２０４へ移る。なお、ステップＳ２０２，２０３は、処理の順番を入れ替えてもよく、同時に処理されてもよい。
【０１００】
ステップＳ２０４では、表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャが、状態切替用のジェスチャであるか否か判定する。ここで否定判定が下された場合（すなわち図８の「なし」の場合）、ステップＳ２０７へ移る。
【０１０１】
ここで、操作レイヤＯＰＬのレイヤ変更を有効化するジェスチャと、無効化するジェスチャとが同じジェスチャに設定されている場合では、肯定判定が下されたと、さらに表示操作部２３は、操作レイヤＯＰＬの変更について、現在、有効状態であるか否かを判定する。ここで否定判定が下された場合、状態を無効状態から有効化するため、ステップＳ２０５へ移る。ここで肯定判定が下された場合、状態を有効状態から無効化するため、ステップＳ２０６へ移る。
【０１０２】
一方、操作レイヤＯＰＬのレイヤ変更を有効化するジェスチャと、無効化するジェスチャとが異なるジェスチャに設定されている場合では、ステップＳ２０４において、表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャが、有効化するジェスチャか無効化するジェスチャか、あるいはそれ以外のジェスチャかを判定する。有効化するジェスチャの判定が下された場合、ステップＳ２０５へ移る。無効化するジェスチャの判定が下された場合、ステップＳ２０６へ移る。それ以外のジェスチャの判定が下された場合、ステップＳ２０７へ移る。
【０１０３】
ステップＳ２０５では、表示操作部２３は、操作レイヤＯＰＬの変更について、無効状態から有効状態へと切り替える。ステップＳ２０５の処理後、ステップＳ２０７へ移る。
【０１０４】
ステップＳ２０６では、表示操作部２３は、操作レイヤＯＰＬの変更について、有効状態から無効状態へと切り替える。ステップＳ２０６の処理後、ステップＳ２０７へ移る。
【０１０５】
ステップＳ２０７では、現在、操作レイヤＯＰＬの変更が有効状態であるか否かを判定する。肯定判定が下された場合、ステップＳ２０８へ移る。否定判定が下された場合、ステップＳ２０９へ移る。
【０１０６】
ステップＳ２０８では、表示操作部２３は、ユーザのレイヤ変更判定部位ＬＣＰの位置に基づいて、操作レイヤＯＰＬを設定する。ステップＳ２０８の処理後、ステップＳ２０９へ移る。
【０１０７】
ステップＳ２０９では、表示操作部２３は、ユーザの所定部位（指先）の位置に基づいて、操作レイヤＯＰＬにおける操作座標を設定する。ステップＳ２０９の処理後、ステップＳ２１０へ移る。
【０１０８】
ステップＳ２１０では、ジェスチャ検出部２２は、例えばオブジェクトを選択するジェスチャ等のユーザのジェスチャを検出する。ステップＳ２１０の処理後、ステップＳ２１１へ移る。
【０１０９】
ステップＳ２１１では、ジェスチャ検出部２２は、検出したジェスチャが、表示を操作するジェスチャであるか否かを判定する。ステップＳ２１１にて肯定判定が下された場合、ステップＳ２１２へ移る。ステップＳ２１１にて否定判定が下された場合、ステップＳ２１３へ移る。
【０１１０】
ステップＳ２１２では、表示操作部２３は、ジェスチャ検出部２２が検出したジェスチャに応じた操作を実施する。ステップＳ２１２の処理後、ステップＳ２１３へ移る。
【０１１１】
ステップＳ２１３では、入力操作装置２０は、表示を終了する指示が有るか否かを判定する。例えば、例えばユーザにより終了スイッチが押下されたか否かを判定する。ステップＳ２１３にて肯定判定が下された場合、一連の処理を終了する。ステップＳ２１３にて否定判定が下された場合、ステップＳ２０２へ戻る。
【０１１２】
以上説明した第２実施形態によると、ユーザの状態切替判定部位ＭＳＰが特定の動きを伴う状態切替用のジェスチャをすると、有効状態と無効状態とが切り替わる。切り替えのために、ユーザが能動的に動きを伴うジェスチャを実施する必要があるため、間違って切り替えをしてしまうことは抑制される。故に、入力操作の間違いが抑制されて、円滑な入力操作を実現することができる。
【０１１３】
（比較例との対比）
ここで、レイヤ変更判定部位ＬＣＰを第１，２実施形態のように設定したことによる効果をより明確にするために、図１０に示す比較例と、図１１に示す第２実施形態に準じた操作レイヤ設定例とを対比する。
【０１１４】
図１０の比較例では、レイヤ変更判定部位ＬＣＰと入力操作における動きを伴うジェスチャに使用する部位とは、両方とも人差し指の指先に設定されている。この例では、有効状態にてユーザが入力操作においてレイヤＬａ上の座標を指定しようとして、（ａ）に示された拳を握った状態から、（ｂ）人差し指を伸ばした状態にするだけで、レイヤ変更判定部位ＬＣＰの奥行き方向ＤＤの位置が変位し、操作レイヤＯＰＬがレイヤＬａからレイヤＬｂに意図せずに変更されてしまう。
【０１１５】
一方、図１１の例では、レイヤ変更判定部位ＬＣＰが手首に設定され、入力操作における動きを伴うジェスチャに使用する部位は、人差し指の指先に設定されている。この例では、有効状態にてユーザが入力操作においてレイヤＬａ上の座標を指定しようとして、（ａ）に示された拳を握った状態から、（ｂ）人差し指を伸ばした状態にしても、レイヤ変更判定部位ＬＣＰの奥行き方向ＤＤの位置は変位せず、操作レイヤＯＰＬがレイヤＬａからレイヤＬｂに意図せずに変更されることも抑制される。
【０１１６】
（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【０１１７】
具体的に変形例１としては、カメラを備える撮像装置１１に代えて、センサ装置を設け、当該センサ装置によってジェスチャを検出可能としてもよい。例えばサーモグラフィーによって、ユーザのジェスチャを検出することができる。
【０１１８】
変形例２としては、入力操作装置２０自体に、撮像装置１１、表示装置１５等が組み込まれて一体化されていてもよい。
【０１１９】
変形例３としては、入力操作装置２０自体が、複数に分離していてもよい。例えば、表示内容生成部２１と、ジェスチャ検出部２２とを、個別の部品に分離することもできる。
【０１２０】
第１実施形態に関する変形例４としては、状態切替部２３ａは、ユーザの状態切替判定部位ＭＳＰが特定の姿勢である状態切替用のジェスチャをしている間、操作レイヤＯＰＬのレイヤ変更を無効状態としてもよい。このようにしても、入力操作のし易さを改善することができる。
【０１２１】
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【符号の説明】
【０１２２】
１００  ユーザインタフェースシステム、１５  表示装置、２０  入力操作装置、２１  表示内容生成部、２２  ジェスチャ検出部、２３  表示操作部、２３ａ  状態切替部、２３ｂ  操作レイヤ変更部、ＤＤ  奥行き方向、Ｌ  レイヤ、ＯＰＬ  操作レイヤ
【図１】
2020071641.tif 000003
【図２】
2020071641.tif 000004
【図３】
2020071641.tif 000005
【図４】
2020071641.tif 000006
【図５】
2020071641.tif 000007
【図６】
2020071641.tif 000008
【図７】
2020071641.tif 000009
【図８】
2020071641.tif 000010
【図９】
2020071641.tif 000011
【図１０】
2020071641.tif 000012
【図１１】
2020071641.tif 000013