(57)【要約】【課題】ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。【解決手段】予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる色の光を照射する複数の光源１６と、複数のジェスチャ領域を撮影するジェスチャ操作検出用カメラ１４と、撮影結果からジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出するジェスチャ操作ＥＣＵ１２を備え、ジェスチャ操作ＥＣＵ１２が、ジェスチャ領域それぞれに各々異なる色の光を照射するように光源１６を制御すると共に、検出されたジェスチャ領域に対応する操作対象機器２２に対して、検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する。【選択図】図２
2014153954.tif 000002
【特許請求の範囲】
【請求項１】
予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化を付与する付与手段と、
前記複数のジェスチャ領域を撮影する撮影手段と、
前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、
前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、
を備えたジェスチャ操作装置。
【請求項２】
前記制御手段は、前記検出手段によって検出されたジェスチャ領域のみに前記環境変化を付与するように、前記付与手段を更に制御する請求項１に記載のジェスチャ操作装置。
【請求項３】
前記付与手段は、前記環境変化として光を照射する場合に、前記ジェスチャ領域毎に異なる色の光を照射する請求項１又は請求項２に記載のジェスチャ操作装置。
【請求項４】
前記付与手段は、前記環境変化として熱を供給する場合に、前記ジェスチャ領域毎に異なる温度の熱を供給する請求項１又は請求項２に記載のジェスチャ操作装置。
【請求項５】
前記付与手段は、前記環境変化として風を供給する場合に、前記ジェスチャ領域毎に異なる強さの風を供給する請求項１〜４の何れか１項に記載のジェスチャ操作装置。
【請求項６】
予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域のうち、ジェスチャ操作されたジェスチャ領域を表す情報を前方注視中の乗員の視界内に表示する表示手段と、
前記複数のジェスチャ領域を撮影する撮影手段と、
前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、
前記検出手段によって検出されたジェスチャ領域を表す情報を表示するように前記表示手段を制御すると共に、前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、
を備えたジェスチャ操作装置。
【請求項７】
コンピュータを、請求項１〜６の何れか１項に記載のジェスチャ操作装置の前記検出手段及び前記制御手段として機能させるためのジェスチャ操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによって種々の機器（例えば、車載器）を操作するジェスチャ操作装置及びジェスチャ操作プログラムに関する。
【背景技術】
【０００２】
ジェスチャによって操作を行う技術としては、例えば、特許文献１に記載の技術が提案されている。
【０００３】
特許文献１には、ステレオカメラによりユーザの画像を撮像するユーザ撮像手段と、ユーザのジェスチャを検出するジェスチャ検出手段と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段と、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、選択ジェスチャで選択された制御機器とユーザの視線の方向にある制御機器とが一致する場合に制御機器を選択する制御機器選択手段と、選択された制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段とを備えた制御機器操作ジェスチャ認識装置（ＰＣ）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、選択された制御機器が意図する制御機器であるか否かを確認するためには、表示部等に表示する必要があるが、表示部に表示したのでは、確認するために、表示部を注視する必要があり、車載機器へ適用するためには改善の余地がある。
【０００６】
本発明は、上記事実を考慮して成されたもので、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１に記載のジェスチャ操作装置は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化を付与する付与手段と、前記複数のジェスチャ領域を撮影する撮影手段と、前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、を備えている。
【０００８】
請求項１に記載の発明によれば、付与手段では、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化が付与される。付与手段は、例えば、請求項２に記載の発明のように、環境変化として光を照射する場合に、ジェスチャ領域毎に異なる色の光を照射するようにしてもよいし、請求項３に記載の発明のように、環境変化として熱を供給する場合に、ジェスチャ領域毎に異なる温度の熱を供給するようにしてもよいし、請求項４に記載の発明のように、環境変化として風を供給する場合に、ジェスチャ領域毎に異なる強さの風を供給するようにしてもよい。
【０００９】
また、撮影手段では、複数のジェスチャ領域が撮影され、検出手段では、撮影手段の撮影結果から、ジェスチャ操作が検出されると共に当該ジェスチャ操作されたジェスチャ領域が検出される。
【００１０】
そして、制御手段では、検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御される。
【００１１】
すなわち、操作対象機器に対応して設けたジェスチャ領域に光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化が付与されるので、付与された環境変化を確認することにより、意図する操作対象機器であるかを確認することができる。従って、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することができる。
【００１２】
例えば、請求項３に記載の発明のように、ジェスチャ領域毎に異なる色の光を照射する場合には、光の色をちら見、或いは前方注視の視界内で確認すればよいので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。
【００１３】
また、請求項４に記載の発明のように、ジェスチャ領域毎に異なる温度の熱を供給する場合には、温度の違いで操作対象機器を認識することができるので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。
【００１４】
さらに、請求項５に記載の発明のように、ジェスチャ領域毎に異なる強さの風を供給する場合には、風の強さで操作対象機器を認識することができるので、操作対象機器が意図する機器であるか容易且つ安全に確認することができる。
【００１５】
なお、制御手段は、請求項２に記載の発明のように、検出手段によって検出されたジェスチャ領域のみに環境変化を付与するように、付与手段を更に制御するようにしてもよい。
【００１６】
請求項６に記載のジェスチャ操作装置は、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域のうち、ジェスチャ操作されたジェスチャ領域を表す情報を前方注視中の乗員の視界内に表示する表示手段と、前記複数のジェスチャ領域を撮影する撮影手段と、前記撮影手段の撮影結果から、ジェスチャ操作を検出する共に当該ジェスチャ操作されたジェスチャ領域を検出する検出手段と、前記検出手段によって検出されたジェスチャ領域を表す情報を表示するように前記表示手段を制御すると共に、前記検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、前記検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御する制御手段と、を備えている。
【００１７】
請求項６に記載の発明は、表示手段では、予め定めた複数の操作対象機器に対応して設けられた複数のジェスチャ領域のうち、ジェスチャ操作されたジェスチャ領域を表す情報が前方注視中の乗員の視界内に表示される。表示手段は、例えば、フロントウインドガラスに画像を投影する、所謂ヘッドアップディスプレイを適用することができる。
【００１８】
また、撮影手段では、複数のジェスチャ領域が撮影され、検出手段では、撮影手段の撮影結果から、ジェスチャ操作が検出される共に当該ジェスチャ操作されたジェスチャ領域が検出される。
【００１９】
そして、制御手段では、検出手段によって検出されたジェスチャ領域を表す情報を表示するように表示手段が制御されると共に、検出手段によって検出されたジェスチャ領域に対応する操作対象機器に対して、検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように制御される。
【００２０】
すなわち、前方注視中の乗員の視界内に操作対象機器を表す情報が表示されるので、前方注視中の視界内で表示を確認するだけで、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することができる。
【００２１】
なお、本発明は、請求項７に記載の発明のように、コンピュータを、請求項１〜６の何れか１項に記載のジェスチャ操作装置の前記検出手段及び前記制御手段として機能させるためのジェスチャ操作プログラムとしてもよい。
【発明の効果】
【００２２】
以上説明したように本発明によれば、ジェスチャ操作する操作対象機器が意図する機器であるかを安全かつ容易に確認することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することができる、という効果がある。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図である。
【図２】本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。
【図３】（Ａ）はジェスチャ操作領域に手を伸ばしたところを示す図であり、（Ｂ）は操作対象機器を表す色の光が乗員の手に投影されたところを示す図である。
【図４】本発明の第１実施形態に係るジェスチャ操作装置におけるジェスチャ操作ＥＣＵのＲＯＭに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。
【図５】本発明の第２実施形態に係るジェスチャ操作装置におけるジェスチャ操作ＥＣＵのＲＯＭに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。
【図６】本発明の第３実施形態に係るジェスチャ操作装置の構成を示すブロック図である。
【図７】本発明の第３実施形態に係るジェスチャ操作装置におけるジェスチャ操作の流れを説明するための図である。
【図８】本発明の第３実施形態に係るジェスチャ操作装置におけるジェスチャ操作ＥＣＵのＲＯＭに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図であり、図２は、本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。
【００２５】
本実施形態に係るジェスチャ操作装置１０は、ジェスチャ操作によって自動車に搭載された各種機器を操作するものである。ジェスチャ操作装置１０のジェスチャ操作の操作対象機器２２としては、例えば、ディスプレイ２２Ａや、インストルメントパネルに設けられたインパネスイッチ（例えば、ヒータコントローラ、ミラースイッチ、エアコンスイッチ、オーディオの操作スイッチ等の各種スイッチ）２２Ｂを適用することができる。
【００２６】
ジェスチャ操作装置１０は、乗員（運転者）のジェスチャ操作を検出するためのジェスチャ操作検出用カメラ１４を備えている。
【００２７】
ジェスチャ操作検出用カメラ１４は、ジェスチャ操作を検出すると共に、手の位置を検出するために、ステレオカメラによって撮影が行われる。ジェスチャ操作検出用カメラ１４は、例えば、図１に示すように、ルームミラーのベース部分に設けられ、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影するように、車両のルーフ側から下方向に向けて配置されている。なお、ジェスチャ操作検出用カメラ１４は、本実施形態では、ステレオカメラを適用して３次元撮影が可能なものを適用するが、これに限るものではなく、例えば、単眼カメラと距離センサ等を併用して、ジェスチャ操作及び手の位置を検出するようにしてもよい。また、ジェスチャ操作の検出や視線検出は、周知の各種技術を適用して検出することができる。
【００２８】
また、本実施形態では、ジェスチャ操作検出用カメラ１４の近傍に、複数の光源（図１では３つの光源）１６が設けられており、ジェスチャ操作する手の方向に光が照射可能とされている。光源１６は、ジェスチャ操作対象機器２２を表す情報を報知するためのものであり、操作対象機器２２毎に異なる種類の光を照射するようになっている。具体的には、複数の光源１６からそれぞれ異なる色の光をそれぞれ異なる領域（ジェスチャ操作領域）に照射するようになっており、操作対象機器２２毎に定めたジェスチャ操作の領域毎に異なる色の光を照射する。これにより、ジェスチャ操作する手に照射された光の色をちら見或いは前方注視の視界内で確認することで、決定した操作対象機器２２を確認することができる。
【００２９】
ジェスチャ操作装置１０は、ジェスチャ操作ＥＣＵ（Electronic Control Unit）１２を備えており、乗員のジェスチャ操作に応じてジェスチャ操作ＥＣＵ１２が操作対象機器２２の操作を制御するようになっている。
【００３０】
ジェスチャ操作ＥＣＵ１２は、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ、及びＩ／Ｏ（入出力インターフェース）１２Ｄがバス１２Ｅに接続されたマイクロコンピュータで構成されている。
【００３１】
Ｉ／Ｏ１２Ｄには、ジェスチャ操作検出用カメラ１４、光源ドライバ１８、及び複数の操作対象機器２２（２２Ａ、２２Ｂ・・・）が接続されている。
【００３２】
ジェスチャ操作検出用カメラ１４は、上述したように、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影し、撮影結果をジェスチャ操作ＥＣＵ１２に出力する。これにより、ジェスチャ操作ＥＣＵ１２が、撮影結果から乗員の手の位置を検出すると共に、予め定めたジェスチャ操作を検出する。ジェスチャ操作としては、操作内容毎にジェスチャ操作を予め定めて記憶しておくことにより、対応するジェスチャ操作をパターンマッチング等によって検出する。なお、ジェスチャ操作としては、例えば、手振りや、サイン、手形状など手で行うことができる動作全般とすることができる。
【００３３】
光源ドライバ１８は、上述の光源１６が接続されており、ジェスチャ操作ＥＣＵ１２の指示に従って光源１６の点灯を制御するようになっている。本実施形態では、操作対象機器２２毎にジェスチャ操作領域を予め定めて、各ジェスチャ操作領域にそれぞれ異なる色の光を光源１６から照射する。なお、本実施形態では、一例として光の色によって操作対象機器２２を表す情報を報知するが、光の色ではなく、点灯や点滅、点滅の早さ、或いは、光の強さ等によって光を種類を異ならせて、操作対象機器２２を表す情報を報知するようにしてもよい。
【００３４】
本実施形態では、ジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂにジェスチャ操作用プログラムや、操作対象機器２２毎に予め定めたジェスチャ操作領域の位置等が予め記憶されており、ＲＯＭ１２Ｂに記憶されたジェスチャ操作用プログラムをＲＡＭ１２Ｃに展開してＣＰＵ１２Ａが実行することにより、ジェスチャ操作に対応する動作を行うように操作対象機器２２を制御する。具体的には、操作対象機器２２毎にジェスチャ操作領域を予め定めて、ジェスチャ操作された領域（乗員の手が検出された領域）を検出することにより、検出したジェスチャ操作領域に対応する操作対象機器２２を操作対象に決定して、決定した操作対象機器２２に対応して、ジェスチャ操作に対応する操作を行うように制御する。
【００３５】
本実施形態では、図３（Ａ）に示すように、乗員がジェスチャ操作領域に手を伸ばすと、操作対象機器２２毎に予め定めた領域にそれぞれ異なる色の光が照射され、図３（Ｂ）に示すように、乗員の手には、操作対象機器２２を表す色の光が投影されることになる。従って、乗員は手に投影された光の色をちら見、或いは前方注視の視界内で確認することにより、ジェスチャ操作しようとしている操作対象機器２２が意図する機器であるかを容易かつ安全に確認することができる。
【００３６】
そして、手に照射された光の色が意図する操作対象機器２２を表す色である場合には、ジェスチャ操作を行って、これをジェスチャ操作検出用カメラ１４で撮影してジェスチャ操作ＥＣＵ１２がジェスチャ操作を検出することにより、ジェスチャ操作に対応する操作を行うように操作対象機器２２を制御する。一方、手に照射された光の色が意図する操作対象機器２２を表す色でない場合には、意図する操作対象機器２２を表す色が手に照射されるジェスチャ操作領域へ手を移動してジェスチャ操作を行えばよい。
【００３７】
続いて、上述のように構成された本発明の第１実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図４は、本発明の第１実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図４の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。
【００３８】
ステップ１００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めたジェスチャ操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ１０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。
【００３９】
ステップ１０２では、光源１６から光が照射されてステップ１０４へ移行する。本実施形態では、操作対象機器２２毎に予め定めたジェスチャ操作領域の各々にそれぞれ異なる色の光を光源１６から照射する。すなわち、乗員の手には、操作対象機器２２を表す色の光が投影されるので、手に投影された光の色をちら見、或いは前方注視の視界内で確認することにより、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。このとき、意図した操作対象機器２２を表す色の光が手に投影されていない場合には、意図した操作対象機器２２が表す色の光が投影されるジェスチャ操作領域に手を移動すればよい。
【００４０】
ステップ１０４では、ジェスチャ操作領域が検出されてステップ１０６へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。
【００４１】
ステップ１０６では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ１０８へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象に決定する。
【００４２】
ステップ１０８では、ジェスチャ操作が検出されてステップ１１０へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。
【００４３】
ステップ１１０では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ１０８において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ１１２へ移行し、否定された場合には、ステップ１１４へ移行する。
【００４４】
ステップ１１２では、ステップ１０６で決定した操作対象機器２２に対してステップ１０８で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。
【００４５】
また、ステップ１１４では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
【００４６】
このように、本実施形態では、ジェスチャ操作する手に投影された光をちら見、或いは前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。
（第２実施形態）
続いて、第２実施形態に係るジェスチャ操作装置について説明する。なお、第２実施形態は第１実施形態の変形例であり、基本的な構成は第１実施形態と同一であるため、詳細な説明を省略し、差異のみを説明する。
【００４７】
第１実施形態では、それぞれ異なる種類の光を複数の光源１６の各々から各ジェスチャ操作領域に照射するようにしたが、本実施形態では、手を検出したジェスチャ操作領域を検出してジェスチャ操作の操作対象機器２２が決定されたところで、決定した操作対象機器２２に対応する光源１６のみを点灯するように制御するものである。すなわち、操作対象機器２２以外に対応するジェスチャ操作領域に光を照射する光源１６は点灯しないようになっている。
【００４８】
本実施形態では、ジェスチャ操作ＥＣＵ１２が、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手を検出することでジェスチャ操作領域を検出して検出した領域に対応する操作対象機器２２に応じた光を光源１６から照射するように光源ドライバ１８を制御することにより、操作対象機器２２に応じて予め定めた光を光源１６から照射して乗員の手に光を投影する。これにより、第１実施形態と同様に、手に投影された光をちら見、或いは前方注視の視界内で確認することによって操作対象機器２２が意図する操作対象機器２２であるか否かを容易且つ安全に確認することができる。
【００４９】
具体的には、乗員がジェスチャ操作の領域に手を伸ばし、これをジェスチャ操作検出用カメラ１４で撮影して、ジェスチャ操作ＥＣＵ１２が乗員の手の位置からジェスチャ操作領域を検出する。ジェスチャ操作領域は、操作対象機器２２毎に予め定められているので、検出したジェスチャ操作領域から操作対象機器２２を決定することができる。そして、このとき、ジェスチャ操作領域に対応する操作対象機器２２を表す色の光を、ジェスチャ操作する手に照射するように光源１６を制御する。これにより、乗員は、手に照射された光の色をちら見、或いは前方注視の視界内で確認することにより、ジェスチャ操作しようとしている操作対象機器２２が意図する機器であるかを容易且つ安全に確認することができる。
【００５０】
また、手に照射された光の色が意図する操作対象機器２２を表す色である場合には、第１実施形態と同様に、ジェスチャ操作を行って、これをジェスチャ操作検出用カメラ１４で撮影してジェスチャ操作ＥＣＵ１２がジェスチャ操作を検出することにより、ジェスチャ操作に対応する操作を行うように操作対象機器２２を制御する。
【００５１】
一方、手に照射された光の色が意図する操作対象機器２２を表す色でない場合には、意図する操作対象機器２２を表す色の光が照射されるようにジェスチャ操作領域を移動すればよい。
【００５２】
続いて、上述のように構成された本発明の第２実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図５は、本発明の第２実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図５の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。
【００５３】
ステップ２００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めた操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ２０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。
【００５４】
ステップ２０２では、手を検出したジェスチャ操作領域が検出されてステップ２０４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。
【００５５】
ステップ２０４では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ２０６へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象として決定する。
【００５６】
ステップ２０６では、決定した操作対象機器２２に対応する光が光源１６から乗員のジェスチャ操作する手に照射されてステップ２０８へ移行する。このように決定した操作対象機器２２を表す色の光が乗員の手に照射されるので、手に照射された光をちら見、或いは前方注視の視野内で確認することで、意図する操作対象機器２２であるかを容易且つ安全に確認することができる。
【００５７】
ステップ２０８では、操作領域が変更されたか否か判定される。該判定は、乗員の手の位置が他のジェスチャ操作領域に変更されたか否かを撮影結果から判定し、該判定が肯定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が否定された場合にはステップ２１０へ移行する。
【００５８】
ステップ２１０では、ジェスチャ操作が検出されてステップ２１２へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。
【００５９】
ステップ２１２では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ２１０において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ２１４へ移行し、否定された場合には、ステップ２１６へ移行する。
【００６０】
ステップ２１４では、ステップ２０４で決定した操作対象機器２２に対してステップ２１０で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。
【００６１】
また、ステップ２１６では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
【００６２】
このようにしても、第１実施形態と同様に、ジェスチャ操作する手に投影された光をちら見、或いは前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。
【００６３】
なお、第１実施形態及び第２実施形態では、ジェスチャ操作領域毎に異なる色の光を照射する例を説明したが、光の照射以外の環境変化をジェスチャ操作領域に付与するようにしてもよい。例えば、ジェスチャ領域毎にそれぞれ異なる種類の光の照射、風の供給、及び熱の供給の少なくとも１つの環境変化を付与するようにしてもよい。ジェスチャ操作領域毎に異なる種類の風を供給する場合には、例えば、各ジェスチャ操作領域へ供給する送風口を設けて、各送風口の大きさを変えるなどしてジェスチャ操作領域毎に異なる強さの風を供給するようにしてもよい。また、ジェスチャ操作領域毎に異なる種類の熱を供給する場合には、例えば、ジェスチャ操作領域毎に異なる温度の熱を供給するためのヒータや送風口等を設けて、ジェスチャ操作領域毎に異なる温度の熱を供給するようにしてもよい。
（第３実施形態）
続いて、本発明の第３実施形態に係るジェスチャ操作装置について説明する。図６は、本発明の第３実施形態に係るジェスチャ操作装置の構成を示すブロック図である。なお、第１及び第２実施形態と同一構成については同一符号を付して詳細な説明を省略する。
【００６４】
第１及び第２実施形態では、光源１６から照射する光の色によって操作対象機器２２を表す情報を報知するようにしたが、本実施形態のジェスチャ操作装置１１では、光源１６の代わりに、フロントウインドガラス等に画像を投影する投影部を有して当該投影部に画像を投影する、所謂ヘッドアップディスプレイ２０を用いて、決定した操作対象機器２２を表す情報を表示する。
【００６５】
すなわち、第１及び第２実施形態の光源ドライバ１８の代わりに、図６に示すように、ジェスチャ操作ＥＣＵ１２のＩ／Ｏ１２Ｄにディスプレイドライバ２４が接続されている。その他の構成については、第１及び第２実施形態と共通とされている。
【００６６】
ヘッドアップディスプレイ２０に表示する決定した操作対象機器２２を表す情報としては、第１実施形態や第２実施形態のように操作対象機器２２毎に予め定めた色を表示するようにしてもよいし、操作対象機器２２毎に予め定めた図形を表示するようにしてもよいし、操作対象機器２２を表すテキストを表示するようにしてもよい。本実施形態では、ヘッドアップディスプレイ２０に表示するので、脇見運転になることなく、決定した操作対象機器２２が意図する機器であるかを安全かつ容易に確認することができる。
【００６７】
本実施形態では、第２実施形態と類似する制御を行う。すなわち、図７に示すように、ジェスチャ操作検出用カメラ１４によってジェスチャ操作領域を撮影して、乗員の手が存在するジェスチャ操作領域を撮影画像から検出することによって操作対象機器２２を決定し、決定した操作対象機器２２を表す情報をヘッドアップディスプレイ２０に表示するように制御するようになっている。そして、意図する操作対象機器２２である場合には、ジェスチャ操作を当該ジェスチャ操作領域で行うことにより、対応する操作対象機器２２に対してジェスチャ操作に対応する操作を行うようにジェスチャ操作ＥＣＵ１２が制御する。
【００６８】
続いて、本発明の第３実施形態に係るジェスチャ操作装置１１で行われる具体的な処理例について説明する。図８は、本発明の第３実施形態に係るジェスチャ操作装置１１におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図８の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。また、第２実施形態と同一処理については同一符号を付して説明する。
【００６９】
ステップ２００では、ジェスチャ操作領域に手が伸ばされたか否か判定される。該判定は、ジェスチャ操作検出用カメラ１４の撮影結果に基づいて、操作対象機器２２毎に予め定めた操作領域に乗員の手を検出したか否かを検出し、該判定が肯定された場合にはステップ２０２へ移行し、否定された場合には一連の処理がリターンされて始めから処理が行われる。
【００７０】
ステップ２０２では、手を検出したジェスチャ操作領域が検出されてステップ２０４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置を検出することにより、ジェスチャ操作領域を検出する。
【００７１】
ステップ２０４では、ジェスチャ操作領域に対応する操作対象機器２２が決定されてステップ２０５へ移行する。すなわち、操作対象機器２２毎に予め定めたジェスチャ操作領域の何れに乗員の手が存在するかを特定することにより、手が存在するジェスチャ操作領域に対応する操作対象機器２２を操作対象として決定する。
【００７２】
ステップ２０５では、決定した操作対象機器２２を表す情報がヘッドアップディスプレイ２０に表示されてステップ２０８へ移行する。このように決定した操作対象機器２２を表す情報がヘッドアップディスプレイ２０に表示されるので、これを前方注視の視界内で確認することにより、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。
【００７３】
ステップ２０８では、操作領域が変更されたか否か判定される。該判定は、乗員の手の位置が他のジェスチャ操作領域に変更されたか否かを撮影結果から判定し、該判定が肯定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が否定された場合にはステップ２１０へ移行する。
【００７４】
ステップ２１０では、ジェスチャ操作が検出されてステップ２１２へ移行する。すなわち、ジェスチャ操作検出用カメラ１４の撮影結果からジェスチャ操作を検出する。
【００７５】
ステップ２１２では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ２１０において検出したジェスチャ操作が、予め定めたジェスチャ操作であるか否かを判定し、該判定が肯定された場合にはステップ２１４へ移行し、否定された場合には、ステップ２１６へ移行する。
【００７６】
ステップ２１４では、ステップ２０４で決定した操作対象機器２２に対してステップ２１０で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器２２を操作することができる。
【００７７】
また、ステップ２１６では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。
【００７８】
このようにしても、ヘッドアップディスプレイ２０に表示された情報を前方注視の視界内で確認することで、操作対象機器２２が意図する機器であるか否かを容易且つ安全に確認することができる。
【００７９】
なお、上記の実施の形態では、ジェスチャ操作の操作対象機器２２として、インストルメントパネルに設けられたディスプレイ２２Ａや、インパネスイッチ２２Ｂを一例として挙げたが、操作対象装置は、これに限るものではなく、例えば、ドアトリムに設けたパワーウインドスイッチや、ドアミラースイッチ等を操作対象機器２２として適用するようにしてもよい。
【００８０】
また、上記の実施の形態では、運転者によるジェスチャ操作を対象として説明したが、助手席等の乗員によるジェスチャ操作についても同様に制御するようにしてもよい。
【符号の説明】
【００８１】
１０、１１    ジェスチャ操作装置
１２    ジェスチャ操作ＥＣＵ
１４    ジェスチャ操作検出用カメラ
１６    光源
１８    光源ドライバ
２０    ヘッドアップディスプレイ
２２    操作対象機器
２４    ディスプレイドライバ
【図３】
2014153954.tif 000003
【図４】
2014153954.tif 000004
【図５】
2014153954.tif 000005
【図７】
2014153954.tif 000006
【図８】
2014153954.tif 000007
【図１】
2014153954.tif 000008
【図２】
2014153954.tif 000009
【図６】
2014153954.tif 000010