(57)【要約】【課題】機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することを可能とする。【解決手段】ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作とユーザの顔方向とを検出する検出部と、ユーザの顔方向と、記憶部にあらかじめ記憶された情報処理装置の位置情報とに基づいて、検出部が検出した動作が情報処理装置に対する操作であるか否かを判定する検出動作判定部と、検出動作判定部が、検出部が検出した動作が情報処理装置に対する操作であると判定した場合に、動作を表示部に反映させる表示内容制御部と、を備える。【選択図】  図２Ｃ
2015055999.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの動作を検出する情報処理装置であって、
撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出部と、
前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
を備えることを特徴とする情報処理装置。
【請求項２】
ユーザの動作を検出する情報処理装置であって、
撮像部によって撮像された画像からユーザの動作を検出する検出部と、
前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、
表示部に前記情報処理装置の虚像を表示し、表示された虚像の領域である虚像領域を算出する虚像領域算出部と、
前記注視領域算出部が算出した前記注視領域と、前記虚像領域算出部が算出した前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
を備えることを特徴とする情報処理装置。
【請求項３】
前記検出部は、前記ユーザの顔方向をさらに検出し、
前記検出動作判定部は、前記ユーザの顔方向と、前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する、
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
ユーザの動作を検出する情報処理装置であって、
ユーザを撮像する撮像部によって撮像された画像からユーザの動作を検出する第１の検出部と、
外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、
前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、
前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、
前記注視領域と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、
前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、
を備えることを特徴とする情報処理装置。
【請求項５】
前記第１の検出部は、前記ユーザの顔方向をさらに検出し、
前記検出動作判定部は、前記ユーザの顔方向と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記検出動作判定部は、前記ユーザの視線が検出されなかった場合、または前記ユーザの視線が連続して検出されなかった場合には、その回数をカウントし、その回数が所定値に達した場合、前記顔方向による判定を前記視線方向による判定よりも先に実行する、
ことを特徴とする請求項１、３、５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示内容制御部は、前記ユーザと前記情報処理装置との相対的な位置、または前記ユーザの特徴によって前記位置情報を含む領域を定める、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記検出動作判定部は、前記顔方向の座標データを時系列に蓄積して記憶部に記録し、前記検出部が検出した動作が前記情報処理装置に対する操作でないと判定した場合であっても、前記記憶部に記憶されている直前または直後の顔方向が前記情報処理装置の方向である場合には、前記検出部が検出した動作は前記情報処理装置に対する操作であると判定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記検出動作判定部は、前記視線方向および前記視距離の座標データを時系列に蓄積して記憶部に記録し、前記検出部が検出した動作が前記情報処理装置に対する操作でないと判定した場合であっても、前記記憶部に記憶されている直前または直後の視線方向および視距離が前記情報処理装置の方向である場合には、前記検出部が検出した動作は前記情報処理装置に対する操作であると判定する、
ことを特徴とする請求項２または４に記載の情報処理装置。
【請求項１０】
ユーザの動作を検出するジェスチャー検出方法であって、
撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出ステップと、
前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定ステップと、
前記検出動作判定ステップにおいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御ステップと、
を含むことを特徴とするジェスチャー検出方法。
【請求項１１】
コンピュータに、
撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出ステップと、
前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定ステップと、
前記検出動作判定ステップにおいて、前記検出ステップにおいて検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御ステップと、
を実行させることを特徴とするジェスチャー検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両内に設けられた車載機器を身振り手振りで操作する情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムに関する。
【背景技術】
【０００２】
車両内における車載機器の操作は現状では画面のタッチ操作やジョグダイアル、ハンドルに取り付けられたスイッチ操作などが広く普及している。また、操作の対象となる車載機器はセンターディスプレイに設置されたナビや空調、オーディオに加えて近年では車のフロントガラスに情報を投影するHead Up Display(HUD)が普及しようとしている。このような背景のもと、車載機器の操作は直感的な操作が可能であることや、操作の手間が減ること、操作の際に視線を外す時間が減るという観点などからジェスチャーによる操作が導入されつつある。
【０００３】
例えば、特許文献１には、カメラがスイッチ操作部を表示する画像表示装置に向けた運転者の手の動きを撮影し、その画像情報に基づいてその操作がスイッチ操作部に対する操作であると判断された場合に、スイッチ操作部が操作されたことを示す応答表示をするコンピュータにおいて、センサが操作開始のスタート動作と操作終了の終了動作を検出するし、その検出信号でカメラを撮影開始、撮影終了とする技術が開示されている。
【０００４】
また、特許文献２には、電気機器に対する動作として、制御部が、撮像部が撮像した画像に基づいてユーザの視線方向や動作を検知し、検知したユーザの視線方向や動作に応じて電気機器の状態を制御する処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８４６００号公報
【特許文献２】特開２００７−０３４５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら前述した特許文献１に開示された技術では、ジェスチャーを検出するためにスタートの動作を必要とするため、迅速でシームレスな操作ができない。また、ジェスチャーの終了時にも終了の動作が必要であり、操作の手間が増してしまう。また、ドライバーが車外の歩行者やドライバーへ向けて行ったハンドジェスチャーと、車内の機器（例えばHUDの表示内容）を操作することを意図して行ったジェスチャーとを混同して認識してしまい、機器の誤操作・誤動作を引き起こす。
【０００７】
また、特許文献２に開示された技術では、視線方向を検知するため、ジェスチャーの誤認識による機器の誤操作・誤動作を引き起こすことは軽減され得る。しかしながら、視線はピンポイントでその方向が定まるため、機器に対して正確な方向に視線を向けなければ、機器が動作しない場合があるという問題があった。
【０００８】
本発明は、上記に鑑みてなされたものであって、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能なジェスチャー検出装置、ジェスチャー検出方法、およびジェスチャー検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作と前記ユーザの顔方向とを検出する検出部と、前記ユーザの顔方向と、記憶部にあらかじめ記憶された前記情報処理装置の位置情報とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
【００１０】
また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、撮像部によって撮像された画像からユーザの動作を検出する検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、表示部に前記情報処理装置の虚像を表示し、表示された虚像の領域である虚像領域を算出する虚像領域算出部と、前記注視領域算出部が算出した前記注視領域と、前記虚像領域算出部が算出した前記虚像領域とに基づいて、前記検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
【００１１】
また、本発明にかかる情報処理装置は、ユーザの動作を検出する情報処理装置であって、ユーザを撮像する撮像部によって撮像された画像からユーザの動作を検出する第１の検出部と、外部を撮像する外部撮像部によって撮像された外部画像から移動体を検出する第２の検出部と、前記ユーザの視線方向と視距離とに基づいて、前記ユーザの注視領域を算出する注視領域算出部と、前記第２の検出部が検出した前記移動体の位置を算出する移動体位置算出部と、前記注視領域と、前記移動体の位置とに基づいて、前記第１の検出部が検出した動作が前記情報処理装置に対する操作であるか否かを判定する検出動作判定部と、前記検出動作判定部が、前記検出部が検出した動作が前記情報処理装置に対する操作であると判定した場合に、前記動作を表示部に反映させる表示内容制御部と、を備えることを特徴とする情報処理装置として構成される。
【００１２】
また、本発明は、上記情報処理装置で実行されるジェスチャー検出方法、およびジェスチャー検出プログラムとしても把握される。
【発明の効果】
【００１３】
本発明によれば、機器の誤認識を軽減しつつ、機器に対して正確な方向に視線を向けなくとも、その機器を操作することが可能となる。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明の第一実施例における車載機システムの構成図（視線方向判別）である。
【図１Ｂ】本発明の第一実施例における車載機システムの構成図（顔方向判別）である。
【図２Ａ】本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線方向判別）。
【図２Ｂ】ナビが置かれている位置を含む周辺領域を拡張した判別領域の例を示す図である。
【図２Ｃ】本発明の第一実施例におけるジェスチャー検出時の動作フローである（顔方向判別）。
【図２Ｄ】本発明の第一実施例におけるジェスチャー検出時の動作フローである（視線、顔をそらした場合）。
【図３Ａ】ジェスチャー検出時のドライバーの視線方向を図示したものである。
【図３Ｂ】ジェスチャー検出時のドライバーの視線方向を図示したものである。
【図３Ｃ】ジェスチャー検出時のドライバーの視線方向を図示したものである。
【図４Ａ】本発明の第二実施例における車載機システムの構成図である。
【図４Ｂ】左目と右目の各視線方向の交点からドライバーの視距離を算出する例を示す図である。
【図５Ａ】本発明の第二実施例におけるジェスチャー検出時の動作フローである（視線方向）。
【図５Ｂ】本発明の第二実施例におけるジェスチャー検出時の動作フローである（顔方向）。
【図６Ａ】ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。
【図６Ｂ】ドライバーの注視領域とＨＵＤ虚像位置の関係を図示したものである。
【図７】本発明の第三実施例における車載機システムの構成図である。
【図８Ａ】本発明の第三実施例におけるジェスチャー検出時の動作フローである（視線方向）。
【図８Ｂ】本発明の第三実施例におけるジェスチャー検出時の動作フローである（顔方向）。
【図９Ａ】ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。
【図９Ｂ】ドライバーの注視領域と歩行者や他車との位置関係を図示したものである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、本発明にかかる情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラムの実施の形態を詳細に説明する。
【００１６】
（第一実施例）
図１Ａは、本実施例におけるジェスチャー検出装置１０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置１０１を含む車載機１０２と、表示装置１０３と、入力装置１０４とを有して構成されている。
【００１７】
入力装置１０４は、視線検出装置１０５とカメラ１０６を備え、視線検出装置１０５は、カメラ１０６が撮像した画像からドライバーの左右それぞれの眼球の黒目の方向を識別し視線方向の情報を出力するものである。視線検出装置１０５は、一例としては、赤外線を照射するＬＥＤ（Light Emitting Diode）と赤外光のみを取得するＩＲ（Infrared）カメラから構成される。表示装置１０３は、ナビ画面１０７とHead Up Display(ＨＵＤ)１０８を有して構成され、ＨＵＤ１０８は車のフロントガラスに様々な情報を投影し、表示するものである。
【００１８】
車載機１０２は、ジェスチャー検出装置１０１と、車載機制御部１１４と、表示内容制御部１１５とを有している。車載機制御部１１４は、車載機自体の動作の制御を行い、表示内容制御部１１５は表示装置１０３に表示する内容の制御、具体的には表示する情報の内容や表示する映像のレイアウトの決定、ドライバーに表示内容を認識させる像（虚像）の位置の決定や、ユーザから指示された操作の結果を反映した内容の表示などを行う。車載機制御部１１４は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置から構成される。また、表示内容制御部１１５は、ＨＵＤ１０８に表示する情報をジェスチャー検出装置１０１に送信する。また、車載機１０２は、カーナビゲーションとしての基本的な機能を実行するものとする。
【００１９】
ジェスチャー検出装置１０１は、ジェスチャー検出制御部１０９と、視線方向算出部１１０と、動作検出部１１１と、機器位置情報記録部１１２と、検出動作判定部１１３とを有して構成される。ジェスチャー検出制御部１０９は、ジェスチャーを検出し、その検出結果が機器を操作したかどうか判定するまでの一連の動作を制御する。視線方向算出部１１０は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているかを算出する。動作検出部１１１は、カメラ１０６から得られた動画像情報からドライバーの動きがあらかじめ規定された動作パターンと一致しているかどうかを判別し、規定の動作を認識検出する。機器位置情報記憶部１１２は、車室内において、ナビ画面１０７とＨＵＤ１０８がどこに設置されているか、３次元の座標で記憶する。検出動作判定部１１３は、動作検出部１１１、視線方向算出部１１０、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
【００２０】
図２Ａの動作フローを用いて、ドライバーが機器を操作することを意図して行ったジェスチャーを検出する処理（ジェスチャー検出処理）の処理手順ついて詳細に説明する。なお、以下に示す視線方向の検出処理や顔方向の検出処理については、例えば、特開２０１２−１８７１９０号公報に記載されている方法を用いることができる。
【００２１】
まず、車載機１０２の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。例えば、動作検出部１１１は、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ２０１）、規定の動作が検出されたと判別しない場合（Ｓ２０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向を算出する。
【００２２】
次に、検出動作判定部１１３は、視線方向算出部１１０が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ２０２）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ナビ画面の３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からナビ画面に向けた方向と一致しているかどうかを判別する。図３Ａのように、検出動作判定部１１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ２０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０３）。
【００２３】
一方、検出動作判定部１１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ２０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの視線がＨＵＤを向いていたかどうかを判別する（Ｓ２０４）。具体的には、検出動作判定部１１３は、ドライバーの頭部の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した視線方向のベクトルが、頭部からＨＵＤに向けた方向と一致しているかどうかを判別する。図３Ｂのように、検出動作判定部１１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ２０５）。
【００２４】
一方、検出動作判定部１１３が、図３Ｃのようにドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信する。車載機制御部１１４は、ジェスチャー検出装置１０１から受信した操作の種類に応じた処理を行い、その処理結果を反映した表示内容を表示内容制御部１１５が表示装置１０３に表示を行う（Ｓ２０６）。その後、ジェスチャーの検出を続けない場合（Ｓ２０７：Ｙｅｓ）は、本処理を終了する。
【００２５】
なお、本構成においてはドライバーの視線を検知する視線検出装置１０５および、視線方向算出部１１０を使用したが、図１Ｂに示すように、これらとともにあるいはこれらの代わりに、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１を用いて顔方向の情報を出力し、顔方向検出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。なお、入力映像からドライバーの顔の方向を検知する手法については、例えば、顔方向検出部１１０１が、顔の特徴部位（目、鼻、口など）を抽出し、その特徴部位が中心から対称となっているか否か、あるいはこれらの特徴部位が非対象となっている程度によって顔の方向やその程度を判定したり、顔画像の陰影の濃度によって顔の方向やその程度を判定する等、様々な技術を用いることが可能である。
【００２６】
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、検出動作判定部１１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよい。これによって、ドライバーの視線がうまく検出できないような状況においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができる。
【００２７】
さらには、視線方向が上手く検知できない場合は、前述した顔方向検出部１１０１を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。具体的には、検出動作判定部１１３は、ＨＵＤの方向を見ているか否かについて、顔方向が、ＨＵＤが存在する領域に向いているか否かによって判別し、ナビを見ているか否かは、ナビが存在する領域を水平方向に拡張した判別領域Ｒ（拡張領域）内に対してドライバーの顔方向が向いているか否かによって判別を行う。具体的には、検出動作判定部１１３は、図２Ｂに示すように、ナビが置かれている位置を含む周辺領域を拡張した判別領域として判別の対象とし、図２Ｃに示す手順によって、視線が検出できない場合を考慮してジェスチャー検出処理を行うことも可能である。例えば、ナビが存在する領域に対して、横方向に一定の割合で判別する領域を拡張する。拡張する割合は、一般的にユーザがナビを注視している際の顔向きが示す方向が拡張した領域に含まれるように拡張し、拡張した領域を判別領域とする。図２Ｃに示すジェスチャー検出処理において、ステップＳ２０１〜Ｓ２０７については、図２Ａに示した処理と同様であるため、ここではその説明を省略している。
【００２８】
図２Ｃに示すように、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ２０１：Ｙｅｓ）、視線方向算出部１１０は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ１１０１）。
【００２９】
そして、視線方向算出部１１０が、ドライバーの視線が検出可能であったと判定した場合（Ｓ１１０１；Ｙｅｓ）、Ｓ２０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３は、顔方向算出部１１０１が算出したドライバーの顔方向と、上述した拡張領域とから、ドライバーの顔が拡張領域以外の方向を向いていたか否かを判別する（Ｓ１１０２）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、拡張領域の座標を読み出して、検出した顔方向のベクトルが、顔からナビ画面に向けた方向と一致しているかどうかを判別する。
【００３０】
検出動作判定部１１３は、視線方向における判定と同様に、顔方向が拡張領域の方向を向いていたと判別した場合（Ｓ１１０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０３と同様の処理を行う（Ｓ１１０３）。
【００３１】
一方、検出動作判定部１１３が、顔方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ１１０２：Ｙｅｓ）、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別する（Ｓ１１０４）。具体的には、検出動作判定部１１３は、ドライバーの顔の３次元における座標と、ＨＵＤの３次元の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
【００３２】
検出動作判定部１１３は、視線方向における判定と同様に、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ１１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ２０５と同様の処理を行う（Ｓ１１０５）。
【００３３】
一方、検出動作判定部１１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ１１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ２０６と同様の処理を行う（Ｓ１１０６）。
【００３４】
このように、視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
【００３５】
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。これによって、ＨＵＤに表示する内容が動的に変化するような場合においても、より正確にドライバーがＨＵＤに視線を向けているかどうかを判別することができる。
【００３６】
例えば、図２Ｂでは、拡張領域が、ナビが存在する領域を水平方向に拡張した判別領域Ｒである前提で説明したが、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によって拡張領域をＲ’のように右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、拡張領域をＲ”のように高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。このように、ドライバーとナビとの相対的な位置やドライバーの特徴に応じて拡張領域を設定することによって、機器の誤認識を軽減しつつ、ドライバーにとってより容易な操作を可能とすることができる。また、このような拡張領域を、ドライバーごとに設定してもよい。この場合、ドライバーが複数いる場合（例えば、車両をシェアして利用する場合等）であっても、ドライバーごとに拡張領域を設定することができる。
【００３７】
また、図２Ｃに示したＳ１１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部１１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ１１０１〜Ｓ１１０６の処理を先に行うこととしてもよい。この場合、視線方向が検出されない可能性の高い処理を省略して顔方向を判定するので、ジェスチャーを検出するまでの処理を短縮することができる。
【００３８】
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、必ずしもこのような構成である必要はなく、例えば、視線検出装置１０５や顔検出装置１０５１を車載器１０２に設ける等、適宜構成を変更することも可能である。すなわち、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
【００３９】
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
【００４０】
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。さらには、車載機器に搭載することに限定するものではなく、ジェスチャーによって機器の表示内容や状態を操作できるもの、例えば、デジタルサイネージやインタラクションホワイトボード、テレビなどの機器へ搭載することも可能である。この場合、本発明を適用することで、ユーザが機器を操作することを意図しない動作を、誤ってジェスチャーであると認識してしまう事態を防ぐことが可能となる。
【００４１】
（第二実施例）
上述した第一実施例では、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、ドライバーの視線方向や顔方向がナビ画面やＨＵＤ方向に向いていなくとも、ＨＵＤの虚像の方向を見て操作を行う場合も存在する。そこで、そのような場合に備え、以下では、ドライバーがＨＵＤの虚像の方向を見て操作を行う場合のジェスチャー検出処理について説明する。
【００４２】
図４Ａは本実施例におけるジェスチャー検出装置４０１を搭載した車載機システムの構成図である。本車載機システムはジェスチャー検出装置４０１を含む車載機４０２と、表示装置１０３、入力装置１０４とから構成されている。また、車載機４０２は、ジェスチャー検出装置４０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置４０１は、視線方向・視距離算出部４０１１と、注視領域算出部４０１２と、第一実施例とは異なる検出動作判定部４０１３と、ＨＵＤ虚像位置算出部４０１１とを有している点で、第一実施例のジェスチャー検出装置１０１とは異なっている。以下では、第一実施例と同一の構成要素には同一の符号を付してその説明を省略している。
【００４３】
視線方向・視距離算出部４０１１は、視線検出装置１０５から得られた左右それぞれの眼球の方向情報を基に、ドライバーが車室内におけるどの方向に視線を向けているか算出するとともに、図４Ｂに示すように、左目と右目の各視線方向の交点からドライバーの視距離を算出する。注視領域算出部４０１２は、視線方向・視距離算出部４０１１から得られたドライバーの視線方向と視距離から、ドライバーが注視している領域の３次元の空間座標を算出する。
【００４４】
検出動作判定部４０１３は、第一実施例における処理と同様の処理を行うほか、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、ＨＵＤ虚像位置算出部４０１４、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。ＨＵＤ虚像位置算出部４０１４は、ＨＵＤ１０８に表示された内容の虚像が、どの領域に表示されているか、表示内容制御部４０９から得られた情報を基に３次元の座標で算出する。
【００４５】
図５Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
【００４６】
まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（５０１）、規定の動作が検出されないと判別した場合（Ｓ５０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
【００４７】
次に、検出動作判定部４０１３は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がナビ画面１０７以外の方向を向いていたか否かを判別する（Ｓ５０２）。検出動作判定部４０１３は、視線方向がナビ画面の方向を向いていたと判別した場合（Ｓ５０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部１１４に送信し、以降第一実施例の場合と同様の処理を行う（Ｓ５０３）。
【００４８】
一方、検出動作判定部４０１３が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ５０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第一実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ５０４）。検出動作判定部４０１３が、視線方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ５０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ５０５）。
【００４９】
一方、検出動作判定部４０１３が、第一実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ５０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ５０６）。また、ＨＵＤ虚像位置算出部４０６は、ＨＵＤに表示された内容の虚像の位置を表示内容制御部４０９から得られた情報をもとに、虚像の３次元の座標を算出する（Ｓ５０７）。
【００５０】
次に、検出動作判定部４０１３は、ドライバーの注視領域の中に、ＨＵＤの虚像が含まれているか否かを判別する（Ｓ５０８）。図６Ａのように、ドライバーの注視領域６０２の中に表示領域６０３に表示されたＨＵＤ虚像６０１が含まれていないと判別した場合（Ｓ５０８：Ｎｏ）、検出動作判定部４０１３は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ５０９）。
【００５１】
一方、図６Ｂのように、検出動作判定部４０１３は、ドライバーの注視領域の中にＨＵＤの虚像が含まれていたと判別した場合（Ｓ５０８：ＹＥＳ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部４０８に送信し、第一実施例の場合と同様の処理を行う（Ｓ５１０）。その後、ジェスチャーの検出を続けない場合（Ｓ５１１：Ｙｅｓ）は、本処理を終了する。
【００５２】
なお、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第一実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ５０８における判別処理は顔方向の先にＨＵＤの虚像が表示されているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
【００５３】
例えば、図５Ｂに示すように、第一実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ５０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ２１０１）。
【００５４】
そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ２１０１；Ｙｅｓ）、Ｓ５０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ２１０１；Ｎｏ）、検出動作判定部４０１３は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、ＨＵＤの虚像の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ２１０２）。具体的には、検出動作判定部４０１３は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔からＨＵＤに向けた方向と一致しているかどうかを判別する。
【００５５】
検出動作判定部４０１３は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ２１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ５０３と同様の処理を行う（Ｓ２１０３）。
【００５６】
一方、検出動作判定部４０１３が、顔方向がＨＵＤの虚像の表示領域以外の方向を向いていたと判別した場合（Ｓ２１０２：Ｙｅｓ）、第一実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ２１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ２１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ５０５と同様の処理を行う（Ｓ２１０５）。
【００５７】
一方、検出動作判定部４０１３が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ２１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第一実施例の場合と同様に、以降Ｓ５１０、Ｓ５１１に進む。
【００５８】
このように、第二実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
【００５９】
また、第一実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
【００６０】
また、第一実施例の場合と同様に、図５Ｂに示したＳ２１０１において視線が検出されなかった場合（Ｓ１１０１；Ｎｏ）、検出動作判定部４０１３がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ２１０１〜Ｓ２１０５の処理を先に行うこととしてもよい。
【００６１】
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第一実施例の場合と同様に、検出動作判定部４０１３は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
【００６２】
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第一実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
【００６３】
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第一実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
【００６４】
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
【００６５】
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
【００６６】
（第三実施例）
第一実施例、第二実施例では、車外の状況にかかわらず、ドライバーの視線方向や顔方向を検出することにより、ナビ画面やＨＵＤに表示された内容を操作することを意図したジェスチャーであるか否かを判別することとした。しかし、実際には、ドライバーは、人や他の車両の動き等、車外の状況に影響を受けることも多い。そこで、そのような場合に備え、以下では、ドライバーが車外の状況に影響を受けた場合におけるジェスチャー検出処理について説明する。
【００６７】
図７は本実施例におけるジェスチャー検出装置７０１を搭載した車載機システムの構成図である。本車載機システムは、ジェスチャー検出装置７０１を含む車載機７０２と、表示装置１０３、入力装置７０３とから構成されている。また、車載機７０２は、ジェスチャー検出装置７０１と車載機制御部１１４と表示内容制御部１１５とを有し、ジェスチャー検出装置７０１は、第二実施例とは異なる検出動作判定部７０１１と、車外認識部（移動体位置算出部）７０１２とを有している点で、第二実施例のジェスチャー検出装置４０１とは異なっている。また、入力装置７０３は、車外用カメラ７０３１を備えている点で、第二実施例の入力装置１０４とは異なっている。以下では、第二実施例と同一の構成要素には同一の符号を付してその説明を省略している。
【００６８】
検出動作判定部７０１１は、動作検出部１１１、視線方向・視距離算出部４０１１、注視領域算出部４０１２、車外認識部７０１２、機器位置情報記録部１１２からの情報を入力情報とし、動作検出部１１１で検出されたドライバーの動作が機器を操作することを意図して行われた動作かどうかを判定する。
【００６９】
車外認識部７０１２は、車外用カメラ７０３１から得られた車外の映像から、歩行者や他車等の車外部の移動体が存在するかどうかを認識し、検出した物体の３次元の座標を算出する。例えば、あらかじめ認識対象となる物体の映像データを保持しておき、入力された映像内に一致する物が存在するかどうかを判定するパターンマッチング処理などを行う。なお、本実施例では、移動体の例として歩行者や他車を例に説明しているが、自転車、自動二輪車等、他の移動体も含まれるものとする。
【００７０】
図８Ａの動作フローを用いて、本実施例におけるジェスチャー検出処理の処理手順ついて詳細に説明する。
【００７１】
まず、車載機の電源が投入されるなどして、ドライバーのジェスチャーの検出を開始する。動作検出部１１１が、カメラ１０６の入力映像から、ドライバーがあらかじめ規定された動作（機器を操作するためのジェスチャーとして登録したもの）を行ったか否かを判別し（Ｓ８０１）、規定の動作が検出されないと判別した場合（Ｓ８０１：Ｎｏ）、検出を続ける。一方、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離算出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ジェスチャーが検出された際のドライバーの視線方向と視距離を算出する。
【００７２】
次に、検出動作判定部７０１１は、視線方向・視距離算出部４０１１が算出したドライバーの視線方向と、機器位置情記録部１１２に記録されたナビ画面１０７の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がナビ画面１０７を向いていたか否かを判別する（Ｓ８０２）。検出動作判定部７０１１は、視線方向がナビ画面の方向を向いていた場合（Ｓ８０２：Ｎｏ）、検出したドライバーの動作は、ナビ画面に表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、以降第二実施例の場合と同様の処理を行う（Ｓ８０３）。
【００７３】
一方、検出動作判定部７０１１が、視線方向がナビ画面以外の方向を向いていたと判別した場合（Ｓ８０２：Ｙｅｓ）、ドライバーの視線方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、第二実施例の場合と同様に、ドライバーの視線がＨＵＤを向いていたか否かを判別する（Ｓ８０４）。検出動作判定部７０１１が、視線方向がＨＵＤの方向を向いていなかったと判定した場合（Ｓ８０４：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、第一実施例の場合と同様の処理を行う（Ｓ８０５）。
【００７４】
一方、検出動作判定部７０１１が、第二実施例の場合と同様に、ドライバーの視線方向がＨＵＤの方向を向いていたと判定した場合（Ｓ８０４：Ｙｅｓ）、注視領域算出部４０５は、視線方向・視距離算出部４０１１から得られた情報をもとに、ドライバーが注視している領域の３次元の座標を算出する（Ｓ８０６）。また、車外認識部７０１２は、車外用カメラ７０３１から得られた映像から、車外の歩行者や他車等の移動体が存在するかどうかを認識し、検出した物体の位置を３次元の座標で算出する（Ｓ８０７）。
【００７５】
次に、検出動作判定部７０１１は、ドライバーの注視領域の中に、歩行者や他車等の移動体が含まれているか否かを判別する（Ｓ８０８）。図９Ａのように、ドライバーの注視領域９０３の中に歩行者や他車等の移動体が含まれていたと判別した場合（Ｓ８０８：Ｎｏ）、検出動作判定部７０１１は、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、検出した動作の結果を棄却する（Ｓ８０９）。
【００７６】
一方、図９Ｂのように、検出動作判定部７０１１は、ドライバーの注視領域の中に歩行者や他車等の移動体が含まれていなかったと判別した場合（Ｓ８０８：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、検出したジェスチャーと対応する操作の内容を車載機制御部７０９に送信し、第二実施例の場合と同様の処理を行う（Ｓ８１０）。その後、ジェスチャーの検出を続けない場合（Ｓ８１１：Ｙｅｓ）は、本処理を終了する。
【００７７】
なお、本構成においてはドライバーの注視領域内に車外の歩行者や他車等の移動体が含まれているかどうかの判定を行ったが、代わりに注視領域を算出せずにドライバーの視線方向の先に歩行者や他車等の移動体が存在するかどうかの判定を行うような構成としてもよい。これによって、ドライバーの注視領域を算出する必要がなくなり、注視領域がうまく取得できないような場合でも、検出した動作の判定を行うことができる。
【００７８】
また、本構成においてはドライバーの視線と視距離を検知する視線検出装置１０５および、視線方向・視距離検出部４０１１を使用したが、これらとともにあるいはこれらの代わりに、第二実施例の場合と同様に、カメラ１０６の入力映像からドライバーの顔の方向を検知する顔方向検出装置１０５１や顔方向算出部１１０１を用いて、ドライバーの顔方向を視線方向の代わりとする構成としても良い。この場合、Ｓ８０８における判別処理は顔方向の先に歩行者や他車等の移動体が存在しているかどうかを判別するような構成とする。これによって、視線検出装置１０５を省いた構成を実現でき、部品数とコストの削減を図ることができる。
【００７９】
例えば、図８Ｂに示すように、第二実施例の場合と同様に、動作検出部１１１が、規定の動作が検出されたと判別した場合（Ｓ８０１：Ｙｅｓ）、視線方向・視距離検出部４０１１は、視線検出装置１０５から得られたドライバーの眼球の方向を基にして、ドライバーの視線が検出可能であったか否かを判定する（Ｓ３１０１）。
【００８０】
そして、視線方向・視距離検出部４０１１が、ドライバーの視線が検出可能であったと判定した場合（Ｓ３１０１；Ｙｅｓ）、Ｓ８０２に進む一方、ドライバーの視線が検出可能でなかったと判定した場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１は、図１Ｂに示した顔方向算出部１１０１が算出したドライバーの顔方向と、車外の歩行者や他車等の移動体の表示領域とから、ドライバーの顔がその表示領域以外の方向を向いていたか否かを判別する（Ｓ３１０２）。具体的には、検出動作判定部７０１１は、ドライバーの顔の３次元における座標と、表示領域の座標を読み出して、検出した顔方向のベクトルが、顔から車外の歩行者や他車等の移動体に向けた方向と一致しているかどうかを判別する。
【００８１】
検出動作判定部７０１１は、視線方向における判定と同様に、顔方向が表示領域の方向を向いていたと判別した場合（Ｓ３１０２：Ｎｏ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、以降Ｓ８０３と同様の処理を行う（Ｓ３１０３）。
【００８２】
一方、検出動作判定部７０１１が、顔方向が車外の歩行者や他車等の移動体の表示領域以外の方向を向いていたと判別した場合（Ｓ３１０２：Ｙｅｓ）、第二実施例の場合と同様に、ドライバーの顔方向と、機器位置情記録部１１２に記録されたＨＵＤ１０８の位置情報とから、ドライバーの顔がＨＵＤを向いていたかどうかを判別し（Ｓ３１０４）、顔方向がＨＵＤの方向を向いていなかったと判別した場合（Ｓ３１０４：Ｎｏ）、検出したドライバーの動作は、機器を操作することを意図した動作では無いと判別し、以降Ｓ８０５と同様の処理を行う（Ｓ３１０５）。
【００８３】
一方、検出動作判定部７０１１が、ドライバーの視線方向がＨＵＤの方向を向いていたと判別した場合（Ｓ３１０４：Ｙｅｓ）、検出したドライバーの動作は、ＨＵＤに表示された内容を操作することを意図したジェスチャーであると判別し、第二実施例の場合と同様に、以降Ｓ８１０、Ｓ８１１に進む。
【００８４】
このように、第三実施例で視線方向が正しく検出できない場合においても、ドライバーが機器を操作することを意図してない動作が、ジェスチャーとして誤認識されることを防ぐことができ、かつ、操作を意図した動作をジェスチャーとして検知することができる。
【００８５】
また、第二実施例の場合と同様に、例えば、ハンドル位置（右ハンドルまたは左ハンドル）等のドライバーとナビとの相対的な位置によって、あるいはドライバーの利き目によってＨＵＤの虚像の表示領域を右側または左側にずらして設定してもよい。さらには、ドライバーの身長が高い場合には、ＨＵＤの虚像の表示領域を高く設定したり、これとは逆に、ドライバーの身長が低い場合には低く設定することも可能である。また、このようなＨＵＤの虚像の表示領域を、ドライバーごとに設定してもよい。
【００８６】
また、第二実施例の場合と同様に、図８Ｂに示したＳ３１０１において視線が検出されなかった場合（Ｓ３１０１；Ｎｏ）、検出動作判定部７０１１がその回数をカウントしておき、ある期間内に一定の回数となった場合、あるいは連続して一定の回数となった場合、その後はＳ３１０１〜Ｓ３１０５の処理を先に行うこととしてもよい。
【００８７】
また、本構成における一連の動作において、ドライバーの視線がうまく検出できなかった場合（両眼が示す視線方向が同一方向でなく交わることが無い、ドライバーの目が手やサングラスなどで覆われている、などの状況）は、第二実施例の場合と同様に、検出動作判定部７０１１は、動作検出部１１１が検出した動作検出結果を全て、棄却するような構成としてもよく、視線方向が上手く検知できない場合は、前述した顔方向検出部を用いて、視線方向の代わりに顔方向を用いる構成としてもよい。
【００８８】
また、本構成ではＨＵＤ１０８の位置情報は機器位置情報記録部１１２に保存されているものとしたが、第二実施例の場合と同様に、ＨＵＤの表示位置や、表示領域は動的に変化するものとし、表示内容制御部１１５からＨＵＤの表示位置と表示領域の情報を逐次受け取り、機器位置情報記録部１１２の情報を更新するような構成としてもよい。
【００８９】
また、本構成では表示装置１０３がＨＵＤ１０８およびナビ画面１０７を有し、入力装置１０４が視線検出装置１０５や顔検出装置１０５１、およびカメラ１０６を有している前提で説明したが、第二実施例の場合と同様に、ジェスチャー検出装置４０１が、視線方向や顔方向を検出するための情報を取得することができれば、本システムを様々な形態で構成することができる。
【００９０】
以上のように、ドライバーの規定の動作を検出した際に、ドライバーの視線方向や注視領域とＨＵＤの虚像の表示位置をもとに、検出した動作が機器を操作することを意図した動作かどうか判定を行うことで、第一実施例の場合と同様に、ドライバーが車内の機器を操作することを意図して行ったジェスチャーのみを検出し、それ以外の動作（例えば車外へ向けたハンドジェスチャーなど）は機器を操作するジェスチャーとして検出しないジェスチャー検出装置を提供することができ、車内における車載機器の直感的な操作、操作の手間の短縮、迅速でシームレスな操作を実現することができる。
【００９１】
なお、本実施例で記述したジェスチャー検出装置は、ナビ画面とＨＵＤに表示された内容を操作することに限定するものでなく、第一実施例の場合と同様に、それ以外の空調やオーディオ機器、メーターパネルに表示された内容に対しても適用することができる。
【００９２】
また、上述した第一実施例〜第三実施例では、ドライバーの視線方向や顔方向を検知してナビやＨＵＤに対する操作であるか否かを判別したが、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらしてしまう場合も存在する。そのような場合に備え、例えば、視線方向算出部や視線方向・視距離算出部、または検出動作判定部が、算出したドライバーの視線方向や顔方向、視距離の座標データを、１秒毎に機器位置情記録部１１２に時系列に蓄積して記録しておき、検出動作判定部が視線方向や顔方向、視距離が、ナビ画面やＨＵＤの方向、距離でないと判定した場合であっても、その直前あるいは直後の視線方向や顔方向、視距離がナビ画面やＨＵＤの方向、距離である場合には、上述した理由によってドライバーが視線や顔をナビ画面やＨＵＤの方向から外したと判断し、その間の操作はナビ画面やＨＵＤに対する操作として続行させることとしてもよい。
【００９３】
例えば、第一実施例において、図２Ｄに示すように、検出動作判定部１１３が、視線方向がナビ以外に向いていたと判定した場合（Ｓ２０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の視線方向がナビ以外に向いていたか否かを判定し（Ｓ２０２１）、機器位置情報記憶部１１２に記録された直前の視線方向がナビに向いていたと判定した場合（Ｓ２０２１；Ｎｏ）、Ｓ２０３に進んで検出した動作をナビへの操作として反映させたり、検出動作判定部１１３が、顔方向がナビ以外に向いていたと判定した場合（Ｓ１１０２；Ｎｏ）であっても、機器位置情報記憶部１１２に記録された直前の顔方向がナビ以外に向いていたか否かを判定し（Ｓ１１０２１）、機器位置情報記憶部１１２に記録された直前の顔方向がナビに向いていたと判定した場合（Ｓ１１０２１；Ｎｏ）、Ｓ１１０３に進んで検出した動作をナビへの操作として反映することとしてもよい。第二実施例、第三実施例についても同様に処理することができる。このように、日差しや対向車の照明等による眩しさから、ドライバーが一瞬だけ目をそらした場合であっても、正しくナビやＨＵＤに対する操作を行うことができる。
【００９４】
なお、上述した各実施例における処理はプログラムによって実行され、これらのプログラムは、上述した各部（例えば、視線方向判定部、動作検出部、検出動作判定部等の各部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記記録媒体から各プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、視線方向判定部、動作検出部、検出動作判定部等の各部が主記憶装置上に生成されるようになっている。
【００９５】
さらに、上述した各実施例では特に説明していないが、上述した各プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＦＤ、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供したり、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供したり、配布するように構成しても良い。上述した各プログラムを、ＲＯＭ等に予め組み込んで提供するように構成することももちろん可能である。
【符号の説明】
【００９６】
１０１、４０１、７０１      ジェスチャー検出装置
１０２、４０２、７０２      車載機
１０３      表示装置
１０４      入力装置
１０５      視線検出装置
１０５１    顔検出装置
１０６      カメラ
１０７      ナビ画面
１０８      Head Up Display(ＨＵＤ) 
１０９      ジェスチャー検出制御部
１１０      視線方向算出部
１１０１    顔方向算出部
１１１      動作検出部
１１２      機器位置情報記録部
１１３、４０１３、７０１１      検出動作判定部
１１４      車載機制御部
１１５      表示内容制御部
３０２  ＨＵＤ
３０３  フロントガラス
４０１１    視線方向・視距離算出部
４０１２    注視領域算出部
４０１４    ＨＵＤ虚像位置算出部
６０１  ＨＵＤ虚像
６０２、９０３  ドライバー注視領域
６０３、９０４  ＨＵＤ表示領域
７０１２    車外認識部
７０３１    車外用カメラ
９０１  歩行者
９０２  他車。
【図１Ａ】
2015055999.tif 000003
【図１Ｂ】
2015055999.tif 000004
【図２Ａ】
2015055999.tif 000005
【図２Ｂ】
2015055999.tif 000006
【図２Ｃ】
2015055999.tif 000007
【図２Ｄ】
2015055999.tif 000008
【図３Ａ】
2015055999.tif 000009
【図３Ｂ】
2015055999.tif 000010
【図３Ｃ】
2015055999.tif 000011
【図４Ａ】
2015055999.tif 000012
【図４Ｂ】
2015055999.tif 000013
【図５Ａ】
2015055999.tif 000014
【図５Ｂ】
2015055999.tif 000015
【図６Ａ】
2015055999.tif 000016
【図６Ｂ】
2015055999.tif 000017
【図７】
2015055999.tif 000018
【図８Ａ】
2015055999.tif 000019
【図８Ｂ】
2015055999.tif 000020
【図９Ａ】
2015055999.tif 000021
【図９Ｂ】
2015055999.tif 000022