(57)【要約】【課題】ジェスチャを認識するための画像を別の用途でも活用することが可能なジェスチャ入力装置を提供する。【解決手段】ジェスチャ入力装置１２は、ユーザ３００を撮像する撮像装置３０と、撮像装置３０が撮像した画像２１０のうちの第１領域２３０を用いて画像認識を行う画像認識装置８２と、表示装置１６を制御する制御装置２２とを有する。制御装置２２は、画像２１０のうち、画像認識装置８２が画像認識に用いた第１領域２３０以外の第２領域２３２の一部である第３領域２３４を表示装置１６に表示させる。【選択図】図６
2016110540.tif 000002
【特許請求の範囲】
【請求項１】
画像認識を利用してユーザのジェスチャを入力するジェスチャ入力装置であって、
前記ジェスチャ入力装置は、
前記ユーザを撮像する撮像装置と、
前記撮像装置が撮像した画像のうちの第１領域を用いて画像認識を行う画像認識装置と、
表示装置を制御する制御装置と
を有し、
前記制御装置は、前記画像のうち、前記画像認識装置が画像認識に用いた前記第１領域以外の第２領域の一部である第３領域を前記表示装置に表示させる
ことを特徴とするジェスチャ入力装置。
【請求項２】
請求項１に記載のジェスチャ入力装置において、
前記制御装置は、前記画像認識装置が前記ユーザの第１ジェスチャを認識すると、前記第２領域における前記第３領域の位置又は範囲を変化させる
ことを特徴とするジェスチャ入力装置。
【請求項３】
請求項１又は２に記載のジェスチャ入力装置において、
前記ジェスチャ入力装置は、光を反射又は屈折させて前記撮像装置に入射させる反射屈折手段を前記撮像装置の撮像方向前方に有し、
前記撮像装置は、前記反射屈折手段を通して前記第２領域を撮像する
ことを特徴とするジェスチャ入力装置。
【請求項４】
請求項３に記載のジェスチャ入力装置において、
前記ジェスチャ入力装置は、前記反射屈折手段を傾動させる傾動装置を有し、
前記制御装置は、前記画像認識装置が前記ユーザの第２ジェスチャを認識すると、前記傾動装置を介して前記反射屈折手段を傾動させ、前記表示装置が表示する前記第３領域を変化させる
ことを特徴とするジェスチャ入力装置。
【請求項５】
請求項１〜４のいずれか１項に記載のジェスチャ入力装置において、
前記制御装置は、前記第１領域の座標に対応付けて前記第３領域の座標を設定する
ことを特徴とするジェスチャ入力装置。
【請求項６】
請求項５に記載のジェスチャ入力装置において、
前記制御装置は、前記第１領域から前記第３領域への方向と同方向のベクトルを有する第３ジェスチャを前記画像認識装置が認識すると、前記第３領域を拡大又は縮小する
ことを特徴とするジェスチャ入力装置。
【請求項７】
請求項５又は６に記載のジェスチャ入力装置において、
前記制御装置は、前記第３領域の中央部分と前記第１領域の中央部分とを結ぶ線と垂直方向のベクトルを有する第４ジェスチャを前記画像認識装置が認識すると、前記第４ジェスチャのベクトルに応じて前記第３領域の表示を前記第２領域内の他の領域に変化させる
ことを特徴とするジェスチャ入力装置。
【請求項８】
請求項１〜７のいずれか１項に記載のジェスチャ入力装置において、
前記制御装置は、前記ユーザが第５ジェスチャを行ったことを前記画像認識装置が認識すると前記第３領域の表示を開始する
ことを特徴とするジェスチャ入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識を利用してユーザのジェスチャを入力するジェスチャ入力装置に関する。
【背景技術】
【０００２】
特許文献１では、ステアリングホイール１の側方の撮像領域に向けて腕を伸ばした運転者の手指を、ビデオカメラ３（図１）を用いて撮像する（［００１１］）。そして、撮像した手指の形状や動きを認識し、認識結果に基づいて所定のスイッチ操作情報を得る（［００１２］）。ビデオカメラ３は、運転席上方の天井に設けられる（［００１１］）。
【０００３】
特許文献２では、撮像手段としての乗員カメラ１４（図１、図２）を用いて運転者３００の顔の画像（顔画像）を取得する（［００２０］）。そして、この顔画像を用いて運転者１００の顔向きを検出し、顔向きを利用して操作対象機器の選択及び操作を行う（要約、図６〜図８Ｃ、図１１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４２６５６号公報
【特許文献２】特開２０１３−０６９１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、特許文献１では、ビデオカメラ３の撮像画像を用いて運転者の手指の形状や動きを認識し、その認識結果を用いる。また、特許文献２では、乗員カメラ１４の撮像画像（顔画像）を用いて運転者１００の顔向きを検出し、顔向きを利用して操作対象機器の選択及び操作を行う。換言すると、特許文献１、２では、撮像装置（ビデオカメラ３及び乗員カメラ１４）を、ジェスチャを入力するための画像を取得する目的でのみ用いている。
【０００６】
しかしながら、ジェスチャを撮像する撮像装置を別の用途でも活用できることが好ましい。この点に関し、例えば、画像認識の目的のみで撮像装置を用いる場合、認識対象（例えば、運転者の手の形状若しくは動き又は顔向き）が存在する以外の画像領域を有効活用することができないことになる。
【０００７】
本発明は上記のような課題を考慮してなされたものであり、ジェスチャを認識するための画像を別の用途でも活用することが可能なジェスチャ入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係るジェスチャ入力装置は、画像認識を利用してユーザのジェスチャを入力するものであって、前記ジェスチャ入力装置は、前記ユーザを撮像する撮像装置と、前記撮像装置が撮像した画像のうちの第１領域を用いて画像認識を行う画像認識装置と、表示装置を制御する制御装置とを有し、前記制御装置は、前記画像のうち、前記画像認識装置が画像認識に用いた前記第１領域以外の第２領域の一部である第３領域を前記表示装置に表示させる。
【０００９】
本発明によれば、撮像装置が取得した画像のうち画像認識に用いる第１領域以外の第２領域の一部である第３領域を表示させる。これにより、画像認識で用いていない第３領域を表示することで、別の用途（例えば、ユーザ周辺の表示）で活用可能となる。従って、撮像装置が取得した画像のうち利用しない領域（未利用領域）がある場合、第３領域として用いることで未利用領域を少なくすることが可能となる。
【００１０】
前記制御装置は、前記画像認識装置が前記ユーザの第１ジェスチャを認識すると、前記第２領域における前記第３領域の位置又は範囲を変化させてもよい。これにより、ユーザの要求に応じた位置又は範囲の画像を表示することが可能となる。
【００１１】
前記ジェスチャ入力装置は、光を反射又は屈折させて前記撮像装置に入射させる反射屈折手段を前記撮像装置の撮像方向前方に有し、前記撮像装置は、前記反射屈折手段を通して前記第２領域を撮像してもよい。これにより、撮像装置の撮像可能範囲を必要に応じて変更することが可能となる。
【００１２】
前記ジェスチャ入力装置は、前記反射屈折手段を傾動させる傾動装置を有してもよい。この場合、前記制御装置は、前記画像認識装置が前記ユーザの第２ジェスチャを認識すると、前記傾動装置を介して前記反射屈折手段を傾動させ、前記表示装置が表示する前記第３領域を変化させてもよい。これにより、撮像装置の撮像可能範囲をユーザの意思に応じて変更することが可能となる。
【００１３】
前記制御装置は、前記第１領域の座標に対応付けて前記第３領域の座標を設定してもよい。これにより、ジェスチャの認識が行われる第１領域と、表示が行われる第３領域との関係が規則的となり、ユーザは、ジェスチャと表示の関係を直感的に認識し易くなる。
【００１４】
前記制御装置は、前記第１領域から前記第３領域への方向と同方向のベクトルを有する第３ジェスチャを前記画像認識装置が認識すると、前記第３領域を拡大又は縮小してもよい。これにより、表示装置に表示される第３領域に対して接近又は離間する第３ジェスチャを行うと、第３ジェスチャに応じて第３領域が拡大又は縮小される。従って、ユーザは、第３領域の表示倍率又は表示範囲を感覚的に調整することが可能となる。
【００１５】
前記制御装置は、前記第３領域の中央部分と前記第１領域の中央部分とを結ぶ線と垂直方向のベクトルを有する第４ジェスチャを前記画像認識装置が認識すると、前記第４ジェスチャのベクトルに応じて前記第３領域の表示を前記第２領域内の他の領域に変化させてもよい。これにより、第３領域に対して平行な第４ジェスチャが行われた場合、第３領域の位置（撮像領域全体における位置）がユーザの動きに沿って変化することとなる。従って、ユーザは、第３領域の位置を感覚的に調整することが可能となる。
【００１６】
前記制御装置は、前記ユーザが第５ジェスチャを行ったことを前記画像認識装置が認識すると前記第３領域の表示を開始してもよい。これにより、表示装置への第３領域の表示を必要なときにのみ利用することが可能となる。
【発明の効果】
【００１７】
本発明によれば、ジェスチャを認識するための画像を別の用途でも活用することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るジェスチャ入力装置を搭載した車両の一部を簡略的に示すブロック図である。
【図２】前記実施形態において、前記ジェスチャ入力装置が動作中の様子の一例を示す図である。
【図３】前記実施形態におけるカメラユニットの概観斜視図である。
【図４】図４Ａは、前記実施形態における前記カメラユニットと運転者の手の第１関係を示す図であり、図４Ｂは、前記実施形態における前記カメラユニットと前記運転者の手の第２関係を示す図である。
【図５】図５は、前記実施形態における画像の領域区分を説明するための図である。
【図６】図６Ａは、前記実施形態における画像処理の基本的な考え方を説明するための第１図であり、図６Ｂは、前記実施形態における画像処理の基本的な考え方を説明するための第２図である。
【図７】前記実施形態の電子制御装置の制御の全体的な流れを示すフローチャートである。
【図８】前記実施形態における撮像領域制御のフローチャート（図７のＳ８の詳細）である。
【図９】前記実施形態における表示制御のフローチャート（図７のＳ９の詳細）である。
【図１０】図１０Ａは、変形例に係るカメラユニットの第１状態を示す図であり、図１０Ｂは、変形例に係るカメラユニットの第２状態を示す図である。
【図１１】ヘッドアップディスプレイの表示の変形例を示す図である。
【発明を実施するための形態】
【００１９】
Ａ．一実施形態
［Ａ１．車両１０の構成］
（Ａ１−１．車両１０の全体構成）
図１は、本発明の一実施形態に係るジェスチャ入力装置１２（以下「入力装置１２」ともいう。）を搭載した車両１０の一部を簡略的に示すブロック図である。図２は、前記実施形態において、ジェスチャ入力装置１２が動作中の様子の一例を示す図である。車両１０は、入力装置１２に加え、１つ又は複数の車載機器１４と、ヘッドアップディスプレイ１６（以下「ＨＵＤ１６」という。）とを有する。
【００２０】
（Ａ１−２．ジェスチャ入力装置１２）
（Ａ１−２−１．ジェスチャ入力装置１２の全体構成）
ジェスチャ入力装置１２は、運転者３００（図２）がジェスチャを入力するための装置である。図１に示すように、ジェスチャ入力装置１２は、カメラユニット２０と、電子制御装置２２（以下「ＥＣＵ２２」という。）とを有する。
【００２１】
（Ａ１−２−２．カメラユニット２０）
図３は、本実施形態におけるカメラユニット２０の概観斜視図である。図１及び図３に示すように、カメラユニット２０は、カメラ３０と、ミラー３２と、アクチュエータ３４と、ハウジング３６と、角度センサ３８とを有する。図４Ａは、本実施形態におけるカメラユニット２０と運転者３００の手３０２の第１関係を示す図であり、図４Ｂは、本実施形態におけるカメラユニット２０と運転者３００の手３０２の第２関係を示す図である。なお、図４Ａ及び図４Ｂにおいて、参照符号３１０は、運転者３００が掴もうとしている物体（以下「周辺物体３１０」という。）であり、図２では人形として示されている。
【００２２】
カメラ３０は、運転者３００のジェスチャを撮像すると共に、運転者３００の周辺（特に、助手席４２）を撮像する。図２に示すように、カメラ３０は、車幅方向の略中央（運転席４０と助手席４２の中間）においてインスツルメントパネル４４内に配置される、これにより、カメラ３０は、運転者３００の両手のうち助手席４２側の手３０２（本実施形態では車両１０の右側にハンドル４６があるため、左手）の動きを撮像すると共に、助手席４２及びその周辺を撮像することができる。
【００２３】
図４Ａ及び図４Ｂに示すように、本実施形態では、カメラ３０の撮像領域２００は、直接入力領域２０２及び反射入力領域２０４を含む。直接入力領域２０２は、ミラー３２を介することなく、カメラ３０に直接結像する領域である。反射入力領域２０４は、ミラー３２に反射してカメラ３０に結像する領域である。直接入力領域２０２と反射入力領域２０４とが一部重複してもよい。
【００２４】
なお、本実施形態では、カメラ３０に直接結像するものの、ジェスチャの認識に用いられない領域２０６（以下「未利用領域２０６」ともいう。）も存在するが、未利用領域２０６を設けない構成（又は未利用領域２０６を直接入力領域２０２に含めて処理する構成）も可能である。
【００２５】
図４Ａ及び図４Ｂにおいて、θｃはカメラ３０の画角である。図４Ａ及び図４Ｂからもわかるように、本実施形態では画角θｃを有効利用するため、カメラ３０の光軸を上向きに傾斜させている。すなわち、画角θｃは、ジェスチャを認識するために必要な画角よりも大きいため、余分な画角を助手席４２の座面又はその付近を撮像し、ＨＵＤ１６に表示するために用いる。図４Ａ及び図４Ｂでは、垂直方向（Ｚ方向）におけるカメラユニット２０と助手席４２の座面の距離が比較的短く（又は高さの相違が比較的少なく）なっているが、実際上は、両者の距離がもっと長いことに留意されたい。
【００２６】
図５は、本実施形態における画像２１０の領域区分を説明するための図である。図５における画像２１０は、撮像領域２００に対応してカメラ３０が取得したものである。画像２１０は、直接入力画像２１２と、反射入力画像２１４と、未利用画像２１６を含む。直接入力画像２１２は、直接入力領域２０２に対応し、反射入力画像２１４は、反射入力領域２０４に対応し、未利用画像２１６は、未利用領域２０６に対応する。反射入力画像２１４は、ミラー３２に反射したものであるため、上下が反転している。また、未利用領域２０６が存在しない場合、未利用画像２１６も存在しない。
【００２７】
図５において、直接入力画像２１２には手３０２の画像２２０が含まれており、また、反射入力画像２１４には周辺物体３１０の画像２２２が含まれている。
【００２８】
ミラー３２は、平板状であり、その反射面５０が下向きに配置される。また、ミラー３２は、運転者３００側の基部５２（図４Ａ及び図４Ｂ）を基準としてアクチュエータ３４に回転可能に支持されている。このため、ミラー３２は、アクチュエータ３４によりその回転角度θｍ［°］を調整することで、カメラ３０の撮像領域２００を変化させることができる。
【００２９】
アクチュエータ３４は、ミラー３２の回転角度θｍ（以下「角度θｍ」又は「ミラー角度θｍ」ともいう。）を調整するものであり、例えば、モータから構成される。アクチュエータ３４は、ＥＣＵ２２からの指令に基づいて作動する。図３に示すように、ハウジング３６は、直方体状を基調とし、内部にカメラ３０、ミラー３２、アクチュエータ３４及び角度センサ３８を収容する（但し、図３、図４Ａ及び図４Ｂでは角度センサ３８を図示していない。）。角度センサ３８（図１）は、ミラー３２の角度θｍを検出してＥＣＵ２２に出力する。
【００３０】
（Ａ１−２−３．ＥＣＵ２２）
ＥＣＵ２２は、ジェスチャ入力装置１２全体を制御するものであり、図１に示すように、ＥＣＵ２２は、入出力部７０、演算部７２及び記憶部７４を有する。入出力部７０は、車載機器１４、ＨＵＤ１６、カメラ３０等との間で信号の入出力を行う。
【００３１】
演算部７２は、ジェスチャ入力装置１２の各部を制御するための各種演算を行う。演算部７２は、画像分割部８０、ジェスチャ処理部８２、画像加工部８４、統合処理部８６及びアクチュエータ制御部８８を備える。本実施形態において、画像分割部８０、ジェスチャ処理部８２、画像加工部８４、統合処理部８６及びアクチュエータ制御部８８は、記憶部７４に記憶された制御プログラムを起動することにより実現される。或いは、一部をハードウェアにより構成してもよい。
【００３２】
画像分割部８０は、カメラ３０が取得した画像２１０を直接入力領域２０２に対応する直接入力画像２１２と、反射入力領域２０４に対応する反射入力画像２１４とに分割する。未利用領域２０６が存在する場合、画像分割部８０は、未利用領域２０６に対応する未利用画像２１６も区別する。さらに、画像分割部８０は、反射入力画像２１４の上下を反転させる。
【００３３】
ジェスチャ処理部８２は、画像２１０に含まれる手３０２のジェスチャを判定又は認識する。画像加工部８４は、ＨＵＤ１６に表示するために画像２１０（直接入力画像２１２及び反射入力画像２１４）を加工する。
【００３４】
統合処理部８６は、ジェスチャ処理部８２と画像加工部８４の処理結果を用いてＨＵＤ１６の表示及びアクチュエータ３４の動作量（回転角度θｍ）の目標値（以下「目標回転角度θｍ＿ｔａｒ」又は「目標角度θｍ＿ｔａｒ」という。）を設定する。アクチュエータ制御部８８は、統合処理部８６が設定した目標回転角度θｍ＿ｔａｒに基づいてアクチュエータ３４を制御する。
【００３５】
記憶部７４は、演算部７２で用いる制御プログラム等の各種のプログラムやデータを記憶する。
【００３６】
（Ａ１−３．車載機器１４）
車載機器１４は、入力装置１２へのジェスチャ入力に基づいて操作対象機器として選択及び操作される。車載機器１４としては、例えば、ナビゲーション装置、オーディオ装置等（いずれも図示せず）を挙げることができる。ここにいう車載機器１４としては、特許文献２に記載のもの（特許文献２の図１等参照）を用いてもよい。
【００３７】
（Ａ１−４．ＨＵＤ１６）
ＨＵＤ１６は、各種の情報を表示する表示装置である。図２に示すように、ＨＵＤ１６は、インスツルメントパネル４４において運転席４０手前に配置される。これにより、運転者３００は、車両１０の運転中、視線をほとんどずらさずにＨＵＤ１６を見ることが可能となる。本実施形態では、カメラユニット２０のカメラ３０は、助手席４２の座面に対して斜め上方に位置するが、ＥＣＵ２２による処理により、ＨＵＤ１６には周辺物体３１０の平面視画像２２２（以下「画像２２２」ともいう。）が表示される（図２参照）。
【００３８】
［Ａ２．本実施形態における制御］
（Ａ２−１．基本的な考え方）
図６Ａ及び図６Ｂは、本実施形態における画像処理の基本的な考え方を説明するための第１図及び第２図である。図６Ａ及び図６Ｂにおける画像２１０は、直接入力画像２１２と反射入力画像２１４の区分をせず、直接入力画像２１２のみが存在すると仮定した状態のものであることに留意されたい。図６Ａにおいて、識別対象としての手３０２の画像２２０は、撮像領域２００に対応する画像２１０の一部である領域２３０（以下「ジェスチャ領域２３０」という。）を占めるのみである。このため、画像２１０のうちジェスチャ領域２３０以外の領域２３２（以下「未利用領域２３２」という。）は、無駄な領域ともいうことができる。
【００３９】
そこで、本実施形態では、図６Ｂに示すように、周辺物体３１０の画像２２２をＨＵＤ１６に表示する領域２３４（以下「表示領域２３４」という。）を未利用領域２３２から抽出して表示する。これにより、未利用領域２３２のうち表示領域２３４を有効活用することが可能となる。
【００４０】
（Ａ２−２．全体的な流れ）
図７は、本実施形態のＥＣＵ２２の制御の全体的な流れを示すフローチャートである。ステップＳ１において、ＥＣＵ２２（画像分割部８０）は、カメラ３０から画像２１０の情報（画像情報Ｉｉｍ）を取得する。
【００４１】
ステップＳ２において、ＥＣＵ２２（画像分割部８０）は、画像情報Ｉｉｍに含まれる画像２１０を直接入力領域２０２と反射入力領域２０４とに分割する。例えば、ＥＣＵ２２は、ミラー３２の角度θｍに基づいて直接入力領域２０２と未利用領域２０６の境界及び反射入力領域２０４と未利用領域２０６の境界を算出して両領域２０２、２０４を分割する。その際、画像２１０内部のエッジを検出するエッジ検出処理を行って各領域２０２、２０４、２０６の境界を判定してもよい。併せて、反射入力領域２０４は上下を反転させる。
【００４２】
ステップＳ３において、ＥＣＵ２２（ジェスチャ処理部８２）は、パターンマッチング等の画像認識技術を用いて直接入力画像２１２から認識対象Ｏｔａｒ（本実施形態では、運転者３００の手３０２）を抽出する。後述するステップＳ７及びその後のステップＳ８、Ｓ９と比較してステップＳ３における処理は、手３０２について空間座標（ＸＹＺ座標）を求めずに平面座標のみで行ってもよい。
【００４３】
ステップＳ４において、ＥＣＵ２２（ジェスチャ処理部８２）は、手３０２のジェスチャを検出（又は認識）する。すなわち、ＥＣＵ２２は、ステップＳ３で検出した認識対象Ｏｔａｒの動きを判定していかなるジェスチャが行われているかを判定する。
【００４４】
ステップＳ５において、ＥＣＵ２２は、ステップＳ４で検出したジェスチャが撮影モード開始ジェスチャであるか否かを判定する。撮影モード開始ジェスチャとしては、例えば、手３０２を握った後、開く行為を２度繰り返すことを用いることができる。
【００４５】
撮影モード開始ジェスチャが認識された場合（Ｓ５：ＹＥＳ）、ステップＳ６において、ＥＣＵ２２は、撮影モードを開始する。例えば、ＥＣＵ２２は、撮影モードを示すフラグＦＬＧ１を、撮影モード中でないことを示す「０」から、撮影モード中であることを示す「１」に切り替える。
【００４６】
ステップＳ７において、ＥＣＵ２２（画像加工部８４）は、認識対象ＯｔａｒのＸＹＺ座標を、画像２１０（特に、直接入力画像２１２）に基づいて算出する。ここにいうＸ座標は、車両１０の前後方向を示し、Ｙ座標は、車両１０の車幅方向を示し、Ｚ座標は、車両１０の上下方向を示す。
【００４７】
ステップＳ８において、ＥＣＵ２２（統合処理部８６及びアクチュエータ制御部８８）は、撮像領域制御を実行する。撮像領域制御は、手３０２のＸ座標（奥行き）に合わせてミラー３２の回転角度θｍを変化させることにより、カメラ３０の撮像領域２００（特に反射入力領域２０４）を調整する制御である。例えば、図４Ａに示すように、手３０２が比較的前側にある場合、ＥＣＵ２２は、手３０２のＸ座標に合わせて反射入力領域２０４が前側に対応するようにミラー３２の角度θｍを調整する。また、図４Ｂに示すように、手３０２が比較的後ろ側にある場合、ＥＣＵ２２は、手３０２のＸ座標に合わせて反射入力領域２０４が後ろ側に対応するようにミラー３２の角度θｍを調整する。
【００４８】
本実施形態における撮像領域制御の制御対象は、主としてミラー３２であるため、ミラー制御ともいうことができる。但し、後述するように、その他の構成要素（例えば、カメラ３０）を撮像領域制御の制御対象とすることもできる。
【００４９】
図７のステップＳ９において、ＥＣＵ２２（画像加工部８４及び統合処理部８６）は、表示制御を実行する。表示制御は、手３０２の下方の画像（又は表示領域２３４の画像）をＨＵＤ１６に表示させる制御である。例えば、図２に示すように、手３０２の下方に周辺物体３１０が存在する場合、周辺物体３１０の画像２２２をＨＵＤ１６に表示させる。本実施形態では、表示領域２３４を反射入力領域２０４の中で設定する。本実施形態における表示制御の制御対象は、主としてＨＵＤ１６であるため、ＨＵＤ制御ともいうことができる。
【００５０】
ステップＳ５に戻り、ステップＳ４で検出したジェスチャが撮影モード開始ジェスチャでない場合又はステップＳ４で何らのジェスチャも検出されていない場合（Ｓ５：ＮＯ）、ステップＳ１０に進む。ステップＳ１０において、ＥＣＵ２２（統合処理部８６）は、ステップＳ４で検出したジェスチャが撮影モード終了ジェスチャであるか否かを判定する。撮影モード終了ジェスチャとしては、例えば、手３０２を開いた後、握る行為を２度繰り返すことを用いることができる。
【００５１】
ステップＳ４で検出したジェスチャが撮影モード終了ジェスチャでない場合又はステップＳ４で何らのジェスチャも検出されていない場合（Ｓ１０：ＮＯ）、ステップＳ１１に進む。ステップＳ１１において、ＥＣＵ２２（統合処理部８６）は、撮影モード中であるか否かを判定する。当該判定は、例えば、フラグＦＬＧ１に基づいて行う。撮影モード中である場合（Ｓ１１：ＹＥＳ）、ステップＳ７に進む。撮影モード中でない場合（Ｓ１１：ＮＯ）、今回の処理を終え、ステップＳ１に戻る。
【００５２】
ステップＳ１０に戻り、ステップＳ４で検出したジェスチャが撮影モード終了ジェスチャである場合（Ｓ１０：ＹＥＳ）、ステップＳ１２において、ＥＣＵ２２（統合処理部８６）は、撮影モードを終了する。例えば、ＥＣＵ２２は、前記フラグＦＬＧ１を「１」から「０」に変更する。ステップＳ１２の後、今回の処理を終え、ステップＳ１に戻る。
【００５３】
（Ａ２−３．撮像領域制御（ミラー制御））
図８は、本実施形態における撮像領域制御のフローチャート（図７のＳ８の詳細）である。ステップＳ２１において、ＥＣＵ２２（統合処理部８６）は、認識対象Ｏｔａｒ（手３０２）のＸ座標（奥行き）を取得する。Ｘ座標は、図７のステップＳ７で算出したものを用いることができる。
【００５４】
ステップＳ２２において、ＥＣＵ２２（統合処理部８６）は、認識対象Ｏｔａｒ（手３０２）のＸ座標に基づいてミラー３２の目標角度θｍ＿ｔａｒを設定する。すなわち、図６Ａ及び図６Ｂに示すように、本実施形態では、助手席４２又はその周辺のうち手３０２の下方を表示領域２３４とする。また、図４Ａ、図４Ｂに示すように、本実施形態では、助手席４２の座面又はその周辺は、反射入力領域２０４（又は反射入力画像２１４）に対応する。このため、ＥＣＵ２２は、手３０２のＸ座標の下方に反射入力領域２０４の奥行の中心点が来るように目標角度θｍ＿ｔａｒを設定する。
【００５５】
ステップＳ２３において、ＥＣＵ２２（統合処理部８６）は、角度センサ３８からミラー３２の角度θｍを取得する。ステップＳ２４において、ＥＣＵ２２（統合処理部８６）は、目標角度θｍ＿ｔａｒ及び角度θｍに基づいてアクチュエータ３４を作動させる。例えば、目標角度θｍ＿ｔａｒ及び角度θｍの差に基づくフィードバック制御を行う。これにより、手３０２の下方に対応させて反射入力領域２０４を設定することが可能となる。
【００５６】
（Ａ２−４．表示制御（ＨＵＤ制御））
図９は、本実施形態における表示制御のフローチャート（図７のＳ９の詳細）である。ステップＳ３１において、ＥＣＵ２２（統合処理部８６）は、図７のステップＳ４で表示変更ジェスチャが検出されたか否かを判定する。表示変更ジェスチャは、ＨＵＤ１６の表示（表示範囲、表示倍率等）の変更を指令するジェスチャである。
【００５７】
本実施形態の表示変更ジェスチャとしては、例えば、次のものを用いる。
（ａ）  表示倍率を上げる（又は表示範囲を狭める）ジェスチャ
助手席４２の座面に対して垂直方向に手３０２を近づける。
（ｂ）  表示倍率を下げる（又は表示範囲を広げる）ジェスチャ
助手席４２の座面に対して垂直方向に手３０２を遠ざける。
（ｃ）  表示範囲を移動させる（又は助手席４２の座面上に存在する周辺物体３１０を探す）ジェスチャ
水平方向に手３０２を動かす。
【００５８】
上記表示倍率を上げる又は下げるジェスチャは、ジェスチャ領域２３０（図６Ｂ）から表示領域２３４への方向と同方向のベクトルを有するジェスチャということもできる。また、上記表示範囲を移動させるジェスチャは、表示領域２３４の中央部分とジェスチャ領域２３０の中央部分とを結ぶ線と垂直方向のベクトルを有するジェスチャともいうことができる。
【００５９】
図７のステップＳ４で表示変更ジェスチャが検出された場合（図９のＳ３１：ＹＥＳ）、ステップＳ３２において、ＥＣＵ２２（統合処理部８６）は、表示変更ジェスチャが示す表示変更を行う。
【００６０】
図７のステップＳ４で表示変更ジェスチャが検出されていない場合（Ｓ３１：ＮＯ）又はステップＳ３２の後、ステップＳ３３（統合処理部８６）において、ＥＣＵ２２は、認識対象Ｏｔａｒ（手３０２）のＸＹＺ座標を取得する。ＸＹＺ座標は、図７のステップＳ７で算出したものを用いることができる。
【００６１】
ステップＳ３４において、ＥＣＵ２２（画像加工部８４）は、ＸＹＺ座標に基づいて表示領域２３４の表示範囲及び表示倍率を設定する。すなわち、図２、図４Ａ及び図４Ｂに示すように、本実施形態では、手３０２の下方をＨＵＤ１６に平面視で表示させる。このため、ＥＣＵ２２は、手３０２のＸＹＺ座標（及び表示変更ジェスチャ）に基づいて表示領域２３４の表示範囲及び表示倍率を設定する。上記のように、本実施形態では、表示領域２３４は、反射入力画像２１４の中で設定される。
【００６２】
ステップＳ３５において、ＥＣＵ２２（画像加工部８４）は、ステップＳ３４で設定した表示範囲及び表示倍率に基づいて画像２１０（特に反射入力画像２１４）をトリミング（又は抽出）する。ステップＳ３６において、ＥＣＵ２２は、角度センサ３８からミラー３２の角度θｍを取得する。
【００６３】
ステップＳ３７において、ＥＣＵ２２（画像加工部８４）は、ミラー角度θｍを用いて平面視処理を行う。すなわち、助手席４２の座面上の周辺物体３１０を平面視で表示するように、画像２１０に対して画像処理（歪み補正）を行う。ステップＳ３８において、ＥＣＵ２２（統合処理部８６）は、平面視処理後の画像２１０をＨＵＤ１６に表示させる。これにより、運転者３００は、手３０２と周辺物体３１０の相対関係（例えば、手３０２が周辺物体３１０に近づいていく様子）を、ＨＵＤ１６を見ながら知ることが可能となる。
【００６４】
［Ａ３．本実施形態における効果］
以上のような本実施形態によれば、カメラ３０（撮像装置）が取得した画像２１０のうち画像認識に用いるジェスチャ領域２３０（第１領域）以外の未利用領域２３２（第２領域）の一部である表示領域２３４（第３領域）を表示させる（図６Ｂ、図７及び図９）。これにより、画像認識で用いていない表示領域２３４を表示することで、別の用途（例えば、ユーザ周辺の表示）で活用可能となる。従って、カメラ３０が取得した画像２１０のうち利用しない領域（未利用領域２３２）がある場合、表示領域２３４として用いることで未利用領域２３２を少なくすることが可能となる。
【００６５】
本実施形態において、ＥＣＵ２２（制御装置）は、ジェスチャ処理部８２（画像認識装置）が運転者３００（ユーザ）の表示変更ジェスチャ（第１ジェスチャ）を認識すると（図９のＳ３１：ＹＥＳ）、未利用領域２３２（第２領域）における表示領域２３４（第３領域）の位置又は範囲を変化させる（Ｓ３２）。これにより、運転者３００の要求に応じた位置又は範囲の画像２１０を表示することが可能となる。
【００６６】
本実施形態において、ジェスチャ入力装置１２は、光を反射させてカメラ３０（撮像装置）に入射させるミラー３２（反射屈折手段）をカメラ３０の撮像方向前方に有する（図３、図４Ａ及び図４Ｂ）。また、カメラ３０は、ミラー３２を通して未利用領域２３２（第２領域）を撮像する（図４Ａ及び図４Ｂ）。これにより、カメラ３０の撮像可能範囲を必要に応じて変更することが可能となる。
【００６７】
本実施形態において、ジェスチャ入力装置１２は、ミラー３２（反射屈折手段）を傾動させるアクチュエータ３４（傾動装置）を有する（図３、図４Ａ及び図４Ｂ）。また、ＥＣＵ２２は、ジェスチャ処理部８２（画像認識装置）が運転者３００（ユーザ）の表示変更ジェスチャ（第２ジェスチャ）を認識すると、アクチュエータ３４を介してミラー３２を傾動させ、ＨＵＤ１６（表示装置）が表示する表示領域２３４（第３領域）を変化させる（図７のＳ８、Ｓ９、図８及び図９）。これにより、カメラ３０の撮像可能範囲を運転者３００の意思に応じて変更することが可能となる。
【００６８】
本実施形態において、ＥＣＵ２２は、手３０２の下方に表示領域２３４（第３領域）を設定する（図２）。換言すると、ＥＣＵ２２は、ジェスチャ領域２３０（第１領域）の座標に対応付けて表示領域２３４（第３領域）の座標を設定する。これにより、ジェスチャの認識が行われるジェスチャ領域２３０と、表示が行われる表示領域２３４との関係が規則的となり、運転者３００（ユーザ）は、ジェスチャと表示の関係を直感的に認識し易くなる。
【００６９】
本実施形態において、ＥＣＵ２２は、ジェスチャ領域２３０（第１領域）から表示領域２３４（第３領域）への方向と同方向のベクトルを有する表示変更ジェスチャ（第３ジェスチャ）をジェスチャ処理部８２（画像認識装置）が認識すると、表示領域２３４を拡大又は縮小する（図９のＳ３２）。これにより、ＨＵＤ１６に表示される表示領域２３４（第３領域）に対して接近又は離間する第３ジェスチャを行うと、第３ジェスチャに応じて表示領域２３４が拡大又は縮小される。従って、運転者３００は、表示領域２３４の表示倍率又は表示範囲を感覚的に調整することが可能となる。
【００７０】
本実施形態において、ＥＣＵ２２は、表示領域２３４（第３領域）の中央部分とジェスチャ領域２３０（第１領域）の中央部分とを結ぶ線と垂直方向のベクトルを有する表示変更ジェスチャ（第４ジェスチャ）をジェスチャ処理部８２（画像認識装置）が認識すると、第４ジェスチャのベクトルに応じて表示領域２３４の表示を未利用領域２３２（第２領域内）の他の領域に変化させる。これにより、表示領域２３４に対して平行な（水平な）第４ジェスチャが行われた場合、表示領域２３４の位置（撮像領域２００全体における位置）が運転者３００の動きに沿って変化することとなる。従って、運転者３００は、表示領域２３４の位置を感覚的に調整することが可能となる。
【００７１】
本実施形態において、ＥＣＵ２２は、運転者３００が撮影モード開始ジェスチャ（第５ジェスチャ）を行ったことをジェスチャ処理部８２（画像認識装置）が認識すると（図７のＳ５：ＹＥＳ）、ＨＵＤ１６への表示を行う（Ｓ９）。これにより、ＨＵＤ１６への表示領域２３４の表示を必要なときにのみ利用することが可能となる。
【００７２】
Ｂ．変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
【００７３】
［Ｂ１．適用対象］
上記実施形態では、ジェスチャ入力装置１２を車両１０に適用した例を説明した（図１）。しかしながら、例えば、カメラ３０の画像２１０をジェスチャの認識のみならず、表示に用いる観点からすれば、これに限らない。例えば、その他の移動物体（例えば、船舶又は航空機）に入力装置１２を適用することも可能である。或いは、移動物体以外の装置（例えば、家電製品又は製造装置）に入力装置１２を適用してもよい。
【００７４】
［Ｂ２．ジェスチャ入力装置１２］
（Ｂ２−１．全体構成）
上記実施形態では、手３０２のジェスチャを撮像するようにカメラ３０を配置し（図２）、手３０２のジェスチャに基づいた制御を行った（図７等）。しかしながら、例えば、カメラ３０の画像２１０をジェスチャの認識のみならず、表示に用いる観点からすれば、これに限らない。例えば、運転者３００の顔（又は頭部）のジェスチャを撮像するようにカメラ３０を配置することも可能である。この場合、表示領域２３４（図６Ｂ）としては、例えば、顔の横後方を対象とすることが可能である。また、この際の表示変更ジェスチャとしては、例えば、運転者３００の首を、運転者３００が見たい方向に所定角度２回動かすことができる。
【００７５】
（Ｂ２−２．カメラユニット２０）
上記実施形態では、カメラ３０の撮像領域２００を助手席４２又はその周辺とした（図２及び図４参照）。しかしながら、例えば、カメラ３０の画像２１０をジェスチャの認識のみならず、表示に用いる観点からすれば、これに限らない。例えば、運転席４０又はその周辺を撮像領域２００としてもよい。或いは、カメラ３０を車外に向けて配置した場合、車外を撮像領域２００とすることも可能である。
【００７６】
上記実施形態では、ミラー３２の回転角度θｍを１軸でのみ調整可能とした。すなわち、反射入力領域２０４を車両１０の前後方向（奥行方向）に調整可能とした（図４Ａ及び図４Ｂ参照）。しかしながら、例えば、反射入力領域２０４を調整可能とする観点からすれば、これに限らない。例えば、車両１０の前後方向に加えて又はこれに代えて、車両１０の横方向に反射入力領域２０４を調整可能とすることもできる。
【００７７】
上記実施形態では、ミラー３２の基部５２の位置を固定した状態（又は回転のみ行う状態）でミラー３２を配置した（図４Ａ及び図４Ｂ）。しかしながら、例えば、カメラ３０の画像２１０をジェスチャの認識のみならず、表示に用いる観点からすれば、これに限らない。
【００７８】
図１０Ａは、変形例に係るカメラユニット２０ａの第１状態を示す図であり、図１０Ｂは、変形例に係るカメラユニット２０ａの第２状態を示す図である。図１０Ａ及び図１０Ｂからわかるように、カメラユニット２０ａでは、ミラー３２がカメラ３０の画角θｃから外れている状態（図１０Ａ）と、ミラー３２がカメラ３０の画角θｃ内にある状態（図１０Ｂ）とを切り替えることができる。
【００７９】
変形例に係るカメラユニット２０ａは、カメラ３０、ミラー３２、アクチュエータ３４、ハウジング３６及び角度センサ３８（図１０Ａ及び図１０Ｂでは図示せず）に加え、アーム９０及びワイヤ９２を有する。アーム９０の基端９４は、アクチュエータ３４により回転可能に連結されている。また、アーム９０の先端９６は、ミラー３２を回転可能に支持している。ワイヤ９２の一端は、アーム９０の基端９４側又はアクチュエータ３４側に固定され、他端は、ミラー３２に固定されている。ワイヤ９２は、アクチュエータ３４（又はその他の装置）により引っ張り力の調整又は巻き取り長さの調整を行うことで、アーム９０に対するミラー３２の回転角度θｍを可変とする。
【００８０】
カメラユニット２０ａの基準状態（図１０Ａ）では、アーム９０及びミラー３２が上方に位置することで、ミラー３２は、カメラ３０の画角θｃから外れた状態となる。一方、アクチュエータ３４の作動下においてアーム９０の先端９６が下方に移動すると共に、ワイヤ９２がアーム９０の基端９４側に引っ張られ、ミラー３２の先端側（図１０Ａ及び図１０Ｂ中右側）が上方に変位する。これにより、ミラー３２は、カメラ３０の画角θｃ内となり、反射入力領域２０４を利用可能となる。
【００８１】
上記実施形態では、撮像領域２００を変更するため、ミラー３２とアクチュエータ３４の組合せを用いた（図１、図４Ａ及び図４Ｂ）。換言すると、傾きを調整する対象はミラー３２であった。しかしながら、例えば、撮像領域２００を変更する観点からすれば、これに限らない。例えば、ミラー３２に加えて又はこれに代えて、カメラ３０の傾きを調整することも可能である。また、例えば、反射入力領域２０４を設ける観点からすれば、ミラー３２及びカメラ３０の傾きを調整しない構成（アクチュエータ３４を備えない構成）も可能である。
【００８２】
上記実施形態では、カメラ３０の画角θｃに含まれない領域を撮像するため又は周辺物体３１０の平面視画像２２２（図２）を高精度に表示するため、ミラー３２を反射屈折手段として用いた（図３、図４Ａ及び図４Ｂ）。しかしながら、例えば、カメラ３０の画角θｃに含まれない領域を撮像する観点又は周辺物体３１０の平面視画像２２２を高精度に表示する観点からすれば、これに限らない。例えば、ミラー３２に加えて又はこれに代えて、屈折レンズを用いることも可能である。
【００８３】
上記実施形態では、ミラー３２の回転角度θｍを角度センサ３８を用いて検出したが（図１）、角度θｍを検出又は推定する観点からすれば、これに限らない。例えば、撮像領域２００における直接入力領域２０２と反射入力領域２０４との境界の位置に応じて角度θｍを検出又は推定することも可能である。
【００８４】
（Ｂ２−３．ＥＣＵ２２）
（Ｂ２−３−１．ジェスチャ）
上記実施形態では、撮影モード開始条件として撮影モード開始ジェスチャを用いた（図７のＳ５）。しかしながら、例えば、撮影モードの開始（Ｓ６）を判定する観点からすれば、これに限らない。例えば、図示しない撮影モード開始ボタンが選択されたとき、撮影モードを開始することも可能である。
【００８５】
上記実施形態では、撮影モード終了条件として撮影モード終了ジェスチャを用いた（図７のＳ１０）。しかしながら、例えば、撮影モードの終了を判定する観点からすれば、これに限らない。例えば、図示しない撮影モード終了ボタンが選択されたとき、又は撮影モードの開始から所定時間（例えば５〜３０秒間のいずれかの値）が経過したとき、撮影モードを終了することも可能である。
【００８６】
（Ｂ２−３−２．表示）
上記実施形態では、画像２１０の表示領域２３４には、手３０２の下方の画像２１０（特に、反射入力画像２１４）を表示した（図２）。しかしながら、例えば、手３０２と周辺物体３１０との関係を表示する点に着目すれば、これに限らない。
【００８７】
図１１は、ＨＵＤ１６の表示の変形例を示す図である。図１１では、手３０２を示すアイコン１００と、周辺物体３１０を示すアイコン１０２と、手３０２と周辺物体３１０の距離Ｌを示す距離表示１０４とが含まれる。図１１の距離表示１０４は、距離Ｌを示す「３０ｃｍ」と、距離表示１０４が手３０２と周辺物体３１０の距離であることを示す矢印とが含まれる。
【００８８】
（Ｂ２−３−３．その他）
上記実施形態において、ＥＣＵ２２は、デジタル回路で構成することを想定していたが（図１）、一部又は全部をアナログ回路で構成してもよい。
【００８９】
上記実施形態では、カメラ３０の画像２１０のみを用いて手３０２のＸＹＺ座標を算出した（図７のＳ７）。しかしながら、例えば、手３０２のＸＹＺ座標を高精度に判定する観点からすれば、その他の方法を用いてもよい。例えば、カメラ３０の画像２１０に加えて又はこれに代えて非接触式の位置センサ（レーザ変移計等）を用いることも可能である。
【符号の説明】
【００９０】
１０…車両                            １２…ジェスチャ入力装置
１６…ＨＵＤ（表示装置）              ２２…ＥＣＵ（制御装置）
３０…カメラ（撮像装置）              ３２…ミラー（反射屈折手段）
３４…アクチュエータ（傾動装置）
８２…ジェスチャ処理部（画像認識装置）
２１０…画像                          ２３０…ジェスチャ領域（第１領域）
２３２…未利用領域（第２領域）        ２３４…表示領域（第３領域）
３００…運転者（ユーザ）
【図１】
2016110540.tif 000003
【図２】
2016110540.tif 000004
【図３】
2016110540.tif 000005
【図４】
2016110540.tif 000006
【図５】
2016110540.tif 000007
【図６】
2016110540.tif 000008
【図７】
2016110540.tif 000009
【図８】
2016110540.tif 000010
【図９】
2016110540.tif 000011
【図１０】
2016110540.tif 000012
【図１１】
2016110540.tif 000013