(57)【要約】【課題】処理負荷を低減することができるジェスチャ判定装置を提供する。【解決手段】ジェスチャ判定装置１は、図１（ａ）及び図１（ｂ）に示すように、主撮像領域３０を撮像する主撮像部３と、主撮像領域３０と一部が共通する従撮像領域４０を撮像する従撮像部４と、主撮像部３が撮像した主画像３１に基づいてジェスチャが判定できない場合、従撮像部４が撮像した従画像４１、及び主画像３１を用いてジェスチャを判定する制御部６と、を備えて概略構成されている。【選択図】図１
2017227966.tif 000002
【特許請求の範囲】
【請求項１】
主撮像領域を撮像する主撮像部と、
前記主撮像領域と一部が共通する従撮像領域を撮像する少なくとも１つの従撮像部と、
前記主撮像部が撮像した主画像に基づいてジェスチャが判定できない場合、前記少なくとも１つの従撮像部が撮像した少なくとも１つの従画像、及び前記主画像を用いて前記ジェスチャを判定する判定部と、
を備えたジェスチャ判定装置。
【請求項２】
前記判定部は、前記主画像に基づいて前記ジェスチャを行う検出対象の検出、及び前記検出対象の移動の追跡を行う、
請求項１に記載のジェスチャ判定装置。
【請求項３】
前記判定部は、前記検出対象の形状に関する前記ジェスチャの前提条件を有し、前記主画像によって前記検出対象の形状と前記前提条件とが一致しない場合、前記主画像と共に前記少なくとも１つの従画像を用いて前記検出対象の形状と前記前提条件とが一致するか確認する、
請求項２に記載のジェスチャ判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ判定装置に関する。
【背景技術】
【０００２】
従来の技術として、ジェスチャを行う被写体からカメラまでの距離と、２つのカメラの結像面内での被写体の移動トレースの特徴と、の関数として、ジェスチャがプッシュ又はプルであるかを決定するジェスチャを認識する装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１３−５２５９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし従来のジェスチャを認識する装置は、２つのカメラで撮像した画像を処理するので、処理負荷が大きい問題がある。
【０００５】
従って本発明の目的は、処理負荷を低減することができるジェスチャ判定装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、主撮像領域を撮像する主撮像部と、主撮像領域と一部が共通する従撮像領域を撮像する少なくとも１つの従撮像部と、主撮像部が撮像した主画像に基づいてジェスチャが判定できない場合、少なくとも１つの従撮像部が撮像した少なくとも１つの従画像、及び主画像を用いてジェスチャを判定する判定部と、を備えたジェスチャ判定装置を提供する。
【発明の効果】
【０００７】
本発明によれば、処理負荷を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】図１（ａ）は、実施の形態に係るジェスチャ判定装置の一例が配置された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。
【図２】図２は、実施の形態に係るジェスチャ判定装置のカメラ配置とその撮像領域の一例を示す概略図である。
【図３】図３は、実施の形態に係るジェスチャ判定装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、主撮像領域を撮像する主撮像部と、主撮像領域と一部が共通する従撮像領域を撮像する少なくとも１つの従撮像部と、主撮像部が撮像した主画像に基づいてジェスチャが判定できない場合、少なくとも１つの従撮像部が撮像した少なくとも１つの従画像、及び主画像を用いてジェスチャを判定する判定部と、を備えて概略構成されている。
【００１０】
このジェスチャ判定装置は、主画像に基づいてジェスチャを判定できない場合にのみ、主画像を補完するように、主撮像部とは異なる少なくとも１つの従撮像部によって撮像された少なくとも１つの従画像を用いてジェスチャの判定を行うので、常に複数の撮像部が撮像した画像に基づいて判定を行う場合と比べて、処理負荷を低減することができる。
【００１１】
[実施の形態]
（ジェスチャ判定装置１の概要）
図１（ａ）は、実施の形態に係るジェスチャ判定装置の一例が配置された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図２は、実施の形態に係るジェスチャ判定装置のカメラ配置とその撮像領域の一例を示す概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び図１（ｃ）では、主な情報の流れを矢印で示している。
【００１２】
ジェスチャ判定装置１は、例えば、検出対象によってなされたジェスチャに基づいて車両８に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、図１（ｃ）に示すナビゲーション装置８４、音楽及び映像再生装置８５などである。ジェスチャ判定装置１及び電子機器は、一例として、図１（ｃ）に示すように、車両通信システム８１を構成している。なお本実施の形態では、操作者の手９を検出対象とする。
【００１３】
ジェスチャ判定装置１は、図１（ａ）〜図２に示すように、主撮像領域３０を撮像する主撮像部３と、主撮像領域３０と一部が共通する従撮像領域を撮像する少なくとも１つの従撮像部と、主撮像部３が撮像した主画像３１に基づいてジェスチャが判定できない場合、少なくとも１つの従撮像部が撮像した少なくとも１つの従画像、及び主画像３１を用いてジェスチャを判定する判定部としての制御部６と、を備えて概略構成されている。
【００１４】
この制御部６は、主画像３１に基づいてジェスチャを行う手９の検出、及び手９の移動の追跡を行うように構成されている。また制御部６は、手９の形状に関するジェスチャの前提条件を有し、主画像３１によって手９の形状と前提条件とが一致しない場合、主画像３１と共に少なくとも１つの従画像を用いて手９の形状と前提条件とが一致するか確認するように構成されている。この前提条件は、後述する前提条件情報６１として制御部６が有している。
【００１５】
本実施の形態の少なくとも１つの従撮像部は、一例として、従撮像部４である。この従撮像部４は、例えば、図２に示すように、従撮像領域４０を撮像して従画像４１を生成する。主撮像領域３０と従撮像領域４０の共通の領域は、一例として、図２に示す共通領域５である。この共通領域５は、主撮像領域３０と従撮像領域４０が交わる領域であり、表示装置８７の正面に形成される。
【００１６】
なお従撮像部が複数である場合、従撮像部は、一例として、主撮像部３の左右に少なくとも１つずつ配置されても良いし、上下に少なくとも１つずつ配置されても良いし、上下左右に少なくとも１つずつ配置されても良い。
【００１７】
（主撮像部３及び従撮像部４の構成）
主撮像部３及び従撮像部４は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。
【００１８】
主撮像部３及び従撮像部４は、一例として、図１（ａ）に示すように、車両８のセンターコンソール８０に配置された表示装置８７の上に並んで配置されている。また主撮像部３及び従撮像部４は、例えば、近赤外線をそれぞれの撮像領域方向に照射して撮像するように構成されている。
【００１９】
主撮像部３は、表示装置８７の正面で行われたジェスチャが主撮像領域３０内に収まるように配置される。また従撮像部４は、表示装置８７の正面で行われたジェスチャが従撮像領域４０内に収まるように配置される。
【００２０】
主撮像部３は、周期的に主撮像領域３０を撮像し、撮像した主画像３１の情報として画像情報Ｓ１を生成して制御部６に出力する。また従撮像部４は、制御部６の制御によって必要とされたときに従撮像領域４０を撮像し、撮像した従画像４１の情報として画像情報Ｓ２を生成して制御部６に出力する。
【００２１】
（制御部６の構成）
制御部６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部６が動作するためのプログラムが格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【００２２】
制御部６は、例えば、図１（ｂ）に示すように、手形状情報６０、前提条件情報６１、及びジェスチャ情報６２をＲＯＭ又はＲＡＭに有している。また制御部６は、主撮像部３及び従撮像部４と電気的に接続されている。
【００２３】
手形状情報６０は、手の形状に関する情報である。制御部６は、例えば、主画像３１と手形状情報６０に基づいたパターンマッチング法に基づいて手の形状を判定する。
【００２４】
前提条件情報６１は、ジェスチャの判定の前提条件に関する情報である。この前提条件の判定は、例えば、パターンマッチング法によって行われる。手を払うジェスチャは、例えば、手を開き、かつ親指を上にして手を立てた手の形状が検出されることが前提条件である。手によって円を描くジェスチャは、例えば、手を握った状態で人差指を表示装置８７に向けた手の形状が検出されることが前提条件である。手を上下に移動させるジェスチャは、例えば、図２に示すように、手の掌を下に向けた手の形状が検出されることが前提条件である。
【００２５】
ジェスチャ情報６２は、例えば、ジェスチャに関する情報である。手９によって行われるジェスチャは、例えば、上述のように、手９を払うジェスチャ、手９によって円を描くように行われるジェスチャ、手９の掌を下に向けて上下に移動させるジェスチャなどである。制御部６は、例えば、パターンマッチング法に基づいて手９の移動とジェスチャ情報６２とを比較してジェスチャの判定を行う。
【００２６】
具体的には制御部６は、例えば、まず手９が主撮像領域３０において検出されたか否かを確認する。次に制御部６は、手９が検出されると手形状情報６０に基づいて手９の形状を判定する。次に制御部６は、判定した手９の形状が前提条件と一致するか前提条件情報６１に基づいて判定する。そして制御部６は、手９の形状が前提条件と一致すると、周期的に取得する複数の主画像３１に基づいて手９の移動を追跡し、手９の移動がジェスチャであるかジェスチャ情報６２に基づいて判定する。
【００２７】
制御部６は、判定したジェスチャに関する情報として操作情報Ｓ３を生成して出力する。操作対象の電子機器は、例えば、車両通信システム８１の後述する車両ＬＡＮ（Local Area Network）８２を介して取得した操作情報Ｓ３に基づいてジェスチャに応じた動作を行う。
【００２８】
ここで制御部６は、単眼でジェスチャを判定するモード（単眼モード）と、複眼でジェスチャを判定するモード（複眼モード）と、を備えている。
【００２９】
本実施の形態における単眼モードでは、主撮像部３が撮像した主画像３１に基づいてジェスチャを判定する。この単眼モードでは、従撮像部４による従画像４１の撮像は停止している。
【００３０】
また本実施の形態における複眼モードでは、主撮像部３及び従撮像部４が撮像した主画像３１及び従画像４１に基づいてジェスチャを判定する。つまり複眼モードは、主撮像部３が撮像した主画像３１に基づいてジェスチャが判定できない場合、従撮像部４が撮像した従画像４１も用いてジェスチャを判定するモードである。
【００３１】
図２に示すように、手９の掌を下にしてジェスチャが行われる場合、例えば、手９を斜め方向から撮像した主画像３１が得られる。この主画像３１は、図２に示すように、主に主撮像範囲３５が撮像された画像である。従って主撮像範囲３５に含まれる親指、人差指、中指などは撮像されるが、他の指に隠れるなどによって薬指及び小指が撮像されない場合がある。このように手９の指の一部が撮像されない場合、例えば、手９の形状の判定や前提条件の判定が困難となる可能性がある。
【００３２】
そこで制御部６は、単眼モードから複眼モードに移行し、主撮像範囲３５を補完する従撮像範囲４５が含まれる従画像４１と、主撮像範囲３５が含まれる主画像３１と、の互いに補い合う２つの画像を用いてジェスチャの判定を行う。この主撮像範囲３５と従撮像範囲４５とによって手９の指の全ての画像が揃い、手９の形状の判定や前提条件の判定が可能となる。
【００３３】
（車両通信システム８１の構成）
車両通信システム８１は、一例として、ＣＡＮ（Controller Area Network）などの規格を用いた通信システムである。車両通信システム８１は、例えば、車両ＬＡＮ（Local Area Network）８２を介してジェスチャ判定装置１やナビゲーション装置８４などが相互に通信を行う。
【００３４】
この車両通信システム８１は、一例として、図１（ｃ）に示すように、ジェスチャ判定装置１、車両制御部８３、ナビゲーション装置８４、音楽及び映像再生装置８５、空調装置８６及び表示装置８７などが相互に通信できるように構成されている。車両制御部８３は、例えば、この車両通信システム８１を制御するマイクロコンピュータである。
【００３５】
ナビゲーション装置８４が操作対象である場合、ジェスチャ判定装置１から出力された操作情報Ｓ３は、車両ＬＡＮ８２を介してナビゲーション装置８４に入力する。ナビゲーション装置８４は、入力した操作情報Ｓ３に基づいて動作を行う。
【００３６】
以下に、本実施の形態のジェスチャ判定装置１のジェスチャの判定に関する動作の一例について図３のフローチャートに従って説明する。
【００３７】
（動作）
ジェスチャ判定装置１の制御部６は、車両８の電源が投入されると、モードを単眼モードとして主撮像部３を制御し、主撮像領域３０を撮像した画像情報Ｓ１を周期的に取得する（Ｓｔｅｐ１）。
【００３８】
制御部６は、取得した画像情報Ｓ１に基づいて手９が撮像されているか、つまり手９が検出されているか確認する。制御部６は、手９が検出されている場合（Ｓｔｅｐ２：Ｙｅｓ）、主画像３１と手形状情報６０に基づいて手９の形状を判定する（Ｓｔｅｐ３）。
【００３９】
制御部６は、手９の形状が確定した場合（Ｓｔｅｐ４：Ｙｅｓ）、手９の形状がジェスチャの前提条件と一致するか否かを前提条件情報６１に基づいて判定する。制御部６は、前提条件が一致する場合（Ｓｔｅｐ５：Ｙｅｓ）、ジェスチャの判定を開始する（Ｓｔｅｐ６）と共に、モードを単眼モードとする（Ｓｔｅｐ７）。そして制御部６は、取得した主画像３１とジェスチャ情報６２とに基づいてジェスチャの判定を行う。
【００４０】
制御部６は、ジェスチャの判定が完了すると（Ｓｔｅｐ８：Ｙｅｓ）、ジェスチャが完了するか、手９が撮像されなくなる（手９がフレームアウトする）まで、取得した複数の主画像３１に基づいて手９の移動を追跡する。制御部６は、ステップ９の「Ｙｅｓ」が成立する、つまりジェスチャが完了するか手９がフレームアウトした場合（Ｓｔｅｐ９：Ｙｅｓ）、ジェスチャの判定結果を示す操作情報Ｓ３を生成して出力し（Ｓｔｅｐ１０）、次のジェスチャを検出するため、処理をステップ１に進める。
【００４１】
ここでステップ２において制御部６は、手９が検出されなかった場合（Ｓｔｅｐ２：Ｎｏ）、ステップ１に処理を進める。
【００４２】
またステップ４において制御部６は、主画像３１によって手９の形状が確定できなかった場合（Ｓｔｅｐ４：Ｎｏ）、モードを複眼モードとし（Ｓｔｅｐ１１）、従撮像部４を制御して従撮像領域４０を撮像させて従画像４１を取得する。制御部６は、主画像３１及び従画像４１に基づいて手９の形状を判定し（Ｓｔｅｐ１２）、ステップ５に処理を進める。
【００４３】
さらにステップ５において制御部６は、前提条件が一致しない場合（Ｓｔｅｐ５：Ｎｏ）、ステップ１に処理を進める。なお前提条件が一致する前に手９の動作が終了する、又はフレームアウトした場合、ステップ１に処理を進める。
【００４４】
またさらにステップ８において制御部６は、ジェスチャの判定が完了しない場合（Ｓｔｅｐ８：Ｎｏ）、手９がフレームアウトしているか確認する。制御部６は、手９がフレームアウトしていない場合（Ｓｔｅｐ１３：Ｎｏ）、ステップ８に処理を進めてジェスチャの判定を行う。また制御部６は、手９がフレームアウトした場合（Ｓｔｅｐ１３：Ｙｅｓ）、ジェスチャの判定ができなかったとする操作情報Ｓ３、つまりジェスチャなしとする操作情報Ｓ３をジェスチャの判定結果として出力する（Ｓｔｅｐ１０）。
【００４５】
（実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、処理負荷を低減することができる。このジェスチャ判定装置１は、主画像３１に基づいてジェスチャを判定できない場合にのみ、主画像３１を補完するように、主撮像部３とは異なる従撮像部４によって撮像された従画像４１を用いてジェスチャの判定を行うので、常に複数の撮像部が撮像した画像に基づいて判定を行う場合と比べて、消費電力を抑制すると共に処理負荷を低減することができる。
【００４６】
ジェスチャ判定装置１は、主撮像部３によって撮像できない部分を補うように従撮像部４が配置されるので、この構成を採用しない場合と比べて、ジェスチャの判定精度が向上する。
【００４７】
ジェスチャ判定装置１は、単眼モードと複眼モードを使い分けるので、常に複眼でジェスチャを判定する場合と比べて、複眼で撮像された複数の画像を常に処理せずジェスチャの判定速度が向上する。
【００４８】
上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００４９】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５０】
１…ジェスチャ判定装置、３…主撮像部、４…従撮像部、５…共通領域、６…制御部、８…車両、９…手、３０…主撮像領域、３１…主画像、３５…主撮像範囲、４０…従撮像領域、４１…従画像、４５…従撮像範囲、６０…手形状情報、６１…前提条件情報、６２…ジェスチャ情報、８０…センターコンソール、８１…車両通信システム、８２…車両ＬＡＮ、８３…車両制御部、８４…ナビゲーション装置、８５…映像再生装置、８６…空調装置、８７…表示装置
【図１】
2017227966.tif 000003
【図２】
2017227966.tif 000004
【図３】
2017227966.tif 000005