(57)【要約】【課題】ジェスチャの判定に伴う処理負荷を抑制することができるジェスチャ判定装置を提供する。【解決手段】ジェスチャ判定装置１は、撮像部３によって撮像された複数の画像３５に基づいて手９によってなされたジェスチャを判定すると共に手９を一の画像３５において認識できない場合、当該一の画像３５の後に取得した画像３５の縁３６に手９を含む物体を認識するための認識領域５０を設定する制御部５と、を備えて概略構成されている。【選択図】図２
2017224162.tif 000002
【特許請求の範囲】
【請求項１】
撮像部によって撮像された複数の画像に基づいて認識対象によってなされたジェスチャを判定すると共に前記認識対象を一の画像において認識できない場合、当該一の画像の後に取得した画像の縁に前記認識対象を含む物体を認識するための認識領域を設定するジェスチャ判定部を備えたジェスチャ判定装置。
【請求項２】
前記ジェスチャ判定部は、自身が起動した後に取得する最初の画像の縁に前記認識領域を設定する、
請求項１に記載のジェスチャ判定装置。
【請求項３】
前記ジェスチャ判定部は、前記認識対象が画像内に写り込む方向が予め定まる場合、前記写り込む方向に対応する当該画像の縁に部分的に前記認識領域を設定する、
請求項１又は２に記載のジェスチャ判定装置。
【請求項４】
前記ジェスチャ判定部は、前記認識対象を含む物体を画像の縁に設定した前記認識領域において認識した場合、前記ジェスチャを判定するための判定領域を画像の全体に設定する、
請求項１乃至３のいずれか１項に記載のジェスチャ判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ判定装置に関する。
【背景技術】
【０００２】
従来の技術として、操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、撮像手段による操作物体及び可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、位置特定手段によって特定された両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、同期移動判定手段によって肯定的な判定結果が得られた場合に、操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段と、を備えたジェスチャ認識装置が知られている（例えば、特許文献１参照。）。
【０００３】
このジェスチャ認識装置は、可動物体を移動させる動作がジェスチャと誤認識されることを回避することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２６８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来のようなジェスチャ認識装置は、撮像された領域全体に対して認識処理を行うので処理負荷が大きい。
【０００６】
従って本発明の目的は、ジェスチャの判定に伴う処理負荷を抑制することができるジェスチャ判定装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像部によって撮像された複数の画像に基づいて認識対象によってなされたジェスチャを判定すると共に認識対象を一の画像において認識できない場合、当該一の画像の後に取得した画像の縁に認識対象を含む物体を認識するための認識領域を設定するジェスチャ判定部を備えたジェスチャ判定装置を提供する。
【発明の効果】
【０００８】
本発明によれば、ジェスチャの判定に伴う処理負荷を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。
【図２】図２（ａ）は、実施の形態に係るジェスチャ判定装置が生成する画像の一例を示す概略図であり、図２（ｂ）は、認識領域の一例を示す概略図であり、図２（ｃ）は、判定領域の一例を示す概略図であり、図２（ｄ）は、変形例に係る認識領域の一例を示す概略図である。
【図３】図３は、実施の形態に係るジェスチャ判定装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、撮像部によって撮像された複数の画像に基づいて認識対象によってなされたジェスチャを判定すると共に認識対象を一の画像において認識できない場合、当該一の画像の後に取得した画像の縁に認識対象を含む物体を認識するための認識領域を設定するジェスチャ判定部を備えて概略構成されている。
【００１１】
このジェスチャ判定装置は、画像の全体を対象として認識対象の認識処理を行わず、画像の縁に認識対象を含む物体を認識するための認識領域を設定する。従ってジェスチャ判定装置は、画像の全体に認識処理を行う場合と比べて、ジェスチャの判定に伴う処理負荷を抑制することができる。
【００１２】
[実施の形態]
（ジェスチャ判定装置１の概要）
図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図２（ａ）は、実施の形態に係るジェスチャ判定装置が生成する画像の一例を示す概略図であり、図２（ｂ）は、認識領域の一例を示す概略図であり、図２（ｃ）は、判定領域の一例を示す概略図であり、図２（ｄ）は、変形例に係る認識領域の一例を示す概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び図１（ｃ）では、主な情報の流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。
【００１３】
ジェスチャ判定装置１は、例えば、なされたジェスチャに基づいて車両８に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、図１（ｃ）に示すナビゲーション装置８４及び音楽及び映像再生装置８５などである。ジェスチャ判定装置１及び電子機器は、一例として、図１（ｃ）に示すように、車両通信システム８１を構成している。
【００１４】
なお本実施の形態では、認識対象としての操作者の手９によってなされるジェスチャについて説明するがこれに限定されず、手９以外の操作者の体の一部やペンなどの物によるジェスチャであっても良い。
【００１５】
ジェスチャ判定装置１は、図１（ａ）〜図２（ｃ）に示すように、撮像部３によって撮像された複数の画像３５に基づいて手９によってなされたジェスチャを判定すると共に手９を一の画像３５において認識できない場合、当該一の画像３５の後に取得した画像３５の縁３６に手９を含む物体を認識するための認識領域５０を設定するジェスチャ判定部としての制御部５と、を備えて概略構成されている。
【００１６】
（撮像部３の構成）
撮像部３は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。
【００１７】
この撮像部３は、一例として、図１（ａ）に示すように、車両８の運転席と助手席の間のフロアコンソール８０ａに配置されたタッチパッド８８の近傍に配置されている。従って撮像領域３０は、タッチパッド８８の上方の領域である。撮像部３は、例えば、タッチパッド８８の上方において行われたジェスチャを撮像する。また、この撮像部３は、例えば、近赤外線を撮像領域３０方向に照射して撮像するように構成されている。
【００１８】
なお撮像部３の配置は、フロアコンソール８０ａに限定されず、例えば、表示装置８７の正面においてなされたジェスチャを撮像できるようにセンターコンソール８０ｂなどであっても良い。
【００１９】
撮像部３は、周期的に撮像領域３０を撮像し、撮像した画像の情報として画像情報Ｓ１を生成して制御部５に出力する。この撮像領域３０を撮像した画像は、一例として、図２（ａ）〜図２（ｄ）に示す画像３５である。
【００２０】
（制御部５の構成）
制御部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部５が動作するためのプログラムと、ジェスチャ情報５５と、が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【００２１】
制御部５は、一例として、手９が含まれない画像３５（背景画像）と、手９が含まれる画像３５と、の差分から手９を抽出し、抽出された手９とジェスチャ情報５５に基づくパターンマッチング法によってジェスチャを判定するように構成されている。なお手９の判定やジェスチャの判定は、パターンマッチング法以外の方法が用いられても良い。また背景画像は、例えば、ジェスチャ判定装置１が起動して最初に撮像した画像であっても良いし、予め設定された画像であっても良いし、走行中などに定期的に更新される画像であっても良い。
【００２２】
ジェスチャ情報５５は、例えば、手９によって行われるジェスチャに関する情報である。この手９によって行われるジェスチャは、例えば、手９を上下又は左右に移動させるジェスチャ、手９によって円を描くように行われるジェスチャなどである。なお上下左右は、特に断らない限り車両８の上下左右が基準となっている。
【００２３】
手９を上下又は左右に移動させるジェスチャは、一例として、図２（ｃ）に示すように、手９を広げて、かつ掌を撮像部３に向けて、つまりタッチパッド８８に手９をかざすように行われる。このジェスチャは、一例として、ナビゲーション装置８４が表示装置８７に表示させている地図画像を手９の移動方向にスクロールさせるジェスチャである。ナビゲーション装置８４は、例えば、操作情報Ｓ２に基づいて手９の移動方向に地図画像をスクロールさせる。
【００２４】
手９によって円を描くように行われるジェスチャは、一例として、指を立てた状態で行われるジェスチャである。このジェスチャは、例えば、ナビゲーション装置８４の音声ガイドの音量、音楽及び映像再生装置８５の音量などを調整するジェスチャである。例えば、操作者が指を立てて撮像部３に対して時計回りに円を描くジェスチャを行うと、音量が上がり、反時計回りに円を描くジェスチャを行うと、音量が下がる。また空調装置８６の場合は、例えば、操作情報Ｓ２に基づいて設定温度や風量が変化する。
【００２５】
制御部５は、図２（ａ）に示すように、画像３５内に手９が認識できない場合、画像３５の縁３６に認識領域５０を設定し、この認識領域５０のみに認識処理を行う。つまり制御部５は、画像３５の全体を認識領域として認識処理を行うのではなく、画像３５の縁３６に限定的に設定された認識領域５０のみで認識処理を行う。言い換えるなら認識領域５０は、画像３５の中央領域５１の周囲に形成される。
【００２６】
手９が画像３５として撮像されるためには、撮像領域３０内に手９が侵入していなければならない。撮像された一の画像３５に手９が含まれてない場合、一の画像３５の次に撮像された画像３５の中央に手９が認識される可能性よりは、画像３５の縁３６の近傍で認識される可能性の方が高い。これは、運転席又は助手席に着座する操作者がタッチパッド８８の上方に手９をかざす場合、例えば、図２（ｂ）に示すように、撮像領域３０の左右方向からタッチパッド８８の上方に手９を移動させる、つまり手９が画像３５内に写り込む方向が撮像領域３０の左右方向に予め定まるからである。
【００２７】
従って制御部５は、画像３５の中央領域５１に対して認識処理を行うよりも縁３６の認識領域５０に対して認識処理を行う方が手９を認識する可能性が高く、また認識処理における負荷が低減される。
【００２８】
この認識領域５０の幅は、物体の認識が可能な幅であれば良く、一例として、画像３５の縦の辺（短辺）の１／１０〜１／４程度である。この幅は、画像３５の縦の辺と横の辺とで幅が異なっても良い。また縦の辺が横の辺よりも幅が広くても良い。
【００２９】
制御部５は、手９を含む物体を画像３５の縁３６に設定した認識領域５０において認識した場合、ジェスチャを判定するための判定領域５２を画像３５の全体に設定するように構成されている。つまり制御部５は、認識領域５０における物体としての手９の認識は勿論のこと、認識領域５０における輝度の変化などによる物体の認識がなされた場合、ジェスチャを判定するため、認識領域５０を解除して画像３５の全体を判定領域５２に設定する。
【００３０】
また変形例として制御部５は、手９が画像３５内に写り込む方向が予め定まる場合、写り込む方向に対応する当該画像３５の縁３６に部分的に認識領域５０を設定する。具体的には、制御部５は、図２（ｄ）に示すように、手９が撮像領域３０に写り込む際に経由する可能性の高い縦の辺のみに認識領域５０を設定する。この変形例の認識領域５０は、図２（ｄ）の紙面左側の第１の認識領域５０ａ及び第２の認識領域５０ｂである。この変形例によれば、ジェスチャ判定装置１は、認識領域５０ａ及び認識領域５０ｂが上述の認識領域５０よりも小さいので、より処理負荷を低減することができる。
【００３１】
また変形例として制御部５は、自身が起動した後に取得する最初の画像３５の縁３６に認識領域５０を設定するように構成されても良い。この変形例では、最初の画像３５から連続的に認識領域５０が設定される。この変形例は、手９が撮像領域３０内に位置しないことが条件となる。
【００３２】
当該条件は、一例として、車両通信システム８１の車両制御部８３から取得する車両情報に基づいて、ドアの開閉から助手席に乗員が着座していない場合においてステアリングが把持されている、左手で操作される操作装置（イグニッションスイッチやレバーなど）が操作されているなどである。
【００３３】
（車両通信システム８１の構成）
車両通信システム８１は、一例として、ＣＡＮ（Controller Area Network）などの規格を用いた通信システムである。車両通信システム８１は、例えば、車両ＬＡＮ（Local Area Network）８２を介してジェスチャ判定装置１やナビゲーション装置８４などが通信を行う。
【００３４】
この車両通信システム８１は、一例として、図１（ｃ）に示すように、ジェスチャ判定装置１、車両制御部８３、ナビゲーション装置８４、音楽及び映像再生装置８５、空調装置８６、表示装置８７及びタッチパッド８８などが通信できるように構成されている。車両制御部８３は、例えば、この車両通信システム８１を制御するマイクロコンピュータである。
【００３５】
ジェスチャ判定装置１がナビゲーション装置８４を操作する場合、ジェスチャ判定装置１から出力された操作情報Ｓ２は、車両ＬＡＮ８２を介してナビゲーション装置８４に入力する。ナビゲーション装置８４は、入力した操作情報Ｓ２に基づいて動作を行う。
【００３６】
以下に、本実施の形態のジェスチャ判定装置１の動作の一例について図３のフローチャートに従って説明する。
【００３７】
（動作）
車両８の電源が投入されると、ジェスチャ判定装置１の撮像部３は、撮像した撮像領域３０の画像３５の情報である画像情報Ｓ１を周期的に出力する。制御部５は、画像情報Ｓ１に基づいて画像３５を取得する（Ｓｔｅｐ１）。
【００３８】
制御部５は、画像３５に基づいて認識対象である手９が認識されるか確認する。制御部５は、手９が認識されない場合（Ｓｔｅｐ２：Ｎｏ）、以降に取得される画像３５に認識領域５０を設定する（Ｓｔｅｐ３）。
【００３９】
制御部５は、取得した画像３５ごとに認識領域５０を設定し、認識領域５０で物体が認識されるか確認する。制御部５は、ステップ４の「Ｙｅｓ」が成立する、つまり認識領域５０において物体が認識されると（Ｓｔｅｐ４：Ｙｅｓ）、画像３５の全体を判定領域５２に設定し（Ｓｔｅｐ５）、ジェスチャの判定処理を行う（Ｓｔｅｐ６）。
【００４０】
制御部５は、ジェスチャの判定処理が終了すると、判定結果に基づいて操作情報Ｓ２を生成して接続された電子機器に出力し（Ｓｔｅｐ７）、ジェスチャの判定処理を終了する。この操作情報Ｓ２は、一例として、ジェスチャが判定されなかった場合も出力される。
【００４１】
ここでステップ２において制御部５は、手９が認識された場合（Ｓｔｅｐ２：Ｙｅｓ）、ステップ６に処理を進めてジェスチャの判定処理を行う。
【００４２】
なお制御部５は、手９が認識された後に画像３５から消える、つまりフレームアウトなどにより画像３５から手９が抽出できなくなった場合、ジェスチャの判定処理を中止する。
【００４３】
（実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、ジェスチャの判定に伴う処理負荷を抑制することができる。具体的には、ジェスチャ判定装置１は、画像３５の全体を対象として認識対象の認識処理を行わず、画像３５の縁３６に限定的に認識領域５０を設定する。従ってジェスチャ判定装置１は、画像の全体に認識処理を行う場合と比べて、ジェスチャの判定に伴う処理負荷を抑制することができる。
【００４４】
ジェスチャ判定装置１は、タッチパッド８８に手９をかざすようにジェスチャを行って操作対象を操作することができるので、タッチパッドによってのみ操作する場合と比べて、視線移動を抑制して操作負荷を低減することができる。
【００４５】
なお上述のジェスチャ判定装置１は、タッチパッド８８の上方で行われたジェスチャを検出するように構成されていたがこれに限定されず、ステアリングやセンターコンソール８０ｂなどの近傍で行われたジェスチャを検出するように構成されても良い。
【００４６】
上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００４７】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４８】
１…ジェスチャ判定装置、３…撮像部、５…制御部、８…車両、９…手、３０…撮像領域、３５…画像、３６…縁、５０…認識領域、５０ａ…第１の認識領域、５０ｂ…第２の認識領域、５１…中央領域、５２…判定領域、５５…ジェスチャ情報、８０ａ…フロアコンソール、８０ｂ…センターコンソール、８１…車両通信システム、８２…車両ＬＡＮ、８３…車両制御部、８４…ナビゲーション装置、８５…映像再生装置、８６…空調装置、８７…表示装置、８８…タッチパッド
【図１】
2017224162.tif 000003
【図２】
2017224162.tif 000004
【図３】
2017224162.tif 000005