(57)【要約】【課題】ジェスチャがなされた際の外的要因によるジェスチャの認識精度の低下を抑制することができるジェスチャ判定装置を提供する。【解決手段】このジェスチャ判定装置１は、図１（ａ）及び図１（ｂ）に示すように、ジェスチャの判定に必要な車両５のステアリング５０の少なくとも一部を含む背景画像である、予め定められた条件が満たされるまで使用される操作者の手を含まない第１の背景画像１２０を、予め定められた条件が満たされた後に使用されるステアリング５０を把持する操作者の手が含まれる第２の背景画像１２１に切り替える背景画像切替部１２を備えて概略構成されている。【選択図】図１
2016157171.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャの判定に必要な車両のステアリングの少なくとも一部を含む背景画像である、予め定められた条件が満たされるまで使用される操作者の手を含まない第１の背景画像を、前記予め定められた条件が満たされた後に使用される前記ステアリングを把持する操作者の手が含まれる第２の背景画像に切り替える背景画像切替部を備えるジェスチャ判定装置。
【請求項２】
前記背景画像切替部は、前記予め定められた条件として、前記第２の背景画像の候補である背景画像候補画像が予め定められた数蓄積された場合、前記蓄積された前記背景画像候補画像から前記ステアリングを安定して把持している画像を選択して前記第２の背景画像として前記第１の背景画像と切り替える、
請求項１に記載のジェスチャ判定装置。
【請求項３】
前記ステアリングの少なくとも一部を含む撮像領域を撮像する撮像部と、
前記背景画像切替部が生成した前記背景画像と前記撮像部が撮像した前記撮像領域の画像との差分に基づいて前記ジェスチャを判定するジェスチャ判定部と、
取得した前記ステアリングの操舵角が予め定められた角度内である場合、前記撮像部を制御して前記撮像領域を撮像させる制御部と、
を備えた請求項２に記載のジェスチャ判定装置。
【請求項４】
前記背景画像切替部は、前記撮像領域を撮像した画像のうち、一定期間内の前記手の動きが予め定められた範囲内であり、かつ前記ステアリングを把持している画像を背景画像候補画像として蓄積する、
請求項３に記載のジェスチャ判定装置。
【請求項５】
前記制御部は、前記ステアリングを除く操作装置が操作されたことを示すトリガ信号を取得した場合、取得した前記トリガ信号に基づいて前記第１の背景画像となる前記撮像領域の画像を撮像するように前記撮像部を制御する、
請求項２乃至４のいずれか１項に記載のジェスチャ判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ判定装置に関する。
【背景技術】
【０００２】
従来の技術として、手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、撮像手段の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段と、撮像手段の撮像範囲に手が存在する状態で撮像した画像である原画像データと初期画像データとの差分画像データを得る差分手段と、この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段と、この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを２値化処理する処理手段と、を備えたハンドパターンスイッチ装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４２６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この従来のハンドパターンスイッチ装置は、初期画像データが更新されないので、撮像する際の日光の当たり具合等の外的要因によって初期画像データの輝度と原画像データの輝度の差が想定より大きくなって、輝度検出手段で求めた平均輝度に基づく原画像データの２値化処理の精度が低下し、手の認識精度が低下する可能性がある。
【０００５】
従って、本発明の目的は、ジェスチャがなされた際の外的要因によるジェスチャの認識精度の低下を抑制することができるジェスチャ判定装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、ジェスチャの判定に必要な車両のステアリングの少なくとも一部を含む背景画像である、予め定められた条件が満たされるまで使用される操作者の手を含まない第１の背景画像を、予め定められた条件が満たされた後に使用されるステアリングを把持する操作者の手が含まれる第２の背景画像に切り替える背景画像切替部を備えるジェスチャ判定装置を提供する。
【発明の効果】
【０００７】
本発明によれば、ジェスチャがなされた際の外的要因によるジェスチャの認識精度の低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】図１（ａ）は、第１の実施の形態に係るジェスチャ判定装置が搭載された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置のブロック図の一例である。
【図２】図２（ａ）は、第１の実施の形態に係るジェスチャ判定装置を含む車両通信システムの一例を示すブロック図であり、図２（ｂ）は、ステアリングの操舵角を説明するための概略図である。
【図３】図３（ａ）は、第１の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図３（ｂ）は、第１の背景画像の一例を示す概略図である。
【図４】図４（ａ）及び図４（ｃ）は、第１の実施の形態に係るジェスチャ判定装置が判定するジェスチャの一例を示す概略図であり、図４（ｂ）及び図４（ｄ）は、第１の背景画像に基づく差分画像の一例を示す概略図である。
【図５】図５（ａ）は、第１の実施の形態に係るジェスチャ判定装置の第２の背景画像の生成について説明するための概略図であり、図５（ｂ）は、第２の背景画像の一例を示す概略図であり、図５（ｃ）は、ジェスチャの一例を示す概略図であり、図５（ｄ）は、第２の背景画像に基づく差分画像の一例を示す概略図である。
【図６】図６は、第１の実施の形態に係るジェスチャ判定装置の第１の背景画像を用いたジェスチャの判定の一例を示すフローチャートである。
【図７】図７は、第１の実施の形態に係るジェスチャ判定装置の第２の背景画像の作成の一例を示すフローチャートである。
【図８】図８（ａ）は、第２の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図８（ｂ）は、第２の背景画像の一例を示す概略図であり、図８（ｃ）は、ジェスチャの一例を示す概略図であり、図８（ｄ）は、差分画像の一例を示す概略図である。
【発明を実施するための形態】
【０００９】
（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、ジェスチャの判定に必要な車両のステアリングの少なくとも一部を含む背景画像である、予め定められた条件が満たされるまで使用される操作者の手を含まない第１の背景画像を、予め定められた条件が満たされた後に使用されるステアリングを把持する操作者の手が含まれる第２の背景画像に切り替える背景画像切替部を備えて概略構成されている。
【００１０】
[第１の実施の形態]
（ジェスチャ判定装置１の全体構成）
図１（ａ）は、第１の実施の形態に係るジェスチャ判定装置が搭載された車両内部の概略図であり、図１（ｂ）は、ジェスチャ判定装置のブロック図の一例である。図２（ａ）は、第１の実施の形態に係るジェスチャ判定装置を含む車両通信システムの一例を示すブロック図であり、図２（ｂ）は、ステアリングの操舵角を説明するための概略図である。図３（ａ）は、第１の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図３（ｂ）は、第１の背景画像の一例を示す概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び図２（ａ）では、主な信号や情報の流れを矢印で示している。
【００１１】
ジェスチャ判定装置１は、例えば、操作者によってステアリング５０を把持した状態から行われたジェスチャを判定し、電磁気的に接続された電子機器に、ジェスチャに基づく指示を与えるように構成されている。このステアリング５０を把持した状態から行われたジェスチャとは、例えば、ステアリング操作に支障がないようにステアリング５０を把持した状態の延長、つまり把持したステアリング５０から大きく離れることなくなされたジェスチャを示している。
【００１２】
本実施の形態のジェスチャ判定装置１は、一例として、運転席５９に着座する操作者の左手でなされたジェスチャを判定するものとする。
【００１３】
このジェスチャ判定装置１は、図１（ａ）及び図１（ｂ）に示すように、ジェスチャの判定に必要な車両５のステアリング５０の少なくとも一部を含む背景画像である、予め定められた条件が満たされるまで使用される操作者の手を含まない後述する第１の背景画像１２０を、予め定められた条件が満たされた後に使用されるステアリング５０を把持する操作者の手が含まれる後述する第２の背景画像１２１に切り替える背景画像切替部１２を備えて概略構成されている。
【００１４】
またジェスチャ判定装置１は、図１（ｂ）に示すように、ステアリング５０の少なくとも一部を含む撮像領域１００を撮像する撮像部１０と、背景画像切替部１２が生成した背景画像と撮像部１０が撮像した撮像領域１００の画像との差分に基づいてジェスチャを判定するジェスチャ判定部１４と、取得したステアリング５０の操舵角θが予め定められた角度範囲内である場合、撮像部１０を制御して撮像領域１００を撮像させる制御部１６と、を備えて概略構成されている。
【００１５】
この制御部１６は、図３（ａ）及び図３（ｂ）に示すように、ステアリング５０を除く操作装置が操作されたことを示すトリガ信号Ｓ５を取得した場合、取得したトリガ信号Ｓ５に基づいて第１の背景画像１２０となる撮像領域１００の画像を撮像するように撮像部１０を制御する。
【００１６】
また背景画像切替部１２は、撮像領域１００を撮像した画像のうち、一定期間内の手の動きが予め定められた範囲内であり、かつステアリング５０を把持している画像を背景画像候補画像として蓄積する。背景画像切替部１２は、例えば、図１（ｂ）に示すように、背景画像候補画像を蓄積情報１２５として記憶する。
【００１７】
さらに背景画像切替部１２は、上述の予め定められた条件として、第２の背景画像１２１の候補である背景画像候補画像が予め定められた数蓄積された場合、蓄積された背景画像候補画像からステアリング５０を安定して把持している画像を選択して第２の背景画像１２１として第１の背景画像１２０と切り替える。
【００１８】
つまりジェスチャ判定装置１は、例えば、車両５の走行前は、トリガ信号Ｓ５に基づいて手が含まれない第１の背景画像１２０を生成し、この第１の背景画像１２０に基づいてジェスチャを判定する。またジェスチャ判定装置１は、例えば、ステアリング５０の操舵角θが予め定められた角度範囲内であり、かつ手の動きが予め定められた範囲内であり、かつステアリング５０を把持しているような画像を、背景画像候補画像として蓄積し、この背景画像候補画像が予め定められた数蓄積された場合、蓄積された画像からステアリングを安定して把持している画像を選択して第２の背景画像１２１として第１の背景画像１２０と切り替えてジェスチャを判定する。
【００１９】
上述のステアリング５０を除く操作装置とは、例えば、操作者がステアリング５０を把持する手を離して操作するものである。撮像領域１００が、図３（ａ）に示すように、ステアリング５０を把持する左手を撮像するように設定されている場合、操作者の左側に位置して左手で操作される、空調装置、ナビゲーション装置、音楽及び映像再生装置等の操作装置の操作に応じて撮像領域１００が撮像される。この操作装置は、一例として、スタートスイッチ５２及びシフト装置５３である。撮像部１０は、スタートスイッチ５２及びシフト装置５３が操作される際には、左手がステアリング５０から離れているので、手が写り込まないステアリング５０のみの撮像領域１００を撮像することが可能である。
【００２０】
ここでステアリング５０は、図２（ｂ）に示すように、ステアリング５０の中央部分である中央部５００と、中央部５００から径方向に突出するスポーク５０１〜スポーク５０３と、スポーク５０１〜スポーク５０３と連結され、リング形状を有するリング５０４と、を備えて構成されている。
【００２１】
操作者は、例えば、図３（ａ）に示すように、スポーク５０１の上側のリング５０４の把持領域５０５とスポーク５０２の上側のリング５０４の把持領域５０６、又はスポーク５０１の下側のリング５０４の把持領域５０７とスポーク５０２の下側のリング５０４の把持領域５０８を把持してステアリング５０を操作する場合が、他の領域を把持して操作する場合に比べて安定して操作することができると考えられる。本実施の形態のジェスチャ判定装置１は、操作者の左手によるジェスチャを判定するので、スポーク５０１の上下に位置する把持領域５０５及び把持領域５０７を把持している状態からの左手のジェスチャを判定するように構成されている。
【００２２】
またスタートスイッチ５２は、例えば、図１（ａ）に示すように、ステアリング５０の左側のコラムカバー５１の近傍に配置されている。このスタートスイッチ５２は、例えば、なされたプッシュ操作とシフト装置５３のシフトレバー５３０の操作位置に応じて、ＯＦＦ（エンジン及び電源をオフする操作）、ＡＣＣ（一部の電子機器が使えるようにする操作）、ＳＴＡＲＴ（エンジンを始動させる操作）等の操作が可能となっている。スタートスイッチ５２は、図２（ａ）に示すように、操作に応じてスイッチ信号Ｓ６を出力するように構成されている。
【００２３】
さらにシフト装置５３は、例えば、運転席５９に着座する操作者の左側に配置されている。このシフト装置５３は、シフトレバー５３０を備えている。シフトレバー５３０は、例えば、Ｐポジション（駐車及びエンジンを始動させる操作位置）、Ｒポジション（後進させる操作位置）、Ｎポジション（エンジンの動力が車輪に伝達されない操作位置）、Ｄポジション（動力が伝達されて走行可能な操作位置）等の操作位置に操作可能に構成されている。シフト装置５３は、図２（ａ）に示すように、シフトレバー５３０の操作位置に応じたシフト情報Ｓ７を出力するように構成されている。
【００２４】
このスタートスイッチ５２及びシフト装置５３は、上述したように、操作者の左側に配置されているので、この操作装置を操作する際には、ステアリング５０から左手を離して操作される。従ってジェスチャ判定装置１は、スタートスイッチ５２及びシフト装置５３から出力されるスイッチ信号Ｓ６及びシフト情報Ｓ７に基づいたトリガ信号Ｓ５に応じて撮像領域１００を撮像することで、ステアリング５０が把持されていない状態で撮像領域１００を撮像することが可能となる。
【００２５】
操舵角θは、図２（ｂ）に示すように、中立位置５０９からのステアリング５０の回転角である。操舵角θは、図２（ｂ）の紙面において、中立位置５０９から右方向に操作された場合を正とし、中立位置５０９から左方向に操作された場合を負としている。この中立位置５０９とは、車両５が直進する際のステアリング５０の操作位置である。
【００２６】
車両通信システム５１０は、一例として、図２（ａ）に示すように、車両制御部５５と、スタートスイッチ５２と、シフト装置５３と、操舵角センサ５６と、電子機器５７と、車両ＬＡＮ（Local Area Network）５８と、を備えている。
【００２７】
車両制御部５５は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭ等から構成されるマイクロコンピュータである。車両制御部５５は、例えば、スタートスイッチ５２から取得したスイッチ信号Ｓ６、シフト装置５３から取得したシフト情報Ｓ７に基づいてトリガ信号Ｓ５を生成する。また車両制御部５５は、例えば、操舵角センサ５６から取得した操舵角情報Ｓ８に基づいて車両情報Ｓ９を生成する。
【００２８】
操舵角センサ５６は、ステアリング５０の操舵角θを検出するセンサである。操舵角センサ５６は、検出した操舵角θに応じた操舵角情報Ｓ８を生成する。
【００２９】
電子機器５７は、ジェスチャ判定装置１から出力されたジェスチャ情報Ｓ４によって指示された機能を実行するものである。この電子機器５７は、一例として、車両５に搭載された空調装置、ナビゲーション装置、音楽及び映像再生装置等である。
【００３０】
この車両ＬＡＮ５８は、ジェスチャ判定装置１とスタートスイッチ５２等との情報や信号の相互交換を可能とするように構成されている。
【００３１】
（撮像部１０の構成）
撮像部１０は、一例として、図１（ａ）に示すように、ステアリング５０に連結されたステアリングシャフトのカバーであるコラムカバー５１に配置されている。なお撮像部１０の配置は、コラムカバー５１に限定されず、車両５の天井６０等の撮像領域１００と同等の領域を撮像可能な場所であっても良い。
【００３２】
この撮像部１０は、一例として、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）等の固体撮像素子を備えたカメラである。
【００３３】
撮像部１０は、例えば、図１（ｂ）に示すように、制御部１６から出力される制御信号Ｓ１に従って撮像領域１００を撮像する。撮像部１０は、例えば、撮像領域１００を撮像した画像の情報を撮像情報Ｓ２として制御部１６に出力する。撮像部１０は、第１の背景画像１２０又は第２の背景画像１２１が生成された後、周期的に撮像領域１００を撮像する。この撮像周期は、一例として、２００ｍｓである。
【００３４】
なお撮像部１０は、一例として、赤外線カメラとして構成され、赤外線により撮像領域１００を照明する照明部を備えていても良い。
【００３５】
撮像部１０が撮像する撮像領域１００は、図３（ａ）及び図３（ｂ）に示すように、把持領域５０５及び把持領域５０７が含まれると共に、リング５０４を把持した状態からなされたジェスチャが含まれる領域となる。
【００３６】
なお変形例として、撮像部１０は、例えば、距離画像センサを含んで構成されても良い。この距離画像センサによって撮像された画像は、例えば、撮像された物体までの距離の情報を有している。この変形例におけるジェスチャ判定部１４は、例えば、この距離の情報に基づいて、背景画像と比較対象の画像との差分を求めてジェスチャを判定するように構成される。
【００３７】
（背景画像切替部１２の構成）
背景画像切替部１２は、トリガ信号Ｓ５の入力に基づいて撮像された画像に基づいて第１の背景画像１２０を生成し、蓄積情報１２５として蓄積された複数の背景画像候補画像から選択された画像に基づいて第２の背景画像１２１を生成する。この第１の背景画像１２０及び第２の背景画像１２１は、例えば、背景差分法における背景画像である。
【００３８】
この背景差分法とは、撮像した画像と背景画像とを比較することで、背景画像には存在しない物体を抽出する方法である。ジェスチャ判定装置１は、当該存在しない物体に基づいて、なされたジェスチャを判定する。
【００３９】
具体的には、背景差分法は、例えば、背景画像の画素ｎの画素値と、撮像された画像において、画素ｎに対応する画素の画素値と、の差を算出し、その差が設定されたしきい値より大きい場合、背景画像とは異なる画素とし、このしきい値より大きい画素が作る領域を、背景画像に存在しない物体として抽出する方法である。
【００４０】
従ってジェスチャの判定精度を向上させるためには、例えば、車両５の走行前には、把持されていないステアリング５０を含む第１の背景画像１２０に基づいてジェスチャを判定する方が好ましく、走行時には、ステアリング５０を安定して把持している第２の背景画像１２１に基づいてジェスチャを判定する方が好ましい。
【００４１】
なお撮像された画像は、例えば、ステアリング５０の裏側からの画像であるため、ステアリング５０の他に運転席５９等が含まれている。背景画像切替部１２は、例えば、図３（ｂ）に示すように、撮像領域１００に含まれるステアリング５０を抽出して第１の背景画像１２０とし、ステアリング５０とステアリング５０を把持している手９を抽出して第２の背景画像１２１（図５（ｂ）参照）とするように構成されている。
【００４２】
背景画像切替部１２は、ステアリング５０の操舵角θに関する条件が満たされたことによって撮像される画像の中から、一定期間内の手の動きが予め定められた範囲内であり、かつステアリング５０を把持している画像を、背景画像候補画像として蓄積し、蓄積情報１２５を生成する。
【００４３】
画像の撮像は、周期的に行われるので、一定期間とは、周期に基づく画像の数に換算できる。一例として、一定期間が１ｓ、周期が２００ｍｓである場合、一定期間に撮像された画像は、５枚となる。従って背景画像切替部１２は、一例として、この５枚における手の移動量が予め定められた範囲内であり、かつステアリング５０を把持している画像を背景画像候補画像とする。予め定められた範囲とは、一例として、５ｍｍである。
【００４４】
また背景画像切替部１２は、上述のように蓄積した背景画像候補画像が予め定められた数に達すると、この蓄積された背景画像候補画像の中から、ステアリング５０を安定して把持している画像を選択して第２の背景画像１２１とする。この予め定められた数とは、一例として、５０枚である。
【００４５】
このステアリング５０を安定して把持しているとは、一例として、ステアリング５０の左側のスポーク５０１の上下の把持領域５０５及び把持領域５０７を把持していることである。
【００４６】
この背景画像候補画像を蓄積する条件、及び蓄積された背景画像候補画像から第２の背景画像１２１を選択する条件は、条件情報１２４として背景画像切替部１２に記憶されている。
【００４７】
背景画像切替部１２は、例えば、第１の背景画像１２０及び第２の背景画像１２１に基づいて背景画像情報Ｓ３を生成し、制御部１６を介してジェスチャ判定部１４に出力する。
【００４８】
（ジェスチャ判定部１４の構成）
図４（ａ）及び図４（ｃ）は、第１の実施の形態に係るジェスチャ判定装置が判定するジェスチャの一例を示す概略図であり、図４（ｂ）及び図４（ｄ）は、第１の背景画像に基づく差分画像の一例を示す概略図である。図５（ａ）は、第１の実施の形態に係るジェスチャ判定装置の第２の背景画像の生成について説明するための概略図であり、図５（ｂ）は、第２の背景画像の一例を示す概略図であり、図５（ｃ）は、ジェスチャの一例を示す概略図であり、図５（ｄ）は、第２の背景画像に基づく差分画像の一例を示す概略図である。
【００４９】
ジェスチャ判定部１４は、図１（ｂ）に示すように、背景画像１２０と、パターン情報１４０と、を有している。背景画像１２３は、背景画像切替部１２から取得した背景画像情報Ｓ３に基づいた第１の背景画像１２０又は第２の背景画像１２１である。
【００５０】
パターン情報１４０は、ジェスチャ判定部１４が判定する、複数のジェスチャのパターンの情報である。
【００５１】
本実施の形態では、一例として、図４（ａ）及び図４（ｃ）に示すように、ステアリング５０を把持した状態からなされる人差指９２を立てるジェスチャ、及び手９を開くジェスチャについて説明する。この人差指９２を立てるジェスチャは、一例として、「Ｙｅｓ」を示すジェスチャである。また手９を開くジェスチャは、一例として、「Ｎｏ」を示すジェスチャである。例えば、ジェスチャ判定装置１が接続された電子機器が、ある機能の実行を許可する（Ｙｅｓ）か否（Ｎｏ）かを操作者に質問した場合、操作者は、人差指９２を立てるジェスチャ、又は手９を開くジェスチャを行うことにより、質問に対して応答することが可能となる。
【００５２】
操作者は、「Ｙｅｓ」の意思表示を行うため、図４（ａ）に示すように、操作者が把持領域５０５のステアリング５０のリング５０４を、親指９１、中指９３、薬指９４及び小指９５を用いて把持しつつ人差指９２を立てる。この場合、撮像部１０によって撮像される画像と図３（ｂ）の第１の背景画像１２０との差分画像１４５は、図４（ｂ）に示すように、ステアリング５０の画像が差分を取ることにより消去されるので、手９のみの画像である残画像１４６となる。従ってジェスチャ判定部１４は、主に、この差分画像１４５の残画像１４６とパターン情報１４０のパターンとを比較し、「Ｙｅｓ」を示すジェスチャであると判定する。
【００５３】
操作者は、「Ｎｏ」の意思表示を行うため、図４（ｃ）に示すように、操作者が把持領域５０５において、親指９１、人差指９２、中指９３、薬指９４及び小指９５を開く。この場合、撮像部１０によって撮像される画像と図３（ｂ）の第１の背景画像１２０との差分画像１４５は、図４（ｄ）に示すように、ステアリング５０の画像が消去されるので、手９のみの画像となる残画像１４６となる。従ってジェスチャ判定部１４は、主に、この差分画像１４５の残画像１４６とパターン情報１４０のパターンとを比較し、「Ｎｏ」を示すジェスチャであると判定する。
【００５４】
このジェスチャの判定は、第１の背景画像１２０に基づいて行われたが、図４（ｂ）及び図４（ｄ）に示すように、残画像１４６が手９のほぼ全体となる。図５（ａ）に示すように、手９が安定してステアリング５０を把持した画像に基づいた、図５（ｂ）に示す第２の背景画像１２１が使用された場合、図５（ｃ）に示す「Ｙｅｓ」のジェスチャの差分画像は、図５（ｄ）に示すように、主に、指の先端のみの残画像１４６となり判定が容易となる。従ってジェスチャ判定部１４は、背景画像切替部１２による第１の背景画像１２０及び第２の背景画像１２１の切り替えにより、走行前から走行中といった外的要因が変化に対しても精度の高い判定が可能となっている。
【００５５】
なおジェスチャ判定部１４は、ステアリング５０から離れたジェスチャであっても、撮像領域１００内で行われたジェスチャであれば、判定することができるように構成されている。
【００５６】
また変形例としてジェスチャ判定部１４は、背景画像１２０と比較対象の画像とを２値化して差分を求めるように構成されても良い。
【００５７】
（制御部１６の構成）
制御部１６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工等を行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等から構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１６が動作するためのプログラムと、上述のしきい値１６０と、が格納されている。ＲＡＭは、例えば、一時的に演算結果等を格納する記憶領域として用いられる。
【００５８】
この制御部１６は、取得した操舵角情報Ｓ８と、しきい値１６０と、を比較し、操舵角θが予め定められた操舵角以内であり、かつトリガ信号Ｓ５が入力した場合、第１の背景画像１２０を生成させるために撮像部１０に撮像領域１００を撮像させるように構成されている。
【００５９】
この予め定められた角度範囲は、一例として、−２０°≦θ≦＋２０°が好ましく、−１０°≦θ≦＋１０°がより好ましい。この予め定められた角度範囲は、しきい値１６０として制御部１６に記憶されている。
【００６０】
また制御部１６は、例えば、周期的に制御信号Ｓ１を生成して撮像部１０に撮像領域１００を撮像させ、撮像された画像に基づいてジェスチャ判定部１４にジェスチャの判定を行わせるように構成されている。
【００６１】
また制御部１６は、ジェスチャ判定部１４が判定したジェスチャの結果を示すジェスチャ情報Ｓ４を、接続された電子機器に出力するように構成されている。
【００６２】
以下に、本実施の形態に係るジェスチャ判定装置１の第１の背景画像１２０を用いたジェスチャ判定の動作について、図６のフローチャートに従って説明する。またジェスチャ判定装置１の第２の背景画像１２１を生成する動作について、図７のフローチャートに従って説明する。
【００６３】
（動作）
ジェスチャ判定装置１の制御部１６は、操作者がスタートスイッチ５２又はシフト装置５３を操作したことにより出力されたトリガ信号Ｓ５が入力すると（Ｓ１）、制御信号Ｓ１を生成して撮像部１０に出力し、撮像領域１００を撮像部１０に撮像させる（Ｓ２）。撮像部１０は、撮像領域１００を撮像して生成した撮像情報Ｓ２を、制御部１６を介して背景画像切替部１２に出力する。
【００６４】
背景画像切替部１２は、取得した撮像情報Ｓ２に基づいて第１の背景画像１２０を生成する（Ｓ３）。背景画像切替部１２は、生成した第１の背景画像１２０に基づいて背景画像情報Ｓ３を生成し、制御部１６を介してジェスチャ判定部１４に出力する。ジェスチャ判定部１４は、取得した背景画像情報Ｓ３に基づいて第１の背景画像１２０を背景画像１２３として記憶する。
【００６５】
制御部１６は、第１の背景画像１２０が生成された後、周期的に制御信号Ｓ１を撮像部１０に出力する。撮像部１０は、制御信号Ｓ１に基づいて、周期的に撮像領域１００を撮像し（Ｓ４）、撮像情報Ｓ２を出力する。
【００６６】
制御部１６は、撮像情報Ｓ２を取得すると、ジェスチャ判定部１４に出力する。ジェスチャ判定部１４は、取得した撮像情報Ｓ２に基づいた画像と第１の背景画像１２０とに基づいて差分画像１４５を生成する（Ｓ５）。
【００６７】
ジェスチャ判定部１４は、生成した差分画像１４５とパターン情報１４０に基づいたパターンとを比較し（Ｓ６）、ジェスチャが行われたか否かを判定する。
【００６８】
ジェスチャ判定部１４は、ジェスチャが行われたと判定した場合（Ｓ７：Ｙｅｓ）、判定されたジェスチャに基づいたジェスチャ情報Ｓ４を生成して制御部１６を介して接続された電子機器に出力する（Ｓ８）。
【００６９】
ここで、ステップ７において、制御部１６は、ジェスチャ判定部１４が、ジェスチャが行われていないと判定した場合（Ｓ７：Ｎｏ）、ステップ４に処理を進めて次の周期の撮像を制御する。なおジェスチャ判定装置１は、例えば、これらの処理を車両５の電源供給が遮断されるまで継続して行う。
【００７０】
続いて、ジェスチャ判定装置１が第１の背景画像１２０から第２の背景画像１２１に背景画像を切り替える動作について説明する。
【００７１】
制御部１６は、取得した車両情報Ｓ９に基づく操舵角θがしきい値１６０以内であるか否かを確認する。制御部１６は、操舵角θがしきい値１６０以内である場合（Ｓ１０：Ｙｅｓ）、条件が満たされている間制御信号Ｓ１を生成し、撮像部１０に撮像領域１００を撮像させる。撮像部１０は、制御部１６を介して、撮像情報Ｓ２を背景画像切替部１２に出力する。
【００７２】
背景画像切替部１２は、撮像情報Ｓ２に基づいて、撮像された画像において、一定期間、手の動きが予め定められた範囲内であるか否かを確認する。背景画像切替部１２は、手の動きが予め定められた範囲内である場合（Ｓ１１：Ｙｅｓ）、さらにステアリング５０が把持されているか確認する。
【００７３】
背景画像切替部１２は、ステアリング５０が把持されている場合（Ｓ１２：Ｙｅｓ）、ステップ１１及びステップ１２の条件を満たす画像を背景画像候補画像として蓄積する（Ｓ１３）。
【００７４】
背景画像切替部１２は、蓄積情報１２５に基づいて背景画像候補画像に数が予め定められた数蓄積された場合（Ｓ１４：Ｙｅｓ）、蓄積された背景画像候補画像から安定してステアリング５０を把持している画像を選択して第２の背景画像１２１とし、この第２の背景画像１２１に基づく背景画像情報Ｓ３をジェスチャ判定部１４に出力する（Ｓ１５）。
【００７５】
ジェスチャ判定部１４は、背景画像として第２の背景画像１２１を用い、上述のステップ４からステップ８のジェスチャの判定動作を継続する。
【００７６】
ここでステップ１０〜ステップ１２、及びステップ１４において、「Ｎｏ」であった場合、第１の背景画像１２０をジェスチャの判定に使用し、ステップ１０に戻って処理を継続する。
【００７７】
（第１の実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、ジェスチャがなされた際の外的要因によるジェスチャの認識精度の低下を抑制することができる。具体的には、ジェスチャ判定装置１は、車両５の走行前から安定してステアリング５０を把持するまで第１の背景画像１２０によりジェスチャを判定し、安定してステアリング５０を把持する走行中は、第２の背景画像１２１に切り替えるので、背景画像が固定されている場合と比べて、車両５の走行により移り変わる外的要因によるジェスチャの認識精度の低下を抑制することができる。
【００７８】
ジェスチャ判定装置１は、安定してステアリング５０を把持する画像を第２の背景画像１２１に設定することができるので、把持してからの画像との差分画像１４５の残画像１４６が把持した手からの変化である手の一部の画像となり、ジェスチャの判定が容易となる。
【００７９】
ジャスチャ判定装置１は、操作者の手が含まれない第１の背景画像１２０を、スタートスイッチ５２やシフト装置５３の操作に応じて更新するので、比較対象の画像に含まれるステアリング５０と同じ状態のステアリング５０を含む第１の背景画像１２０に基づくジェスチャの判定を行うことができて、判定精度を向上させることができる。
【００８０】
ジェスチャ判定装置１は、車両５の走行前、走行中に第１の背景画像１２０及び第２の背景画像１２１を生成するので、比較対象の画像に含まれるステアリング５０と第１の背景画像１２０及び第２の背景画像１２１に含まれるステアリング５０との差が小さく、精度の高い差分画像１４５を得て、ジェスチャの精度の高い判定を行うことができる。
【００８１】
ジェスチャ判定装置１は、ステアリング５０を把持した状態からなされたジェスチャを高い精度で判定することができるので、ステアリングを把持した手とジェスチャとの区別が困難な場合と比べて、ジェスチャをステアリング５０から大きく離れた位置で行う必要がなく、操作性が高い。
【００８２】
なお変形例として、ジェスチャ判定装置１は、スポーク５０２の上下の把持領域５０６と把持領域５０８を含む撮像領域１００を撮像し、右手のジェスチャを判定するように構成されても良い。
【００８３】
［第２の実施の形態］
第２の実施の形態は、両手のジェスチャを判定する点で第１の実施の形態と異なっている。
【００８４】
図８（ａ）は、第２の実施の形態に係るジェスチャ判定装置の撮像領域の一例を示す概略図であり、図８（ｂ）は、第２の背景画像の一例を示す概略図であり、図８（ｃ）は、ジェスチャの一例を示す概略図であり、図８（ｄ）は、差分画像の一例を示す概略図である。なお以下に記載する実施の形態において、第１の実施の形態と同じ機能及び構成を有する部分は、第１の実施の形態と同じ符号を付し、その説明は省略するものとする。
【００８５】
本実施の形態の撮像領域１００は、図８（ａ）に示すように、ステアリング５０を含む領域である。この撮像領域１００には、ステアリング５０を把持する左手９ａ及び右手９ｂが含まれている。以下に、図７のフローチャートを参照しながら第２の背景画像１２１の生成について説明する。
【００８６】
制御部１６は、取得した車両情報Ｓ９に基づく操舵角θがしきい値１６０以内であるか否かを確認する。制御部１６は、操舵角θがしきい値１６０以内である場合（Ｓ１０：Ｙｅｓ）、条件が満たされている間制御信号Ｓ１を生成し、撮像部１０に撮像領域１００を撮像させる。撮像部１０は、制御部１６を介して、撮像情報Ｓ２を背景画像切替部１２に出力する。
【００８７】
背景画像切替部１２は、撮像情報Ｓ２に基づいて、撮像された画像において、一定期間、左手９ａ及び右手９ｂの動きが予め定められた範囲内であるか否かを確認する。背景画像切替部１２は、左手９ａ及び右手９ｂの動きが予め定められた範囲内である場合（Ｓ１１：Ｙｅｓ）、さらにステアリング５０が把持されているか確認する。
【００８８】
背景画像切替部１２は、ステアリング５０が左手９ａ及び右手９ｂによって把持されている場合（Ｓ１２：Ｙｅｓ）、ステップ１１及びステップ１２の条件を満たす画像を背景画像候補画像として蓄積する（Ｓ１３）。
【００８９】
背景画像切替部１２は、蓄積情報１２５に基づいて背景画像候補画像に数が予め定められた数蓄積された場合（Ｓ１４：Ｙｅｓ）、蓄積された背景画像候補画像から左手９ａ及び右手９ｂによって安定してステアリング５０を把持している画像を選択して第２の背景画像１２１とし、この第２の背景画像１２１に基づく背景画像情報Ｓ３をジェスチャ判定部１４に出力する（Ｓ１５）。
【００９０】
ジェスチャ判定部１４は、背景画像として第２の背景画像１２１を用い、第１の実施の形態のステップ４からステップ８のジェスチャの判定動作を継続する。
【００９１】
ここでステップ１０〜ステップ１２、及びステップ１４において、「Ｎｏ」であった場合、第１の背景画像１２０をジェスチャの判定に使用し、ステップ１０に戻って処理を継続する。
【００９２】
図８（ｂ）に示す第２の背景画像１２１が生成された場合、図８（ｃ）に示すような左手９ａによるジェスチャがなされると、図８（ｄ）に示すように、背景差分法により、左手９ａの指の一部が残画像１４６として抽出される。ジェスチャ判定部１４は、この図８（ｄ）に示す差分画像１４５に基づいて容易にジェスチャを判定することが可能となる。
【００９３】
（第２の実施の形態の効果）
本実施の形態のジェスチャ判定装置１は、左手９ａ及び右手９ｂによってなされたジェスチャを精度良く判定することができる。
【００９４】
なお上記の実施の形態において、第２の背景画像１２１は、生成された後も上述の条件が満たされる限り、新たな第２の背景画像１２１に更新されても良い。またジェスチャ判定装置１は、第２の背景画像１２１の手の位置と異なる位置で、ステアリング５０が把持されている場合は、第１の背景画像１２０に切り替えても良い。異なる位置は、一例として、第２の背景画像１２１の手の位置から５ｍｍより離れている位置である。
【００９５】
上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）等によって実現されても良い。
【００９６】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９７】
１…ジェスチャ判定装置、５…車両、９…手、９ａ…左手、９ｂ…右手、１０…撮像部、１２…背景画像切替部、１４…ジェスチャ判定部、１６…制御部、５０…ステアリング、５１…コラムカバー、５２…スタートスイッチ、５３…シフト装置、５５…車両制御部、５６…操舵角センサ、５７…電子機器、５８…車両ＬＡＮ、５９…運転席、６０…天井、９１…親指、９２…人差指、９３…中指、９４…薬指、９５…小指、１００…撮像領域、１２０…第１の背景画像、１２１…第２の背景画像、１２３…背景画像、１２４…条件情報、１２５…蓄積情報、１４０…パターン情報、１４５…差分画像、１４６…残画像、１６０…しきい値、５００…中央部、５０１〜５０３…スポーク、５０４…リング、５０５〜５０８…把持領域、５０９…中立位置、５１０…車両通信システム、５３０…シフトレバー
【図１】
2016157171.tif 000003
【図２】
2016157171.tif 000004
【図３】
2016157171.tif 000005
【図４】
2016157171.tif 000006
【図５】
2016157171.tif 000007
【図６】
2016157171.tif 000008
【図７】
2016157171.tif 000009
【図８】
2016157171.tif 000010