(57)【要約】      （修正有）【課題】消費電流を抑制することができるジェスチャ認識装置を提供する。【解決手段】ジェスチャ認識装置は、撮像領域１００を撮像する撮像部と、撮像領域を照明する複数の発光素子（第１の発光素子１２１〜第８の発光素子１２８）を有する照明部と、撮像領域において手によるジェスチャがなされたジェスチャ領域１４０を規定するジェスチャ領域規定部と、規定されたジェスチャ領域を照明する発光素子を照明部から選択し、選択された発光素子を点灯させる照明信号を出力して照明部の照明領域１２０を制御する制御部と、を備える。【選択図】図２
2017054218.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域を撮像する撮像部と、
前記撮像領域を照明する複数の発光素子を有する照明部と、
前記撮像領域において認識対象によるジェスチャがなされたジェスチャ領域を規定するジェスチャ領域規定部と、
規定された前記ジェスチャ領域を照明する発光素子を前記照明部から選択し、選択された発光素子を点灯させる照明信号を出力して前記照明部の照明領域を制御する制御部と、
を備えたジェスチャ認識装置。
【請求項２】
前記制御部は、前記撮像領域において行われたジェスチャを認識し、認識された当該ジェスチャの情報を出力する、
請求項１に記載のジェスチャ認識装置。
【請求項３】
前記制御部は、ジェスチャを行う操作者と当該操作者の前記ジェスチャ領域とを関連付けた履歴情報を生成し、当該操作者がジェスチャを行う際、前記履歴情報に基づいて当該操作者に関連付けられた前記ジェスチャ領域を照明するように前記照明部を制御する、
請求項２に記載のジェスチャ認識装置。
【請求項４】
前記撮像部及び前記照明部は、車両に搭載された表示装置の周囲に配置される、
請求項１乃至３のいずれか１項に記載のジェスチャ認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ認識装置に関する。
【背景技術】
【０００２】
従来の技術として、車両の車室を撮像する撮像部に撮像された車室の画像を、表示部に表示する制御に対応する所定のジェスチャが記憶された記憶部と、撮像部から出力された車室に関する画像信号を処理して車室の画像に含まれる操作者のジェスチャを識別し、識別したジェスチャが記憶部に記憶された所定のジェスチャと一致するか判定し、識別したジェスチャと所定のジェスチャとが一致する場合には、撮像された車室の画像を表示部に表示する制御を行う制御部と、を備えた車内状況表示装置が知られている（例えば、特許文献１参照。）。
【０００３】
また車内状況表示装置は、車室の内部を照明する照明部を有している。社内状況表示装置の撮像部は、操作者におけるジェスチャを行う部分であって、照明部により照明された照明部分を撮像する位置に配置されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２６３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の車内状況表示装置は、ジェスチャのモーションの大小に関わらず、全ての照明を点灯しているので消費電流が大きい。
【０００６】
従って、本発明の目的は、消費電流を抑制することができるジェスチャ認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像領域を撮像する撮像部と、撮像領域を照明する複数の発光素子を有する照明部と、撮像領域において認識対象によるジェスチャがなされたジェスチャ領域を規定するジェスチャ領域規定部と、規定されたジェスチャ領域を照明する発光素子を照明部から選択し、選択された発光素子を点灯させる照明信号を出力して照明部の照明領域を制御する制御部と、を備えたジェスチャ認識装置を提供する。
【発明の効果】
【０００８】
本発明によれば、消費電流を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係るジェスチャ認識装置の配置の一例を示す概略図であり、図１（ｂ）は、ジェスチャ認識装置のブロック図の一例である。
【図２】図２（ａ）〜図２（ｃ）は、実施の形態に係るジェスチャ認識装置の撮像領域、照明領域及びジェスチャ領域の一例を示す概略図である。
【図３】図３は、実施の形態に係るジェスチャ認識装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係るジェスチャ認識装置は、撮像領域を撮像する撮像部と、撮像領域を照明する複数の発光素子を有する照明部と、撮像領域において認識対象によるジェスチャがなされたジェスチャ領域を規定するジェスチャ領域規定部と、規定されたジェスチャ領域を照明する発光素子を照明部から選択し、選択された発光素子を点灯させる照明信号を出力して照明部の照明領域を制御する制御部と、を備えて概略構成されている。
【００１１】
このジェスチャ認識装置は、照明部の発光素子の全てを点灯するのではなく、ジェスチャが行われるジェスチャ領域を照明するように構成されているので、常時全ての発光素子を点灯させる場合と比べて、消費電流を抑制することができる。
【００１２】
[実施の形態]
（ジェスチャ認識装置１の概要）
図１（ａ）は、実施の形態に係るジェスチャ認識装置の配置の一例を示す概略図であり、図１（ｂ）は、ジェスチャ認識装置のブロック図の一例である。図２（ａ）〜図２（ｃ）は、実施の形態に係るジェスチャ認識装置の撮像領域、照明領域及びジェスチャ領域の一例を示す概略図である。図２（ａ）〜図２（ｃ）は、照明部１２を正面から見た図である。また図２（ａ）〜図２（ｃ）では、照明領域１２１ａ〜照明領域１２８ａの境界を点線で示している。
【００１３】
なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な信号や情報の流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。
【００１４】
ジェスチャ認識装置１は、認識対象によるジェスチャ入力を受け付け、認識されたジェスチャ入力によって電磁気的に接続された電子機器の操作を可能とする入力装置である。このジェスチャ認識装置１は、一例として、図１（ａ）に示すように、車両８のセンターコンソール８０の表示装置８５の下方に配置されている。本実施の形態では、一例として、認識対象としての操作者の手によって表示装置８５の前方でなされたジェスチャの認識について説明するが、これに限定されない。変形例として、ジェスチャ認識装置１は、ステアリングの近傍において手によってなされたジェスチャ、運転席や助手席に着座する操作者の目や頭などによってなされたジェスチャ、後部座席に着座する操作者の頭や目、手などによってなされたジェスチャを認識するように配置されても良い。
【００１５】
ジェスチャ認識装置１は、図１（ｂ）、図２（ａ）に示すように、撮像領域１００を撮像する撮像部１０と、撮像領域１００を照明する複数の発光素子（第１の発光素子１２１〜第８の発光素子１２８）を有する照明部１２と、撮像領域１００において手によるジェスチャがなされたジェスチャ領域１４０を規定するジェスチャ領域規定部１４と、規定されたジェスチャ領域１４０を照明する発光素子を照明部１２から選択し、選択された発光素子を点灯させる照明信号を出力して照明部１２の照明領域１２０を制御する制御部１６と、を備えて概略構成されている。
【００１６】
この制御部１６は、撮像領域１００において行われたジェスチャを認識し、認識された当該ジェスチャの情報（操作情報Ｓ１０）を出力する。また制御部１６は、ジェスチャを行う操作者と当該操作者のジェスチャ領域１４０とを関連付けた履歴情報１６０を生成し、当該操作者がジェスチャを行う際、履歴情報１６０に基づいて当該操作者に関連付けられたジェスチャ領域１４０を照明するように照明部１２を制御する。
【００１７】
（撮像部１０の構成）
撮像部１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。この撮像部１０は、図１（ａ）の紙面において表示装置８５の上側に配置されている。
【００１８】
撮像部１０は、図１（ｂ）に示すように、撮像して得られた画像の情報を画像情報Ｓａとして制御部１６に出力する。この画像情報Ｓａは、予め定められた周期で生成され、出力される。
【００１９】
撮像部１０は、表示画面８５０の正面を含む領域を撮像領域１００としている。従って撮像領域１００は、操作者が表示画面８５０の正面において行ったジェスチャを撮像可能な領域として設定されている。
【００２０】
（照明部１２の構成）
照明部１２は、一例として、図１（ａ）、図１（ｂ）及び図２（ａ）に示すように、第１の発光素子１２１〜第８の発光素子１２８を有している。この第１の発光素子１２１〜第８の発光素子１２８は、例えば、可視領域外の光を出力する発光素子である。本実施の形態の第１の発光素子１２１〜第８の発光素子１２８は、一例として、赤外線によって照明領域を照明するＬＥＤ（Light-Emitting Diode）素子である。この赤外線の波長は、一例として、０．７μｍ〜１．０ｍｍである。
【００２１】
第１の発光素子１２１〜第８の発光素子１２８は、図１（ａ）に示すように、表示装置８５の下側に、一列に並んで配置されている。
【００２２】
第１の発光素子１２１〜第８の発光素子１２８は、図１（ｂ）に示すように、照明信号Ｓ１〜照明信号Ｓ８に基づいて点灯する。この照明信号Ｓ１〜照明信号Ｓ８は、一例として、ＰＷＭ（Pulse Width Modulation）信号である。
【００２３】
（ジェスチャ領域規定部１４の構成）
ジェスチャ領域規定部１４は、撮像部１０から周期的に出力される画像情報Ｓａに基づいて、撮像された複数の画像から認識対象の移動範囲を判定し、この移動範囲をジェスチャ領域１４０と規定する。そしてジェスチャ領域規定部１４は、規定したジェスチャ領域１４０の情報である領域情報Ｓ９を制御部１６に出力する。
【００２４】
具体的には、ジェスチャ領域規定部１４は、一例として、図２（ａ）に矢印で示す範囲で大きなモーションのジェスチャが行われていた場合、この矢印を含む一点鎖線で囲まれた領域、つまりジェスチャが含まれる領域をジェスチャ領域１４０と規定し、このジェスチャ領域１４０を示す領域情報Ｓ９を出力する。
【００２５】
また一例として、ジェスチャ領域規定部１４は、図２（ｂ）に矢印で示す撮像領域１００の中央でジェスチャが行われていた場合、この矢印を含む一点鎖線で囲まれた中央付近の領域、つまりジェスチャが含まれる領域をジェスチャ領域１４０と規定し、このジェスチャ領域１４０を示す領域情報Ｓ９を出力する。
【００２６】
さらに一例として、ジェスチャ領域規定部１４は、図２（ｃ）に矢印で示す撮像領域１００の左側で小さなモーションのジェスチャが行われていた場合、この矢印を含む一点鎖線で囲まれた左側の領域、つまりジェスチャが含まれる領域をジェスチャ領域１４０と規定し、このジェスチャ領域１４０を示す領域情報Ｓ９を出力する。
【００２７】
（制御部１６の構成）
制御部１６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１６が動作するためのプログラムとジェスチャ情報１６１とが格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられると共に、履歴情報１６０を記憶する。また制御部１６は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて動作を行う。
【００２８】
履歴情報１６０は、操作者と当該操作者のジェスチャ領域１４０とが関連付けられた情報である。制御部１６は、例えば、車両８の車両制御部から取得した操作者情報Ｓ１１に基づいて操作者を識別する。車両制御部は、例えば、車両８の電子キーの識別番号、エンジンを始動させるスタートスイッチに配置された生体情報を読み取る装置によって読み取られて照合された指紋などの生体情報などによって識別された操作者に基づいて操作者情報Ｓ１１を生成する。
【００２９】
制御部１６は、操作者がジェスチャを行う度に学習し、当該操作者に最適なジェスチャ領域１４０を履歴情報１６０として記憶する。また制御部１６は、操作者が複数の場合も操作者ごとに履歴情報１６０を生成する。
【００３０】
ジェスチャ情報１６１は、ジェスチャ認識装置１が認識可能なジェスチャに関する情報である。ジェスチャは、一例として、少なくとも１本の指を立てて移動させるジェスチャ、指を広げて移動させるジェスチャ、指先を表示装置８５に向けて移動させるジェスチャ、指先で円を描くように移動させるジェスチャなどである。ジェスチャの認識方法は、一例として、パターンマッチング方法が用いられる。パターンマッチング方法の場合、ジェスチャ情報１６１は、ジェスチャのパターンの情報となる。
【００３１】
ジェスチャを認識するためには、一例として、撮像した画像を背景と認識対象とに分ける処理を行う。なお背景との分離は、一例として、認識対象がない場合の画像との差をとって行われる。
【００３２】
ここで制御部１６は、一例として、図２（ａ）に示すように、発光素子に応じて短冊状に撮像領域１００を８つの照明領域１２１ａ〜照明領域１２８ａに分け、ジェスチャ領域１４０を含むこの短冊状の領域を照明領域１２０として設定する。なおこの照明領域１２１ａ〜照明領域１２８ａは、制御のために設定されており、１つの発光素子で１つの照明領域のみを照明する訳ではなく、隣接する照明領域を弱い光で照明している。
【００３３】
具体的には、制御部１６は、例えば、図２（ａ）に一点鎖線で囲まれた領域がジェスチャ領域１４０として規定された場合、照明領域１２０がジェスチャ領域１４０を含むためには、照明領域１２１ａ〜照明領域１２８ａを照明する必要があるので、第１の発光素子１２１〜第８の発光素子１２８を点灯する照明信号Ｓ１〜照明信号Ｓ８を生成して出力する。
【００３４】
制御部１６は、例えば、図２（ｂ）に一点鎖線で囲まれた領域がジェスチャ領域１４０として規定された場合、照明領域１２０がジェスチャ領域１４０を含むためには、照明領域１２３ａ〜照明領域１２６ａを照明し、照明領域１２１ａ、照明領域１２２ａ、照明領域１２７ａ及び照明領域１２８ａを非照明領域１２９として消灯する。
【００３５】
従って制御部１６は、例えば、第３の発光素子１２３〜第６の発光素子１２６を点灯する照明信号Ｓ３〜照明信号Ｓ６を生成して点灯させ、非照明領域１２９に応じた第１の発光素子１２１、第２の発光素子１２２、第７の発光素子１２７及び第８の発光素子１２８を消灯させる。
【００３６】
制御部１６は、例えば、図２（ｃ）に一点鎖線で囲まれた領域がジェスチャ領域１４０として規定された場合、照明領域１２０がジェスチャ領域１４０を含むためには、照明領域１２６ａ〜照明領域１２８ａを照明し、照明領域１２１ａ〜照明領域１２５ａを非照明領域１２９として消灯する。
【００３７】
従って制御部１６は、例えば、第６の発光素子１２６〜第８の発光素子１２８を点灯する照明信号Ｓ６〜照明信号Ｓ８を生成して点灯させ、非照明領域１２９に応じた第１の発光素子１２１〜第５の発光素子１２５を消灯させる。
【００３８】
以下では、本実施形態のジェスチャ認識装置１の履歴情報１６０を用いた動作の一例について図３のフローチャートに従って説明する。
【００３９】
（動作）
ジェスチャ認識装置１の制御部１６は、車両８の電源が投入されると、車両制御部から操作者情報Ｓ１１を取得し、操作者の履歴情報１６０が存在するか確認する。制御部１６は、操作者の履歴情報１６０が存在しない場合（Ｓｔｅｐ１：Ｙｅｓ）、照明部１２が照明領域１２１ａ〜照明領域１２８ａを照明すると共に撮像部１０が周期的に撮像領域１００の撮像を開始し（Ｓｔｅｐ２）、画像情報Ｓａを制御部１６に出力する。
【００４０】
制御部１６は、認識対象が画像内に存在するか確認する。制御部１６は、ステップ３の「Ｙｅｓ」が成立する、つまり撮像された画像内に認識対象が存在する場合（Ｓｔｅｐ３：Ｙｅｓ）、ジェスチャ領域規定部１４に画像情報Ｓａを出力する。
【００４１】
ジェスチャ領域規定部１４は、画像情報Ｓａに基づいてジェスチャ領域１４０を規定し（Ｓｔｅｐ４）、領域情報Ｓ９を制御部１６に出力する。
【００４２】
制御部１６は、ジェスチャ領域規定部１４から領域情報Ｓ９を取得すると、領域情報Ｓ９が示すジェスチャ領域１４０に基づいて点灯する発光素子を設定し、当該発光素子を点灯させる照明信号を出力して照明させる（Ｓｔｅｐ５）。
【００４３】
制御部１６は、適切な照明のもとで撮像された複数の画像とジェスチャ情報１６１とに基づいてなされたジェスチャを認識し、認識したジェスチャに基づいて操作情報Ｓ１０を生成して接続された電子機器に出力し（Ｓｔｅｐ６）、ジェスチャの認識動作を終了する。
【００４４】
ここでステップ１において制御部１６は、操作者の履歴情報１６０が存在した場合（Ｓｔｅｐ１：Ｎｏ）、履歴情報１６０に基づいて操作者のジェスチャ領域１４０を規定して点灯する発光素子を設定し、当該発光素子を点灯させる照明信号を出力して照明させる（Ｓｔｅｐ７）。
【００４５】
制御部１６は、撮像領域１００を周期的に撮像して画像情報Ｓａを出力する（Ｓｔｅｐ８）。制御部１６は、ジェスチャがなされているか確認する。制御部１６は、ステップ９の「Ｙｅｓ」が成立する、つまりジェスチャがなされている場合（Ｓｔｅｐ９：Ｙｅｓ）、ステップ６に処理を進める。
【００４６】
なお制御部１６は、一例として、ジェスチャのモーションが大きくてジェスチャ領域１４０に入らなくても認識が可能である場合は、ジェスチャの認識処理を続行し、続行できない場合は、ジェスチャ領域１４０の規定を解除し、全ての発光素子を点灯させ、再度ジェスチャ領域１４０を規定する。
【００４７】
（実施の形態の効果）
本実施の形態に係るジェスチャ認識装置１は、消費電流を抑制することができる。具体的には、ジェスチャ認識装置１は、照明部１２の第１の発光素子１２１〜第８の発光素子１２８の全てを点灯するのではなく、ジェスチャが行われるジェスチャ領域１４０を照明するように構成されているので、常時全ての発光素子を点灯させる場合と比べて、無駄な照明が無くなって消費電流を抑制することができる。
【００４８】
ジェスチャ認識装置１は、学習しながら履歴情報１６０を生成するので、操作者に適したジェスチャ領域１４０を規定することができる。例えば、車両が家族やカーシェアリングなどで複数の利用者で共有されている場合、ジェスチャ認識装置１は、利用者のジェスチャの個人差などを学習してより適したジェスチャ領域１４０を規定することができる。
【００４９】
上述の実施の形態及び変形例に係るジェスチャ認識装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００５０】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５１】
１…ジェスチャ認識装置、８…車両、１０…撮像部、１２…照明部、１４…ジェスチャ領域規定部、１６…制御部、８０…センターコンソール、８５…表示装置、１００…撮像領域、１２０…照明領域、１２１〜１２８…第１の発光素子〜第８の発光素子、１２１ａ〜１２８ａ…照明領域、１２９…非照明領域、１４０…ジェスチャ領域、１６０…履歴情報、１６１…ジェスチャ情報、８５０…表示画面
【図１】
2017054218.tif 000003
【図２】
2017054218.tif 000004
【図３】
2017054218.tif 000005