(57)【要約】      （修正有）【課題】可動物体を移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる「ジェスチャ認識装置」を提供する。【解決手段】操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段２と、操作物体および可動物体の撮像画像に基づいて、両物体の位置を特定する位置特定手段５と、特定された両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段６と、肯定的な前記判定の結果が得られた場合に、操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段７とを備える。【選択図】図１
2014126879.tif 000002
【特許請求の範囲】
【請求項１】
所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、
前記操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、
この撮像手段による前記操作物体および前記可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、
この位置特定手段によって特定された前記両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、
この同期移動判定手段によって肯定的な判定結果が得られた場合に、前記操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段と
を備えたことを特徴とするジェスチャ認識装置。
【請求項２】
前記判定は、前記両物体の位置が互いに所定距離以内の位置関係において同期して動いたか否かの判定であること
を特徴とする請求項１に記載のジェスチャ認識装置。
【請求項３】
前記撮像手段は、前記操作物体と前記可動物体とを同時に撮像し、
前記位置特定手段は、前記両物体の位置を同時に特定すること
を特徴とする請求項１または請求項２に記載のジェスチャ認識装置。
【請求項４】
前記可動物体には、この物体の特徴点を示す特徴点マークが形成されており、
前記位置特定手段は、前記可動物体の撮像画像中の前記特徴点マークに基づいて、前記可動物体の位置を特定すること
を特徴とする請求項１乃至請求項３のいずれか１項に記載のジェスチャ認識装置。
【請求項５】
前記操作物体は、ユーザの手であること
を特徴とする請求項１乃至請求項４のいずれか１項に記載のジェスチャ認識装置。
【請求項６】
車両に搭載されること
を特徴とする請求項５に記載のジェスチャ認識装置。
【請求項７】
前記可動物体は、前記車両の制御スイッチであること
を特徴とする請求項６に記載のジェスチャ認識装置。
【請求項８】
前記制御スイッチは、前記車両のハンドルの近傍に配設されていること
を特徴とする請求項７に記載のジェスチャ認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ認識装置に係り、特に、操作物体のジェスチャを認識するのに好適なジェスチャ認識装置に関する。
【背景技術】
【０００２】
近年、家電機器、ＰＣ、ゲーム機器等を中心として、ユーザのジェスチャを認識して認識結果に応じたコマンド入力を行うことが可能とされた機器が普及してきており、このような傾向は車載機器にも及びつつある（例えば、特許文献１参照）。
【０００３】
この種の機器においては、ユーザの手を使ったジェスチャによって入力できるコマンドの種類をあまり多くすることは、ユーザに手の動きを覚えるための過度の負担を強いることになるので、上下、左右等の簡単な手の動きのみが使われることが多かった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２９８００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、制約された手の動きは、外力の作用によって移動可能とされた可動物体を移動させる際の手の動きに似る場合があり、この場合には、可動物体を移動させる手の動きがジェスチャであると誤認識されてしまうことがあった。
【０００６】
例えば、車載機器向けに運転者が使用するジェスチャ認識を考えた場合に、運転者がハンドルから手を離さずに行ったハンドル周辺での手の動きが、ジェスチャとして認識されて対応するコマンド入力が行われることが望ましいが、この場合には、ジェスチャのための手の動きなのか、ウインカ操作やワイパ操作などのスイッチ操作なのかを判別することが困難な場合があった。
【０００７】
具体的には、図４に示すように、ハンドルに親指をかけたまま上向きに手を動かす操作を行った場合には、これがオーディオ機器に対する音量ＵＰを示すジェスチャコマンドなのか、ウインカ操作なのかを判別することが困難であった。このような場合に、スイッチ操作の結果を電気的に検知して判別することもできるが、検知タイミングが遅いため、ジェスチャ認識の操作性が損なわれしまう。
【０００８】
なお、特許文献１においては、ジェスチャの誤認識を回避する技術が提案されているが、この技術では、操舵時に握られないスポークのみにジェスチャの検出領域が設定されているため、ユーザがジェスチャの度にスポークを握らなければならず、煩雑な操作を強いられる結果となっていた。
【０００９】
そこで、本発明は、このような点に鑑みなされたものであり、可動物体を移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができるジェスチャ認識装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するため、本発明に係るジェスチャ認識装置は、所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、前記操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、この撮像手段による前記操作物体および前記可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、この位置特定手段によって特定された前記両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、この同期移動判定手段によって肯定的な判定結果が得られた場合に、前記操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段とを備えたことを特徴としている。
【００１１】
そして、このような構成によれば、操作物体および可動物体の位置を、撮像画像に基づいて特定した上で、両物体の位置が同期して動く場合には、この動きに対応するジェスチャの認識結果をキャンセルすることができるので、可動物体を移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【００１２】
また、前記判定は、前記両物体の位置が互いに所定距離以内の位置関係において同期して動いたか否かの判定であってもよい。
【００１３】
そして、このような構成によれば、可動物体を移動させる動作であることの確証性が高い場合にジェスチャの認識結果をキャンセルすることができるので、ジェスチャ認識装置の処理の信頼性を向上させることができる。
【００１４】
さらに、前記撮像手段は、前記操作物体と前記可動物体とを同時に撮像し、前記位置特定手段は、前記両物体の位置を同時に特定してもよい。
【００１５】
そして、このような構成によれば、可動物体を移動させる際における誤認識を更に迅速かつ効率的に回避することができる。
【００１６】
さらにまた、前記可動物体には、この物体の特徴点を示す特徴点マークが形成されており、前記位置特定手段は、前記可動物体の撮像画像中の前記特徴点マークに基づいて、前記可動物体の位置を特定してもよい。
【００１７】
そして、このような構成によれば、可動物体の位置を簡便に特定することができる。
【００１８】
また、前記操作物体は、ユーザの手であってもよい。
【００１９】
そして、このような構成によれば、ユーザが手を使って可動物体を移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【００２０】
さらに、ジェスチャ認識装置は、車両に搭載されていてもよい。
【００２１】
そして、このような構成によれば、ユーザが車内で手を使って可動物体を移動させる動作が車載機器を操作対象としたジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【００２２】
さらにまた、前記可動物体は、前記車両の制御スイッチであってもよい。
【００２３】
そして、このような構成によれば、ユーザが車内で手を使って制御スイッチを移動させる動作が車載機器を操作対象としたジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【００２４】
また、前記制御スイッチは、前記車両のハンドルの近傍に配設されていてもよい。
【００２５】
そして、このような構成によれば、ユーザが車内でハンドル周辺の制御スイッチを移動させる動作がハンドルを握りながら行うジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【発明の効果】
【００２６】
本発明によれば、可動物体を移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係るジェスチャ認識装置の実施形態を示すブロック図
【図２】制御スイッチの一例としてのウインカ／ワイパレバーに形成された特徴点マークを示す模式図
【図３】ジェスチャ認識装置の実施形態を示すフローチャート
【図４】従来の問題点を説明するための説明図
【発明を実施するための形態】
【００２８】
以下、本発明に係るジャスチャ認識装置の実施形態について、図１乃至図３を参照して説明する。
【００２９】
図１は、本実施形態におけるジェスチャ認識装置１を示すブロック図である。図１に示すように、ジェスチャ認識装置１は、撮像手段としての車両に搭載された撮像装置２を有しており、この撮像装置２は、操作物体としての運転者（ユーザ）の手と、外力の作用によって移動可能とされた所定の可動物体としての車両の制御スイッチとを同時に撮像可能とされている。この制御スイッチは、車両のハンドルの近傍（周辺）に配設されたウインカ／ワイパレバー８（図２参照）であってもよい。また、撮像装置２は、ＣＣＤやＣＭＯＳ等の固体撮像素子を備えるとともに、手および制御スイッチを同時に捕捉する所定の撮像領域を所定のフレームレートで連続的に撮像するデジタルカメラであってもよい。さらに、撮像装置２は、車両のインストルメントパネル等に、車室内を向くように設置されたものであってもよい。
【００３０】
また、図１に示すように、ジェスチャ認識装置１は、手特徴認識部３を有しており、この手特徴認識部３には、撮像装置２の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、手特徴認識部３は、入力された撮像画像に対して、予め手特徴認識部３に保有されている手の特徴データ（形状等）Ｄ１に基づいて、手の特徴の認識処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。そして、手特徴認識処理部３は、認識された手の特徴を、ジェスチャの認識結果としての手の動き情報として、認識の度毎に逐次出力するようになっている。この手特徴認識部３は、これの機能を実現するためのプログラムをＣＰＵ等の演算処理装置が実行することによって具現化してもよい。演算処理装置が実行すべきプログラムについては、ＲＯＭ等のプログラム記憶部に格納しておき、手の特徴データＤ１については、ＲＯＭやハードディスクドライブ等のデータ記憶部に格納しておき、演算処理装置の処理には、ＲＡＭ等の作業領域を利用してもよい。
【００３１】
さらに、図１に示すように、ジェスチャ認識装置１は、スイッチ特徴認識部４を有しており、このスイッチ特徴認識部４には、撮像装置２の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、スイッチ特徴認識部４は、入力された撮像画像に対して、予めスイッチ特徴認識部４に保有されている制御スイッチの特徴データ（形状や特徴点位置情報等）Ｄ２に基づいて、制御スイッチの特徴の認識処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。そして、スイッチ特徴認識部４は、認識された制御スイッチの特徴を、制御スイッチの動き情報として、認識の度毎に逐次出力するようになっている。このスイッチ特徴認識部４は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。
【００３２】
さらにまた、図１に示すように、ジェスチャ認識装置１は、位置特定手段としての位置特定部５を有している。この位置特定部５には、手特徴認識部３から出力された手の動き情報およびスイッチ特徴認識部４から出力された制御スイッチの動き情報がそれぞれ入力されるようになっている。そして、位置特定部５は、入力された各情報に基づいて、手の位置および制御スイッチの位置の特定処理を同時に行うようになっている。このとき、位置特定部５は、手／制御スイッチの位置を、撮像装置２の画素に対応付けられた座標（複数次元であってもよい）として特定してもよい。また、位置特定部５は、手／制御スイッチの位置を、手／制御スイッチの中心座標として特定してもよい。あるいは、位置特定部５は、図２に示すように、制御スイッチ（ウインカ／ワイパレバー８）にこのスイッチの特徴点を示す特徴点マークＭを印刷等によって形成する場合には、このマークＭの位置を制御スイッチの位置として特定してもよい。なお、図２に例示するマークＭは、４つの黒丸を格子状に配列したものであり、マークＭの移動および傾きの検出が容易なものである。そして、位置特定部５は、手／制御スイッチの位置の特定結果を、手／制御スイッチの位置情報として出力するようになっている。なお、位置特定部５は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。
【００３３】
また、図１に示すように、ジェスチャ認識装置１は、同期移動判定手段としての同期移動判定部６を有している。この同期移動判定部６には、位置特定部５から出力された手／制御スイッチの位置情報が入力されるようになっている。そして、同期移動判定部６は、入力された位置情報に基づいて、手および制御スイッチの位置が同期して（換言すれば、同時に）動いたか否かの判定を行うようになっている。この判定は、手および制御スイッチの位置が互いに所定距離以内の位置関係において同期して動いたか否かの判定であってもよい。この場合に、所定距離は、手が制御スイッチに触れているとみなすことができる距離であればよく、ゼロであってもよい。このような同期移動判定部６による判定結果は、同期／非同期判定情報として出力されるようになっている。なお、同期移動判定部６は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。
【００３４】
さらに、図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識制御手段としてのジェスチャコマンド認識部７を有している。このジェスチャコマンド認識部７には、手特徴認識部３から出力された手の動き情報と、同期移動判定部６から出力された当該手の動き情報に対応する同期／非同期判定情報とがそれぞれ入力されるようになっている。そして、ジェスチャコマンド認識部７は、入力された手の動き情報と、予めジェスチャコマンド認識部７に保有されているコマンドデータ（動きパターン情報等）Ｄ３とに基づいて、ジェスチャの認識結果に応じた操作処理としてのコマンド発行を行うようになっている。ただし、このとき、ジェスチャコマンド認識部７は、ジェスチャの認識結果に対応する同期／非同期判定情報が肯定的な判定結果を示すものである場合には、ジェスチャの認識結果を無効にして、コマンド発行を禁止するようになっている。なお、ジェスチャコマンド認識部７は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。コマンドデータＤ３については、ＲＯＭやハードディスクドライブ等のデータ記憶部に格納しておいてもよい。
【００３５】
ジェスチャコマンド認識部７からコマンドが出力された場合には、このコマンドが操作対象機器（例えば、オーディオ機器等）に入力され、入力されたコマンドに応じた処理が当該機器において実行されるようになっている。
【００３６】
このような構成によれば、手および制御スイッチの位置を、撮像画像に基づいて特定した上で、両物体の位置が同期して動く場合には、この動きに対応するジェスチャの認識結果をキャンセルすることができるので、制御スイッチを移動させる動作がジェスチャと誤認識されることを簡便、迅速かつ確実に回避することができる。
【００３７】
次に、本実施形態の作用について説明する。
【００３８】
本実施形態においては、まず、図３のステップ１（ＳＴ１）において、撮像装置２による撮像を開始する。この撮像の開始は、ジェスチャ入力の所定のトリガ（例えば、ジェスチャ入力をオンにする操作）の発生を待って行うようにしてもよい。
【００３９】
次いで、ステップ２−１（ＳＴ２−１）において、手特徴認識部３により、ステップ１（ＳＴ１）において撮像された撮像画像に基づいて、手の特徴を認識し、認識結果を手の動き情報として位置特定部５およびジェスチャコマンド認識部７に出力する。
【００４０】
また、このとき、ステップ２−２（ＳＴ２−２）において、スイッチ特徴認識部４により、ステップ１（ＳＴ１）において撮像された撮像画像に基づいて、制御スイッチの特徴を認識し、認識結果を制御スイッチの動き情報として位置特定部５に出力する。
【００４１】
次いで、ステップ３（ＳＴ３）において、位置特定部５により、ステップ２−１（ＳＴ２−１）において出力された手の動き情報と、ステップ２−２（ＳＴ２−２）において出力された制御スイッチの動き情報とに基づいて、手および制御スイッチの位置を同時に特定し、特定結果を手／制御スイッチの位置情報として同期移動判定部６に出力する。
【００４２】
次いで、ステップ４（ＳＴ４）において、同期移動判定部６により、ステップ３（ＳＴ３）において出力された手／制御スイッチの位置情報に基づいて、手および制御スイッチが同期して動いたか否かの判定（同期移動判定）を行い、判定結果に応じた同期／非同期判定情報をジェスチャコマンド認識部７に出力する。
【００４３】
次いで、ステップ５（ＳＴ５）において、ジェスチャコマンド認識部７により、ステップ２−１（ＳＴ２−１）において出力された手の動き情報に基づいてジェスチャ認識を行う。
【００４４】
次いで、ステップ６（ＳＴ６）において、ジェスチャコマンド認識部７により、ステップ４（ＳＴ４）において出力された同期／非同期判定情報が肯定的な判定結果を示すものであるか否かを判定する。そして、ステップ６（ＳＴ６）において肯定的な判定結果が得られた場合には、ステップ７（ＳＴ７）に進み、否定的な判定結果が得られた場合には、ステップ８（ＳＴ８）に進む。
【００４５】
ここで、ステップ７（ＳＴ７）に進んだ場合には、ジェスチャコマンド認識部７により、ステップ５（ＳＴ５）におけるジェスチャ認識の結果を無効にして、コマンドの発行を行わずに処理を終了する。
【００４６】
一方、ステップ８（ＳＴ８）に進んだ場合には、ジェスチャコマンド認識部７により、ステップ５（ＳＴ５）におけるジェスチャ認識の結果に対応するコマンドを発行して処理を終了する。
【００４７】
なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更してもよい。
【００４８】
例えば、本発明は、車室内以外の空間におけるジェスチャ入力に適用してもよい。
【符号の説明】
【００４９】
１  ジェスチャ認識装置
２  撮像装置
５  位置特定部
６  同期移動判定部
７  ジェスチャコマンド認識部
【図１】
2014126879.tif 000003
【図２】
2014126879.tif 000004
【図３】
2014126879.tif 000005
【図４】
2014126879.tif 000006