(57)【要約】 【課題】コマンドに対応する動作が行われたか否かを正確に判定可能なジェスチャ判定装置およびプログラムを提供する。【解決手段】本発明のジェスチャ判定装置は、認識部と判定部とを備える。認識部は、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、乗員の第１部位および第２部位を認識する。判定部は、認識部により認識された乗員の動作と、認識部により認識された第１部位と第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。【選択図】図３
2019101826.tif 000002
【特許請求の範囲】
【請求項１】
車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の第１部位および第２部位を認識する認識部と、
前記認識部により認識された乗員の動作と、前記認識部により認識された前記第１部位と前記第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定部と、を備える、
ジェスチャ判定装置。
【請求項２】
前記判定部は、
複数種類のコマンドごとに動作と前記位置関係の条件とを対応付けた対応情報に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する、
請求項１に記載のジェスチャ判定装置。
【請求項３】
前記判定部は、
前記対応情報を参照して、前記認識部により認識された前記乗員の動作と一致する動作に対応付けられた前記位置関係の条件を特定し、前記認識部により認識された前記第１部位と前記第２部位の位置関係が該条件を満たす場合は、該動作と該条件との組み合わせに対応付けられたコマンドに対応する動作が行われたと判定する、
請求項２に記載のジェスチャ判定装置。
【請求項４】
前記対応情報は、
複数の座席と１対１に対応する複数の乗員ごとに設定される、
請求項２または３に記載のジェスチャ判定装置。
【請求項５】
前記乗員の動作は手を用いた動作であり、
前記第１部位および前記第２部位の各々は、乗員の手に含まれる部位である、
請求項１乃至４のうちの何れか１項に記載のジェスチャ判定装置。
【請求項６】
前記第１部位は親指であり、
前記第２部位は手の中心点である、
請求項５に記載のジェスチャ判定装置。
【請求項７】
車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の基準となる一つの部位を示す基準部位を認識する認識部と、
前記認識部により認識された乗員の動作と、前記認識部により認識された前記基準部位の位置と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定部と、を備える、
ジェスチャ判定装置。
【請求項８】
コンピュータに、
車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の第１部位および第２部位を認識する認識ステップと、
前記認識ステップにより認識された乗員の動作と、前記認識ステップにより認識された前記第１部位と前記第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定ステップと、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャ判定装置およびプログラムに関する。
【背景技術】
【０００２】
従来、車両に乗車している乗員のジェスチャ（動作）を検出し、検出したジェスチャに応じたコマンドを出力する技術が知られている。例えば特許文献１には、カメラで撮像された画像から乗員の手の第１部位と第２部位を抽出し、第１部位の動きに応じたジェスチャに対応するコマンドの出力の可否を、第２部位の移動速度に応じて決める技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２１９８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、認識されたジェスチャが、コマンドの入力を目的としたジェスチャなのか、それ以外のジェスチャなのかを切り分けることはできても、その認識されたジェスチャが、何れかのコマンドに対して予め定義付けられたジェスチャに該当するか否かを正確に判定することは困難である。つまり、何れかのコマンドに対応するジェスチャが行われたか否かを正確に判定することは困難であるという問題があった。
【課題を解決するための手段】
【０００５】
本発明の実施形態にかかるジェスチャ判定装置は、例えば、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の第１部位および第２部位を認識する認識部と、前記認識部により認識された乗員の動作と、前記認識部により認識された前記第１部位と前記第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定部と、を備えるジェスチャ判定装置である。この構成によれば、撮像画像に基づいて認識された乗員の動作に加えて、撮像画像に基づいて認識された乗員の第１部位と第２部位との位置関係を考慮することで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。
【０００６】
また、実施形態にかかるジェスチャ判定装置は、例えば、前記判定部は、複数種類のコマンドごとに動作と前記位置関係の条件とを対応付けた対応情報に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。この構成によれば、判定部は、複数種類のコマンドごとに動作と前記位置関係の条件とを対応付けた対応情報を用いることで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。
【０００７】
また、実施形態にかかるジェスチャ判定装置は、例えば、前記判定部は、前記対応情報を参照して、前記認識部により認識された前記乗員の動作と一致する動作に対応付けられた前記位置関係の条件を特定し、前記認識部により認識された前記第１部位と前記第２部位の位置関係が該条件を満たす場合は、該動作と該条件との組み合わせに対応付けられたコマンドに対応する動作が行われたと判定する。この構成によれば、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。
【０００８】
また、実施形態にかかるジェスチャ判定装置は、例えば、前記対応情報は、複数の座席と１対１に対応する複数の乗員ごとに設定される。この構成によれば、例えば運転席、助手席、後部座席の乗員ごとに対応情報を予め設定することができる。つまり、各コマンドに対して、座席ごとの動作と位置関係の条件との組み合わせを個別に設定することができる。
【０００９】
また、実施形態にかかるジェスチャ判定装置は、例えば、前記乗員の動作は手を用いた動作であり、前記第１部位および前記第２部位の各々は、乗員の手に含まれる部位である。この構成によれば、例えば撮像画像に基づいて認識された乗員の動作（手を用いた動作）と、乗員の手における第１部位と第２部位との位置関係とに基づいて、何れかのコマンドに対応する手を用いた動作が行われたか否かを正確に判定することができる。
【００１０】
また、実施形態にかかるジェスチャ判定装置は、例えば、前記第１部位は親指であり、前記第２部位は手の中心点である。この構成によれば、例えばコマンドに対応する動作が、乗員の手を用いた動作であることを前提とした場合に、撮像画像に基づいて認識された乗員の動作（手を用いた動作）と、乗員の手の親指（第１部位）と手の中心点（第２部位）との位置関係とに基づいて、何れかのコマンドに対応する手を用いた動作が行われたか否かを正確に判定することができる。
【００１１】
また、本発明の実施形態にかかるジェスチャ判定装置は、例えば、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の基準となる一つの部位を示す基準部位を認識する認識部と、前記認識部により認識された乗員の動作と、前記認識部により認識された前記基準部位の位置と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定部と、を備えるジェスチャ判定装置である。この構成によれば、撮像画像に基づいて認識された乗員の動作に加えて、撮像画像に基づいて認識された乗員の基準部位の位置を考慮することで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。
【００１２】
また、本発明の実施形態にかかるプログラムは、例えば、コンピュータに、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の動作、前記乗員の第１部位および第２部位を認識する認識ステップと、前記認識ステップにより認識された乗員の動作と、前記認識ステップにより認識された前記第１部位と前記第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する判定ステップと、を実行させるためのプログラムである。この構成によれば、撮像画像に基づいて認識された乗員の動作に加えて、撮像画像に基づいて認識された乗員の第１部位と第２部位との位置関係を考慮することで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態の情報処理システムの概略構成を示す図である。
【図２】図２は、画像処理装置のハードウェア構成の一例を示す図である。
【図３】図３は、画像処理装置が有する機能の一例を示す図である。
【図４】図４は、骨格情報の一例を示す図である。
【図５】図５は、第１の実施形態の対応情報の一例を示す図である。
【図６】図６は、右手の手の平を開方向に向けて移動させる動作を示す図である。
【図７】図７は、運転者の右手の親指に対応する特徴点と、運転者の右手の中心点に対応する特徴点との位置関係を示す図である。
【図８】図８は、右手の手の平を閉方向に向けて移動させる動作を示す図である。
【図９】図９は、運転者の右手の親指に対応する特徴点と、運転者の右手の中心点に対応する特徴点との位置関係を示す図である。
【図１０】図１０は、運転者の握った右手を上げる動作を示す図である。
【図１１】図１１は、運転者の右手の親指に対応する特徴点と、運転者の右手の中心点に対応する特徴点との位置関係を示す図である。
【図１２】図１２は、本実施形態の画像処理装置の動作例を示すフローチャートである。
【図１３】図１３は、助手席の乗員用の対応情報の一例を示す図である。
【図１４】図１４は、助手席の乗員の左手の親指に対応する特徴点と、助手席の乗員の左手の中心点に対応する特徴点との位置関係を示す図である。
【図１５】図１５は、助手席の乗員の左手の親指に対応する特徴点と、助手席の乗員の左手の中心点に対応する特徴点との位置関係を示す図である。
【図１６】図１６は、乗員の左手で顔を隠すという動作を示す図である。
【図１７】図１７は、乗員の頭部に対応する特徴点と、乗員の左手の中心点に対応する特徴点との位置関係を示す図である。
【図１８】図１８は、第２の実施形態の対応情報の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照しながら、本発明に係るジェスチャ判定装置およびプログラムの実施形態を詳細に説明する。
【００１５】
（第１の実施形態）
図１は、エンジンまたはモータ等の駆動源を有する自動車などの車両に搭載される情報処理システム１００の概略構成を示す図である。図１に示すように、情報処理システム１００は、撮像部１０と、画像処理装置２０と、車両制御装置３０と、を備える。
【００１６】
撮像部１０は、車内を撮像する装置である。例えば撮像部１０はカメラで構成される。この例では、撮像部１０は、所定のフレームレートで連続的に撮像を行う。撮像部１０により撮像された画像（以下、「撮像画像」と称する場合がある）は画像処理装置２０へ入力される。
【００１７】
画像処理装置２０は、「ジェスチャ判定装置」の一例であり、撮像部１０から入力された撮像画像に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定し、その判定結果が肯定の場合は、出力を許可するコマンドを示す情報（コマンド情報）を車両制御装置３０へ出力する。画像処理装置２０の具体的な構成については後述する。
【００１８】
なお、本実施形態では、各コマンドに対応する動作を行う者は運転手であり、撮像部１０は、運転席の乗員（運転手）の上半身が撮像されるように設置（視野角及び姿勢が調整）されていることを前提として説明するが、これに限られるものではない。後述するように、例えば助手席や後部座席の乗員が各コマンドに対応する動作を行って、コマンドが実行される形態もあり得る。この形態では、撮像部１０は、運転手だけではなく、助手席や後部座席の乗員の上半身も撮像されるように設置される。
【００１９】
車両制御装置３０は、画像処理装置２０から入力されたコマンド情報が示すコマンドに従って、車両の各部を制御する。コマンドの種類等については、画像処理装置２０の具体的な構成と併せて後述する。
【００２０】
以下、本実施形態の画像処理装置２０の具体的な構成について説明する。図２は、画像処理装置２０のハードウェア構成の一例を示す図である。図２に示すように、画像処理装置２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部Ｉ／Ｆ２０４を備える。この例では、画像処理装置２０は、通常のコンピュータと同様のハードウェア構成を有している。なお、画像処理装置２０が有するハードウェア要素は図２に例示したハードウェア要素に限られるものではなく、これ以外のハードウェア要素をさらに備える形態であっても構わない。
【００２１】
ＣＰＵ２０１は、プログラムを実行することにより、画像処理装置２０の動作を統括的に制御し、画像処理装置２０が有する各種の機能を実現する。画像処理装置２０が有する各種の機能については後述する。
【００２２】
ＲＯＭ２０２は、不揮発性のメモリであり、画像処理装置２０を起動させるためのプログラムを含む各種データを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の作業領域を有する揮発性のメモリである。
【００２３】
外部Ｉ／Ｆ２０４は、外部機器と接続するためのインタフェースである。例えば外部Ｉ／Ｆ２０４として、撮像部１０と接続するためのインタフェースと、車両制御装置３０と接続するためのインタフェースとが設けられる。
【００２４】
図３は、画像処理装置２０が有する機能の一例を示す図である。なお、図３の例では、本発明に関する機能のみを例示しているが、画像処理装置２０が有する機能はこれらに限られるものではない。
【００２５】
図３に示すように、画像処理装置２０は、取得部２１１、認識部２１２、判定部２１３、対応情報記憶部２１４、コマンド出力部２１５を有する。この例では、ＣＰＵ２０１が、ＲＯＭ２０２等の記憶装置に記憶されたプログラムを実行することにより、取得部２１１、認識部２１２、判定部２１３、コマンド出力部２１５の各々の機能が実現される。ただし、これに限らず、例えば取得部２１１、認識部２１２、判定部２１３、コマンド出力部２１５のうちの少なくとも一部が専用のハードウェア回路で構成される形態であってもよい。また、対応情報記憶部２１４は、例えばＲＯＭ２０２等で構成されてもよいし、画像処理装置２０外に設けられる形態であってもよい。
【００２６】
取得部２１１は、撮像部１０から撮像画像を取得する。取得部２１１は、撮像部１０による撮像が行われるたびに、その撮像で得られた撮像画像を取得する。
【００２７】
認識部２１２は、取得部２１１により取得された撮像画像（撮像部１０により撮像された撮像画像）に基づいて、乗員の動作、乗員の第１部位および第２部位を認識する。この例では、乗員の動作は手を用いた動作であり、第１部位および第２部位の各々は、乗員の手に含まれる部位である。さらに言えば、第１部位は親指であり、第２部位は手の中心点であるが、これに限られるものではない。
【００２８】
撮像画像に基づいて、乗員の動作、第１部位および第２部位を認識する方法については公知の様々な技術を利用可能である。例えば特願２０１７−１８２７４８号に開示された技術を利用する形態であってもよい。本実施形態では、認識部２１２は、撮像画像に映り込んだ乗員の身体（上半身）の各部の関節（特徴点）を抽出して骨格情報（スケルトンデータ）を生成する。そして、認識部２１２は、その生成した骨格情報に基づいて、乗員の動作、乗員の第１部位および第２部位を認識する。
【００２９】
図４は、本実施形態の骨格情報の一例を示す図である。各特徴点はｘ方向（水平方向）の座標の値とｙ方向（上下方向）の座標の値との組み合わせ（二元の座標情報）で表される。図４の例では、骨格情報の特徴点として、頭部に対応する特徴点Ｐ１（ｘ１，ｙ１）、首に対応する特徴点Ｐ２（ｘ２，ｙ２）、右肩に対応する特徴点Ｐ３（ｘ３，ｙ３）、右肘に対応する特徴点Ｐ４（ｘ４，ｙ４）、右手首に対応する特徴点Ｐ５（ｘ５，ｙ５）、右手の中心点に対応する特徴点Ｐ６（ｘ６，ｙ６）、右手の親指に対応する特徴点Ｐ７（ｘ７，ｙ７）、右手の中指に対応する特徴点Ｐ８（ｘ８，ｙ８）、左肩に対応する特徴点Ｐ９（ｘ９，ｙ９）、左肘に対応する特徴点Ｐ１０（ｘ１０，ｙ１０）、左手首に対応する特徴点Ｐ１１（ｘ１１，ｙ１１）、左手の中心点に対応する特徴点Ｐ１２（ｘ１２，ｙ１２）、左手の親指に対応する特徴点Ｐ１３（ｘ１３，ｙ１３）、左手の中指に対応する特徴点Ｐ１４（ｘ１４，ｙ１４）、右腰に対応する特徴点Ｐ１５（ｘ１５，ｙ１５）、左腰に対応する特徴点Ｐ１６（ｘ１６，ｙ１６）が挙げられているが、これに限られるものではない。
【００３０】
なお、ここでは、運転者は、各コマンドに対応する動作として右手を用いた動作を行うことが想定されており、第１部位として、右手の親指に対応する特徴点Ｐ７（ｘ７，ｙ７）が特定され、第２部位として、右手の中心点に対応する特徴点Ｐ６（ｘ６,ｙ６）が特定される。ただし、これに限らず、例えば運転者は、各コマンドに対応する動作として左手を用いた動作を行うことを前提とした形態であっても構わない。
【００３１】
図３に戻って説明を続ける。判定部２１３は、認識部２１２により認識された乗員の動作と、認識部２１２により認識された第１部位と第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。本実施形態では、判定部２１３は、複数種類のコマンドごとに動作と位置関係（第１部位と第２部位の位置関係）の条件とを対応付けた対応情報に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。より具体的には、判定部２１３は、対応情報を参照して、認識部２１２により認識された乗員の動作と一致する動作に対応付けられた位置関係の条件を特定し、認識部２１２により認識された第１部位と第２部位の位置関係が該条件を満たす場合は、該動作と該条件との組み合わせに対応付けられたコマンドに対応する動作が行われたと判定する。
【００３２】
図５は、対応情報の一例を示す図である。この例では、対応情報は、対応情報記憶部２１４に記憶される。図５の例では、サンルーフの制御に関するコマンドが例示されているが、コマンドの種類はこれに限られるものではない。
【００３３】
図５において、「ＯＰＥＮ」と表されたコマンドは、サンルーフを開けることを指示するコマンドであり、「ＣＬＯＳＥ」と表されたコマンドは、サンルーフを閉めることを指示するコマンドであり、「ＰＡＵＳＥ」と表されたコマンドは、サンルーフの開閉動作を停止（中断）することを指示するコマンドである。
【００３４】
図５に示すように、コマンド「ＯＰＥＮ」に対しては、手をサンルーフの開方向に移動させることを示す動作と、第１部位である右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７が、第２部位である右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６よりも大きいことを示す位置関係の条件とが対応付けられている。
【００３５】
ここでは、コマンド「ＯＰＥＮ」に対して予め定義付けられた動作として、図６に示すように、右手の手の平をサンルーフの開方向に向けて移動させる動作が想定されている。また、ここでは、撮像部１０は運転者の正面を撮像するように配置されるものとし、この動作を行ったときの撮像画像に基づく骨格情報において、運転者の右手の親指に対応する特徴点Ｐ７と、運転者の右手の中心点に対応する特徴点Ｐ６との位置関係は図７のようになる（右上を原点とするが、これに限られない）。この例では、図７の左方向はｘ方向の正方向となるので、特徴点Ｐ７のｘ座標の値ｘ７は、特徴点Ｐ６のｘ座標の値ｘ６よりも大きい値を示すことになる。したがって、手を開方向に移動させる動作が認識され、かつ、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７が、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６よりも大きいことを示す場合は、コマンド「ＯＰＥＮ」に対応する動作が行われたと判定することができる。位置関係の条件は、認識された動作が、コマンドに対応する動作であるか否かを正確に判定するための条件であると捉えることもできる。
【００３６】
また、図５に示すように、コマンド「ＣＬＯＳＥ」に対しては、手をサンルーフの閉方向に移動させることを示す動作と、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７が、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６よりも小さいことを示す位置関係の条件とが対応付けられている。
【００３７】
ここでは、コマンド「ＣＬＯＳＥ」に対して予め定義付けられた動作として、図８に示すように、右手の手の平を閉方向に向けて移動させる動作が想定されている。この動作を行ったときの、運転者の右手の親指に対応する特徴点Ｐ７と、運転者の右手の中心点に対応する特徴点Ｐ６との位置関係は図９のようになる。ここでは、図９の左方向はｘ方向の正方向となるので、特徴点Ｐ７のｘ座標の値ｘ７は、特徴点Ｐ６のｘ座標の値ｘ６よりも小さい値を示すことになる。したがって、手を閉方向に移動させる動作が認識され、かつ、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７が、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６よりも小さいことを示す場合は、コマンド「ＣＬＯＳＥ」に対応する動作が行われたと判定することができる。
【００３８】
また、図５に示すように、コマンド「ＰＡＵＳＥ」に対しては、握った手を上げることを示す動作と、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７と、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６との差分の絶対値が規定値よりも大きいことを示す位置関係の条件とが対応付けられている。
【００３９】
ここでは、コマンド「ＰＡＵＳＥ」に対して予め定義付けられた動作として、図１０に示すように、握った右手を上げる動作が想定されている。この動作を行ったときの、運転者の右手の親指に対応する特徴点Ｐ７と、運転者の右手の中心点に対応する特徴点Ｐ６との位置関係は図１１のようになる。右手を握ったとき、親指に対応する特徴点Ｐ７と中心点に対応する特徴点Ｐ６は互いに近接した位置に密集するので、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７と、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６との差分の絶対値が規定値よりも大きい場合に、右手を握っていると判定することができる。したがって、手を上げる動作が認識され、かつ、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７と、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６との差分の絶対値が規定値よりも大きいことを示す場合は、コマンド「ＰＡＵＳＥ」に対応する動作が行われたと判定することができる。
【００４０】
なお、例えば右手の中指に対応する特徴点Ｐ８も考慮に入れて判定する形態であってもよい。例えば手を上げる動作が認識されたときに、右手の親指に対応する特徴点Ｐ７のｘ座標の値ｘ７と、右手の中心点に対応する特徴点Ｐ６のｘ座標の値ｘ６との差分の絶対値が規定値よりも大きく、かつ、右手の中指に対応する特徴点Ｐ８のｘ座標の値ｘ８と、特徴点Ｐ７および特徴点Ｐ６の各々のｘ座標の値（ｘ７またはｘ６）との差分の絶対値がそれぞれ規定値よりも大きい場合に、握った右手を上げていると判定することもできる。
【００４１】
以上のようにして、判定部２１３は、何れかのコマンドに対応する動作が行われたか否かを判定し、その判定結果をコマンド出力部２１５へ入力する。
【００４２】
図３に示すコマンド出力部２１５は、対応する動作が行われたと判定されたコマンドを示すコマンド情報を車両制御装置３０へ出力する。
【００４３】
図１２は、本実施形態の画像処理装置２０の動作例を示すフローチャートである。各ステップの具体的な内容については上述したとおりであるので、詳細な説明は適宜に省略する。
【００４４】
図１２に示すように、まず取得部２１１は、撮像部１０から撮像画像を取得する（ステップＳ１）。次に、認識部２１２は、ステップＳ１で取得された撮像画像に基づいて、乗員（この例では運転者）の動作、第１部位（この例では右手の親指）および第２部位（この例では右手の中心点）を認識する（ステップＳ２）。次に、判定部２１３は、ステップＳ２で認識された乗員の動作と、ステップＳ２で認識された第１部位と第２部位の位置関係と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する（ステップＳ３）。
【００４５】
ステップＳ３の判定により、何れかのコマンドに対応する動作が行われたと判定された場合（ステップＳ４：Ｙｅｓ）、コマンド出力部２１５は、該コマンドを示すコマンド情報を車両制御装置３０へ出力する（ステップＳ５）。ステップＳ３の判定により、何れかのコマンドに対応する動作が行われたと判定されなかった場合（ステップＳ４：Ｎｏ）、コマンド情報の出力は行われず、ステップＳ１以降の処理が繰り返される。
【００４６】
以上に説明したように、本実施形態では、撮像画像に基づいて認識された乗員の動作に加えて、撮像画像に基づいて認識された乗員の第１部位と第２部位との位置関係を考慮することで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。例えば乗員が「開いた手を移動させる」という動作を行った際に、乗員の手の２点（親指と中心点等）の位置関係を考慮することで、開いた手を前方向に移動させたのか後方向に移動させたのかを正確に切り分けることができる。つまり、例えば開いた手を前方向に移動させるか後方向に移動させるかに応じて異なるコマンドが設定されるような場合において本実施形態は格別に有効である（各コマンドに対応する動作が行われたか否かを正確に判定することができる）。
【００４７】
（第１の実施形態の変形例１）
例えば上述の対応情報は、複数の座席と１対１に対応する複数の乗員ごとに設定される形態であってもよい。例えば運転席の乗員用の対応情報、助手席の乗員用の対応情報、後部座席の乗員用の対応情報が個別に設定される形態であってもよい。以下、一例として、助手席の乗員用の対応情報について説明する。
【００４８】
ここでは、助手席の乗員は、各コマンドに対応する動作として左手を用いた動作を行うことが想定されており、第１部位として、左手の親指に対応する特徴点Ｐ１３（ｘ１３，ｙ１３）が特定され、第２部位として、左手の中心点に対応する特徴点Ｐ１２（ｘ１２,ｙ１２）が特定される。ただし、これに限らず、例えば運転者は、各コマンドに対応する動作として右手を用いた動作を行うことを前提とした形態であっても構わない。
【００４９】
図１３は、助手席の乗員用の対応情報の一例を示す図であり、上述の第１の実施形態と同様に、サンルーフの制御に関する複数のコマンドごとに動作と位置関係の条件とが対応付けられている。図１３に示すように、コマンド「ＯＰＥＮ」に対しては、手をサンルーフの開方向に移動させることを示す動作と、第１部位である左手の親指に対応する特徴点Ｐ１３のｘ座標の値ｘ１３が、第２部位である左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２よりも小さいことを示す位置関係の条件とが対応付けられている。
【００５０】
ここでは、コマンド「ＯＰＥＮ」に対して予め定義付けられた動作（助手席の乗員の動作）として、左手の手の平を開方向に向けて移動させる動作が想定されている。また、ここでは、撮像部１０は助手席の乗員の正面を撮像するように配置されるものとし、この動作を行ったときの撮像画像に基づく骨格情報において、助手席の乗員の左手の親指に対応する特徴点Ｐ１３と、助手席の乗員の左手の中心点に対応する特徴点Ｐ１２との位置関係は図１４のようになる（右上を原点とするが、これに限られない）。この例では、図１４の左方向はｘ方向の正方向となるので、特徴点Ｐ１３のｘ座標の値ｘ１３は、特徴点Ｐ１２のｘ座標の値ｘ１２よりも小さい値を示すことになる。したがって、撮像画像に写り込んだ助手席の乗員について、手を開方向に移動させる動作が認識され、かつ、左手の親指に対応する特徴点Ｐ１３のｘ座標の値ｘ１３が、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２よりも小さいことを示す場合は、コマンド「ＯＰＥＮ」に対応する動作が行われたと判定することができる。
【００５１】
また、図１３に示すように、コマンド「ＣＬＯＳＥ」に対しては、手をサンルーフの閉方向に移動させることを示す動作と、左手の親指に対応する特徴点Ｐ１３のｘ座標の値ｘ１３が、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２よりも大きいことを示す位置関係の条件とが対応付けられている。
【００５２】
ここでは、コマンド「ＣＬＯＳＥ」に対して予め定義付けられた動作として、左手の手の平を閉方向に向けて移動させる動作が想定されている。この動作を行ったときの、助手席の乗員の左手の親指に対応する特徴点Ｐ１３と、助手席の乗員の左手の中心点に対応する特徴点Ｐ１２との位置関係は図１５のようになる。この例では、図１５の左方向はｘ方向の正方向となるので、特徴点Ｐ１３のｘ座標の値ｘ１３は、特徴点Ｐ１２のｘ座標の値ｘ１２よりも大きい値を示すことになる。したがって、撮像画像に写り込んだ助手席の乗員について、手を閉方向に移動させる動作が認識され、かつ、左手の親指に対応する特徴点Ｐ１３のｘ座標の値ｘ１３が、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２よりも大きいことを示す場合は、コマンド「ＣＬＯＳＥ」に対応する動作が行われたと判定することができる。
【００５３】
また、図１３に示すように、コマンド「ＰＡＵＳＥ」に対しては、手を上げることを示す動作と、左手の親指に対応する特徴点Ｐ１３のｘ座標の値ｘ１３と、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２との差分の絶対値が規定値よりも大きいことを示す位置関係の条件とが対応付けられている。これは、運転者用の対応情報で説明した内容と同様であるので、詳細な説明は省略する。
【００５４】
なお、後部座席の乗員用の対応情報についても、上記と同様にして個別に設定することが可能である。
【００５５】
（第１の実施形態の変形例２）
上述の実施形態では、サンルーフの制御に関するコマンドが例示されているが、コマンドの種類はこれに限られるものではない。例えばウィンドレギュレータの開閉制御に関するコマンド、オーディオの音量制御に関するコマンド、車窓ガラスの透過率制御に関するコマンドなどであってもよい。なお、各コマンドに対して予め定義付けられる動作についても任意に設定可能である。例えばオーディオの音量制御に関するコマンドに対しては、指を回転させる動作などを予め定義付けてもよい。
【００５６】
また、例えば車窓ガラスの透過率を、透明状態に対応する第１の透過率から遮光状態に対応する第２の透過率に変更することを指示するコマンドに対して、図１６に示すように、乗員の左手（または右手でもよい）で顔を隠すという動作が予め定義付けられていてもよい。この動作を行ったときの、乗員の頭部に対応する特徴点Ｐ１と、乗員の左手の中心点に対応する特徴点Ｐ１２との位置関係は図１７のようになる。説明の便宜上、他の特徴点の図示は省略している。左手で顔を隠したとき、頭部に対応する特徴点Ｐ１と左手の中心点に対応する特徴点Ｐ１２は互いに近接した位置に密集するので、頭部に対応する特徴点Ｐ１のｘ座標の値ｘ１と、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２との差分の絶対値が規定値よりも大きい場合に、左手で顔を隠していると判定することができる。
【００５７】
この例では、位置関係の条件として、頭部に対応する特徴点Ｐ１のｘ座標の値ｘ１と、左手の中心点に対応する特徴点Ｐ１２のｘ座標の値ｘ１２との差分の絶対値が規定値よりも大きいことを示す条件が設定されているが、これに限らず、位置関係の条件は任意に設定可能である。例えば位置関係の条件として、乗員の左手の中心点に対応する特徴点Ｐ１２と、乗員の左手の親指（中指でもよい）に対応する特徴点Ｐ１３とが、所定の領域（例えば顔が写り込むことが想定される領域）内に存在することを示す条件が設定される形態であってもよい。
【００５８】
（第１の実施形態の変形例３）
例えば上述の判定部２１３および上述のコマンド出力部２１５が車両制御装置３０側に搭載される形態であってもよい。この場合は、画像処理装置２０と車両制御装置３０の組み合わせが「ジェスチャ判定装置」に相当する。要するに、ジェスチャ判定装置は、上述の認識部２１２と判定部２１３とを少なくとも備える形態であればよく、単一の装置で構成されてもよいし、複数の装置で構成（認識部２１２および判定部２１３が複数の装置に分散される構成）されてもよい。
【００５９】
（第１の実施形態の変形例４）
例えばコマンド出力部２１５は、判定部２１３により何れかのコマンドに対応する動作が行われたと判定されてから、一定時間内に他のコマンドに対応する動作が行われたと判定された場合は、何れのコマンドも出力しない形態であってもよい。例えばコマンド出力部２１５は、「ＯＰＥＮ」コマンドに対応する動作が行われたことを示す判定結果を判定部２１３から受信してから一定時間内に、「ＣＬＯＳＥ」コマンドに対応する動作が行われたことを示す判定結果を受信した場合は、何れのコマンドも出力しない形態であってもよい。上記一定時間は任意に設定可能である。
【００６０】
（第１の実施形態の変形例５）
また、例えばコマンド出力部２１５は、出力済みのコマンドの実行中に、判定部２１３により他のコマンドに対応する動作が行われたと判定された場合は、該実行中のコマンドを停止させる形態であってもよい。例えばコマンド出力部２１５は、出力済みの「ＯＰＥＮ」コマンドの実行中に、「ＣＬＯＳＥ」コマンドに対応する動作が行われたことを示す判定結果を判定部２１３から受信した場合は、車両制御装置３０に対して、「ＯＰＥＮ」コマンドの実行を中断することを要求する形態であってもよい。この要求を受けた車両制御装置３０は、「ＯＰＥＮ」コマンドの実行を中断（サンルーフの開動作を中断）することができる。
【００６１】
（第２の実施形態）
次に、第２の実施形態を説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。本実施形態では、認識部２１２は、車内を撮像する撮像部１０により撮像された撮像画像に基づいて、乗員の動作、乗員の基準となる一つの部位を示す基準部位を認識する。この認識方法については、上述の第１の実施形態で説明した認識方法と同様である。そして、判定部２１３は、認識部２１２により認識された乗員の動作と、認識部２１２により認識された基準部位の位置と、に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。その他の構成は上述の第１の実施形態と同様であるので、共通する部分については適宜に説明を省略する。
【００６２】
例えば乗員の動作は手を用いた動作であり、基準部位は、乗員の手に含まれる部位であってもよい。例えば基準部位は乗員の手の中心点であってもよいが、これに限られるものではない。
【００６３】
また、本実施形態の判定部２１３は、複数種類のコマンドごとに動作と基準部位の位置の条件（範囲）とを対応付けた対応情報に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。より具体的には、判定部２１３は、この対応情報を参照して、認識部２１２により認識された乗員の動作と一致する動作に対応付けられた基準部位の位置の条件を特定し、認識部２１２により認識された基準部位の位置が該条件を満たす場合は、該動作と該条件との組み合わせに対応付けられたコマンドに対応する動作が行われたと判定する。
【００６４】
図１８は、対応情報の一例を示す図である。図１８の例では、サンルーフの制御に関するコマンドが例示されているが、コマンドの種類はこれに限られるものではない。図１８に示すように、複数のコマンドごとに、動作と、基準部位の高さの条件となる高さの範囲（「基準部位の位置の条件」の一例）とが対応付けられている。この例では、基準部位は乗員の右手の中心点であり、高さの条件として、右手の中心点に対応する特徴点Ｐ６のｙ座標の値ｙ６が第１の閾値Ｈ１よりも大きく、かつ、第２の閾値Ｈ２（＞Ｈ１）よりも小さいことを示す条件がそれぞれに対応付けられている。ここでは、各コマンドに対応付けられた高さの条件は全て同じであるが、これに限らず、例えばコマンドごとに異なる条件を個別に設定することもできる。
【００６５】
例えばコマンド「ＯＰＥＮ」に着目すると、手をサンルーフの開方向に移動させる動作が認識され、かつ、基準部位である右手の中心点に対応する特徴点Ｐ６のｙ座標の値ｙ６が、第１の閾値Ｈ１よりも大きく、かつ、第２の閾値Ｈ２よりも小さいことを示す場合は、判定部２１３は、コマンド「ＯＰＥＮ」に対応する動作が行われたと判定することができる。つまり、コマンド「ＯＰＥＮ」の出力を許可することができる。上述の第１の実施形態で説明した位置関係の条件と同様、基準部位の高さの条件は、認識された動作が、コマンドに対応する動作であるか否かを正確に判定するための条件であると捉えることもできる。
【００６６】
以上に説明したように、本実施形態では、撮像画像に基づいて認識された乗員の動作に加えて、撮像画像に基づいて認識された乗員の基準部位（この例では乗員の右手の中心点）の位置（この例では高さ）を考慮することで、何れかのコマンドに対応する動作が行われたか否かを正確に判定することができる。例えば乗員が、コマンドに対応する動作を行うことが想定された高さの範囲外で何らかの動作を行っても、その動作は、コマンドに対応する動作とは無関係な動作であるとして棄却されるので、コマンドは発行されない。つまり、不適切な動作に起因したコマンドの発行を防止できる。
【００６７】
なお、ここでは、基準部位の位置の条件として、基準部位の上下方向の位置（高さ）の条件が設定される場合を例に挙げて説明したが、これに限らず、例えば基準部位の左右方向の位置の条件が設定される形態であってもよい。要するに、基準部位の位置の条件として、コマンドに対応する動作が行われることが予め想定された領域（ジェスチャ領域）の範囲内に基準部位が存在するか否かを判定可能な条件が設定される形態であればよい。
【００６８】
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の各実施形態および変形例は、任意に組み合わせることができる。
【符号の説明】
【００６９】
１０    撮像部
２０    画像処理装置
３０    車両制御装置
１００  情報処理システム
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  外部Ｉ／Ｆ
２１１  取得部
２１２  認識部
２１３  判定部
２１４  対応情報記憶部
２１５  コマンド出力部
【図１】
2019101826.tif 000003
【図２】
2019101826.tif 000004
【図３】
2019101826.tif 000005
【図４】
2019101826.tif 000006
【図５】
2019101826.tif 000007
【図６】
2019101826.tif 000008
【図７】
2019101826.tif 000009
【図８】
2019101826.tif 000010
【図９】
2019101826.tif 000011
【図１０】
2019101826.tif 000012
【図１１】
2019101826.tif 000013
【図１２】
2019101826.tif 000014
【図１３】
2019101826.tif 000015
【図１４】
2019101826.tif 000016
【図１５】
2019101826.tif 000017
【図１６】
2019101826.tif 000018
【図１７】
2019101826.tif 000019
【図１８】
2019101826.tif 000020