(57)【要約】【課題】ジェスチャ入力を行う利用者の周囲に複数の利用者がいる場合であっても、利用者ごとにカスタマイズされたジェスチャ入力を正確に取得できるジェスチャ認識装置を提供する。【解決手段】取得した画像からジェスチャを検出し、当該ジェスチャに対応して、制御対象機器に対する命令を生成するジェスチャ認識装置であって、画像を取得する画像取得手段と、取得した画像から、ジェスチャを行う対象部位を検出し、検出した対象部位の動きまたは形状に基づいてジェスチャを取得するジェスチャ取得手段と、取得した画像に含まれる顔を検出する顔検出手段と、人体の形状を表した人体モデルを用いて、検出した対象部位と、検出した顔とを対応付ける対応付け手段と、検出した顔に対応する利用者を識別する個人識別手段と、識別した利用者と、取得したジェスチャに基づいて、制御対象機器に対する命令を生成するコマンド生成手段と、を有することを特徴とする。【選択図】図１
2015095164.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像からジェスチャを検出し、当該ジェスチャに対応した、制御対象機器に対する命令を生成するジェスチャ認識装置であって、
画像を取得する画像取得手段と、
前記取得した画像から、ジェスチャを行う対象部位を検出し、検出した対象部位の動きまたは形状に基づいてジェスチャを取得するジェスチャ取得手段と、
前記取得した画像に含まれる顔を検出する顔検出手段と、
人体の形状を表した人体モデルを用いて、前記検出した対象部位と、前記検出した顔とを対応付ける対応付け手段と、
前記検出した顔に対応する利用者を識別する個人識別手段と、
前記識別した利用者と、前記取得したジェスチャに基づいて、制御対象機器に対する命令を生成するコマンド生成手段と、
を有することを特徴とする、ジェスチャ認識装置。
【請求項２】
ジェスチャと、制御対象機器に対する命令の組を、利用者ごとに対応付けたデータである個人設定データを記憶するジェスチャ記憶手段をさらに有し、
前記コマンド生成手段は、前記個人設定データにさらに基づいて制御対象機器に対する命令を生成する
ことを特徴とする、請求項１に記載のジェスチャ認識装置。
【請求項３】
前記対応付け手段は、前記検出した顔の座標と前記人体モデルを用いて、前記検出した顔ごとに、対象部位が存在すると推定される範囲を算出し、前記算出した範囲に前記対象部位がある場合に、当該対象部位と当該顔とを対応付ける
ことを特徴とする、請求項２に記載のジェスチャ認識装置。
【請求項４】
前記ジェスチャ記憶手段は、利用者に対応付いた優先度をさらに記憶し、
前記ジェスチャ取得手段が取得したジェスチャが同時期に二つ以上ある場合に、
前記コマンド生成手段は、より優先度が高い利用者に対応するジェスチャを優先して処理する
ことを特徴とする、請求項２または３に記載のジェスチャ認識装置。
【請求項５】
前記対応付け手段が、前記検出した対象部位と、前記検出した顔との対応付けに失敗した場合、
前記コマンド生成手段は、ジェスチャを行った利用者を考慮せずに、前記ジェスチャに対応する既定の命令を生成する
ことを特徴とする、請求項２から４のいずれかに記載のジェスチャ認識装置。
【請求項６】
顔の検出結果を用いずに、ジェスチャを行った利用者を推定する利用者推定手段をさらに有し、
前記対応付け手段が、前記検出した対象部位と、前記検出した顔との対応付けに失敗した場合に、前記利用者推定手段が、ジェスチャを行った利用者を推定する
ことを特徴とする、請求項１から５のいずれかに記載のジェスチャ認識装置。
【請求項７】
取得した画像からジェスチャを検出し、当該ジェスチャに対応した、制御対象機器に対する命令を生成するジェスチャ認識装置の制御方法であって、
画像を取得する画像取得ステップと、
前記取得した画像から、ジェスチャを行う対象部位を検出し、検出した対象部位の動きまたは形状に基づいてジェスチャを取得するジェスチャ取得ステップと、
前記取得した画像に含まれる顔を検出する顔検出ステップと、
前記取得した画像に人体モデルを適用することで、前記検出した対象部位と、前記検出した顔とを対応付ける対応付けステップと、
前記検出した顔に対応する利用者を識別する個人識別ステップと、
前記識別した利用者と、前記取得したジェスチャに基づいて、制御対象機器に対する命令を生成するコマンド生成ステップと、
を含むことを特徴とする、ジェスチャ認識装置の制御方法。
【請求項８】
取得した画像からジェスチャを検出し、当該ジェスチャに対応した、制御対象機器に対する命令を生成するジェスチャ認識装置に、
画像を取得する画像取得ステップと、
前記取得した画像から、ジェスチャを行う対象部位を検出し、検出した対象部位の動きまたは形状に基づいてジェスチャを取得するジェスチャ取得ステップと、
前記取得した画像に含まれる顔を検出する顔検出ステップと、
前記取得した画像に人体モデルを適用することで、前記検出した対象部位と、前記検出した顔とを対応付ける対応付けステップと、
前記検出した顔に対応する利用者を識別する個人識別ステップと、
前記識別した利用者と、前記取得したジェスチャに基づいて、制御対象機器に対する命令を生成するコマンド生成ステップと、
を実行させることを特徴とする、ジェスチャ認識プログラム。
【請求項９】
請求項８に記載のジェスチャ認識プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによる入力操作を認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
コンピュータや電子機器に対して、ジェスチャによって入力を行うことができる装置が普及の兆しを見せている。
【０００３】
例えば、特許文献１には、利用者が空間上で行ったジェスチャをカメラなどによって撮像し、当該ジェスチャを入力コマンドに変換する入力装置が記載されている。当該装置は、特定のジェスチャと特定の入力コマンドを関連付けて記憶しており、ジェスチャを認識する手段と、認識したジェスチャを入力コマンドに変換する手段を有している。これにより利用者は、機器の前でジェスチャ動作をするだけで、入力デバイスを直接操作することなく任意のコマンドを入力することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４０３１２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ジェスチャを認識する入力装置において、ある一つのジェスチャに、利用者の好みに応じて異なる入力コマンドを割り当てたい場合がある。例えば、「手を左右に動かす」というジェスチャに対して、「テレビのチャンネル変更」という操作を割り当てたい利用者と、「テレビの音量変更」という操作を割り当てたい利用者がいることが考えられる。
これに対応するため、特許文献１に記載の装置では、カメラが撮像した画像から更に顔を検出することで、ジェスチャを行った利用者を識別している。これにより、ジェスチャと入力コマンドを利用者ごとに対応付けることが可能になり、個人の好みに合ったカスタマイズを行うことができる。
【０００６】
しかし、特許文献１に記載の装置は、顔による個人識別は可能であるものの、画像に複数の顔が映っている場合、検出したジェスチャが誰によって行われたものかを正しく認識することができない。
例えば、利用者Ａと利用者Ｂがテレビの正面にいる状況であって、装置が、テレビ正面に設置されたカメラを通してジェスチャを検出したとする。このような状況において、当該ジェスチャに、利用者によって異なるコマンドが割り当たっていた場合（例えば、利用者Ａが「チャンネルアップ」であり、利用者Ｂが「音量アップ」であった場合）、装置は、ジェスチャを行った利用者を特定することができないため、どちらのコマンドを実行すればよいか決定することができない。
【０００７】
本発明は上記の課題を考慮してなされたものであり、ジェスチャ入力を行う利用者の周囲に複数の利用者がいる場合であっても、利用者ごとにカスタマイズされたジェスチャ入力を正確に取得できるジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係るジェスチャ認識装置は、人体の形状を表した人体モデルを用いて、画像に含まれる顔と、ジェスチャを行う対象部位とを対応付け、ジェスチャを行った人物を識別するという構成をとった。
【０００９】
具体的には、本発明に係るジェスチャ認識装置は、取得した画像からジェスチャを検出し、当該ジェスチャに対応した、制御対象機器に対する命令を生成するジェスチャ認識装置であって、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位を検出し、検出した対象部位の動きまたは形状に基づいてジェスチャを取得するジェスチャ取得手段と、前記取得した画像に含まれる顔を検出する顔検出手段と、人体の形状を表した人体モデルを用いて、前記検出した対象部位と、前記検出した顔とを対応付ける対応付け手段と、前記検出した顔に対応する利用者を識別する個人識別手段と、前記識別した利用者と、前記取得したジェスチャに基づいて、制御対象機器に対する命令を生成するコマンド生成手段と、を有することを特徴とする。
【００１０】
このように、本発明に係るジェスチャ認識装置は、ジェスチャを行う対象部位と、利用者の顔をそれぞれ検出し、両者を対応付けることで、ジェスチャを行った利用者を特定する。なお、対象部位とは、利用者がジェスチャを行う部位であり、典型的には人間の手であるが、ジェスチャ入力用のマーカー等であってもよい。
【００１１】
対象部位と顔との対応付けは、人体の形状を表したモデルである人体モデルを用いて行う。すなわち、検出した顔と対象部位が自然な位置関係にある場合にのみ対応付けを行い、不自然な位置関係にある場合は対応付けを行わない。当該対応付けは、人体モデルを用いて行えば、どのような方法によって行ってもよい。例えば、検出した顔を起点として、胴体や腕、肘、手首などの位置を推定し、推定結果に基づいて手の可動範囲を算出し、当該可動範囲に対象部位が含まれるか否かを判定してもよい。
また、人体モデルは、必ずしも人体の形状のみを表したモデルである必要はない。例えば、ジェスチャ入力用のマーカーを用いて入力を行う場合、マーカーを含んだ形状を表したモデルを用いてもよい。このように、人体モデルは、ジェスチャを行うための器具等の形状を含んだモデルであってもよい。
このように構成することで、対象部位を利用者個人に紐付けることができ、画像に複数の人物が含まれるような場合であっても、ジェスチャを行った人物を高い精度で判定することができる。
【００１２】
また、本発明に係るジェスチャ認識装置は、ジェスチャと、制御対象機器に対する命令の組を、利用者ごとに対応付けたデータである個人設定データを記憶するジェスチャ記憶手段をさらに有し、前記コマンド生成手段は、前記個人設定データにさらに基づいて制御対象機器に対する命令を生成することを特徴としてもよい。
【００１３】
このように、ジェスチャと、ジェスチャに対応するコマンドは、利用者ごとに対応付けて記憶することが好ましい。
【００１４】
また、前記対応付け手段は、前記検出した顔の座標と前記人体モデルを用いて、前記検出した顔ごとに、対象部位が存在すると推定される範囲を算出し、前記算出した範囲に前記対象部位がある場合に、当該対象部位と当該顔とを対応付けることを特徴としてもよい。
【００１５】
検出した顔ごとに人体モデルを適用し、対象部位が存在すると推定される範囲をそれぞれ算出することで、検出した顔と対象部位とを精度よく対応付けることができる。
【００１６】
また、前記ジェスチャ記憶手段は、利用者に対応付いた優先度をさらに記憶し、前記ジェスチャ取得手段が取得したジェスチャが同時期に二つ以上ある場合に、前記コマンド生成手段は、より優先度が高い利用者に対応するジェスチャを優先して処理することを特徴としてもよい。
【００１７】
本発明に係るジェスチャ認識装置は、ジェスチャを行った人物を識別することができるが、複数の人物が同時期にジェスチャを行った場合、生成すべきコマンドを特定できない場合がある。このようなケースに対応するため、利用者ごとに優先度を定義し、当該優先度に従って処理を行うようにしてもよい。例えば、優先度が高い利用者が行ったジェスチャを、他の利用者が行ったジェスチャより先に処理してもよいし、優先度が低い利用者が行ったジェスチャを処理しないようにしてもよい。
【００１８】
また、前記対応付け手段が、前記検出した対象部位と、前記検出した顔との対応付けに失敗した場合、前記コマンド生成手段は、ジェスチャを行った利用者を考慮せずに、前記ジェスチャに対応する既定の命令を生成することを特徴としてもよい。
【００１９】
このように、対象部位と顔との対応付けに失敗した場合、特定の利用者に関連付いていないデフォルトの入力コマンドを生成するようにしてもよい。
【００２０】
また、本発明に係るジェスチャ認識装置は、顔の検出結果を用いずに、ジェスチャを行った利用者を推定する利用者推定手段をさらに有し、前記対応付け手段が、前記検出した対象部位と、前記検出した顔との対応付けに失敗した場合に、前記利用者推定手段が、ジェスチャを行った利用者を推定することを特徴としてもよい。
【００２１】
人物の推定は、例えば、過去に取得した画像に基づいて行ってもよいし、他の手段から情報を取得して行ってもよい。例えば、過去に取得した画像から、機器の近くにいると推定される利用者がいる場合、当該利用者がジェスチャを行ったと推定するようにしてもよいし、制御対象機器がテレビであって、利用者ごとの視聴履歴を取得することができる場合、当該視聴履歴に基づいて、ジェスチャを行った利用者を推定するようにしてもよい。
【００２２】
なお、本発明は、上記手段の少なくとも一部を含むジェスチャ認識装置として特定することができる。また、前記ジェスチャ認識装置の制御方法や、前記ジェスチャ認識装置を動作させるためのプログラム、当該プログラムが記録された記録媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２３】
本発明によれば、ジェスチャ入力を行う利用者の周囲に複数の利用者がいる場合であっても、利用者ごとにカスタマイズされたジェスチャ入力を正確に取得できるジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】第一の実施形態に係るジェスチャ認識システムの構成図である。
【図２】個人設定データの例を示す図である。
【図３】ジェスチャ定義データの例を示す図である。
【図４】従来技術によるジェスチャ認識処理を説明するための図である。
【図５】第一の実施形態における対応付け処理の処理フローチャート図である。
【図６】第一の実施形態において画像取得部が取得した画像の例を示す図である。
【図７】第一の実施形態におけるジェスチャ認識装置の処理フローチャート図である。
【図８】第三の実施形態において画像取得部が取得した画像の例を示す図である。
【発明を実施するための形態】
【００２５】
（第一の実施形態）
<システム構成>
第一の実施形態に係るジェスチャ認識システムの概要について、システム構成図である図１を参照しながら説明する。第一の実施形態に係るジェスチャ認識システムは、ジェスチャ認識装置１００および制御対象機器２００からなるシステムである。
【００２６】
ジェスチャ認識装置１００は、利用者が行ったジェスチャを、カメラを用いて認識するとともに、ジェスチャを行った利用者を特定し、当該利用者および当該ジェスチャに対応するコマンドを生成し、制御対象機器２００に送信する装置である。
また、制御対象機器２００は、ジェスチャ認識装置１００からコマンドを受信する装置であり、典型的には、テレビ、ビデオレコーダ、コンピュータ、エアコン、テレビ会議システムなどの電気製品である。制御対象機器２００は、有線または無線によって、ジェスチャ認識装置１００からコマンドを受信することができれば、どのような機器であってもよい。
本実施形態では、制御対象機器２００はテレビであり、ジェスチャ認識装置１００は、当該テレビに内蔵された装置であるものとする。
【００２７】
次に、ジェスチャ認識装置１００について詳細に説明する。
ジェスチャ認識装置１００は、画像取得部１０１、個人設定記憶部１０２、処理部１０３、コマンド生成部１０４を有する。
【００２８】
画像取得部１０１は、外部から画像を取得する手段である。本実施形態では、テレビ画面の正面上部に取り付けられたカメラ（不図示）を用いて、利用者を撮像する。画像取得部１０１が用いるカメラは、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。また、画像は必ずしもカメラによって取得される必要はなく、例えば、距離センサが生成した、距離の分布を表す画像（距離画像）であってもよい。また、距離センサとカメラの組み合わせ等であってもよい。
画像取得部１０１が取得する画像は、利用者が行ったジェスチャと、当該利用者の顔（具体的には顔の特徴量）を取得することができれば、どのような画像であってもよい。また、取得する画像の画角は、テレビの視野角と略同一であればよい。
【００２９】
個人設定記憶部１０２は、装置の利用者を識別する情報を記憶する手段である。装置の利用者を識別する情報とは、取得した顔画像に基づいて人物を判定するための情報であり、例えば、数値化された顔の特徴量などである。
また、個人設定記憶部１０２は、ジェスチャの内容と、当該ジェスチャに対応づけられたコマンドを、利用者ごとに記憶する手段である。例えば、ある利用者について、「開いた右手を右方向に移動させるジェスチャ」と、「音量アップ」を表すコマンドとを対応付けて記憶する。
第一の実施形態では、利用者を識別する情報を「個人設定データ」、ジェスチャとコマンドの対応が定義された情報を「ジェスチャ定義データ」と称する。図２（Ａ）に、第一の実施形態における個人設定データの例を、図３に、ジェスチャ定義データの例を示す。双方のデータは、利用者識別子であるユーザＩＤによって紐付けがされている。
【００３０】
処理部１０３は、画像取得部１０１が取得した画像に基づいてジェスチャを取得し、個人設定記憶部１０２に記憶された個人設定データに基づいて、ジェスチャを行った人物を特定する手段である。また、個人設定記憶部１０２に記憶されたジェスチャ定義データに基づいて、生成すべきコマンドを決定する手段である。詳細な動作については後述する。
【００３１】
コマンド生成部１０４は、処理部１０３が決定したコマンドを生成する手段である。コマンドとは、制御対象機器２００を制御するための信号であり、電気信号であってもよい
し、無線によって変調された信号や、パルス変調された赤外線信号などであってもよい。
【００３２】
ジェスチャ認識装置１００は、プロセッサ、主記憶装置、補助記憶装置を有するコンピュータであり、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、プロセッサによって実行されることによって、前述した各手段が機能する（プロセッサ、主記憶装置、補助記憶装置はいずれも不図示）。
【００３３】
<ジェスチャおよび人物の対応付け処理>
次に、処理部１０３が行う処理について詳しく説明する。
図４は、画像取得部１０１が取得した画像の例である。すなわち、テレビ画面に正対する利用者を、画面側から見た図である。ここでは、利用者Ａおよび利用者Ｂの二人がテレビの前にいるものとする。
ジェスチャの抽出は、ジェスチャを行う部位（以下、対象部位）を画像から検出することで行う。本実施形態の場合、利用者は手を用いてジェスチャを行うものとする。処理部１０３は、例えば、画像の中から、人の手を表す領域（符号４１）を検出し、その動きを追跡することで、手の動きによって表されるジェスチャを抽出することができる。また、対象部位の形状を取得することで、手指の形によって表されるジェスチャを抽出することができる。
なお、対象部位の検出およびジェスチャの抽出は、例えば、特開２０００−１４９０２５号公報に記載されているような、特徴点を検出し、予め記憶されたモデルと比較する方法によって行うことができる。また、その他の公知の技術を用いることもできるため、詳細な方法についての説明は省略する。
抽出可能なジェスチャには、例えば、「手全体を動かして方向を示す」、「図形を描画する」、「指を立てる」、「指を動かす」などがある。また、マーカーを使用する場合、マーカーの種類（色や形）によって異なる操作を表現してもよい。
【００３４】
従来の技術では、画像中の顔を検出することで、ジェスチャを行った人物が誰であるかを識別することができる。しかし、画像中に複数の人物がいる場合、検出した対象部位が誰に関連付いたものであるか（すなわち、利用者Ａの手であるか、利用者Ｂの手であるか）を判定することができない。従って、当該ジェスチャに対して、人物ごとに異なるコマンドが定義されている場合、生成すべきコマンドを一意に決定することができない。
【００３５】
この問題を解決するためには、検出した対象部位と、検出した顔とを対応付ける処理が必要となる。そこで、本実施形態に係る処理部１０３は、人体の形状を表したモデル（以下、人体モデル）を記憶し、当該人体モデルを用いて、検出した対象部位と、検出した顔とを対応付ける。
【００３６】
ここで、対応付けの一実施形態について例示する。図５は、処理部１０３が行う、人体モデルを用いた対応付けの処理例を示したフローチャートである。ここでは、既に画像の取得と、顔の検出、対象部位の検出、および、ジェスチャの抽出が完了しているものとする。
まず、検出した顔の位置に基づいて、人体モデルを用いて、画像内における利用者の両肩の位置を推定する（ステップＳ１１）。
次に、推定した両肩の位置に基づいて、両肘の位置を推定する（ステップＳ１２）。
次に、推定した両肘の位置に基づいて、両手首の位置を推定する（ステップＳ１３）。
次に、推定した両手首の位置に基づいて、両手の可動範囲を推定する（ステップＳ１４）。
【００３７】
次に、推定した範囲に、検出した対象部位が存在するかを判定する（ステップＳ１５）。ここで、対象部位が存在する場合、当該対象部位は、検出した顔に対応付くものである
と決定することができる。一方、対象部位が存在しない場合、ステップＳ１６へ遷移し、未処理の顔が画像に含まれているかを判定する。この結果、未処理の顔が存在する場合、処理対象の顔を変更し（ステップＳ１７）、ステップＳ１１からの処理を繰り返す。
未処理の顔が存在しない場合、対象部位と顔との対応付けが不可能であると判定する。
【００３８】
なお、人体モデルに基づいて、肩、肘、手首等の位置を推定する方法は、例えば、「T.H.Yu, T-K.Kim, and R. Cipolla,“Unconstrained Monocular 3D Human Pose Estimation
by Action Detection and Cross-modality Regression Forest”, Proc. of IEEE Conf.
on Computer Vision and Pattern Recognition(CVPR), Portland, Oregon, USA, 2013」に記載されている。なお、本実施形態では、図５に示した処理によって判定を行っているが、対応付けは、人体の形状を定義したデータに基づいて行えばよく、他の手法を用いて行ってもよい。
【００３９】
図６は、顔と対象部位との対応付け結果を説明する図である。例えば、顔６１に対応する手が領域６２内にあり、顔６３に対応する手が領域６４内にあることを示している。
本実施形態に係るジェスチャ認識装置は、以上に説明したような処理を行うことで、ジェスチャを行った部位と、ジェスチャを行った人物の顔とを対応付けることができる。
【００４０】
<全体処理>
次に、本実施形態に係るジェスチャ認識装置１００が行う処理の全体を、処理フローチャートである図７を参照しながら説明する。
まず、画像取得部１０１が、不図示のカメラから画像を取得する（ステップＳ２１）。本ステップでは、例えばテレビ画面の正面上部に備えられたカメラを用いて、ＲＧＢカラー画像を取得する。
次に、処理部１０３が、取得した画像から、対象部位の検出およびジェスチャの抽出を試みる（ステップＳ２２）。例えば、図３に示したジェスチャ定義データが記憶されている場合、「指を一本立てる」というジェスチャと、当該ジェスチャを行った手の位置を検出し、両者を関連付けて一時的に記憶する。ここで、ジェスチャが抽出されなかった場合は、ステップＳ２１へ戻り、再度画像を取得する。
なお、本実施形態の説明では、説明を簡単にするため、一枚の画像から一つのジェスチャを抽出するものとするが、複数の画像を連続して取得し、動きによるジェスチャを抽出するようにしてもよい。この場合、ステップＳ２２では、動きによるジェスチャが検出されるまで、複数フレームの画像を一時的に蓄積するようにしてもよい。
【００４１】
次に、処理部１０３が、取得した画像に含まれる顔を全て検出する（ステップＳ２３）。具体的には、画像中の顔の座標と、当該顔の特徴量を取得する。
次に、処理部１０３が、ステップＳ１１〜Ｓ１７の処理を行うことで、検出した顔と、検出した対象部位とを対応付ける（ステップＳ２４）。
なお、本実施形態の説明では、一枚の画像を用いて対応付けを行うものとするが、複数フレームの画像を取得した場合、当該複数のフレームについてそれぞれ対応付けを行うようにしてもよい。例えば、対応付けができなかったフレームの割合が所定値以上ある場合に、対応付け失敗と判定してもよい。
【００４２】
次に、処理部１０３が、ステップＳ２３で検出した顔がどの利用者のものであるかを判定し、ステップＳ２２およびステップＳ２４の処理結果を用いて、ジェスチャを行った人物を特定する（ステップＳ２５）。
具体的には、個人設定記憶部１０２に記憶された個人設定データを参照し、検出した顔の特徴量を比較することで、当該顔に対応するユーザＩＤを取得する。そして、ステップＳ２２にて取得した「対象部位によって行われたジェスチャ」と、ステップＳ２４にて取得した「検出した顔に対応する対象部位」についての情報を用い、ジェスチャを行った人
物のユーザＩＤを特定する。例えば、「指を一本立てる」というジェスチャを、「０００１」というユーザＩＤを持つ利用者が行ったと判定する。
【００４３】
次に、ステップＳ２６で、コマンド生成部１０４が、個人設定記憶部１０２に記憶されたジェスチャ定義データを参照し、対応する制御信号を生成して、制御対象機器２００に送信する。図３の例では、「チャンネルを１に変更」というコマンドを表す制御信号を生成し、制御対象機器２００に送信する。
【００４４】
第一の実施形態によると、人体モデルに基づいて、ジェスチャを行った対象部位と顔との対応付けを行うため、検出されたジェスチャが誰によってなされたものであるかを精度よく識別することができる。これにより、画像内に複数の人物が存在し、利用者ごとにジェスチャがカスタマイズされている場合であっても、利用者が所望する入力操作を正しく行うことができる。
【００４５】
なお、複数のジェスチャにそれぞれ対応付いたデフォルトのコマンドを記憶させ、ステップＳ２５で人物の特定に失敗した場合、当該デフォルトのコマンドを生成するようにしてもよい。また、ステップＳ２５で人物の特定に失敗した場合、コマンドの生成を行わないようにしてもよい。また、利用者を特定することができない旨のエラーを表す信号を制御対象機器２００に送信するようにしてもよい。
【００４６】
また、本例では、一人が一つのジェスチャを行う例について述べたが、ステップＳ２２で複数のジェスチャが検出され、ステップＳ２３で複数の顔が検出された場合は、それぞれの対応付けを試みるようにしてもよい。この結果、複数の対応付けがされた場合、複数の人物によって同時にジェスチャが行われたことを意味するため、ステップＳ２４〜Ｓ２６の処理を、検出された顔の数だけ繰り返し行うようにしてもよい。
また、図７に示した各ステップは、必ずしも順番に実行される必要はない。例えば、任意の処理を、他の処理と並列して行ってもよい。
【００４７】
（第一の実施形態の変形例）
第一の実施形態では、人体モデルを用いて、ジェスチャを行った対象部位と顔との対応付けを行ったが、ステップＳ２４の処理（すなわちステップＳ１１〜Ｓ１７の処理）を実行せずとも対応付けを行うことができる場合、当該ステップの実行を省略してもよい。
例えば、画像中に人物が二人以上いる場合であって、検出した顔および対象部位の座標や大きさから、ステップＳ２４を実行せずとも対応付けが行えると判定した場合、ステップＳ２４を実行せずに対応付けを行ってもよい。また、画像中に顔が一つしか検出されなかった場合も同様である。
このようにすることで処理時間を短縮することができ、ジェスチャ入力時における利用者の待ち時間を減らすことができる。
【００４８】
（第二の実施形態）
第二の実施形態は、画像中にいる複数の人物が同時にジェスチャを行った場合、利用者ごとに定義された優先度に従ってコマンドの生成を行う実施形態である。第二の実施形態に係るジェスチャ認識装置の構成は、以下に説明する点を除き、第一の実施形態と同様である。
【００４９】
第二の実施形態では、個人設定記憶部１０２に記憶される個人設定データに、図２（Ｂ）のように優先度が追加される。また、処理部１０３が、同時期に二人以上の人物がジェスチャを行ったと判定した場合に、ステップＳ２６で、利用者に対応する優先度を取得し、相対的に優先度が低い利用者が行ったジェスチャの処理を行わない。例えば、ユーザＩＤが「０００１」である利用者と、「０００２」である利用者が同時にジェスチャを行っ
た場合、優先度が低い、ユーザＩＤ「０００２」の利用者が行ったジェスチャについては、コマンドの生成処理を行わない。
【００５０】
第二の実施形態によると、利用者ごとに優先度を付与することで、操作の衝突を防ぐことができる。
なお、優先度の判断は、例えば、音量アップと音量ダウンが同時に指示された場合など、互いに競合する内容の入力が同時に行われた場合にのみ行うようにしてもよい。
また、利用者に優先度を付与するのではなく、コマンドに優先度を付与し、優先度が低いコマンドを生成しないようにしてもよい。例えば、音量操作よりも電源操作を優先するようにしてもよい。
【００５１】
（第三の実施形態）
第三の実施形態は、画像中の顔と対象部位の対応付けに失敗した場合に、ジェスチャを行った利用者を推定してコマンドを生成する実施形態である。第二の実施形態に係るジェスチャ認識装置の構成は、以下に説明する点を除き、第一の実施形態と同様である。
【００５２】
例えば、図８のように、画像に含まれる人物が二人いる場合であって、それぞれがジェスチャを行った場合を考える。検出した対象部位は二つ（符号８１および８３）であるが、顔は一つ（符号８２）しか検出されていないため、第一および第二の実施形態では、符号８３で示した対象部位について、対応付けを行うことができない。
そこで、第三の実施形態では、ステップＳ２４で、対応付けに失敗した場合、ステップＳ２５のかわりに、以下に説明する処理を実行することによって、利用者を推定する。
【００５３】
第一の方法は、過去に取得した画像を用いる方法である。この方法を用いる場合、処理部１０３が、ステップＳ２１で取得した画像を一定期間保存しておき、保存された画像を参照することで、利用者を推定する。例えば、ジェスチャを検出する直前にフレームアウトした人物がいる場合、対応付けに失敗した対象部位は、当該人物のものであると推定することができる。
【００５４】
第二の方法は、履歴データを用いる方法である。例えば、処理部１０３が、ステップＳ２６でコマンドを生成する際に操作履歴を生成して保存しておき、当該操作履歴を参照することで、利用者を推定する。例えば、現在時刻の前後で毎日機器を操作している利用者がいる場合、対応付けに失敗した対象部位は、当該人物のものであると推定することができる。
【００５５】
第三の方法は、個人設定データを参照して判断する方法である。例えば、個人設定データに登録されている利用者がｎ人いる場合であって、画像から検出された対象部位の数がｎ個あり、検出された顔の数が（ｎ−１）個であった場合、対応付けに失敗した対象部位は、登録されている利用者のうち、顔が検出されていない人物のものである可能性がある。
そこで、ステップＳ２３で取得したデータに基づいて顔の識別を行うことでこれを確認するようにしてもよい。すなわち、登録されている利用者のうち、顔の識別に失敗した人物が一人だけ存在する場合、対応付けに失敗した対象部位は、当該人物のものであると推定することができる。
【００５６】
以上に説明した方法の他にも、利用者を推定するための情報を外部から取得可能な場合は、当該情報を用いて利用者を推定するようにしてもよい。例えば、利用者ごとのテレビの視聴履歴が取得できる場合、当該視聴履歴を用いて利用者を推定するようにしてもよい。
【００５７】
なお、利用者の推定に失敗した場合は、第一の実施形態と同様に、デフォルトのコマンドを生成するようにしてもよいし、コマンドの生成を行わないようにしてもよい。また、利用者の推定を行った場合は、推定を行った旨を表す信号を制御対象機器２００に送信するようにしてもよい。このようにすることで、利用者を推定した旨を当該利用者に通知することができる。
【００５８】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、実施形態の説明では、ジェスチャ認識装置１００を、制御対象機器２００に組み込まれた装置であるとしたが、ジェスチャ認識装置１００は独立した装置であってもよい。
また、ジェスチャ認識装置１００は、制御対象機器２００上で動作するプログラムとして実装されてもよい。プログラムとして実装する場合は、メモリに記憶されたプログラムをプロセッサが実行するように構成してもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実行されるように構成してもよい。
【００５９】
また、実施形態の説明では、カメラによって画像を取得する例を挙げたが、ジェスチャを取得し、かつ、利用者の顔を識別することができれば、例えばネットワーク経由で画像を受信するなど、例示した方法以外によって画像を取得するようにしてもよい。
また、処理部１０３が使用する人体モデルは、人体の形状を表したデータであれば、例示したような、顔、肩、肘、手首などの位置関係を数学的に表したデータであってもよいし、骨格モデル等であってもよい。また、テンプレートマッチングを行うための画像データ等であってもよい。
【符号の説明】
【００６０】
１００・・・ジェスチャ認識装置
１０１・・・画像取得部
１０２・・・個人設定記憶部
１０３・・・処理部
１０４・・・コマンド生成部
２００・・・制御対象機器
【図１】
2015095164.tif 000003
【図２】
2015095164.tif 000004
【図３】
2015095164.tif 000005
【図４】
2015095164.tif 000006
【図５】
2015095164.tif 000007
【図６】
2015095164.tif 000008
【図７】
2015095164.tif 000009
【図８】
2015095164.tif 000010