(57)【要約】【課題】操作者の姿勢に影響されずにジェスチャを正確に認識できるジェスチャ認識装置を提供する。【解決手段】操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、ジェスチャを行う人物を撮像する撮像手段と、前記撮像した画像に基づいて、前記ジェスチャを行う人物の、空間内における姿勢を表す姿勢情報を生成する姿勢判定手段と、前記撮像した画像から、ジェスチャを行う対象部位の動きを取得し、ジェスチャを特定するジェスチャ取得手段と、前記ジェスチャに対応する命令を生成する命令生成手段と、を有し、前記ジェスチャ取得手段は、前記姿勢情報に基づいて、取得した対象部位の動きを補正する。【選択図】図１
2015176253.tif 000002
【特許請求の範囲】
【請求項１】
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、
ジェスチャを行う人物を撮像する撮像手段と、
前記撮像した画像に基づいて、前記ジェスチャを行う人物の、空間内における姿勢を表す姿勢情報を生成する姿勢判定手段と、
前記撮像した画像から、ジェスチャを行う対象部位の動きを取得し、ジェスチャを特定するジェスチャ取得手段と、
前記ジェスチャに対応する命令を生成する命令生成手段と、
を有し、
前記ジェスチャ取得手段は、前記姿勢情報に基づいて、取得した対象部位の動きを補正する
ことを特徴とする、ジェスチャ認識装置。
【請求項２】
前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するヨー角に関する情報を含み、
前記ジェスチャ取得手段は、取得した対象部位の水平方向の移動量を、前記ヨー角に基づいて補正する
ことを特徴とする、請求項１に記載のジェスチャ認識装置。
【請求項３】
前記ジェスチャ取得手段は、取得した対象部位の移動量を、前記ヨー角が小さい場合に比べて大きい場合においてより大きく補正する
ことを特徴とする、請求項２に記載のジェスチャ認識装置。
【請求項４】
前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するピッチ角に関する情報を含み、
前記ジェスチャ取得手段は、取得した対象部位の垂直方向の移動量を、前記ピッチ角に基づいて補正する
ことを特徴とする、請求項１から３のいずれかに記載のジェスチャ認識装置。
【請求項５】
前記ジェスチャ取得手段は、取得した対象部位の移動量を、前記ピッチ角が小さい場合に比べて大きい場合においてより大きく補正する
ことを特徴とする、請求項４に記載のジェスチャ認識装置。
【請求項６】
前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するロール角に関する情報を含み、
前記ジェスチャ取得手段は、取得した対象部位の移動方向を、前記ロール角に基づいて補正する
ことを特徴とする、請求項１から５のいずれかに記載のジェスチャ認識装置。
【請求項７】
前記ジェスチャ取得手段は、取得した対象部位の移動方向を、前記ロール角と逆方向に補正する
ことを特徴とする、請求項６に記載のジェスチャ認識装置。
【請求項８】
前記対象部位は、人間の手である
ことを特徴とする、請求項１から７のいずれかに記載のジェスチャ認識装置。
【請求項９】
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置の制御方法であって、
ジェスチャを行う人物を撮像する撮像ステップと、
前記撮像した画像に基づいて、前記ジェスチャを行う人物の、空間内における姿勢を表す姿勢情報を生成する姿勢判定ステップと、
前記撮像した画像から、ジェスチャを行う対象部位の動きを取得し、ジェスチャを特定するジェスチャ取得ステップと、
前記ジェスチャに対応する命令を生成する命令生成ステップと、
を含み、
前記ジェスチャ取得ステップでは、前記姿勢情報に基づいて、取得した対象部位の動きを補正する
ことを特徴とする、ジェスチャ認識装置の制御方法。
【請求項１０】
請求項９に記載のジェスチャ認識装置の制御方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによる入力操作を認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
コンピュータや電子機器に対して、ジェスチャを用いて入力を行う装置が普及の兆しを見せている。ジェスチャを用いると、多機能で操作が複雑な機器に対して、直感的に入力を行うことができる。また、手が濡れている場合など、機器を直接触って操作することが不適切な場合であっても、機器を操作することができる。
【０００３】
ジェスチャの認識は、カメラによって撮像された画像を用いて行うことが一般的である。このような装置において、正確にジェスチャを認識するためには、ユーザとカメラとが正対しており、かつ、ユーザが直立している必要がある。すなわち、ユーザは、カメラ以外の方向を向いたり、横になったりするなど、自由に姿勢を変えることができないという課題があった。
【０００４】
この課題を解決するための発明として、例えば特許文献１に記載のジェスチャ認識装置がある。当該ジェスチャ認識装置では、ユーザを中心とするユーザ座標系を生成し、当該座標系を用いてユーザの手足の動きを表すことで、姿勢に依存しない特徴量を抽出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１４９０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の発明では、三次元空間におけるユーザの手足の位置を把握できるため、ユーザがどのような姿勢をとっていても、正確にジェスチャを認識することができる。しかし、三次元空間内における位置情報を取得するためには、例えば、ユーザの手足にセンサを装着する、あるいは、二台以上のカメラによってマーカを撮像し、視差に基づいて空間内での位置を推定するといったような複雑な処理や構成が必要となり、装置のコストが上昇してしまう。
【０００７】
本発明は上記の課題を考慮してなされたものであり、操作者の姿勢に影響されずにジェスチャを正確に認識できるジェスチャ認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係るジェスチャ認識装置は、操作者の空間内における姿勢を推定し、当該姿勢に基づいて、取得したジェスチャの動きを補正するという構成をとった。
【０００９】
具体的には、本発明に係るジェスチャ認識装置は、
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、ジェスチャを行う人物を撮像する撮像手段と、前記撮像した画像に基づいて、前記ジェスチャを行う人物の、空間内における姿勢を表す姿勢情報を生成する姿勢判定手段と、前記撮像した画像から、ジェスチャを行う対象部位の動きを取得し、ジェスチャを特定するジェスチャ取得手段と、前記ジェスチャに対応する命令を
生成する命令生成手段と、を有し、前記ジェスチャ取得手段は、前記姿勢情報に基づいて、取得した対象部位の動きを補正することを特徴とする。
【００１０】
撮像手段とは、ジェスチャを行う人物を撮像する手段であり、典型的にはカメラである。また、ジェスチャ取得手段は、取得した画像から、対象部位の動きを取得し、ジェスチャを特定する手段である。対象部位とは、ユーザがジェスチャを行う部位であり、典型的には人間の手であるが、ジェスチャ入力用のマーカ等であってもよい。また、人体全体であってもよい。ユーザによって行われたジェスチャは、画像中における対象部位の位置を追跡することで識別することができる。なお、ジェスチャ取得手段は、対象部位の動きに加え、対象部位の形状にさらに基づいてジェスチャを特定してもよい。
【００１１】
また、姿勢判定手段は、空間内におけるユーザの姿勢を検出し、姿勢情報を生成する手段である。姿勢とは、撮像手段に対する向きであり、例えばＸ，Ｙ，Ｚの各軸に対する角度によって表すことができる。すなわち、姿勢情報によって、ユーザが撮像手段に対してどの程度傾いているかを表すことができるため、対象部位が撮像手段に対してどの程度傾いているかを推定することができる。
本発明におけるジェスチャ認識装置では、ジェスチャ取得手段が、姿勢情報に基づいて、取得した対象部位の動きを補正する。かかる構成によると、ユーザが撮像手段に対して正対かつ直立していなくても、対象部位を移動させることでユーザが表現した距離や方向を正しく認識することができる。
【００１２】
また、前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するヨー角に関する情報を含み、前記ジェスチャ取得手段は、取得した対象部位の水平方向の移動量を、前記ヨー角に基づいて補正することを特徴としてもよく、前記ジェスチャ取得手段は、取得した対象部位の移動量を、前記ヨー角が小さい場合に比べて大きい場合においてより大きく補正することを特徴としてもよい。
【００１３】
ヨー角とは、上下方向を軸とした回転角である。ユーザの撮像手段に対するヨー角が大きい場合、撮像手段から見ると、水平方向に移動させた対象部位の移動距離が短く認識されてしまう。そこで、ヨー角に基づいて、対象部位の水平方向の移動距離を補正することで、対象部位を移動させることでユーザが表現した距離を正しく認識することができる。具体的には、検出されたヨー角が大きいほど（すなわち、撮像手段に対して角度がついているほど）移動距離を大きくする補正を行うことが好ましい。
【００１４】
また、前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するピッチ角に関する情報を含み、前記ジェスチャ取得手段は、取得した対象部位の垂直方向の移動量を、前記ピッチ角に基づいて補正することを特徴としてもよく、前記ジェスチャ取得手段は、取得した対象部位の移動量を、前記ピッチ角が小さい場合に比べて大きい場合においてより大きく補正することを特徴としてもよい。
【００１５】
ピッチ角とは、左右方向を軸とした回転角である。ユーザの撮像手段に対するピッチ角が大きい場合、撮像手段から見ると、垂直方向に移動させた対象部位の移動距離が短く認識されてしまう。そこで、ピッチ角に基づいて、対象部位の垂直方向の移動距離を補正することで、対象部位を移動させることでユーザが表現した距離を正しく認識することができる。具体的には、検出されたピッチ角が大きいほど（すなわち、撮像手段に対して角度がついているほど）移動距離を大きくする補正を行うことが好ましい。
【００１６】
また、前記姿勢情報は、ジェスチャを行う人物の、前記撮像手段に対するロール角に関する情報を含み、前記ジェスチャ取得手段は、取得した対象部位の移動方向を、前記ロール角に基づいて補正することを特徴としてもよく、前記ジェスチャ取得手段は、取得した
対象部位の移動方向を、前記ロール角と逆方向に補正することを特徴としてもよい。
【００１７】
ロール角とは、前後方向を軸とした回転角である。ユーザが撮像手段に対して垂直以外の姿勢をとっている場合、対象部位の移動方向がずれて認識されてしまう。そこで、ロール角に基づいて対象部位の移動方向を補正することで、対象部位を移動させることでユーザが表現した方向を正しく認識することができる。具体的には、対象部位の移動方向を、検出されたロール角と逆方向に補正することが好ましい。
【００１８】
また、前記対象部位は、人間の手であることを特徴としてもよい。人が手によってジェスチャを行う場合、当該人物の姿勢によって移動量や移動方向が変化してしまうが、本発明に係るジェスチャ認識装置を用いると、これを適切に補正することができる。
【００１９】
なお、本発明は、上記手段の少なくとも一部を含むジェスチャ認識装置として特定することができる。また、前記ジェスチャ認識装置の制御方法や、前記ジェスチャ認識装置を動作させるためのプログラム、当該プログラムが記録された記録媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２０】
本発明によれば、操作者の姿勢に影響されずにジェスチャを正確に認識できるジェスチャ認識装置を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】第一の実施形態に係るジェスチャ認識システムの構成図である。
【図２】ジェスチャと、当該ジェスチャに対応したポインタの動きを説明する図である。
【図３】ユーザの姿勢を説明する図である。
【図４】ユーザの姿勢のうちヨー角を詳しく説明する図である。
【図５】ユーザの姿勢のうちピッチ角を詳しく説明する図である。
【図６】ユーザの姿勢のうちロール角を詳しく説明する図である。
【図７】第一の実施形態における補正値テーブルの例である。
【図８】第一の実施形態における補正処理のフローチャートである。
【図９】第一の実施形態におけるジェスチャ認識処理のフローチャートである。
【図１０】第二の実施形態における、画面とユーザの関係を表す図である。
【図１１】第二の実施形態における補正値テーブルの例である。
【図１２】第三の実施形態に係るジェスチャ認識システムの構成図である。
【図１３】第三の実施形態におけるジェスチャ定義テーブルの例である。
【発明を実施するための形態】
【００２２】
（第一の実施形態）
<システム構成>
第一の実施形態に係るジェスチャ認識システムの概要について、システム構成図である図１を参照しながら説明する。第一の実施形態に係るジェスチャ認識システムは、ジェスチャ認識装置１００および対象機器２００からなるシステムである。
【００２３】
対象機器２００は、不図示の画面を有し、当該画面に表示されたポインタを通して入力操作を行う機器である。対象機器２００は、マウスなどのポインティングデバイスによってポインタを操作できるほか、ジェスチャ認識装置１００から受信した信号によってポインタを移動させることができる。
また、ジェスチャ認識装置１００は、ユーザが行ったジェスチャを、カメラを通して認
識するとともに、認識したジェスチャに基づいてポインタの移動先を演算し、当該ポインタを移動させる命令を対象機器２００に送信する装置である。例えば、ユーザが、図２（Ａ）のようなジェスチャを行うと、ポインタを移動させるための信号がジェスチャ認識装置１００から対象機器２００に送信され、図２（Ｂ）のようにポインタが移動する。
【００２４】
なお、対象機器２００は、有線または無線によって、ジェスチャ認識装置１００から信号を受信することができれば、テレビ、ビデオレコーダ、コンピュータなど、どのような機器であってもよい。本実施形態では、対象機器２００はテレビであり、ジェスチャ認識装置１００は、当該テレビに内蔵された装置であるものとする。図２はいずれも、ユーザ側からテレビ画面側を見た図である。
【００２５】
次に、図１を参照しながら、ジェスチャ認識装置１００について詳細に説明する。
ジェスチャ認識装置１００は、カメラ１０１、部位検出部１０２、姿勢推定部１０３、ポインタ制御部１０４、ジェスチャ校正部１０５、コマンド生成部１０６を有する。
【００２６】
カメラ１０１は、外部から画像を取得する手段である。本実施形態では、カメラ１０１は、テレビ画面の正面上部に取り付けられており、テレビの正面に位置するユーザを撮像する。カメラ１０１は、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。また、カメラ１０１が取得する画像（以下、カメラ画像）は、ユーザが行ったジェスチャの動きを取得することができれば、どのような画像であってもよい。
【００２７】
部位検出部１０２は、カメラ１０１が取得したカメラ画像から、ジェスチャを行う人物の顔や体、手などの身体部位を検出する手段である。実施形態の説明では、ジェスチャを行う身体部位を対象部位と称する。本実施形態では、対象部位とはジェスチャを行う人物の手である。
【００２８】
姿勢推定部１０３は、部位検出部１０２が検出した、ジェスチャを行う人物の顔と体の位置に基づいて、当該人物の三次元空間内における姿勢を推定する手段である。
推定する姿勢について具体的に説明する。図３（Ａ）は、対象機器２００が有する画面（テレビ画面）に正対するユーザを、画面側から見た図である。また、図３（Ｂ）は、同ユーザを上方から見た図である。また、図３（Ｃ）は、同ユーザを側方から見た図である。姿勢推定部１０３は、Ｚ軸を回転軸とする回転角（ロール角）と、Ｙ軸を回転軸とする回転角（ヨー角）と、Ｘ軸を回転軸とする回転角（ピッチ角）を取得する。それぞれの角度を取得する方法については後述する。
【００２９】
ポインタ制御部１０４は、抽出したジェスチャに基づいて、ポインタの移動先を決定する手段である。具体的には、部位検出部１０２が検出した対象部位を追跡し、当該対象部位の移動量および移動方向に基づいて、ポインタの移動量および移動方向を決定する。またこの際、後述するジェスチャ校正部１０５が取得した補正値を用いて、移動方向および移動量の補正を行う。
【００３０】
ジェスチャ校正部１０５は、ポインタ制御部１０４がポインタの移動方向および移動量を決定する際の補正値を算出する手段である。補正の具体例については後述する。
【００３１】
コマンド生成部１０６は、ポインタ制御部１０４が決定した移動先にポインタを移動させるための信号を生成し、対象機器２００に送信する手段である。生成される信号は、対象機器２００に対してポインタの移動を命令する信号であれば、例えば電気信号であってもよいし、無線によって変調された信号や、パルス変調された赤外線信号などであってもよい。
【００３２】
ジェスチャ認識装置１００は、プロセッサ、主記憶装置、補助記憶装置を有するコンピュータであり、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、プロセッサによって実行されることによって、前述した各手段が機能する（プロセッサ、主記憶装置、補助記憶装置はいずれも不図示）。
【００３３】
<ポインタの制御方法>
次に、図４〜図６を参照しながら、抽出したジェスチャに基づいてポインタの移動先を決定する方法を説明する。図４は、図３と同様に、ユーザを正面および上面から見た図である。ここでは、ユーザは、右手（掌）の動きによってポインタを移動させるものとする。なお、以降の説明において、「手」とは、掌領域を指すものとする。
【００３４】
まず、本実施形態における第一の課題について説明する。
図４（Ａ）は、ユーザが画面に正対し、かつ直立している場合を示した図である。符号４０１は、右手の可動範囲を表す。一方、図４（Ｂ）は、ユーザが画面に対して斜めになった状態で直立している場合を示した図である。この場合、カメラから見た右手の可動範囲は符号４０２のように、Ｘ方向において狭くなる。具体的には、可動範囲の幅がｗである場合において、ユーザが正面を向いている場合と比較すると、ユーザがθ1度だけ斜め
を向いている場合、可動範囲の幅ｗ’はｗ／ｃｏｓθ1となる。なお、本例は、手を含め
た体全体が斜め方向を向いている場合の例であるが、体のみが斜めを向いており、手が画面に正対しているような場合であっても、腕の可動範囲が狭まることにより、Ｘ方向の可動範囲はｗよりも狭くなる。
【００３５】
ここで問題となるのが、ユーザの姿勢を考慮せずに、単純に画像から検出した手の移動量に基づいてポインタを移動させると、ユーザが所望した移動量が得られなくなるという点である。すなわち、角度θ1が大きくなるほど、カメラから見た右手の可動範囲の幅が
狭くなるため、手を大きく動かさなければ所望の移動量が得られなくなってしまう。
【００３６】
次に、本実施形態における第二の課題について説明する。
図５（Ａ）は、図４（Ａ）と同様に、ユーザが画面に正対し、かつ直立している場合を示した図である。符号５０１は、右手の可動範囲を表す。一方、図５（Ｂ）は、ユーザが奥行き方向（Ｚ方向）に寝そべっている場合を示した図である。この場合、カメラから見た右手の可動範囲は符号５０２のように、Ｙ方向において狭くなる。具体的には、可動範囲の高さがｈである場合において、ユーザが直立している場合と比較すると、ユーザがθ2度だけ寝ている場合、可動範囲の高さｈ’はｈ／ｃｏｓθ2となる。なお、本例は、手を含めた体全体が寝ている場合の例であるが、体のみが寝ており、手のみが起きているような場合であっても、腕の可動範囲が狭まることにより、Ｙ方向の可動範囲はｈよりも狭くなる。
【００３７】
ここでも、前述したものと同じ問題が発生する。すなわち、角度θ2が大きくなるほど
、カメラから見た右手の可動範囲の高さが小さくなるため、手を大きく動かさなければ所望の移動量が得られなくなってしまうという問題である。
【００３８】
次に、本実施形態における第三の課題について説明する。
図６は、ユーザが画面に正対しながら左右方向に寝転がっている状態の例である。このようなケースで問題となるのが、ユーザは画面に沿って手を動かしているつもりであっても、若干の角度ずれが発生するという点である。図６の例の場合、θ3度だけずれが発生
している（符号６０１）。すなわち、ユーザは画面に対して水平に手を動かしているつもりであっても、ポインタがθ3度だけずれた方向に移動してしまう。
【００３９】
これらの課題を解決するため、第一の実施形態に係るジェスチャ認識装置では、空間内におけるユーザの姿勢を取得し、当該姿勢に基づいて、ポインタの移動量および移動方向を補正する。
【００４０】
まず、部位検出部１０２が行う処理について説明する。
部位検出部１０２は、まず、取得した画像から、人の手に対応する領域を検出する。画像から人の手を検出する方法には様々な方法があるが、方法は特に限定されない。例えば、特徴点を検出し、予め記憶されたモデルと比較することで検出してもよいし、色情報に基づいて検出してもよい。また、輪郭情報や指のエッジ情報などに基づいて検出を行ってもよい。
次に、取得した画像から、人物の体に対応する領域を検出する。画像から人の体を検出する方法には様々な方法があるが、方法は特に限定されない。例えば、色情報を取得し、背景に対応する領域と人物に対応する領域を区別することで検出してもよい。また、腕を検出したうえで、対応がとれている領域（腕と接続されていると判断される領域）を体と判断してもよい。また、体と顔をセットで検出するようにしてもよい。判別が容易な顔をまず検出することで、体を検出する際の精度を上げることができる。画像に含まれる顔を検出する方法は、公知の技術を用いることができるため、詳細な説明は省略する。
【００４１】
次に、姿勢推定部１０３が行う処理について説明する。
姿勢推定部１０３は、カメラ１０１が取得した画像と、部位検出部１０２が検出した、人物の手および体にそれぞれ対応する領域に基づいて、ジェスチャを行う人物の、カメラに対する姿勢（ヨー角、ピッチ角およびロール角）を推定する。姿勢の推定は、例えば次のようにして行うことができる。
【００４２】
（１）領域の関連付け
まず、検出した手と体が同一人物のものであるか否かを判定し、関連付けを行う。関連付けは、例えば、人体の形状を表したモデル（人体モデル）を用いて行うことができる。具体的には、体を基準として、肩、両肘、両手首、両手の可動範囲を推定し、それぞれが自然な位置関係にある場合にのみ、同一人物であると判定するようにしてもよい。
この他にも、顔を検出済みである場合は、顔と体、および顔と手の位置関係をチェックし、それぞれが自然な位置関係にある場合にのみ、同一人物であると判定するようにしてもよい。
【００４３】
（２）ヨー角の推定
手と体の関連付けが成功した場合、当該体のカメラに対するヨー角を推定する。ヨー角は、例えば、取得した画像から、人物の顔の向きを検出することで推定することができる。また、腕に対応する領域を検出したうえで、体と腕との位置関係から、角度を推定するようにしてもよい。また、体の大きさと手の大きさの比率から手の奥行方向の距離を推定し、当該距離に基づいて角度を推定するようにしてもよい。このように、ヨー角は、画像に含まれる人体の各部位の位置関係に基づいて、任意の方法で推定することができる。
【００４４】
（３）ピッチ角の推定
手と体の関連付けが成功した場合、当該体のカメラに対するピッチ角を推定する。ピッチ角は、例えば、取得した画像から、人物の顔の向きを検出することで推定することができる。また、上半身と下半身に対応する領域を検出したうえで、それらのサイズ比から、角度を推定するようにしてもよい。このように、ピッチ角は、画像に含まれる人体の各部位の位置関係に基づいて、任意の方法で推定することができる。
【００４５】
（４）ロール角の推定
次に、当該体のカメラに対するロール角を推定する。ロール角は、画像に含まれる人体
の各部位の角度を検出することで求めることができる。例えば、取得した画像から顔や手を検出し、垂直方向からのずれ角を求めてもよいし、顔や手の位置関係がわかっている場合、胴体の角度を求めてもよい。
【００４６】
次に、ジェスチャ校正部１０５が行う処理について説明する。
図７に示した三つの表は、カメラに対する人体の角度（ヨー角、ピッチ角およびロール角）と、ポインタの移動量を補正するための値との関係を表したテーブル（以下、補正値テーブル）の例である。
例えば、図７（Ａ）に示した例では、人体が画面に対して真横（９０度）を向いている場合に、ポインタの移動量を、Ｘ方向に１．６倍、Ｙ方向に１．２倍することが定義されている。
また、図７（Ｂ）に示した例では、人体が上方向に９０度寝そべった（あるいはうつぶせ）状態で画面に正対している場合に、ポインタの移動量を、Ｘ方向に１．２倍、Ｙ方向に１．６倍することが定義されている。
また、図７（Ｃ）に示した例では、人体が横方向に９０度寝そべった状態で画面に正対している場合に、ポインタの移動方向を、−２０度だけ補正することが定義されている。
【００４７】
なお、移動量および移動方向の補正値は、予め演算によって求めたものを記憶していてもよいが、体の向きが変わることによって手の可動範囲がどのように変化するかには個人差があるため、学習によって補正値テーブルを生成ないし更新するようにしてもよい。
また、本例では、補正を行うための値をテーブル形式で保持したが、姿勢推定部１０３が求めたヨー角、ピッチ角およびロール角から補正値を算出することができれば、どのような方法を用いてもよい。例えば、数式を記憶し、補正値をその都度算出するようにしてもよい。
【００４８】
ポインタ制御部１０４は、以上のようにして決定された補正値を用いて、ポインタの移動量および移動方向を補正する。例えば、Ｘ方向に対応する補正値が１．６であり、Ｙ方向に対応する補正値が１．２であった場合、対象部位の動きに基づいて取得したポインタの移動量のうち、Ｘ方向の成分を１．６倍、Ｙ方向の成分を１．２倍する。また、角度についての補正値が−２０度であった場合、ポインタの移動方向を−２０度だけ回転させる。
補正後の値はコマンド生成部１０６に送信され、画面上のポインタの移動が行われる。
【００４９】
<処理フローチャート>
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図８は、ジェスチャを行う人物の姿勢を推定する処理のフローチャートである。当該処理は、ジェスチャ認識装置１００の電源が投入されている間、所定の間隔で繰り返し実行される。なお、画像認識その他の手法によって、ジェスチャ認識装置１００がユーザの存在を認識した場合にのみ実行するようにしてもよい。
【００５０】
まず、カメラ１０１が、カメラ画像を取得する（ステップＳ１１）。本ステップでは、テレビ画面の正面上部に備えられたカメラを用いて、ＲＧＢカラー画像を取得する。
次に、部位検出部１０２が、取得したカメラ画像から、手の検出を試みる（ステップＳ１２）。手の検出は、例えばパターンマッチング等によって行うことができる。想定される手の形状が複数ある場合は、複数の画像テンプレートを用いてマッチングを行ってもよい。ここで、手が検出されなかった場合は、ステップＳ１３で所定の時間だけ待機した後にステップＳ１１へ遷移し、同様の処理を繰り返す。手が検出された場合は、ステップＳ１４へ遷移する。
【００５１】
ステップＳ１４では、部位検出部１０２が、取得したカメラ画像から、人の体の検出を
試みる。ここで、体が検出されなかった場合は、ステップＳ１５の時間だけ待機した後にステップＳ１１へ遷移し、同様の処理を繰り返す。体が検出された場合は、ステップＳ１６へ遷移する。
次に、ステップＳ１６で、姿勢推定部１０３が、検出した手と体の関連付けを試みる。関連付けは、例えば顔を検出したうえで、顔を基準として行ってもよいし、単純に画像解析によって、体と手が繋がっているかを確認することで行ってもよい。
次に、ステップＳ１７で、姿勢推定部１０３が、前述した方法によって、ジェスチャを行う人物の体の向き（カメラに対するヨー角、ピッチ各およびロール角）を求める。体の向きは、画像から取得できる体部位の情報や位置関係に基づいて求めることができれば、取得方法は限定されない。
【００５２】
図９は、ユーザによって行われたジェスチャを認識し、画面に表示されるポインタを移動させる処理のフローチャートである。当該処理は、図８に示した処理と同時に開始され、周期的に実行される。
【００５３】
まず、カメラ１０１が、カメラ画像を取得する（ステップＳ２１）。なお、カメラ画像は、ステップＳ１１で取得したものを用いてもよい。
次に、ステップＳ２２で、ジェスチャ校正部１０５が、姿勢推定部１０３から、ステップＳ１７で取得したヨー角、ピッチ各およびロール角を取得し、補正値テーブルを参照したうえで、対応する補正値を取得する。
【００５４】
ステップＳ２３は、ポインタ制御部１０４が、ポインタの移動量と移動方向を決定するステップである。具体的には、取得した画像から手を検出し、手に含まれる特徴点を抽出したうえで、当該特徴点を追跡することで、移動量と移動方向を決定する。
次に、決定した移動量および移動方向を、ステップＳ２２で取得した補正値によって補正する（ステップＳ２４）。そして、補正後の移動方向と移動量をコマンド生成部１０６に送信する（ステップＳ２５）。この結果、コマンド生成部１０６が生成した命令によって、対象機器２００の画面上でポインタが移動する。
【００５５】
以上説明したように、第一の実施形態に係るジェスチャ認識装置は、テレビ画面を基準とするユーザの向きに基づいて、ポインタを移動させる際の移動量および移動方向を補正する。これにより、ジェスチャを行う人物が画面に対して正対していない場合であっても、ユーザが所望する量だけポインタを移動させることができる。また、ジェスチャを行う人物が直立していない場合であっても、所望の方向にポインタを移動させることができる。
【００５６】
（第二の実施形態）
第一の実施形態では、ポインタが表示されるテレビ画面と、ユーザを撮像するカメラが同一の方向を向いている場合について説明した。これに対し、第二の実施形態は、ユーザを撮像するカメラが画面とは異なる方向を向いて設置されている実施形態である。第二の実施形態に係るジェスチャ認識システムの構成は、以下に説明する点を除き、第一の実施形態と同様である。
【００５７】
第二の実施形態に係るジェスチャ認識システムでは、カメラ１０１が、テレビ画面と同じ位置ではなく、図１０のように、角度θ4だけ回転した位置に配置されている。すなわ
ち、カメラ１０１が撮像する画像は、常にユーザが時計回りにθ4だけ回転した状態の画
像となる。もっとも、この状態であっても、第一の実施形態と同様に、ポインタの移動量および移動方向を補正することはできる。しかし、ユーザとカメラとの距離が、画面とユーザとの距離と同一ではない場合、ポインタの移動距離が誤って認識されてしまうことがある。
【００５８】
第二の実施形態では、これに対応するため、カメラの配置位置を考慮した補正値を用いて、ポインタの移動量および移動方向を補正する。
図１１は、第二の実施形態における補正値テーブルの例である。第二の実施形態では、カメラの配置位置を表すフィールドとして、「距離比」と「配置角」が追加されている。距離比とは、画面とユーザとの距離と、ユーザとカメラとの距離の比である。また、配置角とは、画面とユーザ、および、ユーザとカメラがなす角度である。
この二つによって、ユーザ、テレビ画面、カメラの位置関係を表すことができるため、適切な補正値を与えることで、第一の実施形態と同様に、ポインタの移動量および移動方向を適切に補正することができる。
【００５９】
（第三の実施形態）
第三の実施形態は、ユーザが行った手の動きに基づいてポインタを移動させるのではなく、当該手の動きに対応するコマンドを生成し、対象機器２００に送信する実施形態である。
【００６０】
図１２に、第三の実施形態に係るジェスチャ認識システムの構成を示す。第三の実施形態に係るジェスチャ認識装置１００は、ポインタ制御部１０４のかわりに、ジェスチャ認識部２０４が配置されるという点において第一の実施形態と相違する。
【００６１】
ジェスチャ認識部２０４は、部位検出部１０２が検出した対象部位を追跡し、当該対象部位の移動量および移動方向に基づいて、ジェスチャを特定する手段である。具体的には、ジェスチャ校正部１０５が特定した補正値を用いて、対象部位の移動量および移動方向を補正したうえで、対応するジェスチャを特定する。図１３は、「対象部位の移動量と移動方向（補正後）」と「ジェスチャの意味」とが対応づけられたテーブル（ジェスチャ定義テーブル）の例である。ジェスチャ認識部２０４は、ジェスチャ定義テーブルを用いて、ユーザが表現しようとしているジェスチャを認識し、コマンド生成部１０６を通して、対応するコマンドを生成する。
【００６２】
第三の実施形態に係るジェスチャ認識装置は、第一の実施形態と同様に図９に示した処理を実行するが、ステップＳ２５において、ポインタを移動させるのではなく、（１）ジェスチャ認識部２０４が、補正後の対象部位の移動量と移動方向に基づいてジェスチャを認識し、（２）コマンド生成部１０６が、当該ジェスチャに対応づいたコマンドを生成し、対象機器２００に送信する、という点において相違する。
【００６３】
以上に説明したように、第三の実施形態によると、ポインタの移動を行うだけではなく、複数のジェスチャを使い分けることで複数のコマンドを入力することができるジェスチャ認識装置を提供することができる。
【００６４】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
【００６５】
例えば、ユーザを撮像した画像は必ずしもカメラによって取得される必要はなく、例えば、距離センサが生成した、距離の分布を表す画像（距離画像）であってもよい。また、距離センサとカメラの組み合わせ等であってもよい。
また、実施形態の説明では、対象部位を手全体（掌領域）であるものとしたが、対象部位は、指や腕であってもよいし、人体全体であってもよい。また、入力用のマーカ等であってもよい。また、対象部位は、可動する身体部位であれば、眼球などであってもよい。本発明に係るジェスチャ認識装置は、視線によってジェスチャ入力を行う装置などに適用
することもできる。また、対象部位の動きだけでなく、対象部位の形状にさらに基づいてジェスチャを認識するようにしてもよい。
【００６６】
また、ジェスチャ認識装置が取得する対象部位の移動量は、ユーザと装置との距離に応じて変わるため、ジェスチャ認識装置とユーザとの距離に応じて、ポインタの移動量をさらに補正するようにしてもよい。ジェスチャ認識装置とユーザとの距離は、例えば、画像に含まれる対象部位（あるいは人物）のサイズに基づいて推定してもよいし、独立したセンサによって取得してもよい。
【００６７】
また、各実施形態の説明では、姿勢推定部１０３が、撮像装置に対するユーザのヨー角、ピッチ各およびロール角を推定したが、例えば、ユーザが車内で着座している場合など、ユーザの姿勢が想定できる場合、姿勢の推定処理を省略し、固定値を用いるようにしてもよい。
【符号の説明】
【００６８】
１００・・・ジェスチャ認識装置
１０１・・・カメラ
１０２・・・部位検出部
１０３・・・姿勢推定部
１０４・・・ポインタ制御部
１０５・・・ジェスチャ校正部
１０６・・・コマンド生成部
２００・・・対象機器
２０４・・・ジェスチャ認識部
【図１】
2015176253.tif 000003
【図２】
2015176253.tif 000004
【図３】
2015176253.tif 000005
【図４】
2015176253.tif 000006
【図５】
2015176253.tif 000007
【図６】
2015176253.tif 000008
【図７】
2015176253.tif 000009
【図８】
2015176253.tif 000010
【図９】
2015176253.tif 000011
【図１０】
2015176253.tif 000012
【図１１】
2015176253.tif 000013
【図１２】
2015176253.tif 000014
【図１３】
2015176253.tif 000015