(57)【要約】【課題】ポインティングのための特別なデバイスを持つ必要がなく、ユーザーは手のジェスチャーにより手ぶらで対象機器を操作する。【解決手段】ユーザーを含む環境の観測データを基に、ユーザーを含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習し、既にモデル化された個別の前景モデルが環境中のどこに配置されているか、その位置と姿勢を推定する。前景の中から特にユーザーを識別し、さらにユーザーの手先を識別し、手先の形状、位置、姿勢を認識すると、ユーザーの手先の形状やその状態変化の時系列情報を基に制御コマンドを出力する。【選択図】  図１
2013205983.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置と、
前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器と、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器と、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器と、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器と、
を具備する情報入力装置。
【請求項２】
前記観測装置は、前記環境の距離画像を取得し、
前記学習器は、前記距離画像から前景と背景を分離して、３次元モデルを学習する、
請求項１に記載の情報入力装置。
【請求項３】
前記学習器は、所望の制御対象機器の３次元モデルを、ユーザーが実際に制御操作する前にあらかじめ構築しておく、
請求項１に記載の情報入力装置。
【請求項４】
前記学習器は、所望の制御対象機器を含めた周囲の環境の３次元モデルを構築した後、前記制御対象機器を環境から取り除き、差分に相当する３次元モデルを検出して前記制御対象機器のみの３次元モデルを構築する、
請求項３に記載の情報入力装置。
【請求項５】
前記状態推定器は、前記学習器が既に構築した前景モデル及び背景モデルを更新すると同時に、前記センサー及び前景の位置及び姿勢を推定し続け、前記センサーの視点を変化させながら背景の３次元モデルを構築した後、背景モデルを固定した状態で、その差分となった領域を取り出すことにより、前景モデルを学習する、
請求項１に記載の情報入力装置。
【請求項６】
前記学習器は、前景、背景それぞれのモデルに関して、事前知識を組み込んで学習を行なう、
請求項１に記載の情報入力装置。
【請求項７】
前記学習器は、３次元空間中で位置や姿勢が変動しないモデルを背景とし、位置や姿勢が頻繁に変化する対象を前景モデルとして切り出して学習する、
請求項１に記載の情報入力装置。
【請求項８】
前記ユーザー認識器は、前記観測装置による撮像画像から人の検出又は顔検出した領域と対応付けられた前景モデルをユーザーとして検出する、
請求項１に記載の情報入力装置。
【請求項９】
前記ユーザー認識器は、あらかじめ手先部位のラベリングをした上で準備された標準的な人体の３次元モデルとの間でグラフ・マッチングを行ない、ラベル付けされたノードと対応する部位の前景に着目して手先部位を識別する、
請求項１に記載の情報入力装置。
【請求項１０】
前記ユーザー認識器は、識別した手先部位について、手の形状毎にあらかじめ準備された標準的な手の３次元モデルとの間で形状の識別を行なう、
請求項１に記載の情報入力装置。
【請求項１１】
前記ユーザー認識器は、ユーザー毎に別々の標準的な手の３次元モデルを用意し、前記観測データに基づいて特定されたユーザーに応じて標準的な手の３次元モデルを切り替える、
請求項１０に記載の情報入力装置。
【請求項１２】
前記機器制御器は、識別した手の形状と手の位置及び姿勢に従って制御対象機器を特定し、続いて、識別した手の状態又は状態の変化に応じた制御コマンドを前記制御対象機器に対して発行する、
請求項１に記載の情報入力装置。
【請求項１３】
前記機器制御器は、手の形状と制御コマンドとの種別の対応を定義した制御コマンド対応テーブルを参照して、識別した手の状態又は状態の変化に対応するユーザーからの制御コマンドを特定する、
請求項１２に記載の情報入力装置。
【請求項１４】
前記機器制御器は、制御対象機器毎に定義された制御コマンド対応テーブルを使用する、
請求項１３に記載の情報入力装置。
【請求項１５】
前記機器制御器は、ユーザーが人差し指を立てた状態で指し示す行動を行なった場合には、指先の延長線上にある前景モデルを制御対象機器として認識する、
請求項１に記載の情報入力装置。
【請求項１６】
前記機器制御器は、ユーザーの左右それぞれの手の状態又は状態の変化の組合せに対応する制御コマンドを特定する、
請求項１に記載の情報入力装置。
【請求項１７】
前記機器制御器は、制御対象機器としてディスプレイを認識したときに、認識した手先の位置と姿勢の変化に基づいて、制御コマンドとしてディスプレイの画面上のカーソル操作を出力する、
請求項１に記載の情報入力装置。
【請求項１８】
前記機器制御器は、指さし動作の開始位置からの遷移量に基づいて、前記画面上のカーソル位置の３次元移動速度を指定する、
請求項１７に記載の情報入力装置。
【請求項１９】
前記機器制御器は、認識したユーザーの両手の指先の直線上の交点を求め、前記交点に基づいて前記画面上の３次元ユーザー・インターフェースに対して奥行きを指定する、
請求項１７に記載の情報入力装置。
【請求項２０】
前記機器制御器は、認識したユーザーの指さし形状の手先の姿勢と環境中の物体の交点に基づいて、制御対象機器並びに前記制御対象機器に対する指示を認識する、
請求項１に記載の情報入力装置。
【請求項２１】
前記機器制御機器は、認識したユーザーの片方の手先の姿勢と環境中の物体の交点に基づいて制御対象機器を認識するとともに、認識したユーザーの他方の手先の形状又は位置及び姿勢の変化に基づいて前記制御対象機器への指示を認識して制御コマンドを出力する、
請求項１に記載の情報入力装置。
【請求項２２】
ユーザーと１以上の制御対象機器を含む環境を観測する観測ステップと、
前記観測ステップで取得した観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習ステップと、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定ステップと、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識ステップと、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御ステップと、
を有する情報入力方法。
【請求項２３】
ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置、
前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、ユーザーから制御操作の対象となる機器への制御コマンドを入力する情報入力装置及び情報入力方法、並びにコンピューター・プログラムに係り、特に、手のジェスチャーなどによるユーザーからの制御コマンドを入力する情報入力装置及び情報入力方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
人が生活する環境には、家電製品や情報機器など、ユーザーが制御対象とするさまざまな製品が存在している。この種の機器を、レーザー・ポインターやリモコンなどのデバイスを用いて遠隔操作する技術は従来から知られている。
【０００３】
例えば、ユーザーにリモコンの位置を通知することが可能なリモコン位置通知システムや（例えば、特許文献１を参照のこと）、中心から高輝度な拡散光線を発光するポインティング・デバイスをユーザーが手に持って振り、複数の受光センサーでポインティング・デバイスの位置を検知して、手の動きに合わせて画面上のポインターを上下左右に動かして表示するポインティング・システムなどについて（例えば、特許文献２を参照のこと）、提案がなされている。しかしながら、これらの先行技術によると、手先の位置や姿勢を検出する信号を発生するためのリモコンなど特定のデバイスをユーザーが手に持って操作する必要がある。
【０００４】
また、操作ボタン又はメニューを表示する操作表示手段を操作する操作者を撮像し、撮像画像から検出した手の領域の形と動きと操作表示手段の表示を基に操作者による操作を検出する遠隔操作装置について提案がなされている（例えば、特許文献３を参照のこと）。しかしながら、この先行技術によると、手先の輪郭を使ってユーザーのジェスチャーを認識することができるが、輪郭の２次元の情報しか用いないので、ユーザーはカメラに対して手先を適切な姿勢にしないと、安定してジェスチャーを認識することができない。このため、ユーザーは、カメラの位置を意識する必要があり、操作時のユーザーの姿勢の制約が大きいという問題がある。手先の形状など観測方向が変化すると、その輪郭は大きく変化するので、輪郭に依存した認識を行なう場合には、観測方向に依存して認識結果が不安定になる。
【０００５】
また、仮想操作面に対する操作者の動作を３次元的に読み取り、操作者の一部と仮想操作面との位置関係に基づいて動作が操作であるか否かを判定し、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動作が行なわれると、仮想操作階層にあらかじめ割当てられた操作種別及び仮想操作階層内での操作者の動作に基づいて操作の内容を決定する画像認識装置について提案がなされている（例えば、特許文献４を参照のこと）。この画像認識装置は、画像特徴量を用いてユーザーの手先を３次元トラッキングするが、照明条件が急激に変化したときなどは、映像中の複数のフレーム間で特徴点を安定してマッチングして追跡するのが困難であることから、認識の安定性が低いものと思料される。また、手先の特徴点の３次元位置を測定することはできても、手先そのものの姿勢を検出するものではない。また、カメラとの相対的な位置でユーザーを認識するので、ユーザーはカメラの位置を認識する必要がある。また、ユーザーにとって直感的な操作を実現するためは、カメラの設置位置をスクリーンとの相対的な関係に基づいて決定する必要があり、選択の自由度は低い。
【０００６】
また、所定の動作を行なう人物を撮影した撮影映像と、撮影映像の奥行情報とを用いて、人物の動作を判定し、撮影映像から特徴点を抽出して３次元特徴量を算出し、この３次元特徴量を追跡した４次元軌跡特徴量を算出し、４次元軌跡特徴量を用いて単位追跡時間毎に動作を判定する人物動作判定装置について提案がなされている（例えば、特許文献５を参照のこと）。この装置に対して動作を入力するには、ユーザーはマーカーで指示された位置に対応付けられた仮想操作面で操作することが求められるので、操作時のユーザーの位置や姿勢に制約がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本明細書で開示する技術の目的は、手のジェスチャーなどユーザーの直感的な操作に基づいて制御操作の対象機器への制御コマンドを安定して入力することができる、優れた情報入力装置及び情報入力方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置と、
前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器と、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器と、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器と、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器と、
を具備する情報入力装置である。
【０００９】
本願の請求項２に記載の技術によれば、請求項１に記載の情報入力装置は、前記観測装置が前記環境の距離画像を取得し、前記学習器が前記距離画像から前景と背景を分離して３次元モデルを学習するように構成されている。
【００１０】
本願の請求項３に記載の技術によれば、請求項１に記載の情報入力装置の前記学習器は、所望の制御対象機器の３次元モデルを、ユーザーが実際に制御操作する前にあらかじめ構築しておくように構成されている。
【００１１】
本願の請求項４に記載の技術によれば、請求項３に記載の情報入力装置の前記学習器は、所望の制御対象機器を含めた周囲の環境の３次元モデルを構築した後、前記制御対象機器を環境から取り除き、差分に相当する３次元モデルを検出して前記制御対象機器のみの３次元モデルを構築するように構成されている。
【００１２】
本願の請求項５に記載の技術によれば、請求項１に記載の情報入力装置の前記状態推定器は、前記学習器が既に構築した前景モデル及び背景モデルを更新すると同時に、前記センサー及び前景の位置及び姿勢を推定し続け、前記センサーの視点を変化させながら背景の３次元モデルを構築した後、背景モデルを固定した状態で、その差分となった領域を取り出すことにより、前景モデルを学習するように構成されている。
【００１３】
本願の請求項６に記載の技術によれば、請求項１に記載の情報入力装置の前記学習器は、前景、背景それぞれのモデルに関して、事前知識を組み込んで学習を行なうように構成されている。
【００１４】
本願の請求項７に記載の技術によれば、請求項１に記載の情報入力装置の前記学習器は、３次元空間中で位置や姿勢が変動しないモデルを背景とし、位置や姿勢が頻繁に変化する対象を前景モデルとして切り出して学習するように構成されている。
【００１５】
本願の請求項８に記載の技術によれば、請求項１に記載の情報入力装置の前記ユーザー認識器は、前記観測装置による撮像画像から人の検出又は顔検出した領域と対応付けられた前景モデルをユーザーとして検出するように構成されている。
【００１６】
本願の請求項９に記載の技術によれば、請求項１に記載の情報入力装置の前記ユーザー認識器は、あらかじめ手先部位のラベリングをした上で準備された標準的な人体の３次元モデルとの間でグラフ・マッチングを行ない、ラベル付けされたノードと対応する部位の前景に着目して手先部位を識別するように構成されている。
【００１７】
本願の請求項１０に記載の技術によれば、請求項１に記載の情報入力装置の前記ユーザー認識器は、識別した手先部位について、手の形状毎にあらかじめ準備された標準的な手の３次元モデルとの間で形状の識別を行なうように構成されている。
【００１８】
本願の請求項１１に記載の技術によれば、請求項１０に記載の情報入力装置の前記ユーザー認識器は、ユーザー毎に別々の標準的な手の３次元モデルを用意し、前記観測データに基づいて特定されたユーザーに応じて標準的な手の３次元モデルを切り替えるように構成されている。
【００１９】
本願の請求項１２に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御器は、識別した手の形状と手の位置及び姿勢に従って制御対象機器を特定し、続いて、識別した手の状態又は状態の変化に応じた制御コマンドを前記制御対象機器に対して発行するように構成されている。
【００２０】
本願の請求項１３に記載の技術によれば、請求項１２に記載の情報入力装置の前記機器制御器は、手の形状と制御コマンドとの種別の対応を定義した制御コマンド対応テーブルを参照して、識別した手の状態又は状態の変化に対応するユーザーからの制御コマンドを特定するように構成されている。
【００２１】
本願の請求項１４に記載の技術によれば、請求項１３に記載の情報入力装置の前記機器制御器は、制御対象機器毎に定義された制御コマンド対応テーブルを使用するように構成されている。
【００２２】
本願の請求項１５に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御器は、ユーザーが人差し指を立てた状態で指し示す行動を行なった場合には、指先の延長線上にある前景モデルを制御対象機器として認識するように構成されている。
【００２３】
本願の請求項１６に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御器は、ユーザーの左右それぞれの手の状態又は状態の変化の組合せに対応する制御コマンドを特定するように構成されている。
【００２４】
本願の請求項１７に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御器は、制御対象機器としてディスプレイを認識したときに、認識した手先の位置と姿勢の変化に基づいて、制御コマンドとしてディスプレイの画面上のカーソル操作を出力するように構成されている。
【００２５】
本願の請求項１８に記載の技術によれば、請求項１７に記載の情報入力装置の前記機器制御器は、指さし動作の開始位置からの遷移量に基づいて、前記画面上のカーソル位置の３次元移動速度を指定するように構成されている。
【００２６】
本願の請求項１９に記載の技術によれば、請求項１７に記載の情報入力装置の前記機器制御器は、認識したユーザーの両手の指先の直線上の交点を求め、前記交点に基づいて前記画面上の３次元ユーザー・インターフェースに対して奥行きを指定するように構成されている。
【００２７】
本願の請求項２０に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御器は、認識したユーザーの指さし形状の手先の姿勢と環境中の物体の交点に基づいて、制御対象機器並びに前記制御対象機器に対する指示を認識するように構成されている。
【００２８】
本願の請求項２１に記載の技術によれば、請求項１に記載の情報入力装置の前記機器制御機器は、認識したユーザーの片方の手先の姿勢と環境中の物体の交点に基づいて制御対象機器を認識するとともに、認識したユーザーの他方の手先の形状又は位置及び姿勢の変化に基づいて前記制御対象機器への指示を認識して制御コマンドを出力するように構成されている。
【００２９】
また、本願の請求項２２に記載の技術は、
ユーザーと１以上の制御対象機器を含む環境を観測する観測ステップと、
前記観測ステップで取得した観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習ステップと、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定ステップと、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識ステップと、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御ステップと、
を有する情報入力方法である。
【００３０】
また、本願の請求項２３に記載の技術は、
ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置、
前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器、
モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器、
前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器、
前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
【００３１】
本願の請求項２３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２３に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る情報入力装置と同様の作用効果を得ることができる。
【発明の効果】
【００３２】
本明細書で開示する技術によれば、手のジェスチャーなどユーザーの直感的な操作に基づいて制御操作の対象機器への制御コマンドを安定して入力することができる、優れた情報入力装置及び情報入力方法、並びにコンピューター・プログラムを提供することができる。
【００３３】
本明細書で開示する技術によれば、ユーザーは手のジェスチャーによる制御コマンドを入力する際に、ポインティングのための特別なデバイスを持つ必要がなく、手ぶらで対象機器を操作することができる。
【００３４】
また、本明細書で開示する技術に係る情報入力装置は、ユーザーの手先位置と姿勢をグローバル座標系で認識するので、ユーザーに手を観測するデバイスの設置位置の自由度が増す。
【００３５】
本明細書で開示する技術に係る情報入力装置は、輪郭に依存せずに、ユーザーの手先の３次元モデル（立体形状）を用いて位置と姿勢を連続的にトラッキングするので、手先をどの方向から観測しても問題なく認識することができる。また、手先の３次元モデル（立体形状）を用いてトラッキングする際に、特徴点を見失うようなことはないので、ユーザーの手先の位置と姿勢を安定して認識することができる。
【００３６】
また、本明細書で開示する技術に係る情報入力装置によれば、制御対象機器との相対位置を測定し、又は、ユーザーの両手の手先の姿勢を組み合わせて認識し、両手の指先の直線上の交点を求めることによって、ユーザーは奥行きを指定することができる。これにより、ディスプレイに表示するＧＵＩデザインの自由度が増し、３Ｄ対応のディスプレイなどにおいて、より便利なメニュー選択を実現することができる。
【００３７】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３８】
【図１】図１は、本明細書で開示する技術の一実施形態に係る情報入力装置１００の機能的構成を模式的に示した図である。
【図２】図２は、観測データから３次元モデルを学習した結果の一例を示した図である。
【図３】図３は、前景モデルを学習した結果の一例を示した図である。
【図４】図４は、あらかじめ準備された標準的な手の３次元モデルの例を示した図である。
【図５】図５は、手の形状と制御コマンドとの種別の対応を定義した制御コマンド対応テーブル１０７の一例を示した図である。
【図６】図６は、情報入力装置１００を用いてユーザーの手のジェスチャーにより機器制御を行なうための処理手順を示したフローチャートである。
【図７】図７は、情報入力装置１００を介してユーザーがディスプレイの画面上でカーソルを操作している様子を示した図である。
【図８】図８は、指さし動作の開始位置からの遷移量に基づいて、画面上のカーソル位置の３次元移動速度を指定している様子を示した図である。
【図９】図９は、両手の指先の直線上の交点を求めることによって、ユーザーが奥行きを指定して、３次元ＧＵＩのポインティング動作をしている様子を示した図である。
【図１０】図１０は、ユーザーがロボットに対して搬送対象の物体を指示している様子を示した図である。
【図１１】図１１は、ユーザーが家庭のリビング環境などで照明のオン／オフを指示している様子を示した図である。
【図１２】図１２は、ユーザーがテレビや音楽再生プレイヤーなどを制御対象機器に指定して、ディスプレイの輝度や音量の変更などを指示している様子を示した図である。
【発明を実施するための形態】
【００３９】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００４０】
図１には、本明細書で開示する技術の一実施形態に係る情報入力装置１００の機能的構成を模式的に示している。図示の情報入力装置１００は、観測装置１０１と、学習器１０２と、状態推定器１０３と、ユーザー認識器１０４と、機器制御器１０５を備えている。この情報入力装置１００は、ユーザーと、ユーザーにとって制御操作の対象となる１以上の制御対象機器１０６が存在する環境下で、ユーザーが所望する制御対象機器１０６に対して遠隔操作を行なうことができる。
【００４１】
観測装置１０１は、ユーザーと１以上の制御対象機器を含む環境を観測し、観測データを出力する。
【００４２】
学習器１０２は、観測装置１０１からの観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する。
【００４３】
状態推定器１０３は、既にモデル化された個別の前景モデルが環境中のどこに配置されているか、その位置と姿勢を推定する。
【００４４】
ユーザー認識器１０４は、前景の中から特にユーザーを識別し、さらにユーザーの手先を識別し、手先の形状、位置、姿勢を認識する。
【００４５】
機器制御器１０５は、ユーザーの手先の形状やその状態変化の時系列情報を基に、制御対象機器１０６に対する制御コマンドを出力する。
【００４６】
以下、各部１０１〜１０６について詳細に説明する。
【００４７】
観測装置１０１は、取得した画像系列から後段の学習器１０２における処理で前景及び背景を分離して３次元モデルを学習するに足る情報を観測するための要件を満たす装置である。
【００４８】
観測装置１０１は、例えば距離画像を取得できるセンサーを搭載した装置である。距離画像を取得するセンサーとして、２眼カメラによるステレオ・マッチングによる方式、Ｏｐｔｒｉｍａ社のＤｅｐｔｈＳｅｎｓｅのように対象物体への赤外線の行き来の時間から距離画像を測定するＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式（例えば、非特許文献１を参照のこと）、Ｋｉｎｅｃｔで用いられるＰｒｉｍｅＳｅｎｓｅ社のカメラのように赤外線パターンを対象物体に照射して３角測量（Ｔｒｉａｎｇｕｌａｔｉｏｎ）により距離画像を計算する方式などを挙げることができる。勿論、観測装置１０１は、距離画像を取得する装置には限定されず、上記の要件を満たせば通常のＲＧＢ画像を所得するカメラであってもよい。
【００４９】
なお、観測装置１０１を構成するセンサーの視野が限られている場合には、センサーの搭載された台座を駆動することによってセンサーの位置や方向を変化させ、ユーザーと制御対象機器１０６が存在する環境全体を観測できるものとする。
【００５０】
学習器１０２は、観測装置１０１から得られた観測データを基に、前景と背景を分離して３次元モデルを学習する。学習結果は、前景モデル保存部１０２Ａ並びに背景モデル保存部１０２Ｂなどの記憶媒体に保存される。
【００５１】
学習器１０２は、前景モデルを観測データから逐次的に学習してもよいし、家庭環境内にあらかじめ設置された家電製品のように存在することがあらかじめ分かっているモデルについては、あらかじめ作成した３次元モデルを外部から設定してもよい。
【００５２】
制御対象機器１０６の３次元モデルは、環境内（ユーザーの部屋の中など）に設置された制御対象機器１０６を指定する場合に、制御対象機器１０６側の位置や姿勢を状態推定器１０３によって推定する場合に必要となる。あらかじめモデルを登録する具体的な方法は下記の通りである。登録したい制御対象機器１０６を含めた周囲の環境の３次元モデルの構築を行なった後、登録したい制御対象機器１０６を環境から取り除き、差分に相当する３次元モデルを検出することによって、制御対象機器１０６のみの３次元モデルを構築する。この方法により、例えば部屋の中に常時設置してあるテレビや照明などの制御対象機器の３次元モデルを、ユーザーが実際に制御操作を行なう前にあらかじめ登録しておく。また、登録した３次元モデルに関して機器毎の識別のためのタグ付けをし、後述する制御コマンド対応テーブル１０７との間で対応付けを行なう。
【００５３】
また、背景モデルは、前景として判定された部分を除いた環境全体の３次元モデルである。学習器１０２は、観測装置１０１から得た観測データで部分的にモデルを追加しながら逐次的に更新を繰り返すので、観測装置１０１が実際に観測していない範囲に関しても、仮想空間上ではモデルが存在する。
【００５４】
状態推定器１０３は、前景モデル保存部１０２Ａ並びに背景モデル保存部１０２Ｂにそれぞれ保存されている前景モデル、背景モデル、及び、観測装置１０１が出力する観測データから、センサーの位置と向きを推定すると同時に、背景モデル中の前景モデル（ユーザーや制御対象機器１０６）の位置と姿勢を推定する。
【００５５】
本実施形態では、学習器１０２と状態推定器１０３は一体となって機能し、逐次的に得られる観測データに対して学習を行ない、前景モデルと背景モデルを更新すると同時に、センサー及び前景の状態（位置、姿勢の合計６自由度）を推定し続ける。この具体的な実現方法は、まずＫｉｎｎｅｃｔＦｕｓｉｏｎ（例えば、非特許文献２を参照のこと）やＤＴＡＭ（例えば、非特許文献３を参照のこと）といった方法によって、センサーの視点を変化させながら、撮影した距離画像やＲＧＢ画像から背景の３次元モデルを構築する（例えば、図２を参照のこと）。その後、背景モデルを固定した状態で、その差分となった領域を取り出すことにより、前景モデルを学習することができる（例えば、図３を参照のこと）。若しくは、前景、背景それぞれのモデルに関して、事前知識を組み込んで学習を行なうことにより、前景と背景を分離しながら同時に学習することも可能である（例えば、３次元空間中で位置や姿勢が変動しないモデルを背景とし、位置や姿勢が頻繁に変化する対象を前景モデルとして切り出して学習する）。
【００５６】
ユーザー認識器１０４は、認識した前景の中から、機器の操作を行なっているユーザーのモデルを識別し、さらにユーザーの前景モデルの中の手先の部位の手の形状や手の姿勢を判定する。ユーザー検出は、撮影された画像から人の領域を検出したり（例えば、非特許文献４を参照のこと）、顔検出（例えば、特許文献６を参照のこと）したりした結果から、検出が行なわれた領域と対応付けられた前景モデルをユーザーとして検出することができる。さらに、あらかじめ手先部位のラベリングをした上で準備された標準的な人体の３次元モデルすなわち人体モデル１０４Ａとの間でグラフ・マッチング（例えば、非特許文献５を参照のこと）を行ない、ラベル付けされたノードと対応する部位の前景に着目することで、手先部位を特定するなどの方法がある。特定された手先部位は、手の形状毎に異なる機器制御コマンドと対応付けるために、人差し指を立てる、グー、チョキ、パーの形状など、手の形状毎にあらかじめ準備された標準的な手の３次元モデルすなわち手モデル１０４Ｂとの間で、形状の識別を行なう（例えば、非特許文献６を参照のこと）。あらかじめ準備された標準的な手の３次元モデルの例を図４に示しておく。
【００５７】
なお、手の形状はユーザー毎に微妙に異なることが考えられるので、状態推定精度を向上するために、ユーザー毎に別々のモデルを登録できるようにしてもよい。この場合は、観測データに対して顔認識などを行なってユーザーを特定し、特定されたユーザー毎にモデルを切り替えるようにすればよい。
【００５８】
機器制御器１０５は、まず、識別した手の形状と手の位置、姿勢に従って、制御対象機器を特定し、続いて、識別した手の状態又は状態の変化に応じた制御コマンドを決定すると、その制御コマンドを制御対象機器に対して発行する。
【００５９】
本実施形態では、ユーザーは、手の形状と、手の状態又は状態の変化、言い換えれば、手のジェスチャーによって制御コマンドを入力することができる。機器制御器１０５は、手のジェスチャー入力を実現するために、手の形状と制御コマンドとの種別の対応を定義した制御コマンド対応テーブル１０７を用いてもよい。また、制御対象機器毎に制御コマンド対応テーブル１０７を定義することができ、同じ手の形状でも、機器によって異なる制御コマンドを対応付けることができる。
【００６０】
図５には、制御コマンド対応テーブル１０７の一例を示している。図示の制御コマンド対応テーブル１０７は、テレビ、音楽プレイヤー、照明、ポットなど複数種類の制御対象機器の各々について、左手及び右手の形状にそれぞれ対応する制御コマンドの定義を記述している。
【００６１】
例えば、ユーザーが人差し指を立てた状態でディスプレイ画面を指し示す行動を行なった場合には、指先の延長線上にある前景モデルが何であるかを、状態推定器１０３及びユーザー認識器１０４が認識した結果から合成した仮想空間上で特定し、制御対象機器がテレビであることを認識することができる。さらに、機器制御器１０５は、上記の制御コマンド対応テーブル１０７から、カーソルを移動する制御コマンドであることを認識することができ、ユーザーの指差し動作によって、指の延長線上に位置したディスプレイ上のカーソルを移動することができる。
【００６２】
図５に例示した制御対象テーブル１０７において、上半分の表は片方の手の動作内容を示し、下半分の表はもう片方の手の動作内容を示している。例えば上半分を左手、下半分を右手に割り当てればよく、この割り当てを逆にすることは容易である。機器によっては、左右の手の組み合わせで用いる場合と、片手のみしか用いない場合がある。図５に示した表中で、網掛けされた項目は、手１（左手）を網掛けされた状態にしておいたときに、手２の操作の組合せが有効になるコマンドであることを示す。
【００６３】
例えば、テレビのチャンネルを切り替えたい場合には、まず、手１の形状を２にしておいて、テレビを指し示し、この結果、機器制御器１０５は、テレビが制御対象機器であることを認識する。続いて、上記の状態で手２の形状を１の形状にし、手２でチャンネルを切り替えるジェスチャーを行なえばよいことを示す。手２のジェスチャーに関しては、後述するように円を描く、往復運動をするなどのジェスチャーを設定することができる。一方、テレビの電源を切りたい場合には、後述するように、手１のみを用いることで実現することができる。すなわち、初期状態として手１を形状２にしてテレビを指し示した状態から、続けて手１を計上５に切り換えればよい。反対に、電源を入れたい場合には、単に手１を形状２にしてテレビを指し示せばよい。
【００６４】
指先を指し示すことによって行なうポインティング動作の空間的な意味は、制御対象機器１０６との相対位置で定義される。したがって、観測データを生成する観測装置１０１のセンサーの位置や姿勢に依存することがない。このため、作業空間中での観測装置１０１の設置位置を決定するに当たっては、ユーザーの立ち位置や制御対象機器の配置を考慮する必要がない。一方、ユーザーは、センサーの位置を意識しなくてもポインティング動作を行なうことかできるので、制御対象機器１０６の操作に集中することができ、制御対象機器１０６と対峙して直感的に操作することが可能となる。
【００６５】
図６には、本実施形態に係る情報入力装置１００を用いてユーザーの手のジェスチャーにより機器制御を行なうための処理手順をフローチャートの形式で示している。
【００６６】
まず、観測装置１０１から環境を観測した観測データを入力する（ステップＳ６０１）。
【００６７】
そして、状態推定器１０３は、観測装置１０１のセンサーの位置及び姿勢を推定し（ステップＳ６０２）、さらに、前景モデルの位置及び姿勢を推定する（ステップＳ６０３）。
【００６８】
次いで、ユーザー認識器１０４は、前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識する（ステップＳ６０４）。
【００６９】
機器制御器１０５は、認識された手の形状と手の位置、姿勢に従って、まず制御対象機器を特定し（ステップＳ６０５）、続いて、識別した手の状態又は状態の変化に応じた制御コマンドを決定する（ステップＳ６０６）。その後、機器制御器１０５は、制御対象機器に対して、決定した制御コマンドを発行する（ステップＳ６０７）。
【００７０】
そして、学習器１０２は、前景モデル及び背景モデルを学習し、前景モデル保存部１０２Ａ及び背景モデル保存部１０２Ｂの各々に追加して保存するとともに（ステップＳ６０８）、既に保存されている前景モデル及び背景モデルを逐次的に更新する（ステップＳ６０９）。その後、ステップＳ６０１に戻り、上記の処理手順を繰り返し実行する。
【００７１】
最後に、本実施形態に係る情報入力装置１００を用いたＵＩ操作例について、図面を参照しながら説明する。
【００７２】
（１）２Ｄ／３Ｄスクリーン上のＧＵＩ操作
図７には、本実施形態に係る情報入力装置１００（図７中では図示しない）を介して、ユーザーがディスプレイの画面上でカーソルを操作している様子を示している。情報入力装置１００は、例えばディスプレイの上方に設置された観測装置１０１で観測された観測データ（距離画像など）に基づいて、ユーザーの指差し形状の手先を認識し、その手先の位置と姿勢から、制御対象がディスプレイであることを認識するとともに、手先の位置と姿勢の変化に基づいて、制御コマンドとしてディスプレイの画面上のカーソル操作を出力する。
【００７３】
また、図８には、指さし動作の開始位置からの遷移量（Δｘ，Δｙ，Δｚ）に基づいて、画面上のカーソル位置（ｘ’，ｙ’，ｚ’）の３次元移動速度を指定している様子を示している。図示の例では、指さし動作の開始位置からの遷移量に比例したカーソルの３次元移動速度を与えている。
【００７４】
また、図９には、両手の指先の直線上の交点を求めることによって、ユーザーが奥行きを指定して、パーソナル・コンピューターなどにおける３次元ＧＵＩのポインティング動作をしている様子を示している。これにより、ディスプレイに表示するＧＵＩデザインの自由度が増し、３Ｄ対応のディスプレイなどにおいて、より便利なメニュー選択を実現することができる。
【００７５】
（２）ロボットに対する特定物体の指示
図１０には、本実施形態に係る情報入力装置１００（図１０中では図示しない）を介して、ユーザーがロボットに対して搬送対象の物体を指示している様子を示している。情報入力装置１００は、例えば環境内に設置された観測装置１０１で観測された観測データ（距離画像など）に基づいて、ユーザーの手先を認識し、指さし形状の手先の姿勢と環境中の物体の交点から、制御対象機器がロボットであることを認識する。また、情報入力装置１００は、さら続いて、指さし形状の手先の姿勢と環境中の物体の交点から、ロボットに対して搬送対象の物体を指示していることを認識して、ロボットに対して搬送指示の制御コマンドを出力する。
【００７６】
（３）家庭内電気製品の電源オン／オフ
図１１には、本実施形態に係る情報入力装置１００（図１１中では図示しない）を介して、ユーザーが家庭のリビング環境などで照明のオン／オフを指示している様子を示している。情報入力装置１００は、例えば環境内に設置された観測装置１０１で観測された観測データ（距離画像など）に基づいて、ユーザーの手先を認識し、指さし形状の手先の姿勢と家庭のリビング環境中の物体の交点から、照明が制御対象機器であることを認識する。また、情報入力装置１００は、さらに続いて、ユーザーの手先の形状の変化から、ユーザーが照明のオン又はオフを指示していることを認識すると、照明に対してオン又はオフの制御コマンドを出力する。
【００７７】
（４）ジェスチャーによる音量などの調整
図１２には、本実施形態に係る情報入力装置１００（図１２中では図示しない）を介して、ユーザーがテレビや音楽再生プレイヤーなどを制御対象機器に指定して、ディスプレイの輝度や音量の変更などを指示している様子を示している。図示の例では、ユーザーは、片方（左側）の手先を使って制御対象機器を指定し、他方（右側）の手先のジェスチャーを使って制御対象機器に対する制御コマンドの入力を行なっている。情報入力装置１００は、例えば環境内に設置された観測装置１０１（図１２中では図示しない）で観測された観測データ（距離画像など）に基づいて、ユーザーの両手の手先を認識する。そして、指さし形状をした左手先の姿勢と家庭のリビング環境中の物体の交点から、テレビや音楽再生プレイヤーを制御対象機器に指定していることを認識する。また、情報入力装置１００は、さらに続いて、指さし形状をした右手先の形状、又は位置と姿勢の変化（すなわち、右手先のジェスチャー）に基づいて、ディスプレイの輝度や音量の変更など制御対象機器への指示が行なわれていることを認識すると、テレビや音楽再生プレイヤーに対して制御コマンドを出力する。
【００７８】
図７〜図１２に示したいずれの操作例においても、ユーザーは手のジェスチャーによる制御コマンドを入力する際に、ポインティングのための特別なデバイスを持つ必要がなく、手ぶらで対象機器を操作することができる。
【００７９】
また、情報入力装置１００は、ユーザーの手先位置と姿勢をグローバル座標系で認識するので、ユーザーに手を観測するデバイスの設置位置の自由度が増す。例えば、より広く空間を見渡せる位置を選ぶなど、ユーザーや制御操作の対象機器との相対的なの位置関係を考慮せずに、観測デバイスを好きな位置に配置しても、ユーザーの直感的な入力操作を妨げることはない。また、ユーザーは、制御コマンドの入力の際に、観測デバイスの位置を意識する必要はなく、制御操作の対象機器と自分との相対位置だけを意識すればよくなり、直観的な操作により制御コマンドを入力することができる。
【００８０】
また、情報入力装置１００は、輪郭に依存せずに、ユーザーの手先の３次元モデル（立体形状）を用いて位置と姿勢を連続的にトラッキングするので、手先をどの方向から観測しても問題なく認識することができる。また、手先の３次元モデル（立体形状）を用いてトラッキングする際に、特徴点を見失うようなことはないので、ユーザーの手先の位置と姿勢を安定して認識することができる。
【００８１】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置と、前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器と、モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器と、前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器と、前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器と、を具備する情報入力装置。
（２）前記観測装置は、前記環境の距離画像を取得し、前記学習器は、前記距離画像から前景と背景を分離して、３次元モデルを学習する、上記（１）に記載の情報入力装置。
（３）前記学習器は、所望の制御対象機器の３次元モデルを、ユーザーが実際に制御操作する前にあらかじめ構築しておく、上記（１）に記載の情報入力装置。
（４）前記学習器は、所望の制御対象機器を含めた周囲の環境の３次元モデルを構築した後、前記制御対象機器を環境から取り除き、差分に相当する３次元モデルを検出して前記制御対象機器のみの３次元モデルを構築する、上記（３）に記載の情報入力装置。
（５）前記状態推定器は、前記学習器が既に構築した前景モデル及び背景モデルを更新すると同時に、前記センサー及び前景の位置及び姿勢を推定し続け、前記センサーの視点を変化させながら背景の３次元モデルを構築した後、背景モデルを固定した状態で、その差分となった領域を取り出すことにより、前景モデルを学習する、上記（１）に記載の情報入力装置。
（６）前記学習器は、前景、背景それぞれのモデルに関して、事前知識を組み込んで学習を行なう、上記（１）に記載の情報入力装置。
（７）前記学習器は、３次元空間中で位置や姿勢が変動しないモデルを背景とし、位置や姿勢が頻繁に変化する対象を前景モデルとして切り出して学習する、上記（１）に記載の情報入力装置。
（８）前記ユーザー認識器は、前記観測装置による撮像画像から人の検出又は顔検出した領域と対応付けられた前景モデルをユーザーとして検出する、上記（１）に記載の情報入力装置。
（９）前記ユーザー認識器は、あらかじめ手先部位のラベリングをした上で準備された標準的な人体の３次元モデルとの間でグラフ・マッチングを行ない、ラベル付けされたノードと対応する部位の前景に着目して手先部位を識別する、上記（１）に記載の情報入力装置。
（１０）前記ユーザー認識器は、識別した手先部位について、手の形状毎にあらかじめ準備された標準的な手の３次元モデルとの間で形状の識別を行なう、上記（１）に記載の情報入力装置。
（１１）前記ユーザー認識器は、ユーザー毎に別々の標準的な手の３次元モデルを用意し、前記観測データに基づいて特定されたユーザーに応じて標準的な手の３次元モデルを切り替える、上記（１０）に記載の情報入力装置。
（１２）前記機器制御器は、識別した手の形状と手の位置及び姿勢に従って制御対象機器を特定し、続いて、識別した手の状態又は状態の変化に応じた制御コマンドを前記制御対象機器に対して発行する、上記（１）に記載の情報入力装置。
（１３）前記機器制御器は、手の形状と制御コマンドとの種別の対応を定義した制御コマンド対応テーブルを参照して、識別した手の状態又は状態の変化に対応するユーザーからの制御コマンドを特定する、上記（１２）に記載の情報入力装置。
（１４）前記機器制御器は、制御対象機器毎に定義された制御コマンド対応テーブルを使用する、上記（１３）に記載の情報入力装置。
（１５）前記機器制御器は、ユーザーが人差し指を立てた状態で指し示す行動を行なった場合には、指先の延長線上にある前景モデルを制御対象機器として認識する、上記（１）に記載の情報入力装置。
（１６）前記機器制御器は、ユーザーの左右それぞれの手の状態又は状態の変化の組合せに対応する制御コマンドを特定する、上記（１）に記載の情報入力装置。
（１７）前記機器制御器は、制御対象機器としてディスプレイを認識したときに、認識した手先の位置と姿勢の変化に基づいて、制御コマンドとしてディスプレイの画面上のカーソル操作を出力する、上記（１）に記載の情報入力装置。
（１８）前記機器制御器は、指さし動作の開始位置からの遷移量に基づいて、前記画面上のカーソル位置の３次元移動速度を指定する、上記（１７）に記載の情報入力装置。
（１９）前記機器制御器は、認識したユーザーの両手の指先の直線上の交点を求め、前記交点に基づいて前記画面上の３次元ユーザー・インターフェースに対して奥行きを指定する、上記（１７）に記載の情報入力装置。
（２０）前記機器制御器は、認識したユーザーの指さし形状の手先の姿勢と環境中の物体の交点に基づいて、制御対象機器並びに前記制御対象機器に対する指示を認識する、上記（１）１に記載の情報入力装置。
（２１）前記機器制御機器は、認識したユーザーの片方の手先の姿勢と環境中の物体の交点に基づいて制御対象機器を認識するとともに、認識したユーザーの他方の手先の形状又は位置及び姿勢の変化に基づいて前記制御対象機器への指示を認識して制御コマンドを出力する、上記（１）に記載の情報入力装置。
（２２）ユーザーと１以上の制御対象機器を含む環境を観測する観測ステップと、前記観測ステップで取得した観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習ステップと、モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定ステップと、前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識ステップと、前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御ステップと、を有する情報入力方法。
（２３）ユーザーと１以上の制御対象機器を含む環境を観測するセンサーを有する観測装置、前記観測装置による観測データを基に、ユーザーと制御対象機器を含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習する学習器、モデル化された前景モデルの前記環境内での位置及び姿勢を推定する状態推定器、前景の中からユーザーの手先を識別し、手先の形状、位置、姿勢を認識するユーザー認識器、前記ユーザー認識器の認識結果に基づいて制御対象機器に対する制御コマンドを出力する機器制御器、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特開２００８−２２４５８４号公報
【特許文献２】特開２００９−３０１５６４号公報
【特許文献３】特開２０１０−７９３３２号公報
【特許文献４】特開２０１０−１５５５３号公報
【特許文献５】特開２０１２−３３６４号公報
【特許文献６】特開２００５−１５７６７９号公報
【非特許文献】
【００８３】
【非特許文献１】ｈｔｔｐ：／／ｗｗｗ．ｓｏｆｔｋｉｎｅｔｉｃ．ｃｏｍ／Ｓｏｌｕｔｉｏｎｓ／ＤｅｐｔｈＳｅｎｓｅｃａｍeｒａｓ．ａｓｐｘ（平成２４年３月１９日現在）
【非特許文献２】Ｓｈａｈｒａｍ  Ｉｚａｄｉ，ｅｔ  ａｌ．，“ＫｉｎｅｃｔＦｕｓｉｏｎ：Ｒｅａｌ−ｔｉｍｅ  ３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  Ｉｎｔｅｒａｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｍｏｖｉｎｇ  Ｄｅｐｔｈ  Ｃａｍｅｒａ”（ＡＣＭ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ  Ｓｏｆｔｗａｒｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ，２０１１）
【非特許文献３】Ｒｉｃｈａｒｄ  Ａ．  Ｎｅｗｃｏｍｂｅ，  ｅｔ  ａｌ．，“ＤＴＡＭ：Ｄｅｎｓｅ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ  ｉｎ  Ｒｅａｌ−Ｔｉｍｅ”（ＩＣＣＶ，２０１１）
【非特許文献４】三井相和、山内悠嗣、藤吉弘亘共著「Ｊｏｉｎｔ  ＨＯＧ特徴を用いた２段階ＡｄａＢｏｏｓｔによる人検出」（第１４回画像センシングシンポジウム  ＳＳＩＩ０８，２００８）
【非特許文献５】Ｓｕｎｄａｒ，Ｈ．，ｅｔ  ａｌ．，“Ｓｋｅｌｅｔｏｎ  Ｂａｓｅｄ  Ｓｈａｐｅ  Ｍａｔｃｈｉｎｇ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ”（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｈａｐｅ  Ｍｏｄｅｌｉｎｇ  Ｉｎｔｅｒｎａｔｉｏｎａｌ，２００３）
【非特許文献６】Ｒｏｂｅｒｔ  Ｏｓａｄａ  ｅｔ  ａｌ．，“Ｓｈａｐｅ  ｄｉｓｔｒｉｂｕｔｉｏｎｓ”（ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ  （ＴＯＧ），２００２）
【産業上の利用可能性】
【００８４】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００８５】
本明細書で開示する技術によれば、パーソナル・コンピューターや、テレビ、音楽再生プレイヤー、照明などの家電製品など、さまざまな機器を制御対象として、手先のジェスチャーによる操作を実現することができる。
【００８６】
本明細書では、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００８７】
１００…情報入力装置
１０１…観測装置
１０２…学習器、１０２Ａ…前景モデル保存部、１０２Ｂ…背景モデル保存部
１０３…状態推定器
１０４…ユーザー認識器
１０４Ａ…人体モデル、１０４Ｂ…手モデル
１０５…機器制御器
１０６…制御対象機器
１０７…制御コマンド対応テーブル
【図１】
2013205983.tif 000003
【図６】
2013205983.tif 000004
【図２】
2013205983.tif 000005
【図３】
2013205983.tif 000006
【図４】
2013205983.tif 000007
【図５】
2013205983.tif 000008
【図７】
2013205983.tif 000009
【図８】
2013205983.tif 000010
【図９】
2013205983.tif 000011
【図１０】
2013205983.tif 000012
【図１１】
2013205983.tif 000013
【図１２】
2013205983.tif 000014