(57)【要約】【課題】認識物体を高速かつロバストに認識する。【解決手段】認識部は、入力画像から認識物体を認識し、学習部は、時系列で変化するスコアを有する特徴量を用いて、フレーム毎の認識物体の特徴量を学習する。そして、認識部は、学習部の学習結果として得られた前フレームの特徴量に基づいて、現フレームの認識物体を認識する。本技術は、例えばパーソナルコンピュータ等の情報処理装置に適用することができる。【選択図】図１
2013152595.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から認識物体を認識する認識部と、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部と
を備え、
前記認識部は、前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
情報処理装置。
【請求項２】
時系列で状態が変化する前記認識物体を含む学習用画像から、フレーム毎の前記認識物体の前記特徴量を事前に学習する事前学習部と、
前記事前学習部の学習結果として得られたフレーム毎の前記特徴量の前記スコアを事前に計算する計算部をさらに備え、
前記学習部は、前記計算部により事前に計算された前記スコアに応じた前記特徴量を用いて、前記入力画像のフレーム毎の前記認識物体の前記特徴量を学習する
請求項１に記載の情報処理装置。
【請求項３】
前記計算部により事前に計算された前記スコアを有する現フレームに対応する前記特徴量から、所定の閾値より高いスコアを有する前記特徴量を選択する選択部をさらに備え、
前記学習部は、前記選択部により選択された前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習する
請求項２に記載の情報処理装置。
【請求項４】
前記学習部の学習結果として得られた前記特徴量を記憶する記憶部と、
前記記憶部に記憶されている前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新する更新部をさらに備え、
前記認識部は、前記更新部により更新された前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
請求項３に記載の情報処理装置。
【請求項５】
前記選択部は、前記記憶部に記憶されている前フレームの前記特徴量から、他の閾値より低いスコアを有する前記特徴量を選択し、
前記学習部は、前記選択部により選択された前記特徴量を除いた前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習する
請求項４に記載の情報処理装置。
【請求項６】
前記更新部は、前記事前学習部の学習結果として得られた前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新する
請求項４に記載の情報処理装置。
【請求項７】
入力画像から認識物体を認識する認識部と、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部とを備える情報処理装置の情報処理方法であって、
前記情報処理装置が、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習し、
前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
ステップを含む情報処理方法。
【請求項８】
入力画像から認識物体を認識する認識ステップと、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習ステップと
を含む処理をコンピュータに実行させ、
前記認識ステップは、前記学習ステップの学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、並びにプログラムに関し、特に、認識物体を高速かつロバストに認識することができるようにする情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ジェスチャコントロールや自動監視システム等を実現するため、物体を追跡する様々な手法が提案されている。
【０００３】
例えば、米国マサチューセッツ工科大学（MIT）の「SixthSense」や、米国Microsoft社の「Kinect」（商標）のように、色や深度等の特徴量を用いて、手や体等の形状やテクスチャが変化する物体追跡の実用例が存在する。
【０００４】
手ジェスチャを認識する技術としては、まず、手のみが撮像されている画像を用いるか、または、画像内における手の位置が指定されることにより、手のみが含まれている画像が抽出され、抽出されたその画像について、肌色情報、動き検出、およびパターンマッチングと言った手法により手ジェスチャを認識するものが提案されている（特許文献１参照）。
【０００５】
また、複数の手の形状等、姿勢やジェスチャを複数の辞書として事前学習により定義し、認識の際に、認識物体の状態や時系列変化に応じて、複数の辞書を切り替えて用いたり、同時に用いる手法も提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３３３６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のような技術では、様々な状態の認識物体を事前学習する必要がある上に、事前学習したときの状態と同じ状態の認識物体しか認識できなかった。
【０００８】
すなわち、認識物体としての手の形状や色が大きく変化した場合には、認識性能に影響が出てしまい、また、認識物体の変化に対応できるように多数の辞書を定義しても、全ての状態空間（特徴量空間）を含めることには限界があった。
【０００９】
特に、オンラインで、変化のある認識物体を認識する場合には、認識物体の様々な状態や時系列変化を事前学習した上で、認識物体を高速かつロバストに認識する必要があった。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、認識物体を高速かつロバストに認識することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の情報処理装置は、入力画像から認識物体を認識する認識部と、時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部とを備え、前記認識部は、前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する。
【００１２】
前記情報処理装置には、時系列で状態が変化する前記認識物体を含む学習用画像から、フレーム毎の前記認識物体の前記特徴量を事前に学習する事前学習部と、前記事前学習部の学習結果として得られたフレーム毎の前記特徴量の前記スコアを事前に計算する計算部をさらに設け、前記学習部には、前記計算部により事前に計算された前記スコアに応じた前記特徴量を用いて、前記入力画像のフレーム毎の前記認識物体の前記特徴量を学習させることができる。
【００１３】
前記情報処理装置には、前記計算部により事前に計算された前記スコアを有する現フレームに対応する前記特徴量から、所定の閾値より高いスコアを有する前記特徴量を選択する選択部をさらに設け、前記学習部には、前記選択部により選択された前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習させることができる。
【００１４】
前記情報処理装置には、前記学習部の学習結果として得られた前記特徴量を記憶する記憶部と、前記記憶部に記憶されている前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新する更新部をさらに設け、前記認識部には、前記更新部により更新された前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識させることができる。
【００１５】
前記選択部には、前記記憶部に記憶されている前フレームの前記特徴量から、他の閾値より低いスコアを有する前記特徴量を選択させ、前記学習部は、前記選択部により選択された前記特徴量を除いた前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習させることができる。
【００１６】
前記更新部には、前記事前学習部の学習結果として得られた前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新させることができる。
【００１７】
本技術の一側面の情報処理方法は、入力画像から認識物体を認識する認識部と、時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部とを備える情報処理装置の情報処理方法であって、前記情報処理装置が、時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習し、前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識するステップを含む。
【００１８】
本技術の一側面のプログラムは、入力画像から認識物体を認識する認識ステップと、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習ステップとを含む処理をコンピュータに実行させ、前記認識ステップは、前記学習ステップの学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する。
【００１９】
本技術の一側面においては、時系列で変化するスコアを有する特徴量を用いて、フレーム毎の認識物体の特徴量が学習され、学習部の学習結果として得られた前フレームの特徴量に基づいて、現フレームの認識物体が認識される。
【発明の効果】
【００２０】
本技術の一側面によれば、認識物体を高速かつロバストに認識することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本技術を適用した情報処理装置の一実施の形態の構成を示すブロック図である。
【図２】本技術を適用したパーソナルコンピュータの一実施の形態の構成を示すブロック図である。
【図３】オフライン学習処理について説明するフローチャートである。
【図４】特徴量のスコアの時系列変化を示す図である。
【図５】物体追跡処理について説明するフローチャートである。
【図６】物体認識処理について説明するフローチャートである。
【図７】学習処理について説明するフローチャートである。
【図８】スコアに応じた特徴量の入れ替えについて説明する図である。
【発明を実施するための形態】
【００２２】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．情報処理装置の構成
２．パーソナルコンピュータの構成
３．オフライン学習処理
４．物体追跡処理
５．物体認識処理
６．学習処理
７．その他
【００２３】
＜１．情報処理装置の構成＞
本技術を適用した情報処理装置の一実施の形態の構成を示すブロック図である。
【００２４】
図１の情報処理装置１は、入力画像から認識対象である認識物体を認識し、その認識結果を出力する。情報処理装置１は、オフライン処理部２とオンライン処理部３とから構成されている。オフライン処理部２は、予め用意された学習用データを基に、認識物体の情報を事前に学習（オフライン学習）し、その学習結果をオンライン処理部３に供給する。オンライン処理部３は、オフライン処理部２からの学習結果を基に、入力画像から認識物体を認識するとともに、認識対象の情報を学習（オンライン学習）する。
【００２５】
オフライン処理部２は、学習用データ保存部１１および学習処理部１２を備え、オンライン処理部３は、オフライン辞書保存部１３、入力部１４、認識部１５、および学習処理部１６を備えている。
【００２６】
学習用データ保存部１１には、認識物体の情報の学習のために事前に収集された学習用データが保存されている。学習用データは、認識物体を含む動画像（以下、学習用画像ともいう）である。
【００２７】
学習処理部１２は、学習用データ保存部１１に保存されている学習用画像から、フレーム毎の認識物体の情報として、認識物体の特徴量を事前に学習（オフライン学習）し、その学習結果をオフライン辞書保存部１３に供給する。
【００２８】
また、学習処理部１２は、学習部２１および計算部２２を備えている。学習部２１は、フレーム毎の認識物体の特徴量を事前に学習し、計算部２２は、フレーム毎の認識物体の特徴量のスコアを計算する。スコアは、その特徴量によっていかに認識物体が認識できるかの度合を表すパラメータであり、スコアの高い特徴量ほど、認識物体を精度よく認識するのに適した（良い）特徴量となる。
【００２９】
オフライン辞書保存部１３には、学習処理部１２からの学習結果が、辞書（オフライン辞書）として保存される。辞書は、認識物体の形状や状態の変化のパターン毎に与えられる認識器であり、学習結果としての特徴量やそのスコアを含むパラメータを有している。
【００３０】
入力部１４は、カメラ等により被写体を撮像することにより取得された動画像を入力し、その動画像（入力画像）を認識部１５に出力する。なお、入力部１４は、それ自体が被写体を撮像するカメラであってもよい。また、カメラは、撮影方向が固定の固定カメラであるものとする。
【００３１】
認識部１５は、入力画像からフレーム毎に認識物体を認識し、その認識結果を学習処理部１６に供給する。
【００３２】
学習処理部１６は、オフライン辞書保存部１３に保存されている辞書を用いて、認識部１５からの認識結果に基づいて、入力画像における認識物体の特徴量を学習（オンライン学習）する。
【００３３】
また、学習処理部１６は、選択部２３、学習部２４、記憶部２５、および更新部２６を備えている。選択部２３は、オフライン辞書保存部１３の辞書に含まれる特徴量をそのスコアに応じて選択する。スコアの詳細は後述する。学習部２４は、選択部２３により選択された特徴量を用いて、認識物体の特徴量を学習する。記憶部２５は、学習部２４の学習結果を辞書（オンライン辞書）として記憶する。更新部２６は、記憶部２５に記憶されているオンライン辞書を、学習部２４の学習結果に応じて更新する。
【００３４】
また、この情報処理装置１は、図２に示されるような、ソフトウェアを実行することで所定の機能を実現するパーソナルコンピュータ３１により構成することもできる。
【００３５】
＜２．パーソナルコンピュータの構成＞
図２は、本技術を適用したパーソナルコンピュータの一実施の形態の構成を示すブロック図である。
【００３６】
情報処理装置としてのパーソナルコンピュータ３１は、バス４１、CPU（Central Processing Unit）４２、ROM（Read Only Memory）４３、RAM（Random Access Memory）４４、入力部４５、出力部４６、記憶部４７、通信部４８、ドライブ４９、およびリムーバブルメディア５０から構成されている。
【００３７】
バス４１は、CPU４２、ROM４３、RAM４４、入力部４５、出力部４６、記憶部４７、通信部４８、ドライブ４９をそれぞれ相互に接続する。
【００３８】
CPU４２は、パーソナルコンピュータ３１の各種の動作を制御することで、図１の情報処理装置１の各種の機能を実現する。
【００３９】
ROM４３は、パーソナルコンピュータ３１において実行される各種の処理プログラムや処理に必要なデータなどを記録する。RAM４４は、各種の処理において得られたデータを一時的に記録保持するなどのように、各種の処理の作業領域として用いられる。
【００４０】
入力部４５は、キーボード、マウス、マイクロフォンなどよりなる。出力部４６は、ディスプレイ、スピーカなどよりなる。記憶部４７は、ハードディスクや不揮発性のメモリなどよりなる。
【００４１】
通信部４８は、ネットワークインタフェースなどよりなる。ドライブ４９は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５０を駆動する。
【００４２】
以上のように構成されるパーソナルコンピュータ３１においては、CPU４２が、例えば、ROM４３や記憶部４７に記憶されているプログラムを、バス４１を介して、RAM４４にロードして実行することにより、各種の処理が行われる。
【００４３】
CPU４２が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５０に記録して提供される。
【００４４】
なお、パッケージメディアとしては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）等）、光磁気ディスク、もしくは半導体メモリなどが用いられる。
【００４５】
また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００４６】
パーソナルコンピュータ３１においては、プログラムは、リムーバブルメディア５０をドライブ４９に装着することにより、バス４１を介して、記憶部４７にインストールすることができる。
【００４７】
また、プログラムは、有線または無線の伝送媒体を介して、通信部４８で受信し、記憶部４７にインストールすることができる。その他、プログラムは、ROM４３や記憶部４７に、あらかじめインストールしておくことができる。
【００４８】
なお、パーソナルコンピュータ３１が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われる処理であっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００４９】
＜３．オフライン学習処理＞
次に、図３のフローチャートを参照して、情報処理装置１のオフライン処理部２によるオフライン学習処理について説明する。
【００５０】
ステップＳ１１において、学習処理部１２は、学習用データ保存部１１に保存されている学習用画像を取得する。学習用画像は、時系列で形状や状態が変化する認識物体を含む動画像である。ここでは、認識物体は、手であるものとし、学習用画像は、時系列でその形状が変化する手を含む動画像であるものとする。具体的には、例えば、パーの形状から物を払うジェスチャをする手を複数人について複数回撮像した動画像が、学習用画像として用意される。
【００５１】
ステップＳ１２において、学習処理部１２の学習部２１は、学習用データ保存部１１から取得した学習用画像から、認識対象の時系列状態を学習する。具体的には、学習部２１は、学習用画像から、認識物体の特徴量の時系列変化を学習する。ここでの学習においては、認識物体の位置および（あるいは）大きさに応じた情報を含むラベル情報に基づいてクラスタリングや補間等を行うようにしてもよいし、HMM(Hidden Markov Model)等のモデリング手法を用いるようにしてもよい。
【００５２】
ステップＳ１３において、学習処理部１２は、学習部２１の学習結果を用いて、時系列で学習用画像を正規化する。
【００５３】
ステップＳ１４において、学習処理部１２の計算部２２は、正規化された学習用画像を用いて、フレーム毎に特徴量のスコアを計算する。
【００５４】
図４は、特徴量のスコアの時系列変化の例を示している。
【００５５】
図４においては、ｎ個の特徴量f1，f2，・・・，fnのうち、特徴量f1，f2，fnのスコアの時刻ｔに対する変化、すなわちフレーム毎の変化が示されている。
【００５６】
図４に示されるように、特徴量f1のスコアは、特徴量f2，fnのスコアよりも常に高い。すなわち、特徴量f1は、特徴量f2，fnと比べて学習用画像における手形状変化を認識するのに好適であるということができる。
【００５７】
ステップＳ１５において、学習処理部１２は、学習結果として得られたフレーム毎の認識物体の特徴量とそのスコアを、オフライン辞書保存部１３に供給し、オフライン辞書（オフライン認識器）として保存する。
【００５８】
このようにして、学習用画像を用いて、認識物体についてのオフライン学習が行われる。
【００５９】
なお、本実施の形態では、オフライン学習の学習結果を用いて、オンライン学習が行われるが、オンライン学習においても、オフライン学習で学習した手形状変化と同一の手形状変化を学習する。
【００６０】
ここで、従来の学習においては、特徴量の学習（パラメータ調整）とスコアの計算（評価）とは、同フレームについて行われるのが一般的であったが、本実施の形態のオフライン学習においては、後述するオンライン学習の特徴を考慮して、現在注目している現フレームにおいて特徴量の学習を行い、現フレームより時間的に後の次フレームにおいてその特徴量のスコアを計算するものとする。
【００６１】
なお、以上においては、オフライン学習は、特徴量毎に行われるものとしたが、複数の特徴量の組み合わせである特徴量組毎に行われるようにしてもよい。
【００６２】
＜４．物体追跡処理＞
次に、図５のフローチャートを参照して、情報処理装置１のオンライン処理部３による物体追跡処理について説明する。物体追跡処理においては、オフライン学習処理で学習した認識物体の形状や状態の変化のパターンと同様の変化をする認識物体の追跡が行われる。具体的には、例えば、物体追跡処理においては、入力画像において、パーの形状から物を払うジェスチャをする手の追跡が行われる。
【００６３】
ステップＳ３１において、入力部１４は、認識物体を設定する。ここでは、認識物体である手の形状変化の初期状態である、パーの形状の手が設定される。
【００６４】
ステップＳ３２において、入力部１４は、画像を取得する。すなわち、被写体を撮像して得られた入力画像が取得される。
【００６５】
ステップＳ３３において、入力部１４は、認識物体を検出する。すなわち、ステップＳ３１の処理で設定されたパーの形状の手が、ステップＳ３２の処理により取得された入力画像から検出される。ここでの認識物体の検出は、ユーザの操作に応じて行われるようにしてもよいし、入力部１４が物体検出手法を用いて行うようにしてもよい。
【００６６】
ステップＳ３４において、認識部１５は、入力部１４からの入力画像（フレーム）について、手形状の確率や手の色パターンを計算することで、物体認識処理を施す。この物体認識処理には、例えば特開２０１０−１０８４７５号公報のような、Steerable Filterの応答を特徴量としてBoostingを用いて認識器を構成する技術を用いることができる。また、SSD（Sum of Squared Difference）や、カラーヒストグラムのテンプレートマッチング手法等を用いるようにしてもよい。
【００６７】
＜５．物体認識処理の詳細＞
ここで、図６のフローチャートを参照して、図５のフローチャートのステップＳ３４における物体認識処理の詳細について説明する。
【００６８】
ステップＳ５１において、認識部１５は、学習処理部１６の記憶部２５から、前フレームについてのオンライン学習の学習結果であるオンライン辞書を取得する。なお、入力画像のフレームが１フレーム目の場合、認識部１５は、オフライン辞書保存部１３から、１フレーム目に対応するフレームについてのオフライン学習の学習結果（オフライン辞書）を取得する。
【００６９】
ステップＳ５２において、認識部１５は、取得した辞書に基づいて、特徴量のスコアを計算することで認識物体を認識する。
【００７０】
ステップＳ５３において、認識部１５は、計算した特徴量のスコアを基に認識結果を生成し、図５のステップＳ３４の処理に戻る。
【００７１】
図５のフローチャートに戻り、ステップＳ３５において、学習処理部１６は、認識部１５により生成された認識結果を用いて、認識物体の学習処理を実行する。
【００７２】
＜６．学習処理の詳細＞
ここで、図７のフローチャートを参照して、図５のフローチャートのステップＳ３５における学習処理の詳細について説明する。
【００７３】
ステップＳ７１において、学習処理部１６の選択部２３は、認識部１５により生成された認識結果を取得する。
【００７４】
ステップＳ７２において、選択部２３は、記憶部２５に記憶されている、現フレームより時間的に前の前フレームのオンライン辞書（前フレームについてのオンライン学習結果）において、スコアが第１の閾値より低い特徴量を選択する。なお、現フレームが入力画像の１フレーム目である場合、ステップＳ７２の処理はスキップされる。
【００７５】
ステップＳ７３において、選択部２３は、オフライン辞書保存部１３に保存されているオフライン辞書（オフライン学習結果）において、現フレームに対応する特徴量のうち、スコアが第２の閾値より高い特徴量を選択する。
【００７６】
ここで、前フレームのオンライン学習結果において、ステップＳ７２で選択された特徴量を除き、ステップＳ７３で選択された特徴量を加えた特徴量を、学習用特徴量という。
【００７７】
なお、ステップＳ７２で選択された特徴量と、ステップＳ７３で選択された特徴量とを入れ替えることで、学習用特徴量を得るようにしてもよい。
【００７８】
具体的には、図８上段に示される、オフライン学習結果としての時系列変化する特徴量のスコアにおいて、現フレームに対応する時刻Ｔでのスコアが高い特徴量f1，f2を、図８中段に示される、前フレームのオンライン学習結果においてスコアが低い特徴量fy，fzと入れ替えるようにしてもよい。この結果、図８下段に示される、特徴量f1，f2を含み、特徴量fy，fzが除かれた学習用特徴量が得られるようになる。
【００７９】
ステップＳ７４において、学習部２４は、選択部２３による選択の結果得られた学習用特徴量を用いて、認識物体の特徴量を学習する。学習は、オンラインブースティングの手法等を用いて実行される。オンラインブースティングの手法については、例えば次の文献に開示されている。
Helmut Grabner and Horst Bischof, "On-line Boosting and Vision", In Proceedings IEEE Conference on Computer Vision and Pattern Recognition (CVPR), volume 1, pages 260-267, 2006
【００８０】
ステップＳ７５において、更新部２６は、学習部２４の学習結果により、記憶部２５に記憶されているオンライン辞書を更新し、処理は図５のステップＳ３５に戻る。
【００８１】
図５のフローチャートに戻り、ステップＳ３６において、更新部２６は、学習部２４の学習結果により、オフライン辞書保存部１３に保存されているオフライン学習結果を更新する。これにより、特定の認識物体に対する認識性能の向上を図ることができる。なお、ステップＳ３６の処理は、必要に応じて実行されなくともよい。
【００８２】
ステップＳ３７において、認識部１５は、例えば、図示せぬ表示装置に、認識結果を出力する。すなわち、ステップＳ３４の処理により生成された認識結果が、図示せぬ表示装置に表示される。具体的には、表示装置により表示されている入力画像において、認識された手を囲むような枠が表示される。
【００８３】
これにより、ユーザは、認識物体としての手の追跡を確認することができる。
【００８４】
なお、図５のステップＳ３５，Ｓ３６の処理とステップＳ３７の処理は、並列に実行することができる。すなわち、ステップＳ３５，Ｓ３６の処理が終了するより前に、ステップＳ３７の処理が実行されるようにしてもよい。
【００８５】
ステップＳ３８において、入力部１４は、画像を取得する。すなわち、新たな入力画像のフレームが取得される。
【００８６】
なお、新たに取得される画像は、過去に取得された画像の次のフレームの画像でもよいし、過去に取得された画像から所定のフレーム数だけ後の画像でもよい。
【００８７】
すなわち、新たな画像は、１フレーム毎に取得されてもよいし、所定のフレーム数ごとに取得されてもよい。
【００８８】
ステップＳ３８の処理の後、処理はステップＳ３４に戻り、それ以降の処理が繰り返される。
【００８９】
なお、以上においては、認識物体はユーザの体の一部である手であるものとしたが、手以外の体の一部や体全体、ユーザの体以外の物体等、時系列で形状や状態が変化するものであればよい。
【００９０】
以上の処理によれば、次のような効果を実現することができる。
（１）全特徴量空間についてオンライン学習を行うことは困難であるが、認識物体の事前知識を用いた学習（オフライン学習）を行うことで、形状や見えが大きく変化する認識物体を高速かつロバストに認識することができる。
（２）オフライン学習では、認識物体についての特徴量毎の良さ、または、複数の特徴量の組み合わせである特徴量組の良さであるスコアを、時間的な分布を用いて評価することができる。
（３）オンライン学習では、オフライン学習の学習結果に基づいて、学習に好適な特徴量が選択されて計算されるので高速に学習を行うことができ、また、認識対象に特化した特徴量が用いられるのでロバストに学習を行うことができる。
（４）オンライン学習の学習結果がオフライン学習結果（オフライン辞書）にフィードバックされるので、特定の認識物体についての辞書、すなわち、個人化された辞書を生成することができる。
（５）形状や見えが大きく変化する認識物体を高速かつロバストに認識することができるので、ジェスチャ認識におけるアプリケーションへの応用が容易となる。
【００９１】
本技術は、例えばテレビジョン受像器、パーソナルコンピュータなどの情報処理装置をジェスチャで遠隔操作する場合などに適用することができる。
＜７．その他＞
【００９２】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００９４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００９５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【００９６】
また、本技術は以下のような構成をとることができる。
（１）  入力画像から認識物体を認識する認識部と、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部と
を備え、
前記認識部は、前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
情報処理装置。
（２）  時系列で状態が変化する前記認識物体を含む学習用画像から、フレーム毎の前記認識物体の前記特徴量を事前に学習する事前学習部と、
前記事前学習部の学習結果として得られたフレーム毎の前記特徴量の前記スコアを事前に計算する計算部をさらに備え、
前記学習部は、前記計算部により事前に計算された前記スコアに応じた前記特徴量を用いて、前記入力画像のフレーム毎の前記認識物体の前記特徴量を学習する
（１）に記載の情報処理装置。
（３）  前記計算部により事前に計算された前記スコアを有する現フレームに対応する前記特徴量から、所定の閾値より高いスコアを有する前記特徴量を選択する選択部をさらに備え、
前記学習部は、前記選択部により選択された前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習する
（２）に記載の情報処理装置。
（４）  前記学習部の学習結果として得られた前記特徴量を記憶する記憶部と、
前記記憶部に記憶されている前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新する更新部をさらに備え、
前記認識部は、前記更新部により更新された前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
（１）乃至（３）のいずれかに記載の情報処理装置。
（５）  前記選択部は、前記記憶部に記憶されている前フレームの前記特徴量から、他の閾値より低いスコアを有する前記特徴量を選択し、
前記学習部は、前記選択部により選択された前記特徴量を除いた前記特徴量を用いて、現フレームの前記認識物体の前記特徴量を学習する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記更新部は、前記事前学習部の学習結果として得られた前記特徴量を、前記学習部の学習結果に応じてフレーム毎に更新する
（４）または（５）に記載の情報処理装置。
（７）  入力画像から認識物体を認識する認識部と、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習部とを備える情報処理装置の情報処理方法であって、
前記情報処理装置が、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習し、
前記学習部の学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
ステップを含む情報処理方法。
（８）  入力画像から認識物体を認識する認識ステップと、
時系列で変化するスコアを有する特徴量を用いて、フレーム毎の前記認識物体の前記特徴量を学習する学習ステップと
を含む処理をコンピュータに実行させ、
前記認識ステップは、前記学習ステップの学習結果として得られた前フレームの前記特徴量に基づいて、現フレームの前記認識物体を認識する
プログラム。
【符号の説明】
【００９７】
１  情報処理装置，  ２  オフライン処理部，  ３  オンライン処理部，  １１  学習用データ保存部，  １２  学習処理部，  １３  オフライン辞書保存部，  １４  入力部，  １５  認識部，  １６  学習処理部，  ２１  学習部，  ２２  計算部，  ２３  選択部，  ２４  学習部，  ２５  記憶部，  ２６  更新部
【図１】
2013152595.tif 000003
【図２】
2013152595.tif 000004
【図３】
2013152595.tif 000005
【図４】
2013152595.tif 000006
【図５】
2013152595.tif 000007
【図６】
2013152595.tif 000008
【図７】
2013152595.tif 000009
【図８】
2013152595.tif 000010