(57)【要約】【課題】  認識対象モデル固有の状態を反映した最尤経路探索を維持し誤検出を抑制した上で、突発性雑音の混入に対する頑健性の向上を実現する。【解決手段】  ジェスチャデータ特徴量抽出部２０２は、ジェスチャデータの特徴量を抽出する、非ジェスチャデータ特徴量抽出部２０４は、非ジェスチャデータの特徴量を抽出する。ジェスチャモデル学習部２０５は、前記抽出されたジェスチャデータの特徴量に基づいて、ジェスチャデータの確率モデル（ジェスチャモデル）を学習し、非ジェスチャモデル学習部２０６は、前記抽出された非ジェスチャデータの特徴量に基づいて、非ジェスチャデータの確率モデル（非ジェスチャモデル）を学習する。状態追加部２０７は、ジェスチャモデルの状態に対し、相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で、非ジェスチャモデルの状態を追加する。【選択図】  図２
2014081743.tif 000002
【特許請求の範囲】
【請求項１】
認識対象データの特徴量を抽出する第１の特徴量抽出手段と、
認識対象外データの特徴量を抽出する第２の特徴量抽出手段と、
前記抽出された認識対象データの特徴量に基づいて、認識対象データの確率モデルである認識対象モデルを学習する認識対象モデル学習手段と、
前記抽出された認識対象外データの特徴量に基づいて、認識対象外データの確率モデルである認識対象外モデルを学習する認識対象外モデル学習手段と、
前記認識対象モデルの状態に対し、相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で、前記認識対象外モデルの状態を追加する状態追加手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記状態追加手段で追加した認識対象モデルの状態を共有する状態共有手段と、
前記状態共有手段より出力された認識対象モデルを前記認識対象データの特徴量に基づき再学習する再学習手段と、
更に有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記状態追加手段は、前記認識対象モデルの状態に対し、突発性雑音の発生確率に応じて、相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で、前記認識対象外モデルの状態を追加することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記状態追加手段は、前記認識対象モデルの状態に対し、突発性雑音の発生時間に応じて、相互遷移のみ可能な条件又は相互遷移と自己遷移のみ可能な条件で、前記認識対象外モデルの状態を追加することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
第１の特徴量抽出手段が、認識対象データの特徴量を抽出するステップと、
第２の特徴量抽出手段が、認識対象外データの特徴量を抽出するステップと、
認識対象モデル学習手段が、前記抽出された認識対象データの特徴量に基づいて、認識対象データの確率モデルである認識対象モデルを学習するステップと、
認識対象外モデル学習手段が、前記抽出された認識対象外データの特徴量に基づいて、認識対象外データの確率モデルである認識対象外モデルを学習するステップと、
状態追加手段が、前記認識対象モデルの状態に対し、相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で、前記認識対象外モデルの状態を追加するステップと、
を有することを特徴とする情報処理方法。
【請求項６】
入力したデータの特徴量を抽出する抽出手段と、
前記抽出された特徴量とパターン認識用の確率モデルとのマッチングを行い、尤度が最大となるパターンを認識結果として出力する認識手段と、
を有し、
前記認識手段は、前記パターン認識用の確率モデルとして、請求項１乃至４のいずれか１項に記載の情報処理装置によって作成された、認識対象モデルの状態に対し相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で認識対象外モデルの状態が追加された確率モデルを用いることを特徴とするパターン認識装置。
【請求項７】
コンピュータを、請求項１乃至４のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識の技術に関する。
【背景技術】
【０００２】
一般に、音声やジェスチャ等の時系列データ認識では、入力されたデータの特徴量と予め学習された認識用モデルとのマッチングをとり、最も類似度の高いモデルを認識結果とする。特徴量については、音声であればMFCC（Mel Frequency Cepstrum Coefficient）が、ジェスチャであれば体の部位の座標情報等が一般的に用いられる。また、認識用モデルについては、隠れマルコフモデル（Hidden Markov Model：HMM）が一般的に用いられる。HMMは特徴量の出力分布を有する状態と、各状態間の遷移確率をパラメータとして有するモデルであり、時間方向の伸縮への柔軟な対応が可能であるため、時系列データのモデルとして適している。なお、特徴量の出力分布には混合ガウス分布が用いられることが多く、各状態は各ガウス分布の平均、分散、混合重みをパラメータとして有する。入力特徴量とモデルのマッチングにおいてはフレーム毎に各状態に停留する尤度を計算し、その加算結果が最も高くなる経路を最尤経路として求め、モデルの尤度を算出する。この尤度が最も高くなるモデルが認識結果として出力される。
【０００３】
時系列データ認識を行う際には、入力されたデータにセンサの特性やセンサ設置環境に由来する突発性雑音が混入する場合がある。また、入力データから特徴量抽出処理において、誤った特徴量が突発的に抽出されてしまう場合がある。このように、入力されたデータの特徴量中に突発性雑音が混入すると、モデルとのマッチングにおいて対象モデルに対する最尤経路の尤度が小さくなり正しく認識されないという問題がある。
【０００４】
突発性雑音に対する頑健性を向上する方法として、特許文献１では、フレーム毎に音声HMMと雑音GMM（Gaussian Mixture Model）の両方の状態について尤度を計算し、より大きい方の尤度を選択して最尤経路探索に用いる。これにより、突発性雑音の混入したフレームにおいて雑音GMMの尤度を選択した尤度計算が可能となり、尤度の低下が抑制され、突発性雑音の混入に対する頑健性を向上することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０９１８６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１においては、入力特徴量と認識用モデルのマッチング（最尤経路探索）において、フレーム毎に音声HMMの状態に対する尤度と雑音GMMの状態に対する尤度のうち、より大きい尤度を選択して最尤経路探索に用いる。これにより、突発性雑音の混入に対する尤度の低下を抑制することが可能である。しかしながら、この場合、音声HMM固有の状態を遷移しない経路の探索が可能となり、音声HMMの最尤経路における尤度が雑音GMMの尤度よりも大きくなるため、認識対象外の特徴量に対する誤検出が増大するという問題がある。
【０００７】
本発明は上記の問題点に鑑みてなされたものであり、認識対象モデル固有の状態を反映した最尤経路探索を維持して誤検出の増大を抑制した上で、突発性雑音の混入に対する頑健性の向上を実現することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、認識対象データの特徴量を抽出する第１の特徴量抽出手段と、認識対象外データの特徴量を抽出する第２の特徴量抽出手段と、前記抽出された認識対象データの特徴量に基づいて、認識対象データの確率モデルである認識対象モデルを学習する認識対象モデル学習手段と、前記抽出された認識対象外データの特徴量に基づいて、認識対象外データの確率モデルである認識対象外モデルを学習する認識対象外モデル学習手段と、前記認識対象モデルの状態に対し、相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で、前記認識対象外モデルの状態を追加する状態追加手段とを有することを特徴とする情報処理装置が提供される。
【発明の効果】
【０００９】
本発明によれば、入力データの特徴量と認識対象モデルのマッチング（最尤経路探索）において、突発性雑音を反映した状態への遷移が可能となる。そのため、入力特徴量中に含まれる突発性雑音に対する尤度の低下を抑制し、突発性雑音の混入に頑健な認識が可能となる。その上で、認識対象モデル固有の全ての状態の遷移が必須であり、対象でない入力特徴量に対する尤度の増大が抑制される。そのため、突発性雑音の混入に頑健な認識を実現しながら、認識対象外の入力特徴量に対する誤検出を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態における情報処理装置のハードウェア構成図。
【図２】実施形態における情報処理装置の機能構成図。
【図３】実施形態における情報処理装置のジェスチャ認識用モデル作成の処理の流れを表すフローチャート。
【図４】実施形態におけるHMM及びGMMの構成図。
【図５】実施形態におけるジェスチャを認識する処理の流れを表すフローチャート。
【図６】実施形態におけるモデル間の尤度比較による認識の構造を示す図。
【図７】本発明と先行技術の認識性能の比較結果を示す図。
【図８】変形例における情報処理装置のジェスチャ認識用モデル作成の処理の流れを表すフローチャート。
【図９】変形例におけるHMMの構成図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１２】
本実施形態では、ジェスチャを認識対象データとし、認識用モデルとしてジェスチャHMMを作成する処理について説明する。
【００１３】
図１は、本発明の一実施形態における情報処理装置のハードウェア構成図である。同図において、１０１はＣＰＵ（中央処理装置）であり、情報処理装置の制御プログラムを実行する。１０２はＲＯＭであり、制御プログラムなどを格納する。１０３はＲＡＭであり、ＣＰＵ１０１のワークエリアを提供するために用いられる。１０４はハードディスクなどの記憶装置であり、データを格納する。１０５はジェスチャを入力するカメラである。
【００１４】
図２は、本発明の一実施形態における情報処理装置の機能構成を表す図である。同図において、ジェスチャデータベース２０１には、認識対象データであるジェスチャデータが登録されている。一方、非ジェスチャデータベース２０３には、認識対象外データとするジェスチャデータが登録されている。これらのデータベースは例えば記憶装置１０４に記憶される。ジェスチャデータ特徴量抽出部２０２（第１の特徴量抽出手段）は、ジェスチャデータベース２０１内のジェスチャデータの特徴量を一定時間（フレーム）ごとに抽出する。非ジェスチャデータ特徴量抽出部２０４（第２の特徴量抽出手段）は、非ジェスチャデータベース２０３内の非ジェスチャデータの特徴量を一定時間（フレーム）ごとに抽出する。ジェスチャモデル学習部２０５（認識対象モデル学習手段）は、ジェスチャデータ特徴量抽出部２０２より抽出されたジェスチャデータの特徴量に基づき、認識対象データの確率モデルであるジェスチャモデルを学習する。非ジェスチャモデル学習部２０６（認識対象外モデル学習手段）は、非ジェスチャデータ特徴量抽出部２０４より抽出された非ジェスチャデータの特徴量に基づき、認識対象外モデルである非ジェスチャモデルを学習する。状態追加部２０７は、ジェスチャモデル学習部２０５より学習されたジェスチャモデルの各状態に対し、1対1の相互遷移で接続された非ジェスチャモデルの状態と同一の出力分布を有する状態を追加する。状態共有部２０８は、状態追加部２０７で追加された各状態を共有化する。ジェスチャモデル再学習部２０９は、ジェスチャデータ特徴量抽出部２０２より抽出されたジェスチャデータの特徴量に基づき、状態共有部２０８より出力されたジェスチャモデルを再学習する。
【００１５】
ジェスチャ入力部２１０は、カメラ１０５からジェスチャを入力する。特徴量抽出部２１１は、ジェスチャ入力部２１０より入力されたジェスチャの特徴量を一定時間（フレーム）ごとに抽出する。ジェスチャ認識部２１２は、特徴量抽出部２１１より抽出された特徴量と、ジェスチャモデル再学習部２０９より得られたジェスチャモデル及び非ジェスチャモデル学習部２０６より学習された非ジェスチャモデルとのマッチングによりジェスチャを認識する。出力部２１３は、ジェスチャ認識部２１２より得られた認識結果を出力する。
【００１６】
図３は、本実施形態における情報処理装置のジェスチャ認識用モデル作成の処理の流れを表すフローチャートである。同図を用いてそれぞれの処理を説明する。まず、Ｓ３０１で、ジェスチャデータ特徴量抽出部２０２が、ジェスチャデータベース２０１からジェスチャデータを入力する。次に、Ｓ３０２において、ジェスチャデータ特徴量抽出部２０２が、一定時間（フレーム）ごとにジェスチャデータの特徴量を抽出する。特徴量はジェスチャを実行する部位・物体の座標や角度及び各特徴量の時間変化量など、一般的に使用されるどのようなものでもよい。
【００１７】
次に、Ｓ３０３において、ジェスチャモデル学習部２０５が、ジェスチャモデルを学習する。通常、ジェスチャモデルには、ジェスチャ認識用の確率モデルとしてHMMが用いられる。HMMは特徴量の出力分布を有する状態と状態間の遷移確率からなり、通常、EMアルゴリズム等の学習アルゴリズムによって計算される。次に、Ｓ３０４において、非ジェスチャデータ特徴量抽出部２０４が、非ジェスチャデータベース２０３から非ジェスチャデータを入力する。次に、Ｓ３０５において、非ジェスチャデータ特徴量抽出部２０４が、一定時間（フレーム）ごとに非ジェスチャデータの特徴量を抽出する。
【００１８】
次に、Ｓ３０６において、非ジェスチャモデル学習部２０６が、非ジェスチャモデルを学習する。通常、非ジェスチャモデルにはGMMが用いられる。GMMは特徴量の出力分布を有する状態が１つであり、通常、EMアルゴリズム等の学習アルゴリズムによって計算される。次に、Ｓ３０７において、状態追加部２０７が、ジェスチャモデルの各状態に対し、1対1の相互遷移で接続された状態を追加する（詳細は後述）。次に、Ｓ３０８において、状態追加部２０７が、Ｓ３０７で追加されたジェスチャモデルの各状態について、自己遷移を追加する（詳細は後述）。次に、Ｓ３０９において、状態追加部２０７が、Ｓ３０７で追加されたジェスチャモデルの各状態の出力分布を、Ｓ３０６で学習された非ジェスチャモデルの出力分布とする。次に、Ｓ３１０において、状態共有部２０８が、Ｓ３０７で追加された全てのジェスチャモデルの全ての状態の出力分布を共有化する。次に、Ｓ３１１において、ジェスチャモデル再学習部２０９が、Ｓ３０２で抽出されたジェスチャデータの特徴量に基づいて、ジェスチャモデルを再学習する。通常、HMMの再学習とは、学習済みのHMMの出力分布や遷移確率を通常EMアルゴリズム等の学習アルゴリズムによって再計算し更新する処理である。
【００１９】
ここで、ジェスチャモデル学習部２０５が、Ｓ３０３において実施するジェスチャHMMの学習について説明する。ジェスチャHMMの学習にはどのような方法を用いてもよいが、ここではEMアルゴリズムを使って説明する。図４（ａ）はジェスチャを表す状態数8のLeft-to-Right形式のHMMであり、S0は開始状態、S9は終了状態、S1〜S8がジェスチャの特徴量の出力分布を有する状態である。また、各状態は遷移確率a01〜a89により隣接する状態間の遷移及び自己遷移が可能である。Ｓ３０３においては、まずS1〜S8の出力分布及びa01〜a89の遷移確率を任意に与えた初期モデルを用意する。ただし、各遷移確率は下記の制約条件１を満たすものとする。
【００２０】
【数１】
2014081743.tif 000003
【００２１】
この初期モデルに対し、Ｓ３０２より抽出されたジェスチャの特徴量に基づき、EMアルゴリズムにより出力分布及び遷移確率を更新し、ジェスチャHMMを学習する。本学習により、ジェスチャHMMの各状態の出力分布及び遷移確率は対象のジェスチャの性質を反映した値に更新され、対象のジェスチャとのマッチングにおいて他モデル（対象でないジェスチャHMM、非ジェスチャGMM）よりも高い尤度が算出される。
【００２２】
次に、非ジェスチャモデル学習部２０６が、Ｓ３０６において実施する非ジェスチャGMMの学習について説明する。非ジェスチャGMMの学習にはどのような方法を用いてもよいが、ここではＳ３０３と同様に、EMアルゴリズムを使って説明する。図４（ｂ）は非ジェスチャを表すGMMであり、S0は開始状態、S2は終了状態、S1が非ジェスチャの特徴量の出力分布を有するモデルの状態である。また、各状態は確率遷移a01〜a12により隣接する状態間の遷移及び自己遷移が可能である。Ｓ３０６においては、まずS1の出力分布及びa01〜a12の遷移確率を任意に与えた初期モデルを用意する。ただし、各遷移確率は前述の制約条件１を満たすものとする。この初期モデルに対し、Ｓ３０５より抽出された非ジェスチャの特徴量に基づき、EMアルゴリズムにより出力分布及び遷移確率を更新し、非ジェスチャGMMを学習する。本学習により、非ジェスチャGMMの状態の出力分布及び遷移確率はジェスチャの性質を反映しない汎用的な値に更新される。そのため、ジェスチャ／非ジェスチャに依らない様々な入力とのマッチングにおいて中程度の（対象ジェスチャの入力に対するジェスチャHMMの尤度よりも低く、対象ジェスチャでない入力に対するジェスチャHMMの尤度よりも高い）尤度が算出される。
【００２３】
次に、状態追加部２０７が実施する状態追加について説明する。まず、Ｓ３０７において、ジェスチャHMMの各状態S1〜S8それぞれに対し、1対1の相互遷移a11'〜a8'8で接続された任意の出力分布を有する状態S1'〜S8'を図４（ｃ）のように追加する。このとき、各遷移確率について、下記の制約条件２を満たすよう正規化を行う。
【００２４】
【数２】
2014081743.tif 000004
【００２５】
次に、Ｓ３０８において、Ｓ３０７で追加された状態S1'〜S8'について、自己遷移a1'1'〜a8'8'を図４（ｄ）のように追加する。このとき、各遷移確率について、下記の制約条件３を満たすよう正規化を行う。
【００２６】
【数３】
2014081743.tif 000005
【００２７】
次に、Ｓ３０９において、Ｓ３０７で追加された状態S1'〜S8'の出力分布を、Ｓ３０６において学習された非ジェスチャGMMの状態S1の出力分布とする。本状態追加により、ジェスチャHMMの各状態から汎用的な出力分布を持つ状態へ相互に遷移することが可能となる。
【００２８】
次に、状態共有部２０８が、Ｓ３１０において実施する出力分布共有について説明する。Ｓ３０７で追加された状態S1'〜S8'の出力分布は、値が同一であっても、各状態が独立して出力分布を保持している。そこで、全てのジェスチャHMMの状態S1'〜S8'の出力分布を同一の出力分布として共有化する。これにより、ジェスチャやジェスチャ内のタイミングに依存しない状態として、ジェスチャHMMの状態S1'〜S8'の出力分布を更新することが可能となる。また、ジェスチャHMMを保持するためのメモリサイズ削減が可能となる。
【００２９】
次に、ジェスチャモデル再学習部２０９が、Ｓ３１１において実施するジェスチャHMMの再学習について説明する。ジェスチャHMMの再学習にはどのような方法を用いてもよいが、ここではＳ３０３と同様に、EMアルゴリズムを使って説明する。ただし、初期モデルとして、Ｓ３１０において出力されたジェスチャHMMを使用する。Ｓ３０２より抽出されたジェスチャの特徴量に基づき、EMアルゴリズムにより出力分布及び遷移確率を更新し、ジェスチャHMMを再学習する。ジェスチャHMM固有の状態S1〜S8は既にジェスチャを反映した出力分布となっているため、ジェスチャに相当する特徴量はS1〜S8に自動的に割り当てられる。一方で、ジェスチャデータに含まれる雑音に相当する特徴量は状態S1'〜S8'に割り当てられる。よって、再学習により、Ｓ３０７において追加された状態S1'〜S8'の出力分布や遷移確率は、Ｓ３０２より抽出された特徴量に混入した突発的な雑音や映り込み等が反映された値に更新される。
【００３０】
次に、上記情報処理装置がパターン認識装置として機能する際に、上述の処理により作成されたモデルを利用してジェスチャを認識する処理の流れを説明する。図５は認識時の処理フローである。まず、Ｓ５０１において、ジェスチャ入力部２１０がジェスチャを入力する。次に、Ｓ５０２において、特徴量抽出部２１１が、一定時間（フレーム）ごとに入力ジェスチャの特徴量をＳ３０２、Ｓ３０５と同様に計算する。次に、Ｓ５０３において、ジェスチャ認識部２１２が、Ｓ５０２において抽出された入力ジェスチャの特徴量系列に基づいてジェスチャを認識する。この際、パターン認識装置は、パターン認識用の学習モデルとして、認識対象モデルの状態に対し相互遷移のみ可能な条件又は相互遷移及び自己遷移が可能な条件で認識対象外モデルの状態が追加された確率モデルを用いる。具体的には、図６に示すように、入力ジェスチャの特徴量系列とＳ３１１より再学習されたジェスチャモデル及びＳ３０６より学習された非ジェスチャモデルとのマッチングを行い、尤度が最大となるモデルが表すパターンとしてのジェスチャを認識結果とする。通常、最尤経路探索にはビタビアルゴリズムが用いられる。そして、Ｓ５０４において、出力部２１３が、認識結果を出力する。
【００３１】
Ｓ５０２において実施する最尤経路探索において、Ｓ３０７〜Ｓ３１１において実施したジェスチャモデルの更新により、突発的な雑音が反映された出力分布を有する状態S1'〜S8'に一時的に遷移して尤度計算を行うことが可能である。よって、入力されたジェスチャの特徴量中に突発的な雑音が混入していた場合、そのフレームにおいて状態S1'〜S8'へ遷移することにより、尤度の低下を抑えることができる。また、状態S1'〜S8'へ遷移した際は、遷移元の状態S1〜S8へ遷移する必要があるため、ジェスチャHMM固有の状態S1〜S8を遷移しない経路は探索不可能である。よって、ジェスチャHMM固有の状態S1〜S8全てに基づく尤度計算が必須となり、対象のジェスチャ以外の入力に対する尤度が他モデルよりも高くなることを防ぐことができる。
【００３２】
図７は、先行技術による認識と本発明によって作成したモデルを用いた認識とのジェスチャ認識性能の比較結果を示す。ジェスチャHMMの作成に用いたジェスチャデータは、4種類のジェスチャ、11名の被験者による試行で、各ジェスチャ総試行数は平均185回である。また、非ジェスチャGMMの作成に用いた非ジェスチャデータは、計550秒の非ジェスチャ映像である。ジェスチャ認識性能の評価に用いたジェスチャデータは作成用データとは異なる10名の被験者による試行で、各ジェスチャの総試行数は平均160回である。また、非ジェスチャデータは計830秒の作成用データとは異なる非ジェスチャ映像である。図７から次の３点のことが分かる。第一に、再現率（入力されたジェスチャを正しく認識する性能）は本発明によって改善されるが、特許文献１の手法による改善効果の方が優れている。第二に、認識精度（出力された認識結果の精度）は、特許文献１の手法では大きく低下するのに対し、本発明では改善されている。最後に、再現率と認識精度の調和平均であるF値は本発明が優れている。
【００３３】
以上に述べたように、本発明は、入力特徴量とのマッチング（最尤経路探索）において一時的な遷移が可能な突発性雑音を反映した状態を追加したジェスチャモデルを作成するため、ジェスチャ中に混入した突発的な雑音に頑健な認識が可能となる。その上で、ジェスチャモデル固有の状態を遷移することが必須であるため、対象のジェスチャ以外の入力に対する尤度が他モデルよりも高くならず、誤検出が増加しない。結果として、認識精度を低下させずに、ジェスチャ中に含まれる突発的な雑音の混入に頑健な認識を実現できる。
【００３４】
なお、Ｓ３１０において、Ｓ３０７において追加された全てのジェスチャモデルの状態の出力分布を共有したが、本発明は出力分布を共有する状態を任意に選択しても構わない。また、共有を実施しなくても構わない。このとき、出力分布の共有範囲を限定または共有を実施しないことにより、ジェスチャの種類あるいはジェスチャ実行中のタイミングに依存する突発性雑音を反映した出力分布を、各追加状態が有することが可能となる。
【００３５】
また、Ｓ３１１において、ジェスチャモデルの再学習を実施して各状態の出力分布及び遷移確率を更新したが、本発明は更新の対象を任意の状態の出力分布及び任意の遷移確率に限定しても構わない。また、再学習を実施しなくても構わない。ジェスチャ中に混入する突発性雑音を非ジェスチャモデルで表せる場合には、再学習による更新対象を限定または再学習を実施しないことにより、様々な突発性雑音に対する頑健性を実現することが可能となる。
【００３６】
また、前記実施形態では、Ｓ３０４において非ジェスチャデータを入力し、その特徴量に基づき非ジェスチャモデルを学習した。本発明は、非ジェスチャデータのみでなく、ジェスチャデータを入力して非ジェスチャモデルを学習しても構わない。このとき、ジェスチャデータを併用することにより、非ジェスチャモデルの出力分布がより汎用的な値になる効果が期待される。また、ジェスチャデータのみを入力して非ジェスチャモデルを学習しても構わない。複数種の様々なジェスチャデータを入力することにより、非ジェスチャデータを入力しなくても非ジェスチャモデルの出力分布が汎用的な値になる効果が期待される。
【００３７】
＜変形例＞
上述の実施形態では、Ｓ３０７において、全ての状態に対して1対1の相互遷移が可能な状態を追加したが、任意の状態に限定して1対1の相互遷移可能な状態を追加しても構わない。また、Ｓ３０８において、追加された全ての状態に対して自己遷移を追加したが、自己遷移追加の対象を任意の状態に限定しても構わない。このとき、相互遷移可能な状態を追加する状態や自己遷移を追加する状態を選択することにより、突発性雑音の発生確率や発生時間に応じたジェスチャモデルの頑健性を調整することが可能となる。以下では、変形例として、突発性雑音の発生確率及び発生時間に関する情報が既知である場合に、その情報から相互遷移を追加する状態や自己遷移を追加する状態を選択してジェスチャモデルを作成する処理を説明する。
【００３８】
図８は、本変形例における情報処理装置の、モデル作成の処理の流れを表すフローチャートである。同図を用いてそれぞれの処理を説明する。まず、Ｓ７０１で、ジェスチャデータ特徴量抽出部２０２が、ジェスチャデータベース２０１からジェスチャデータを入力する。次に、Ｓ７０２において、ジェスチャデータ特徴量抽出部２０２が、一定時間（フレーム）ごとにジェスチャデータの特徴量を抽出する。次に、Ｓ７０３において、ジェスチャモデル学習部２０５が、ジェスチャモデルを学習する。次に、Ｓ７０４において、非ジェスチャデータ特徴量抽出部２０４が、非ジェスチャデータベース２０３から非ジェスチャデータを入力する。次に、Ｓ７０５において、非ジェスチャデータ特徴量抽出部２０４が、一定時間（フレーム）ごとに非ジェスチャデータの特徴量を抽出する。次に、Ｓ７０６において、非ジェスチャモデル学習部２０６が、非ジェスチャモデルを学習する。
【００３９】
次に、Ｓ７０７において、状態追加部２０７が、混入する突発性雑音の発生確率の情報から、ジェスチャモデルの各状態のうち、被状態追加の対象となる状態を決定する（詳細は後述）。次に、Ｓ７０８において、状態追加部２０７が、Ｓ７０７において決定されたジェスチャモデルの各状態に対し、1対1の相互遷移で接続された状態を追加する。ただし、各遷移確率は前述の制約条件２を満たすものとする。次に、Ｓ７０９において、状態追加部２０７が、混入する突発性雑音の発生時間の情報から、ジェスチャモデルの各状態のうち、Ｓ７１０において自己遷移を追加する状態を決定する（詳細は後述）。次に、Ｓ７１０において、状態追加部２０７が、Ｓ７０９において決定された各状態について、自己遷移を追加する。ただし、各遷移確率は前述の制約条件３を満たすものとする。次に、Ｓ７１１において、状態追加部２０７が、Ｓ７０８において追加されたジェスチャモデルの各状態の出力分布を、Ｓ７０６において学習された非ジェスチャモデルの出力分布とする。次に、Ｓ７１２において、状態共有部２０８が、Ｓ７０８において追加された全てのジェスチャモデルの全ての状態の出力分布を共有化する。次に、Ｓ７１３において、ジェスチャモデル再学習部２０９が、Ｓ７０２において抽出されたジェスチャデータの特徴量に基づいて、ジェスチャモデルを再学習する。
【００４０】
ここで、状態追加部２０７が、Ｓ７０７において実施する、被状態追加の対象となるジェスチャモデルの状態の決定について説明する。決定にはどのような方法を用いてもよいが、ここではジェスチャ実行中のタイミング別の突発性雑音発生確率を利用した決定方法について説明する。突発性雑音の発生確率は、カメラ等のセンサの特性やセンサ設置環境、また特徴量抽出器の性能に依存する。例えば、特徴量抽出器の性能上、ジェスチャの開始時と終了時において突発性雑音の発生確率が高くなるという情報がある場合、ジェスチャHMMの状態S1、S2、S7、S8に対してのみ、1対1の相互遷移可能な状態を追加することを決定する。このとき、Ｓ７０８において、状態S1'、S2'、S7'、S8'が図９に示されるように追加される。これにより、突発性雑音に対する頑健性を実現しながら、ジェスチャ固有の状態をより反映したモデルとなるため誤検出が減少する。
【００４１】
次に、状態追加部２０７が、Ｓ７０９において実施する、自己遷移追加の対象となるジェスチャモデルの状態の決定について説明する。決定にはどのような方法を用いてもよいが、ここではジェスチャ実行中の突発性雑音の継続時間の情報を利用した決定方法について説明する。突発性雑音の発生確率は、カメラ等のセンサの特性やセンサ設置環境、また特徴量抽出器の性能に依存する。例えば、センサ設置環境の特性上、突発性雑音が２フレーム以上継続することが極めて少ない場合、Ｓ７０８において追加した全ての状態に対し自己遷移の追加を行わないことを決定する。これにより、最尤経路探索時における新規追加状態への過剰な遷移を防ぐことが可能となる。よって、突発性雑音に対する頑健性を実現しながら、ジェスチャ固有の状態をより反映したモデルとなるため誤検出が減少する。
【００４２】
なお、上述の実施形態では、HMM（GMM）を基にジェスチャモデル（非ジェスチャモデル）を作成したが、本発明はこれに限るものではなく、状態を有するモデルで最尤経路探索によって認識を行うのであれば、モデルの種類は問わない。
【００４３】
また、上述の実施形態では、ジェスチャの認識用モデル作成を行ったが、本発明はこれに限るものではなく、音声や手書き文字等の時系列データの認識用モデル作成に適用してもよい。
【００４４】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2014081743.tif 000006
【図２】
2014081743.tif 000007
【図３】
2014081743.tif 000008
【図４】
2014081743.tif 000009
【図５】
2014081743.tif 000010
【図６】
2014081743.tif 000011
【図７】
2014081743.tif 000012
【図８】
2014081743.tif 000013
【図９】
2014081743.tif 000014