(57)【要約】【課題】時系列データを用いて迅速に状況の認識・識別等を行う。【解決手段】所定の目的に対応した時系列観測データを用いて、現時点における状況を認識する認識装置において、前記時系列観測データと、所定の状況に対する正解ラベルが付与された時系列信号とを用いて時系列信号の統計学習を行い、学習結果の時系列信号からモデルパラメータを取得する統計学習手段と、前記現時点における時系列観測データに対して前記統計学習手段により得られた前記モデルパラメータを適用して前記現時点における状況を認識する認識手段とを有することにより上記課題を解決する。【選択図】図１
2013235346.tif 000002
【特許請求の範囲】
【請求項１】
所定の目的に対応した時系列観測データを用いて、現時点における状況を認識する認識装置において、
前記時系列観測データと、所定の状況に対する正解ラベルが付与された時系列信号とを用いて時系列信号の統計学習を行い、学習結果の時系列信号からモデルパラメータを取得する統計学習手段と、
前記現時点における時系列観測データに対して前記統計学習手段により得られた前記モデルパラメータを適用して前記現時点における状況を認識する認識手段とを有することを特徴とする認識装置。
【請求項２】
前記統計学習手段は、
現在と過去の時系列観測データを用いて、現時点における状況を認識するためのモデルパラメータを取得することを特徴とする請求項１に記載の認識装置。
【請求項３】
前記統計学習手段は、
ＬＤＣＲＦ又はＣＲＦを用いることを特徴とする請求項１に記載の認識装置。
【請求項４】
前記認識手段は、
前記時系列観測データが、ある対象者の観測データである場合に、前記対象者の状況の認識結果から、前記対象者が持っている興味度又は興味の種類等を推定することを特徴とする請求項１乃至３の何れか１項に記載の認識装置。
【請求項５】
複数の異なる状況データからヒストグラムデータを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により得られるヒストグラムデータから単位時間毎の代表値を選定する代表値選定手段と、
前記代表値選定手段により得られる代表値を用いて、前記複数の異なる状況データを同期させた同期シンボル列を生成する同期シンボル列生成手段と、
前記同期シンボル列生成手段により得られる同期シンボル列に対して、予め設定された素性関数を用いて時系列素性ベクトル信号に変換する変換手段とを有し、
前記統計学習手段は、前記所定の状況に対する正解ラベルが付与された時系列信号として、前記時系列素性ベクトル信号を用いることを特徴とする請求項１乃至４の何れか１項に記載の認識装置。
【請求項６】
コンピュータを、請求項１乃至５の何れか１項に記載の認識装置が有する各手段として機能させるための認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識装置及び認識プログラムに係り、特に、時系列データを用いて迅速に状況の認識・識別等を行うための認識装置及び認識プログラムに関する。
【背景技術】
【０００２】
従来では、ある目的に対応した所定の時系列データを用いて状況の認識や識別を行う手法が存在する。また、時系列データの認識・識別手法の代表的なものとしては、例えばＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）や、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄｓ）等がある（例えば、非特許文献１，２参照）。
【０００３】
なお、上述した何れの手法も、時系列データの出現パターンを確率モデルとして扱い、確率の最も高い状態を認識・識別結果として出力する枠組みである。つまり、これらの認識・識別処理は、機械学習の枠組みでの処理であり、データに即した形式で認識・識別が実現できるため、データが適切に準備できる環境下では、アドホックに設計したルールベースに基づく認識・識別処理より信頼度や推定精度が高いといえる。したがって、上述した非特許文献１，２に示されている手法では、言語処理における形態素解析、音声処理における音声認識、画像認識における動作認識等で成果を上げている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｌ．Ｒ．Ｒａｂｉｎｅｒ，"Ａ  ｔｕｔｏｒｉａｌ  ｏｎ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ  ａｎｄ  Ｓｅｌｅｃｔｅｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  Ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，"  Ｐｒｏｃ．ＩＥＥＥ，  ｖｏｌ．７７，ｎｏ．２，ｐｐ．２５７−２８６，１９８９．
【非特許文献２】Ｊ．Ｌａｆｆｅｒｔｙ，Ａ．ＭｃＣａｌｌｕｍ，  ａｎｄ  Ｆ．Ｐｅｒｅｉｒａ．"Ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄｓ：ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｍｏｄｅｌｓ  ｆｏｒ  ｓｅｇｍｅｎｔｉｎｇ  ａｎｄ  ｌａｂｅｌｉｎｇ  ｓｅｑｕｅｎｃｅ  ｄａｔａ，"  Ｐｒｏｃ．１８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆ．  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，２００１．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したような従来手法では、時系列データに対する状況の認識・識別を行う場合に、その認識・識別を行う時点に対する過去のデータだけではなく、未来のデータも用いられるのが一般的である。そのため、ある一定量の未来のデータを取得するまでの時間遅れが生じていた。
【０００６】
ここで、音声認識や画像認識において、元々のサンプル間隔が短く、未来のデータを使うとしても人間に感知されにくい時間長にしか及ばなかったため、大きな問題とはなっていなかった。しかしながら、例えば、状況認識等のように、より厳密なリアルタイム性を有するものや、サンプル間隔の単位時間が長い対象データの認識・識別処理では、この時間遅れが問題となる。
【０００７】
本発明は、上述した問題点に鑑みなされたものであり、時系列データを用いて迅速に状況の認識・識別等を行うための認識装置及び認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００９】
本発明は、所定の目的に対応した時系列観測データを用いて、現時点における状況を認識する認識装置において、前記時系列観測データと、所定の状況に対する正解ラベルが付与された時系列信号とを用いて時系列信号の統計学習を行い、学習結果の時系列信号からモデルパラメータを取得する統計学習手段と、前記現時点における時系列観測データに対して前記統計学習手段により得られた前記モデルパラメータを適用して前記現時点における状況を認識する認識手段とを有することを特徴とする。
【００１０】
また、本発明は、コンピュータを、上述した認識装置が有する各手段として機能させるための認識プログラムである。
【００１１】
なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、時系列データを用いて迅速に状況の認識・識別等を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態における認識装置の概略構成の一例を示す図である。
【図２】本実施形態におけるリアルタイム認識処理を従来の認識処理と比較して説明するための図である。
【図３】本実施形態における認識システムの機能構成の一例を示す図である。
【図４】本実施形態における学習処理の一例を示すフローチャートである。
【図５】本実施形態における認識処理の一例を示すフローチャートである。
【図６】学習処理のデータの区別を模式的に示した図である。
【図７】ＬＤＣＲＦの状態と出力の関係の一例を示す図である。
【図８】認識処理の具体例を示すフローチャートである。
【図９】学習処理の具体例を示すフローチャートである。
【図１０】学習データの生成例を説明するための図である。
【図１１】論理関数群データベースの一例を示す図である。
【図１２】本実施形態の適用結果の一例を示す図である。
【発明を実施するための形態】
【００１４】
＜本発明について＞
本発明は、例えばある所定の目的（例えば、番組視聴等）に対応する時系列観測データから、状況の認識・識別をリアルタイムに実現する。また、本発明は、従来の認識・識別時における事前の学習手法をリアルタイム処理に適した手法に変更する。これにより、本発明では、例えばテレビ番組に対する視聴者（対象者）等のその時点における状況をリアルタイムに認識・識別することができる。また、本発明では、その認識結果等を用いて、例えば対象者等の興味度や、興味の種類（方向）等を推定する仕組みに応用することができ、従来のある程度の時間遅れを伴う認識・識別手法と異なり、その場でリアルタイムな推定結果を出力することができる。したがって、本発明では、対象者が興味を持ったと認識・識別したときに、迅速にシステムが対応することが可能となる。
【００１５】
なお、「状況の認識・識別」とは、例えば時系列データが対象者の行動や操作内容等の観測データである場合に、その時系列観測データ等を用いて、対象者が現在どのような状況（外面だけでなく内面（心境）等の状況及び状態等を広く含む）であるかを認識すること、或いは、対象者の現在の状況を予め設定された複数の状況（状態）のうち少なくとも１つの状況（状態）に識別することをいうが、本発明においては、これに限定されるものではない。
【００１６】
以下に、上述したような各特徴を有する本発明における認識装置及び認識プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００１７】
＜認識装置：概略構成例＞
本実施形態における認識装置の概略構成例について図を用いて説明する。図１は、本実施形態における認識装置の概略構成の一例を示す図である。図１に示す認識装置１０は、統計学習手段１１と、モデルパラメータ記憶手段１２と、リアルタイム認識手段（必要に応じて、単に「認識手段」ともいう）１３とを有する。
【００１８】
本実施形態における認識装置１０は、入力の時系列観測信号列に対応するラベル信号列を認識するものである。統計学習手段１１は、入力される時系列観測データ｛ｘｔ｝に対し、正解が既知の時系列ラベル信号列（正解ラベル）である時系列信号｛ｙｔ｝を用いて、統計学習を行う。また、統計学習手段１１は、統計学習結果に基づいてモデルパラメータを取得する。
【００１９】
モデルパラメータ記憶手段１２は、統計学習手段１１により得られるモデルパラメータを記憶する。また、モデルパラメータ記憶手段１２は、リアルタイム認識手段１３における認識処理時に、記憶されているモデルパラメータをリアルタイム認識手段１３に出力する。
【００２０】
リアルタイム認識手段１３は、入力される時系列観測データ｛ｘｔ｝に対してモデルパラメータ記憶手段１２に記憶されたモデルパラメータを適用して、正解が未知の時系列観測データ列に対応するラベル信号列を認識又は識別し、その結果である認識ラベル信号列を出力する。つまり、本実施形態における認識処理には、上述した状況の認識・識別処理が含まれる。また、リアルタイム認識手段１３は、例えば時系列観測データ｛ｘｔ｝がある対象者の観測データである場合に、その対象者の状況の認識結果から、例えばその対象がもっている興味度や興味の種類（方向）等を推定し、その推定結果を出力することができる。
【００２１】
これにより、本実施形態では、上述した認識処理を時間遅れのないリアルタイムで処理を行う。また、本実施形態では、上述したリアルタイム処理に整合した形で統計学習モデルを新たに構築して学習処理を行う。
【００２２】
なお、統計学習手段１１及びリアルタイム認識手段１３に入力される時系列観測データは、例えば対象者の行動や操作内容に対する１又は複数のデータを含み、例えば顔の向きや静止状態、表情変化、タブレット端末（携帯情報端末）の操作等があるが、データの種類についてはこれに限定されるものではない。また、これらの各データは、取得したタイミングで同期が取れているものとする。
【００２３】
本実施形態では、時系列データでの認識・識別において、現在処理しているデータと、それ以前のデータ群（過去のデータ）とを用いて状況の認識・識別を行う。この手法により、その時点での認識・識別結果をリアルタイムに出力することができる。また、本実施形態では、統計学習手段１１において、現在と過去だけの時系列データのみで現時点での認識・識別を実現するのに必要なモデルパラメータを、本実施形態における認識・識別手法に整合した手順で学習する。更に、本実施形態では、過去に取得した情報を、その後のある時点における認識・識別時に再利用することにより効率的に処理することができる。
【００２４】
＜リアルタイム認識処理について＞
ここで、上述した本実施形態におけるリアルタイム認識手段１３における処理内容について、図を用いて説明する。図２は、本実施形態におけるリアルタイム認識処理を従来の認識処理と比較して説明するための図である。なお、図２（ａ），（ｂ）において、ｐｓ（ｎ）は時刻ｎの時の状態ｓに存在する確率を示し、αｓ（ｎ）は時刻ｎの時の状態ｓでのｆｏｒｗａｒｄ変数αの値を示し、βｓ（ｎ）は時刻ｎの時の状態ｓでのｂａｃｋｗａｒｄ変数βの値を示し、Ｓｓ'→ｓはｓ'からｓへの状態の遷移の確率を示し、Ｔｓ（ｏｂ）は状態ｓの時の観測情報がｏｂである確率を示す。また、ｐｓ（ｎ）、αｓ（ｎ）、βｓ（ｎ）は、図２に示す数式により算出されるが、本実施形態に適用される数式はこれに限定されるものでない。また、数式等の具体例については後述する。
【００２５】
従来手法では、ラベル出力する場合に、図２（ａ）に示すように、過去の観測データ（ＯＢｎ−１）と未来の観測データ（ＯＢｎ＋１）とを用いる。しかしながら、本実施形態では、ラベル出力する場合に、図２（ｂ）に示すように、過去の観測データ（ＯＢｎ−１）と現在の観測データ（ＯＢｎ）だけを用いる。そのため、現在の観測データ（ＯＢｎ）を取得したときに、その時点のラベルをリアルタイムに出力することができる。つまり、本実施形態では、図２に示す未来データからの累積計算（ｂａｃｋｗａｒｄ  ｐｒｏｃｅｓｓｉｎｇ）処理（βｓ（ｎ）の演算）を行う必要がなくなるため、より迅速な認識処理を行うことができ、リアルタイム性を向上させることができる。
【００２６】
ここで、処理手順を説明すると、図２（ａ）の従来手法も、図２（ｂ）の本実施形態の手法も、観測データ列（Ｏｂｎ）が観測された場合に、それぞれの時間におけるラベルデータとしての状態（ｓｔａｔｅ）の位置を特定して出力する枠組みでの計算となる。なお、上述した「状態（ｓｔａｔｅ）」は、本実施形態における「状況」に相当する。出力される状態（ｓｔａｔｅ）は、その時間での確率が最も大きいｓｔａｔｅが出力される。そのため、信号列全体にわたっての確率計算が必要となる。
【００２７】
従来手法である図２（ａ）では、過去データの累積計算（Ｆｏｒｗａｒｄ  Ｐｒｏｃｅｓｓｉｎｇ）であるα値と、未来データからの累積計算（Ｂａｃｋｗａｒｄ  ｐｒｏｃｅｓｓｉｎｇ）であるβ値を組み合わせた計算で求めることになる。また、未来からの計算が必要であるため、実際の実装処理では、未来分のデータをため込む必要があり、原理的にその分の時間遅れが生じることになる。
【００２８】
一方、本実施形態の手法である図２（ｂ）では、未来からの累積計算は必要なく、過去からの累積計算値であるα値のみを用いて現在の各状態（ｓｔａｔｅ）の確率を計算で求めている。したがって、本実施形態では、出力に時間遅れが生じることがなくなり、迅速に認識・識別処理を実現することができる。
【００２９】
ここで、上述した認識装置１０における認識処理を行うためには、対応する学習処理を事前に行っておくことが好ましい。ここで、本実施形態における学習処理を含む全体の認識システムの構成例について、以下に説明する。なお、以下の認識システムの説明では、認識システムの一例として、視聴者（対象者）のテレビ視聴内容や操作内容の状況から視聴者の嗜好認識等を行う認識システムについて説明するが、本発明においてはこれに限定されるものではない。また、上述した認識装置１０と同様の機能構成部分については同一の符号を付するものとし、ここでの具体的な説明は省略する。
【００３０】
＜認識システム：機能構成例＞
図３は、本実施形態における認識システムの機能構成の一例を示す図である。図３に示す認識システム２０は、情報取得手段２１と、解析手段２２と、ヒストグラム生成手段２３と、代表値選定手段２４と、同期シンボル列生成手段２５と、変換手段２６と、素性関数群データベース２７と、学習データベース２８と、認識装置１０とを有する。
【００３１】
情報取得手段２１は、例えば学習用の入力信号及び視聴者毎の視聴状況を認識・識別するための認識用の任意の入力信号を取得する。なお、入力信号は、視聴者情報として取得されるものである。入力信号としては、例えばカメラ（撮像手段）等からのカメラ映像やマイク等の音声取得手段からの音声情報等の観測情報、テレビ等に対する遠隔操作手段（以下、「リモコン」という）による操作等の操作履歴情報等の異種データがある。
【００３２】
なお、本実施形態においては、上述した入力信号に種類に限定されるものではなく、例えば、テレビ等に対して遠隔操作したり、インターネット閲覧機能又はメール送受信機能等を有する携帯情報端末（例えば、タブレット端末、スマートフォン、ノート型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、携帯電話、ゲーム機器等）の操作情報等を入力信号として用いることができる。
【００３３】
ここで、上述した入力信号には、それぞれ時間情報が付与されていることが好ましいが、本実施形態においてはこれに限定されるものではなく、例えば情報取得手段２１で各入力信号を取得した時点で、その時間情報を入力信号に付与してもよい。情報取得手段２１は、上述した１又は複数の入力信号を解析手段２２に出力する。
【００３４】
解析手段２２は、情報取得手段２１により得られる各入力信号を解析する。具体的には、解析手段２２は、カメラ映像を取得した場合には、視聴者の顔認識や顔の向き、表情、姿勢、行動（動作）等のうち、少なくとも１つを状況データとして解析する。なお、本実施形態における視聴者とは、認識装置１０において、例えば学習処理を行っている場合には、正解データを学習させるための実験者や管理者等が該当し、また認識処理を行っている場合には、一般の視聴者等が該当する。
【００３５】
例えば、上述した顔の向きや姿勢等については、例えばカメラ映像等から顔検出した領域に予め設定された複数の顔のテンプレート情報をマッチさせることにより、テレビ画面前に人物がいるかどうか、また人物がいる場合に顔がどちらの方向を向いているか等を認識する。また、上述した表情については、例えばカメラ映像等からテレビ視聴時の視聴者の顔表情の変化度を検出し、予め設定した閾値等に基づいて、顔表情が変化したかどうか等を出力する。更に、上述した行動については、例えばカメラ映像からテレビ視聴時に視聴者が動いているか静止しているかを判定し、その結果を２値出力する。判定は、視聴者の映像での時間差分量がある時間にわたって小さい場合に静止していると判定する。
【００３６】
更に、解析手段２２は、リモコンや携帯情報端末等で番組を切り替えたり、推薦番組を選択したりする等の操作情報を区分けしてシンボル情報として出力する。なお、上述した解析手法については、これに限定されるものではなく、他の手法を用いて同様の情報を取得してもよい。
【００３７】
ここで、例えばリモコンや携帯情報端末等から入力信号を取得している場合に、解析手段２２は、カメラ映像から視聴者の顔がリモコンや携帯情報端末の方向を向いているか等の姿勢や行動を状況データとして解析する。つまり、解析手段２２は、性質の異なる複数のデータを用いて、それぞれの相互作用も取り入れた解析を行う。また、解析手段２２は、カメラ映像の輝度情報や映像に含まれる照明機器の電源のＯＮ／ＯＦＦ等により視聴者の周囲環境（例えば、夜、昼等）等も状況データとして解析することもできる。
【００３８】
また、解析手段２２は、音声情報を取得した場合には、例えば音の強さや文章（言葉）の抽出等の音声解析や、音の調子の解析、音声解析等により得られる文章等に対する形態素解析、構文解析、意味解析等を行い、例えば視聴者が発した言葉の意味や、笑い声又は泣き声等の認識による感情情報、しゃべる速度や声の大きさ等の認識による性格情報等のうち、少なくとも１つを解析する。また、解析手段２２は、視聴者の周囲環境（例えば、騒音の有無等）等を解析することもできる。また、解析手段２２は、リモコン等から得られる操作履歴情報から、例えばチャンネル切り替え内容や音量調整等の情報を取得する。
【００３９】
更に、解析手段２２は、携帯情報端末から得られる操作情報から、例えばインターネットによる閲覧をしているか否か、メールをしているか否か、テレビ操作の内容等を解析する。なお、解析手段２２は、リモコンや携帯情報端末等の操作履歴情報や操作情報等に基づいて、例えば予め設定されたテーブル情報を参照し、対応する解析結果を出力してもよい。
【００４０】
つまり、解析手段２２は、上述した解析により、各入力信号に対する時系列シンボル列を生成し、その各情報をヒストグラム生成手段２３に出力する。
【００４１】
ヒストグラム生成手段２３は、解析手段２２により得られる性質の異なる１又は複数のデータ（例えば、状況データ）に基づいて、予め設定された単位時間毎にそれぞれの情報に対応するヒストグラムデータを生成し、入力信号の定量化（数値化）を行う。
【００４２】
具体的には、ヒストグラム生成手段２３は、例えば時系列シンボル列として異なる複数のデータが存在する場合に、それらの異なるデータを予め設定された時間単位で、そのデータの頻度を表すヒストグラムデータを生成する。これにより、後段の処理で、時間的に同期したシンボル列に直して統一的に扱うことができる。
【００４３】
更に、ヒストグラム生成手段２３は、予め複数の単位時間を設定し、その設定した単位時間毎にヒストグラムデータを生成してもよい。これにより、本実施形態では、単位時間の異なるシンボル列で表現されたデータ間の相互作用も考慮した視聴状況の学習処理又は認識処理を行うことができる。ヒストグラム生成手段２３は、生成されたヒストグラムデータを代表値選定手段２４及び同期シンボル列生成手段２５に出力する。
【００４４】
代表値選定手段２４は、ヒストグラム生成手段２３により得られるヒストグラムデータに基づいて代表値を選定する。なお、本実施形態における代表値とは、例えば同一データに対するヒストグラムデータの最大頻度（最大値）又は最小頻度（最小値）の値であってもよいが、これに限定されるものではなく、例えばヒストグラムデータの合計値や平均値であってもよい。
【００４５】
具体的には、例えば入力信号が番組チャンネルの切り替えや音量調整等の操作の種類を示すシンボル列の場合には、その単位時間で最も頻繁に行った操作のシンボルが代表値の出力となる。代表値選定手段２４は、選定した代表値を同期シンボル列生成手段２５に出力する。
【００４６】
同期シンボル列生成手段２５は、ヒストグラム生成手段２３により得られるヒストグラムデータ及び代表値選定手段２４により得られる代表値データに基づいて、同期シンボル列を生成する。視聴者がテレビ番組等を視聴している際に取得される複数の異なる状況データ（要素）は、それぞれの基準時間間隔が異なる。そのため、同期シンボル列生成手段２５は、各データ間の時間の同期を取るために、それぞれの状況データを同期させた代表値のシンボル列を生成する。また、同期シンボル列生成手段２５は、生成した同期シンボル列を変換手段２６に出力する。
【００４７】
変換手段２６は、予め素性関数群データベース２７に記憶されている１又は複数の素性関数に基づいて、同期シンボル列生成手段２５により得られるシンボル列の変換処理を行い、同期した時系列素性ベクトル信号を生成する。なお、素性関数とは、ある１つの入力に対してどのような出力を出すかが予め設定された関数であり、例えば複数の素性関数を用いることで、シンボル化されたデータ列から更にシンボル化された複数のデータ列を生成することができる。
【００４８】
ここで、変換手段２６は、学習用の入力信号に基づく学習処理を行っている場合には、生成した時系列素性ベクトル信号（上述した図１における時系列観測データ｛ｘｔ｝に相当）を統計学習手段１１に出力する。また、変換手段２６は、認識用の任意の入力信号に基づく認識処理を行っている場合には、生成した時系列素性ベクトル信号（上述した図１における時系列観測データ｛ｘｔ｝に相当）をリアルタイム認識手段１３に出力する。
【００４９】
次に、認識装置１０における統計学習手段１１は、例えば変換手段２６により得られる時系列素性ベクトル信号と、予め学習データベース２８に設定されている正解の視聴状況ラベルデータ（上述した図１における時系列信号｛ｙｔ｝に相当）とに基づいて、機械学習処理によりモデルパラメータを取得する。
【００５０】
なお、本実施形態における機械学習処理には、例えばＬＤＣＲＦ（Ｌａｔｅｎｔ  Ｄｙｎａｍｉｃ  Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）等を用いることができるが、本実施形態においてはＬＤＣＲＦに限定されるものではなく、時系列のベクトル列を扱うことができる他の機械学習処理等を用いることができる。
【００５１】
具体的には、統計学習手段１１は、上述した過程で得られた時間的に同期した時系列のシンボル列間の関係を記述し、新たに複数の時系列シンボル列（例えば、素性シンボル列）を生成する。統計学習手段１１は、取得した時系列シンボル列をＬＤＣＲＦ等の機械学習処理を用いて、視聴状況の認識処理用のモデルパラメータを取得する。
【００５２】
モデルパラメータ記憶手段１２は、統計学習手段１１から得られるモデルパラメータを記憶し、必要に応じてリアルタイム認識手段１３に出力する。
【００５３】
リアルタイム認識手段１３は、変換手段２６から得られる時系列素性ベクトル信号に対して、モデルパラメータ記憶手段１２から得られるモデルパラメータに基づいて統合処理を行い、入力された任意の入力信号に対する視聴者（対象者）の視聴状況の認識結果から、例えば興味度、興味の種類（方向）等）を推定することができる。
【００５４】
なお、本実施形態において、上述した学習データベース２８、素性関数群データベース２７は、それぞれが別体の構成でもよく、１つの記憶手段に設けられていてもよい。また、上述した学習部分の処理は、例えば本出願人により出願された特願２０１２−１３４５２号に記載された手法等を用いることができるが、これに限定されるものではなく、他の学習手法を用いてもよい。
【００５５】
上述したように、本実施形態では、時系列データを用いて迅速に状況の認識・識別等を行うことができる。具体的には、例えば視聴者の映像データ、音声データ及び操作履歴等の機器とのユーザインタラクション情報の時系列データを統合することにより、認識結果として、時系列視聴状況データを出力する。これにより、本実施形態では、例えばテレビ視聴時において、任意の入力信号として得られる視聴者の振る舞いを計測する映像、音声、操作履歴等の機器インタラクションログデータを統合して視聴者が番組に興味を持っているかどうか等の心的な情報まで含めた視聴状況を認識することができる。
【００５６】
なお、上述した認識装置１０は、例えば、テレビ等の番組視聴装置の内部に一体に設けられていてもよく、別体として設けられていてもよい。また、上述した認識システム２０において、素性関数群データベース２７と、学習データベース２８と、モデルパラメータ記憶手段１２とは、１つの記憶手段に記憶されていてもよい。また、記憶手段には、上述した解析手段２２における解析で用いられる複数の顔のテンプレート情報や予め設定されたテーブル情報、その他、本実施形態を行う上で必要な各種情報が記憶される。
【００５７】
また、本実施形態において、例えば学習処理は、視聴状況の認識処理の前にオフライン処理として実施され、認識処理は、学習処理後にオンライン処理（リアルタイム処理）として実施される。また、本実施形態において、例えば上述した解析手段２２、ヒストグラム生成手段２３、代表値選定手段２４、同期シンボル列生成手段２５、及び変換手段２６は、学習処理であっても視聴状況の認識処理であっても入力データに対して同一の処理を行う。ここで、上述した学習処理と、認識処理の各処理についてフローチャートを用いて具体的に説明する。
【００５８】
＜学習処理例＞
図４は、本実施形態における学習処理の一例を示すフローチャートである。図４に示す学習処理は、まず、学習用の複数の入力信号を取得し（Ｓ０１）、取得した入力信号に対して上述した解析処理等を行い、各信号に対する時系列のシンボル化を行う（Ｓ０２）。また、学習処理は、Ｓ０２の処理により得られるシンボル列に対してヒストグラムを生成する（Ｓ０３）。
【００５９】
次に、学習処理は、生成されたヒストグラムデータに対して、所定の条件に基づき代表値を選定し（Ｓ０４）、選定された代表値に基づいて時系列毎に性質の異なるデータを用いた同期シンボル列を生成する（Ｓ０５）。また、学習処理は、Ｓ０５の処理で得られた同期シンボル列に対し、予め設定された素性関数による変換を行い（Ｓ０６）、変換されたデータに対して正解の視聴状況ラベルデータを用いた統計的学習を行う（Ｓ０７）。また、学習処理は、Ｓ０７における統計的学習により取得したモデルパラメータを後述する認識処理で使用するために記憶手段等に記憶する（Ｓ０８）。なお、上述した学習処理は、認識処理が実行される前にオフライン処理として実行されていることが好ましいが、これに限定されるものではない。
【００６０】
＜認識処理例＞
次に、本実施形態における認識処理の一例について説明する。図５は、本実施形態における認識処理の一例を示すフローチャートである。図５に示す認識処理は、例えば、番組等を視聴中の視聴者から任意の入力信号を取得する（Ｓ１１）。なお、任意の入力信号とは、学習用と入力信号と同様の信号形式であることが好ましいが、これに限定されるものではない。
【００６１】
次に、認識処理は、Ｓ１１の処理により得られる入力信号に対して、上述した解析処理等を行い、各信号に対する時系列のシンボル化を行う（Ｓ１２）。また、認識処理は、Ｓ１２の処理により得られるシンボル列に対してヒストグラムを生成する（Ｓ１３）。
【００６２】
次に、認識処理は、生成したヒストグラムデータから所定の条件に基づき代表値を選定し（Ｓ１４）、選定された代表値から時系列毎に性質の異なるデータを用いた同期シンボル列を生成し（Ｓ１５）、生成した同期シンボル列に対し、予め設定された素性関数による変換を行う（Ｓ１６）。なお、上述したＳ１２〜Ｓ１６の処理は、上述した学習処理におけるＳ０２〜Ｓ０６の処理と同様の処理が行われる。
【００６３】
次に、認識処理は、Ｓ１６の処理により変換された時系列素性ベクトル信号に対し、上述した学習処理で得られたモデルパラメータを用いたリアルタイム認識を行い（Ｓ１７）、その結果として得られる認識ラベル信号を出力する（Ｓ１８）。
【００６４】
本実施形態では、上述した認識ラベル信号により、現時点における対象者（視聴者）の状況を迅速に認識・識別することができる。つまり、本実施形態は、上述したように機械学習処理の枠組みを利用した処理で、パラメータ予測のための学習データの収集と、予測されたパラメータを用いた認識処理を行うことができる。
【００６５】
＜学習処理における統計的学習手法について＞
ここで、上述した学習処理における統計的学習手法について具体的に説明する。本実施形態では、従来の時系列データの認識処理で時間遅れが生じていた処理を、例えば現在と過去のデータのみを用いる統計モデルに基づいた処理に変更ことによりリアルタイムに時系列データの認識を行うものである。なお、以下の説明では、例えば認識処理として精度が高いとされているＬＤＣＲＦを用いて、その認識処理をリアルタイム化する実施形態について説明する。なお、ＬＤＣＲＦについては、例えば「Ｌ．−Ｐ．Ｍｏｒｅｎｃｙ，Ａ．Ｑｕａｔｔｏｎｉ  ａｎｄ  Ｔｒｅｖｏｒ  Ｄａｒｒｅｌｌ，Ｌａｔｅｎｔ−Ｄｙｎａｍｉｃ  Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｃｏｎｔｉｎｕｏｕｓ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｊｕｎｅ  ２００７．」等に示されている。また、本実施形態は、これに限定されるものではなく、例えば同じ枠組みでＨＭＭ等を用いる認識処理への適用も可能である。
【００６６】
ＬＤＣＲＦは、ＣＲＦを拡張したものであり、時系列の観測ベクトル列ｘに対応する確率的に最もらしいラベリングの時系列データｙを求める機械学習処理である。その確率モデルは、以下に示す（１）〜（４）式で定式化される。
【００６７】
【数１】
2013235346.tif 000003
ここで、上述した式において、Ｐは確率モデルを示し、θは学習パラメータ（上述するモデルパラメータ）を示す。ＬＤＣＲＦの場合には、隠れ状態ｈを介してラベリング列ｙを認識する枠組みとなっており、ＣＲＦより認識精度が高くなる。
【００６８】
また、上述した（４）式において、Ｆｋは素性関数と呼ばれる関数であり、時系列の観測データｘや隠れ状態ｈを変数とした関数である。また、Ｆｋは、上述した（４）式で表現されているように、処理位置毎に定義される局所関数群｛ｆｋ｝に分解することができる。ＬＤＣＲＦの認識処理は、学習処理で求めた、学習パラメータθ＊（「＊」はその値が最適化されていることを示す）を用いて、以下に示す（５）式の過程で行われる。
【００６９】
【数２】
2013235346.tif 000004
ここで、パラメータθ＊を求める学習処理は、学習用の時系列データのセット｛ｘｉ,ｙｉ｜ｉ＝１,・・・,ｎ｝に対して、確率尤度が最大になるような最適化処理を行うことにより実現でき、以下に示す（６）式、（７）式で表現される。
【００７０】
【数３】
2013235346.tif 000005
なお、上述した（６）式、（７）式におけるＬ(θ)は、最適化するための目的関数を示す。ここで、従来におけるＬＤＣＲＦの認識処理では、上述した（５）式からも明らかなように原理的に時系列データ全体に対しての認識となっているため、時系列データの最後までのデータが入力されないと認識結果が出力されない。そのため、時系列データの中間位置での状況を認識する場合には、時系列データの最後のデータが入力されるまで時間遅れが生じることになる。
【００７１】
なお、このような問題を解決する方法として、従来ではビタビアルゴリズム等を用いて確度の低い経路を省いて探索範囲を狭め、素早く候補を絞り込むビーム探索法等が用いられている。しかしながら、上述した方法でもある程度の時間遅れが生じ、サンプル間隔が大きい対象の認識処理の場合には、時間遅れが無視できなくなる。
【００７２】
そこで、本実施形態では、ＬＤＣＲＦに代表される時系列データの認識処理の時間遅れを解消してリアルタイムに結果を出力する手法を用いる。具体的には、上述したように、認識処理や学習処理を、現在と過去だけのデータのみを用いて行う統計モデルを構築し、その枠組みでの処理過程を具体化する。上記の内容について、以下に詳細を説明する。
【００７３】
＜本実施形態における認識処理の具体例＞
まず、ＬＤＣＲＦと同じモデル構造で、現在と過去のデータのみを用いて時刻ｎの時の認識結果ｙｎを出力する過程は、時刻ｎの時に隠れ状態ｈに存在する確率ｐｈ（ｎ）とすると、以下に示す（８）〜（１０）式に従う。
【００７４】
【数４】
2013235346.tif 000006
ここで、Ｓｈ'→ｈは、時刻ｎ−１から時刻ｎへの隠れ状態ｈの遷移確率を示し、Ｔｈは、時刻ｎの時の隠れ状態ｈに依存した観測値ｘの確率を示している。なお、初期値ｐｈ（０）は、それぞれの隠れ状態が均等になるように、例えば「１／Ｎｕｍ（ｈ）」とする。この処理過程により、時刻ｎの時点でその時の認識結果ｙｎ＊を時間遅れがなくリアルタイムに出力することができる。
【００７５】
＜本実施形態における学習処理の具体例＞
上述したように、本実施形態では、認識処理において、現在と過去のデータから現在の出力を認識する仕組みに変更したことに伴い、その処理過程に整合した形式でモデルパラメータを学習することが好ましい。そこで、本実施形態では、一例として、モデルパラメータの学習処理として過去と現在のデータのみを使用する。以下に、上述したＬＤＣＲＦのモデル構造に対応する学習処理について説明する。
【００７６】
まず、時刻ｎの時に隠れ状態ｈの存在確率は、上述した（９）式、（１０）式と同様に定義できる。ここで、ＬＤＣＲＦの場合、Ｓｈ'→ｈ、Ｔｈは以下に示す（１１）式、（１２）式で表現される。
【００７７】
【数５】
2013235346.tif 000007
次に、ＬＤＣＲＦの場合、時刻ｎで、ｙ＝ｙｎの確率は、以下に示す（１３）式のようになる。
【００７８】
【数６】
2013235346.tif 000008
また、モデルパラメータθを学習するには、上述した（１３）式を利用して求めることができる学習データセット（出力系列データセット｛ｙｎ｝）の尤度が最大になるθを求めればよいことになる。
【００７９】
学習データセット（出力系列データセット｛ｙｎ｝）の尤度を求めるには、以下に示す（１４）式のｌｏｇ関数の和の最大値を求める最適化処理と等価である。
【００８０】
【数７】
2013235346.tif 000009
ここで、最適化処理の結果が学習データにオーバーフィッティングすることを防ぐために正規化項を付加し、その正規化項を取り入れて、以下に示す（１５）式について最大になるようにθを求める最適化処理を行うことになる。
【００８１】
【数８】
2013235346.tif 000010
なお、上述した（１５）式において、ＬＰ(θ)は、上述した（７）式の右辺第１項に相当する。ここで、最適化処理は、例えば上述した（１５）式のＬ（θ）のθに対する勾配ベクトルを求めて、最急降下法等の処理を適用することにより実現できる。勾配ベクトルを求める場合には、上述した（１４）式、（１５）式の内容より、上述した（１３）式の勾配ベクトルを求めることができれば、残りの演算は、簡単な和減算で計算できることがわかる。以下に、（１３）式のみの勾配ベクトルのｉ成分の計算過程を（１６）式に示す。
【００８２】
【数９】
2013235346.tif 000011
上述した（１６）式を計算するためには、隠れ状態ｈでの存在確率ｐｈ（ｎ）とその確率のθに対する偏微分値（∂ｐｈ（ｎ）／∂θ）の計算が必要となる。本実施形態では、これらの値の計算を漸化的に求めるプログラミング手段を導入することによって効率的に計算している。
【００８３】
＜存在確率ｐｈ（ｎ）と偏微分値（∂ｐｈ（ｎ）／∂θ）の漸化計算＞
ここで、存在確率ｐｈ（ｎ）の計算は、上述した（８）式、（９）式の手順で漸化的に求めることができる。また、偏微分値（∂ｐｈ（ｎ）／∂θ）の計算は、漸化的に以下に示す（１７）式、（１８）式の手順で求めることができる。
【００８４】
【数１０】
2013235346.tif 000012
なお、上述した（１８）式における「∂／∂θ（ｐｈ'（ｎ−１）・Ｓｈ'→ｈＴｈ）」は、以下に示す（１９）式より導くことができる。
【００８５】
【数１１】
2013235346.tif 000013
上述した（１９）式の内容より、偏微分値（∂ｐｈ（ｎ）／∂θ）についても時刻ｎ−１のｐｈ（ｎ−１）、∂ｐｈ（ｎ）／∂θより漸化的に計算できることが分かる。
【００８６】
また、∂／∂θ（Ｓｈ'→ｈＴｈ）については、ＬＤＣＲＦのような指数関数族で表現される統計モデルの場合、解析的に求めることができる。以下に、上述した（１１）式、（１２）式に対応する計算式を（２０）式に示す。
【００８７】
【数１２】
2013235346.tif 000014
なお、上述した（２０）式では、Ｓｈ'→ｈとＴｈに対応する素性関数群を｛ｆｋ（ｈ',ｈ,ｘ）｝として１つの形式で表現している。上述した（１７）式〜（２０）式により、偏微分値（∂ｐｈ（ｎ）／∂θ）の計算が漸化的に求めることができることが分かる。
【００８８】
なお、上述した手法では、初期値の選定が必要となってくるが、初期値の選定では、対象となる時系列データの事前知識等を用いて初期化することも可能である。なお、事前知識が利用できない場合には、例えば以下の（２１）式、（２２）式に示すように初期値を割り当ててもよい。
【００８９】
【数１３】
2013235346.tif 000015
ここで、Ｎｕｍ（ｈ）は隠れ状態数を表す。
【００９０】
＜リアルタイム認識処理と学習処理との関係＞
ここで、上述したリアルタイム認識処理と学習処理との関係について具体的に説明する。上述した本実施形態における認識処理と学習処理の統計モデルでは、以下の（２３）式、（２４）式で表現されているように、現在の確率予測を過去データと現在データのみから計算している。
【００９１】
【数１４】
2013235346.tif 000016
認識処理におけるｐｈ（ｔ）は時刻ｔの時に状態ｈに存在する確率を表し、αｈ（ｔ）はｐｈ（ｔ）を漸化的に計算するために導入した前向き変数と呼ばれる変数である。
【００９２】
学習処理におけるｐ（ｄ）ｈ（ｎ）は、認識処理のｐｈ（ｔ）と意味的には同じであるが、学習処理の場合は、学習データが複数個存在するためにそれらを区別するために添え字が付加されている。
【００９３】
ここで、図６は、学習処理のデータの区別を模式的に示した図である。図６の例では、複数種類（Ｄ種類）の時系列データと、各データのＮｄ個ポイントの時系列データの関係を示している。なお、図６中のそれぞれの「○」は、観測データｘ、隠れ状態ｈ、出力ラベルｙの組み合わせを表すもので、例えば、d番目の時系列データにおけるｎ番目の「〇」に相当するデータの組み合わせは、（ｘ（ｄ）（ｎ），ｈ（ｄ）（ｎ），ｙ（ｄ）（ｎ））と表現できる。ここで、観測データは、ベクトルである。したがって、d番目の時系列シーケンスは、｛（ｘ（ｄ）（１），ｈ（ｄ）（１），ｙ（ｄ）（１）），・・・，（ｘ（ｄ）（ｎｄ），ｈ（ｄ）（ｎｄ），ｙ（ｄ）（ｎｄ））｝となる。
【００９４】
つまり、時系列シーケンスをD個用意して学習を行うことになる。なお、学習データでは、観測データｘと出力ラベルｙが既知の値であり、隠れ状態hについては学習の過程で割り振られる値である。
【００９５】
ここで、上述した（２４）式において、添え字のｄが、複数の時系列データの中でどの時系列データであるかを示し、添え字ｎは、その時系列データの中での時間位置を表すものである。また、添え字ｈは、複数の状態の中での状態を特定するものである。上述したＬＤＣＲＦの場合には、複数の状態で構成される集合に対応して出力であるｙが割り当てられている。そのため、上述した（２４）式のΣの下は、ｈ∈Ｈｙｎの表現となっている。
【００９６】
図７は、ＬＤＣＲＦの状態と出力の関係の一例を示す図である。図７の例では、ＬＤＣＲＦにおける隠れ状態（ｓｔａｔｅ）間での時間（ｔｉｍｅ）遷移の様子を示している。なお、図７中の矢印は、時刻間の遷移を示している。ＬＤＣＲＦでは、時刻ｎ−１から時刻ｎに状態が変化していくが、これらの状態は内部状態のため外部からは観測できない。そのため、どのくらいの確率で状態が遷移して、時刻ｎにおいてどれぐらいの確率でどの状態にあるかを示す確率モデルで考える必要がある。
【００９７】
ここで、時刻ｎにおける状態は、時刻ｎ−１のどの隠れ状態からも遷移してきた結果と考えられる。そのため、時刻ｎにおける隠れ状態の存在確率は、図７中のΣ記号にあるように、全ての遷移の確率を加算したものがベースとなる。最終的な時刻ｎにおける状態の存在確率は、この遷移確率の和に、その状態の観測データの尤度確率を掛け合わせたものとなる。なお、ＬＤＣＲＦの場合は、出力ラベルが複数の隠れ状態を取るため、特定の出力ラベルの確率は、その出力ラベルに相当する隠れ状態の和として計算される。したがって、ＬＤＣＲＦの状態とその時間遷移によって、それぞれに対応する集合ラベルが出力される。
以上のことを考慮し、以下に、認識処理、学習処理の具体例を、フローチャートを用いて説明する。
【００９８】
＜認識処理の具体例＞
図８は、認識処理の具体例を示すフローチャートである。図８において、認識処理は、まず初期化処理としてｎ＝０とし、全ての状態ｈについて、上述した（２１）式に示すようにｐｈ（ｎ）の初期値を設定し、出力ｙ＊の値をランダムに選択する（Ｓ２１）。つまり、上述した（２１）式により、状態ｈが出現する確率が均等になるように割り付けるための処理を行う。
【００９９】
次に、認識処理は、ｎをインクリメント（ｎ＝ｎ＋１）し（Ｓ２２）、ｈ＝１,・・・,ｎｕｍ（ｈ）について、上述した（１０）式、（９）式を用いてαｈ（ｎ）、ｐｈ（ｎ）の計算を行う（Ｓ２３）。なお、上述した（１０）式では、現時刻における状態ｈの出現確率を定義している。ここで、Ｓｈ'→ｈは、前の時刻ｎ−１から現時刻ｎに状態が遷移する指標を表す変数であり、Ｔｈは、現時刻ｎの状態がｈである確からしさを表す指標を表す変数である。また、上述した（９）式では、（１０）式で求めた現時刻ｎでの各状態ｈにおける存在する確からしさを確率変数に直す処理を行う。
【０１００】
その後、認識処理は、上述した（８）式を用いて時刻ｎの時のｙｎ＊を出力する（Ｓ２４）。つまり、（８）式では、各出力状態ｙｎについて、そのｙｎに属する隠れ状態ｈの存在確率を加算し、その和が最大になる出力状態ｙｎ＊を求める。
【０１０１】
ここで、認識処理は、処理終了か否かを判断し（Ｓ２５）、処理を終了しない場合（Ｓ２５において、ＮＯ）、Ｓ２２の処理に戻る。また、認識処理は、例えばユーザの終了指示や全ての状態ｈについて処理された場合等により処理を終了する場合（Ｓ２５において、ＹＥＳ）、認識処理を終了する。つまり、図８の認識処理では、時刻０について初期化した後、認識処理の数式を時間方向に漸化的に実行している手順となっている。
【０１０２】
＜学習処理の具体例＞
次に、上述した本実施形態における認識処理を実施するための学習処理の具体例について説明する。図９は、学習処理の具体例を示すフローチャートである。
【０１０３】
本実施形態における学習処理では、上述した（２４）式に示すように、目的関数Ｌ'（θ）を最大にするモデルパラメータθを求めることに帰着するため、様々な最適化手法を用いることができる。ここでは、一例として、最もシンプルな最急降下法を用いた例について説明する。最急降下法は、関数を最小にするパラメータを求める手法であるため、本実施形態の問題に適用するためには、目的関数Ｌ'（θ）の符号を反転させることになる。
【０１０４】
図９に示す学習処理は、まず初期値を設定する（Ｓ３１）。具体的には、θ（０）をランダムに決める。次に、学習処理は、▽Ｌ（θ（ｋ））の計算を行う（Ｓ３２）。ここで、▽Ｌ（θ（ｋ））は、Ｌ（θ（ｋ））の勾配を表す。極値を取る場合、この値が０になることを利用して、Ｌ（θ）の最大値を取るθを求める。
【０１０５】
次に、学習処理は、Ｓ３２の処理により計算した▽Ｌ（θ（ｋ））の値が、ε又はｋの最大値（ｋ＝ＭＡＸ＿Ｋ）より小さいか否かを判断する（Ｓ３３）。ここで、εは、予め設定されたごく小さな値を示し、例えば▽Ｌ（θ（ｋ））の値がほぼ０になったことを表すための値である。なお、εは経験的に定めるのが一般的であるがこれに限定されるものではない。また、ｋは、変数を示す。
【０１０６】
学習処理は、▽Ｌ（θ（ｋ））の値が、ε又はｋ＝ＭＡＸ＿Ｋより小さくない場合（Ｓ３３において、ＮＯ）、θ（ｋ＋１）の値を計算する（Ｓ３４）。具体的には、「θ（ｋ＋１）＝θ（ｋ）−α・▽Ｌ（θ（ｋ））」によりθ（ｋ＋１）の値を計算する。なお、上述の式は、現在のθ（ｋ）から段階的に極値を取るθ＊に近づいていくように調整する式であり、極値θ＊に向かう勾配方向にθ（ｋ）→θ（ｋ＋１）と調整していく。
【０１０７】
また、学習処理は、ｋの値をインクリメント（＋１）して（Ｓ３５）、Ｓ３２の処理に戻る。
【０１０８】
また、学習処理は、▽Ｌ（θ（ｋ））の値が、ε又はｋ＝ＭＡＸ＿Ｋより小さい場合（Ｓ３３において、ＹＥＳ）、θ＊＝θ（ｋ）として出力する（Ｓ３６）。なお、本実施形態では、他にも様々な最適化手法を用いることができるが、基本的な構成は、図９で示すように、目的関数を複数のパラメータで偏微分した勾配ベクトル▽Ｌ（θ）を求めて、それを活用して最適化するものである。そのため、提案手法でもＬ（θ）の偏微分を求めることができれば、従来の最適化手法を適応することができる。
【０１０９】
＜他の実施形態＞
ここで、上述した実施形態では、ＬＤＣＲＦを用いて説明したが、本発明においてはこれに限定されるものではなく、例えばＣＲＦを用いることができる。ＬＤＣＲＦは、ＣＲＦの拡張版であり、ＬＤＣＲＦで状態ｈと出力系列ｙが１対１に対応しているのがＣＲＦである。そのため、上述した手法をＣＲＦの場合にも簡単に適用できる。具体的には、上述した（８）式から（１６）式までで、Σのｈ∈Ｈｙｎの項を削除して計算したものがＣＲＦに適用したものとなる。
【０１１０】
特に、ＣＲＦを用いた学習処理では、入力の観測時系列データのどの時間の信号も素性関数の変数として扱うことができ、柔軟な素性関数を組むことができる。なお、上述したＣＲＦについては、例えば「Ｊ．Ｌａｆｆｅｒｔｙ，  Ａ．ＭｃＣａｌｌｕｍ，  ａｎｄ  Ｆ．Ｐｅｒｅｉｒａ．"Ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄｓ：ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｍｏｄｅｌｓ  ｆｏｒ  ｓｅｇｍｅｎｔｉｎｇ  ａｎｄ  ｌａｂｅｌｉｎｇ  ｓｅｑｕｅｎｃｅ  ｄａｔａ，"Ｐｒｏｃ．１８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆ．  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，２００１」等に示されている。
【０１１１】
＜補足１：学習データの生成例＞
ここで、上述した学習処理で得られる学習データの生成例については、例えば本出願人により出願された特願２０１２−１３４５２号に記載された手法を用いることができるが、これに限定されるものではない。ここで、補足として学習データの生成例について説明する。
【０１１２】
図１０は、学習データの生成例を説明するための図である。なお、図１０の例では、上述した図３に示す認識システム２０に対応させ、例えば視聴状況がテレビ番組を見ている時の興味度とし、システムの入力信号として顔の向き情報（Ｄｉｒ）、体の静止状態（Ｍｏｖ）、表情変化（Ｅｘｐ）、及び、タブレット等の携帯情報端末の操作情報（Ｔａｂ）とした場合の学習データの組を示している。なお、学習データとなる情報の種類については、これに限定されるものではない。
【０１１３】
図１０は、入力信号として、番組視聴時の観測データから、単位時間毎にヒストグラムから求めた代表値の単位時間毎のデータに変換した時系列信号を表している。また、図１０では、視聴状況の興味度として、その時点における興味ある（Ｃｕｒｉ）／なし（Ｎｏｎ）の興味判定（Ｃｕｒ）を表している。なお、興味判定は、学習データを生成させるために管理者等が主観的に付加した興味マーカである。
【０１１４】
ここで、素性関数は、これらの入力信号から興味に関係する相互作用を記述すればよい。例えば、以下に示す（２５）式〜（２７）式での観測信号列ｘが関係する素性関数として、１又は複数の論理関数（例えば、｛ｆｉ（ｘ，ｙｔ）｝，｛ｇｊ（ｙｔ−１，ｙｔ）｝）を生成することができる。
【０１１５】
【数１５】
2013235346.tif 000017
ここで、上述した（２５）式において、ｐ（）は確率分布を示し、Ｚ（）は正規化項（ノーマライズ関数）を示し、ｅｘｐ（）は、ｅを底とする数値のべき乗を求める関数を示している。また、（２５）式において、ｘは観測信号列（時系列シンボル列）を示し、ｙは各ｘ、ｔにおける隠れ状態の出力値（例えば、興味度の判定結果等）、ｔは時間を示している。なお、隠れ状態とは、例えば視聴者に対する目に見えない状態（例えば、興味がある・ない）等を意味するが、これに限定されるものではない。また、上述した（２５）式において、Ｚ（）は、（２６）式で定義され、Ｆ（）は（２７）式で定義される。
【０１１６】
上述した（２５）式〜（２７）式におけるｙとｙ'については、数式の表現の便宜上、ｙは１通りの状態ベクトルを表すのに対し、ｙ'はΣで和を取る全ての状態ベクトルを表していることを強調するために違う表現を用いているだけであり、同じｙを用いてもよい。
【０１１７】
また、（２７）式におけるｆｉ（），ｇｊ（）は、素性関数と呼ばれ、時系列の観測データ（例えば、上述した観測情報や操作履歴情報、操作情報等を含む）やラベリングデータを変数とした関数である。具体的には、ｆｉ（）は、同期処理した結果のｘの相互作用を表現する素性であり、例えばある状態のときに、観測された同期を取ったシンボル列が、どういう状態であれば、最も興味を感じているかを見つけるための関数を示している。また、ｇｊ（）は、状態変数であるｙの遷移に依存する素性であり、例えばある状態から次の状態に対して、時間の経過にしたがって、どのように遷移するかという移り易さを示す関数を示している。
【０１１８】
なお、本実施形態では、上述した（２５）式〜（２７）式以外にも観測データ列とラベリングデータ列との間に予め設定された隠れ層を有した構造のものも存在するが、何れの手法でも本実施形態に適用することができる。
【０１１９】
＜補足２：素性関数群データベース２７の具体例＞
また、上述した素性関数群データベース２７の具体例については、例えば本出願人により出願された特願２０１２−１３４５２号に記載された手法を用いることができるが、これに限定されるものではない。ここで、補足として論理関数群データベースの一例について説明する。図１１は、論理関数群データベースの一例を示す図である。図１１に示す素性関数群データベース２７の具体例では、素性関数の例として、ｆ０〜ｆ２０の論理関数群が示されている。なお、図１１に示す論理関数において、Ｄｉｒは「顔の向き情報」を示し、Ｍｏｖは「体の静止状態」を示し、Ｅｘｐは「表情変化」を示し、Ｔａｂは「タブレット等の携帯情報端末の操作情報」を示している。
【０１２０】
更に、図１１に示すＦｒｏｎｔ、ＴＢ、Ｐｏｓ、Ｎｅｇ、Ｃｈ、Ｎｏｎ等のシンボルは、例えば顔向き情報、表情変化、操作情報等の状態を個別に表すシンボルを表すものである。具体的には、Ｆｒｏｎｔは「前向き」、ＴＢは「普通の端末操作あり」、Ｐｏｓは「積極的な操作あり」、Ｎｅｇは「消極的な端末操作あり」、Ｃｈは「端末操作でチャンネル切替あり」、Ｎｏｎは「何もしない」を表すシンボルである。また、ｔは、時間を示している。ここで、上述した操作情報のシンボルの一例であるＴＢ，Ｐｏｓ，Ｎｅｇについて更に具体的に説明する。これらのシンボルは、例えばシステム設計の段階で、主観的にタブレット端末等の携帯情報端末の操作に対して付加するものであり、その操作が現在視聴している番組コンテンツに対してどのくらい関係しているかを表現したシンボルである。
【０１２１】
一般的に、携帯情報端末等を操作しながらテレビを視聴している場合には、携帯情報端末上のいろいろな機能を使うことが想定される。そこで、例えばその操作が、テレビ番組に関係した調べものを行う場合等のように、番組と関連した操作のときにはＰｏｓを、明らかに番組とは関係ない調べものやメール等の入力等をしているときにはＮｅｇを、そのどちらでもなく漫然と端末を操作しているときにはＴＢが付加される。本実施形態では、上述したような端末操作により、ユーザの番組に対する興味度等を、より高精度に推定することができる。
【０１２２】
例えば、Ｄｉｒ（ｔ）＝Ｆｒｏｎｔは、「顔の向きが時刻ｔのとき正面を向いている」という状態を表すことになる。本実施形態では、上述したようにそれぞれのシンボルで状態を個別に識別し、これらを組み合わせることで、図１１に示すような論理を組むことができる。なお、論理関数の種類や数、順序、内容等については、これに限定されるものではない。
【０１２３】
本実施形態では、図１１のように選定された関数群の出力が、時系列の素性ベクトル信号の構成要素であり、（１）式におけるｆの部分となる。また、図１１に示すｆ０〜ｆ２０までの素性関数では変数としてラベリング状態（出力値）ｙを省略しているが、実際には各ラベリング状態毎にｆ０〜ｆ２０までの素性関数出力が計算されることになる。
【０１２４】
ここで、本実施形態における素性関数の具体的な処理の例として、図１１に示すｆ０、ｆ１７、ｆ１８を例にあげて説明する。ｆ０の素性関数は、例えば時刻ｔの時に顔向きが正面を向いて、表情変化があり、かつ、静止状態である場合に、時刻ｔの出力として'１'を出す論理となっている。
【０１２５】
また、ｆ１７の素性関数は、例えば時刻ｔの時に端末操作でチャンネル切り替えをした場合に、時刻ｔの出力として'１'を出す論理となっている。また、ｆ１８の素性関数は、例えば全ての入力状態を加味した論理で、時刻ｔ−１でチャンネル切り替えがあり、なおかつ、時刻ｔで顔が正面を向き、更に時刻ｔ＋１で顔が正面を向いているか、或いは、静止している場合に、時刻ｔの出力として'１'を出す論理となっている。
【０１２６】
本実施形態では、このような１又は複数の素性関数を入力から組み上げて学習処理をすることで、それぞれの素性関数要素毎に個別のパラメータθｉが算出されることになる。
【０１２７】
＜本実施形態の適用結果＞
次に、上述した本実施形態を適用した状況認識結果について説明する。図１２は、本実施形態の適用結果の一例を示す図である。なお、図１２の例では、例えば、８人の被験者から取得した視聴データに対して上述した認識処理を行い、その結果を用いて興味度を推定した結果を示している。また、図１２の例では、以下の３通り（Ｃａｓｅ）について視聴時の興味度がどのくらいの精度で推定できるかを示している。
【０１２８】
＜Ｃａｓｅ１＞
（学習処理）従来の未来、現在、過去の全てのデータを使っての学習
（認識処理）従来の未来、現在、過去の全てのデータを使っての認識
＜Ｃａｓｅ２＞
（学習処理）従来の未来、現在、過去の全てのデータを使っての学習
（認識処理）提案手法の現在、過去のみのデータを使っての認識
＜Ｃａｓｅ３＞
（学習処理）提案手法の現在、過去のみのデータを使っての学習
（認識処理）提案手法の現在、過去のみのデータを使っての認識
その結果、図１１に示すように、Ｃａｓｅ１では、７１．４％の推定精度であり、Ｃａｓｅ２では、６３．９％の推定精度であり、Ｃａｓｅ３では、６９．５％の推定精度であった。この結果によれば、Ｃａｓｅ１の場合に最も推定精度が高いが、未来のデータを用いているためリアルタイム処理には適さない。本実施形態で学習、認識の両方を行った結果では、Ｃａｓｅ１と比較しても遜色ない結果であるにも関わらず、従来よりも迅速に、認識ラベル信号列の出力やその信号列から得られる興味度の推定を行えることが確認できた。
【０１２９】
なお、上述した本実施形態では、視聴状況の出力内容の例として、認識結果から得られる番組の興味度の推定について説明したが、これに限定されるものではなく、例えば興味の内容や視聴者の嗜好等を推定してもよい。
【０１３０】
＜実行プログラム（認識プログラム）＞
ここで、上述した認識装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェイスを備えたコンピュータによって構成することができる。
【０１３１】
したがって、認識装置１０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、このプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１３２】
つまり、本実施形態では、上述した各構成における処理をコンピュータ（ハードウェア）に実行させるための実行プログラム（認識プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、上述したハードウェアと、プログラム等からなるソフトウェアとを協働させて、上述した認識・識別処理等を実現することができる。
【０１３３】
上述したように本発明によれば、時系列データを用いて迅速に状況の認識・識別等を行うことができる。したがって、時系列データからそのデータ群が意味するところを認識・識別し、時系列データの現時点での認識・識別結果をリアルタイムに出力することで、例えば視聴者等の興味度推定等への応用が可能である。
【０１３４】
なお、上述した本実施形態で用いられた所定の目的に対応する時系列観測データは、番組視聴に対応する時系列観測データに限定されるものではなく、ある動作や操作等を行っている対象者の時系列観測データであってもよい。具体的には、例えば車の運転や、勉強、仕事、治療、美術鑑賞等を行っている対象者の時系列観測データであってもよく、その場合には、本発明を適用することで、それぞれの目的に対応した状況の認識・識別が可能となる。
【０１３５】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１３６】
１０  認識装置
１１  統計学習手段
１２  モデルパラメータ記憶手段
１３  リアルタイム認識手段
２０  認識システム
２１  情報取得手段
２２  解析手段
２３  ヒストグラム生成手段
２４  代表値選定手段
２５  同期シンボル列生成手段
２６  変換手段
２７  素性関数群データベース
２８  学習データベース
【図１】
2013235346.tif 000018
【図２】
2013235346.tif 000019
【図３】
2013235346.tif 000020
【図４】
2013235346.tif 000021
【図５】
2013235346.tif 000022
【図６】
2013235346.tif 000023
【図７】
2013235346.tif 000024
【図８】
2013235346.tif 000025
【図９】
2013235346.tif 000026
【図１０】
2013235346.tif 000027
【図１１】
2013235346.tif 000028
【図１２】
2013235346.tif 000029