(57)【特許請求の範囲】
【請求項１】
視聴者の番組視聴時に得られる視聴者情報に基づいて視聴状況を認識する視聴状況認識装置において、
前記視聴者情報として得られる複数の異なるデータからヒストグラムデータを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により得られるヒストグラムデータから単位時間毎の代表値を選定する代表値選定手段と、
前記代表値選定手段により得られる代表値を用いて、前記複数の異なるデータを同期させた同期シンボル列を生成する同期シンボル列生成手段と、
前記同期シンボル列生成手段により得られる同期シンボル列に対して、予め設定された素性関数を用いて時系列素性ベクトル信号に変換する変換手段と、
前記変換手段により得られる時系列素性ベクトル信号を、予め設定された重み付けを示す学習パラメータを用いて統合し、前記視聴者の視聴状況を認識する統合手段とを有することを特徴とする視聴状況認識装置。
【請求項２】
前記変換手段により得られる時系列素性ベクトル信号と、予め設定された正解の視聴状況データとに基づいて統計的学習により前記学習パラメータを生成する統計的学習手段を有することを特徴とする請求項１に記載の視聴状況認識装置。
【請求項３】
前記統計的学習手段は、
前記同期シンボル列生成手段により得られた複数の同期シンボル列間の関係に基づいて、新たに複数の時系列シンボル列を生成し、前記時系列シンボル列から予め設定された機械学習処理により前記学習パラメータを生成することを特徴とする請求項２に記載の視聴状況認識装置。
【請求項４】
前記ヒストグラム生成手段は、
複数の異なる単位時間に基づいてヒストグラムを生成することを特徴とする請求項１乃至３の何れか１項に記載の視聴状況認識装置。
【請求項５】
前記正解の視聴状況データの基となる情報を前記視聴者の足の操作により入力する足操作手段を有することを特徴とする請求項２又は３に記載の視聴状況認識装置。
【請求項６】
視聴者の番組視聴時に得られる視聴者情報に基づいて視聴状況を認識する視聴状況認識プログラムにおいて、
コンピュータを、
前記視聴者情報として得られる複数の異なるデータからヒストグラムデータを生成するヒストグラム生成手段、
前記ヒストグラム生成手段により得られるヒストグラムデータから単位時間毎の代表値を選定する代表値選定手段、
前記代表値選定手段により得られる代表値を用いて、前記複数の異なるデータを同期させた同期シンボル列を生成する同期シンボル列生成手段、
前記同期シンボル列生成手段により得られる同期シンボル列に対して、予め設定された素性関数を用いて時系列素性ベクトル信号に変換する変換手段、及び、
前記変換手段により得られる時系列素性ベクトル信号を、予め設定された重み付けを示す学習パラメータを用いて統合し、前記視聴者の視聴状況を認識する統合手段として機能させるための視聴状況認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴状況認識装置及び視聴状況認識プログラムに係り、特に、視聴者の視聴状況を高精度に認識するための視聴状況認識装置及び視聴状況認識プログラムに関する。
【背景技術】
【０００２】
従来では、視聴状況の認識や推定を行う技術が存在する。このような技術は、例えばテレビの番組推薦機能の高度化や、視聴しているコンテンツと関連した情報の効果的な提示等を行う情報提供システム等に使用されている。
【０００３】
上述したシステムで使用されている技術としては、例えば機器の操作履歴を解析することで視聴状況を認識する手法が存在する（例えば、特許文献１及び特許文献２参照）。特許文献１に示されている手法では、機器のリモコンの操作情報をシステム設計者が決めたルールに合致するかどうかで視聴状況の認識出力を行っている。また、特許文献２に示されている手法では、入力情報をリモコン操作ではなく、ＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）や携帯電話、カーナビゲーションシステム、家電等の広範囲な事象を扱うようになっている。
【０００４】
また、従来では、画像や音声等のユーザの振る舞いを観測して得られるデータを解析して視聴状況を推定する手法が知られている（例えば、特許文献３参照）。特許文献３に示されている手法では、カメラやマイクで観測した映像、音声データから表情認識や視線検出、感情表現検出等の画像認識処理、音声認識処理を介して視聴状況を推定している。
【０００５】
更に、従来では、視聴者の画像、音声等のセンサから得られるデータと、操作履歴やシステムへのフィードバック入力情報等の視聴者が直接入力するインタラクションデータとを統合して、視聴状況を推定する手法が知られている（例えば、特許文献４参照）。特許文献４に示されている手法では、センサから得られるデータを反応データ、インタラクションデータを視聴データと称して、両者の時間的な同期を取ってそれぞれの信号の重み付け変数を変えた線形和出力を閾値処理することにより状況認識の結果を出力している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３６９０９０号公報
【特許文献２】特開２００５−１９０４２１号公報
【特許文献３】特開２００６−２６０２７５号公報
【特許文献４】特開２００５−１４２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に示されているような手法では、リモコンの操作情報をシステム設計者が決めたルールに合致するかどうかで視聴状況の認識出力を行っているため、その判断の基になるルールが主観的になりがちとなる。また、特許文献１に示されている手法では、ルールベースでの判断であるため、複雑な事象への対応が難しくなると同時に拡張性にも乏しくなるといった課題がある。
【０００８】
また、特許文献２に示されているような手法では、情報の入力として、より広範囲な事象を扱うようにはなっているが、状況認識はルールとの照合となるため、上述したルールベースの判断に付随する課題を有している。また、特許文献１及び特許文献２は、共に事象単位での処理のため、テレビ視聴のような時系列で連続的な事象との時間的な関係が曖昧となる課題もある。更に、特許文献１及び特許文献２は、共に機器の操作履歴や行動履歴等のようなユーザが意識的にシステムに入力できるデータのみでの処理となってしまう。
【０００９】
また、特許文献３に示されているような手法では、認識出力結果を加工せず、システム設計者が予め設定した視聴状況のＩＤを割り当てる構成となっており、視聴状況の種類が大きくなりすぎる課題がある。また、特許文献３に示されているような手法では、画像認識、音声認識結果のみを使用しているため、高精度な認識処理を実現することはできない。
【００１０】
更に、特許文献４に示されているような手法では、統合される信号に付随したタイムスタンプにより時間的な同期を行っており、入力される個別の信号の時間的なズレまで考慮した同期方法とは言い難い。また、特許文献４に示されているような手法では、統合の方法自体、入力の反応データ、視聴データにアドホック的に設定した重み付け変数や閾値処理から構成されており、信号間の相互作用や入力データの性質を考慮した客観的な方法でなく、システム設計者の主観によるところが多い。
【００１１】
つまり、従来手法では、状況認識を行うに当たってルールベースを中心としたシステム設計者側の主観で決定したルールで行っており、またアドホック的なプログラム設計での対応となってしまう。
【００１２】
本発明は、上述した問題点に鑑みなされたものであり、視聴者の視聴状況を高精度に認識するための視聴状況認識装置及び視聴状況認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１４】
本発明は、視聴者の番組視聴時に得られる視聴者情報に基づいて視聴状況を認識する視聴状況認識装置において、前記視聴者情報として得られる複数の異なるデータからヒストグラムデータを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により得られるヒストグラムデータから単位時間毎の代表値を選定する代表値選定手段と、前記代表値選定手段により得られる代表値を用いて、前記複数の異なるデータを同期させた同期シンボル列を生成する同期シンボル列生成手段と、前記同期シンボル列生成手段により得られる同期シンボル列に対して、予め設定された素性関数を用いて時系列素性ベクトル信号に変換する変換手段と、前記変換手段により得られる時系列素性ベクトル信号を、予め設定された重み付けを示す学習パラメータを用いて統合し、前記視聴者の視聴状況を認識する統合手段とを有することを特徴とする。
【００１５】
また本発明は、視聴者の番組視聴時に得られる視聴者情報に基づいて視聴状況を認識する視聴状況認識プログラムにおいて、コンピュータを、前記視聴者情報として得られる複数の異なるデータからヒストグラムデータを生成するヒストグラム生成手段、前記ヒストグラム生成手段により得られるヒストグラムデータから単位時間毎の代表値を選定する代表値選定手段、前記代表値選定手段により得られる代表値を用いて、前記複数の異なるデータを同期させた同期シンボル列を生成する同期シンボル列生成手段、前記同期シンボル列生成手段により得られる同期シンボル列に対して、予め設定された素性関数を用いて時系列素性ベクトル信号に変換する変換手段、及び、前記変換手段により得られる時系列素性ベクトル信号を、予め設定された重み付けを示す学習パラメータを用いて統合し、前記視聴者の視聴状況を認識する統合手段として機能させる。
【発明の効果】
【００１６】
本発明によれば、視聴者の視聴状況を高精度に認識することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態における視聴状況認識装置の機能構成の一例を示す図である。
【図２】本実施形態における学習処理の一例を示すフローチャートである。
【図３】本実施形態における認識処理の一例を示すフローチャートである。
【図４】本実施形態における機械学習処理を利用した認識処理の流れを説明するための図である。
【図５】異なる複数のデータを用いた時系列の素性ベクトル信号の生成手順を説明するための図である。
【図６】学習データの生成例を説明するための図である。
【図７】論理関数群の一例を示す図である。
【図８】他の実施形態における視聴状況認識装置の機能構成の一例を示す図である。
【図９】他の実施形態の具体例な内容を説明するための図である。
【図１０】視聴状況のラベルと足操作との対応関係について説明するための図である。
【発明を実施するための形態】
【００１８】
＜本発明について＞
本発明は、例えば視聴者の視聴状況を認識する手法において、視聴状況認識に関する性質の異なる複数のデータを、それぞれの相互作用も取り入れて統計的に統合し、視聴状況の認識を効果的に行う。また、本発明は、システム設計者の主観によらず、視聴状況認識に関係するデータの性質を客観的、かつ、自動的に取り込むことができる拡張性の高い仕組みを構築する。
【００１９】
ここで、視聴状況認識に係るデータの種類は、視聴者毎の視聴環境等によって異なる。そのため、本発明では、視聴状況認識手法において、簡単に認識過程の仕組みを変えることができる仕組みを構築する。例えば、本発明の視聴状況認識手法では、まず、予め実環境に近い環境で取得した視聴状況の正解データを用いた学習処理で認識用の学習パラメータを取得し、その後、その学習パラメータを用いて視聴者毎の任意の入力信号に基づく視聴状況の認識処理を行い、認識結果に対応する視聴状況を出力する。
【００２０】
具体的には、本発明は、例えば時間単位（時間解像度）等の異なる複数の時系列の異種信号をある単位時間毎にその信号の性質を勘案してシンボル化し、統一的に時系列のシンボルベクトル列信号に変換する。また、本発明は、上述の過程で生成したシンボルベクトル列の各要素間の相互作用を記述する複数の素性関数を用意し、それぞれの関数出力を新たに時系列素性ベクトル信号として機械学習の入力信号とする。ここで、上述した素性関数の入力変数は、例えば上述にて得られた時系列のシンボルベクトル列の任意の時間における任意の要素を取ることができる構成とする。
【００２１】
また、上述した機械学習処理では、上述した時系列素性ベクトル信号を入力信号、目的の視聴状況を出力信号として学習処理を行い、入力と出力との関係を定式化して、その学習結果から得られる学習パラメータ等を蓄えておく。また、本発明では、視聴者毎の任意の入力信号から上述と同様の処理により得られる未知の時系列素性ベクトル信号にその定式化された学習パラメータ等を適用させて統合し視聴状況の値を決定する。これにより、本発明では、例えば視聴者のテレビ番組に対する興味度等を高精度に取得することができる。
【００２２】
なお、本発明では、学習処理での学習データ収集の際に、インタラクションデータの収集を自然な環境で行いながら視聴状況の正解データの収集をリアルタイムで、かつ、高精度に行えるように、例えばフットペダル等の足操作手段を用いて、視聴に対する興味レベルや興味の種類（方向）等を設定しながら、正解の視聴状況のラベリング処理を行うこともできる。
【００２３】
以下に、上述したような各特徴を有する本発明における視聴状況認識装置及び視聴状況認識プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２４】
＜視聴状況認識装置：機能構成例＞
本実施形態における視聴状況認識装置の機能構成例について図を用いて説明する。図１は、本実施形態における視聴状況認識装置の機能構成の一例を示す図である。図１に示す視聴状況認識装置１０は、情報取得手段１１と、解析手段１２と、ヒストグラム生成手段１３と、代表値選定手段１４と、同期シンボル列生成手段１５と、変換手段１６と、素性関数群データベース１７と、統計的学習手段１８と、学習データベース１９と、学習パラメータ記憶手段２０と、統合手段２１とを有するよう構成されている。
【００２５】
情報取得手段１１は、学習用の入力信号及び視聴者毎の視聴状況を認識するための認識用の任意の入力信号を取得する。なお、入力信号は、視聴者情報として取得されるものである。入力信号としては、例えばカメラ（撮像手段）等からのカメラ映像やマイク等の音声取得手段からの音声情報等の観測情報、テレビ等に対する遠隔操作手段（以下、「リモコン」という）による操作等の操作履歴情報等の異種データがある。
【００２６】
なお、本実施形態においては、上述した入力信号に種類に限定されるものではなく、例えば、テレビ等に対して遠隔操作したり、インターネット閲覧機能又はメール送受信機能等を有する携帯情報端末（例えば、スマートフォン、タブレット端末、ノートＰＣ、携帯電話、ゲーム機器等）の操作情報等を入力信号として用いることができる。
【００２７】
ここで、上述した入力信号には、それぞれ時間情報が付与されていることが好ましいが、本実施形態においてはこれに限定されるものではなく、例えば情報取得手段１１で各入力信号を取得した時点で、その時間情報を入力信号に付与してもよい。情報取得手段１１は、上述した１又は複数の入力信号を解析手段１２に出力する。
【００２８】
解析手段１２は、情報取得手段１１により得られる各入力信号を解析する。具体的には、解析手段１２は、カメラ映像を取得した場合には、視聴者の顔認識や顔の向き、表情、姿勢、行動（動作）等のうち、少なくとも１つを解析する。なお、本実施形態における視聴者とは、視聴状況認識装置１０において、例えば学習処理を行っている場合には、正解データを学習させるための実験者や管理者等が該当し、また認識処理を行っている場合には、一般の視聴者等が該当する。
【００２９】
例えば、上述した顔の向きや姿勢等については、例えばカメラ映像等から顔検出した領域に予め設定された複数の顔のテンプレート情報をマッチさせることにより，テレビ画面前に人物がいるかどうか、また人物がいる場合に顔がどちらの方向を向いているか等を認識する。また、上述した表情については、例えばカメラ映像等からテレビ視聴時の視聴者の顔表情の変化度を検出し、予め設定した閾値等に基づいて、顔表情が変化したかどうか等を出力する。更に、上述した行動については、例えばカメラ映像からテレビ視聴時に視聴者が動いているか静止しているかを判定し、その結果を２値出力する。判定は、視聴者の映像での時間差分量がある時間にわたって小さい場合に静止していると判定する。
【００３０】
更に、解析手段１２は、リモコンや携帯情報端末等で番組を切り替えたり、推薦番組を選択したりする等の操作情報を区分けしてシンボル情報として出力する。なお、上述した解析手法については、これに限定されるものではなく、他の手法を用いて同様の情報を取得してもよい。
【００３１】
ここで、例えばリモコンや携帯情報端末等から入力信号を取得している場合に、解析手段１２は、カメラ映像から視聴者の顔がリモコンや携帯情報端末の方向を向いているか等の姿勢や行動を解析する。つまり、解析手段１２は、性質の異なる複数のデータを用いて、それぞれの相互作用も取り入れた解析を行う。また、解析手段１２は、カメラ映像の輝度情報や映像に含まれる照明機器の電源のＯＮ／ＯＦＦ等により視聴者の周囲環境（例えば、夜、昼等）等も解析することもできる。
【００３２】
また、解析手段１２は、音声情報を取得した場合には、例えば音の強さや文章（言葉）の抽出等の音声解析や、音の調子の解析、音声解析等により得られる文章等に対する形態素解析、構文解析、意味解析等を行い、例えば視聴者が発した言葉の意味や、笑い声又は泣き声等の認識による感情情報、しゃべる速度や声の大きさ等の認識による性格情報等のうち、少なくとも１つを解析する。また、解析手段１２は、視聴者の周囲環境（例えば、騒音の有無等）等を解析することもできる。
【００３３】
また、解析手段１２は、リモコン等から得られる操作履歴情報から、例えばチャンネル切り替え内容や音量調整等の情報を取得する。
【００３４】
更に、解析手段１２は、携帯情報端末から得られる操作情報から、例えばインターネットによる閲覧をしているか否か、メールをしているか否か、テレビ操作の内容等を解析する。なお、解析手段１２は、リモコンや携帯情報端末等の操作履歴情報や操作情報等に基づいて、例えば予め設定されたテーブル情報を参照し、対応する解析結果を出力してもよい。
【００３５】
つまり、解析手段１２は、上述した解析により、各入力信号に対する時系列シンボル列を生成し、その各情報をヒストグラム生成手段１３に出力する。
【００３６】
ヒストグラム生成手段１３は、解析手段１２により得られる性質の異なる１又は複数のデータに基づいて、予め設定された単位時間毎にそれぞれの情報に対応するヒストグラムデータを生成し、入力信号の定量化（数値化）を行う。
【００３７】
具体的には、ヒストグラム生成手段１３は、視聴情報として異なる複数のデータが存在する場合には、それらの異なるデータを予め設定された時間単位で、そのデータの頻度を表すヒストグラムデータを生成する。これにより、後段の処理で、時間的に同期したシンボル列に直して統一的に扱うことができる。
【００３８】
更に、ヒストグラム生成手段１３は、予め複数の単位時間を設定し、その設定した単位時間毎にヒストグラムデータを生成してもよい。これにより、本実施形態では、単位時間の異なるシンボル列で表現されたデータ間の相互作用も考慮した視聴状況の学習処理又は認識処理を行うことができる。ヒストグラム生成手段１３は、生成されたヒストグラムデータを代表値選定手段１４及び同期シンボル列生成手段１５に出力する。
【００３９】
代表値選定手段１４は、ヒストグラム生成手段１３により得られるヒストグラムデータに基づいて代表値を選定する。なお、本実施形態における代表値とは、例えば同一データに対するヒストグラムデータの最大頻度（最大値）又は最小頻度（最小値）の値であってもよいが、これに限定されるものではなく、例えばヒストグラムデータの合計値や平均値であってもよい。
【００４０】
具体的には、例えば入力信号が番組チャンネルの切り替えや音量調整等の操作の種類を示すシンボル列の場合には、その単位時間で最も頻繁に行った操作のシンボルが代表値の出力となる。代表値選定手段１４は、選定した代表値を同期シンボル列生成手段１５に出力する。
【００４１】
同期シンボル列生成手段１５は、ヒストグラム生成手段１３により得られるヒストグラムデータ及び代表値選定手段１４により得られる代表値データに基づいて、同期シンボル列を生成する。視聴者がテレビ番組等を視聴している際に取得される複数の異なるデータ（要素）は、それぞれの基準時間間隔が異なる。そのため、同期シンボル列生成手段１５は、各データ間の時間の同期を取るために、それぞれのデータを同期させた代表値のシンボル列を生成する。また、同期シンボル列生成手段１５は、生成した同期シンボル列を変換手段１６に出力する。
【００４２】
変換手段１６は、予め素性関数群データベース１７に記憶されている１又は複数の素性関数に基づいて、同期シンボル列生成手段１５により得られるシンボル列の変換処理を行い、同期した時系列素性ベクトル信号を生成する。なお、素性関数とは、ある１つの入力に対してどのような出力を出すかが予め設定された関数であり、例えば複数の素性関数を用いることで、シンボル化されたデータ列から更にシンボル化された複数のデータ列を生成することができる。
【００４３】
ここで、変換手段１６は、学習用の入力信号に基づく学習処理を行っている場合には、生成した時系列素性ベクトル信号を統計的学習手段１８に出力する。また、変換手段１６は、認識用の任意の入力信号に基づく認識処理を行っている場合には、生成した時系列素性ベクトル信号を統合手段２１に出力する。
【００４４】
統計的学習手段１８は、変換手段１６により得られる時系列素性ベクトル信号と、予め学習データベース１９に設定されている正解の視聴状況ラベルデータ（正解の視聴状況データ）とに基づいて、機械学習処理により学習パラメータを取得する。なお、本実施形態における機械学習処理には、例えばＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）等を用いることができるが、本実施形態においてはＣＲＦに限定されるものではなく、時系列のベクトル列を扱うことができる他の機械学習処理等を用いることができる。
【００４５】
具体的には、統計的学習手段１８は、上述した過程で得られた時間的に同期した時系列のシンボル列間の関係を記述し、新たに複数の時系列シンボル列（例えば、素性シンボル列）を生成し、生成したシンボル列をＣＲＦ等の機械学習処理を用いて、視聴状況の認識処理用の学習パラメータを取得することもできる。統計的学習手段１８は、取得した学習パラメータを学習パラメータ記憶手段２０に出力する。
【００４６】
学習パラメータ記憶手段２０は、統計的学習手段１８から得られる学習パラメータを記憶する。
【００４７】
統合手段２１は、変換手段１６により得られる時系列素性ベクトル信号に対して、学習パラメータ記憶手段２０により得られる学習パラメータに基づいて統合処理を行い、入力された任意の入力信号に対するユーザの視聴状況の認識結果（例えば、興味度、興味の種類（方向）等）を出力する。
【００４８】
なお、本実施形態において、上述した学習データベース１９、素性関数群データベース１７、及び学習パラメータ記憶手段２０は、それぞれが別体の構成でもよく、１つの記憶手段に設けられていてもよい。
【００４９】
上述したように、本実施形態では、視聴者の映像データ、音声データ及び操作履歴等の機器とのユーザーインタラクション情報の時系列データを統合することにより、認識結果として、時系列視聴状況データを出力する。これにより、本実施形態では、例えばテレビ視聴時において、任意の入力信号として得られる視聴者の振る舞いを計測する映像、音声、操作履歴等の機器インタラクションログデータを統合して視聴者が番組に興味を持っているかどうか等の心的な情報まで含めた視聴状況を認識することができる。なお、上述した視聴状況認識装置１０は、例えば、テレビ等の番組視聴装置の内部に一体に設けられていてもよく、別体として設けられていてもよい。
【００５０】
また、本実施形態において、例えば学習処理は、視聴状況の認識処理の前にオフライン処理として実施され、認識処理は、学習処理後にオンライン処理として実施される。また、本実施形態において、例えば上述した解析手段１２、ヒストグラム生成手段１３、代表値選定手段１４、同期シンボル列生成手段１５、及び変換手段１６は、学習処理であっても視聴状況の認識処理であっても入力データに対して同一の処理を行う。ここで、上述した学習処理と、認識処理の各処理についてフローチャートを用いて具体的に説明する。
【００５１】
＜学習処理例＞
図２は、本実施形態における学習処理の一例を示すフローチャートである。図２に示す学習処理は、まず、学習用の複数の入力信号を取得し（Ｓ０１）、取得した入力信号に対して上述した解析処理等を行い、各信号に対する時系列のシンボル化を行う（Ｓ０２）。また、学習処理は、Ｓ０２の処理により得られるシンボル列に対してヒストグラムを生成する（Ｓ０３）。
【００５２】
次に、学習処理は、生成されたヒストグラムデータに対して、所定の条件に基づき代表値を選定し（Ｓ０４）、選定された代表値に基づいて時系列毎に性質の異なるデータを用いた同期シンボル列を生成する（Ｓ０５）。また、学習処理は、Ｓ０５の処理で得られた同期シンボル列に対し、予め設定された素性関数による変換を行い（Ｓ０６）、変換されたデータに対して正解の視聴状況ラベルデータを用いた統計的学習を行う（Ｓ０７）。また、学習処理は、Ｓ０７における統計的学習により得られた学習パラメータを認識処理で使用するために記憶手段等に記憶する（Ｓ０８）。なお、上述した学習処理は、認識処理が実行される前にオフライン処理として実行されていることが好ましいが、これに限定されるものではない。
【００５３】
＜認識処理例＞
次に、本実施形態における認識処理の一例について説明する。図３は、本実施形態における認識処理の一例を示すフローチャートである。図３に示す認識処理は、例えば、番組等を視聴中の視聴者から任意の入力信号を取得する（Ｓ１１）。なお、任意の入力信号とは、学習用と入力信号と同様の信号形式であることが好ましいが、これに限定されるものではない。
【００５４】
次に、認識処理は、Ｓ１１の処理により得られる入力信号に対して、上述した解析処理等を行い、各信号に対する時系列のシンボル化を行う（Ｓ１２）。また、学習処理は、Ｓ１２の処理により得られるシンボル列に対してヒストグラムを生成する（Ｓ１３）。
【００５５】
次に、認識処理は、生成したヒストグラムデータから所定の条件に基づき代表値を選定し（Ｓ１４）、選定された代表値から時系列毎に性質の異なるデータを用いた同期シンボル列を生成し（Ｓ１５）、生成した同期シンボル列に対し、予め設定された素性関数による変換を行う（Ｓ１６）。なお、上述したＳ１２〜Ｓ１６の処理は、上述した学習処理におけるＳ０２〜Ｓ０６の処理と同様の処理を行う。
【００５６】
次に、認識処理は、Ｓ１６の処理により変換された時系列素性ベクトル信号に対し、上述した学習処理で得られた学習パラメータによる統合を行い（Ｓ１７）、統合された結果を、その視聴者毎の視聴状況の認識結果として出力し（Ｓ１８）、その認識結果から、入力信号に対応する視聴者毎の視聴状況（例えば、興味度等）を出力する（Ｓ１９）。
【００５７】
上述したように、本実施形態は、上述したように機械学習処理の枠組みを利用した処理で、パラメータ予測のための学習データの収集と、予測されたパラメータを用いた認識処理を行うことができる。
【００５８】
＜学習処理における統計的学習手法について＞
ここで、上述した学習処理における統計的学習手法について具体的に説明する。本実施形態における統計的学習手法では、機械学習処理として、例えば時系列信号のラベリング問題を扱うのに優れているＣＲＦを用いることとするが、これに限定されるものではない。
【００５９】
ＣＲＦは、時系列の観測ベクトル列ｘに対応する確率的に最もらしいラベリングの時系列データｙを求める機械学習処理で、基本的なものは以下に示す（１）式〜（３）式で定式化される。
【００６０】
【数１】
0005937829.tif 000002
ここで、上述した（１）式において、ｐ（）は確率分布を示し、Ｚ（）は正規化項（ノーマライズ関数）を示し、ｅｘｐ（）は、ｅを底とする数値のべき乗を求める関数を示している。また、（１）において、ｘは観測信号列（時系列シンボル列）を示し、ｙは各ｘ、ｔにおける隠れ状態の出力値（例えば、興味度の判定結果等）、ｔは時間を示している。なお、隠れ状態とは、例えば視聴者に対する目に見えない状態（例えば、興味がある・ない）等を意味するが、これに限定されるものではない。また、上述した（１）式において、Ｚ（）は、（２）式で定義され、Ｆ（）は（３）式で定義される。
【００６１】
上述した（１）式〜（３）式におけるｙとｙ'については、数式の表現の便宜上、ｙは１通りの状態ベクトルを表すの対し、ｙ'はΣで和を取る全ての状態ベクトルを表していることを強調するために違う表現を用いているだけであり、同じｙを用いてもよい。
【００６２】
また、（３）式におけるｆｉ（），ｇｉ（）は、素性関数と呼ばれ、時系列の観測データ（例えば、上述した観測情報や操作履歴情報、操作情報等を含む）やラベリングデータを変数とした関数である。具体的には、ｆｉ（）は、同期処理した結果のｘの相互作用を表現する素性であり、例えばある状態のときに、観測された同期を取ったシンボル列が、どういう状態であれば、最も興味を感じているかを見つけるための関数を示している。また、ｇｉ（）は、状態変数であるｙの遷移に依存する素性であり、例えばある状態から次の状態に対して、時間の経過にしたがって、どのように遷移するかという移り易さを示す関数を示している。
【００６３】
ＣＲＦを用いた学習処理では、まず視聴者から得られる観測データと、正解のラベリングデータとから、学習パラメータを求める。次に、ラベリングデータが未知の観測データに対して求められた学習パラメータと、視聴者から得られる観測データから計算した素性関数の出力データとを用いて視聴状況の認識結果を出力する手順で構成される。
【００６４】
なお、本実施形態では、上述した（１）式〜（３）式以外にも観測データ列とラベリングデータ列との間に予め設定された隠れ層を有した構造のものも存在するが、何れの手法でも本実施形態に適用することができる。上述したＣＲＦについては、例えば「Ｊ．Ｌａｆｆｅｒｔｙ，  Ａ．ＭｃＣａｌｌｕｍ，  ａｎｄ  Ｆ．Ｐｅｒｅｉｒａ．"Ｃｏｎｄｉｔｉｏｎａｌ  ｒａｎｄｏｍ  ｆｉｅｌｄｓ：ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｍｏｄｅｌｓ  ｆｏｒ  ｓｅｇｍｅｎｔｉｎｇ  ａｎｄ  ｌａｂｅｌｉｎｇ  ｓｅｑｕｅｎｃｅ  ｄａｔａ，"Ｐｒｏｃ．１８ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆ．  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ，２００１」等に示されている。
【００６５】
ここで、図４は、本実施形態における機械学習処理を利用した認識処理の流れを説明するための図である。
【００６６】
図４において、パラメータ予測のための学習データの収集は、上述した学習処理としての手順を示している。
【００６７】
本実施形態では、時系列に存在する性質の異なる複数のデータ（入力信号）から上述した同期処理（同期シンボル列生成）、素性関数処理（複数の素性関数を用いた同期シンボル列の変換処理）を得て、時系列素性ベクトル信号を生成する処理と、生成された時系列素性ベクトル信号に対応した視聴状況のラベル値を管理者等により付与する処理からなる。なお、上述したラベルの付与は、予め設定しておいてもよい。
【００６８】
本実施形態では、上述した処理により、ＣＲＦ学習処理のための観測データとそれに対応した正解データの複数個の組み合わせデータ群を取得する。その後、本実施形態では、これらのデータを用いて学習パラメータを予測する。この学習パラメータは、ＣＲＦの場合は、｛θ｝に相当する。
【００６９】
また、図４に示す認識処理では、パラメータ予測のための学習データ収集の時と同様の過程で、時系列に存在する性質の異なる複数のデータ（任意の入力信号）から時系列素性ベクトル信号を生成する。このとき、この時系列素性ベクトル信号に対応した視聴状況ラベルは、未知である。そこで、求めた学習パラメータを用いて視聴状況ラベルを付与する。なお、視聴状況ラベルの付与は、例えば以下に示す（４）式のように確率的に最もらしいラベリング列を選定する。
【００７０】
【数２】
0005937829.tif 000003
ここで、上述した（４）式において、Θは学習パラメータを示している。
【００７１】
＜時系列素性ベクトル信号の生成手順について＞
次に、上述した時系列素性ベクトル信号の生成手順について、図を用いて説明する。図５は、異なる複数のデータを用いた時系列の素性ベクトル信号の生成手順を説明するための図である。
【００７２】
図５の例では、まず、入力されたそれぞれの異種データから、予め設定された単位時間の間隔分だけの信号の頻度を表すヒストグラムを生成する。その後、代表値選定処理において、そのヒストグラム形状から代表となるシンボル値を定め、定めたシンボル値をその時間間隔における出力値とする。
【００７３】
なお、ヒストグラムからの代表となるシンボル値を選定する処理としては、例えば最大頻度や最小頻度の値を選ぶ処理等を用いることができるが、これに限定されるものではなく、例えば、その単位時間間隔における複数のヒストグラムデータから得られる各シンボル値の平均値等を求め、求めた平均値を出力値としてもよい。
【００７４】
例えば、本実施形態では、入力信号が番組チャンネルの切り替えや音量調整等の機器インタラクションを示すシンボル列の場合、その単位時間で最も頻繁に行ったインタラクションのシンボルが代表値選定処理の出力となる。
【００７５】
このように、本実施形態では、予め設定された時間間隔（例えば、図５に示す時間Ｔｐ）の各区間における観測データ等から、ヒストグラム生成及び代表値選定処理を行うことにより、時間解像度等の異なる異種信号の同期を取ることができ、それぞれの信号間の相互作用を次の素性関数処理で表現すること等が可能となる。
【００７６】
また、本実施形態における素性関数処理では、複数の信号間の関係を表現する任意の関数を設定することができ、認識する視聴状況の種類に応じてその関係式を複数定義し、それぞれの出力を一纏めにして時系列の素性ベクトル信号とすることができる。特に、ＣＲＦを用いた学習処理では、入力の観測時系列データのどの時間の信号も素性関数の変数として扱うことができ、柔軟な素性関数を組むことができる。
【００７７】
ここで、図６は、学習データの生成例を説明するための図である。図６の例では、例えば視聴状況がテレビ番組を見ている時の興味度とし、システムの入力信号として顔の向き情報（Ｄｉｒ）、体の静止状態（Ｍｏｖ）、表情変化（Ｅｘｐ）、及び、タブレット等の携帯情報端末の操作情報（Ｔａｂ）とした場合の学習データの組を示している。なお、学習データとなる情報の種類については、これに限定されるものではない。
【００７８】
図６の表は、入力信号として、番組視聴時の観測データから、単位時間毎にヒストグラムから求めた代表値の単位時間毎のデータに変換した時系列信号を表している。また、図６の表では、視聴状況の興味度として、その時点における興味ある（Ｃｕｒｉ）／なし（Ｎｏｎ）の興味判定（Ｃｕｒ）を表している。なお、興味判定は、学習データを生成させるために管理者等が主観的に付加した興味マーカである。
【００７９】
ここで、素性関数は、これらの入力信号から興味に関係する相互作用を記述すればよい。例えば、上述した（１）式〜（３）式での観測信号列ｘが関係する素性関数として、１又は複数の論理関数（例えば、｛ｆｉ（ｘ，ｙｔ）｝，｛ｇｉ（ｙｔ−１，ｙｔ）｝）を生成することができる。
【００８０】
図７は、論理関数群の一例を示す図である。図７では、素性関数の例として、ｆ０〜ｆ２０の論理関数群が示されている。なお、図７に示す論理関数において、Ｄｉｒは「顔の向き情報」を示し、Ｍｏｖは「体の静止状態」を示し、Ｅｘｐは「表情変化」を示し、Ｔａｂは「タブレット等の携帯情報端末の操作情報」を示している。
【００８１】
更に、図７に示すＦｒｏｎｔ、ＴＢ、Ｐｏｓ、Ｎｅｇ、Ｃｈ、Ｎｏｎ等のシンボルは、例えば顔向き情報、表情変化、操作情報等の状態を個別に表すシンボルを表すものである。具体的には、Ｆｒｏｎｔは「前向き」、ＴＢは「普通の端末操作あり」、Ｐｏｓは「積極的な操作あり」、Ｎｅｇは「消極的な端末操作あり」、Ｃｈは「端末操作でチャンネル切替あり」、Ｎｏｎは「何もしない」を表すシンボルである。また、ｔは、時間を示している。ここで、上述した操作情報のシンボルの一例であるＴＢ，Ｐｏｓ，Ｎｅｇについて更に具体的に説明する。これらのシンボルは、システム設計の段階で、主観的にタブレット端末等の携帯情報端末の操作に対して付加するものであり、その操作が現在視聴している番組コンテンツに対してどのくらい関係しているかを表現したシンボルである。
【００８２】
一般的に、携帯情報端末等を操作しながらテレビを視聴している場合には、携帯情報端末上のいろいろな機能を使うことが想定される。そこで、例えばその操作が、テレビ番組に関係した調べものを行う場合等のように、番組と関連した操作のときにはＰｏｓを、明らかに番組とは関係ない調べものやメール等の入力等をしているときにはＮｅｇを、そのどちらでもなく漫然と端末を操作しているときにはＴＢを付加する。本実施形態では、上述したような端末操作により、ユーザの番組に対する興味度等を、より高精度に推定することができる。
【００８３】
例えば、Ｄｉｒ（ｔ）＝Ｆｒｏｎｔは、「顔の向きが時刻ｔのとき正面を向いている」という状態を表すことになる。本実施形態では、上述したようにそれぞれのシンボルで状態を個別に識別し、これらを組み合わせることで、図７に示すような論理を組むことができる。なお、論理関数の種類や数、順序、内容等については、これに限定されるものではない。
【００８４】
本実施形態では、図７のように選定された関数群の出力が、時系列の素性ベクトル信号の構成要素であり、（１）式におけるｆの部分となる。また、図７に示すｆ０〜ｆ２０までの素性関数では変数としてラベリング状態（出力値）ｙを省略しているが、実際には各ラベリング状態毎にｆ０〜ｆ２０までの素性関数出力が計算されることになる。
【００８５】
ここで、本実施形態における素性関数の具体的な処理の例として、図７に示すｆ０、ｆ１７、ｆ１８を例にあげて説明する。ｆ０の素性関数は、例えば時刻ｔの時に顔向きが正面を向いて、表情変化があり、かつ、静止状態である場合に、時刻ｔの出力として'１'を出す論理となっている。
【００８６】
また、ｆ１７の素性関数は、例えば時刻ｔの時に端末操作でチャンネル切り替えをした場合に、時刻ｔの出力として'１'を出す論理となっている。また、ｆ１８の素性関数は、例えば全ての入力状態を加味した論理で、時刻ｔ−１でチャンネル切り替えがあり、なおかつ、時刻ｔで顔が正面を向き、更に時刻ｔ＋１で顔が正面を向いているか、或いは、静止している場合に、時刻ｔの出力として'１'を出す論理となっている。
【００８７】
本実施形態では、このような１又は複数の素性関数を入力から組み上げて学習処理することにより、それぞれの素性関数要素毎に個別の重み付パラメータθｉが算出されることになる。
【００８８】
＜ＣＲＦの学習について＞
ここで、上述したＣＲＦの学習では、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）の学習等で広く使われているｆｏｒｗａｒｄ−ｂａｃｋｗａｒｄアルゴリズムを用いて上述した（１）式におけるＺ（ｘ）を計算することができる。また、本実施形態では、準ニュートン法であるＬ−ＢＦＧＳ（Ｌｉｍｉｔｅｄ−ｍｅｍｏｒｙ  Ｂｒｏｙｄｅｎ  Ｆｌｅｔｃｈｅｒ  Ｇｏｌｄｆａｒｂ  Ｓｈａｎｎｏ）法等の最適アルゴリズムと組み合わせて学習を効率的に行うことができる。
【００８９】
また、上述した（４）式の処理についても、本実施形態では、Ｖｉｔｅｒｂｉアルゴリズム等を用いることにより効率よく求めることができる。更に、本実施形態では、上述した（１）式の基本的なＣＲＦに対し、出力の時系列ラベリングデータｙと観測ベクトル列ｘの間に複数の隠れ状態ｈを設け、それぞれの隠れ状態と出力ラベリングの間の関係からｙを求めるＬＤＣＲＦ（Ｌａｔｅｎｔ  Ｄｙｎａｍｉｃ  Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）を用いることができる。なお、上述したＬＤＣＲＦについては、例えば、「Ｌ．−Ｐ．Ｍｏｒｅｎｃｙ，Ａ．Ｑｕａｔｔｏｎｉ  ａｎｄ  Ｔｒｅｖｏｒ  Ｄａｒｒｅｌｌ，Ｌａｔｅｎｔ−Ｄｙｎａｍｉｃ  Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｃｏｎｔｉｎｕｏｕｓ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇｓ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ｊｕｎｅ  ２００７」等に示されている。
【００９０】
ここで、上述したＬＤＣＲＦの場合、ＣＲＦの枠組みで求めるのは、それぞれの隠れ状態を表すｈへの確率であり、ｙの確率は（５）式で求められる。
【００９１】
【数３】
0005937829.tif 000004
また、個々の出力ラベルと関係づけられている隠れ状態間で重なりがない場合は、以下に示す（６）式のように単純和となることがわかっており、基本的なＣＲＦの枠組みをそのまま踏襲する計算が可能である。
【００９２】
【数４】
0005937829.tif 000005
なお、上述したＬＤＣＲＦの場合、上述した（３）式におけるｇｉ（）は、状態変数であるｈの遷移に依存する素性であり、例えばある隠れ状態から次の隠れ状態に対して、時間の経過にしたがって、どのように遷移するかという移り易さを示す関数を示す。本実施形態では、ＬＤＣＲＦを用いることで、ＣＲＦよりも識別性能をより向上させることができる。
【００９３】
＜入力信号から学習パラメータ出力までの具体的な信号の流れについて＞
ここで、入力信号から学習パラメータ出力までの具体的な信号の流れについて説明する。なお、以下の説明では、入力信号の一例として、例えば視聴者のテレビ視聴時の観測映像信号、操作履歴のチャンネル（Ｃｈ）切り替え情報を用いて入力から視聴状況認識出力までの処理について説明する。
【００９４】
［１．原信号からの時系列シンボル列化］
まず、観測データとして得られる映像信号に対する解析処理として、顔の向きを計算する。また、操作履歴信号については、ある一定時間毎に操作の事象があったかどうかの集計を取り、それぞれの操作が行われたときに操作情報毎にシンボルを割り当てて記録する。チャンネル（Ｃｈ）切り替えをした時のシンボルは'Ｃｈ'とする。
【００９５】
［２．時系列シンボル列データからのヒストグラム生成］
次に、ある一定時間内の区間（例えば、５秒間）の顔の向き、操作履歴情報に基づきヒストグラムを生成する。顔の向きの場合は、ある一定時間内にそれぞれの顔の向きがどのくらいの頻度で生じていたか、また、操作履歴については、ある一定時間内にそれぞれの操作がどのくらいの頻度で生じていたかがこのヒストグラム生成で反映される。
【００９６】
［３．時系列シンボルデータの生成と代表値選定処理］
顔の向きについては、ヒストグラムデータの最大頻度を示す顔の向きをヒストグラム生成区間の出力とする。また、操作履歴情報については、操作情報のヒストグラムの最大頻度を示す種類の操作情報をヒストグラム生成区間の出力とする。  チャンネル切り替えについては、最もチャンネル切り替えが多かった区間に'Ｃｈ'というシンボルが割り当てられることになる。何も操作がなかった場合は、'Ｎｏｎ'というシンボルを割り当てる。
【００９７】
［４．時間同期した時系列シンボル列の生成］
上記の処理で時間的に同期した顔の向き信号列とチャンネル切り替えシンボル列の信号が得られる。
【００９８】
［５．素性関数での時系列素性ベクトル信号列の信号生成の例］
次に、時間同期した複数の時系列シンボル列を入力変数とした複数の異なる素性関数出力より、複数の時系列素性ベクトル信号列を生成する。ここでは、入力としてチャンネル切り替えと顔の向きの時系列信号を扱う素性関数の例を用いて説明する。
【００９９】
まず、現時刻をＴ、１つ前の時刻をＴ−１とする。また、入力信号として時刻Ｔ−１での操作情報Ｔａｂ（Ｔ−１）、時刻Ｔでの顔の向き情報Ｄｉｒ（Ｔ）とすると素性関数の例として以下の（７）式のような関数が想定される。
【０１００】
【数５】
0005937829.tif 000006
これは、時刻Ｔの隠れ状態Ｙ（Ｔ）によらず、時刻Ｔ−１でチャンネル切り替えを行い、時刻Ｔで正面を向いている状態のときには１を出力し、それ以外は０を出力する関数である。
【０１０１】
この素性関数の結果、チャンネル切り替えと顔の向きの時系列信号からこの条件を満たす状態のときのみ１を出力する新たな時系列信号が生成されることになる。
【０１０２】
時系列素性ベクトル信号は、上述したような想定される複数の状態毎に記述した複数の素性関数出力を一つに纏めたベクトルの時系列信号として構成される。
【０１０３】
［６．素性関数の統合のための重み付けパラメータの学習］
なお、本実施形態では、複数の素性関数を統合するための重み付けパラメータを機械学習の枠組みで学習して記憶する。記憶された重み付けパラメータは学習パラメータとして記憶しておき、認識処理の時に利用する。
【０１０４】
つまり、本実施形態では、例えば学習パラメータの中に重み付パラメータが含まれており、認識処理のときには、学習で得られた重み付パラメータの値を使用し、例えば上述した（３）式に基づいて、認識対象の状態から計算した素性関数値に掛け合わせることにより、認識対象の確率値を上述した（１）式で求める。また、認識は、（１）式の確率の最も高いyを上述した（４）式にしたがって選択することにより、状態ｙ、すなわち興味度の推定を行う。
【０１０５】
＜他の実施形態＞
上述した視聴状況認識装置１０では、収集した学習データに基づいて学習パラメータを予測し、視聴状況のラベル付けを上述した（４）式にしたがって算出しているが、その精度は如何に実際の状況と同じ良質な学習データを取得できるかに影響される場合がある。
【０１０６】
例えば、通常「興味を持って見た」等の視聴状況の正解ラベリングデータは、観測データの計測と同時に行うのが適しているが、本実施形態では、機器とのインタラクション情報も観測データに含めている。そのため、ユーザが機器操作をしながら正解ラベリングデータを入力するのが難しい。
【０１０７】
したがって、このような場合、従来手法では、番組の全部視聴した後に、状況を思い出しながら正解のラベリングデータを付与する方法が用いられていた。しかしながら、このような手法では、記憶の曖昧性で不正確になりがちである。そこで、本発明では、番組を視聴しながら、リアルタイムに正解のラベリングデータを付与させるための構成を設ける。具体的には、上述した視聴状況認識装置１０の構成に、例えばフットペダル等の足操作手段を設け、視聴者の足操作により興味度や興味の種類（方向）等のラベリングするデータの正解データの入力を行う。ここで、上述の内容を他の実施形態として、以下に説明する。
【０１０８】
図８は、他の実施形態における視聴状況認識装置の機能構成の一例を示す図である。なお、図８に示す視聴状況認識装置３０において、上述した視聴状況認識装置１０と同様の構成については、同一の名称及び符号を付するものとし、ここでの具体的な説明は省略する。
【０１０９】
図８に示す視聴状況認識装置３０は、情報取得手段１１と、解析手段１２と、ヒストグラム生成手段１３と、代表値選定手段１４と、同期シンボル列生成手段１５と、変換手段１６と、素性関数群データベース１７と、統計的学習手段１８と、学習データベース１９と、学習パラメータ記憶手段２０と、統合手段２１と、足操作手段３１と、正解データ変換手段３２とを有するよう構成されている。
【０１１０】
図８に示す構成では、上述した視聴状況認識装置１０と比較して新たに足操作手段３１と、正解データ変換手段３２とが設けられている。足操作手段３１は、例えばフライトシミュレーションゲームやドライビングゲーム等に用いられているフットペダル等を用いることができる。
【０１１１】
足操作手段３１は、視聴者が視聴している番組に対し、例えば興味がある内容を視聴した時点で、その興味レベルや興味ジャンル（興味の種類）等を視聴者の足操作により入力する。なお、興味レベルとは、例えば、予め３段階や１０段階等の評価基準を設定し、その設定された各段階をフットペダルの踏み込み具合により取得するものである。また、興味ジャンルについても、フットペダルの踏み込み具合に応じて予め設定されたジャンルの内容を取得する。なお、興味ジャンルとしては、例えば、番組に登場している俳優や女優、登場人物が身に付けている洋服、景色、建物、音楽、番組の内容等のうち、少なくとも１つを有するが、これに限定されるものではない。なお、興味レベルや興味ジャンルについては、例えば右足又は左足を用いてそれぞれの情報を入力することができる。
【０１１２】
なお、足操作手段３１については、上述したフットペダルに限定されるものではなく、例えば、視聴者の足のカメラ映像を取得し、取得したカメラ映像から解析された両足の位置関係から上述した興味レベルや興味ジャンル等を入力してもよい。なお、足操作手段３１により入力される情報は、上述した興味レベルや興味ジャンルに限定されるものではない。
【０１１３】
足操作手段３１は、取得した興味レベルや興味ジャンルを正解データ変換手段３２に出力する。このとき、足操作手段３１は、番組視聴に対応する時間情報を付与して出力する。これにより、視聴者の番組視聴時に得られる視聴者情報との同期を容易に取ることができる。
【０１１４】
正解データ変換手段３２は、足操作手段３１から得られる興味レベルや興味ジャンルから正解の視聴状況ラベルデータを生成し、生成したラベルデータを学習データベース１９に記憶させる。足操作手段３１及び正解データ変換手段３２によって得られるデータは、例えば、上述した図６の表に示す興味判定（Ｃｕｒ）として取得されるが、これに限定されるものではない。
【０１１５】
図８に示す実施形態では、手や声等を用いずに、足による入力を行うことで、一般の視聴者と同様の環境下で正解の視聴状況ラベルデータをリアルタイムに設定することができる。
【０１１６】
なお、図８に示す足操作手段３１や正解データ変換手段３２は、学習処理において用いられるため、主に正解データを学習させるための実験者や管理者等に使用されるが、これに限定されるものではなく、例えば一般の視聴者が使用してもよい。
【０１１７】
ここで、図９は、他の実施形態の具体例な内容を説明するための図である。図９の例では、例えば、情報取得手段１１から得られる観測データやユーザインタラクションデータから変換手段１６による時系列素性ベクトル信号への変換処理を行い、更に足操作手段３１である左右のフットペダル４０−１，４０−２から得られるペダルの踏み込み位置情報（［ｌｅｆｔ：ｘ，ｙ，ｚ］、［ｒｉｇｈｔ：ｘ，ｙ，ｚ］）から正解データ変換手段３２による視聴状況の正解データへの変換処理を行う。具体的には、図９に示すように、視聴者による足操作手段３１の操作により、左右のフットペダル４０−１，４０−２のｘｙｚポジション位置が出力されるため、それぞれの出力値に対して視聴状況のラベル値を割り振ることにより、フットペダル操作のみで簡単に正解データを登録することが可能になる。
【０１１８】
また、図９では、それぞれの変換処理の結果に基づいて、上述した学習データの収集が行われ、学習パラメータを取得する。
【０１１９】
ここで、視聴状況のラベルとフットペダル４０−１，４０−２からのｘｙｚポジション位置との対応は、例えばｘｍｌ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）ファイル等で予め規定しておくことで、いろいろな視聴状況に対応したラベル付けを行うことができる。
【０１２０】
ここで、図１０は、視聴状況のラベルと足操作との対応関係について説明するための図である。なお、図１０の例では、例えば視聴状況として興味のレベル（程度）と、どのジャンルに興味が向いているのか（興味の種類）を同時に入力する場合のｘｍｌファイルの一例を示している。
【０１２１】
図１０の例では、フットペダルについての定義として、例えば右足のフットペダル（ｒｉｇｈｔ）で興味の程度を３段階（０，１，２で表現）で入力する。また、図１０の例では、例えば左足のフットペダル（ｌｅｆｔ）で興味の向いているジャンルを３種類（０、１，２で表現）で入力する。
【０１２２】
ここで、右足での興味のレベルの入力は、３次元ｘ，ｙ，ｚの何れの方向も入力値の最大値２５５を３等分してその範囲に入っている踏み込み量に対応して入力される。具体的には、踏み込み量が０〜８０の場合には０の数値データが出力され、８０〜１２０の場合には１の数値データが出力され、１２０〜２５５の場合には２の数値データが出力される。つまり、どの方向にでも思い切り踏み込めば最大の興味レベル（例えば、興味レベル２）が出力されることになる。
【０１２３】
また、興味ジャンルについては、左足のＺ方向の踏み込み量のみに対応しており、入力値の最大値２５５を３等分した範囲に対応した値を入力することになる。具体的には、図１０の例では、入力値として｛０、１，２｝の数値データが存在するが、それぞれの数値を興味ジャンルに対応させることにより、ジャンル入力の入力とすることができる。このような処理により、視聴者は、普段通りの機器とのインタラクションを行いながら、その時点での視聴状況を簡単に入力することができるようになる。
【０１２４】
なお、ある時点において、興味があるジャンルが複数ある場合には、短い時間でジャンル毎のデータを入力してもよく、複数のジャンルを組み合わせたフットペダル４０の踏み込み量を予め設定しておき、その位置まで踏み込むようにしてもよい。
【０１２５】
このように、他の実施形態によれば、機械学習用の視聴状況の認識結果のラベルデータ列を、例えばテレビ視聴状況を損なうことなく作成することができる。具体的には、ラベル化した視聴状況結果を、例えばフライトシミュレーションゲーム等に使用するフットペダルの踏み込み量に対応させることにより、足元で操作をしながらリアルタイムに学習用の正解視聴状況データ列を作成することができる。
【０１２６】
なお、上述した本実施形態では、視聴状況の出力内容の例として、認識結果から得られる番組の興味度について説明したが、これに限定されるものではなく、例えば興味の内容や視聴者の嗜好を推定してもよい。
【０１２７】
＜実行プログラム（視聴状況認識プログラム）＞
ここで、上述した視聴状況認識装置１０，３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示部、並びに外部と通信するためのインターフェイスを備えたコンピュータによって構成することができる。
【０１２８】
したがって、視聴状況認識装置１０，３０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、このプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【０１２９】
つまり、本実施形態では、上述した各構成における処理をコンピュータ（ハードウェア）に実行させるための実行プログラム（視聴状況認識プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、上述したハードウェアと、プログラム等からなるソフトウェアとを協働させて、上述した学習処理や認識処理等を有する視聴状況認識処理を実現することができる。
【０１３０】
上述したように本発明によれば、視聴者の視聴状況を高精度に認識することができる。具体的には、本発明によれば、視聴者の視聴状況を入手可能な性質の異なる複数の信号の関係を記述して機械学習処理で自動出力する仕組みを構築することができる。例えば、本発明では、テレビ視聴時の興味区間の推定を、リモコンや携帯情報端末等の操作履歴や、カメラ映像等による人物認識結果等の複数の情報をＣＲＦで統合して時系列にラベリングされた情報として扱う。これにより、本発明では、テレビ視聴等において、視聴者が番組のどのシーンに興味を示しているか等といった視聴状況を推定し、番組への興味状態等に応じて、番組や情報を適応的に推薦するＵＴＡＮ（Ｕｓｅｒ  Ｔｅｃｈｎｏｌｏｇｙ  Ａｓｓｉｓｔｅｄ  Ｎａｖｉｇａｔｉｏｎ）等の情報推薦サービスに活用することができる。具体的には、例えば、本発明を適用したＵＴＡＮ等を用いて、番組中に変化する視聴者の興味度を認識技術から推定し、その時間帯の字幕や番組情報を利用して、番組推薦や関連キーワード等を携帯情報端末やテレビ画面に提示することができる。
【０１３１】
また、本発明によれば、視聴状況に興味レベルだけでなく、例えば興味視聴後の活動内容にラベルを割り振ることにより、興味を持って視聴した状況を反映した行動支援システムの構築を行うこともできる。
【０１３２】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【０１３３】
１０，３０  視聴状況認識装置
１１  情報取得手段
１２  解析手段
１３  ヒストグラム生成手段
１４  代表値選定手段
１５  同期シンボル列生成手段
１６  変換手段
１７  素性関数群データベース
１８  統計的学習手段
１９  学習データベース
２０  学習パラメータ記憶手段
２１  統合手段
３１  足操作手段
３２  正解データ変換手段
４０  フットペダル
【図１】
0005937829.tif 000007
【図２】
0005937829.tif 000008
【図３】
0005937829.tif 000009
【図４】
0005937829.tif 000010
【図５】
0005937829.tif 000011
【図６】
0005937829.tif 000012
【図８】
0005937829.tif 000013
【図９】
0005937829.tif 000014
【図１０】
0005937829.tif 000015
【図７】
0005937829.tif 000016