(57)【要約】【課題】ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦すること。【解決手段】ＰＶＲのレコメンド計算部３２は、ユーザにより撮影された動画像から複数の下位メタ情報を抽出し、当該複数の下位メタ情報を解析して上位メタ情報を導出し、再生中の動画像の上位メタ情報と、それ以外の動画像の上位メタ情報とを基に、当該再生中の動画像以外の動画像のそれぞれについてスコアを算出し、当該スコアを基に、推薦動画像一覧を作成して当該一覧を、再生中の動画像の再生が終了した時点で出力する。【選択図】図７
2011217209.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより撮影された複数の動画像コンテンツを記憶する記憶部と、
前記記憶された複数の動画像コンテンツを再生する再生部と、
前記各動画像データを解析して複数の下位メタ情報を抽出し、当該抽出された複数の下位メタ情報を解析して上位メタ情報を導出し、前記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの前記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの前記上位メタ情報とを基に、前記各第２の動画像コンテンツに対するスコアをそれぞれ算出する制御部と、
前記第１の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも１つの前記第２の動画像コンテンツを推薦するための推薦情報を出力する出力部と
を具備する電子機器。
【請求項２】
請求項１に記載の電子機器であって、
前記記憶部は、前記スコアを算出するための、前記上位メタ情報毎に異なる複数のルール情報を記憶し、
前記制御部は、前記記憶された複数のルール情報から、前記第１の動画像コンテンツの上位メタ情報に対応する前記ルール情報を抽出し、当該抽出された前記ルール情報との合致度として前記スコアを算出する
電子機器。
【請求項３】
請求項２に記載の電子機器であって、
前記制御部は、前記第１の動画像コンテンツの上位メタ情報に対応する前記ルール情報が抽出されなかった場合に、当該第１の動画像コンテンツの前記上位メタ情報を複数の前記下位メタ情報に展開し、当該展開された各下位メタ情報の全てに合致するルール情報を抽出する
電子機器。
【請求項４】
請求項１に記載の電子機器であって、
前記記憶部は、前記再生された動画像コンテンツの再生回数を示す情報と、当該再生された動画像コンテンツの直後に再生された動画像コンテンツに関する情報とを含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶し、
前記制御部は、前記第１の動画像コンテンツの上位メタ情報と、前記記憶された再生履歴情報とを基に、前記各第２の動画像コンテンツが、前記第１の動画像コンテンツの直後に再生される確率として前記スコアを算出する
電子機器。
【請求項５】
請求項１に記載の電子機器であって、
前記記憶部は、前記再生された動画像コンテンツの再生回数を示す情報を含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶し、
前記制御部は、前記第１の動画像コンテンツ及び前記第２の動画像コンテンツ各上位メタ情報をそれぞれ複数の前記下位メタ情報に展開し、前記第１の動画像コンテンツの各下位メタ情報のいずれかに合致する下位メタ情報を有する前記第２の動画像コンテンツの、前記下位メタ情報毎の再生回数を合計することで前記スコアを算出する
電子機器。
【請求項６】
請求項１に記載の電子機器であって、
前記上位メタ情報は、複数の構成要素から構成され、
前記制御部は、前記上位メタ情報を前記構成要素毎に複数の部分上位メタ情報に分解し、当該分解された各部分上位メタ情報の複数の組み合わせ毎に前記スコアを算出し、
前記出力部は、前記組み合わせ毎に推薦情報を出力する
電子機器。
【請求項７】
ユーザにより撮影された複数の動画像コンテンツを記憶し、
前記記憶された複数の動画像コンテンツを再生し、
前記各動画像データを解析して複数の下位メタ情報を抽出し、
前記抽出された複数の下位メタ情報を解析して上位メタ情報を導出し、
前記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの前記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの前記上位メタ情報とを基に、前記各第２の動画像コンテンツに対するスコアをそれぞれ算出し、
前記第１の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも１つの前記第２の動画像コンテンツを推薦するための推薦情報を出力する
コンテンツ推薦方法。
【請求項８】
電子機器に、
ユーザにより撮影された複数の動画像コンテンツを記憶するステップと、
前記記憶された複数の動画像コンテンツを再生するステップと、
前記各動画像データを解析して複数の下位メタ情報を抽出するステップと、
前記抽出された複数の下位メタ情報を解析して上位メタ情報を導出するステップと、
前記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの前記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの前記上位メタ情報とを基に、前記各第２の動画像コンテンツに対するスコアをそれぞれ算出するステップと、
前記第１の動画像コンテンツの再生終了後に、前記算出されたスコアに応じて、少なくとも１つの前記第２の動画像コンテンツを推薦するための推薦情報を出力するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが撮影した動画像コンテンツの中から、ユーザが視聴を望むと思われる動画像コンテンツを推薦して再生させることが可能な電子機器、当該電子機器におけるコンテンツ推薦方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、ある動画像コンテンツ（以下、単に動画像または動画と称する）の視聴者が次に関心をもちそうな動画像をレコメンドする技術は、例えば下記非特許文献１などで利用されている。
【０００３】
レコメンドの技術では、動画に関連付けしたタイトル・タグ・説明を示す「タグ情報」、「視聴者の評価」、「視聴者の行動履歴」といった情報が利用されている。「タグ情報」とは、動画の作者が動画に関係すると思った情報であり、作者に入力してもらう必要がある。このタグ情報は、情報の自由度は高いが、作者の主観で決まるため、同じような動画でも必ずしも他の人と一致するとは限らない。「視聴者の評価」とは、視聴者の動画に対する評価情報である。例えば、よい、普通、悪いなどがある。この情報は視聴者に入力してもらう必要がある。「視聴者の行動履歴」とは、最後まで再生した、途中で別な動画に移動した、どの動画から遷移してきたといった情報であり、この情報は視聴者に入力してもらう必要はない。
【０００４】
レコメンドの技術には、主に「ルールベース」、「コンテンツベース」、「協調フィルタリング」といった方式が存在する。
【０００５】
「ルールベース」とは、"ＡならばＢを推薦する"というようにあらかじめ推薦ルールを決めておく技術である。この技術には「タグ情報」が利用されている。そのため、扱う情報が多くなるとルール設定のメンテナンスや入力の手間がかかる。また、タグ情報がない場合は、うまく動作しない。
【０００６】
「コンテンツベース」とは、動画と動画の類似度を計測し、似ている動画を推薦する技術である。この技術では「タグ情報」が利用される。そのため、タグ情報に変化がなければ、同じようなコンテンツが推薦される可能性が高くなる。また、タグ情報がない場合は、うまく動作しない。
【０００７】
「協調フィルタリング」とは、動画の中身に関係なく「視聴者の評価」、「視聴者の行動履歴」といった情報からユーザ間の嗜好の類似度を計算し、類似度高いユーザを参考に、まだ見ていない動画の推薦を行う技術である。また、ユーザの嗜好の類似度を計算するユーザベースの方法とは別に、「視聴者の評価」、「視聴者の行動履歴」から動画の類似度を計算するコンテンツベースの方法も存在する。どちらの方法にせよ、動画の中身に関係ない部分から推薦であるため意外性のあるコンテンツが推薦される可能性がある。しかし、これはユーザの履歴が十分に蓄積されないと十分な結果は期待できない。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】"YouTube", インターネット<URL:http://www.youtube.com>
【非特許文献２】Understanding Video Events: A Survey of Methods for Automatic Interpretation of Semantic Occurrences in Video, Gal Lavee, Ehud Rivlin, and Michael Rudzsky, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART C: APPLICATIONS AND REVIEWS, VOL. 39, NO. 5, September 2009
【非特許文献３】Event Mining in Multimedia Streams: Research on identifying and analyzing events and activities in media collectionshad led to new technologies and systems, Lexing Xie, Hari Sundaram, and Murray Campbell, Proceedings of the IEEE | Vol. 96, No. 4, April 2008
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の技術は一般的に、不特定多数のユーザが、多くの動画を視聴する場合に利用されている。そのため、ユーザにより撮影された動画像（パーソナルコンテンツ）のレコメンドに上記各技術を適用する場合、以下の問題があげられる。
【００１０】
「ルールベース」では、利用者が「タグ情報」を利用しているため、扱う情報が多くなるとルール設定が複雑となる。また、「タグ情報」が主観的な情報のためにルールがうまく動作しない可能性もある。
【００１１】
「コンテンツベース」でも、「ルールベース」と同じく「タグ情報」を利用しているが、こちらは同じ人が「タグ情報」を付加している場合には問題にはならない。しかし、複数人で「タグ情報」を付加している場合は、主観に差があるため、類似度がうまく計測できない。
【００１２】
「協調フィルタリング」では、不特定多数での視聴がないために、比較するユーザの履歴が十分に蓄積されない。そのために、十分な結果は期待できない。また、これを補うために、インターネットを利用して、履歴を集めるという方法も考えられるが、パーソナルコンテンツの場合、他のユーザが同じコンテンツを見ることはないため、この方法に活用できない。
【００１３】
以上のような事情に鑑み、本発明の目的は、ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦することが可能な電子機器、コンテンツ推薦方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、再生部と、制御部と、出力部とを有する。上記記憶部は、ユーザにより撮影された複数の動画像コンテンツを記憶する。上記再生部は、上記記憶された複数の動画像コンテンツを再生する。上記制御部は、上記各動画像データを解析して複数の下位メタ情報を抽出し、当該抽出された複数の下位メタ情報を解析して上位メタ情報を導出する。また制御部は、上記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの上記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの上記上位メタ情報とを基に、上記各第２の動画像コンテンツに対するスコアをそれぞれ算出する。上記出力部は、上記第１の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも１つの上記第２の動画像コンテンツを推薦するための推薦情報を出力する。
【００１５】
これにより電子機器は、ユーザにより撮影された動画像コンテンツから複数の下位メタ情報を抽出し、さらにそれらから上位メタ情報を導出して、当該上位メタ情報の類似度とを基に推薦コンテンツを決定することができる。したがって電子機器は、ユーザにより撮影された複数の動画像コンテンツから、タグ情報等のメタ情報を別途ユーザに付加してもらわなくとも、ユーザが真に視聴を望む動画像コンテンツを推薦することができる。
【００１６】
上記記憶部は、上記スコアを算出するための、上記上位メタ情報毎に異なる複数のルール情報を記憶してもよい。この場合上記制御部は、上記記憶された複数のルール情報から、上記第１の動画像コンテンツの上位メタ情報に対応する上記ルール情報を抽出し、当該抽出された上記ルール情報との合致度として上記スコアを算出してもよい。
【００１７】
これにより電子機器は、上記上位メタ情報毎にルール情報を生成することで、従来のルールベースのレコメンド方式を用いながら、従来のような主観的なタグ情報を用いる場合に比べて、ルールの増加や複雑性を抑えることができる。
【００１８】
上記制御部は、上記第１の動画像コンテンツの上位メタ情報に対応する上記ルール情報が抽出されなかった場合に、当該第１の動画像コンテンツの上記上位メタ情報を複数の上記下位メタ情報に展開し、当該展開された各下位メタ情報の全てに合致するルール情報を抽出してもよい。
【００１９】
これにより電子機器は、木構造を利用して上位メタ情報を下位メタ情報へ展開して、下位メタ情報を基にルール情報を検索することで、上位メタ情報に合致するルール情報が存在しなかった場合でも、ユーザが視聴を望む動画像コンテンツを推薦することができる。
【００２０】
上記記憶部は、上記再生された動画像コンテンツの再生回数を示す情報と、当該再生された動画像コンテンツの直後に再生された動画像コンテンツに関する情報とを含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶してもよい。この場合上記制御部は、上記第１の動画像コンテンツの上位メタ情報と、上記記憶された再生履歴情報とを基に、上記各第２の動画像コンテンツが、上記第１の動画像コンテンツの直後に再生される確率として上記スコアを算出してもよい。
【００２１】
これにより電子機器は、上記メタ情報毎に視聴履歴情報を記憶することで、動画像のタイトル等の単位で視聴履歴情報を記憶する場合に比べて視聴履歴情報が分散するのを防ぎ、従来の協調フィルタリングに類似した方式を用いながら、不特定多数の視聴履歴情報を記憶することなく、高い精度でレコメンドを行うことができる。
【００２２】
上記記憶部は、上記再生された動画像コンテンツの再生回数を示す情報を含む再生履歴情報を、当該再生された動画像コンテンツの上位メタ情報と対応付けて記憶してもよい。この場合上記制御部は、上記第１の動画像コンテンツ及び上記第２の動画像コンテンツ各上位メタ情報をそれぞれ複数の上記下位メタ情報に展開してもよい。さらに制御部は、上記第１の動画像コンテンツの各下位メタ情報のいずれかに合致する下位メタ情報を有する上記第２の動画像コンテンツの、上記下位メタ情報毎の再生回数を合計することで上記スコアを算出してもよい。
【００２３】
これにより電子機器は、上位メタ情報毎の視聴履歴情報が十分に蓄積されていない場合でも、上位メタ情報から展開された下位メタ情報毎に再生回数をカウントすることで、実質的に再生履歴情報を増やすことができ、それによりレコメンドを実行することができる。
【００２４】
上記上位メタ情報は、複数の構成要素から構成されてもよい。この場合上記制御部は、上記上位メタ情報を上記構成要素毎に複数の部分上位メタ情報に分解し、当該分解された各部分上位メタ情報の複数の組み合わせ毎に上記スコアを算出してもよい。この場合上記出力部は、上記組み合わせ毎に推薦情報を出力してもよい。
【００２５】
これにより電子機器は、上位メタ情報が導出された後も、部分上位メタ情報の組み合わせ毎のスコア算出を可能とすることで、ユーザの要望に応じて柔軟にレコメンドを行うことができる。
【００２６】
本発明の他の形態に係るコンテンツ推薦方法は、ユーザにより撮影された複数の動画像コンテンツを記憶することを含む。上記記憶された複数の動画像コンテンツが再生される。上記各動画像データが解析され、複数の下位メタ情報が抽出される。さらに上記抽出された複数の下位メタ情報が解析され、上位メタ情報が導出される。上記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの上記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの上記上位メタ情報とを基に、上記各第２の動画像コンテンツに対するスコアがそれぞれ算出される。上記第１の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも１つの上記第２の動画像コンテンツを推薦するための推薦情報が出力される。
【００２７】
本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、再生ステップと、抽出ステップと、導出ステップと、算出ステップと、出力ステップとを実行させる。上記記憶ステップでは、ユーザにより撮影された複数の動画像コンテンツが記憶される。上記再生ステップでは、上記記憶された複数の動画像コンテンツが再生される。上記抽出ステップでは、上記各動画像データが解析され複数の下位メタ情報が抽出される。上記導出ステップでは、上記抽出された複数の下位メタ情報が解析され上位メタ情報が導出される。上記算出ステップでは、上記複数の動画像コンテンツのうち、再生中の第１の動画像コンテンツの上記上位メタ情報と、当該第１の動画像コンテンツ以外の複数の第２の動画像コンテンツの上記上位メタ情報とを基に、上記各第２の動画像コンテンツに対するスコアがそれぞれ算出される。上記出力ステップでは、上記第１の動画像コンテンツの再生終了後に、上記算出されたスコアに応じて、少なくとも１つの上記第２の動画像コンテンツを推薦するための推薦情報が出力される。
【発明の効果】
【００２８】
以上説明したように、本発明によれば、ユーザにより撮影された複数の動画像コンテンツから、ユーザが真に視聴を望む可能性が高い動画像を極力推薦することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るＰＶＲのハードウェア構成を示す図である。
【図２】本発明の一実施形態に係るＰＶＲがコンテンツレコメンドのために有するソフトウェアの機能ブロックを示した図である。
【図３】本発明の一実施形態において、ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦を行う場合のレコメンド計算部の詳細を示した図である。
【図４】図３の手法による推薦処理における木構造を利用したルール選択の流れを示した図である。
【図５】図３の手法による推薦処理における木構造を利用したルール選択の流れを示した図である。
【図６】図３の手法による推薦処理における木構造を利用したルール選択の流れを示した図である。
【図７】図３の手法によるレコメンド処理の流れを示したフローチャートである。
【図８】本発明の一実施形態において、協調フィルタリング方式を利用した推薦を行う場合のレコメンド計算部の詳細を示した図である。
【図９】図８の手法による推薦処理における上位メタ情報の木構造への展開の様子を示した図である。
【図１０】図８の手法における、再生中の動画像とその他の動画像とのメタ情報毎の視聴回数を示すテーブルの一例を示す図である。
【図１１】図８の手法における、再生中の動画像とその他の動画像とのメタ情報毎の視聴回数を示すテーブルの他の例を示す図である。
【図１２】図８の手法によるレコメンド処理の流れを示したフローチャートである。
【図１３】図８の手法を用いて視聴履歴を収集する処理の概要を示した図である。
【図１４】本発明の他の実施形態における推薦動画像コンテンツ一覧の表示例を示した図である。
【図１５】本発明の他の実施形態におけるルールの組み合わせの例を示した図である。
【図１６】本発明の他の実施形態におけるレコメンド処理の流れを示したフローチャートである。
【図１７】本発明の他の実施形態におけるルールの組み合わせの例を示した図である。
【図１８】本発明の他の実施形態におけるレコメンド処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００３１】
［ＰＶＲのハードウェア構成］
図１は、本発明の一実施形態に係るＰＶＲ（Personal Video Recorder）のハードウェア構成を示す図である。
【００３２】
同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８及び外部インタフェース１９を有する。
【００３３】
デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナＡを介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばＭＰＥＧ−２ ＴＳフォーマットで符号化されたＭＰＥＧストリーム（ＴＳ：トランスポートストリーム）であるが、このフォーマットに限られるものではない。復調部２は、変調された当該放送信号を復調する。
【００３４】
デマルチプレクサ３は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、ＳＩ（Service Information）信号等の各信号に分離し、デコーダ４へ供給する。
【００３５】
デコーダ４は、デマルチプレクサ３で分離された映像信号、音声信号、字幕信号、ＳＩ信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。
【００３６】
記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。
【００３７】
ＨＤＤ８は、デジタルチューナ１を介して受信した番組や、通信部１１によりネットワーク５０を介して受信される種々のコンテンツ、ユーザにより撮影された動画像や静止画像等のコンテンツデータを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。
【００３８】
またＨＤＤ８は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。
【００３９】
光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。光ディスクは例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である。
【００４０】
通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。
【００４１】
外部インタフェース１９は、例えばＵＳＢインタフェース、ＨＤＭＩ（High-Definition Multimedia Interface）、メモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮影装置や、メモリカード等と接続し、それらから、ユーザにより撮影された動画や静止画等のデータを読み出す。
【００４２】
ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、映像データの受信処理、コンテンツの再生処理、後述するメタ情報抽出処理、コンテンツレコメンド処理等、ＰＶＲ１００の各ブロックの処理を統括的に制御する。
【００４３】
フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、後述する動画像コンテンツのレコメンドのためのレコメンドアプリケーション等のソフトウェア及びその動作に必要な各種データベースを有する。
【００４４】
ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記コンテンツの再生処理やメタ情報抽出処理、コンテンツレコメンド処理等等の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。
【００４５】
操作入力部１５は、例えば複数のキーを有するリモートコントローラＲ（以下、リモコンＲと称する）から、ユーザの操作による各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコンＲによらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ等で構成されていても構わない。
【００４６】
グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（以下、ＴＶと称する）等のディスプレイＤに表示させるための映像信号を生成する。
【００４７】
映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介してＴＶ等のディスプレイＤへ出力する。
【００４８】
音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介して、ＴＶ等のスピーカＳへ出力する。
【００４９】
［ＰＶＲのソフトウェア構成］
図２は、上記ＰＶＲ１００がコンテンツレコメンドのために有するソフトウェアの機能ブロックを示した図である。
【００５０】
同図に示すように、ＰＶＲ１００は、読み出し部２１、動画デコーダ２２、オーディオデコーダ２３、静止画デコーダ２４、動画解析部２５、オーディオ解析部２６、静止画解析部２７、上位意味情報解析部２８、メタＤＢ（データベース）２９、視聴履歴ＤＢ３０、コンテンツ管理ＤＢ３１及びレコメンド計算部３２を有する。
【００５１】
読み出し部２１は、上記記録媒体３５から、動画コンテンツや静止画データを読み出す。静止画データは、上記日付や時間帯等に応じたグループ毎に読み出される。読み出されたデータが動画コンテンツの場合、読み出し部２１は、当該動画コンテンツを動画データとオーディオデータとに分割する。そして読み出し部２１は、動画データを動画デコーダ２２へ、オーディオデータをオーディオデコーダ２３へ、また静止画データを静止画デコーダ２４へ出力する。
【００５２】
動画デコーダ２２は、上記動画データをデコードし、動画解析部２５へ出力する。オーディオデコーダ２３は、上記オーディオデータをデコードし、オーディオ解析部２６へ出力する。静止画デコーダ２４は、上記静止画データをデコードし、静止画解析部２７へ出力する。
【００５３】
動画解析部２５は、動画データから、客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報（意味情報）を抽出する。またオーディオ解析部２６及び静止画解析部２７も同様に、それぞれオーディオデータ及び静止画データから客観的な特徴情報を抽出し、当該特徴情報を基に、下位のメタ情報を抽出する。この下位のメタ情報の抽出には、上記人物特徴情報やイベント特徴情報が用いられる。またこの下位のメタ情報の抽出には、上記非特許文献１に記載の技術も利用される。
【００５４】
動画解析部２５は、特徴情報の抽出において、例えば色／テクスチャ特徴抽出、勾配算出、エッジ抽出といった画素ベースの処理や、人物／顔の検出／認識、物体の認識、人物／顔／物体の動き検出／速度検出といったオブジェクトベースの処理を実行する。人物検出において、動画解析部２５は、例えば人型を示す特徴フィルターを用いて、動画像から人物を示す領域を検出する。顔検出においては、動画解析部２５は、例えば、目・鼻・眉毛・頬等の位置関係の特徴を示す特徴フィルターや、肌色情報等を用いて、動画像から顔を示す領域を検出する。
【００５５】
さらに、動画解析部２５は、人物や顔の有無を認識するのみならず、上記人物特徴情報を用いて、ユーザと所定の関係を有する特定の人物を認識する。当該人物特徴情報としては、例えば、エッジ強度画像特徴、周波数強度画像特徴、高次自己相関特徴、カラー変換画像特徴等が用いられる。例えば、エッジ強度画像を用いる場合、動画解析部２５は、認識対象の人物（例えば、親、子供、配偶者、友人等のユーザの関係者）の特徴データとして、濃淡画像及びエッジ強度画像を記憶しておき、顔が検出された人物の顔画像から、同様に濃淡画像及びエッジ強度画像を抽出して、両濃淡画像及び両エッジ強度画像をパターンマッチングすることで、特定人物の顔を認識する。
【００５６】
また物体認識において、動画解析部２５は、上記イベント特徴情報として記憶された認識モデルを用いて、識別対象とする物体が含まれるか否かを識別する。当該認識モデルは、例えば予め学習用画像からＳＶＭ（Support Vector Machines）等の機械学習により構築される。
【００５７】
さらに動画解析部２５は、動画像中の人や物体以外の背景を認識することもできる。例えば動画解析部２５は、予め学習用画像からＳＶＭ等の機械学習により構築されたモデルを用いて、各動画中の背景を、例えば街、屋内、野外、海岸、水中、夜景、夕焼け、雪景色、混雑といった各シーンに分類する。
【００５８】
オーディオ解析部２６は、特徴情報の抽出において、オーディオデータから、例えば人の声、人以外の環境音、それらのパワー／高低等の特徴を検出する。人の声か環境音かの識別には、例えば所定パワー以上の音声の継続時間等が用いられる。
【００５９】
静止画解析部２７は、特徴情報の抽出において、上記動画解析部２５が実行可能な解析処理のうち、色／テクスチャ特徴抽出、勾配算出、エッジ抽出、人物／顔／物体の検出、背景の認識といった静的な処理を実行する。
【００６０】
また、各解析部２５〜２７は、各データにテキスト等のタグ（ラベル）情報が含まれている場合には、当該タグ情報も特徴情報として抽出する。タグ情報としては、例えば、イベント内容を示す情報や、撮影日時及び撮影場所等の情報が挙げられる。
【００６１】
各解析部２５〜２７は、それぞれが抽出した上記特徴情報を基に、より具体的に意味付けされた下位のメタ情報（意味情報）を抽出する。
【００６２】
動画解析部２５は、例えば抽出した人物特徴や顔特徴から、個人、性別、年齢、表情、姿勢、服装、人数、整列等を下位のメタ情報として識別する。また動画解析部２５は、動き特徴から、活発／不活発な動き、速い／遅い動き、人が佇んでいる／座っている／歩いている／走っている等のActivityを認識したり、人の手のジェスチャ等を認識したりする。
【００６３】
オーディオ解析部２６は、例えば抽出したオーディオ特徴から、拍手、歓声、スピーカーの音、声色に応じた感情、笑い声、叫び声、話声の内容、反響による空間の広がり具合等を下位のメタ情報として抽出する。
【００６４】
静止画解析部２７は、上記動画解析部２５で認識可能なメタ情報のうち、動き特徴に関係のないメタ情報を認識する。
【００６５】
上記下位のメタ情報の抽出には、例えばベイズネット、有限状態機械、条件付確率場（CRF）、隠れマルコフモデル（HMM）等の状態空間表現による手法や、ペトリネットのような離散事象システム、制約充足モデル、論理アプローチといった意味モデルによる手法や、ＳＶＭ、最近隣法、ニューラルネット等の伝統的なパターン認識／分類法等、さまざまな手法が用いられる。
【００６６】
上位意味情報解析部２８は、上記各解析部２５〜２７により抽出された下位のメタ情報を基に、上位のメタ情報を解析し、動画の１ショットまたは静止画の１グループ全体を説明可能な最上位のメタ情報、すなわちイベントを導出する。このイベントの導出処理には、上記非特許文献２に記載の技術も利用される。
【００６７】
具体的には、上位意味情報解析部２８は、各下位メタ情報から、５Ｗ１Ｈ（Who, What, When, Where, Why, How）に相当する複数の情報の抽象度を徐々に上げていき、最終的に、動画の１ショットや複数の静止画を、１つのイベント（上位メタ情報）としてカテゴライズする。
【００６８】
例えば、動画や静止画から、「多数の子供」「多数の親子」「体操着」等の人物に関するメタ情報、「活発な動き」「走っている姿」等の人物の動きに関するメタ情報、「学校の校舎」等の一般物体に関するメタ情報が抽出され、音声から、「スピーカを通した人の声」「拍手」「歓声」等のメタ情報が抽出され、その他のメタ情報として、「小学校」という位置情報、「秋」という季節（日時）情報等の情報が得られた場合、上位意味情報解析部２８は、これらを統合して考えられるイベント『小学校の運動会』を導き出す。
【００６９】
また、５Ｗ１Ｈの要素のうち、例えば"Who"の要素に関しては、上位意味情報解析部２８は、特定個人を示す言葉によりイベントを表現することも可能である。すなわち、上位意味情報解析部２８は、"Who"を示す情報として、撮影者（ユーザ）やその家族等に関する下位メタ情報が抽出された場合、その情報は下位メタ情報のまま用いることで、『ｘｘ君の小学校の運動会』というイベントまで判断できる。
【００７０】
メタＤＢ２９は、上位意味情報解析部２８により導出された上位メタ情報及びその導出に用いられた下位メタ情報を記憶する。
【００７１】
視聴履歴ＤＢ３０は、ＰＶＲ１００が再生部７により動画像コンテンツを再生した履歴、すなわちユーザが動画像を視聴した履歴を示す視聴履歴情報を記憶する。視聴履歴情報とは、例えば、動画像の視聴回数や、動画像を最後まで視聴した、ある動画像の視聴途中で別の動画像を視聴した、ある動画像の次にどの動画像を視聴した、といった情報である。また視聴履歴ＤＢ３０は、ユーザが視聴した動画像に対する評価情報を記憶していてもよい。
【００７２】
コンテンツ管理ＤＢ３１は、ＰＶＲ１００で再生可能な上記動画像の一覧を保存する。
【００７３】
レコメンド計算部３２は、上記３つのＤＢを利用して、推薦動画像コンテンツの一覧を作成しディスプレイＤへ出力する。当該レコメンド計算部３２への入力は、再生中の動画像のＩＤであり、出力は推薦動画像コンテンツ一覧である。動画像ＩＤとは、上記３つのＤＢから、再生中の動画像に関する情報をロードする場合に利用されるＩＤであり、各動画像に一意のものが付加される。
【００７４】
本実施形態において、レコメンド計算部３２は、２つの手法により動画像のレコメンドを行うことができる。１つ目の手法は、ルールベース方式及びコンテンツベース方式の組み合わせによる方式を利用したものであり、２つ目の方式は協調フィルタリング方式を利用したものである。以下、この２つの手法毎に、上記レコメンド計算部３２の構成及びＰＶＲ１００の動作の詳細を説明する。
【００７５】
［ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦手法］
図３は、ルールベース方式とコンテンツベース方式の組み合わせ方式を利用した推薦を行う場合のレコメンド計算部３２の詳細を示した図である。
【００７６】
同図に示すように、本手法におけるレコメンド計算部３２は、ルール選択部４１、スコア計算部４２、動画像一覧作成部４３及びルールＤＢ４４を有する。
【００７７】
ルールＤＢ４４は、上記上位メタ情報（イベント）毎に、最適な動画像を推薦するための基準として、ルール情報を記憶する。すなわち、ルールＤＢ４４は、レコメンドアプリケーションが認識可能なイベント毎に、イベント抽出に使用するメタ情報（下位メタ情報や客観的特徴情報）の重要度を保持している。ここで重要度とは、動画像を推薦する際に基準となる優先順位である。
【００７８】
例えば、上述した「ｘｘ君の小学校の運動会」というイベントが導出された場合、優先項目としては、以下の順の項目が挙げられる。
（１）「ｘｘ君が写っていること」（顔にピントが合っており、顔がブレていないこと）
（２）「ｘｘ君がアクティブな姿勢をとっていること」（運動中を優先）
（３）「ｘｘ君が笑顔であること」
【００７９】
一方、導出されたイベントが単に「小学校の運動会」というだけであれば、優先項目としては、以下の順の項目が挙げられる。
（１）「なるべく多くの小学生の顔が映っていること」
（２）「アクティブな姿勢をとっていること」
（３）「笑顔が多いこと」
しかし、この場合でも、上記「ｘｘ君の小学校の運動会」というイベントに関するルールと同様に、特定の人物が写っていることがルール情報に含まれ、その結果「ｘｘ君」が含まれる動画像が推薦動画像コンテンツ一覧に含まれても問題ない。
【００８０】
そして、ルールＤＢ４４は、ルール情報として含まれる上記優先項目について、それぞれの重要度に応じたスコアを記憶している。当該スコアは、例えば上記上位メタ情報が抽出された段階で、当該上位メタ情報に応じて、その導出元となった各下位メタ情報について生成される。
【００８１】
ルール選択部４１は、上記メタＤＢ２９から、現在再生中の動画像のイベント（上位メタ情報）を読み出し、上記ルールＤＢ４４から、当該上位メタ情報に応じたルール情報を読み出す。
【００８２】
スコア計算部４２は、上記再生中の動画像以外の全ての動画像について、その上位／下位メタ情報を基に、上記ルール情報に含まれるスコア情報に従って、スコアを算出する。例えば、上述の運動会の例では、必須条件として、「ｘｘ君が写っている動画像」であることが挙げられる。スコア計算部４２は、その動画像の中で、「ｘｘ君が写っていてぶれ、ぼけの無いフレーム」であれば＋１００、「アクティブな姿勢」であれば＋５０、「笑顔」であれば＋５０といったように、各メタ情報について予め設定されたスコアを加算し、各動画像のスコアをそれぞれ算出する。
【００８３】
動画像一覧作成部４３は、上記算出されたスコアを基に、推薦動画像コンテンツ一覧を作成し、出力する。
【００８４】
（動作）
次に、本手法におけるＰＶＲ１００のレコメンド動作について説明する。以下の説明では、レコメンドアプリケーションのレコメンド計算部３２を動作主体として説明するが、当該動作は、ＣＰＵ１２及びその他のハードウェアやその他のソフトウェアとも協働して実行される。
【００８５】
ここでまず、上記ルールの選択について詳細に説明する。上記ルールは、再生中の動画像の上位メタ情報に応じて選択されるが、対応するルールが必ずしも準備できているとは限らない。
【００８６】
そこで、レコメンド計算部３２は、５Ｗ１Ｈで表わされている上位メタ情報からさらに各メタ情報を下位メタへと木構造で展開し、より下位のメタを利用することでルールの選択を行う。図４〜図６は、この木構造を利用したルール選択の流れを示した図である。
【００８７】
図４に示すように、例えば、入力の上位メタ情報が「2009/10/10 xxxくんが小学校で運動会に参加」だった場合、レコメンド計算部３２は、この上位メタ情報を、「2009/10/10」、「xxxくん」、「小学校」、「運動会に参加」といった５Ｗ１Ｈ要素毎の部分的な上位メタ情報（以下、部分上位メタ情報）に分解する。そしてレコメンド計算部３２は、その部分上位メタ情報をすべて含むルールを検索（以下、AND検索）し、一致するルールがあれば、そのルールに従って前述のスコア計算を行う。
【００８８】
しかし、一致するルールが存在しなかった場合、推薦が行われないという事になる。そこで、レコメンド計算部３２は、図４に示すように、上記分解した部分上位メタ情報毎にルールの検索を行う。その検索結果が最小である部分上位メタ情報をさらに下位メタ情報へと展開し、再度、ルールのAND検索を行う。この例の場合、「2009/10/10」が0件なので、「2009/10/10」を「2009年」、「10月」、「10日」へと展開し、各下位メタ情報でルールを検索する。
【００８９】
ここで、一致するルールが存在しない場合（検索結果が0件）、図５に示すように、レコメンド計算部３２は、その下位メタ情報をさらに下位メタ情報へ展開する。その時に下位概念のメタ情報が存在しない場合は、図６に示すように、そのメタ情報は削除される。そしてレコメンド計算部３２は、すべての下位メタ情報の検索結果が０件でなくなった時に、それらのメタでルールのAND検索を行い、これをルールが見つかるまで繰り返す。
【００９０】
ここでのポイントは、ルールの選択に「上位メタ情報」を利用することで、視聴者や作者の主観的なタグ情報を利用したものより、ルールの増加と複雑性を抑えられるという部分である。また、ルールの決定にも木構造に展開したメタを利用することで、新しい動画像など、さまざまな動画像へ適応可能となる。そして、スコア計算にも客観的な「下位メタ情報」を利用することでルールが安定して動作する。
【００９１】
図７は、上述したスコア計算部４２によるレコメンド処理の流れを示したフローチャートである。
【００９２】
同図に示すように、まずスコア計算部４２は、再生中の動画像の上位メタ情報をロードする（ステップ５１）。続いてスコア計算部４２は、当該上位メタ情報の部分上位メタ情報によりルールをＡＮＤ検索する（ステップ５２）。
【００９３】
続いてスコア計算部４２は、検索結果が１件以上合ったか否かを判断し（ステップ５３）、１件もなかった場合には、上述したように、各部分上位メタ情報によりそれぞれルールを検索する（ステップ５４）。
【００９４】
続いてスコア計算部４２は、最も検索結果が少ない部分上位メタ情報を下位メタ情報に分解し（ステップ５５）、当該分解した下位メタ情報によりルールを検索する（ステップ５６）。部分上位メタ情報を下位メタ情報に分解できない場合には当該部分上位メタ情報を削除する。
【００９５】
スコア計算部４２は、以上の処理を、１件以上の検索結果が検索されるまで繰り返す（ステップ５７）。
【００９６】
１件以上の検索結果が検索された場合、スコア計算部４２は、スコア計算に必要なメタ情報を決定する（ステップ５８）。そしてスコア計算部４２は、再生中の動画像以外の全ての動画像について、スコア計算のループ処理を実行する（ステップ５９〜６４）。
【００９７】
すなわち、スコア計算部４２は、各動画像について、メタ情報毎のスコアをロードし、スコアを加算する。またスコア計算部４２は、上記算出されたスコアに、上記視聴履歴ＤＢ３０内の視聴履歴情報を用いて重み付けを行う。例えば、評価が高い動画像や未視聴の動画像のスコアを増加したり、逆に評価が低い動画像についてはスコアを減じたりする。
【００９８】
そしてスコア計算部４２は、動画像一覧作成部４３により、スコア順に応じてソートするなどして、動画像一覧を作成し、当該一覧をディスプレイＤへ出力する。当該一覧は、例えば各動画像のサムネイルが縦方向、横方向またはマトリクス状に並べられたものであり、例えば左上方向へ行くほどスコアが高い動画像が示される。当該一覧の表示は、例えば再生中の動画像の再生終了時に行われる。
【００９９】
［協調フィルタリング方式を利用した推薦手法］
図８は、協調フィルタリング方式を利用した推薦を行う場合のレコメンド計算部３２の詳細を示した図である。
【０１００】
同図に示すように、本手法によるレコメンド計算部３２は、スコア計算部４２及び動画像一覧作成部４３を有する。
【０１０１】
スコア計算部４２は、上記視聴履歴情報を基に、再生中の動画像以外の動画像のスコアを算出する。このスコアの計算方法としては様々なものが考えられる。従来では、例えば、視聴履歴から「動画Ａ」の動画視聴の後に「動画Ｂ」を見た回数が多ければ、「動画Ａ」の後には「動画Ｂ」を見る確率が高いので「動画Ｂ」のスコアをあげると言った方法が一般的である。しかし、この方法では、動画像毎の履歴となり、一般に同じ動画を何度も見る人は少ないため視聴履歴が十分に蓄積されない。
【０１０２】
そこでスコア計算部４２は、視聴履歴情報を上位メタ情報毎に管理する。例えば、「運動会」の後には「学芸会」を何回見たか、といった情報である。上位メタ情報を利用することで、動画像のタイトル単位で管理する場合に比べて視聴履歴が蓄積されやすく、より高い精度のレコメンドが可能となる。
【０１０３】
動画像一覧作成部４３の機能は、上記上記図３で示したものと同様である。
【０１０４】
また本手法でも、上記ルールベースとコンテンツベースの組み合わせによる手法と同様に、木構造に展開したメタ情報を利用することで、より柔軟で精度の高い推薦が可能となる。
【０１０５】
図９は、本手法による推薦処理における上位メタ情報の木構造への展開の様子を示した図である。
【０１０６】
同図に示すように、例えば、入力の上位メタ情報が「2009/10/10 xxxくんが小学校で運動会に参加」だった場合、すべての部分メタ情報を木構造に展開する。
【０１０７】
ここで、現在ユーザが見ている動画像のメタ情報を行、推薦候補の他の動画像のメタ情報を列とするテーブル例を図１０に示す。値は視聴回数を示す。例えば、ユーザが「2009年」のメタ情報を含む動画像を見た後に「A」のメタを含む動画像を見た回数は４回であるということが示されている。
【０１０８】
視聴回数が増えた場合のテーブル例を図１１に示す。このテーブルはユーザの視聴履歴から作成可能であるので、必ずしも作成・保存しておく必要はない。同図の例の場合、上記図９で示したようにメタ情報が展開されている。
【０１０９】
スコア計算部４２は、これらのメタ情報毎に重みを設定する。同図の例では、はじめの重みを1.0(w=1.0)とし、下位メタ情報に展開すると半分にし、かつ、展開した数で割ることで、展開したメタ情報の重みが均一になるように重みを設定するようにしている。
【０１１０】
スコア計算部４２は、この重みから他の動画像とのスコアを計算する。スコアを計算する動画像の展開後のメタが「Ａ」、「Ｃ」、「Ｆ」、「Ｊ」だった場合、スコア計算部４２は、各メタとの視聴回数に重みをかけてスコアを計算する。スコア計算部４２は、このようなスコアを全動画像に対して行う。このスコアが推薦度となる。
【０１１１】
図１２は、本手法によるレコメンド処理の流れを示したフローチャートである。
【０１１２】
同図に示すように、スコア計算部４２は、再生中の動画像の上位メタ情報をロードし（ステップ８１）、上位メタ情報から上記木構造を作成する（ステップ８２）。
【０１１３】
そしてスコア計算部４２は、再生中の動画像以外の動画像について、スコア計算のループ処理を実行する（ステップ８３〜８８）。すなわちスコア計算部４２は、スコア計算対象の動画像の上位メタ情報をロードし、当該上位メタ情報から木構造を作成し、上述したように、メタ情報の関連性と、対象動画像のメタ情報とから、スコアを計算し、加算する。
【０１１４】
そしてスコア計算部４２は、上記算出されたスコアを基に、推薦動画像コンテンツ一覧を作成し、出力する（ステップ８９）。
【０１１５】
このように、スコア計算部４２は、木構造に展開されたメタ情報を利用することで、はじめの上位メタ情報では、視聴回数の履歴が蓄積されていない場合でも、展開した下位メタによってレコメンドが可能となる。
【０１１６】
さらに、「学芸会」が「小学１年生の学芸会」や「小学２年生の学芸会」のように複数存在する場合は、前述の「ルールベース」のレコメンドを利用してさらにスコアを計算する方法も考えられる。
【０１１７】
また、これら客観的なメタを利用することでインターネットを利用して視聴履歴を集める方法も可能になる。図１３は、この視聴履歴収集処理の概要を示した図である。同図に示すように、各ユーザの視聴履歴が、上位メタ情報毎に蓄積されているため、視聴履歴視聴履歴が十分に集まり、より精度が高いレコメンドが可能となる。
【０１１８】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【０１１９】
上述した図７のフローチャートでは、利用するルールを１つに決定し、そのルールに応じて、推薦される動画像群を決定していた。また、上述した図１２のフローチャートでは、展開したすべてのメタ情報を利用し、推薦される動画像群を決定していた。しかし、ＰＶＲ１００は、これらの「ルール」や「利用するメタの組み合わせ」を複数用意し、ユーザに表示させ、選択させてもよい。
【０１２０】
これにより、視聴者の意思を尊重した推薦が可能となる。例えば、入力された上位メタ情報が、「2009/10/10 xxxくんが小学校で運動会に参加」である場合、部分上位メタ情報としての「xxxくん」、「小学校」だけを利用した推薦結果も提示することで、視聴者が柔軟に動画像を選択可能となる。
【０１２１】
図１４は、この場合に表示される推薦動画像コンテンツ一覧の表示例を示した図である。同図に示すように、縦軸が利用したルール（メタ情報の組み合わせ）を示し、横軸がそのルール（メタ情報の組み合わせ）によって推薦される動画像の一覧を示す。
【０１２２】
縦軸では、上端が最もお薦めとなる「ルール（メタの組み合わせ）」が位置するように、「ルール（メタの組み合わせ）」のお薦め度で各ルール（メタ情報の組み合わせ）が並べられる。横軸では、左端が最もお薦めとなる動画像となるように、そのルール（メタの組み合わせ）におけるお薦め度で各動画像が並べられる。この方法により、左上が最もお薦めとなる動画像となり、視聴者がアクセスしやすくなる。
【０１２３】
ここで、縦軸の「ルール（メタの組み合わせ）」のお薦め度について、上記図９も用いて説明する。
【０１２４】
上記図９に示したような、入力された上位メタ情報の展開例を想定する。「ルール（メタの組み合わせ）」のお薦め度には、上述した重みづけが利用される。図９の木構造では、枝になればなるほど、下位メタ情報となり、多くの動画像に利用されるメタ情報となる。よって、幹の方が対象の動画像の特徴を表すメタ情報となる。メタ情報毎の重みを足した重みの合計が「ルール（メタの組み合わせ）」のお薦め度となる。
【０１２５】
図１５は、各メタ情報の組み合わせの例を示す図である。同図の例では、下位概念に展開したメタ情報は、展開先のメタ情報と置き換えられる。これによりメタ情報の重なりがないようにメタ情報の組み合わせが決定され、それによりでルールが検索される。しかし、ルールが見つからなかった場合には、そのメタ情報は利用されず、当然ながらその推薦結果も表示されない。
【０１２６】
図１６は、以上の処理をルールベース方式で行う場合を示したフローチャートである。同図に示すように、スコア計算部４２は、再生中の動画像の上位メタ情報をロードすると（ステップ１２１）、メタ情報を分解し、全ての組み合わせを作成する（ステップ１２２）。
【０１２７】
そしてスコア計算部４２は、メタ情報の組み合わせをソートした上で（ステップ１２３）、各メタ情報の組み合わせ毎に、ルールを検索するループ処理を実行する（ステップ１２４〜１２７）。
【０１２８】
当該ループ処理内における処理は、上記図７で示したのと同様である（ステップ１２９〜１３５）。
【０１２９】
そしてスコア計算部４２は、上記各ルール毎に算出されたスコアを基に推薦動画像コンテンツ一覧を作成し（ステップ１３６）、それをルール毎にまとめて出力する（ステップ１２８）。
【０１３０】
以上の処理を「協調フィルタリング」について実行する場合、上記図１５で示したような重なりを排除したメタ情報の組み合わせも可能だが、図１７に示すように、展開後のメタをすべて含んだ組み合わせも可能である。これは、スコアが計算される際に、展開の深さに応じて重みづけが行われるからである。
【０１３１】
図１８は、協調フィルタリングの場合の複数のメタ情報の組み合わせによるレコメンド処理の流れを示したフローチャートである。同図において、ステップ１４１〜ステップ１４５については上記図１６のステップ１２１〜ステップ１２５と同様であり、ステップ１４９〜ステップ１５５については上記１２で示したフローチャートと同様である。最後にスコア計算部４２は、メタ情報の組み合わせ毎に算出されたスコアを基に推薦動画像コンテンツ一覧を作成し（ステップ１５６）、それを組み合わせ毎にまとめて出力する（ステップ４８）。
【０１３２】
上述の実施形態においては、各フレームから抽出されたメタ情報から上位メタ情報が導出された。しかし、比較的長時間の動画像には、複数のシーンが含まれており、それにより上位メタ情報の抽出が困難となる場合が考えられる。そこでＰＶＲ１００は、カットやフェード等の客観的特徴によりシーンチェンジを検出し、シーン毎に分割してから、各シーンのイベント（上位メタ情報）を導出してもよい。
【０１３３】
上述の実施形態において、下位のメタ情報及び上位のメタ情報はいずれもＰＶＲ１００により抽出されたが、これらの少なくとも一部は、他の機器で抽出され、画像がＰＶＲ１００に入力されるときに、当該画像と共に入力されてもよい。例えば下位メタ情報は、動画像撮影時にデジタルビデオカメラで抽出され、動画像データとともにＰＶＲ１００に入力され、ＰＶＲ１００ではそれらの下位メタ情報から上位メタ情報を抽出してもよい。また、例えば顔検出や夜景検出等、デジタルビデオカメラで抽出可能であって比較的少ない演算量で抽出可能な下位のメタ情報はデジタルビデオカメラで抽出され、例えば動き検出や一般物体認識等、その抽出に要する演算量が比較的多くなるようなメタ情報はＰＶＲ１００で抽出されてもよい。さらに、ＰＶＲ１００に代わり、ネットワーク上のサーバによりメタ情報が抽出され、それらが上記通信部１１を介してＰＶＲ１００に入力されてもよい。
【０１３４】
さらに、上述の実施形態及び変形例においてＰＶＲ１００により実行されるとして説明された処理は、例えばテレビジョン装置、ＰＣ（Personal Computer）、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、記録再生装置、ゲーム機器、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。
【符号の説明】
【０１３５】
７…再生部
８…ＨＤＤ
１１…通信部
１２…ＣＰＵ
１３…フラッシュメモリ
１９…外部インタフェース
２２…動画デコーダ
２３…オーディオデコーダ
２４…静止画デコーダ
２５…動画解析部
２６…オーディオ解析部
２７…静止画解析部
２８…上位意味情報解析部
２９…メタＤＢ
３０…視聴履歴ＤＢ
３１…コンテンツ管理ＤＢ
３２…レコメンド計算部
３５…記録媒体
４１…ルール選択部
４２…スコア計算部
４３…動画像一覧作成部
４４…ルールＤＢ
５０…ネットワーク
１００…ＰＶＲ
【図１】
2011217209.tif 000003
【図２】
2011217209.tif 000004
【図３】
2011217209.tif 000005
【図４】
2011217209.tif 000006
【図５】
2011217209.tif 000007
【図６】
2011217209.tif 000008
【図７】
2011217209.tif 000009
【図８】
2011217209.tif 000010
【図９】
2011217209.tif 000011
【図１０】
2011217209.tif 000012
【図１１】
2011217209.tif 000013
【図１２】
2011217209.tif 000014
【図１３】
2011217209.tif 000015
【図１４】
2011217209.tif 000016
【図１５】
2011217209.tif 000017
【図１６】
2011217209.tif 000018
【図１７】
2011217209.tif 000019
【図１８】
2011217209.tif 000020