(57)【要約】【課題】再生方式を変換した際に音声データ及び映像データから欠損する情報を補完することが可能な、情報処理方法、情報処理装置、情景メタデータ生成装置、欠損補完情報生成装置及びプログラムを提供すること。【解決手段】本発明に係る情報処理方法は、動画コンテンツを解析し、動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出するステップと、動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定するステップと、決定された再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を情景メタデータを利用して生成するステップと、決定された再生方式で再生される動画コンテンツにあわせて、生成された欠損補完情報を出力するステップと、を含む。【選択図】図１０
2011239141.tif 000002
【特許請求の範囲】
【請求項１】
画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出するステップと、
前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定するステップと、
決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成するステップと、
決定された前記再生方式で再生される前記動画コンテンツにあわせて、生成された前記欠損補完情報を出力するステップと、
を含む、情報処理方法。
【請求項２】
前記情景メタデータを抽出するステップでは、前記動画コンテンツから第１のメタデータを抽出し、当該第１のメタデータを利用して、前記画像データに由来する前記情景メタデータ及び前記音声データに由来する前記情景メタデータを抽出する、請求項１に記載の情報処理方法。
【請求項３】
前記欠損補完情報を生成するステップでは、前記再生方式へと変換されることによって出力されなくなるデータに由来する情景メタデータを主に利用して、前記欠損補完情報を生成する、請求項２に記載の情報処理方法。
【請求項４】
前記動画コンテンツの再生環境は、ユーザ又は周囲の環境を撮像するカメラ、周囲の環境音を取得する集音マイク、ユーザの動きを検知するセンサ及び現在位置を表す情報を取得するセンサの少なくともいずれかから出力されたセンサ出力に基づいて決定される、請求項１に記載の情報処理方法。
【請求項５】
前記欠損補完情報を出力するステップでは、前記再生方式に応じて、前記欠損補完情報を出力する際の出力方式が決定される、請求項１に記載の情報処理方法。
【請求項６】
画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出部と、
前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定部と、
前記再生方式決定部によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成部と、
前記再生方式決定部により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成部により生成された前記欠損補完情報を出力する欠損補完情報出力部と、
を備える、情報処理装置。
【請求項７】
画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出部と、
前記動画コンテンツ及び前記情景メタデータ抽出部により抽出された前記情景メタデータを互いに関連づけて出力するデータ出力部と、
を備える、情景メタデータ抽出装置。
【請求項８】
画像データ及び音声データからなる動画コンテンツを構成する各シーンの情景を特徴付ける情景メタデータを取得する情景メタデータ取得部と、
前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定部と、
前記再生方式決定部によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成部と、
前記再生方式決定部により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成部により生成された前記欠損補完情報を出力する欠損補完情報出力部と、
を備える、欠損補完情報生成装置。
【請求項９】
コンピュータに、
画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出機能と、
前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定機能と、
前記再生方式決定機能によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成機能と、
前記再生方式決定機能により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成機能により生成された前記欠損補完情報を出力する欠損補完情報出力機能と、
を実現させるためのプログラム。
【請求項１０】
コンピュータに、
画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出機能と、
前記動画コンテンツ及び前記情景メタデータ抽出機能により生成された前記情景メタデータを互いに関連づけて出力するデータ出力機能と、
を実現させるためのプログラム。
【請求項１１】
コンピュータに、
画像データ及び音声データからなる動画コンテンツを構成する各シーンの情景を特徴付ける情景メタデータを取得する情景メタデータ取得機能と、
前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定機能と、
前記再生方式決定機能によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成機能と、
前記再生方式決定機能により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成機能により生成された前記欠損補完情報を出力する欠損補完情報出力機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法、情報処理装置、情景メタデータ抽出装置、欠損補完情報生成装置及びプログラムに関する。
【背景技術】
【０００２】
我々の身の回りには、多種のコンテンツ再生機器が存在している。例えば、動画コンテンツを再生するものとしてテレビ、ＤＶＤレコーダ、Ｂｌｕ−Ｒａｙレコーダ、パーソナルコンピュータ（ＰＣ）等を挙げることができ、音楽コンテンツを再生するものとしてオーディオ機器等を挙げることができる。また、上記機器の小型化、高機能化の実現に伴い、ゲーム機や携帯電話、ポータブルオーディオプレーヤー、電子ブックリーダーなど、更に多くの携帯端末が登場した。それに加え、現在のオーディオプレーヤーや携帯電話がそうであるように、音楽と動画など様々な再生方式に対応した機器の数や、各々が対応するコーデックの数等も今後さらに増えていくと予想される。
【０００３】
しかしながら、各機器の対応する再生方式が増える一方で、同じ内容のコンテンツであっても再生方式やユーザの視聴環境が異なることで、コンテンツの内容に対するユーザの理解度に差が生じてしまうという問題については、依然改善が進んでいない。外部雑音による音声の聞こえにくさなど、視聴環境を改善する方法として、いわゆるノイズキャンセリングなどの技術が提案されているが、この技術は、あくまでもコンテンツの再生を邪魔する要因を排除するものであり、再生方式の変換による情報の損失を補うことはできない。
【０００４】
かかる問題を改善するための改善案の一つとして、以下の特許文献１に示したように、コンテンツに登場する人物が発言した内容を文字列化して、ユーザに提示する方法が提案されている。かかる技術を利用すれば、例えば、音声データを本のようなテキストベースのデータに変換することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−４０９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に係る技術を用いて動画コンテンツをテキストデータに変換しようとした場合、ナレーションや台詞などのコンテンツ内で発言された言葉しか対象とならない。そのため、あるシーンにおいて無言でたたずむ登場人物の表情や誰と一緒にいるのか、そのシーンが朝なのか夜なのか、また、どこにいるのかなどといった、シーンの情景情報のうちナレーションや台詞に含まれない内容は、すべて再生方式変換時に失われてしまう。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、再生方式を変換した際に音声データ及び映像データから欠損する情報を補完することが可能な、情報処理方法、情報処理装置、情景メタデータ生成装置、欠損補完情報生成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出するステップと、前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定するステップと、決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成するステップと、決定された前記再生方式で再生される前記動画コンテンツにあわせて、生成された前記欠損補完情報を出力するステップと、を含む情報処理方法が提供される。
【０００９】
前記情景メタデータを抽出するステップでは、前記動画コンテンツから第１のメタデータを抽出し、当該第１のメタデータを利用して、前記画像データに由来する前記情景メタデータ及び前記音声データに由来する前記情景メタデータを抽出することが好ましい。
【００１０】
前記欠損補完情報を生成するステップでは、前記再生方式へと変換されることによって出力されなくなるデータに由来する情景メタデータを主に利用して、前記欠損補完情報を生成してもよい。
【００１１】
前記動画コンテンツの再生環境は、ユーザ又は周囲の環境を撮像するカメラ、周囲の環境音を取得する集音マイク、ユーザの動きを検知するセンサ及び現在位置を表す情報を取得するセンサの少なくともいずれかから出力されたセンサ出力に基づいて決定されてもよい。
【００１２】
前記欠損補完情報を出力するステップでは、前記再生方式に応じて、前記欠損補完情報を出力する際の出力方式が決定されてもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出部と、前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定部と、前記再生方式決定部によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成部と、前記再生方式決定部により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成部により生成された前記欠損補完情報を出力する欠損補完情報出力部と、を備える情報処理装置が提供される。
【００１４】
また、上記課題を解決するために、本発明の更に別の観点によれば、画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出部と、前記動画コンテンツ及び前記情景メタデータ抽出部により抽出された前記情景メタデータを互いに関連づけて出力するデータ出力部と、を備える情景メタデータ抽出装置が提供される。
【００１５】
また、上記課題を解決するために、本発明の更に別の観点によれば、画像データ及び音声データからなる動画コンテンツを構成する各シーンの情景を特徴付ける情景メタデータを取得する情景メタデータ取得部と、前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定部と、前記再生方式決定部によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成部と、前記再生方式決定部により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成部により生成された前記欠損補完情報を出力する欠損補完情報出力部と、を備える、欠損補完情報生成装置が提供される。
【００１６】
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出機能と、前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定機能と、前記再生方式決定機能によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成機能と、前記再生方式決定機能により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成機能により生成された前記欠損補完情報を出力する欠損補完情報出力機能と、を実現させるためのプログラムが提供される。
【００１７】
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、画像データ及び音声データからなる動画コンテンツを解析し、前記動画コンテンツを構成する各シーンについて当該各シーンの情景を特徴付ける情景メタデータを抽出する情景メタデータ抽出機能と、前記動画コンテンツ及び前記情景メタデータ抽出機能により生成された前記情景メタデータを互いに関連づけて出力するデータ出力機能と、を実現させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、画像データ及び音声データからなる動画コンテンツを構成する各シーンの情景を特徴付ける情景メタデータを取得する情景メタデータ取得機能と、前記動画コンテンツの再生方式を、動画コンテンツの再生環境及びユーザによって設定された設定情報の少なくともいずれか一方に応じて決定する再生方式決定機能と、前記再生方式決定機能によって決定された前記再生方式に応じて、動画コンテンツの再生方式を変換することによって失われる欠損情報を補完する欠損補完情報を前記情景メタデータを利用して生成する欠損補完情報生成機能と、前記再生方式決定機能により決定された前記再生方式で再生される前記動画コンテンツにあわせて、前記欠損補完情報生成機能により生成された前記欠損補完情報を出力する欠損補完情報出力機能と、を実現させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、再生方式を変換した際に音声データ及び映像データから欠損する情報を補完することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る情報処理システムを示した説明図である。
【図２】同実施形態に係る情報処理装置について説明するための説明図である。
【図３】同実施形態に係る情報処理装置の一例を示した説明図である。
【図４】同実施形態に係る情報処理装置の構成を示したブロック図である。
【図５】同実施形態に係る情報処理装置について説明するための説明図である。
【図６】同実施形態に係る情報処理装置について説明するための説明図である。
【図７】同実施形態に係る情報処理装置について説明するための説明図である。
【図８】同実施形態に係る情報処理装置について説明するための説明図である。
【図９】同実施形態に係る情景メタデータ抽出部の構成を示したブロック図である。
【図１０】同実施形態に係る情景メタデータの生成処理の一例を示した説明図である。
【図１１】同実施形態に係る欠損補完情報の生成処理の一例を示した説明図である。
【図１２】同実施形態に係る情景メタデータの抽出方法の全体的な流れを示した流れ図である。
【図１３】同実施形態に係る情景メタデータの生成方法の流れの一例を示した流れ図である。
【図１４】同実施形態に係るコンテンツの出力方法の流れの一例を示した流れ図である。
【図１５】同実施形態に係る再生方式の決定方法の流れの一例を示した流れ図である。
【図１６】本発明の第２の実施形態に係る情報処理システムを示した説明図である。
【図１７】同実施形態に係る情景メタデータ抽出装置の構成を示したブロック図である。
【図１８】同実施形態に係る欠損補完情報生成装置の構成を示したブロック図である。
【図１９】本発明の実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）情報処理システムについて
（１−２）情報処理装置の構成について
（１−３）情景メタデータ及び欠損補完情報の生成処理の具体例について
（１−４）情報処理方法について
（２）第２の実施形態
（２−１）情報処理システムについて
（２−２）情景メタデータ抽出装置の構成について
（２−３）欠損補完情報生成装置の構成について
（３）本発明の実施形態に係る情報処理装置のハードウェア構成について
（４）まとめ
【００２３】
（第１の実施形態）
＜情報処理システムについて＞
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理システムについて説明する。図１は、本実施形態に係る情報処理システム１を示した説明図である。
【００２４】
本実施形態に係る情報処理システム１は、ネットワーク３と、ネットワーク３によって互いに通信が可能な、コンテンツ提供サーバ５、ＧＰＳ７及び情報処理装置１０を少なくとも含む。
【００２５】
ネットワーク３は、コンテンツ提供サーバ５、ＧＰＳ７及び情報処理装置１０を互いに双方向通信可能に接続する通信回線網である。このネットワークは、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮ等の専用回線網などで構成されており、有線／無線を問わない。
【００２６】
コンテンツ提供サーバ５は、経時的に変化する画像データと音声データとからなる動画コンテンツを管理しているサーバであり、本実施形態に係る情報処理装置１０に、管理している動画コンテンツの実体データを提供する。また、コンテンツ提供サーバ５は、動画コンテンツの実体データだけでなく、動画コンテンツに関連付けられた各種のメタデータを管理していてもよい。かかる場合には、コンテンツ提供サーバ５は、動画コンテンツの実体データとともに、該当する動画コンテンツに関連付けられたメタデータを情報処理装置１０に提供することが可能である。
【００２７】
かかるコンテンツ提供サーバ５の一例として、ＴＶ放送やＩＰＴＶ放送を提供しているサーバや、各種のコンテンツをユーザに配信するサーバ等を挙げることができる。また、コンテンツ提供サーバ５は、インターネット等の公共のネットワークに接続されたサーバであってもよいし、ホームネットワーク上に設けられたサーバ機能を有する各種の機器であってもよい。
【００２８】
ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）７は、ＧＰＳ衛星から発信される信号に基づいて地球上の位置を特定するために利用されるシステムである。情報処理装置１０は、ＧＰＳ衛星から発信される複数の信号を受信することで、地球上の現在位置を表す位置情報を算出することが可能となる。情報処理装置１０は、算出した位置情報を利用することで、各種の機能を実現したり、各種の機能を他の装置へ提供したりすることができる。
【００２９】
情報処理装置１０は、コンテンツ提供サーバ５等から取得した動画コンテンツを、様々な再生方式に則って再生する装置である。情報処理装置１０は、動画コンテンツを動画として再生する以外の再生方式に則って再生する場合、動画コンテンツの再生方式を変換することが可能である。
【００３０】
図２は、情報処理装置１０にて実施される動画コンテンツの再生方式の変換を説明するための説明図である。図２に示したように、情報処理装置１０は、画像及び音声からなる動画コンテンツを、音声のみから構成される音声コンテンツに変換することが可能である。また、情報処理装置１０は、動画コンテンツを、静止画と活字とからなる絵本様コンテンツ（さらには、絵本のみならず、コミックの様なコンテンツ）へと変換することも可能である。また、情報処理装置１０は、動画コンテンツを、活字のみからなる活字コンテンツへと変換することも可能である。なお、図２に示した例は、情報処理装置１０が実施する再生方式の変換処理の一例であって、以下で説明するように、情報処理装置１０は、図２に示した再生方式以外の再生方式へ、動画コンテンツを変換することが可能である。
【００３１】
このような再生方式の変換に際して、動画コンテンツに含まれる情報の一部が欠損する可能性がある。特に、変換対象が動画コンテンツである場合、映像が見えない状態でのコンテンツ再生は視覚的情報がすべて失われてしまうため、ユーザのコンテンツの内容理解度は、元来の再生方式で視聴したときと比較して、大きく低下する恐れがある。これは、人間が視覚からの情報に最も敏感であるというメラビアンの法則からも裏付けられる。
【００３２】
そこで、本実施形態に係る情報処理装置１０は、この欠損する情報を補完するために、情報欠損を補うための代替情報を生成する。すなわち、情報処理装置１０は、動画コンテンツを構成する各シーンについて、以下で詳述する情景メタデータを生成するとともに、生成した情景メタデータを利用して、欠損する内容を補完する情報を生成する。情報処理装置１０は、コンテンツの再生方式を変換した場合、情景メタデータを利用して、変換に伴い欠損する恐れのある情報について、欠損する内容を補完する情報を生成し、変換後のコンテンツとともに、欠損する内容を補完する情報を再生する。これにより、情報処理装置１０は、コンテンツの再生方式を変換した場合であっても、変換による情報欠損を抑制することが可能となり、ユーザがコンテンツを理解しづらくなるという現象を防止することができる。
【００３３】
本実施形態に係る情報処理装置１０は、パーソナルコンピュータや各種サーバ等のコンピュータとして実現されてもよく、携帯用音楽プレーヤ、携帯用ゲーム機、携帯電話、スマートフォン、ＰＤＡ、タッチスクリーンタブレット等の携帯型電子機器として実現されてもよい。また、本実施形態に係る情報処理装置１０は、テレビ、ＤＶＤレコーダやＢｌｕ−Ｒａｙレコーダ等の各種レコーダとして実現されてもよい。
【００３４】
なお、以下では、本実施形態に係る情報処理装置１０として、図３に示したような携帯型電子機器を例にとって説明を行うものとする。図３は、本実施形態に係る情報処理装置１０の一例を示した説明図である。
【００３５】
本実施形態に係る情報処理装置１０は、図３に例示したように、コンテンツを含む様々な情報が表示される表示画面と、情報処理装置１０を操作するための操作ボタンと、音声が出力される出力装置であるスピーカとを備える。ここで、表示画面は、入力装置であるタッチパネルを備えていても良い。
【００３６】
また、情報処理装置１０には、ユーザの状態や周囲の状況を検知するための各種のセンサが設けられていても良い。かかるセンサの例として、例えば、ユーザや周囲の環境を撮像するカメラや、周囲の環境音等を取得する集音マイクを挙げることができる。また、これらのセンサ以外にも、ユーザの動きを検知するセンサ（以下、モーションセンサとも称する。）及び現在位置を表す情報を取得するセンサ（以下、位置センサとも称する。）を挙げることができる。
【００３７】
ここで、モーションセンサとしては、例えば、３軸加速度センサ（ただし、加速度センサ、重力検知センサ、落下検出センサ等を含む。）や、３軸ジャイロセンサ（ただし、角速度センサ、手振れ補正センサ、地磁気センサ等を含む。）等を挙げることができる。また、位置センサとしては、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から出力されたデータを受信するＧＰＳセンサを挙げることができる。ただし、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｔｉｆｉｃａｔｉｏｎ）、Ｗｉ−Ｆｉのアクセスポイント、無線基地局の情報等から現在地の緯度・経度を検出することが可能なため、このような検出手段を位置センサとして利用することも可能である。
【００３８】
なお、情報処理装置１０は、これらのセンサを全て備えていなくともよく、センサ自体を備えていなくともよい。
【００３９】
以上、本実施形態に係る情報処理システム１について、簡単に説明した。なお、本実施形態に係る情報処理システム１には、各種情報の検索を行うことが可能な検索エンジンやデータベース等を管理している検索サーバ等が含まれていても良い。
【００４０】
＜情報処理装置の構成について＞
次に、図４を参照しながら、本実施形態に係る情報処理装置の構成について説明する。図４は、本実施形態に係る情報処理装置１０の構成を示したブロック図である。
【００４１】
本実施形態に係る情報処理装置１０は、コンテンツ取得部１０１、情景メタデータ抽出部１０３、センサ出力解析部１０５、再生方式決定部１０７、欠損補完情報生成部１０９、コンテンツ再生部１１１、欠損補完情報出力部１１３及び記憶部１１５を主に備える。
【００４２】
コンテンツ取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、通信装置等により実現される。コンテンツ取得部１０１は、コンテンツ提供サーバ５や、情報処理装置１０が相互に通信が可能な装置等から、画像データと音声データとからなる動画コンテンツを取得する。また、コンテンツ取得部１０１は、動画コンテンツと併せて、動画コンテンツに関連づけられたメタデータを取得することも可能である。動画コンテンツのメタデータは、動画コンテンツの実体データそのものに関連づけられていたり埋め込まれていたりしてもよい。また、コンテンツ取得部１０１は、動画コンテンツのメタデータを、コンテンツの取得先とは異なる場所（例えば、検索サーバやＥＰＧ等のメタデータ管理データベースなど）から取得してもよい。
【００４３】
コンテンツ取得部１０１は、取得した動画コンテンツの実体データやメタデータを、記憶部１１５等に格納してもよい。また、コンテンツ取得部１０１は、取得した動画コンテンツの実体データ及びメタデータを、後述する情景メタデータ抽出部１０３及びコンテンツ再生部１１１に出力してもよい。
【００４４】
情景メタデータ抽出部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情景メタデータ抽出部１０３は、コンテンツ取得部１０１から出力された動画コンテンツの実体データを解析して、動画コンテンツを構成する各シーンについて、当該各シーンの情景を特徴付ける特徴メタデータを抽出する。なお、情景メタデータ抽出部１０３は、かかる情景メタデータの抽出に際して、コンテンツ取得部１０１から出力されたメタデータを利用することが可能である。
【００４５】
ここで、動画コンテンツから抽出可能なメタデータについて、図５を参照しながら簡単に説明する。図５は、メタデータについて説明するための説明図である。
【００４６】
本発明では、動画コンテンツから抽出可能なメタデータは、図５に示したように、基本メタデータと、情景メタデータの２種類に大別可能であると考えている。
【００４７】
ここで、基本メタデータは、動画コンテンツや動画コンテンツに予め関連づけられているメタデータを解析することで得られるものである。この基本メタデータは、解析結果を更に加工することなく得られるデータであり、いわば動画コンテンツを解析することで得られる一次情報であるといえる。かかる基本メタデータの例として、図５に示したように、コンテンツの番組名、字幕に関する情報（字幕情報）、背景画像に関する情報（背景画像情報）、登場人物の名前、顔、声、動作に関する情報（登場人物情報）、環境音に関する情報（環境音情報）等がある。これらの情報のうち、字幕情報、背景画像情報、登場人物情報及び環境音情報等は、コンテンツを構成する各シーンに存在しうる。また、これらの情報以外にも、動画コンテンツを解析することで得られるメタデータ（または、コンテンツに予め関連づけられているメタデータの大部分）であれば、基本メタデータに該当すると考えられる。
【００４８】
また、情景メタデータは、動画コンテンツを構成する各シーンに存在しうるものであり、各シーンの情景を特徴付けるメタデータである。この情景メタデータは、コンテンツの各シーンの情景を解釈した結果得られるものであり、上記基本メタデータを利用して生成されるものである。各シーンの情景を特徴付けるものの一例として、登場人物の状態や登場人物間のやりとり、登場人物の周囲環境（背景画像やＢＧＭを含む）などを挙げることができる。より具体的には、図５に示したように、情景メタデータには、シーンの時間帯に関する情報（時間帯情報）、シーンが表す季節に関する情報（季節情報）、地理的情報、登場人物の状態や表情に関する情報（登場人物情報）、対人関係情報等がある。また、これらの情報以外にも、各シーンを解釈することで得られる情報や基本メタデータに基づいて生成される情報であれば、情景メタデータに該当すると考えられる。
【００４９】
情景メタデータ抽出部１０３は、コンテンツ取得部１０１から出力された動画コンテンツの実体データや、コンテンツに関連づけられているメタデータを解析して、まず、上記基本メタデータの抽出を行う。その後、情景メタデータ抽出部１０３は、抽出した基本メタデータを利用して、上記情景メタデータを抽出する。なお、情景メタデータの具体的な抽出方法については、以下で具体例を挙げながら説明する。
【００５０】
情景メタデータ抽出部１０３は、抽出した情景メタデータを、シーン毎にとりまとめると、後述する欠損補完情報生成部１０９に出力する。また、情景メタデータ抽出部１０３は、とりまとめた結果を、データベースの形式やルックアップテーブル等のようにして、記憶部１１５等に記録してもよい。
【００５１】
なお、情景メタデータの抽出処理は、情報処理装置１０が新たな動画コンテンツを取得したタイミングで行われてもよく、所定の期間ごとに定期的に行われてもよく、コンテンツの再生にあわせて、コンテンツの再生と同時並行で行われてもよい。すなわち、情景メタデータの抽出処理は、情報処理装置１０が処理に利用可能なリソースに応じて、適宜実行すればよい。
【００５２】
センサ出力解析部１０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。センサ出力解析部１０５は、情報処理装置１０に先に説明したようなセンサが実装されている場合に、実装されているセンサから出力された情報（センサ情報）を解析する。センサ出力解析部１０５は、取得できたセンサ情報の範囲で、ユーザの状態に関する情報やユーザの周囲の環境に関する情報等を含む動画コンテンツの再生環境がどのようなものであるかを解析し、得られた解析結果を、後述する再生方式決定部１０７に出力する。
【００５３】
センサ出力解析部１０５による解析の結果得られる情報（以下、センシング情報とも称する。）としては、例えば図６に示したようなものがある。すなわち、センシング情報には、ユーザの目を撮像できたか等といった目に関する情報や、ユーザの耳に関する情報や、ユーザの顔を撮像できたかといった顔に関する情報など、ユーザの身体的な状態に関する情報が含まれる。また、センサ出力解析部１０５は、ユーザの身体的な状態に関する情報として、ユーザの視力や聴力に関する情報（視覚や聴覚にハンディキャップがあるか）や、ユーザの身体状態や精神状態に関する情報など、更に高位の情報について解析を行っても良い。
【００５４】
さらに、センサ出力解析部１０５は、ユーザの顔の撮像結果等を利用して、ユーザの年齢や性別に関する情報を抽出してもよい。また、センサ出力解析部１０５は、カメラからの出力を解析することで、ユーザが行った手話やまばたきなどの動作（ジェスチャー）を把握し、ユーザの動作に関する情報としてもよい。また、センサ出力解析部１０５は、モーションセンサ等の出力を解析して、ユーザが歩いている、停止している、座っている、電車に乗っている等のユーザの動きを特定し、ユーザの動作に関する情報としてもよい。更に、センサ出力解析部１０５は、集音マイクからの出力を解析して、特定の旋律（メロディ、鼻歌など）の有無をパターン認識し、音に関する情報としてもよい。更に、センサ出力解析部１０５は、時刻に関する情報や、ＧＰＳ等から取得した位置情報や、ユーザの移動履歴に関する情報を、センシング情報とすることも可能である。
【００５５】
また、センサ出力解析部１０５は、図６に示した情報以外にも、各種のセンサから得られたセンサ出力を解析することで得られる情報を、センシング情報として利用することが可能である。
【００５６】
センサ出力解析部１０５は、このようにして得られたセンシング情報を、後述する再生方式決定部１０７に出力する。また、得られたセンシング情報に関する履歴情報を、後述する記憶部１１５等に格納してもよい。
【００５７】
再生方式決定部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。再生方式決定部１０７は、センサ出力解析部１０５から出力されたセンシング情報や、予め設定されている設定情報や、ユーザ操作により入力された入力情報等に基づいて、動画コンテンツの再生方式を決定する。これにより、再生方式決定部１０７は、ユーザの状態に関する情報やユーザの周囲の環境に関する情報等を含む動画コンテンツの再生環境に最適であると思われる再生方式を決定する。
【００５８】
ここで、再生方式決定部１０７は、動画コンテンツの再生方式を指定するユーザ操作が存在した場合には、ユーザ操作によって指定された再生方式を、動画コンテンツの再生方式として決定する。
【００５９】
また、ユーザ操作による再生形式の指定が存在しない場合には、再生方式決定部１０７は、ユーザによって設定された設定情報や、センサ出力解析部１０５から出力されたセンシング情報に応じて、再生環境に適した再生方式を決定する。
【００６０】
ここで、ユーザによって設定された設定情報の項目は、特に限定されるものではないが、例えば、図７に挙げたような項目が、ユーザ設定項目として考えられる。すなわち、ユーザ設定項目には、ユーザの名前、年齢（生年月日）、性別、住所などといったユーザを特定する情報以外に、視聴時間を指定する情報や、デフォルトの再生方式を指定する情報がある。視聴時間を指定する情報には、例えば、３０分、１時間等の、動画コンテンツを視聴可能な時間が記載されている。本実施形態に係る情報処理装置１０は、かかる情報を利用することで、例えば、設定されている時間内で動画コンテンツ全てを視聴できるように、絵本様コンテンツに変換して動画コンテンツを再生する際のコマ数等を設定することが可能となる。
【００６１】
また、再生方式決定部１０７は、センシング情報を利用して、再生方式を決定することも可能である。再生方式決定部１０７は、例えば、周囲の音の大きさに関する情報が所定の閾値以上である場合には、音声を出力してもよい状況にあると判断し、画像とともに音声を出力する再生方式を選択することが可能である。また、再生方式決定部１０７は、周周囲の音の大きさに関する情報が所定の閾値未満である場合には、音声を出力すると周囲に迷惑をかける可能性があると判断し、音声を出力しない再生方式を選択することが可能である。また、再生方式決定部１０７は、センシング情報の一つである位置情報を利用し、位置情報が表す場所を例えば検索サーバ等で検索して、ユーザが存在している具体的な場所を調べても良い。再生方式決定部１０７は、位置情報から特定される具体的な場所を考慮して再生方式を決定してもよい。例えば、位置情報を検索することで、ユーザが図書館等の音の出力を制限することが求められる状況下にあると判断される場合には、再生方式決定部１０７は、かかる判断結果に応じて、音声を出力しない再生方式を選択することも可能である。
【００６２】
なお、このようなセンシング情報を利用した再生方式の判断アルゴリズムは、適宜設定すればよく、上述のような例に限定されるわけではない。
【００６３】
また、再生方式を決定する際に、ユーザ操作による指定、センシング情報、設定情報のいずれを優先するかは、適宜設定することが可能であるが、ユーザのその場での意志を優先するという意味で、ユーザ操作による指定を優先することが好ましい。
【００６４】
再生方式決定部１０７は、このようにして再生方式を決定すると、決定した再生方式を示す情報を、後述する欠損補完情報生成部１０９、コンテンツ再生部１１１及び欠損補完情報出力部１１３に出力する。また、ユーザは、決定した再生方式の履歴情報や、決定した再生方式を選択した根拠等に関する履歴情報を、記憶部１１５等に格納してもよい。かかる履歴情報を格納して判断アルゴリズムを更新していくことで、次回以降に再生方式を決定する場合に、より適切な判断を行うことが可能となる。
【００６５】
欠損補完情報生成部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。欠損補完情報生成部１０９は、動画コンテンツの再生方式を変換したうえで変換後のコンテンツを再生する際に、再生方式の変換によって欠損する情報を補完する情報を生成する。
【００６６】
例えば、動画コンテンツの再生方式が、音声のみを出力する再生方式に変換される場合を考える。かかる場合、本来の動画コンテンツが映像を用いてユーザに提供していた各種の情報が、再生方式の変換によって失われることとなる。このような情報が、この場合における欠損情報となる。そこで、欠損補完情報生成部１０９は、変換によって欠損する、本来コンテンツが映像を用いてユーザに提供していた情報を、欠損補完情報として生成する。かかる場合、生成される欠損補完情報は、音声を用いてユーザに提供される情報として生成されることはいうまでもない。
【００６７】
また、動画コンテンツの再生方式を、映像のみを出力する再生方式に変換される場合を考える。かかる場合、本来の動画コンテンツが音声を用いてユーザに提供していた各種の情報が、再生方式の変換によって失われることとなる。このような情報が、この場合における欠損情報となる。そこで、欠損補完情報生成部１０９は、変換によって欠損する、本来コンテンツが音声を用いてユーザに提供していた情報を、欠損補完情報として生成する。かかる場合、生成される欠損補完情報は、画面に表示される字幕などのような映像を用いてユーザに提供される情報として生成されることはいうまでもない。
【００６８】
図８は、コンテンツの再生方式と欠損補完情報の再生方式との対応関係の一例を示した図である。図８に示したように、動画コンテンツの再生方式が絵本様コンテンツ（すなわち、静止画及び字幕で再生されるコンテンツ）へと変換される場合、生成される欠損補完情報は、表示画面にテロップとして出力される。また、再生方式が活字コンテンツ（すなわち、静止画や動画の存在しないコンテンツ）へと変換される場合、生成される欠損補完情報は、情景を描写する文章として出力される。また、再生方式が消音状態での映像コンテンツへと変換される場合、生成される欠損補完情報は、表示画面にテロップとして出力される。また、動画コンテンツが音声コンテンツへと変換される場合、生成される欠損補完情報は、ナレーション（すなわち、音声情報）として出力される。
【００６９】
このように、欠損補完情報は、コンテンツの再生方式が視覚的なものであるか、聴覚的なものであるか、動画であるか静止画であるかなどを考慮し、再生方式変換時に消失する恐れのある情報を別の形式で表現したものである。そのため、視覚的情報が有効なものに関しては、欠損補完情報は、表示画面に文字として表示するテロップ形式で出力され、聴覚的情報が有効なものに関してはナレーション形式にて出力される。
【００７０】
以上説明したように、欠損補完情報生成部１０９は、再生方式決定部１０７から出力された再生方式を示す情報に応じて、欠損補完情報を生成する。この際、欠損補完情報生成部１０９は、情景メタデータ抽出部１０３から出力された情景メタデータを少なくとも利用して、欠損補完情報を生成する。また、欠損補完情報生成部１０９は、欠損補完情報を生成する際に、情景メタデータだけでなく、基本メタデータや、検索サーバによる検索結果などネットワークを介して取得した各種情報を利用して、欠損補完情報を生成することが可能である。
【００７１】
欠損補完情報を生成する方法は、特に限定されるわけではないが、例えば、情景メタデータ抽出部１０３から出力された情景メタデータを結合して文字列化したり、文字列化したものを更に音声化したりすることで、欠損補完情報を生成可能である。また、文字列から読み上げ音声を生成する方法としては、公知の任意の方法を利用可能であるが、例えば、特開平１０−１６１８４７号公報に提案されているような技術を利用可能である。
【００７２】
欠損補完情報生成部１０９は、上述のように、再生方式に適した形で欠損補完情報を生成すると、生成した欠損補完情報を、後述する欠損補完情報出力部１１３へと出力する。また、欠損補完情報生成部１０９は、上述のようにして生成した欠損補完情報を、後述する記憶部１１５等に格納することが好ましい。これにより、欠損補完情報の存在する動画コンテンツを保存されている欠損補完情報に適した再生形式で再度出力する場合に、保存されている欠損補完情報を再利用することで、欠損補完情報を新たに生成する負荷を抑制することができる。
【００７３】
また、記憶部１１５等に格納されている欠損補完情報は、他のシーンの欠損補完情報を生成する際にも利用可能である。他のシーンの欠損補完情報と、着目しているシーンの欠損補完情報とを利用することで、シーン間の遷移をも考慮した欠損補完情報を生成することが可能となる。
【００７４】
なお、欠損補完情報生成部１０９は、絵本様コンテンツの各コマに対応するシーンの動画再生用リンクや音声リンクを埋め込むことにより、選択したコマの場所から動画コンテンツを復元再生することができるように欠損補完情報を生成してもよい。また、欠損補完情報生成部１０９は、インターネット等のネットワークからの情報や視聴率、音の盛り上がり度を基準に、絵本様コンテンツに変換時のコマ割りを決定することも可能である。更に、欠損補完情報生成部１０９は、欠損補完情報をナレーションとして生成する場合、テンプレートなどを利用して、ユーザの好みの声を選択できる。
【００７５】
コンテンツ再生部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。コンテンツ再生部１１１は、再生方式決定部１０７から出力されたコンテンツの再生方式を示す情報を参照し、対応する再生方式で動画コンテンツの再生を行う。また、再生方式決定部１０７から出力された情報に対応する再生方式が、動画コンテンツ本来の再生方式と異なる場合には、コンテンツ再生部１１１は、対応する再生方式にコンテンツを変換した上でコンテンツの再生を行う。
【００７６】
なお、コンテンツ再生部１１１は、予め設定されたコンテンツの視聴時間とユーザの視聴スピードとを参考として、絵本様コンテンツのコマ割りを動的に変更することも可能である。
【００７７】
ここで、コンテンツ再生部１１１は、再生方式の変換処理を実施したコンテンツを再生する場合には、後述する欠損補完情報出力部１１３と連携しながら変換後のコンテンツの再生処理を行う。これにより、変換されたことにより欠損した内容を補完する情報を適切なシーンに挿入しながらコンテンツを再生することが可能となる。
【００７８】
欠損補完情報出力部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。欠損補完情報出力部１１３は、欠損補完情報生成部１０９により生成された欠損補完情報を、再生方式決定部１０７から出力された再生方式に適した形式（すなわち、図８に示したような再生方式）で出力する。ここで、欠損補完情報生成部１０９は、欠損補完情報を出力する際に、コンテンツ再生部１１１と連携しながら、コンテンツ再生部１１１が再生するシーンに適した欠損補完情報を出力する。
【００７９】
また、欠損補完情報出力部１１３は、センサ出力解析部１０５による解析結果を利用することで、ユーザの特性をも考慮した欠損補完情報の出力が可能になる。例えば、コンテンツの再生方式が絵本様コンテンツに変換される場合、テロップとして付与される欠損補完情報を、ユーザの年齢や身体情報に応じて、平仮名に変換したり、文字サイズを変化させたりすることが可能である。また、欠損補完情報出力部１１３は、ユーザが設定した目的地までの移動の間にコンテンツを視聴し終えられるよう、視聴時間やユーザの視聴スピードに合わせて、絵本様コンテンツのコマ割りや表示するテロップの数などを変動させることができる。
【００８０】
記憶部１１５は、本実施形態に係る情報処理装置１０が備えるストレージ装置の一例である。記憶部１１５には、動画コンテンツの再生に関する履歴情報、動画コンテンツの変換処理に関する履歴情報など、各種の履歴情報が記録されている。また、記憶部１１５には、情景メタデータ抽出部１０３が利用する各種の辞書やデータベース等が記録されている。さらに、記憶部１１５には、本実施形態に係る情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等が、適宜記録される。
【００８１】
この記憶部１１５は、本実施形態に係る情報処理装置１０が備える各処理部が、自由に読み書きを行うことが可能である。
【００８２】
＜情景メタデータ抽出部の構成について＞
続いて、図９を参照しながら、本実施形態に係る情景メタデータ抽出部の詳細な構成について説明する。図９は、本実施形態に係る情景メタデータ抽出部の構成を示したブロック図である。
【００８３】
本実施形態に係る情景メタデータ抽出部１０３は、図９に示したように、基本メタデータ抽出部１２１と、画像解析部１２３と、音声解析部１２５と、テキスト解析部１２７と、情景メタデータ生成部１２９と、を更に備える。
【００８４】
基本メタデータ抽出部１２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。基本メタデータ抽出部１２１は、コンテンツ取得部１０１から出力された動画コンテンツの中から図５に示したような基本メタデータを抽出する。また、基本メタデータ抽出部１２１は、外部に設けられた各種のデータベースから、基本メタデータを取得してもよい。基本メタデータ抽出部１２１は、抽出した基本メタデータを、コンテンツ取得部１０１から出力されたコンテンツの実体データとともに、後述する画像解析部１２３、音声解析部１２５及びテキスト解析部１２７に出力する。また、基本メタデータ抽出部１２１は、抽出した基本メタデータを、記憶部１１５等に記録することが好ましい。
【００８５】
画像解析部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。画像解析部１２３は、基本メタデータ抽出部１２１から出力されたコンテンツの実体データ及び基本メタデータを利用して、コンテンツを構成する画像データを解析する。
【００８６】
画像解析部１２３は、まず、コンテンツを構成する各シーンの静止画像について、静止画像に含まれる人物、物体等のオブジェクトと、背景画像とを分離する処理を行う。オブジェクトの分離処理は、静止画像のデータに対してハイパスフィルタを適用した後に、公知の顔認識処理、物体認識処理、動体認識処理等を行うことで実現される。その後、画像解析部１２３は、記憶部１１５等に格納されている各種辞書ファイルや、ネットワーク上に存在する検索サーバ等を利用し、得られたオブジェクトに関して、静止画像から得られる要素データを特定する処理を実施する。また、画像解析部１２３は、必要に応じて、登場人物の共起関係（すなわち、対人関係）を表す指数を算出してもよい。
【００８７】
また、画像解析部１２３は、背景画像の分離処理を、静止画像のデータに対してローパスフィルタを適用することで実施する。その後、画像解析部１２３は、得られた背景画像について、背景画像の明るさを表す数値を特定したり、色の平均値や、色温度を特定したりする処理を実施する。
【００８８】
静止画像から得られる要素データの種類としては、例えば、背景、人物顔、背景物、テロップ等の区別や、オブジェクトの名称等を挙げることができる。背景は、明るさや色、色温度などの情報を含んでおり、対象シーンの時間帯や天候、季節などを推測することができる。また、人物の顔からは、名前、口角の状態（上向き、下向きなど）、唇の動きを取得することができる。これにより、画像解析部１２３は、人物の表情を特定することも可能となる。また、これらの情報以外にも、画像解析部１２３は、登場人物のしぐさについても解析を行うことが可能である。
【００８９】
また、画像解析部１２３は、後述する音声解析部１２５及びテキスト解析部１２７と互いに連携して、それぞれの処理を実施することが可能である。
【００９０】
画像解析部１２３は、コンテンツを構成する画像データの解析結果を、後述する情景メタデータ生成部１２９に出力する。また、画像解析部１２３は、得られた解析結果をデータベースやルックアップテーブル等の形式で記憶部１１５に格納してもよく、解析結果に関する履歴情報を、記憶部１１５に格納してもよい。
【００９１】
音声解析部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声解析部１２５は、基本メタデータ抽出部１２１から出力されたコンテンツの実体データ及び基本メタデータを利用して、コンテンツを構成する音声データを解析する。
【００９２】
音声解析部１２５は、動画コンテンツを構成する音声データを解析して、画像解析部１２３により顔が検出された期間の音声データｖ１を抽出する。また、音声解析部１２５は、顔が検出された期間のうち、検出された顔の口が動いている期間の音声データｖ２を抽出する。更に、音声解析部１２５は、音声データｖ１に対する音声データｖ２の差分Ｖを算出する。
【００９３】
ここで、音声データｖ１は、顔が検出された人物による発話音声が含まれておらず、環境音のみが含まれると考えられる。これに対して、音声データｖ２は、顔が検出された人物による発話音声と環境音とが含まれると考えられる。従って、これらの差分Ｖは、環境音が除外され、顔が検出された人物による発話音声のみを含むと考えられる。
【００９４】
音声解析部１２５は、得られた差分Ｖをフーリエ変換し、その結果得られる差分Ｖの周波数分布を、発話している人物の音声成分として特定することが可能である。また、かかる方法以外にも、例えば、複数の人物の声紋が登録されているデータベースを利用して声紋解析を行うことで、発話している人物を特定することが可能である。また、発話音声の抑揚、強度、アクセント、トーン等を抽出して、発話している人物の状態を特定することが可能である。
【００９５】
また、音声解析部１２５は、発話音声について公知の音声認識処理を実施することで、その内容を文字列化することが可能となる。
【００９６】
他方、得られた環境音にＢＧＭ等の楽曲が含まれている場合には、音声解析部１２５は、ネットワーク上に存在する検索サーバ等を利用することで、含まれている楽曲の名称やジャンル等を特定することも可能である。また、音声解析部１２５は、様々な音の波形が登録されているデータベースを利用して波形解析を行うことで、含まれる音の種類や由来を特定することが可能である。
【００９７】
なお、音声解析部１２５は、画像解析部１２３及びテキスト解析部１２７と互いに連携して、それぞれの処理を実施することが可能である。
【００９８】
音声解析部１２５は、コンテンツを構成する音声データの解析結果を、後述する情景メタデータ生成部１２９に出力する。また、音声解析部１２５は、得られた解析結果をデータベースやルックアップテーブル等の形式で記憶部１１５に格納してもよく、解析結果に関する履歴情報を、記憶部１１５に格納してもよい。
【００９９】
テキスト解析部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。テキスト解析部１２７は、基本メタデータ抽出部１２１から出力されたコンテンツの実体データ及び基本メタデータを利用して、コンテンツに含まれるテキスト（文字列）を解析する。
【０１００】
例えば、テキスト解析部１２７は、基本メタデータ抽出部１２１により抽出された字幕情報やテロップを解析して、表示画面に表示されている文字列を要素データとして抽出する。また、テキスト解析部１２７は、音声解析部１２５が抽出した音声認識結果を解析して、登場人物の発話内容を特定することもできる。
【０１０１】
また、テキスト解析部１２７は、字幕情報やテロップ等の文字列や、音声認識結果を表す文字列を形態素解析して、その結果から固有名詞を抽出することが可能である。抽出した固有名詞を解析することで、顔が検出された人物の名前、役柄、決まり文句等を抽出することができる。テキスト解析部１２７は、文字列の形態素解析を実施する際には、記憶部１１５等に格納されている各種の辞書ファイルを利用する。また、テキスト解析部１２７は、必要に応じて、いわゆる構文解析処理や意味解析処理を実施することができる。
【０１０２】
また、テキスト解析部１２７は、画像解析部１２３や音声解析部１２５の解析結果を利用して、字幕等に含まれる文字列の話者を特定することが可能である。すなわち、画像解析によって検出された顔において、口が動いている時間に対応する文字列が、対応する人物の発話内容として特定することもできる。
【０１０３】
テキスト解析部１２７は、コンテンツに含まれる文字列データやコンテンツから抽出された文字列データの解析結果を、後述する情景メタデータ生成部１２９に出力する。また、テキスト解析部１２７は、得られた解析結果をデータベースやルックアップテーブル等の形式で記憶部１１５に格納してもよく、解析結果に関する履歴情報を、記憶部１１５に格納してもよい。
【０１０４】
なお、本実施形態に係る画像解析部１２３、音声解析部１２５及びテキスト解析部１２７は、各シーンを構成する画像、音声、テキストのそれぞれについて、各種の特徴量を算出した上で、シーン間について算出した特徴量の類似度を算出することも可能である。これにより、これらの解析部は、既に解析したシーンについての解析結果を利用して、着目しているシーンの解析を行うことが可能である。ここで、算出する特徴量については、特に限定されるわけではなく、公知の特徴量算出方法を適用して各種算出することが可能である。
【０１０５】
また、画像解析部１２３、音声解析部１２５及びテキスト解析部１２７は、いわゆる機械学習技術を利用して解析結果を学習していくことにより、各処理部における解析処理を行っても良い。
【０１０６】
情景メタデータ生成部１２９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情景メタデータ生成部１２９は、画像解析部１２３、音声解析部１２５及びテキスト解析部１２７から出力されたそれぞれの解析結果を利用して、動画コンテンツを構成する各シーンの情景を特徴付ける情景メタデータを生成する。これにより、動画コンテンツを構成する画像データに由来する情景メタデータと、動画コンテンツを構成する音声データに由来する情景メタデータとが生成されることとなる。
【０１０７】
情景メタデータ生成部１２９は、生成した情景メタデータを、欠損補完情報生成部１０９に出力する。また、情景メタデータ生成部１２９は、生成した情景メタデータを、記憶部１１５等にデータベースやルックアップテーブル等の形式で格納することが好ましい。これにより、情景メタデータ生成部１２９は、既に生成した情景メタデータを利用して、着目しているシーンの情景メタデータの生成を行うことが可能である。
【０１０８】
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１０９】
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１１０】
＜情景メタデータ及び欠損補完情報の生成処理の具体例について＞
次に、図１０及び図１１を参照しながら、情景メタデータ及び欠損補完情報の生成処理の具体例について、簡単に説明する。図１０は、情景メタデータの生成処理を説明するための説明図であり、図１１は、欠損補完情報の生成処理を説明するための説明図である。
【０１１１】
以下では、基本メタデータ抽出部１２１により、ある動画コンテンツのシーンＡについて、図１０に示したような基本メタデータ５０１が抽出されたものとする。このシーンＡでは、静止画像中に２人の人物が写っており、音声データとして、２人の会話に対応するデータとＢＧＭとが含まれているものとする。また、静止画像には、「エジプト旅行！」というテロップが表示されており、コンテンツ自体には、字幕情報が含まれているものとする。
【０１１２】
情景メタデータ抽出部１０３の画像解析部１２３は、抽出された基本メタデータ５０１に含まれる静止画像を利用して、周波数分離、顔認識、動体認識などといった各種の解析処理を実施する。これにより、画像解析部１２３は、静止画に含まれる各種オブジェクトや背景画像等を含む一連の情報５０３を抽出することができる。その後、画像解析部１２３は、人物辞書、環境辞書等の辞書ファイルや、検索サーバにおける画像検索処理等を利用して、抽出した情報５０３から、画像データに由来する一連の要素データ５０５を抽出する。この要素データ５０５には、図１０に示したような各種情報が含まれている。
【０１１３】
画像解析部１２３は、要素データ５０５の抽出が終了すると、抽出した要素データ５０５を、情景メタデータ生成部１２９に出力する。
【０１１４】
また、テキスト解析部１２７は、基本メタデータ５０１に含まれる字幕情報を利用して文字列抽出処理を行い、２種類の台詞５０７を抽出する。その後、テキスト解析部１２７は、画像解析部１２３及び音声解析部１２５と連携しながら、話者特定処理及び形態素解析処理を行い、動画コンテンツに含まれるテキストに由来する要素データ５０９を抽出する。このテキストに由来する要素データ５０９には、図１０に示したような情報が含まれている。
【０１１５】
テキスト解析部１２７は、要素データ５０９の抽出が終了すると、抽出した要素データ５０９を、情景メタデータ生成部１２９に出力する。
【０１１６】
また、音声解析部１２５は、基本メタデータ５０１に含まれる音声データに対して、声紋辞書を利用した処理、波形解析処理、波形分離処理等を実施し、発話音と環境音に関するデータ５１１を抽出する。その後、分離した各音声データに対して、人物辞書を利用した処理や楽曲検索処理等を実施して、音声データに由来する要素データ５１３を抽出する。この要素データ５１３には、図１０に示したような各種情報が含まれている。
【０１１７】
音声解析部１２５は、要素データ５１３の抽出が終了すると、抽出した要素データ５１３を、情景メタデータ生成部１２９に出力する。
【０１１８】
情景メタデータ生成部１２９は、画像解析部１２３、音声解析部１２５及びテキスト解析部１２７から出力されたそれぞれの要素データを利用して、画像データに由来する情景メタデータ及び音声データに由来する情景メタデータからなるシーンＡの情景メタデータを生成する。
【０１１９】
情景メタデータ生成部１２９は、このようにして生成した情景メタデータを、記憶部１１５等に格納するとともに、欠損補完情報生成部１０９に出力する。
【０１２０】
次に、図１１を参照しながら、欠損補完情報の生成処理の具体例を説明する。なお、図１１の説明に際して、動画コンテンツが音声コンテンツに変換されるものとする。
【０１２１】
欠損補完情報生成部１０９は、再生方式決定部１０７から出力された再生方式を示す情報を参照して、画像データに潜在的に含まれる各種の情報が欠損する恐れがあることを特定する。その後、欠損補完情報生成部１０９は、主に画像データに由来する情景メタデータを利用して、シーンＡに関する欠損補完情報を生成する。
【０１２２】
情景メタデータ生成部１２９によって、図１１に示したような情景メタデータが生成されているものとする。欠損補完情報生成部１０９は、画像データに含まれる情報を補完するために、主に画像データに由来する情景メタデータを利用して欠損補完情報を生成する。そのため、欠損補完情報生成部１０９は、図１１に示したような欠損補完情報５１７を生成する。図１１に示したように、生成される欠損補完情報は、本来映像によってユーザに伝えられる、場所に関する情報、天候に関する情報、登場人物の表情に関する情報が含まれる文字列である。
【０１２３】
このようにして生成された欠損補完情報を出力することで、情報処理装置１０は、コンテンツの再生方式が変換されることで欠損する恐れのある情報を、ユーザに伝達することが可能となる。
【０１２４】
＜情報処理方法について＞
続いて、図１２〜図１５を参照しながら、本実施形態に係る情報処理装置１０で実施される各種の情報処理方法について、その流れを簡単に説明する。
【０１２５】
［情景メタデータの抽出処理］
まず、図１２を参照して、情景メタデータの抽出処理の全体的な流れについて説明する。図１２は、情景メタデータの抽出処理の全体的な流れについて説明する。
【０１２６】
まず、情景メタデータ抽出部１０３の基本メタデータ抽出部１２１は、動画コンテンツを解析して、動画コンテンツから、図５に示したような基本メタデータを抽出する（ステップＳ１０１）。その後、情景メタデータ抽出部１０３は、抽出した基本メタデータを利用して、情景メタデータを抽出する（ステップＳ１０３）。
【０１２７】
続いて、図１３を参照しながら、情景メタデータ抽出部１０３により実施される情景メタデータの抽出処理の流れについて説明する。図１３は、情景メタデータの抽出処理の流れを示した流れ図である。
【０１２８】
まず、情景メタデータ抽出部１０３は、動画コンテンツを構成するシーンの一つを選択する（ステップ１１１）。その後、画像解析部１２３、音声解析部１２５及びテキスト解析部１２７は、選択したシーンについて、基本メタデータを利用した解析処理を実施する。
【０１２９】
例えば、画像解析部１２３は、選択したシーンに含まれる静止画を抽出し（ステップＳ１１３）、静止画をオブジェクトと背景とに分離する（ステップＳ１１５）。その後、画像解析部１２３は、各種の解析処理や検索サーバ等を利用して、オブジェクト情報を取得する（ステップＳ１１７）とともに、背景画像に関する背景情報を取得する（ステップＳ１１９）。続いて、画像解析部１２３は、取得したオブジェクト情報及び背景情報を、情景メタデータ生成部１２９に出力する。
【０１３０】
また、音声解析部１２５は、選択したシーンに対応する音声データを抽出し（ステップＳ１２１）、音声データを発話音と環境音とに分離する（ステップＳ１２３）。その後、音声解析部１２５は、分離した環境音について、各種の解析処理や検索サーバ等を利用して、環境音情報を取得する（ステップＳ１２５）。また、音声解析部１２５は、音声データの解析結果をテキスト解析部１２７に出力する。続いて、音声解析部１２５は、得られた環境音に関する情報を、情景メタデータ生成部１２９に出力する。
【０１３１】
また、テキスト解析部１２７は、選択したシーンに対応する字幕やテロップに関するデータを抽出する（ステップＳ１２７）。その後、テキスト解析部１２７は、テキストの解析結果と、音声解析部１２５による解析結果とを利用して、選択したシーンに登場する発話者に関する情報を取得する（ステップＳ１２９）。続いて、テキスト解析部１２７は、取得した発話者に関する情報を、情景メタデータ生成部１２９に出力する。
【０１３２】
情景メタデータ生成部１２９は、各解析部から出力された情報を利用して、着目しているシーンの情景メタデータを生成する（ステップＳ１３１）。その後、情景メタデータ抽出部１０３は、着目している動画コンテンツについて、未着目のシーンが存在するか否かを判断する（ステップＳ１３３）。未着目のシーンが存在する場合には、情景メタデータ抽出部１０３は、ステップＳ１１１に戻って処理を継続する。また、未着目のシーンが存在しない場合には、情景メタデータ抽出部１０３は、情景メタデータの抽出処理を終了する。
【０１３３】
［変換後のコンテンツの再生処理］
続いて、図１４を参照しながら、変換後のコンテンツの再生処理の流れについて説明する。図１４は、変換後のコンテンツの再生処理の流れを示した流れ図である。
【０１３４】
なお、以下の説明に先立ち、情景メタデータ抽出部１０３によって情景メタデータが抽出され、欠損補完情報生成部１０９に出力されているものとする。
【０１３５】
まず、情報処理装置１０のセンサ出力解析部１０５は、情報処理装置１０が備える各種センサからの出力（すなわち、センサ情報）を取得して、取得したセンサ情報の解析を行う（ステップＳ１４１）。これにより、センサ出力解析部１０５は、センサ情報を解析することで得られるセンシング情報を生成する。その後、センサ出力解析部１０５は、得られたセンシング情報を、再生方式決定部１０７に出力する。
【０１３６】
再生方式決定部１０７は、ユーザ設定を取得するとともに（ステップＳ１４３）、センサ出力解析部１０５から出力されたセンシング情報と、取得したユーザ設定とに基づいて、コンテンツ再生方式を決定する（ステップＳ１４５）。
【０１３７】
再生方式決定部１０７は、再生方式を決定すると、決定した再生方式を示した情報を、欠損補完情報生成部１０９、コンテンツ再生部１１１及び欠損補完情報出力部１１３に出力する。
【０１３８】
コンテンツ再生部１１１は、再生方式決定部１０７から出力された再生方式を示した情報に基づいて、コンテンツの再生方式を変換する（ステップＳ１４７）。
【０１３９】
一方、欠損補完情報生成部１０９は、情景メタデータ抽出部１０３によって抽出された情景メタデータと、コンテンツの再生方式とに基づいて、欠損補完情報を生成する（ステップＳ１４９）。その後、情景メタデータ抽出部１０３は、コンテンツの再生方式に基づいて、欠損補完情報の再生方式を決定する（ステップＳ１５１）。
【０１４０】
その後、コンテンツ再生部１１１及び欠損補完情報出力部１１３は、変換後のコンテンツ及び欠損補完情報を出力する（ステップＳ１５３）。
【０１４１】
これにより、情報処理装置１０は、コンテンツの再生方式が変換されることで欠損する恐れのある情報を、ユーザに伝達することが可能となる。
【０１４２】
［再生方式の決定処理］
続いて、図１５を参照しながら、再生方式決定部１０７によって行われる再生方式の決定処理の一例について、簡単に説明する。図１５は、再生方式決定部１０７によって行われる再生方式の決定処理の一例を示した流れ図である。
【０１４３】
再生方式決定部１０７は、まず、情報処理装置１０に対してユーザ操作がなされたか否かを判断する（ステップＳ１６１）。再生方式決定部１０７は、ユーザ操作がなされた場合には、ユーザ操作に対応するコンテンツの再生方式を、コンテンツの再生方式として決定する。
【０１４４】
ユーザ操作がなかった場合には、再生方式決定部１０７は、センシング結果を表すセンシング情報が存在するか否かを判断する（ステップＳ１６３）。センシング情報が存在しない場合には、再生方式決定部１０７は、コンテンツ再生を一時的に停止する。
【０１４５】
また、センシング情報が存在する場合、再生方式決定部１０７は、ユーザの顔を撮像した撮像データ等を参照して、ユーザが情報処理装置１０の表示画面を見ているか否かを判断する（ステップＳ１６５）。
【０１４６】
ユーザが表示画面を見ている場合には、再生方式決定部１０７は、周囲の音に関するセンサ情報を参照して、音が聞こえるか否かを判断する（ステップＳ１６７）。音が聞こえる場合には、再生方式決定部１０７は、音声を出力しても良い状況にあると判断し、動画コンテンツを変換することなく（元の再生方式のままで）再生するように、再生方式を決定する。また、音が聞こえない場合には、再生方式決定部１０７は、音声を出力しない方が良い状況にあると判断し、動画コンテンツを、消音状態のまま映像コンテンツとして再生するように、再生方式を決定する。
【０１４７】
他方、ユーザが表示画面を見ていない場合、再生方式決定部１０７は、周囲の音に関するセンサ情報を参照して、音が聞こえるか否かを判断する（ステップＳ１６９）。音が聞こえる場合には、再生方式決定部１０７は、音声を出力しても良い状況にあると判断し、動画コンテンツを音声コンテンツとして再生するように、再生方式を決定する。また、音が聞こえない場合には、再生方式決定部１０７は、コンテンツ再生を一時的に停止する。
【０１４８】
以上、本発明の実施形態に係る情報処理装置及び情報処理方法について説明した。
【０１４９】
（第２の実施形態）
続いて、本発明の第２の実施形態に係る情報処理システムについて説明する。本発明の第１の実施形態では、情景メタデータの抽出及び欠損補完情報の生成が一つの装置内で実施される場合について説明したが、第２の実施形態では、情景メタデータの抽出処理と、欠損補完情報の生成処理とが、異なる装置で実施される場合について説明する。
【０１５０】
＜情報処理システムについて＞
まず、図１６を参照しながら、本実施形態に係る情報処理システムの構成について説明する。図１６は、本実施形態に係る情報処理システムを示した説明図である。
【０１５１】
本実施形態に係る情報処理システム１は、図１６に示したように、ネットワーク３と、ネットワーク３によって互いに通信が可能な、コンテンツ提供サーバ５、ＧＰＳ７、情景メタデータ抽出装置２０及び欠損補完情報生成装置３０を少なくとも含む。
【０１５２】
ここで、ネットワーク３、コンテンツ提供サーバ５及びＧＰＳ７は、本発明の第１の実施形態に係るネットワーク３、コンテンツ提供サーバ５及びＧＰＳ７と同様の構成を有し、同様の効果を奏するため、以下では詳細な説明は省略する。
【０１５３】
情景メタデータ抽出装置２０は、コンテンツ提供サーバ５等から取得した動画コンテンツから、当該動画コンテンツの情景メタデータを抽出する装置である。また、情景メタデータ抽出装置２０は、抽出した情景メタデータを、欠損補完情報生成装置３０に提供する。これにより、後述する欠損補完情報生成装置３０は、情景メタデータ抽出装置２０により抽出された情景メタデータを利用して、コンテンツの再生方式の変換に伴って欠損する可能性のある情報を補完するための欠損補完情報を生成することができる。
【０１５４】
欠損補完情報生成装置３０は、情景メタデータ抽出装置２０により抽出された情景メタデータを利用して、動画コンテンツの再生方式の変換に伴って欠損する可能性のある情報を補完するための欠損補完情報を生成する。また、欠損補完情報生成装置３０は、生成した欠損補完情報を利用して、動画コンテンツの再生方式を変換しながら、コンテンツの再生を行うことが可能である。
【０１５５】
なお、情景メタデータ抽出装置２０及び欠損補完情報生成装置３０は、ネットワーク３を介して互いに接続されていてもよく、所定のケーブルを介して直接接続されていてもよい。
【０１５６】
本実施形態に係る情景メタデータ抽出装置２０及び欠損補完情報生成装置３０は、パーソナルコンピュータや各種サーバ等のコンピュータとして実現されてもよく、携帯用音楽プレーヤ、携帯用ゲーム機、携帯電話、スマートフォン、ＰＤＡ、タッチスクリーンタブレット等の携帯型電子機器として実現されてもよい。また、本実施形態に係る情景メタデータ抽出装置２０及び欠損補完情報生成装置３０は、テレビ、ＤＶＤレコーダやＢｌｕ−Ｒａｙレコーダ等の各種レコーダとして実現されてもよい。
【０１５７】
以上、本実施形態に係る情報処理システム１について、簡単に説明した。なお、本実施形態に係る情報処理システム１には、各種情報の検索を行うことが可能な検索エンジンやデータベース等を管理している検索サーバ等が含まれていても良い。
【０１５８】
＜情景メタデータ抽出装置の構成について＞
続いて、図１７を参照しながら、本実施形態に係る情景メタデータ抽出装置２０の構成について説明する。図１７は、本実施形態に係る情景メタデータ抽出装置２０の構成を示したブロック図である。
【０１５９】
本実施形態に係る情景メタデータ抽出装置２０は、図１７に示したように、コンテンツ取得部２０１と、情景メタデータ抽出部２０３と、データ出力部２０５と、記憶部２０７と、を主に備える。
【０１６０】
ここで、本実施形態に係るコンテンツ取得部２０１及び記憶部２０７は、第１の実施形態に係る各処理部と同様の構成を有し、同様の効果を奏するため、以下では詳細な説明は省略する。
【０１６１】
また、本実施形態に係る情景メタデータ抽出部２０３は、抽出した情景メタデータを記憶部２０７に格納する以外には、第１の実施形態に係る情景メタデータ抽出部１０３と同様の構成を有し、同様の効果を奏するため、以下では詳細な説明は省略する。
【０１６２】
データ出力部２０５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。データ出力部２０５は、情景メタデータ抽出部２０３により抽出され、記憶部２０７に格納されている情景メタデータを、欠損補完情報生成装置３０からの情景メタデータ送信要求に応じて欠損補完情報生成装置３０に出力する。
【０１６３】
また、データ出力部２０５は、記憶部２０７からではなく、情景メタデータ抽出部２０３から直接情景メタデータを取得してもよい。
【０１６４】
以上、本実施形態に係る情景メタデータ抽出装置２０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１６５】
なお、上述のような本実施形態に係る情景メタデータ抽出装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１６６】
＜欠損補完情報生成装置の構成について＞
続いて、図１８を参照しながら、本実施形態に係る欠損補完情報生成装置３０の構成について説明する。図１８は、本実施形態に係る欠損補完情報生成装置３０の構成を示したブロック図である。
【０１６７】
本実施形態に係る欠損補完情報生成装置３０は、情景メタデータ取得部３０１、欠損補完情報生成部３０３、センサ出力解析部３０５、再生方式決定部３０７、コンテンツ再生部３０９、欠損補完情報出力部３１１及び記憶部３１３を主に備える。
【０１６８】
情景メタデータ取得部３０１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情景メタデータ取得部３０１は、情景メタデータ抽出装置２０に対して情景メタデータの送信を要求し、情景メタデータを情景メタデータ抽出装置２０から取得する。また、情景メタデータ取得部３０１は、取得した情景メタデータを、欠損補完情報生成部３０３に出力する。
【０１６９】
また、情景メタデータ取得部３０１は、コンテンツ提供サーバ５や情景メタデータ抽出装置２０等から、動画コンテンツの実体データや当該動画コンテンツのメタデータ等を取得してもよい。この場合、情景メタデータ取得部３０１は、動画コンテンツの実体データを、コンテンツ再生部３０９に出力するとともに、コンテンツのメタデータを、欠損補完情報生成部３０３に出力してもよい。
【０１７０】
欠損補完情報生成部３０３、センサ出力解析部３０５、再生方式決定部３０７、コンテンツ再生部３０９、欠損補完情報出力部３１１及び記憶部３１３は、第１の実施形態に係る各処理部と同様の構成を有し、同様の効果を奏するため、詳細な説明は省略する。
【０１７１】
以上、本実施形態に係る欠損補完情報生成装置３０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１７２】
なお、上述のような本実施形態に係る欠損補完情報生成装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０１７３】
（ハードウェア構成について）
次に、図１９を参照しながら、本発明の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図１９は、本発明の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
【０１７４】
情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３および通信装置９２５を備える。
【０１７５】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０１７６】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０１７７】
センサ９１４は、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサや、ＧＰＳセンサ等を挙げることができる。また、センサ９１４は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
【０１７８】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１７９】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０１８０】
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
【０１８１】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）または電子機器等であってもよい。
【０１８２】
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
【０１８３】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０１８４】
以上、本発明の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１８５】
なお、本発明の第２の実施形態に係る情景メタデータ抽出装置２０及び欠損補完情報生成装置３０のハードウェア構成は、第１の実施形態に係る情報処理装置１０のハードウェア構成と同様であり、同様の効果を奏するものであるため、詳細な説明は省略する。
【０１８６】
（まとめ）
以上説明したように、本発明の実施形態によれば、再生方式の変更による情報欠損を抑制することができる。また、ユーザの視聴環境や再生機器に応じて、動画コンテンツの再生方式を自由かつ動的に選択・変更することができる。また、動画コンテンツを絵本様コンテンツ等に変換することにより、ユーザが自らのペースでコンテンツを視聴することができる。
【０１８７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１８８】
例えば、上記実施形態では、動画コンテンツを例にとって説明を行ったが、動画コンテンツ以外にも、データ形式を変換することでデータが本来有していた情報の一部が欠損するようなデータについても、本発明を適用可能である。
【符号の説明】
【０１８９】
１    情報処理システム
３    ネットワーク
５    コンテンツ提供サーバ
７    ＧＰＳ
１０    情報処理装置
２０    情景メタデータ抽出装置
３０    欠損補完情報生成装置
１０１，２０１    コンテンツ取得部
１０３，２０３    情景メタデータ抽出部
１０５，３０５    センサ出力解析部
１０７，３０７    再生方式決定部
１０９，３０３    欠損補完情報生成部
１１１，３０９    コンテンツ再生部
１１３，３１１    欠損補完情報出力部
１１５，２０７，３１３    記憶部
１２１    基本メタデータ抽出部
１２３    画像解析部
１２５    音声解析部
１２７    テキスト解析部
１２９    情景メタデータ生成部
２０５    データ出力部
３０１    情景メタデータ取得部
【図１】
2011239141.tif 000003
【図２】
2011239141.tif 000004
【図３】
2011239141.tif 000005
【図４】
2011239141.tif 000006
【図５】
2011239141.tif 000007
【図６】
2011239141.tif 000008
【図７】
2011239141.tif 000009
【図８】
2011239141.tif 000010
【図９】
2011239141.tif 000011
【図１０】
2011239141.tif 000012
【図１１】
2011239141.tif 000013
【図１２】
2011239141.tif 000014
【図１３】
2011239141.tif 000015
【図１４】
2011239141.tif 000016
【図１５】
2011239141.tif 000017
【図１６】
2011239141.tif 000018
【図１７】
2011239141.tif 000019
【図１８】
2011239141.tif 000020
【図１９】
2011239141.tif 000021