(57)【要約】【課題】付帯する情報によって、ユーザの視聴が妨害されてしまうことを防止すること。【解決手段】情報処理装置１００は、映像データの関連情報を保持する関連情報バッファ１１４と、映像データのフレーム画像が重要なシーンの画像であるか否かを判断し、映像データのフレーム画像が重要なシーンの画像ではない場合に、関連情報の画像を映像データのフレーム画像とともに表示するために、関連情報バッファ１１４から関連情報を出力させるとともに、映像データのフレーム画像が重要なシーンの画像である場合に、関連情報の画像を映像データのフレーム画像とともに表示させないために、関連情報バッファ１１４から関連情報を出力させない制御部１１０とを備える。【選択図】図１
2014150314.tif 000002
【特許請求の範囲】
【請求項１】
映像データの関連情報を保持する関連情報保持部と、
前記映像データのフレーム画像が重要なシーンの画像であるか否かを判断し、前記映像データのフレーム画像が重要なシーンの画像ではない場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示するために、前記関連情報保持部から前記関連情報を出力させるとともに、前記映像データのフレーム画像が重要なシーンの画像である場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示させないために、前記関連情報保持部から前記関連情報を出力させない制御部と、を備えること
を特徴とする情報処理装置。
【請求項２】
前記制御部は、前記映像データのフレーム画像がシーンチェンジした画像である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、
前記映像データを解析して、前記映像データのフレーム画像の重要度を算出する映像解析部と、
前記映像解析部で算出された重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持部から前記関連情報を出力させるとともに、前記映像解析部で算出された重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持部から前記関連情報を出力させない関連情報制御部と、を備えること
を特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、
前記映像データのフレーム画像の重要度を時刻毎に示すメタデータを解析して、当該時刻に基づいて、前記映像データのフレーム画像毎に前記重要度を特定するメタデータ解析部と、
前記メタデータ解析部で特定された重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持部から前記関連情報を出力させるとともに、前記メタデータ解析部で特定された重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持部から前記関連情報を出力させない関連情報制御部と、を備えること
を特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記重要度は、連続するフレーム画像間の差分を示すフレーム差分値であること
を特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記制御部は、ユーザから入力されたユーザ入力データとして、前記予め定められた閾値を受け取るユーザ入力受付部をさらに備えること
を特徴とする請求項３から５の何れか一項に記載の情報処理装置。
【請求項７】
前記制御部は、前記映像データのフレーム画像がシーンチェンジした画像である場合、及び、前記映像データのフレーム画像が会話シーンの画像である場合の少なくとも何れか一方の場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断すること
を特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、
前記映像データを解析して、前記映像データのフレーム画像の第１重要度を算出する映像解析部と、
前記映像データに付属する音声データを解析して、前記映像データのフレーム画像の第２重要度を算出する音声解析部と、
前記映像解析部で算出された第１重要度、及び、前記音声解析部で算出された第２重要度を合わせた第３重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持部から前記関連情報を出力させるとともに、当該第３重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持部から前記関連情報を出力させない関連情報制御部と、を備えること
を特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記制御部は、
前記映像データから算出された、前記映像データのフレーム画像の第１重要度及び前記映像データに付属する音声データから算出された、前記映像データのフレーム画像の第２重要度を合わせた第３重要度を時刻毎に示すメタデータを解析して、当該時刻に基づいて、前記映像データのフレーム画像毎に前記第３重要度を特定するメタデータ解析部と、
前記メタデータ解析部で特定された第３重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持部から前記関連情報を出力させるとともに、前記メタデータ解析部で特定された第３重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持部から前記関連情報を出力させない関連情報制御部と、を備えること
を特徴とする請求項７に記載の情報処理装置。
【請求項１０】
前記第１重要度は、連続するフレーム画像間の差分を示すフレーム差分値であり、
前記第２重要度は、前記映像データのフレーム画像が会話シーンの画像である確率を示す発話成分値であり、
前記第３重要度は、前記フレーム差分値と前記発話成分値との加算値であること
を特徴とする請求項８又は９に記載の情報処理装置。
【請求項１１】
前記制御部は、ユーザから入力されたユーザ入力データとして、前記予め定められた閾値を受け取るユーザ入力受付部をさらに備えること
を特徴とする請求項８から１０の何れか一項に記載の情報処理装置。
【請求項１２】
前記ユーザ入力受付部は、前記映像解析部で算出された第１重要度と、前記音声解析部で算出された第２重要度と、のそれぞれに乗算するそれぞれの重み値を示す算出情報を、前記ユーザ入力データとしてさらに受け取り、
前記関連情報制御部は、前記映像解析部で算出された第１重要度、及び、前記音声解析部で算出された第２重要度に、前記ユーザ入力受付部で受け取られた算出情報で示されるそれぞれの重み値を乗算してから、これらを加算すること
を特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記関連情報制御部は、前記映像データのフレーム画像が重要なシーンの画像であると判断した場合には、予め定められた期間が経過するまで、前記関連情報保持部から前記関連情報を出力させないこと
を特徴とする請求項３から６及び８から１２の何れか一項に記載の情報処理装置。
【請求項１４】
前記関連情報保持部は、保持期間が予め定められた期間を経過した関連情報を出力すること
を特徴とする請求項１から１３の何れか一項に記載の情報処理装置。
【請求項１５】
前記関連情報保持部は、保持している関連情報のデータ量が予め定められたデータ量以上となった場合には、前記関連情報を出力すること
を特徴とする請求項１から１４の何れか一項に記載の情報処理装置。
【請求項１６】
前記映像データのフレーム画像に、前記関連情報保持部から出力された関連情報の画像を重畳することで、出力映像データを生成する関連情報重畳部をさらに備えること
を特徴とする請求項１から１５の何れか一項に記載の情報処理装置。
【請求項１７】
前記関連情報重畳部で生成された出力映像データの映像信号を生成する映像出力部をさらに備えること
を特徴とする請求項１６に記載の情報処理装置。
【請求項１８】
前記映像出力部で生成された映像信号に基づいて、映像を表示する映像表示部をさらに備えること
を特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
前記映像データの映像信号を生成する映像出力部と、
前記映像出力部で生成された映像信号に基づいて、映像を表示する第１映像表示部と、
前記関連情報保持部から出力された関連情報の画像を表示する第２映像表示部と、をさらに備えること
を特徴とする請求項１から１５の何れか一項に記載の情報処理装置。
【請求項２０】
映像データの関連情報を保持する関連情報保持過程と、
前記映像データのフレーム画像が重要なシーンの画像であるか否かを判断し、前記映像データのフレーム画像が重要なシーンの画像ではない場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示するために、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、前記映像データのフレーム画像が重要なシーンの画像である場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示させないために、前記関連情報保持過程で保持された前記関連情報を出力させない制御過程と、を有すること
を特徴とする情報処理方法。
【請求項２１】
前記制御過程は、前記映像データのフレーム画像がシーンチェンジした画像である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断すること
を特徴とする請求項２０に記載の情報処理方法。
【請求項２２】
前記制御過程は、
前記映像データを解析して、前記映像データのフレーム画像の重要度を算出する映像解析過程と、
前記映像解析過程で算出された重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、前記映像解析過程で算出された重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持過程で保持された前記関連情報を出力させない関連情報制御過程と、を有すること
を特徴とする請求項２１に記載の情報処理方法。
【請求項２３】
前記制御過程は、
前記映像データのフレーム画像の重要度を時刻毎に示すメタデータを解析して、当該時刻に基づいて、前記映像データのフレーム画像毎に前記重要度を特定するメタデータ解析過程と、
前記メタデータ解析過程で特定された重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、前記メタデータ解析過程で特定された重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持過程で保持された前記関連情報を出力させない関連情報制御過程と、を有すること
を特徴とする請求項２１に記載の情報処理方法。
【請求項２４】
前記重要度は、連続するフレーム画像間の差分を示すフレーム差分値であること
を特徴とする請求項２２又は２３に記載の情報処理方法。
【請求項２５】
前記制御過程は、ユーザから入力されたユーザ入力データとして、前記予め定められた閾値を受け取るユーザ入力受付過程をさらに有すること
を特徴とする請求項２２から２４の何れか一項に記載の情報処理方法。
【請求項２６】
前記制御過程は、前記映像データのフレーム画像がシーンチェンジした画像である場合、及び、前記映像データのフレーム画像が会話シーンの画像である場合の少なくとも何れか一方の場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断すること
を特徴とする請求項２０に記載の情報処理方法。
【請求項２７】
前記制御過程は、
前記映像データを解析して、前記映像データのフレーム画像の第１重要度を算出する映像解析過程と、
前記映像データに付属する音声データを解析して、前記映像データのフレーム画像の第２重要度を算出する音声解析過程と、
前記映像解析過程で算出された第１重要度、及び、前記音声解析過程で算出された第２重要度を合わせた第３重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、当該第３重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持過程で保持された前記関連情報を出力させない関連情報制御過程と、を有すること
を特徴とする請求項２６に記載の情報処理方法。
【請求項２８】
前記制御過程は、
前記映像データから算出された、前記映像データのフレーム画像の第１重要度及び前記映像データに付属する音声データから算出された、前記映像データのフレーム画像の第２重要度を合わせた第３重要度を時刻毎に示すメタデータを解析して、当該時刻に基づいて、前記映像データのフレーム画像毎に前記第３重要度を特定するメタデータ解析過程と、
前記メタデータ解析過程で特定された第３重要度が予め定められた閾値よりも小さい場合に、前記映像データのフレーム画像が重要なシーンの画像ではないと判断し、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、前記メタデータ解析過程で特定された第３重要度が予め定められた閾値以上である場合に、前記映像データのフレーム画像が重要なシーンの画像であると判断し、前記関連情報保持過程で保持された前記関連情報を出力させない関連情報制御過程と、を有すること
を特徴とする請求項２６に記載の情報処理方法。
【請求項２９】
前記第１重要度は、連続するフレーム画像間の差分を示すフレーム差分値であり、
前記第２重要度は、前記映像データのフレーム画像が会話シーンの画像である確率を示す発話成分値であり、
前記第３重要度は、前記フレーム差分値と前記発話成分値との加算値であること
を特徴とする請求項２７又は２８に記載の情報処理方法。
【請求項３０】
前記制御過程は、ユーザから入力されたユーザ入力データとして、前記予め定められた閾値を受け取るユーザ入力受付過程をさらに有すること
を特徴とする請求項２１から２８の何れか一項に記載の情報処理方法。
【請求項３１】
前記ユーザ入力受付過程は、前記映像解析過程で算出された第１重要度と、前記音声解析過程で算出された第２重要度と、のそれぞれに乗算するそれぞれの重み値を示す算出情報を、前記ユーザ入力データとしてさらに受け取り、
前記関連情報制御過程は、前記映像解析過程で算出された第１重要度、及び、前記音声解析過程で算出された第２重要度に、前記ユーザ入力受付過程で受け取られた算出情報で示されるそれぞれの重み値を乗算してから、これらを加算すること
を特徴とする請求項３０に記載の情報処理方法。
【請求項３２】
前記関連情報制御過程は、前記映像データのフレーム画像が重要なシーンの画像であると判断した場合には、予め定められた期間が経過するまで、前記関連情報保持過程で保持された前記関連情報を出力させないこと
を特徴とする請求項２２から２５及び２７から３１の何れか一項に記載の情報処理方法。
【請求項３３】
前記関連情報保持過程は、保持期間が予め定められた期間を経過した関連情報を出力すること
を特徴とする請求項２０から３２の何れか一項に記載の情報処理方法。
【請求項３４】
前記関連情報保持過程は、保持している関連情報のデータ量が予め定められたデータ量以上となった場合には、前記関連情報を出力すること
を特徴とする請求項２０から３３の何れか一項に記載の情報処理方法。
【請求項３５】
前記映像データのフレーム画像に、前記関連情報保持過程で保持されてから出力された関連情報の画像を重畳することで、出力映像データを生成する関連情報重畳過程をさらに有すること
を特徴とする請求項２０から３４の何れか一項に記載の情報処理方法。
【請求項３６】
前記関連情報重畳過程で生成された出力映像データの映像信号を生成する映像出力過程をさらに有すること
を特徴とする請求項３５に記載の情報処理方法。
【請求項３７】
前記映像出力過程で生成された映像信号に基づいて、映像を表示する映像表示過程をさらに有すること
を特徴とする請求項３６に記載の情報処理方法。
【請求項３８】
前記映像データの映像信号を生成する映像出力過程と、
前記映像出力過程で生成された映像信号に基づいて、映像を表示する第１映像表示過程と、
前記関連情報保持過程で保持されてから出力された関連情報の画像を表示する第２映像表示過程と、をさらに有すること
を特徴とする請求項２０から３４の何れか一項に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
テレビ等の映像表示装置では、一般的に主映像である番組映像の表示に付帯して、字幕、テロップ、字幕から得られたキーワード及び画質設定用のメニュー画面等、番組映像とは異なる情報の映像を、番組映像と同時かつ同画面上に表示することができる。
【０００３】
従来の映像表示装置では、番組映像、字幕及びメニュー画面等に対して、それぞれ表示優先度が設定される。そして、従来の映像表示装置は、表示優先度を比較し、それらを同画面上に重畳して表示する際の、それぞれの表示位置及び表示タイミングを調整することで、表示優先度の高い情報が表示優先度の低い映像に覆われることがない構成にされている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１２４４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の映像表示装置は、主映像である番組映像が各時刻に表示している内容について、その重要性を意識した上で付帯する情報の表示位置及び表示タイミングを制御するものではない。そのため番組が重要な内容を表示している最中であっても、付帯する情報を表示してしまうことがある。その結果、付帯する情報によって、ユーザの番組視聴が妨害され、重要な内容の見逃し又は聞き逃しが発生してしまい、全体のストーリー展開が理解できなくなる。
【０００６】
そこで、本発明は、付帯する情報によって、ユーザの視聴が妨害されてしまうことを防止することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る情報処理装置は、映像データの関連情報を保持する関連情報保持部と、前記映像データのフレーム画像が重要なシーンの画像であるか否かを判断し、前記映像データのフレーム画像が重要なシーンの画像ではない場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示するために、前記関連情報保持部から前記関連情報を出力させるとともに、前記映像データのフレーム画像が重要なシーンの画像である場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示させないために、前記関連情報保持部から前記関連情報を出力させない制御部と、を備えることを特徴とする。
【０００８】
本発明の一態様に係る情報処理方法は、映像データの関連情報を保持する関連情報保持過程と、前記映像データのフレーム画像が重要なシーンの画像であるか否かを判断し、前記映像データのフレーム画像が重要なシーンの画像ではない場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示するために、前記関連情報保持過程で保持された前記関連情報を出力させるとともに、前記映像データのフレーム画像が重要なシーンの画像である場合に、前記関連情報の画像を前記映像データのフレーム画像とともに表示させないために、前記関連情報保持過程で保持された前記関連情報を出力させない制御過程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、付帯する情報によって、ユーザの視聴が妨害されてしまうことがなくなる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る情報処理装置の構成を概略的に示すブロック図である。
【図２】実施の形態１に係る情報処理装置の動作を示すフローチャートである。
【図３】（Ａ）及び（Ｂ）は、実施の形態１においてフレーム差分値を算出する際のフレーム画像を示す概略図である。
【図４】実施の形態１の第１の変形例におけるメタデータを示す概略図である。
【図５】実施の形態１の第１の変形例に係る情報処理装置の構成を概略的に示すブロック図である。
【図６】実施の形態１の第２の変形例に係る情報処理装置の構成を概略的に示すブロック図である。
【図７】実施の形態１の第２の変形例において表示される映像を示す概略図である。
【図８】実施の形態２に係る情報処理装置の構成を概略的に示すブロック図である。
【図９】実施の形態２に係る情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、実施の形態１に係る情報処理装置１００の構成を概略的に示すブロック図である。
情報処理装置１００は、データ処理部１０１と、映像表示部１２０と、データ同期制御部１３０とを備える。
【００１２】
データ処理部１０１は、映像データ、関連情報及びユーザ入力を入力とし、映像信号を出力する。データ処理部１０１は、制御部１１０と、関連情報バッファ１１４と、関連情報重畳部１１５と、映像出力部１１６とを備える。
【００１３】
制御部１１０は、関連情報バッファ１１４を制御する。例えば、制御部１１０は、映像データのフレーム画像が重要なシーンの画像であるか否かを判断する。そして、制御部１１０は、映像データのフレーム画像が重要なシーンの画像ではない場合に、関連情報の画像を映像データのフレーム画像とともに表示するために、関連情報バッファ１１４から関連情報を出力させる。一方、制御部１１０は、映像データのフレーム画像が重要なシーンの画像である場合に、関連情報の画像を映像データのフレーム画像とともに表示させないために、関連情報バッファ１１４から関連情報を出力させない。このようにすることで、関連情報の画像が、重要なシーンの画像と同時に表示されることがなくなる。
ここで、実施の形態１における制御部１１０は、映像データのフレーム画像がシーンチェンジした画像である場合に、映像データのフレーム画像が重要なシーンの画像であると判断する。
制御部１１０は、映像解析部１１１と、ユーザ入力受付部１１２と、関連情報制御部１１３とを備える。
【００１４】
映像解析部１１１は、映像データを解析して、映像データのフレーム画像の重要度を算出する。本実施の形態においては、重要度は、連続するフレーム画像間の差分を示すフレーム差分値である。そして、映像解析部１１１は、算出された重要度を関連情報制御部１１３に与える。
ユーザ入力受付部１１２は、ユーザから入力されたユーザ入力データを受け取る。本実施の形態においては、ユーザ入力受付部１１２は、ユーザ入力データとして、情報出力判定値と比較して、関連情報を表示するか否かを判定するための予め定められた閾値を受け取る。
【００１５】
関連情報制御部１１３は、関連情報バッファ１１４を制御する。例えば、本実施の形態においては、関連情報制御部１１３は、映像解析部１１１から与えられた重要度を情報出力判定値として、ユーザ入力受付部１１２より与えられた閾値と比較する。そして、関連情報制御部１１３は、情報出力判定値が閾値よりも小さい場合に、映像データのフレーム画像が重要なシーンの画像ではないと判断し、関連情報バッファ１１４に記憶されている関連情報を出力するように、関連情報バッファ１１４を制御する。一方、関連情報制御部１１３は、情報出力判定値が閾値以上である場合に、映像データのフレーム画像が重要なシーンの画像であると判断し、関連情報を出力しないように、言い換えると、関連情報の保持を維持するように、関連情報バッファ１１４を制御する。なお、関連情報制御部１１３は、表示制御信号を関連情報バッファ１１４に与えることで、関連情報バッファ１１４を制御する。
【００１６】
関連情報バッファ１１４は、映像データの関連情報を保持する関連情報保持部である。関連情報は、映像データに付帯する情報であり、例えば、字幕データ、字幕データから得られるキーワード、番組の出演者情報、テロップ及びメニュー画面の少なくとも何れか一つを含む。
関連情報重畳部１１５は、映像データを保持する映像データ保持部である映像データバッファ１１５ａを備える。そして、関連情報重畳部１１５は、関連情報バッファ１１４から関連情報を取得した場合には、映像データのフレーム画像に、関連情報の画像を重畳することで、出力映像データを生成する。また、関連情報重畳部１１５は、関連情報バッファ１１４から関連情報を取得しない場合には、映像データのフレーム画像に、関連情報の画像を重畳せずに、出力映像データを生成する。この場合には、映像データをそのまま出力映像データとすることができる。
【００１７】
映像出力部１１６は、関連情報重畳部１１５から与えられた出力映像データから映像信号を生成する。
映像表示部１２０は、映像出力部１１６から与えられた映像信号に基づいて、映像を表示する。
データ同期制御部１３０は、データ処理部１０１で処理される各種データの同期制御を行う。例えば、データ同期制御部１３０は、データ処理部１０１の各構成部に対して制御信号を送ることで、データの同期をとる。
【００１８】
次に、実施の形態１に係る情報処理装置１００の動作について説明する。
図２は、実施の形態１に係る情報処理装置１００の動作を示すフローチャートである。
【００１９】
映像解析部１１１は、映像データを受信する（Ｓ１０）。映像データは、連続するフレーム画像の集合として考えられるが、ここでは、映像データ全体のうち、ある時刻の１フレームの画像に対応する映像データを示すものとする。以下では、映像データは、１フレーム分の画像データとして説明を行う。
【００２０】
映像解析部１１１は、ステップＳ１０で受信したフレーム画像に対して、１つ前のフレーム画像との差分を算出する（Ｓ１１）。ここで算出された差分値をフレーム差分値という。
フレーム差分値は、時間的に連続する２つのフレーム画像において、フレームを構成する各画素の同座標に存在する色成分又は輝度成分の差の絶対値を全画素について算出し、足し合わせたものである。
例えば、図３（Ａ）は、ステップＳ１０で受信された映像データで示されるフレーム画像ＩＭ２の一つ前のフレーム画像ＩＭ１を示し、図３（Ｂ）は、ステップＳ１０で受信された映像データで示されるフレーム画像ＩＭ２を示すものとする。フレーム画像ＩＭ１及びフレーム画像ＩＭ２は、それぞれ、ｍ×ｎ（ｍ及びｎは、それぞれ自然数）の画素により構成されている。フレーム画像ＩＭ１を構成する画素の画素値は、ｃ１（ｉ，ｊ）で示され、フレーム画像ＩＭ２を構成する画素の画素値は、ｃ２（ｉ，ｊ）で示されるとすると、フレーム差分値は、以下の（１）式で算出される。ここで、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは、１≦ｊ≦ｎを満たす自然数である。
【数１】
2014150314.tif 000003
従って、２つのフレーム画像が全く同一のものであれば、フレーム差分値は最小値の「０」となる。一方で、シーンチェンジ点等に見られる、違う場所で撮影された映像に切り替わる時刻を跨ぐ２つのフレーム画像を対象としたフレーム差分値は、比較的大きな値になる。映像解析部１１１は、このようなフレーム差分値を、関連情報制御部１１３に与える。
【００２１】
フレーム差分値が「０」の場合、連続する２つのフレーム画像がまったく同一であるので、画面上同じシーンが継続していることになる。同じシーンが続いているときは、番組を視聴しているユーザがストーリー展開を理解するうえで重要度が低いシーンということができる。一方、フレーム差分値が大きくなるほど、連続する２つのフレーム画像が異なるので、番組のストーリー展開が大きく変化したことが推測できる。このようなシーンは、番組を視聴しているユーザがストーリー展開を理解するうえで重要度が高いシーンということができる。このように、映像解析部１１１は、フレーム差分値を求めることにより、映像データにおける各時刻のフレーム画像の重要度を決定することができる。
【００２２】
図２の説明に戻り、ユーザ入力受付部１１２は、ユーザ入力データを受け付ける（Ｓ１２）。例えば、ユーザ入力受付部１１２は、映像解析結果であるフレーム差分値に対する閾値をユーザ入力データとして受け取り、それを関連情報制御部１１３へと出力する。
【００２３】
関連情報制御部１１３は、映像解析部１１１からフレーム差分値と、ユーザ入力受付部１１２からユーザ入力データとを受信する。その後、関連情報制御部１１３は、フレーム差分値を情報出力判定値として、ユーザ入力データで示される閾値と比較して、情報出力判定値がその閾値以上であるか否かを判定する（Ｓ１３）。情報出力判定値が閾値以上である場合（Ｓ１３：Ｙｅｓ）には、処理はステップＳ１４に進み、情報出力判定値が閾値よりも小さい場合（Ｓ１３：Ｎｏ）には、処理はステップＳ１７に進む。
【００２４】
ステップＳ１４では、関連情報制御部１１３は、関連情報を出力することを示す表示制御信号（説明上、「１」というデータと仮定する）を関連情報バッファ１１４へ出力する。このような表示制御信号を受信した関連情報バッファ１１４は、保持している関連情報を関連情報重畳部１１５へと出力する。
【００２５】
関連情報重畳部１１５は、ステップＳ１０で受け取られた映像データのフレーム画像と、関連情報バッファ１１４から出力された関連情報の画像とを重畳した出力映像データを生成する（Ｓ１５）。そして、関連情報重畳部１１５は、生成された出力映像データを映像出力部１１６に与える。
【００２６】
映像出力部１１６は、関連情報重畳部１１５から出力映像データを受け取り、画面表示用の映像信号に変換した後、この映像信号を映像表示部１２０に与える（Ｓ１６）。ここでの出力映像データには、関連情報の画像が重畳されている。
【００２７】
一方、ステップＳ１７では、関連情報制御部１１３は、関連情報を出力しないことを示す表示制御信号（説明上、「０」というデータと仮定する）を関連情報バッファ１１４へ出力する。このような表示制御信号を受信した関連情報バッファ１１４は、保持中の関連情報の保持をそのまま継続し、関連情報重畳部１１５へは出力しない。
【００２８】
関連情報重畳部１１５は、ステップＳ１０で受け取られた映像データのみを受け取り、その映像データをそのまま出力映像データとして映像出力部１１６に与える（Ｓ１８）。言い換えると、ステップＳ１８では、関連情報重畳部１１５は、ステップＳ１０で受け取られた映像データのフレーム画像に、関連情報の画像を重畳しない。
【００２９】
そして、映像出力部１１６は、関連情報重畳部１１５から出力映像データを受け取り、画面表示用の映像信号に変換した後、この映像信号を映像表示部１２０に与える（Ｓ１９）。ここでの出力映像データには、関連情報の画像が重畳されていない。
【００３０】
なお、関連情報制御部１１３が出力する表示制御信号によって、関連情報バッファ１１４が保持中の関連情報を重畳しない場合（Ｓ１３：Ｎｏの場合）には、関連情報の保持が継続されることになり、以降のフレームにおける情報出力判定値が閾値を超えた段階で（Ｓ１３：Ｙｅｓ）、その関連情報の画像が重畳される。複数の関連情報が入力され、連続するフレームにおいて情報出力判定値が閾値を下回る事象が続いた場合には、複数の関連情報が保持される。このとき、これらの関連情報が入力された順番についても関連情報バッファ１１４は記憶しておく。そして、情報出力判定値が閾値以上となった段階（Ｓ１３：Ｙｅｓ）で、関連情報バッファ１１４は、古い関連情報から順に関連情報重畳部１１５へと出力する。若しくは、関連情報バッファ１１４は、そのような段階で、保持中の関連情報全てを一気に関連情報重畳部１１５へと出力することもできる。
【００３１】
なお、ある時刻において関連情報バッファ１１４に入力された関連情報を関連情報重畳部１１５へ出力するか否かを判断する時刻までに、制御部１１０は、その関連情報が入力された時刻における映像データを解析し、算出された情報出力判定値をユーザ入力データである閾値と比較し、表示制御信号を出力しなければならない（Ｓ１０〜Ｓ１３）。データ同期制御部１３０は、この必要な処理にかかる時間を考慮した同期制御を行うことで、当該時刻における関連情報と映像データ解析結果とを対応付ける役割を持つ。
【００３２】
また同様に、ある時刻において関連情報重畳部１１５に入力された映像データに対して関連情報を重畳するか否かを判断するには、関連情報バッファ１１４のデータ出力を待つ必要がある。これに関しても、データ同期制御部１３０は同期制御を行う役割を持つ。
【００３３】
このように構成された情報処理装置１００は、映像データにおいて各時刻に表示する内容の重要度を解析することができ、解析された重要度に応じて関連情報を表示するタイミングを制御することができる。例えば、ユーザが番組を視聴し全体のストーリー展開を理解する上では、シーンチェンジ点が重要なポイントとなるが、主映像がシーンチェンジ点等の重要な内容を表示している時刻を避けて、関連情報を表示することができる。このため、実施の形態１に係る情報処理装置１００は、ユーザが重要な内容の見逃し又は聞き逃しをしてしまうことによって、全体のストーリー展開を理解できなくなるのを防ぐことができる。
【００３４】
実施の形態１に係る情報処理装置１００では、関連情報制御部１１３が出力する表示制御信号によって、関連情報バッファ１１４が保持中の、フレーム時刻ｔにおける関連情報を重畳しないとした場合（Ｓ１３：Ｎｏ）には、関連情報の保持が継続されることになる。しかしながら、最短の場合、次のフレーム時刻ｔ+１において情報出力判定値が閾値以上となる場合（Ｓ１３：Ｙｅｓ）が考えられる。このような場合に、次のフレーム時刻ｔ+１において、前のフレーム時刻ｔで保持が継続された関連情報の画像を必ずしも重畳する必要はない。例えば、関連情報制御部１１３は、１度重畳しないという判断を下した場合（Ｓ１３：Ｎｏ）には、予め定められた期間である一定の時間が経過するまでは、関連情報の画像を重畳しないように制御することができる。例えば、テレビにおいてフレーム間に経過する時間は非常に短く、１フレームが経過する間だけ保持した後、次のフレームで重畳した場合と、保持継続をせずに、そのフレームで即座に重畳した場合とで、人間の目でその差を認識できるものではない。このため、次のフレームで重畳が行われても、結果として重要内容の表示時刻に関連情報が表示されたことになり、ユーザの視聴を妨害してしまうことになる。従って、このように一定の時間は、重畳しないようにしておくことで、重要内容の表示時刻が明らかに過ぎ去るのを待ってから関連情報を重畳することができる。言い換えると、制御部１１０は、映像データのフレーム画像が、シーンチェンジしてから予め定められた期間内の画像である場合にも、映像データのフレーム画像が重要なシーンの画像と判断していることになる。これにより、視聴の妨害抑制を確実化できる。例えば、関連情報制御部１１３は、情報出力判定値が閾値未満であると判断した場合には、予め定められた期間の経過後、情報出力判定値が閾値以上となるまで、関連情報を出力しないように関連情報バッファ１１４を制御することができる。なお、関連情報制御部１１３は、情報出力判定値が閾値未満であると判断した場合には、予め定められた期間の経過後すぐに関連情報を出力するように関連情報バッファ１１４を制御してもよい。また、関連情報制御部１１３は、情報出力判定値が閾値未満であると判断した場合には、予め定められた期間内に情報出力判定値が閾値以上となった場合に、予め定められた期間の経過後すぐに関連情報を出力するように関連情報バッファ１１４を制御してもよい。
【００３５】
実施の形態１に係る情報処理装置１００では、関連情報制御部１１３が出力する表示制御信号によって、関連情報バッファ１１４が保持中の関連情報を出力しない場合（Ｓ１３：Ｎｏの場合）には、関連情報の保持が継続されることになるが、このような場合が続けば、関連情報は、長時間にわたって重畳されないことになる。そのような場合の対処として、関連情報バッファ１１４は、予め定められた期間である一定時間以上保持が継続された関連情報については、関連情報制御部１１３の表示制御信号にかかわらず、関連情報重畳部１１５に出力するようにしてもよい。例えば、字幕は登場人物の会話を文字で表したものであるケースがあるが、あまりに重畳が遅れすぎると字幕として価値が著しく低下してしまう。つまり、関連情報は、それ自身が入力された時刻に表示される映像の内容と密接に関わっている場合が多いので、このように保持期間が予め定められた期間を経過した関連情報を無条件に重畳して表示することで、関連情報を表示することの価値の低下を抑制することができる。
【００３６】
実施の形態１に係る情報処理装置１００では、関連情報制御部１１３が出力する表示制御信号によって、関連情報バッファ１１４が保持中の関連情報を出力しない場合（Ｓ１３：Ｎｏの場合）には、関連情報の保持が継続されることになるが、そのような場合が続けば、複数の関連情報がバッファされることになる。このような状況において、関連情報バッファ１１４によって保持されるデータ量が、予め定められたデータ量、例えば、関連情報バッファ１１４が保持できる容量を超過すると判断された場合には、関連情報バッファ１１４は、無条件に保持中の関連情報を関連情報重畳部１１５へと出力してもよい。これにより、保持中の古い関連情報が容量制限のために上書きされてしまう等して、重畳表示できない状態になるのを防ぐことができる。
【００３７】
実施の形態１に係る情報処理装置１００では、映像解析部１１１がフレーム差分値を利用して映像を解析する方法を例としてあげたが、この方法に限られるものではない。またシーンチェンジ点だけを番組全体を理解する上で重要なポイントであるとするものでもない。例えば、映像解析部１１１は、フレーム画像に対して人物又は顔の検出処理を行い、重要なポイントを解析してもよい。フレーム画像に対して人物又は顔の検出を行った結果、１つも人物及び顔が検出されたかった場合には、そのフレーム画像は背景のみを含むシーンであると考えられ、番組を視聴しているユーザがストーリー展開を理解するうえで重要度が低いシーンの画像といえる。一方、人物又は顔が検出されたフレーム画像では、その人物の会話又は動作により番組のストーリー展開が変化することが推測できる。このようなシーンは、番組を視聴しているユーザがストーリー展開を理解するうえで重要度が高いシーンといえる。このように、映像解析部１１１は、人物又は顔の検出処理を行うことにより、映像データにおける各時刻のフレーム画像の重要度を決定することができる。このような場合、例えば、映像解析部１１１は、人物又は顔が検出されたか否かを重要度として、関連情報制御部１１３に与え、関連情報制御部１１３は、重要度が、人物又は顔が検出されたことを示す場合には、関連情報を出力するように関連情報バッファ１１４を制御すればよい。
【００３８】
実施の形態１に係る情報処理装置１００は、リアルタイムに放送中の番組データの視聴時だけを対象としたものでなく、ハードディスク等の記憶媒体に記憶済みの番組データの再生視聴時においても適用することができる。これにより、ユーザはより多くの映像コンテンツに対して、見逃し及び聞き逃しを抑制した、関連情報を重畳した映像の視聴ができる。なお、記憶済みの番組データには、少なくとも映像データ及び関連情報が含まれるものとする。
【００３９】
また、上述のように、記憶済みの番組データの再生視聴を行う場合、予め再生開始前に記憶済みの映像データの解析を映像解析部１１１が行っておき、再生時にデータ同期制御部１３０の同期制御に基づいて、関連情報を重畳するか否かを表す表示制御信号を関連情報制御部１１３が出力してもよい。これにより、映像解析部１１１が複雑な映像解析処理を行い、映像解析処理時間が長くなる場合にも、フレーム毎にその処理が済むのを待つ必要がなく、映像表示にもたつきが生じることがなくなる（関連情報の重畳判断処理を待つことによる、映像の遅延が生じない）。このため、ユーザはストレスなく視聴を行うことができる。
【００４０】
また、上述のように、記憶済みデータの再生視聴を行う場合、予め記憶時に映像解析を行っておき、各時刻における重要度を、例えば、図４に示されているメタデータとして、記憶する番組データとともに保存しておいてもよい。図４に示されているメタデータは、番組毎に、各時刻における重要度を含むデータである。
このような場合、図５に示されている第１の変形例に係る情報処理装置１００＃１のように、データ処理部１０１＃１が、記憶されているメタデータを解析して、映像データの再生時間に対応する重要度を特定して、特定された重要度を関連情報制御部１１３＃１に与えるメタデータ解析部１１７を備えるように構成することで、関連情報の表示制御を行うことができる。なお、メタデータ解析部１１７は、データ同期制御部１３０の同期制御に応じて、対応する時刻における情報出力判定値を関連情報制御部１１３＃１に与える。このようにすることで、再生中又は再生開始前に比較的処理の重い映像解析を行う必要がなく、映像表示にもたつきが生じないことに加えて、再生開始前の解析結果待ち時間も生じないため、ユーザはストレスなく視聴を行うことができる。
なお、図５には記載されていないが、図４に示されているようなメタデータは、映像解析部１１１が生成し、記憶媒体等に記憶させておけばよい。
【００４１】
実施の形態１に係る情報処理装置１００では、関連情報を「重畳する」と説明を行ってきたが、主映像に重畳することに限らず、別の画面上に関連情報を表示するといった場合にも本発明が有効である。例えば、図６に示されている第２の変形例に係る情報処理装置１００＃２のように、第１映像表示部としての映像表示部１２０の他に、関連情報バッファ１１４＃２から与えられる関連情報の画像を表示する第２映像表示部としてのテロップ表示部１４０を備えるように構成することもできる。このように構成することにより、図７に示されているように、映像表示部１２０は、映像出力部１１６から与えられる映像信号に対応する主映像ＭＩＭを表示し、テロップ表示部１４０は、関連情報のサブ映像ＳＩＭを表示する。このように、１つの画面上に重畳しない場合でも、両方の映像がユーザの視界に入るような環境下では、関連情報を主映像とは別に表示することで本編の視聴を妨害することになりえるので、上記と同様の効果が発揮できる。
【００４２】
実施の形態２．
図８は、実施の形態２に係る情報処理装置２００の構成を概略的に示すブロック図である。
情報処理装置２００は、データ処理部２０１と、映像表示部１２０と、データ同期制御部１３０とを備える。実施の形態２に係る情報処理装置２００は、データ処理部２０１において、実施の形態１に係る情報処理装置１００と異なっている。
【００４３】
データ処理部２０１は、映像データ、関連情報、音声データ及びユーザ入力を入力とし、映像信号を出力する。データ処理部２０１は、制御部２１０と、関連情報バッファ１１４と、関連情報重畳部１１５と、映像出力部１１６とを備える。実施の形態２におけるデータ処理部２０１は、制御部２１０での処理の点において、実施の形態１におけるデータ処理部１０１と異なっている。
【００４４】
制御部２１０は、映像データのフレーム画像が重要なシーンの画像であるか否かを判断する。そして、制御部２１０は、映像データのフレーム画像が重要なシーンの画像ではない場合に、関連情報の画像を映像データのフレーム画像とともに表示するために、関連情報バッファ１１４から関連情報を出力させる。一方、制御部２１０は、映像データのフレーム画像が重要なシーンの画像である場合に、関連情報の画像を映像データのフレーム画像とともに表示させないために、関連情報バッファ１１４から関連情報を出力させない。
ここで、実施の形態２における制御部２１０は、映像データのフレーム画像がシーンチェンジした画像である場合、及び、映像データのフレーム画像が会話シーンの画像である場合の少なくとも何れか一方の場合に、映像データのフレーム画像が重要なシーンの画像であると判断する。
制御部２１０は、映像解析部１１１と、ユーザ入力受付部２１２と、関連情報制御部２１３と、音声データバッファ２１８と、音声解析部２１９とを備える。実施の形態２における制御部２１０は、ユーザ入力受付部２１２及び関連情報制御部２１３での処理の点、並びに、音声データバッファ２１８及び音声解析部２１９をさらに備える点において、実施の形態１における制御部１１０と異なっている。なお、実施の形態２においては、映像解析部１１１で算出される重要度を第１重要度という。
【００４５】
音声データバッファ２１８は、音声データを保持する音声データ保持部である。音声データバッファ２１８は、音声データを入力として受信し、音声データを一時的に保持しておき、必要に応じて（詳細は後述する）、その音声データを音声解析部２１９へと出力する。
音声解析部２１９は、映像データに付属する音声データを解析して、映像データのフレーム画像の第２重要度を算出する。本実施の形態においては、第２重要度は、映像データのフレーム画像が会話シーンの画像である確率を示す発話成分値である。ここで、発話成分値は、出演者等が会話の最中であるか否かを確率として示す値である。
【００４６】
ユーザ入力受付部２１２は、ユーザ入力データを受け付ける。本実施の形態においては、ユーザ入力受付部２１２は、ユーザ入力データとして、映像解析部１１１から得られる第１重要度及び音声解析部２１９から得られる第２重要度から第３重要度である情報出力判定値を算出するための算出情報と、情報出力判定値と比較して、関連情報を表示するか否かを判定するため閾値との入力を受け付ける。本実施の形態では、算出情報は、第１重要度及び第２重要度のそれぞれに掛け合わせるそれぞれの重み値を示すものとする。
【００４７】
関連情報制御部２１３は、関連情報バッファ１１４を制御する。例えば、本実施の形態においては、関連情報制御部２１３は、映像解析部１１１から与えられた第１重要度と、音声解析部２１９から与えられた第２重要度とを合わせて、第３重要度である情報出力判定値を算出する。例えば、関連情報制御部２１３は、ユーザ入力受付部２１２から与えられた算出情報で示されるそれぞれの重み値を、第１重要度及び第２重要度のそれぞれに掛け合わせてから、これらを加算した加算値により情報出力判定値を算出する。そして、関連情報制御部２１３は、算出された情報出力判定値がユーザ入力受付部２１２より与えられた閾値よりも小さいと判定した場合に、映像データのフレーム画像が重要なシーンの画像ではないと判断し、関連情報バッファ１１４に記憶されている関連情報を出力するように、関連情報バッファ１１４を制御する。また、関連情報制御部２１３は、算出された情報出力判定値が、ユーザ入力受付部２１２より与えられた閾値以上である場合に、映像データのフレーム画像が重要なシーンの画像であると判断し、関連情報を出力しないように、言い換えると、関連情報の記憶を維持するように、関連情報バッファ１１４を制御する。なお、関連情報制御部２１３は、表示制御信号を関連情報バッファ１１４に与えることで、関連情報バッファ１１４を制御する。
【００４８】
次に、実施の形態２に係る情報処理装置２００の動作について説明する。
図９は、実施の形態２に係る情報処理装置２００の動作を示すフローチャートである。図９に示されている処理の内、図２と同様の処理については、図２と同じ符号が付されている。
【００４９】
図９のステップＳ１０及びＳ１１については、図２のステップＳ１０及びＳ１１と同様である。
【００５０】
ステップＳ２０では、ユーザ入力受付部２１２は、ユーザ入力を受け付ける。例えば、ユーザ入力受付部２１２は、第１重要度及び第２重要度に掛け合わせる重み値を示す算出情報、並びに、第３重要度である情報出力判定値に対する閾値をユーザ入力データとして受け取り、それを関連情報制御部２１３に与える。算出情報は、映像解析結果及び音声解析結果をそれぞれどの程度考慮して関連情報表示制御を行うかといった設定を示す情報である。例えば、算出情報により、音声解析結果より映像解析結果を重視して、重畳のタイミングを制御するとか、映像解析結果は無視して、音声解析結果のみを反映したタイミング制御を行う等といった設定を行うことができる。
【００５１】
ステップＳ２１では、音声データバッファ２１８は、音声データを受信する。そして、音声データバッファ２１８は、発話成分値（詳細は後述する）を算出するのに必要な分の音声データを一時的に保持する（Ｓ２２）。その後、音声データバッファ２１８は、保持した音声データを音声解析部２１９に与える。
【００５２】
次に、音声解析部２１９は、音声データバッファ２１８から一定時間区間の音声データを受信し、その音声データに対して発話成分値の算出を行う（Ｓ２３）。一般的な発話成分値算出方法の１つを説明すると、音声解析部２１９は、まず受信した音声データに対してフーリエ変換を施すことで、周波数成分ｘ（ｆ，ｔ）に変換する。また、音声解析部２１９は、「番組冒頭の数秒間は会話がない」等の仮定により、番組冒頭から、周波数毎にノイズ成分（非発話成分）λ（ｆ）を算出する。そして、音声解析部２１９は、全周波数においてこれらの比率を、下記の（２）式により求める。
【数２】
2014150314.tif 000004
そして、音声解析部２１９は、下記の（３）式に従って、ある種の非線形変換を施した後、考慮する全ての周波数で平均化することで、発話成分値Ｇ（ｔ）を算出する。
【数３】
2014150314.tif 000005
ここで、Ｆは考慮する周波数の集合であり、｜Ｆ｜は、集合Ｆの要素の数である。なお、ここでの非線形変換は、観測信号ｘ（ｆ，ｔ）をノイズと発話に分類して、それぞれを分散の異なるガウス分布でモデル化した際の尤度比から導出されるものである。
音声解析部２１９は、このような発話成分値算出方法を利用することで、注目する時刻において登場人物等が会話をしているかどうかの確率を数値として算出し、関連情報制御部２１３にそれを出力する。言い換えると、音声解析部２１９は、このようにして算出された発話成分値を、ステップＳ２２で保存された一定時間区間の音声データに対応する映像データのフレーム画像における発話成分値として、関連情報制御部２１３に与える。
【００５３】
関連情報制御部２１３は、映像解析部１１１から第１重要度としてのフレーム差分値と、音声解析部２１９から第２重要度としての発話成分値と、ユーザ入力受付部２１２からユーザ入力データとを受信する。そして、関連情報制御部２１３は、これらの情報を踏まえ、情報出力判定値を算出する。例えば、関連情報制御部２１３は、映像解析結果及び音声解析結果をそれぞれどの程度考慮するかを示す算出情報に基づいて、フレーム差分値及び発話成分値のそれぞれに、それぞれの重み値を掛け合わせて、両者を足し合わせることで、情報出力判定値を算出する。そして、処理は、ステップＳ１３に進む。
【００５４】
図９のステップＳ１３〜Ｓ１９の処理は、図２のステップＳ１３〜Ｓ１９の処理と同様である。
【００５５】
なお、発話成分値を算出するために一定時間区間の音声データを必要とするため、音声データバッファ２１８は、一時的に音声データを保持する必要であるが、それによって音声データの解析は、映像データの解析と比べて大きく遅延する可能性がある。このタイムラグについて、データ同期制御部１３０は、同期制御を行う役割を持つ。
【００５６】
以上のように、実施の形態２に係る情報処理装置２００においては、映像データだけでなく、音声データをもとに各時刻に表示する内容の重要度を解析することができ、解析された重要度に応じて関連情報を表示するタイミングを制御することができる。例えば、ユーザが番組を視聴し全体のストーリー展開を理解する上では、会話シーンが重要なポイントとなるが、主映像が会話シーン等の重要な内容を表示している時刻を避けて、関連情報を表示させることができる。このため、ユーザが、重要な内容の見逃し又は聞き逃しをしてしまうことによって、全体のストーリー展開を理解できなくなることを防止することができる。
【００５７】
実施の形態２に係る情報処理装置２００では、映像解析結果及び音声解析結果のどちらか一方のみを反映した関連情報重畳表示制御を行うこともできる。つまり、映像に集中したいユーザは、映像解析結果だけを、音声に集中したいユーザは、音声解析結果だけを反映するようにユーザ入力を行うことができる。
【００５８】
実施の形態２においても、図４に示されているメタデータに、実施の形態２における情報出力判定値（第３優先度）を含めておくことにより、図５に示されている構成により、会話シーンを考慮した制御を効率よく行うことができる。
【００５９】
また、実施の形態２においても、図６に示されている制御部１１０を、制御部２１０に置き換えることで、テロップ表示部１４０に関連情報の画像を表示することができる。
さらに、実施の形態２においても、関連情報制御部２１３は、映像データのフレーム画像が重要なシーンの画像であると判断した場合には、予め定められた期間が経過するまで、関連情報バッファ１１４から関連情報を出力させないように構成されていてもよい。
さらにまた、関連情報保持部１１４は、保持期間が予め定められた期間を経過した関連情報を出力してもよく、保持している関連情報のデータ量が予め定められたデータ量以上となった場合には、関連情報を出力してもよい。
【００６０】
なお、図示してはいないが、以上に記載された情報処理装置１００、２００が、デジタル放送を受信する受信部を備えていてもよい。このような場合には、映像データは、その受信部のデコーダ（デコード部）から出力されたものであればよい。また、関連情報の字幕データは、その受信部のデマルチプレクサ（デマルチプレクス部）から出力されたものであればよい。また、図示してはいないが、以上に記載された情報処理装置１００、２００が、デジタル放送を受信する受信部から得られる情報等に基づいて、関連情報の字幕データから抽出されたキーワード、番組の出演者情報、テロップ及びメニュー画面を生成するための情報制御部を備えていてもよい。このような場合には、関連情報バッファ１１４に入力される関連情報は、その情報制御部が生成したものであればよい。さらに、図示してはいないが、以上に記載された情報処理装置１００、２００が、ユーザからの入力を受け付ける入力部を備えていてもよい。このような場合には、ユーザ入力データは、その入力部を介して入力されたものであればよい。
【００６１】
以上に記載された情報処理装置１００、２００は、映像表示部１２０を備えているが、映像表示部１２０は、情報処理装置１００、２００の外部の装置が備えるものであってもよい。
例えば、情報処理装置１００、２００は、テレビ、ＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）、ＤＶＤ及びＢＤ等のプレーヤー、スマートフォン又はカーナビゲーションシステム等として利用することができる。
【符号の説明】
【００６２】
１００，１００＃１，１００＃２，２００  情報処理装置、  １０１，１０１＃１，１０１＃２、２０１  データ処理部、  １１０，２１０  制御部、  １１１  映像解析部、  １１２，２１２  ユーザ入力受付部、  １１３，１１３＃１，２１３  関連情報制御部、  １１４，１１４＃２  関連情報バッファ、  １１５，１１５＃２  関連情報重畳部、  １１５ａ，１１５ａ＃２  映像データバッファ、  １１６  映像出力部、  １１７  メタデータ解析部、  ２１８  音声データバッファ、  ２１９  音声解析部、  １２０  映像表示部、  １３０  データ同期制御部。
【図１】
2014150314.tif 000006
【図２】
2014150314.tif 000007
【図３】
2014150314.tif 000008
【図４】
2014150314.tif 000009
【図５】
2014150314.tif 000010
【図６】
2014150314.tif 000011
【図７】
2014150314.tif 000012
【図８】
2014150314.tif 000013
【図９】
2014150314.tif 000014