(57)【要約】【課題】特定のシーンを適切に検出する。【解決手段】カットチェンジ解析部２３０は、チェンジ点を検出する。動き解析部２４０は、画像における被写体の遷移を検出する。構図解析部２７０は、画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する。振幅解析部３２０およびスペクトル解析部３３０は、解析対象の音声データと特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する。区間特徴量生成部３５０および区間評価部３６０は、チェンジ点と検出された遷移と構図類似度情報と音声類似度情報とに基づいて、チェンジ点間に含まれる動画が特定シーンに対応する動画であるか否かを判定する。【選択図】図２
2011228918.tif 000002
【特許請求の範囲】
【請求項１】
動画におけるチェンジ点を検出するチェンジ点検出部と、
前記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出部と、
前記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成部と、
前記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと前記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成部と、
前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記チェンジ点間に含まれる動画が前記特定シーンに対応する動画であるか否かを判定する判定部と
を具備する情報処理装置。
【請求項２】
前記判定部は、特定のスポーツにおけるプレー中の区間であるオンプレー区間を前記特定シーンとして前記判定を行う請求項１記載の情報処理装置。
【請求項３】
前記判定部は、
前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記チェンジ点間に含まれる動画を評価するための評価値を生成する評価値生成部と、
前記評価値と閾値とを比較して、当該比較結果に基づいて前記判定を行う評価値判定部と
を備える請求項１記載の情報処理装置。
【請求項４】
前記構図類似度情報生成部は、前記チェンジ点間に含まれる動画を構成する画像における所定領域の明るさと他の領域の明るさとの比較結果を前記構図に関する特徴量として前記構図類似度情報を生成する請求項１記載の情報処理装置。
【請求項５】
前記構図類似度情報生成部は、前記チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の特定方向の対称性の度合いを前記構図に関する特徴量として前記構図類似度情報を生成する請求項１記載の情報処理装置。
【請求項６】
前記構図類似度情報生成部は、前記チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の輝度差を前記構図に関する特徴量として前記構図類似度情報を生成する請求項１記載の情報処理装置。
【請求項７】
前記構図類似度情報生成部は、前記チェンジ点間に含まれる動画を構成する画像を複数のブロックに分割し、当該各ブロックにおける輝度の平均値を前記構図に関する特徴量として前記構図類似度情報を生成する請求項１記載の情報処理装置。
【請求項８】
前記遷移検出部は、前記チェンジ点間に含まれる動画を撮像した際の撮像装置の水平方向の動きを前記被写体の遷移として検出する請求項１記載の情報処理装置。
【請求項９】
前記遷移検出部は、前記チェンジ点間に含まれる動画を撮像した際の撮像装置の垂直方向の動きを前記被写体の遷移として検出する請求項１記載の情報処理装置。
【請求項１０】
前記遷移検出部は、前記チェンジ点間に含まれる動画における対象画像と前記対象画像に時間軸において隣接または近接する他の画像とを比較して、当該比較結果に基づいて前記被写体の遷移を検出する請求項１記載の情報処理装置。
【請求項１１】
前記特定シーンに対応する動画であると判定された前記チェンジ点間に含まれる動画を特定動画とし、前記特定動画に関する前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記特定動画に関する優先順序を前記特定動画ごとに付与する優先順序付与部をさらに具備する請求項１記載の情報処理装置。
【請求項１２】
動画におけるチェンジ点を検出するチェンジ点検出部と、
前記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出部と、
前記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成部と、
前記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと前記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成部と、
前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記チェンジ点間に含まれる動画が前記特定シーンに対応する動画であるか否かを判定する判定部と、
前記判定部における判定結果に基づいて、前記特定シーンに対応する動画であると判定された前記チェンジ点間に含まれる動画を表示部に表示させる制御を行う表示制御部と
を具備する表示装置。
【請求項１３】
動画におけるチェンジ点を検出するチェンジ点検出手順と、
前記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出手順と、
前記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成手順と、
前記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと前記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成手順と、
前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記チェンジ点間に含まれる動画が前記特定シーンに対応する動画であるか否かを判定する判定手順と
を具備する情報処理方法。
【請求項１４】
動画におけるチェンジ点を検出するチェンジ点検出手順と、
前記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出手順と、
前記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成手順と、
前記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと前記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成手順と、
前記検出された遷移と前記生成された構図類似度情報と前記生成された音声類似度情報とに基づいて、前記チェンジ点間に含まれる動画が前記特定シーンに対応する動画であるか否かを判定する判定手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関し、特に、動画における特定シーンを検出する情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、テレビジョン放送などを録画した動画コンテンツを視聴する際に、目的の区間だけを再生して楽しむ人が増えている。このため、ユーザが目的とする区間を自動的に抽出する機能を備えるさまざまな情報処理装置が提案されている。
【０００３】
例えば、動画コンテンツを構成する音声データに基づいて、動画コンテンツにおいて盛り上がっているシーンを検出する信号処理装置が提案されている（例えば、特許文献１参照。）。この信号処理装置は、所定時間以上連続して音声データにおける信号の振幅が大きい区間を抽出し、その抽出した区間における信号の振幅および音声の音質に基づいて、その抽出した区間が盛り上がっているシーンであるか否かを判別する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９１７８０号公報（図２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の信号処理装置によれば、観客から発生される音（盛り上がった音）を検出することにより、多くのイベントにおける重要なシーンを自動的に検出することができる。
【０００６】
このように、上述の信号処理装置では、観客が盛り上がっていると想定される区間（重要なシーン）を検出することができる。しかしながら、上述の信号処理装置では、盛り上がりと静まりかえりとを試合中に繰り返すような特定のスポーツにおけるプレー中の区間を抽出することが困難である。例えば、ラリー中に観客がプレーを静かに見守るようなスポーツが動画コンテンツである場合には、このような信号処理装置では、プレー終了後のプレイヤーが得点をした場面しか検出されないおそれがある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、特定のシーンを適切に検出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画におけるチェンジ点を検出するチェンジ点検出部と、上記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出部と、上記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成部と、上記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと上記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成部と、上記検出された遷移と上記生成された構図類似度情報と上記生成された音声類似度情報とに基づいて、上記チェンジ点間に含まれる動画が上記特定シーンに対応する動画であるか否かを判定する判定部とを具備する情報処理装置、情報処理方法およびプログラムである。これにより、被写体の遷移と構図類似度情報と音声類似度情報とに基づいて、チェンジ点間に含まれる動画が特定シーンに対応する動画であるか否かを判定させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記判定部は、特定のスポーツにおけるプレー中の区間であるオンプレー区間を上記特定シーンとして上記判定を行うようにしてもよい。これにより、スポーツにおけるプレー中の区間であるオンプレー区間であるか否かを判定させるという作用をもたらす。
【００１０】
また、この第１の側面において、上記判定部は、上記検出された遷移と上記生成された構図類似度情報と上記生成された音声類似度情報とに基づいて、上記チェンジ点間に含まれる動画を評価するための評価値を生成する評価値生成部と、上記評価値と閾値とを比較して、当該比較結果に基づいて上記判定を行う評価値判定部とを備えるようにしてもよい。これにより、被写体の遷移と構図類似度情報と音声類似度情報とに基づいて生成されたチェンジ点間に含まれる動画の評価値により特定シーンに対応する動画であるか否かの判定がさせるという作用をもたらす。
【００１１】
また、この第１の側面において、上記構図類似度情報生成部は、上記チェンジ点間に含まれる動画を構成する画像における所定領域の明るさと他の領域の明るさとの比較結果を上記構図に関する特徴量として上記構図類似度情報を生成するようにしてもよい。これにより、チェンジ点間に含まれる動画を構成する画像における所定領域の明るさと他の領域の明るさとの比較結果を構図に関する特徴量として構図類似度情報を生成させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記構図類似度情報生成部は、上記チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の特定方向の対称性の度合いを上記構図に関する特徴量として上記構図類似度情報を生成するようにしてもよい。これにより、チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の特定方向の対称性の度合いを構図に関する特徴量として構図類似度情報を生成させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記構図類似度情報生成部は、上記チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の輝度差を上記構図に関する特徴量として上記構図類似度情報を生成するようにしてもよい。これにより、チェンジ点間に含まれる動画を構成する画像における所定領域と他の領域との間の輝度差を構図に関する特徴量として構図類似度情報を生成させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記構図類似度情報生成部は、上記チェンジ点間に含まれる動画を構成する画像を複数のブロックに分割し、当該各ブロックにおける輝度の平均値を上記構図に関する特徴量として上記構図類似度情報を生成するようにしてもよい。これにより、チェンジ点間に含まれる動画を構成する画像を複数のブロックに分割し、当該各ブロックにおける輝度の平均値を構図に関する特徴量として構図類似度情報を生成させるという作用をもたらす。
【００１５】
また、この第１の側面において、上記遷移検出部は、上記チェンジ点間に含まれる動画を撮像した際の撮像装置の水平方向の動きを上記被写体の遷移として検出するようにしてもよい。これにより、チェンジ点間に含まれる動画を撮像した際の撮像装置の水平方向の動きを被写体の遷移として検出させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記遷移検出部は、上記チェンジ点間に含まれる動画を撮像した際の撮像装置の垂直方向の動きを上記被写体の遷移として検出するようにしてもよい。これにより、チェンジ点間に含まれる動画を撮像した際の撮像装置の垂直方向の動きを被写体の遷移として検出させるという作用をもたらす。
【００１７】
また、この第１の側面において、上記遷移検出部は、上記チェンジ点間に含まれる動画における対象画像と上記対象画像に時間軸において隣接または近接する他の画像とを比較して、当該比較結果に基づいて上記被写体の遷移を検出するようにしてもよい。これにより、チェンジ点間に含まれる動画における対象画像と、対象画像に時間軸において隣接または近接する他の画像とを比較して、この比較結果に基づいて被写体の遷移を検出させるという作用をもたらす。
【００１８】
また、この第１の側面において上記特定シーンに対応する動画であると判定された上記チェンジ点間に含まれる動画を特定動画とし、上記特定動画に関する上記検出された遷移と上記生成された構図類似度情報と上記生成された音声類似度情報とに基づいて、上記特定動画に関する優先順序を上記特定動画ごとに付与する優先順序付与部をさらに具備するようにしてもよい。これにより、特定シーンに対応する動画であると判定された動画ごとに優先順序を付与させるという作用をもたらす。
【００１９】
また、本発明の第２の側面は、動画におけるチェンジ点を検出するチェンジ点検出部と、上記検出されたチェンジ点のうち隣接する２つのチェンジ点間に含まれる動画を構成する複数の画像に含まれる被写体の遷移を検出する遷移検出部と、上記チェンジ点間に含まれる動画を構成する画像における構図に関する特徴量に基づいて、当該画像における構図と特定シーンの構図との類似の程度を示す構図類似度情報を生成する構図類似度情報生成部と、上記チェンジ点間に含まれる動画に関連付けられている音声データに関する特徴量に基づいて、当該音声データと上記特定シーンの音声データとの類似の程度を示す音声類似度情報を生成する音声類似度情報生成部と、上記検出された遷移と上記生成された構図類似度情報と上記生成された音声類似度情報とに基づいて、上記チェンジ点間に含まれる動画が上記特定シーンに対応する動画であるか否かを判定する判定部と、上記判定部における判定結果に基づいて、上記特定シーンに対応する動画であると判定された上記チェンジ点間に含まれる動画を表示部に表示させる制御を行う表示制御部とを具備する情報処理装置である。これにより、被写体の遷移と構図類似度情報と音声類似度情報とに基づいて、チェンジ点間に含まれる動画が特定シーンに対応する動画であるか否かを判定させ、特定シーンに対応すると判断された動画を表示させるという作用をもたらす。
【発明の効果】
【００２０】
本発明によれば、特定のシーンを適切に検出することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における情報処理部２００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態において解析される動画コンテンツおよびこの動画におけるカットチェンジ点の一例を示す模式図である。
【図４】本発明の第１の実施の形態における水平方向動き解析部２５０において解析される動画コンテンツを撮像したカメラの水平方向の動きの一例を示す模式図である。
【図５】本発明の第１の実施の形態における垂直方向動き解析部２６０において解析される動画コンテンツを撮像したカメラの垂直方向の動きの一例を示す模式図である。
【図６】本発明の第１の実施の形態における構図解析部２７０による画像の分割の一例を示す模式図である。
【図７】本発明の第１の実施の形態における明暗解析部２８０による画像の明暗解析の一例を示す模式図である。
【図８】本発明の第１の実施の形態における対称性解析部２９０による画像の対称性解析の一例を示す模式図である。
【図９】本発明の第１の実施の形態における振幅解析部３２０およびスペクトル解析部３３０により解析されるバレーボールの放送のオンプレー区間における歓声の変化の一例を模式的に示すグラフである。
【図１０】本発明の第１の実施の形態における区間特徴量生成部３５０によるカット区間ごとの画像データに基づく特徴量の生成の一例を示す模式図である。
【図１１】本発明の第１の実施の形態における区間特徴量生成部３５０によるカット区間ごとの音声データに基づく特徴量の生成の一例を示す模式図である。
【図１２】本発明の第１の実施の形態において出力制御部１５０により再生される動画コンテンツの表示例を示す図である。
【図１３】本発明の第１の実施の形態においてオンプレー区間属性情報を応用した動画コンテンツの選択における画像の一例を示す模式図である。
【図１４】本発明の第１の実施の形態における情報処理装置１００による属性情報生成処理手順例を示すフローチャートである。
【図１５】本発明の第１の実施の形態における画像データ処理（ステップＳ９１０）の処理手順例を示すフローチャートである。
【図１６】本発明の第１の実施の形態における音声データ処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【図１７】本発明の第１の実施の形態における区間解析処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【図１８】本発明の第２の実施の形態における情報処理部７００の機能構成例を示すブロック図である。
【図１９】本発明の第２の実施の形態における重要度算出部７１０による歓声の大きさおよび長さに基づく重要度の生成例を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（情報処理制御：バレーボールの放送におけるオンプレー区間を検出する例）
２．第２の実施の形態（情報処理制御：オンプレー区間に重要度を付加する例）
【００２３】
＜１．第１の実施の形態＞
［情報処理装置の機能構成例］
図１は、本発明の第１の実施の形態における情報処理装置１００の機能構成例を示すブロック図である。この情報処理装置１００は、入力部１１０と、操作受付部１２０と、記録制御部１３０と、記憶部１４０と、情報処理部２００と、出力制御部１５０と、表示部１６０と、音声出力部１７０とを備える。
【００２４】
情報処理装置１００は、例えば、外部から入力された動画コンテンツを記録または表示させる映像視聴装置（例えば、ハードディスク内蔵型テレビジョン）により実現される。
【００２５】
入力部１１０は、動画コンテンツを入力するものである。この入力部１１０には、例えば、テレビジョン放送の放送信号や、放送信号を録画した動画等が入力される。入力部１１０は、入力された動画コンテンツを、信号線１１９を介して情報処理部２００および記録制御部１３０に供給する。
【００２６】
操作受付部１２０は、ユーザからの操作入力を受け付けると、その操作入力に応じた操作信号を情報処理装置１００における各部に供給するものである。この操作受付部１２０は、例えば、オンプレー区間の検出を開始するための操作を受け付けた場合には、検出開始に関する信号を情報処理部２００に供給する。また、操作受付部１２０は、検出したオンプレー区間を表示させるための操作を受け付けた場合には、表示を制御する信号（表示制御信号）を出力制御部１５０に供給する。
【００２７】
情報処理部２００は、動画コンテンツにおける特定シーン（ここではオンプレー区間）を検出する情報処理を行うものである。この情報処理部２００は、入力部１１０から供給される動画コンテンツに基づいて、オンプレー区間を示す属性情報（オンプレー区間属性情報）を生成し、生成したオンプレー区間属性情報を記録制御部１３０に供給する。なお、情報処理部２００については、図２乃至図１０を参照して説明する。
【００２８】
記録制御部１３０は、記憶部１４０における動画コンテンツおよびオンプレー区間属性情報の記録の制御を行うものである。この記録制御部１３０は、情報処理部２００からオンプレー区間属性情報が供給された場合には、入力部１１０から供給される動画コンテンツにそのオンプレー区間属性情報を関連づけてその動画コンテンツを記憶部１４０に記録させる。
【００２９】
記憶部１４０は、記録制御部１３０から供給された動画コンテンツおよびオンプレー区間属性情報を記録するものである。この記憶部１４０は、動画コンテンツ記憶部１４１および属性情報記憶部１４２を備える。
【００３０】
動画コンテンツ記憶部１４１は、動画コンテンツを記録するものであり、記録する動画コンテンツを、出力制御部１５０に供給する。
【００３１】
属性情報記憶部１４２は、オンプレー区間属性情報を記録するものであり、記録するオンプレー区間属性情報を、出力制御部１５０に供給する。
【００３２】
出力制御部１５０は、ユーザに視聴させる画像および音声の出力を制御するものである。この出力制御部１５０は、動画コンテンツ記憶部１４１から供給される動画コンテンツを構成する画像データを表示部１６０に供給する。また、出力制御部１５０は、動画コンテンツ記憶部１４１から供給される動画コンテンツを構成する音声データを音声出力部１７０に供給する。また、出力制御部１５０は、動画コンテンツに関連付けてオンプレー区間を表示させる場合には、属性情報記憶部１４２から供給されるオンプレー区間属性情報に基づいて画像を生成し、その生成した画像に関する画像データを表示部１６０に供給する。なお、オンプレー区間属性情報に基づいて生成する画像の一例については、図１２および図１３を参照して説明する。
【００３３】
表示部１６０は、出力制御部１５０から供給される画像データに基づいて、各種画像を表示するものである。この表示部１６０は、例えば、カラー液晶パネルにより実現される。この表示部１６０は、例えば、動画コンテンツにおけるオンプレー区間の位置を模式的に示す画面などを表示する。
【００３４】
音声出力部１７０は、出力制御部１５０から供給される音声データに基づいて、音声を出力するものである。
【００３５】
すなわち、情報処理装置１００は、スポーツが撮影された動画コンテンツ（動画ファイル）において、試合が進行中（オンプレー）である区間（時間軸における区間）を検出する装置である。
【００３６】
なお、ここでは、情報処理装置１００として、入力された動画コンテンツを記録または表示する映像視聴装置を想定したが、これに限定されるものではない。例えば、ＤＶＤ（Digital Versatile Disk）などの既に保持されている動画コンテンツに対して、オンプレー区間属性情報を生成する装置（例えば、パーソナルコンピュータなどにおける動画再生）なども考えられる。また、ＤＶＤレコーダーなどの放送を録画する装置なども考えられる。
【００３７】
［情報処理部の機能構成例］
図２は、本発明の第１の実施の形態における情報処理部２００の機能構成例を示すブロック図である。
【００３８】
情報処理部２００は、信号分離部２１０と、画像データバッファ２２０と、カットチェンジ解析部２３０と、動き解析部２４０と、構図解析部２７０とを備える。また、情報処理部２００は、音声データバッファ３１０と、振幅解析部３２０と、スペクトル解析部３３０と、画像特徴量バッファ３４０と、区間特徴量生成部３５０と、区間評価部３６０と、属性情報生成部３７０とを備える。
【００３９】
信号分離部２１０は、入力部１１０から供給された動画コンテンツを、画像データと音声データとに分離するものである。この信号分離部２１０は、分離した画像データを画像データバッファ２２０に供給する。また、この信号分離部２１０は、分離した音声データを音声データバッファ３１０に供給する。
【００４０】
画像データバッファ２２０は、画像データを保持するものである。この画像データバッファ２２０は、画像データをフレーム単位（画像単位）で保持する。また、画像データバッファ２２０は、例えば、１つのフレームが入力されると、保持しているフレームのうちの入力順序が最も古い（最も時間的に過去の）フレームが出力されるＦＩＦＯ（First-In First-Out）タイプのキューにより実現される。画像データバッファ２２０は、保持する画像を、カットチェンジ解析部２３０と、動き解析部２４０と、構図解析部２７０とに供給する。
【００４１】
カットチェンジ解析部２３０は、対象画像がカットチェンジ点（チェンジ点）であるか否かを解析するものである。このカットチェンジ解析部２３０は、例えば、解析対象の画像（解析対象画像）と、時間軸において１つ前の画像（隣接画像）と比較して、映像が急激に変化する画像を検出することにより、解析対象画像がカットチェンジ点であるか否かを解析する。カットチェンジ解析部２３０によるカットチェンジの検出方法として、例えば、画像間におけるヒストグラム類似度および空間相関画像類似度を用いてカットチェンジであるかを判定する方法（例えば、特開２００８−８３８９４参照。）を用いることができる。この方法は、例えば、解析対象画像と隣接画像とに関するヒストグラム類似度および空間相関画像類似度に基づいて、解析対象画像と隣接画像とおける画像の変化がカットチェンジであるかを判定する。カットチェンジ解析部２３０は、解析対象画像がカットチェンジ点であるか否かを示す情報（カットチェンジ特徴量）を生成する。そしてカットチェンジ解析部２３０は、その生成したカットチェンジ特徴量を画像特徴量バッファ３４０におけるカットチェンジバッファ２３５に供給する。なお、カットチェンジ特徴量の生成例については、図３を参照して説明する。また、カットチェンジ解析部２３０は、特許請求の範囲に記載のチェンジ点検出部の一例である。
【００４２】
動き解析部２４０は、画像を撮像したカメラの動きを解析するものである。この動き解析部２４０は、例えば、解析対象画像と隣接画像とを比較して、この２つの画像間の変化量を算出することによりカメラの動きを解析し、動きに関する情報（動き特徴量）を生成する。すなわち、この動き解析部２４０は、解析対象画像と隣接画像との比較によって被写体の遷移を検出することにより、カメラの動きを解析する。なお、動き特徴量は、解析対象画像に関する動きがオンプレー区間の画像に関する動きと近い場合には類似の値になるため、解析対象画像とオンプレー区間における画像の構図との間の類似の程度を示すものでもある。動き解析部２４０による動きの解析方法として、ピクセルをずらしながら解析対象画像と隣接画像とを重ね合わせて、最も相関の高い場合におけるズレの量を求める方法が適用することができる。また、動き解析部２４０による動きの解析方法として、ブロックマッチング法により算出した動きベクトルを用いる方法なども適用することができる。この動き解析部２４０は、水平方向の動きを解析する水平方向動き解析部２５０と、垂直方向の動きを解析する垂直方向動き解析部２６０とを備える。なお、動き解析部２４０は、特許請求の範囲に記載の遷移検出部の一例である。
【００４３】
水平方向動き解析部２５０は、画像を撮像したカメラ（撮像装置）の水平方向の動きを解析するものである。すなわち、水平方向動き解析部２５０は、カメラの水平方向の動きに起因する被写体の遷移を検出することにより、カメラの水平方向の動きを解析する。この水平方向動き解析部２５０は、解析結果に基づいて、解析対象画像における水平方向の動き量を示す情報（水平方向動き特徴量）を生成する。そして、水平方向動き解析部２５０は、その生成した水平方向動き特徴量を、画像特徴量バッファ３４０における水平方向動きバッファ２５５に供給する。なお、水平方向動き特徴量の生成例については、図４を参照して説明する。
【００４４】
垂直方向動き解析部２６０は、画像を撮像したカメラの垂直方向の動きを解析するものである。すなわち、垂直方向動き解析部２６０は、カメラの垂直方向の動きに起因する被写体の遷移を検出することにより、カメラの垂直方向の動きを解析する。この垂直方向動き解析部２６０は、解析結果に基づいて、解析対象画像における垂直方向の動き量を示す情報(垂直方向動き特徴量)を生成する。そして、垂直方向動き解析部２６０は、その生成した垂直方向動き特徴量を、画像特徴量バッファ３４０における垂直方向動きバッファ２６５に供給する。なお、垂直方向動き特徴量の生成例については、図５を参照して説明する。
【００４５】
構図解析部２７０は、解析対象画像の構図を解析するものである。例えば、この構図解析部２７０は、解析対象画像の構図を解析するために、解析対象画像を複数のブロックに分割する。そして、構図解析部２７０は、ブロックごとに輝度の平均を算出し、そのブロックごとの輝度の平均を加重加算することにより画像の構図に関する情報（構図特徴量）を算出する。なお、この構図特徴量は、解析対象画像の構図がオンプレー区間の画像の構図と近い場合には類似の値になるため、解析対象画像とオンプレー区間における画像の構図との間の類似の程度を示すものでもある。この構図解析部２７０は、解析対象画像における明暗を解析する明暗解析部２８０と、解析対象画像における画像の対称性を解析する対称性解析部２９０とを備える。なお、構図解析部２７０は、特許請求の範囲に記載の構図類似度情報生成部の一例である。
【００４６】
明暗解析部２８０は、解析対象画像における明暗に関する構図を解析するものである。この明暗解析部２８０は、解析対象画像における輝度を用いて、解析対象画像の上部と下部との間の明暗差に関する情報（明暗特徴量）を生成する。明暗解析部２８０は、例えば、解析対象画像における所定領域（上部）の明るさと他の領域（下部）の明るさとを比較することにより明暗特徴量を生成する。すなわち、明暗解析部２８０は、解析対象画像における所定領域の明るさと他の領域の明るさとの差（明暗差）を構図に関する特徴量として、明暗特徴量を生成する。この明暗解析部２８０は、生成した明暗特徴量を、画像特徴量バッファ３４０における明暗バッファ２８５に供給する。なお、明暗特徴量については、図７を参照して説明する。
【００４７】
対称性解析部２９０は、解析対象画像における画像の対称性に関する構図を解析するものである。この対称性解析部２９０は、解析対象画像における輝度を用いて、解析対象画像の左右の対称性に関する情報である対称性特徴量を生成する。すなわち、対称性解析部２９０は、解析対象画像における特定方向（左右）への対称性の度合いに基づいて対称性特徴量を生成する。すなわち、対称性解析部２９０は、解析対象画像における特定方向への対称性の度合いを構図に関する特徴量として、対称性特徴量を生成する。この対称性解析部２９０は、生成した対称性特徴量を、画像特徴量バッファ３４０における対称性バッファ２９５に供給する。なお、対称性特徴量については、図８を参照して説明する。
【００４８】
音声データバッファ３１０は、音声データを保持するものである。この音声データバッファ３１０は、音声データを、１サンプル単位（１フレーム周期分の音声データ）で保持する。また、音声データバッファ３１０は、例えば、１つのサンプルが入力されると、保持しているサンプルのうちの入力順序が最も古い（最も時間的に過去の）サンプルが出力されるＦＩＦＯ（First-In First-Out）タイプのキューにより実現される。音声データバッファ３１０は、保持する音声データを、振幅解析部３２０およびスペクトル解析部３３０に供給する。
【００４９】
振幅解析部３２０は、音声データの音の強さを解析するものである。この振幅解析部３２０は、１サンプルの音声データに基づいて、そのサンプルに対応する画像に関する音の強さを解析する。この振幅解析部３２０は、例えば、１サンプルの音声データを時間で離散化し、そして、２乗平均平方根を算出することにより、音の強さを解析する。この振幅解析部３２０は、解析結果に基づいて、その解析した音声データ（１サンプル）の音の強さを示す情報（振幅特徴量）を生成する。そして、振幅解析部３２０は、その生成した振幅特徴量を、画像特徴量バッファ３４０における振幅バッファ３２５に供給する。なお、振幅特徴量の生成例については、図９を参照して説明する。
【００５０】
スペクトル解析部３３０は、音声データの音色を解析するものである。このスペクトル解析部３３０は、１サンプルの音声データに基づいて、そのサンプルに対応する画像に関する音色を解析する。このスペクトル解析部３３０は、例えば、１サンプルの音声データを用いて、短時間離散スペクトルを算出することにより、音色を解析する。このスペクトル解析部３３０は、解析結果に基づいて、その解析した音声データ（１サンプル）の音色を示す情報（スペクトル特徴量）を生成する。そして、スペクトル解析部３３０は、その生成したスペクトル特徴量を、画像特徴量バッファ３４０におけるスペクトルバッファ３３５に供給する。なお、スペクトル特徴量の生成例については、図９を参照して説明する。なお、振幅解析部３２０およびスペクトル解析部３３０は、特許請求の範囲に記載の音声類似情報生成部の一例である。また、振幅特徴量およびスペクトル特徴量は、解析対象の音声データがオンプレー区間の音声データと同様の特徴を備えている場合には類似の値になるため、この２つの音声データにおける類似の程度を示すものでもある。
【００５１】
画像特徴量バッファ３４０は、画像データおよび音声データに基づいて生成された画像ごとの各特徴量を保持するものである。この画像特徴量バッファ３４０は、カットチェンジバッファ２３５と、水平方向動きバッファ２５５と、垂直方向動きバッファ２６５と、明暗バッファ２８５と、対称性バッファ２９５と、振幅バッファ３２５と、スペクトルバッファ３３５とを備える。
【００５２】
カットチェンジバッファ２３５は、カットチェンジ解析部２３０から供給される画像ごと（フレームごと）のカットチェンジ特徴量を保持するものである。このカットチェンジバッファ２３５は、その保持するカットチェンジ特徴量を区間特徴量生成部３５０に供給する。
【００５３】
水平方向動きバッファ２５５は、水平方向動き解析部２５０から供給される画像ごと（１フレームごと）の水平方向動き特徴量を順次保持するものである。この水平方向動きバッファ２５５は、その保持する水平方向動き特徴量を区間特徴量生成部３５０に供給する。
【００５４】
垂直方向動きバッファ２６５は、垂直方向動き解析部２６０から供給される画像ごとの垂直方向動き特徴量を順次保持するものである。この垂直方向動きバッファ２６５は、その保持する垂直方向動き特徴量を区間特徴量生成部３５０に供給する。
【００５５】
明暗バッファ２８５は、明暗解析部２８０から供給される画像ごとの明暗特徴量を順次保持するものである。この明暗バッファ２８５は、その保持する明暗特徴量を区間特徴量生成部３５０に供給する。
【００５６】
対称性バッファ２９５は、対称性解析部２９０から供給される画像ごとの対称性特徴量を順次保持するものである。この対称性バッファ２９５は、その保持する対称性特徴量を区間特徴量生成部３５０に供給する。
【００５７】
振幅バッファ３２５は、振幅解析部３２０から供給される１サンプルごとの振幅特徴量を順次保持するものである。この振幅バッファ３２５は、その保持する振幅特徴量を区間特徴量生成部３５０に供給する。
【００５８】
スペクトルバッファ３３５は、スペクトル解析部３３０から供給される１サンプルごとのスペクトル特徴量を順次保持するものである。このスペクトルバッファ３３５は、その保持するスペクトル特徴量を区間特徴量生成部３５０に供給する。
【００５９】
区間特徴量生成部３５０は、区間ごとの特徴量（区間特徴量）を生成するものである。例えば、この区間特徴量生成部３５０は、カットチェンジ点で挟まれた区間（カット区間）における画像の各特徴量を、画像特徴量バッファ３４０から取得する。そして、区間特徴量生成部３５０は、その取得した画像ごとの各特徴量を用いて、解析対象の区間がオンプレー区間である度合いを示す１つの値（区間特徴量）を生成する。区間特徴量生成部３５０は、生成した区間特徴量を、区間評価部３６０に供給する。なお、区間特徴量の生成例については、図１０および図１１を参照して説明する。
【００６０】
区間評価部３６０は、区間特徴量に基づいて、解析対象の区間がオンプレー区間であるか否かを評価するものである。この区間評価部３６０は、所定値の閾値を予め保持し、区間特徴量の値とその閾値とを比較することにより、解析対象の区間を評価する。区間評価部３６０は、オンプレー区間と評価された区間に関する情報（例えば、その区間の開始時間および終了時間）を、属性情報生成部３７０に供給する。なお、区間特徴量生成部３５０および区間評価部３６０は、特許請求の範囲に記載の判定部の一例である。
【００６１】
属性情報生成部３７０は、区間評価部３６０から供給されたオンプレー区間の情報に基づいて、オンプレー区間属性情報を生成するものである。例えば、属性情報生成部３７０は、オンプレー区間の番号と、そのオンプレー区間の開始時間と、そのオンプレー区間の終了時間とを含むオンプレー区間属性情報を生成する。属性情報生成部３７０は、生成したオンプレー区間属性情報を、信号線２０９を介して記録制御部１３０に供給する。
【００６２】
［カットチェンジ解析部２３０のカットチェンジ解析例］
図３は、本発明の第１の実施の形態において解析される動画コンテンツおよびこの動画におけるカットチェンジ点の一例を示す模式図である。
【００６３】
なお、本発明の第１の実施の形態においては、バレーボールの放送番組におけるプレー区間を検出することを想定する。また、本発明の第１の実施の形態においては、サーブからラリーを経て得点するまでのシーン（区間）を「オンプレー区間」とし、それ以外のシーンを「オフプレー区間」とする。また、バレーボールの放送番組には、プレー中のコートが写されている画像、試合の解説者が写されている画像、プレーの解説におけるリプレイの画像およびコマーシャルの画像などが含まれていることとする。
【００６４】
同図には、解析対象の動画コンテンツ（動画コンテンツ４００）と、この動画コンテンツの解析により検出されたカットチェンジ点を示す時間軸における位置（カットチェンジ情報５１０）とが模式的に示されている。
【００６５】
動画コンテンツ４００は、バレーボールの放送番組における動画コンテンツである。この動画コンテンツ４００には、オンプレー区間である２つの区間（区間Ｓ１およびＳ３）と、オフプレー区間である１つの区間（区間Ｓ２）が含まれている。また、動画コンテンツ４００には、区間Ｓ１の内容を示す画像（区間Ｓ１内における１フレームの画像（代表画像））として、プレー中の選手が写されている画像（画像４１０）が示されている。同様に、区間Ｓ２の内容を示す画像（区間Ｓ１内における１フレームの画像（代表画像））として、試合の解説者が写されている画像（画像４２０）が示されている。
【００６６】
カットチェンジ情報５１０は、カットチェンジ解析部２３０により解析されるカットチェンジ点の位置を時間軸上に模式的に示すものである。このカットチェンジ情報５１０には、横軸を動画コンテンツにおける時間を示す軸として、カットチェンジ解析部２３０により検出された３つのカットチェンジ点（カットチェンジ点Ｃ１乃至Ｃ４）が示されている。
【００６７】
ここで、カットチェンジ解析部２３０によるカットチェンジの解析について説明する。カットチェンジ解析部２３０は、解析対象の画像（ｎ番目フレーム）を、時間軸において１つ前の画像（ｎ−１番目フレーム）と比較することにより、この解析対象のフレームがカットチェンジ点であるか否かを解析する。例えば、カットチェンジ解析部２３０は、解析対象の画像のヒストグラム（フレーム毎に抽出される輝度信号Ｙ、色差信号（青）Ｃｂおよび色差信号（赤）Ｃｒのカラーヒストグラム）と、１つ前の画像のヒストグラムとを生成する。そして、カットチェンジ解析部２３０は、その生成したヒストグラム同士の差分値を算出する。続いて、カットチェンジ解析部２３０は、その生成したヒストグラムの差分値が所定の閾値を越えたか否かに基づいて、２つの画像の間がカットチェンジ点であるか否か解析する。すなわち、カットチェンジ解析部２３０は、ヒストグラムの差分値が所定の閾値を超えた場合には、カットチェンジ点が検出されたと解析し、その解析した画像におけるカットチェンジ特徴量（Ｃ[ｎ]）の値を「１」とする。一方、ヒストグラムの差分値が所定の閾値を超えていない場合には、カットチェンジ点が検出されなかったと解析し、その解析した画像におけるカットチェンジ特徴量（Ｃ[ｎ]）の値を「０」とする。
【００６８】
これにより、動画コンテンツ４００におけるカットチェンジ点Ｃ１乃至Ｃ３が検出された画像については、「１」の値のカットチェンジ特徴量が生成される。一方、それ以外の画像については、「０」の値のカットチェンジ特徴量が生成される。
【００６９】
このように、カットチェンジ解析部２３０によりカットチェンジ点が解析され、その解析結果を示すカットチェンジ特徴量がカットチェンジバッファ２３５に保持される。
【００７０】
［水平方向動き解析部２５０の水平方向動き解析例］
図４は、本発明の第１の実施の形態における水平方向動き解析部２５０において解析される動画コンテンツを撮像したカメラの水平方向の動きの一例を示す模式図である。
【００７１】
同図（ａ）には、オフプレー区間におけるカメラの動きを模式的に示す２つの画像（画像４１１および画像４１２）が示されている。また、画像４１２には、画像４１１を撮像したタイミングから画像４１２を撮像するタイミングまでにおけるカメラの水平方向の動き量（水平方向動き量Ｍ１）が示されている。
【００７２】
ここで、オンプレー区間におけるカメラの水平方向の動きについて説明する。一般的に、バレーボールの中継においては、コートのネットを挟んでボールが行き来するため、ネットの両側（画像４２１では、水平方向）にカメラを動かしてボールを追うことにより、プレーが撮像される。すなわち、オンプレー区間においては、プレーが継続している限り、カメラが左右（水平方向）に継続的に動く。また、このカメラの水平方向の動きに関しても、コート幅の制限等により、左右に動く量が所定の量になりやすい特徴がある。
【００７３】
同図（ｂ）には、オフプレー区間におけるカメラの水平方向の動きを模式的に示す２つの画像（画像４２１および画像４２２）が示されている。この画像４２１および画像４２２には、オフプレー区間の一例として、アタックの場面のリプレー画像が示されている。また、画像４２２には、画像４２１を撮像したタイミングから画像４２２を撮像したタイミングまでにおけるカメラの水平方向の動き量（水平方向動き量Ｍ２）が示されている。
【００７４】
ここで、オフプレー区間におけるカメラの水平方向の動きについて説明する。オフプレー区間においては、例えば、解説者を撮影したシーン（例えば、図３に示す画像４２０）やアタックシーンのリプレー画像（画像４２１）などの、高倍率でヒトやボールを追いかけるシーンが多い。このようなシーンにおいては、水平方向動き量Ｍ２に示すように、水平方向の動きはほとんど無いことが多い。また、ボールを水平方向に追うシーン（例えば、ボールがコートに落ちる瞬間のリプレー画像）もあるものの、オンプレー区間のように左右に動きを繰り返すことは少ない。
【００７５】
図４（ｃ）には、動画コンテンツにおけるカメラの水平方向の動きの特性（水平方向動き特性５２０）が示されている。この水平方向動き特性５２０には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を右方向（プラス側）および左方向（マイナス側）への動きの大きさを示す軸として、水平方向動き解析部２５０により解析される水平方向の動き量が示されている。
【００７６】
水平方向動き特性５２０に示すように、オンプレー区間（区間Ｓ１およびＳ３）における水平方向の動きは、左右方向に大きいとともに、左右への一定量の動きを繰り返す。また、オフプレー区間（区間Ｓ２）における水平方向の動きは、頻度が少ないとともに小さい。また、オフプレー区間における水平方向の動きには、規則性は無い。
【００７７】
ここで、水平方向動き解析部２５０による水平方向の動きの解析について説明する。水平方向動き解析部２５０は、解析対象の画像（ｎ番目フレーム）を、時間軸において１つ前の画像（ｎ−１番目フレーム）と比較することにより、この解析対象の画像の水平方向の動きを解析する。例えば、水平方向動き解析部２５０は、ピクセルをずらしながら解析対象画像と隣接画像とを重ね合わせて、最も相関の高い画像となる場合におけるズレの量を、解析対象画像の水平方向動き特徴量（ＧＨ[ｎ]）とする。すなわち、解析対象画像の水平方向動き特徴量（ＧＨ[ｎ]）は、カメラの動きが大きいほど大きな値となる。
【００７８】
このように、水平方向動き解析部２５０によりカメラの水平方向の動きが解析され、その解析結果を示す水平方向動き特徴量が水平方向動きバッファ２５５に保持される。
【００７９】
［垂直方向動き解析部２６０の垂直方向動き解析例］
図５は、本発明の第１の実施の形態における垂直方向動き解析部２６０において解析される動画コンテンツを撮像したカメラの垂直方向の動きの一例を示す模式図である。
【００８０】
同図（ａ）には、図４（ａ）と同様に、オフプレー区間の２つの画像（画像４１１および画像４１２）が示されている。また、図５（ａ）における画像４１２には、画像４１１を撮像したタイミングから画像４１２を撮像するタイミングまでにおけるカメラの垂直方向の動き量（垂直方向動き量Ｍ１１）が示されている。
【００８１】
ここで、オンプレー区間におけるカメラの垂直方向の動きについて説明する。図４（ａ）において説明したように、オンプレー区間においては、カメラが左右（水平方向）に継続的に動く。しかしながら、このオンプレー区間において、カメラはコートのどこにボールが落ちてもわかるように低倍率で広い領域を撮像するため、上下（垂直方向）にはほとんど動かない。
【００８２】
同図（ｂ）には、図４（ｂ）と同様に、オフプレー区間の２つの画像（画像４２１および画像４２２）が示されている。また、図５（ｂ）における画像４２２には、画像４２１を撮像したタイミングから画像４２２を撮像したタイミングまでにおけるカメラの垂直方向の動き量（垂直方向動き量Ｍ１２）が示されている。
【００８３】
ここで、オフプレー区間におけるカメラの垂直方向の動きについて説明する。図４（ｂ）に説明したように、オフプレー区間においては、アタックシーンのリプレー画像などの高倍率でボールを追いかけるシーンが多い。このため、例えば、垂直方向動き量Ｍ１２に示すように、大きな垂直方向の動きが発生する場合がある。
【００８４】
同図（ｃ）には、動画コンテンツにおけるカメラの垂直方向の動きの特性（垂直方向動き特性５３０）が示されている。この垂直方向動き特性５３０には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を上方向（プラス側）および下方向（マイナス側）への動きの大きさを示す軸として、垂直方向動き解析部２６０により解析される垂直方向の動き量が示されている。
【００８５】
垂直方向動き特性５３０に示すように、オンプレー区間（区間Ｓ１およびＳ３）における垂直方向の動きは、頻度が少ないとともに小さい。また、オフプレー区間（区間Ｓ２）における垂直方向の動きは、大きく動くことが時々あるものの、この動きに規則性は無い。
【００８６】
なお、垂直方向動き解析部２６０による垂直方向の動きの解析の方法については、図４において示した水平方向動き解析部２５０による水平方向の動きの解析方法と同様のものであるため、ここでの説明を省略する。すなわち、解析対象画像の垂直方向動き特徴量（ＧＶ[ｎ]）は、カメラの動きが大きいほど大きな値となる。
【００８７】
このように、垂直方向動き解析部２６０によりカメラの垂直方向の動きが解析され、その解析結果を示す垂直方向動き特徴量が垂直方向動きバッファ２６５に保持される。
【００８８】
［構図解析部２７０による画像の分割例］
図６は、本発明の第１の実施の形態における構図解析部２７０による画像の分割の一例を示す模式図である。
【００８９】
同図には、分割対象の画像（画像４３０）と、この分割対象の画像を１６分割した場合における１６個のブロック（ブロック４３１）とが示されている。なお、ブロック４３１の中に示されている番号（番号０乃至番号１５）は、ブロック番号を示す。
【００９０】
このように、構図解析部２７０においては、画像を複数のブロックに分割した後に、構図解析を行う。
【００９１】
［明暗解析部２８０による画像の明暗解析例］
図７は、本発明の第１の実施の形態における明暗解析部２８０による画像の明暗解析の一例を示す模式図である。
【００９２】
同図（ａ）には、オンプレー区間における画像の構図を示す画像（画像４１５）が示されている。また、画像４１５には、この画像に撮像されている観客席とコートとの間の境界を示す線（線Ｌ１）と、観客席が撮像されている範囲を示す領域（領域Ｒ１）と、コートが撮像されている範囲を示す領域（領域Ｒ２）とが示されている。
【００９３】
ここで、オンプレー区間における画像の明暗に関する構図について説明する。画像４１５に示すように、バレーボールの放送番組におけるプレー中の画像では、コートが画像の下部に撮像されるとともに、観客席も画像の上部に撮像される。コートは、バレーボールのプレイヤーがプレーをしやすいように、照明が明るくされる。一方、観客席は、コートほど照明を明るくする必要がないため、コートよりも照明が暗くされる。すなわち、オンプレー区間の画像の明暗に関する構図は、画像の上部は輝度が低いため暗い画像となり、画面の下部は輝度が高いため明るい画像となる構図になる。
【００９４】
同図（ｂ）には、動画コンテンツを構成する画像の明暗の特性（明暗特性５４０）が示されている。この明暗特性５４０には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を明暗の差（大きくなるほど明暗差が大きい）を示す軸として、各画像の明暗差が示されている。
【００９５】
明暗特性５４０に示すように、オンプレー区間（区間Ｓ１およびＳ３）における明暗差は、この区間における垂直方向の動きが少ないため、一貫して大きい明暗差になることが多い。一方、オフプレー区間（区間Ｓ２）における明暗差は、リプレー画像などのほとんど明暗差が無いような画像がこの区間に多いため、小さい明暗差になることが多い。
【００９６】
ここで、明暗解析部２８０による明暗に関する構図の解析について説明する。まず、明暗解析部２８０は、図６に示すように、解析対象画像（ｎフレーム）を複数（Ｋ個）のブロックに分割する。そして、明暗解析部２８０は、ブロックごとに輝度の平均Ｙｋを算出する。続いて、明暗解析部２８０は、明暗特徴量Ｐｖ[ｎ]を、例えば、次の式１を用いて算出する。
【数１】
2011228918.tif 000003
ここで、Ｗは、所定の加重である。Ｋは、画像を分割したブロックの数である。ｋは、分割されたブロックのブロック番号である。例えば、図６において示したブロック番号（番号０乃至番号１５）である。
【００９７】
なお、ブロック数Ｋが「１６」である場合において、明暗解析部２８０は、例えば、次の式２に示す加重Ｗを用いて、明暗特徴量Ｐｖ[ｎ]を算出する。
【数２】
2011228918.tif 000004
式２に示す加重Ｗおよび式１を用いて明暗特徴量Ｐｖ[ｎ]を算出すると、明暗特徴量Ｐｖ[ｎ]は、画像における上部と下部との間の明暗差が大きい場合には、大きなマイナスの値になる。一方、画像における上部と下部との間における明暗差が小さい場合には、明暗特徴量Ｐｖ[ｎ]は、「０」に近い値になる。
【００９８】
このように、明暗解析部２８０により画像の明暗に関する構図が輝度より解析され、その解析結果を示す明暗特徴量が明暗バッファ２８５に保持される。
【００９９】
［対称性解析部２９０による画像の対称性解析例］
図８は、本発明の第１の実施の形態における対称性解析部２９０による画像の対称性解析の一例を示す模式図である。
【０１００】
同図（ａ）には、図７（ａ)と同様に、オンプレー区間における画像の構図を示す画像（画像４１５）が示されている。また、図８（ａ）における画像４１５には、この画像を水平方向において２分する線（線Ｌ１１）と、この２分された画像の左半分の範囲を示す領域（領域Ｒ１１）と、右半分の範囲を示す領域（領域Ｒ１２）とが示されている。
【０１０１】
ここで、オンプレー区間における画像の対称性に関する構図について説明する。画像４１５に示すように、バレーボールの放送番組におけるプレー中の画像では、コート全体が撮影されることが多く、画像の構図的に左右の対称性が高くなる。
【０１０２】
同図（ｂ）には、動画コンテンツにおける画像の対称性の特性（対称特性５５０）が示されている。この対称特性５５０には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を画像の左右の対称性（大きくなるほど左右の対称性が高い）を示す軸として、各画像の対称性が示されている。
【０１０３】
対称特性５５０に示すように、オンプレー区間（区間Ｓ１およびＳ３）における対称性は、コート全体が撮像されていることが多いため、オフプレー区間（区間Ｓ２）よりも高い対称性であることが多い。
【０１０４】
ここで、対称性解析部２９０による対称性の解析について説明する。対称性解析部２９０は、明暗解析部２８０による明暗特徴量の算出と同様に、上述した式１を用いて対称性特徴量ＰＨ[ｎ]を算出する。しかしながら、対称性解析部２９０の用いる加重Ｗは、明暗解析部２８０の用いる加重Ｗ（式２）と異なる。対称性解析部２９０は、例えば、次の式３に示す加重Ｗを用いて、対称性特徴量ＰＨ[ｎ]を算出する。
【数３】
2011228918.tif 000005
式３に示す加重Ｗおよび式１を用いて対称性特徴量ＰＨ[ｎ]を算出すると、対称性特徴量ＰＨ[ｎ]は、画像における左右の対称性が大きい場合には、「０」に近い値になる。
【０１０５】
このように、対称性解析部２９０により画像の左右の対称性に関する構図が輝度より解析され、その解析結果を示す対称性特徴量が対称性バッファ２９５に保持される。
【０１０６】
なお、図７および図８では、輝度の平均を用いて明暗特徴量および対称性特徴量を算出したが、これに限定されるものではない。例えば、画像から色情報（例えば、ＲＧＢ（Ｇ（Green：緑）、Ｒ（Red：赤）、Ｂ（Blue：青）））を抽出し、その色情報を用いて算出することも考えられる。
【０１０７】
［オンプレー区間における歓声の変化例］
図９は、本発明の第１の実施の形態における振幅解析部３２０およびスペクトル解析部３３０により解析されるバレーボールの放送のオンプレー区間における歓声の変化の一例を模式的に示すグラフである。
【０１０８】
同図には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を歓声の大きさを示す軸として、オンプレー区間（区間Ｓ１１）における歓声の大きさの変化を示す歓声特性５６０が示されている。
【０１０９】
歓声特性５６０において、オンプレー区間（区間Ｓ１１）の開始前は、歓声の大きさは、最も小さい。また、オンプレー区間の開始タイミング（例えば、サーブが行われるタイミング）では、歓声の大きさは、それまでのオフプレー区間と比べてやや大きくなる。そして、サーブの後のラリー中の場合においては、歓声の大きさは、オフプレー区間と比べて大きくなる。さらに、オンプレー区間（区間Ｓ１１）の終了タイミング（例えば、得点が入ったタイミング）には、歓声が最も大きくなる。この得点の際の歓声は、オフプレー区間になってもしばらく続き、そして、歓声は小さくなる。
【０１１０】
このような音声データに基づいて、振幅解析部３２０およびスペクトル解析部３３０は、音質（歓声の大きさおよび音色）に関する特徴量を算出する。
【０１１１】
ここで、振幅解析部３２０による振幅特徴量の算出について説明する。振幅解析部３２０は、１サンプル（１フレーム周期（時間Ｔ）に相当する時間）の音声データを音声データバッファ３１０から取得する。なお、この時間Ｔは、画像間隔（フレーム間隔）を示す時間であり、フレームレート（frame per second）をＦとすると、１／Ｆ秒である。そして、振幅解析部３２０は、その取得した音声データを用いて振幅特徴量Ａ［ｎ］を算出する。振幅解析部３２０は、例えば、次の式４を用いて振幅特徴量Ａ［ｎ］を算出する。
【数４】
2011228918.tif 000006
ここで、Ｍは、時間Ｔにおいて離散化された時間の総数である。また、ｍは、離散化された時間を示すサンプル番号である。すなわち、サンプル番号ｍは、「０乃至Ｍ−１」の値の番号となる。ｘｍは、サンプル番号ｍに相当する時間における音声データである。
【０１１２】
上述の式４に示すように、振幅解析部３２０においては、解析対象画像に対応する音声データを用いて２乗平均平方根が算出され、この算出結果が振幅特徴量として振幅バッファ３２５に供給される。
【０１１３】
次に、スペクトル解析部３３０によるスペクトル特徴量の算出について説明する。スペクトル解析部３３０は、振幅解析部３２０と同様にして、１サンプルの音声データを音声データバッファ３１０から取得する。そして、スペクトル解析部３３０は、その取得した音声データを用いて、スペクトル特徴量Ｆ［ｋ；ｎ］を算出する。スペクトル解析部３３０は、例えば、次の式５を用いてスペクトル特徴量Ｆ［ｋ；ｎ］を算出する。
【数５】
2011228918.tif 000007
ここで、ｋは、離散化された周波数を示すスペクトル番号である。すなわち、スペクトル番号ｋは、離散化された周波数の総数をＫとすると、「０乃至Ｋ−１」の値の番号となる。
【０１１４】
上述の式５に示すように、スペクトル解析部３３０においては、解析対象画像に対応する音声データを用いて短時間離散スペクトルが算出され、この算出結果がスペクトル特徴量としてスペクトルバッファ３３５に供給される。
【０１１５】
なお、振幅解析部３２０による振幅特徴量の算出は、これに限定されるものではない。例えば、音声データをＦＦＴ（Fast Fourier Transform）し、周波数成分ごとのパワーを２乗した値の総和の平方根を振幅特徴量としてもよい。また、振幅特徴量を算出する前に、帯域通過フィルタを用いて音声データから不要な周波数成分を除去して歓声等の振幅を検出するために必要な帯域のみの音声データを生成し、この生成した音声データから２乗平均平方根を算出するようにしてもよい。
【０１１６】
また、スペクトル解析部３３０によるスペクトル特徴量の算出も、これに限定されるものではなく、例えば、ＦＦＴや線形予測符号（ＬＰＣ；Linear Predictive Coding）を用いて算出するようにしてもよい。
【０１１７】
ここまでの図３乃至図９に示したように、情報処理部２００においては、解析対象画像は、カットチェンジ点、カメラの動き、画像の構図および歓声の面から解析され、その解析された結果が、画像ごとに保持される。すなわち、情報処理部２００においては、解析対象画像（ｎフレーム）の特徴量（画像特徴量Ｑ［ｎ］）として、次の式６に示すような情報が生成される。
【数６】
2011228918.tif 000008
このように、画像（フレーム）ごとの特徴量が算出される。そして、少なくとも１つのカット区間（カットチェンジ点に挟まれた区間）の画像の特徴量が各バッファに保持されると、区間特徴量生成部３５０がそのカット区間の特徴量（区間特徴量）を生成する。
【０１１８】
［区間特徴量生成部によるカット区間ごとの画像データに基づく特徴量の生成例］
図１０は、本発明の第１の実施の形態における区間特徴量生成部３５０によるカット区間ごとの画像データに基づく特徴量の生成の一例を示す模式図である。
【０１１９】
同図では、一例として、図３において示した動画コンテンツ４００の区間Ｓ１および区間Ｓ２における特徴量を算出することを想定して説明する。
【０１２０】
図１０（ａ）には、区間Ｓ１および区間Ｓ２を識別するためカットチェンジ点を表す模式図（カットチェンジ特徴量）が示されている。この図１０（ａ）には、区間Ｓ１を識別するための２つのカットチェンジ点（カットチェンジ点Ｃ１およびＣ２）と、区間Ｓ２を識別するための２つのカットチェンジ点（カットチェンジ点Ｃ２およびＣ３）とが示されている。
【０１２１】
ここで、区間特徴量生成部３５０が区間特徴量を生成する場合において、画像特徴量バッファ３４０から画像ごとの特徴量を取得する方法について説明する。区間特徴量生成部３５０は、１カット区間の画像の特徴量が解析されると、その１カット区間の画像ごとの各特徴量を画像特徴量バッファ３４０の各バッファから取得する。すなわち、区間特徴量生成部３５０は、「１」の値の新たなカットチェンジ特徴量がカットチェンジバッファ２３５に保持された場合には、そのカットチェンジ点を終了点とする１カット区間の画像の特徴量を画像特徴量バッファ３４０の各バッファから取得する。
【０１２２】
図１０（ｂ）には、区間Ｓ１および区間Ｓ２におけるカメラの水平方向の動きの分散を模式的に示すグラフ（水平方向動き特徴量（区間））が示されている。このグラフには、縦軸を区間におけるカメラの左右の動きの分散の大きさを示す軸として、区間Ｓ１における画像ごとの水平方向動き特徴量から算出した区間Ｓ１の特徴量（水平方向動き特徴量（区間Ｓ１）Ｂ１）が示されている。また、このグラフには、水平方向動き特徴量（区間Ｓ１）Ｂ１の比較対象として、区間Ｓ２における画像ごとの水平方向動き特徴量から算出した区間Ｓ２の水平方向動き特徴量（水平方向動き特徴量（区間Ｓ２）Ｂ２）が示されている。
【０１２３】
ここで、区間特徴量生成部３５０による区間ごとの水平方向動き特徴量の算出の一例について説明する。まず、区間特徴量生成部３５０は、算出対象の区間の画像ごとの水平方向動き特徴量から、次の式７を用いて、算出対象の区間におけるカメラの水平方向の動きの平均「／ＧＨ[Ｎｃｕｔ]」を算出する。ここでは、「／」は、ＧＨ[Ｎｃｕｔ]の平均を意味する記号（式７では、オーバーバー）として用いている。
【数７】
2011228918.tif 000009
ここで、Ｎｃｕｔは、区間ごとの特徴量を算出する対象のカット区間である。また、ｎ０は、カット区間の開始点の画像を示す画像番号である。ｎ１は、カット区間の終了点の画像を示す画像番号である。
【０１２４】
次に、区間特徴量生成部３５０は、上述の式７により算出した平均を用いて、算出対象の区間におけるカメラの水平方向の動きの分散Ｇ２Ｈ[Ｎｃｕｔ]を算出する。この分散Ｇ２Ｈ[Ｎｃｕｔ]の算出は、例えば、次の式８を用いて算出される。
【数８】
2011228918.tif 000010
このように、区間特徴量生成部３５０は、区間の水平方向動き特徴量として、分散Ｇ２Ｈ[Ｎｃｕｔ]を算出することにより、カット区間におけるカメラの水平方向の動きを定量化する。なお、この分散Ｇ２Ｈ[Ｎｃｕｔ]は、左右へのカメラの動きが多いオンプレー区間においては大きな値となり、左右へのカメラの動きが少ないオフプレー区間においては小さな値となる。
【０１２５】
図１０（ｃ）には、区間Ｓ１および区間Ｓ２におけるカメラの垂直方向の動きの分散を模式的に示すグラフ（垂直方向動き特徴量（区間））が示されている。このグラフには、縦軸を区間におけるカメラの上下の動きの分散の大きさを示す軸として、区間Ｓ１における画像ごとの垂直方向動き特徴量から算出した区間Ｓ１の特徴量（垂直方向動き特徴量（区間Ｓ１）Ｂ３）が示されている。また、このグラフには、垂直方向動き特徴量（区間Ｓ１）Ｂ３の比較対象として、区間Ｓ２における画像ごとの垂直方向動き特徴量から算出した区間Ｓ２の垂直方向動き特徴量（垂直方向動き特徴量（区間Ｓ２）Ｂ４）が示されている。
【０１２６】
ここで、区間特徴量生成部３５０による区間ごとの垂直方向動き特徴量の算出の一例について説明する。区間特徴量生成部３５０は、図１０（ｂ）において示した区間ごとの垂直方向動き特徴量の算出と同様にして、算出対象の区間におけるカメラの垂直方向の動きの分散Ｇ２Ｖ[Ｎｃｕｔ]を算出する。すなわち、区間特徴量生成部３５０は、まず、次の式９を用いて、算出対象の区間におけるカメラの垂直方向の動きの平均「／ＧＶ[Ｎｃｕｔ]」を算出する。そして、区間特徴量生成部３５０は、次の式１０を用いて、算出対象の区間におけるカメラの垂直方向の動きの分散Ｇ２Ｖ[Ｎｃｕｔ]を算出する。
【数９】
2011228918.tif 000011
このように、区間特徴量生成部３５０は、区間の垂直方向動き特徴量として、分散Ｇ２Ｖ[Ｎｃｕｔ]を算出することにより、カット区間におけるカメラの垂直方向の動きを定量化する。なお、この分散Ｇ２Ｖ[Ｎｃｕｔ]は、上下へのカメラの動きが少ないオンプレー区間においては小さな値となる。一方、オフプレー区間においては、上下へのカメラの動きがオンプレー区間よりも比較的に多いため、大きな値となる。
【０１２７】
図１０（ｄ）には、区間Ｓ１および区間Ｓ２における画像の明暗に関する特徴量の平均を模式的に示すグラフ（明暗特徴量（区間））が示されている。このグラフには、縦軸を区間における画像の明暗の平均を示す軸として、区間Ｓ１における画像ごとの明暗特徴量から算出した区間Ｓ１の特徴量（明暗特徴量（区間Ｓ１）Ｂ５）が示されている。また、このグラフには、明暗特徴量（区間Ｓ１）Ｂ５の比較対象として、区間Ｓ２における画像ごとの明暗特徴量から算出した区間Ｓ２の特徴量（明暗特徴量（区間Ｓ２）Ｂ６）が示されている。なお、図１０（ｄ）では、説明の便宜上、区間特徴量生成部３５０が算出した区間ごとの明暗特徴量の絶対値をグラフ化している。
【０１２８】
ここで、区間特徴量生成部３５０による区間ごとの明暗特徴量の算出の一例について説明する。区間特徴量生成部３５０は、算出対象の区間の画像ごとの明暗特徴量から、次の式１１を用いて、算出対象の区間における明暗の平均「／Ｐｖ[Ｎｃｕｔ]」を算出する。
【数１０】
2011228918.tif 000012
区間特徴量生成部３５０は、区間の明暗特徴量として、平均「／Ｐｖ[Ｎｃｕｔ]」を算出することにより、カット区間における画像の明暗に関する構図を定量化する。なお、この平均「／Ｐｖ[Ｎｃｕｔ]」は、画像の上部と下部の明暗の差が大きいオンプレー区間においては大きなマイナスの値となり（図１０（ｄ）では絶対値のため、大きくなる）、明暗の差が小さいオフプレー区間においては「０」に近い値となる。
【０１２９】
図１０（ｅ）には、区間Ｓ１および区間Ｓ２における画像の対称性に関する特徴量の平均を模式的に示すグラフ（対称性特徴量（区間））が示されている。このグラフには、縦軸を区間における画像の対称性の平均を示す軸として、区間Ｓ１における画像ごとの対称性特徴量から算出した区間Ｓ１の特徴量（対称性特徴量（区間Ｓ１）Ｂ７）が示されている。また、このグラフには、対称性特徴量（区間Ｓ１）Ｂ７の比較対象として、区間Ｓ２における画像ごとの対称性特徴量から算出した区間Ｓ２の特徴量（対称性特徴量（区間Ｓ２）Ｂ８）が示されている。なお、図１０（ｅ）では、説明の便宜上、区間特徴量生成部３５０が算出した区間ごとの対称性特徴量を逆数にしたものをグラフ化している。
【０１３０】
ここで、区間特徴量生成部３５０による区間ごとの対称性特徴量の算出の一例について説明する。区間特徴量生成部３５０は、算出対象の区間の画像ごとの対称性特徴量から、次の式１２を用いて、算出対象の区間における対称性の平均「／ＰＨ[Ｎｃｕｔ]」を算出する。
【数１１】
2011228918.tif 000013
区間特徴量生成部３５０は、区間の対称性特徴量として、平均「／ＰＨ[Ｎｃｕｔ]」を算出することにより、カット区間における画像の対称性に関する構図を定量化する。なお、この平均「／ＰＨ[Ｎｃｕｔ]」は、画像の左側と右側との間の対称性が高いオンプレー区間においては「０」に近い値となり（図１０（ｅ）では逆数のため、大きくなる）、対称性が小さいオフプレー区間においては大きな値となる。
【０１３１】
［区間特徴量生成部によるカット区間ごとの音声データに基づく特徴量の生成例］
図１１は、本発明の第１の実施の形態における区間特徴量生成部３５０によるカット区間ごとの音声データに基づく特徴量の生成の一例を示す模式図である。
【０１３２】
同図では、一例として、図３において示した動画コンテンツ４００の区間Ｓ１および区間Ｓ２における特徴量を算出することを想定して説明する。
【０１３３】
まず、区間特徴量生成部３５０は、振幅特徴量Ａ［ｎ］と、スペクトル特徴量Ｆ［ｋ；ｎ］とを用いて、歓声の強度Ｓ［ｎ］を算出する。例えば、歓声に特徴的なスペクトルが含まれているスペクトル特徴量と歓声の強度Ｓ［ｎ］とを用いて、解析対象の画像ｎに関する歓声の強度Ｓ［ｔ］を算出する。ここで、ｔは、画像ｎに対応する歓声の強度を示す番号である。
【０１３４】
そして、区間特徴量生成部３５０は、次の式１３を用いて、解析対象のカット区間の歓声の変化量Ｓ［Ｎｃｕｔ］を算出する。
【数１２】
2011228918.tif 000014
ここで、Ｔ１は、解析対象のカット区間における終了点付近の所定の数のフレーム（終了点付近解析フレーム数）を示す。また、ｔ１は、終了点付近解析フレーム数が指し示すフレームの内、時間軸的に最初のフレーム（終了点付近解析フレームの一番最初のフレーム）を示す。また、Ｔ０は、解析対象のカット区間における開始点付近の所定の数のフレーム（開始点付近解析フレーム数）を示す。ｔ０は、開始点付近解析フレーム数が指し示すフレームの内、時間軸的に最初のフレーム（開始点付近解析フレームの一番最初のフレーム）を示す。なお、式１３において示した各変数は、図１１において同様の記号を用いて示されている。
【０１３５】
すなわち、上述の式１３を用いることで、解析対象のカット区間における終了点（カットチェンジ点Ｃ１２）付近の歓声の強度の平均値と、このカット区間における終了点（カットチェンジ点Ｃ１３）付近の歓声の強度の平均値との差分値を算出することができる。このように、区間特徴量生成部３５０は、区間の歓声の特徴量として、歓声の変化量Ｓ［Ｎｃｕｔ］を算出することにより、カット区間における歓声を定量化する。なお、この歓声の変化量Ｓ［Ｎｃｕｔ］は、サーブで開始し、得点で終了する区間（オンプレー区間）においては大きな値となる。一方、得点で開始し、リプレー画像を用いて解説が進行し、次のプレーのサーブで終了するようなオフプレー区間においては、小さな値となる。
【０１３６】
この図１１および図１０において説明したように、区間特徴量生成部３５０は、画像ごとの特徴量から、区間ごとの各特徴量を算出する。そして、区間特徴量生成部３５０は、区間の解析を容易にするために、算出した区間ごとの各特徴量を用いて、区間を定量的に示す１つの値（区間特徴量）を算出する。
【０１３７】
ここで、この区間特徴量生成部３５０による区間特徴量の算出について説明する。区間特徴量生成部３５０は、次の式１４を用いて、区間特徴量Ｒ［Ｎｃｕｔ］を算出する。
【数１３】
2011228918.tif 000015
ここで、Ｌは特徴量の総数であり、ｌはそれぞれの特徴量を示す番号である。ここでは、特徴量数Ｌは、水平方向の動きの分散Ｇ２Ｈ[Ｎｃｕｔ]、垂直方向の動きの分散Ｇ２Ｖ[Ｎｃｕｔ]、明暗の平均「／Ｐｖ[Ｎｃｕｔ]」、対称性の平均「／ＰＨ[Ｎｃｕｔ]」および歓声の変化量Ｓ［Ｎｃｕｔ］の「５」である。また、Ｗｌは、それぞれの特徴量に対して予め定められている加重である。また、Ｈｌは、それぞれの特徴量に対して予め定められている非線形のパラメータである。そして、Ｑｌは、番号ｌが示す特徴量である。なお、加重Ｗｌおよび非線形パラメータＨｌは、スポーツごと定められる値である。
【０１３８】
すなわち、区間特徴量生成部３５０は、上述の式１４を用いて、それぞれの特徴量を閾値関数などにより非線形にパラメータ変換した後にさらに加重加算し、そして、その算出した値を合算することにより、カット区間ごとのオンプレーらしさをスコア化する。
【０１３９】
そして、区間評価部３６０は、区間特徴量生成部３５０が算出した区間特徴量Ｒ［Ｎｃｕｔ］を用いて区間の評価を行う。ここで、この区間評価部３６０による区間の評価について説明する。
【０１４０】
区間評価部３６０は、次の式１５を用いて、解析対象の区間がオンプレー区間であるか否かを評価する。
【数１４】
2011228918.tif 000016
ここで、Ｔｈｓｄは、閾値である。
【０１４１】
このように、区間評価部３６０は、上述の式１５を用いて、区間特徴量Ｒ［Ｎｃｕｔ］が閾値以上であれば、その解析対象の区間をオンプレー区間とする。
【０１４２】
そして、属性情報生成部３７０は、オンプレー区間と解析された区間に関する情報からオンプレー区間属性情報を生成する。例えば、属性情報生成部３７０は、動画コンテンツにおけるオンプレー区間の番号と、開始時間と、終了時間とを含むオンプレー区間属性情報を生成することにより、動画コンテンツにおけるオンプレー区間が識別できる属性情報を生成する。
【０１４３】
このように、区間特徴量生成部３５０により区間特徴量が生成され、その生成された区間特徴量が区間評価部３６０により評価（閾値と比較）されることにより、カット区間がオンプレー区間であるか否かが識別される。すなわち、情報処理部２００により、カット区間がオンプレー区間とオフプレー区間とに分類される。
【０１４４】
なお、ここでは、カット区間におけるすべての画像の各特徴量を用いて区間特徴量を算出したが、これに限定されるものではない。例えば、カット区間の長さは様々であるにも拘わらず、画像特徴量バッファ３４０に保持できる特徴量の数には上限があるため、カット区間の長さによってはすべての画像の各特徴量を保持することができない場合がある。そこで、所定の間隔の画像ごとに各特徴量を算出するようにしてもよい。また、この上限を超える場合において、上限を超えた場合にはカットチェンジが発生していなくとも、カットチェンジが発生したものとして区間特徴量の生成をするようにしてもよい。
【０１４５】
［表示部における表示例］
続いて、情報処理部２００が生成したオンプレー区間属性情報の使用例について、図１２および図１３を参照して説明する。
【０１４６】
図１２は、本発明の第１の実施の形態において出力制御部１５０により再生される動画コンテンツの表示例を示す図である。同図では、動画コンテンツに関連付けられているオンプレー区間属性情報を用いて、動画コンテンツにおけるオンプレー区間を抽出して再生する例を示す。
【０１４７】
同図（ａ）には、オンプレー区間を選択して再生する場合において、表示部１６０に表示される画像（画像４９０）が模式的に示されている。
【０１４８】
画像４９０は、動画コンテンツ記憶部１４１から供給された動画コンテンツと、属性情報記憶部１４２から供給されたオンプレー区間属性情報とに基づいて生成された画像である。この画像４９０は、動画コンテンツにおけるオンプレー区間のみを再生するための再生指示操作が行われた場合に表示部１６０に表示される画像の一例である。すなわち、その再生指示操作が行われると、出力制御部１５０は、その再生指示操作に係る動画コンテンツを動画コンテンツ記憶部１４１から取得し、この動画コンテンツに関連付けられているオンプレー区間属性情報を属性情報記憶部１４２から取得する。
【０１４９】
そして、出力制御部１５０は、取得したオンプレー区間属性情報に基づいて、取得した動画コンテンツの中からオンプレー区間を抽出する。また、出力制御部１５０は、取得したオンプレー区間属性情報に基づいて、オンプレー区間を連続再生するための表示ウィンドウ（画像領域５９０）を作成する。なお、この画像領域５９０の詳細については、同図（ｂ）に示す。
【０１５０】
同図（ｂ）には、同図（ａ）の画像領域５９０を拡大して示す。この画像領域５９０には、動画コンテンツにおけるオンプレー区間の数および位置を視覚的に表す位置バー（バーＯ１乃至Ｏ８）と、現在の再生位置（表示している画像の動画コンテンツにおける位置）を示す現在位置（現在位置５９１）とが示されている。さらに、画像領域５９０には、オンプレー区間を選択するためのメニューアイコン（メニューアイコン５９３）と、現在再生しているオンプレー区間の番号およびオンプレー区間の総数を表す領域（個数表示領域５９４）が示されている。また、画像領域５９０には、現在再生している画像の時間を表す領域（時間表示領域５９５）が示されている。
【０１５１】
この画像領域５９０を視認することにより、ユーザは、視聴目的とするオンプレー区間を容易に選択することができる。また、出力制御部１５０においてオンプレー区間属性情報を参照することにより、例えば、オンプレー区間のみの連続再生（すなわち、プレー中の画像のみの要約動画の再生）を自動的に行うことができる。
【０１５２】
このように、オンプレー区間属性情報を用いることにより、動画コンテンツにおけるオンプレー区間のみの再生をすることができるようになる。
【０１５３】
図１３には、本発明の第１の実施の形態においてオンプレー区間属性情報を応用した動画コンテンツの選択における画像の一例を示す模式図である。
【０１５４】
同図には、複数の動画コンテンツの中から所望の動画コンテンツを選択するための動画コンテンツ選択画面の一例（動画コンテンツ選択画像４８０）が模式的に示されている。
【０１５５】
動画コンテンツ選択画像４８０は、図１２の画像４９０と同様に、動画コンテンツ記憶部１４１から供給された動画コンテンツと、属性情報記憶部１４２から供給されたオンプレー区間属性情報とに基づいて生成された画像である。すなわち、コンテンツ一覧表示指示操作が行われると、出力制御部１５０は、全ての動画コンテンツを動画コンテンツ記憶部１４１から取得し、この動画コンテンツに関連付けられている各オンプレー区間属性情報を属性情報記憶部１４２から取得する。
【０１５６】
そして、出力制御部１５０は、取得したオンプレー区間属性情報に基づいて、各動画コンテンツにおけるオンプレー区間情報（代表画像４８１乃至４８３の下部分）４８５乃至４８７を生成する。そして、出力制御部１５０は、取得した各動画コンテンツの代表画像（例えば、先頭フレーム）４８１乃至４８３と、生成したオンプレー区間情報４８５乃至４８７とを関連付けて表示させる。
【０１５７】
動画コンテンツ選択画像４８０が表示されている場合において、ユーザは、代表画像４８１乃至４８３と関連付けられて表示されているオンプレー区間情報４８５乃至４８７に基づいて、視聴する１つの動画コンテンツを選択する。
【０１５８】
このように、動画コンテンツの一覧とともに、オンプレー区間情報を表示させることにより、ユーザはその試合内容の概略を容易に把握することができる。これにより、視聴する動画コンテンツを選択する際に、ユーザ好みの動画コンテンツを容易に選択することができる。
【０１５９】
［情報処理装置の動作例］
次に、本発明の第１の実施の形態における情報処理装置１００の動作について図面を参照して説明する。
【０１６０】
図１４は、本発明の第１の実施の形態における情報処理装置１００による属性情報生成処理手順例を示すフローチャートである。この図１４では、情報処理装置１００に動画コンテンツが入力してから、オンプレー区間の情報を含む表示画像を生成して表示するまでの処理手順例を示す。
【０１６１】
まず、動画コンテンツが入力部１１０に入力される（ステップＳ９０１）。続いて、動画コンテンツを構成する画像データがフレーム単位で情報処理部２００の画像データバッファ２２０により順次取得され、画像データ処理が情報処理部２００により行われる（ステップＳ９１０）。なお、この画像データ処理（ステップＳ９１０）については、図１５を参照して説明する。
【０１６２】
そして、動画コンテンツを構成する音声データがフレームに対応する時間ごとに情報処理部２００の音声データバッファ３１０により順次取得され、音声データ処理が情報処理部２００により行われる（ステップＳ９２０）。なお、この音声データ処理（ステップＳ９２０）については、図１６を参照して説明する。
【０１６３】
次に、画像データ処理および音声データ処理の処理結果に基づいて、カットチェンジ点が検出されたか否かが、区間特徴量生成部３５０により判断される（ステップＳ９０２）。そして、カットチェンジ点が検出されていないと判断された場合には（ステップＳ９０２）、ステップＳ９１０に戻る。
【０１６４】
一方、カットチェンジ点が検出されたと判断された場合には（ステップＳ９０２）、カットチェンジ点で挟まれた区間を解析する区間解析処理が、区間特徴量生成部３５０および区間評価部３６０により行われる（ステップＳ９３０）。なお、この区間解析処理（ステップＳ９３０）については、図１７を参照して説明する。
【０１６５】
続いて、動画コンテンツのすべての区間の解析が終了したか否かが、区間特徴量生成部３５０により判断される（ステップＳ９０３）。そして、動画コンテンツのすべての区間の解析が終了していないと判断された場合には（ステップＳ９０３）、ステップＳ９１０に戻る。
【０１６６】
一方、動画コンテンツのすべての区間の解析が終了したと判断された場合には（ステップＳ９０３）、オンプレー区間属性情報（属性情報）が属性情報生成部３７０により生成される（ステップＳ９０４）。そして、動画コンテンツを再生する際に、オンプレー区間属性情報に基づいて、オンプレー区間の情報が、出力制御部１５０により表示部１６０に表示され（ステップＳ９０５）、属性情報生成処理手順は終了する。
【０１６７】
図１５は、本発明の第１の実施の形態における画像データ処理（ステップＳ９１０）の処理手順例を示すフローチャートである。
【０１６８】
まず、動画コンテンツの画像データにおける１つの画像（フレーム）が画像データバッファ２２０に入力される（ステップＳ９１１）。続いて、画像データバッファ２２０から出力された画像を用いて、その画像におけるカットチェンジ点の有無がカットチェンジ解析部２３０により解析される（ステップＳ９１２）。なお、ステップＳ９１２は、特許請求の範囲に記載のチェンジ点検出手順の一例である。
【０１６９】
また、その出力された画像を用いて、その画像を撮像したカメラの水平方向の動きが、水平方向動き解析部２５０により解析される（ステップＳ９１３）。さらに、その出力された画像を用いて、その画像を撮像したカメラの垂直方向の動きが、垂直方向動き解析部２６０により解析される（ステップＳ９１４）。さらに、その出力された画像を用いて、その画像における明暗に関する構図が、明暗解析部２８０により解析される（ステップＳ９１５）。また、その出力された画像を用いて、その画像における対称性に関する構図が、対称性解析部２９０により解析される（ステップＳ９１６）。なお、ステップＳ９１３およびステップＳ９１４は、特許請求の範囲に記載の遷移検出手順の一例である。また、ステップＳ９１５およびステップＳ９１６は、特許請求の範囲に記載の構図類似度情報生成手順の一例である。
【０１７０】
そして、各解析の結果（各特徴量）が、画像特徴量バッファ３４０により保持される（ステップＳ９１７）。
【０１７１】
図１６は、本発明の第１の実施の形態における音声データ処理（ステップＳ９２０）の処理手順例を示すフローチャートである。
【０１７２】
まず、動画コンテンツの音声データにおける１サンプル（１フレーム周期分の音声データ）が音声データバッファ３１０に入力される（ステップＳ９２１）。続いて、音声データバッファ３１０から出力された１サンプルの音声データを用いて、その音声データにおける振幅の特徴量が振幅解析部３２０により解析される（ステップＳ９２２）。また、その１サンプルの音声データを用いて、その音声データにおけるスペクトルの特徴量がスペクトル解析部３３０により解析される（ステップＳ９２３）。なお、ステップＳ９２２およびステップＳ９２３は、特許請求の範囲に記載の音声類似度情報生成手順の一例である。
【０１７３】
そして、各解析の結果（各特徴量）が、画像特徴量バッファ３４０により保持される（ステップＳ９２４）。
【０１７４】
図１７は、本発明の第１の実施の形態における区間解析処理（ステップＳ９３０）の処理手順例を示すフローチャートである。
【０１７５】
まず、ステップＳ９０２（図１４参照）において検出されたと判断されたカットチェンジ点を終了点とするカット区間における画像の各特徴量が、区間特徴量生成部３５０により画像特徴量バッファ３４０から取得される（ステップＳ９３１）。続いて、その取得された各特徴量を用いて、区間特徴量が、区間特徴量生成部３５０により生成される（ステップＳ９３２）。そして、その生成された区間特徴量を所定の閾値と比較することにより、そのカット区間がオンプレー区間であるか否かが、区間評価部３６０により評価される（ステップＳ９３３）。なお、ステップＳ９３２およびステップＳ９３３は、特許請求の範囲に記載の判定手順の一例である。
【０１７６】
このように、本発明の第１の実施の形態によれば、バレーボールの放送におけるオンプレー区間を適切に検出することができる。
【０１７７】
ここで、情報処理部２００が識別しているバレーボールの傾向についてまとめて説明する。情報処理部２００は、バレーボール放送のオンプレー区間における主な特徴として、次の（１）乃至（６）に挙げる点を解析している。
（１）バレーボール放送において、ラリーはサーブによって開始され、得点によって終了する。また、ラリー中は、カットチェンジとして検出される画像の変動がほとんど発生しない。
（２）バレーボール放送において、ラリーが行われているシーンでは、カメラがボールを追って水平方向に動く。またこの動き量もコートの幅の制限があるため、左右それぞれ一定量動く。
（３）バレーボール放送において、ラリーが行われているシーンでは、ボールを追ってカメラが水平方向に動くと同時に、カメラが垂直方向に動くことはほとんどない。
（４）バレーボール放送において、ラリーが行われているシーンでは、画像の下部分にコートが映っており、画像の上部分に観客席が映っている。画像上部と画像下部との間で明るさを比較した場合、画像下部のほうが明るい。
（５）バレーボール放送において、ラリーが行われているシーンでは、コート全体が撮像され、画面の構図的に左右の対称性が高い。
（６）バレーボール放送において、得点によりラリーが終了する際の歓声は、サーブによりラリーが開始される際の歓声よりも大きい。
【０１７８】
上述の（１）の特徴は、図３において説明したように、カットチェンジ解析部２３０により解析される。また、（２）の特徴は、図４において説明したように、水平方向動き解析部２５０により解析され、（３）の特徴は、図５において説明したように、垂直方向動き解析部２６０により解析される。さらに、（４）の特徴は、図７において説明したように、明暗解析部２８０により解析され、（５）の特徴は、図８において説明したように、対称性解析部２９０により解析される。そして、（６）の特徴は、図９および図１１において説明したように、振幅解析部３２０およびスペクトル解析部３３０により解析される。すなわち、情報処理部２００は、上述の（１）乃至（６）を解析することにより、バレーボール放送におけるオンプレー区間を検出している。
【０１７９】
なお、ここまでは、情報処理装置１００が処理する動画コンテンツとしてバレーボール放送を一例にして説明をしたが、これに限定されるものではない。情報処理装置１００は、プレーがサーブで始まり、ラリーを得て得点で終了する他のスポーツ（例えば、テニスや卓球等）にも適用することができる。なお、上述の（１）乃至（６）において示した特徴は、他のスポーツでは若干異なる（例えば、テニスのオンプレー区間では、垂直方向に一定量動く）。このため、区間特徴量生成部３５０において用いる各加重、非線形パラメータおよび閾値などをそれぞれのスポーツに合わせて変更することにより、バレーボールの放送と同様にオンプレー区間を検出することができる。
【０１８０】
＜２．第２の実施の形態＞
本発明の第１の実施の形態においては、オンプレー区間を識別することのできる情報処理装置１００について説明した。この情報処理装置１００では、オンプレー区間の番号と、開始時間と、終了時間とをオンプレー区間属性情報に保持させることにより、動画コンテンツにおけるオンプレー区間を識別することができる。この場合において、情報処理装置１００は、それぞれの区間を解析するために、複数の特徴量を算出する。そこで、この算出した複数の特徴量を用いることにより、オンプレー区間同士を比較することができる値を生成することもできる。そこで、本発明の第２の実施の形態では、オンプレー区間同士を比較することができる値をオンプレー区間属性情報に保持させる例について、図１８乃至図１９を参照して説明する。
【０１８１】
［情報処理装置の機能構成例］
図１８は、本発明の第２の実施の形態における情報処理部７００の機能構成例を示すブロック図である。この情報処理部７００は、図２において示した情報処理部２００の属性情報生成部３７０に代えて、属性情報生成部７２０を備える。さらに、情報処理部７００は、属性情報生成部７２０以外の情報処理部２００の各構成に加えて、重要度算出部７１０を備える。この図１８では、重要度算出部７１０に着目して説明する。
【０１８２】
重要度算出部７１０には、区間特徴量生成部３５０と同様に、カット区間における画像の各特徴量が、画像特徴量バッファ３４０から供給される。また、この重要度算出部７１０には、区間評価部３６０においてオンプレー区間が検出された場合には、そのオンプレー区間に関する情報が供給される。
【０１８３】
重要度算出部７１０は、区間評価部３６０によりオンプレー区間と評価された区間に関する重要度を算出するものである。ここで、重要度とは、オンプレー区間同士で比較をするための値である。すなわち、重要度を用いることにより、オンプレー区間における優先順序を決定することができる。この重要度は、例えば、オンプレー区間におけるラリーの長さ、セットの開始から終了点までの時間、試合の開始から終了点までの時間、サービスエース、歓声の大きさおよび長さ、笛音などを定量化することにより算出される。この重要度算出部７１０は、区間評価部３６０によりオンプレー区間と評価されたカット区間の重要度を、この区間の画像データおよび音声データの各特徴量から算出する。重要度算出部７１０は、算出した重要度を、属性情報生成部７２０に供給する。なお、この重要度の算出の一例については、図１９を参照して説明する。なお、重要度算出部７１０は、特許請求の範囲に記載の優先順序付与部の一例である。
【０１８４】
属性情報生成部７２０は、図２において示した属性情報生成部３７０と同様に、オンプレー区間属性情報を生成するものである。この属性情報生成部７２０は、オンプレー区間の番号と、そのオンプレー区間の開始時間と、そのオンプレー区間の終了時間と、そのオンプレー区間の重要度とを含むオンプレー区間属性情報を生成する。
【０１８５】
［重要度の算出例］
図１９は、本発明の第２の実施の形態における重要度算出部７１０による歓声の大きさおよび長さに基づく重要度の生成例を示す模式図である。
【０１８６】
同図には、横軸を動画コンテンツにおける時間を示す軸とし、縦軸を歓声の大きさを示す軸として、オンプレー区間（区間Ｓ２１）における歓声の大きさの変化を示す歓声特性５６１が示されている。また、この歓声特性５６１には、重要度を算出する際の歓声の大きさの閾値（閾値Ｌ３１）と、この歓声特性５６１において重要度の算出に用いられる歓声の最大値（歓声最大値Ｄ１）と、重要度の算出に用いられる歓声の長さ（歓声時間Ｔ３１）とが示されている。
【０１８７】
ここで、歓声の大きさと長さに基づく重要度算出の一例について説明する。重要度算出部７１０は、次の式１６を用いて、歓声の大きさと長さから重要度を算出する。
【数１５】
2011228918.tif 000017
ここで、Ｗ０は、歓声の大きさに関する所定値の加重である。また、Ａｍａｘは、解析対象のオンプレー区間における歓声の最大値（歓声最大値）である。すなわち、歓声最大値Ａｍａｘは、図１８において歓声最大値Ｄ１として示されている。また、Ｗ１は、歓声の長さに関する所定値の加重である。そして、Ａｌｅｎは、解析対象のオンプレー区間における歓声の長さ（歓声時間）である。すなわち、歓声時間Ａｌｅｎは、同図において歓声時間Ｔ３１として示されている。
【０１８８】
このように、重要度算出部７１０によって、重要度が算出される。なお、重要度をオンプレー区間属性情報に付加することにより、例えば、この重要度の高い順序でオンプレー区間を再生することができる。
【０１８９】
このように、本発明の第２の実施の形態によれば、オンプレー区間ごとの重要度をオンプレー区間属性情報に付加することができる。
【０１９０】
このように、本発明の実施の形態では、スポーツの放送番組からプレー中の期間であるオンプレー区間を適切に検出することができる。すなわち、本発明の実施の形態によれば、特定のシーン（特定のスポーツにおけるプレー中の区間（オンプレー区間））を適切に検出することができる。
【０１９１】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１９２】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０１９３】
１００  情報処理装置
１１０  入力部
１２０  操作受付部
１３０  記録制御部
１４０  記憶部
１４２  属性情報記憶部
１５０  出力制御部
１６０  表示部
１７０  音声出力部
２００  情報処理部
２１０  信号分離部
２２０  画像データバッファ
２３０  カットチェンジ解析部
２３５  カットチェンジバッファ
２４０  動き解析部
２５０  水平方向動き解析部
２５５  水平方向動きバッファ
２６０  垂直方向動き解析部
２６５  垂直方向動きバッファ
２７０  構図解析部
２８０  明暗解析部
２８５  明暗バッファ
２９０  対称性解析部
２９５  対称性バッファ
３１０  音声データバッファ
３２０  振幅解析部
３２５  振幅バッファ
３３０  スペクトル解析部
３３５  スペクトルバッファ
３４０  画像特徴量バッファ
３５０  区間特徴量生成部
３６０  区間評価部
３７０  属性情報生成部
【図１】
2011228918.tif 000018
【図２】
2011228918.tif 000019
【図６】
2011228918.tif 000020
【図９】
2011228918.tif 000021
【図１０】
2011228918.tif 000022
【図１１】
2011228918.tif 000023
【図１４】
2011228918.tif 000024
【図１５】
2011228918.tif 000025
【図１６】
2011228918.tif 000026
【図１７】
2011228918.tif 000027
【図１８】
2011228918.tif 000028
【図１９】
2011228918.tif 000029
【図３】
2011228918.tif 000030
【図４】
2011228918.tif 000031
【図５】
2011228918.tif 000032
【図７】
2011228918.tif 000033
【図８】
2011228918.tif 000034
【図１２】
2011228918.tif 000035
【図１３】
2011228918.tif 000036