(57)【要約】【課題】例えば攻守が切り替わる時期を予測することが困難な種類のスポーツのシーンにおいて、例えばハイライトシーンの開始位置を的確に特定する。【解決手段】ハイライトシーン決定装置３０では、映像データ取得部４１がスポーツのシーンの映像データを取得し、動きベクトル算出部５１が映像データから動きベクトルを算出し、移動方向変化判定部５３が動きベクトルの向きの変化に基づいて画面の移動方向が変化したか判定し、移動量変化判定部５５が動きベクトルの大きさの変化に基づいて画面の移動量が大きく変化したか判定し、開始点候補決定部５６がこれらの変化が生じた時点をハイライトシーンの開始点の複数の候補の時点に決定し、イベント検出部４２がシーンにおけるイベントの発生を検出し、開始点決定部４３が複数の候補の時点のうちイベントの発生に最も近い時点をハイライトシーンの開始点に決定する。【選択図】図３
2016100614.tif 000002
【特許請求の範囲】
【請求項１】
時間の経過に伴って変化するシーンを表す映像データを取得する映像データ取得手段と、
前記映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する動きベクトル取得手段と、
前記映像データにおいて前記動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する方向変化検出手段と、
前記映像データにおいて前記シーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するイベント発生検出手段と、
前記映像データの前記方向変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該方向変化位置を、前記シーンにおける前記イベントまでの特定シーンを表す前記映像データの特定部分の開始位置に決定する決定手段と
を備えたことを特徴とする映像処理装置。
【請求項２】
前記映像データにおいて前記動きベクトルのサイズが予め定められた閾値以上に大きく変化する時間上の位置であるサイズ変化位置を検出するサイズ変化検出手段を更に備え、
前記決定手段は、前記映像データの前記サイズ変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該サイズ変化位置を、前記特定部分の開始位置に決定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記決定手段は、前記映像データの前記方向変化位置及び前記サイズ変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該方向変化位置及び当該サイズ変化位置のうちの当該イベント発生位置に近い方を、前記特定部分の開始位置に決定することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記映像データ取得手段は、攻守が切り替わる時期を予測困難な種類のスポーツの試合を、前記シーンとして用い、
前記イベント発生検出手段は、前記試合における得点の獲得を、前記イベントとして用い、
前記決定手段は、前記得点の獲得までの一連の流れであるハイライトシーンを、前記特定シーンとして用いることを特徴とする請求項１乃至請求項３の何れかに記載の映像処理装置。
【請求項５】
前記映像データ取得手段により取得された映像データから、特定色を予め定められた閾値を超えて含む映像データを、前記方向変化検出手段により前記方向変化位置が検出される映像データとして抽出する抽出手段を更に備えたことを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記映像データ取得手段は、攻守が切り替わる時期を予測困難な種類のスポーツの試合を、前記シーンとして用い、
前記抽出手段は、前記試合が行われるエリアの色を、前記特定色として用いることを特徴とする請求項５に記載の映像処理装置。
【請求項７】
時間の経過に伴って変化するシーンを表す映像データを記録し、当該映像データを再生する記録再生装置と、
前記映像データを再生する際の開始位置を決定する開始位置決定装置と
を備え、
前記開始位置決定装置は、
前記映像データを取得する映像データ取得手段と、
前記映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する動きベクトル取得手段と、
前記映像データにおいて前記動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する方向変化検出手段と、
前記映像データにおいて前記シーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するイベント発生検出手段と、
前記映像データの前記方向変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該方向変化位置を、前記開始位置に決定する決定手段と
を備えたことを特徴とする映像処理システム。
【請求項８】
時間の経過に伴って変化するシーンを表す映像データを取得するステップと、
前記映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得するステップと、
前記映像データにおいて前記動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出するステップと、
前記映像データにおいて前記シーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するステップと、
前記映像データの前記方向変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該方向変化位置を、前記シーンにおける前記イベントまでの特定シーンを表す前記映像データの特定部分の開始位置に決定するステップと
を含むことを特徴とする映像処理方法。
【請求項９】
コンピュータに、
時間の経過に伴って変化するシーンを表す映像データを取得する機能と、
前記映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する機能と、
前記映像データにおいて前記動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する機能と、
前記映像データにおいて前記シーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出する機能と、
前記映像データの前記方向変化位置よりも時間的に後の部分において前記イベント発生位置が検出された場合に、当該方向変化位置を、前記シーンにおける前記イベントまでの特定シーンを表す前記映像データの特定部分の開始位置に決定する機能と
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間の経過に伴って変化するシーンを表す映像を処理する映像処理装置、映像処理システム、映像処理方法及びプログラムに関する。
【背景技術】
【０００２】
例えばスポーツの試合のシーンを表す映像からハイライトシーンを表す映像を抽出したいという要望がある。かかるハイライトシーンを表す映像を抽出する技術としては、従来から種々の技術が知られている（例えば、特許文献１〜５参照）。
【０００３】
特許文献１には、映像を読み込み、映像の各フレーム画像の中から注目領域を抽出し、注目領域内或いは注目領域と隣接した領域内において、対象特徴を抽出し、画像内のカラー特徴と注目領域の対象特徴と動き情報とを用いるフレーム間の画像特徴の違いを利用して、ショットカットを検出する映像解析装置による解析結果に基づいて、自動的にハイライトを抽出するハイライト自動抽出システムが記載されている。
【０００４】
特許文献２には、ショットの動画像データから動き情報を解析し、付随するオーディオデータからオーディオ情報を抽出・解析し、ショットの色情報を抽出し、例えばサッカーの場合には、これらの情報を用いて、重要度の高い順に、ゴール・シュートシーン、フリーキック・オフサイドシーン、コーナーキックシーン、プレーシーン、およびクローズアップシーン等の映像分類処理を行うスポーツ映像の分類装置が記載されている。
【０００５】
特許文献３には、ハイライト検出手段が、スポーツ番組の画面中央付近の得点表示により得点シーンを検出、またはスポーツ番組などの音声信号の特定周波数領域のレベルにより観客の歓声を検出、またはレース番組などの物体・背景の動きベクトル量によりレース中のトラブル発生シーンを検出し、これらの検出位置を基準にｔ１時間前からｔ２時間後の区間を再生、またそれ以外の区間を早送りする記録再生装置が記載されている。
【０００６】
特許文献４には、サッカーの試合を複数の時間帯に分割し、それぞれの時間帯において各チームが「攻勢」であるか、「劣勢」であるか、「攻めあぐね」ているかを判定して試合の流れ情報を生成し、試合の流れ情報および重要度を用いて映像シーンの抽出を行うダイジェスト作成装置が記載されている。
【０００７】
特許文献５には、カットごとに、カットにおけるカメラの動きを示すカメラワークを記憶しており、連続する複数のカットの、一連のカメラワークのパターンが、所定のカメラワークのパターンと一致するか否かを判断し、一致すると判断されるときに、パターンに応じて定まる所定の時点を、映像区間の境界として決定する映像区間決定装置が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−３１２２１５号公報
【特許文献２】特開２００５−２５２８６０号公報
【特許文献３】特開２００７−４９７３号公報
【特許文献４】特開２００２−２７１７３３号公報
【特許文献５】特開２００８−５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、ハイライトシーンを表す映像を抽出する技術は従来から存在した。但し、何れの技術においても、ハイライトシーンの候補があることは分かるが、ハイライトシーンの開始位置を的確に特定することはできない。
【００１０】
特許文献１、２の技術は、ハイライトシーンを表す映像を抽出することについては言及しているものの、ハイライトシーンの映像区間をどのように決定するかについては言及していない。
【００１１】
特許文献３〜５の技術は、ハイライトシーンの映像区間をどのように決定するかについても言及している。しかしながら、特許文献３、４の技術は、ハイライトシーンの映像区間を単に時間で決定しているに過ぎない。また、特許文献５の技術は、カメラワークのパターンによってハイライトシーンの映像区間を決定している。これは野球を対象にした技術であり、例えばカメラワークが放物線ならばホームランである等の判定を行うものである。ところが、サッカー等では、野球のように決まったカメラワークのパターンに当てはまらず、攻守が切り替わる時期を予測することが困難なので、予めパターンを設定しておくことも難しい。
【００１２】
本発明の目的は、例えば攻守が切り替わる時期を予測することが困難な種類のスポーツのシーンにおいて、例えばハイライトシーンの開始位置を的確に特定することにある。
【課題を解決するための手段】
【００１３】
かかる目的のもと、本発明は、時間の経過に伴って変化するシーンを表す映像データを取得する映像データ取得手段と、映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する動きベクトル取得手段と、映像データにおいて動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する方向変化検出手段と、映像データにおいてシーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するイベント発生検出手段と、映像データの方向変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、方向変化位置を、シーンにおけるイベントまでの特定シーンを表す映像データの特定部分の開始位置に決定する決定手段とを備えた映像処理装置を提供する。
【００１４】
ここで、この映像処理装置は、映像データにおいて動きベクトルのサイズが予め定められた閾値以上に大きく変化する時間上の位置であるサイズ変化位置を検出するサイズ変化検出手段を更に備え、決定手段は、映像データのサイズ変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、サイズ変化位置を、特定部分の開始位置に決定する、ものであってよい。その場合、決定手段は、映像データの方向変化位置及びサイズ変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、方向変化位置及びサイズ変化位置のうちのイベント発生位置に近い方を、特定部分の開始位置に決定する、ものであってよい。そして、映像データ取得手段は、攻守が切り替わる時期を予測困難な種類のスポーツの試合を、シーンとして用い、イベント発生検出手段は、試合における得点の獲得を、イベントとして用い、決定手段は、得点の獲得までの一連の流れであるハイライトシーンを、特定シーンとして用いる、ものであってよい。
【００１５】
また、この映像処理装置は、映像データ取得手段により取得された映像データから、特定色を予め定められた閾値を超えて含む映像データを、方向変化検出手段により方向変化位置が検出される映像データとして抽出する抽出手段を更に備えたものであってよい。その場合、映像データ取得手段は、攻守が切り替わる時期を予測困難な種類のスポーツの試合を、シーンとして用い、抽出手段は、試合が行われるエリアの色を、特定色として用いる、ものであってよい。
【００１６】
更に、本発明は、時間の経過に伴って変化するシーンを表す映像データを記録し、映像データを再生する記録再生装置と、映像データを再生する際の開始位置を決定する開始位置決定装置とを備え、開始位置決定装置は、映像データを取得する映像データ取得手段と、映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する動きベクトル取得手段と、映像データにおいて動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する方向変化検出手段と、映像データにおいてシーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するイベント発生検出手段と、映像データの方向変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、方向変化位置を、開始位置に決定する決定手段とを備えた映像処理システムも提供する。
【００１７】
また、本発明は、時間の経過に伴って変化するシーンを表す映像データを取得するステップと、映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得するステップと、映像データにおいて動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出するステップと、映像データにおいてシーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出するステップと、映像データの方向変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、方向変化位置を、シーンにおけるイベントまでの特定シーンを表す映像データの特定部分の開始位置に決定するステップとを含む映像処理方法も提供する。
【００１８】
更に、本発明は、コンピュータに、時間の経過に伴って変化するシーンを表す映像データを取得する機能と、映像データから時間上の位置が異なる映像間の動きを示す動きベクトルを取得する機能と、映像データにおいて動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置を検出する機能と、映像データにおいてシーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置を検出する機能と、映像データの方向変化位置よりも時間的に後の部分においてイベント発生位置が検出された場合に、方向変化位置を、シーンにおけるイベントまでの特定シーンを表す映像データの特定部分の開始位置に決定する機能とを実現させるためのプログラムも提供する。
【発明の効果】
【００１９】
本発明によれば、例えば攻守が切り替わる時期を予測することが困難な種類のスポーツのシーンにおいて、例えばハイライトシーンの開始位置を的確に特定することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態におけるハイライトシーン再生システムの機能構成例を示したブロック図である。
【図２】本発明の実施の形態におけるハイライトシーン決定装置の動作の概要について示した図である。
【図３】本発明の実施の形態におけるハイライトシーン決定装置の機能構成例を示したブロック図である。
【図４】本発明の実施の形態におけるハイライトシーン決定装置の動作例を示したフローチャートである。
【図５】１フレームの映像データを構成するブロックの一例を示した図である。
【図６】フィールドショット抽出処理の流れを示したフローチャートである。
【図７】移動方向変化判定処理の流れを示したフローチャートである。
【図８】移動量変化判定処理の流れを示したフローチャートである。
【図９】本発明の実施の形態におけるハイライトシーン決定装置のハードウェア構成例を示した図である。
【発明を実施するための形態】
【００２１】
［本実施の形態におけるハイライトシーン再生システムの機能構成］
図１は、本実施の形態におけるハイライトシーン再生システムの機能構成例を示したブロック図である。図示するように、このハイライトシーン再生システムは、映像表示装置１０と、録画再生装置２０と、ハイライトシーン決定装置３０とを含む。
【００２２】
映像表示装置１０は、例えばテレビジョン受像機であり、テレビ局からの放送波を受信し、放送波から取り出した映像を表示する装置である。この映像表示装置１０は、放送受信部１１と、デマックス部１２と、デコーダ１３と、表示部１４と、音声出力部１５とを含む。
【００２３】
録画再生装置２０は、例えばハードディスクレコーダであり、映像表示装置１０が取り出した映像を録画し、この録画した映像を再生する装置である。この録画再生装置２０は、録画部２１と、録画蓄積部２２と、再生部２３とを含む。
【００２４】
ハイライトシーン決定装置３０は、映像表示装置１０が取り出した映像におけるハイライトシーンを決定し、録画再生装置２０で映像を再生する際に用いる情報として提供する。
【００２５】
まず、映像表示装置１０の構成要素について説明する。
【００２６】
放送受信部１１は、テレビ局から送信された放送波を受信し、この放送波から取り出した映像及び音声の圧縮データをデマックス部１２及び録画部２１に出力する。ここで、圧縮データは、例えばＨ．２６４やＭＰＥＧ−２により圧縮したデータであるものとする。
【００２７】
デマックス部１２は、放送受信部１１及び再生部２３から取得した圧縮データを、映像の圧縮データ及び音声の圧縮データに分割し、デコーダ１３に出力する。
【００２８】
デコーダ１３は、デマックス部１２から取得した映像の圧縮データ及び音声の圧縮データをデコードし、映像データを表示部１４に出力すると共に音声データを音声出力部１５に出力する。また、映像データは、ハイライトシーン決定装置３０にも出力する。これは、本実施の形態では、ハイライトシーン決定装置３０が映像データのみに基づいてハイライトシーンを決定するからであるが、音声データに基づいてハイライトシーンを決定することがあれば、音声データもハイライトシーン決定装置３０に出力してよい。
【００２９】
表示部１４は、デコーダ１３から取得した映像データに基づいて、映像をディスプレイに表示する。
【００３０】
音声出力部１５は、デコーダ１３から取得した音声データに基づいて、音声をスピーカから出力する。
【００３１】
次に、録画再生装置２０の構成要素について説明する。
【００３２】
録画部２１は、放送受信部１１から取得した映像及び音声の圧縮データを録画蓄積部２２に出力する。
【００３３】
録画蓄積部２２は、録画部２１から取得した圧縮データを蓄積する。また、再生部２３により指定された圧縮データの部分を再生部２３に出力する。
【００３４】
再生部２３は、ハイライトシーン決定装置３０が決定したハイライトシーンの開始点及び終了点を録画蓄積部２２に対して指定する。また、録画蓄積部２２から取得した圧縮データのハイライトシーンに対応する部分をデマックス部１２に出力する。
【００３５】
尚、本実施の形態では、デコーダ１３がデコード後の映像データをハイライトシーン決定装置３０に出力するものとして説明するが、この限りではない。デマックス部１２がデコード前の映像データをハイライトシーン決定装置３０に出力するものとしてもよい。
【００３６】
また、本実施の形態では、ハイライトシーン決定装置３０が、映像表示装置１０で放送波から直接取り出された映像データに基づいてハイライトシーンの開始点を決定するものとして説明するが、この限りではない。録画再生装置２０で録画されたデータから取り出された映像データに基づいてハイライトシーンの開始点を決定するものとしてもよい。
【００３７】
［本実施の形態におけるハイライトシーン決定装置の動作概要］
図１に示したハイライトシーン決定装置３０は、これまで、例えばサッカーの試合の映像では、ゴールが決まったことを示すテロップを検出し、そこから予め定めた時間だけ前に遡った時点をハイライトシーンの開始点とする、というのが一般的だった。ところが、これでは、どのようなシュートだったかは分かるものの、シュートに至るまでの一連の流れが分からないことが多かった。
【００３８】
そこで、本実施の形態では、テロップ、音声等から何らかのイベントの映像は検出できるがそのイベントまでのハイライトシーンの開始点が特定できていない場合に、画面の移動方向が切り替わる時点をハイライトシーンの開始点とすることとした。このようにすれば、例えばサッカーでボールを奪ってからのカウンタ攻撃が決まったことが一連の流れとして分かるようになる。
【００３９】
図２（ａ）〜（ｃ）は、このようなハイライトシーン決定装置３０の動作の概要について示した図である。尚、図中の矢印の方向及び長さは、総合的に判断した画面の移動方向及び移動量を示すものとする。
【００４０】
まず、ある時点で、図２（ａ）に示すように、画面が左へ大きく動き出したとする。すると、ハイライトシーン決定装置３０は、この時点をハイライトシーンの開始点の候補として記憶する。尚、テレビカメラのアングルはスタジアムによって違うため、画面の移動方向は、この図のように水平方向でない場合もある。
【００４１】
次に、別のある時点で、図２（ｂ）に示すように、画面の移動方向が右へ切り替わったとする。すると、ハイライトシーン決定装置３０は、この時点をハイライトシーンの開始点の別の候補として記憶する。
【００４２】
その後、図２（ｃ）に示すように、ゴールが決まったことを示すテロップが表示されたとする。すると、ハイライトシーン決定装置３０は、テロップを検出することにより、イベントの発生を認識する。或いは、テロップに加えて、短いシーンの連続、リプレイ再生等を検出することにより、イベントの発生を認識してもよい。これにより、ハイライトシーン決定装置３０は、これまでに記憶されたハイライトシーンの開始点の候補のうち、イベントが発生した時点から遡って最も近い候補をハイライトシーンの開始点として使用する。
【００４３】
［本実施の形態におけるハイライトシーン決定装置の機能構成］
図３は、本実施の形態におけるハイライトシーン決定装置３０の機能構成例を示したブロック図である。図示するように、本実施の形態におけるハイライトシーン決定装置３０は、映像データ取得部４１と、イベント検出部４２と、開始点決定部４３と、開始点記憶部４４と、フィールドショット抽出部４５と、フィールドショット蓄積部４６とを備える。また、動きベクトル算出部５１と、移動方向記憶部５２と、移動方向変化判定部５３と、移動量記憶部５４と、移動量変化判定部５５と、開始点候補決定部５６と、開始点候補記憶部５７とを含む。
【００４４】
映像データ取得部４１は、映像表示装置１０のデコーダ１３から映像データを取得する。このとき、映像データは１フレームずつ取得する。また、各フレームには時刻が付されているものとする。ここで、時刻は、絶対的な時刻でもよいし、放送又は試合の開始時刻等を基準とした相対的な時刻でもよい。本実施の形態では、映像データを取得する映像データ取得手段の一例として、映像データ取得部４１を設けている。
【００４５】
イベント検出部４２は、映像データ取得部４１が取得した映像データから、ハイライトシーンを抽出するためのトリガーとなるイベントを検出する。このようなイベントとして、例えばサッカーの試合の映像では、常時表示されているスコアの変動、大きなテロップによるスコアの表示、音声の大きさの変化等を検出する。本実施の形態では、シーンにおける予め定められたイベントが発生する時間上の位置であるイベント発生位置の一例として、イベントが発生するフレームに付された時刻を用いている。また、イベント発生位置を検出するイベント発生検出手段の一例として、イベント検出部４２を設けている。
【００４６】
開始点決定部４３は、イベント検出部４２によりイベントが検出されると、ハイライトシーンの開始点の時刻を決定する。後述するように、開始点候補記憶部５７にはハイライトシーンの開始点の複数の候補の時刻が記憶されるので、開始点決定部４３は、これらの候補の時刻のうち、イベントの発生時刻から最も近い時刻を、ハイライトシーンの開始点の時刻に決定する。本実施の形態では、映像データの特定部分の一例として、ハイライトシーンを用いており、特定部分の開始位置の一例として、ハイライトシーンの開始点を用いている。また、開始位置を決定する決定手段の一例として、開始点決定部４３を設けている。
【００４７】
開始点記憶部４４は、開始点決定部４３が決定したハイライトシーンの開始点の時刻を記憶する。図１に示した録画再生装置２０の再生部２３は、ハイライトシーンを再生する際に、この時刻を再生開始時刻として用いる。
【００４８】
フィールドショット抽出部４５は、映像データ取得部４１が取得した映像データから、芝生の色を認識することにより、フィールドを映したフィールドショットを抽出する。例えば、映像データ上に、芝生の色として定義された色に近い色の領域が多く存在する場合に、フィールドショットとすればよい。ここで、芝生の色としては、Ｈ（色相）が８５、Ｓ（彩度）が１２９、Ｖ（明度）が１６６であるような色が例示される。そして、このようにフィールドショットを抽出することにより、選手のアップを映したアップショット、サポータを映したサポータショット等、フィールドに関連しないショットは除外する。本実施の形態では、映像データを抽出する抽出手段の一例として、フィールドショット抽出部４５を設けている。
【００４９】
フィールドショット蓄積部４６は、フィールドショット抽出部４５が抽出したフィールドショットを蓄積する。
【００５０】
動きベクトル算出部５１は、フィールドショット抽出部４５が抽出した今回のフレームのフィールドショットと、フィールドショット蓄積部４６に蓄積された前回のフレームのフィールドショットとの差分である動きベクトルを算出する。或いは、今回のフレームと前回のフレームとが時間的に連続しており、今回のフレームが動きベクトルによって構成されている場合は、その動きベクトルをそのまま取得してもよい。本実施の形態では、動きベクトルを取得する動きベクトル取得手段の一例として、動きベクトル算出部５１を設けている。
【００５１】
移動方向記憶部５２は、移動方向変化判定部５３が過去に判定した画面の移動方向を記憶する。
【００５２】
移動方向変化判定部５３は、動きベクトル算出部５１が算出した動きベクトルの向きを随時監視し、動きベクトルの向きに基づいて画面の移動方向を特定する。そして、ここで特定された画面の移動方向と、移動方向記憶部５２に記憶された画面の移動方向とが異なれば、画面の移動方向が変化したと判定し、その変化が生じた時刻を開始点候補決定部５６に通知する。尚、この移動方向変化判定部５３は、画面の移動方向が変化したかどうかを判定するものとしたが、実質的には、動きベクトルの向きが切り替わったかどうかを判定するものである。即ち、本実施の形態では、動きベクトルの方向が反対の方向へ変化する時間上の位置である方向変化位置の一例として、動きベクトルの向きが切り替わった時刻を用いている。また、方向変化位置を検出する方向変化検出手段の一例として、移動方向変化判定部５３を設けている。
【００５３】
移動量記憶部５４は、移動量変化判定部５５が過去に判定した画面の移動量を記憶する。
【００５４】
移動量変化判定部５５は、動きベクトル算出部５１が算出した動きベクトルの大きさを随時監視し、動きベクトルの大きさに基づいて画面の移動量を特定する。そして、ここで特定された画面の移動量に比べて、移動量記憶部５４に記憶された画面の移動量が格段に大きければ、画面の移動量が急に大きく変化したと判定し、その変化が生じた時刻を開始点候補決定部５６に通知する。尚、この移動量変化判定部５５は、画面の移動量が急に大きく変化したかどうかを判定するものとしたが、実質的には、動きベクトルが急に大きくなったかどうかを判定するものである。即ち、本実施の形態では、動きベクトルのサイズが予め定められた閾値以上に大きく変化する時間上の位置であるサイズ変化位置の一例として、動きベクトルが急に大きくなった時刻を用いている。また、サイズ変化位置を検出するサイズ変化検出手段の一例として、移動量変化判定部５５を設けている。
【００５５】
開始点候補決定部５６は、移動方向変化判定部５３により画面の移動方向が変化したと判定された場合は移動方向変化判定部５３から、移動量変化判定部５５により画面の移動量が急に大きく変化したと判定された場合は移動量変化判定部５５から、その変化が生じた時刻を受け取る。そして、その時刻を、ハイライトシーンの開始点の候補の時刻に決定する。
【００５６】
開始点候補記憶部５７は、開始点候補決定部５６が決定したハイライトシーンの開始点の候補の時刻を記憶する。
【００５７】
［本実施の形態におけるハイライトシーン決定装置の動作］
図４は、本実施の形態におけるハイライトシーン決定装置３０の動作例を示したフローチャートである。尚、デコーダ１３から映像データ取得部４１へ１フレーム目の映像データが与えられることにより、この動作は開始する。
【００５８】
動作が開始すると、まず、映像データ取得部４１が、デコーダ１３から与えられた１フレームの映像データを取得する（ステップ３０１）。その際、映像データには、時刻の情報が付されており、以降、映像データは、時刻の情報が付された状態で各処理部及び各記憶部へ受け渡されるものとする。ここでは、イベント検出部４２及びフィールドショット抽出部４５へ出力される。
【００５９】
これにより、イベント検出部４２が、映像データ取得部４１から受け取った映像データにおいて、イベントが発生したかどうかを判定する（ステップ３０２）。この判定は、例えば、イベントの発生を示すテロップが表示されたかどうかに基づいて行えばよい。
【００６０】
その結果、イベントが発生したと判定されれば、開始点決定部４３が、ハイライトシーンの開始点の時刻を決定する（ステップ３０３）。具体的には、後述するステップ３０８でハイライトシーンの開始点の複数の候補の時刻が開始点候補記憶部５７に記憶されていれば、開始点決定部４３は、これらの複数の候補の時刻から、イベントが発生した時刻に最も近い時刻を選択する。そして、このハイライトシーンの開始点の時刻は、開始点記憶部４４に記憶される。尚、図には示さなかったが、イベントが発生した時刻をハイライトシーンの終了点の時刻として一緒に記憶しておいてもよい。
【００６１】
一方、イベントが発生したと判定されなければ、処理は、ハイライトシーンの開始点の候補を決定する処理へと移る。
【００６２】
即ち、まず、フィールドショット抽出部４５が、映像データ取得部４１から受け取った映像データからフィールドショットを抽出するフィールドショット抽出処理を行う（ステップ３０４）。そして、このフィールドショット抽出処理でフィールドショットが抽出されると、そのフィールドショットは、動きベクトル算出部５１に出力されると共にフィールドショット蓄積部４６に蓄積される。尚、フィールドショット抽出処理については、後で詳しく説明する。
【００６３】
次に、動きベクトル算出部５１が、フィールドショット抽出部４５から受け取ったフィールドショットと、フィールドショット蓄積部４６に蓄積された１つ前のフィールドショットとを比較することにより、動きベクトルを算出する（ステップ３０５）。或いは、フィールドショット抽出部４５から受け取ったフィールドショットに既に動きベクトルが格納されている場合は、その動きベクトルを取得してもよい。
【００６４】
次いで、移動方向変化判定部５３が、フィールドショット上で画面の移動方向が変化したかどうかを判定する移動方向変化判定処理を行う（ステップ３０６）。そして、この移動方向変化判定処理で画面の移動方向が変化したと判定されると、その変化が生じた時刻が、開始点候補決定部５６に伝えられる。尚、移動方向変化判定処理については、後で詳しく説明する。
【００６５】
また、移動量変化判定部５５が、フィールドショット上で画面の移動量が大きく変化したかどうかを判定する移動量変化判定処理を行う（ステップ３０７）。そして、この移動量変化判定処理で画面の移動量が大きく変化したと判定されると、その変化が生じた時刻が、開始点候補決定部５６に伝えられる。尚、移動量変化判定処理については、後で詳しく説明する。
【００６６】
これにより、開始点候補決定部５６は、ハイライトシーンの開始点の候補の時刻を決定する（ステップ３０８）。具体的には、画面の移動方向が変化した時刻が移動方向変化判定部５３から伝えられている場合はその時刻を、画面の移動量が大きく変化した時刻が移動量変化判定部５５から伝えられている場合はその時刻を、それぞれハイライトシーンの開始点の候補の時刻に決定する。そして、このハイライトシーンの開始点の候補の時刻は、開始点候補記憶部５７に記憶される。
【００６７】
その後、処理はステップ３０１へ戻る。そして、ステップ３０２でイベントが発生したと判定されるまで、各フレームの映像データについて、ステップ３０１〜３０８の処理が繰り返される。
【００６８】
尚、図示しないが、ステップ３０１で映像データを取得しなくなった場合、処理は終了する。
【００６９】
以下、ステップ３０４のフィールドショット抽出処理、ステップ３０６の移動方向変化判定処理、及び、ステップ３０７の移動量変化判定処理について、詳細に説明する。
【００７０】
まず、このうち、ステップ３０４のフィールドショット抽出処理、及び、ステップ３０６の移動方向変化判定処理で用いる１フレームの映像データを構成するブロックについて説明する。
【００７１】
図５は、このようなブロックの一例を示した図である。図示するように、本実施の形態では、１フレームの映像データを、ブロック＃１〜ブロック＃９の９個のブロックから構成されるものとしている。
【００７２】
図６は、フィールドショット抽出処理の流れを示したフローチャートである。ここでは、このような処理として、ブロック＃４〜＃９の各ブロックで芝生の色として定義された色に近い色の領域が７０％以上存在する場合にフィールドショットとして抽出する処理を例示する。その際、芝生の色は、例えば、Ｈ（色相）が８５、Ｓ（彩度）が１２９、Ｖ（明度）が１６６である色とすればよい。また、芝生の色に近い色は、例えば、このＨ、Ｓ、Ｖの各値の±１０％の範囲内にあるＨ、Ｓ、Ｖの各値を有する色とすればよい。尚、映像データ取得部４１から１フレームの映像データを受け取ることにより、この動作は開始する。
【００７３】
動作が開始すると、フィールドショット抽出部４５は、まず、ブロックを示す変数ｉに「４」を代入する（ステップ４０１）。次に、ブロック＃ｉにおける芝生の色に近い色の領域の面積のブロック全体の面積に対する割合Ｒ（ｉ）を求める（ステップ４０２）。次いで、この割合Ｒ（ｉ）が７０％を超えているかどうかを判定する（ステップ４０３）。
【００７４】
その結果、割合Ｒ（ｉ）が７０％を超えていないと判定すれば、ブロック＃４〜＃９の少なくとも１つでフィールドショットであるための条件が満たされていないことになるので、処理は図４へ戻る。
【００７５】
一方、割合Ｒ（ｉ）が７０％を超えていると判定すれば、フィールドショット抽出部４５は、次のブロックでフィールドショットであるための条件が満たされているかどうかを調べるために、変数ｉに「１」を加算する（ステップ４０４）。そして、変数ｉが「９」を超えているかどうか判定する（ステップ４０５）。変数ｉが「９」を超えていないと判定すれば、処理はステップ４０２へ戻る。また、変数ｉが「９」を超えていると判定すれば、フィールドショット抽出部４５は、このフレームの映像データをフィールドショットとして抽出する。
【００７６】
尚、この動作例では、芝生の色を、例えば、Ｈ（色相）が８５、Ｓ（彩度）が１２９、Ｖ（明度）が１６６である色としたが、これは、代表的な芝生の色を定義したものである。芝生の色はスタジアムや天候によって左右されるので、スタジアムや天候によって芝生の色を変えてもよい。例えば、ユーザがスタジアムや天候の情報を入力することにより、フィールドショット抽出部４５が芝生の色を決定してもよい。
【００７７】
また、この動作例では、映像データにおけるスタンドの位置が図５のようになるものとし、図６のフローチャートではブロック＃４〜＃９について芝生の色に近い色の領域の割合を調べた。しかしながら、映像データにおけるスタンドの位置はテレビカメラのアングルによって決まり、常に図５のようになるとは限らない。従って、図６のフローチャートでは、映像データにおけるスタンドの位置を考慮して決めたブロックについて芝生の色に近い色の割合を調べるとよい。尚、これは、より一般化して、予め定められた閾値を超えて芝生の色を含むかどうかを調べることと捉えることができる。
【００７８】
図７は、移動方向変化判定処理の流れを示したフローチャートである。ここでは、このような処理として、ブロック＃１〜＃９のうち７ブロック以上で動きベクトルの角度の平均値が第１象限（右上）又は第４象限（右下）に属するならば、動きベクトルは右方向としてその変化を判定し、ブロック＃１〜＃９のうち７ブロック以上で動きベクトルの角度の平均値が第２象限（左上）又は第３象限（左下）に属するならば、動きベクトルは左方向としてその変化を判定する処理を例示する。尚、動きベクトル算出部５１から１フレームの映像データにおける動きベクトルを受け取ることにより、この動作は開始する。
【００７９】
動作が開始すると、移動方向変化判定部５３は、まず、ブロックを示す変数ｉに「１」を代入する（ステップ５０１）。次に、ブロック＃ｉにおける動きベクトルの角度の平均値θ（ｉ）を算出する（ステップ５０２）。具体的には、ブロック＃ｉ内の画素ｎに対する動きベクトル（Ｘｎ，Ｙｎ）からその角度θｎを「θｎ＝ａｒｃｔａｎ（Ｙｎ／Ｘｎ）」により求める。そして、ブロック＃ｉ内でのこの角度θｎの平均値θ（ｉ）を算出する。
【００８０】
次いで、移動方向変化判定部５３は、ステップ５０２で求めた動きベクトルの角度の平均値θ（ｉ）がどの象限に属するかを判定し、第ｋ象限に属すると判定すれば、第ｋ象限のカウンタＣｋに「１」を加算する（ステップ５０３）。例えば、θ（ｉ）＝４５°であれば、第１象限に属すると判定し、カウンタＣ１に「１」を加算する。その後、移動方向変化判定部５３は、次のブロックで動きベクトルの角度の平均値が属する象限を調べるために、変数ｉに「１」を加算する（ステップ５０４）。そして、変数ｉが「９」を超えているかどうか判定する（ステップ５０５）。変数ｉが「９」を超えていないと判定すれば、処理はステップ５０２へ戻る。また、変数ｉが「９」を超えていると判定すれば、処理は、カウンタＣ１〜Ｃ４の値に基づき画面の移動方向を求めてそれが変化したかどうかを判定する処理へと移る。
【００８１】
即ち、移動方向変化判定部５３は、カウンタＣ１の値とカウンタＣ４の値との和が７以上であるかどうかを判定する（ステップ５０６）。そして、これらのカウンタの和が７以上でないと判定すれば、カウンタＣ２の値とカウンタＣ３の値との和が７以上であるかどうかを判定する（ステップ５０７）。
【００８２】
ステップ５０６でカウンタＣ１の値とカウンタＣ４の値との和が７以上であると判定されたとする。この場合、動きベクトルの向きは右向きである。従って、移動方向変化判定部５３は、画面の移動方向を左方向と判定する（ステップ５０８）。尚、ここで判定された画面の移動方向は、移動方向記憶部５２に記憶される。その後、移動方向変化判定部５３は、移動方向記憶部５２に記憶された前回の画面の移動方向が右方向であるかどうかを判定する（ステップ５０９）。前回の画面の移動方向が右方向であると判定すれば、画面の移動方向が変更された旨を開始点候補決定部５６に通知する（ステップ５１２）。尚、このとき、具体的には、画面の移動方向が変更された時刻を開始点候補決定部５６に通知するとよい。
【００８３】
また、ステップ５０７でカウンタＣ２の値とカウンタＣ３の値との和が７以上であると判定されたとする。この場合、動きベクトルの向きは左向きである。従って、移動方向変化判定部５３は、画面の移動方向を右方向と判定する（ステップ５１０）。尚、ここで判定された画面の移動方向は、移動方向記憶部５２に記憶される。その後、移動方向変化判定部５３は、移動方向記憶部５２に記憶された前回の画面の移動方向が左方向であるかどうかを判定する（ステップ５１１）。前回の画面の移動方向が左方向であると判定すれば、画面の移動方向が変更された旨を開始点候補決定部５６に通知する（ステップ５１２）。尚、このとき、具体的には、画面の移動方向が変更された時刻を開始点候補決定部５６に通知するとよい。
【００８４】
一方、ステップ５０７でカウンタＣ２の値とカウンタＣ３の値との和が７以上であると判定されなかった場合、ステップ５０９で前回の画面の移動方向が右方向であると判定されなかった場合、及び、ステップ５１１で前回の画面の移動方向が左方向であると判定されなかった場合は、画面の移動方向が変更された旨は開始点候補決定部５６に通知されず、処理は図４へ戻る。
【００８５】
尚、この動作例では、７ブロック以上で動きベクトルの角度の平均値が第１象限又は第４象限に属するならば動きベクトルは右方向とし、７ブロック以上で動きベクトルの角度の平均値が第２象限又は第３象限に属するならば動きベクトルは左方向としたが、これには限らない。まず、７ブロック以上という条件はあくまで一例であり、９ブロックのうちのある程度大きな割合を占めるブロック数であれば、６ブロック以上、８ブロック以上等、別の条件を採用してもよい。また、動きベクトルを右方向とする場合の第１象限又は第４象限という条件、及び、動きベクトルを左方向とする場合の第２象限又は第３象限という条件も、画面の移動方向が水平でない場合は、第１象限という条件及び第３象限という条件等に変更してよい。
【００８６】
図８は、移動量変化判定処理の流れを示したフローチャートである。ここでは、このような処理として、今回のフレームにおける動きベクトルの大きさの平均値が、過去のＮ個のフレームにおける動きベクトルの大きさの平均値の２倍以上になっている場合に、画面の移動量が大きく変化したと判定する処理を例示する。尚、動きベクトル算出部５１から１フレームの映像データにおける動きベクトルを受け取ることにより、この動作は開始する。
【００８７】
動作が開始すると、移動量変化判定部５５は、まず、移動量記憶部５４に記憶された過去のＮ個のフレームにおける動きベクトルの大きさの平均値Ｓ０を算出する（ステップ５５１）。また、動きベクトル算出部５１が算出した動きベクトルの大きさの今回のフレーム内での平均値Ｓを算出する（ステップ５５２）。尚、ここで判定された平均値Ｓは、移動量記憶部５４に記憶される。その後、移動量変化判定部５５は、ステップ５５２で求めた平均値Ｓをステップ５５１で求めた平均値Ｓ０で除して得られた値が「２」以上であるかどうかを判定する。そして、平均値Ｓを平均値Ｓ０で除して得られた値が「２」以上であると判定すれば、画面の移動量が大きく変更された旨を開始点候補決定部５６に通知する（ステップ５５４）。尚、このとき、具体的には、画面の移動量が大きく変更された時刻を開始点候補決定部５６に通知するとよい。或いは、今回のフレームにおける平均値Ｓが過去のＮ個のフレームにおける平均値Ｓ０の２倍以上になっただけでは、画面の移動量が大きく変更された旨を開始点候補決定部５６に通知せず、その状態が例えば２秒程度継続した場合に、画面の移動量が大きく変更された旨を開始点候補決定部５６に通知するようにしてもよい。
【００８８】
一方、平均値Ｓを平均値Ｓ０で除して得られた値が「２」以上であると判定されなかった場合は、画面の移動量が大きく変更された旨は開始点候補決定部５６に通知されず、処理は図４へ戻る。
【００８９】
尚、この動作例では、画面の移動量が大きく変化したと判定する条件として、現在の動きベクトルの大きさが過去の動きベクトルの大きさの２倍以上になっているという条件を採用したが、これには限らない。より一般化して、現在の動きベクトルの大きさが過去の動きベクトルの大きさに比べて予め定められた閾値以上大きくなっているという条件を採用することとしてもよい。
【００９０】
ところで、本実施の形態では、サッカーの試合の映像データを例にとって説明したが、この限りではない。攻守が切り替わる時期を予測困難な種類のスポーツの試合であれば、如何なる試合の映像データを対象としてもよい。このようなスポーツとしては、ラグビー、アメリカンフットボール、フィールドホッケー、バスケットボール、ハンドボール、アイスホッケー、水球等、種々のものが考えられる。
【００９１】
また、本実施の形態では、フィールドショット抽出部４５で芝生の色を多く含むフレームを抽出したが、芝で行われないスポーツの映像データを対象とする場合は、芝生の色以外の特定色を多く含むフレームを抽出するとよい。例えば、バスケットボールやハンドボールではコートの色を特定色とし、アイスホッケーではリンクの氷の色を特定色とし、水球ではプールの水の色を特定色とし、このような特定色を多く含むフレームを抽出すればよい。これはより一般化すると、試合が行われるエリアの色を特定色とし、この特定色を多く含むフレームを抽出すると言うことができる。
【００９２】
更に、本実施の形態では、ハイライトシーンに関連するイベントとして、ゴール等による得点の獲得を例示したが、この限りではない。得点の獲得を伴わない試合中の出来事であっても、予めイベントとして定めておき、ハイライトシーンに関連するイベントとして用いてよい。
【００９３】
本実施の形態では、スポーツの試合の映像データにおいて動きベクトルが反対の方向へ変化するところをハイライトシーンの開始位置に決定するようにした。攻守が切り替わる時期を予測することが困難な種類のスポーツのシーンにおいて、ハイライトシーンの開始位置を的確に特定することが可能となった。
【００９４】
［本実施の形態におけるハイライトシーン決定装置のハードウェア構成］
図９は、本実施の形態におけるハイライトシーン決定装置３０のハードウェア構成例を示した図である。図示するように、このハイライトシーン決定装置３０は、演算手段であるＣＰＵ３１と、記憶手段であるメインメモリ３２及び磁気ディスク装置３３とを備える。ここで、ＣＰＵ３１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各処理部を実現する。また、メインメモリ３２は、各種ソフトウェアやその実行に用いるデータ等を記憶し、磁気ディスク装置３３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶し、これらの一方又は両方が上述した各記憶部を実現する。更に、ハイライトシーン決定装置３０は、外部との通信を行うためのネットワークＩ／Ｆ３４と、情報を表示するためのデバイスであるディスプレイ３５と、情報を入力するためのデバイスであるキーボード／マウス３６とを備える。
【符号の説明】
【００９５】
１０…映像表示装置、１１…放送受信部、１２…デマックス部、１３…デコーダ、１４…表示部、１５…音声出力部、２０…録画再生装置、２１…録画部、２２…録画蓄積部、２３…再生部、３０…ハイライトシーン決定装置、４１…映像データ取得部、４２…イベント検出部、４３…開始点決定部、４４…開始点記憶部、４５…フィールドショット抽出部、４６…フィールドショット蓄積部、５１…動きベクトル算出部、５２…移動方向記憶部、５３…移動方向変化判定部、５４…移動量記憶部、５５…移動量変化判定部、５６…開始点候補決定部、５７…開始点候補記憶部
【図１】
2016100614.tif 000003
【図２】
2016100614.tif 000004
【図３】
2016100614.tif 000005
【図４】
2016100614.tif 000006
【図５】
2016100614.tif 000007
【図６】
2016100614.tif 000008
【図７】
2016100614.tif 000009
【図８】
2016100614.tif 000010
【図９】
2016100614.tif 000011