(57)【要約】【課題】効率的にスポーツ動映像の要約を行うことができるスポーツ動映像の要約方法及び装置を提供する。【解決手段】本発明に係るスポーツ動映像の要約装置は、前記スポーツ動映像をショットに分割し、前記分割された各ショットの音声データと映像データとを抽出するデータ抽出部１１０と、前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するイベント検出部１２０と、前記検出された各ショットのイベントを基に、各ショットの重要度を計算する重要度計算部１３０と、前記計算されたショット別の重要度を基に、前記スポーツ動映像のうち重要ショットを選択してスポーツ動映像を要約する要約部１４０とを備える。【選択図】図１
2006148932.tif 000002
【特許請求の範囲】
【請求項１】
スポーツ動映像の要約方法であって、
前記スポーツ動映像をショットに分割し、前記分割された各ショットの映像データと音声データとを抽出するステップと、
前記抽出された音声データと映像データとを利用し、前記各ショットの重要度を計算するステップと、
前記計算されたショット別の重要度を基に、前記スポーツ動映像のうち重要ショットを選択し、前記選択された重要ショットを利用し、前記動映像を要約するステップと、
を含むことを特徴とするスポーツ動映像の要約方法。
【請求項２】
前記重要度を計算するステップは、
前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するステップと、
前記検出された各ショットのイベントを基に、各ショットの重要度を計算するステップと、
を含むことを特徴とする請求項１に記載のスポーツ動映像の要約方法。
【請求項３】
前記イベントは、
歓声イベント、ホイッスルイベント、重要領域、リプレイイベントのうち、少なくともいずれか一つを含むことを特徴とする請求項２に記載のスポーツ動映像の要約方法。
【請求項４】
前記重要領域は、
ペナルティ領域であることを特徴とする請求項３に記載のスポーツ動映像の要約方法。
【請求項５】
前記歓声イベントは、
前記抽出されたショット別の音声データの短時間エネルギーが所定の値以上である場合、前記ショットから検出されることを特徴とする請求項３に記載のスポーツ動映像の要約方法。
【請求項６】
前記ホイッスルイベントは、
前記抽出されたショット別の音声データのゼロ交差率が所定の値以上である場合、前記ショットから検出されることを特徴とする請求項３に記載のスポーツ動映像の要約方法。
【請求項７】
前記ペナルティ領域は、
前記各ショットに属する映像のうち、遠距離映像を抽出するステップと、
前記抽出された遠距離映像から白色領域を抽出するステップと、
前記抽出された白色領域のうち、直線領域を抽出するステップと、
前記抽出された直線領域を利用し、ペナルティ領域を検出するステップと、
を行って検出されることを特徴とする請求項４に記載のスポーツ動映像の要約方法。
【請求項８】
前記遠距離映像を抽出するステップは、
全体映像のうち、競技場のフィールド色が占める比率が所定の値以上である映像を遠距離映像として抽出することを特徴とする請求項７に記載のスポーツ動映像の要約方法。
【請求項９】
前記白色領域を抽出するステップは、
前記抽出された遠距離映像のうち、前記映像の平均輝度値の所定倍数以上の輝度値を有する領域を抽出することを特徴とする請求項７に記載のスポーツ動映像の要約方法。
【請求項１０】
前記ペナルティ領域を検出するステップは、
前記抽出された直線の傾きを利用し、前記抽出された直線領域のうち、ペナルティ領域を検出することを特徴とする請求項７に記載のスポーツ動映像の要約方法。
【請求項１１】
前記リプレイイベントは、
前記抽出された各ショットに属する連続映像間の輝度差のゼロ交差率が所定の値以上である場合、検出されることを特徴とする請求項３に記載のスポーツ動映像の要約方法。
【請求項１２】
前記リプレイイベントは、
所定のイベントが発生したショット以後、所定の時間のショットから検出されることを特徴とする請求項３に記載のスポーツ動映像の要約方法。
【請求項１３】
前記ショットの重要度は、
前記ショットから検出されたイベントに設定された加重値を利用し、計算されることを特徴とする請求項２に記載のスポーツ動映像の要約方法。
【請求項１４】
前記加重値は、
ユーザにより各イベント別に設定されることを特徴とする請求項１３に記載のスポーツ動映像の要約方法。
【請求項１５】
前記重要ショットは、
前記重要ショットの再生時間の和がユーザが入力した要約時間以下になるように選択されることを特徴とする請求項１に記載のスポーツ動映像の要約方法。
【請求項１６】
スポーツ動映像の要約方法であって、
前記スポーツ動映像から競技場のフィールド色を検出するステップと、
前記スポーツ動映像からショット別の音声データと映像データとを抽出するステップと、
前記抽出された音声データを利用し、前記各ショットで発生した音声イベントを検出し、前記検出された競技場のフィールド色と前記抽出された映像データとを利用し、前記各ショットで発生した映像イベントを検出するステップと、
前記検出された音声イベントと映像イベントとを利用し、各ショットの重要度を計算するステップと、
前記計算されたショット別の重要度を利用し、前記スポーツ動映像を要約するステップと、
を含むことを特徴とするスポーツ動映像の要約方法。
【請求項１７】
前記フィールド色を検出するステップは、
前記スポーツ動映像のうち、所定時間内の映像に属する画素に対し、色分布を求めるステップと、
前記求めた色分布を利用し、前記画素のうち最も多くの画素が分布するドミナントカラーを検出するステップと、
前記検出されたドミナントカラーを中心に、所定の範囲に隣接した色領域をフィールド色に決定するステップと、
を含むことを特徴とする請求項１６に記載のスポーツ動映像の要約方法。
【請求項１８】
前記色分布は、
前記映像に属する画素のＹＵＶ分布であることを特徴とする請求項１７に記載のスポーツ動映像の要約方法。
【請求項１９】
前記フィールド色は、
所定の時間ごとに更新されることを特徴とする請求項１６に記載のスポーツ動映像の要約方法。
【請求項２０】
前記フィールド色は、
前記スポーツ動映像に属する映像のうち、前記フィールド色を有する画素の比率が所定の値以上であるたびに更新されることを特徴とする請求項１６に記載のスポーツ動映像の要約方法。
【請求項２１】
請求項１から請求項２０のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２２】
スポーツ動映像の要約装置であって、
前記スポーツ動映像をショットに分割し、前記分割された各ショットの音声データと映像データとを抽出するデータ抽出部と、
前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するイベント検出部と、
前記検出された各ショットのイベントを基に、各ショットの重要度を計算する重要度計算部と、
前記計算されたショット別の重要度を基に、前記スポーツ動映像のうち重要ショットを選択して動映像を要約する要約部と、
を備えることを特徴とするスポーツ動映像の要約装置。
【請求項２３】
前記イベントは、
歓声イベント、ホイッスルイベント、重要領域、リプレイイベントのうち、少なくともいずれか一つを含むことを特徴とする請求項２２に記載のスポーツ動映像の要約装置。
【請求項２４】
前記重要領域は、
ペナルティ領域であることを特徴とする請求項２３に記載のスポーツ動映像の要約装置。
【請求項２５】
前記歓声イベントは、
前記抽出されたショット別の音声データの短時間エネルギーが所定の値以上である場合、前記ショットから検出されることを特徴とする請求項２３に記載のスポーツ動映像の要約装置。
【請求項２６】
前記ホイッスルイベントは、
前記抽出されたショット別の音声データのゼロ交差率が所定の値以上である場合、前記ショットから検出されることを特徴とする請求項２３に記載のスポーツ動映像の要約装置。
【請求項２７】
前記イベント検出部は、
前記各ショットに属する映像のうち、遠距離映像を抽出する遠距離映像抽出部と、
前記抽出された遠距離映像から白色領域を抽出する白色領域抽出部と、
前記抽出された白色領域のうち、直線領域を抽出する直線領域抽出部と、
前記抽出された直線領域を利用し、ペナルティ領域を検出するペナルティ領域検出部と、
を備えることを特徴とする請求項２４に記載のスポーツ動映像の要約装置。
【請求項２８】
前記リプレイイベントは、
前記抽出された各ショットに属する連続映像間の輝度差のゼロ交差率が所定の値以上である場合、検出されることを特徴とする請求項２３に記載のスポーツ動映像の要約装置。
【請求項２９】
前記リプレイイベントは、
所定のイベントが発生したショット以後、所定の時間のショットから検出されることを特徴とする請求項２３に記載のスポーツ動映像の要約装置。
【請求項３０】
前記重要度計算部は、
前記検出されたイベントに設定された加重値を利用し、前記各ショットの重要度を計算することを特徴とする請求項２２に記載のスポーツ動映像の要約装置。
【請求項３１】
前記加重値は、
ユーザにより各イベント別に設定されることを特徴とする請求項３０に記載のスポーツ動映像の要約装置。
【請求項３２】
前記重要ショットは、
前記重要ショットの再生時間の和が、ユーザから入力された要約時間以下になるように選択されることを特徴とする請求項２２に記載のスポーツ動映像の要約装置。
【請求項３３】
前記スポーツ動映像から競技場のフィールド色を検出するフィールド色検出部をさらに備えることを特徴とする請求項２２に記載のスポーツ動映像の要約装置。
【請求項３４】
前記フィールド色検出部は、
前記スポーツ動映像のうち、所定時間の間の映像に属する画素に対し、色分布を求める分布計算部と、
前記求めた色分布を利用し、前記画素のうち最も多くの画素が分布するドミナントカラーを検出するドミナントカラー検出部と、
前記検出されたドミナントカラーを含んで所定の範囲に隣接した色領域をフィールド色に決定するフィールド色決定部とを備えることを特徴とする請求項３３に記載のスポーツ動映像の要約装置。
【請求項３５】
前記色分布は、
前記映像に属する画素のＹＵＶ分布であることを特徴とする請求項３４に記載のスポーツ動映像の要約装置。
【請求項３６】
前記フィールド色は、
所定の時間ごとに更新されることを特徴とする請求項３３に記載のスポーツ動映像の要約装置。
【請求項３７】
前記フィールド色は、
前記スポーツ動映像に属する映像のうち、前記フィールド色を有する画素の比率が所定の値以上であるたびに更新されることを特徴とする請求項３３に記載のスポーツ動映像の要約装置。
【請求項３８】
動映像をショットに分割し、前記分割された各ショットの音声データと映像データとを抽出するデータ抽出部と、
前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するイベント検出部と、
前記検出された各ショットのイベントを基に、各ショットの重要度を計算する重要度計算部と、
前記計算されたショット別の重要度を基に、前記動映像のうち重要ショットを選択して動映像を要約する要約部と、
を備えることを特徴とするスポーツ動映像の要約装置。
【請求項３９】
前記イベントは、
歓声イベント、ホイッスルイベント、重要領域、リプレイイベントのうち、少なくともいずれか一つを含むことを特徴とする請求項３８に記載のスポーツ動映像の要約装置。
【請求項４０】
前記ホイッスルイベントは、
前記抽出されたショット別の音声データのゼロ交差率が所定の値以上である場合、前記ショットから検出されることを特徴とする請求項３９に記載のスポーツ動映像の要約装置。
【請求項４１】
前記音声データのゼロ交差率は、
次の数式（１）により計算されることを特徴とする請求項４０に記載のスポーツ動映像の要約装置。
【数１】
2006148932.tif 000006
前記数式（１）で、Ｚｓ（ｍ）は、前記ゼロ交差率であり、ｗ（ｍ−ｎ）は、前記音声データを正規化したウィンドウ関数であり、ｓ（ｎ）は、ｎ番目の音声データの大きさであり、Ｎは、音声データサンプルの個数である。
【請求項４２】
前記リプレイイベントは、
前記抽出された各ショットに属する連続映像間の輝度差のゼロ交差率が所定の値以上である場合、検出されることを特徴とする請求項３９に記載のスポーツ動映像の要約装置。
【請求項４３】
前記連続映像間の輝度差のゼロ交差率は、
次の数式（２）により計算されることを特徴とする請求項４２に記載のスポーツ動映像の要約装置。
【数２】
2006148932.tif 000007
前記数式（２）で、Ｚｃ（ｔ，θｋ）は前記ゼロ交差率であり、ｔは、時間であり、θは、あらかじめ設定された臨界値であり、Ｌは、前記映像を正規化したウィンドウの長さであり、Ｄは、映像間のインテンシティの差であり、ｆは、反復される映像の数字である。
【請求項４４】
前記歓声イベントは、
前記抽出されたショット別の音声データの短時間エネルギーが所定の値以上である場合、前記ショットから検出されることを特徴とする請求項３９に記載のスポーツ動映像の要約装置。
【請求項４５】
前記音声データの短時間エネルギーは、
次の数式（３）により計算されることを特徴とする請求項４４に記載のスポーツ動映像の要約装置。
【数３】
2006148932.tif 000008
前記数式（３）で、Ｅｓ（ｍ）は、前記短時間エネルギーであり、ｗ（ｍ−ｎ）は、前記音声データを正規化したウィンドウ関数であり、ｓ（ｎ）は、ｎ番目の音声データの大きさであり、Ｎは、音声データサンプルの個数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動映像の要約方法及び装置に係り、特にサッカーなどのスポーツ動映像の音声情報及び映像情報を基にしてスポーツ動映像を要約する方法及び装置に関する。
【背景技術】
【０００２】
ＰＶＲ（Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）のような映像再生装置は、一般的に保存装置に保存された動映像をディスプレイ装置を介してユーザが見られるように再生することが主な用途であり、暗号化された映像データを復号化して出力する機能を有し、最近では、ネットワーク、デジタル保存装置、映像圧縮及び復元技術の発達により、デジタル映像を保存装置に保存した後でこれを再生する装置がかなり普及してきている。
【０００３】
１試合あたり２時間近く時間がかかるサッカーのようなスポーツ競技を録画した動映像の場合、動映像の再生時に、前記動映像内でユーザに興味あるゴールシーン、重要シュートシーンなどの部分だけを選択し、簡単に早く再生、編集できる機能が必須である。このように、ユーザが動映像の内容を簡単に早く把握するための機能を動映像の要約という。
【０００４】
スポーツ動映像を要約する従来の方法には、前記動映像データから抽出した色相、動き、声などの情報を利用し、攻撃、速攻、シュートなどのイベントを検出し、前記検出された重要イベントを中心に、動映像を要約したり、またはスポーツ動映像をプレイショットとノンプレイショットとに区分し、前記動映像のうちプレイショット部分だけからなる要約動映像を生成する方法がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述のように、従来の要約方法を利用しサッカーなどのスポーツ動映像を要約する場合、スポーツ競技の流れ上、重要ではない場面が要約動映像に含まれ、要約の信頼性を低下させることがあり、ユーザが所望の要約長さよりはるかに長い要約動映像を生成し、効率的にスポーツ動映像の要約を行えないという問題があった。
【０００６】
本発明が解決しようとする技術的課題は、スポーツ動映像を要約するにあたって、前記のような問題点を解決するために、スポーツ動映像から検出した音声情報と映像情報とを基にして、スポーツ動映像を要約する方法及び装置を提供することである。
【課題を解決するための手段】
【０００７】
前述の技術的課題を解決するための本発明によるスポーツ動映像の要約方法は、前記スポーツ動映像をショットに分割し、前記分割された各ショットの映像データと音声データとを抽出するステップと、前記抽出された音声データと映像データとを利用し、前記各ショットの重要度を計算するステップと、前記計算されたショット別の重要度を基に、前記スポーツ動映像のうち重要ショットを選択し、前記選択された重要ショットを利用し、前記動映像を要約するステップとを含むことを特徴とする。
【０００８】
望ましくは、前記重要度を計算するステップは、前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するステップと、前記検出された各ショットのイベントを基に、各ショットの重要度を計算するステップとを含む。
前記イベントは、歓声イベント、ホイッスルイベント、重要領域、リプレイイベントのうち、少なくともいずれか一つを含むことが望ましく、前記重要領域は、サッカー、ホッケー、ハンドボールのような競技動映像の場合には、ペナルティ領域であることが望ましい。
【０００９】
望ましくは、前記歓声イベントは、前記抽出されたショット別の音声データの短時間エネルギー（ＳＴＥ：Ｓｈｏｒｔ Ｔｉｍｅ Ｅｎｅｒｇｙ）が所定の値以上である場合、前記ショットから検出され、前記ホイッスルイベントは、前記抽出されたショット別の音声データのゼロ交差率（ＺＣＲ：Ｚｅｒｏ Ｃｒｏｓｓｉｎｇ Ｒａｔｅ）が所定の値以上である場合、前記ショットから検出されることが望ましい。
【００１０】
前記ペナルティ領域は、前記各ショットに属する映像のうち、遠距離映像を抽出するステップと、前記抽出された遠距離映像から白色領域を抽出するステップと、前記抽出された白色領域のうち、直線領域を抽出するステップと、前記抽出された直線領域を利用し、ペナルティ領域を検出するステップとを行って検出されることが望ましい。
望ましくは、前記遠距離映像を抽出するステップは、全体映像のうち、競技場のフィールド色が占める比率が所定の値以上である映像を遠距離映像として抽出し、前記白色領域を抽出するステップは、前記抽出された遠距離映像のうち、前記映像の平均輝度値の所定倍数以上の輝度値を有する領域を抽出することが望ましい。
【００１１】
前記ペナルティ領域を検出するステップは、前記抽出された直線の傾きを利用し、前記抽出された直線領域のうち、ペナルティ領域を検出することが望ましい。
望ましくは、前記リプレイイベントは、前記抽出された各ショットに属する連続映像間の輝度差のＺＣＲが所定の値以上である場合に検出され、前記リプレイイベントは、所定のイベントが発生したショット以後、所定の時間のショットから検出されることが望ましい。
【００１２】
前記ショットの重要度は、前記ショットから検出されたイベントに設定された加重値を利用して計算されることが望ましく、前記加重値は、ユーザにより各イベント別に設定されることが望ましい。
前記重要ショットは、前記重要ショットの再生時間の和がユーザが入力した要約時間以下になるように選択されることが望ましい。
【００１３】
前述の技術的課題を解決するための本発明による他のスポーツ動映像の要約方法は、前記スポーツ動映像から競技場のフィールド色を検出するステップと、前記スポーツ動映像からショット別の音声データと映像データとを抽出するステップと、前記抽出された音声データを利用し、前記各ショットで発生した音声イベントを検出し、前記検出された競技場のフィールド色と前記抽出された映像データとを利用し、前記各ショットで発生した映像イベントを検出するステップと、前記検出された音声イベントと映像イベントとを利用し、各ショットの重要度を計算するステップと、前記計算されたショット別の重要度を利用し、前記スポーツ動映像を要約するステップとを含むことを特徴とする。
【００１４】
望ましくは、前記フィールド色を検出するステップは、前記スポーツ動映像のうち、所定時間の間の映像に属する画素に対し、色分布を求めるステップと、前記求めた色分布を利用し、前記画素のうち最も多くの画素が分布するドミナントカラーを検出するステップと、前記検出されたドミナントカラーを中心に、所定の範囲に隣接した色領域をフィールド色に決定するステップとを含む。
前記色分布は、前記映像に属する画素のＹＵＶ分布であることが望ましく、前記フィールド色は、所定の時間ごとに更新されるか、または前記スポーツ動映像に属する映像のうち、前記フィールド色を有する画素の比率が所定の値以上であるたびに更新されることを特徴とするスポーツ動映像の要約方法である。
【００１５】
前述の技術的課題を解決するための本発明によるスポーツ動映像の要約装置は、前記スポーツ動映像をショットに分割し、前記分割された各ショットの音声データと映像データとを抽出するデータ抽出部と、前記抽出されたショット別の音声データと映像データとを利用し、前記各ショットで発生したイベントを検出するイベント検出部と、前記検出された各ショットのイベントを基に、各ショットの重要度を計算する重要度計算部と、前記計算されたショット別の重要度を基に、前記スポーツ動映像のうち重要ショットを選択してスポーツ動映像を要約する要約部とを備えることを特徴とする。
【００１６】
望ましくは、前記イベントは、歓声イベント、ホイッスルイベント、重要領域、リプレイイベントのうち、少なくともいずれか一つを含み、前記重要領域は、サッカー、ホッケー、ハンドボールなどの競技動映像の場合には、ペナルティ領域であることが望ましい。
前記歓声イベントは、前記抽出されたショット別の音声データのＳＴＥが所定の値以上である場合、前記ショットから検出されることが望ましく、前記ホイッスルイベントは、前記抽出されたショット別の音声データのＺＣＲが所定の値以上である場合、前記ショットから検出されることが望ましい。
【００１７】
望ましくは、前記イベント検出部は、前記各ショットに属する映像のうち、遠距離映像を抽出する遠距離映像抽出部と、前記抽出された遠距離映像から白色領域を抽出する白色領域抽出部と、前記抽出された白色領域のうち、直線領域を抽出する直線領域抽出部と、前記抽出された直線領域を利用し、ペナルティ領域を検出するペナルティ領域検出部とを備える。
望ましくは、前記リプレイイベントは、前記抽出された各ショットに属する連続映像間の輝度差のＺＣＲが所定の値以上である場合に検出され、前記リプレイイベントは、所定のイベントが発生したショット以後、所定の時間のショットから検出されることが望ましい。
【００１８】
前記重要度計算部は、前記検出されたイベントに設定された加重値を利用し、前記各ショットの重要度を計算することが望ましく、前記加重値は、ユーザにより各イベント別に設定されることが望ましい。
望ましくは、前記重要ショットは、前記重要ショットの再生時間の和が、ユーザから入力された要約時間以下になるように選択される。
【００１９】
前記スポーツ動映像の要約装置は、前記スポーツ動映像から競技場のフィールド色を検出するフィールド色検出部をさらに備えることが望ましく、前記フィールド色検出部は、前記スポーツ動映像のうち、所定時間の間の映像に属する画素に対し、色分布を求める分布計算部と、前記求めた色分布を利用し、前記画素のうち最も多くの画素が分布するドミナントカラーを検出するドミナントカラー検出部と、前記検出されたドミナントカラーを含んで所定の範囲に隣接した色領域をフィールド色に決定するフィールド色決定部とを備えることが望ましい。
【００２０】
望ましくは、前記色分布は、前記映像に属する画素のＹＵＶ分布であり、前記フィールド色は、所定の時間ごとに再検出されるか、または前記スポーツ動映像に属する映像のうち、前記フィールド色を有する画素の比率が所定の値以上であるたびに再検出されることが望ましい。
前記スポーツ動映像の要約方法は、望ましくはコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体で具現可能である。
【発明の効果】
【００２１】
本発明によるスポーツ動映像の要約方法及び装置によれば、映像の音声情報と映像情報とを共に利用してショット別の重要度を計算し、計算した重要度により、重要ショットを選択してスポーツ動映像を要約することにより、動映像の要約の信頼性を向上させ、ユーザ所望の長さの要約映像を生成することができる。
【発明を実施するための最良の形態】
【００２２】
以下、添付された図面を参照しつつ、本発明の実施形態に係るスポーツ動映像の要約方法及び装置について詳細に説明する。
図１は、本実施形態に係るスポーツ動映像の要約装置の全体的な構成をブロック図である。図１に示した動映像の要約装置は、フィールド色検出部１００、データ抽出部１１０、イベント検出部１２０、重要度計算部１３０及び要約部１４０を備える。図１に示した動映像の要約装置の動作を、図１１に示した本実施形態に係る動映像の要約方法を表すフローチャートを参照しながら説明する。
【００２３】
前記フィールド色検出部１００は、スポーツ動映像を入力されて前記映像を分析し、前記スポーツが行われている競技場のフィールド色を検出する（ステップ１１００）。前記ステップ１１００では、前記フィールド色検出部１００がフィールド色を検出せず、ユーザからフィールド色を直接入力されるか、または前記スポーツ動映像データに添付されて共に入力されるフィールド色情報を有するデータを利用し、前記フィールド色を検出することもできる。すなわち、スポーツ動映像の要約装置は、フィールド色検出部を備えていなくてもよい。
【００２４】
前記データ抽出部１１０は、スポーツ動映像を入力され、前記スポーツ動映像を同一場面の区間であるショットに分割し（ステップ１１１０）、前記スポーツ動映像から音声データを抽出し、前記分割されたショット別の音声データと映像データとを抽出する（ステップ１１２０）。
【００２５】
前記イベント検出部１２０は、前記抽出されたショット別の音声データと映像データとを利用し、各ショットで発生したイベントを検出する（ステップ１１３０）。映像データから検出する映像イベントは、重要領域場面のイベント、リプレイイベントを含むことが望ましく、前記重要領域の場面は、サッカー、ホッケー、ハンドボール競技などの場合、ペナルティ領域の場面またはセンター（ｃｅｎｔｅｒ）領域の場面などを含むことが望ましい。音声データから検出される音声イベントは、歓声イベント、ホイッスルイベントを含むことが望ましい。また、前記イベントは、ユーザに直接所望のイベントを定義させることが望ましい。
【００２６】
前記重要度計算部１３０は、前記イベント検出部１２０から各ショットで発生したイベント情報を入力して、前記イベントを利用して各ショットの重要度を計算する（ステップ１１４０）。前記各ショットで発生したイベントを利用してショットの重要度を計算する方法は、前記各イベントに設定された加重分により、各ショットの重要度を計算することが望ましい。例えば、第一のショットで、歓声イベントとペナルティ領域場面のイベントとが検出され、前記歓声イベントに設定された加重値が２であり、前記ペナルティ領域場面のイベントに設定された加重値が１０であるとすれば、前記第一のショットの重要度は、１２となる。
【００２７】
前記各イベントに設定された加重値は、各イベントの重要性を考慮してあらかじめ設定されるか、またはユーザの特性によってユーザが直接各イベントに加重値を設定するか、またはあらかじめ設定された加重値を再設定できるようにすることが望ましい。例えば、ユーザがサッカーの動映像の反則場面だけを見たい場合には、ホイッスルイベントを除外した残りのイベントの加重値をいずれも０に設定し、ホイッスルイベントについてだけ任意の加重値を付与できる。
【００２８】
前記要約部１４０は、前記重要度計算部１３０から各ショットの重要度を入力して、前記重要度を基に重要ショットを選択し（ステップ１１５０）、前記選択されたショットを利用してスポーツ動映像を要約する（ステップ１１６０）。前記ステップ１１５０では、ユーザが所望の要約動映像の長さを入力した場合、要約動映像の再生時間の総和が前記入力された要約長さを超えないように、前記重要ショットが選択されることが望ましい。例えば、ユーザが２００個のショットに分割されるサッカー動映像を、１分の長さの動映像に要約することを所望する場合、前記２００個のショットのうち、重要度の最も高い２０個のショットの再生時間の総和が５８秒であり、前記２００個のショットのうち、重要度の最も高い２１個のショットの再生時間の総和が１分５秒ならば、前記２００個のショットのうち、重要度の最も高い２０個のショットを重要ショットに選択する。前記選択された重要ショットは、ショットの時間順序と結びつけられて要約動映像に生成される。
【００２９】
図２は、図１のフィールド色検出部についての一例をブロック図で示したものであり、図２に示したフィールド色検出部１００は、分布計算部２００、ドミナントカラー検出部２１０及びフィールド色決定部２２０を備えてなる。図２に示したフィールド色検出部の動作を図１２に示したフィールド色を検出する方法を表すフローチャートを参照しながら説明する。
前記分布計算部２００は、スポーツ動映像のうち、一定時間ｔの間連続する映像に属するあらゆる画素の色を総合し、前記画素の色分布を求める（ステップ１２００）。前記色分布は、前記画素のＹＵＶ色分布であることが望ましい。
【００３０】
前記分布計算部２００は、フィールド色を検出するのに消耗される計算量及び時間を縮めるために、前記色分布を求める前に、前記映像サイズを縮少させることが望ましい。図３は、映像サイズを調整する方法についての一例を表す画面であり、隣接する４個の画素を１つの画素に縮少して映像サイズを小さくしたものである。図３Ａは、隣接する４個の画素のうち、第一の画素で前記４個の画素を代替して映像サイズを縮少したものであり、図３Ｂは、隣接する４個の画素の平均値を有する画素で前記４個の画素を代替して映像サイズを縮少したものである。図３Ｃは、隣接する４個の画素のうち、最も大きい輝度値を有する画素で前記４個の画素を代替して映像サイズを縮少したものである。図３Ｃに示した画面の白色境界線が、図３Ａと図３Ｂとに示した画面の白色境界線よりさらに明確に表現されていることから分かるように、この後、競技場の位置判断に使われる白色境界線が明確に表現されるように、前記図３Ｃに示した方法を使用して映像サイズを縮少することが望ましい。
【００３１】
前記ドミナントカラー検出部２１０は、前記分布計算部２００から前記画素の色分布情報を入力され、画素分布の最も大きい色であるドミナントカラーを検出する（ステップ１２１０）。前記フィールド色決定部２２０は、前記検出されたドミナントカラーを含み、それに隣接したあらかじめ設定された一定範囲の色領域をフィールド色に決定する（ステップ１２２０）。
【００３２】
図４は、前記色分布からドミナントカラーを検出してフィールド色を決定する方法を説明するためのグラフであり、横軸は輝度（レベル）を表わし、縦軸はそれぞれの輝度を有する画素の個数を表わす。図４に示したヒストグラムの色分布のうち、最も分布の大きい色をドミナントカラーに設定し、前記ドミナントカラーを中心に、左右所定の範囲に隣接した色領域をフィールド色に決定する。
【００３３】
図５は、前記検出されたフィールド色により、映像からフィールド色領域を検出した画面である。映像に表示される競技場のフィールド色は、１つのスポーツ動映像内でも、天気の変化、時間の変化または競技場の照明の変化などによって変わるので、一度検出されたフィールド色を利用して全体スポーツ動映像のフィールド領域を検出する場合には、検出エラーが発生する可能性がある。図５Ｂは、図５Ａの映像からフィールド領域を検出した画面であり、前述のような原因により、フィールド領域が正確に検出されていない。
【００３４】
従って、天気の変化、時間の変化または競技場の照明の変化などによって変化するフィールド色を検出するために、あらかじめ設定された時間間隔で前記図１２に示したステップを行ってフィールド色を更新することが望ましい。または、設定されたフィールド色によって検出される全体映像のうち、フィールド領域の比率が一定比率以上である場合、前記図１２に示したステップを行ってフィールド色を更新することが望ましい。図５Ｄは、更新されたフィールド色により、図５Ｃから検出されたフィールド領域を表す画面である。
【００３５】
以下、前記イベント検出部１２０が映像データと音声データとからイベントを検出する方法について詳細に説明する。
図６は、ペナルティ領域を検出する装置についての一例を表す詳細ブロック図である。図６に示したイベント検出装置１２０は、遠距離映像抽出部６００、白色領域抽出部６１０、直線領域抽出部６２０及びペナルティ領域抽出部６３０を備えてなる。図６に示したイベント検出装置１２０の動作を、図１３に示したペナルティ領域検出方法を表すフローチャートを参照しながら説明する。
【００３６】
図６、図１３に戻って説明を続ける。前記遠距離映像抽出部６００は、各ショットに属する映像のうち、遠距離映像を抽出する（ステップ１３００）。図７は、撮影距離による映像のフィールド色分布を説明するための画面であり、図７Ｂは、図７Ａに示した近距離映像からフィールド色領域を検出したものであり、図７Ｄは、図７Ｃに示した中距離映像からフィールド色領域を検出したものである。図７Ｆは、図７Ｅに示した遠距離映像からフィールド色領域を検出したものであり、図７Ｆは、図７Ｂと図７Ｄとに示したフィールド領域に比べ、フィールド領域の比率の高いことが分かる。従って、前記遠距離映像抽出部６００は、各ショットに属する映像のフィールド色領域を検出した後、前記検出されたフィールド色領域が、あらかじめ設定された一定比率以上（たとえば９０％以上）である映像を遠距離映像として抽出することが望ましい。
【００３７】
前記白色領域抽出部６１０は、前記抽出された遠距離映像から白色領域を抽出する（ステップ１３１０）。前記白色領域抽出部６１０は、前記抽出された遠距離映像に属する画素のうち、全体映像の平均輝度値の一定倍数以上の輝度値を有する画素を抽出して白色領域を抽出することが望ましい。例えば、映像の平均輝度値の１．２倍以上の輝度値を有する画素を抽出して白色領域を抽出できる。
【００３８】
前記直線領域抽出部６２０は、前記抽出された白色領域から、直線領域を抽出する（ステップ１３２０）。前記直線領域抽出部６２０は、ハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）を使用して直線領域を抽出することが望ましい。前記ハフ変換法は、点と点とを連結する直線の傾きが同じである点の個数が所定の値以上になる点を直線領域として抽出する方法である。
【００３９】
前記ペナルティ領域抽出部６３０は、前記抽出された直線領域のうち、ペナルティ領域を抽出する（ステップ１３３０）。図８は、直線領域のうち、ペナルティ領域を抽出する方法についての一例を説明するための画面であり、図８Ａは、ペナルティ領域の直線領域を表す画面であり、図８Ｂは、中央領域の直線領域を表す画面である。前記図８で分かるように、ペナルティ領域の直線の傾きと中央領域の直線の傾きとが異なる、前記検出された直線の傾きを利用し、ペナルティ領域と中央領域とを区別できる。
【００４０】
図９は、映像からリプレイイベントを検出する方法を説明するためのグラフである。一般的に、リプレイ映像は、オリジナル映像を複写した後、複写された映像を若干変換し、映像の再生時間を延ばす方法で生成される。従って、リプレイ映像で、隣接した所定の個数の映像間、すなわち同じオリジナル映像から変換された映像間には、データ値の差が非常に小さくなる。図９Ａは、リプレイ映像の連続した映像間の輝度差を示したグラフであり、リプレイ映像の隣接した映像間の輝度差が前記のような理由で波効果を表す。
【００４１】
図９Ｂは、前記図９Ａに示した連続した映像間の輝度差値のＺＣＲをグラフで示したものである。前記ＺＣＲは、分析区間で信号がゼロ軸（ｚｅｒｏ ａｘｉｓ）を交差する数、すなわち隣接した信号値の符号が変わる回数に関するものであり、周波数に関する情報を内包している関数であり、高周波信号であるほどにその値が大きくなる。従って、前記図９Ｂに示したように、リプレイ映像の隣接した映像間の輝度差値のＺＣＲは、他の映像に比べて非常に大きい値を有する。
【００４２】
従って、前記イベント検出部１２０は、各ショットに属する映像の隣接した映像間の輝度差値のＺＣＲを求め、その値が基準値以上（たとえば３０（回）以上）である場合、リプレイイベントが発生したと検出することが望ましい。前記ＺＣＲは、次の数式（４）のように計算されて求められる。
【数４】
2006148932.tif 000003
前記数式（４）で、Ｚｃは、ＺＣＲであり、ｔは、時間であり、θは、あらかじめ設定された臨界値であり、Ｌは、前記映像を正規化したウィンドウの長さであり、Ｄは、映像間のインテンシティの差であり、ｆは、反復される映像の数字である。
【００４３】
一般的に、前記リプレイ場面は、重要場面以後にあるので、前記イベント検出部１２０は、他のイベントが発生した後の所定の時間、例えばペナルティ領域のイベントが発生した後の２分間、前記リプレイイベントが発生しているか否かを検出することが望ましい。
前記イベント検出部１２０がスポーツ動映像の音声データからホイッスルイベントを検出する方法について説明すれば、一般的に、前記ホイッスルの音は、人が声帯を響かせて出す音声である有声音のようにＺＣＲが大きい。従って、前記イベント検出部１２０は、各ショットに属する音声データについて、次の数式（５）のように計算し、ＺＣＲを求めた後、前記求めたＺＣＲがあらかじめ設定された基準値以上（たとえば１２（回）以上）になる場合、ホイッスルイベントが前記ショットで発生したと検出することが望ましい。
【数５】
2006148932.tif 000004
前記数式（５）で、Ｚｓは、ＺＣＲであり、ｗ（ｍ−ｎ）は、前記音声データを正規化したウィンドウ関数であり、ｓ（ｎ）は、ｎ番目の音声データの大きさであり、Ｎは、音声データサンプルの個数である。
【００４４】
前記イベント検出部１２０がスポーツ動映像の音声データから歓声イベントを検出する方法について説明すれば、前記イベント検出部１２０は、各ショットに属する音声データについて次の数式（６）のように計算してＳＴＥを求めた後、前記求めたＳＴＥがあらかじめ設定された基準値以上（たとえば１０００ｓ２以上：「ｓ」は信号の強度（magnitude））になる場合、歓声イベントが前記ショットで発生したと検出することが望ましい。
【数６】
2006148932.tif 000005
前記数式（６）で、Ｅｓは、音声データのＳＴＥであり、ｗ（ｍ−ｎ）は、前記音声データを正規化したウィンドウ関数であり、ｓ（ｎ）は、ｎ番目の音声データの大きさであり、Ｎは、音声データサンプルの個数である。
【００４５】
図１０は、本実施形態に係るスポーツ動映像の要約方法により、映像を要約した一例を表す画面である。
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み込み可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄａｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されることも含む。
【００４６】
また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明の属する技術分野のプログラマらにより容易に推論可能である。
【００４７】
以上、本発明の望ましい実施形態について、サッカー競技の動映像を中心に詳細に述べたが、その他のホッケー、ハンドボールなどのスポーツ動映像にも適用可能であり、本発明が属する技術分野において当業者ならば、特許請求の範囲に定義された本発明の精神及び範囲を外れずに、本発明をさまざまに変形または変更して実施できるということが分かるであろう。従って、本発明の今後の実施形態の変更は、本発明の記述を外れるものではない。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施形態に係るスポーツ動映像の要約装置の全体的な構成を示したブロック図である。
【図２】図１のフィールド色検出部についての一例を表す詳細ブロック図である。
【図３Ａ】競技場のフィールド色を検出するために映像サイズを調整する方法についての一例を表す画面である。
【図３Ｂ】競技場のフィールド色を検出するために映像サイズを調整する方法についての一例を表す画面である。
【図３Ｃ】競技場のフィールド色を検出するために映像サイズを調整する方法についての一例を表す画面である。
【図４】競技場のフィールド色を検出するためにドミナントカラーを検出する方法を説明するためのグラフである。
【図５Ａ】スポーツ映像からフィールド色を有する領域を抽出した画面である。
【図５Ｂ】スポーツ映像からフィールド色を有する領域を抽出した画面である。
【図５Ｃ】スポーツ映像からフィールド色を有する領域を抽出した画面である。
【図５Ｄ】スポーツ映像からフィールド色を有する領域を抽出した画面である。
【図６】図１のイベント検出部についての一例を表す詳細ブロック図である。
【図７Ａ】近距離映像についてのフィールド色分布を表す画面である。
【図７Ｂ】近距離映像についてのフィールド色分布を表す画面である。
【図７Ｃ】中距離映像についてのフィールド色分布を表す画面である。
【図７Ｄ】中距離映像についてのフィールド色分布を表す画面である。
【図７Ｅ】遠距離映像についてのフィールド色分布を表す画面である。
【図７Ｆ】遠距離映像についてのフィールド色分布を表す画面である。
【図８Ａ】映像から直線領域を検出する方法を説明するための画面である。
【図８Ｂ】映像から直線領域を検出する方法を説明するための画面である。
【図９Ａ】スポーツ動映像からリプレイイベントを検出する方法を説明するためのグラフである。
【図９Ｂ】スポーツ動映像からリプレイイベントを検出する方法を説明するためのグラフである。
【図１０】スポーツ動映像の要約についての一例を表す画面である。
【図１１】本発明によるスポーツ動映像の要約方法を表すフローチャートである。
【図１２】図１１の競技場のフィールド色を検出する段階についての一例を表す詳細フローチャートである。
【図１３】スポーツ映像からペナルティ領域を検出する方法についての一例を表すフローチャートである。
【符号の説明】
【００４９】
１００    フィールド色検出部
１１０    データ抽出部
１２０    イベント検出部
１３０    重要度計算部
１４０    要約部
２００    分布計算部
２１０    ドミナントカラー検出部
２２０    フィールド色決定部
【図１】
2006148932.tif 000009
【図２】
2006148932.tif 000010
【図３Ａ】
2006148932.tif 000011
【図３Ｂ】
2006148932.tif 000012
【図３Ｃ】
2006148932.tif 000013
【図４】
2006148932.tif 000014
【図６】
2006148932.tif 000015
【図９Ａ】
2006148932.tif 000016
【図９Ｂ】
2006148932.tif 000017
【図１１】
2006148932.tif 000018
【図１２】
2006148932.tif 000019
【図１３】
2006148932.tif 000020
【図５Ａ】
2006148932.tif 000021
【図５Ｂ】
2006148932.tif 000022
【図５Ｃ】
2006148932.tif 000023
【図５Ｄ】
2006148932.tif 000024
【図７Ａ】
2006148932.tif 000025
【図７Ｂ】
2006148932.tif 000026
【図７Ｃ】
2006148932.tif 000027
【図７Ｄ】
2006148932.tif 000028
【図７Ｅ】
2006148932.tif 000029
【図７Ｆ】
2006148932.tif 000030
【図８Ａ】
2006148932.tif 000031
【図８Ｂ】
2006148932.tif 000032
【図１０】
2006148932.tif 000033