(57)【要約】  少なくともビデオシーケンス１８を含むコンテンツ信号のビデオ要約を生成する方法は、ビデオシーケンス１８のセグメントを、少なくとも第１のクラス及び第２のクラスの一方に、該コンテンツ信号のそれぞれの部分の特性及び前記第１のクラスのセグメント１９−２１を識別する基準の少なくとも第１のセットの解析に基づいて分類するステップを含む。画像のシーケンス３７は、それぞれが第１のクラスのそれぞれのセグメント１９−２１に少なくとも部分的に基づく画像のサブシーケンス３８−４０を連結することにより、画像のサブシーケンス３８−４０の少なくとも１つにおいて、第１のクラスのそれぞれのセグメント１９−２１に基づく動画が、第１のタイプのウィンドウに表示されるように形成される。第２のクラスのセグメントの表現２５−２７は、別のタイプのウィンドウ４１、４２において、画像のシーケンス３７の少なくとも幾つかの画像と共に表示される。
2011504702.tif 000002
【特許請求の範囲】
【請求項１】
少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約を生成する方法であって、
前記ビデオシーケンスのセグメントを、少なくとも第１のクラス及び第２のクラスの一方に、前記コンテンツ信号のそれぞれの部分の特性及び前記第１のクラスのセグメントを識別する基準の少なくとも第１のセットの解析に基づいて分類するステップと、
それぞれが前記第１のクラスのそれぞれのセグメントに少なくとも部分的に基づく画像のサブシーケンスを連結することにより、前記画像のサブシーケンスの少なくとも１つにおいて、前記第１のクラスのそれぞれのセグメントに基づく動画が、第１のタイプのウィンドウに表示されるように、画像のシーケンスを形成するステップと、
前記第２のクラスのセグメントの表現が、別のタイプのウィンドウにおいて、前記画像のシーケンスの少なくとも幾つかの画像と共に表示されるようにするステップと、
を含む方法。
【請求項２】
前記第２のクラスのセグメントの表現は、前記第１のタイプのウィンドウが、前記別のタイプのウィンドウよりも視覚的に優位となるように、前記画像のシーケンスの少なくとも幾つかに含められる、請求項１に記載の方法。
【請求項３】
前記第１のクラスの２つのセグメント間に位置する前記第２のクラスのセグメントの表現は、前記第２のクラスのセグメントに後続する前記第１のクラスの２つのセグメントの一方に基づいて、画像のサブシーケンスの少なくとも幾つかと共に表示される、請求項１又は２に記載の方法。
【請求項４】
前記別のタイプのウィンドウは、前記第１のタイプのウィンドウの一部に重畳される、請求項２又は３に記載の方法。
【請求項５】
前記第２のクラスのセグメントは、前記コンテンツ信号のそれぞれの部分の解析及び前記第２のクラスのセグメントを識別するための基準の少なくとも第２のセットに基づいて識別される、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記第２のクラスのセグメントは、前記第１のクラスの２つのセグメントを分離するセクション内で、前記２つのセグメントの少なくとも一方の位置及び内容の少なくとも一方に少なくとも一部基づいて識別される、請求項５に記載の方法。
【請求項７】
前記第２のクラスのセグメントの表現は、前記第２のクラスのセグメントに基づく画像のシーケンスを含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記第２のクラスのセグメントに基づく画像のシーケンスの長さを、前記第１のクラスのそれぞれのセグメントに基づく画像のサブシーケンスの長さ以下となるように適合させるステップを含み、これにより前記第２のクラスのセグメントに基づく画像のシーケンスが表示される、請求項７に記載の方法。
【請求項９】
少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約を生成するためのシステムであって、前記システムは、
前記コンテンツ信号を受信するための入力部と、
前記ビデオシーケンスのセグメントを、少なくとも第１のクラス及び第２のクラスの一方に、前記コンテンツ信号のそれぞれの部分の特性及び前記第１のクラスのセグメントを識別する基準の少なくとも第１のセットの解析に基づいて分類し、更に、
それぞれが前記第１のクラスのそれぞれのセグメントに少なくとも部分的に基づく画像のサブシーケンスを連結することにより、前記画像のサブシーケンスの少なくとも１つにおいて、前記第１のクラスのそれぞれのセグメントに基づく動画が、第１のタイプのウィンドウに表示されるように、画像のシーケンスを形成するための信号処理システムと、
を含み、前記システムは、前記第２のクラスのセグメントの表現が、別のタイプのウィンドウにおいて、前記画像のシーケンスの少なくとも幾つかの画像と共に表示されるようにするように構成されたシステム。
【請求項１０】
請求項１乃至８のいずれか一項に記載の方法を実行するように構成された、請求項９に記載のシステム。
【請求項１１】
少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約をエンコードする信号であって、
前記信号は、画像のサブシーケンスであって、それぞれが少なくとも第１及び第２のクラスの第１のもののビデオシーケンスのそれぞれのセグメントに少なくとも部分的に基づくサブシーケンスの連結をエンコードし、前記第１のクラスのセグメントは、前記コンテンツ信号のそれぞれの部分の特性の解析及び前記第１のクラスのセグメントを識別するための基準の第１のセットの使用により識別可能であり、
前記第１のクラスのセグメントに基づく動画が、第１のタイプのウィンドウにおいてそれぞれのサブシーケンス中に表示され、
前記信号は、前記画像のサブシーケンスの連結の少なくとも幾つかと同時の、別のタイプのウィンドウにおける前記第２のクラスのセグメントの表現の同期表示のためのデータを含む信号。
【請求項１２】
請求項１乃至８のいずれか一項に記載の方法を実行することにより得られる、請求項１１に記載の信号。
【請求項１３】
コンピュータ読み取り可能な媒体に組み込まれたときに、情報処理能力を持つシステムに、請求項１乃至８のいずれか一項に記載の方法を実行させることが可能な命令のセットを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約を生成する方法に関する。
【０００２】
本発明はまた、少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約を生成するためのシステムに関する。
【０００３】
本発明はまた、少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約をエンコードする信号に関する。
【０００４】
本発明はまた、コンピュータプログラムに関する。
【背景技術】
【０００５】
国際特許出願公開WO03/060914は、圧縮されたドメインにおいてアクティブに抽出された動きの時間的なパターンを用いて、圧縮されたビデオを要約するためのシステム及び方法を開示している。該時間的なパターンは、オーディオ特徴の時間的な位置、特にオーディオボリュームのピークに相関付けされる。非常に単純な規則を用いて、ビデオの関心のない部分を破棄して、関心のあるイベントを識別することにより、要約が生成される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
該既知の方法の問題点は、関心のあるイベントを選択するための基準を厳しくすることによって、単に要約が短くなり、その結果として起こる要約の質の損失を伴うことである。
【０００７】
本発明の目的は、情報内容の点で比較的高い品質のものであると知覚される比較的コンパクトな要約を提供するための、最初のパラグラフで述べたタイプの方法、システム、信号及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本目的は、
前記ビデオシーケンスのセグメントを、少なくとも第１のクラス及び第２のクラスの一方に、前記コンテンツ信号のそれぞれの部分の特性及び前記第１のクラスのセグメントを識別する基準の少なくとも第１のセットの解析に基づいて分類するステップと、
それぞれが前記第１のクラスのそれぞれのセグメントに少なくとも部分的に基づく画像のサブシーケンスを連結することにより、前記画像のサブシーケンスの少なくとも１つにおいて、前記第１のクラスのそれぞれのセグメントに基づく動画が、第１のタイプのウィンドウに表示されるように、画像のシーケンスを形成するステップと、
前記第２のクラスのセグメントの表現が、別のタイプのウィンドウにおいて、前記画像のシーケンスの少なくとも幾つかの画像と共に表示されるようにするステップと、を含む、本発明による方法により達成される。
【０００９】
タイプの違いは、異なる幾何のディスプレイフォーマット、異なる目的のディスプレイ装置、又は異なる画面位置等のいずれか１つを含んでも良い。
【００１０】
コンテンツ信号のそれぞれの部分の特性の解析及び第１のクラスのセグメントを識別するための基準の第１のセットに基づいて少なくとも第１及び第２のクラスの一方にビデオシーケンスのセグメントを分類することにより、ビデオシーケンスにおけるハイライトが検出される。基準の第１のセットの適切な選択は、これらが最も代表的な又は優位なセグメントにではなく、最も有益なセグメントに対応するものであることを確実にする。例えば、第１のタイプのセグメントのための分類子の値に基づく基準の適切な選択は、スポーツの試合の、フィールドを表すセグメント（優位な部分）ではなく、得点が入ったセグメント（ハイライト）が選択されることを確実にし得る。それぞれが第１のクラスのそれぞれのセグメントに少なくとも部分的に基づく画像のサブシーケンスを連結することにより、画像のシーケンスの長さがハイライトにより決定され、要約シーケンスが比較的コンパクトとなることが確実にされる。入力ビデオシーケンスの残りのセグメントの少なくとも第２のクラスへの分類を提供し、第２のクラスのセグメントの表現を画像のシーケンスの少なくとも幾つかと共に表示することにより、ビデオシーケンスを要約する画像のシーケンスが、より有益なものとなる。第１のクラスのそれぞれのセグメントに基づく動画は第１のタイプのウィンドウに表示され、第２のクラスの表現は別のタイプのウィンドウに表示されるため、コンテンツ信号を要約する画像のシーケンスはコンパクトとなり、比較的高い品質のものとなる。観測者は、ハイライトと他のタイプの要約の要素とを区別することができる。
【００１１】
一実施例においては、前記第２のクラスのセグメントの表現は、前記第１のタイプのウィンドウが、前記別のタイプのウィンドウよりも視覚的に優位となるように、前記画像のシーケンスの少なくとも幾つかに含められる。
【００１２】
斯くして、比較的コンパクトな要約が１つの画面に表示されることができ、比較的有益なものとなる。とりわけ、単なるハイライト以上のものが表示されることができるが、どれがハイライトであり、どの表現が要約されたビデオシーケンスにおいて二次的な重要度を持つセグメントのものであるかが明らかとなる。更に、第１のクラスのセグメントがサブセグメントを通した要約の長さを決定するため、画像のシーケンスの優位な部分は連続的となる一方、異なるタイプのウィンドウは連続的となる必要がない。
【００１３】
一実施例においては、前記第１のクラスの２つのセグメント間に位置する前記第２のクラスのセグメントの表現は、前記第２のクラスのセグメントに後続する前記第１のクラスの２つのセグメントの一方に基づいて、画像のサブシーケンスの少なくとも幾つかと共に表示される。
【００１４】
斯くして、ビデオ要約は、要約されたビデオシーケンスにおける時間的な順序に対応する、要約における時間的な順序を維持することを目的とした規則に従って確立される。効果は、並行して表示される２つの別個の要約へと発展する、分かり難い要約を回避することである。第１のクラスの２つのセグメント間に位置する第２のクラスのセグメントが、他のものよりも第１のクラスのこれら２つのセグメントの一方に関連する見込みが高い（即ち第１のクラスの先行又は後続するセグメントにおけるイベントまでつながる反応又はイベントを示す見込みが高い）ため、ビデオ要約はより有益なものとなる。
【００１５】
一実施例においては、前記別のタイプのウィンドウは、前記第１のタイプのウィンドウの一部に重畳される。
【００１６】
斯くして、第１のタイプのウィンドウは比較的大きくされることができ、第１のクラスのセグメントに少なくとも部分的に基づく画像のサブシーケンスは比較的高い解像度を持つことができる。異なるタイプのウィンドウが適切な位置に重畳されれば、第２のタイプのウィンドウに提供される更なる情報は、第１のクラスのセグメントに対応する情報に対してかなりのコストを要するものではない。
【００１７】
一実施例においては、前記第２のクラスのセグメントは、前記コンテンツ信号のそれぞれの部分の解析及び前記第２のクラスのセグメントを識別するための基準の少なくとも第２のセットに基づいて識別される。
【００１８】
効果は、第２のクラスのセグメントが、第１のクラスのセグメントを選択するための用いたものとは異なる特性に基づいて選択されることができる点である。とりわけ、第２のクラスのセグメントは、例えば第１のクラスのセグメントではないビデオシーケンスの残りの全ての部分により形成される必要はない。第２のクラスのどのセグメントが識別されたか及びどのセグメントが基準の第２のセットと共に利用されたかに基づく解析は、第１のクラスのセグメントを識別するために利用されたものと同じタイプの解析である必要はない（同じであっても良いが）ことは、明らかであろう。
【００１９】
変形例においては、前記第２のクラスのセグメントは、前記第１のクラスの２つのセグメントを分離するセクション内で、前記２つのセグメントの少なくとも一方の位置及び内容の少なくとも一方に少なくとも一部基づいて識別される。
【００２０】
斯くして、本方法は、第１のクラスの最も近いセグメントの少なくとも１つに対する反応又は先行するイベントを示す、第２のクラスのセグメント（一般に要約されたビデオシーケンスのハイライト）を検出することが可能である。
【００２１】
一実施例においては、前記第２のクラスのセグメントの表現は、前記第２のクラスのセグメントに基づく画像のシーケンスを含む。
【００２２】
効果は、表示される要約されるべきビデオシーケンスの二次的な部分に関連する情報の量を増大させることである。
【００２３】
変形例は、前記第２のクラスのセグメントに基づく画像のシーケンスの長さを、前記第１のクラスのそれぞれのセグメントに基づく画像のサブシーケンスの長さ以下となるように適合させるステップを含み、これにより前記第２のクラスのセグメントに基づく画像のシーケンスが表示される。
【００２４】
効果は、第１のクラスのセグメントがビデオ要約の長さを決定することを可能とすること、及び時間的な順序を保ちつつ情報を追加することである。
【００２５】
他の態様によれば、本発明による少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約を生成するためのシステムは、
前記コンテンツ信号を受信するための入力部と、
前記ビデオシーケンスのセグメントを、少なくとも第１のクラス及び第２のクラスの一方に、前記コンテンツ信号のそれぞれの部分の特性及び前記第１のクラスのセグメントを識別する基準の少なくとも第１のセットの解析に基づいて分類し、更に、
それぞれが前記第１のクラスのそれぞれのセグメントに少なくとも部分的に基づく画像のサブシーケンスを連結することにより、前記画像のサブシーケンスの少なくとも１つにおいて、前記第１のクラスのそれぞれのセグメントに基づく動画が、第１のタイプのウィンドウに表示されるように、画像のシーケンスを形成するための信号処理システムと、
を含み、前記システムは、前記第２のクラスのセグメントの表現が、別のタイプのウィンドウにおいて、前記画像のシーケンスの少なくとも幾つかの画像と共に表示されるようにするように構成される。
【００２６】
一実施例においては、前記システムは、本発明による方法を実行するように構成される。
【００２７】
他の態様によれば、本発明による少なくともビデオシーケンスを含むコンテンツ信号のビデオ要約をエンコードする信号であって、
前記信号は、画像のサブシーケンスであって、それぞれが少なくとも第１及び第２のクラスの第１のもののビデオシーケンスのそれぞれのセグメントに少なくとも部分的に基づくサブシーケンスの連結をエンコードし、前記第１のクラスのセグメントは、前記コンテンツ信号のそれぞれの部分の特性の解析及び前記第１のクラスのセグメントを識別するための基準の第１のセットの使用により識別可能であり、
前記第１のクラスのセグメントに基づく動画が、第１のタイプのウィンドウにおいてそれぞれのサブシーケンス中に表示され、
前記信号は、前記画像のサブシーケンスの連結の少なくとも幾つかと同時の、別のタイプのウィンドウにおける前記第２のクラスのセグメントの表現の同期表示のためのデータを含む。
【００２８】
該信号は（長さの点で）比較的コンパクトであり、コンテンツ信号の有益なビデオ要約である。
【００２９】
一実施例においては、該信号は、本発明による方法を実行することにより得られる。
【００３０】
本発明の他の態様によれば、コンピュータ読み取り可能な媒体に組み込まれたときに、情報処理能力を持つシステムに、本発明による方法を実行させることが可能な命令のセットを含む、コンピュータプログラムが提供される。
【００３１】
本発明は、添付図面を参照しながら、更に詳細に説明される。
【図面の簡単な説明】
【００３２】
【図１】ビデオ要約を生成及び表示するためのシステムを示す。
【図２】要約されるべきビデオシーケンスの模式的な図を示す。
【図３】要約を生成するための方法のフロー図である。
【図４】ビデオ要約に含まれる画像のシーケンスの模式的な図である。
【発明を実施するための形態】
【００３３】
一体型受信器デコーダ（ＩＲＤ）１は、ディジタルテレビジョン放送、ビデオ・オン・デマンドサービス等を受信するためのネットワークインタフェース２、復調器３及びデコーダ４を含む。ネットワークインタフェース２は、ディジタル、衛星、地上波若しくはＩＰベースの放送又はナローキャストネットワークに対するインタフェースであっても良い。デコーダの出力は、例えばＭＰＥＧ−２若しくはＨ．２６４又は同様のフォーマットの（圧縮された）ディジタルオーディオビジュアル信号を有する１つ以上の番組ストリームを有する。番組又はイベントに対応する信号は、例えばハードディスク、光ディスク又は固体メモリ装置のような大容量記憶装置５に保存されても良い。
【００３４】
大容量記憶装置５に保存されるオーディオビジュアルデータは、テレビジョンシステム（図示されていない）における再生のために、ユーザによってアクセスされることができる。この目的のため、ＩＲＤ１は、例えばリモートコントローラ及びテレビジョンシステムの画面に表示されるグラフィカルなメニューのような、ユーザインタフェース６を備える。ＩＲＤ１は、主メモリ８を用いてコンピュータプログラムコードを実行する中央演算処理ユニット（ＣＰＵ）７により制御される。メニューの再生及び表示のため、ＩＲＤ１は更に、テレビジョンシステムに適したビデオ及びオーディオ信号を生成するためのビデオ符号化器９及びオーディオ出力段１０を備える。ＣＰＵ７におけるグラフィックモジュール（図示されていない）は、ＩＲＤ１及びテレビジョンシステムにより提供されるグラフィカルユーザインタフェース（ＧＵＩ）のグラフィカルコンポーネントを生成する。
【００３５】
ＩＲＤ１は、ＩＲＤ１のローカルネットワークインタフェース１２及び携帯型メディアプレイヤ１１のローカルネットワークインタフェース１３により、携帯型メディアプレイヤ１１とインタフェース接続する。このことは、ＩＲＤ１により生成されたビデオ要約の、携帯型メディアプレイヤ１１へのストリーミング又はさもなければダウンロードを可能とする。
【００３６】
携帯型メディアプレイヤ１１は、例えば液晶ディスプレイ（ＬＣＤ）装置のような表示装置１４を含む。携帯型メディアプレイヤ１１は更に、プロセッサ１５、主メモリ１６、及び例えばハードディスクユニット又は固体メモリ装置のような大容量記憶装置１７を含む。
【００３７】
ＩＲＤ１は、ネットワークインタフェース２を通して受信され大容量記憶装置５に保存された番組のビデオ要約を生成するように構成される。該ビデオ要約は、携帯型メディアプレイヤ１１にダウンロードされ、モバイルのユーザが、スポーツイベントの要点を追うことを可能とする。ビデオ要約はまた、ＩＲＤ１及びテレビジョンセットにより提供されるＧＵＩにおける閲覧を容易化するために利用されることができる。
【００３８】
これら要約を生成するために利用される手法は、例えば個々のスポーツ大会のスポーツ放送の例を用いて説明されるが、例えば映画、刑事もの番組の各エピソード等のような、広範なコンテンツに対して適用可能である。一般に、初期状態、クライマックスへと導く盛り上がるアクション、及び後続する解決部を持つ筋を有するいずれのタイプのコンテンツも、本方法により便利に要約され得る。
【００３９】
要約の目的は、特定のオーディオビジュアルコンテンツについての重要な情報を提示しつつ、観測者にとって重要でない又は有意でない情報を除外することである。スポーツを要約する場合、重要な情報は一般に、当該スポーツイベントにおける最も重要なハイライト（フットボールの試合におけるゴール及び逃した好機、テニスにおけるセットポイント又はマッチポイント等）の集合から成る。ユーザの研究は、自動的に生成されたスポーツ要約においては、観測者は最も重要なハイライトのみならず、該イベントの更なる側面、例えばフットボールの試合におけるゴールに対する選手の反応、観客の反応等をも観たいと欲することを示している。
【００４０】
ＩＲＤ１は、要約における価値に従って、種々の方法で情報を提示することにより、拡張された要約を提供する。前に生じたあまり重要でない部分は、現在表示している重要部分と同時に表示される。このことは、ビデオ要約をコンパクトとしつつ、非常に有益なものとすることを可能とする。
【００４１】
図２を参照すると、番組信号は、オーディオ成分と、ビデオシーケンス１８を有するビデオ成分とを含む。ビデオシーケンス１８は、第１、第２及び第３のハイライトセグメント１９−２１を含む。該シーケンスはまた、第１、第２及び第３のリードアップ（lead-up）セグメント２２−２４、第１、第２及び第３の応答セグメント２５−２７、並びに他のコンテンツに対応するセクション２８−３１を含む。
【００４２】
図３を参照すると、ハイライトセグメント１９−２１の特性、及び該ハイライトセグメントを識別するための少なくとも第１の経験則に基づいて、ハイライトセグメント１９−２１を検出することにより（ステップ３２）、ビデオ要約が生成される。経験則とは、問題を解決するための特定の手法を意味し、本例においては、スポーツイベントにおけるハイライトに対応する画像のシーケンスのセグメントを識別するための特定の手法である。該経験則は、所与のセグメントがハイライトを表すとみなされるか否かを決定するために利用される解析の方法及び基準を有する。ハイライトを識別するため１つ以上の基準から成る第１のセットが利用され、１つ以上の基準から成る第２のセットは他のクラスのセグメントにより満たされる。スポーツイベントの状況においては、ハイライトとして分類され得るセグメントを識別するための適切な手法は、Ekin, A.  M.らによる「Automatic soccer video analysis and summarization」（IEEE Trans. Image Processing、2003年6月）、Cabasson, R.及びDivakaran, A.による「Automatic extraction of soccer video highlights using a combination of motion and audio features」（Symp. Electronic Imaging: Science and Technology: Storage and Retrieval for Media Databases、2002年1月、5021、272-276頁）、並びにNepal, S.らによる「Automatic detection of goal segments in basketball videos」（Proc. ACM Multimedia、2001年、261-269頁）に記載されている。
【００４３】
任意である次のステップ３３において、先行するステップ３２において識別されたセグメントの特定の１つのみを選択することにより、分類が洗練される。該ステップ３３は、ステップ３２において見出されたセグメントをランク付けすること、及び例えば所定の数のセグメント又は特定の最大長以下の全長を持つ幾つかのセグメントのみをランクの上位から選択することを含んでも良い。該ランク付けは、ビデオシーケンス１８の特定のセグメント、即ちハイライトに適用可能な基準のセットを用いて決定されたもののみに対して実行されることに留意されたい。従って該ランク付けは、ビデオシーケンス１８の全体の分割よりも短いものを構成するセグメントのセットのランク付けである。
【００４４】
更なるステップ３４−３６は、例えば応答セグメント２５−２７のような、第２のクラスのセグメントが検出されることを可能とする。ハイライトに対する応答は典型的に、しばしばスローモーションでの、複数の角度からのハイライトのリプレイ、しばしばクローズアップショットでの選手達の反応、及び観客の反応を含む。
【００４５】
ステップ３４−３６は、２つのハイライトセグメント１９−２１を分離するビデオシーケンス１８の一部に基づいて、及び、一般に２つのハイライトセグメント１９−２１のうち最初に出現するものである、２つのハイライトセグメント１９−２１の少なくとも一方の位置及び内容の少なくとも一方に少なくとも部分的に基づいて、実行される。該位置は例えば、応答セグメント２５−２７が、各ハイライトセグメント１９−２１について探される場合に利用される。該内容は、とりわけリプレイが探されるステップ３５において利用される。いずれの場合においても、ハイライトセグメント１９−２１としてセグメントを分類するために利用されるものとは異なる経験則を用いて、セグメントが応答セグメント２５−２７として分類される。ここで、本方法は、全体のビデオシーケンス１８の内容のうち該セグメントがどれだけ代表的なものであるかに従って、ビデオシーケンス１８のセグメントへの完全な分割を表すセグメントをランク付けすることにより、ビデオシーケンス１８の包括的な要約を提供することを目的とした方法とは異なる。
【００４６】
クローズアップを検出するステップ３４は、奥行き情報を利用しても良い。適切な方法は、国際特許出願公開WO2007/036823に記載されている。
【００４７】
リプレイを検出するステップ３５は、リプレイセグメントを検出するための幾つかの既知の方法のうちのいずれかを利用して実装されても良い。例は、Kobla, V.らによる「Identification of sports videos using replay, text, and camera motion features」（Proc. SPIE Conference on Storage and Retrieval for Media Database、3972、2000年1月、332-343頁）、Wungt, L.らによる「Generic slow-motion replay detection in sports video」（2004 International Conference on Image Processing (ICIP)、1585-1588頁）、及びTong, X.による「Replay Detection in Broadcasting Sports Video」（Proc. 3rd Intl. Conf. on Image and Graphics (ICIG '04)）に記載されている。
【００４８】
観衆の画像を検出するステップ３６は、例えばSadlier, D.及びO'Connor, N.による「Event detection based on generic characteristics of field-sports」（IEEE Intl. Conf. on Multimedia & Expo (ICME)、5、2005年、5-17頁）に記載された方法を用いて実装されても良い。
【００４９】
図３及び４を併せて参照して、ビデオ要約を形成する画像のシーケンス３７が示される。該シーケンスは、それぞれが第１、第２及び第３のハイライトセグメント１９−２１に基づく、第１、第２及び第３のサブシーケンス３８−４０を有する。サブシーケンス３８−４０は、これらシーケンスに含まれる画像がコンテンツにおいて対応するという意味でハイライトセグメント１９−２１に基づくものであるが、セグメント１９−２１における元の画像の時間的又は空間的にサブサンプリングされたバージョンであっても良い。サブシーケンス３８−４０における画像は、例えばＩＲＤ１に接続された表示装置１４又はテレビジョンセットの画面上のディスプレイの第１のウィンドウの全体を占有するようにエンコードされる。一般に、該第１のウィンドウは、サイズ及び形状の点で画面フォーマットに対応し、表示されるときに一般に画面全体を満たす。サブシーケンス３８−４０は、ひとまとまりのサムネイル画像ではなく、動画を表すことが観測されている。
【００５０】
より小さなフォーマットの画面上ウィンドウ４１、４２を満たす画像は、応答セグメント２５−２７に基づいて生成される（ステップ４３）。これら画像は、ピクチャ・イン・ピクチャの態様で、ハイライトセグメント１９−２１の表現を含むウィンドウの一部に重畳される。斯くして、ハイライトセグメント１９−２１に基づく動画は、追加された応答セグメント２５−２７の表現よりも、視覚的に優位となる。
【００５１】
一実施例においては、応答セグメント２５−２７の表現は、例えばサムネイルのような、ひとまとまりの静止画像である。本実施例においては、これら画像は例えば、関連する応答セグメント２５−２７のキーフレームに対応する。別の実施例においては、応答セグメント２５−２７の表現は、応答セグメント２５−２７に基づく動画のシーケンスを有する。一実施例においては、これらシーケンスは、これらシーケンスが追加されたサブシーケンス３８−４０の長さに以下となるように適合された、サブサンプリングされた又は切り捨てられたバージョンである。結果として、各サブシーケンス３８−４０に追加された応答セグメント２５−２７の、多くとも１つの表現が存在することとなる。
【００５２】
要約シーケンス３７の情報内容を拡張するため、元のビデオシーケンス１８の時間的な順序が、或る程度まで維持される。とりわけ、２つの連続するハイライトセグメント１９−２１間に位置する各応答セグメント２５−２７の表現は、関連する応答セグメント２５−２７に後続する２つのハイライトセグメント１９−２１の一方に基づいて、画像のサブシーケンス３８−４０のみの少なくとも幾つかと共に表示される。斯くして、図２及び４に示された例においては、第１の応答セグメント２５の表現は、画像のサブシーケンス３９内の画像の第１の群４５におけるウィンドウ４１に含められ、該サブシーケンスは第２のハイライトセグメント２０に基づくものである。ウィンドウ４１は、第２のサブシーケンス３９内の画像の第２の群には存在しない。第２の応答セグメント２６の表現は、画像の第３のサブシーケンス４０に重畳されたウィンドウ４２に示され、第３のサブシーケンス４０は、第３のハイライトセグメント２１に基づくものである。ウィンドウ４１、４２が重畳されたサブシーケンス３８−４０は、出力ビデオ信号を生成するため、最後のステップ４７において連結される。斯くして、ビデオ要約３７が表示されているときに、現在のハイライトの重要な情報と同時に、以前のハイライトのあまり重要でない情報がピクチャ・イン・ピクチャとして表示される。
【００５３】
応答セグメント２５−２７の表現は、別の実施例においては、ハイライト１９−２１の表現とは異なる画面に表示される。例えば、ハイライトセグメント１９−２１に基づく画像のサブシーケンスは、ＩＲＤ１に接続されたテレビジョンセットの画面に表示され、応答セグメント２５−２７の表現が、適切な時間に、表示装置１４の画面に同時に表示されても良い。
【００５４】
応答セグメント２５−２７の幾つかの表現が、画像のサブシーケンス３８−４０の少なくとも幾つかに同時に重畳されウィンドウことが、更に分かっている。例えば、クローズアップを検出するステップ３４において検出されたセグメントの表現のための１つのウィンドウと、リプレイを検出するステップ３５において検出されたセグメントの表現のための別のウィンドウと、観衆の画像を検出するステップ３６において検出されたセグメントの表現のための更なるウィンドウがあっても良い。
【００５５】
別の実施例においては、重要な情報を隠してしまわないように、ウィンドウ４１、４２は、これらウィンドウが重畳される画像の内容に依存して、位置を変化させる。
【００５６】
更に別の実施例においては、セグメント２２−２４の表現もが、サブシーケンス３８−４０を形成する画像に含められるか、又はこれら画像に重畳されたウィンドウ４１、４２に表示される。
【００５７】
いずれの場合においても、ビデオシーケンス１８を要約するコンパクトで比較的有益なシーケンス３７が得られ、限られたリソースしか持たない装置における迅速な閲覧又はモバイルの視聴のために適したものとなる。
【００５８】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。
【００５９】
例えば、ハイライトセグメント１９−２１及び応答セグメント２５−２７を検出するステップ３２−３６のうち１つ以上が、付加的に又は代替的に、要約され同じコンテンツ信号に含められるべきビデオシーケンス１８と同期されたオーディオトラックの特性の解析に基づいても良い。
【００６０】
「コンピュータプログラム」は、光ディスクのようなコンピュータ読み取り可能な媒体に保存されたもの、インターネットのようなネットワークを介してダウンロード可能なもの、又は他のいずれかの態様で入手可能な、いずれのソフトウェアをも意味するものと理解されるべきである。
【図１】
2011504702.tif 000003
【図２】
2011504702.tif 000004
【図３】
2011504702.tif 000005
【図４】
2011504702.tif 000006
【国際調査報告】
2011504702.tif 000007
2011504702.tif 000008