(57)【要約】ビデオ材料のビジュアルサマリを作成することのできるシステムにおいて用いるための、ビデオ材料のコンパクトビジュアルサマリを作成する装置及び方法が開示される。１つの有利な実施例では、本発明の装置は、ビジュアルサマリコントローラを含み、このコントローラは、ビデオ材料のキーフレームを受信し、キーフレームからフレームサインを抽出し、フレームサインを用いてキーフレームからスーパヒストグラムを作成し、フレームサイン及びスーパヒストグラムを用いてビデオ材料のコンパクトビジュアルサマリを作成することができる。ビジュアルサマリコントローラは、スーパヒストグラムを用いてキーフレームをフィルタリング且つクラスタリングし、クラスタリングされたキーフレームからの代表キーフレームをコンパクトビジュアルサマリに追加する。ビジュアルサマリ取出しモジュールは、ユーザ要求に応答して、コンパクトビジュアルサマリを取出しし且つ表示する。
2004533172.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ材料のビジュアルサマリを作成可能なシステムに用いる、ビデオ材料のコンパクトビジュアルサマリを作成する装置であって、
上記ビデオ材料のキーフレームを受信可能なビジュアルサマリコントローラを含み、
上記ビジュアルサマリコントローラは、上記キーフレームからフレームサインを抽出し、上記フレームサインを用いて上記キーフレームからスーパヒストグラムを作成し、上記フレームサイン及び上記スーパヒストグラムを用いて、上記ビデオ材料のコンパクトビジュアルサマリを作成することができる装置。
【請求項２】
上記ビジュアルサマリコントローラは、上記キーフレームをフィルタリングし、且つ、上記ビデオ材料のコンパクトビジュアルサマリを作成するために、上記スーパヒストグラムを作成するのに用いる前に、フレームサインを、上記フィルタリングされたキーフレームから抽出することができる請求項１記載の装置。
【請求項３】
上記ビジュアルサマリコントローラは、上記フィルタリングされたキーフレームをクラスタリングするよう上記スーパヒストグラムを用い、且つ、上記クラスタリングされたキーフレームからの代表的なキーフレームを上記ビデオ材料の上記コンパクトビジュアルサマリに加えることにより、上記ビデオ材料の上記コンパクトビジュアルサマリを作成することのできる請求項２記載の装置。
【請求項４】
上記フレームサインは、ヒストグラムである請求項２記載の装置。
【請求項５】
クラスタリングのための距離尺度は、Ｌ１距離尺度法、Ｌ２距離尺度法、ヒストグラムインタセクション法、カイ二乗テスト法、及び、ビン‐ワイズヒストグラムインタセクション法のうちの１つにより計算されるヒストグラムの差分に等しい請求項３記載の装置。
【請求項６】
ビジュアルサマリコントローラは、上記スーパヒストグラムのそれぞれについて代表画像を選択することができ、
上記代表画像は、各ファミリーヒストグラムにおける第１の画像、各スーパヒストグラムにおいて最も意味のある画像、ランダムに選択される画像、及び、クラスタ中心に一番近い画像のうちの１つである請求項３記載の装置。
【請求項７】
上記ビジュアルサマリコントローラは、上記ビデオ材料の上記コンパクトビジュアルサマリを作成するのに用いるファミリーヒストグラムを選択することができる請求項５記載の装置。
【請求項８】
上記ビジュアルサマリコントローラは更に、
メモリユニット内に記憶されるコンパクトビジュアルサマリを取出し、上記取出しされたコンパクトビジュアルサマリを、ユーザ要求に応じて表示させることのできるビジュアルサマリ取出しモジュールを含む請求項１記載の装置。
【請求項９】
上記ビジュアルサマリコントローラは、上記コンパクトビジュアルサマリを用いて、上記ビデオ材料の少なくとも一部にアクセスすることができる請求項３記載の装置。
【請求項１０】
上記ビジュアルサマリコントローラは、上記コンパクトビジュアルサマリを用いて、新しいビデオ材料を作成することができる請求項３記載の装置。
【請求項１１】
ビデオ材料のビジュアルサマリを作成することのできるシステムであって、
上記システムは、ビデオ材料のコンパクトビジュアルサマリを作成する装置を含み、
上記装置は、
上記ビデオ材料のキーフレームを受信可能なビジュアルサマリコントローラを含み、
上記ビジュアルサマリコントローラは、上記キーフレームからフレームサインを抽出し、上記フレームサインを用いて上記キーフレームからスーパヒストグラムを作成し、上記フレームサイン及び上記スーパヒストグラムを用いて、上記ビデオ材料のコンパクトビジュアルサマリを作成することができる、システム。
【請求項１２】
ビデオ材料のビジュアルサマリを作成することのできるシステムにおいて用いる、ビデオ材料のコンパクトビジュアルサマリを作成する方法であって、
上記ビデオ材料のキーフレームを、ビジュアルサマリコントローラにおいて受信する段階と、
上記キーフレームからフレームサインを抽出する段階と、
上記フレームサインを用いて、上記キーフレームからスーパヒストグラムを作成する段階と、
上記フレームサイン及び上記スーパヒストグラムを用いて、上記ビデオ材料のコンパクトなビジュアルサマリを作成する段階と、を含む方法。
【請求項１３】
ビデオ材料のビジュアルサマリを作成することのできるシステムにおいて用いる、ビデオ材料のコンパクトビジュアルサマリを作成するために、コンピュータ可読記憶媒体上に記憶されるコンピュータ実行可能な命令であって、
上記ビデオ材料のキーフレームを、ビジュアルサマリコントローラにおいて受信する段階と、
上記キーフレームからフレームサインを抽出する段階と、
上記フレームサインを用いて、上記キーフレームからスーパヒストグラムを作成する段階と、
上記フレームサイン及び上記スーパヒストグラムを用いて、上記ビデオ材料のコンパクトビジュアルサマリを作成する段階と、を含む命令。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオ材料のビジュアルサマリの作成に関り、より具体的には、スーパヒストグラム及びフレームサインを用いてコンパクトなビジュアルサマリを作成するシステム及び方法に係る。
【背景技術】
【０００２】
様々な種類のビデオレコーダが、市場において入手可能である。多くの人々は、ビデオカセットレコーダ（ＶＣＲ）を所有するか、又は、ビデオカセットレコーダに馴染みがある。ビデオカセットレコーダは、ビデオ番組を磁気カセットテープに記録する。最近では、市場には、ビデオ番組を記憶するために、磁気カセットテープではなく、コンピュータ磁気ハードディスクを用いるビデオレコーダが登場している。例えば、リプレイＴＶ（商標）レコーダ及びティボＴＶ（商標）レコーダは、テレビジョン番組を、例えば、ＭＰＥＧビデオ圧縮規格を用いて、ハードディスクドライブ上にデジタル記録する。更に、一部のビデオレコーダは、磁気ディスクではなく、読み出し可能／書き込み可能なデジタルバーサトルディスク（ＤＶＤ）上に記録し得る。
【０００３】
ビデオレコーダが普及することにより、大量のビデオ材料が発生し、また、発生し続けている。大量のビデオ材料の存在は、ビデオ材料のサマリを作成することのできるシステムの需要をもたらした。ビデオ材料のサマリは、ビジュアルサマリ、オーディオサマリ、又はテキストサマリ、或いは、ビジュアル、オーディオ、及びテキストサマリの組合せであり得る。ビジュアルサマリを作成する現行の方法は、ビデオ材料からキーフレームを抽出することが関連する。ビジュアルサマリを作成する改善方法は、キーフレームからフレームサインを抽出し、そのフレームサインを用いて、キーフレームをフィルタリングすることが関連する。しかし、これらの方法は依然として、フィルタリング処理が終了した後でも、大量のキーフレームを残してしまう。
【０００４】
多くの現行の装置は、有限の記憶容量を有する。例えば、携帯情報端末（ＰＤＡ）及び他の類似する種類の装置は、大量のデータを記憶することができない。これらの装置は、多数のキーフレームを含むビジュアルサマリを効果的に利用することができない。
【０００５】
従って、コンパクトなビジュアルサマリを作成することのできる改善されたシステム及び方法が必要である。従来技術のビジュアルサマリが含むよりも少ないキーフレームを含むコンパクトなビジュアルサマリを選択的に作成することのできる改善されたシステム及び方法が必要である。
【０００６】
［発明の概要］
本発明は、コンパクトビジュアルサマリを作成する改善されたシステム及び方法を提供することを目的とする。
【０００７】
本発明は更に、スーパヒストグラム及びフレームサインを用いてコンパクトビジュアルサマリを作成する改善されたシステム及び方法を提供することを目的とする。
【０００８】
１つの有利な実施例では、本発明の装置は、（１）ビデオ材料のキーフレームを受信し、（２）キーフレームからフレームサインを抽出し、（３）フレームサインを用いてキーフレームからスーパヒストグラムを作成し、（４）フレームサイン及びスーパヒストグラムを用いてビデオ材料のコンパクトビジュアルサマリを作成することのできるビジュアルサマリコントローラを含む。ビジュアルサマリコントローラは、スーパヒストグラムを用いて、キーフレームをフィルタリングし、且つ、クラスタリングし、そして、クラスタリングされたキーフレームからの代表フレームを、コンパクトビジュアルサマリに加える。
【０００９】
ビジュアルサマリコントローラは更に、記憶装置からビジュアルサマリを取出しし、ユーザ要求に応じて、そのビジュアルサマリを表示するビジュアルサマリ取出しモジュールを含む。
【００１０】
上述は、当業者が、以下に続く本発明の詳細な説明をより理解することができるよう、本発明の特徴及び技術的な利点を広く概説したものである。本発明の特許請求の範囲の対象を形成する本発明の追加の特徴及び利点は、以下に説明する。当業者は、開示される概念及び特定の実施例を、本発明と同一の目的を行うための他の構造に修正する又は設計する基礎として容易に利用し得ることを理解するものとする。当業者は、そのような等価の構成は、広い意味において、本発明の技術的思想及び範囲から逸脱しないことを認識すべきである。
【００１１】
本発明の詳細な説明に入る前に、本文書に用いる特定の言葉及び表現の定義を示すことが有利であろう。「含む」、「構成する」、及びそれらの派生語は、制限無しの含有を意味し、「又は」という言葉は、包含的であり、及び／又はを意味し、「関連付けられる」及びその派生語は、含む、〜に含まれる、〜と相互接続する、含有する、〜に含有される、接続する、結合する又は連通する、協働する、交互配置する、並列する、〜に近接する、〜により境界付けられる、有する、〜の特性を有する等を意味し得る。「コントローラ」、「プロセッサ」、又は、「装置」という言葉は、少なくとも１つの演算を制御する任意の装置、システム、又は、それらの一部を意味し、そのような装置は、ハードウェア、ファームウェア、又はソフトウェア、或いは、それらの少なくとも２つの組合わせにおいて実現され得る。尚、任意の特定のコントローラに関連付けられる機能性は、ローカル又は遠隔において集中されても分散されてもよい。特に、コントローラは、１つ以上のアプリケーションプログラム及び／又はオペレーティングシステムプログラムを実行する、１つ以上のデータプロセッサと、関連付けられる入力／出力装置と、メモリを含み得る。特定の言葉及び表現の定義は、この特許文書全体に与えられる。当業者は、多くの、或いは、大抵の場合において、このような定義は、そのような言葉及び表現の以前の及び将来における使用にも適用しうることを理解するものとする。
【００１２】
［発明の詳細な説明］
本発明、及び、本発明の利点をより完全に理解するために、添付図面とともになされる以下の説明を参照する。図中、同様の番号は、同様の対象物を指し示す。
【００１３】
本特許文書における本発明の原理を説明するために以下に説明する図１乃至４、及び、様々な実施例は、例示的に過ぎず、本発明の範囲を制限するものではない。以下の例示的な実施例の説明において、本発明は、１つの特定のタイプのビジュアルサマリを作成するシステムに組み込まれて、又は、関連して用いられる。当業者は、本発明の例示的な実施例は、ビジュアルサマリを作成する他のタイプのシステムにおいて用いるよう容易に修正可能であることを認識するであろう。
【００１４】
図１は、ビジュアルサマリを作成する例示的なシステム１００を示すブロック図である。システム１００は、ビデオプロセッサ１１０を含む。ビデオプロセッサ１１０は、ビデオ信号を受信し、ビデオ信号をフレームの形式を整え、キーフレームを識別する。このようなタイプのビデオプロセッサの１つの例は、「Significant  Scene  Detection  and  Frame  Filtering  for  a  Visual  Indexing  System」なる名称で、２０００年１０月２４日にディミトロバ（Ｄｉｍｉｔｒｏｖａ）外に発行された米国特許第６，１３７，５４４号に説明される。米国特許第６，１３７，５４４号及びその開示内容は、本願に記載したものとして本願に参考として組み込む。
【００１５】
ビデオプロセッサ１１０は、キーフレームをメモリユニット１２０に記憶する。メモリユニット１２０は、ランダムアクセスメモリ（ＲＡＭ）を含み得る。メモリユニット１２０は、フラッシュメモリのような不揮発性ランダムアクセスメモリ（ＲＡＭ）を含み得る。メモリユニット１２０は、ハードディスクドライブ（図示せず）といった大容量記憶データ装置を含み得る。メモリユニット１２０は、読み出し／書き込みＤＶＤ又は書き換え可能ＣＤ−ＲＯＭを読み出す付属の周辺ドライブ、又は、着脱可能なディスクドライブ（埋め込み式又は付属式）を含み得る。図１に示すように、このタイプの着脱可能なディスクドライブは、書き換え可能なＣＤ−ＲＯＭディスク１２５を受容し、読み出すことが可能である。
【００１６】
ビデオプロセッサ１１０は、キーフレームを、本発明のコントローラ１３０に供給する。コントローラ１３０は、ビデオプロセッサ１１０から制御信号を受信し、且つ、ビデオプロセッサ１１０に制御信号を送信することができる。コントローラ１３０は更に、メモリユニット１２０を介しても、ビデオプロセッサ１１０に接続する。後で詳細に説明するように、コントローラ１３０は、ビデオプロセッサ１１０から受信したキーフレームから、コンパクトなビジュアルサマリを作成することができる。コントローラ１３０は、従来技術のビジュアルサマリシステムにより作成されるビジュアルサマリにおけるキーフレームの数よりも少ないキーフレームを含むコンパクトビジュアルサマリを作成する。コントローラ１３０は、各コンパクトビジュアルサマリを、メモリユニット１２０内に記憶する。ビデオプロセッサ１１０は、ユーザの要求に応じて、メモリユニット１２０に記憶されるコンパクトビジュアルサマリにアクセスして、そのコンパクトビジュアルサマリを、ユーザが見る表示装置（図示せず）に出力する。
【００１７】
図１に示すように、コントローラ１３０は、キーフレームフィルタモジュール１４０と、カラー情報モジュール１５０と、ヒストグラム及びキーフレーム選択モジュール１６０と、ビジュアルサマリモジュール１７０と、ビジュアルサマリ取出しモジュール１８０を含む。以下に詳細に説明するように、キーフレームフィルタモジュール１４０は、キーフレームからフレームサインを抽出し、そのフレームサインを用いて、コントローラ１３０がビデオプロセッサ１１０から受信するキーフレームをフィルタリングする。カラー情報モジュール１５０は、フィルタリングされたキーフレームからカラー情報を生成する。ヒストグラム及びキーフレーム選択モジュール１６０は、カラー情報からスーパヒストグラムを導き出し、スーパヒストグラムから代表的なキーフレームを選択する。ビジュアルサマリモジュール１７０は、選択されたキーフレーム画像を用いてコンパクトビジュアルサマリを作成する。ビジュアルサマリモジュール１７０は、コンパクトビジュアルサマリをメモリユニット１２０内に記憶する。
【００１８】
ビジュアルサマリ取出しモジュール１８０は、ビデオプロセッサ１１０を介して受信するユーザの要求に応じて、ユーザの要求にマッチングするビジュアルサマリにアクセスする。マッチが見つかると、ビジュアルサマリ取出しモジュール１８０は、適切なビジュアルサマリをビデオプロセッサ１１０に識別する。ビデオプロセッサ１１０は、次に、ビジュアルサマリを、ユーザのために表示装置（図示せず）に出力する。
【００１９】
コントローラ１３０は、コンパクトビジュアルサマリを作成するのに用いられるべき適切なキーフレームを識別しなければならない。本発明の有利な実施例は、ビデオ材料のコンパクトビジュアルサマリを作成するために用いられる適切なキーフレームを識別することのできるコンピュータソフトウェア２００を含む。図２は、本発明のコンピュータソフトウェア２００を含むメモリユニット１２０の選択された一部を示す。メモリユニット１２０は、オペレーティングシステムインタフェースプログラム２１０と、キーフレームフィルタアプリケーション２２０と、カラー情報アプリケーション２３０と、スーパヒストグラムアプリケーション２４０と、キーフレーム選択アプリケーション２５０と、ビジュアルサマリアプリケーション２６０と、ビジュアルサマリ記憶場所２７０を含む。
【００２０】
コントローラ１３０及びコンピュータソフトウェア２００は共に、本発明を実行することのできるビジュアルサマリコントローラを構成する。メモリユニット１２０内に記憶されるコンピュータソフトウェア２００の命令に従って、コントローラ１３０は、ビデオ材料のコンパクトビジュアルサマリを作成し、そのコンパクトビジュアルサマリをビジュアルサマリ記憶場所２７０に記憶し、ユーザの要求にて、記憶されたビジュアルサマリを再生する。オペレーティングシステムインタフェースプログラム２１０は、コンピュータソフトウェア２００の動作とコントローラ１３０のオペレーティングシステムとを調整する。
【００２１】
コンパクトビジュアルサマリを作成するために、本発明のビジュアルサマリコントローラ（コントローラ１３０及びソフトウェア２００を含む）は、最初に、キーフレームフィルタアプリケーション２２０を実行して、コントローラ１３０がビデオプロセッサ１１０から受信したキーフレームから、フレームサインを抽出する。次に、キーフレームフィルタアプリケーション２２０は、フレームサインを用いて、キーフレームをフィルタリングする。フィルタリング処理は、キーフレームの数を減らす。
【００２２】
コントローラ１３０は次に、カラー情報アプリケーション２３０を実行して、フィルタリングされたキーフレームからカラー情報を導き出す。コントローラ１３０は次に、スーパヒストグラムアプリケーション２４０を実行して、カラー情報からスーパヒストグラムを導き出す。スーパヒストグラムアプリケーション２４０は、１９９９年１０月日本で開催されたＩＥＥＥ画像処理国際会議のプロシーディングス第３版のｐ．３１４から３１８に記載される、ディミトロバ外による「Color  Super  Histogram  for  Video  Representation」なる記事に説明される原理に基づいて演算する。この記事は、全ての目的のために本願に参考として組み込む。スーパヒストグラムアプリケーション２４０は、「A  Histogram  Method  for  Characterizing  Video  Content」なる名称で、マーティノ外により、１９９８年７月１６日に出願された同時係属中の米国特許出願番号０９／１１６，７６９に説明する原理に基づいて演算する。米国特許出願番号０９／１１６，７６９における開示内容は、全ての目的のために本願に参考として組み込む。
【００２３】
スーパヒストグラムアプリケーション２４０は、個々の場面のカラーヒストグラムを計算し、それらのヒストグラムを、比較尺度に基づいて、ファミリーヒストグラムと称する単一の累積ヒストグラムにまとめることによりスーパヒストグラムを計算する。ファミリーヒストグラムは、もともとは、２つの場面の色の結合（color  union）を表す。新しいフレームが追加されるにつれて、ファミリーヒストグラムは、各場面からの新しい色を累積する。新しいフレームのヒストグラムが、前に構築されたファミリーヒストグラムと異なるとき、新しいファミリーヒストグラムが形成される。例えば、１つの完全なテレビジョン番組は、幾つかのファミリーヒストグラムによって表され得る。ファミリーヒストグラムのセットは、それらが表すビデオの時間的セグメントの長さについて順序付けられる。ファミリーヒストグラムの順序付けられたセットを、スーパヒストグラムと称する。
【００２４】
「Color  Super  Histograms  for  Video  Representation」の記事に説明されるように、ヒストグラムの差分は、以下の方法のうちいずれかを用いて計算され得る。即ち、（１）Ｌ１距離尺度と、（２）Ｌ２距離尺度と、（３）ヒストグラムインタセクションと、（４）カイ二乗テストと、（５）ビンワイズ（Ｂｉｎ−ｗｉｓｅ）ヒストグラムインタセクションである。スーパヒストグラムアプリケーション２４０は、ビデオカット間の距離により重み付けされるキーフレーム間のヒストグラムの差分に等しいクラスタリングのための距離尺度を計算する。
【００２５】
図３は、３つのファミリーヒストグラムを含む例示的なスーパヒストグラムを示す。図３に示すスーパヒストグラムは、カイ二乗距離尺度と５０パーセント（％）の閾値を用いて得られた。３つのファミリーヒストグラムは、「ファミリー０」、「ファミリー１」、及び、「ファミリー２」と示す。この例示的な例では、ファミリー０は、４２のキーフレームを有し、ファミリー１は１７のキーフレームを有し、ファミリー２は、１つのキーフレームを有する。この３つのファミリーヒストグラム（と関連付けられる情報）が、スーパヒストグラムを形成する。
【００２６】
以下に示す表Ｉは、自動的に抽出されるキーフレームを用いるスーパヒストグラム抽出方法の最終結果の例示的なセットを含む。この方法は、「Color  Super  Histogram  for  Video  Representation」の記事に十分に説明されている。表Ｉは、様々な閾値を用いた５つのヒストグラムの差分を計算する方法（即ち、比較方法）の結果を示す。結果が示すように、小さい閾値に対し導き出されるファミリーの総数は、１８０から５００の範囲に及ぶ。しかし、類似性の閾値が大きくなるにつれ、ファミリーの数は小さくなるが、継続時間は長くなる（即ち、フレームの数が大きくなる）。
【００２７】
【表１】
2004533172.tif 000003
表Ｉは、１つの選択されたテレビジョン番組（即ち、サインフィルド（Ｓｅｉｎｆｅｌｄ）テレビジョン番組の１つのエピソード）についての、様々な閾値及びヒストグラムの差分方法に対してのスーパヒストグラムファミリーをまとめる。表Ｉでは、文字「Ａ」は、形成されたファミリーの数を表す。文字「Ｂ」は、フレームにおいて最も長いファミリーの継続時間を表す。文字「Ｃ」は、最も長いファミリーにおけるキーフレームの数を表す。
【００２８】
「Color  Super  Histogram  for  Video  Representation」の記事により完全に説明されるように、ヒストグラム距離尺度の閾値を変更することにより、スーパヒストグラム方法は、所望の数のキーフレームのファミリー（即ち、クラスタ）を生成することができる。数は、「コンパクト」ビジュアルサマリを得るために選択的に変えることができる。
【００２９】
例えば、サインフィルドテレビジョン番組のエピソードのスーパヒストグラムから５つのファミリーを表す５つのフレームを得ることを希望するとする。その場合、５０パーセント（％）の閾値とＬ２距離尺度を用いることができる。５の数は、表Ｉにおいて、Ｌ２距離尺度の５０パーセント（％）の閾値のもとにある列Ａ内に位置付けられる。別の例として、サインフェルドテレビジョン番組のエピソードのスーパヒストグラムから２つのファミリーを表す２つのフレームを得ることを希望するとする。その場合、７５パーセント（％）の閾値とＬ１距離尺度を用いることができる。２の数は、表Ｉにおいて、Ｌ１距離尺度（又はヒストグラムインタセクション）の７５パーセント（％）の閾値のもとにある列Ａ内に位置付けられる。
【００３０】
コントローラ１３０は、キーフレーム選択アプリケーション２５０を実行して、各スーパヒストグラムに対し代表的なキーフレーム画像を選択する。選択された代表的なキーフレーム画像は、（１）ファミリーヒストグラムにおける第１の画像、又は、（２）スーパヒストグラムにおける最も意味のある画像、又は、（３）ランダムに選択される画像又はクラスタ（ファミリー）中心に最も近い画像のうちのいずれかから選択されることが可能である。「意味のある画像」という言葉は、人の顔、重要なテキストなどを有するフレームのことを指す。ビジュアルサマリアプリケーション２６０は、次に、選択されたキーフレーム画像を用いてコンパクトビジュアルサマリを作成する。
【００３１】
ビジュアルサマリアプリケーション２６０が、その演算を終了した後、コントローラ１３０は、結果として得られるコンパクトビジュアルサマリを、メモリユニット１２０内のビジュアルサマリ記憶場所２７０に記憶する。ビジュアルサマリ取出しモジュール１８０は、メモリユニット１２０内に記憶されるコンパクトビジュアルサマリを取出し、取出しされたコンパクトビジュアルサマリを、上述したような方法で表示することが可能である。
【００３２】
ユーザ要求に応じて、コントローラ１３０は、コンパクトビジュアルサマリによってまとめられるビデオ材料の選択された部分にアクセスすることができる。ビデオ材料の選択された部分は、ビデオプロセッサ１１０によって表示される。ビデオ材料にアクセスするには、コントローラ１３０は、キーフレーム画像を特定し且つ選択するユーザ要求を受信する。コントローラ１３０は次に、その選択されたキーフレーム画像を含むコンパクトビジュアルサマリを、メモリユニット１２０から取出しする。コントローラ１３０は、コンパクトビジュアルサマリを用いて、ビデオ材料の対応する部分にアクセスする（即ち、ビデオ材料の対応する部分の場所を特定する）。コントローラ１３０は次に、ビデオ材料の場所情報をビデオプロセッサ１１０に送信する。次に、ビデオプロセッサ１１０は、ビデオ材料の選択された部分を表示する。
【００３３】
ユーザ要求に応じて、コントローラ１３０は、コンパクトビジュアルサマリを用いて、まとめられたビデオ材料の選択された部分を集めて新しいビデオ材料を形成することもできる。新しいビデオ材料を作成するには、コントローラ１３０は、キーフレーム画像を特定し且つ選択するユーザ要求を受信する。次に、コントローラ１３０は、メモリユニット１２０から、選択されたキーフレーム画像を含むコンパクトビジュアルサマリを取出しする。コントローラ１３０は、このコンパクトビジュアルサマリを用いて、ビデオ材料の対応する部分にアクセスする（即ち、ビデオ材料の対応する部分の場所を特定する）。次に、コントローラ１３０は、場所情報を、ユーザによって指示されたように新しい構成に組み立てる。場所情報は、ビデオ材料の選択される部分を新しいビデオ材料に構成する。次に、コントローラ１３０は、新しいビデオ材料の個々の選択される部分の場所情報を、ビデオプロセッサ１１０に送信する。ビデオプロセッサ１１０は、この新しいビデオ材料を表示する。
【００３４】
図４は、本発明の方法の有利な実施例のフローチャートを示す。本発明の方法の段階は、参照番号４００として集合的に称する。コントローラ１３０は、キーフレームをビデオプロセッサ１１０から受信する（段階４０５）。次に、コントローラ１３０は、キーフレームからフレームサインを抽出し、キーフレームをフィルタリングする（段階４１０）。次に、コントローラ１３０は、フィルタリングされたキーフレームからカラー情報を導き出す（段階４１５）。
【００３５】
次に、コントローラ１３０は、カラー情報からスーパヒストグラムを導き出す（段階４２０）。次に、コントローラ１３０は、各ファミリーヒストグラムに対し代表的なキーフレーム、又は、複数のキーフレームからなる代表的なセットを選択する（段階４２５）。次に、コントローラ１３０は、選択されたキーフレーム画像からコンパクトビジュアルサマリを作成する（段階４３０）。次に、コントローラ１３０は、そのコンパクトビジュアルサマリを、メモリユニット１２０内のビジュアルサマリ記憶場所２７０に記憶する（段階４３５）。ユーザにより要求されると、ビジュアルサマリ取出しモジュール１８０は、メモリ１２０からビジュアルサマリを取出し、それを表示する（段階４４０）。
【００３６】
本発明は、本発明の特定の実施例に関して詳細に説明したが、当業者は、本発明の技術的思想及び範囲のその最も広い形式から逸脱することなく、本発明に様々な変更、置換え修正、交替、及び、適応を行うことができることを理解するものとする。
【図面の簡単な説明】
【００３７】
【図１】本発明の有利な実施例を構成するビジュアルサマリを作成する例示的なシステムを示すブロック図である。
【図２】本発明の有利な実施例とともに用いられ得るコンピュータソフトウェアを示す図である。
【図３】３つのファミリーヒストグラムを含む例示的なスーパヒストグラムを示す図である。
【図４】本発明の方法の有利な実施例を示すフローチャートである。
【図１】
2004533172.tif 000004
【図２】
2004533172.tif 000005
【図３】
2004533172.tif 000006
【図４】
2004533172.tif 000007
【国際公開パンフレット】
2004533172.tif 000008
2004533172.tif 000009
2004533172.tif 000010
2004533172.tif 000011
2004533172.tif 000012
2004533172.tif 000013
2004533172.tif 000014
2004533172.tif 000015
2004533172.tif 000016
2004533172.tif 000017
2004533172.tif 000018
2004533172.tif 000019
2004533172.tif 000020
2004533172.tif 000021
2004533172.tif 000022
2004533172.tif 000023
2004533172.tif 000024
【国際公開パンフレット（コレクトバージョン）】
2004533172.tif 000025
【国際調査報告】
2004533172.tif 000026
2004533172.tif 000027
2004533172.tif 000028