(57)【要約】【課題】  ビデオ材料を要約化し、ビデオ要約化プロセスを自動化およびカスタマイズする方法を提供する。【解決手段】  本発明にかかるビデオシーケンス中のシーンを併合し、キーフレームを構築して基礎となる併合されたビデオの内容を表す方法は、ビデオシーケンスを一連の構成要素シーンに分解するステップ、所定数のシーンセットが残るまで構成要素シーン対を併合するステップ、単一の構成要素シーンを含む各シーンセットからキーフレームを抽出するステップ、および複数の構成要素シーンを含む各シーンセットに新しいキーフレームを構築するステップを含む。
2005524916.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンス（１０）を要約する方法であって、
ビデオシーケンス（１０）を一連の構成要素シーン（１２）に分解するステップと、
前記構成要素シーンのそれぞれに重要値を割り当てるステップと、
所定数のシーンセット（Ｓ'）が残るまで構成要素シーン（１２）対を併合するステップと、
単一の構成要素シーン（１２）を含む各シーンセット（Ｓ'）から、キーフレーム（１８）を抽出するステップと、
複数の構成要素シーン（１２）を含む各シーンセット（Ｓ'）に、新しいキーフレームを構築するステップと
を含むビデオシーケンスを要約する方法。
【請求項２】
構成要素シーン対（１２）を併合することは、
隣接するすべての構成要素シーン（１２）対の前記重要値を合算するステップと、
最小の重要値和を有する前記構成要素シーン（１２）対を併合するステップと
を含む
請求項１に記載のビデオシーケンスを要約する方法。
【請求項３】
隣接するすべての構成要素シーン（１２）対の前記重要値を、繰り返し合算するステップと、
前記所定数（Ｍ）のシーンセット（Ｓ'）が残るまで、最小の重要値和を有する前記構成要素シーン（１２）対を併合するステップと
をさらに含む請求項２に記載のビデオシーケンスを要約する方法。
【請求項４】
前記複数の構成要素シーン（１２）を含む各シーンセット（Ｓ'）に、新しいキーフレーム（１８）を構築することは、
前記構成要素シーン（１２）から所定数の構成要素キーフレーム（１８）を選択するステップと、
前記構成要素キーフレーム（１８）の重要値に基づいて、所定の新キーフレーム表示エリア（３０）内に、前記構成要素キーフレーム（１８）を配置してサイズ変更するステップと
を含む
請求項１に記載のビデオシーケンスを要約する方法。
【請求項５】
前記構成要素キーフレーム（１８）を配置してサイズ変更することは、
前記構成要素キーフレーム（１８）を、前記所定の新キーフレーム表示エリア（３０）をカバーする格子空間に割り当てるステップと、
前記割り当てられた構成要素キーフレーム（１８）の前記重要値に基づいて、前記格子空間を所定のサイズに拡張するステップと
を含む
請求項４に記載のビデオシーケンスを要約する方法。
【請求項６】
前記格子空間を所定のサイズに拡張することは、
拡張された格子空間を避けるように、拡張されない格子空間を押しやるステップと、
前記所定の新キーフレーム表示エリア（３０）外に押しやられた格子空間を破棄するステップと
を含む
請求項５に記載のビデオシーケンスを要約する方法。
【請求項７】
前記複数の構成要素シーンを含む各シーンセット（Ｓ'）に、新しいキーフレーム（１８）を構築することは、
前記シーンセット（Ｓ'）中の前記構成要素シーン（１２）から所定数の構成要素キーフレーム（１８）を選択するステップと、
前記構成要素キーフレーム（１８）をそれぞれの重要値により順序付けるステップと、
前記構成要素キーフレーム（１８）のそれぞれを複数の予め定められた可視レベルのうちの１つに量子化するステップと、
前記構成要素キーフレーム（１８）を、所定の新キーフレーム表示エリア（３０）をカバーする格子空間に割り当てるステップと、
前記割り当てられた構成要素キーフレーム（１８）の前記可視レベルに基づいて、前記格子空間を所定のサイズに順次拡張するステップと、
拡張された格子空間を避けるように、拡張されない格子空間を移すステップと、
前記所定の新キーフレーム表示エリア（３０）外に移された格子空間を破棄するステップと
を含む
請求項１に記載のビデオシーケンスを要約する方法。
【請求項８】
９個の構成要素キーフレーム（１８）が、前記構成要素シーン（１２）から選択される
請求項７に記載のビデオシーケンスを要約する方法。
【請求項９】
前記構成要素キーフレーム（１８）は、それぞれ３つの可視レベルのうちの１つに量子化される
請求項７に記載のビデオシーケンスを要約する方法。
【請求項１０】
前記複数の可視レベルは、
それぞれ関連する表示サイズ
を有し、
最大表示サイズは、最小表示サイズの少なくとも２倍である
請求項７に記載のビデオシーケンスを要約する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の分野］
本発明は、包括的にはビデオ材料の要約化に関し、詳細にはビデオ要約化プロセスの自動化およびカスタマイズに関する。
【背景技術】
【０００２】
［発明の背景］
デジタルビデオは、コンピュータ業界および電気通信業界で急成長している要素である。
多くの企業、大学、さらには家庭がすでに、アナログフォーマットのビデオおよびデジタルフォーマットのビデオの両方を大量に収納している。
例としては、放送ニュースに使用されるビデオ、訓練・教育ビデオ、セキュリティ監視ビデオ、およびホームビデオが挙げられる。
デジタルビデオの急速な発達により、多くの人々がマルチメディアを取り込みマルチメディアと対話する方法が変化しつつあり、その過程の中で多くの新しいニーズおよび用途がもたらされた。
【０００３】
このような一用途はビデオ要約である。
ビデオ要約は、名称が示すようにより長いビデオシーケンスの内容を短くまとめたものであり、オリジナルの本質的なメッセージを良い状態で保持しながら、ビデオシーケンスの内容についての簡潔な情報をユーザに提供する。
理論上、ビデオ要約は手動で、または自動的に生成することができる。
しかし、大量のビデオデータがすでに存在し、作成される新しいビデオデータの量が今後も増え続けることから、ビデオ要約を手動で生成することはますます困難になっている。
したがって、ビデオ要約プロセスにおいて人間の介入を減らすように、完全に自動化されたビデオ解析・処理ツールを開発することがますます重要になりつつある。
【０００４】
２つの基本的に異なる種類のビデオ要約、すなわち静止画像要約および動画像要約がある。
静止画像要約は、ビデオサマリとも呼ばれ、基礎となるビデオソースから抽出または生成された目立った画像（キーフレームとして知られる）の小さな集まりである。
動画像要約は、ビデオスキミングとも呼ばれ、画像シーケンスの集まり、ならびにオリジナルシーケンスから抽出された対応するオーディオ要約からなり、したがってそれ自体、長さのかなり短いビデオクリップである。
一般にビデオサマリは、視覚的情報のみが利用され、オーディオ情報またはテキスト情報を処理する必要がないため、スキミングよりもはるかに素早く構築することができる。
したがってビデオサマリは、タイミングすなわち同期の問題がないことからより容易に表示することができる。
さらに、抽出されたすべての代表フレームの時間順を空間順で表示することができ、したがって、ユーザはビデオの内容をより素早く把握することができる。
最後に、必要なときに、ビデオサマリ中の抽出静止画像をすべて非常に容易にプリントアウトすることができる。
【０００５】
ビデオ要約化は、いずれの記憶媒体（テープ、ディスク等）中のビデオシーケンスにも適用して使用することが可能であるが、対象となる一般的な一記憶媒体はＤＶＤビデオディスクである。
ＤＶＤビデオは、人々がマルチメディア情報を利用する方法を劇的に変えつつある。
ＤＶＤビデオディスクの大きな記憶容量は、静止画像、テキスト、ビデオ、およびオーディオに対して理想的な記憶場所を提供する。
ＤＶＤビデオフォーマットによりサポートされるナビゲーション機能により、媒体の内容に対話的にアクセスすることができる。
ＤＶＤディスクに記憶することができる様々な媒体タイプに適応するために、ＤＶＤビデオフォーマット仕様に従って媒体を編成（organize）し、このように編成された媒体の内容をＤＶＤディスクにエキスポートする技術に対するニーズが増している。
この技術は一般に「ＤＶＤオーサリング」と呼ばれ、ＤＶＤオーサリングの本質的な一タスクは、ビデオソースからＤＶＤビデオタイトルおよびナビゲーション構造を作成することである。
【０００６】
ＤＶＤビデオタイトル構造は主に、対話型閲覧用にビデオの内容を編成するために使用される２つのエンティティ、すなわちタイトルおよびチャプタからなる。
ＤＶＤディスクのフォーマットにより、ＤＶＤディスクは最大で９９個のタイトルを収容することが可能であり、１タイトルは最大で９９個のチャプタを収容することが可能である。
したがってタイトルおよびチャプタは、全体のビデオシーケンスを意味のある部分に分け、各タイトルおよび／またはチャプタが１つの特定のビデオ部分の入口点である。
【０００７】
ＤＶＤオーサリングでは、ビデオシーケンスからタイトルおよびチャプタの構造を自動的に作成できることが非常に重要である。
たとえば、Hewlett PackardのＭｙＤＶＤアプリケーションでは、ユーザがビデオからＤＶＤを自動的に作成することを選択すると、シーン検出アルゴリズムに基づいてシーンが検出されたときに新しいチャプタが作成される。
次に、検出された各シーンからキーフレームが抽出される。
キーフレームは、基礎となるシーンを表し、ＤＶＤナビゲーションボタンにリンクされ、したがってユーザは、キーフレームを閲覧してビデオシーケンスの内容を素早く把握し、関連するボタンをクリックして対応するシーンを見ることができる。
【特許文献１】米国特許第５９９５０９５号
【特許文献２】欧州特許出願公開第１０４５３１６号
【特許文献３】国際公開第０３／０９６２２９号
【非特許文献１】Uchihashi S 他,「Summarizing Video Using a Shot Importance Measure and a Frame-Packing Algorithm」, ACOUSTICS, SPEECH AND SIGNAL PROCESSING, 1999年会報, 1999 IEEE INTERNATIONAL CONFERENCE ON PHOENIX, AZ USA, 1999年3月15-19日, Piscatway NJ USA, IEEE, US, 1999年3月15日, p3041-3044
【非特許文献２】M. M. YeungおよびB. L. Yeo,「Video Visualization For Compact Presentation and Fast Browsing of Pictorial Content」, 1997年10月, IEEE Transactions on Circuits and Systems for Video Technology, vol. 7, no. 5
【発明の開示】
【発明が解決しようとする課題】
【０００８】
時には、検出されたシーンの数が好ましい、または許可されているチャプタの数を上回る場合がある。
したがって、検出されたシーンを知的に併合する方法が必要である。
さらに、併合されたいくつかのオリジナルシーンがチャプタに含まれる場合、有意かつ有益なキーフレームを構築して基礎となる併合されたビデオの内容を表す方法が必要である。
【課題を解決するための手段】
【０００９】
［発明の概要］
ビデオシーケンスにおいて検出されたシーンを知的に併合し、キーフレームを構築して基礎となる併合されたビデオの内容を表す方法およびシステムを本明細書に記載する。
本発明による一実施形態では、ビデオシーケンスが一連の構成要素シーンに分解され、次に、構成要素シーン対が、所定数のシーンセットが残るまで併合される。
単一の構成要素シーンを含む各シーンセットからキーフレームが抽出され、複数の構成要素シーンを含む各シーンセットに新しいキーフレームが構築される。
【発明を実施するための最良の形態】
【００１０】
［好ましい実施形態の説明］
以下の好ましい実施形態の詳細な説明では、本明細書の一部を成し、本発明を実施し得る特定の実施形態を例として示す添付図面を参照する。
他の実施形態も利用することができ、構造的または論理的な変更を本発明の範囲から逸脱することなく行い得ることを理解されたい。
したがって以下の詳細な説明は限定の意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によって規定される。
【００１１】
本明細書における本発明の説明では、ビデオシーケンスからＤＶＤタイトル・チャプタ構造（本明細書ではビデオサマリと呼ぶこともある）をどのように自動的に作成するかという問題に対処する。
本明細書での説明は、各ビデオシーケンスが１つのタイトルの下にあると想定すると共に、そのタイトルの下にあるシーンを表すチャプタをどのように作成するかに焦点をあてる。
同様の手法を用いて、ビデオシーケンス中のシーンを表す複数のタイトルを作成することができ、この場合、チャプタを使用して各シーンをさらに細分することができることを意図する。
さらに、本明細書に記載の本発明はＤＶＤオーサリングとの併用に限定されないことが理解される。
むしろ本発明は、検出されたシーンの数が好ましい数または許可されている数を上回り、シーンの併合が望ましい、または必要ないずれのビデオ要約にも採用することが可能である。
【００１２】
通常、図１に見られるように、ビデオシーケンス１０は一連のシーン１２、ショット１４、およびフレーム１６に基づいた階層ツリーとして表すことができる。
本明細書で使用される場合、ショット１４は連続した撮影期間中に取り込まれたビデオセグメントとして定義され、シーン１２は意味的に関連するショット１４のセットからなる。
ショット１４は一連の個々のフレーム１６からなる。
ショットおよびシーンを検出する様々なアルゴリズムが存在し、そのうちのいずれもビデオシーケンスをシーン、ショット、およびフレーム構造に分解するにあたって使用するのに適している場合がある。
解析されるビデオシーケンス１０のタイプに応じて、或るアルゴリズムが別のアルゴリズムよりも好ましい場合がある。
【００１３】
ＤＶＤディスクの文脈の中では、シーン１２は意味的な基本単位とみなされ、ＤＶＤディスクのチャプタにマッピングされる。
１つまたは複数のキーフレーム１８が、様々な特徴に基づいた基礎となるビデオの内容の複雑性に依存する均一サンプリング（uniform sampling、均等サンプリング）または適応的方式によって各シーン１２から抽出される。
したがって、ビデオシーケンス１０は、図２に示すように各シーン１２（またはチャプタ）を１つのキーフレーム１８を使用して表すことによって要約される。
シーン１２（ひいては抽出されるキーフレーム１８）の数が予め設定された（presentをpresetとして訳）限度を超える場合は、シーン１２の数が予め設定された限度内になるまでいくつかのシーン１２を併合しなければならない。
【００１４】
異なるシーン１２は閲覧者に対して異なる視覚的インパクトを有する場合があるため、各シーン１２に重要値が割り当てられる。
シーン、ショット、およびフレームの重要値を計算する様々な方法およびアルゴリズムが知られている。
たとえば、本明細書と同じ日に出願され、同一の譲受人に譲渡された「Scalable Video Summarization and Navigation System and Method」という名称の同時係属中の米国特許出願第１０／１４０５１１号［ＨＰファイル番号１００１９９７５−１］が参照により援用され、シーン、ショット、およびフレームの重要値を計算するアルゴリズムを記載している。
重要値の計算には、シーンおよびショットの長さ、シーンおよびショットのアクティビティレベル、シーンに含まれる構成要素ショットの数、検出されたカメラの動き、フレーム中の皮膚色のピクセルの割合、フレーム中の検出された人の顔の数、フレーム中のエッジエネルギーの分布、およびフレームに含まれる動きアクティビティ量等の要因を考慮することができる。
【００１５】
本明細書において本発明を説明するために、本説明全体を通して以下に定義するシーン構造を使用する。
m_startFrameはシーンの開始フレームであり、
m_endFrameはシーンの終了フレームであり、
m_containedFrames[]はシーンに含まれるフレームのアレイであり、
m_keyframeはシーンから抽出された代表フレームであり、
m_importはシーンの重要値である。
【００１６】
上に定義したように、値m_importはシーンの重要度である。
アルゴリズムの説明を容易にするために、キーフレームも同様にこの重要値を有するものと想定することができる。
しかし、ビデオシーケンスのフレームは、シーン１２中のすべてのフレーム１６からのキーフレーム１８の選択に使用される、計算されたそれぞれの重要値を有することができることが認識されよう。
【００１７】
［対ごとの繰り返しシーン併合］
図３は、本発明による対ごとの繰り返しシーン併合方法を示す。
構成要素シーンに分解されたビデオシーケンス１０を考えると、Ｎ個のシーンが検出され、Ｓ［ｌ］，ｌ＝１，・・・，Ｎと表され、各シーンＳ［ｌ］は上に定義したシーン構造を有するものと想定する。
さらに、好ましいシーン（またはチャプタ）の数はＭであり、Ｍ＜Ｎであると想定する。
次いで、以下の対ごとの繰り返しシーン併合方式を使用してＭ個のチャプタを作成することができる。
【００１８】
本明細書に述べる対ごとの繰り返しシーン併合はシーンの重要値に基づく。
Ｎ個のシーンが、結果得られるシーン１２の数が好ましい数であるＭ個のチャプタに見合うまで繰り返し併合される。
各最終シーンは、１つまたは複数のオリジナルシーンを含み得るため、本明細書ではシーンセットと呼ぶ。
【００１９】
各繰り返し中に、２つの隣接するシーン１２が選択されて併合される。
したがって各繰り返し後、シーンの数は１だけ低減することになる。
併合するシーン１２を選択する基準はそれぞれの重要値に基づく。
具体的には、重要値の和が最小になる隣接シーン１２対が併合されることになる。
【００２０】
たとえば、第１の繰り返しでは、隣接するすべてのシーン対は｛（Ｓ［１］，Ｓ［２］），（Ｓ［２］，Ｓ［３］），・・・，（Ｓ［Ｎ−１］，Ｓ［Ｎ］｝であり、総計でＮ−１個の対になる。
各対の重要値は、
I_pair[i]=S[i].m_import+S[i+1].m_import
として計算される。
但し、ｉ＝１，・・・，Ｎ−１である。
Ｉ＿ｐａｉｒ［ｉ］を最小にする２つの隣接するシーン１２が併合され、次の繰り返しでは、重要度が、和であるI_pair[i]である単一のシーンとしてみなされる。
隣接するシーンの繰り返し併合は、シーンをＮ−Ｍ回繰り返し併合した後、Ｍ個の最終シーンセットが残るまで続けられる。
１つのみのシーンを含むシーンセットごとに、シーンはチャプタに直接マッピングされる。
しかし、複数のシーンを含むシーンセットの場合は、シーンセットからチャプタを作成する方法が必要である。
【００２１】
キーフレームのサイズ変更およびパッキング
図４は、シーンセットＳ'が複数の構成要素シーン１２を含む場合に使用される本発明によるキーフレームのサイズ変更およびパッキング方法を示す。
Ｓ［ｌ］〜Ｓ［ｌ＋ｍ−１］のｍ個のシーンを含むシーンセットＳ'を考えると、以下の公式を使用してシーン構造に記憶される情報を更新する。
【００２２】
【数１】
2005524916.tif 000003
【００２３】
但し、
【００２４】
【数２】
2005524916.tif 000004
【００２５】
は連結S'.m_import=S[l].m_import+…+S[l+m-1].m_importを表す。
【００２６】
最終操作は、シーンセットＳ'に含まれるすべてのシーンを表すことが望ましいキーフレーム１８の更新である。
一方策は、シーンセット中で最も重要なシーンのキーフレーム１８を抽出するというものである。
しかしこの方策は、シーンセットＳ'中の他の構成要素シーン１２からの情報が失われることになる。
より良い方策は、シーンセット中のすべての構成要素シーンからできるだけ多くの情報を包含するというものであろう。
この目的を達成するために、キーフレームのサイズ変更およびパッキング方式を用いてシーンセットＳ'に新しいキーフレーム１８を構築する。
【００２７】
ここに述べるキーフレームのサイズ変更およびパッキング方法は、それぞれの重要値に基づいてシーンＳ［ｌ］、Ｓ［ｌ＋１］，・・・，Ｓ［ｌ＋ｍ−１］のすべてのキーフレーム１８をサイズ変更し、予め割り当てられた表示エリアにパッキングする。
重要値の大きなキーフレーム１８ほど、重要値の低いキーフレームよりも基礎となるビデオの内容を良好に表しているものと想定される。
したがって、高い重要値を有するキーフレーム１８ほど大きな表示サイズが割り当てられ、閲覧者はビデオシーケンスをより良く理解することができる。
【００２８】
複数のフレームをサイズ変更してパッキングする方策が研究されてきた。
しかし、既存の方法はＤＶＤチャプタの作成には不適切である。
特に、一手法は抽出されたすべてのキーフレームをサイズ変更して表示エリアにパッキングする自動サイズ変更およびパッキングアルゴリズムである（S. Uchihashi およびJ. Foote著「Summarizing Video Using a Shot Importance Measure and a Frame-Packing Algorithm」ICASSP'99, vol. 6, 1999参照のこと）。
この方法は、構成要素キーフレームのサイズをもはや明確に認識することができない程度まで縮小する場合がある。
一方、比較的重要度の低いキーフレームの場合、より重要なキーフレームを認識できないほど小さくするということまでしてこういったフレームのために空間を設けることに価値はない。
別の手法では、いくつかのテンプレートが提供されて、抽出されたキーフレームをそれぞれの重要値に基づいて予め割り当てられた表示エリアにパッキングする（M. M. YeungおよびB. L. Yeo著「Video Visualization For Compact Presentation and Fast Browsing of Pictorial Content」IEEE Transactions on Circuits and Systems for Video Technology, vol. 7, no. 5, Oct. 1997を参照のこと）。
しかし、この手法におけるテンプレートレイアウトはすべて固定され、基礎となるシーンの構造に適合するように調整することができない。
【００２９】
本発明によれば、最も重要なキーフレーム１８の可視性を確実にしながらシーンセットＳ'のキーフレーム１８を適応的にパッキングすることができるキーフレームのサイズ変更およびパッキング方法について説明する。
【００３０】
キーフレームのサイズ変更およびパッキング方法は以下の２つの前提に基づく。
第１の前提は、シーンセットＳ'中の構成要素キーフレームをすべて最終的に構築されるキーフレームに含める必要はないことである。
本明細書での説明では、９枚の最も重要な構成要素キーフレームに対応する最大で９枚のキーフレームが構築される、と想定される。
もちろん、本明細書に記載の方法を用いて他の任意の数の構成要素キーフレームを構築することができ、想定される９枚の構成要素キーフレームは例示のみを目的として使用され、本発明に対する限定と解釈されるべきではない。
【００３１】
第２の前提は、選択された構成要素キーフレームがそれぞれの重要値に基づいて３つの可視性レベルのうちの１つに量子化され、各可視性レベルには予め定められた表示サイズが割り当てられることである。
第１のレベルにおけるあらゆる構成要素キーフレームの表示サイズは「非常によく見える」である一方で、第２のレベルの構成要素キーフレームの表示サイズは「見える」であり、第３のレベルの場合は「ようやく見える」である。
所望であればより多数または少数のレベルを使用してもよく、３レベルを使用することは単なる例示である。
「非常によく見える」、「見える」、および「ようやく見える」の表示エリア同士のサイズの区別は経験的に求めることができる。
たとえば、本明細書では、「見える」表示サイズには「非常によく見える」表示サイズの７５％が割り当てられ、「ようやく見える」エリアには「非常によく見える」表示サイズの５０％が割り当てられる。
予め定められた表示エリアのサイズは予期される表示装置に依存する。
たとえば、ラップトップコンピュータでは、「非常によく見える」表示エリアはおよそ１平方インチ（６．４５平方ｃｍ）であるが、大画面テレビセットの場合、「非常によく見える」表示エリアはおよそ３平方インチ（１９．３５平方ｃｍ）以上であることができる。
【００３２】
以下の３つのステップがサイズ変更およびパッキングプロセスに採用される。
第１に、選択された構成要素キーフレーム（この例では９枚の構成要素キーフレーム）が降順でそれぞれの重要値によりソートされ、ｓ１，ｓ２，・・・，ｓ９として表される。
第２に、構築されたキーフレームの表示エリア３０が３×３の格子に分割され、９枚の構成要素キーフレームが図５に示す順序に従って格子空間に割り当てられる。
返されるキーフレームが９枚よりも少ない場合、空いた格子空間は空のまま残される。
第３に、構成要素キーフレームが、それぞれの重要度順でそれぞれの予期される表示サイズ（すなわち、「非常によく見える」、「見える」、または「ようやく見える」）に拡張される。
特に、各構成要素キーフレームの量子化レベル「非常によく見える」、「見える」、または「ようやく見える」に基づいて、格子空間のエリアが予め割り当てられたサイズに拡張される。
拡張された格子空間が隣接する格子空間の１つに重複する場合、重複した格子空間は脇に「押しやられ」、拡張された格子空間を避ける。
格子空間が構築されたキーフレームの表示エリア３０外に最終的に押しやられる場合、その格子空間および格子空間が含む構成要素キーフレームは単に破棄される。
図３に示す番号を有する格子空間は結果として、最高重要度の構成要素キーフレーム１８が構築されたキーフレーム１８に残される一方で、最低重要度の構成要素キーフレーム１８がまず構築されたキーフレーム１８の表示エリア３０から押し出されることになる。
さらに、拡張プロセス後に表示エリア３０にいくつかのエリアが空白のままである場合、構成要素キーフレーム１８のサイズがそれぞれの重要値に基づいて調整されて、表示エリア３０全体を充填する。
この方式を使用すると、シーンセットＳ'中の最も重要な構成要素キーフレーム１８が、構築されたキーフレーム１８の表示エリア３０により高い可視性でもって常に保持されることになる。
【００３３】
したがって、本明細書に記載の本発明は、ビデオシーケンスのダイナミクスを考慮すると共に、基礎となる内容を良好に表す有意なＤＶＤエンティティ（タイトルおよびチャプタ）を有するビデオサマリを自動的かつ知的に作成する。
本発明は所望数のチャプタを提供し、各チャプタに有意な代表キーフレームを構築する。
【００３４】
図６に概略的に示すように、本明細書に記載のシステムは、選択されたプラットフォームが十分な計算力を有するプロセッサ１０２、ビデオシーケンス１０、アルゴリズム、およびビデオサマリを記憶するデータ記憶システム１０４、ならびにユーザがビデオサマリを見ることができる表示装置１０８を有する限り、家庭用コンピュータ１００等の様々なコンピューティングプラットフォームで実施することができる。
データ記憶システム１０４はＤＶＤディスク、ハードディスクドライブ、もしくは他の永久記憶装置、または選択されたプラットフォームのランダムアクセスメモリであることができる。
表示装置１０８はたとえば、ビデオモニタやプリンタによって生成されたハードコピーであることができる。
【００３５】
特定の実施形態を好ましい実施形態の説明を目的として本明細書に図示し説明したが、本発明の範囲から逸脱することなく、図示し説明した特定の実施形態に代えて広範な代替および／または等価の実施態様を用い得ることが当業者により理解されよう。
コンピュータ分野および電気分野の当業者は、本発明を非常に広い範囲の実施形態で実施し得ることを容易に理解するであろう。
本願は、本明細書において説明した好ましい実施形態の適合形態および変形形態をいずれも包含することを意図する。
したがって、本発明は請求項および請求項の等価物によってのみ限定されることを明らかに意図する。
【図面の簡単な説明】
【００３６】
【図１】ビデオ階層構造の概略図である。
【図２】ＤＶＤタイトル・チャプタ構造の概略図である。
【図３】本発明による対ごとに繰り返し行われるシーン併合を示すフローチャートである。
【図４】本発明によるキーフレームのサイズ変更およびパッキングを示すフローチャートである。
【図５】本発明による新しいキーフレームの構築に使用可能な１つの格子である。
【図６】本発明によるビデオサマリの作成に使用可能なコンピュータシステムの概略図である。
【符号の説明】
【００３７】
１０・・・ビデオシーケンス，
１２・・・シーン１，
１４・・・ショット１，
１６・・・フレーム１，
１８・・・キーフレーム１，
１０・・・ビデオシーケンス，
１０２・・・データプロセッサ，
１０４・・・データ記憶装置，
１０８・・・表示装置
【図１】
2005524916.tif 000005
【図２】
2005524916.tif 000006
【図３】
2005524916.tif 000007
【図４】
2005524916.tif 000008
【図５】
2005524916.tif 000009
【図６】
2005524916.tif 000010
【国際調査報告】
2005524916.tif 000011
2005524916.tif 000012
2005524916.tif 000013