(57)【要約】  複数の別個のデータストリーム（たとえばビデオデータストリーム）の、サマリーを生成する方法および装置。複数の関連するデータストリームが、収集される。データストリームは、複数のセグメントを含んでおり、各セグメントが同期化される（２０５）。同期化されたデータストリームの、重複するセグメントが検出され（２０７、３０９）、重複するセグメントのうちの１つが選択され（２１５）、選択された重複するセグメントを含むサマリーが生成される（２１７）。
2010502087.tif 000002
【特許請求の範囲】
【請求項１】
複数の別個のデータストリームのサマリーを生成する方法であって、
複数のセグメントを含む複数の関連するデータストリームを、同期化する工程と、
同期化された前記データストリームの、重複するセグメントを検出する工程と、
重複する前記セグメントのうちの１つを選択する工程と、
重複する前記セグメントの選択された前記１つを含む、サマリーを生成する工程とを含むことを特徴とする方法。
【請求項２】
前記複数の関連するデータストリームが、時間でまたはトリガにより同期化されることを特徴とする請求項１記載の方法。
【請求項３】
前記トリガが、前記データストリームの少なくとも１つのパラメータの変化であることを特徴とする請求項２記載の方法。
【請求項４】
前記トリガが、外部生成されることを特徴とする請求項２記載の方法。
【請求項５】
重複する前記セグメントは、時間が重複することを理由に検出されることを特徴とする請求項１から４いずれか１項記載の方法。
【請求項６】
重複する前記セグメントの冗長を検出する工程をさらに含むことを特徴とする請求項１から５いずれか１項記載の方法。
【請求項７】
前記セグメントの信号品質、前記セグメントの美的品質、前記セグメントのコンテンツ、前記セグメントのソース、およびユーザーの嗜好のうちの少なくとも１つに基づいて、選択が行われることを特徴とする請求項１から６いずれか１項記載の方法。
【請求項８】
前記サマリーが、複数の選択されたセグメントを含んでおり、
当該方法が、前記サマリー内に含まれる前記選択されたセグメントのパラメータの、少なくとも１つを規格化する工程をさらに含むことを特徴とする請求項１から７いずれか１項記載の方法。
【請求項９】
前記データストリームが、ビデオデータストリームであることを特徴とする請求項１から８いずれか１項記載の方法。
【請求項１０】
請求項１から９いずれか１項記載の方法を実行するための、複数のプログラムコード部分を含むことを特徴とするコンピュータプログラム。
【請求項１１】
複数の別個のデータストリームのサマリーを生成する装置であって、
複数のセグメントを含む複数の関連するデータストリームを、同期化する同期化手段と、
同期化された前記データストリームの、重複するセグメントを検出する検出器と、
重複する前記セグメントのうちの１つを選択する選択手段と、
重複する前記セグメントの選択された前記１つを含む、サマリーを生成する手段とを含むことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータストリームからのサマリーの生成に関するものである。本発明は特に（これに限定されるわけではないが）、あるイベントの入手可能なビデオ素材のサマリーを生成することに関するものである。
【背景技術】
【０００２】
近年、カムコーダーがずっと安価になったことによって、より多くの観衆が、あらゆる種類の祭典やイベントを簡単に記録することが可能となっている。加えて、内蔵カメラを備えた携帯電話の数量は、増加している。そのため、簡単で手間を要さないビデオ記録が可能となっている。
【０００３】
このことは、人々が、休暇、ピクニック、誕生日、パーティー、結婚式等の多くのイベントを記録することを可能にする。これらの種類のイベントを記録することは、社会的慣習となった。そのため、常に、同一のイベントが複数のカメラにより記録される。これらのカメラは、そのイベントに参加している人々の手持ちのカメラであるかもしれないし、たとえば安全面や調査のための理由で周囲を記録することや、テーマパーク内のイベントを記録すること等を意図した、固定カメラまたは内蔵カメラであるかもしれない。そのようなイベントのすべての参加者は、自分の興味に従って、そのイベントの最高のビデオ記録を得たいと思う。
【０００４】
写真については、インターネットを介してそれらの写真を共有および／または公開することは、既に慣習となっている。この目的のため、いくつかのインターネットサービスが存在する。デジタルイメージの交換はまた、たとえば光ディスク、テープ、携帯ＵＳＢスティック等といったような、物理的媒体の交換を介しても行われる。大容量というビデオデータストリームの特製のため、ビデオのアクセス、分割、編集および共有は難しい。そのため、ビデオ素材の共有は、通常、ディスク等の交換に限られている。
【０００５】
あるイベントで撮影された写真の場合には、それらの写真を編集し、酷似したものを見つけ、複数ユーザー間で写真を交換することは比較的簡単である。しかしながら、ビデオは大容量のデータのストリームであるので、アクセスし、分割し、編集し（マルチストリーム編集）、一部を抽出し、共有することは困難である。参加者がそのイベントの自分個人のビデオ記録を取得するように素材を編集し、記録されたすべての素材を参加者間で共有および交換するのは、非常に煩わしく、時間のかかる作業である。
【０００６】
複数のユーザーがいくつかのビデオ記録結果をインターネットを介して編集することを可能とするような、共同エディター（ｃｏｌｌａｂｏｒａｔｉｖｅ  ｅｄｉｔｏｒ）という措置は存在する。しかしながら、このサービスは、経験豊富なユーザー用に意図されており、この共同エディターを扱えるようになるには、かなりの知識と技術とを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
そのため、イベントのサマリー、たとえばイベントのビデオ記録を生成するための、自動化されたシステムを提供することが望ましい。
【課題を解決するための手段】
【０００８】
上記の目的は、本発明の第１の側面によれば、複数の別個のデータストリームのサマリーを生成する方法であって、複数のセグメントを含む複数の関連するデータストリームを同期化する工程と、同期化されたデータストリームの、重複するセグメントを検出する工程と、それら重複するセグメントのうちの１つを選択する工程と、重複するセグメントの上記の選択された１つを含む、サマリーを生成する工程とを含む方法によって達成される。
【０００９】
上記の目的はまた、本発明の第２の側面によれば、複数の別個のデータストリームのサマリーを生成する装置であって、複数のセグメントを含む複数の関連するデータストリームを、同期化する同期化手段と、同期化されたデータストリームの、重複するセグメントを検出する検出器と、それら重複するセグメントのうちの１つを選択する選択手段と、重複するセグメントの上記の選択された１つを含む、サマリーを生成する手段とを含む装置によっても達成される。
【００１０】
重複するセグメントのうち選択されなかったものは、サマリーからは除外される。１の別個のデータストリームとは、開始点と終了点とを有するデータのストリームである。１つの好ましい実施形態では、データストリームはビデオデータストリームとされ、１の別個のビデオデータストリームは、単一の連続記録結果である。１つの好ましい実施形態では、関連するデータストリームは、同一のイベントで撮影されたビデオ記録結果である。サマリーは、重複するセグメントの１つを含むが、あるイベントのより完全な記録結果を提供するべく、重複を有さないセグメントも含んでいてもよい点が理解できよう。
【００１１】
こうして、１つのイベントのすべての素材（上記の具体例ではビデオ素材）を、収集することができる。素材またはデータストリームはセグメント化される。たとえば、データストリームが、自然な描画要素（エンティティ）にセグメント化されてもよく、かかる描画要素は、ショット（ビデオストリームの場合には連続したカメラ記録）、またはシーン（たとえば同一の時間または同一の時刻等、自然の状況において一緒に属するショット群）であってもよい。その後、データストリームは、重複するセグメント、たとえば同じ時間に撮影された記録結果の検出が可能となるように、同期化される。すると、重複するセグメント中の冗長の検出、たとえば同じシーンを含んでいる記録結果の検出が可能となる。その後、重複する／冗長なセグメントからの選択結果より、サマリーが生成される。
【００１２】
関連するデータストリームの同期化は、ストリームを、時間で、またはトリガにより整列させることにより行われ得る。トリガは、データストリームの少なくとも１つのパラメータの変化であってもよい。トリガは、たとえば、シーンまたはショットの変化であってもよいし、発砲の火花、ホイッスルまたはアナウンス音の認識といったようなロードノイズであってもよい。あるいは、トリガは、イベントにあるキャプチャリング装置間の無線送信信号であってもよい。したがって、キャプチャリング装置は、必ずしも中央クロックに同期化あれるものでなくてもよい。
【００１３】
重複する／冗長なセグメントは、多くの基準に従って選択され得る。たとえば、信号の品質（オーディオ、ノイズ、ぼけ、カメラの揺れ、コントラスト等）、美的品質（アングル、最適なフレーミング、構成、地平線の傾き等）、コンテンツならびにイベント（主な登場人物、顔検出／認識等）、記録結果のソース（所有者、カメラマン、費用ならびに入手可能性等）、および個人ごとの嗜好特性が基準とされ得る。したがって、ビデオサマリーの構成は、各ユーザー個人個人に合わせた構成とされ得る。
【００１４】
これらの側面を自動化することによって、ユーザーが生データの素材を編集および探索する、多大な時間を節約することができる。
【００１５】
ここでは、ビデオコンテンツに関連して本発明を説明するが、一般に、同一の方法が、デジタル写真の収集にも適用可能である。さらに、本発明は、オーディオビジュアルデータのみに限定されるものではなく、他のセンサーデータ（場所、時間、温度、生理学的データ等）を含むマルチメディアストリームにも適用可能である。
【図面の簡単な説明】
【００１６】
【図１】本発明の１つの実施形態に従うシステムの単純な概略図
【図２】本発明の１つの実施形態に従う方法の各工程のフローチャート
【図３】本発明の上記実施形態の上記方法の工程に従う、素材編集の第１の例を示した図
【図４】本発明の上記実施形態の上記方法の工程に従う、素材編集の第２の例を示した図
【図５】本発明の上記実施形態の上記方法の工程に従う、素材編集の第３の例を示した図
【発明を実施するための形態】
【００１７】
本発明をより完全に理解するため、添付の図面と共に、以下の説明を参照されたい。
【００１８】
図１を参照して、イメージ１００に示したイベントの参加者の何人かが、多数のカメラおよび／またはオーディオデバイス１０１ａ、１０１ｂ、１０３ａ、１０３ｂ、１０４ａ、１０４ｂを用いて、そのイベントを記録したものとする。その記録結果（すなわちデータストリーム）は、セントラル（インターネット）サーバー１０５に提出される。ここで、そのイベントで生成された素材が分析され、合成された最終バージョン（すなわちサマリー）が提供される。合成された最終バージョンは、オーディオ、ビジュアルおよび／またはコンピュータシステム１０７ａ、１０７ｂ、１０９ａ、１０９ｂ、１１１ａ、１１１ｂを介して、参加者に返送される。図１に示したシステムはセントラルシステムであるが、より分散化されたシステム、または完全に分散化されたシステムも実施可能であることが理解されよう。
【００１９】
本発明の１つの実施形態に係る方法の各工程が、図２に示されている。
【００２０】
ステップ２０１において、あるイベントにおける複数の参加者または複数の固定もしくは内蔵カメラが、自分の記録結果を作成する。記録された素材が提出される。この提出は、標準的なインターネット通信技術を用いて、安全な方法で行うことができる。
【００２１】
次に、ステップ２０３において受信されたすべての関連データストリーム、すなわち同一のイベントにおいて記録された素材が、その後ステップ２０５において、共有の時間スケール上に配される。この処理は、データストリーム中に埋め込まれている、（キャプチャリング装置によって生成された）タイムスタンプに基づいて行うことができる。これらのタイムスタンプは、十分な精度で揃えることができる。携帯電話に内蔵されたカメラにより撮られた記録結果の場合には、通常、内部クロックが、何らかの中央クロックと自動的に同期化される。この場合、携帯電話により集められた素材は、互いにかなり精確に同期化された内部タイムスタンプを有するものとなる。そうでない場合には、ユーザーは、イベントに先立って、自分のキャプチャリング装置のクロックを手動で合わせなくてはならない。
【００２２】
あるいは、データストリームが、たとえば共通シーンや音声等のトリガにより同期化されてもよいし、キャプチャリング装置が、装置間で送信される赤外信号のようなトリガを生成してもよい。
【００２３】
次に、ステップ２０７において、重複するセグメントが検出される。ステップ２０９において、重複する各セグメントについて、重複するセグメント間の冗長が検出される。冗長とは、結果として得られた記録が（部分的に）同一のコンテンツを有するような態様で、複数のカメラが、同じショットを撮影したことを意味する。そのため、時間の重複がある場合には、システムは、ステップ２０９において、複数の関連するデータストリームを比較し、重複部分内で冗長を探索する。冗長は、フレーム間の差異、色、ヒストグラムの差異、相関性、より高レベルのメタデータ／注釈（たとえばピクチャ内のオブジェクトが何、誰、どこであるか等のテキスト記述）、カメラ上のコンパス方向を伴うＧＰＳ情報等を用いて、検出することができる。付随するビデオについては、相関性および／またはフィンガープリンティングを用いて、冗長を検出することができる。
【００２４】
ここで、時間の重複がなくても、冗長を有する可能性がある点に留意されたい（たとえば、時間が経過してもそれほど変化しない風景の記録等）。しかしながら、分析を高速化するために、好ましい実施形態における冗長の検出は、時間の重複を有するセグメントに限定される。
【００２５】
その後、ステップ２１５において、重複を有する／冗長なデータストリームから、選択が行われる。ここで、いずれのデータストリームが優先度を有するか、たとえばいずれの記録結果がステップ２１７のサマリー用（すなわち最終的な合成バージョン用）に選択されるかという判断がなされる。この選択は、手動で行われても、自動的に行われてもよい。
【００２６】
サマリー用のセグメントを選択するのに考慮され得る基準は数多くあり、たとえば、「最良の」データストリームのみが選択され得る。ここで、「最良の」ものとなる資格は、信号の品質、美的品質、イメージ内の人々、アクション量等に基づいたものであってもよい。ステップ２１９でユーザーにより入力された個人的嗜好が考慮されてもよい。すると、かかる「最良の」データストリームのみが選択されるように、サマリーが示される。あるいは、最良のデータストリームを用いてサマリーが示され、別のバージョンのサマリーが、ハイパーリンクとして付加されてもよい（それらのサマリーは、再生中においてユーザーが選択したときのみ示される）。
【００２７】
システムは、優先順位を与えるため、ユーザー特性で指定された個人的設定により上書きされ得るデフォルト設定を有していてもよい。
【００２８】
「最良の」記録結果の選択を可能とするため、記録結果の各セグメント（またはタイムスロット）は、信号の品質（オーディオ、ノイズ、ぼけ、コントラスト、カメラの揺れ等）、美的品質（最適なフレーミング、アングル、地平線の傾き等）、ビデオ内の人々（顔検出／認識）、および／またはアクション（動き、オーディオ音量等）に基づいて、分析される。
【００２９】
その後、関連データストリームの各セグメントは、上記に従って、「優先度スコア」として知られる数値を与えられる。その場合、いずれのセグメントがサマリーに含まれるべきかという決定は、このスコアに基づいて行われ得る。
【００３０】
ここで、独立に選択することができる付随のオーディオチャネル（すなわちステレオ信号の場合には２チャネル）にも、同一の方法が適用可能である点に留意されたい。重複を有する記録結果に対して、たとえば信号間の差異や、複数の記録結果のオーディオフィンガープリントにより、オーディオチャネルにおける冗長を検出することができる。好ましくは、選択されたビデオに対応するオーディオ信号が選択される。しかしながら、アラインメントが良好であれば（オーディオがビデオより最大６０ミリ秒遅れても、ユーザーは気づかない）、最も品質の良いオーディオ、たとえば最も高い「優先度スコア」を有するオーディオが、最終バージョン用に選択される。
【００３１】
サマリーを構築する工程を明らかにするため、図３から図５にいくつかの例が示されている。
【００３２】
図３に示した例は、極めて単純な例である。ユーザーは、様々なストリームの実際のコンテンツの各セグメントについて独立に、利用可能な最も良い（信号）品質を、常に提供される。この例では、第１、第２および第３の記録結果３０１、３０３、３０５が作成されている（第１、第２および第３のデータストリームが利用可能とされている）。上記で説明した実施形態に係る装置および方法により、これらの記録結果が収集され、分析される。第１、第２および第３のデータストリーム３０１、３０３、３０５は、複数のセグメント３０７ａ、３０７ｂ、３０７ｃ、３０７ｄ、３０７ｅ、３０７ｆ、・・・に分割される。各セグメントに、重複スコア３０９ａ、３０９ｂ、３０９ｃ、３０９ｄ、３０９ｅ、３０９ｆ、・・・が与えられる。セグメント３０７ａ中において利用可能なデータストリームは、第１のデータストリーム３０１のみであり、重複スコア３０９ａは１である。セグメント３０７ａについては、第１のデータストリーム３０１の第１のセグメントが、サマリー３１１ａ用に選択される。次のセグメント３０７ｂ中では、３つのデータストリーム３０１、３０３、３０５のすべてが利用可能であるので、重複スコア３０９ｂは３である。このセグメント３１１ｂでは、最も良い信号品質を有するデータストリーム３０３が選択される。各セグメントについて、重複が生じた場合、すなわち重複スコアが１より大きい場合には、データストリーム３０１、３０３、３０５の信号品質が比較され、最も良い信号品質を有するセグメントが、サマリー形成用に選択される。その結果、各参加者は、同一のビデオサマリー３１１を受け取る。
【００３３】
これよりわずかに複雑な例が、図４に示されている。この例では、異なる複数のビデオストリームが、各セグメントに対する最良の（信号）品質に基づいて、ランク付けされる。同一時点において複数のストリームがある場合には、最良のビデオストリームがデフォルトとして示され、その他のストリームへのハイパーリンクが与えられる。ハイパーリンクの順序は、ビデオストリームのランキングに基づいている。こうして、各参加者は、利用可能なすべてのビデオ素材へのアクセス手段を有することとなる。
【００３４】
この例２においては、第１、第２および第３のデータストリーム４０１、４０３、４０５が利用可能とされている。上記で説明した実施形態に係る装置および方法により、これらのデータストリームが収集され、分析される。先の例と同様に、第１、第２および第３のデータストリーム４０１、４０３、４０５は、複数のセグメント４０７ａ、４０７ｂ、４０７ｃ、４０７ｄ、４０７ｅ、４０７ｆ、・・・に分割される。上記で説明したようにして、記録結果４０１、４０３、４０５の、デフォルトのサマリー４０９が生成される。各セグメント４０９ａ、４０９ｂ、４０９ｃ、４０９ｄ、４０９ｅ、４０９ｆ、・・・は、データストリーム４０１、４０３、４０５のうちの１つの、選択されたセグメントを含んでいる。たとえば、第１のセグメント４０９ａは、第１の記録結果４０１の第１のセグメントを含んでいる。これは、この第１の記録結果が、利用可能な唯一のデータストリーム４０１だからである。セグメント４０９ｂとしては、第２のデータストリーム４０３の第２のセグメントが選択される。このセグメント４０７ｂ中では、第１、第２および第３のデータストリーム４０１、４０３、４０５の間に重複が存在するので、信号品質という基準に基づいて、これらデータストリームのうちの１つが選択され、各データストリーム４０１、４０３、４０５がランキングされる。したがって、セグメント４０７ｂに使用されている第２の記録結果４０３の代替物として、２番目に良い信号品質を有していた、セグメント４０７ｂについての第３の記録結果４０５を示す、第１のハイパーリンク４１１と、セグメント４０７ｂについての第１のデータストリーム４０１を示す第２のハイパーリンク４１３とが与えられる。これらのリンクをハイライトすることにより、ユーザーは、デフォルトのサマリー４０９用に与えられたセグメント４０９ｂの代替物として、セグメント４０７ｂのこれらのデータストリームを見るという選択肢を有することとなる。
【００３５】
本発明の実施形態は、図５に示すようなより複雑な例も可能とする。前述のとおり、１つのイベントには多数の参加者がいて、それら参加者のうちの何人かは記録を行い、それらの記録結果を本発明のシステムに送る。１人目の人は、常に入手可能な最高の物理的品質を欲し、２人目は、自分または自分の家族が映っているビデオを好み、３人目は、メニューを介して入手可能なすべての情報を手に入れたいと思い、４人目は、そのイベントの雰囲気が分かればどんなビデオを受け取るのでもよいと考えている等の状態となり得る。こうして、いくつかの個人的な特性が存在する。
【００３６】
この例では、第１、第２および第３の関連データストリーム５０１、５０３、５０５が利用可能とされている。上記の例で説明したように、これらのデータストリームが収集され、分析される。まず、第１、第２および第３のデータストリーム５０１、５０３、５０５の各々は、複数のセグメント５０７ａ、５０７ｂ、５０７ｃ、５０７ｄ、５０７ｅ、５０７ｆ、・・・に分割される。複数のサマリー５０９、５１１、５１３、５１５、５１７、５１９が供給される。サマリー５０９は、「最良の」データストリームの組合せを含んでいる。すなわち、図３のサマリー３１１や、図４のデフォルトのサマリー４０９に類似したサマリーである。上記の２人目の人は、特定のコンテンツを有する記録結果、たとえばそのイベントの特定の参加者をフィーチャーした記録結果を好んでいた。第２のサマリー５１１は、時間セグメント５０７ａ、５０７ｂについては、第１のデータストリーム５０１を含んでいる。これは、必ずしも、最良の信号品質を有するデータストリームではないが、参加者の好む条件を満たしている。３人目の参加者は、メニューのオプションが欲しいと思っている。この場合、３つの異なるサマリーの組合せを示す、３つのサマリー５１３、５１５、５１７が提供され、この参加者は、これら３つの中から、最終的なサマリーとして自分が好きなものを選択することができる。４番目の参加者は、単にそのイベントの雰囲気が欲しい。この最終的なサマリー５１９は、たとえば、セグメント５０７ａについては第１のデータストリーム５０１、セグメント５０７ｂについては第３のデータストリーム５０５等を含むものとされる。
【００３７】
上記の好ましい実施形態では、装置は、生データのデータストリームを収集し操作する中央（インターネット）サーバーを含み、最終的な（個人個人に合わせた）サマリーを、ユーザーに返送する。別の実施形態では、装置は、ユーザーのキャプチャリング／記録装置上で分析（信号品質、顔検出、重複の検出、冗長の検出等）が行われるピア・ツー・ピア・システムを含むものとされ、結果が共有化された後、必要な記録結果が交換される。さらに別の実施形態では、装置は、上記の実施形態の組合せを含むものとされ、分析の一部はユーザー側で、別の一部はサーバー側で行われる。
【００３８】
上記の装置は、「ライブ」カメラのオーディオビジュアルストリームを処理し、それらのストリームをリアルタイムで組み合わせるのにも使用することができる。
【００３９】
以上、本発明の好ましい実施形態を、添付の図面で図解し、上記で説明してきたが、本発明は、これらの開示された実施形態に限定されるものではなく、特許請求の範囲で規定される本発明の技術的範囲から逸脱することなく、多くの変更が可能であることが理解できよう。
【図１】
2010502087.tif 000003
【図２】
2010502087.tif 000004
【図３】
2010502087.tif 000005
【図４】
2010502087.tif 000006
【図５】
2010502087.tif 000007
【国際調査報告】
2010502087.tif 000008
2010502087.tif 000009
2010502087.tif 000010