(57)【要約】  入力したマルチメディアコンテンツアイテム（ステップ１０１）のサマリーを自動生成する。マルチメディアコンテンツアイテムの知覚ペースを決定する（ステップ１０５）。マルチメディアコンテンツアイテムは複数のセグメントを含む。マルチメディアコンテンツアイテムの少なくとも１つのセグメントを選択し（ステップ１０７）、サマリーを生成する（ステップ１０９）。このサマリーは、決定したマルチメディアコンテンツアイテムの知覚ペース（ステップ１０５）と同様のペースを有する。
2010502085.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアコンテンツアイテムのサマリーを自動生成する方法であって、
複数のセグメントを含むマルチメディアコンテンツアイテムのコンテンツの知覚ペースを決定する段階と、
前記マルチメディアコンテンツアイテムの少なくとも一セグメントを選択して、サマリーのペースが前記マルチメディアコンテンツアイテムのコンテンツの決定した前記知覚ペースと同様になるように、前記マルチメディアコンテンツアイテムのサマリーを生成する段階とを含む方法。
【請求項２】
前記マルチメディアコンテンツアイテムのコンテンツの知覚ペースは、少なくともショットの長さ、活動量、及び音量に基づき決定される、請求項１に記載の方法。
【請求項３】
前記マルチメディアコンテンツアイテムのコンテンツの知覚ペースは、前記コンテンツのショットの長さ分布を決定することにより、少なくとも１つのショットの長さに基づき決定される、請求項２に記載の方法。
【請求項４】
前記マルチメディアコンテンツアイテムのコンテンツのショットの長さ分布を決定する段階は、
前記マルチメディアコンテンツアイテムのコンテンツのショット境界を検出する段階と、
長さが所定範囲内のショット数をカウントすることにより、またはショット長さの平均をとり前記ショット長さの標準偏差を計算することにより、分布を決定する段階とを含む、請求項３に記載の方法。
【請求項５】
前記マルチメディアコンテンツアイテムの少なくとも１つのセグメントを選択する段階は、
前記マルチメディアコンテンツアイテムの各セグメントの少なくとも１つのコンテンツ分析特徴を抽出する段階と、
抽出したコンテンツ分析特徴の関数であるスコアを各セグメントにアロケーションする段階と、
スコア関数を最大化する少なくとも１つのセグメントを選択する段階とを含む、請求項１乃至４いずれか一項に記載の方法。
【請求項６】
前記マルチメディアコンテンツアイテムの少なくとも１つのセグメントを選択する段階は、
マルチメディアコンテンツアイテム全体にわたる知覚ペースの分布を決定する段階と、
前記サマリーの長さを決定する段階と、
決定したサマリーの長さにわたり前記マルチメディアコンテンツアイテムの決定した知覚ペースの分布と同様のペース分布を有する前記マルチメディアコンテンツアイテムの少なくとも１つのセグメントを選択する段階とを含む、請求項１ないし４いずれか一項に記載の方法。
【請求項７】
コンピュータに、請求項１ないし６いずれか一項に記載の方法を実行させる複数のプログラムコード部分を含むコンピュータプログラム。
【請求項８】
マルチメディアコンテンツアイテムのサマリーを自動生成する装置であって、
複数のセグメントを含むマルチメディアコンテンツアイテムのコンテンツの知覚ペースを決定するプロセッサと、
前記マルチメディアコンテンツアイテムの少なくとも一セグメントを選択して、サマリーのペースが前記マルチメディアコンテンツアイテムのコンテンツの決定した前記知覚ペースと同様になるように、前記マルチメディアコンテンツアイテムのサマリーを生成するセレクタとを含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチメディアコンテンツアイテムのサマリーの自動生成に関する。具体的には、例えば映画、テレビ番組、ライブブロードキャストなどのビデオシーケンスであるマルチメディアコンテンツアイテムのサマリーであって、マルチメディアコンテンツアイテムで感じるペースと同様のペースを有するものの自動生成に関する。
【背景技術】
【０００２】
現在、ユーザは、ハードディスクや光ディスクのビデオレコーダにより、テレビ番組等のマルチメディアデータを数百時間も記録することができる。既存の装置の中には、記録されたコンテンツをユーザが素早く概観できるビデオプリビューを生成できるものもある。ユーザはそのビデオプリビューを見てその番組全体を視聴するか決めることができる。このような既存の装置では、記録した番組を分析して、ビデオプリビューすなわちサマリーを自動生成している。
【０００３】
ビデオサマリーが満たすべき重要な要件は、元の番組の雰囲気を再現して、その番組が面白いかどうかユーザにはっきり分からせることである。しかし、現在のビデオサマリー生成方法は、サマリー生成アルゴリズムを番組のジャンルやタイプに合わせるために、元の番組の雰囲気を考慮していない。それゆえ、ユーザはサマリーを見て番組のタイプや、その番組が面白いかどうかよく分からない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
それゆえ、サマリー生成システム及び方法において、映画やテレビ番組などのマルチメディアコンテンツアイテムの雰囲気を反映したサマリー、すなわち視聴者に番組のタイプが分かるサマリーを生成できることが望ましい。
【課題を解決するための手段】
【０００５】
上記の目的は、本発明の第１の態様による方法により実現できる。該方法は、マルチメディアコンテンツアイテムのサマリーを自動生成する方法であって、複数のセグメントを含むマルチメディアコンテンツアイテムのコンテンツの知覚ペースを決定する段階と、前記マルチメディアコンテンツアイテムの少なくとも一セグメントを選択して、サマリーのペースが前記マルチメディアコンテンツアイテムのコンテンツの決定した前記知覚ペースと同様になるように、前記マルチメディアコンテンツアイテムのサマリーを生成する段階とを含む。
【０００６】
上記の目的は、本発明の第２の態様による装置によっても実現できる。該装置は、マルチメディアコンテンツアイテムのサマリーを自動生成する装置であって、複数のセグメントを含むマルチメディアコンテンツアイテムのコンテンツの知覚ペースを決定するプロセッサと、前記マルチメディアコンテンツアイテムの少なくとも一セグメントを選択して、サマリーのペースが前記マルチメディアコンテンツアイテムのコンテンツの決定した前記知覚ペースと同様になるように、前記マルチメディアコンテンツアイテムのサマリーを生成するセレクタとを含む。
【０００７】
番組の雰囲気は大部分その番組のペース（pace）で決まる。本発明によると、サマリーは、マルチメディアコンテンツアイテムの元の知覚ペース（perceived  pace）をまねて（mimic）自動生成され、そのアイテム（映画や番組など）の実際の雰囲気（atmosphere）をユーザによりよく伝える（provide  a  better  representation）。例えば、映画のペースが遅いとき（例えばロマンチックな映画）は遅いペースとし、映画のペースが速いとき（例えばアクション映画）は速いペースとする。
【０００８】
マルチメディアコンテンツアイテムのコンテンツの知覚ペース（perceived  pace）は、ショットの長さ（shot  duration）、活動量（motion  activity）、音量（audio  loudness）などに基づき決定できる。監督は編集時にショットの長さを調節して映画のペースを決める（set）。ショットが短いと視聴者は動きのある速いペースを感じる。逆に、ショットが長いと視聴者は静かなゆっくりとしたペースを感じる。結果として、マルチメディアコンテンツアイテムの知覚ペースは、単純にショットの長さの分布により決定できる。さらに、ペースが速いマルチメディアコンテンツアイテムでは、活動量（motion  activity）が大きく、常に音量が大きい。それゆえ、マルチメディアコンテンツアイテムの知覚ペースはこれらの特徴から容易に求めることができる。
【０００９】
ショットの長さに基づき決定した場合、知覚ペースはショットの長さの分布から求めることができる。分布は、ある範囲内のショットの長さをカウントしてヒストグラムを作成して求めてもよいし、あるいは、ショットの長さの平均と標準偏差から求めてもよいし、あるいは、より高次のモーメントを計算してもよい。ショットの境界を検出するアルゴリズムは周知であり、ショットの長さやその分布は統計的方法を用いて容易に求めることができる。
【００１０】
サマリーに対する少なくとも１つのセグメントの選択は、各セグメントの少なくとも１つのコンテンツ分析特徴を抽出し、抽出したコンテンツ分析特徴の関数であるスコアを各セグメントにアロケーションし、スコア関数が最大となるセグメントを選択することにより行うことができる。あるいは、セグメントの選択は、サマリーの長さにわたる、選択したセグメントのペース分布が、コンテンツアイテム全体にわたる知覚ペース分布と類似しているように行ってもよい。
【図面の簡単な説明】
【００１１】
本発明をよりよく理解してもらうため、添付した図面を参照しつつ以下に説明する。
【図１】本発明の好ましい実施形態による方法ステップを示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１を参照して、本発明の実施形態を説明する。映画、テレビ番組、またはライブブロードキャストなどのマルチメディアコンテンツアイテムを入力する（ステップ１０１）。例えば、ビデオレコーダの場合、マルチメディアコンテンツアイテムはハードディスクや光ディスクなどに記録及び記憶される。マルチメディアコンテンツアイテムを分割する（ステップＳ１０３）。分割は好ましくはショット（shots）に基づき行う。あるいは、マルチメディアコンテンツアイテムを時間スロットに基づき分割してもよい。マルチメディアコンテンツアイテムの知覚ペース（perceived  pace）を決定する（ステップ１０５）。次に、部分（segments）を選択し（ステップ１０７）、サマリーを生成する（ステップ１０９）。これは、サマリーのペースがマルチメディアコンテンツアイテムの知覚ペースと同様の（similar）ペースとなるように行う。
【００１３】
ここで、知覚ペースを決定するステップをより詳細に説明する。
【００１４】
本発明の第１の実施形態によると、マルチメディアコンテンツアイテムの知覚ペースはショットの長さの分布により決まる。
【００１５】
最初に、任意の周知であるショットカット検出アルゴリズムを用いてショットの境界を検出する。ショットの境界の位置を求めたら、ショットの長さを計算する。ビデオ番組中のいくつのショットが所定範囲内にあるかカウントして、ショットの長さの分布を分析する。このように、ショット長さ分布のヒストグラムを構成する。各ビン（bin）はあるショット長さの範囲（例えば、１秒未満、１秒以上２秒未満、２秒以上３秒未満等）を表す。ヒストグラムビンの値は、その限度に対応する長さを有するショット数を表す。
【００１６】
分布は他の方法でモデル化することもできる。例えば、より単純な実施形態では、ショットの長さ分布をその平均と標準偏差を用いてモデル化することもできる。他の実施形態では、標準偏差に加えて、その他の高次モーメントを計算してもよい。
【００１７】
ショットの長さ分布からマルチメディアコンテンツアイテムの知覚ペース（perceived  pace）を決定する。
【００１８】
次に、マルチメディアコンテンツアイテムを分割する。この分割は検出したショット境界に基づき行ってもよい。あるいは、マルチメディアコンテンツアイテムを所定の時間スロットに分割しても、コンテンツ分析に基づき分割してもよい。
【００１９】
第２の実施形態によると、マルチメディアコンテンツアイテムの知覚ペースを、ショットの長さ（ショットの長さ分布）だけでなく、動き量と音量によっても求められる。例えば、動きと音量が大きくなると、知覚ペースも速くなる。動きと音量を利用して知覚ペースを求めることは、Adams  B.,  Dovai  C,  Venkatesh  S.著Chitra  Dorai,  Svetha  Venkatesh編集「Media  Computing  -  Computational  Media  Aesthetics」（Kluwer  Academic  Publishers,  ２００２）の第４章「Formulating  Film  Tempo」（第５８頁乃至第８４頁）に記載されている。
【００２０】
別の実施形態では、知覚ペースは知覚ペース分布から決定できる。これは、まず知覚ペースの尺度を計算し、次にショット間におけるその分布を抽出することによりモデル化できる。
【００２１】
本発明の方法では、（ショットの長さ分布を用いて、またはペース関数を計算して）知覚ペースまたは知覚ペース分布を計算した後、知覚ペースまたは分布サマリー（perceived  pace  or  distribution  summary）と最も一致するセグメントを選択する。
【００２２】
第１の代替方法によると、セグメントの選択は重要度スコア関数を用いて行う。
【００２３】
この自動ビデオ生成方法では、サマリーには数値スコア（重要度スコア）が付いている。このスコアはコンテンツから抽出したコンテンツ分析特徴（例えば、輝度、コントラスト、動きなど）の関数である。セグメント選択では、重要度スコア関数を最大化するセグメントを選択する。サマリーの重要度スコア関数Ｉsummaryは、そのサマリーのコンテンツ分析特徴  CA  features  summary  の関数Ｆとして次のように表せる：
【００２４】
【数１】
2010502085.tif 000003
マルチメディアコンテンツアイテム（すなわち元の番組）の知覚ペースと同様の（mimics）サマリーを生成するため、元の番組のペース分布Ψprogramとサマリーのペース分布Ψsummaryの間の距離であるペナルティスコアを引く。重要度スコアは次式のようになる：
【００２５】
【数２】
2010502085.tif 000004
dist(Ψsummary  -  Ψprogram)は負でない値であり、元の番組のペース分布とサマリーのペースとの差を表す。αは分布間の距離を規格化して関数Fが仮定する典型値と比較可能にするためのスケーリングファクタである。
【００２６】
dist(Ψsummary  -  Ψprogram)は分布間の距離の任意の尺度であり、例えばＬ１、Ｌ２、ヒストグラム共通集合（histogram  intersection）、アースムーバーズ距離（earth  movers  distance）等である。簡単なショットの長さの平均を用いて分布をモデル化した場合、距離は単純に次式になる：
【００２７】
【数３】
2010502085.tif 000005
ここで
（外１）
2010502085.tif 000006
はサマリー中の平均ショット長さであり、
（外２）
2010502085.tif 000007
はマルチメディアコンテンツアイテムの平均ショット長さである。セグメントは、重要度スコアＩsummaryを最大化するように選択できる。
【００２８】
第２の代替方法によると、セグメントの選択はセグメントの事前アロケーションにより行う。
【００２９】
マルチメディアコンテンツアイテムのコンテンツの知覚ペース分布とサマリーの望ましい長さとが決まると、形状が知覚ペース分布と同じである、サマリーの長さの新しいペース分布を作る。セグメントは、マルチメディアコンテンツアイテムから選択した、新しく作った分布に合う（fit）セグメントである。新しく作る分布は、各ペース範囲について、選択しなければならないそのペースを有するショットの数を表す。選択手順により、各ペース範囲について、（既知のサマリー化方法により）重要度スコアが最大のショットを選択する。これをアロケーションされた量に達するまで行う。このように、ペース分布がマルチメディアコンテンツアイテムと同じサマリーを作る。
【００３０】
例えば、マルチメディアコンテンツアイテムの構成が、３秒未満のショットが３０％、３秒以上８秒未満のショットが６０％、８秒以上のショットが１０％であり、サマリーの長さが１００秒であると仮定する。
【００３１】
結果として、サマリーのうち、３０秒は短い（３秒未満の）ショットで構成され、６０秒は３秒以上８秒未満のショットで構成され、１０秒は長い（８秒以上の）ショットで構成される必要がある。
【００３２】
本発明の方法では、３０秒になるまで、３秒未満で重要度スコアが最大のショットを選択する。次に、３秒以上８秒未満のショットと、長い（８秒以上）のショットについて同じ方法を繰り返す。
【００３３】
許容マージン（tolerances  margins）を導入することもできる。上記の例において、長い（８秒以上の）ショットには１０秒がアロケーションされている。明らかに、選択できるショットは１つだけである。このショットは必ずしも正確に１０秒である必要はなく、例えば９秒や１２秒でもよい。
【００３４】
本発明の好ましい実施形態を添付図面に示し、上記の通り説明したが、言うまでもなく、本発明は開示した実施形態には限定されず、特許請求の範囲に記載した本発明の範囲から逸脱することなく多くの修正ができる。
【図１】
2010502085.tif 000008
【国際調査報告】
2010502085.tif 000009
2010502085.tif 000010
2010502085.tif 000011