(57)【特許請求の範囲】
【請求項１】
ビデオを複数のビデオセグメントに分割するステップと、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、
前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するステップと、を含む、
ビデオコラージュの作成方法。
【請求項２】
前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、
前記複数のビデオセグメントの中から、複数のビデオセグメントを選択するステップと、
前記選択された複数のビデオセグメントの各々を、前記ビデオコラージュ・テンプレートの個別のフレームと関連付けるステップと、を含む、請求項１に記載の方法。
【請求項３】
前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、
各々が前記複数のビデオセグメントのうちの１つを代表する、複数の代表画像を提供するステップと、
前記複数の代表画像の中から１つの代表画像を選択するステップと、
前記代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップと、を含む、請求項１に記載の方法。
【請求項４】
ビデオセグメント・テンプレートを提供するステップをさらに含み、
前記ビデオセグメント・テンプレートが複数の代表画像を含み、各代表画像が前記複数のビデオセグメントのうちの１つと関連付けられており、
前記ビデオセグメントを関連付けるステップが、前記複数の代表画像の中の１つの代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップを含む、請求項１に記載の方法。
【請求項５】
前記ビデオをセグメントに分割する前記ステップが、前記ビデオを選択された数のセグメントに分割するステップを含む、請求項１に記載の方法。
【請求項６】
前記ビデオをセグメントに分割する前記ステップが、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割するステップを含む、請求項１に記載の方法。
【請求項７】
前記重要度を示す値が、前記ビデオセグメントが関連付けられた前記個別のビデオフレームの表示サイズに関連している、請求項１に記載のビデオコラージュの作成方法。
【請求項８】
前記特性ベクトルが、前記ビデオセグメントの内容のアクティビティに関連している、請求項１に記載のビデオコラージュの作成方法。
【請求項９】
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートと、
前記個別のビデオフレームのうちの少なくとも１つにはめ込まれた、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、
を表示し、
前記代表画像が選択手段により選択されることにより、前記代表画像の前記重要度を示す値と前記特性ベクトルとに基づいて再生時間が予め短縮された、前記代表画像に関連する前記ビデオセグメントを再生する、
ビデオコラージュ表示装置。
【請求項１０】
前記ビデオコラージュ表示装置は、複数の個別のビデオフレームを表示し、前記複数の個別のビデオフレームの各々に代表画像がはめ込まれ、各代表画像は１つのビデオセグメントと関連付けられている、請求項９に記載のビデオコラージュ表示装置。
【請求項１１】
前記代表画像がはめ込まれた前記個別のビデオフレームの表示サイズに応じて、重要度を示す値が前記代表画像に割り当てられている、請求項９に記載のビデオコラージュ表示装置。
【請求項１２】
前記個別のビデオフレームの表示サイズの比と、前記関連するビデオセグメントの内容のアクティビティとに基づいて前記特性ベクトルの長さの比が決定される、請求項９に記載のビデオコラージュ表示装置。
【請求項１３】
ビデオを複数のビデオセグメントに分割する分割手段と、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、
前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含む、
ビデオコラージュ作成装置。
【請求項１４】
前記関連付手段が、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択し、前記選択された複数のビデオセグメントを、前記ビデオコラージュ・テンプレートの個別のフレームと関連付ける、請求項１３に記載のビデオコラージュ作成装置。
【請求項１５】
前記分割手段が、前記ビデオを選択された数のセグメントに分割する、請求項１３に記載のビデオコラージュ作成装置。
【請求項１６】
前記分割手段が、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割する、請求項１３に記載のビデオコラージュ作成装置。
【請求項１７】
コンピュータに、
ビデオを複数のビデオセグメントに分割する手順と、
少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供する手順と、
前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける手順と、
重要度を示す値を前記関連付けられたビデオセグメントに割り当てる手順と、
特性ベクトルを前記関連付けられたビデオセグメントに割り当てる手順と、
前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化する手順と、
前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する手順と、を実行させるための、
ビデオコラージュ作成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオの作成および編集に関する。
【０００２】
【従来の技術】
ビデオカメラは、家庭やオフィス、そのほかの使用形態で普及を続けている。例えば、休暇や結婚式、卒業式などの家族の行事を記録するために、ビデオカメラが使用されることが多い。オフィスでは、プレゼンテーション、会議、ユーザ調査、フィールドワークの記録にビデオカメラを使用したり、出張に携帯して人や場所、活動を記録したりすることが多い。
【０００３】
近年、パーソナル・コンピュータとビデオカメラとをインタフェース接続し、ビデオをパーソナル・コンピュータのメモリに記憶させるためのシステムの開発が進んでいる。ビデオをビデオテープやキャプチャ・カード、メモリ・スティックから、さまざまなフォーマットでパーソナル・コンピュータに転送することができるようになった結果、ビデオを記憶、閲覧、編集および転送することへの要望が強くなっている。
【０００４】
編集されていないビデオは、大抵は興味をひく部分と、長くて退屈な部分とが混在しているため、１、２度の鑑賞には堪えても、その後はしまいこまれてしまう。また、編集されていないビデオは、急なカメラ移動や、撮影時間が長すぎたり逆に短すぎたりする部分のために品質が低いため、興味をひく部分が次に現れるまでの間に、見る人を退屈させてしまうことが多い。
【０００５】
編集されていないビデオは、長くて退屈であるばかりか、情報を記憶するのにかなりの記憶容量を必要とする場合が多い。未編集ビデオファイルの保存に必要な記憶容量は、おおむね数バイトから数百メガバイトである。未編集ビデオは、記憶容量を大量に消費するほか、電子メールやそのほかの電子送信システムを利用してビデオを伝送することは難しく、速度も遅いのが一般的である。
Ａｄｏｂｅ  Ｐｒｅｍｉｅｒｅ（登録商標）などの、既存のビデオ編集システムは、専門的なビデオ制作者を対象としているため、ビデオや音声トラックのアセンブルおよびミキシングを行って編集ビデオを制作するには時間がかかる場合が多い。このほかのシステムとして、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１８，５３３「インタラクティブ・カスタムビデオ制作システム」（２０００年７月１８日出願。この特許出願を参照によって本願明細書に援用する）に記載されているようなシステムが挙げられるが、これらは使用方法は比較的易しいものの、編集ビデオの制作にはかなりの回数のユーザ対話が必要となる。
【０００６】
【非特許文献１】
“Adobe Premiere”、[online]、Adobe Systems Incorporated、インターネット＜URL: http://www.adobe.com/products/premiere/＞
【非特許文献２】
“Apple iMovie”、[online]、Apple Computer, Inc.、インターネット＜URL:  http://www.apple.com/imovie/＞
【非特許文献３】
Patrick Chiuほか、“A Generic Algorithm for Video Segmentation and Summarization”、IEEE International Conference on Multimedia and Expo（ICME）、（米国）、２０００年、第３巻、ｐ．１３２９−１３３２
【非特許文献４】
Andreas Girgensohnほか、“A Semi-Automatic Approach to Home Video Editting”、 User Interface Software and Technology 2000（UIST 2000）、（米国）、２０００年、ACM Press、ｐ．８１−８９
【非特許文献５】
“In-Sync Speed Razor”、[online]、in-sync corporation、インターネット＜URL: http://www.in-sync.com/＞
【非特許文献６】
“Javu Technologies JavuNetwork”、[online]、インターネット＜URL: http://www.javu.com/＞
【非特許文献７】
Allan Kuchinskyほか“FotoFile; A Consumer Multimedia Organization and Retrieval System”、 Conference on Human Factors in Computing Systems 1999（CHI 1999）、（米国）、１９９９年、ACM Press、ｐ．４９６−５０３
【非特許文献８】
Shingo Uchihashiほか“Summarizing Video Using a Shot Importance Measure and a Frame Packing Algorithm”、IEEE International Conference on Acoustics, Speech, and Signal Processing 1999（ICASSP 1999）、（米国）、１９９９年、第６巻、p．３０４１−３０４４
【非特許文献９】
Shingo Uchihashiほか“Video Manga: Generating Semantically Meaningful Video Summaries”、ACM Multimedia 1999、（米国）、１９９９年、ACM Press、p．３８３−３９２
【０００７】
【発明が解決しようとする課題】
既存のシステムでは、ビデオを電子的に送ろうとする場合、ユーザは未編集のままビデオ全体を送るか、数時間を費やして編集ビデオを制作してから編集ビデオを送るか、のいずれかの選択肢しかなかった。事情によっては専門家にビデオ編集を委ねる必要が生じるが、多くの場合望ましくなく、時間の浪費も大きい。
【０００８】
以上のことから、比較的少ない回数のユーザ入力でビデオを分割し、ユーザが閲覧、保存または転送のために、ビデオの一部を容易に選択できるようにするシステムおよび方法を案出することが望ましい。
【０００９】
【課題を解決するための手段】
本発明は、ビデオコラージュを作成する方法を含む。この方法は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、を含むようにしてもよい。ビデオセグメントがビデオコラージュ・テンプレートと関連付けられると、システムは、ビデオコラージュ・テンプレートと、これと関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する。
なお、本発明における「ビデオを複数のビデオセグメントに分割する」とは、ビデオを時間軸上にて分割することを指す。
【００１０】
ある態様において、本発明は、少なくとも１つの個別のビデオフレームと、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示する、ビデオコラージュ表示装置を含む。前記代表画像は、前記少なくとも１つの個別のビデオフレーム内にはめ込まれる。
【００１２】
さらに別の態様では、本発明は、ビデオコラージュを作成するための装置を含むようにしてもよい。この装置は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含むようにしてもよい。
【００１３】
次に本発明の具体的な態様を以下に述べる。本発明の第１の態様は、ビデオを複数のビデオセグメントに分割するステップと、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するステップと、前記複数のビデオセグメントの中の１つのビデオセグメントを、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付けるステップと、重要度を示す値を前記関連付けられたビデオセグメントに割り当てるステップと、特性ベクトルを前記関連付けられたビデオセグメントに割り当てるステップと、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するステップと、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するステップと、を含む、ビデオコラージュの作成方法である。第２の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択するステップと、前記選択された複数のビデオセグメントの各々を、前記ビデオコラージュ・テンプレートの個別のフレームと関連付けるステップと、を含む。第３の態様は、第１の態様において、前記複数のビデオセグメントの中の１つのビデオセグメントを関連付けるステップが、各々が前記複数のビデオセグメントのうちの１つを代表する、複数の代表画像を提供するステップと、前記複数の代表画像の中から１つの代表画像を選択するステップと、前記代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップと、を含む。第４の態様は、第１の態様において、ビデオセグメント・テンプレートを提供するステップをさらに含み、前記ビデオセグメント・テンプレートが複数の代表画像を含み、各代表画像が前記複数のビデオセグメントのうちの１つと関連付けられており、前記ビデオセグメントを関連付けるステップが、前記複数の代表画像の中の１つの代表画像を、前記ビデオコラージュ・テンプレートの前記個別のビデオフレームと関連付けるステップを含む。第５の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、前記ビデオを選択された数のセグメントに分割するステップを含む。第６の態様は、第１の態様において、前記ビデオをセグメントに分割する前記ステップが、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割するステップを含む。第７の態様は、第１の態様において、前記重要度を示す値が、前記ビデオセグメントが関連付けられた前記個別のビデオフレームの表示サイズに関連している。第８の態様は、第１の態様において、前記特性ベクトルが、前記ビデオセグメントの内容のアクティビティに関連している。第９の態様は、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートと、前記個別のビデオフレームのうちの少なくとも１つにはめ込まれた、ビデオが分割された複数のビデオセグメントの中の１つのビデオセグメントの代表画像であり、重要度を示す値及び特性ベクトルが割り当てられた代表画像と、を表示し、前記代表画像が選択手段により選択されることにより、前記代表画像の前記重要度を示す値と前記特性ベクトルとに基づいて再生時間が予め短縮された、前記代表画像に関連する前記ビデオセグメントを再生する、ビデオコラージュ表示装置である。第１０の態様は、第９の態様において、前記ビデオコラージュ表示装置は、複数の個別のビデオフレームを表示し、前記複数の個別のビデオフレームの各々に代表画像がはめ込まれ、各代表画像は１つのビデオセグメントと関連付けられている。第１１の態様は、第９の態様において、前記代表画像がはめ込まれた前記個別のビデオフレームの表示サイズに応じて、重要度を示す値が前記代表画像に割り当てられている。第１２の態様は、第９の態様において、前記個別のビデオフレームの表示サイズの比と、前記関連するビデオセグメントの内容のアクティビティとに基づいて前記特性ベクトルの長さの比が決定される。第１３の態様は、ビデオを複数のビデオセグメントに分割する分割手段と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供するテンプレート提供手段と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける関連付手段と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる重要度割当手段、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる特性ベクトル割当手段と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化するコンパクト化手段と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成するビデオコラージュ作成手段と、を含む、ビデオコラージュ作成装置である。第１４の態様は、第１３の態様において、前記関連付手段が、前記複数のビデオセグメントの中から、複数のビデオセグメントを選択し、前記選択された複数のビデオセグメントを、前記ビデオコラージュ・テンプレートの個別のフレームと関連付ける。第１５の態様は、第１３の態様において、前記分割手段が、前記ビデオを選択された数のセグメントに分割する。第１６の態様は、第１３の態様において、前記分割手段が、ジェネティック分割アルゴリズム（ＧＳＡ）を利用して前記ビデオをセグメントに分割する。第１７の態様は、コンピュータに、ビデオを複数のビデオセグメントに分割する手順と、少なくとも１つの個別のビデオフレームを有するビデオコラージュ・テンプレートを提供する手順と、前記複数のビデオセグメントの中の１つのビデオセグメントを前記ビデオコラージュ・テンプレートの前記個別のビデオフレームに関連付ける手順と、重要度を示す値を前記関連付けられたビデオセグメントに割り当てる手順と、特性ベクトルを前記関連付けられたビデオセグメントに割り当てる手順と、前記重要度を示す値と前記特性ベクトルとに基づいて、前記関連付けられたビデオセグメントの再生時間が短縮されるように前記関連付けられたビデオセグメントをコンパクト化する手順と、前記ビデオコラージュ・テンプレートと、前記関連付けられたビデオセグメントまたは前記コンパクト化されたビデオセグメントとから、ビデオコラージュを作成する手順と、を実行させるための、プログラムである。
【００１４】
【発明の実施の形態】
本発明を、特定の実施形態について、以下に説明する。本発明のこのほかの目的、特徴、利点は、本願明細書および図面を参照すれば、明白となる。
【００１５】
図１は、本発明の一実施形態に従った、ビデオセグメントを挿入し配置するための４つのビデオコラージュ・テンプレート１００、１１０、１２０、１３０の一例を示している。ビデオコラージュ・テンプレートは、ビデオセグメントをその中にはめ込む、個別のビデオフレームをそれぞれ含む。例えば、ビデオコラージュ・テンプレート１００は、個別のビデオフレーム１０１、１０３、１０５、１０７を含む。ビデオコラージュ・テンプレート１１０は、個別のビデオフレーム１１１、１１３、１１５を含む。ビデオコラージュ・テンプレート１２０は、個別のビデオフレーム１２１、１２３、１２５、１２７、１２９を含む。ビデオコラージュ・テンプレート１３０は、個別のビデオフレーム１３１、１３２、１３３、１３４、１３５、１３６、１３７、１３８を含む。個別のビデオフレームのサイズはビデオコラージュ・テンプレートのサイズによって制限されるものの、ビデオフレームの形状やサイズは任意に設定することができる。個別のビデオフレームの形状は、例えば、ビデオフレーム１２３のような楕円形、ビデオフレーム１３４のような円形、そのほか任意の形状とすることができる。また、ビデオフレーム数も任意に設定することができる。ビデオコラージュ・ユーザ・インタフェースに含まれる個別のビデオフレーム数は、１、２、３あるいはそのほかの任意の数とすることができる。
【００１６】
ビデオコラージュ・テンプレートは、システムが提供するようにしても、ユーザが作成するようにしてもよい。ビデオコラージュ・テンプレートは、例えばＭｉｃｒｏｓｏｆｔ  ＰｏｗｅｒＰｏｉｎｔ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｖｉｓｉｏ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｐａｉｎｔ（登録商標）、Ｃｏｒｅｌ  Ｄｒａｗ（登録商標）、デネバシステムズ社のＣａｎｖａｓ（登録商標）などの任意の製図アプリケーションを利用して作成することができ、電子ファイルとして記憶装置に保存することができる。ビデオコラージュ・テンプレートは、一度作成されると、ほかのユーザと共有したり、電子ファイルとして保存したりすることができる。
【００１７】
図２は、本発明の一実施形態に従ったビデオセグメント・テンプレート２００を示している。ビデオセグメント・テンプレート２００は、関連付けられたビデオセグメントの代表画像（例えば、代表画像２０１、２０３、２０５、２０７、２０９）を含む。ビデオは予め定められた数のセグメントに分割され、各ビデオセグメントについて代表画像が選択され、この代表画像が特定のセグメントと関連付けられる。ビデオセグメント・テンプレート２００を用いて、代表画像をユーザに提示するようにしてもよい。
【００１８】
ビデオセグメントごとの代表画像の選定は、さまざまな手段により行うことができる。例えば、関連するビデオセグメントの最初のフレームに含まれる画像を代表画像２０１としてもよい。または、ビデオセグメントの各フレームに画像解析アルゴリズムを適用して、そのビデオセグメントを端的に表しているフレームを選定し、このフレームの画像を代表画像とすることもできる。あるいは、ユーザがビデオセグメントを見て、その中の場面やフレームを選択し、選択した場面やフレームの中の画像を代表画像としてもよい。
【００１９】
図３は、本発明の一実施形態に従ったビデオコラージュ・ユーザ・インタフェース３００を示している。ビデオコラージュ・ユーザ・インタフェース３００は、ユーザが選択したビデオコラージュ・テンプレート３１０と、ビデオセグメント・テンプレート３２０とを含む。ビデオセグメント・テンプレート３２０は、セグメントに分割されたビデオの代表画像（例えば、代表画像３２１、３２３、３２５、３２７、３２９）を含む。ビデオコラージュ・ユーザ・インタフェース３００は、さまざまな機能を実行する際に使用されるひとまとまりのコントローラ機構３０１、３０３、３０５、３０７、３０９を備えるようにしてもよい。ユーザは、例えば、矢印ボタン３０１、３０３、３０５、３０７を使って選択ボックス３４０を代表画像３２３に合わせ、選択機構３０９を起動することで、ビデオセグメント・テンプレート３２０の中から代表画像（例えば、代表画像３２３）を選択することができる。さらに、選択機構３０９を再び起動することで、この代表画像３２３と関連付けられたビデオセグメントを再生するようにしてもよい。また、ユーザは、代表画像を選択した後、この選択した代表画像を、コントローラ機構３０１、３０３、３０５、３０７、３０９を使ってビデオコラージュ・テンプレート３１０のビデオフレームにはめ込むようにしてもよい。
【００２０】
ユーザが代表画像をビデオコラージュ・テンプレート３１０の個別のフレームにはめ込むと、画像がはめ込まれたビデオフレームに、代表画像が表示される。代表画像を選択すれば、代表画像と関連付けられたビデオセグメントを見ることができる。代表画像と関連付けられたビデオセグメントの再生は、関連付けられた代表画像の入った個別のビデオフレーム内や、個々の「ウィンドウ」内、あるいはディスプレイ・モニタ５０４のようなビューイング・デバイスの全面に表示して行うことができる。
【００２１】
コントローラ機構３０１、３０３、３０５、３０７、３０９、および選択ボックス３５０は、あくまで例示的に使用したものであり、このほかの手段によって代表画像、および代表画像と関連付けられたビデオセグメントの選択、閲覧、配置を行うことも可能である。例えば、ユーザは、カーソル制御デバイス５０５（図５参照）などの任意のポインティング・デバイスを利用したり、タッチ感応ディスプレイ画面やキーボード５０６のキーストロークを利用して代表画像を選択することにより、これらの機能を実行することができる。
【００２２】
図４は、本発明の一実施形態に従ったビデオコラージュ４００の一例を示している。ビデオコラージュ４００は、ビデオコラージュ・ユーザ・インタフェース３００（図３参照）を利用して作成される。ビデオコラージュ４００の作成に当たり、ユーザは代表画像３２１を選択し、これをビデオフレーム３１１にはめ込む。これにより、ビデオコラージュ４００のビデオフレーム４１１にはめ込まれた代表画像４２１が得られる。次に、ユーザは代表画像３２３を選択し、これをビデオフレーム３１３にはめ込む。これにより、ビデオフレーム４１３にはめ込まれた代表画像４２３が得られる。次に、ユーザは代表画像３２５を選択し、これをビデオフレーム３１５にはめ込む。これにより、ビデオフレーム４１５にはめ込まれた代表画像４２５が得られる。次に、ユーザは代表画像３２７を選択し、これをビデオフレーム３１７にはめ込む。これにより、ビデオフレーム４１７にはめ込まれた代表画像４２７が得られる。次に、ユーザは代表画像３２９を選択し、これをビデオフレーム３１９にはめ込む。これにより、ビデオフレーム４１９にはめ込まれた代表画像４２９が得られる。
【００２３】
ビデオコラージュ４００は、一度作成されると、フレーム配置や、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報を含む、個別の電子ファイルとして保存することができる。また、ファイルは選択された代表画像と関連付けられたビデオセグメントを含むようにしてもよい。
【００２４】
また、ビデオコラージュまたは選択された代表画像は、関連付けられたビデオセグメントが記憶されている場所へのリンクを含むようにしてもよい。例えば、インターネットを通じてビデオを入手することができる場合、電子ファイルは、選択された代表画像を含めたビデオコラージュ４００の表示に関する情報、および代表画像と関連付けられた各ビデオセグメントの場所へのリンクのみを含むようにしてもよい。この場合、ビデオコラージュ４００から代表画像が選択されると、これと関連付けられたビデオセグメントがインターネット上を流れ、ユーザに提示される。関連付けられた各ビデオセグメントへのリンクを電子ファイルに含めておけば、ビデオコラージュ４００の電子ファイルのサイズが非常に小さくても、電子ファイルを記憶させたり転送したりすることが可能となる。
【００２５】
ビデオコラージュ４００の電子ファイルのビデオファイル形式は、ユーザが閲覧、保存、転送することができるものであれば、任意の形式とすることができる。例えば、ビデオコラージュ４００の電子ファイルは、ＭＰＥＧ（Moving Picture Experts Group）ファイル、ＡＶＩ（Audio Video Interleave）ファイル、ＤＶ（Digital Video）ファイル、ＱｕｉｃｋＴｉｍｅファイル、またはこのほかの任意のビデオファイル形式で保存することができる。
【００２６】
ビデオコラージュ４００が一度作成されると、ユーザはビデオコラージュ４００をウェブ・サイトで公開したり、電子メールなどの伝送デバイスを利用してほかのユーザに転送したり、電子ファイルとして保存したり、ビデオコラージュのコピーを印刷したり、ＤＶＤ（Digital Video Disc）、ＶＣＤ（Video Compact Disc）、ＣＤ（Compact Disc）などを作成したりすることができる。
【００２７】
本発明の適用範囲はインターネットの利用に限定されないが、本発明の実施形態を例示する目的でインターネットを取り上げる。本発明の実施形態は、任意の形式のエンドツーエンド通信チャネル上で実施することも可能である。例えば、本発明の実施形態は、インスタント・メッセージ・システムや、ローカル・エリア・ネットワーク（ＬＡＮ）などの内部ネットワークとともに機能するよう、またはピアツーピア・ネットワークを介して機能するよう、実施してもよい。
【００２８】
図５は、本発明の実施形態を実施するのに適した、計算デバイス・アーキテクチャ５００を示している。計算デバイス・アーキテクチャ５００は、プロセッサ５０２、記憶デバイス５０３、モデムなどのインターネット・アクセス用装置５１０、ディスプレイ・モニタ５０４を含む。さらに、計算デバイス・アーキテクチャ５００は、カーソル制御デバイス５０５、ランダム・アクセス・メモリ（ＲＡＭ）５０７、リード・オンリー・メモリ（ＲＯＭ）５０８、キーボード５０６、グラフィクス・コプロセッサ５０９を含む構成としてもよい。異なる要素間でデータ転送を行うため、計算デバイス・アーキテクチャ５００の要素は、すべて共通バス５０１で相互接続されている。バス５０１は、データ、アドレス、制御信号を含むことが多い。
【００２９】
本発明の実施形態を実行できる計算デバイス・アーキテクチャとして図５のアーキテクチャ５００を取り上げたが、本発明の実施形態の実施にはこのほかにも任意の計算デバイス・アーキテクチャが利用可能である。
【００３０】
本発明の一実施形態において、記憶デバイス５０３は、コンピュータで読み出し可能な媒体などの、製造部品とすることができる。記憶デバイス５０３の例として、磁気ハードディスク、光ディスク、フロッピー（登録商標）・ディスク、ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、またはこのほかの読み出しおよび書き込み可能型データ記憶技術が挙げられ、これらは単独もしくは組み合わせにより使用することができる。
【００３１】
記憶デバイス５０３は、計算デバイス・アーキテクチャ５００を用いてプログラムもしくはアプリケーションを実行することのできる、オペレーティング・システム５１１を含むようにしてもよい。オペレーティング・システム５１１の例として、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）、Ａｐｐｌｅ  Ｍａｃｉｎｔｏｓｈ  ＯＳ（登録商標）、Ｕｎｉｘ（登録商標）が挙げられる。本発明の一実施形態はビデオコラージュ・ソフトウェア・プログラム５１２として実施され、記憶デバイス５０３に記憶される。
【００３２】
ビデオコラージュ・ソフトウェア・プログラム５１２などの本発明の実施形態は、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションの形式をとることができ、これらは単独もしくは組み合わせとすることができる。ビデオコラージュ・ソフトウェア・プログラム５１２は、１、２もしくは任意の数の計算デバイス５００を利用して実施することができる。
【００３３】
図６、図７、図８は特定の機能を実行するためのロジック・ボックスを示していることが、当業者には理解されよう。ロジック・ボックス数は、実施形態に応じて増減することができる。本発明の一実施形態では、ロジック・ボックスは、ソフトウェア・プログラム、ソフトウェア・オブジェクト、ソフトウェア・ファンクション、ソフトウェア・サブルーチン、ソフトウェア・メソッド、ソフトウェア・インスタンス、コード・フラグメント、ハードウェア・オペレーション、ユーザ・オペレーションを表していてもよく、これらは単独もしくは組み合わせとすることができる。例えば、ロジック・ボックスは、図５に示されたビデオコラージュ・ソフトウェア・プログラム５１２の一部や、本発明のこのほかの実施形態の任意の一部を表すことができる。
【００３４】
図６は、本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップの概略を示す、フローチャート６００である。
【００３５】
ユーザは、ロジック・ボックス６０１でシステムを開始し、ビデオコラージュのレイアウトを作成する際に使用したいビデオを提供する。ビデオを受け取ると、制御はロジック・ボックス６０３に進む。
【００３６】
ロジック・ボックス６０３で、システムは所与のビデオから１組のビデオセグメントを生成する。この１組のビデオセグメントは、ビデオの中の、所定数のセグメントを含む。一実施形態において、ユーザはビデオのセグメント数を選択することができる。あるいは、ビデオを予め設定した数のセグメントに分割することもできる。さらに、システムが所与のビデオの長さを判別し、この長さに基づいてセグメント数を選択するようにしてもよい。
【００３７】
ロジック・ボックス６０４で、ビデオコラージュ・テンプレート１００、１１０、１２０、１３０（図１参照）のような１組の所定のビデオコラージュ・テンプレートがユーザに提示され、ユーザがそのうちの１つのテンプレートを選択する。または、ユーザが独自のビデオコラージュ・テンプレートを作成し、これを使用してもよい。
【００３８】
ロジック・ボックス６０５で、ビデオコラージュ・ユーザ・インタフェースがユーザに提示される。図３に示したビデオコラージュ・ユーザ・インタフェース３００のようなビデオコラージュ・ユーザ・インタフェースは、ロジック・ボックス６０４で選択されたビデオコラージュ・テンプレートと、ロジック・ボックス６０３で生成されたビデオセグメントに各々関連付けられた代表画像を含むビデオセグメント・テンプレート２００（図２参照）とを含む。
【００３９】
ロジック・ボックス６０７に示されるように、ユーザは、ビデオセグメント・テンプレートからセグメントを選択し、選択したセグメントを、選択したビデオコラージュ・テンプレートの所望のフレームにはめ込む。ユーザがビデオコラージュ・テンプレートの個別のフレームのそれぞれに画像をはめ込むと、あるいはユーザがビデオコラージュ・テンプレートの個別のフレームに画像がはめ込まれたことをシステムに指示すると、制御はロジック・ボックス６０９に進む。ロジック・ボックス６０９で、選択されたビデオコラージュ・テンプレートと、選択された代表画像とから、ビデオコラージュが作成される。
【００４０】
図７は、本発明の一実施形態に従った、ロジック・ボックス６０３（図６参照）として示された、ビデオセグメントを生成するステップを示すフローチャートである。
【００４１】
ビデオの分割は、ビデオの提供に応答して、ロジック・ボックス７０１で開始される。アイスクリーム・パーティーを撮影した、もとの長さが１４分のビデオを例示的に取り上げ、フローチャート７００に示されるようなビデオの分割を説明する。
【００４２】
ビデオが提供されると、ロジック・ボックス７０３に示されるような最初のビデオ分割を行うことができる。最初のビデオ分割は、さまざまな周知のビデオ分割手段により行うことができる。例えば、「ショット」によってビデオを分割することができる。「ショット」は、ビデオカメラで録画を開始してから録画を停止するまでの時間で定義される。あるいは、場面の切り替えを検出するアルゴリズムを利用してビデオを分割してもよい。ショットや場面は、ユーザが手動で分割するようにしてもよい。
【００４３】
最初のビデオ分割が行われると、制御はロジック・ボックス７０４に進む。ロジック・ボックス７０４で、ロジック・ボックス７０３で生成されたセグメントの数が、ユーザに選択肢として提示されるセグメント数（Ｎ）より少ないか、もしくは同数であるか否かが判定される。ユーザに選択肢として提示されるセグメント数Ｎは、予め設定しておいてもよく、またユーザが設定することもできる。ロジック・ボックス７０３で生成されたビデオセグメントの数がＮと同数もしくはそれより少ないと判定されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、ビデオセグメントはユーザに提示されるビデオセグメントとして使用される。一方、ビデオセグメントの数がＮより多ければ、制御はロジック・ボックス７０５に進む。
【００４４】
アイスクリーム・パーティーのビデオ例を参照する。このビデオは、一般的な色差アルゴリズムを用いて、まず１７９のセグメントに分割される。このようなアルゴリズムでは、ビデオをフレーム間の色差に基づいて分割する。最初のビデオ分割には、このほかの一般的な分割アルゴリズムを利用してもよい。１７９というセグメント数は、ユーザが迅速かつ容易に処理するには多く、Ｎが２４に設定されているため、制御はロジック・ボックス７０５に進む。
【００４５】
ロジック・ボックス７０５で、ロジック・ボックス７０３で生成された１組のビデオセグメントの中から、Ｎ個のビデオセグメントが選択される。この１組のＮ個のビデオセグメントを、便宜上Ｓ（Ｎ）と呼ぶことにする。１組のＳ（Ｎ）は、全体のビデオを端的に示すセグメントを含むことになる。
【００４６】
ロジック・ボックス７０５で説明されるようなビデオセグメントの選択は、さまざまなビデオ分割手段により実行することができる。例えば、ジェネティック分割アルゴリズム（ＧＳＡ）を用いて、Ｎ個のビデオセグメントを選択してもよい。ＧＳＡについては、本願と同一出願人により出願された、同時係属中の米国特許出願番号０９／６１１，３８９「画像データ・ストリームなどのデータのジェネティック分割方法」（２０００年７月７日出願。この特許出願を参照によって本願明細書に援用する）を参照されたい。このほかのセグメント選択手段として、隣接するフレームのヒストグラム差に着眼し、ヒストグラム差が閾値を上回る地点がセグメントの境界となるよう閾値を設定する方法が挙げられる。
【００４７】
Ｎ個のセグメントが選択されると、制御はロジック・ボックス７０７に進む。ロジック・ボックス７０７で、１組のＮ個のビデオセグメントが、ユーザに提示される１組のビデオセグメントとして使用される。
【００４８】
別の実施形態として、ロジック・ボックス７０３、７０４、７０５を結合させてもよい。この場合、最初のビデオ分割は、ビデオセグメント数が所定数Ｎとなるビデオに対して行われることになる。分割は、ＧＳＡを利用して行ってもよい。この場合ＧＳＡにはＮが与えられる。ＧＳＡは、ビデオ全体をＮ個のセグメントに分割し、ロジック・ボックス７０７で、このＮ個のセグメントがユーザに提示される。
【００４９】
図８は、本発明の一実施形態に従って、ロジック・ボックス６０７および６０９（図６参照）に示されるように、選択されたビデオセグメントを抽出、変更し、ビデオコラージュを作成するステップを概略的に示すフローチャートである。
【００５０】
プロセスはロジック・ボックス８００で開始され、制御はロジック・ボックス８０１に進む。ロジック・ボックス８０１で、ユーザは、上述のいずれかの手段によって、ビデオコラージュ・テンプレートの各フレームについて、関連付けられたビデオセグメントの代表画像を選択する。関連付けられたビデオの代表画像が選択され、この代表画像がビデオコラージュ・テンプレートの個別のビデオフレームにはめ込まれると、制御はロジック・ボックス８０３に進む。
【００５１】
ロジック・ボックス８０３で、選択された代表画像と関連付けられたビデオセグメントが、当該技術で知られている任意のビデオ抽出手段によって、ビデオから各々抽出される。抽出されたビデオセグメント（ｓ0，ｓ1，ｓ2，…，ｓk-1）の集合を便宜上Ｕ（ｋ）と呼ぶことにする。Ｕ（ｋ）＝｛ｓ0，ｓ1，ｓ2，…，ｓk-1｝であり、ｋはユーザの選択したセグメント数である。各ビデオセグメントが抽出されると、制御はロジック・ボックス８０５に進む。
【００５２】
ロジック・ボックス８０５では、抽出された各ビデオセグメントに、重要度を示す値が割り当てられる。一実施形態では、ビデオコラージュにおいて、大きいビデオフレームに割り当てられたセグメントには高い重要度を示す値が割り当てられ、小さいビデオフレームに割り当てられたセグメントには低い重要度を示す値が割り当てられる。選択されたビデオセグメントに重要性を示す値を割り当てる作業は、ユーザが行うようにしてもよい。
【００５３】
ロジック・ボックス８０６で、各セグメントの内容のアクティビティを特徴付けるため、各セグメントに「特性ベクトル」（ａ（ｓ）で表す）が関連付けられる。内容のアクティビティの例として、（１）セグメントの長さ、（２）媒体中における経時変化（視覚的変化、音声変化、テキスト変化）などが挙げられる。各ビデオセグメントに特性ベクトルを割り当てることにより、ビデオセグメントを調整するもう１つの特性が与えられる。このもう１つの特性により、ビデオセグメントの長さを、個別のビデオフレームのサイズに対して線形マッピングするという問題が解決される。ビデオセグメントの長さを個別のビデオフレームのサイズに対して線形マッピングすると、短いセグメントが大きいフレームに割り当てられた場合に、ほかのビデオセグメントが短くなりすぎてしまうという問題が生じる。
【００５４】
特性ベクトルを定義する例を、１つのセグメントの、フレーム間での視覚的変化を取り上げて説明する。視覚的変化は、色ヒストグラムの差を求め、式ｆ（ｓ）＝セグメントｓにおいて色ヒストグラム差が所定値以上であるフレーム数（Ｆ”）を用いて決定することができる。式中、ｆ（ｓ）は視覚的変化の値である。
【００５５】
ビデオカメラのパン動作では、ｆ（ｓ）は大きくなり、ズームでは、ｆ（ｓ）は小さくなり、静止オブジェクトに静止カメラが向けられる場合、ｆ（ｓ）はゼロとなる。一様な背景上を移動するオブジェクトに静止カメラが向けられる場合、ｆ（ｓ）は小さくなる場合もあるため、ｆ（ｓ）を適切に調節するためには、画像のエッジ検出を行ってもよい。エッジ検出手段は、当該技術で知られているため、詳細な説明は省略する。
【００５６】
特性ベクトルは、特性ベクトルを定義する際に次式を用いることで、正規化された視覚的変化と、ビデオセグメントの長さとを考慮したものとしてもよい。
【００５７】
【数１】
0004200741.tif 000002
【００５８】
特性ベクトルは、別の特性を加えることで、別の要素を含むよう変更することができる。例えば、ビデオセグメントの音声を（例えば、１０ミリ秒ごとに）サンプリングし、エネルギー差を判定することで、特性ベクトルに音声特性を加えることができる。トランスクリプト（例えば、字幕）や、プレゼンテーション用スライドの光学式文字認識（ＯＣＲ）から抽出されたテキストが存在する場合、テキスト特性を利用すると有効である。テキスト特性を加えるには、テキスト・ストリームをサンプリングし、テキスト・レートの変化を判別すればよい。
【００５９】
選択されたビデオセグメントの各々に重要度を示す値が割り当てられ（ロジック・ボックス８０５）、重要度を示す値と内容のアクティビティとを考慮した特性ベクトルがビデオセグメントに関連付けられると（ロジック・ボックス８０６）、制御はロジック・ボックス８０７に進む。
【００６０】
ロジック・ボックス８０７では、作成される電子ファイルのサイズを小さくしたり、ビデオセグメントの興味をひかない部分を削除したりするために、選択されたビデオセグメントに変更を加えることができる。ビデオの変更をわかりやすく説明するため、ここでは、最も長い特性ベクトルが境界となっている半径を有する球の範囲に収まるように正規化された特性ベクトルを取り上げる。
【００６１】
各特性ベクトルは、境界半径に対する各特性ベクトルの長さの比が、最大で、ビデオコラージュ・テンプレート中の最大のサイズを有するビデオフレームのサイズＡmaxに対する各ビデオフレームのサイズＡ（ｓ）の比となるよう、短くされている。このため、次式を解くことにより、ビデオセグメント、関連付けられた特性ベクトル、および対応する個別のビデオフレームについて、選択されたほかのビデオセグメントに対し、各ビデオセグメントをどの程度コンパクト化するかを決定することができる。
【００６２】
【数２】
0004200741.tif 000003
【００６３】
この制約を満たす各ビデオセグメントｓはそのままにしておき、この制約を満たさないビデオセグメントは、制約が満たされるまで調整される。一実施形態では、ビデオセグメントは、制約を満たすよう、セグメントの終わりから初めにかけてビデオの一部を切ることにより、調整される。｜ａ（ｓ）｜は、時間によって、｜ａ（ｓ（ｔ））｜としてパラメータ化することができる、ｔの増加関数である。ｔは０からＴまで変化し、Ｔはセグメントの長さである。以上のことから、制約が満たされる最低点ｔ＊が存在する。ｔ＊を決定する方法の１つは、ターム・インターバル[０、Ｔ]の１／２を再帰的に求める方法である。
【００６４】
最も大きい個別のフレームに割り当てられたセグメントｓ（Ａ（ｓ）＝Ａmax）は、次式で表される制約を常に満たすため、調整（一部を切ること）は必要ない。
【００６５】
【数３】
0004200741.tif 000004
【００６６】
ゆえに、得られるビデオコラージュは、（例えば、最も大きいフレームにビデオセグメントをはめ込むことにより、）ユーザが最も重要度が高いと指示したセグメントを完全な形で有することになる。ビデオセグメントのサイズを小さくするために、ビデオの一部を切る方法以外のビデオコンパクト化手段も利用できる。ほかのコンパクト化手段の例として、セグメントをタイム・ワープする（例えば、１より大きい値をとる係数ｐによって再生速度を高めるよう再生パラメータを設定する）方法が挙げられる。
【００６７】
上述のようにセグメントが調整されると、制御はロジック・ボックス８０９に進み、ロジック・ボックス８０９でビデオコラージュが作成される。
【００６８】
別の実施形態では、情報検索の観念を特性ベクトルａ（ｓ）の定義に含めるようにしてもよい。情報検索の観念は、用語の使用頻度、逆文書使用頻度（ｔｆ＊ｉｄｆ）とすることができる。ビデオアプリケーションに関するこのような情報検索の観念の一例が、Uchihashi, Sらの「ショット重要度測定およびフレーム・パッキング・アルゴリズムを用いたビデオの要約（Summarizing video using a shot importance measure and a frame-packing algorithm）」（非特許文献８）に記載されている。この方法は、色などの特徴の階層的クラスタリングに依存する。別の例が、Chiu, Pらの「ビデオ分割と要約のためのジェネティック・アルゴリズム（A genetic algorithm for video segmentation and summarization）」（非特許文献３）にも記載されている。これらの論文では、特性ベクトルに含まれる値を「重要度」と呼んでいる。
【００６９】
このような変更態様では、まずＵ（ｋ）におけるセグメントｓと類似した要素を持つべき集合Ｃsを、次式のように定義する。
【００７０】
【数４】
0004200741.tif 000005
【００７１】
この式では、視覚的特徴のみを用いているが、ほかの特徴や媒体（音声など）を含むようにしてもよい。上記のことから、次式を定義することができる。
【００７２】
【数５】
0004200741.tif 000006
【００７３】
ｉｄｆ（ｓ）は、係数Ｃidf＝ｌｏｇ（（１＋ｋ）／２）で除算することにより、０と１の間で正規化することができる。次に、この正規化された式に各セグメントの長さの項を乗算すると、特性ベクトルのバリエーションが次式のように得られる。
【００７４】
【数６】
0004200741.tif 000007
【００７５】
別の実施形態では、分割されたビデオの一部を切る量を少なくするため、対応するそれぞれのビデオフレームの半径を決定することで、制約を変更することができる。このことは、領域の平方根を得ることにより、または各ビデオセグメントのベクトル長の平方を得ることにより、行うことができる。このような実施形態では、セグメントの調整を決定する際に次式を利用することができる。
【００７６】
【数７】
0004200741.tif 000008
【００７７】
図９は、本発明の一実施形態に従い、上記のビデオ調整手段を用いてビデオの一部を切ることによるコンパクト化の量の一例を示している。詳細には、図９の表は、アイスクリーム・パーティーのビデオ例に関するものである。この例では、システムがアイスクリーム・パーティーのビデオを２４のセグメントに分割し、分割されたセグメントを、ビデオコラージュ・ユーザ・インタフェース（図３参照）に含まれるビデオセグメント・テンプレートを通じて表示する。ユーザが選択を完了すると、得られたビデオコラージュがビデオコラージュ４００（図４参照）として示される。セグメント９２１、９２３、９２５、９２７、９２９は、それぞれ代表画像４２１、４２３、４２５、４２７、４２９と関連付けられたビデオセグメントに対応している。
【００７８】
図９の表９００は、８つの列９０１、９０２、９０３、９０４、９０５、９０６、９０７、９０８を含む。列９０１では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９が識別される。列９０２では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９の長さ（秒）が識別される。列９０３では、対応する個別のビデオフレーム４１１、４１３、４１５、４１７、４１９（図４参照）のそれぞれの領域が識別される。列９０４では、選択されたビデオセグメント９２１、９２３、９２５、９２７、９２９ごとに算定された特性ベクトルの長さが識別される。列９０５では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（２）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０６では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（２）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。列９０７では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を、式（３）を使ってコンパクト化したときのコンパクト化の率が識別される。列９０８では、選択された各ビデオセグメント９２１、９２３、９２５、９２７、９２９を式（３）を使ってコンパクト化したときの、コンパクト化された後の長さ（秒）が識別される。
【００７９】
表９００よりわかるように、ベクトルａの最大値（ａmax）は１．１８で、ビデオセグメント９２１に関連しており、領域Ａの最大値（Ａmax）は６．８８で、ビデオセグメント９２５の代表画像４２５を含むビデオフレーム４１５に関連している。この例では、５つの選択されたビデオセグメントの完全なコンパクト化されていない長さは８３．００秒であるが、制約式（２）に従ってコンパクト化されると、コンパクト化された後の長さは４２．５８秒、コンパクト化の率は４９％となる。列９０５をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１に割り当てられているため、コンパクト化の率は７４％となっており、セグメントの長さは、制約式（２）を用いて、２８．００秒から７．２８秒にまで短縮されている。
【００８０】
また、同じ５つのビデオセグメントを、制約式（３）を用いてコンパクト化すると、コンパクト化された後の長さは６３．０５秒となる。列９０７をみてみると、最も大きいビデオフレームに対応するビデオセグメント９２５は、重要度が最も高いとされているため、コンパクト化されていない。しかし、最も大きい特性ベクトルと関連付けられているビデオセグメント９２１は、比較的小さいフレーム４１１（図４参照）に割り当てられているため、コンパクト化の率は４５％となっており、セグメントの長さは、制約式（３）を用いて、２８．００秒から１５．３０秒にまで短縮されている。
【００８１】
上述した特定の実施形態は、あくまで本発明の原理を例示的に説明したものであり、本発明の範囲および主旨を逸脱せずに本発明にさまざまな変更を加えることは、当業者であれば可能である。従って、本発明の範囲は請求の範囲によってのみ限定される。
【図面の簡単な説明】
【図１】本発明の一実施形態に従った、ビデオセグメントをはめ込み、配置するための４つのビデオコラージュ・テンプレートの一例を示す図である。
【図２】本発明の一実施形態に従ったビデオセグメント・テンプレートを示す図である。
【図３】本発明の一実施形態に従った、ビデオコラージュを作成するためのユーザ・インタフェースの一例を示す図である。
【図４】本発明の一実施形態に従った、ビデオセグメントの５つの選択された代表画像を含むビデオコラージュの一例を示す図である。
【図５】本発明のさまざまな実施形態を実施するのに適した計算デバイス・アーキテクチャを包括的に示すブロック図である。
【図６】本発明の一実施形態に従った、ビデオコラージュのレイアウトを作成するステップを示すフローチャートである。
【図７】本発明の一実施形態に従った、ビデオセグメントを生成するステップを示すフローチャートである。
【図８】選択されたビデオセグメントを抽出し、変更する包括的なステップを示すフローチャートである。
【図９】本発明の一実施形態に従った、ビデオのコンパクト化の一例を示す表である。
【符号の説明】
１００、１１０、１２０、１３０  ビデオコラージュ・テンプレート
２００  ビデオセグメント・テンプレート
３００  ビデオコラージュ・ユーザ・インタフェース
４００  ビデオコラージュ
５００  計算デバイス・アーキテクチャ
【図１】
0004200741.tif 000009
【図２】
0004200741.tif 000010
【図３】
0004200741.tif 000011
【図４】
0004200741.tif 000012
【図５】
0004200741.tif 000013
【図６】
0004200741.tif 000014
【図７】
0004200741.tif 000015
【図８】
0004200741.tif 000016
【図９】
0004200741.tif 000017