(57)【特許請求の範囲】
【請求項１】
複数のビデオクリップを分類して作成された複合ビデオで構成されるビデオシーケンスの階層を形成する方法であって、前記方法は、
複数のビデオクリップを分類して作成された複合ビデオを階層構造にして構成された第一のビデオシーケンスを選択する段階と、
複数のビデオクリップを分類して複合ビデオを作成し、当該複合ビデオを階層構造にすることで構成される第二のビデオシーケンスを作成する段階と、
前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成するビデオクリップとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成するビデオクリップとの間の中で任意に少なくとも１つのリンクを形成する段階と、
前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行を特定するリンク特性を、前記リンクに割り当てる段階と、
を含む方法。
【請求項２】
前記第二のビデオシーケンスは、複数のビデオクリップを、ユーザインタフェースレイアウト領域における複数のビデオクリップの配列に対応させて発生順に提示する請求項１に記載の方法。
【請求項３】
前記第一のビデオシーケンスは、第一の詳細レベルのビデオ情報を含む第一のビデオ階層レベルの一部であり、
前記第二のビデオシーケンスは、第二の詳細レベルのビデオ情報を含む第二のビデオ階層レベルの一部である請求項１に記載の方法。
【請求項４】
前記リンク特性は、前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行に当たり、前記第二のビデオシーケンスの再生開始点を特定する請求項１に記載の方法。
【請求項５】
前記再生開始点は、前記第二のビデオシーケンスの冒頭部分である請求項４に記載の方法。
【請求項６】
前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行の際の前記第二のビデオシーケンスの前記再生開始点は、前記第一のビデオシーケンスの再生位置と対応している請求項４に記載の方法。
【請求項７】
前記第二のビデオシーケンスから前記第一のビデオシーケンスへの移行に当たり、前記リンク特性は前記第一のビデオシーケンスの再生開始点を特定する請求項１に記載の方法。
【請求項８】
前記第一のビデオシーケンスの前記再生開始点は、前記第一のビデオシーケンスの終わりの部分である請求項７に記載の方法。
【請求項９】
前記第二のビデオシーケンスから前記第一のビデオシーケンスへの移行の際の前記第一のビデオシーケンスの前記再生開始点は、前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行の際の前記第一のビデオシーケンスの前記再生開始点である請求項７に記載の方法。
【請求項１０】
前記第二のビデオシーケンスから前記第一のビデオシーケンスへの移行の際の前記第一のビデオシーケンスの再生開始点は、前記第二のビデオシーケンスの再生位置と対応している請求項７に記載の方法。
【請求項１１】
前記第一及び第二のビデオシーケンスは同数のビデオクリップで構成され、
前記リンク特性は、前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行に当たり、前記第二のビデオシーケンスの再生開始点を特定し、
前記再生開始点は、前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行の際に再生されている前記第一のビデオシーケンスの前記ビデオクリップに対応する前記第二のビデオシーケンスのビデオクリップの冒頭部分である請求項１に記載の方法。
【請求項１２】
前記第一及び第二のビデオシーケンスは同数のビデオクリップで構成され、
前記リンク特性は、前記第二のビデオシーケンスから前記第一のビデオシーケンスへの移行に当たり、前記第一のビデオシーケンスの再生開始点を特定し、
前記再生開始点は、前記第二のビデオシーケンスから前記第一のビデオシーケンスへの移行の際に再生されている前記第二のビデオシーケンスの前記ビデオクリップに対応する前記第一のビデオシーケンスのビデオクリップの冒頭部分である請求項１に記載の方法。
【請求項１３】
前記第一のビデオシーケンス、前記第二のビデオシーケンス、及び前記第一及び第二のビデオシーケンスの間のリンクからなる階層的ビデオシーケンスを出力する段階を更に含む請求項１に記載の方法。
【請求項１４】
前記階層的ビデオシーケンスは、デジタルビデオファイル及び編集決定リストのファイルとして出力される請求項１３に記載の方法。
【請求項１５】
前記ビデオシーケンスの階層は多層からなるビデオシーケンスを含み、第一のビデオシーケンスと第二のビデオシーケンスとは、前記ビデオシーケンスの階層内で少なくとも１層のビデオシーケンスによって分割されている請求項１に記載の方法。
【請求項１６】
前記第一及び第二のビデオシーケンス間の移行は、ユーザ入力に応答して行われる請求項１に記載の方法。
【請求項１７】
情報処理デバイスで動作するのに適した、プロセッサが読み取り可能なプログラムであって、
複数のビデオクリップを分類して作成された複合ビデオを階層構造にして構成された第一のビデオシーケンスを選択すること、
複数のビデオクリップを分類して複合ビデオを作成し、当該複合ビデオを階層構造にすることで構成される第二のビデオシーケンスを作成すること、
前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成するビデオクリップとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成するビデオクリップとの間の中で任意に少なくとも１つのリンクを形成すること、及び前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行を特定するリンク特性を、前記リンクに割り当てること、
を含むプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルビデオシーケンスを生成すること、より詳細には多層に分かれた詳細を有し、ユーザ入力に応答するデジタルビデオシーケンスを生成することに関する。
【０００２】
【従来の技術】
本出願は、本出願と同日に出願され、参照によって本明細書中に援用される次の出願に関連する。
【０００３】
「ビデオシーケンスの縮小表示」（代理人整理番号ＦＸＰＬ−１０３８ＵＳ０）
【０００４】
数多くの種々のデジタルビデオシステムが出現したのに伴い、多様な対話式ビデオが開発されている。対話式ビデオの一種に、随意的なサイドトリップを含めるものがある。この種の対話式ビデオでは、ユーザは現在再生しているビデオから交替ビデオシーケンスを見るためのリンクをたどることができる。ビデオシーケンスが終了するかユーザ入力が行われると、ビデオ表示は元のビデオの逸脱点に戻り、再生を続ける。
【０００５】
ビデオにおける随意的なサイドトリップの概念について更に詳しく述べると、詳細オンデマンド（detail on demand）ビデオは１つ以上のベースビデオシーケンスを有する。ベースビデオシーケンスは、それぞれ１つ以上の随意的な交替ビデオシーケンスを有する。交替ビデオシーケンスは、それぞれベースビデオシーケンスに関する付加的詳細を提供する。ユーザは、ビデオの再生時に交替ビデオシーケンスを選択し、この付加的詳細を見ることができる。
【０００６】
ユーザ入力が行われるか交替ビデオシーケンスが終了すると、表示はベースビデオシーケンスに戻る。表示を再開する位置は、ビデオの作成者が決定してもよい。また、交替ビデオシーケンスが他のビデオシーケンスへのリンクを有するようにし、付加的詳細を提供するビデオシーケンスが更なる詳細へのリンクを含む、階層構造を形成してもよい。
【０００７】
詳細オンデマンドビデオの性質は、教習ビデオや実用技術のビデオの作成に適している。この用途では、見る側がそれぞれ必要とする段階の説明を得ることができる。ベースビデオシーケンスは、抽象的段階で情報の全体像を表示するようにしてもよい。ユーザはベースビデオシーケンスからリンクをたどり、交替ビデオシーケンスの情報の更に詳細な表示を見ることができる。この交替ビデオシーケンスを更に交替ビデオシーケンスにリンクさせることで、更なる詳細を任意に得ることができる。このように階層的に表示することで、見る側は表示の中で知っている部分を飛ばしながら、最も役立つ題目の詳細表示を見ることができる。ビデオガイドにそれぞれの見る人に合わせた詳細段階を表示することで、より多くの見る人の役に立てる。ユーザがすでに知っている情報の詳細表示をしないため、見る側の時間を節約することにもなる。
【０００８】
詳細オンデマンドビデオは、家庭用ビデオの編集にも応用できる。家庭のユーザは、家族の活動のビデオサマリーを作成することがある。種々の活動の更なる詳細表示をベースビデオシーケンスとリンクさせ、更なる関心事の対象場面を提供するようにしてもよい。例えば、家族のビデオクリスマスカードに、その１年の家族の活動を概略したメインビデオシーケンスを入れてもよい。見る側はこのメインビデオシーケンスの各部分においてリンクを選択し、家族のこの活動から追加的なビデオを見ることができる。例えば、祖父又は祖母なら孫の追加的なビデオシーケンスを選択し、他の親戚ならパーティや家族の集まりの更なる詳細を選択することができる。
【０００９】
【発明が解決しようとする課題】
詳細オンデマンドビデオを作成するための、簡易で、しかも柔軟なインタフェースを提供することが望ましい。このインタフェースでは、ユーザは自由形式のハイパービデオや非線形ビデオ編集に伴う複雑な作業を行わずとも詳細オンデマンドビデオを作成できるようにすべきである。また、このインタフェースは、階層的ビデオ構造をサポートすべきである。迅速な進行を図るため、インタフェースはビデオクリップを分類して複合ビデオを作成できるようにすべきである。複合ビデオは、ビデオシーケンスや任意の交替ビデオシーケンスを作成するためのビルディングブロックとして使用することができる。また、ベースビデオシーケンスと交替ビデオシーケンスの間の入口点と出口点とを特定することが望ましい。これにより、交替ビデオシーケンスはサイドトリップとしてではなく、ベースビデオシーケンスの代わりとして機能し得る。
【００１０】
画面の面積が限られていることを考慮すれば、複合ビデオの縮小表示を行うことが望ましい。有効にするため、縮小表示はビデオシーケンスの重要な特性を表示せねばならない。重要な特性として、（現在のシーケンスと編集中の別のビデオとの間で移行を行わなくてはならない作者にとって重要であることから、）開始及び終了クリップが挙げられる。他の有用な情報として、シーケンスにおける他のクリップ、シーケンスの時間的長さ、構成クリップ数、複合ビデオの深さ（複合ビデオが別の複合ビデオを含む場合）が挙げられる。更に、複合ビデオに組み込むため、あるいは時間の経過に伴う被写体の動作を視覚化するため、キーフレームの最も興味深い部分を自動的に選択することが望ましい。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、複数のビデオクリップを分類して作成された複合ビデオで構成されるビデオシーケンスの階層を形成する方法であって、前記方法は、複数のビデオクリップを分類して作成された複合ビデオを階層構造にして構成された第一のビデオシーケンスを選択する段階と、複数のビデオクリップを分類して複合ビデオを作成し、当該複合ビデオを階層構造にすることで構成される第二のビデオシーケンスを作成する段階と、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成するビデオクリップとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成するビデオクリップとの間の中で任意に少なくとも１つのリンクを形成する段階と、前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行を特定するリンク特性を、前記リンクに割り当てる段階と、を含む。請求項２に記載の発明は、請求項１に記載の発明において、第二のビデオシーケンスは、複数のビデオクリップを、ユーザインタフェースレイアウト領域における複数のビデオクリップの配列に対応させて発生順に提示する。請求項３に記載の発明は、請求項１に記載の発明において、第一のビデオシーケンスは、第一の詳細レベルのビデオ情報を含む第一のビデオ階層レベルの一部であり、第二のビデオシーケンスは、第二の詳細レベルのビデオ情報を含む第二のビデオ階層レベルの一部である。請求項４に記載の発明は、請求項１に記載の発明において、リンク特性は、第一のビデオシーケンスから第二のビデオシーケンスへの移行に当たり、第二のビデオシーケンスの再生開始点を特定する。請求項５に記載の発明は、請求項４に記載の発明において、再生開始点は、第二のビデオシーケンスの冒頭部分である。請求項６に記載の発明は、請求項４に記載の発明において、第一のビデオシーケンスから第二のビデオシーケンスへの移行の際の第二のビデオシーケンスの再生開始点は、第一のビデオシーケンスの再生位置と対応している。請求項７に記載の発明は、請求項１に記載の発明において、第二のビデオシーケンスから第一のビデオシーケンスへの移行に当たり、リンク特性は第一のビデオシーケンスの再生開始点を特定する。請求項８に記載の発明は、請求項７に記載の発明において、第一のビデオシーケンスの再生開始点は、第一のビデオシーケンスの終わりの部分である。請求項９に記載の発明は、請求項７に記載の発明において、第二のビデオシーケンスから第一のビデオシーケンスへの移行の際の第一のビデオシーケンスの再生開始点は、第一のビデオシーケンスから第二のビデオシーケンスへの移行の際の第一のビデオシーケンスの再生開始点である。請求項１０に記載の発明は、請求項７に記載の発明において、第二のビデオシーケンスから第一のビデオシーケンスへの移行の際の第一のビデオシーケンスの再生開始点は、第二のビデオシーケンスの再生位置と対応している。請求項１１に記載の発明は、請求項１に記載の発明において、第一及び第二のビデオシーケンスは同数のビデオクリップで構成され、リンク特性は、第一のビデオシーケンスから第二のビデオシーケンスへの移行に当たり、第二のビデオシーケンスの再生開始点を特定し、再生開始点は、第一のビデオシーケンスから第二のビデオシーケンスへの移行の際に再生されている第一のビデオシーケンスのビデオクリップに対応する第二のビデオシーケンスのビデオクリップの冒頭部分である。請求項１２に記載の発明は、請求項１に記載の発明において、第一及び第二のビデオシーケンスは同数のビデオクリップで構成され、リンク特性は、第二のビデオシーケンスから第一のビデオシーケンスへの移行に当たり、第一のビデオシーケンスの再生開始点を特定し、再生開始点は、第二のビデオシーケンスから第一のビデオシーケンスへの移行の際に再生されている第二のビデオシーケンスのビデオクリップに対応する第一のビデオシーケンスのビデオクリップの冒頭部分である。請求項１３に記載の発明は、請求項１に記載の発明において、第一のビデオシーケンス、第二のビデオシーケンス、及び第一及び第二のビデオシーケンスの間のリンクからなる階層的ビデオシーケンスを出力する段階を更に含む。請求項１４に記載の発明は、請求項１３に記載の発明において、階層的ビデオシーケンスは、デジタルビデオファイル及び編集決定リストのファイルとして出力される。請求項１５に記載の発明は、請求項１に記載の発明において、ビデオシーケンスの階層は多層からなるビデオシーケンスを含み、第一のビデオシーケンスと第二のビデオシーケンスとは、ビデオシーケンスの階層内で少なくとも１層のビデオシーケンスによって分割されている。請求項１６に記載の発明は、請求項１に記載の発明において、第一及び第二のビデオシーケンス間の移行は、ユーザ入力に応答して行われる。請求項１７に記載の発明は、情報処理デバイスで動作するのに適した、プロセッサが読み取り可能なプログラムであって、複数のビデオクリップを分類して作成された複合ビデオを階層構造にして構成された第一のビデオシーケンスを選択すること、複数のビデオクリップを分類して複合ビデオを作成し、当該複合ビデオを階層構造にすることで構成される第二のビデオシーケンスを作成すること、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成する複合ビデオとの間、前記第二のビデオシーケンスを構成する複合ビデオと前記第一のビデオシーケンスを構成するビデオクリップとの間、前記第二のビデオシーケンスを構成するビデオクリップと前記第一のビデオシーケンスを構成するビデオクリップとの間の中で任意に少なくとも１つのリンクを形成すること、及び前記第一のビデオシーケンスから前記第二のビデオシーケンスへの移行を特定するリンク特性を、前記リンクに割り当てること、を含む。
【００１２】
【発明の実施の形態】
本発明の一実施態様は、ユーザ入力に応答してビデオシーケンスに付加的詳細を提供するための方法及びシステムである。このシステムでは、ユーザは、ソースビデオのアンカー点から目標ビデオシーケンスのターゲット点へリンクを形成することにより、付加的詳細を有するビデオシーケンスを作成することができる。ビデオシーケンスは、１つのビデオクリップ、又はビデオクリップと他の複合ビデオとからなる複合ビデオで構成することができる。複合ビデオは、ビデオシーケンスを作成する対象として用いてもよい。ビデオソースと目標点との間のリンクは、階層的ビデオ構造において１つ以上のレベルに跨っていてもよい。ユーザはアンカー点と目標点とを、対応するビデオシーケンスの別々の位置に設定することができる。
【００１３】
図面を参照しながら本発明を説明する。
詳細オンデマンドビデオを作成するための簡易で柔軟なインタフェースでは、ユーザは自由形式のハイパービデオや非線形ビデオ編集に伴う複雑な作業を行わずとも詳細オンデマンドビデオを作成することができる。一実施態様では、インタフェースは、ビデオクリップを配列するための二次元レイアウト空間からなる。ビデオクリップは、それぞれアイコン、静止画像、又は縮小表示によって表示される。レイアウト空間におけるビデオクリップの順序は、ビデオシーケンスの最終的な発生順を確定する。
【００１４】
このインタフェースは、任意の汎用コンピュータや他の情報処理機器での使用に適している。他の情報処理機器とは、デスクトップコンピュータ、ポータブルコンピュータ、携帯情報端末、組み込み式のコンピューティングシステム、情報機器、携帯電話、及びデジタル情報を処理することのできる任意の他の機器をいう。コンピュータには、必要に応じてキーボードやポインティング装置等のユーザ入力装置、及びグラフィックディスプレイ装置やビデオ記録装置等の出力装置を設けることができる。
【００１５】
このインタフェースは、階層的ビデオ構造の迅速な開発をサポートする。他のビデオ編集アプリケーションとは異なり、本発明の一実施態様では幾つかのビデオクリップを分類して複合ビデオ（video composite）を作成するようにしている。複合ビデオは一続きのビデオクリップであるが、ユーザは複合ビデオを１つの統合化オブジェクトとして処理することができる。複合ビデオは１つのビデオクリップの場合と同様の方法で処理できる。このようにして、複合ビデオは、ビデオシーケンスや任意の交替ビデオシーケンスを作成するための構成要素として使用される。再生時には、複合ビデオを構成するビデオクリップは、複合ビデオにおいて分類されている順序で再生される。
【００１６】
リンクは、複数のビデオクリップの間、複数の複合ビデオの間、あるいはビデオクリップと複合ビデオとの間に形成することができる。リンクは、ソースすなわちアンカービデオシーケンスと、目標すなわちターゲットビデオシーケンスの間の移行を特定する。再生時、リンクの移行はユーザ入力に応答して行われる。一実施態様では、リンクは第一のユーザ入力に応答して、ソースから目標へ移動する。別のユーザ入力により、目標からソースへのリンクの移動が行われる。あるいは、ビデオシーケンスの終了時にリンクが目標からソースへ移動する。一実施態様では、リンク特性はベースビデオシーケンスと交替ビデオシーケンスの間の入口点と出口点とを特定する。これにより、交替ビデオシーケンスは寄り道としてではなく、ベースビデオシーケンスの代わりとして機能する。
【００１７】
ビデオは、ビデオデータファイルとして編集アプリケーションに入力することができる。デジタルビデオ用の標準的なフォーマットの１つは、ＤＶビデオフォーマットである。他のデジタルビデオフォーマットも本発明に容易に適用できる。別の実施態様では、アナログビデオ信号をデジタルビデオ信号に変換しデジタルビデオデータを記憶するため、アナログビデオ信号をハードウェア及び／又はソフトウェアを通じて編集アプリケーションに入力してもよい。いずれの実施態様でも、デジタルビデオファイルを、ローカルデジタル情報記憶媒体、あるいはローカル又は広域コンピュータネットワークを通じてアクセス可能な遠隔情報記憶媒体に記憶することができる。
【００１８】
ビデオは短いビデオクリップに分割される。ビデオクリップは、一般的にビデオの１つの場面を表す。一実施態様では、アプリケーションに入力する前に分割を行う場合、ビデオクリップはそれぞれ別のデジタルビデオファイルに入れられる。別の実施態様では、複数のビデオクリップが入れられた１つのビデオファイルがアプリケーションに入力される。分割は種々の方法でアプリケーションによって行われる。
【００１９】
第一の実施態様では、カメラのスイッチを切った位置及び入れた位置を検出することで分割を行う。ＤＶビデオフォーマットの場合、この情報は明確にＤＶビデオファイルに記憶される。
【００２０】
別の分割方法では、高速のカメラ動作を検出することで分割を行う。ビデオソースのフレームを相互に比較し、動作ベクトルを計算する。動作ベクトルの大きさが閾値を上回った位置で、ビデオが別々のビデオクリップに分割される。
【００２１】
あるいは、色の類似性を利用してビデオソースを分割することもできる。色の類似度を得るため、隣接するフレームを比較する。色の相違が閾値を上回った位置で、ビデオが別々のビデオクリップに分割される。
【００２２】
出力ビデオは、ビデオクリップを選択し、修正し、整理しなおすことによって作成される。ビデオクリップの処理の迅速化を図るため、ユーザは幾つかのビデオクリップを分類して複合ビデオを作成する。複合ビデオにおけるクリップの順序は、再生時のクリップの順序を確定する。編集時には、ユーザは１つのビデオクリップの場合と同様に、複合ビデオを１つの統合化オブジェクトとして処理することができる。複合ビデオは、ビデオクリップの場合と同様に、ビデオシーケンスへ移動、切り取り、複写、貼り付け、及び挿入を行うことができる。また、複合ビデオに別の複合ビデオを含めることもできる。複合ビデオを利用すれば、ユーザは再利用可能な構成要素を用いてビデオシーケンス又は任意の交替ビデオシーケンスを作成することができる。
【００２３】
一実施態様では、グラフィカルインタフェースを利用して複合ビデオを作成することができる。複合ビデオの各ビデオクリップは、ユーザによって所望の発生順にに選択される。複合ビデオの作成のため、分割コマンドが実行される。各ビデオクリップの別々の表示を、１つの表示で置き換えてもよい。この表示はアイコン、１つ以上の静止画像、又は縮小表示とすることができる。
【００２４】
図１は、レイアウト空間に配置された、ビデオクリップの階層と複合ビデオを示す。シーケンス１と表示された複合ビデオ１１０は、ビデオクリップ１１３と、それぞれシーケンス２及び３と表示された複合ビデオ１１５及び１１７とからなっている。各複合ビデオは１つのビデオクリップと同様の方法で処理できるため、複雑なビデオシーケンスを迅速に開発することができる。例えば、複合ビデオ１１５は、シーケンス３の別のコピー（１１９）と、シーケンス４（１２１）からなっている。複合ビデオ１１７と１１９は同一のシーケンス、すなわちシーケンス３の同一のコピーであることに注意されたい。同一のシーケンスを多数コピーして使用することで、ユーザは複数のコンテキストにおいて同一の内容を再利用することができる。
【００２５】
詳細オンデマンドビデオ用の交替ビデオシーケンスを特定するため、ビデオクリップと複合ビデオとの間にリンクを形成してもよい。リンク１３０は、シーケンス６（１３３）がシーケンス３（１１９）の交替ビデオシーケンスであることを特定する。同様にリンク１３５は、シーケンス８（１３７）がビデオクリップ５（１２７）の交替ビデオシーケンスであることを特定し、リンク１３９は、ビデオクリップ７（１２５）がビデオクリップ１１（１４１）の交替ビデオシーケンスであることを特定する。
【００２６】
図１よりわかるように、ビデオクリップから複合ビデオへリンクを形成してもよい。任意の２つのビデオクリップ間もしくは複合ビデオ間にリンクを随意配置することができるので、ユーザは循環関係を形成することもできる。一実施態様では、アプリケーションが循環関係を検出し、ユーザに通知する。また、図１に示した単純な２層構造の例とは対称的に、ユーザは多数の層からなる詳細オンデマンドビデオを作成することもできる。一実施態様では、ビデオシーケンス間を移動する情報は、一般的に用いられる後入れ先出し（ＬＩＦＯ）法によるデータ構造である、データスタックに保持される。
【００２７】
図２は、詳細オンデマンドビデオのためのリンクを形成する方法を示すフローチャートである。ステップ２１０でリンクソースが選択される。同様に、ステップ２２０でリンク目標が選択される。リンクソース及びリンク目標は、ビデオクリップ又は複合ビデオとすることができる。ステップ２３０で、ユーザコマンドを通じてリンクが形成される。最後に、ステップ２４０で、ユーザがリンク特性を設定してもよい。リンク特性は、ソースビデオシーケンスと目標ビデオシーケンスの間の入口点と出口点とを特定する。これについては後で詳細に説明する。ステップ２１０乃至２４０の順序は、ユーザインタフェースに応じて入れ替えてもよい。
【００２８】
リンク特性は、ソースビデオシーケンスと目標ビデオシーケンスの間の移行タイプを特定することで、詳細オンデマンドビデオの提示を制御する。リンク特性には、目標ビデオシーケンスに入った時点であるシーケンス開始点、目標ビデオシーケンスの再生が完了した時点であるソースビデオシーケンスの再生再開点、及びユーザが目標ビデオシーケンスの再生を中断した時点であるソースビデオシーケンスの再生再開点が含まれる。リンク特性はユーザが設定することもでき、またアプリケーションによってデフォルト点に自動的に設定することもできる。
【００２９】
一実施態様では、目標ビデオシーケンスが終了もしくはユーザによって中断されたとき、再生はソースビデオシーケンスに戻る。あるいは、別のビデオシーケンスを指定して再生してもよい。一実施態様では、ユーザ入力及びシーケンス終了のいずれかに伴う目標ビデオシーケンスの再生の終了に当たり、リンク特性をソースビデオからの出発点に置くことができる。あるいは、ソースビデオシーケンスの最後に戻って再生してもよい。更に別の実施態様では、ソースビデオシーケンスの所定点に戻って再生してもよい。別の実施態様では、ソースビデオシーケンスの、目標ビデオの終了点に対応する位置に戻って再生する。例えば、目標シーケンスの中程でユーザがシーケンスを出た場合、ソースビデオシーケンスのほぼ中程からソースビデオシーケンスの再生が再開される。
【００３０】
一実施態様では、目標ビデオシーケンスの開始点は目標ビデオシーケンスの冒頭部分である。別の実施態様では、目標ビデオシーケンスの開始点はソースビデオシーケンスの再生点と対応している。例えば、ソースビデオシーケンスの中程でユーザがリンクを選択した場合、目標ビデオシーケンスのほぼ中程から目標ビデオシーケンスの再生が開始される。更に別の実施態様では、ソースビデオシーケンスと目標ビデオシーケンスを構成するビデオクリップ又は複合ビデオの数が同一である場合、目標ビデオシーケンスの開始点はソースビデオシーケンスの現在再生している点に対応する。
【００３１】
終了したビデオは、アプリケーションから、ビデオ情報とリンク情報とを含むデータファイルに出力することができる。別の実施態様では、リンク情報はビデオ情報とは別のデータファイル（編集決定リスト等）に記憶される。更に別の実施態様では、ビデオデータとリンク情報を用いて、当業者には周知の方法によってＤＶＤディスクを作成する。
【００３２】
画面の面積が限られていることを考慮し、複合ビデオの縮小表示を利用してビデオシーケンスの重要な特性を表示する。重要な特性として、開始及び終了ビデオクリップ、シーケンスにおける他のクリップの選択、シーケンスの時間的長さ、構成クリップ数、複合ビデオの深さ（複合ビデオが別の複合ビデオを含む場合）が挙げられる。レイアウト空間では、縮小表示は１つのグラフィカルオブジェクトである。縮小表示はユーザによって拡大されてもよい。複合ビデオを拡大すると、次の段階の複合ビデオと個々のクリップを表示する画像が示される。一実施態様では、画面の空間において、拡大されていない縮小表示が占める面積は、１つのビデオクリップ表示の占める面積と等しい。
【００３３】
図３は、複合ビデオの縮小表示を生成するためのフローチャートを示す。ステップ３１０で、複合ビデオに含まれるビデオクリップ又は複合ビデオの中からキーフレームが選択される。キーフレームは様々な基準に従って選択される。一実施態様では、キーフレームは各ビデオクリップ又は複合ビデオから選択される。別の実施態様では、キーフレームはシーケンスの最初及び最後のビデオクリップから選択される。シーケンスの有効な全体概略を提供するため、追加のキーフレームが選択される。追加のキーフレームの選択は、最も長いクリップからキーフレームを選択すること、最も特殊なクリップからキーフレームを選択すること、もしくは複合ビデオから同一の時間間隔で所望数のキーフレームを選択すること、により実行できる。
【００３４】
数多くの方法の中の任意の１つを用いてビデオクリップからの個々のキーフレームを選択してもよい。一実施態様では、最初と最後、そして中間のフレームをキーフレームとして選択することができる。別の実施態様では、ビデオクリップの他のフレームに最も類似したもの、すなわち他のフレームを代表するものをキーフレームとして選択してもよい。クリップ間の類似度は、フレームのカラーヒストグラムを比較する方法やその他の方法で決定できる。
【００３５】
ステップ３２０で、キーフレームのクリッピングが行われる。キーフレームのクリッピングにより、各キーフレームの重要な部分が特定される。一実施態様では、各キーフレームの重要な部分を保存し、一方で背景等のキーフレームの本質でない部分を放棄する。これにより、キーフレームを所要のサイズに縮小する際に必要な縮尺度を最小限とすることができる。一実施態様では、ヒューリスティックス（探索法）を利用して各キーフレームの重要な部分を選択する。ヒューリスティックスの一例は、中間のキーフレームを最も重要な部分として選択する。別の実施形態では、前景／背景の選別技術と組み合わせてヒューリスティックスを利用する。前景／背景を選別することにより、キーフレームの中で前景の被写体が占める全ての部分が特定される。画像から人物の頭部が切れる等の不都合な結果が生じないよう考慮しながら、ヒューリスティックスを用いて前景の一部を選択する。
【００３６】
一実施態様では、画素のサンプリング技術を利用して、背景画素から前景を選別することができる。この実施態様では、ビデオクリップのフレームにおける各画素は時間の経過に伴ってサンプリングされる。画素値の変化は、仮にあったとしてもごくわずかであり、背景画素とみなすことができる。一実施態様では、画素の変化が一定の閾値を下回る又は上回る標準偏差を有するか否かを決定することにより、画素の変化を分類することができる。前景の画素の領域における小さな間隙は、前景である被写体を選択する前に埋めることができる。一実施態様では、画素サンプリング技術を実行する前にカメラ動作の調整を行う。
【００３７】
任意のステップ３３０で、幾つかのキーフレームが組み合わされ、１つのキーフレームを形成する。後で説明する一実施態様では、時間の経過に伴う被写体の動作がこの技術により視覚化される。クリップレイアウトステップ３４０で、キーフレームがグラフィカル配置される。このステップで別々のキーフレームが組み合わされ、１つのグラフィカルオブジェクトを形成する。例示的なグラフィカルレイアウトについては後述する。一実施態様では、縮小表示に収まるよう、キーフレームのサイズを縮小してもよい。
【００３８】
任意のステップ３５０で、付加的な情報を縮小表示に重ねる。付加的な情報として、複合ビデオの時間的長さ、構成要素数、要素の深さが挙げられる。一実施態様では、概略を樹形図で表示して縮小表示に重ね、構成要素数及び要素の深さを示す。概略の樹形図表示の一例では、点で表される節の部分が構成要素を、節をつなぐ線の部分が構成要素の深さを表す。
【００３９】
図４は、分類されて複合ビデオを形成する９つのビデオクリップのグループを示す。図５は、図４のビデオクリップからなる複合ビデオのための縮小表示の３つの例を示す。縮小表示５２０、５４０、５６０では、キーフレームを４方向に配置している。すなわち、最初のクリップのキーフレームを左上に、シーケンスの最後のクリップのキーフレームを右下に配置している。この配置は英語の文章を表す場合の左から右の順を反映しているが、他の言語の場合には必要に応じて反転してもよい。他の２つの位置には、中間ビデオクリップのキーフレームが配置される。
【００４０】
表示５２０の実施態様では、全てのフレームのそれぞれのサイズは全表示の４分の１となっている。実施態様５４０では、各キーフレームの重要な部分のみが表示されている。キーフレームを所望の面積（ここでは表示面積の４分の１）で選択するので、キーフレームのサイズを縮小する必要がない。あるいは、キーフレームを大きめに選択し、適宜縮小してもよい。ヒューリスティックス又は前述した前景／背景の選別技術を利用してキーフレームの一部を選択してもよい。
【００４１】
実施態様５６０では、最初と最後のクリップのキーフレームに、各クリップの重要度に応じた空間を割り当てている。一実施態様では、ビデオクリップの重要度は各クリップの相対長さによって決定することができる。縮小表示における各キーフレームの相対サイズを決定するに当たっては、例えば動作や行動を測定する方法等、他の重要度測定方法も使用できる。実施態様５２０、５４０、５６０は例示目的で取り上げたものであり、実施態様５２０、５４０、５６０の特定の特徴を入れ替え、これらの実施態様の変更態様とすることも可能である。
【００４２】
図６は、構成要素であるキーフレームを４つだけ選択するのではなく、９つ全てのキーフレームを組み合わせた縮小表示の２つの例示的実施態様を示している。９つのソースフレームが重なるようにし、それぞれの後続キーフレームを右上（もしくは右下）方向へ配置している。この２つの例では、全体的な配置はＳ字型の弧を描いている（最初に上がり、次に開始点よりも下がり、また上がっている）。一実施態様では、縮小表示の面積が１つのビデオクリップ表示の面積と等しくなるよう、各キーフレームのサイズを縮小する。別の実施態様では、各キーフレームのサイズを縮小しているが、縮小表示全体のサイズは１つのビデオクリップ表示のサイズよりも大きくしてもよい。
【００４３】
実施態様６２０では、Ｘ、Ｙ両次元において一定のオフセットを使用している。これにより、キーフレームが隣り合ったときその頂部及び底部の位置が調整される。実施態様６４０では、後続フレームを上へ、その次のフレームを下へ動かす際に別のオフセットを使用し、縮小表示において隣接するキーフレームとの位置合わせを解除している。これにより、Ｓ字型の弧全体が下方向に傾斜し、発生順の更なる視覚的手掛かりをユーザに伝えている。
【００４４】
図７は、図６の実施態様の変更態様を示す。図７の実施態様では、各キーフレームにより多くの情報を表示するため、１つ置きにキーフレームを取り除いている。実施態様７２０及び７４０はそれぞれ５つのキーフレームを使用し、Ｓ字型を維持している。実施態様７４０では、実施態様５６０で使用した技術と同様に、各クリップの相対長さに応じた空間を各キーフレームに割り当てる。前述したように、縮小表示における各キーフレームの相対サイズを決定するに当たっては、他の重要度測定方法も使用できる。また、実施態様７４０ではキーフレーム間の間隙が大きくなっている。これにより外観の乱雑性が緩和される。
【００４５】
別の実施態様では、キーフレームは上下を逆にしたＵ字型の弧を描くように並べられる。図６及び図７の実施態様と同様に、この実施態様は例示目的で取り上げたものであり、これらの実施態様の特定の特徴を入れ替え、変更態様とすることも可能である。
【００４６】
図８は、図３のステップ３３０に関連して上述した、キーフレームの組み合わせ結果を示している。図８では、同一場面に属するクリップが組み合わされ、その場面の間の被写体の動作を視覚化している。動作情報を決定するため、１つのクリップからの幾つかのフレームを同一の時間間隔で捕捉し、一続きのフレームを形成する。シーケンスの中間からのフレームをベースフレームとして選択する。ベースフレームの前後のフレームを使用して過去と未来（時系列上古いシーン及び新しいシーン）とをそれぞれ視覚化する。
【００４７】
各フレームは隣接するフレームと比較され、静止画像において２つの連続するフレーム間で変化した部分が着色される。着色により示された差異がベースフレームに加味される。一実施態様では、異なる色を用いて時間を視覚化する。例えば、過去の事柄を赤に、未来の事柄を青に着色する。赤は、遠い過去では橙がかった色であるが、近い過去ではソリッドな赤に変化する。同様に、遠い未来には明るい青が使われているが、現在に近づくにつれソリッドな青が使われている。
【００４８】
一実施態様では、閾値法を用いて動作中の被写体を強調することができる。フレーム間で変化した領域を決定するため、対応する画素の輝度を比較する。輝度の変化が１０％を上回る場合、画素は別のものであるとみなされる。閾値を低くすると、動作中の被写体はより際立って見えるが、更に多くのノイズも入る。別の実施態様では、閾値の半分を超える画素差は半透明で表示される。
【００４９】
一実施態様では、輝度の全体的な変化による影響を避けるため、比較を行う前にフレーム全体の輝度を正常化する。フレーム中の全画素の輝度の平均値と標準偏差を決定する。各画素について輝度値から平均値を減算し、得られた値を標準偏差で除算する。更に別の実施態様では、比較を行う前にフレームを幾分ぼやけさせ（ブラー）、非常に小さい動作を除去する。このブラー処理は比較のためのみに行われ、中央フレームの表示には行われない。
【００５０】
一実施態様では、着色された部分は部分的に透明である。透明部分の量は、そのフレームが中央フレームにどれだけ近いかによって変化する。すなわち、遠い過去又は遠い未来における変化はより現在に近い部分の変化と比べ、透明度が高くなる。
【００５１】
一実施態様では、カメラ動作を決定し、カメラのパン動作用に調整するために補正することが必要である。この実施態様では、被写体の動作を強調し、カメラ動作が行われなかったかのようにカメラ動作を無視する。カメラ動作の補正の一実施態様では、連続した２つのフレーム間のオフセットを決定する。１つのフレームの中央部分を様々な方向へ移動させ、他のフレームの中央部分と比較する。１つのフレームの中央部分は８つの異なる方向へ同量だけ移動され、後続フレームと比較される。一実施態様では、輝度差の２乗の合計値を比較に使用する。
【００５２】
８つの異なる点のそれぞれについての比較値と、不動点の比較値とを比較する。差異が最も小さい点を選択し、その領域が半分移動される次のイテレーションの開始点とする。この対数を用いた方法では、２つのフレーム間のオフセットを迅速に発見することができる。一実施態様では、１６の約数によって処理の高速化を図るため、各方向の画素を４画素毎に比較するだけでもよい。別の実施態様では９つの領域をそれぞれ別々に移動させ、全ての移動の平均移動を使用する。２つのフレーム間のオフセットが発見されると、被写体の動作を計算する前に後続フレームの位置をシフトし、オフセットを除去する。
【００５３】
前述した本発明の好適な実施態様は、例示及び説明を目的としたものである。本発明は、開示された形状によって説明し尽くされたものではなく、これに限定されない。様々な修正や変更が当業者には自明である。実施態様は、本発明の原理と実際の応用について最もよく説明するために選択、記述されたもので、当業者は種々の実施態様を得るため、そして所期の使用法に適した様々な修正を施すために、本発明を理解することができる。本発明の範囲は特許請求の範囲とその均等物によって定義される。
【図面の簡単な説明】
【図１】レイアウト空間に配置された、ビデオクリップと複合ビデオの階層を示す図である。
【図２】本発明の一実施態様に従った詳細オンデマンドビデオの、ビデオシーケンスリンクの形成方法を示す図である。
【図３】本発明の一実施態様に従った複合ビデオの縮小表示の作成方法を示す図である。
【図４】縮小表示の作成に使用される１組のサンプルビデオクリップを示す図である。
【図５】複合ビデオの縮小表示の、幾つかの実施態様を示す図である。
【図６】複合ビデオの縮小表示の、幾つかの実施態様を示す図である。
【図７】複合ビデオの縮小表示の、幾つかの実施態様を示す図である。
【図８】本発明の一実施態様に従ったキーフレームの組み合わせ結果を示す図である。
【符号の説明】
１３０、１３５、１３９  リンク
５２０、５４０、５６０  縮小表示
【図１】
0004370792.tif 000002
【図２】
0004370792.tif 000003
【図３】
0004370792.tif 000004
【図４】
0004370792.tif 000005
【図５】
0004370792.tif 000006
【図６】
0004370792.tif 000007
【図７】
0004370792.tif 000008
【図８】
0004370792.tif 000009