(57)【要約】【課題】ビデオクリップの開始ポイント及び終了ポイントへのユーザの制御を維持しながら、適切な開始ポイント及び終了ポイントを選択するために要求される労力を低減する。【解決手段】ビデオのセグメント境界セットを決定し、前記セグメント境界セットからセグメント境界ツリーを決定し、前記セグメント境界ツリーの第１レベルから複数のセグメント境界を示すビデオタイムラインを提示し、第１選択ポイント及び、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求を受信し、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界の第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔を更新する。【選択図】図８
2014176086.tif 000002
【特許請求の範囲】
【請求項１】
ビデオのセグメント境界セットを決定し、
前記セグメント境界セットからセグメント境界ツリーを決定し、
前記セグメント境界ツリーの第１レベルから複数のセグメント境界を示すビデオタイムラインを提示し、
第１選択ポイント及び、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求を受信し、
前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界の第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔を更新する、
ビデオのセグメントを選択する処理をコンピュータに実行させるためのプログラム。
【請求項２】
前記ビデオタイムラインを提示することは、さらに、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界に対応するキーフレームを提示することを含む、請求項１に記載のプログラム。
【請求項３】
前記ビデオタイムラインを更新することは、さらに、前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界に対応するキーフレームを提示することを含む、請求項２に記載のプログラム。
【請求項４】
コンピュータに、前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界の１つに対応するより細かい選択ポイントを受信する処理を実行させ、
前記より細かい選択ポイントは前記ビデオのセグメントの開始または終了ポイントである、
請求項１〜３のいずれか１項に記載のプログラム。
【請求項５】
コンピュータに、
前記第１選択ポイントの周囲の前記ビデオタイムラインの前記間隔の前記ズームファクタを変更するための第２要求を受信し、
前記ズームファクタを変更するための前記第２要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第３レベルの複数のセグメント境界、及び、前記セグメント境界ツリーの第３レベルの前記複数のセグメント境界に対応するキーフレームを示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新し、
前記セグメント境界ツリーの前記第３レベルの前記複数のセグメント境界の１つに対応するより細かい選択ポイントを受信する処理を実行させ、
前記より細かい選択ポイントは前記ビデオのセグメントの開始ポイントもしくは終了ポイントである、
請求項３に記載のプログラム。
【請求項６】
前記ビデオタイムラインは、前記第１選択ポイントの周囲の前記間隔の少なくとも部分を含む第１の間隔で線形であり、第２の間隔で線形であり、前記第１の間隔及び前記第２の間隔の間で非線形である、請求項１〜５のいずれか１項に記載のプログラム。
【請求項７】
コンピュータに、
第２選択ポイント及び前記第２選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更するための要求を受信し、
前記第２選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更するための要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第３レベルの複数のセグメント境界を示すために、前記第２選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する、
処理を更に実行させ、  前記第１選択ポイントは前記ビデオのセグメントの開始を特定し、前記第２選択ポイントは前記ビデオの前記セグメントの終了を特定する、
請求項１〜６のいずれか１項に記載のプログラム。
【請求項８】
メディアクリップのセグメント境界のセットを決定し、
前記セグメント境界のセットからセグメント境界ツリーを決定し、
前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すタイムラインを提示し、
前記セグメント境界の第２レベルの複数のセグメント境界を示すために、前記タイムラインの間隔を更新し、
前記メディアクリップのセグメントの開始が第１セグメント境界に対応し、前記メディアクリップの前記セグメントの終了が第２セグメント境界に対応するように、前記メディアクリップの前記セグメントを選択する、
メディアクリップのセグメントを選択する処理をコンピュータに実行させるためのプログラム。
【請求項９】
前記第１セグメント境界は、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界及び前記セグメント境界の前記第２レベルの前記複数のセグメント境界から選択され、
前記第２セグメント境界は、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界及び前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界から選択される、
請求項８に記載のプログラム。
【請求項１０】
選択ポイント及び前記タイムラインの前記間隔のズームファクタを変更する要求を受信する、
処理をコンピュータに更に実行させ、
前記タイムラインの前記間隔は前記選択ポイントの周囲に位置付けられ、
前記タイムラインの前記間隔の更新は、前記タイムラインの前記間隔の前記ズームファクタを変更する前記要求に応じて実行される、
請求項８または請求項９に記載のプログラム。
【請求項１１】
前記メディアクリップはビデオファイルを含む、請求項８〜１０のいずれか１項に記載のプログラム。
【請求項１２】
前記メディアクリップは音声ファイルを含む、請求項８〜１０のいずれか１項に記載のプログラム。
【請求項１３】
コンピュータが、
ビデオのセグメント境界のセットを決定し、
前記セグメント境界のセットからセグメント境界ツリーを決定し、
前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すビデオタイムラインを提示し、
第１選択ポイント及び前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更する第１要求を受信し、
前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する、
ビデオのセグメントを選択する方法。
【請求項１４】
ビデオのセグメント境界のセットを決定する、プロセッサを含む、セグメント境界決定ユニットと、
前記セグメント境界決定ユニットによって決定されるセグメント境界の前記セットからセグメント境界ツリーを決定するセグメント境界ツリー決定ユニットと、
前記セグメント境界ツリー決定ユニットによって決定される前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すビデオタイムラインを提示するビデオタイムライン提示ユニットと、
第１選択ポイント及び前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更する第１要求を受信する選択ポイント受信ユニットと、
を備え、
前記ビデオタイムライン提示ユニットは、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する、
ビデオのセグメントを選択するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオのセグメントを選択するプログラム、方法、及びシステム、及び、メディアクリップのセグメントを選択するプログラムに関する。
【背景技術】
【０００２】
ビデオの再使用及び共有は、既存の長いビデオから短いセグメントを選択することを必要とする場合が多い。そのようなビデオクリップを選択することは、既存の長いビデオから所望されるマテリアルを検出し、ビデオのより短いセグメントの正確な開始ポイント及び終了ポイントを選択することを含む。開始ポイント及び終了ポイントの自動選択を使用することはできるが、視認可能な動作の途中もしくは文の途中をビデオクリップの開始もしくは終了とするような、不調な結果をもたらすことが多い。自動選択の欠点のために、ビデオ編集ソフトウェアは、一般的に、ユーザが手動でビデオクリップの開始ポイント及び終了ポイントを選択するものと仮定している。
【０００３】
スライダを有するタイムラインなどのビデオクリップを選択する関連技術のインターフェイスは、ブラウジングインターフェイスもしくはスクラビング（タイムラインの再生ヘッドを手動で移動させる）インターフェイスを含む。これらのインターフェイスはユーザへ制御を提供するが、適切な開始ポイント及び終了ポイントの検出を支援しない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８，１１７，２０４号明細書
【非特許文献】
【０００５】
【非特許文献１】ウィルコックス(Wilcox)ら、「話者識別を用いたスピーチのセグメント化(Segmentation of Speech using Speaker Identification)」、音響、スピーチ及び信号処理に関する国際会議予稿集(Proc. International Conference on Acoustics, Speech and Signal Processing)、オーストラリア（アデレイド）、１９９４年４月、vol. 1、頁１６１〜１６４
【非特許文献２】キンバー(Kimber)ら、「音声ブラウザのための音響セグメント化(Acoustic Segmentation for Audio Browsers)」、インターフェイス学会、オーストラリア（シドニー）、１９９６年７月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示は、ビデオクリップの開始ポイント及び終了ポイントへのユーザの制御を維持しながら、適切な開始ポイント及び終了ポイントを選択するために要求される労力を低減することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様は、ビデオのセグメントを選択する処理をコンピュータに実行させるためのプログラムであって、ビデオのセグメント境界セットを決定し、前記セグメント境界セットからセグメント境界ツリーを決定し、前記セグメント境界ツリーの第１レベルから複数のセグメント境界を示すビデオタイムラインを提示し、第１選択ポイント及び、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求を受信し、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界の第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔を更新する。
【０００８】
本発明の第２の態様は、第１の態様のプログラムであって、前記ビデオタイムラインを提示することは、さらに、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界に対応するキーフレームを提示することを含む。
【０００９】
本発明の第３の態様は、第２の態様のプログラムであって、前記ビデオタイムラインを更新することは、さらに、前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界に対応するキーフレームを提示することを含む。
【００１０】
本発明の第４の態様は、第１〜第３のいずれかの態様のプログラムであって、コンピュータに、前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界の１つに対応するより細かい選択ポイントを受信する処理を実行させ、前記より細かい選択ポイントは前記ビデオのセグメントの開始または終了ポイントである。
【００１１】
本発明の第５の態様は、第３の態様のプログラムであって、コンピュータに、前記第１選択ポイントの周囲の前記ビデオタイムラインの前記間隔の前記ズームファクタを変更するための第２要求を受信し、前記ズームファクタを変更するための前記第２要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第３レベルの複数のセグメント境界、及び、前記セグメント境界ツリーの第３レベルの前記複数のセグメント境界に対応するキーフレームを示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新し、前記セグメント境界ツリーの前記第３レベルの前記複数のセグメント境界の１つに対応するより細かい選択ポイントを受信する処理を実行させ、前記より細かい選択ポイントは前記ビデオのセグメントの開始ポイントもしくは終了ポイントである。
【００１２】
本発明の第６の態様は、第１〜第５のいずれかの態様のプログラムであって、前記ビデオタイムラインは、前記第１選択ポイントの周囲の前記間隔の少なくとも部分を含む前記第１の間隔で線形であり、第２の間隔で線形であり、前記第１の間隔及び前記第２の間隔の間で非線形である。
【００１３】
本発明の第７の態様は、第１〜第６のいずれかの態様のプログラムであって、コンピュータに、第２選択ポイント及び前記第２選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更するための要求を受信し、前記第２選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更するための要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第３レベルの複数のセグメント境界を示すために、前記第２選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する、処理を更に実行させ、前記第１選択ポイントは前記ビデオの前記セグメントの開始を特定し、前記第２選択ポイントは前記ビデオの前記セグメントの終了を特定する。
【００１４】
本発明の第８の態様は、メディアクリップのセグメントを選択する処理をコンピュータに実行させるためのプログラムであって、メディアクリップのセグメント境界のセットを決定し、前記セグメント境界のセットからセグメント境界ツリーを決定し、前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すタイムラインを提示し、前記セグメント境界の第２レベルの複数のセグメント境界を示すために、前記タイムラインの間隔を更新し、前記メディアクリップの前記セグメントの開始が第１セグメント境界に対応し、前記メディアクリップの前記セグメントの終了が第２セグメント境界に対応するように、前記メディアクリップの前記セグメントを選択する。
【００１５】
本発明の第９の態様は、第８の態様のプログラムであって、前記第１セグメント境界は、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界及び前記セグメント境界の前記第２レベルの前記複数のセグメント境界から選択され、前記第２セグメント境界は、前記セグメント境界ツリーの前記第１レベルの前記複数のセグメント境界及び前記セグメント境界ツリーの前記第２レベルの前記複数のセグメント境界から選択される。
【００１６】
本発明の第１０の態様は、第８または第９の態様のプログラムであって、選択ポイント及び前記タイムラインの前記間隔のズームファクタを変更する要求を受信する、処理をコンピュータに更に実行させ、前記タイムラインの前記間隔は前記選択ポイントの周囲に位置付けられ、前記タイムラインの前記間隔の更新は、前記タイムラインの前記間隔の前記ズームファクタを変更する前記要求に応じて実行される。
【００１７】
本発明の第１１の態様は、第８〜第１０のいずれかの態様のプログラムであって、前記メディアクリップはビデオファイルを含む。
【００１８】
本発明の第１２の態様は、第８〜第１０のいずれかの態様のプログラムであって、前記メディアクリップは音声ファイルを含む。
【００１９】
本発明の第１３の態様は、ビデオのセグメントを選択する方法であって、コンピュータが、ビデオのセグメント境界のセットを決定し、前記セグメント境界のセットからセグメント境界ツリーを決定し、前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すビデオタイムラインを提示し、第１選択ポイント及び前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更する第１要求を受信し、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する。
【００２０】
本発明の第１４の態様は、ビデオのセグメントを選択するシステムであって、ビデオのセグメント境界のセットを決定する、プロセッサを含む、セグメント境界決定ユニットと、前記セグメント境界決定ユニットによって決定されるセグメント境界の前記セットからセグメント境界ツリーを決定するセグメント境界ツリー決定ユニットと、前記セグメント境界ツリー決定ユニットによって決定される前記セグメント境界ツリーの第１レベルの複数のセグメント境界を示すビデオタイムラインを提示するビデオタイムライン提示ユニットと、第１選択ポイント及び前記第１選択ポイントの周囲の前記ビデオタイムラインの間隔のズームファクタを変更する第１要求を受信する選択ポイント受信ユニットと、を備え、前記ビデオタイムライン提示ユニットは、前記第１選択ポイントの周囲のビデオタイムラインの間隔のズームファクタを変更する第１要求に応じて、変更された前記ズームファクタに対応する前記セグメント境界ツリーの第２レベルの複数のセグメント境界を示すために、前記第１選択ポイントの周囲の前記間隔の前記ビデオタイムラインを更新する。
【発明の効果】
【００２１】
ビデオクリップの開始ポイント及び終了ポイントへのユーザの制御を維持しながら、適切な開始ポイント及び終了ポイントを選択するために要求される労力を低減する。
【図面の簡単な説明】
【００２２】
【図１】セグメント境界ツリーの上位３レベルを例示する。
【図２】実施の形態による、ビデオから生成されるセグメント境界ツリーの例を示す。
【図３】実施の形態による、ビデオクリップ選択インターフェイスを例示する。
【図４Ａ】実施の形態による、セグメント境界ツリーのトップレベルを示すビデオクリップ選択インターフェイスのタイムラインを例示する。
【図４Ｂ】実施の形態による、ユーザがセグメント境界ツリーの第２レベルに下るようナビゲートした後のビデオクリップ選択インターフェイスのタイムラインを例示する。
【図４Ｃ】実施の形態による、セグメント境界ツリーの第２レベルで、ユーザがクリップの長さを低減した後のビデオクリップ選択インターフェイスのタイムラインを例示する。
【図４Ｄ】実施の形態による、ユーザがセグメント境界ツリーの第３レベルに下るようナビゲートした後のビデオクリップ選択インターフェイスのタイムラインを例示する。
【図４Ｅ】実施の形態による、セグメント境界ツリーの第３レベルで、ユーザがビデオクリップの長さを低減した後のビデオクリップ選択インターフェイスのタイムラインを例示する。
【図５Ａ】実施の形態による、セグメント境界ツリーのトップレベルから下るようユーザがナビゲートする前のビデオクリップ選択インターフェイスを例示する。
【図５Ｂ】実施の形態による、セグメント境界ツリーのトップレベルの下にセグメント境界を表示させる、ズームフォーカスポイントの周囲をユーザが拡大した後のビデオクリップ選択インターフェイスを例示する。
【図６】実施の形態による、ビデオクリップ選択インターフェイスのタイムラインのズームレベルを例示する。
【図７】実施の形態による、ビデオクリップの開始ポイント及び終了ポイントを選択する処理を例示するフローチャートである。
【図８】実施の形態による、ビデオクリップ選択インターフェイスのワークフローを例示するフローチャートである。
【図９】実施の形態による、システムを実装することができるコンピュータシステムを例示するブロック図である。
【図１０】実施の形態による、システムを実装することができるサーバ及びサーバと通信するクライアントマシンを例示するブロック図である。
【図１１】実施の形態による、ビデオセグメント選択システムを例示するブロック図である。
【発明を実施するための形態】
【００２３】
本発明開示の様々な特徴を実装する一般的なアーキテクチャを図面を参照して説明する。図面及び図面に関連する記述は、本発明開示の実施の形態を例示するために提供されるのであり、本発明開示の範囲を限定するために提供されるのではない。図面に亘って、参照符号は、参照される構成要素間の対応を示すために再使用される（同様の構成要素には同様の参照符号が付される）。
【００２４】
実施形態によれば、究極的に、開始ポイント及び終了ポイントへのユーザ制御を維持しながら、自動的なビデオの階層的セグメント化に亘って、適切なビデオクリップの開始ポイント及び終了ポイントを選択するために要求される労力を低減する支援技術及び当該階層を迅速にナビゲートするためのインターフェイスが提供される。ビデオセグメント化アルゴリズムは、結果として取得される階層的セグメント化を決定するために、音声特徴及びビデオ特徴の組み合わせを使用する。インターフェイスは、階層的セグメント化とのやり取りによってビデオクリップを選択するために提供される。
「ビデオセグメント化アルゴリズム」
【００２５】
実施の形態によれば、所望されるクリップの開始ポイント及び終了ポイントを検出する際にユーザを支援するために階層的セグメント境界が使用される。セグメント間の音声及びビデオの差異の組み合わせを用いて、境界の最初のセットが決定される。次に、トップレベルでより長いセグメントに対応する粗い境界及び低レベルでより短いセグメントに対応する細かい境界を有する境界階層を生成するために凝集型クラスタリングが実行される。
【００２６】
境界の最初のセットの決定は、以下で説明されるアルゴリズムもしくはその他のアルゴリズムを用いて計算を実行するビデオセグメント選択システムを含むことができる。代替的に、境界の最初のセットの決定は、外部システムもしくは外部データソースからの最初のセットについての情報を受信するビデオセグメント選択システムを含むことができる。
【００２７】
同様に、境界の階層の決定は、以下で説明されるアルゴリズムもしくはその他のアルゴリズムを用いて計算を実行するビデオセグメント選択システムを含むことができる。代替的に、境界の階層の決定は、外部システムもしくは外部データソースからの境界階層についての情報を受信するビデオセグメント選択システムを含むことができる。
【００２８】
境界の最初のセットは、２００ミリ秒毎に境界候補をサンプリングすることによって取得されてもよい。代替的に、他の間隔が使用されてもよい。境界の強さは、凝集型クラスタリングの距離として使用されてもよい。もっとも弱い境界を有する隣接セグメントは、単一のクラスタになるまで繰り返しマージされてもよい。隣接セグメント間の境界の強さは、画像の差異、音声エネルギーの差異及び音声の差異の組み合わせに基づいて決定されてもよい。
【００２９】
セグメントの各々は、セグメントにおいてもっとも高い品質を有するフレームとして選択されるキーフレームによって代表されてもよい。品質は、鮮明度及び輝度によって測定される。代替的に、セグメントの各々は、セグメントの最初のフレーム、セグメントの中間のフレーム、セグメントの最後のフレームであるキーフレームによって代表されてもよい。その他の基準が、セグメントの各々を代表するキーフレームを選択するために使用されてもよい。
【００３０】
画像の差異は、２００ミリ秒セグメントの最初のフレームから色相関差異を含む自己相似マトリックスから計算されてもよい。１０秒ガウス格子カーネルが、自己相似マトリックス及び格子カーネルの間の相互関係に基づいて、０から１までの範囲を有する画像の差異を計算するために、自己相似マトリックスに亘って使用されてもよい。
【００３１】
音声エネルギーの差異は、音声の中の無音に基づいて決定されてもよい。無音は、音声差異信号の二乗平均平方根(rms)を用いて決定される。５０ミリ秒間隔の各々の音声サンプルの二乗平均平方根が計算されてもよい。ＤＣ成分を除去し、シンプルなハイパスフィルタを提供するために、以前の値が音声サンプルの各々から差し引かれてもよい。結果として取得される値は、２つの無音閾値と比較されてもよい。無音スコアは、下方閾値を下回る全てについて１、上方閾値を越える全てについて０に設定されてもよい。浮動小数点スコアが閾値間の値について割り当てられてもよい。異なる雑音レベルの音声を扱うために、２つの閾値が全ての音声間隔の値のパーセンタイルとして決定されてもよい。一般的には、５パーセンタイル及び１０パーセンタイルである。閾値より低い場合、スコアは１に設定され、閾値より高い場合、スコアは０に設定されてもよい。最初のセグメント間隔での音声エネルギーの差異は、境界を中心とする２５０ミリ秒の間隔に亘る無音スコアの平均と等しくてもよい。
【００３２】
音響の差異は、非特許文献１に記載されている話者セグメント化技術を用いて決定されてもよい。非特許文献２における音声の中の音楽と同様に、話者の差異の検出を適切に実行することを、当該方法は示している。アルゴリズムは、音声の異なる話者／音響を判定するため、及び音響間の境界を最適化するために、ＨＭＭによってフォローされる監督なしクラスタリングを使用してもよい。このアルゴリズムは、差異スコア１を付与される細かいタイムスケール、一般的には、２０ミリ秒でセグメント境界を付与する。細かいタイムスケールの全てのその他のポイントは、差異スコア０を付与されてもよい。最初のセグメント境界の音響差異は、境界を中心とする２５０ミリ秒間隔での細かい粒度の差異スコアのハミング重み平均であってもよい。
【００３３】
最終的な境界強度は画像、音声エネルギー、音響差異の重み平均であってもよい。
【００３４】
セグメント境界ツリー（バイナリクラスタツリー）は、隣接するツリーノードを組み合わせることによって、より高度な枝分かれ（fanout)を有するツリーに変換されてもよい。一般的に、ルートレベルの枝分かれは５〜８の間である。その他のレベルでは、枝分かれは３〜５の間である。枝分かれの選択は利用可能な表示スペースに依存する。ツリーは、特許文献１に記載されるような方法を用いて、ツリーの葉への長いナビゲーション経路を避けるために、バランスをとられてもよい。
【００３５】
図１は、実施の形態によって、上記ビデオセグメント化アルゴリズムを用いて生成したセグメント境界ツリーの上位３レベルを示している。セグメント境界ツリーはビデオ１００全体を代表するキーフレーム１２０を含む。セグメント境界ツリーのトップレベル１０５は、ビデオの比較的長いセグメントに対応する粗い境界を代表するキーフレーム１２５、１３０、１３５、１４０、１４５、１５０を含む。セグメント境界ツリーの第２レベル１１０は、ビデオの比較的短いセグメントに対応する細かい境界を代表するキーフレーム１５５、１６０、１６５、１７０、１７５、１８０を含む。セグメント境界ツリーの第３レベル１１５は、ビデオのさらに短いセグメントに対応するさらに細かい境界を代表するキーフレーム１８１、１８２、１８３、１８４、１８５、１８６、１８７、１８８、１８９、１９０、１９１、１９２、１９３、１９４を含む。
【００３６】
セグメント境界ツリーの第２レベル１１０において、キーフレーム１５５は、セグメント境界ツリーの第１レベル１０５においてキーフレーム１２５によって代表される比較的粗いセグメント境界のもっとも近くに配置されている比較的細かいセグメント境界を代表する。同様に、セグメント境界ツリーの第２レベル１１０において、キーフレーム１６０、１６５、１７０、１７５は、セグメント境界ツリーの第１レベル１０５において、キーフレーム１３５によって代表される比較的粗いセグメント境界のもっとも近くに配置されている比較的細かいセグメント境界を代表する。
【００３７】
セグメント境界ツリーは、図１に例示されているレベル及びノード以外のレベル及びノードを含んでいてもよい。
【００３８】
図２は、実施形態によるビデオから生成されるセグメント境界ツリーの例を示す。図２に示されるセグメント境界ツリーは、第１（トップ）レベル２００、第２レベル２１０及び第３レベル２２０を含む。第１（トップ）レベル２００は、ビデオの比較的長いセグメントに対応する粗い境界を代表するキーフレームを含む。セグメント境界ツリーの第２レベル２１０は、ビデオの比較的短いセグメントに対応するより細かい境界を代表するキーフレームを含む。第３レベル２２０は、ビデオのさらに短いセグメントに対応するさらに細かい境界を代表するキーフレームを含む。
「ビデオセグメント選択アプローチ」
【００３９】
図３は、実施形態によるビデオクリップ選択インターフェイスを例示する。ビデオクリップ選択インターフェイスは、ビデオからビデオクリップを選択するためのインターフェイスを提供する。実施形態によれば、システムは新しいビデオファイルとして選択されたビデオクリップを出力してもよい。他の実施形態によれば、システムは選択されたビデオクリップに含まれないビデオの部分を削除するために、既存ファイルをクロップしてもよい。他の実施形態によれば、システムは、選択されたビデオクリップの開始ポイント及び／または終了ポイントを識別する時間情報もしくはその他の情報を出力してもよい。
【００４０】
ビデオクリップ選択インターフェイスは、ビデオのタイムポイントを示すタイムライン３００を含んでもよい。図３に示されるタイムライン３００は、２分２７．８３３秒のビデオに亘って、１０秒間隔のマークを含む。
【００４１】
キーフレームもしくはサムネイルが、タイムライン３００上に示されてもよい。キーフレーム３５０、３６０、３７０、３８０、３９０は、タイムライン３００の範囲３２０内のセグメント境界を示す。キーフレーム３５０、３６０、３７０、３８０、３９０は、セグメント境界に対応するビデオのタイムポイントを示すラインによってタイムライン３００に接続されている。例えば、ラインは、キーフレーム３８０によって代表されるセグメント境界と対応するタイムラインのタイムポイント（およそ１．３１）との間の接続３３０を示す。
【００４２】
タイムライン３００の範囲３２０の外側にあるタイムポイントのセグメント境界を代表するキーフレームを含むキーフレームスタック３１０及び３４０が、表示されている。キーフレームスタック３１０は、キーフレーム３５０に対応するタイムポイントに時間的に先行するタイムポイントに対応するビデオのキーフレームを含んでもよい。キーフレームスタック３４０は、キーフレーム３９０に対応するタイムポイントに時間的に続くタイムポイントに対応するビデオのキーフレームを含んでもよい。
【００４３】
実施形態によれば、ビデオクリップ選択インターフェイスは、ユーザにセグメント境界ツリーの全体を提示しない。代替的に、ツリーノードを代表するキーフレームのシーケンスが表示される。まず、第１ツリーレベルのノードを代表するキーフレームが表示される。
【００４４】
実施形態において、セグメント階層の要素を選択するために、定義されている新しいセグメントの開始ポイント及び終了ポイントの双方の最初の定義として、ユーザはまず、セグメント境界ツリーによって示されるセグメント階層をナビゲートする。ユーザは、次に、１度に１つずつ、開始ポイント及び終了ポイントを選択し、移動してもよい。他の実施形態によれば、ユーザは、開始ポイントもしくは終了ポイントを選択し、ポイントを設定するためにセグメント階層をナビゲートする。次に、その他のポイントを設定するために処理が繰り返される。
【００４５】
実施形態において、ユーザは開始ポイント及び／または終了ポイントを設定するための複数のワークフローから選択してもよい。インターフェイスは、開始ポイントもしくは終了ポイントの選択、セグメント階層の上りもしくは下りのナビゲート、選択された開始ポイントもしくは終了ポイントの移動、セグメント階層から所定のセグメントの選択を含む様々なイベント、をサポートしてもよい。
【００４６】
インターフェイスは、キーボード、マウス、タッチジェスチャ及びその他の入力形態によってユーザにやり取りさせる。インターフェイスとユーザとのやり取りのいくつかは、複数のイベントを生じ得る。例えば、セグメント階層の特定のレベルのキーフレームをクリックすると、セグメント選択イベント及びナビゲート上り／下りイベントとして解釈され得る。他の例として、現在のセグメントの一端でタッチジェスチャを実行すると、セグメントの最後の選択として解釈され、セグメントの最後に何らかの変更を生じさせ得る。
【００４７】
インターフェイスは、セグメントの広がりを示すために、セグメント境界ツリー及びタイムラインのセグメントを代表するキーフレームのシーケンスとしてビデオを提示してもよい。タイムラインは、その他のフィードバックをユーザに提供するために、非線形であってよい。例えば、１時間（３６００秒）ビデオであって９００画素幅タイムラインの場合を考える。タイムラインの画素の各々は、ビデオの４秒間隔に対応する。すなわち、２００ミリ秒のもっとも細かい粒度で開始ポイント及び終了ポイントを変更することは、タイムラインにおいて可視の変化を生じない。
【００４８】
実施形態によれば、非線形タイムラインは、ビデオの全期間を示し、変化が可視であるように、ビデオクリップについて選択された開始ポイント及び終了ポイントにおいて、拡大され、提示される。開始ポイント及び終了ポイントの周辺のタイムラインの部分はズームフォーカスポイントである。他の実施形態によれば、その他のズームフォーカスポイントは、現在のビデオ再生位置の周辺であってよい。
【００４９】
ズームフォーカスポイントの各々は、タイムラインの拡大部分と縮小部分との間の遷移を、非線形間隔によって囲まれ、タイムラインが線形である間隔を有していてもよい。縮小部分は、異なるスケールで、時間を線形に示してもよい。タイムラインは、タイムラインの異なる部分で時間密度を示す異なる色、異なるカラー濃度、もしくは、異なるグレー濃度を有していてもよい。タイムラインの非線形部分にグラデーションが使用されてもよい。
【００５０】
実施形態において、タイムラインの線形拡張部分に使用される画素数は一定のままである。例えば、２つのフォーカスポイントの各々は、タイムラインの全画素の２０％が割り当てられてもよい。１時間ビデオの上記例において、ズームなしで１２分もしくはズームファクタが４で３分に対応する。ビデオクリップの長さを増加するための、もしくは、低減するためのプリファランスがある場合、フォーカスポイントは、選択された開始ポイントもしくは終了ポイントが間隔の中心となるように選択されてもよいし、もしくは、開始ポイントもしくは終了ポイントは中心からずれていてもよい。
【００５１】
タイムラインにそった特定の間隔についてのズームファクタは、タイムラインの間隔にそって表示するために、ビデオセグメント境界を選択するためのツリーレベルを決定してもよい。例えば、ズームファクタがセグメント境界ツリーのレベルの各々についてファクタ２によって増加するならば、ズームファクタ１がツリーの第１レベルに対応し、ズームファクタ２が第２レベルに対応し、ズームファクタ４が第３レベルに対応する、などのように、続く。すなわち、タイムラインの特定のポイントでズームファクタをチェックすることによって、対応するツリーレベルが決定されてもよい。ツリーレベルに直接的に対応しないズームファクタは、もっとも近く対応するズームレベルに丸められる。例えば、ズームファクタ５は第３レベルにマッピングされ、ズームファクタ７は第４レベルにマッピングされてもよい。タイムラインの非線形部分において、ユーザによって直接的に選択されない第３レベルが使用されてもよい。
【００５２】
ビデオクリップの開始ポイントもしくは終了ポイントのいずれかを選択するために、ユーザはクラスタツリーの上りもしくは下りをナビゲートすることを選択してもよい。インターフェイスはタッチベース制御、マウスベース制御、キーボードベース制御を介して動作してもよい。ナビゲーションは、セグメントを定義するキーフレームでマウスクリックもしくはタッチジェスチャによって行われてもよい。実施形態によれば、ダブルタップは選択されたセグメントの開始へ開始ポイントを、終了へ終了ポイントを設定し、選択されたセグメントの子にクラスタツリーを下るようにナビゲートしてもよい。ツリーの上り／下りナビゲーションは、開始ポイントもしくは終了ポイントを保持するセグメントで、例えば、下方向へのドラッグジェスチャにより開始ポイントもしくは終了ポイントに別個になされてもよい。開始ポイント及び終了ポイントは水平方向へのドラッグジェスチャにより移動されてもよい。より低いツリーレベルで、開始ポイント及び終了ポイントは、ツリーのより高いセグメントによって設定される境界を越えて移動されてもよい。同じツリーレベルの全てのセグメントは、シーケンスに入れられる。ナビゲーションはシーケンス全体に亘って可能である。不均衡なツリーの場合、親は、特定のレベルで存在しない子の役割を仮定する。もっとも低いレベルは、ツリーのもっとも低い葉のレベルである。
【００５３】
このナビゲーションは、タイムライン及び表示されているキーフレームを変化させる。ユーザは、セグメント境界ツリーの現在のレベルで次のクラスタもしくは以前のクラスタへクリップ境界を移動するためにマウスもしくはタッチジェスチャを使用してもよい。ツリーのトップレベルでのこのような変化は、ビデオクリップの長さを大幅に増加もしくは低減する。より低いツリーレベルでは、変化量は低減する。これにより、ユーザは粗い選択を迅速に行い、次に、選択を改善するためにクラスタツリーを下ることができる。
【００５４】
階層セグメントブラウザを用いてクリップの開始ポイント及び／または終了ポイントをユーザが選択した後、ユーザは終了してもよいし、ユーザは選択された開始ポイント及び／または終了ポイントのより細かい粒度の操作を所望してもよい。ツリーブラウジングインターフェイスは、まず２００ミリ秒のセグメントのレベルに下る調整を行わせてもよい。現在選択されている境界の周辺の領域にフレームレベル調整を行わせるための従来のスクラビングインターフェイスが提供され、長いビデオへの細かい粒度のアクセスを可能とする。
【００５５】
図４Ａは、図１に示されるセグメント境界ツリーのトップレベルを示すビデオクリップ選択インターフェイスのタイムラインを例示する。図１のキーフレーム１２５は、タイムラインの境界４００から境界４０５に亘るセグメントを代表する。キーフレーム１３０は、タイムラインの境界４０５から境界４１０に亘るセグメントを代表する。キーフレーム１３５は、タイムラインの境界４１０から境界４１５に亘るセグメントを代表する。キーフレーム１４０は、タイムラインの境界４１５から境界４２０に亘るセグメントを代表する。キーフレーム１４５は、タイムラインの境界４２０から境界４２５に亘るセグメントを代表する。キーフレーム１５０は、タイムラインの境界４２５から境界４３０に亘るセグメントを代表する。この例において、ユーザはキーフレーム１３５を選択した。すなわち、タイムラインにグレーで示されるように、タイムラインの境界４１０から境界４１５に亘るセグメントの開始ポイント及び終了ポイントが、ビデオクリップの開始ポイント及び終了ポイントとして選択される。
【００５６】
図４Ｂは、実施形態によって、ユーザがセグメント境界ツリーの第２レベルに下ってナビゲートした後のビデオクリップ選択インターフェイスのタイムラインを示す。ズームフォーカスポイントに時間的にもっとも近いセグメント境界ツリーの第２レベルにおけるセグメント境界がタイムラインに提示されている。例えば、以前表示された境界４００、４０５、４１０、４１５、４２０、４２５、４３０に加えて、セグメント境界ツリーの第２レベルの境界４０６、４０７、４０８、４１１、４１２、４１３、４１６、４１７、４１８も表示される。
【００５７】
図１のキーフレーム１６０は、境界４１０から境界４１１に亘るセグメントを代表する。キーフレーム１６５は、境界４１１から境界４１２に亘るセグメントを代表する。キーフレーム１７０は、境界４１２から境界４１３に亘るセグメントを代表する。キーフレーム１７５は、境界４１３から境界４１５に亘るセグメントを代表する。
【００５８】
ビデオクリップの開始ポイントは境界４１０のままであり、終了ポイントは境界４１５のままである。図４Ｂのタイムラインのグレー部分は、現在選択されているビデオクリップの広がりを示す。
【００５９】
図４Ｃは、実施形態による、セグメント境界ツリーの第２レベルにおける、クリップの長さをユーザが低減した後のビデオクリップ選択インターフェイスのタイムラインを示す。マウスもしくはタッチジェスチャ、もしくは、キーボード入力は、境界４１０から、図４Ｃのセグメント境界ツリーの第２レベルの境界である、境界４１１までビデオクリップの開始ポイントを移動するために使用されてもよい。
【００６０】
図４Ｄは、実施形態による、ユーザがセグメント境界ツリーの第３レベルに下るナビゲートをした後のビデオクリップ選択インターフェイスのタイムラインを示す。ズームフォーカスポイントに時間的に近いセグメント境界の第３レベルのセグメント境界が、タイムラインに提示される。例えば、以前表示された境界４００、４０５、４０６、４０７、４０８、４１０、４１１、４１２、４１３、４１５、４１６、４１７、４１８、４２０、４２５、４３０に加え、セグメント境界ツリーの第３レベルの境界４１０．１、４１０．２、４１０．３、４１１．１、４１１．２、４１１．３、４１２．１、４１２．２、４１２．３、４１３．１、４１３．２、４１３．３、４１５．１、４１５．２、４１５．３が表示される。
【００６１】
図１のキーフレーム１８２は、境界４１１から境界４１１．１に亘るセグメントを代表する。キーフレーム１８３は、境界４１１．１から境界４１１．２に亘るセグメントを代表する。キーフレーム１８４は、境界４１１．２から境界４１１．３に亘るセグメントを代表する。キーフレーム１８５は、境界４１１．３から境界４１２に亘るセグメントを代表する。
【００６２】
図１のキーフレーム１８６は、境界４１２から境界４１２．１に亘るセグメントを代表する。キーフレーム１８７は、境界４１２．１から境界４１２．２に亘るセグメントを代表する。キーフレーム１８８は、境界４１２．２から境界４１２．３に亘るセグメントを代表する。キーフレーム１８９は、境界４１２．３から境界４１３に亘るセグメントを代表する。
【００６３】
図１のキーフレーム１９０は、境界４１３から境界４１３．１に亘るセグメントを代表する。キーフレーム１９１は、境界４１３．１から境界４１３．２に亘るセグメントを代表する。キーフレーム１９２は、境界４１３．２から境界４１３．３に亘るセグメントを代表する。キーフレーム１９３は、境界４１３．３から境界４１５に亘るセグメントを代表する。
【００６４】
ビデオクリップの開始ポイントは境界４１１のままであり、終了ポイントは境界４１５のままである。図４Ｄのタイムラインのグレー部分は、現在選択されているビデオクリップの広がりを示す。
【００６５】
図４Ｅは、実施形態による、セグメント境界ツリーの第３レベルで、ユーザがクリップの長さを低減した後のビデオクリップ選択インターフェイスのタイムラインを示す。マウスもしくはタッチジェスチャもしくはキーボード入力が、境界４１１から、図４のセグメント境界ツリーの第２レベルの境界である境界４１１．１にビデオクリップの開始ポイントを移動するために使用されてもよい。
【００６６】
図５Ａは、実施形態による、セグメント境界ツリーのトップレベルから下るようにユーザがナビゲートする前のビデオクリップ選択インターフェイスを示す。タイムラインの部分はこの時点で拡大されていないので、タイムライン全体が線形である。セグメント境界ツリーのトップレベルのセグメント境界がタイムライン５４０の上に表示され、選択された開始ポイント５４５及び終了ポイント５５０の近傍のトップレベルセグメント境界に対応するキーフレーム５００、５０５、５１０、５１５、５２０、５２５、５３０、５３５が表示される。インターフェイスは、キーボードの左矢印キー及び右矢印キーを用いて、タイムライン５４０に表示されている次のセグメント境界もしくは以前のセグメント境界に、セグメント境界からスキップすることができる。
【００６７】
開始ポイント５４５及び終了ポイント５５０の周囲の領域の外側のキーフレームは示されていない。代替的に、開始ポイント５４５及び終了ポイント５５０の周囲の領域の外側のこれらのキーフレームは、互いを部分的に隠し、（図３のキーフレームスタック３１０及び３４０に例示されるように、）より小さいサイズで表示されてもよいし、互いの上にスタックされてもよい。
【００６８】
図５Ｂは、実施形態による、ズームフォーカスポイントの周囲をユーザが拡大した後、セグメント境界ツリーのトップレベルの下のセグメント境界を表示させる、ビデオクリップ選択インターフェイスを例示する。開始ポイント５９６及び終了ポイント５９７の周囲のタイムライン５９５の部分は、例えば、キーボードの上矢印キーもしくは下矢印キーを用いて、拡大される。（開始ポイント５９６及び終了ポイント５９７であり、）ズームフォーカスポイントの周囲の拡大部分と同様にタイムライン５９５の縮小部分は線形である。タイムライン５９５の拡大部分の画素の各々は、タイムライン５９５の縮小部分の画素の各々と比較した場合、ビデオのより短いセグメントを示す。タイムライン５９５は、拡大部分と縮小部分との間を遷移する部分において非線形である。ズームフォーカスポイントの周囲のタイムラインに現れるより低いレベルのセグメント境界を代表するキーフレーム５５５、５６０、５６５、５７０、５７５、５８０、５８５、５９０が、タイムライン５９５の対応するセグメント境界に接続するラインに沿って表示されてもよい。
【００６９】
図６は、実施形態による、ビデオクリップ選択インターフェイスのタイムラインのズームレベル６００を例示する。タイムラインのポイントの各々で、タイムラインのポイントのズームレベルに対応するツリーレベルのセグメント境界が表示される。
【００７０】
例えば、図６に示されるタイムラインの開始及び終了で、ズームファクタは１であり（最大の拡大であり）、セグメント境界ツリーのトップレベルのセグメント境界６１０は、タイムラインの部分を示す。ズームファクタ６００は、ビデオクリップの選択された開始ポイント（セグメント境界ツリーの第３レベルのセグメントを代表する太枠で示されたキーフレーム）で４であり、セグメント境界ツリーの第３レベルでセグメント境界６３０は、ズームフォーカスポイントの周囲のタイムラインの部分を表示する。ズームファクタ６００は、ビデオクリップの選択された終了ポイント（セグメント境界ツリーの第２レベルのセグメントを代表する太枠で示されたキーフレーム）で２であり、セグメント境界ツリーの第２レベルでセグメント境界６２０は、ズームフォーカスポイントの周囲のタイムラインの部分を表示する。
【００７１】
タイムラインの非線形部分において、上記したように、ユーザによって直接的に選択されなかった第３レベルが使用されてもよい。例えば、ビデオの開始及びビデオクリップの選択された開始ポイントの間で、セグメント境界ツリーの第２レベルのセグメント境界を代表するキーフレーム６２０が表示されてもよい。
【００７２】
図７は、実施形態による、ビデオクリップの開始ポイント及び終了ポイントを選択する処理を例示するフローチャートである。ブロック７００において、セグメント境界の最初のセットが、上記ビデオセグメント化アルゴリズムを用いて決定される。ブロック７１０において、境界階層が、凝集型クラスタリングを用いて生成される。上記したように、境界階層は、バイナリクラスタツリーとして示されてもよい。ブロック７２０において、セグメント境界ツリー（バイナリクラスタツリー）は、より高度の枝分かれを有するツリーに変換される。ブロック７３０において、セグメント選択インターフェイスを提示する。セグメント選択インターフェイスは、セグメント境界ツリーの１つもしくは複数のレベルからセグメント境界を表示するタイムラインを含んでもよい。セグメント境界を代表するキーフレームは、セグメント選択インターフェイスに表示されてもよい。ブロック７４０において、セグメント選択インターフェイスを用いて、ビデオクリップの開始ポイント及び最終ポイントが選択される。ブロック７５０において、ビデオクリップの選択された開始ポイント及び終了ポイントが出力される。
【００７３】
図８は、実施形態による、セグメント選択インターフェイスのワークフローを例示するフローチャートである。ブロック８００において、現在の表示状態は、モニタなどの表示デバイスに表示される。現在の表示状態は、タイムライン、セグメント境界ツリーからの様々なセグメント境界、表示されているセグメント境界を代表するキーフレーム、及び、ビデオクリップの開始ポイント及び終了ポイントを含んでもよい。ブロック８１０において、インターフェイスはイベントを待つ。
【００７４】
ブロック８２０において、ビデオクリップの開始もしくは終了選択イベントが受信される。ビデオクリップの開始及び終了選択イベントが受信されると、ブロック８６０へフローは進み、ビデオクリップの開始ポイント及び終了ポイントが受信したイベントによって設定される。フローは、次に、ブロック８００に進み、現在の表示状態が出力される。一方、ビデオクリップイベントの選択開始もしくは終了が受信されないと、フローはブロック８３０に進む。
【００７５】
ブロック８３０において、上り／下りナビゲートイベントが受信されたか否かが判定される。上り／下りナビゲートイベントが受信されると、フローはブロック８７０に進み、選択された開始ポイントもしくは終了ポイントの周囲のタイムラインの間隔についてセグメント境界ツリーのレベルが、イベントによって設定される。例えば、開始ポイントが選択され、現在のズームファクタが１（ツリーのトップレベルに対応する）であれば、下りナビゲートイベントによってズームファクタは２まで増加され、選択された開始ポイントの周囲のタイムラインの間隔についてツリーのレベルは２に設定される。ズームファクタ及びツリーレベルは、タイムラインのその他の部分については変更されない。フローは、次に、ブロック８００に進み、現在の表示状態が出力される。上記例において、表示は、この場合、ズームフォーカスポイントである、開始ポイントの周囲のタイムラインの間隔でセグメント境界ツリーの第２レベルのセグメント境界を表示するために更新されてもよい。一方、上り／下りナビゲートイベントが受信されないと、フローはブロック８４０に進む。
【００７６】
ブロック８４０において、選択された開始ポイントもしくは終了ポイントの移動イベントが受信されたか否か判定される。選択された開始ポイントもしくは終了ポイントの移動イベントが受信されると、フローはブロック８８０に進み、選択された開始ポイントもしくは終了ポイントがイベントによって示された方向に移動する。選択された開始ポイントもしくは終了ポイントは、タイムラインに表示される隣接セグメント境界に移動されてもよい。代替的に、より細かい粒度の調整が行われる。フローは、次に、ブロック８００に戻り、開始ポイントもしくは終了ポイントの移動を反映した現在表示状態を出力する。一方、選択された開始ポイントもしくは終了ポイントの移動イベントが受信されないと、フローはブロック８５０に進む。
【００７７】
ブロック８５０において、セグメント選択イベントが受信されたか否かが判定される。セグメント選択イベントが受信されると、フローはブロック８９０に進み、ビデオクリップの選択ポイント及び終了ポイントが選択され、選択されたセグメントの開始ポイント及び終了ポイントに基づいて設定される。次に、フローはブロック８００に戻り、現在の表示状態が出力される。一方、選択セグメントイベントが受信されないと、フローはブロック８１０に進み、インターフェイスはイベントを待つ。
【００７８】
図９は、実施形態による、システムが実装されてよい、コンピュータシステムを例示するブロック図である。当業者に知られているように、システム９００は、命令を実行するために動作する、プロセッサ９０２及びメモリ９０３を含むコンピュータ／サーバプラットフォーム９０１を含む。用語「コンピュータ可読記憶媒体」は、ディスクもしくは半導体メモリなどの実体を有する媒体を参照し、実行のためにプロセッサ９０２に命令を提供する。さらに、コンピュータプラットフォーム９０１は、キーボード、マウス、タッチデバイス、タッチスクリーンもしくはマイクロフォンなどの複数の入力デバイス９０４からの入力を受信する。コンピュータプラットフォーム９０１は、ポータブルハードドライブ、光メディア（ＣＤもしくはＤＶＤ）、ディスクメディアもしくは任意のその他の、コンピュータが実行コードを読み取ることができる、実体を有する媒体などの脱着可能な記憶デバイス９０５にさらに接続されていていてもよい。コンピュータプラットフォーム９０１は、さらに、インターネットに接続するネットワークリソース９０６もしくはローカルのパブリックもしくはプライベートネットワークのその他の構成要素にさらに接続していてもよい。ネットワークリソース９０６は、ネットワーク９０７の遠隔位置からコンピュータプラットフォーム９０１に、命令及びデータを提供してもよい。ネットワークリソース９０６への接続は、８０２．１１標準、ブルートゥース、もしくは、携帯電話プロトコルなどのワイヤレスプロトコルを介してもよいし、ケーブルもしくは光ファイバなどの物理的な伝送媒体を介してもよい。ネットワークリソース９０６は、コンピュータプラットフォーム９０１から分離した位置にデータ及び実行可能な命令を保存するストレージデバイスを含んでいてもよい。コンピュータは、ユーザにデータ及びその他の情報を出力し、その他の命令及びユーザからの入力を要求するためにディスプレイ９０８とやり取りする。ディスプレイ９０８は、タッチスクリーンディスプレイであってよく、ユーザとやり取りする入力デバイス９０４として動作してもよい。
【００７９】
図１０は、システムが実装されてよい、サーバ１０２０、１０４０及びサーバ１０２０、１０４０と通信するクライアントマシン１０６０、１０７０を含むネットワーク１０００の実施形態を例示するブロック図である。クライアントマシン１０２０、１０４０は、インターネット、もしくは他のワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）１０１０を介して、サーバ１・１０２０及びサーバ２・１０４０と通信する。サーバ１・１０２０はデータベース１・１０３０と通信し、サーバ２・１０４０はデータベース２・１０５０と通信する。実施形態によれば、サーバ１・１０２０及びサーバ２・１０４０はビデオクリップ選択インターフェイスを実装してもよい。クライアント１・１０６０及びクライアント２・１０７０は、サーバ１・１０２０及びサーバ２・１０４０に実装されるビデオクリップ選択インターフェイスを用いてビデオクリップを選択してもよい。サーバ１・１０２０はビデオクリップ選択インターフェイスを提供する処理においてデータベース１・１０３０と通信し、サーバ２・１０４０はビデオクリップ選択インターフェイスを提供する処理においてデータベース２・１０５０と通信してもよい。
【００８０】
図１１は、実施形態による、ビデオセグメント選択システムを例示するブロック図である。ビデオセグメント選択システム１１００は、ビデオのセグメント境界のセットを決定するセグメント境界決定ユニット１１１０、セグメント境界決定ユニット１１１０によって決定されたセグメント境界からセグメント境界ツリーを決定するセグメント境界階層決定ユニット１１２０、セグメント境界階層決定ユニット１１２０によって決定されるセグメント境界ツリーの第１レベルの複数のセグメント境界及びセグメント境界ツリーの第１レベルの複数のセグメント境界に対応するキーフレームを示すビデオタイムラインを提示するキーフレーム提示ユニット１１３０、選択ポイント及び選択ポイントの周囲のビデオタイムラインの間隔のためのズームファクタを変更する要求を受信する選択受信ユニット１１４０を含む。
【００８１】
ビデオセグメント選択システムは、ＨＴＭＬ５制御、ブラウザプラグイン、ウェブアプリケーション、ジャバスクリプト、ジャバアプレット、デスクトッププログラムとして実装されてもよい。
【００８２】
他の実施形態によれば、システム及びインターフェイスは、階層セグメント化とのやり取りを介して、音声クリップなどのその他のタイプのメディアクリップからセグメントを選択するために使用されてもよい。
【００８３】
ブロック図、概略及び例示の使用を介して、様々な実施形態を詳細に記載した。ブロック図、概略図及び例示は、１つもしくは複数の機能及び／または動作を含む。ブロック図、フローチャート、もしくは例示の機能及び／または動作の各々は、ハードウェア、ソフトウェア、もしくは仮想的な任意の組み合わせで、個別に及び／またはまとめて実装される。実装は、汎用目的コンピュータで稼働するソフトウェアであってもよいし、専用ハードウェアの形態であってもよい。
【００８４】
実施形態を記載したが、これらの実施形態は例示のためだけに提示され、保護の範囲を限定することを意図していない。ここに記載された新規な方法及び装置はその他の様々な形態で実装されてもよい。さらに、ここに記載された方法及びシステムの形態に様々な省略、置換及び変更が、保護の思想から離脱することなく、なされてもよい。添付の請求項及びそれらの同等物が上記形態、もしくは、保護の範囲及び思想の範囲内の変更をカバーすることを意図している。
【符号の説明】
【００８５】
１１００  ビデオセグメント選択システム
１１１０  セグメント境界決定ユニット
１１２０  セグメント境界階層決定ユニット
１１３０  キーフレーム提示ユニット
１１４０  選択受信ユニット
【図１】
2014176086.tif 000003
【図２】
2014176086.tif 000004
【図３】
2014176086.tif 000005
【図４Ａ】
2014176086.tif 000006
【図４Ｂ】
2014176086.tif 000007
【図４Ｃ】
2014176086.tif 000008
【図４Ｄ】
2014176086.tif 000009
【図４Ｅ】
2014176086.tif 000010
【図５Ａ】
2014176086.tif 000011
【図５Ｂ】
2014176086.tif 000012
【図６】
2014176086.tif 000013
【図８】
2014176086.tif 000014
【図９】
2014176086.tif 000015
【図１０】
2014176086.tif 000016
【図１１】
2014176086.tif 000017
【図７】
2014176086.tif 000018