(57)【要約】  本発明は、時間的に連続したビデオフレームを有するデジタルビデオに対してビデオサマリーを形成する方法であり、プロセッサーを使用して、以下のステップを実行する。一式のデジタルビデオの主要ビデオフレームを決定するステップ；規定の基準に応じて主要ビデオフレームをランク付けするステップ；規定の一式の基準に従って最高位にランクされた一つまたはそれ以上の主要ビデオフレームに応じた主要ビデオスニペットを形成し、ビデオサマリーの全体時間を特定する基準と、主要ビデオスニペットそれぞれの最小限の時間を特定する基準とを含むステップ；ビデオサマリーを形成するように主要ビデオスニペットを組み立てるステップ；ビデオサマリー表現をプロセッサーがアクセス可能なメモリーに保存するステップ。
2013531843.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームのタイムシーケンスを有するデジタルビデオのためのビデオサマリーを形成する方法であって、プロセッサーを使用して：
ａ）前記デジタルビデオに対する主要ビデオフレームを決定するステップと；
ｂ）既定の基準に応じて前記主要ビデオフレームをランク付けするステップと；
ｃ）既定の一式の基準に従って最高位にランクされた一つまたはそれ以上の主要ビデオフレームに応じた主要ビデオスニペットを形成し、前記ビデオサマリーの全体時間を指定する基準および前記主要ビデオスニペットそれぞれの最小限の時間を指定する基準を含むステップと：
ｄ）ビデオサマリーを形成するために前記主要ビデオスニペットを組み立てるステップと；
ｅ）前記ビデオサマリー表現をプロセッサーがアクセス可能なメモリーの中に保存するステップと、
を実行することを特徴とするビデオサマリーを形成する方法。
【請求項２】
最高位にランクされた主要ビデオフレームそれぞれが、主要ビデオスニペットに含まれている、
請求項１に記載のビデオサマリーを形成する方法。
【請求項３】
時間の関数として重要値を決定するために、前記デジタルビデオが解析され、
主要ビデオスニペットに対する開始および終了時間が、高い重要値を有するビデオフレームを包括することを促進する基準に応じて決定される、
請求項１に記載のビデオサマリーを形成する方法。
【請求項４】
時間の関数としてオーディオ活動のレベルを決定するために、前記デジタルビデオが解析され、
主要ビデオスニペットに対する開始および終了時間が、オーディオ活動の低いレベルに従って開始および終了時間を選択することを促進する基準に応じて決定される、
請求項１に記載のビデオサマリーを形成する方法。
【請求項５】
前記主要ビデオスニペットは、類似のコンテンツをもつ主要ビデオスニペットの形成を防止する基準に従って形成される、
請求項１に記載のビデオサマリーを形成する方法。
【請求項６】
前記ビデオサマリーの前記全持続時間は、ユーザーが指定する、
請求項１に記載のビデオサマリーを形成する方法。
【請求項７】
指定の閾値よりもタイムインターバルが小さいことによって分離された最高位にランクされた主要ビデオフレームに対応する前記主要ビデオスニペットは、単一の主要ビデオスニペットを形成するように併合される、
請求項１に記載のビデオサマリーを形成する方法。
【請求項８】
前記主要ビデオスニペットは、ビデオフレームに係るエンコードグループの最初から主要ビデオスニペットが開始すること、およびビデオフレームに係るエンコードグループの終了で主要ビデオスニペットが終了することを大事に扱う基準に従って形成される、
請求項１に記載のビデオサマリーを形成する方法。
【請求項９】
前記デジタルビデオに対する一式の主要ビデオフレームを決定する前記ステップは、さらに：
ｉ）時間の関数として重要値を決定するために前記デジタルビデオを解析するステップと；
ｉｉ）時間の関数としての前記重要値に応じて、前記ビデオフレームを時間的に再配置することにより、ワープタイム表現を形成するステップと；
ｉｉｉ）前記ワープタイム表現を一式の等しいインターバルに細分化するステップと；
ｉｖ）それぞれのインターバルの中で前記ビデオフレームを解析することによって、それぞれのインターバルに対して主要ビデオフレームを決定するステップと、
を含む、請求項１に記載のビデオサマリーを形成する方法。
【請求項１０】
既定の基準に応じて前記主要ビデオフレームをランク付けする前記ステップは、さらに：
ｉ）カメラ固定パターンを決定するために前記デジタルビデオを解析するステップと；
ｉｉ）前記カメラ固定パターンに応じて、前記主要ビデオフレームをランク付けするステップと、
を含む、請求項１に記載のビデオサマリーを形成する方法。
【請求項１１】
デジタルビデオカメラシステムであって：
イメージセンサーと；
前記イメージセンサー上にシーンのイメージを形成するための光学システムと；
データ処理システムと；
前記データ処理システムと通信可能に接続され、デジタルビデオに対するビデオサマリーを形成するための方法を前記データ処理システムが実行するように構成された命令を保管するメモリーシステムと、を含み、
前記命令は：
前記イメージセンサーを使用してデジタルビデオをキャプチャーし、前記デジタルビデオはビデオフレームのタイムシーケンスを有していること；
前記デジタルビデオに対して一式の主要ビデオフレームを決定すること；
既定の基準に応じて前記主要ビデオフレームをランク付けすること；
既定の一式の基準に従って、一つまたはそれ以上の最高位にランクされた主要ビデオフレームに応じて主要ビデオスニペットを形成し、前記ビデオサマリーに対して全持続時間を指定する基準および前記主要ビデオスニペットのそれぞれに対して最小限の持続時間を指定する基準を含んでいること；
ビデオサマリーを形成するために前記主要ビデオスニペットを組み立てること；
前記ビデオサマリーの表現をプロセッサーがアクセス可能なメモリーの中に保管すること、を含む
デジタルビデオカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオの処理に関する。より特定的には、主要ビデオフレームを選択し、ビデオサマリーを形成することに関する。
【背景技術】
【０００２】
多くのビデオキャプチャー機器は、静止画像と同様にビデオをキャプチャーすることができる。しかしながら、デジタルビデオコンテンツを管理するのは難しい業務である。ビデオは、ビデオの最初のフレームに係るサムネイル（ｔｈｕｍｎａｉｌ）画像によって、しばしば視覚的に代表される。これは、そのビデオの内容に対して多くの見識を提供してくれない。一つの与えられたビデオの中に、ある特定のイベントが含まれているかどうかを決定するには、ビデオ全体を視聴することがしばしば必要となる。長時間のビデオについては、そのビデオ全体を視聴すること無しに、ビデオのクイックサマリーが得られることをユーザーは望んでいる。
【０００３】
デジタルビデオは、共有の観点でも実用上の問題を表している。多くのビデオキャプチャー機器は、毎秒３０または６０フレーム、空間分解能１９２０ｘ１０８０ピクセルで映像を記録する。圧縮した場合でさえも、生成されたデータ量は、比較的に短いビデオでさえ共有することを非現実的にしてしまう。
【０００４】
ビデオ編集ソフトウェアは、ビデオをより簡単に共有できる短いバージョンへと、手動で要約するために利用され得る。手動でのビデオ編集は、時間がかかり、労力のかかるプロセスであるが、多くのユーザーは、手動での編集に興味がない。自動ビデオ要約アルゴリズムも、同様に存在している。これらのソリューションは、入力としてキャプチャーされたビデオを使ってスタートし、ビデオサマリーを決定するためにビデオを解析する。しかしながら、そうしたアルゴリズムは非常に複雑である。ビデオを決定するために必要な解析を実行するためには、そのビデオをデコードする必要があるからである。このように、デジタルキャプチャー機器においては、ちょうどキャプチャーしたビデオに対応したビデオサマリーを直ちに視聴することはできない。この欠点により、キャプチャーされたビデオを即座に視聴して、共有することの促進が難しくなっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第３９７１０６５号明細書
【特許文献２】米国特許出願第２００５／１９１７２９号明細書
【特許文献３】米国特許第６２９２２１８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、デジタルキャプチャー機器でのビデオサマリーを計算するシステムおよび方法を提供することが望まれている。特に、デジタルキャプチャー機器において、ビデオキャプチャーの終了から最小の時間でビデオサマリーを生成することができるソリューションを提供することが望まれている。
【課題を解決するための手段】
【０００７】
本発明は、時間的に連続したビデオフレームを有するデジタルビデオに対してビデオサマリーを形成する方法を提供する。プロセッサーを使用して、以下のステップを実行するものである。
ａ）デジタルビデオの主要ビデオフレームを決定するステップ；
ｂ）既定の基準に応じて主要ビデオフレームをランク付けするステップ；
ｃ）既定の一式の基準に従って最高位にランクされた一つまたはそれ以上の主要ビデオフレームに応じた主要ビデオスニペットを形成し、ビデオサマリーの全体時間を指定する基準と、主要ビデオスニペットそれぞれの最小限の時間を指定する基準とを含むステップ：
ｄ）ビデオサマリーを形成するために主要ビデオスニペットを組み立てるステップ；
ｅ）ビデオサマリー表現をプロセッサーがアクセス可能なメモリーの中に保存するステップ
【０００８】
本発明は、重要度の高い主要ビデオスニペットのシーケンスから成るビデオサマリーを形成する方法を提供するという利点を有するものである。
【０００９】
加えて、本発明は、特定の全体時間の基準および最小限のビデオスニペット時間の基準に応じてビデオサマリーが提供されるという利点を有するものである。
【００１０】
さらに、本発明は、オーディオ活動レベルの低さに応じてビデオスニペットの開始および終了時間を選択するためにオーディオ解析が利用されるという利点を有する。似たような内容の主要ビデオスニペットを形成しないために、そして、短い時間間隔で分離される主要ビデオスニペットを提供することを避けるために、追加的な基準が提供される。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施例に従って、ビデオサマリーを形成するためのシステムに係るコンポーネントを示しているハイレベルのダイアグラムである。
【図２】図２は、本発明の実施例に従って、デジタルビデオシーケンスに対する主要ビデオフレームを決定する方法に係るフローチャートである。
【図３】図３は、本発明の実施例に従って、ビデオフレームを分類する方法に係るフローチャートである。
【図４】図４は、一式の等しいデジタルビデオインターバルに分割されたデジタルビデオシーケンスを示している。
【図５】図５は、図４に示すデジタルビデオシーケンスのワープタイム表現を示している。
【図６】図６は、ワープタイム表現の等しいタイムインターバルへの細分化を示している。
【図７】図７は、図４に係るオリジナルデジタルビデオシーケンスに関連して図６に係るタイムインターバルの対応する位置を示している。
【図８】図８は、本発明の実施例に従って、ビデオサマリーを形成する方法に係るフローチャートである。
【図９】図９は、本発明の実施例に従って、最高位にランクされた主要ビデオフレームを決定する方法に係るフローチャートである。
【図１０】図１０は、固定の位置のヒストグラムを示している。
【図１１】図１１は、固定の位置のヒストグラムを示している。
【図１２】図１２は、図１１に示された固定の位置のヒストグラムの数学的表現を示している。
【図１３】図１３は、最高位にランクされた主要ビデオフレームを決定するのに役に立つランク付けプロセスの例を示している。
【図１４】図１４は、一つの実施例に従って、主要ビデオスニペットの構成を示している。
【図１５】図１５は、他の実施例に従って、主要ビデオスニペットの構成を示している。
【発明を実施するための形態】
【００１２】
以下の記載においては、本発明の望ましい実施例が、一般的にはソフトウェアプログラムとして実行されるであろうという観点で記載される。当業者であれば、こうしたソフトウェアの均等物がハードウェアにおいても同様に構成され得るということが理解されよう。画像操作のアルゴリズムおよびシステムはよく知られているため、ここでの記載は、本発明に従ったシステムおよび方法の一部分を形成するアルゴリズムおよび方法、もしくはより直接的に協同するシステムおよび方法に関するものである。こうしたアルゴリズムおよびシステムの他の態様、および、ここにおいて特に図や記載はないが、含まれるイメージ信号を生成する、そうでなければ処理するためのハードウェアもしくはソフトウェアは、従来技術として知られているそうしたシステム、アルゴリズム、コンポーネント、そしてエレメントから選択することができる。以降の資料において本発明に従って記載された通りのシステムが与えられ、ソフトウェアは特に示されていないが、本発明の実施に役に立つとここにおいて示され、記載されたものは、ありふれたもので、従来技術の範囲内のものである。
【００１３】
さらには、ここで使用されるように、本発明に係る方法を実行するためのコンピュータープログラムは、コンピューターが読み取り可能な記録媒体に保管することができる。それは、例えば；（ハードディスクまたはフロッピーディスクといった）磁気ディスクまたは磁気テープ；オプティカルディスク、オプティカルテープ、または機械で読み取り可能なバーコード、といった光記録媒体；ランダムアクセスメモリー（ＲＡＭ）または読み出し専用メモリー（ＲＯＭ）といった半導体電子記録機器；もしくは、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするための命令をもったコンピュータープログラムを保管するために使用される、他のあらゆる機器または媒体である。
【００１４】
本発明は、ここにおいて記載された実施例の組み合わせを包括したものである。「ある特定の実施例」といったような記載は、本発明の実施例の少なくとも一つにおいて存在する特徴について言及するものである。「一つの実施例」または「特定の実施例」といったような離れた記載は、必ずしも同一の実施または実施例を示す必要はない。しかしながら、そのように示されていないか、当業者にとって自明でなければ、そうした実施例は互いに排他的なものではない。「方法」に言及するとき単数を使うか複数を使うかは制限的なものではない。明確に記載されているか、文脈から要求されているのでなければ、「または」という言葉はこの明細書においては非排他的な意味で使用されている。
【００１５】
信号キャプチャーと信号処理のためのイメージ機器と関連する回路およびディスプレイを使用しているデジタルカメラがよく知られているので、ここでの記載は、本発明に従った方法や装置の一部を形成する、もしくはより直接的に協同する、エレメントに特定して向けられる。ここにおいて特に図示も記載もされていないエレメントは、従来技術として知られたものから選択されたものである。記載される実施例に係る特定の態様は、ソフトウェアで提供される。以降の資料において本発明に従って記載された通りのシステムが与えられ、ソフトウェアは特に示されていないが、本発明の実施に役に立つとここにおいて記載され、示されたものは、ありふれたもので、従来技術の範囲内のものである。
【００１６】
以降のデジタルカメラに係る記載は当業者にとってはよく知られたものである。コストを下げたり、機能を追加したり、もしくはカメラの性能を改善するために、この実施例について多くのバリエーションが可能であり、選択できることが明らかであろう。
【００１７】
図１は、デジタル写真システムのブロックダイアグラムを示しており、本発明に従ってビデオイメージをキャプチャーすることができるデジタルカメラ１０を含んでいる。望ましくは、デジタルカメラ１０は、ポータブルでバッテリー駆動の機器であり、映像をキャプチャーしたり、レビューする際に、ユーザーが容易に携帯できるように十分小さいものである。デジタルカメラ１０はデジタルイメージを提供し、イメージメモリー３０を使用してデジタルイメージとして保管される。用語「デジタルイメージ（ｄｉｇｉｔａｌ  ｉｍａｇｅ）」または「デジタルイメージファイル（ｄｉｇｉｔａｌ  ｉｍａｇｅ  ｆｉｌｅ）」は、ここでは、デジタル静止画像またはデジタルビデオファイルといった、あらゆるデジタルイメージファイルを参照するものとして使用されている。
【００１８】
いくつかの実施例においては、デジタルカメラ１０は、モーションビデオイメージと静止画像の両方をキャプチャーする。他の実施例においては、デジタルカメラ１０は、モーションビデオイメージだけをキャプチャーするデジタル機器である。デジタルカメラ１０は、これらに限定されるわけではないが、以下の他の機能もまた含むことができる。すなわち、デジタル音楽プレーヤー機能（例えば、ＭＰ３プレーヤー）、携帯電話、ＧＰＳ受信器、またはプログラム可能なデジタルアシスタント機器（ＰＤＡ）である。
【００１９】
デジタルカメラ１０は、調整可能な絞りと調整可能なシャッター６を含んだレンズ４を有している。望ましい実施例においては、レンズ４はズームレンズであり、ズームとフォーカスのモータードライバー８によりコントロールされる。レンズ４は、シーン（ｓｃｅｎｅ）（図示なし）からのイメージセンサー１４上への光にフォーカスする。イメージセンサーは、例えば、シングルチップのカラーＣＣＤまたはＣＭＯＳイメージセンサーである。レンズ４は、イメージセンサー１４上のシーンの映像を形成するための光学システムの一つのタイプである。他の実施例においては、光学システムは、可変または固定焦点の単焦点レンズを使用し得る。
【００２０】
イメージセンサー１４の出力は、アナログ信号プロセッサー（ＡＳＰ）とアナログ−デジタル（Ａ／Ｄ）コンバーター１６によってデジタル形式に変換され、一時的にバッファーメモリー１８に保管される。バッファーメモリー１８に保管されたイメージデータは、ファームウェアのメモリー２８に保管されているエンベットされたソフトウェアプログラム（例えば、ファームウェア）を使用して、プロセッサー２０によって後に操作される。いくつかの実施例において、ソフトウェアプログラムは、読み出し専用メモリー（ＲＯＭ）を使用してファームウェアメモリー２８の中に永久に保管される。他の実施例においては、ファームウェアメモリー２８は、例えば、フラッシュＥＰＲＯＭメモリーを使用して変更され得る。このような実施例においては、外部機器が、有線のインターフェイス３８または無線のモデム５０を使用して、ファームウェアメモリー２８の中に保管されたソフトウェアプログラムを更新することができる。こうした実施例においては、ファームウェアメモリー２８は、イメージセンサー較正データ、ユーザー設定選択、そしてカメラが電源オフされたときに保管される必要がある他のデータを、保管するためにも使用される。いくつかの実施例において、プロセッサー２０は、プログラムメモリー（図示なし）を含み、ファームウェアメモリー２８の中に保管されたソフトウェアプログラムは、プロセッサー２０によって実行される前に、プログラムメモリーの中にコピーされる。
【００２１】
プロセッサー２０の機能は、単一のプログラム可能なプロセッサーを使用して、または一つまたはそれ以上のデジタル信号プロセッサー（ＤＳＰ）を含む、複数のプログラム可能なプロセッサーを使用することにより、提供され得ることが理解されよう。代替的には、プロセッサー２０は、カスタム回路（例えば、デジタルカメラにおける使用のために特別に設計された一つまたはそれ以上のカスタム集積回路（ＩＣ））によって提供されるか、もしくはプログラム可能なプロセッサーとカスタム回路との組み合わせによって提供され得る。図１に示される種々のコンポーネントのいくつか、もしくは全てからプロセッサー２０との間は、共通のデーターバスを使用することで接続できるということが理解されるであろう。例えば、いくつかの実施例においては、プロセッサー２０、バッファーメモリー１８、イメージメモリー３０、そしてファームウェアメモリー２８の間が、共通のバスを使用して接続される。
【００２２】
処理された映像は、イメージメモリー３０を使用して保管される。イメージメモリー３０は、これらに限定されるわけではないが、当業者によく知られた、リムーバブルフラッシュメモリーカード、内部フラッシュメモリーチップ、磁気メモリー、もしくは光学メモリーといった、あらゆる形式のメモリーであり得る。いくつかの実施例において、イメージメモリー３０は、内部フラッシュメモリーチップと、セキュアデジタル（ＳＤ）カードといった、リムーバブルフラッシュメモリーカードに対する標準インターフェイスの両方を含み得る。代替的には、マイクロＳＤカード、コンパクトフラッシュ（ＣＦ）カード、マルチメディアカード（ＭＭＣ）、ｘＤカード、またはメモリースティックといった、異なるメモリーカードフォーマットが使用され得る。
【００２３】
イメージセンサー１４は、タイミングジェネレーター１２によってコントロールされ、タイミングジェネレーターは、ロー（ｒｏｗ）とピクセル（ｐｉｘｅｌ）を選択するために種々のクロック信号を提供し、ＡＳＰとＡ／Ｄコンバーター１６の動作を同期化する。イメージセンサー１４は、例えば、およそ４０００ｘ３０００ピクセルの静止画像ファイルを提供するために１２．４メガピクセル（４０８８ｘ３０４０ピクセル）を有し得る。カラー映像を提供するために、イメージセンサーは一般的にカラーフィルターアレイ（ａｒｒａｙ）にオーバーレイされ、カラーフィルターアレイは、異なるカラーピクセルを含むピクセルのアレイを有するイメージセンサーを提供する。異なるカラーピクセルは、多くの異なるパターンで配列され得る。一つの例として、異なるカラーピクセルは、よく知られたバイヤー（Ｂａｙｅｒ）カラーフィルターアレイを使用して配置され得る。ここにおいて参照として包含されている、バイヤーに譲渡された米国特許第３９７１０６５号公報「カラーイメージアレイ（“Ｃｏｌｏｒ  ｉｍａｇｉｎｇ  ａｒｒａｙ”）」に記載されているようにである。第２の例として、異なるカラーピクセルは、ここにおいて参照として包含されている、コンプトン(Ｃｏｍｐｔｏｎ)とハミルトン(Ｈａｍｉｌｔｏｎ)に譲渡された米国特許出願第６２９２２１８号公報、タイトルは「改善された照明感度を有するイメージセンサー（“Ｉｍａｇｅ  ｓｅｎｓｏｒ  ｗｉｔｈ  ｉｍｐｒｏｖｅｄ  ｌｉｇｈｔ  ｓｅｎｓｉｔｉｖｉｔｙ”）」、に記載されているように配置され得る。これらの例は、限定的なものではなく、多くの他のカラーパターンが使用され得る。
【００２４】
イメージセンサー１４、タイミングジェネレーター１２、そしてＡＳＰとＡ／Ｄコンバーター１６は、別々に成形された集積回路であり得るし、もしくは、ＣＯＭＳイメージセンサーでは一般的に行われているように、単一の集積回路として成形され得る、ということが理解されよう。いくつかの実施例において、この単一の集積回路は、図１に示されるいくつかの他の機能を実行することができ、それらはプロセッサー２０によって提供されるいくつかの機能を含んでいる。
【００２５】
イメージセンサー１４は、タイミングジェネレーター１２によって第１モードで動作される場合には、より低い解像度のセンサーイメージデータの動作シーケンスを提供するために有効であり、ビデオイメージをキャプチャーする際に使用され、映像を構成するために静止画像をプレビューする際にも使用される。このプレビューモードのセンサーイメージデータは、例えば、１２８０ｘ７２０ピクセルを伴うＨＤ解像度のイメージデータとして提供され得るし、または、例えば、６４０ｘ４８０ピクセルを伴うＶＧＡ解像度のイメージデータとして提供され得るし、もしくは、イメージセンサーの解像度と比較して極端に少ないデータに係る行と列を有する他の解像度も使用される。
【００２６】
プレビューモードのセンサーイメージデータは、同一カラーの隣りのピクセルの値を結合することにより、または、いくつかのピクセルの値を削除することにより、もしくは、同じカラーのピクセルの値を結合する一方で他のカラーのピクセルの値を削除することによって、提供され得る。プレビューモードのセンサーイメージデータは、ここにおいて参照として包含されている、パルスキ等（Ｐａｒｕｌｓｋｉ  ｅｔ  ａｌ．）に譲渡された米国特許第６２９２２１８号公報、タイトル「モーションイメージをプレビューしながら静止画像のキャプチャーを開始する電子カメラ（“Ｅｌｅｃｔｏｒｏｎｉｃ  ｃａｍｅｒａ  ｆｏｒ  ｉｎｉｔｉａｔｉｎｇ  ｃａｐｔｕｒｅ  ｏｆ  ｓｔｉｌｌ  ｉｍａｇｅｓ  ｗｈｉｌｅ  ｐｒｅｖｉｅｗｉｎｇ  ｍｏｔｉｏｎ  ｉｍａｇｅｓ”）」、に記載されるように処理することができる。
【００２７】
イメージセンサー１４は、タイミングジェネレーター１２によって第２モードで動作される場合にも、より高い解像度の静止画像データを提供するために有効である。この最終モードのセンサーイメージデータは、高解像度度出力のイメージデータとして提供される。イメージデータは、イメージセンサーの全てのピクセルを含む高い照明レベルを持ったシーンであり、例えば、４０００ｘ３０００ピクセルを持った１２メガピクセルの最終イメージデータであり得る。低い照明レベルにおいては、最終センサーイメージデータは、イメージセンサー上の似たようなカラーのいくつかピクセルを「ビニング(“ｂｉｎｎｉｎｇ”)」することにより提供され得る。信号レベルを増加させ、センサーの「ＩＳＯ速度（“ＩＳＯ  ｓｐｅｅｄ”）」を増やすためである。
【００２８】
ズームとフォーカスのモータードライバー８は、プロセッサー２０によって供給されるコントロール信号によりコントロールされる。適切な焦点距離の設定を提供し、シーンの焦点をイメージセンサー上に合わせるためである。イメージセンサー１４の露出レベルは、ｆ／ナンバー（ｆ／ｎｕｍｂｅｒ）をコントロールすることと、調整可能な絞りと調整可能なシャッター６の露出時間、タイミングジェネレーター１２を介したイメージセンサー１４の露出期間、そして、ＡＳＰとＡ／Ｄコンバーター１６のゲイン（例えば、ＩＳＯ速度）設定、によってコントロールされる。プロセッサー２０は、シーンを照明することのできるフラッシュ２もコントロールする。
【００２９】
デジタルカメラ１０のレンズ４は、「スルーレンズ（"ｔｈｒｏｕｇｈ−ｔｈｅ−ｌｅｎｓ“）」オートフォーカスを使用することにより、第１モードで焦点合わせをすることができる。ここにおいて参照として包含されている、パルスキ等（Ｐａｒｕｌｓｋｉ  ｅｔ  ａｌ．）に譲渡された米国特許第５６６８５９７号公報、タイトル「進歩的なスキャンイメージセンサーによる映像の高速オートフォーカスを備えた電子カメラ（“Ｅｌｅｃｔｏｒｏｎｉｃ  ｃａｍｅｒａ  ｗｉｔｈ  Ｒａｐｉｄ  Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ  ｏｆ  ａｎ  Ｉｍａｇｅ  ｕｐｏｎ  ａ  Ｐｒｏｇｒｅｓｓｉｖｅ  Ｓｃａｎ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ”）」、に記載されているようにである。これは、ズームとフォーカスのモータードライバー８を使用してレンズ４の焦点位置を、近焦点位置から無限大焦点位置までの間の範囲にある多くの位置に対して調整することで達成される。一方、プロセッサー２０は、イメージセンサー１４によってキャプチャーされた映像の中央部分について極大のシャープネス値を提供する最も近い焦点位置を決定する。そして、その最も近い焦点位置に対応する焦点距離は、好適なシーンモードを自動的に設定するといった、いくつかの目的のために利用され、他のレンズやカメラの設定と共に、メタデータとして映像ファイルの中に保管され得る。
【００３０】
プロセッサー２０は、メニューと、一時的にディスプレイメモリー３６の中に保管されイメージディスプレイ３２上に表示される低い解像度のカラー映像とを生成する。イメージディスプレイ３２は、典型的にはアクティブマトリックスのカラー液晶ディスプレイ（ＬＣＤ）であるが、有機液晶（ＯＬＥＤ）ディスプレイといった、他のタイプのディスプレイも使用され得る。ビデオインターフェイス４４は、デジタルカメラ１０から、フラットパネルＨＤＴＶディスプレイといった、ビデオディスプレイ４６へのビデオ出力信号を提供する。プレビューモード、またはビデオモードにおいては、バッファーメモリー１８からのデジタルイメージはプロセッサー２０によって操作され、イメージディスプレイ３２上に、典型的にはカラー映像として、表示される一連のモーションプレビューイメージを形成する。レビューモードにおいては、イメージディスプレイ３２上に表示される映像は、イメージメモリー３０の中に保管されたデジタルイメージファイルからのイメージデータを使用して生成される。
【００３１】
イメージディスプレイ３２上に表示されるグラフィカルユーザーインターフェイスは、ユーザーコントロール３４によって提供されるユーザー入力に応じてコントロールされる。ユーザーコントロール３４は、ビデオキャプチャーモード、静止画像キャプチャーモード、そしてレビューモードといった、種々のビデオカメラモードを選択するために使用され、静止画像のキャプチャーとモーションイメージの録画を始めるために使用される。いくつかの実施例においては、ユーザーコントロール３４の一つであるところの、ユーザーによるシャッターボタンの半押しがされた場合に上記の第１モード（例えば、静止画プレビューモード）が開始され、シャッターボタンが完全に押された場合に第２モード（例えば、静止画像キャプチャーモード）が開始される。ユーザーコントロール３４は、カメラを電源ＯＮし、レンズ４をコントロールし、そして映像撮影を開始するためにも使用される。ユーザーコントロール３４は、典型的にはボタン、ロッカー（ｒｏｃｋｅｒ）スイッチ、ジョイスティック、または回転ダイアルのいくつかの組み合わせを含んでいる。いくつかの実施例においては、イメージディスプレイ３２上のタッチスクリーンオーバーレイ（ｏｖｅｒｌａｙ）を使用することによりユーザーコントロール３４が提供される。他の実施例においては、追加的なスタイタスディスプレイまたはイメージディスプレイが使用され得る。
【００３２】
ユーザーコントロール３４を使用して選択することのできるカメラモードは、「タイマー（“ｔｉｍｅｒ”）」モードを含む。「タイマー」モードが選択された場合には、シャッターボタンが完全に押された後、プロセッサー２０が静止画像のキャプチャーを開始する前に、短い遅延（例えば、１０秒間）を生じさせる。
【００３３】
プロセッサー２０に接続されたオーディオコーデック（ｃｏｄｅｃ）２２は、マイク２４からのオーディオ信号を受け取り、スピーカー２６に対してオーディオ信号を提供する。これらのコンポーネントは、ビデオシーケンスまたは静止画像と一緒に、オーディオトラックを録音したり、プレイバックしたりできる。もし、デジタルカメラ１０が、カメラと携帯電話の組み合わせといった、多機能機器である場合には、電話で会話をするためにマイク２４とスピーカー２６が使用され得る。
【００３４】
いくつかの実施例においては、ユーザーインターフェイスの一部としてスピーカー２６が使用され、例えば、ユーザーコントロールが押されたこと、もしくは特定のモードが選択されたことを示す種々のオーディオ信号を提供する。いくつかの実施例においては、マイク２４、オーディオコーデック２２、そしてプロセッサー２０が、音声認識を提供するために使用され、ユーザーは、ユーザーコントロール３４ではなく音声命令を使用して、プロセッサー２０に対してユーザー入力を提供することができる。スピーカー２６は、ユーザーに電話の着信を知らせるためにも使用され得る。これは、ファームウェアメモリー２８の中に保管された標準的な呼び出し音を使用して行うことができ、また、無線ネットワーク５８からダウンロードされ、イメージメモリー３０の中に保管されているカスタムな呼び出し音を使用することにより行われる。加えて、静かに（例えば、聞こえないように）電話の着信を知らせるために、バイブレーションデバイス（図示なし）が使用され得る。
【００３５】
いくつかの実施例において、デジタルカメラ１０は、また、カメラの動きに関係するデータを提供する加速度計２７を含む。望ましくは、加速度計２７は、三つの直交する方向のそれぞれについて、直線と回転の両方向の加速度を検知する。
【００３６】
プロセッサー２０は、また、イメージセンサー１４からのイメージデータに係る追加的な処理を提供する。圧縮され、イメージメモリー３０において、よく知られたＥｘｉｆ−ＪＰＥＧファイルといった、「完成した（“ｆｉｎｉｓｈｅｄ”）」」イメージファイルの中に保管されている、翻訳されたｓＲＧＢイメージデータを提供するためである。
【００３７】
デジタルカメラ１０は、有線のインターフェイス３８を介してインターフェイス／リチャージャー４８に接続され、インターフェイス／リチャージャーはコンピューター４０に接続され、コンピューターは、家もしくはオフィスに設置されたデスクトップコンピューターまたはポータブルコンピューターであり得る。有線のインターフェイス３８は、例えば、よく知られたＵＳＢ２．０のインターフェイス規格に準拠している。インターフェイス／リチャージャー４８は、有線のインターフェイス３８を介して、デジタルカメラ１０における一式の再チャージ可能なバッテリー（図示なし）に対して電力を提供できる。
【００３８】
デジタルカメラ１０は、無線のモデム５０を含み、ラジオ周波数帯域５２により、無線ネットワーク５８と接続し得る。無線のモデム５０は、種々の無線インターフェイスプロトコルを使用し得る。よく知られたブルーツゥース（Ｂｌｕｅｔｏｏｔｈ）無線インターフェイス、またはよく知られた８０２．１１無線インターフェイスといったものである。コンピューター４０は、インターネット７０を介して、コダックイージーシェアギャラリー（Ｋｏｄａｋ  ＥａｓｙＳｈａｒｅ  Ｇａｌｌｅｒｙ）といった、フォトサービスプロバイダー７２に対して、映像をアップロードすることができる。
【００３９】
代替的な実施例においては、無線のモデム５０は、ラジオ周波数（例えば、無線）リンクにより、３ＧＳＭネットワークといった、携帯電話ネットワーク（図示なし）と通信する。デジタルカメラ１０からデジタルイメージファイルをアップロードするためにインターネット７０と接続しているのである。これらのデジタルイメージファイルは、コンピューター４０またはフォトサービスプロバイダー７２に対して提供される。
【００４０】
図２に関して、以降に本発明が説明される。図２は、ビデオフレームに係るタイムシーケンスを有するデジタルビデオシーケンス２００に対する主要ビデオフレームを決定するためにプロセッサー２０を使用する方法について詳しく説明している。最初に、デジタルビデオシーケンス２００が、時間の関数として重要値２１５を決定するために、デジタルビデオ解析のステップ２１０を使用して解析される。ワープタイム表現形成のステップ２２０は、時間の関数としての重要値に応じてビデオフレームを時間的に再配置することにより、デジタルビデオシーケンス２００に対してワープタイム表現２２５を形成する。ワープタイム表現細分化のステップ２３０は、ワープタイム表現２２５を一式の等しいタイムインターバル２３５に細分する。主要ビデオフレーム選択のステップ２４０は、それぞれのタイムインターバルの中でビデオフレームを解析することにより、それぞれのタイムインターバルに対して主要ビデオフレームを選択する。主要ビデオフレーム指示保管のステップ２５０は、デジタルビデオシーケンス２００に対する主要ビデオフレーム２４５の指示をプロセッサーがアクセス可能なメモリーの中に保管する。
【００４１】
図２に係るステップの詳細が、ここで説明される。デジタルビデオ解析のステップ２１０は、時間の関数として重要値２１５を決定する。重要値２１５は、時間の関数としてデジタルビデオシーケンス２００に係るフレームの重要性を表す量である。望ましくは、重要値２１５は、デジタルビデオシーケンス２００に係るそれぞれフレームに対して定義される数値である。例えば、顔を含んでいるビデオフレームといった、重要度が高いものと決定されたビデオフレームには、比較的に高い重要値２１５が割り当てられる。早いパン（ｐａｎ）動作を含んだビデオフレームといった、重要度が低いものと決定されたビデオフレームには、比較的に低い重要値２１５が割り当てられる。
【００４２】
当業者であれば、時間の関数として重要値２１５を決定するために使用されるデジタルビデオシーケンス２００におけるビデオフレームに関して算出することができる多くの特徴が存在することを理解するであろう。本発明の望ましい実施例においては、デジタルビデオ解析のステップ２１０は、グローバル（ｇｌｏｂａｌ）モーション解析とローカル（ｌｏｃａｌ）モーション解析を含んでいる。グローバルモーション解析は、キャプチャー機器の動きに典型的に従ったグローバルモーション情報を決定し、一方、ローカルモーション解析は、シーンの中の対象物の動きに従ったローカルモーション情報を決定する。
【００４３】
いくつかの実施例において、グローバルモーション解析は、時間の関数としての並進方向のオフセット情報（水平方向および垂直方法の移動）を提供する二つのパラメーターによるグローバルモーションモデルを使用して実行される。他の実施例においては、三つの直交する軸に関する回転情報やスケール（ズーム）情報といった追加的な情報を提供するために、より複雑なグローバルモーションモデルが使用され得る。
【００４４】
ローカルモーション解析は、密集したローカルモーション情報を提供するローカルモーションモデルを使用して実行される。いくつかの実施例において、ローカルモーションモデルは、時間の関数として全てのピクセルに対して並進運動モーション値を提供する。ローカルモーションモデルは、また、より粗いモーション見積もりを提供することもできる。例えば、ピクセルに係る８ｘ８または６ｘ６のブロック全てに対して並進運動モーション値を提供する。望ましい実施例においては、ローカルモーション情報は、ビデオフレームの中心領域で生じているモーションの程度の指標を提供する。これは、例えば、移動している領域部分であると特定されたビデオフレームの中心領域におけるピクセルの数量を数えることによって算出できる。
【００４５】
いくつかの実施例においては、グローバルおよびローカルモーション情報の計算は、デジタルビデオシーケンス２００がキャプチャーされ、圧縮され、プロセッサーがアクセス可能なメモリーの中に保管された後で、実行される。このことは、圧縮されたデジタルビデオは、解析される前に復元されることを必要とする。他の実施例においては、デジタルビデオシーケンス２００が圧縮される前のデジタルビデオキャプチャーの際に、グローバルおよびローカルモーション情報が決定される。このことは、グローバルおよびローカルモーション解析を実行する目的のためにデジタルビデオシーケンスステップを復元する必要性を軽減する。この場合には、計算されたグローバルおよびローカルモーション情報は、デジタルビデオシーケンス２００に関連するメタデータ（ｍｅｔａｄａｔａ）として保管され得る。メタデータは、デジタルビデオファイルの中に保管され得るし、保管されたデジタルビデオシーケンスと関連した別のファイルとしても保管され得る。こうした方法は、米国特許出願第１２／７８６４８３号公報、タイトル「ビデオ編集の方法とシステム（“Ｖｉｄｅｏ  ｓｕｍｍａｒｙ  ｍｅｔｈｏｄ  ａｎｄ  ｓｙｔｅｍ”）」、に記載されている。
【００４６】
望ましい実施例においては、デジタルビデオ解析のステップ２１０は、複数のビデオフレームを分類するステップを含んでいる。図３は、本発明に係る望ましい実施例に対する分類プロセスを説明している。グローバルモーション解析とローカルモーション解析によって決定されたグローバルモーション情報３１０およびローカルモーション情報３２０は、それぞれが分類器３３０に対する入力であり、複数のビデオフレームに対するビデオフレーム分類３４０を決定する。望ましい実施例においては、ビデオフレームに割り当てられたビデオフレーム分類３４０は、ズーム、高速パン（ｆａｓｔ  ｐａｎ）、興味（ｉｎｔｅｒｅｓｔｉｎｇ）、そして非活動（ｉｎａｃｔｉｖｅ）を含んでいる。
【００４７】
分類器３３０は、フレームがキャプチャーされている間は、カメラがズームインしていようと、ズームアウトしていようと、いつでもビデオフレームをズームのビデオフレームとして分類する。ズーム工程は、ズームを検知するためのスケールパラメーターを含むグローバルモーションモデルを使用したデジタルイメージ解析を通じて検知することができる。ズーム工程は、また、ズームレンズ４を調整するためにズームモータードライバー８に対して送られた信号を認識することによって、キャプチャーの時においても検知することができる。
【００４８】
分類器３３０は、生じているグローバル並進運動モーションの大きさが、そのビデオフレームの期間に、閾値を越えるときはいつでも、ビデオフレームを高速パンのビデオフレームとして分類する。高速パンのモーションに対応するそれぞれのビデオフレームは、一般的に、非常に不鮮明であり、そのため、デジタルビデオシーケンスを代表する主要ビデオフレームとしての良い対象ではない。
【００４９】
分類器３３０は、グローバル並進運動モーションの大きさとズームモーションの大きさが、ローカルモーションの大きさも同様に、特定の閾値を下回るときはいつでも、ビデオフレームを非活動のビデオフレームとして分類する。このようなビデオフレームは、キャプチャー機器が比較的に静止していること、および対象物のモーションが比較的に少ないシーンであることを示している。デジタルビデオシーケンスの非活動な部分を代表するには、しばしば単一の主要ビデオフレームで十分である。
【００５０】
追加的な分類がないために、残りの全てのビデオフレームは、興味のビデオフレームとして分類され得る。興味のビデオフレームは、デジタルビデオシーケンスを代表する主要ビデオフレームとしての良い対象をほとんど含んでいるであろうデジタルビデオシーケンスの部分を代表する。
【００５１】
本発明の望ましい実施例においては、それぞれのビデオフレームについて重要値２１５（図２）が割り当てられる。重要値２１５は、異なるビデオフレーム分類３４０のそれぞれに適切な重要値を付き合わせることによって、ビデオフレーム分類３４０から決定することができる。以下の表は、上述のビデオフレーム分類３４０のそれぞれに対する重要値２１５の例を示している。
【００５２】
【表１】
2013531843.tif 000003
【００５３】
ワープタイム表現形成のステップ２２０（図２）は、時間の関数としてビデオフレームを重要値２１５に応じて時間的に再配置することによって、デジタルビデオシーケンスに対するワープタイム表現を形成する。図４および図５は、本発明の一つの実施例に従って、ワープ工程を説明している。図４は、時間単位０から始まり時間単位１００で終了するデジタルビデオシーケンス４００を示しており、それぞれが等しく５時間単位長さであるデジタルビデオインターバル４１０に分割されている。それぞれの時間単位の絶対値は、以下の説明にとっては重要ではない。しかしながら、例えば、それぞれの時間単位は１０ミリ秒を表し、デジタルビデオシーケンスの５時間単位長さは、一つのビデオフレームを代表することができる。この場合には、それぞれのビデオフレームは５０ミリ秒であり、デジタルビデオシーケンスは毎秒２０ビデオフレームでキャプチャーされる。他の実施例においては、デジタルビデオインターバル４１０は単一のビデオフレームというよりは複数のビデオフレームを含むことができる。
【００５４】
図５は、このデジタルビデオシーケンス２００のワープタイム表現２２５を示しており、対応するビデオフレーム分類に基づいて、デジタルビデオフレームに関する重要値２１５に応じて、それぞれのデジタルビデオフレームが時間的に再配置されている。デジタルビデオシーケンスを単一のビデオフレームとして取り扱い、表１において定義された重要値を使用して、図５は、デジタルビデオシーケンス４００に対するワープされたデジタルビデオインターバル５１０から成るワープタイム表現５００を示している。この例においては、ビデオフレーム１は「興味」に分類され、ビデオフレーム２から８は「高速パン」に分類され、ビデオフレーム９から１２は「興味」に分類され、ビデオフレーム１３から１６は「非活動」に分類され、ビデオフレーム１７から２０は「興味」に分類されている。
【００５５】
時間範囲が５．０時間単位であり、ビデオフレーム分類が「ズーム」であり、対応する重要値が０．３である、デジタルビデオインターバル４１０（ビデオフレーム）について、ワープされたデジタルビデオインターバル５１０に対して、時間範囲５．０＊０．３＝１．５時間単位が割り当てられる。同様に、時間範囲が５．０時間単位であり、ビデオフレーム分類が「高速パン」であり、対応する重要値が０．２である、デジタルビデオインターバル４１０について、ワープされたデジタルビデオインターバル５１０に対して、時間範囲５．０＊０．２＝１．０時間単位が割り当てられる。時間範囲が５．０時間単位であり、ビデオフレーム分類が「非活動」であり、対応する重要値が０．６である、デジタルビデオインターバル４１０について、ワープされたデジタルビデオインターバル５１０に対して、時間範囲５．０＊０．６＝３．０時間単位が割り当てられる。時間範囲が５．０時間単位であり、ビデオフレーム分類が「興味」であり、対応する重要値が１．０である、デジタルビデオインターバル４１０について、ワープされたデジタルビデオインターバル５１０に対して、時間範囲５．０＊１．０＝５．０時間単位が割り当てられる。
【００５６】
望ましい実施例においては、より低い重要値２１５であるデジタルビデオの部分におけるデジタルビデオインターバル４１０に対してより短い時間範囲を割り当てることにより、ワープタイム表現５００が形成され、より高い重要値２１５であるデジタルビデオの部分におけるビデオフレームに対してはより長い時間範囲を割り当てる。
【００５７】
ワープタイム表現細分化のステップ２３０（図２）は、ワープタイム表現２２５を一式の等しいタイムインターバル２３５に分割する。図６は、ワープタイム表現５００が一式の５個の等しいタイムインターバル５２０に分割される場合について、このステップを説明している。ワープタイム表現においては、それぞれの等しいタイムインターバル５２０に含まれるデジタルビデオフレームの絶対的な数（例えば、ワープされたデジタルビデオインターバル５１０）は、一般的には定数ではないことに留意すべきである。
【００５８】
図７は、デジタルビデオシーケンス４００のオリジナル表現に関して、対応するタイムインターバル４２０の位置を示している。この例においては、第１のタイムインターバル４２０は、デジタルビデオシーケンス４００に含まれるデジタルビデオフレームの全体数量の４０％以上を占めるが、一方、第２のタイムインターバル５２０が占めるのは１５％以下である。
【００５９】
ワープタイム表現２２５（図２）を使用することの利点は、デジタルビデオシーケンス全体を通して主要ビデオフレームが幅（ｂｒｅａｄｔｈ）を有する一方、同時に高い重要値の好ましい領域に対してはバイアスをかけるといった方法で、それぞれのタイムインターバルの中から一つの主要ビデオフレームを選択することができることである。
【００６０】
タイムインターバル２３５（図２）の数は、例えば、デジタルビデオシーケンスのワープタイプ表現に係る全部の時間範囲に基づいて、自動的に決定することができる。代替的には、タイムインターバルの数は、ユーザーが指定することができる。
【００６１】
主要ビデオフレーム選択のステップ２４０（図２）は、それぞれのタイムインターバル２３５の中のビデオフレームを解析することによって、それぞれのタイムインターバル２３５に対する主要ビデオフレームを選択する。本発明の望ましい実施例において、この解析は、それぞれのタイムインターバル２３５の中の複数のビデオフレームに対して選択スコアを割り当てることを含む。選択スコアは、グローバルモーションとローカルモーションの関数である。タイムインターバル２３５の中で最も高い選択スコアをもったビデオフレームが、そのタイムインターバル２３５に対する主要ビデオフレーム２４５として選択され得る。
【００６２】
デジタルビデオシーケンスを圧縮するほとんどの方法は、いくつかのビデオフレームを独立してエンコードされたビデオフレームであるとし、他のビデオフレームは予測的にエンコードされたビデオフレームであるとしてエンコードすることを含んでいる。本発明のいくつかの実施例において、独立してエンコードされたビデオフレームだけが、それぞれのタイムインターバル２３５の中の主要ビデオフレームの対象として考えられ、選択スコアは独立してエンコードされたビデオフレームだけに対して計算される。独立してエンコードされたビデオフレームとは、他のビデオフレームに対するいかなる参照もしないでエンコードされたビデオフレームのことである。こうしたビデオフレームは、他のビデオフレームからのいかなる情報も要求することなく、デコードすることができる。対照的に、予測的にエンコードされたビデオフレームは、一つまたはそれ以上の隣接するビデオフレームからの予測に基づいてエンコードされたビデオフレームである。このように、予測的にエンコードされたビデオフレームは、独立してデコードすることができない。一つまたはそれ以上の他のビデオフレームの知識を必要とするからである。多くのビデオエンコードスキームにおいては、独立してエンコードされたビデオフレームは高い品質でエンコードされている。それらが後に続くビデオフレームに対する予測として使用されるという特別な理由によるものであり、高い品質の予測により後のビデオフレームについて効率的なエンコードができる。このように、独立してエンコードされたビデオフレームは、主要ビデオフレーム２４５に対する望ましい対象である。それらは典型的に高い映像品質であるということ、および、いかなる追加的なビデオフレームをデコードする必要も無く、圧縮されたデジタルビデオシーケンスから素早くデコードすることもできるという、両方の理由によるものである。
【００６３】
ビデオフレームに対する選択スコアは、グローバル並進方向モーション、ズーム、ローカルモーション、以前の主要ビデオフレームへの近接、を含んだ、いくつかの異なる入力の関数であり得る。望ましい実施例においては、対応するグローバル並進方向モーションが大きいビデオフレームに対しては、比較的に低い選択スコアが割り当てられる。高いレベルのグローバルモーションは、典型的にはビデオフレームにおいて不鮮明な動きを与えるからである。同様に、ズームシーケンスの終わりに続くビデオフレームに対しては、比較的に高い選択スコアが割り当てられる。特定の興味がある領域に注意を集中させるためにユーザーは意図的にズームを実行したという仮定に基づくものである。従って、ズーム終了のすぐ後のビデオフレーム（キャプチャー機器が再び焦点を合わせるためのいくらかの時間を許容して）は、おそらく重要度が高く、主要ビデオフレーム２４５として良い対象であると考えられる。対象物の動きが非常に低いレベルであるビデオフレームに対しては、興味のあるビデオフレームはおそらくいくらかの対象物の動きを含んでいるだろうという仮定に基づいて、比較的に低い選択スコアが割り当てられる。他の主要ビデオフレーム２４５に対して時間的な近傍にあるビデオフレームに対しては、比較的に低い選択スコアが割り当てられる。キャプチャーされたビデオは高い時間的な相関をもっており、従って、時間的な近傍にあるビデオフレームは、不要になった情報を含んでいることがより確かであろうという仮定に基づくものである。主要ビデオフレームが、それぞれのタイムインターバルに対して連続的に選択される実施例においては、以前の主要ビデオフレームに関して時間的な近接が測定される。それぞれのタイムインターバルに対して主要ビデオフレームが連続的に選択される実施例において、時間的な近傍は、以前の主要ビデオフレームに関して測定され得る。全ての主要ビデオフレームの選択を同時に考慮するという一緒に最適化された方法で、主要ビデオフレームが選択される実施例にとっては、時間的な近傍は、時間的に前と後の両方の主要ビデオフレームに関して測定され得る。
【００６４】
いくつかの実施例においては、ビデオフレームに対する選択スコアは、多くのコンポーネントから成っており、以下の式で与えられる。
【００６５】
Ｓ（ｎ）＝ＧＭ（ｎ）＋ＬＭ（ｎ）＋Ｚ（ｎ）＋Ｐ（ｎ）                        式（１）
ここで、Ｓ（ｎ）は選択スコアであり、ＧＭ（ｎ）はグローバルモーション項であり、ＬＭ（ｎ）はローカルモーション項であり、Ｚ（ｎ）はズーム項であり、Ｐ（ｎ）は近接項であり、ｎはビデオフレームを表している。この式において、選択スコアに係る個々の項の値は、ビデオフレームの特徴に応じて、０から１まで変化する。
【００６６】
グローバルモーション項（ＧＭ）は、従来知られたあらゆる方法を使用して計算することができる。いくつかの実施例において、全てのビデオフレームグローバルモーションの大きさが閾値であるＴＧＭを越えていれば、グローバルモーション項の値は０である。ＴＧＭはビデオフレームグローバルモーションの大きさが０のとき値は１である。ビデオフレームグローバルモーションの大きさが０からＴＧＭの間で変化するとき、その値は１から０まで線型に減少する。
【００６７】
【数１】
2013531843.tif 000004
ここで、ＸＧＭ（ｎ）は、ビデオフレームに対するグローバルモーションベクトルの大きさである。
【００６８】
代替的には、グローバルモーション項の値は、１から０まで非線型な形式で減少し得る。コサイン関数に従ってといったものである。
【００６９】
【数２】
2013531843.tif 000005
この例においては、コサイン関数が、振幅が小さなときは線型関数よりもグローバルモーションをより遅くするようにペナルティーを課している。
【００７０】
ローカルモーション項（ＬＭ）は従来技術として知られたあらゆる方法を使用して計算することができる。いくつかの実施例において、ローカルモーションは、グローバルモーションを説明した後の二つのビデオフレームの間で計算された差値の関数として測定される。例えば、差値は、グローバルモーションベクトルを使用して一方のビデオフレームをシフトすることにより計算でき、シフトされたビデオフレームに係る重複しているピクセル間のピクセルの相違を計算し、次にビデオフレームローカルモーション値を提供するためにピクセルの相違の平均を計算する。より大きなビデオフレームローカルモーション値は、一般的により大きなローカルモーションを示唆している。しかし、照明の変化といった、他の状況もまた、ビデオフレーム間の大きな相違を生じさせ得る。
【００７１】
望ましい実施例において、ＬＭ項は、普通のレベルのローカルモーションをもったビデオフレームを優先的に選択するようにバイアスされる。例えば、時間的なインターバルの中のビデオフレームに対する全てのビデオフレームローカルモーション値の中間値としてのビデオフレームローカルモーション値に対してＬＭ項が１の値をもつ関数を使用することができる。ローカルモーションがより小さくなるにつれて、ＬＭ項の値は線型的に０．９の値まで減少し、そこでのビデオフレームローカルモーション値は０である。ローカルモーションが大きくなるにつれて、ＬＭ項の値は線型的に０．８の値まで減少し、そこでのビデオフレームローカルモーション値はその時間的インターバルにおける最大値である。式の形式で、これは以下のように表すことができる。
【００７２】
【数３】
2013531843.tif 000006
ここで、ＸＬＭ（ｎ）はビデオフレームｎに対するビデオフレームローカルモーション値であり、
【００７３】
【数４】
2013531843.tif 000007
は時間的なインターバルの中のビデオフレームに対する全てのビデオフレームローカルモーション値の中間値であり、ＸＬＭ，ｍａｘは時間的なインターバルの中の全てのビデオフレームに対するビデオフレームローカルモーション値の最大値である。
【００７４】
代替的な実施例においては、ローカルモーション項は、グローバルモーションを説明した後の二つのビデオフレームの中にある対応するピクセル間のローカルモーションベクトルを計算することによって決定することができる。次に、それぞれのビデオフレームに対してローカルモーションベクトルの大きさの平均が決定され、ビデオフレームローカルモーション値として使用される。
【００７５】
ズーム項（Ｚ）は、従来技術として知られたあらゆる方法を使用して計算することができる。いくつかの実施例において、ズーム動作が進行中であるか、ちょうど終了した（そして機器は再フォーカスするための十分な時間をもっていない）場合に、ズーム項の値は０である。ズーム動作の後に直ちに続く２秒間（機器が再フォーカスするため時間を与えた後）についてズーム項の値は１であり、他の全てのビデオフレームについてズーム項の値は０．５である。
【００７６】
近接項（Ｐ）は、従来技術として知られたあらゆる方法を使用して計算することができる。いくつかの実施例において、ビデオフレームが以前の主要ビデオフレームから少なくとも２秒間離れている場合はいつでも、近接項の値は１である。以前の主要ビデオフレームからの距離が０に向けて減少していくにつれて、近接項の値は線型的に０に向けて減少していく。
【００７７】
当業者であれば、上記のグローバルモーションとローカルモーションの特徴に応じて選択スコアを決定することにより主要ビデオフレーム２４５を選択するという記載は、単に一つの可能な実施例を表しているに過ぎないことが理解されよう。タイムインターバル２３５の中から主要ビデオフレーム２４５を選択するための、従来技術として知られているあらゆる方法を使用して、本発明に従って主要ビデオフレーム２４５を選択することができる。
【００７８】
主要ビデオフレーム指示保管のステップ２５０は、プロセッサーがアクセス可能なメモリーの中に主要ビデオフレーム２４５の指示を保管する。本発明のいくつかの実施例において、主要ビデオフレームは個々のビデオフレームとして抽出することができる。次に、個々のビデオフレームは圧縮され、よく知られたＥｘｉｆ−ＪＰＥＧイメージファイルといった、個々のデジタルイメージファイルの中に保管される。分離したデジタルイメージファイルとして主要ビデオフレームを保管することの利点は、あらゆるスタンダードなイメージリーダーによって直ちにそれらにアクセスすることが可能なことである。
【００７９】
本発明の他の実施例においては、デジタルビデオシーケンス２００に関係するメタデータを保管することによって主要ビデオフレームを指示することができる。メタデータは、主要ビデオフレーム２４５であることが特定されたビデオフレームのリストであり得る。「スマート（“ｓｍａｒｔ”）」なビデオリーダーは、デジタルビデオに関連するメタデータを解釈することができ、それにより主要ビデオフレーム２４５を抽出することができる。主要ビデオフレーム２４５の指示をフレームのリストから成るメタデータとして保管することの利点は、主要ビデオフレームを指示するために必要な単に追加的なメモリーは、フレームリストのメタデータであるということであり、比較的少ない量のメモリーが必要とされるだけである。
【００８０】
本発明の別の実施例においては、デジタルビデオに関係するメタデータとしてビデオフレームのサムネイルイメージを保管することによって主要ビデオフレームを指示することができる。ビデオフレームのサムネイルイメージとは、主要ビデオフレームの解像度が低いものである。デジタルビデオに関係するビデオフレームサムネイルイメージとして主要ビデオフレームを保管することの利点は、デジタルビデオから抽出するよりも早く、主要ビデオフレームをメタデータから抽出できることである。
【００８１】
本発明のいくつかの実施例においては、主要ビデオフレームを決定する方法が、ビデオサマリーを形成するためのプロセスの一部分を代表している。図８は、本発明の一つの実施例に従って、ビデオサマリーを形成する方法のステップを説明している。デジタルビデオ解析のステップ２１０、ワープタイム表現形成のステップ２２０、ワープタイム表現細分化のステップ２３０、主要ビデオフレーム選択のステップ２４０、そして主要ビデオフレーム指示保管のステップ２５０は、上述のように図２に関連して実行される。続いて、最高位にランクされた主要ビデオフレーム決定のステップ２６０は、最高位にランクされる一式の主要ビデオフレーム２６５を決定するための特定の基準に従って、主要ビデオフレーム２４５をランク付けする。主要ビデオスニペット形成のステップ２７０は、最高位にランクされた主要ビデオフレーム２６５に応じて主要ビデオスニペット２７５を形成する。ビデオサマリー形成のステップ２８０は、ビデオサマリー２８５を形成するために主要ビデオスニペット２７５を組み立てる。ビデオサマリー表現保管のステップ２９０は、プロセッサーがアクセス可能なメモリーの中にビデオサマリー２８５の表現を保管する。
【００８２】
最高位にランクされた主要ビデオフレーム決定のステップ２６０、主要ビデオスニペット形成のステップ２７０、そしてビデオサマリー形成のステップ２８０は、以下に詳細に説明される。ビデオサマリー表現保管のステップ２９０は、従来技術として知られたあらゆる方法を使用することができる。ここにおいて参照として包含されている、米国特許出願第１２／７８６４８３号公報「ビデオサマリー方法とシステム（“Ｖｉｄｅｏ  ｓｕｍｍａｒｙ  ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ”）」に記載されているようにである。これらの方法の一つは、ビデオサマリーに対応するビデオフレームを抽出するために、保管されたデジタルビデオの少なくとも一部を復元することを含み、そして、圧縮されたビデオサマリーを形成するために、抽出されたビデオフレームを圧縮することが含まれ、次に、プロセッサーがアクセス可能なメモリーの中に保管される。これらの方法の別のものは、ビデオサマリーに対応するデジタルビデオシーケンスにおけるビデオフレームの指標を提供するメタデータを生成することを含み、メタデータは保管されているデジタルビデオを関連付けて保管される。任意的には、主要ビデオスニペット間の切り替えに対して使用される種々の切り替え効果の指標も、デジタルビデオシーケンスと関連付けられたメタデータとして保管される。
【００８３】
図９は、本発明の一つの実施例に従って、最高位にランクされた主要ビデオフレーム決定のステップ２６０を追加的に説明したものである。デジタルビデオ解析のステップ９１０は、カメラ固定パターンを決定するためにデジタルビデオを解析する。主要ビデオフレームランク決定のステップ９２０は、カメラ固定パターン９１５に応じたデジタルビデオに対して最高位にランクされた主要ビデオフレーム２６５を決定する。
【００８４】
デジタルビデオ解析のステップ９１０は、カメラ固定パターン９１５を決定するためにデジタルビデオを解析する。カメラ固定パターン９１５は、ビデオキャプチャー工程の間ずっと時間の関数としてキャプチャーされた映像シーンの領域を代表している。望ましい実施例においては、カメラ固定パターン９１５は、グローバルカメラモーションを解析することによって決定される。静止したカメラは、いつでも映像シーンの同一ポイントを見ており、単一の点で表されるカメラ固定パターン９１５を有する。反対に、動いているカメラに対するカメラ固定パターン９１５は、カメラの動きを代表するモーショントレース(ｍｏｔｉｏｎ  ｔｒａｃｅ)に対応している。
【００８５】
図１０は、いくらかのパンモーションを含んだデジタルビデオシーケンス２００に対するカメラ固定パターン９１５（図９）を表した固定位置ヒストグラム９３０を示している。モーショントレース９２５は、ビデオキャプチャーのグローバル並進運動モーションを解析することによって決定される。ビデオキャプチャー工程は、任意の位置から始まるモーショントレースと共に開始される。例えば、ビデオキャプチャーは、２次元平面の原点（０，０）から始まるものと定義され得る。（図１０の例においては、水平軸の値がおよそ２００で、垂直軸の値がおよそ１０の位置からビデオキャプチャーが始まっている。）そして、グローバル並進運動モーションは、連続したビデオフレーム間のピクセルオフセットを決定することによって特徴付けされる。モーショントレース９２５は、ビデオキャプチャー全体に渡って累積したピクセルオフセットをトレースすることにより決定される。
【００８６】
いくつかの実施例において、モーショントレース９２５は、カメラ固定位置のヒストグラムを使用して表される。特定のカメラ固定位置に対するヒストグラムのビン（ｂｉｎ）は、そのカメラ固定位置に固定されているそれぞれのビデオフレームに対して１だけ増加される。図１０におけるカメラ固定ヒストグラム９３０は、こうしたカメラ固定パターンのヒストグラムに係る表現である。特定の位置での、イメージ輝度のより高い値は、より多くのビデオフレームが与えられた位置に固定されていることを示している。キャプチャー工程の間にカメラが垂直方向と水平方向の両方にパンされ、カメラ固定が比較的一定に保持されたインターバルがいくつかあることがわかる。
【００８７】
本発明のいくつかの実施例において、カメラ固定パターンは、ピクセル領域の中に空間的に量子化される。図１０において使用された量子化ファクターは、１０ピクセルである。すなわち、ヒストグラムにおけるそれぞれのビン（図１０における垂直方向または水平方向それぞれのオフセットの一単位）は、１０ピクセルの幅を有するということである。与えられた方向における１０ピクセルのそれぞれのグローバル並進運動モーションとして、固定位置は、ヒストグラム中のその方向において次のビンに向かって動く。
【００８８】
量子化ファクターを増加することによって、カメラ固定ヒストグラムは、より小さい数のビンに減少される。図１１は、図１０と同一のビデオキャプチャーに対して、量子化ファクターとして２４０を使用したときの、固定位置ヒストグラム９４０を示している。このことは、固定パターンを表すために必要なヒストグラムビンの総量を減少させる。加えて、これにより、小さな量子化ファクターにとってヒストグラムビンを変更させ得るカメラの振れやかすかな動きによってあまり影響されない固定領域に係る、より凝縮された表現をすることができる。図１１の実施例から、デジタルビデオシーケンスの進行の間に４つの主なカメラ固定領域が存在することがわかるだろう。
【００８９】
図１２は、図１１において与えられた固定位置ヒストグラムを数字的に表現したものである。数値は、ビデオキャプチャー全体に渡る固定位置ヒストグラム９４０における与えられたビンに対応するビデオフレームの数量を示している。４つの主なカメラ固定領域が全て、その領域に固定された２００以上のビデオフレームを有している一方で、残りの一時的な領域は、全て、それぞれ１００より少ないビデオフレームを有する。本発明の望ましい実施例においては、カメラ固定パターンに係るそれぞれの領域は、その領域におけるビデオフレームの数量の関数である関連した固定の値を有している。
【００９０】
図１２に係る数字的な表現においては、ヒストグラムの値は、それぞれの領域におけるビデオフレームの絶対的な数量であるものとして与えられている。代替的には、ヒストグラムの値は、スケールファクターを使用して調整され得る。例えば、ヒストグラムの値はビデオキャプチャーにおけるビデオフレームの総数によって正規化することができる。
【００９１】
一般的に、カメラが固定されている映像シーンの領域は、ビデオキャプチャーにおいて興味のある領域を示唆している。このように、固定の多い領域に応じたビデオフレームは、主要ビデオフレームとしての良い候補である。
【００９２】
本発明の望ましい実施例において、カメラ固定パターンは、図１０から図１２に関して述べたように、グローバルモーション解析によって決定される。代替的な実施例においては、カメラ固定パターンは、ズームについても説明できる。ズームを取り扱う一つの方法は、３次元のモーショントレースを定義することである。モーショントレースの二つの軸はグローバル並進運動モーション（水平方向と垂直方向）に対応し、モーショントレースの第３の軸はズーム拡大率に対応する。他の実施例においては、カメラ固定パターンは、カメラ回転についても説明できる。
【００９３】
いくつかの実施例においてグローバルモーション情報は、加速度計２７（図１）からのデータを解析することによって決定される。加速度データは、ピクセルに係る単位で、並進運動モーションに変換され得る。本発明の別の実施例においては、グローバルモーション情報は、デジタルモーション見積もりを使用して決定される。当業者であれば、一対のデジタルイメージ間のグローバル並進運動モーション見積もりを計算するのに多くのよく知られた方法があることが理解されよう。
【００９４】
望ましくは、カメラ固定パターンヒストグラムの決定に使用される量子化ファクターは、ビデオフレームの解像度に係る関数である。一つの代表的な実施例においては、量子化ファクターはビデオフレームの解像度の半分に等しい。６４０行４８０列のＶＧＡビデオにとっては、水平方法の量子化ファクターが３２０であり、垂直方法では２４０であることに対応する。
【００９５】
図１０と図１１に図示されたモーショントレースは、時間的な情報を含んでいない。すなわち、ビデオキャプチャーの全てに渡る全般的なカメラ固定領域の指標がある一方で、そのビデオキャプチャー工程において何時起こったかの指標が無い。本発明のいくつかの実施例においては、時間的な情報は保持され、モーショントレースは時間の関数としてカメラ固定位置を示す。
【００９６】
図９に戻ると、主要ビデオフレーム２４５は、望ましくは上述のように図２に関して決定される。代替的には、主要ビデオフレーム２４５は、従来技術として知られたあらゆる方法を使用して決定され得る。主要ビデオフレーム決定のステップ９２０は、カメラ固定パターン９１５に応じて主要ビデオフレーム２４５をランク付けする。望ましい実施例においては、それぞれの主要ビデオフレームに対して対応するカメラ固定パターンが決定される。ある特定の主要ビデオフレームに対するカメラ固定パターンは、その特定の主要ビデオフレームのキャプチャー時におけるグローバル並進運動モーショントレースの位置に基づいて決定され得る。次に、対応する固定の値（ｆｉｘａｔｉｏｎ  ｖａｌｕｅ）が、それぞれの主要ビデオフレームに対するデジタルビデオシーケンスの固定位置ヒストグラムから決定される。望ましくは、主要ビデオフレームは、最初は固定の値によってランク付けされるものである。最高の固定の値をもった主要ビデオフレームは、最初に、最高位にランクされた主要ビデオフレームである。
【００９７】
追加的なランク手段も、主要ビデオフレームをランク付けするために使用され得る。本発明のいくつかの実施例において、こうした追加的な手段は、最初のランクを提供するために固定の値と併せて動作する。本発明の別の実施例においては、追加的なランク付け手段とは第２のランク付け手段であり、同等な固定の値をもった全ての主要ビデオフレーム間における繋がりを絶つために使用される。主要ビデオフレームをランク付けするための追加的なランク付け手段の一つの例は、図２における主要ビデオフレーム選択のステップ２０に関して上述したように、それぞれのフレームに割り当てられた選択スコアである。
【００９８】
本発明の望ましい実施例においては、主要ビデオフレームに係るランクは反復的に決定される。第１の反復において、最高位にランクされるビデオフレームが決定される。これは、固定の値と追加的なランク付け手段に基づいて、最高のランクを有する主要ビデオフレームを選択することによって決定され得る。
【００９９】
最高位にランクされるビデオフレームが選択された後で、それぞれに続くそれぞれの反復は、残った主要ビデオフレームを再ランク付けすること、そして残った主要ビデオフレームの最高位にランクされるビデオフレームを選択することを含む。本発明の望ましい実施例においては、最高位にランクされるビデオフレームが選択された後、それに続いて主要ビデオフレームは冗長性をもってランク付けが調整される。冗長性は、単一の固定領域に対応した複数の主要ビデオフレームに準じる。主要ビデオフレームをランク付けし、単一の固定領域が複数回表される前に、固定に係る全ての異なる領域が、ランク付けされた主要ビデオフレームのリストに表れるようにするために、主要ビデオフレームは、それぞれの反復において、ランク付けされた主要ビデオフレームのリストにまだ表れていない好ましい領域に、再ランク付けされる。
【０１００】
図１３は、こうしたランク付けと再ランク付け工程の実施例を示している。ある特定のデジタルビデオシーケンスを表すために４つの主要ビデオフレームが選択される。主要ビデオフレーム１は、カメラ固定領域３に対応しており、対応する固定の値は０．４である。主要ビデオフレーム１は、また、最初のランク付けスコアが８０であり、これは固定の値と同様に追加的なスコア手段に基づくものである。同様に、主要ビデオフレーム２は、カメラ固定領域６に対応しており、固定の値が０．２で、最初のランク付けスコアが７０である。主要ビデオフレーム３は、カメラ固定領域３に対応しており、固定の値が０．４で、最初のランク付けスコアが９０である。主要ビデオフレーム４は、カメラ固定領域２に対応しており、固定の値が０．１で、最初のランク付けスコアが６０である。
【０１０１】
最初のランク付けスコアに基づいた、主要ビデオフレームの最初のランク付けは、最高から最低の順に、主要ビデオフレーム３、主要ビデオフレーム１、主要ビデオフレーム２、そして主要ビデオフレーム４である。主要ビデオフレーム３は最終のランク付けに係る第１の反復において、最高位にランクされた主要ビデオフレームとして選択される。続いて、カメラ固定領域３以外のカメラ固定領域から、こうした主要ビデオフレームを大事に扱うために、残りの主要ビデオフレームが再ランク付けされる。従って、主要ビデオフレーム２が、最終のランクに係る第２の反復において選択される。主要ビデオフレーム１は、他の全ての固定領域が表された後のランク付け工程において選択されるだけであり、結果として、最終のランク付けされたビデオフレームである。
【０１０２】
図８に戻ると、主要ビデオスニペット形成のステップ２７０は、一つまたはそれ以上の最高位にランクされた主要ビデオフレーム２６５に応じて主要ビデオスニペット２７５を形成する。一般的に、主要ビデオスニペット形成のステップ２７０は、既定の一式の基準に従って最高位にランクされた一つまたはそれ以上の主要ビデオフレームに応じた主要ビデオスニペット２７５を形成し、ビデオサマリーの全体時間を特定する基準および主要ビデオスニペットそれぞれの最小限の時間を特定する基準を含んでいる。
【０１０３】
最高位にランクされた主要ビデオフレーム２６５は、そこから主要ビデオスニペット２７５が、そして究極的にはビデオサマリー２８５が創出されるところの基盤としてふるまう。主要ビデオスニペット２７５を形成するために選択された最高位にランクされた主要ビデオフレーム２６５の数量は、一般的に、ビデオサマリーの全体時間および主要ビデオスニペットの最小限の時間に依存している。いくつかの実施例において、主要ビデオスニペット２７５は、それぞれ選択された最高位にランクされた主要ビデオフレーム２６５の周りで中心に位置付けされる。
【０１０４】
本発明の別の実施例においては、それぞれの主要ビデオスニペットの開始および終了時間は、別の基準に対応している。例えば、デジタルビデオシーケンスは、時間の関数としての重要値を決定するために解析され、主要ビデオスニペットに対する開始および終了時間は、高い重要値をもつビデオフレームを包含することを促進する基準に応じて決定され得る。時間の関数として重要値を決定するためのデジタルビデオの解析は、図２のデジタルビデオ解析のステップ２１０に関して述べられたように実行され得る。例えば、重要値は、非活動または高速パンのフレームよりむしろ、興味のあるフレームを含んでいるものを、大事に取り扱う。それぞれの主要ビデオスニペットの開始と終了のポイントは、この基準に応じて調整できる。一方、同時にビデオサマリーの全体時間および主要ビデオスニペットのそれぞれの最小限の時間に関する制約を満足している。
【０１０５】
本発明のいくつかの実施例において、デジタルビデオは、時間の関数としてオーディオ活動のレベルを決定するために解析される。この場合には、主要ビデオスニペット２７５に対する開始および終了時間は、オーディオ活動のレベルの低さに応じて開始および終了時間を選択することを促進する基準に対応して決定され得る。これにより、主要ビデオスニペットがクリップされたスピーチと共に始まったり、終了したりする可能性を最小化する。ほとんどの場合は、主要ビデオスニペットは、完全な会話部分を含んでおり、文章の途中で話し手をカットしてしまわないことが望ましい。当業者であれば、会話を検知してオーディオを解析する技術はよく知られた従来技術であることが認められよう。
【０１０６】
本発明のいくつかの実施例においては、類似のコンテンツをもつ主要ビデオスニペットの形成を妨げる基準に従って、主要ビデオスニペットは形成されている。類似のコンテンツをもつ主要ビデオスニペットの形成を妨げるための一つの方法は、主要ビデオスニペットを形成するために使用される最高位にランクされた主要ビデオフレームの数量を、独自のカメラ固定領域を有するものだけに制限することによる。この数量が、そうでなければ選ばれていたところの数字よりも小さい場合には、それぞれ個々の主要ビデオスニペットの継続時間は、全体のビデオサマリー時間を満足させるように長びかせることができる。
【０１０７】
本発明のいくつかの実施例において、規定の閾値よりもタイムインターバルが小さいことによって分離された最高位にランクされた主要ビデオフレーム２６５に対応する主要ビデオスニペット２７５は、単一の主要ビデオスニペットを形成するように併合される。主要ビデオスニペットを併合することは、一つの主要ビデオスニペットの終わりが次の主要ビデオスニペットの始まりと重なること、または、ほんの短い時間間隔で分離されるのを防ぐことができる。このような移行部分を含んだビデオサマリーは、見る者を混乱させ易い。視覚的に望ましいビデオサマリーは、二つのオリジナル主要ビデオスニペット間の移行部分を無くした単一の併合されたビデオスニペットを含むものである。
【０１０８】
多くのデジタルビデオ圧縮アルゴリズムは、エンコードする目的のために、一つのデジタルビデオシーケンスをビデオフレームのグループに細かく分ける。例えば、エンコードのビデオフレームグループは、一つの独立してエンコードされたビデオフレーム（例えば、「Ｉ」フレーム）と複数の予測的にエンコードされたビデオフレーム（例えば、「Ｐ」フレーム）を含み得る。それぞれの「Ｐ」フレームは以前のフレームから予測できるものである。特定のビデオフレームに係るエンコードグループは終了し、次の「Ｉ」フレームに出会ったときに新たなビデオフレームに係るエンコードグループが始まる。こうした圧縮スキームにおいて、「Ｉ」フレームは、圧縮されたデジタルビデオシーケンスの中にアクセスポイントを提供し、「Ｉ」フレームから開始して複数のフレームを引き抜くことができる。特に、ビデオフレームに係るエンコードグループ全体は、圧縮されたデジタルビデオシーケンスから引き抜かれ、そして、ビデオフレームに係るエンコードグループを含む圧縮されたバイトの位置および数量を表すヘッダー情報をデコードすることを要求するだけで、ビデオサマリーへとコード変換される。このように、ビデオサマリー２８５を形成するときには、それぞれの主要ビデオスニペット２７５の開始フレームは「Ｔ」フレームであるという制約を課すこと、および主要ビデオスニペット２７５がビデオフレームに係るエンコードグループの正確な数量を含むことを要求することが、都合がよい。こうした制約により、圧縮されたオリジナルのデジタルビデオシーケンスの復元を最小限にしてビデオサマリー２８５を生成することができる。
【０１０９】
本発明のいくつかの実施例において、ビデオサマリーの総持続時間は、自動的に決定される。それは、オリジナルビデオサマリーの長さに応じて、もしくはデジタルビデオのワープタイム表現の長さに応じて決定され得る。本発明の別の実施例においては、ビデオサマリーの総持続時間は、ユーザーが指定する。例えば、ユーザーは特定の望ましいビデオサマリーの長さが念頭にあるかもしれない。次に、ビデオサマリーの総持続時間に応じて、主要ビデオスニペット２７５の数および持続時間を決定することができる。
【０１１０】
図１４は、一つの実施例に従って、主要ビデオスニペットの構成の例を示している。この場合、主要ビデオスニペットは、等しい持続時間であり、一式の対応する周りの最高位にランクされた主要ビデオフレームの中心にあるように、形成されている。この実施例では、デジタルビデオシーケンス６１０が解析され、３つの最高位にランクされた主要ビデオフレーム６４０が選択されている。主要ビデオスニペット６２０は、それぞれの最高位にランクされた主要ビデオフレーム６４０に応じて形成されている。会話領域６３０がデジタルビデオシーケンス６１０の中に示されている。主要ビデオスニペット６２０を決定するためのこのプロセスは、第１の主要ビデオスニペット６２０が、会話領域６３０を、それが終了する前に、切り落としてしまうという欠点を有している。決定された主要ビデオスニペット６２０は、第２と第３の主要ビデオスニペットの間の時間間隔が短いという欠点も有している。
【０１１１】
図１５は、代替的な実施例に従った、同一のデジタルビデオシーケンス６１０からの主要ビデオスニペット６２０の形成を示している。この場合、主要ビデオスニペット６２０の構成は、追加的な基準に、さらに応じたものである。この実施例においては、全ての主要ビデオスニペット６２０の長さが等しいことは要せず、主要ビデオスニペット６２０の位置は、対応する周りの最高位にランクされた主要ビデオフレームの中心にある必要も無い。さらに、それぞれの主要ビデオスニペット６２０の開始および終了ポイントは、オーディオ活動のレベルの低さに応じて開始および終了時間を選択することを促進する基準に対応している。さらには、主要ビデオスニペット６２０は、規定の閾値よりもタイムインターバルが小さいことによって分離された最高位にランクされた主要ビデオフレーム６４０に対応する主要ビデオスニペットを併合する基準に応じて、形成される。この場合、第１の主要ビデオスニペット６２０は、対応する最高位にランクされた主要ビデオフレーム６４０に関して、伸ばされ、中心からはずれてシフトされる。主要ビデオスニペット６２０が、両方の端において会話領域６３０を切り取らないようにである。さらに、第２と第３の最高位にランクされた主要ビデオフレーム６４０の間の短い時間間隔により、結果として対応する主要ビデオスニペットを単一の主要ビデオスニペット６２０へと併合している。全持続時間の制約は、必要に応じて開始および終了時間を調整することで実施され、一方、時間的に近い主要ビデオスニペット６２０は併合されており、会話領域６３０の切り落としは避けられている。図１５に示す主要ビデオスニペット６２０は、図１４に示す主要ビデオスニペット６２０よりも心地よいビデオサマリーを提供する。
【０１１２】
ビデオサマリー形成のステップ２８０（図８）は、ビデオサマリー２８５を形成するために主要ビデオスニペットを組み合わせる。望ましい実施例においては、主要ビデオスニペットは、デジタルビデオシーケンスにおいてそれらが起こった順番に従って、時系列的に組み合わせられる。
【０１１３】
コンピュータープログラム製品は、一つまたはそれ以上の記録媒体を含み得る。例えば、（フロッピーディスクのような）磁気ディスクまたは磁気テープといった磁気記録媒体；オプティカルディスク、オプティカルテープ、または機械で読み取り可能なバーコード、といった光記録媒体；ランダムアクセスメモリー（ＲＡＭ）または読み出し専用メモリー（ＲＯＭ）といった半導体電子記録機器；もしくは、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするための命令をもったコンピュータープログラムを保管するために使用される、他のあらゆる機器または媒体である。
【符号の説明】
【０１１４】
２  フラッシュ
４  レンズ
６  調整可能な絞りと調整可能なシャッター
８  ズームとフォーカスのモータードライバー
１０  デジタルカメラ
１２  タイミングジェネレーター
１４  イメージセンサー
１６  ＡＳＰとＡ／Ｄコンバーター
１８  バッファーメモリー
２０  プロセッサー
２２  オーディオコーデック
２４  マイク
２６  スピーカー
２７  加速度計
２８  ファームウェアメモリー
３０  イメージセンサー
３２  イメージディスプレイ
３４  ユーザーコントロール
３６  ディスプレイメモリーセル
３８  有線のインターフェイス
４０  コンピューター
４２  ビデオインターフェイス
４６  ビデオディスプレイ
４８  インターフェイス／リチャージャー
５０  無線のモデム
５２  ラジオ周波数帯
５８  無線のネットワーク
７０  インターネット
７２  フォトサービスプロバイダー
２００  デジタルビデオシーケンス
２１０  デジタルビデオ解析のステップ
２１５  重要値
２２０  ワープタイム表現形成のステップ
２２５  ワープタイム表現
２３０  ワープタイム表現細分化
２３５  タイムインターバル
２４０  主要ビデオフレーム選択のステップ
２４５  主要ビデオフレーム
２５０  主要ビデオフレーム指示保管のステップ
２６０  最高位にランクされた主要ビデオフレーム決定のステップ
２６５  最高位にランクされた主要ビデオフレーム
２７０  主要ビデオスニペット形成のステップ
２７５  主要ビデオスニペット
２８０  ビデオサマリー形成のステップ
２８５  ビデオサマリー
２９０  ビデオサマリー表現保管のステップ
３１０  グローバルモーション情報
３２０  ローカルモーション情報
３３０  分類器
３４０  ビデオフレーム分類
４００  デジタルビデオシーケンス
４１０  デジタルビデオインターバル
４２０  タイムインターバル
５００  ワープタイム表現
５１０  ワープデジタルビデオインターバル
５２０  等しいタイムインターバル
６１０  デジタルビデオシーケンス
６２０  主要ビデオスニペット
６３０  会話領域
６４０  最高位にランクされた主要ビデオフレーム
９１０  デジタルビデオ解析のステップ
９１５  カメラ固定パターン
９２０  主要ビデオフレームランク決定のステップ
９２５  モーショントレース
９３０  固定位置ヒストグラム
９４０  固定位置ヒストグラム
【図１】
2013531843.tif 000008
【図２】
2013531843.tif 000009
【図３】
2013531843.tif 000010
【図４】
2013531843.tif 000011
【図５】
2013531843.tif 000012
【図６】
2013531843.tif 000013
【図７】
2013531843.tif 000014
【図８】
2013531843.tif 000015
【図９】
2013531843.tif 000016
【図１０】
2013531843.tif 000017
【図１１】
2013531843.tif 000018
【図１２】
2013531843.tif 000019
【図１３】
2013531843.tif 000020
【図１４】
2013531843.tif 000021
【図１５】
2013531843.tif 000022
【国際調査報告】
2013531843.tif 000023
2013531843.tif 000024
2013531843.tif 000025
2013531843.tif 000026
2013531843.tif 000027