(57)【要約】ビデオフレームの時間シーケンスを有するデジタルビデオ映像についてのキービデオフレーム群を求めるための方法であって、プロセッサを用いて、前記デジタルビデオ映像を解析して時間の関数としての重要度を求めるステップ、時間の関数としての前記重要度に応じて、ビデオフレームを時間的に配置換えすることにより、歪み時間表現を作成するステップ、前記歪み時間デジタルビデオシーケンス表現を等しい時間区間に分割するステップ、各時間区間内のビデオフレームを解析することにより、各時間区間についてのキービデオフレームを選択するステップ、および、プロセッサアクセス可能メモリに前記キービデオフレームを示す情報を格納するステップ、を実行する。
2013533668.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームの時間シーケンスを有するデジタルビデオ映像についてのキービデオフレームを求めるための方法であって、
ａ）前記デジタルビデオ映像を解析して時間の関数としての重要度を求めるステップ、
ｂ）時間の関数としての前記重要度に応じて、ビデオフレームを時間的に配置換えすることにより、歪み時間表現を作成するステップ、
ｃ）前記歪み時間デジタルビデオシーケンス表現を等しい時間区間に分割するステップ、
ｄ）各時間区間内のビデオフレームを解析することにより、各時間区間についてのキービデオフレームを選択するステップ、および、
ｅ）プロセッサアクセス可能メモリに前記キービデオフレームを示す情報を格納するステップ、
を実行するためにプロセッサを用いる、方法。
【請求項２】
前記ステップａ）で全体動きを解析する、請求項１に記載の方法。
【請求項３】
前記ステップａ）で局所動きを解析する、請求項１に記載の方法。
【請求項４】
前記ステップａ）で、複数のビデオフレームを、複数のビデオフレーム分類へと分類する、請求項１に記載の方法。
【請求項５】
前記ビデオフレーム分類には、「ズーム」、「高速パン」、「興味深い」、又は「不活発」が含まれる、請求項４に記載の方法。
【請求項６】
各ビデオフレーム分類には、それぞれ対応する分類重要度が割り当てられている、請求項４に記載の方法。
【請求項７】
前記ステップｄ）で、各時間区間内の複数のビデオフレームに対して選択スコアを付与する、請求項１に記載の方法。
【請求項８】
前記選択スコアは、全体動き及び局所動きの関数である、請求項７に記載の方法。
【請求項９】
前記ステップｄ）で、更に、各時間区間内のキービデオフレームとして、独立に符号化されたビデオフレームを選択する、請求項１に記載の方法。
【請求項１０】
前記ステップｅ）で、個々のキービデオフレームを別々のファイルとして抽出する、請求項１に記載の方法。
【請求項１１】
前記ステップｅ）で、キービデオフレームのリストを、前記デジタルビデオに関連付けられたメタデータとして格納する、請求項１に記載の方法。
【請求項１２】
前記ステップｅ）では、キービデオフレームについてのサムネイル画像を、前記デジタルビデオに関連付けられたメタデータとして格納する、請求項１に記載の方法。
【請求項１３】
前記歪み時間デジタルビデオシーケンス表現は、前記デジタルビデオ映像のうち重要度が低い部分に含まれるビデオフレームほど、短い時間的長さを割り当てることにより形成される、請求項１に記載の方法。
【請求項１４】
前記歪み時間デジタルビデオシーケンス表現は、前記デジタルビデオ映像のうち重要度が高い部分に含まれるビデオフレームほど、長い時間的長さを割り当てることにより形成される、請求項１に記載の方法。
【請求項１５】
前記時間区間の数がユーザ指定である、請求項１に記載の方法。
【請求項１６】
ｆ）指定された基準に従ってキービデオフレームをランク付けするステップ、
ｇ）最高ランクのキービデオフレーム群に対応するキービデオスニプレット群を作成するステップ、
ｈ）キービデオスニプレット群を組み立ててビデオサマリーを作成するステップ、
ｉ）ビデオサマリーを表す情報をプロセッサアクセス可能メモリに格納するステップ、
を更に実行する請求項１に記載の方法。
【請求項１７】
デジタルビデオカメラシステムであって、
画像センサと、
前記画像センサ上にシーンの画像を形成するための光学系と、
データ処理システムと、
前記データ処理システムに対して通信可能に接続され、デジタルビデオについてのキービデオフレーム群を求めるための方法を前記データ処理システムに実行させるよう構成された命令群を記憶するメモリシステムと、
を有し、前記命令群は、
前記画像センサを用いて、ビデオフレームの時間シーケンスを有するデジタルビデオ映像を撮像すること、
前記デジタルビデオ映像を解析して時間の関数としての重要度を求めること、
時間の関数としての前記重要度に応じて、ビデオフレームを時間的に配置換えすることにより、歪み時間表現を作成すること、
前記歪み時間デジタルビデオシーケンス表現を等しい時間区間に分割すること、
各時間区間内のビデオフレームを解析することにより、各時間区間についてのキービデオフレームを選択すること、および、
プロセッサアクセス可能メモリに前記キービデオフレームを示す情報を格納すること、
を含むデジタルビデオカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオ処理の分野に関し、特にキービデオフレームを選択してビデオサマリー（要約）を作成するための方法に関する。
【背景技術】
【０００２】
多くのデジタル撮像装置は、静止画像と共にビデオ（動画）映像を撮像することができる。しかし、デジタルビデオコンテンツを管理することは困難な作業になる場合がある。ビデオ映像は、しばしば、そのビデオ映像の最初のフレームのサムネイル画像により視覚的に表示される。これでは、そのビデオ映像のコンテンツ（内容）について多くの見通しは得られない。ある特定の出来事があるビデオ映像に含まれているかを判定することには、ビデオ映像全体を見ることが必要になることが多い。非常に長いビデオ映像の場合、そのビデオ映像全部を見る必要なしに、そのビデオ映像のクイックサマリー（簡単な要約）を入手できることが、ユーザにとって好ましいかも知れない。
【０００３】
また、デジタルビデオ映像は、共有という観点で実用上の問題を引き起こす場合がある。多くのデジタル撮像装置は、毎秒３０又は６０フレーム、１９２０×１０８０画素もの高い空間解像度でビデオ映像を録画する。圧縮した場合でさえ、生成されるデータの量は、比較的短いビデオ映像であっても、実際上共有を不可能にするほどである。
【０００４】
ビデオ編集ソフトウエアを用いて、ビデオ映像を、もっと容易に共有できる短縮版へと手動で要約することはできる。しかし、手動でのビデオ編集は、長ったらしく、骨の折れる処理であり、多くのユーザは手動編集に興味がない。自動的なビデオ要約アルゴリズムも存在する。これらのソリューションは、撮像したビデオ映像を入力として処理を開始し、その映像を解析してビデオ映像要約を求める。しかし、そのようなアルゴリズムはとても複雑である。映像要約を求めるのに必要な解析を実行するためにビデオ映像をデコードする必要があるからである。このように、デジタル撮像装置において、今撮ったばかりのビデオ映像に対応する映像要約を即座に閲覧することは不可能である。この欠点により、撮像したビデオ映像をさっと見て共有できるようにすることは難しい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００６／２６２１８４号明細書
【特許文献２】米国特許出願公開第２０１０／０９２０３７号明細書
【特許文献３】米国特許出願公開第２００８／０４３８４８号明細書
【特許文献４】米国特許第６４６２７４２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、デジタル撮像装置においてビデオサマリー（ビデオ要約）を計算するためのシステム及び方法が望まれることもあろう。特に、デジタル撮像装置においてビデオの撮像の際に最小限の遅延でビデオサマリーを生成できるようにするソリューションが求められることもあろう。
【課題を解決するための手段】
【０００７】
本発明は、ビデオフレームの時間的シーケンス（ビデオフレームの時間的な並び）を有するデジタルビデオ映像についてのキービデオフレームを求めるための方法を提示するものであり、以下の各ステップを実行するためにプロセッサを用いることを含む。
ａ）前記デジタル映像を解析して時間の関数としての重要度を求めるステップ、
ｂ）時間の関数としての前記重要度に応じて、ビデオフレームを時間的に配置換えすることにより、歪み時間表現（warped time representation）を作成するステップ、
ｃ）前記歪み時間デジタルビデオシーケンス表現を等しい長さの時間区間に分割するステップ、
ｄ）各時間区間内のビデオフレームを解析することにより、各時間区間についてのキービデオフレームを選択するステップ、
ｅ）プロセッサからアクセス可能なメモリに前記キービデオフレームの情報（indication）を格納するステップ。
【発明の効果】
【０００８】
この発明は、デジタルビデオシーケンス（一連のデジタルビデオ映像）の最も重要な部分に対応するキービデオフレームを選択するという利点を有する。
【０００９】
別の利点は、本発明では、全体的及び局所的な動き解析を用いてビデオフレームの重要度を示す情報を求める。全体的及び局所的な動き解析は、モーションアーチファクトのありそうなキービデオフレームを選択しないようにするために、キービデオフレームの選択の際に用いてもよい。
【００１０】
本発明の別の利点は、識別されたキービデオフレーム群が一連の重要なキービデオスニペット（断片）群を含んだビデオサマリーを作成するのに用いることができる、ということである。
【図面の簡単な説明】
【００１１】
【図１】本発明の１つの実施形態に従ってビデオサマリーを作成するためのシステムの構成要素を示す高レベルの図である。
【図２】本発明の１つの実施形態に従ってデジタルビデオシーケンスについてのキービデオフレーム群を求めるための方法のフロー図である。
【図３】本発明の１つの実施形態に従ってビデオフレームを分類するための方法のフロー図である。
【図４】一組の等間隔のデジタルビデオ区間へと分割されたデジタルビデオシーケンスを例示する図である。
【図５】図４に示されたデジタルビデオシーケンスの歪み時間表現を例示する図である。
【図６】歪み時間表現を長さの等しい区間に細分した例を示す図である。
【図７】図４の元のデジタルビデオシーケンスに対する図６の各区間の対応箇所を例示する図である。
【図８】本発明の１つの実施形態に従ってビデオサマリーを求めるための方法のフロー図である。
【図９】本発明の１つの実施形態に従って最高ランクのキービデオフレームを求めるための方法のフロー図である。
【図１０】注視（fixation）箇所ヒストグラムを例示する図である。
【図１１】注視箇所ヒストグラムを例示する図である。
【図１２】図１１に示した注視箇所ヒストグラムの数値表現を示す図である。
【図１３】最高ランクのキービデオフレームを求めるのに便利なランキング処理の例を例示する図である。
【図１４】１つの実施形態に従ったキービデオ・スニペット（断片）の作成を例示する図である。
【図１５】別の実施形態に従ったキービデオ・スニペット（断片）の作成を例示する図である。
【発明を実施するための形態】
【００１２】
以下の説明では、本発明の好適な実施の形態が、通常はソフトウエアプログラムとして実装される場合の例として記載される。当業者ならば、そのようなソフトウエアの等価物をハードウエアでも構成できることが容易に理解できるであろう。画像処理のアルゴリズム及びシステムはよく知られているので、以下の説明は、特に、本発明に従ったシステム及び方法の一部を構成する、又はそのシステム及び方法とより直接的に協働する、アルゴリズム及びシステムに向けたものとなるであろう。このようなシステム及びアルゴリズムの他の側面、及び、画像信号を生成するか又は処理するためのそのシステム内のハードウエア又はソフトウエアは、この明細書の中に必ずしも詳しくは示さないが、この技術分野でしられたそのようなシステム、アルゴリズム、構成要素、及び要素の中から選んで用いればよい。以下で本発明に従って説明するシステムにおいては、この明細書中で特に説明、示唆又は記載しないが本発明の実装にとって有益なソフトウエアは、従来のものであり、そのような技術分野における通常の技術である。
【００１３】
更に、この明細書で説明するように、本発明の方法を実行するためのコンピュータプログラムはコンピュータ読み取り可能な記憶媒体に格納してもよく、そのような記憶媒体は、例えば、（ハードディスクやフロッピー（登録商標）ディスクのような）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能なバーコードなどの光学式記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリーメモリ（ＲＯＭ）などの固体電子記憶装置、又は、１つ又は複数のコンピュータを制御して本発明に係る方法を実行させるようにするための命令群を含んだコンピュータプログラムを格納するのに用いられる他の物理的装置や媒体などであってもよい。
【００１４】
本発明は、本明細書に記載した複数の実施例の組合せをも包含する。この明細書で「特定の実施例」などといった場合、それは、本発明の少なくとも１つの実施例に含まれる特徴のことを指すものとする。「ある実施例」又は「特定のいくつかの実施例」などに対して異なる場所で個別に言及した場合、それらは必ずしも同一の実施例を指すものではなく、またそのような実施例同士は、互いに排他的であると明示した場合又は互いに排他的であることが当業者に明らかである場合を除き、互いに排他的ではない。「方法」又は「方法群」などのような単数形や複数形を用いた表現は、（単数又は複数に）限定するものではない。明示的に示すか、文脈上要求される場合を除き、「又は」という語句は、排他的でない意味で用いていることに留意されたい。
【００１５】
イメージング（画像形成）デバイス、及び、信号の取得及び処理、並びに表示のための関連回路と、を用いるデジタルカメラはよく知られているので、この明細書の記載は、特に、本発明に従った方法及び装置の一部を構成する要素群、又はそれら方法及び装置とより直接的に協働する要素群に向けたものとする。この明細書中に特に示さない要素は、この技術分野において公知のものから選べばよい。説明する実施例群のある側面はソフトウエアとして実現されている。以下で本発明に従って説明するシステムにおいては、この明細書中で特に説明、示唆又は記載しないが本発明の実装にとって有益なソフトウエアは、従来のものであり、そのような技術分野における通常の技術である。
【００１６】
以下のデジタルカメラの説明は当業者にはなじみの深いものである。明らかなように、実施形態には様々な変形が考えられ、それら変形例は、カメラの性能向上、コスト削減、又は機能追加のために採用可能であり選択される。
【００１７】
図１は、本発明に従ってビデオ映像を撮像することが可能なデジタルカメラ１０を含んだ、デジタル写真システムのブロック図を示している。好ましくは、デジタルカメラ１０は携帯型の電池駆動の装置であり、撮像及び画像閲覧の際にユーザが簡単に手で持つことができる程度に小さい。デジタルカメラ１０は、画像メモリ３０を用いて、デジタル画像ファイルとして格納されるデジタル画像を生成する。「デジタル画像」又は「デジタル画像ファイル」という語句は、この明細書では、デジタル静止画像及びデジタルビデオ映像ファイルなどのような、いかなるデジタル画像ファイルをも指すものとする。
【００１８】
いくつかの実施例では、デジタルカメラ１０は、動画ビデオ画像及び静止画の両方を撮像する。別のいくつかの実施例では、デジタルカメラ１０は、動画ビデオ画像のみを撮像するデジタルビデオカメラである。デジタルカメラ１０は、デジタル音楽プレイヤー（例えばＭＰ３プレイヤー）、携帯電話、ＧＰＳ受信機、又はＰＤＡ（programmable digital assistant：携帯情報端末）等のような（ただしこれらに限定されるものではない）他の機能を兼ね備えていてもよい。
【００１９】
デジタルカメラ１０はレンズ４を有しており、レンズ４は調整可能な開口及び調整可能なシャッター６を持っている。好適な実施例では、レンズ４はズームレンズであり、ズーム及びフォーカスモータ駆動部８により制御される。レンズ４は、シーン（図示せず）からの光を、例えばシングルチップカラーＣＣＤ又はＣＭＯＳ画像センサのような画像センサ１４に集める。レンズ４は、シーンの画像を画像センサ１４上に形成するための光学システムの一種である。別の実施例では、工学システムは、可変焦点又は固定焦点の、固定焦点距離を用いてもよい。
【００２０】
画像センサ１５の出力は、アナログシグナルプロセッサ（ＡＳＰ）及びアナログ・デジタル（Ａ／Ｄ）コンバータ１６により、デジタル形式に変換され、バッファメモリ１８内に一時的に格納される。バッファメモリ１８内に格納された画像データは、その後、ファームウエアメモリ２８に格納された埋め込みソフトウエアプログラム（例えばファームウエア）を用いて、プロセッサ２０により処理される。いくつかの実施例では、そのソフトウエアプログラムは、リードオンリーメモリ（ＲＯＭ）を用いてファームウエアメモリ２８内に永久的に格納されている。別の実施例では、ファームウエアメモリ２８は、例えばフラッシュＥＰＲＯＭメモリを用いて、変更可能となっていてもよい。このような実施例では、ファームウエアメモリ２８内に格納されたソフトウエアプログラムを、外部装置から、有線インタフェース３８又は無線モデム５０を用いて更新することができる。また、このような実施例では、ファームウエアメモリ２８は、画像センサの較正データやユーザ設定情報等の、カメラの電源がオフされたときに保存すべきデータを格納するために用いてもよい。いくつかの実施例では、プロセッサ２０は、プログラムメモリ（図示せず）を備えており、ファームウエアメモリ２８に格納されたソフトウエアプログラムは、プロセッサ２０により実行される前に、プログラムメモリにコピーされる。
【００２１】
了解されるように、プロセッサ２０の機能は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）デバイスを含む、単一のプログラマブルプロセッサ又は複数のプログラマブルプロセッサを用いて実現することができる。また、この代わりに、プロセッサ２０は、（例えば、デジタルカメラでの使用に特化して設計された１つ又は複数のカスタムＩＣのような）カスタム回路により実現してもよいし、プログラマブルプロセッサとカスタム回路との組合せにより実現してもよい。了解されるように、プロセッサ２０と、図１に示した様々な構成要素のうちのいくつか又はすべてとの間の接続は、共通データバスを用いて実現することができる。例えば、いくつかの実施例では、プロセッサ２０、バッファメモリ１８、画像メモリ３０、及びファームウエアメモリ２８の間の接続が、共通データバスを用いて実現される。
【００２２】
処理された画像は、その後、画像メモリ３０を用いて格納される。了解されるように、画像メモリ３０は、着脱式のフラッシュメモリカード、内蔵フラッシュメモリチップ、磁気メモリ、又は光学式メモリなどの（ただしこれらに限るものではない）、当業者に知られているどのような形態のメモリであってもよい。いくつかの例では、画像メモリ３０は、内蔵フラッシュメモリチップと、セキュアデジタル（ＳＤ）カードなどの着脱式のフラッシュメモリカードへの標準的なインタフェースと、の両方を有していてよい。また、他のメモリカードフォーマット、例えばマイクロＳＤカード、コンパクトフラッシュ（登録商標）（ＣＦ）、マルチメディアカード（ＭＭＣ）、ｘＤカード、又はメモリースティックなど、を用いることもできる。
【００２３】
画像センサ１４はタイミング発生器１２により制御され、タイミング発生器１２は、行及び列の選択並びにＡＳＰ及びＡ／Ｄ変換器１６の動作の同期のために様々なクロック信号を生成する。画像センサ１４は、例えば、約４０００×３０００画素の静止画ファイルを生成する、１２．４メガピクセル（４０８８×３０４０画素）のものであってもよい。カラー画像を生成するために、画像センサの上には、一般には、カラーフィルタアレイが設けられており、これにより異なる複数の色の画素を含んだ画素アレイを有する画像センサが実現される。これら異なる複数の色の画素は、多くの異なるパターンで配列し得る。１つの例では、それら異なる複数の色の画素は、よく知られているベイヤー（Bayer）カラーフィルタアレイを用いて配列されていてもよく、これは本発明の譲受人に譲渡されたベイヤーに対する米国特許第３，９７１，０６５号"Color imaging array"に記載されており、この米国特許は参考としてこの明細書に組み込む。第２の例として、それら異なる複数の色の画素は、本発明の譲受人に譲渡された、コンプトン及びハミルトン（Compton and Hamilton）に対する２００７年７月２８日出願の"Image sensor with improved light sensitivity"と題された米国特許出願公開第２００５／１９１７２９号に記載されるように配列されていてもよく、この米国特許文献の開示内容は参考としてこの明細書に組み込む。これらの例は限定的なものではなく、他の多くのカラーパターンを用いてもよい。
【００２４】
了解されるように、画像センサ１４、タイミング発生器１２、及びＡＳＰ及びＡ／Ｄ変換器１６は、それぞれ個別に製造された集積回路であってもよいし、ＣＭＯＳ画像センサにおいて一般的に行われているようにそれをまとめて単一の集積回路として製造されてもよい。いくつかの実施例では、この単一の集積回路が、図１に示した他の機能のうちのいくつか、例えばプロセッサ２０により提供されるいくつかの機能、を実行してもよい。
【００２５】
画像センサ１４は、タイミング発生器１２により第１モードで駆動されたときに有効となり、画像を構成するために、ビデオ画像を撮像したり撮像対象の静止画をプレビューしたりする際に用いられる低解像度センサ画像データの動画シーケンスを生成する。このプレビューモードセンサ画像データは、例えば１２８０×７２０画素のＨＤ解像度画像データとして、又は、例えば６４０×４８０画素のＶＧＡ解像度画像データとして、又は、画像センサの解像度よりもデータの行及び列の数が遙かに少ない他の解像度を用いて、生成すればよい。
【００２６】
プレビューモードセンサ画像データは、同じ色を持つ隣り合う複数の画素の値を組み合わせることにより、又は、いくつかの画素値を除去することにより、又は、いくつかの色画素値を組み合わせつつ他の画素値を除去することにより、生成してもよい。プレビューモード画像データは、本発明の譲受人に譲渡された、パルルスキ（Parulski）らに対する" Electronic camera for initiating capture of still images while previewing motion images "と題された米国特許第６，２９２，２１８号に記載されるように処理されるようにしてもよく、この米国特許文献の開示内容は参考としてこの明細書に組み込む。
【００２７】
画像センサ１４は、また、タイミング発生器１２により第２モードで駆動されたときに有効となり、これにより高解像度の静止画を生成する。この最終モードセンサ画像データは、高解像度の出力画像データとして生成され、照明レベルが高いシーンについては画像センサの全画素を含み、例えば、４０００×３０００画素の１２メガピクセル最終画像データであってもよい。低い照明レベルについては、最終センサ画像データは、画像センサ上のいくつかの数の似た色の画素を「ビニング（binning）」することにより、信号レベル、ひいては、その画像センサの「ＩＳＯ感度（ISO speed）」を高める。
【００２８】
ズーム及びフォーカスモータ駆動部８は、プロセッサ２０から供給される制御信号により制御され、適切な焦点距離を設定し、シーンを画像センサ１４上に合焦させる。画像センサ１４の露出レベルは、調整可能な開口及び調整可能なシャッター６のＦ値及び露出時間、タイミング発生器１２経由での画像センサ１４の露出期間、及び、ＡＳＰ及びＡ／Ｄ変換器１６のゲイン（すなわちＩＳＯ感度）設定、を制御することにより、コントロールされる。プロセッサ２０は、また、シーンを照明するフラッシュ２も制御する。
【００２９】
デジタルカメラ１０のレンズ４は、第１モードではＴＴＬ（"through-the-lens"）オートフォーカスを用いて、本発明の譲受人に譲渡された、パルルスキ（Parulski）らに対する" Electronic Camera with Rapid Automatic Focus of an Image upon a Progressive Scan Image Sensor "と題された米国特許第５，６６８，５９７号に記載されるように合焦を行うようにしてもよく、この米国特許文献の開示内容は参考としてこの明細書に組み込む。これは、ズーム及びフォーカスモータ駆動部８を用いてレンズ４の焦点位置を近景焦点位置から無限遠焦点位置にわたる数多くの位置に調整しつつ、画像センサ１４が捉えた画像の中央位置の鮮鋭度（シャープネス）がピーク値となる、最も近いフォーカス位置をプロセッサ２０が判定することにより達成される。そして、その最も近い焦点位置に対応する焦点距離は、適切なシーンモードの自動設定などのいくつかの目的のために利用してもよく、他のレンズ設定及びカメラ設定と共にメタデータとして画像ファイル内に格納してもよい。
【００３０】
プロセッサ２０は、メニューと、表示メモリ３６に一時的に格納され画像ディスプレイ３２に表示される低解像度カラー画像と、を生成する。画像ディスプレイ３２は、典型的にはアクティブマトリクス方式カラー液晶ディスプレイ（ＬＣＤ）であるが、有機発光ダイオード（ＯＬＥＤ）ディスプレイ等の他のタイプの表示部を用いてもよい。ビデオインタフェース４４は、デジタルカメラ１０からフラットパネルＨＤＴＶディスプレイなどのビデオディスプレイ４６へのビデオ出力信号を生成する。プレビューモードまたはビデオモードでは、バッファメモリ１８からのデジタル画像データがプロセッサ２０により処理されることで、典型的にはカラー画像として、画像ディスプレイ３２に表示される一連の動画プレビュー画像が形成される。レビュー（閲覧）モードでは、画像ディスプレイ３２に表示される画像は、画像メモリ３０内に格納されたデジタル画像ファイルからの画像データを用いて生成される。
【００３１】
画像ディスプレイ３２に表示されるグラフィカルユーザインタフェースは、ユーザ操作部（user controls）３４により生成されるユーザ入力に応じて制御される。ユーザ操作部３４は、ビデオ撮像モード、静止画撮像モード、レビュー（閲覧）モードなどの様々なカメラモードを選択するため、及び、静止画の撮像や動画像の記録の開始を指示するために用いられる。いくつかの実施例では、上述の第１モード（すなわち静止画プレビューモード）は、ユーザがユーザ操作部３４の１つであるシャッターボタンを半押ししたときに開始され、第２モード（すなわち静止画撮像モード）は、ユーザがシャッターボタンを全押ししたときに開始される。ユーザ操作部３４は、また、カメラの電源をオンしたり、レンズ４を制御したり、撮像処理を開始したりするために用いられる。ユーザ操作部３４は、典型的には、ボタン、ロッカスイッチ、ジョイスティック、ロータリーダイアル等の何らかの組合せを含んでいる。いくつかの実施例では、ユーザ操作部３４のうちのいくつかのものは、画像ディスプレイ３２上に重畳されたタッチスクリーンを用いて構成される。他の実施例では、追加のステータス表示部や画像表示部を用いてもよい。
【００３２】
ユーザ操作部３４を用いて選択可能なカメラモードには、「タイマー」モードが含まれる。「タイマー」モードが選択されると、ユーザがシャッターボタンを全押しした後に短時間の遅延（例えば１０秒）が設けられ、その遅延の後、プロセッサ２０が静止画の撮像を開始する。
【００３３】
プロセッサ２０に接続されたオーディオコーデック２２は、マイクロフォン２４からの音声信号を受信し、スピーカーに対して音声信号を提供する。これらの構成要素は、ビデオシーケンスまたは静止画と共にオーディオトラックを録音したり再生したりするものであってもよい。デジタルカメラ１０が、カメラと携帯電話機の組合せのような多機能装置である場合、マイクロフォン２４及びスピーカーは電話での通話に用いてもよい。
【００３４】
いくつかの実施例では、スピーカー２６は、ユーザインタフェースの一部として、例えば、ユーザ操作部が押されたことや特定のモードが選択されたことなどを示す様々な可聴信号を生成するためなどに、用いてもよい。いくつかの実施例では、マイクロフォン２４、オーディオコーデック２２、及びプロセッサ２０は、音声認識機能を提供するために用いられてもよく、この場合ユーザはプロセッサ２０に対するユーザ入力を、ユーザ操作部３４ではなく、音声コマンドを用いて入力することができる。スピーカー２６は、ユーザに対して電話の着信を知らせるのに用いてもよい。これは、ファームウエアメモリ２８に格納された標準的な着信音、又は、ワイヤレスネットワーク５８からダウンロードされ画像メモリ３０に格納された特別仕様の着信音を用いて行ってもよい。更には、バイブレーション装置（図示せず）を用いて、無音（すなわち非可聴）の着信通知を行うようにしてもよい。
【００３５】
いくつかの実施例では、デジタルカメラ１０は、カメラの動きに関連するデータを生成する加速度計２７を更に備えている。好適には、加速度計２７は、互いに直交する３方向のそれぞれについての直線加速度及び回転加速度の両方（合計６次元の入力）を検出してもよい。
【００３６】
プロセッサ２０は、画像センサ１４からの画像データについて更なる処理を行って表示用ｓＲＧＢ画像データ（rendered sRGB image data）を生成し、このｓＲＧＢ画像データは圧縮され、画像メモリ３０内の、周知のＥｘｉｆ−ＪＰＥＧ画像ファイルなどの「処理済み」（"finished"）画像ファイル内に格納される。
【００３７】
デジタルカメラ１０は、有線インタフェース３８経由でインタフェース／充電器４８に接続されていてもよく、インタフェース／充電器４８は、家庭又はオフィス内にあるデスクトップコンピュータ又はポータブルコンピュータなどのコンピュータ４０に接続されている。有線インタフェース３８は、例えば周知のＵＳＢ２．０インタフェース仕様に準拠したものであってもよい。インタフェース／充電器４８は、有線インタフェース３８を経由して、デジタルカメラ１０内の一組の充電池（図示せず）に対して電力を供給することができる。
【００３８】
デジタルカメラ１０は無線モデム５０を備えていてもよく、この無線モデム５０は無線周波数帯５２を介して無線ネットワーク５８とのインタフェースをとる。無線モデム５０は、周知のBluetooth（登録商標）無線インタフェース又は周知の８０２．１１無線インタフェースのような様々な無線インタフェースプロトコルを用いることができる。コンピュータ４０は、インターネット７０経由で、Kodak EasyShare Gallery（登録商標）のような写真サービスプロバイダ７２にアップロードすることができる。他の装置（図示せず）は、写真サービスプロバイダ７２に格納された画像にアクセスすることができる。
【００３９】
別の実施例では、無線モデム５０はラジオ周波数（すなわち無線）リンクを介して、例えば３ＧＳＭ（登録商標）ネットワークなどの携帯電話ネットワーク（図示せず）と通信し、このネットワークが、デジタル画像ファイルをデジタルカメラ１０からアップロードするためにインターネット７０に接続する。これらデジタル画像ファイルは、コンピュータ４０又は写真サービスプロバイダ７２に提供することができる。
【００４０】
さて、図２を参照して本発明について説明する。図２は、ビデオフレームの時間的シーケンス（ビデオフレームの時間的な並び）を有するデジタルビデオシーケンス２００についてのキー（重要）ビデオフレームを、プロセッサ２０を用いて求めるための方法の詳細を示す。まず、デジタルビデオシーケンス２００が、デジタルビデオ解析ステップ２１０を用いて解析され、時間の関数としての重要度２１５を求める。歪み時間表現作成ステップ２２０では、ビデオフレームを時間の関数としての重要度２１５に応じて時間的に配置換えを行うことにより、デジタルビデオシーケンス２００についての歪み時間表現２２５を生成する。歪み時間表現分割ステップ２３０では、歪み時間表現２２５を、一組の等しい時間区間２３５に分割する。キービデオフレーム選択ステップ２４０では、各時間区間２３５内のビデオフレームを解析することにより、各時間区間について、キービデオフレーム２４５を選択する。キービデオフレーム情報格納ステップ２５０では、デジタルビデオシーケンス２００についてのキービデオフレーム２４５群を示す情報を、プロセッサがアクセス可能なメモリに格納する。
【００４１】
図２の各ステップを更に詳しく説明する。デジタルビデオ解析ステップ２１０では、重要度２１５を時間の関数として求める。重要度２１５は、デジタルビデオシーケンス２００のフレームの重要度を時間の関数として表す値である。好適には、重要度２１５は、デジタルビデオシーケンス２００のすべてのフレームについて求められる数値である。例えば、顔を含んだビデオフレームのように重要性が高いと判定されるビデオフレームには、相対的に高い重要度２１５が割り当てられるようにしてもよい。例えば、速いパン動作を含んだビデオフレームのように重要性が低いと判定されるビデオフレームには、相対的に低い重要度２１５が割り当てられるようにしてもよい。
【００４２】
当業者なら分かるように、デジタルビデオシーケンス２００内には、ビデオフレームに関して計算可能で、時間の関数としての重要度を求めるために使うことができる多くの特徴がある。本発明の好適な実施例では、デジタルビデオ解析ステップ２１０は、全体動き解析と局所動き解析を含んでいる。全体動き解析は、典型的には撮像装置の動きに対応する全体動き情報を求め、局所動き解析は、シーン内のオブジェクトの動きに対応する局所動き情報を求める。
【００４３】
いくつかの実施例では、全体動き解析は、時間の関数としての並進オフセット情報（水平及び垂直方向の並進移動）を提供する２パラメータ全体動きモデルを用いて実行される。他の実施例では、３つの直交軸についての回転情報や縮尺（ズーム）情報などの更なる情報を提供する、より複雑な全体動きモデルを用いてもよい。
【００４４】
局所動き解析は、密な局所動き情報を提供する局所動きモデルを用いて実行される。いくつかの実施例では、局所動きモデルは、各画素についての並進動き値を時間の関数として提供する。局所動きモデルは、例えば８×８画素や１６×１６画素からなる画素ブロックごとの並進動き値などといった、より粗い動き評価値を更に求めてもよい。好適な実施例では、局所動き情報は、ビデオフレームの中央領域内で生じる動きの程度を示す情報を提供する。これは、例えば、ビデオフレームの中央領域内で動いている領域の一部であるとして識別された画素の数を計数することで、計算することができる。
【００４５】
いくつかの実施例では、全体動き情報及び局所動き情報の計算は、デジタルビデオシーケンス２００が撮像され、圧縮され、プロセッサがアクセス可能なメモリに格納された後に実行される。このことにより、圧縮されたデジタルビデオシーケンスが、解析される前に解凍されることが必要になる。他の実施例では、全体動き情報及び局所動き情報は、デジタルビデオシーケンス２００が圧縮される前のデジタルビデオ撮像プロセスの間に求められる。これにより、全体動き及び局所動きの解析の実行のためにデジタルビデオシーケンスを解凍する必要性が軽減される。この場合、計算された全体動き情報及び局所動き情報は、デジタルビデオシーケンス２００に関連づけられたメタデータとして格納してもよい。このメタデータは、デジタルビデオファイル内に格納してもよいし、格納されたデジタルビデオシーケンスに関連づけられた別個のファイルとして格納してもよい。このような方法は、本発明の譲受人に譲渡され、米国にて審査に係属中の" Video summary method and system"と題された米国特許出願第１２／７８６，４８３号に記載されている。
【００４６】
好適な実施例では、デジタルビデオ解析ステップ２１０は、複数のビデオフレームを分類するステップを含む。図３には、本発明の好適な実施例の分類処理が記載されている。全体動き解析及び局所動き解析によりそれぞれ求められた全体動き情報３１０及び局所動き情報３２０は分類器３３０に入力され、分類器３３０は、複数のビデオフレームについてのビデオフレーム分類３４０を求める。好適な実施例では、ビデオフレームに付与されるビデオフレーム分類３４０には、ズーム、高速パン、興味深い、不活発、等がある。
【００４７】
分類器３３０は、ビデオフレームが撮像されている間にカメラがズームイン又はズームアウトしている場合には、そのビデオフレームをズームビデオフレームに分類する。ズームプロセスは、ズームを検出するための縮尺パラメータを含んだ全体動きモデルを用いたデジタル画像解析により検出することができる。ズームプロセスは、撮像時にズームレンズ４を調整するためにズームモータ駆動部８に送られる信号を認識することによって検出してもよい。
【００４８】
分類器３３０は、ビデオフレーム中に生じる全体的な並進運動の大きさが閾値を超える場合には、そのビデオフレームを高速パンビデオフレームに分類する。高速パン動作に対応する個々のビデオフレームは、概して非常にぼやけており、そのためデジタルビデオシーケンスを代表するキービデオフレームのよい候補にはならない。
【００４９】
分類器３３０は、全体的な並進運動の大きさ及びズーム動作の大きさ、更には局所動きの大きさが、指定された閾値を下回る場合には、当該ビデオフレームを不活発ビデオフレームに分類する。このようなビデオフレームは、撮像装置及びシーンが相対的に静止し、対象物の動きが比較的少ないことを示している。多くの場合、デジタルビデオシーケンスの不活発部分を代表するキーフレームは１つで十分である。
【００５０】
他の分類がない場合には、残りのすべてのビデオフレームは,興味深いビデオフレームに分類することができる。興味深いビデオフレームは、デジタルビデオシーケンスを代表するキービデオフレームにふさわしい候補を含んでいる可能性が非常に高いデジタルビデオシーケンス部分を表している。
【００５１】
本発明の好適な実施例では、重要度２１５（図２）が各ビデオフレームに付与される。重要度は、異なるビデオフレーム分類３４０の各々に対してそれぞれ適切な重要度を関連づけることにより、ビデオフレーム分類３４０から求めることができる。以下に示す表には、上述したデジタルビデオ分類３４０の各々についての重要度２１５の例を示している。
【表１】
2013533668.tif 000003
【００５２】
歪み時間表現作成ステップ２２０（図２）では、時間の関数としての重要度に応じてビデオフレーム群を時間的に配置換えすることにより、デジタルビデオシーケンスについての歪み時間表現を作成する。図４及び図５は、本発明の１つの実施例に従った歪曲処理を例示している。図４は、時間単位０から始まり時間単位１００で終わる、それぞれ５時間単位の長さを持つ、長さの等しいデジタルビデオ区間（equal digital video intervals）４１０に分割された、デジタルビデオシーケンス４００を例示している。各時間単位の絶対値は以下の説明では重要ではないが、たとえば各時間単位は１０ミリ秒を表しており、デジタルビデオシーケンスの５時間単位の長さの断片は１つのビデオフレームを表しているととらえてもよい。この場合、各ビデオフレームは５０ミリ秒であり、したがってデジタルビデオシーケンスは毎秒２０ビデオフレームで撮像されている。他の実施例では、デジタルビデオ区間４１０は、１ビデオフレームの代わりに、複数のビデオフレームを含んでいてもよい。
【００５３】
図５は、このデジタルビデオシーケンス２００の歪み時間表現２２５を表しており、この表現では、各デジタルビデオフレームは、当該デジタルビデオフレームに対応するビデオフレーム分類に基づいて、当該デジタルビデオフレームに関連づけられた重要度２１５に応じて、時間的に配置換えされている。デジタルビデオシーケンスの各断片を１つのビデオフレームとして扱い、表１に示した重要度を用いることで、図５には、デジタルビデオシーケンス４００についての歪曲されたデジタルビデオ区間５１０群から構成される歪み時間表現５００が例示される。この例では、ビデオフレーム１は「興味深い」に分類され、ビデオフレーム２〜８は「高速パン」に分類され、ビデオフレーム９〜１２は「興味深い」に分類され、ビデオフレーム１３-１６は「不活発」に分類され、ビデオフレーム１７-２０は「興味深い」に分類されている。
【００５４】
５．０時間単位の時間幅の、「ズーム」のビデオフレームクラスを持ち、対応する重要度が０．３のデジタルビデオ区間４１０（ビデオフレーム）については、５．０×０．３＝１．５時間単位の時間幅が、当該歪みデジタルビデオ区間５１０に対して割り当てられる。同様に、５．０時間単位の時間幅の、「高速パン」のビデオフレームクラスを持ち、対応する重要度が０．２のデジタルビデオ区間４１０については、５．０×０．２＝１．０時間単位の時間幅が、当該歪みデジタルビデオ区間５１０に対して割り当てられる。５．０時間単位の時間幅の、「不活発」のビデオフレームクラスを持ち、対応する重要度が０．６のデジタルビデオ区間４１０については、５．０×０．６＝３．０時間単位の時間幅が、当該歪みデジタルビデオ区間５１０に対して割り当てられる。そして、５．０時間単位の時間幅の、「興味深い」のビデオフレームクラスを持ち、対応する重要度が１．０のデジタルビデオ区間４１０については、５．０×１．０＝５．０時間単位の時間幅が、当該歪みデジタルビデオ区間５１０に対して割り当てられる。
【００５５】
好適な実施例では、デジタルビデオ映像のうちの重要度２１５が低い部分の中のデジタルビデオ区間４１０ほど割り当てる時間幅を短くし、重要度２１５が高い部分の中のデジタルビデオ区間４１０ほど割り当てる時間幅を長くすることにより、歪み時間表現５００が作成される。
【００５６】
歪み時間表現分割ステップ２３０（図２）は、歪み時間表現２２５を、一組の等間隔の時間区間２３５に分割する。図６には、上述の例についてのこのステップが示されており、この例では歪み時間表現５００が５つの等しい時間区間５２０からなる組へと細分されている。ここで注意すべきは、歪み時間表現では、等しい時間区間５２０の各々に含まれるデジタルビデオフレーム（すなわち歪んだデジタルビデオ区間５１０）の絶対数は、概して、一定ではないということである。
【００５７】
図７には、デジタルビデオシーケンス４００の元の表現に対する、対応する各時間区間４２０の位置が例示されている。この例では、見てわかるように、最初の時間区間４２０にはデジタルビデオシーケンス４００内に含まれるデジタルビデオフレームの総数のうちの４０％以上が含まれているのに対し、２番目の時間区間４２０には１５％未満しか含まれていない。
【００５８】
歪み時間表現２２５（図２）を用いることで、キービデオフレーム群がデジタルビデオシーケンス全体にわたる広がりを持つとともに、同時に、高い重要度を持つ領域ほど重視されるようバイアスがかかるように、各時間区間からそれぞれ１つのキービデオフレームを選択できるというメリットが得られる。
【００５９】
時間区間２３５（図２）の数は、例えばデジタルビデオシーケンスの歪み時間表現の全体的な時間幅などに基づいて、自動的に求めてもよい。またこの代わりに、時間区間の数をユーザが指定するようにしてもよい。
【００６０】
キービデオフレーム選択ステップ２４０（図２）では、各時間区間２３５内のビデオフレームを解析することにより、各時間区間２３５についてのキービデオフレームを選択する。本発明の好適な実施例では、この解析では、各時間区間２３５内の複数のビデオフレームに対して選択スコアを付与してもよく、この選択スコアは全体動き及び局所動きの関数である。１つの時間区間２３５内で最高の選択スコアを持つビデオフレームを、その時間区間２３５内のキービデオフレーム２４５に選ぶようにしてもよい。
【００６１】
デジタルビデオシーケンスを圧縮するたいていの方法では、いくつかのビデオフレームを独立に符号化されたビデオフレームとしてエンコードし、他のビデオフレームを予測符号化されたビデオフレームとしてエンコードする。本発明のいくつかの実施例では、各時間区間２３５内の独立に符号化されたビデオフレームのみがキービデオフレームの候補と見なされ、それら独立に符号化されたビデオフレームについてのみ選択スコアが計算される。独立に符号化されたビデオフレームとは、他のビデオフレームを参照することなく符号化されたビデオフレームのことを指す。このようなビデオフレームは、他のビデオフレームからの情報を全く必要とせずに復号（デコード）することができる。これに対して予測符号化されたビデオフレームは、近傍の１以上のビデオフレームからの予測に基づいて符号化される。このように、予測符号化されたビデオフレームは１以上の他のビデオフレームの知識を必要とするので、予測符号化されたビデオフレームは単独でデコードすることができない。多くのビデオエンコード方式では、独立に符号化されたビデオフレームは後続のビデオフレームの予測値として用いられるために高品質で符号化され、高品質な予測により後続のビデオフレームを効率よく符号化することが可能となる。このように、独立に符号化されたフレームは、典型的には高画質であり、かつ圧縮されたデジタルビデオシーケンスから他のビデオフレームを復号することなく素早く復号できるということから、キービデオフレーム２４５の好ましい候補である。
【００６２】
ビデオフレームについての選択スコアは、いくつかの異なる入力、例えば全体的な並進運動、ズーム、局所動き、及び直前のキービデオフレームに対する近さなど、の関数であってもよい。好適な実施例では、全体的な並進運動の大きさが大きいビデオフレームには、相対的に低い選択スコアが割り当てられる。なぜなら、全体的な動きが大きい場合、一般に、ビデオフレーム内に動きのぼけが生じるからである。同様に、ズームシーケンスの結果の後に続くビデオフレームには比較的高い選択スコアが付与される。これは、ユーザは特定の関心領域に対して注意を集中するために意図的にズームを行っているとの想定に基づくものである。したがって、ズームが終わって間もない（撮像装置が再合焦ための幾分の時間は許容した）ビデオフレームは、重要度が高い可能性が高く、キービデオフレーム２４５のよい候補と見なされる。興味を惹くビデオフレームはいくらかの被写体の動きを含んでいるとの想定に基づき、被写体の動きのレベルが非常に低いビデオフレームには、比較的低い選択スコアが付与される。撮像されるビデオ映像は高い時間的な相関を有しているので時間的に非常に近い複数のビデオフレームは冗長な情報を含んでいる可能性が高いとく想定に基づき、他のキービデオフレーム２４５に対して時間的に非常に近いビデオフレームには、低い選択スコアが付与される。各時間区間についてキービデオフレームが順次選ばれる実施例では、時間的な近さは直前のキービデオフレームを基準に計られる。すべてのキービデオフレームを同時に選択すること考慮する連帯最適化方式でキービデオフレームが選ばれる実施例では、時間的な近さは時間的に直前と直後のキービデオフレームの両方に関して測定される。
【００６３】
いくつかの実施例では、ビデオフレームの選択スコアは、複数の構成要素を含んでおり、次の式により求められる。
【数１】
2013533668.tif 000004
ここで、Ｓ（ｎ）は選択スコアであり、ＧＭ（ｎ）は全体動きの項であり、ＬＭ（ｎ）は局所動きの項であり、Ｚ（ｎ）はズームの項であり、Ｐ（ｎ）は近さの項であり、ｎはビデオフレームである。この式では、選択スコアの個々の項は、ビデオフレームの特徴に応じてそれぞれ０の値から１の値まで可変である。
【００６４】
全体動き項（ＧＭ）は、この技術分野で知られているいかなる方法を用いて計算してもよい。いくつかの実施例では、全体動き項は、全体動きの大きさの値が閾値ＴGMを超えるすべてのビデオフレームについて値０とし、全体動きの大きさの値が０のビデオフレームについては値１とし、全体動きの大きさの値が０とＴGMの間であるビデオフレームについては、１から０へと線形に減少する値とする。
【数２】
2013533668.tif 000005
ここで、ｘGM（ｎ）はビデオフレームｎについての全体動きベクトルの大きさである。
【００６５】
この代わりに、全体動き項の値が、コサイン関数などのように１から０まで非線形に減少するようにしてもよい。
【数３】
2013533668.tif 000006
この例では、コサイン関数により、全体動きの大きさが小さいところでは全体動きの減少が線形関数の場合よりも小さくなる。
【００６６】
局所動き項（ＬＭ）は、この技術分野で公知のいかなる方法を用いて計算してもよい。いくつかの実施例では、局所動きは、全体動きを補償した後の２つのビデオフレームの間で計算された差分値の関数として測定される。例えば、差分値は、全体動きベクトルを用いて一方のビデオフレームをシフトさせ、シフト後にそれらビデオフレームの間で重なり合う画素同士の値の差分を計算し、それら画素差分の平均値を計算して１つのビデオフレーム局所動き値を生成することにより、求めてもよい。照明の変化等のような他の状況でもビデオフレーム間で大きな差が生じるものの、ビデオフレーム局所動き値が大きいほど、一般的には、局所動きの量が大きいことを示唆する。
【００６７】
好適な実施例では、ＬＭ項には、局所動きのレベルがほどほどのビデオフレームを優先的に選択するようバイアスがかけられる。例えば、時間区間内のすべてのビデオフレーム局所動き値の平均値であるビデオフレーム局所動き値についてはＬＭ項の値が１となる関数、を用いてもよい。局所動きが小さくなるにつれて、ＬＭ値は、ビデオフレーム局所動き値０のところの値０．９まで線形に減少する。局所動きが大きくなるにつれて、ＬＭ値は、当該時間区間内のビデオフレーム局所動き値の最大値のところの値０．８まで、線形に減少する。式の形では、これは次のように表される。
【数４】
2013533668.tif 000007
ここで、ｘLM（ｎ）はビデオフレームｎについてのビデオフレーム局所動き値であり、
【数５】
2013533668.tif 000008
は時間区間内のビデオフレーム群のすべてのビデオフレーム局所動き値の平均値であり、ｘLM,maxは時間区間内のすべてのビデオフレームの中でのビデオフレーム局所動き値の最大値である。
【００６８】
別の実施例では、局所動き項は、全体動きを補償した後の２つのビデオフレームの対応画素同士の間の局所動きベクトルを計算することにより求めてもよい。そして、局所動きベクトルの平均の大きさが各ビデオフレームについて求められ、ビデオフレーム局所動き値として用いられるようにしてもよい。
【００６９】
ズーム項（Ｚ）は、この技術分野における公知のいかなる方法を用いて計算してもよい。いくつかの実施例では、ズーム動作が進行中又は終わったばかり（そして装置には再合焦のための十分な時間がなかった）のビデオフレームについては、ズーム項は値０であり、ズーム動作の直後に続く２秒間（装置の再合焦を可能にする時間の後）については、ズーム項は値１であり、その他のすべてのビデオフレームについてはズーム項は０．５である。
【００７０】
近さ項（Ｐ）は、この技術分野における公知のいかなる方法を用いて計算してもよい。いくつかの実施例では、近さ項は、ビデオフレームが直前のキービデオフレームから少なくとも２秒離れている場合には値１であり、直前のキービデオフレームからの距離が０まで減少するにつれて値０まで線形に減少する値を持つ。
【００７１】
当業者ならわかるように、全体動き及び局所動きの特徴に応じて選択スコアを求めることによりキービデオフレーム２４５を選ぶことについての上述の説明は、単なる一つの例に過ぎない。キービデオフレーム２４５は、本発明に従って、時間区間２３５の中からキービデオフレーム２４５を選択するのに公知の他のいかなる方法を用いてもよい。
【００７２】
キービデオフレーム情報格納ステップ２５０では、キービデオフレーム２４５を示す情報をプロセッサアクセス可能メモリに格納する。本発明のいくつかの実施例では、キービデオフレーム２４５は、個別のビデオフレームとして抽出してもよい。個別のビデオフレームは、圧縮されて個別のデジタル画像ファイル、例えばよく知られたＥｘｉｆ−ＪＰＥＧ画像ファイル内に格納されるようにしてもよい。キービデオフレームを別々のデジタル画像ファイルに格納することの利点は、標準的な画像リーダーでキービデオフレームに即座にアクセス可能であるということである。
【００７３】
本発明の他の実施例では、キービデオフレームは、デジタルビデオシーケンス２００に関連づけたメタデータを格納することによって示すようにしてもよい。メタデータは、キービデオフレーム２４５として識別されたビデオフレームのリストであってもよい。「スマート」ビデオリーダーは、デジタルビデオに関連づけられたメタデータを解釈することができ、これによりキービデオフレーム２４５を抽出することができる。キービデオフレーム２４５を示す情報を、フレームリストを含むメタデータとして格納することの利点は、キービデオフレームを示すのに必要となる唯一の追加のメモリ量がフレームリストのメタデータであり、比較的少量のメモリしか必要としないことである。
【００７４】
本発明の他の実施例では、ビデオフレームサムネイル画像をメタデータとしてデジタルビデオに対応づけて格納することにより、キービデオフレームを示すこともできる。ビデオフレームサムネイル画像はキービデオフレームの低解像度バージョンである。キービデオフレームをデジタルビデオに関連づけられたビデオフレームサムネイル画像として格納することの利点は、キービデオフレームをデジタルビデオから抽出するよりも素早くメタデータから抽出することができるということである。
【００７５】
本発明のいくつかの実施例では、キービデオフレーム群を求めるための方法は、ビデオサマリー（要約）を作成するための処理の一部である。図８は、本発明の一実施例に従ったビデオサマリーの作成方法のステップ群を例示している。デジタルビデオ解析ステップ２１０、歪み時間表現作成ステップ２２０、歪み時間表現分割ステップ２３０、キービデオフレーム選択ステップ２４０及びキービデオフレーム情報格納ステップ２５０は、図２に従って既に説明したように実行される。これに続いて、最高ランクキービデオフレーム判定ステップ２６０では、一組の最高ランクのキービデオフレームを判定するための特定の基準に従って、キービデオフレーム２４５群に対してランク付けを行う。キービデオスニプレット作成ステップ２７０では、最高ランクのビデオフレーム２６５に対応するキービデオスニプレット（sniplet: 断片）２７５を作成する。ビデオサマリー作成ステップ２８０では、キービデオスニプレット２７５群を組み立ててビデオサマリー２８５を作成する。ビデオサマリー表現格納ステップ２９０では、ビデオサマリー表現２８５をプロセッサアクセス可能メモリに格納する。
【００７６】
最高ランクキービデオフレーム判定ステップ２６０、キービデオスにプレット作成ステップ２７０、及びビデオサマリー作成ステップ２８０に関連する方法を以下に詳しく説明する。ビデオサマリー表現格納ステップ２９０には、本発明の譲受人に譲渡され、米国にて審査に係属中の" Video summary method and system"と題された米国特許出願第１２／７８６，４８３号に記載されている方法のような、公知のいかなる方法を用いてもよい。これの方法の１つでは、ビデオサマリーに対応するビデオフレーム群を抽出するために、格納されたデジタルビデオの少なくとも一部を解凍し、抽出したビデオフレーム群を圧縮して圧縮ビデオサマリーを作成する。圧縮ビデオサマリーは、プロセッサアクセス可能メモリメモリに格納される。これらの方法のうちの他のものでは、デジタルビデオシーケンス内のビデオサマリーに対応するビデオフレーム群を示す情報を提供するメタデータを生成し、そのメタデータが、格納されたデジタルビデオに関連づけて格納される。キービデオスニプレット間のトランジション（transition：繋ぎ）に用いられる様々なトランジション効果を示す情報を、デジタルビデオシーケンスに関連づけたメタデータとして格納してもよい。
【００７７】
図９は、本発明の一実施例に従う最高ランクキービデオフレーム判定ステップ２６０の更なる詳細を例示している。デジタルビデオ解析ステップ９１０では、カメラ注視パターン９１５を求めるためにデジタルビデオを解析する。キービデオフレームランク付けステップ９２０では、カメラ注視パターン９１５に応じて、デジタルビデオについての最高ランクキービデオフレーム２６５を求める。
【００７８】
デジタルビデオ解析ステップ９１０では、カメラ注視パターン９１５を求めるためにデジタルビデオを解析する。カメラ注視パターン９１５は、ビデオ撮像処理中に、時間の関数として撮像された画像シーンの領域を表す。好適な実施例では、カメラ注視パターン９１５、カメラの全体動きを解析することにより求められる。静止したカメラは、すべての時間において画像シーンの同じ部分を視野に収め、単一の点として表現されるカメラ注視パターン９１５を有する。一方、動くカメラのカメラ注視パターン９１５は、カメラの動きを表す動き軌跡（motion trace）に対応する。
【００７９】
図１０には、いくつかのパン動作含んでいるデジタルカメラシーケンス２００についてのカメラ注視パターン９１５（図９）を表す注視位置ヒストグラム９３０が例示される。動き軌跡９２５が、ビデオ撮像映像の全体的な平行移動を解析することにより求められる。ビデオ撮像（キャプチャ）は、任意の位置から始まる動き軌跡から開始する。例えば、ビデオ撮像は、二次元平面上の原点（０，０）から始まるように規定してもよい。（図１０に示す例では、ビデオ撮像は、水平軸値が約２００、垂直軸値が約１０から始まる。）全体的な並進運動は、連続するビデオフレーム間の画素オフセットを求めることにより特徴付けられる。動き軌跡９２５が、ビデオ撮像映像全体を通して画素オフセットの累計値を辿ることにより求められる。
【００８０】
いくつかの実施例では、動き軌跡９２５は、カメラ注視位置のヒストグラムを用いて表現される。特定のカメラ注視位置についてのヒストグラム・ビンが、そのカメラ注視位置にて注視される各ビデオフレームについて１ずつインクリメントされる。図１０のカメラ注視ヒストグラム９３０は、そのようなカメラ注視位置のヒストグラムの表現である。特定の位置での高い画像強度値は、多くの数のビデオフレームがある位置で注視されていることを示している。撮像処理中にカメラが垂直及び水平の両方についてパンされたこと、及びカメラの注視が比較的一定に保持されているいくつかの区間があることが見てとれる。
【００８１】
本発明のいくつかの実施例では、カメラ注視パターンが画素領域へと空間的に量子化される。図１０における量子化係数は１０画素である。すなわち、ヒストグラム内の各ビン（図１０で垂直又は水平方向に１単位ずつの各オフセット）は、１０画素の幅を持っている。ある方向への１０画素の全体的な並進運動のそれぞれについて、注視位置は、ヒストグラム内のその方向の次のビンに移動する。
【００８２】
量子化係数を増大させることで，カメラ注視ヒストグラムは、より少ない数のビンへと縮小される。図１１は、図１０におけるのと同じビデオ撮像画像に対し量子化係数２４０を用いた場合の注視位置ヒストグラム９４０を例示する。これにより、注視パターンを表すのに必要なヒストグラム・ビンの総数が低減される。更に、小さい量子化係数ではヒストグラム・ビンを変化させ得るカメラの揺れやかすかな動きに影響されにくい、より凝縮された注視領域の表現が得られる。図１１を精査すれば、デジタルビデオシーケンスの進行の中で、４つの主なカメラ注視領域があることが見て取れるであろう。
【００８３】
図１２は、図１１に示した注視位置ヒストグラム９４０の数値的表現を示す。各数値は、ビデオ撮像全体にわたる、注視位置ヒストグラム９４０内のビンに対応するビデオフレームの数を示す。４つの主なカメラ注視領域はすべて、当該領域が２００フレーム以上注視されているのに対し、残りの一過性の領域はすべて１００以下のビデオフレームしかない。本発明の好適な実施形態では、カメラ注視パターンの各領域は、その領域内のビデオフレームの数の関数である、関連づけられた注視値を有する。
【００８４】
図１２の数値的表現では、ヒストグラム値は、各領域内のビデオフレームの絶対数として示されている。この代わりに、ヒストグラム値を縮尺係数によりスケール調整してもよい。例えば、ヒストグラム値をビデオ撮像映像内のビデオフレームの総数により正規化してもよい。
【００８５】
概略的には、カメラが注視する画像シーン内の領域は、ビデオ撮像映像内の関心領域であることを示唆している。このように、注視度が高い領域に対応するビデオフレームは、キービデオフレームのよい候補である。
【００８６】
本発明の好適な実施例では、カメラ注視パターンは、図１０〜１２に関して既に説明したように、全体動きの解析により求められる。別の実施例では、カメラ注視パターンは、更にズームを考慮に入れるようにしてもよい。ズームを取り扱う１つの方法は、三次元動き軌跡（トレース）を画定することにより行う。その動き軌跡の２つの軸は全体的な並進運動（水平及び垂直）に対応し、その動き軌跡の第３の軸はズーム拡大率に対応する。他の実施例では、カメラ注視パターンは更にカメラの回転を考慮に入れてもよい。
【００８７】
いくつかの実施例では、全体動き情報は加速度計２７（図１）からのデータを解析することにより求められる。加速度計データは、画素単位の並進運動へと変換することができる。本発明の他の実施例では、全体動き情報は、デジタル動き推定を用いて求められる。当業者ならば、２つのデジタル画像の間の全体的な並進運動の推定値を計算するための周知の方法がたくさんあることを知っているであろう。
【００８８】
好適には、カメラ注視パターンヒストグラムを求めるために用いられる量子化係数は、ビデオ撮像映像の解像度の関数である。１つの代表的な実施例では、量子化係数はビデオフレームの解像度の半分に等しい。６４０列、４８０行のＶＧＡビデオの場合、これは水へ一方向について３２０、垂直方向について２４０の量子化係数に対応する。
【００８９】
図１０及び図１１に例示した動き軌跡は、時間情報を含んでいない。すなわち、ビデオ撮像映像全体にわたる全体的なカメラ注視領域群は表示されているものの、それら各注視領域がビデオ撮像処理の中のいつ生じたのかは示されていない。本発明のいくつかの実施例では、時間情報が保持され、動き軌跡はカメラ注視位置を時間の関数として示す。
【００９０】
図９の説明に戻ると、キービデオフレーム２４５は、好適には、図２を参照して既に説明したようにして求められる。この代わりに、キービデオフレーム２４５は、この技術分野で知られているいかなる方法を用いて求めてもよい。キービデオフレームランク付けステップ９２０は、カメラ注視パターン９１５に従ってキービデオフレーム２４５に対しランク付けを行う。好適な実施例では、各キービデオフレームに対して、それぞれ、対応するカメラ注視パターン領域が求められる。特定のキービデオフレームについてのカメラ注視パターン領域は、全体的な並進運動の動き軌跡の中の、当該特定のキービデオフレームの撮像時刻における位置、に基づいて求められる。そして、デジタルビデオシーケンスの注視位置ヒストグラムから、各キービデオフレームについての、対応する注視値が求められる。好適には、キービデオフレームは、最初は、注視値によりランク付けされる。注視値が最も高いキービデオフレームが、初期最高ランクキービデオフレームである。
【００９１】
追加のランキング測定値は、キービデオフレームをランク付けするのに用いてもよい。本発明のいくつかの実施例では、これらの追加のランキング測定値は、初期ランキングを提供するために、注視値と連動して機能する。本発明の他の実施例では、追加のランキング測定値は、二次的ランキング測定値であり、同等の注視値を持つすべてのキービデオフレームのつながりを断つために用いられる。キービデオフレームをランク付けするための追加のランキング測定値の一例としては、図２のキービデオフレーム選択ステップ２４０に関連して前に説明した、各フレームに付与された選択スコアである。
【００９２】
本発明の好適な実施例では、キービデオフレームのランキングは繰り返し求められる。最初の繰り返しで、最高ランクのキービデオフレームが求められる。これは、注視値及び追加のランキング測定値に基づき、最高ランクを持つキービデオフレームを選択することにより求められる。
【００９３】
最高ランクのキービデオフレームが選択された後、後続の各々の繰り返しでは、残りのキービデオフレームの再ランク付けと、それら残りの中での最高ランクのキービデオフレームの選択とを行う。本発明の好適な実施例では、最高ランクのキービデオフレームが求められた後、キービデオフレーム群が冗長性によりランク調整される。冗長性とは、単一の注視領域に対応する複数のキービデオフレームに該当する。ランク付け済みキービデオフレームリストに１つの注視領域が複数回現れる前に異なるすべての注視領域がそのリストに現れるよう、キービデオフレームにランク付けするために、キービデオフレームは、ランク付け済みキービデオフレームリストにまだ現れていない領域を優先するよう、繰り返し毎に再ランク付けされる。
【００９４】
図１３は、このランク付け及び再ランク付けの処理の例を示している。４つのキービデオフレームが、特定のデジタルビデオシーケンスを代表するよう選択されている。キービデオフレーム１はカメラ注視領域３に対応し、この領域は注視値０．４に対応している。キービデオフレーム１は、その注視値と追加のスコア付け用測定値とに基づく初期ランキングスコア８０を有する。同様に、キービデオフレーム２は、カメラ注視領域６、注視値０．２、初期ランキングスコア７０に対応している。キービデオフレーム３は、カメラ注視領域３、注視値０．４、初期ランキングスコア９０に対応している。キービデオフレーム４は、カメラ注視領域２、注視値０．１、初期ランキングスコア６０に対応している。
【００９５】
初期ランキングスコアに基づく、キービデオフレームの初期ランキングは、最高位から最低位の順に、キービデオフレーム３，キービデオフレーム１、キービデオフレーム２、キービデ−オフレム４である。キービデオフレーム３が、最終ランキングの最初の繰り返しにおいて、最高ランクのキービデオフレームとして選択される。続いて、残りのキービデオフレームに対し、カメラ注視領域３以外のカメラ注視領域群からのキービデオフレームを優先するよう、再ランク付けが行われる。その結果、キービデオフレーム２が、最終ランキングの２回目の繰り返しにおいて、選択される。キービデオフレーム１は、ランク付け処理において他のすべての注視領域が現れた後にのみ選択され、結果として最下位のビデオフレームとなる。
【００９６】
図８の説明に戻ると、キービデオスニプレット作成ステップ２７０では、１以上の最高ランクのキービデオフレーム２６５に対応するキービデオスニプレット２７５を作成する。大略的には、キービデオスにプレット作成ステップ２７０では、ビデオサマリーの合計継続時間を指定する基準や個々のキービデオスニプレットについての最短継続時間を指定する基準などの、あらかじめ定められた一組の基準に従って、キービデオスニプレット２７５を作成する。
【００９７】
最高ランクのキービデオフレーム２６５群は、キービデオスニプレット２７５を、最終的にはビデオサマリー２８５を、構築するための基礎として機能する。キービデオスニプレット２７５を作成するために選択される最高ランクのキービデオフレーム２６５の数は、概略的には、ビデオサマリーの合計継続時間とキービデオスニプレットの最短継続時間とに依存する。いくつかの実施例では、キービデオスニプレット２７５は、個々の選択された最高ランクのキービデオフレーム２６５のあたりを中心とする。
【００９８】
本発明の他の実施例では、各キービデオスニプレットの開始と終了の時刻が他の基準に従う。例えば、デジタルビデオシーケンスが、時間の関数としての重要度を求めるために解析され、キービデオフレームの開始及び終了の時刻が、高い重要度を持つビデオフレーム群をできるだけ含ませるという基準に応じて決定されるようにしてもよい。時間の関数としての重要度を求めるためのデジタルビデオの解析は、図２のデジタルビデオ解析ステップ２１０に関して説明したように実行すればよい。重要度は、例えば、不活発のフレーム又は高速パンのフレームよりも、興味深いフレームを優先的に含むように定めてもよい。各キービデオスニプレットの開始点及び終了点は、この基準に応じて、また同時に、ビデオサマリーの合計継続時間及び各キービデオスニプレットの最短継続時間についての制約もみたしつつ、調整するようにしてもよい。
【００９９】
本発明のいくつかの実施例では、音声活性度レベルを時間の関数として求めるために解析される。このケースでは、キービデオスニプレット２７５の開始及び終了の時刻は、低レベルの音声活性度に対応する開始時刻及び終了時刻をできるだけ選択するという基準に従って求めてもよい。これにより、キービデオフレームが音声の途中で始まったり終わったりする可能性が低減される。たいていの場合、キービデオフレームは、発話区間全体を含み且つ文の途中で話者をカットしないものであることが望ましい。当業者ならば、音声を解析して発話を検出するための技術がこの分野で周知であることを了解しているであろう。
【０１００】
本発明のいくつかの実施例では、キービデオスニプレットは、類似した内容を持つキービデオスニプレットが作成されにくくする基準に従って作成される。類似した内容を持つキースニプレットを作成されにくくする１つの方法は、キービデオスニプレットを作成するために用いる最高ランクのキービデオフレームの数を、唯一のカメラ注視領域を持つものだけに限定するというものである。この数が、そのようにしなければ選ばれるキービデオフレームの数より少ない場合には、各キービデオスニプレットの継続時間を、ビデオサマリー全体の継続時間の基準を満たすように延長してもよい。
【０１０１】
本発明のいくつかの実施例では、指定された閾値よりも短い時間区間により隔てられている、最高ランクのキービデオフレーム２６５群に対応するキービデオスニプレット２７５群がマージ（結合）されて１つのキービデオスニプレットが作成される。複数のキービデオスニプレットをマージすることにより、あるキービデオスニプレットの終わりが次のキービデオスニプレットの始まりに重なってしまったり、それらキースニプレットがほんの短い時間のみで隔てられたりすることを防ぐことができる。そのようなつなぎ部分を含んだビデオサマリーは、ともすれば閲覧者の混乱を招きやすい。視覚的に好ましいビデオサマリーは、元の２つのキービデオスニプレットの間の繋ぎ目を除去した、１つのマージ済みキービデオスニプレットを含んでいる。
【０１０２】
多くのデジタルビデオ圧縮アルゴリズムは、符号化のために、デジタルビデオシーケンスを一群のビデオフレームへと分割する。例えば、ビデオフレームの符号化グループは、独立に符号化された１つのビデオフレーム（すなわち“Ｉ”フレーム）と、予測符号化された複数のビデオフレーム（すなわち“Ｐ”フレーム）とを含んでいる。ここで、各“Ｐ”フレームは、直前のフレームから予測される。次の“Ｉ”フレームに行き当たると、ビデオフレームの１つの符号化グループが終了し、新たな符号化グループが始まる。このような符号化方式では、“Ｉ”フレームが、圧縮済みデジタルビデオシーケンスへのアクセスポイントを提供し、“Ｉ”フレームから始まるフレーム群を抽出することができる。特に、ビデオフレームの全符号化グループが圧縮済みデジタルビデオシーケンスから抽出され、ビデオサマリーへと変換されるようにすることができ、これにはビデオフレームの符号化グループを含む圧縮されたバイトの位置及び数を表すヘッダ情報を復号することが必要とされるのみである。このように、ビデオサマリー２８５を作成する際に各キービデオスニプレット２７５の開始フレームを“Ｉ”フレームとするという制約を課し、キービデオスニプレット２７５が正確な数のビデオフレームの符号化グループを含むことを要求することは、有益であり得る。これらの制約によれば、元の圧縮済みデジタルビデオシーケンスの最小限の解凍でビデオサマリー２８５を生成することができる。
【０１０３】
本発明のいくつかの実施例では、ビデオサマリーの合計継続時間は自動判定される。その合計継続時間は、元のビデオの継続時間、又はデジタルビデオの歪み時間表現の継続時間、から求めることができる。本発明の他の実施例では、ビデオサマリーの合計継続時間は、ユーザから指定される。例えば、ユーザが、希望するビデオサマリーの長さを心中に持っているかも知れない。そして、キービデオスニプレット２７５の数及び継続時間が、ビデオサマリーの合計継続時間に応じて求められる。
【０１０４】
図１４は、１つの実施例に従ったキービデオスニプレット作成の例を示している。この例では、各キービデオスニプレットの継続時間が等しく、それらキービデオスニプレットが一組の最高ランクのキービデオフレームの回りに集中するように、キービデオスニプレット群が作成される。この実施例では、デジタルビデオシーケンス６１０が解析され、３つの最高ランクのキービデオフレーム６４０が選択されている。最高ランクのキービデオフレーム６４０の各々に対応して、キービデオスニプレット６２０が作成される。デジタルビデオシーケンス６１０内に発話部分６３０が示されている。キービデオスニプレット６２０を求めるためのこの処理は、最初のキービデオスニプレット６２０が、発話部分６３０を、その発話部分が終わる前に切ってしまうという欠点を有する。求められたキービデオスニプレット６２０群は、第２のキービデオスニプレットと第３のキービデオスニプレットとの間に短い時間しかないという欠点も持っている。
【０１０５】
図１５は、同じデジタルビデオシーケンス６１０からの、別の実施例に従ったキービデオスニプレット６２０の作成の例を示している。この例では、キービデオスニプレット６２０の作成は、追加の基準に更に従っている。この実施例では、すべてのキービデオスニプレット６２０の長さが必ずしも等しくなくてよく、各キービデオスニプレット６２０の位置が、必ずしも、対応する最高ランクのキービデオフレーム６４０を中心とするものでなくてよい。更に、各キービデオスニプレットの開始点及び終了点は、音声の活性度が低レベルであるところに対応する開始時刻及び終了時刻が選ばれやすくする基準に応じたものとなっている。更に、キービデオスニプレット６２０は、指定された閾値よりも短い時間間隔により隔てられている最高ランクのキービデオフレーム６４０に対応するキービデオスニプレット同士をマージする、という基準に従って作成される。この場合、第１のキービデオスニプレット６２０が、延長され、その中心が、対応する最高ランクのキービデオフレーム６４０に対してずれ、これによりそのキービデオスニプレット６２０のどちらの端でも発話部分６３０が切られないようになっている。更に、第２の最高ランクのキービデオフレーム６４０と第３の最高ランクのキービデオフレーム６４０の間の短い時間間隔により、対応するキービデオスニプレット同士がマージされ１つのキービデオスニプレット６２０ができることとなる。必要に応じて開始時刻及び終了時刻を調整することにより全体継続時間の制約が実行されつつも、時間的に近いキービデオスニプレット６２０同士がマージされ、発話部分６３０の途切れが回避される。図１５に示されたキービデオスニプレット６２０群によれば、図１４のキービデオスニプレット６２０群よりも心地よいビデオサマリーが生成される。
【０１０６】
ビデオサマリー作成ステップ２８０（図８）では、キービデオスニプレット２７５群を組み立ててビデオサマリー２８５を作成する。好適な実施例では、キービデオスニプレット２７５群が、デジタルビデオシーケンス内での各々の出現順に対応した時間的順序で組み立てられる。
【０１０７】
コンピュータプログラム製品は、例えば、（フロッピー（登録商標）ディスクのような）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能なバーコードなどの光学式記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリーメモリ（ＲＯＭ）などの固体電子記憶装置、又は、１つ又は複数のコンピュータを制御して本発明に係る方法を実行させるようにするための命令群を含んだコンピュータプログラムを格納するのに用いられる他の物理的装置や媒体などを含んでいてよい。
【符号の説明】
【０１０８】
２  フラッシュ
４  レンズ
６  調整可能な開口及び調整可能なシャッター
８  ズーム及びフォーカスモータ駆動部
１０  デジタルカメラ
１２  タイミング発生器
１４  画像センサ
１６  ＡＳＰ及びＡ／Ｄ変換器
１８  バッファメモリ
２０  プロセッサ
２２  オーディオコーデック
２４  マイクロフォン
２６  スピーカー
２７  加速度計
２８  ファームウエアメモリ
３０  画像メモリ
３２  画像ディスプレイ
３４  ユーザ操作部
３６  表示メモリ
３８  有線インタフェース
４０  コンピュータ
４４  ビデオインタフェース
４６  ビデオディスプレイ
４８  インタフェース／充電器
５０  無線モデム
５２  無線周波数帯
５８  無線ネットワーク
７０  インターネット
７２  写真サービスプロバイダ
２００  デジタルビデオシーケンス
２１０  デジタルビデオ解析ステップ
２１５  重要度
２２０  歪み時間表現作成ステップ
２２５  歪み時間表現
２３０  歪み時間表現分割ステップ
２３５  時間区間
２４０  キービデオフレーム選択ステップ
２４５  キービデオフレーム
２５０  キービデオフレーム情報格納ステップ
２６０  最高ランクキービデオフレーム判定ステップ
２６５  最高ランクキービデオフレーム
２７０  キービデオスニプレット作成ステップ
２７５  キービデオスニプレット
２８０  ビデオサマリー作成ステップ
２８５  ビデオサマリー
２９０  ビデオサマリー表現格納ステップ
３１０  全体動き情報
３２０  局所動き情報
３３０  分類器
３４０  ビデオフレーム分類
４００  デジタルビデオシーケンス
４１０  デジタルビデオ区間
４２０  時間区間
５００  歪み時間表現
５１０  歪みデジタルビデオ区間
５２０  長さ等しい時間区間
６１０  デジタルビデオシーケンス
６２０  キービデオスニプレット
６３０  発話部分
６４０  最高ランクのキービデオフレーム
９１０  デジタルビデオ解析ステップ
９１５  カメラ注視パターン
９２０  キービデオフレームランク付けステップ
９２５  動き軌跡
９３０  注視位置ヒストグラム
９４０  注視位置ヒストグラム
【図１】
2013533668.tif 000009
【図２】
2013533668.tif 000010
【図３】
2013533668.tif 000011
【図４】
2013533668.tif 000012
【図５】
2013533668.tif 000013
【図６】
2013533668.tif 000014
【図７】
2013533668.tif 000015
【図８】
2013533668.tif 000016
【図９】
2013533668.tif 000017
【図１０】
2013533668.tif 000018
【図１１】
2013533668.tif 000019
【図１２】
2013533668.tif 000020
【図１３】
2013533668.tif 000021
【図１４】
2013533668.tif 000022
【図１５】
2013533668.tif 000023
【国際調査報告】
2013533668.tif 000024
2013533668.tif 000025