(57)【要約】  画像／映像処理及び圧縮の分野、特に、ＡＶＣ画像／映像捕捉、符号化、捕捉画像／映像データからの高解像度静止画像の生成の分野に関する技術を提供する。混成画像装置は、低解像度映像及び高解像度静止画像を捕捉するように構成される。画像装置は、低解像度映像から得られた動き情報を基準高解像度静止画像に適用し、見逃した興味のある瞬間の高解像度静止画像を生成するように構成される。低解像度映像は、周期的間隔で撮られたいくつかの高解像度静止写真に関連して高フレーム率で捕捉される。ユーザは、捕捉された映像から興味のある望ましい光景、例えば、興味のある瞬間の位置を特定し、後処理技術を使用して、選択された興味のある瞬間に対応する高解像度静止画像を生成する。高解像度静止画像は、１つ又はそれよりも多くの近くの捕捉された高解像度静止画像からのテクスチャ情報と、選択された興味のある瞬間に対応する低解像度映像フレームからの動き情報とを用いて生成される。【選択図】図３
2010530669.tif 000002
【特許請求の範囲】
【請求項１】
シャッター時間遅延を補償するカメラ／ビデオカメラであって、
ａ．より高解像度の静止画像を捕捉するように構成されたカメラモジュール、
ｂ．より低高解像度の映像を捕捉するように構成されたビデオカメラモジュール、及び
ｃ．前記捕捉されたより高解像度の静止画像と異なる時間に前記カメラモジュールによって捕捉されたより高解像度の基準静止画像と、前記ビデオカメラモジュールによって捕捉された対応する映像フレームから判断された動き情報とに従って、見逃した興味のある瞬間のより高解像度の静止画像を生成するように構成された処理モジュール、
を含むことを特徴とするカメラ／ビデオカメラ。
【請求項２】
前記カメラモジュールによって捕捉された前記より高解像度の基準静止画像を含む前記より高解像度の静止画像を記憶し、かつ前記ビデオカメラモジュールによって捕捉された前記より低解像度の映像を記憶するメモリを更に含むことを特徴とする請求項１に記載のカメラ／ビデオカメラ。
【請求項３】
捕捉ボタンを更に含み、
前記カメラモジュールは、前記捕捉ボタンの第１の作動時に、第１のより高解像度の静止画像を捕捉するように構成され、前記ビデオカメラモジュールは、該捕捉ボタンの該第１の作動時に、第１のより低解像度の映像ストリームの捕捉を開始するように構成されることを特徴とする請求項１に記載のカメラ／ビデオカメラ。
【請求項４】
前記カメラモジュールは、前記捕捉ボタンの第２の作動時に、第２のより高解像度の静止画像を捕捉するように更に構成され、前記ビデオカメラモジュールは、該捕捉ボタンの該第２の作動時に、前記第１のより低解像度の映像ストリームの捕捉を止めるように更に構成されることを特徴とする請求項３に記載のカメラ／ビデオカメラ。
【請求項５】
シャッター時間遅延を補償する画像装置であって、
ａ．より高解像度の静止画像を捕捉するように構成された静止画像捕捉モジュール、
ｂ．より低高解像度の映像を捕捉するように構成された映像捕捉モジュール、及び
ｃ．前記捕捉されたより高解像度の静止画像と異なる時間に前記静止画像捕捉モジュールによって捕捉されたより高解像度の基準静止画像と、前記映像捕捉モジュールによって捕捉された対応する映像フレームから判断された動き情報とに従って、見逃した興味のある瞬間のより高解像度の静止画像を生成するように構成された処理モジュール、
を含むことを特徴とする装置。
【請求項６】
前記静止画像捕捉モジュールによって捕捉された前記より高解像度の基準静止画像を含む前記より高解像度の静止画像を記憶し、かつ前記映像捕捉モジュールによって捕捉された前記より低解像度の映像を記憶するメモリを更に含むことを特徴とする請求項５に記載の画像装置。
【請求項７】
捕捉ボタンを更に含み、
前記静止画像捕捉モジュールは、前記捕捉ボタンの第１の作動時に、第１のより高解像度の静止画像を捕捉するように構成され、前記映像捕捉モジュールは、該捕捉ボタンの該第１の作動時に、第１のより低解像度の映像ストリームの捕捉を開始するように構成されることを特徴とする請求項５に記載の画像装置。
【請求項８】
前記静止画像捕捉モジュールは、前記捕捉ボタンの第２の作動時に、第２のより高解像度の静止画像を捕捉するように更に構成され、前記映像捕捉モジュールは、該捕捉ボタンの該第２の作動時に、前記第１のより低解像度の映像ストリームの捕捉を止めるように更に構成されることを特徴とする請求項７に記載の画像装置。
【請求項９】
見逃した興味のある瞬間の静止画像を生成する方法であって、
ａ．一連の映像フレームを含むより低解像度の映像ストリームを捕捉する段階、
ｂ．１つ又はそれよりも多くのより高解像度の静止画像を周期的に捕捉し、各捕捉されたより高解像度の静止画像が特定の瞬間の特定の映像フレームに対応する段階、
ｃ．より高解像度の静止画像が生成されることになる前記より低解像度の映像ストリームを用いて見逃した興味のある瞬間を選択し、該選択された見逃した興味のある瞬間が第１の映像フレームに対応する段階、
ｄ．より高解像度の基準静止画像して前記第１の映像フレームと異なる瞬間の前記捕捉されたより高解像度の静止画像の１つを選択し、該より高解像度の基準静止画像に対応する第２の映像フレームを選択する段階、
ｅ．前記第１の映像フレームと前記第２の映像フレームの間の動き情報を判断する段階、
ｆ．前記動き情報をアップサンプリングする段階、及び
ｇ．前記アップサンプリングされた動き情報を前記より高解像度の基準静止画像のテクスチャ情報に適用し、それによって前記見逃した興味のある瞬間に対応するより高解像度の静止画像を生成する段階、
を含むことを特徴とする方法。
【請求項１０】
各映像フレームが、より低解像度の映像フレームを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１の映像フレームをマクロブロックに分割する段階を更に含むことを特徴とする請求項９に記載の方法。
【請求項１２】
前記第１の映像フレームにおける各マクロブロックを前記第２の映像フレームにおける対応する区域と相関させる段階を更に含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
各マクロブロック相関の間の動きベクトルを判断し、それによって前記動き情報を判断する段階を更に含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
テクスチャ情報の第１の区画が前記第２の映像フレームの第１のマクロブロックに対応するように、前記より高解像度の基準静止画像の前記テクスチャ情報を分割する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記アップサンプリングされた動き情報を前記テクスチャ情報に適用する段階は、各動きベクトルを前記より高解像度の基準静止画像における該テクスチャ情報の対応する区画に適用し、それによって補償されたテクスチャ情報を生成する段階を含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
各マクロブロック相関が、許容できる閾値を満足するか又は超えるかを判断する段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記許容できる閾値を満足しないか又は超える各相関に対して、該許容できる閾値を超えない前記相関に対応する前記第１の映像フレームの前記マクロブロックをアップサンプリングし、該アップサンプリングされたマクロブロックを前記見逃した興味のある瞬間に対応する前記より高解像度の静止画像に追加する段階を更に含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記アップサンプリングされたマクロブロックは、前記補償されたテクスチャ情報の対応する部分に取って代わることを特徴とする請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像／映像処理及び圧縮の分野に関する。より具体的には、本発明は、ＡＶＣ画像／映像捕捉、符号化、捕捉画像／映像データからの高解像度静止画像の生成の分野に関する。
【背景技術】
【０００２】
用語「コーデック」は、データストリーム又は信号に変換を行うことができる装置又はアルゴリズム、又は専用コンピュータプログラムを説明する「圧縮器／解凍器」、「符号器／復号器」、又は「圧縮／解凍アルゴリズム」のいずれかを指す。
【０００３】
コーデックは、送信、記憶、又は暗号化に向けてデータストリーム又は信号を符号化し、視聴又は編集に向けてそれを復号する。例えば、デジタルビデオカメラは、アナログ信号をデジタル信号に変換し、デジタル信号は、次に、デジタル送信又は記憶に向けて映像圧縮器に通される。受信装置は、次に、映像解凍器を通じて受信信号を解凍し、解凍済みデジタル信号は、表示に向けてアナログ信号に変換される。類似した処理は、音声信号に実行することができる。多くの標準的なコーデック方式がある。一部は、主としてファイル転送時間を最小にするのに使用され、「インターネット」上で使用される。他のものは、所定量のディスク空間に又はＣＤ−ＲＯＭ上に格納することができるデータを最大にすることを意図している。各コーデック方式は、異なるプログラム、処理、又はハードウエアにより処理することができる。
【０００４】
デジタル画像は、画素又はピクセルと呼ばれる有限の組のデジタル値としての２次元画像の表現である。一般的に、ピクセルは、整数の２次元アレイであるラスタ画像又はラスタマップとしてコンピュータメモリに記憶される。これらの値は、圧縮された形で送信又は記憶されることが多い。
【０００５】
デジタル画像は、デジタルカメラ及びビデオカメラ、スキャナ、座標測定機械、地震探査、航空機レーダ、及びその他のような様々な入力装置及び技術により作成することができる。それらはまた、数学的関数又は３次元幾何学モデルのような任意の非画像データから合成することができ、３次元幾何学モデルは、コンピュータグラフィックの主要な小分野である。デジタル画像処理の分野は、デジタル画像に画像処理を行うアルゴリズムの研究又は使用にある。画像コーデックは、デジタル画像処理を行うこのようなアルゴリズムを含む。
【０００６】
画像フォーマットに応じて、画像を見るために異なる画像コーデックが利用される。ＧＩＦ画像、ＪＰＥＧ画像、及びＰＮＧ画像は、標準的なインターネット画像フォーマットであるので、単にウェブブラウザを使用して見ることができる。ＳＶＧフォーマットは、現在、ウェブで広く使用されており、標準的なＷ３Ｃフォーマットである。他のプログラムは、次々と自動的にある一定の順序で画像を見るスライドショーユーティリティを提供する。
【０００７】
静止画像は、映像と異なる特性を有する。例えば、縦横比及び色が異なる。従って、静止画像は、映像と違った処理が行われ、従って、静止画像のための静止画像コーデック、及び静止画像コーデックと異なる、映像のための映像コーデックが必要である。
【０００８】
映像コーデックは、デジタル映像データのためのデータ圧縮技術の使用を可能にするための装置又はソフトウエアモジュールである。映像シーケンスは、通常フレームと呼ぶいくつかの写真（デジタル画像）から成る。その後のフレームは、非常に類似したものであり、従って、フレーム間で多くの冗長性を含む。映像データは、効率的にチャンネル上で送信されるか又はメモリに記憶される前に帯域幅及びメモリの両方を節約するために圧縮される。映像圧縮の目標は、より良好な圧縮比を得るためにフレーム間の冗長性を除去することである。ビデオ画質、ビデオ画質を表すのに必要なデータの量（ビットレートとしても公知）、符号化アルゴリズム及び復号アルゴリズムの複雑さ、データ損失及び誤差に対するそのロバスト性、編集の容易さ、ランダムアクセス、エンドツーエンド遅延、及びいくつかの他の要素の間には複雑な均衡がある。
【０００９】
一般的なデジタル映像コーデック設計は、ＲＧＢ色フォーマットからＹＣｂＣｒ色フォーマットへの入力映像の変換から始まり、次に、サンプリング格子パターンを生成する彩度サブサンプリングが行われることが多い。ＹＣｂＣｒ色フォーマットへの変換では、色信号を相関解除し、より低い解像度で表すことができる知覚的に重要性が小さい彩度信号から知覚的に重要性がより大きいｌｕｍａ信号を分離することによって圧縮性を改善する。
【００１０】
何らかの量の空間的及び時間的ダウンサンプリングを用いて、基本的な符号化処理以前に未加工データ転送速度を低減することもできる。ダウンサンプリングは、信号のサンプリング速度を低減する処理である。これは、通常、データ転送速度又はデータのサイズを低減するために行われる。ダウンサンプリング係数は、一般的に、整数、又は１よりも多い有理分数である。このデータは、次に、周波数変換を用いて変換され、空間データを更に相関解除する。１つのこのような変換は、離散コサイン変換（ＤＣＴ）である。次に、変換の出力を量子化し、エントロピー符号化を量子化値に適用する。一部の符号化器は、例えば２パスであるｎパス符号化と呼ぶ多重ステップ処理で映像を圧縮することができ、これは、一般的に速度が遅くなる処理であるが、より良好な品質の圧縮が得られる可能性がある。
【００１１】
復号処理は、符号化処理の各段階の逆転を本質的に行うことで構成される。正確には逆転することができない１つの段階は、量子化段階である。そこでは、逆転の最善努力式近似が行われる。処理のこの部分は、「逆量子化」又は「量子化解除」と呼ぶことが多いが、量子化は、本質的に非可逆処理である。
【００１２】
様々なコーデックをＰＣ上で及び家電機器で簡単に実行することができる。複数のコーデックが同じ製品内で準備されていることが多く、互換性の理由から単一の主要コーデックを選ぶ必要性を回避している。
【００１３】
一部の普及している映像コーデックには、Ｈ．２６１、ＭＰＥＧ−Ｉパート２、ＭＰＥＧ−２パート２、Ｈ．２６３、ＭＰＥＧ−４パート２、ＭＰＥＧ−４パート１０／ＡＶＣ、ＤｉｖＸ、ＸｖｉＤ、３ｉｖｘ、「Ｓｏｒｅｎｓｏｎ  ３」、及び「ウィンドウズ・メディア・ビデオ（ＭＷＶ）」が含まれるが、これらに限定されない。
【００１４】
ＭＰＥＧコーデックは、動画及び関連の音声の汎用符号化に使用される。ＭＰＥＧ映像コーデックは、一連の３つの形式の符号化データフレームから従来的に構成された圧縮映像ビットストリームを作成する。３つの形式のデータフレームは、イントラフレーム（Ｉフレーム又はＩ写真と呼ぶ）、双方向予測フレーム（Ｂフレーム又はＢ写真と呼ぶ）、及び前方予測フレーム（Ｐフレーム又はＰ写真と呼ぶ）と呼ばれる。フレームのこれらの３つの形式は、ＧＯＰ（写真の群）構造と呼ぶ指定された順序で配列することができる。Ｉフレームは、写真を再構成するのに必要な全ての情報を含む。Ｉフレームは、動き補償のない通常の画像として符号化される。それに反して、Ｐフレームは、前のフレームから情報を使用し、Ｂフレームは、前のフレーム、次のフレーム、又は両方からの情報を使用して写真を再構成する。具体的には、Ｐフレームは、先行するＩフレーム又は直前のＰフレームから予測される。
【００１５】
フレームは、直後フレームからも予測することができる。次のフレームをこのように利用するために、フレームは、予測フレームの前に符号化すべきである。従って、符号化順序が、実際のフレーム表示順序と必ずしも適合するわけではない。このようなフレームは、通常、２つの方向、例えば、直前のＩフレーム又はＰフレーム、又は予測フレームの直後であるＰフレームから予測される。これらの双方向予測フレームをＢフレームと呼ぶ。
【００１６】
Ｂフレーム及びＰフレームでは、写真データを記憶するビットが少なくなる必要があり、その理由は、現在フレームと、前のフレーム、次のフレーム、又は両方の間の差に関する差ビットを含むからである。Ｂフレーム及びＰフレームは、従って、フレームにわたって含まれる冗長な情報を低減するのに使用される。作動中の復号器は、符号化Ｂフレーム又は符号化Ｐフレームを受信して、前のフレーム又は次のフレームを使用して元のフレームを再構成する。この処理は、独立して各元のフレームを再構成することよりも遙かに簡単なものであり、この処理により、連続フレームが略類似のものである時により滑らかな光景移行が生成され、その理由は、フレーム内の差が小さいからである。
【００１７】
各映像は、１つの輝度（Ｙ）チャンネル及び２つのクロミナンスチャンネル（色差信号Ｃｂ及びＣｒとも呼ばれる）に分離される。輝度アレイ及びクロミナンスアレイのブロックは、フレーム内での符号化の基本単位である「マクロブロック」にまとめられる。
【００１８】
Ｉフレームの場合、実際の画像データは、符号化処理に通される。しかし、Ｐフレーム及びＢフレームには、最初に「動き補償」と呼ぶ処理が行われる。動き補償は、前フレームの各マクロブロックがどこに移動したかに関して連続フレーム間の差を説明する方法である。このような技術は、映像圧縮に向けて映像シーケンスの時間的冗長性を低減するために使用することが多い。Ｐフレーム又はＢフレーム内の各マクロブロックは、「動き推定」と呼ぶ処理によって得られた「動きベクトル」を使用する符号化器により選択される時にそれが十分に相関付けられた前又は次の画像内の区域に関連付けられる。基準フレーム内の相関区域に現在のマクロブロックを配置する動きベクトルを符号化し、次に、２つの区域間の差を符号化処理に通す。
【００１９】
従来の映像コーデックは、動き補償予測を用いて未加工の入力映像ストリームを効率的に符号化する。現在フレーム内のマクロブロックは、前のフレーム内の変位したマクロブロックから予測する。元のマクロブロックとその予測間の差異を圧縮して、変位（動き）ベクトルと共に送信する。この技術は、相互符号化と称し、相互符号化は、ＭＰＥＧ規格において使用される手法である。
【００２０】
多くの従来の画像装置は、映像に加えて高解像度静止画像を捕捉するように構成される。このような装置は、混成カメラ／ビデオカメラとしても公知である。このような装置においては、撮影者が装置上の捕捉ボタンを押した時に静止画像が捕捉される。各捕捉静止画像は、映像も並列に捕捉される場合には、時間的に静止画像と同じ瞬間に捕捉される特定の映像フレームに対応する。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
カメラ及びビデオカメラなどの画像装置を使用した時、ユーザが遭遇する頻繁に起こる問題は、「シャッター遅れ」として公知である。この用語は、一般的に、捕捉ボタンを押す撮影者と望ましい興味のあるイベントを捕捉するために実際に開くシャッターとの間に発生する遅延と定められている。シャッター遅れは、画像装置自体内の機械的遅延のために引き起こされる可能性もある。これは、特に、高速移動している被写体のユーザによる撮影においてユーザが体験する非常に一般的な問題である。この問題を克服するために、ユーザは、そのイベントが発生する前に、ある程度先読みして捕捉ボタンを押す必要がある。この遅延は、高度に変動的であり、装置形式、光景内の動きの量、カメラ設定などの多くの要素に依存する。この遅延のために、ユーザは、殆どの場合、「興味のある瞬間（ＭＯＩ）」と本明細書で称する実際の興味のある光景を撮りそこなう傾向がある。
【００２２】
静止画像及び映像捕捉機能の両方を含む混成装置においては、シャッター遅れと呼ぶ問題に対する従来の手法は、見逃した興味のある瞬間に対応するベース層映像フレームをアップサンプリングするというものである。この技術のプラス面は、その簡単さである。固有の欠点は、アップサンプリングした高解像度写真で非常に明確に認められるサンプリングアーチファクトにある。従って、この手法は、試聴などに適すると考えられるが、印刷又は他の用途に向けて高品質写真を作り出すための良好な技術ではない。
【課題を解決するための手段】
【００２３】
見逃した「興味のある瞬間（ＭＯＩ）」に対して高解像度静止画像が生成される画像装置に対して説明する。一部の実施形態では、関連の用途は、より低解像度の映像を取っているユーザが、より高解像度の静止画像を捕捉したいと欲することが可能な混成カメラ／ビデオカメラのためのものである。しかし、シャッター遅延、カメラ内部信号処理による捕捉遅延、装置を使用する際の人間の遅延などの多くの理由により、ユーザは、望ましいＭＯＩを捕捉することができない場合がある。代替的に、ＭＯＩの前又は後の瞬間が、通常は捕捉される。ぼけた高解像度静止画像を生成するより低解像度の映像内のＭＯＩの整数／分数アップサンプリングと呼ぶ従来の手法とは対照的に、画像装置は、より低解像度の映像シーケンスから利用可能な動き情報と共に、捕捉された高解像度静止画像から利用可能である高周波テクスチャ区域からの情報を利用し、見逃したＭＯＩに対応する遥かに良好な品質の高解像度静止画像を生成するために、見逃したＭＯＩに対応するようにより低解像度の映像フレーム／視野の賢いアップサンプリングを実行する。
【００２４】
一態様では、カメラとビデオカメラの組合せは、シャッター時間遅延を補償するように構成される。カメラとビデオカメラの組合せは、より高解像度の静止画像を捕捉するように構成されたカメラモジュールと、より低高解像度の映像を捕捉するように構成されたビデオカメラモジュールと、捕捉されたより高解像度の静止画像と異なる時間にカメラモジュールにより捕捉されたより高解像度の基準静止画像と、ビデオカメラモジュールにより捕捉された対応する映像フレームから判断された動き情報とに従って見逃した興味のある瞬間のより高解像度の静止画像を生成するように構成された処理モジュールとを含む。カメラ／ビデオカメラは、カメラモジュールにより捕捉されたより高解像度の基準静止画像を含むより高解像度の静止画像を記憶し、かつビデオカメラモジュールにより捕捉されたより低解像度の映像を記憶するメモリを含むことができる。カメラ／ビデオカメラは、捕捉ボタンを含むことができ、カメラモジュールは、捕捉ボタンの第１の作動時に第１のより高解像度の静止画像を捕捉するように構成され、ビデオカメラモジュールは、捕捉ボタンの第１の作動時に第１のより低解像度の映像ストリームを捕捉し始めるように構成される。カメラモジュールは、捕捉ボタンの第２の作動時に第２のより高解像度の静止画像を捕捉するように構成することができ、ビデオカメラモジュールは、捕捉ボタンの第２の作動時に第１のより低解像度の映像ストリームを捕捉するのを止めるように更に構成される。
【００２５】
別の態様では、シャッター時間遅延を補償する画像装置を開示する。画像装置は、より高解像度の静止画像を捕捉するように構成された静止画像捕捉モジュールと、より低高解像度の映像を捕捉するように構成された映像捕捉モジュールと、捕捉されたより高解像度の静止画像と異なる時間に静止画像捕捉モジュールにより捕捉されたより高解像度の基準静止画像と、映像捕捉モジュールにより捕捉された対応する映像フレームから判断された動き情報とに従って見逃した興味のある瞬間のより高解像度の静止画像を生成するように構成された処理モジュールとを含む。画像装置は、静止画像捕捉ジュールにより捕捉されたより高解像度の基準静止画像を含むより高解像度の静止画像を記憶し、かつ映像捕捉モジュールにより捕捉されたより低解像度の映像を記憶するメモリを含むことができる。画像装置は、捕捉ボタンを含むことができ、静止画像捕捉モジュールは、捕捉ボタンの第１の作動時に第１のより高解像度の静止画像を捕捉するように構成され、映像捕捉モジュールは、捕捉ボタンの第１の作動時に第１のより低解像度の映像ストリームを捕捉し始めるように構成される。静止画像捕捉モジュールは、捕捉ボタンの第２の作動時に第２のより高解像度の静止画像を捕捉するように構成することができ、映像捕捉モジュールは、捕捉ボタンの第２の作動時に第１のより低解像度の映像ストリームを捕捉するのを止めるように更に構成される。
【００２６】
更に別の態様では、見逃した興味のある瞬間の静止画像を生成する方法を開示する。本方法は、一連の映像フレームを含むより低解像度の映像ストリームを捕捉する段階と、１つ又はそれよりも多くのより高解像度の静止画像を周期的に捕捉する段階とを含み、各捕捉されたより高解像度の静止画像は、特定の瞬間の特定の映像フレームに対応し、更に、より高解像度の静止画像が生成されることになるより低解像度の映像ストリームを用いて見逃した興味のある瞬間を選択する段階を含み、選択された見逃した興味のある瞬間は、第１の映像フレームに対応し、更に、より高解像度の基準静止画像として第１の映像フレームと異なる瞬間で捕捉されたより高解像度の静止画像の１つを選択して、より高解像度の基準静止画像に対応する第２の映像フレームを選択する段階と、第１の映像フレームと第２の映像フレームの間の動き情報を判断する段階と、アップサンプリングされた動き情報をより高解像度の基準静止画像のテクスチャ情報に適用することより見逃した興味のある瞬間に対応するより高解像度の静止画像を生成する段階とを含む。各映像フレームは、より低解像度の映像フレームとすることができる。本方法はまた、第１の映像フレームをマクロブロックに分割する段階を含むことができる。本方法はまた、第１の映像フレーム内の各マクロブロックを第２の映像フレーム内の対応する区域に相関させる段階を含むことができる。本方法はまた、各マクロブロック相関の間の動きベクトルを判断することによって動き情報を判断する段階を含むことができる。本方法はまた、テクスチャ情報の第１の区画が、第２の映像フレームの第１のマクロブロックに対応するように、より高解像度の基準静止画像のテクスチャ情報を分割する段階を含むことができる。アップサンプリングされた動き情報をテクスチャ情報に適用する段階は、より高解像度の基準静止画像内のテクスチャ情報の対応する区画に各動きベクトルを適用することにより、補償されたテクスチャ情報を生成する段階を含むことができる。本方法はまた、各マクロブロック相関が、許容できる閾値を満足するか又は超えるかを判断する段階を含むことができる。許容できる閾値を満足しないか又は超える各相関に対して、本方法はまた、許容できる閾値を超えない相関に対応する第１の映像フレームのマクロブロックをアップサンプリングして、見逃した興味のある瞬間に対応するより高解像度の静止画像にアップサンプリングされたマクロブロックを追加する段階を含むことができる。この場合、アップサンプリングされたマクロブロックは、補償されたテクスチャ情報の対応する部分に取って代わる。
【００２７】
画像装置の実施形態を図面のうちのいくつかの図に対して説明する。適切である場合、かつ同一要素が１つよりも多い図面に開示かつ示される場合に限り、同じ参照番号を使用してこのような同一要素を表すことにする。
【図面の簡単な説明】
【００２８】
【図１】捕捉された静止画像、及び捕捉された映像ストリームに対応する見逃した興味のある瞬間の静止画像の例を示す図である。
【図２】見逃した興味のある瞬間の静止画像を生成するように構成された例示的な画像装置のブロック図である。
【図３】見逃した興味のある瞬間のより高解像度の静止画像を生成するように使用される構成要素を示す図である。
【図４】見逃したＭＯＩ静止画像を生成するために図３の構成要素を使用する例示的な処理を示す図である。
【図５】不適切な動き情報を補償する図４の処理への適応を示す図である。
【発明を実施するための形態】
【００２９】
混成画像装置の実施形態は、低解像度映像及び高解像度静止画像を捕捉するように構成された装置のためのものである。一部の実施形態では、混成画像装置は、手持ち式携帯用映像ビデオカメラ及びカメラの組合せである。画像装置は、低解像度映像から得られたアップサンプリングされた動き情報を基準高解像度静止画像に適用して、見逃したＭＯＩ高解像度静止画像を生成するように構成される。一部の実施形態では、低解像度映像は、周期的に撮られたいくつかの高解像度静止画像に関連して高フレーム率で捕捉される。ユーザが、捕捉された映像から興味のある瞬間（ＭＯＩ）の望ましい光景の位置を特定すると、選択されたＭＯＩに対応する高解像度静止画像を生成するために後処理技術が使用される。ＭＯＩに対応する高解像度静止画像は、低解像度映像から得られたアップサンプリングされた残留の情報と共に、選択されたＭＯＩに対応する低解像度映像フレームからアップサンプリングされた動き情報を１つ又はそれよりも多くの近くの捕捉された高解像度静止画像に適用することによって得られたテクスチャ情報を使用して生成される。見逃したイベントを再生させるこの技術は、ユーザのための「見逃した興味のある瞬間」（ＭＯＩ）の生成とも呼ばれる。
【００３０】
図１は、捕捉された静止画像、及び捕捉された映像ストリームに対応する見逃した興味のある瞬間の静止画像の例を示している。映像ストリーム１０は、一連の低解像度映像フレーム１２〜２６を含む。各映像フレーム１２〜２６が画像装置により捕捉されると、１つ又はそれよりも多くの高解像度３０及び３６も画像装置により捕捉される。２つの高解像度静止画像が図１に示されているが、２つを超えるか又は下回る数の高解像度静止画像が捕捉されることが理解される。映像は、あらゆる映像符号化規格（例えば、ＡＶＣ）を用いて符号化することができ、高解像度静止画像は、あらゆる画像フォーマット、例えばＪＰＥＧを用いて（又は後述する別の効率的な技術を用いて）記憶することができる。映像ストリーム及び１つ又はそれよりも多くの対応している高解像度静止画像を並行して符号化する２つの例示的な方法は、（本出願と同じ日付）出願の「並列モードにおいて一体化デジタル静止画像及び映像をサポートするＡＶＣ拡張」という名称の本出願人所有で現在特許出願中の米国特許出願出願番号第（Ｓｏｎｙ  ３０４００）号、及び（本出願と同じ日付）出願の「連続モードにおいて一体化デジタル静止画像及び映像をサポートするＡＶＣ拡張」という名称の本出願人所有で現在特許出願中の米国特許出願出願番号第（Ｓｏｎｙ  ３０５００）号に説明されており、これらの特許のいずれも、本明細書において引用により組み込まれている。
【００３１】
一部の実施形態では、高解像度静止画像は、捕捉ボタン、例えば、画像装置のシャッターボタンが押された時に捕捉される。各捕捉された静止画像は、捕捉映像ストリーム１０内の低解像度映像フレームに対応する。高解像度静止画像３０が低解像度映像フレーム１４に対応し、高解像度静止画像３６が低解像度映像フレーム２４に対応する例示的な場合を図１に示している。各捕捉された静止画像と映像の対応するフレームの関係があり、その理由は、静止画像は、より低解像度の映像のフレームにより捕捉された同じコンテンツのより高解像度コンテンツであるからである（例えば、静止画像も対応する映像フレームも、時間的に同じ瞬間に捕捉される）。
【００３２】
上述のように、見逃した興味のある瞬間は、高解像度静止画像を捕捉する際の機械の又は人間の遅延により引き起こされる。代替的に、後の時間フレームで、ユーザは、捕捉された高解像度静止画像に対応しない高解像度静止画像を生成することを望むであろう。従って、実際の捕捉された高解像度静止画像は、目標とする又は望ましい興味のある瞬間に対応しない場合がある。見逃した興味のある瞬間３２及び３４では、見逃した興味のある瞬間の静止画像が所望されるこのような２つの例が示されている。見逃した興味のある瞬間３２は、映像フレーム１８に対応し、見逃した興味のある瞬間３４は、映像フレーム２２に対応する。見逃したＭＯＩの静止画像は、捕捉された高解像度静止画像から前方又は後方に作業することによって生成される。例えば、見逃したＭＯＩ３２に対応するより高解像度の静止画像は、捕捉された高解像度静止画像３０から、ある程度生成される。換言すれば、見逃したＭＯＩの静止画像３２は、捕捉された高解像度静止画像３０から次に来るものである。代替的に、見逃したＭＯＩ３４に対応するより高解像度の静止画像は、捕捉された高解像度静止画像３６から、ある程度生成される。換言すれば、見逃したＭＯＩの静止画像３４は、捕捉された高解像度静止画像３６に先行する。
【００３３】
図２は、見逃した興味のある瞬間の静止画像を生成するように構成された例示的な画像装置のブロック図を示している。画像装置４０は、画像モジュール４２、コーデック４８、処理モジュール５４、メモリ５６、及び入出力（Ｉ／Ｏ）インタフェース５８を含む。入出力インタフェース５８は、データを送受信するユーザインタフェース及びネットワークインタフェースを含む。メモリ５６は、一体式又は着脱式のあらゆる従来の形式のデータ記憶媒体である。コーデック４８は、符号化器５０及び復号器５２を含む。画像捕捉モジュール４２は、低解像度映像を捕捉する映像捕捉モジュール４４及び高解像度静止画像を捕捉する静止画像捕捉モジュール４６を含む。一部の実施形態では、画像装置４０は、組合せであるカメラ／ビデオカメラとして実施され、その場合、静止画像捕捉モジュール４６は、カメラモジュールとして実施され、映像捕捉モジュールは、ビデオカメラモジュール４４として実施される。１つの構成においては、高解像度映像は、８ＭＰ又は１０ＭＰ（メガピクセル）などのより高解像度で撮られた周期的な静止画像と共に、６０ｆｐｓ（フレーム／秒）で捕捉される。別の構成においては、ユーザが捕捉ボタンを押した時、１つの高解像度静止画像が捕捉され、ユーザが再び捕捉ボタンを押圧するまで低解像度映像の捕捉が始まり、その時に、別の高解像度静止画像が捕捉され、低解像度映像の捕捉は終了される。画像装置は、代替的に、映像及び静止画像を捕捉するように構成することができることが理解される。
【００３４】
図３は、見逃した興味のある瞬間のより高解像度の静止画像を生成するのに使用される構成要素を示している。特に、図３に示す構成要素は、図１の見逃したＭＯＩ静止画像３４を生成するのに使用される。上述のように、各捕捉された静止画像と低解像度映像の対応するフレームの関係があり、その理由は、静止画像も対応する映像フレームも、時間的に同じ瞬間に捕捉されるからである。図３に適用した時、高解像度静止画像３６は、映像フレーム２４に対応し、見逃したＭＯＩの静止画像３４は、映像フレーム２２に対応する。低解像度映像からのアップサンプリングされた動き補償情報（動きベクトル）は、見逃したＭＯＩの高解像度静止画像３４を生成するために、高解像度静止画像３６のテクスチャ情報に適用される。図示のように、動き情報が基準高解像度静止画像３６のテクスチャ情報に適用される前に、動き情報は、アップサンプリングされる。これは、判断した動き情報が低解像度映像から撮られるので必要な段階である。従って、低解像度動き情報は、基準静止画像からより高い解像度のテクスチャ情報と共に使用されるように拡大すべきである。捕捉された高解像度静止画像３６は、テクスチャ情報の基準点として使用される。捕捉中のイベントの進行中の動きのために所定の高解像度静止画像をどのくらい遠く前方又は後方に基準として使用することができるかに関して制限がある。従って、基準高解像度静止画像の「品質」及び対応する低解像度映像から動き情報により、この基準情報の有用性が決まる。動き情報（低解像度映像から）及びテクスチャ情報（捕捉された高解像度静止画像３６から）の精度及び正しさに基づいて、見逃したＭＯＩの高解像度静止画像３４が生成される。映像からの高品質な動き情報又は基準高解像度静止画像３６からの高品質なテクスチャ情報に相関しない見逃したＭＯＩの静止画像３４の部分に対しては、映像フレーム２２内の対応する部分がアップサンプリングされて、見逃したＭＯＩの静止画像３４に追加される。用語「品質」、「精度」、及び「正しさ」は、相対的な語であり、用途次第で判断されることが理解される。
【００３５】
図３に示す構成要素は、捕捉された高解像度静止画像３６から見逃したＭＯＩの静止画像３４を生成するために後方に作業するように使用されるが、一般的な構成要素は、捕捉された高解像度静止画像から前方又は後方に作業するように使用することができ、例えば、捕捉された高解像度静止画像から始めて、捕捉された高解像度静止画像に先行するか又はそれに続く見逃したＭＯＩを生成することができる。
【００３６】
図４は、図３の構成要素を使用して見逃したＭＯＩの静止画像を生成する例示的な方法を示している。段階１００で、映像フレーム１２〜２６を含む映像ストリーム１０などの一連の映像フレームを含む映像ストリームを捕捉する。一部の実施形態では、映像ストリームは、低解像度映像ストリームである。段階１１０で、高解像度静止画像３０及び３６などの１つ又はそれよりも多くの高解像度静止画像を捕捉する。各捕捉された静止画像は、捕捉映像ストリーム内の映像フレームの１つに対応する。例えば、捕捉された高解像度静止画像３６は、映像フレーム２４に対応する。段階１００及び段階１１０は、順番に又は並行して行うことができる。段階１２０で、高解像度静止画像が生成されることになる見逃した興味のある瞬間３４のような見逃した興味のある瞬間を選択する。見逃した興味のある瞬間は、捕捉された高解像度静止画像に対応する映像フレームとは異なる映像フレームのうちの１つに対応する。例えば、見逃した興味のある瞬間３４は、映像フレーム２２に対応する。段階１３０で、捕捉された高解像度静止画像のうちの１つを基準高解像度静止画像として選択する。基準高解像度静止画像は、見逃した興味のある瞬間に時間的に先行するか又はそれに続くかのいずれかである。一部の実施形態では、見逃した興味のある瞬間に最も近い１つの捕捉された高解像度静止画像を基準高解像度静止画像として時間的順番に選択する。
【００３７】
段階１４０で、見逃した興味のある瞬間に対応する映像フレームを分割する。一部の実施形態では、映像フレームをマクロブロックに分割する。段階１５０で、見逃したＭＯＩの静止画像に対応する映像フレームの各マクロブロックについて、最も近い適合をもたらす基準高解像度静止画像に対応する映像フレーム内の区域に対する相関が取られる。このような対応をもたらすベクトルを動きベクトルと呼ぶ。累積的には、動きベクトルは、動き情報である。段階１６０で、各動きベクトルをアップサンプリングする。アップサンプリング係数は、高解像度静止画像の寸法と低解像度映像フレームの寸法の比により決まる。一部の場合では、この係数は、整数であり、他においては、それは、小数値であるとすることができるであろう。水平及び垂直の両方の動きベクトルのアップサンプリング係数は、比率に基づいて類似又は異なる可能性があると考えられる。
【００３８】
段階１７０で、基準高解像度静止画像（例えば高解像度静止画像３６）からのテクスチャ情報も分割され、そこでは、段階１６０で取得したアップサンプリング比率を適合させるために区画のサイズを適切に拡大し、かつ映像フレーム２４のような対応する映像フレーム内のマクロブロックに対して参照される。段階１８０で、参照したマクロブロックに従って各アップサンプリングした動きベクトルを基準高解像度静止画像の対応する部分のテクスチャ情報に適用し、見逃したＭＯＩの静止画像のテクスチャ情報を生成する。一般的に、基準高解像度静止画像のテクスチャ情報をテクスチャ情報の基準点として使用し、対応する映像からの動き情報をアップサンプリングし、基準テクスチャ情報に適用し、補償されたテクスチャ情報を生成し、補償されたテクスチャ情報を用いて見逃したＭＯＩの高解像度静止画像３４を生成する。
【００３９】
一部の場合には、捕捉中のイベントの範囲の移動により、適切な動き情報を特定のマクロブロックに対して取得することが妨げられる。このような場合、映像フレーム２２などの見逃したＭＯＩの映像フレーム内の対応するマクロブロックをアップサンプリングして、見逃したＭＯＩの高解像度静止画像３４などの生成した見逃したＭＯＩの静止画像に追加する。用語「適切な」は相対語であり、用途次第で判断されることは理解される。図５は、不適切な動き情報を補償する図４の処理に対する適応を示している。図４の処理は、段階１５０と段階１６０の間で段階２１０及び段階２２０を追加することによって適応させ、段階１８０を段階２８０と入れ替える。具体的には、見逃したＭＯＩの静止画像に対応する映像フレーム内の各マクロブロックと基準高解像度静止画像に対応する映像フレーム内のマクロブロックとを相関させる。段階２１０で、各相関が使用可能性を得るための所定の閾値を満足するか又は超えるかを判断する。所定の閾値を満足するか又は超えない各相関に対しては、段階２２０で、見逃したＭＯＩの静止画像に対応する映像フレーム内の各マクロブロックを直接アップサンプリングする。段階２８０で、段階１７０で生成した補償テクスチャ情報及び段階２２０からの全てのアップサンプリングマクロブロックを用いて、見逃したＭＯＩの高解像度静止画像３４などの見逃したＭＯＩの高解像度静止画像を生成する。
【００４０】
図１〜図５に関連して上述した処理は、単に例示的であり、代替方法及び装置構成を同じ目的をもたらすのに使用することができることは理解される。例えば、ベース層映像は、インターレース映像とすることができる。この場合、効率的なインターレース解除アルゴリズムを使用して、ベース層フィールドをフレームに変換する。別の例においては、捕捉される周期的な高解像度静止画像は、画像装置の記憶スペースを維持するために、ＪＰＥＧの代わりに「内部空間的拡張性」の概念を用いて記憶することができる。
【００４１】
本発明は、本発明の構成及び作動の原理の理解を深めるように細部を組み込んだ特定的な実施形態に関して説明した。本明細書の特定的な実施形態及びその詳細へのこのような言及は、本明細書に添付された特許請求の範囲を限定することを意図したものではない。本発明の精神及び範囲から逸脱することなく、例示のために選択した実施形態に修正を行うことができることは当業者に明らかであろう。
【符号の説明】
【００４２】
２２、２４  映像フレーム
３４  見逃したＭＯＩの高解像度静止画像
３６  捕捉された高解像度静止画像
【図１】
2010530669.tif 000003
【図２】
2010530669.tif 000004
【図３】
2010530669.tif 000005
【図４】
2010530669.tif 000006
【図５】
2010530669.tif 000007
【国際調査報告】
2010530669.tif 000008