(57)【要約】ビデオを圧縮された表現（これは典型的には従来式のビデオ・システムと互換な上限のあるピクセル・レートで送達できる）に変換する圧縮。ビデオの空間的にブレンドされたピクセルおよび時間的にブレンドされたピクセル（たとえば、時間的および空間的にブレンドされたピクセル）を生成し、圧縮された表現に含めるためのブレンドされたピクセルの部分集合を決定することによるものを含む。該決定は、ブレンドされたピクセルの候補セットから決定される再構成されるビデオの品質を評価することによるものを含む。データ・レートを低減しつつ知覚されるビデオ品質を最適化するために、圧縮された表現によって決定される再構成されたビデオの領域の時間的分解能と空間的分解能の間のトレードオフをしてもよい。圧縮されたデータは、フレームにパックされてもよい。再構成方法は、再構成されるビデオの諸空間的領域についての少なくとも一つの再構成パラメータを示すメタデータを使って、圧縮された表現からビデオを生成する。
2014522600.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオの圧縮された表現を生成するビデオ圧縮方法であって：
（ａ）入力ビデオを時間的にパルスに分割する段階であって、各パルスは入力ビデオの少なくとも二つのフレームを含む、段階と、各パルスのあるフレームのある空間的なパーティションの各領域について、少なくとも二つの異なる候補ブレンド・ピクセル・セットを生成する段階であって、該候補ブレンド・ピクセル・セットの少なくとも一つは入力ビデオの少なくとも二つのフレームから決定された時間的にブレンドされたピクセルおよび入力ビデオの少なくとも二つのフレームから決定された時間的および空間的にブレンドされたピクセルのうち少なくとも一つを含む、段階と；
（ｂ）各パルスについての空間的なパーティションの前記各領域について、前記候補ブレンド・ピクセル・セットの一つを、圧縮された表現に含めるために選択する段階とを含む、
方法。
【請求項２】
段階（ｂ）が、前記候補ブレンド・ピクセル・セットから決定される再構成されたビデオの品質を評価する段階を含む、請求項１記載の方法。
【請求項３】
当該方法が、前記圧縮された表現から決定される再構成されたビデオの知覚されるビデオ品質を最適化するよう入力ビデオの前記圧縮された表現を生成する、請求項１記載の方法。
【請求項４】
前記候補ブレンド・ピクセル・セットは、入力ビデオの空間的にブレンドされたピクセルを含む第一のセットと、入力ビデオの種々のフレームから決定される時間的および空間的にブレンドされたピクセルを含む第二のセットとを含む、請求項１記載の方法。
【請求項５】
前記候補ブレンド・ピクセル・セットが、入力ビデオの種々のフレームから決定される時間的にブレンドされたピクセルを含む第三のセットをも含む、請求項４記載の方法。
【請求項６】
段階（ａ）が、各パルスが入力ビデオのS個のフレームを含むよう入力ビデオの前記パルスを決定し、段階（ａ）が各パルスの複数の空間時間的に間引きされたパーティションを決定する段階を含み、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであり、各中間フレームについての各間引きされたピクセルが前記各パルスについての空間的パーティションの異なる領域に対応するようにする、請求項１記載の方法。
【請求項７】
請求項６記載の方法であって、i番目の空間時間的に間引きされたパーティションについての各中間フレームが、前記各パルスのフレームの一つまたは複数から導出されたMi個の間引きされたピクセルを含み、Miは整数であり、iはi番目の空間時間的に間引きされたパーティションを同定するインデックスであり、インデックスiは前記各パルスの空間時間的に間引きされたパーティションのそれぞれについて異なり、前記各パルスの空間時間的に間引きされたパーティションのうち一つのパーティションの各中間フレームは同じ空間分解能をもち、前記各パルスの空間時間的に間引きされたパーティションのうちの異なるものの中間フレームは異なる空間分解能をもつ、方法。
【請求項８】
請求項６記載の方法であって、段階（ｂ）が、入力ビデオの各パルスについてのコスト・マップを、入力ビデオの前記各パルスと、入力ビデオの前記各パルスから決定される中間フレームから生成される再構成されたビデオ・フレームとに応答して生成する段階を含む、方法。
【請求項９】
段階（ａ）が、各パルスが入力ビデオのS個のフレームを含み、各パルスが分数パルスからなるよう入力ビデオの前記パルスを決定し、段階（ａ）が各分数パルスの複数の空間時間的に間引きされたパーティションを決定する段階を含み、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであり、各中間フレームについての各間引きされたピクセルが前記各分数パルスについての空間的パーティションの異なる領域に対応するようにする、請求項１記載の方法。
【請求項１０】
請求項９記載の方法であって、i番目の空間時間的に間引きされたパーティションについての各中間フレームが、前記各分数パルスのフレームの一つまたは複数から導出されたMi個の間引きされたピクセルを含み、Miは整数であり、iはi番目の空間時間的に間引きされたパーティションを同定するインデックスであり、インデックスiは前記各分数パルスの空間時間的に間引きされたパーティションのそれぞれについて異なり、前記各分数パルスの空間時間的に間引きされたパーティションのうち一つのパーティションの各中間フレームは同じ空間分解能をもち、前記各分数パルスの空間時間的に間引きされたパーティションのうちの異なるものの中間フレームは異なる空間分解能をもつ、方法。
【請求項１１】
請求項９記載の方法であって、段階（ｂ）が、各分数パルスについてのコスト・マップを、入力ビデオの前記各パルスと、入力ビデオの前記各パルスから決定される中間フレームから生成される再構成されたビデオ・フレームとに応答して生成する段階を含む、方法。
【請求項１２】
前記各パルスの空間的パーティションの前記各領域について少なくとも一つの再構成パラメータを示すメタデータを生成する段階をも含む、請求項１記載の方法。
【請求項１３】
前記再構成パラメータが、前記各パルスの空間的パーティションの前記各領域についての更新レートである、請求項１２記載の方法。
【請求項１４】
前記メタデータを前記圧縮された表現とともに出力する段階をも含む、請求項１２記載の方法。
【請求項１５】
前記メタデータを前記圧縮された表現の中に含める段階をも含む、請求項１２記載の方法。
【請求項１６】
前記メタデータが少なくとも一つの分解能インデックス・マップを含み、前記メタデータを生成する段階が、少なくとも一つの候補分解能インデックス・マップを生成し、前記候補分解能インデックス・マップのそれぞれをフィルタリングして前記少なくとも一つの分解能インデックス・マップを生成する段階を含む、請求項１２記載の方法。
【請求項１７】
前記メタデータが、パックされたフレームのうちの各フレームの空間的パーティションの前記各領域について、空間分解能および時間分解能以外の少なくとも一つのビデオ属性と、少なくとも一つの分解能インデックス値とを示す、請求項１２記載の方法。
【請求項１８】
（ｃ）段階（ｂ）で選択された候補ブレンド・ピクセル・セットをパッキングしてパックされたフレームにする段階をさらに含み、入力ビデオの各パルスについて生成されるパックされたフレームが、入力ビデオの前記各パルスの圧縮された表現である、
請求項１記載の方法。
【請求項１９】
パックされたフレームのうちの各フレームの空間的パーティションの各領域について少なくとも一つの再構成パラメータを示すメタデータを生成し、該メタデータを前記圧縮された表現とともに出力する段階をも含む、請求項１８記載の方法。
【請求項２０】
パックされたフレームのうちの各フレームの空間的パーティションの各領域について少なくとも一つの再構成パラメータを示すメタデータを生成し、該メタデータを前記圧縮された表現の中に含める段階をも含む、請求項１８記載の方法。
【請求項２１】
前記再構成パラメータが、パックされたフレームのうちの前記各フレームの空間的パーティションの前記各領域についての更新レートである、請求項１９記載の方法。
【請求項２２】
（ｄ）パックされたフレームに応答して再構成されたビデオ・フレームを生成する段階をも含む、
請求項１８記載の方法。
【請求項２３】
入力ビデオの各ピクセルがm×nの分解能をもち、入力ビデオはkフレーム毎秒のフレーム・レートをもち、m、nおよびkが整数であり、前記圧縮された表現はm×n×kピクセル毎秒より低いピクセル・レートをもち、当該方法は、前記パックされたフレームを、毎秒k個のパックされたフレームより低いベース・レートで出力する段階を含む、請求項１８記載の方法。
【請求項２４】
請求項２３記載の方法であって、前記ベース・レートが毎秒k/4個のパックされたフレームであり、段階（ａ）が：
各パルスが入力ビデオの四個のフレームを含むように入力ビデオのパルスを決定する段階と；
各パルスの複数の空間時間的に間引きされたパーティションを決定し、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであるようにする段階であって、該段階は、それぞれ1/4(m×n)個の空間的に間引きされたピクセルを含む四個の中間フレームを含む中間フレームの第一のセットと、それぞれ1/2(m×n)個の間引きされたピクセルを含む二個の中間フレームを含む中間フレームの第二のセットと、(m×n)個の時間的に間引きされたピクセルを含む単一の中間フレームを含む中間フレームの第三のセットとを決定することによるものを含む、段階とを含む、
方法。
【請求項２５】
入力ビデオおよび圧縮された表現の層構成にされた表現を生成する段階をも含み、前記層構成にされた表現は基本層および向上層を含む、請求項１記載の方法。
【請求項２６】
前記圧縮された表現から決定される再構成されたビデオが一組の視覚的特性をもち、前記候補ブレンド・ピクセル・セットは、前記再構成されたビデオの少なくとも一つの所望される視覚的特性を達成するよう生成される、請求項１記載の方法。
【請求項２７】
前記再構成されたビデオの前記少なくとも一つの所望される視覚的特性が、シャッター角度特性である、請求項２６記載の方法。
【請求項２８】
入力ビデオの圧縮された表現に応答して表示用ビデオを再構成する再構成方法であって、前記圧縮された表現はパックされたフレームを含み、前記圧縮された表現は、入力ビデオを時間的にパルスに分割する段階であって、各パルスは入力ビデオの少なくとも二つのフレームを含む、段階と、各パルスのあるフレームのある空間的なパーティションの各領域について、少なくとも二つの異なる候補ブレンド・ピクセル・セットを生成する段階であって、該候補ブレンド・ピクセル・セットの少なくとも一つは入力ビデオの少なくとも二つのフレームから決定された時間的にブレンドされたピクセルおよび入力ビデオの少なくとも二つのフレームから決定された時間的および空間的にブレンドされたピクセルのうち少なくとも一つを含む、段階と、各パルスについての空間的なパーティションの前記各領域について、前記候補ブレンド・ピクセル・セットの一つを、圧縮された表現に含めるために選択する段階と、選択された候補ブレンド・ピクセル・セットをパッキングしてパックされたフレームにして、各パックされたフレームが各パルスの前記圧縮された表現となるようにする段階とを含む方法によって生成されたものであり、当該再構成方法は：
（ａ）前記各パルスについての空間的パーティションの前記各領域についての少なくとも一つの再構成パラメータを示すメタデータを受領する段階と；
（ｂ）前記メタデータに応答して、パックされたフレームのそれぞれに応答して、再構成されたビデオ・フレームを生成する段階とを含む、
再構成方法。
【請求項２９】
前記再構成パラメータが、パックされたフレームのうちの前記各フレームの空間的パーティションの前記各領域についての更新レートである、請求項２８記載の再構成方法。
【請求項３０】
請求項２８記載の再構成方法であって、段階（ｂ）が：
（ｃ）パックされたフレームのうちの前記各フレームの空間的パーティションの各領域について、前記メタデータに応答して時間的補間を実行して、パックされたフレームのうちの前記各フレームに応答してS個の部分的に再構成されたフレームを生成する段階であって、Sは整数である、段階と；
（ｄ）段階（ｃ）のあとに、前記部分的に再構成されたフレームのそれぞれに対して空間的補間を実行して、パックされたフレームのうちの前記各フレームに応答してS個の再構成されたビデオ・フレームを生成する段階とを含む、
再構成方法。
【請求項３１】
請求項３０記載の再構成方法であって、段階（ｄ）において実行される空間的補間が、前記部分的に再構成されたフレームの各フレームの最低空間分解能領域で始まり、前記部分的に再構成されたフレームの前記各フレームの最高空間分解能領域で終わる逐次反復手順である、再構成方法。
【請求項３２】
入力ビデオを受領するよう結合および構成された少なくとも一つの入力と；
入力ビデオの圧縮された表現を生成するよう構成されたプロセッサとを有するエンコーダであって、
前記プロセッサは、前記圧縮された表現の生成を：
入力ビデオを時間的にパルスに分割する段階であって、各パルスは入力ビデオの少なくとも二つのフレームを含む、段階と、各パルスのあるフレームのある空間的なパーティションの各領域について、少なくとも二つの異なる候補ブレンド・ピクセル・セットを生成する段階であって、該候補ブレンド・ピクセル・セットの少なくとも一つは入力ビデオの少なくとも二つのフレームから決定された時間的にブレンドされたピクセルおよび入力ビデオの少なくとも二つのフレームから決定された時間的および空間的にブレンドされたピクセルのうち少なくとも一つを含む、段階と；
各パルスについての空間的なパーティションの前記各領域について、前記候補ブレンド・ピクセル・セットの一つを、圧縮された表現に含めるために選択する段階とを実行することによって行う、
エンコーダ。
【請求項３３】
前記プロセッサが、前記候補ブレンド・ピクセル・セットから決定される再構成されたビデオの品質を評価することによるものを含め、前記候補ブレンド・ピクセル・セットのそれぞれを、圧縮された表現に含めるために選択するよう構成されている、請求項３２記載のエンコーダ。
【請求項３４】
前記プロセッサが、前記圧縮された表現から決定される再構成されたビデオの知覚されるビデオ品質を最適化するよう入力ビデオの前記圧縮された表現を生成するよう構成されている、請求項３２記載のエンコーダ。
【請求項３５】
前記プロセッサが、前記各パルスの空間的パーティションの前記各領域について少なくとも一つの再構成パラメータを示すメタデータを生成するよう構成されている、請求項３２記載のエンコーダ。
【請求項３６】
前記再構成パラメータが、前記各パルスの空間的パーティションの前記各領域についての更新レートである、請求項３５記載のエンコーダ。
【請求項３７】
前記メタデータが少なくとも一つの分解能インデックス・マップを含み、前記プロセッサが、少なくとも一つの候補分解能インデックス・マップを生成し、前記候補分解能インデックス・マップのそれぞれをフィルタリングして前記少なくとも一つの分解能インデックス・マップを生成することによるものを含め、前記メタデータを生成するよう構成されている、請求項３５記載のエンコーダ。
【請求項３８】
前記メタデータが、パックされたフレームのうちの各フレームの空間的パーティションの前記各領域について、空間分解能および時間分解能以外の少なくとも一つのビデオ属性と、少なくとも一つの分解能インデックス値とを示す、請求項３５記載のエンコーダ。
【請求項３９】
前記候補ブレンド・ピクセル・セットが、入力ビデオの空間的にブレンドされたピクセルを含む第一のセットと、入力ビデオの種々のフレームから決定される時間的および空間的にブレンドされたピクセルを含む第二のセットとを含む、請求項３２記載のエンコーダ。
【請求項４０】
前記候補ブレンド・ピクセル・セットが、入力ビデオの種々のフレームから決定される時間的にブレンドされたピクセルを含む第三のセットをも含む、請求項３９記載のエンコーダ。
【請求項４１】
前記プロセッサが、各パルスが入力ビデオのS個のフレームを含むよう入力ビデオの前記パルスを決定し、各パルスの複数の空間時間的に間引きされたパーティションを決定、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであり、各中間フレームについての各間引きされたピクセルが前記各パルスについての空間的パーティションの異なる領域に対応するようにするよう構成されている、請求項３２記載のエンコーダ。
【請求項４２】
請求項４１記載のエンコーダであって、i番目の空間時間的に間引きされたパーティションについての各中間フレームが、前記各パルスのフレームの一つまたは複数から導出されたMi個の間引きされたピクセルを含み、Miは整数であり、iはi番目の空間時間的に間引きされたパーティションを同定するインデックスであり、インデックスiは前記各パルスの空間時間的に間引きされたパーティションのそれぞれについて異なり、前記各パルスの空間時間的に間引きされたパーティションのうち一つのパーティションの各中間フレームは同じ空間分解能をもち、前記各パルスの空間時間的に間引きされたパーティションのうちの異なるものの中間フレームは異なる空間分解能をもつ、エンコーダ。
【請求項４３】
請求項４１記載のエンコーダであって、前記プロセッサが、入力ビデオの各パルスについてのコスト・マップを、入力ビデオの前記各パルスと、入力ビデオの前記各パルスから決定される中間フレームから生成される再構成されたビデオ・フレームとに応答して生成するよう構成されている、エンコーダ。
【請求項４４】
前記プロセッサが、各パルスが入力ビデオのS個のフレームを含み、各パルスが分数パルスからなるよう入力ビデオの前記パルスを決定し、各分数パルスの複数の空間時間的に間引きされたパーティションを決定し、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであり、各中間フレームについての各間引きされたピクセルが前記各分数パルスについての空間的パーティションの異なる領域に対応するようにするよう構成されている、請求項３２記載のエンコーダ。
【請求項４５】
請求項４４記載のエンコーダであって、i番目の空間時間的に間引きされたパーティションについての各中間フレームが、前記各分数パルスのフレームの一つまたは複数から導出されたMi個の間引きされたピクセルを含み、Miは整数であり、iはi番目の空間時間的に間引きされたパーティションを同定するインデックスであり、インデックスiは前記各分数パルスの空間時間的に間引きされたパーティションのそれぞれについて異なり、前記各分数パルスの空間時間的に間引きされたパーティションのうち一つのパーティションの各中間フレームは同じ空間分解能をもち、前記各分数パルスの空間時間的に間引きされたパーティションのうちの異なるものの中間フレームは異なる空間分解能をもつ、エンコーダ。
【請求項４６】
請求項４４記載のエンコーダであって、前記プロセッサが、各分数パルスについてのコスト・マップを、入力ビデオの前記各パルスと、入力ビデオの前記各パルスから決定される中間フレームから生成される再構成されたビデオ・フレームとに応答して生成するよう構成されている、エンコーダ。
【請求項４７】
前記プロセッサが、前記候補ブレンド・ピクセル・セットをパッキングしてパックされたフレームにするよう構成されており、それにより入力ビデオの各パルスについて生成されるパックされたフレームが、入力ビデオの前記各パルスの圧縮された表現となる、請求項３２記載のエンコーダ。
【請求項４８】
前記プロセッサが、パックされたフレームのうちの各フレームの空間的パーティションの各領域について少なくとも一つの再構成パラメータを示すメタデータを生成するよう構成されている、請求項３２記載のエンコーダ。
【請求項４９】
前記再構成パラメータが、パックされたフレームのうちの前記各フレームの空間的パーティションの前記各領域についての更新レートである、請求項４８記載のエンコーダ。
【請求項５０】
入力ビデオの各ピクセルがm×nの分解能をもち、入力ビデオはkフレーム毎秒のフレーム・レートをもち、m、nおよびkが整数であり、前記圧縮された表現はm×n×kピクセル毎秒より低いピクセル・レートをもち、当該エンコーダは、前記パックされたフレームを、毎秒k個のパックされたフレームより低いベース・レートで出力するよう構成されている、請求項４７記載のエンコーダ。
【請求項５１】
請求項５０記載のエンコーダであって、前記ベース・レートが毎秒k/4個のパックされたフレームであり、前記プロセッサが：
各パルスが入力ビデオの四個のフレームを含むように入力ビデオのパルスを決定する段階と；
各パルスの複数の空間時間的に間引きされたパーティションを決定し、それにより、空間時間的に間引きされた各パーティションが間引きされたピクセルを含む中間フレームのセットであるようにする段階であって、該段階は、それぞれ1/4(m×n)個の空間的に間引きされたピクセルを含む四個の中間フレームを含む中間フレームの第一のセットと、それぞれ1/2(m×n)個の間引きされたピクセルを含む二個の中間フレームを含む中間フレームの第二のセットと、(m×n)個の時間的に間引きされたピクセルを含む単一の中間フレームを含む中間フレームの第三のセットとを決定することによるものを含む、段階とを実行するよう構成されている、
エンコーダ。
【請求項５２】
前記プロセッサが、入力ビデオおよび圧縮された表現の層構成にされた表現を生成するよう構成されており、前記層構成にされた表現は基本層および向上層を含む、請求項３２記載のエンコーダ。
【請求項５３】
前記圧縮された表現から決定される再構成されたビデオが一組の視覚的特性をもち、前記プロセッサが、前記候補ブレンド・ピクセル・セットを、前記再構成されたビデオの少なくとも一つの所望される視覚的特性を達成するよう生成するよう構成されている、請求項３２記載のエンコーダ。
【請求項５４】
前記再構成されたビデオの前記少なくとも一つの所望される視覚的特性が、シャッター角度特性である、請求項５３記載のエンコーダ。
【請求項５５】
前記入力ビデオを生成し、前記入力ビデオを前記少なくとも一つの入力に呈示するよう結合および構成された捕捉システムをも含む、
請求項３２記載のエンコーダ。
【請求項５６】
前記プロセッサが、前記入力ビデオの前記圧縮された表現に対してさらなる圧縮を実行するようにも構成されている、請求項３２記載のエンコーダ。
【請求項５７】
前記プロセッサが、前記入力ビデオの前記圧縮された表現を生成するようプログラムされた汎用プロセッサである、請求項３２記載のエンコーダ。
【請求項５８】
前記プロセッサが、前記入力ビデオの前記圧縮された表現を生成するよう構成されたデジタル信号プロセッサである、請求項３２記載のエンコーダ。
【請求項５９】
ビデオ再構成システムであって：
入力ビデオの圧縮された表現を受領するよう結合および構成された少なくとも一つの入力を含み、前記圧縮された表現はパックされたフレームを含み、前記圧縮された表現は：
前記入力ビデオを時間的にパルスに分割する段階であって、各パルスは入力ビデオの少なくとも二つのフレームを含む、段階と、各パルスのあるフレームのある空間的なパーティションの各領域について、少なくとも二つの異なる候補ブレンド・ピクセル・セットを生成する段階であって、該候補ブレンド・ピクセル・セットの少なくとも一つは入力ビデオの少なくとも二つのフレームから決定された時間的にブレンドされたピクセルおよび入力ビデオの少なくとも二つのフレームから決定された時間的および空間的にブレンドされたピクセルのうち少なくとも一つを含む、段階と、各パルスについての空間的なパーティションの前記各領域について、前記候補ブレンド・ピクセル・セットの一つを、前記圧縮された表現に含めるために選択する段階と、選択された候補ブレンド・ピクセル・セットをパッキングしてパックされたフレームにして、各パックされたフレームが前記各パルスの前記圧縮された表現となるようにする段階とを含む方法によって生成されたものであり、
当該ビデオ再構成システムはさらに、前記各パルスについての空間的パーティションの前記各領域についての少なくとも一つの再構成パラメータを示すメタデータに応答して、パックされたフレームのそれぞれに応答して、再構成されたビデオ・フレームを生成することによるものを含む、前記圧縮された表現に応答して表示用のビデオを再構成する段階を実行するよう結合および再構成されているプロセッサを含む、
システム。
【請求項６０】
前記再構成パラメータが、パックされたフレームのうちの前記各フレームの空間的パーティションの前記各領域についての更新レートである、請求項５９記載のシステム。
【請求項６１】
請求項５９記載のシステムであって、前記プロセッサが、パックされたフレームのうちの前記各フレームの空間的パーティションの各領域について、前記メタデータに応答して時間的補間を実行して、パックされたフレームのうちの前記各フレームに応答してS個の部分的に再構成されたフレームを生成する段階であって、Sは整数である、段階を実行し、次いで、前記部分的に再構成されたフレームのそれぞれに対して空間的補間を実行して、パックされたフレームのうちの前記各フレームに応答してS個の再構成されたビデオ・フレームを生成するよう構成されている、システム。
【請求項６２】
請求項５９記載のシステムであって、前記プロセッサが前記空間的補間を、前記部分的に再構成されたフレームの各フレームの最低空間分解能領域で始まり、前記部分的に再構成されたフレームの前記各フレームの最高空間分解能領域で終わる逐次反復手順として実行するよう構成されている、システム。
【請求項６３】
各再構成されたビデオ・フレームのそれぞれを表示するよう結合および構成された表示サブシステムをも含む、請求項５９記載のシステム。
【請求項６４】
前記プロセッサが、前記圧縮された表現に応答して前記表示用ビデオを再構成するようプログラムされた汎用プロセッサである、請求項５９記載のシステム。
【請求項６５】
前記プロセッサが、前記圧縮された表現に応答して前記表示用ビデオを再構成するよう構成されたデジタル信号プロセッサである、請求項５９記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は、ここに参照によりその全体において組み込まれる、2011年5月31日に出願された、米国仮出願第61/491,590号の優先権を主張する。
【背景技術】
【０００２】
本発明の諸実施形態は、入力ビデオを時間的にパルスに分割し、各パルスの圧縮された表現を決定することによるものを含む、入力ビデオ（たとえば高フレーム・レートをもつビデオ・データ）を圧縮するためのシステムおよび方法である。上記決定は、前記パルスのフレームの空間的なパーティションの各領域について、圧縮された表現についての時間分解能対空間分解能の最良のトレードオフを決定することによるものを含む。本発明の諸実施形態はまた、入力ビデオの圧縮された表現から、（たとえば上記の高入力フレーム・レートでの）表示のためのビデオを再構成するシステムおよび方法である。
【０００３】
人間の視覚系は、現在の映画およびビデオが呈示できるよりずっと多くを知覚できる。映画のフレーム・レートは何十年も前に、動きの感覚のためにちょうど十分なレベルに設定された。そのようなレートを必要とした制約の大半はもはや存在しない。限られたフレーム・レートのため、現在のビデオ・システムは、高い動きを含むビデオ・データの部分を忠実にレンダリングしない。高動き領域の知覚は、以下で述べる、動きぶれ〔モーション・ブラー〕、ジャダーおよびストロボ効果のようなアーチファクトの影響を受ける。
【０００４】
知覚される動きぶれは、さまざまな源によって引き起こされうる。捕捉側では、カメラのシャッター継続時間に比して十分素速く動くオブジェクトは、捕捉されるビデオ・データ自身にぶれを生じる。表示側では、観察者が滑動性追従眼球運動（SPEM:  smooth  pursuit  eye  movement）を使って動いているオブジェクトを追跡し、オブジェクトがディスプレイのピクセル保持時間に比して十分素速く動きとき、オブジェクトのぼけた像が観察者の網膜上に形成される。より大きな視野を占有するより大きなディスプレイに向かう傾向は、高速SPEMを許容し、そのため動きぶれおよび他のアーチファクトがより目につきやすくなる。
【０００５】
大量の動きを含むビデオでは、シャッター角度が高動きオブジェクトを十分にぼかすほど大きくない一方でフレーム・レートが低すぎる場合、出力ビデオは視覚的に不快な動きアーチファクトを含むことになる。「ジャダー」は、フレーム・レートがオブジェクトの動きを十分に伝えるには低すぎるときに起こるアーチファクトであり、動きが「がくがくしている」または「不連続」と知覚され、理想的に知覚されうるよりもなめらかさおよび忠実度において劣る。動きがフレーム・レートに比して非常に大きい極端な場合には、ビデオ観察者にとって動きは全く意味がなくなってしまう。
【０００６】
他方、フレーム・レートはそのようなアーチファクトを避けるのに十分高いが、シャッター角度（露出デューティーサイクルとも称される）が小さい場合には、見る者はオブジェクトまたはオブジェクト・エッジの複数の偽のコピーを同時に知覚することがある。「ストロボ効果」はこの知覚のことをいう。これは、ストロボ光照明のもとで動いているオブジェクトによって引き起こされる一般的な知覚上の観察である。ストロボ効果は、小さなシャッター角度によって引き起こされ、フレーム・レートが低いか、中程度か、高いかによらず起こりうる。
【０００７】
なめらかな動きの知覚に必要とされるフレーム・レートは、動いている領域のサイズ、速度、コントラスト、テクスチャー内容、周囲／背景の内容および捕捉および表示装置の特性に依存する。
【０００８】
図１は、高フレーム・レート・カメラおよび高フレーム・レートTVセットを含む通常のビデオ・システムの簡略化されたブロック図である。カメラの出力はケーブル１を介してコーデック２に伝送され、該コーデックにおいてH.264圧縮（「先進ビデオ符号化（Advanced  Video  Coding）」または「AVC」ビデオ圧縮としても知られる）に従って圧縮される。コーデック２から出力される圧縮されたビデオはネットワーク３を介してセットトップボックス（「STB」）４に伝送され、そこでデコードされる。デコードされたビデオはケーブル５を介して高フレーム・レートTVセットに表示のために伝送される。図１のシステムのケーブル１および２は大量の圧縮されていないピクセル情報を伝送する必要があり、ネットワーク３は典型的にはより少量の圧縮されたビデオ情報を伝送する。
【０００９】
現在のビデオ・システム（たとえば図１のシステム）は、シーンを忠実に表現する能力において、特に限られたフレーム・レートおよび限られた全体的なデータ・レートによって制限されている。本発明によれば、現代のビデオ・システムのデータ・レート制約の範囲内に留まりつつ知覚されるビデオ品質を最適化するよう、さまざまな型のビデオ・データ分解能（時間的および空間分解能）をトレードオフする決定ができる。
【００１０】
現在の標準的なビデオ・フレーム・レートは、伝達できるシーン動きの量に上限を課し、特に大きなディスプレイについては人間の視覚系が知覚できるより低いレベルにまで上限を課す。単にフレーム・レートを上げることは、典型的には実用可能ではない。既存のインターフェース（たとえばHDMI、VGA、DVIなど）を通じてあまりに多くのピクセルが伝送されることを要求し、アップグレード・コストが禁止的になるからである。
【００１１】
通常のビデオ・システムは、もとのシーンの知覚的に重要な全側面を保持するためにユーザーが画像シーケンスを十分高いフレーム・レートでかつ十分な空間分解能で見ることを妨げるボトルネックを含む。ボトルネックは、次のものを含む。
・ビデオ捕捉源近くのエンコード・ブロックにおける限られた処理パワー。60フレーム毎秒（fps:  frame  per  second）の入力ビデオのために設計されたエンコーダは、典型的には、240fpsまたは480fpsの入力ビデオを扱うよう構成されることはできない。
・デコード・ブロック（たとえばセットトップボックス内のH.264デコーダ）における限られた処理パワー。エンコードのボトルネックの制限と同様に、現在のデコード・ソリューションは、240fpsやそれ以上といったより高いフレーム・レートでビデオをデコードするようスケールしない。
・カメラとエンコード・ブロックの間のデータ経路ならびにセットトップボックス（STB）とディスプレイの間のデータ経路における限られたデータ・レート
そのような通常のシステムを高フレーム・レートを扱うよう端から端までアップグレードするために、高い代償を払って、これらのボトルネックの原因となっているブロックをアップグレードすることによって（必要なアップグレードが存在しているとしての話だが）、これらのボトルネックを除去することもできる。
【００１２】
より現実的でより低コストの解決策（本発明の典型的な実施形態によって提供される）は、ビデオ源からの高フレーム・レート・ビデオが該高フレーム・レートで表示されることを許容しつつ、既存のビデオ・システムのできるだけ多くのコンポーネントを保持することである。そのような解決策は、ビデオ源からのデータ・レートを低下させる方法およびビデオ・ディスプレイ上でレンダリングされる再構成された出力ビデオのフレーム・レートを上げる方法を必要とする。既存のパイプラインのできるだけ多くを保持し、それによりできるだけ多くのボトルネックを回避するために、データ低減方法および高フレーム・レート再構成方法は、（本発明のいくつかの好ましい実施形態では）パイプラインにおいてできるだけ遠く離れて配置される（すなわち、パイプラインの両端点にできるだけ近くに実装される）。これは、帯域幅、処理パワーおよび設備アップグレード・コストの点でビデオ閲覧経験を改善するコストを最小化することができる。
【００１３】
コンテンツ作成側では（たとえば、映画ポストプロダクション・スタジオまたはストリーミング・ビデオ・サーバーにおいては）、本発明の典型的な実施形態は、データが圧縮されたりネットワークを通じて送られたりする前にデータ・レートを低下させる。用途に依存して、本発明の典型的な実施形態を使うデータ・レート削減は、データがカメラから出る前のカメラ内というほど早期にも、あるいは圧縮が行われる直前の点ほど遅くにも行われることができる。たとえば、ビデオ・ポストプロダクション・プロセスが全体を通じて超高ビデオ品質を維持する必要のある映画用途では、サンプル削減はカメラ出力には適用されず、ポストプロダクション・プロセスの出力に適用される。
【００１４】
クライアント側では（たとえば、映画館、ホーム・シアターまたはモバイル装置においては）、本発明の典型的な実施形態は、STB内のH.264デコードの直後または表示装置内ほど遅くなど、表示装置に近い点でデータ・レートをアップサンプリングする。
【００１５】
低下したデータ・レートで伝送できるエンコードされたビデオを生成するビデオ・データ・エンコードのための一つの方法が、トランブルらによる特許文献１に記載されている（「トランブル」）。トランブルは、ビデオ・フレームの単一シーケンスによって示される種々の視覚オブジェクトについて更新レートの混合を提案している。トランブルは、入力データのフレームからフレームにかけてゆっくりした動きしか検出されないときにフレーム・レートを下げるために（たとえば24フレーム毎秒に）、入力ビデオの相続くフレームをデジタル的に組み合わせ（たとえば重ね合わせによりまたはもとのフレームではなく組み合わされたフレームが表示されるときに知覚されるぼけを修正する別の仕方で）もとのフレームではなく組み合わされたフレームを含むエンコードされた出力ビデオを生成することを教示している。エンコードされた出力ビデオは、入力ビデオのフレームからフレームにかけてより速い動きが検出されるときには、もとの入力ビデオ・フレーム（これはより高いフレーム・レート、たとえば120フレーム毎秒で現れる）を含む。たとえば、トランブルは、入力ビデオ（120フレーム毎秒のフレーム・レートをもち、ゆっくり動いているまたは静的な視覚オブジェクトを示している）の五つのフレームの各シーケンスにおける最初の三つのフレームを組み合わせ、そのような各シーケンスにおける最後の二つのフレームを削除して、組み合わされたフレームを含むエンコードされたビデオ（これは24フレーム毎秒のフレーム・レートで送信できる）を生成することを提案している。トランブルは、動き検出は各入力ビデオ・フレームの個々の領域に対してなされる（たとえば、ある領域では速い動きを同定し、別の領域ではゆっくりした動きまたは動きがないことを同定する）ことができ、相続く入力ビデオ・フレームの対応する領域が組み合わされるまたは脱落させられる（そしてもとの入力フレーム・レートで（各入力フレーム毎に一度）領域を更新するのではなく、相続くフレームの対応する領域の組み合わせによって置換されるまたはそれらのフレームの最初のもののある領域の複数の「コピー」によって置換される、つまりその領域はそれらのフレームの最初のものの呈示後は更新されない）ことができ、それによりフレームからフレームにかけて領域中にゆっくりした動きしか検出されないときにそれらの領域について伝送されるデータ・レートを低減できることを記している。入力ビデオ・フレームの他の領域は、これらの領域においてフレームからフレームにかけてより速い動きが検出されるときはもとの（より高い）フレーム・レートで更新される。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許出願公開第2010/0259627A1
【発明の概要】
【発明が解決しようとする課題】
【００１７】
トランブルの方法は、二つのオプションに関わっている：完全な入力フレーム・レートを保持し、よりゆっくり動いている視覚オブジェクトについて更新を低減するか、デフォルトでより遅い更新レートをもつよう入力データをエンコードし、より速く動いている視覚オブジェクトについて更新レートを上げるかである。トランブルは、動きの明確さと引き換えに空間的な分解能をトレードオフする、たとえば速く動いているオブジェクトを示しているエンコードされたビデオ・フレームのゾーンにおいてのみエンコードされたビデオ・データの空間分解能を下げることも可能であると示唆している。しかしながら、トランブルは、動き明確さのための空間分解能のかかるトレードを実装するいかなる方法も記載していない。
【００１８】
本発明の典型的な実施形態は、知覚されるビデオ品質を最適化する（そしてデータ・レートを低減する）ために時間分解能と空間分解能との間のトレードオフを実装する計算効率のよい仕方でビデオ・データを圧縮する。圧縮されたデータは典型的には、該圧縮されたデータから生成される再構成されたフレームを表示する表示装置を含む、エンド・ツー・エンドのビデオ・チェーンの他の部分と互換なフォーマットにパックされる（たとえばパックされたフレーム）。
【００１９】
本発明に基づくビデオ・データ再構成の典型的な実施形態は、そのようなパックされたフレームに応答して、計算効率のよい仕方で再構成されたビデオを生成した（典型的には、再構成されたフレームは圧縮されたデータより高いデータ・レートをもつ）。圧縮および再構成の典型的な実施形態は、アーチファクト（たとえば動きぶれおよびジャダー）を導入することを避ける仕方で実行され、入力データが該実施形態に従って圧縮され、次いで再構成され、再構成されたフレームが表示されるとき、ユーザーは（もとの入力データ自身を表示する際に現れうるもののほかは）不快なアーチファクトを知覚しない。
【課題を解決するための手段】
【００２０】
諸実施形態のあるクラスでは、本発明は、入力ビデオを入力ビデオの圧縮された表現（これは典型的には、通常のビデオ・システムと互換な上限のあるピクセル・レートで送達できる）に変換する圧縮（エンコード）方法であって、入力ビデオを時間的にパルスに分割する段階であって、各パルスは入力ビデオの少なくとも二つのフレームを含む、段階と、各パルスのあるフレームのある空間的なパーティションの各領域について、少なくとも二つの異なる候補ブレンド・ピクセル・セットを生成する段階であって、該候補ブレンド・ピクセル・セットの少なくとも一つは入力ビデオの少なくとも二つのフレームから決定された時間的にブレンドされたピクセルおよび入力ビデオの少なくとも二つのフレームから決定された時間的および空間的にブレンドされたピクセルのうち少なくとも一つを含む、段階とを含む方法である。各パルスについての空間的なパーティションの各領域について、候補ブレンド・ピクセル・セットの一つが、圧縮された表現に含められるために、候補ブレンド・ピクセル・セットから決定される再構成されたビデオの品質の評価を含むステップによって選択される。典型的には、本方法は、圧縮された表現から決定される再構成されたビデオの知覚されるビデオ品質を最適化するよう圧縮された表現を生成し、知覚されるビデオ品質を最適化しようとする（またデータ・レートを低減しようとする）努力において、そのような最適化されたビデオの諸領域の時間分解能と空間分解能との間のトレードオフを実装する。本発明のもう一つの側面は、上記圧縮方法とマッチされる、圧縮された表現から出力ビデオを生成する再構成方法である。圧縮および再構成方法がマッチされるというのは、再構成方法が、圧縮された表現が圧縮方法によってどのようにして生成されたかの知識を必要とし、圧縮された表現に含まれるピクセル・データのほかに圧縮された表現と一緒に与えられる（たとえばそれに含まれる）メタデータを出力ビデオの生成に使用するという意味においてである。メタデータは、圧縮された表現から決定される再構成されたビデオの各空間的領域について少なくとも一つの再構成パラメータ（たとえば更新レート）を示す。
【００２１】
このクラスにおける典型的な実施形態では、本発明の圧縮方法は、入力ビデオに応答して圧縮されたデータを生成し、また、圧縮されたデータをパックされたフレーム中にパックする段階をも含む。好ましくは、パックされたフレームは、圧縮されたデータから生成される再構成されたフレームを表示する表示装置を含むエンド・ツー・エンドのビデオ・チェーンの他の部分と互換なフォーマットをもつ。本発明の再構成方法の典型的な実施形態は、そのようなパックされたフレームに応答して再構成されたビデオ・フレームを生成する。典型的には、再構成されたフレームは、圧縮されたデータ（またはパックされたフレーム）より高いデータ・レートをもつ。
【００２２】
圧縮されたデータに、m、n、kを整数としてkフレーム毎秒（fps）でm×nの分解能をもつ入力ビデオの全ピクセルを含める（すなわち、m×n×kピクセル毎秒のピクセル・レート）のではなく、本発明のエンコード方法の典型的な実施形態は、圧縮されたデータについての全ピクセル・レートの上限をm×n×kピクセル毎秒より低い値とし、入力ビデオのパルスを決定し（各「パルス」は入力ビデオのS個の相続くフレームを含む；Sは本稿で「パルス・サイズ」と称される整数）、各パルスの圧縮された表現を決定する。各パルスの圧縮された表現の決定は、（そのパルスの）あるフレームのある空間的パーティションの各領域について、またそのパルスの継続時間T＝S/k（ここでkは入力ビデオ・フレーム・レート、Sはパルス・サイズ）またはNをSより小さな整数として、そのパルスをなすN個のフレームの継続時間（パルスのそのようなNフレームの継続時間は本稿では時に「分数（fractional）パルス」の継続時間と称される；たとえば、N＝S/2の場合、二分の一パルスの継続時間）について、その圧縮された表現について、何が時間的なピクセル・レート対空間的なピクセル・レートの最善のトレードオフであるかを決定するステップを含む。典型的には、各パルスの圧縮された表現はパックされたフレームとして編成され（「パックされる」）、パックされたフレームは本発明のエンコーダから「ベース・レート」で出力される。ここで、「ベース・レート」は入力ビデオ・フレームから本発明のエンコーダによって決定される毎秒パルス数および本発明のエンコーダによって生成される毎秒のパックされたフレーム数の両方を表す。
【００２３】
たとえば、入力ビデオのシーンにおいてあるオブジェクトが静止していれば、圧縮された表現は好ましくはそのオブジェクトのできるだけ多くの詳細を示す（空間的な分解能が最大化される）が、その詳細をできるだけ頻繁に更新しはしない（時間分解能は低くてもよい）。他方、入力ビデオのシーンにおける、画面を横切って急速に動いているオブジェクト（たとえば自動車）については、そのオブジェクトを決定する圧縮された表現のデータは典型的には高い空間分解能をもつが低い時間分解能をもつ。これは、低い時間分解能によって引き起こされる動きアーチファクトは、高い時間分解能で低い空間分解能をもって（当該オブジェクトを決定する）ピクセルをエンコードすることによって導入される空間的なぼけよりもずっと視覚的に不快だからである。
【００２４】
本発明に基づいて圧縮される入力ビデオを生成するために、ビデオが（空間的および／または時間的に）アップサンプリングされてもよいことは理解しておくべきである。この場合、本発明の圧縮方法によって生成された圧縮された表現はもとの（アップサンプリング前の）ビデオよりも大きなデータ・レートを有していてもよい。本発明に基づいて圧縮される入力ビデオのフレーム・レートは本稿では、圧縮の際に用いられるベース・レート（入力ビデオ・フレームから本発明のエンコーダによって決定される毎秒パルス数）より高いものとして記述される。次の意味で、これが必須ではないことは理解しておくべきである。空間的および／または時間的なアップサンプリング（たとえば補間）が入力ビデオに適用されて、（入力ビデオよりより高いデータ・レートおよび高いフレーム・レートをもつ）アップサンプリングされたビデオを生成することができ、次いで、本発明に基づく圧縮は、アップサンプリングされたビデオに対して実行されることができる。この場合、（圧縮を実行するために用いられる）ベース・レートは、もとのフレーム・レート（もとの入力ビデオのアップサンプリング前のフレーム・レート）より大きくてもよい。
【００２５】
本発明の典型的な実施形態を通常の圧縮方法から区別する主要な点は、動きぶれへの留意である。たとえば、本発明のある実施形態に基づいてエンコードされる入力ビデオが完全なm×n×kピクセル・レートをもち（ここで、整数kは高いフレーム・レート、たとえば24,48,50および60fpsの通常のフレーム・レートのいずれよりも大きい、一部の通常のカメラおよびディスプレイが動作可能なフレーム・レート）、出力ピクセル・レートは所定の値を上限として課されているとする。出力ピクセル・レートに対する典型的な上限は、今日のビデオ・システム上での伝送のためにビデオをエンコードする実施形態について、1920×1080×60fpsである。本発明の圧縮方法のある実施形態は、出力ピクセル・レートをk/4に設定し、（入力ビデオの各パルスの、あるフレームの、あるパーティションの）各領域について、その領域が、1/4空間分解能での完全〔フル〕フレーム・レート（完全な時間的更新レートk）、1/2空間分解能での完全フレーム・レートの1/2、または完全空間分解能での完全時間分解能の1/4のいずれにおいてよりよく見えるかを判定するステップを含む。ある領域がkより低い時間的更新レートでよりよく見えると判断されるときは、その領域のエンコードされたバージョンは、そのより低い更新レートにおける呈示に対応する合成された動きぶれを含む。
【００２６】
本発明のエンコード方法の典型的な実施形態は、二つの重要な恩恵を提供する。第一に、エンコードされたビデオを伝送または記憶するビデオ・システムの（圧縮なしの）ピクセル・レート予算より高いネイティブなピクセル・レートをもつ入力ビデオについては、本発明の方法は、既存の方法よりよい（空間分解能と時間分解能の間の）視覚的なトレードオフを維持できる。第二に、動きぶれを考慮に入れることによって、視覚的な結果は、冗長性をなくすことだけによって機能する方法によって達成できるよりもよくなる。追加的な恩恵として、本発明のエンコードおよび再構成方法の典型的な実施形態は、計算上軽量であり、よって任意のビデオ・トランシーバ・チップまたはソフトウェアに含めるのに実際的である。
【００２７】
本発明の他の側面は、本発明の圧縮および／または再構成方法の任意の実施形態を実行するよう構成されたプロセッサ、本発明の圧縮方法の任意の実施形態を実行するよう構成されたエンコーダ、本発明の再構成方法の任意の実施形態を実行するよう構成されたビデオ再構成システム、そのようなプロセッサと、（本発明に基づいて圧縮されるべき）入力ビデオを生成するための捕捉サブシステム、本発明に基づいて生成される入力ビデオの圧縮された表現（たとえばパックされたフレーム）を記憶および／または伝送するよう構成された送達サブシステムおよび本発明に基づいて圧縮されたビデオを再構成することによって生成される出力ビデオを表示するための表示サブシステムの一つまたは複数とを含むシステムである。任意的に、前記送達サブシステムは、記憶および／または伝送のために（本発明に基づいて生成された）入力ビデオの圧縮された表現をさらにエンコードする（たとえば圧縮する）よう結合され、構成されているエンコーダと、入力ビデオの圧縮された表現を復元するようエンコーダのエンコードされた出力をデコードする（たとえば圧縮解除する）よう結合され、構成されたデコーダとを含む。本発明のプロセッサ、エンコーダおよびビデオ再構成システムの実施形態は、本発明の方法の実施形態を実行するようソフトウェア（またはファームウェア）によってプログラムされたおよび／または他の仕方で構成された汎用または専用プロセッサ（たとえば、集積回路（チップ）またはチップセットとして実装されるデジタル信号プロセッサまたはマイクロプロセッサ）である（またはこれを含む）。本発明のもう一つの側面は、本発明の方法の任意の実施形態を実装するようプロセッサをプログラムするコードを記憶しているコンピュータ可読媒体（たとえばディスク）である。
【図面の簡単な説明】
【００２８】
【図１】通常のエンド・ツー・エンドの高フレーム・レート・ビデオ・システムの簡略化されたブロック図である。
【図２】高フレーム・レート・ビデオの四つの相続くフレームの領域の図である。
【図３】ビデオ・フレームの時間的にぼかされた領域である。その見え方は、図２の四つの領域を互いに重ね合わせたものの見え方である。
【図４】それぞれが図２の領域の一つの空間的にぼかされたバージョンである、高フレーム・レート・ビデオの四つの相続くフレームのある領域の図である。
【図５】480fpsビデオ・クリップから生成された三つのビデオ・フレームのセットを示す図である。図５の左端の画像はそのクリップのフル・フレームである。図５の中央の画像は、左端の画像の2ピクセル×2ピクセルの各ブロックをそのブロックの四つのピクセルの平均で置き換えることによって生成された四分の一サイズのフレームである。図５の右端の画像は、左端の画像の4ピクセル×4ピクセルの各ブロックをそのブロックの16個のピクセルの平均で置き換えることによって生成された「1/16サイズ」のフレームである。
【図６】それぞれ同数のピクセルをもつ三つのビデオ・フレームのセットを示す図である。図６の左端の画像（フレーム）は図５の左端の画像（のトリミングされたバージョン）のある領域である。図６の中央の画像は、図５の中央の画像のアップサンプリングされたバージョンの対応する領域である。図６の右端の画像は、図５の右端の画像のアップサンプリングされたバージョンの対応する領域である。
【図７】本発明の圧縮方法のある実施形態に基づいて図５のフレームの組み合わせをエンコードし、次いで本発明の再構成方法のある実施形態に基づいて圧縮された表現からフレームを再構成することによって生成されたビデオ・フレームの再構成されたバージョンを示す図である。
【図８】本発明のあるクラスの実施形態に基づくエンコードおよび再構成を実装する、エンド・ツー・エンドのビデオ・システムのブロック図である。
【図９】本発明のエンコード方法（変換アルゴリズム）のある実施形態および本発明の再構成方法（アルゴリズム）のある実施形態についての高レベルの擬似コードである。
【図１０】本発明のあるクラスの実施形態に基づくエンコードおよび再構成を実装する、エンド・ツー・エンドのビデオ・システムのブロック図である。
【図１１】図１０のサンプル低減段３２のある実施形態において実装される処理ステップおよびデータ・フローの図である。
【図１２】入力ビデオ・データのパルスに応答して、図１０のサンプル低減段３２のある実施形態によって生成される中間フレーム（B1）の第一のセットの図である。
【図１３】図１２の中間フレームを生成するために用いられた入力ビデオ・データの同じパルスに応答して、図１０のサンプル低減段３２のある実施形態によって生成される中間（ブレンド）フレーム（B2）の第二のセットの図である。
【図１４】図１２の中間フレームを生成するために用いられた入力ビデオ・データの同じパルスに応答して、図１０のサンプル低減段３２のある実施形態によって生成される単一の中間（ブレンド）フレーム（B3）を含む、中間フレームの第三のセットの図である。
【図１５】図１０のサンプル低減段３２の図１１の実施形態の出力に応答して動作する、図１０のパッキング段３４のある実施形態の図である。
【図１６】（パルス長4をもつ）パルスに応答して本発明のある実施形態に基づいて生成されるパックされたフレームの一部の図である。
【図１７】中間フレーム（Bi）を含む圧縮された表現および二分の一パルス分解能インデックス・マップからパックされたフレームを決定するための、図１５に記載されたフレーム・パッキング・プロセスを適用した結果を示す図である。圧縮された表現は、合成された（間引き〔デシメート〕された）パルスであると考えることができ、パッキング・プロセスは、各二分の一パルスについて分解能インデックス・マップによって指令されるように、合成されたパルスからサンプルをコピーすることによってパックされたフレームを生成する。
【図１８】図１０の再構成段３７のある実施形態において実装される処理ステップおよびデータ・フローの図である。
【図１９】空間および時間分解能において不均一な中間フレームBiのサンプルの「パッチ」からなる疎なパルス・データ・ブロックを決定するよう、図１８の再構成プロセスの段５１を適用した結果を示す図である。
【発明を実施するための形態】
【００２９】
本発明の好ましい実施形態の特徴および恩恵を理解するために、240フレーム毎秒という高いフレーム・レートでカメラによって捕捉されたビデオ・シーケンスを考える。該ビデオ・シーケンスが都市景観にわたるカメラ・パンを示しているとする。局所的な領域を見ると、建物の構造が数フレームにわたってその領域を通過していくのを見ることがありうる。ここで、構造は、数ピクセルの太さの線として示される。当面色を無視すると、この状況は図２に示される。図２は、都市景観にわたるパンの四つの相続くフレームにおいて局所的な8×8ピクセル領域を通じて動く線を示している。
【００３０】
この240fpsのビデオをテレビで示したいとする。毎秒240フレームを既存のテレビに送ることは不可能である。標準はみな高々毎秒60フレームを送るよう設計されているからである。典型的には、通常のエンド・ツー・エンド・システムはこの限界のまわりに設計されており、よって、図２に明瞭に示されるエッジの代わりに、該システムを通じて実際に送られる映像は、図２の四つの画像の、それらの画像がまたがる時間（1/60秒）にわたる平均である。カメラのシャッターが1/60秒のフル・フレーム・サイクル（たとえば360度）にわたって開かれたままにされるとすると、図３に示される結果が得られる。これは、図２に示される動いているエッジのぼかされたバージョンである。シャッターは、より短い継続時間にわたって開かれることもできるが、その場合は、次のフレームの前に動きのギャップがある。結果として得られる画像は60フレーム毎秒で送られるとすると、図２において見えている線は、各フレームが図２の四つのフレームと同じ時間の長さにまたがるので、（図３のように）ぼけた見え方をする。
【００３１】
表示されるビデオが図２において見える動きを示すことを許容するもう一つの解決策は、当該領域の空間分解能を下げて、各フレームについて一度（240fpsのレートで）（空間的にぼかされた領域の）更新を送ることである。たとえば、標準的なフレーム・レートに合わせて毎秒60回送る8×8＝64ピクセルの代わりに、4×4＝16ピクセルまでフィルタリングで下げて、結果として得られる空間的にぼかされたデータを240フレーム毎秒で送ることもできる（すなわち、その領域について3840ピクセル毎秒）。図４は、図２の画像のそのような空間的にぼかされたバージョンの相続く四つを示している。図３および図４のそれぞれの例において、一秒の1/60毎に64ピクセルを送っていることに注意されたい――いずれのやり方でも同じデータ量である。線の動きは、図４のデータが表示されるときによりよく保存される。ただし、線自身はぼける（図２のバージョンに比して）。
【００３２】
むろん、常時各フル・フレームについて、（図４のように）空間的にぼかされたデータを高い（240fps）のフレーム・レートで送る場合、動いているオブジェクトは比較的ぼかされないが、動いていない領域があればそれは四分の一の空間分解能になり、鮮鋭さが低下して見える。本発明の典型的な実施形態は、入力ビデオ画像の動いている領域（たとえば240fpsの入力ビデオまたは他の高フレーム・レート入力ビデオのフレームによって決定される視覚オブジェクト）のみを低下した空間分解能でエンコードし（そして高い時間的レートで、たとえば完全な入力ビデオ・フレーム・レートで更新し）、他の各領域はより高い空間分解能でエンコードする（だがより低い時間的レートで更新する）ことによって、空間時間のトレードオフを実装する効率的な方法を提供する。
【００３３】
本発明のエンコード方法の典型的な実施形態の実行中にどれだけ多くのデータがトレードオフされうるかをいくらかでも思い描いてもらうために、図５は480fpsビデオ・クリップからの例を示している。データ上限を30fpsぶんのピクセルに設定すると、入力ビデオ・フレームのフル解像度バージョン（「フル・フレーム」）を30fpsのレートで、または四つの四分の一サイズのフレーム（それぞれフル・フレームの空間分解能の四分の一をもつ）を120fpsのレートで、または「1/16サイズ」フレーム（それぞれフル・フレームの空間分解能の1/16をもつ）を480fpsのレートで、送ることができる。（この例において、フレーム・レートまたは総ピクセル数の4という倍数は、H（水平）およびV（垂直）分解能の両方において因子2の変化に対応するので、便利である。）図５の左端の画像は、一つのそのようなフル・フレームであり（30fpsのレートで更新される）、図５の中央の画像は一つのそのような四分の一サイズのフレームであり（120fpsのレートで更新される）、図５の右端の画像は一つのそのような1/16サイズのフレームである（480fpsのレートで更新される）。フル・フレーム画像（図５の左端の画像）における明白な動きぶれに注目されたい。
【００３４】
1/16サイズの画像において少量の情報を取り、テレビ上でフル分解能で示すためにそれをもとにふくらませるとき、画像が全体的にぼやけて見えることは驚くにはあたらないが、その画像の素速く動いている部分が他の二つの画像における同じ領域より鮮鋭に見えることは驚きである。
【００３５】
このことは、図５の各画像のある領域をディスプレイ・サイズまでアップサンプリングしたものを示す図６において明白である（たとえば、図６の右端の画像は図５の右端の画像の領域をディスプレイ・サイズまでアップサンプリングしたものであり、図６の左端の画像は図５の左端の画像の対応する領域をディスプレイ・サイズまでアップサンプリングしたものである）。驚くことに、図６の各画像は、図６の他の画像における同じ領域に比べて、最も多くの詳細を保持する領域をもつ。図６の中央および右端の画像の円で囲んだ領域がそれぞれの画像において最も良好に見えること、最適な背景は最高の空間分解能および最も遅いフレーム更新レートをもつ画像（図６の左端の画像）において最も良好に見えることに注目されたい。三つの画像の背景は動いておらず、よって、30fpsにおいて（図６の左端の画像において）ぼけていないように見える。髪（三つの画像すべてにおいて示されている）は中程度の量動いており、よって30fpsでは（図６の左端の画像では）動きぶれが多すぎるが、480fpsでは（図６の右端の画像では）保持される分解能が少なすぎる。同様に、手（三つの画像すべてにおいて示されている）はあまりに速く動いており、1/16のピクセル数だけでも、図６の右端の画像は、図６の他の二つの画像より480fpsにおいてより多くの詳細を保持する（他の二つの画像は入力データのより多くのピクセルおよびより高い動きぶれを示す）。
【００３６】
本発明のエンコード方法のあるクラスの実施形態によれば、入力ビデオ・フレームのシーケンスの各領域について知覚的に最良のレートが決定され、各領域からのピクセルのエンコードされたバージョンが、最適化された数のピクセルだけを含むエンコードされたフレームのシーケンスにパックされる。たとえば、入力ビデオは、120フレーム毎秒で更新される、1920ピクセル×1080ピクセルのプログレッシブ・フレームであってもよい。ある実施形態は、120fpsだが四分の一空間分解能において最も良好に見える領域、60fpsだが二分の一空間分解能で最も良好に見える領域および30fpsにおいてフル分解能で最も良好に見える領域を同定し、各領域における入力ピクセルをしかるべくエンコードし（それらの領域の異なるものについて異なるエンコードを用いる）、次いでエンコードされたピクセルをエンコードされたフレームにパックする。エンコードされたビデオの全ピクセル・レートは、たった1920×1080かける30フレーム毎秒（入力ビデオ・フレーム・レートの四分の一）であるが、エンコードされたビデオは従来生成される30fpsシーケンス（たとえば入力フレームの四つ目ごとのフレームからなるシーケンス）がもつよりも動き詳細のずっと多くを保持している。
【００３７】
むろん、受領側での再構成要素は、エンコードされたフレームをアンパックして、正しい表示レートでの表示のために画像を再構成する必要がある。よって、（エンコードされたビデオによって決定される）ある画像領域が別の画像領域と異なる更新レートをもつときを再構成要素に信号伝達することが必要である。これは、いくつかの仕方でできる。たとえば、エンコードされたピクセルと一緒に別個のマップを提供することによる、あるいは更新レートの変化を信号伝達する特別なピクセル値を含めることによる。再構成要素は、各領域についてエンコードされたデータによっていくつのフレーム更新が供給されるかを知るためにそのようなマップ（または特別なピクセル値）を使う。これから、各領域の空間分解能を推定し、多様なストレートな再サンプリング技法を使って更新されたデコード・フレームを構築することができる。図７は、本発明のエンコード方法のそのような実施形態に基づくエンコードと、それに続く本発明のある実施形態に基づく再構成とを受けた画像の再構成されたバージョンの例である。より具体的には、図７は、ビデオ・フレームの再構成されたバージョンであり、本発明のある実施形態に基づいて図５のフレームの組み合わせに基づいてデータをエンコードし、次いで本発明の再構成方法のある実施形態に基づいて圧縮された表現からそのフレームを再構成することによって生成されたものである（ここで、圧縮された表現は、30,120,240および480fpsのレートで更新される領域を示すパックされたフレームである）。
【００３８】
圧縮を実装する従来式のエンコーダ（たとえば通常のH.264コーデック）を、エンコードされた（圧縮された）ビデオの圧縮されたビット・レートに上限を課すために使うこともできる（従来のH.264コーデックは実際、入力ビデオにおける時間的および空間的な冗長性を見出して、削減する）が、本発明のエンコード方法の典型的な実施形態は、従来式の圧縮に対していくつかの利点をもつ。一つには、本発明のエンコード方法の典型的な実施形態で生成されるエンコードされたビデオは、再構成されたときに、フレームの各領域内の実際の動きに直接結び付けられ、そのフレームの他の領域で進行中のアクションの量には影響されない品質をもつ。もう一つには、エンコーダにおける従来式の動き推定、デコーダにおける従来式の動き補償およびデコーダにおける周波数領域変換およびデコーダにおける算術符号化のコストのため、そのような従来式の技法は、本発明の典型的な実施形態より、ずっと計算上高価になる。また、H.264および他のDCTベースのまたはウェーブレット・ベースのコーデックの複雑さは、典型的に必要とされるであろう、より高いフレーム・レートにとって有利ではない。
【００３９】
本発明のエンコード方法の典型的な実施形態は、（入力ビデオ・データに応答して）動きぶれのあるデータを合成し、エンコードされた出力ビデオ中に、合成された動きぶれのあるデータの少なくとも一部を含め、入力データをどのように処理するかを決定するときに、合成された動きぶれのあるデータに対するメトリックを評価する。本発明の再構成方法の典型的な実施形態は、エンコードされた（圧縮された）データにおける合成された動きぶれのあるデータを認識し、表示されるべき画像をしかるべく再構成する。本発明の方法の典型的な実施形態は、合成された動きぶれデータおよび低減された動きぶれデータを、選択的な時間変動および空間変動する前提で使用して、ストロボ効果およびジャダーの効果を軽減して再構成されたビデオの知覚される品質の正味の向上につながり、空間的および時間的サンプル（ピクセル）をトレードオフする新規で効率的な仕方を実装する。
【００４０】
対照的に、典型的な従来式のコーデックはビデオ・シーケンスを入力として受け、単に、もとのシーケンスをできるだけ忠実に再現するようデコードされることのできるビットストリームを生成しようとする。よって、入力データが大量の動きを示す場合（動いている視覚オブジェクト）、再構成される画像はしばしば視覚上のアーチファクト、たとえばブロッキング・アーチファクトおよびストロボ効果を呈する。
【００４１】
ジャダーは、動きぶれおよびフレーム・レートがいずれも動きの量に比して低い場合に（ビデオの表示の間に）生じる。この効果は時に芸術的意図のために含められる――たとえば、映画『プライベート・ライアン』の冒頭の浜辺の上陸シーンや映画『グラディエーター』における戦闘シーン――が、一般にはこれは避けるべきものである。
【００４２】
フル・レートのシーケンスを厳密に再現する代わりに、本発明の方法の典型的な実施形態は、より低いフレーム・レートについて適切な動きぶれを合成し、それを比較点として使う。結果は、所定の低い標準化されたフレーム・レートを（力づくの仕方で）固持することにより達成されるよりも良好な、時間および空間分解能のトレードオフであり、本発明の方法のそのような実施形態によって生成されるエンコードされたデータは、同じ入力ビデオのエンコードおよび再構成のために代わりに従来式の方法が使われたとした場合に帰結するであろうアーチファクトや変動を受けない。
【００４３】
本発明のエンコーダの典型的な実施形態において実行される決定は、従来式のエンコーダによってエンコードされるブロックのモードおよびパラメータを駆動するために使われることができることは理解しておくべきである。しかしながら、もとのフレーム・データおよび従来式の圧縮アルゴリズムの性質に依存して、本発明のアルゴリズムは、もとのフレーム・データを渡してもしなくてもよい。本発明のアルゴリズムがもとのフレーム・データを渡さない場合、本発明のアルゴリズムは代わりに、入力ビデオの空間的に再サンプリングされたバージョンまたは合成的な時間的にぼかされたもしくは時間的に鮮鋭にされたバージョンまたは時間的および空間的処理の両方が適用されたバージョンのいずれかを、エンコードされるビデオに含める。再サンプリングはいくつかの場合には、従来式のコーデックにおいてすでに利用可能な処理の一つとして達成されてもよい（たとえば、再サンプリングの代わりに、DCT係数が、存在すると期待される情報の量に従って量子化されてもよい）。
【００４４】
図８は、本発明のあるクラスの実施形態に基づくエンコードおよび再構成を実装するエンド・ツー・エンドのビデオ・システムのブロック図である。捕捉ブロック１０（たとえば高フレーム・レート・カメラ）の出力は、フル・フレーム・レートの入力ビデオ１１であり、これがエンコーダ２１に（第一のフレーム・レートで）呈示され、そこで本発明に基づいてエンコード（圧縮）されてパックされたフレーム１５を生成する。パックされたフレーム１５、つまりエンコーダ２１からの圧縮されたビデオ出力は、上限のあるピクセル・レートで、送達要素１６を介して再構成要素１７に送達される（たとえば、記憶媒体に書き込まれ、記憶媒体から読まれるおよび／またはネットワークを介して伝送される）。上限のあるピクセル・レートは典型的には、パックされたフレーム１５が前記第一のフレーム・レートより小さいフレーム・レートでしか送達されることができないという制限によって制約される。再構成要素１７では、フレーム１８はパックされたフレームから再構成される。再構成されたフレーム１８は次いで、表示装置１９（たとえば高フレーム・レートのテレビ・セット）に前記第一のフレーム・レートで呈示され、表示装置１９によって表示される。
【００４５】
エンコーダ２１（ビデオ・チェーンの捕捉／製作側で実装される）は変換段１２を含む。この段では、フル・レート・ビデオ・フレーム１１のシーケンスがパルスに分割され（そして任意的には該パルスが二分の一パルスまたは他の分数パルスに分割され）、各パルスの圧縮された表現が決定される。典型的には、段１２は、各パルスが入力ビデオのS個のフレームを含むように入力ビデオ１１のパルスを決定する。ここで、Sは本稿で時に「パルス・サイズ」と称される整数である。段１２はまた、それぞれの空間時間的に間引きされたパーティションが「中間フレーム」のセットとなるよう、各パルス（または分数パルス）の複数の空間時間的に間引きされたパーティションをも決定する。中間フレームの各セットは、少なくとも一つの中間フレームを含み（たとえば図１４のフレームB3(t0)または図１３のフレームB2(t0)およびB2(t2)）、各中間フレームは間引きされたピクセル（入力ビデオのサブサンプリングされたピクセル）を含む。各中間フレームの間引きされたピクセルのそれぞれは、パルス（または分数パルス）の一つのフレームの異なる空間的領域に対応する。典型的には、i番目の空間時間的に間引きされたパーティションについての各中間フレームは、パルス（または分数パルス）のフレームの一つまたは複数から導出されるMi個の間引きされたピクセルを含む。ここで、Miは整数であり、iはi番目の空間時間的に間引きされたパーティションを同定するインデックスであり、インデックスiはパルス（または分数パルス）の空間時間的に間引きされたパーティションのそれぞれについて異なる。パルス（または分数パルス）の空間時間的に間引きされたパーティションのうちの一つのパーティションの中間フレームのそれぞれは、同じ空間分解能をもつが、空間時間的に間引きされたパーティションのうち異なるパーティションの中間フレームは異なる空間分解能をもつ。
【００４６】
典型的には、段１２は、継続時間T（ここで、T＝k(S/N)であり、kは入力ビデオ１１のフレーム・レート、Sはパルス・サイズ、Nは整数）の各時間セグメントの間の（各パルスまたは分数パルスの）フレームの各空間的パーティションの各空間領域について、何が時間的なピクセル・レート対空間的なピクセル・レートの最善のトレードオフであるかを決定し、そのパルス（または分数パルス）の空間的領域の表現として、間引きされたピクセルの一つまたは複数からなる最良のセットをしかるべく選択する。各パルス（または分数パルス）についての選択された間引きされたピクセルが、そのパルス（または分数パルス）の圧縮された表現を決定する。図８において「間引きされた領域」１３のセットとして同定されているこの圧縮された表現が、パッキング段１４に呈される。パッキング段１４では、すべてのパルス（または分数パルス）についての間引きされた領域１３がパックされて、パックされたフレーム１５を生じる。
【００４７】
再構成要素１７では、パックされたフレーム１５に含まれる間引きされた領域１３が、上限をもつピクセル・レート（パックされたフレーム１５はこのレートで要素１７に送達される）を与えられたもとで品質の最適化されたトレードオフをもつフル・レートのビデオ・フレーム１８を再構成するために使われる。
【００４８】
各パックされたフレーム１５は、パルスを表すサンプル（間引きされた領域）のセットである。サンプルは、送達方法に関する堅牢性を提供する仕方で選ばれ、修正され、配置される。たとえば、送達方法が高い空間周波数の情報を捨てる傾向がある不可逆圧縮コーデックの使用を含む場合、本発明のエンコーダは、出力ビデオ品質に対するその不可逆コーデックの効果を軽減するよう、導入される高い空間周波数の内容の全体的な量がより低くなる傾向がある仕方で、パックされたフレームにおけるサンプルを配置することができる。
【００４９】
ある実施形態では、パックされたフレーム１５は、入力ビデオ・フレーム１１と同じ空間分解能をもち、それぞれのパックされたフレーム１５が表すビデオ・データの局所的な領域はそれぞれ、更新レートの固定されたセットから選ばれるレートで更新される（各局所的な領域についての更新レートはパックされたフレームと一緒に含まれているメタデータによって決定される）。しかしながら、一般に、パックされたフレーム１５は、空間分解能または更新レートにおいて制約されない。パックされたフレーム１５は、静的なまたは時間変動するグローバルなまたはローカルな空間分解能のいかなる組み合わせをも、また静的なまたは時間変動するグローバルなまたはローカルな更新レートのいかなる組み合わせをも有することができる。
【００５０】
エンコーダ２１（および本発明のエンコーダの他の実施形態）は、各パックされたフレーム１５によって決定される出力フレームの各空間領域について更新レートを同定するメタデータ（たとえば分解能インデックス・マップ）を生成し、該メタデータをパックされたフレーム１５とともに含める。さまざまな実施形態において、メタデータは、パックされたフレーム・データに関して別個に記憶または伝送されてもよいし、あるいはパックされたフレーム・データ自身の中に埋め込まれてもよいし、あるいはパックされたフレームから（再構成要素によって）推定されてもよい。
【００５１】
分解能インデックス・マップは、本発明のエンコーダの典型的な実施形態によって生成され、本発明の再構成方法の典型的な実施形態によって使用されるキーとなるデータ・コンポーネントである。このマップは、パルスに関連付けられたインデックス値の二次元アレイである。各インデックス値は、パルスの継続時間わたってある局所的な空間領域に関連付けられており、その領域についての空間および時間分解能値の特定の対にマッピングされる。サンプル・レート制約条件のもとで、インデックス値は、その領域についての最良の空間‐時間トレードオフを示す。
【００５２】
いくつかの実施形態では、エンコード方法は、空間分解能および時間分解能以外のビデオの属性（たとえば、領域の色またはルミナンスのダイナミックレンジおよび／またはビット深さ）の間のトレードオフを実装することができ、また分解能インデックス・マップがこれを示すことができる。そのような場合、各インデックス値は、n個のビデオ属性に対応する分解能値のn項組を表すことになる。
【００５３】
インデックス・マップ（または各パックされたフレームによって決定される出力フレームの各空間的領域についての更新レートを同定する他のメタデータ）は、パックされたフレーム・データに関して別個に記憶または伝送されてもよく、あるいはパックされたフレーム・データ自身の中に埋め込まれてもよく、あるいはパックされたフレームから推定されてもよい。
【００５４】
本発明の圧縮方法および本発明の再構成方法は、圧縮方法に基づいて生成されるパックされたフレームから出力フレームを再構成する任意のそのような再構成方法が、パックされたフレームおよび分解能インデックス・マップ（または各パックされたフレームによって決定される出力フレームの各空間領域についての更新レートを同定する他のメタデータ）がどのように生成されたかについての知識または推定に基づく必要があるという意味で、対になっている。
【００５５】
本発明のエンコード方法（本稿では時に「変換」方法またはアルゴリズムと称される）および本発明の再構成方法（アルゴリズム）のあるクラスの実施形態について、図９を参照して述べる。本発明の変換アルゴリズムのある実施形態について図９において示される高レベルの擬似コードは以下のステップを含む：
Rcフレーム毎秒の捕捉レートでビデオが捕捉される（たとえばRc＝120fpsまたは480fps）；
ベース・レート（Rb）が選ばれる；ここで、「ベース・レート」という表現は、呈示された捕捉された入力ビデオ・フレームから決定された毎秒パルス数を表す；
次いで入力ビデオがRc/Rbに等しい長さのパルスに分割される。たとえば、Rc＝120fpsであり、ベース・レートが30fpsであれば、パルス長は（入力ビデオの）S＝4フレームである；
各パルスのフレームのうち一つのフレームの各領域について、最良のフレーム・レートを割り当てる。また、各パルスのそのような各領域についてエンコードされたデータのブロック（間引きされたピクセルのブロック）を決定する（各ブロックは、パルスのすべての入力ビデオ・フレームからの単独ピクセルのブレンドされたバージョン、またはパルスの単一の入力ビデオ・フレームからのピクセルのブレンドされたバージョン、またはパルスの二つ以上の入力ビデオ・フレームからのピクセルのブレンドされたバージョンを含んでいてもよい）；
間引きされたピクセルのブロックをパックしてパックされたフレーム（図９では「変換されパックされたサンプル」として同定されている）にして、パックされたフレームを、各パックされたフレームの各ブロックについての更新レートを同定するメタデータ（たとえば「最良レート」マップ）と一緒に出力する。パックされたフレームのあるブロックについての更新レートは典型的にはRc/Xに等しい。ここで、Xはそのブロックの間引きされたピクセル（単数または複数）を生成するためにピクセルが一緒にブレンドされた入力ビデオ・フレームの数である。各パックされたフレームは、パルスを表すサンプルのセットであり、パックされたフレームはベース・レートで出力される。
【００５６】
本発明の再構成アルゴリズムのある実施形態についての図９に示される高レベルの擬似コードは、以下のステップを含む：
各パックされたフレーム（もとの入力ビデオの各パルス）について、間引きされたピクセルのブロックがアンパックされて、各出力ビデオ・フレームの各空間領域に対応するブロック（またはブロックのセット）を決定する；
各パックされたフレームに応答して（フレーム・レートRcをもつ）S個の出力ビデオ・フレームのシーケンスを生成する。この出力ビデオ・フレーム・シーケンスの各空間領域について、アンパックされたブロック（またはアンパックされたブロックのアップサンプリングされたバージョン）のシーケンスが出力ビデオ・フレーム・シーケンスに含められる。より具体的には、シーケンス中の各出力ビデオ・フレームの各空間領域について：（パックされたフレームと一緒に提供される）メタデータが更新が必要とされていることを示す場合、関連する更新されたピクセル（更新されたアンパックされたブロックまたはアンパックされたブロックの更新されたアップサンプリングされたバージョン）が含められる；メタデータが更新は必要とされないことを示す場合には、その空間領域についての最後に（最も最近に）更新されたピクセルのセット（アンパックされたブロックまたはそのアップサンプリングされたバージョン）が含められる；
任意的に、次いで、（各出力ビデオ・フレームにおける）ブロック境界がなめらかにされる。
【００５７】
本発明に基づいて生成される圧縮されたビデオ・データは、コーデック（H.264またはMPEG2コーデックまたは他の従来式の動きベースのコーデック）を駆動するために使われることができる。そのような従来式のコーデックは、変化しない領域の更新をスキップする能力をもつが、複数のフレームの完全な詳細をエンコードしようとするのではなく合成的に動きぶれをもたせた領域を代用して次いでそれを二度以上使う決定をする能力はもたない。
【００５８】
より具体的に、領域Xにおいて急速な動きを示す四つの入力ビデオ・フレームのシーケンスがあるとする。従来式のコーデックは、四つすべてのフレームの復元を許容することに最も近づく仕方で領域Xにビットを割り当てるであろう。そのデータ・レートがエンコードが忠実であることを許容するのに不十分であるときは、復元された画像は悪く見えはじめ、より低いデータ・レートではますます悪くなるであろう。本発明者は、より少数の合成的に動きぶれを与えた領域をエンコードするほうが知覚的にはよりよいことがしばしばであることを認識するに至った。たとえば、パルス長S＝4の場合、「高動き」領域Xを四回送る（すなわち、四つのフレームのそれぞれについて一回）代わりに、本発明に基づき、動きぶれアルゴリズム（一般に利用可能な実施可能化技術）を使って四つの入力フレームを四つより少ないフレームにブレンドすることができる。（高動き領域Xを示すブレンドされたピクセルは、本発明に基づいて生成される圧縮された表現に含められることができる。）合成的な時間的にぼかされたデータは、従来式のコーデックにとって圧縮するのがより簡単であり、送るべきデータも少なくなる。結果はしばしば、合成動きぶれを加えない、もとのシーケンスの全フレームがエンコードされる力づくの方法より好ましい。
【００５９】
（本発明に基づいて圧縮される入力ビデオの）入力フレーム・レートは、本稿では、ベース・レート（入力ビデオ・フレームから本発明のエンコーダによって決定される毎秒パルス数）より高く、固定されたものとして記述されている。当業者には、次の意味で、これが必須ではないことは明らかであろう。空間的および／または時間的なアップサンプリング（たとえば補間）が入力ビデオに適用されて、（入力ビデオより高いデータ・レートおよび高いフレーム・レートをもつ）アップサンプリングされたビデオを生成することができ、次いで、アップサンプリングされたビデオに対して本発明の圧縮方法が実行されることができる。この場合、（圧縮を実行するために用いられる）ベース・レートは、もとの入力ビデオの（アップサンプリング前の）もとのフレーム・レートより大きくてもよい。
【００６０】
同様に、入力ビデオのフレーム・レートは固定である必要はない。中間の動きぶれを与えられたフレームを信頼できる形で補間するのに十分である限り、可変であってもよい。
【００６１】
（本発明に基づいて圧縮される）入力ビデオがそもそもフレームや規則的なピクセル・グリッドに編成されていないことさえ可能である。空間および時間両方において何らかの任意の仕方でサンプルが与えられることができ、本発明の方法は、与えられたレート上限について最適化された動きぶれを与えられたサンプルを生成するために使用できる。
【００６２】
次に、図１０〜図１９を参照しつつ、時間分解能のために空間分解能をトレードオフしてビデオを表すために必要とされるサンプル数を削減することによって入力ビデオの圧縮された表現を生成する、本発明の実施形態のクラスをより詳細に述べる。図１０は、このクラスの実施形態に基づく、エンコードおよび再構成を実装するエンド・ツー・エンドのビデオ・システムのブロック図である。
【００６３】
本クラスの実施形態では、本発明の圧縮方法は、入力ビデオを表すために使用できるサンプル数がもとのビデオのサンプル数のある割合に制限されるという制約を受ける。その割合は典型的には1/4または1/2である。たとえば、1/4の割合を課すと、本アルゴリズムの出力は、生フレーム・レートがたった60fpsであるビデオに対応するサンプル・レートを使って240fpsの入力ビデオを表すことになる。
【００６４】
我々は、入力ビデオ全体の空間時間的体積を局所的な空間的領域および局所的な時間的領域に分割する（入力ビデオの「パルス」および該パルスのパーティションを決定するため）。上記のサンプル・レート制約条件のもとで、我々は、時間的間引き、空間的間引きおよびビット深さ削減の組み合わせを使って、各パルスの各局所的空間時間的領域（時間および空間の両方において局所的である領域）内のサンプルの数（および／またはサンプル毎のビット数）を減らす。
【００６５】
図１０のパイプラインを通じて流れるビデオ・データの単位が「パルス」であり、図１０は入力データ３１の各パルスがどのように処理されるかを示している。本方法の図１０の実施形態の三つの主要な構成要素は、サンプル削減（図１０のブロック３２で実装される）、パッキング（図１０のブロック３４で実装される）および出力ビデオ・フレームの再構成（図１０のブロック３７で実装される）である。本方法は、ビデオが終わるまで次々にパルスを処理していく。
【００６６】
サンプル削減ブロック（または「段」）３２によって実装されるサンプル削減アルゴリズムは、入力ビデオ３１を、該入力ビデオをなすよりもより少数のサンプルおよび／またはサンプル当たりより少数のビットを使っていかにして表現するかを決める。入力ビデオは捕捉動作（ブロック３０によって表される）において生成され、圧縮は、入力ビデオ３１の同定された部分集合（入力パルス）に対して実行される。ブロック３２によって生成される各間引きされたパルス表現３３は、入力パルスより少数のサンプルおよび／またはサンプル当たりより少数のビットを含む、入力パルスの対応するものの圧縮された表現である。本アルゴリズムは、各局所的空間時間的領域について、空間分解能、時間分解能およびサンプル・ビット深さの間の最良のトレードオフを追求する。
【００６７】
パルス長は入力ビデオの継続時間にわたって一定であることができ、人間またはアルゴリズムによって決定されることができ、あるいはたとえば入力ビデオ中の動きの量またはディスプレイの最大フレーム・レートのようなさまざまな基準に基づいて動的であることができる。
【００６８】
典型的には、図１０のブロック３２および３４は、変換アルゴリズムが処理のために入力パルスの一つを記憶する記憶スペース（たとえばRAM内のメモリ・バッファ）を割り当てるプロセッサ（たとえば、適切にプログラムされた汎用コンピュータまたはデジタル信号プロセッサ・チップもしくはチップセットまたはマイクロプロセッサ・チップもしくはチップセット）によって実装される。入力パルスは、記憶スペースに入力ビデオ３１のフレーム（たとえば、捕捉ブロック３０を実装するビデオ・カメラによって生成されるフレーム）を入れることによって形成される。記憶スペース内のフレーム数はパルス長に等しい。各入力パルスは、ブロック３２において処理されて、その圧縮された表現を生成する。圧縮された表現は、図１０では間引きされたパルス３３として同定されている。各間引きされたパルス３３をなすサンプルは、ブロック３４で（圧縮された表現に含まれている少なくとも一つの分解能インデックス・マップを使って）パッキングを受けて、各間引きされたパルス３３に応答したパックされたフレーム３５を生成する。ひとたび入力パルス３１が処理され、結果として得られるパックされたフレーム３５が送達要素３６に（記憶および／またはたとえばネットワーク・チャネルを介した伝送のために）送られると、記憶スペースは、次の入力パルスを入れられるよう利用可能となる。
【００６９】
オブジェクトが動いているとき、人間の観察者は、場合によっては、動いているオブジェクトにおける空間的詳細またはビット深さの喪失には敏感でないが、ジャダー、ストロボ効果および／または動きぶれには敏感である。サンプル・レート制約条件のもとで、大きな絶対値の動きを含む局所的な空間領域の場合、より高い局所的な時間的更新レートを「あがなう」ために局所的な空間分解能およびビット深さを減らすことは、その局所的領域の知覚される品質を改善する。
【００７０】
他方、ビデオにおける静的な領域／低動き領域は高い時間的更新レートは必要としない。その場合、高い局所的な空間分解能を許容するために高い局所的な時間的更新レートを犠牲にすることは、より鮮鋭な領域を生成し、その局所的領域の知覚される品質を改善する。
【００７１】
ビデオは、中程度の大きさの動き内容を含むこともあり、場合によっては、上記両極端の中間のどこかにある空間／時間分解能の組み合わせを選択することによって、最良の知覚的品質が得られる。
【００７２】
別の場合には、高いフレーム・レートおよび高い空間分解能が必要とされるが、フル・ビット深さは必要とされないこともある。
【００７３】
サンプル・パッキング・ブロック（または「段」）３４は、各間引きされたパルス３３のサンプルを、柔軟性およびエンド・ツー・エンドのビデオ・チェーンの他の部分との互換性を目標とする諸フォーマットに「パッキングする」ことによって、各入力ビデオ・パルスの低減サンプル表現を生成する。
【００７４】
再構成ブロック（または「段」）３７は、低減サンプル表現（すなわち、要素３６によって与えられるそれぞれのパックされたフレーム３５のサンプル）をアップサンプリングしてビデオ再生（表示装置３９による表示を含む）のために必要とされるフル解像度フレームを生成する再構成アルゴリズムを実装する。ブロック３７は、それぞれのパックされたフレーム３５に応答して復元されたパルス３８を含むフル解像度フレームを出力する。ブロック３７は、プロセッサ（たとえば、適切にプログラムされた汎用コンピュータまたはデジタル信号プロセッサ・チップもしくはチップセットまたはマイクロプロセッサ・チップもしくはチップセット）によって実装されてもよい。
【００７５】
次に、時間および空間分解能のみをトレードオフし、サンプル・ビット深さはしない例示的な実施形態のコンテキストにおいて、上記三つの主要な構成要素（図１０のブロック３２、３４および３７）を記述する。
【００７６】
図１１は、図１０のサンプル削減段３２のある実施形態において実装される処理ステップおよびデータ・フローの図である。（捕捉ブロック３０からの）入力ビデオ３１に応答して、本発明の圧縮方法のブロック３２の分割段４０は、入力ビデオをパルス４１に分割し、各パルス４１を（後述する仕方で）空間的に分割する。分割された各パルス４１に応答して、間引き段４３は中間（ブレンド）フレーム４４のセットを生成する（これは図１１によって実装される圧縮アルゴリズムの出力の一つである）。補間段４５は、フレーム４４に対して補間を実行して、合成再構成パルス４６を生成する。コスト決定段４７は、フレーム４４のいくつかのデータ部分集合のそれぞれに付随するコストを（後述する仕方で）決定して、コスト・マップ４８を生成する。コスト・マップ４８に応答して、分解能インデックス・マップ計算段４９が、（各入力パルス４１について）少なくとも一つの分解能インデックス・マップ５０を、その出力として決定する。ある好ましい実装では、均等なパルス長をもつ諸パルスについて、本アルゴリズムは、二分の一パルスという概念を用いる。これは、入力ビデオの「前半」パルスと「後半」パルスへの「50/50分配」（パーティション）である。分割段４０は各パルスを二つのそのような二分の一パルスに分割し、段４９は各入力パルス４１の各二分の一パルスについて分解能インデックス・マップ５０を生成する（すなわち、各入力パルス４１について二つのマップ５０）。
【００７７】
入力ビデオはたとえば、RGBカラー画像のシーケンスであることができる。空間時間ドメインでは、入力ビデオ全体を、空間時間的体積内の規則的な3Dグリッド上に配置されたサンプルのセットとして考えることができる。分割段４０において、圧縮アルゴリズムの図１１の実施形態は、入力ビデオの各パルス４１（または各パルス４１の各二分の一パルス）をより小さなサンプル・セット（そのパルスまたは二分の一パルスの空間的パーティション）に分割する。各サンプル・セットは、四角柱の形をもつと考えることができる。各四角柱の長さは、入力ビデオ・フレームの単位でのパルス（または二分の一パルス）の長さであり、各四角柱の幅および奥行きは、パルスの一つのフレームの空間的パーティションの各空間的領域の水平方向および垂直方向のサイズである。より小さなサンプル・セットはみな互いに排反な集合であり（すなわち、該小さなセットの間に重なりがない）、それらのセットの和集合は大きなサンプル・セット（当該パルス）に等しい。よって、それらの小さなセットは大きなセットのパーティションをなす。
【００７８】
本アルゴリズムは、入力ビデオ・サンプルを時間的および空間的に分割する。時間的には、入力ビデオはパルス４１に（任意的にはパルス４１の二分の一パルスにも）分割される。先述したように、各パルスは、固定数の時間的に連続したフレームであり、パルス長は単一パルス内のフレーム数である。たとえば、時間インデックス1,2,…をもつフレームをもつ入力ビデオが与えられたとき、パルス・サイズ3を選ぶことができ、それはインデックス1,2,3をもつフレームからなる初期パルスを与える；次のパルスはインデックス4,5,6をもつフレームをもつ；などとなる。
【００７９】
ここで、「ベース・レート」は１秒当たりのパルス数を表す。
【００８０】
Rbase＝Rorig/Lpulse
ここで、Rbaseはベース・レートであり、Rorigは入力ビデオ３１のフレーム・レートであり、Lpulseはパルス長である。たとえば、72fpsの入力ビデオについて、パルス長3は、24パルス毎秒のベース・レートを与える。これは、図１１の実施形態によって生成される圧縮された表現が24fps入力ビデオと同じ単位時間当たりサンプル数を要求するということを意味する。
【００８１】
空間的には、分割段４０は各パルスを「四角柱」に分割する。好ましくは、領域サイズは、パルス長によって決定され、各領域はパルス長と同数のピクセルを含む。この設計は、ブロック・アーチファクトに起因する品質損失を減らすよう、領域サイズを最小にする。各領域は同じサイズである。領域は、パルス長が平方数である場合には正方形の領域（nかけるnピクセルのサイズ）であり、あるいは平方数でないパルス長については長方形である。たとえば、パルス長4について、領域サイズは2×2ピクセルであり、パルス長2については、領域サイズは1×2である（すなわち、1行2列）。
【００８２】
本アルゴリズムは、入力ビデオの各パルスに以下の処理ステップを適用する。典型的な実施形態では、各パルスは、独立して処理され、一つのパルスからの情報は別のパルスがどのように処理されるかに影響しない。
【００８３】
段４３は、各パルスに対して、パルス・サイズから決定される（1からパルス長までの）間引き因子のセットを使って、時間的および空間的間引き処理のセットを実行する。間引き因子値の間にはギャップがあってもよい。
【００８４】
入力パルスは、（段４３において）各間引き因子によって間引きされて、中間フレーム（本稿では時にブレンドされたフレームBiと称される）の諸セットを形成する。時間的ブレンド（間引き）について、関連する低域通過フィルタは、各フレームが同じ重みを帯びる、平坦な平均化フィルタであることができる。この時間的ブレンドは、カメラ・シャッターぶれの効果をシミュレートし、時間的サブサンプリング前の時間的エイリアシングを減らすのを助ける。二つ以上の入力ビデオ・フレームのピクセルの時間的ブレンドは、代替的には他の仕方で実装される。たとえば、他のコンテキストでビデオの時間的なブレンドを実行するために使われている多くの通常のフィルタの任意のものが使われる。
【００８５】
たとえば、高フレーム・レート映画館用途では、1,2,3の間引き因子を選んで、72fpsの入力ビデオを72,36および24fpsのフレーム・レートに対応する中間フレームの諸セットに間引いてもよい。あるいは、1,1.5,3の因子を選んで、72,48および24fpsに対応する中間フレームの諸セットを与えることもできる。24fpsのベース・レートを選ぶことは、24fpsビデオを扱うよう設計されている映画館設備への適合を提供する。あるいは3D映画館については48fpsである。同様に、放送アプリケーションのために30または60fps（またはPALについては50fps）のベース・レートを使って高フレーム・レート・ビデオを処理することを選ぶことができる。
【００８６】
サンプル・レート制約条件を強制するために、中間フレームに空間的間引きが適用される。空間的間引き因子は時間的間引き因子に反比例する。空間的間引き因子と時間的間引き因子の積は一定であり、パルス長に等しい。
【００８７】
MtimeMspace＝Lpulse
空間的間引きのためには、間引き段４３の一つの実装は、ランチョス２（すなわち、「サイズ」パラメータa＝2としたランチョス・フィルタ）を空間的低域通過フィルタとして使う。あるいはまた、双線形、双三次および他の補間フィルタおよび／または方法が使用されてもよい。
【００８８】
Biを、時間および／または空間において入力パルスがサブサンプリングされた後の中間フレームの諸セットを表すとする。ここで、iは、各セットについて空間的および時間的間引き因子の特定の組み合わせに関連付けられたインデックスである。インデックスiは時に分解能インデックスと、またはコンテキストが明らかな場合には単にインデックスと称される。iのより小さな値はより高い時間分解能に関連付けられ、iのより大きな値はより高い空間分解能に対応する。
【００８９】
図１２、図１３および図１４を参照するに、（1920×1080の入力ビデオの空間分解能において）240fpsの入力ビデオおよび60fpsのサンプル・レート予算を想定する次の例を考える。パルス・サイズ4を選んで、予算を満たすサンプルを生成する。パルス・サイズ4では、間引き因子1,2および4を選ぶことができ、それぞれフレーム・レート240,120および60fpsに関連付けられることのできる中間フレームの三つのセットを与える。各入力ビデオ・パルスのフレームは（図１２〜図１４に示されるように）F0、F1、F2およびF3と表される。
【００９０】
間引き段４３は、四つの中間フレームを含むよう「240fps」セット（B1）を生成する。このセットについては時間的ブレンドは必要ないが、サンプル・レートを一定に保つため、各中間フレームは因子4により空間的に間引きされる。換言すれば、各中間フレームの各2×2領域からの空間的サンプルが、（入力ビデオ・フレームの一つのフレームの2×2の局所的領域中および周囲のピクセルから決定される）単一のピクセル値を使って表現される。その結果は、図１２においてB1(t0)ないしB1(t3)で表される、四つの1/4分解能の中間フレームのセットである。ここで、t1ないしt3はタイムスタンプまたは時間インデックスを表し、B1の分解能インデックス「1」はこの特定の場合についての時間分解能と空間分解能の組み合わせを指定する。中間フレームはB1(t0)＝S(F0,2,2)、B1(t1)＝S(F1,2,2)、B1(t2)＝S(F2,2,2)、B1(t3)＝S(F3,2,2)であり、ここで、S(F,r,c)演算子の引数は次のとおり：Fは空間的に間引きされる入力ビデオ・パルスのフレーム（またはフレームのブレンド）を同定し、Fはr行c列の諸因子によって空間的に間引きされる。
【００９１】
間引き段４３は、因子2によって入力ビデオ・パルスを時間的に間引きすることによることを含め、二つの中間フレームを含むよう「120fps」セット（B2）を生成する。ある実装では、時間的ブレンドは、単に出力フレームごとに二つの入力ビデオ・フレームを平均することによってなされる。あるいはまた、入力ビデオ・フレームのピクセルを組み合わせる方法は、その代わりに、重み付けされた平均、フィルタ処理された組み合わせまたは複数のフレームを一つのフレームに組み合わせる他の方法を使うこともできる。空間的間引き因子も2である。ある実装では、段４３は、中間フレームの行だけを空間的に間引きする、つまり入力ビデオ・フレームの列数がセットB2内の各フレームの列数に一致する非等方な間引き方法を実装する。図１３に示されるように、セットB2の中間フレームは、B2(t0)＝S((F0+F1)/2,2,1)およびB2(t2)＝S((F2+F3)/2,2,1)である。
【００９２】
間引き段４３は、因子4によって入力ビデオを時間的に間引きすることにより、一つの中間フレームを含むよう「60fps」セット（B3）を生成する。このフレームは典型的には、他のフレーム・セットに比べて、非静的な入力フレームについて最大量の動きぶれを含む。ある実施形態では、入力ビデオ・フレームを組み合わせる方法は時間的平均化を使うが、その代わりに重み付けされた平均、フィルタ処理された組み合わせまたは他の方法を使うこともできる。時間的間引き因子がパルス長に等しいので、この場合は空間的間引きは必要とされない。図１４に示されるように、セットB3の中間フレームは、B3(t0)＝(F0+F1+F2+F3)/4である。
【００９３】
決定アルゴリズムが何らかの分解能トレードオフ決定をできる前に、段４７が各分解能オプションのコスト（たとえば、図１２〜図１４におけるBiの各セットのコスト）を計算する必要がある。ここで、コスト関数は入力ビデオに関して視覚的品質の喪失をモデル化する。
【００９４】
ある実装では、コスト関数は、もとのビデオのパルスのピクセル値と、図１１の間引き段４３で生成された中間フレーム「Bi」から合成されたパルスのピクセル値との間の差の絶対値の和である（「ピクセル値」の例は後述）。合成されたパルス（それぞれ入力パルスと同数のフレームを含む）は（図１１の段４５において）次のように生成される。所与の分解能インデックス値iについての中間フレーム・セットについての合成されたパルスは：
各フレームBiを（たとえばランチョス２フィルタまたは他の型の補間フィルタを使って）もとの空間分解能まで空間的に補間（アップサンプリング）する段階と；
フレームBiの数がパルス長より小さければ、欠けているフレームを埋めるためにフレームを反復する段階と
によって生成される。
【００９５】
たとえば、図１３に示されるフレームB2(t0)およびB2(t2)からパルスを合成するためには、まず、それぞれB2(t0)およびB2(t2)を1920×1080の分解能まで補間した結果であるアップサンプリングされたフレームB2'(t0)およびB2'(t2)を生成する。次いで、B2'(t1)をB2'(t0)のコピーとして、B2'(t3)をB2'(t2)のコピーとして作成する。換言すれば、（時間コードt0およびt2に関連付けられた）たった二フレームから出発したので、時間コードt1およびt3についての「欠けている」合成されたフレームを、t0およびt2の合成されたフレームを繰り返すことによって作成するのである。
【００９６】
各分解能インデックス値について、ひとたびパルスを合成したら（図１１のパルス４６）、段４７は合成されたパルスのピクセル値と入力ビデオ・パルス４１の対応するピクセル値との間のサンプルごとの差の絶対値である差分パルスを計算する。次いで、段４７は各二分の一パルス内で時間的に差分パルスを平均し、その結果を各空間的領域内の空間にわたって合計する。その結果が、コスト値の諸セット（図１１の諸コスト・マップ４８）である。各コスト・マップは、異なる分解能インデックスについてのもので、各コスト・マップは、入力パルス４１の各二分の一パルス内の各空間的領域について一つのコスト値からなる。
【００９７】
コスト値の諸セットは、任意的に、知覚されるぼけの量のをモデル化する視覚的品質メトリックを使って洗練されることができる。
【００９８】
一つの実装は、コスト値を生成するために使われる（入力パルスおよび対応する合成されたパルスの各フレームの各ピクセルの）ピクセル値として、ルーマを使う。ルーマは、入力パルスおよび対応する合成されたパルスの各ピクセルのR、GおよびB色成分の線形結合として計算される。コスト値を生成するために用いられるピクセル値の他の選択は、次のものを含む：
（１）単一の色帯域（たとえば、ピクセル値は関連するパルスの各ピクセルの緑または「G」色成分である）；
（２）コスト関数は、上記の同じメトリックを使ってR、GおよびB色成分について別個に計算され、三つのコスト関数が次いで、L1ノルム、L2ノルム、L無限大ノルムまたは他のノルムもしくは方法を使ってスカラー・コスト関数に組み合わされる；
（３）上記（２）と同じだが、局所的な水平および垂直方向オプティック・フロー推定をも含む。
【００９９】
段４９において実装される決定アルゴリズムは、諸分解能トレードオフ点にわたっての（入力パルス４１の各二分の一パルスにおける各空間的領域内の）最低コストを選ぶ（すなわち、当該二分の一パルスの当該空間的領域について最低のコスト値を与える分解能インデックスiを決定する）。任意的に、コスト値が決定アルゴリズムに入力される前に、コスト値は重み付け方式（たとえば次段落で述べるもの）を使って調整されることができる。
【０１００】
ある好ましい実施形態では、パラメータ（分解能バイアス）がコスト値の間の相対的な重み付けを制御する。ここで、重みは分解能インデックスiの関数として次のように変化する。
【０１０１】
【数１】
2014522600.tif 000003
ここで、Wは分解能インデックスiについての重みであり、bはバイアス・パラメータであり、imaxは分解能インデックスについての許容される最高値である。重みは、その値がすべてのパルス中のすべての領域について同じであるという意味でグローバルである。b＝0のときは、どのコストも修正されない。bが正の値に設定されると、より高い空間分解能についてのコストがより大きなペナルティを与えられる。つまり、b＞0を選ぶことは、高い時間分解能を優先する。同様に、bの負の値は、より高い時間分解能により大きなペナルティを与え、高い空間分解能を優先するようコストにバイアスをかける。
【０１０２】
バイアス重み付けが適用されたのち、決定アルゴリズムは、各二分の一パルス内の各領域について最低コストに関連付けられた分解能インデックスを選択する。これは、（任意的な洗練ステップ後、）各二分の一パルスに関連付けられた二分の一パルス・マップ５０を決定する。二つのマップ５０のそれぞれは、値が分解能インデックス値である「ピクセル」を含む。そのような各値が、二分の一パルスの空間時間体積内の空間的な領域に関連付けられる。
【０１０３】
二分の一パルス構造は、時間分解能に対して空間分解能をトレードオフするとき、決定アルゴリズムに、より細かい時間的粒度を与える。その恩恵は、領域の動き内容がパルス中央またはパルス中央付近で有意に変化する場合には明白である。より多くの動きを含む二分の一パルスにおいては、アルゴリズムは、動きぶれを減らすため、急速に変化するピクセル値のセットをよりよく捕捉するために、より高い時間分解能を選択することができる。一方、他方の二分の一パルスにおいては、アルゴリズムは、空間的鮮鋭さを増すようより高い空間分解能を選択することができる。
【０１０４】
サンプル・レート制約条件のため、アルゴリズムは、ある領域が一方の二分の一パルスにおいてフル空間分解能（「フルSR」）を、他方の二分の一パルスにおいて異なる（非フルSR）空間分解能をもつ場合について検査する。ある領域についてフルSRを選ぶことは、そのパルス全体についてその領域についてのサンプル割り当て全体を消費するので、そのパルスの間はフルSR領域へのさらなる時間的更新は許容できない。サンプル割り当てを実施するために、アルゴリズムは、各二分の一パルスにおける非フルSR分解能の最小コストの平均に対して、パルス全体についてフルSRを選ぶことのコストを比較する。
【０１０５】
【数２】
2014522600.tif 000004
上記が真であれば、それは、アルゴリズムが、（パルス全体についての）フルSR領域のほうが、個々の二分の一パルスについての（より低い空間分解能をもつ）二つの表現よりもよい品質表現であると判定したことを意味する。この場合、両方の二分の一パルスにおけるその領域についてのインデックスは、パルス全体について領域内の「フルSR」を示すようimaxに設定される。
【０１０６】
各インデックス・マップ５０は、非常に異なる空間的に隣接するインデックス値を含んでいてもよい。たとえば、あるインデックスがフルSRを指示し、一方でその近隣インデックス（単数または複数）が1/4SRまたは1/8SRのような低いSRを指示することもある。そのような「インデックス不連続」はたとえば、ルーマにおいてかなり一様なオブジェクトがテクスチャーのある背景を横断して動くときに生じる。そのようなマップが再構成において使われると、結果として生じる分解能不連続が視覚的に不快なものとなり、視覚的に不快な時間的アーチファクトをも生ずる。
【０１０７】
再構成されたビデオにおけるそのようなアーチファクトの深刻さを軽減するため、好ましい実施形態は、線形フィルタ処理、メジアン・フィルタ処理、量子化および形態学的演算（morphological  operations）の処理の一つまたは複数を使って候補となる二分の一パルス・マップを洗練する（それにより段４９から出力される二分の一パルス・マップ５０を生成する）。平滑化により、所与のマップ位置において二分の一パルス・マップがフルSRインデックスをもち、その一方、他方の二分の一パルス・マップがより低いインデックスをもつよう、インデックス値をシフトさせることができる。よって、平滑化後は、典型的な実施形態は平滑化されたフルSRインデックス・マップを、当該パルスの両方の二分の一パルスについて用いる。
【０１０８】
最終的な二分の一パルス・マップ５０が生成されたのち、それらのマップは、同じ入力パルスに応答して生成されたブレンドされたフレーム４４とともに使用され、各パックされたフレーム３５を生成する（図１５に示されるように）。各パックされたフレーム３５は、ビデオ送達パイプラインにおけるある種の経路に沿った記憶および／または転送のための、入力ビデオ・パルスのサンプル削減した表現である。
【０１０９】
パッキング段３４の図１５の実施形態によって実装されるパッキング・アルゴリズムは、決定アルゴリズムによって（各入力パルスに応答して）生成された最終的な二分の一パルス・マップ５０を使って、同じ入力パルスに応答して（図１１の段４３において）生成される中間（ブレンドされた）フレーム・セットBiからのサンプルを、当該入力パルスを表す単一の「パックされた」フル分解能フレーム３５にコピーする。パックされたフレーム３５の各領域は、マップ内容に関わりなく同数のサンプルを含む。
【０１１０】
あるパッキング方式では、（マップ５０の一つによって同定される）それぞれのフル空間分解能（SR）領域について、ブレンドされたフレームB3(t0)の対応するピクセルが「そのまま」（図１６に示されるように）パックされたフレーム３５の対応する領域中にコピーされる。（両方の二分の一パルスについてのマップ５０によって同定される）それぞれの二分の一空間分解能領域について、パッキング・アルゴリズムはブレンドされたフレームB2(t0)および／またはブレンドされたフレームB2(t2)の対応するピクセルを、パックされたフレーム３５における空間的に隣接する位置にコピーして、単一のパックされた領域を生成する。同様のパッキング規則が、好ましくは、他の低下した空間分解能をもつブレンドされたフレーム・データに適用される。
【０１１１】
ある領域が各二分の一パルス・マップにおいて異なるインデックスをもつ場合、パッキングはやや異なる仕方で行われる。たとえば、（第一の二分の一パルスについてマップ５０によって同定される）二分の一分解能領域および（第二の二分の一パルスについてマップ５０によって同定される）二つの四分の一分解能領域について、ブレンドされたフレームB2(t0)の対応するピクセルは、ブレンドされたフレームB1(t2)およびB1(t3)の対応するピクセルに空間的に隣接して置かれて、図１６に示されるようなパックされたフレームにおける単一の領域を形成することができる。
【０１１２】
図１７は、図１５を参照して記述されるフレーム・パッキング・プロセスを適用して、中間フレーム（Bi）および二つの二分の一パルス分解能インデックス・マップを含む（入力ビデオ・パルスの）圧縮された表現からパックされたフレームを決定した結果を示している。圧縮された表現は、合成された（間引きされた）パルスであると考えられることができ、パッキング・プロセスは、各二分の一パルスについての分解能インデックス・マップによって指令されるように、合成されたパルスからサンプルをコピーすることによってパックされたフレームを生成する。
【０１１３】
図１８は、図１０の再構成段３７のある実施形態において実装される処理ステップおよびデータ・フローの図である。再構成は、単一のパックされたフレーム３５に応答してフル分解能パルス３８を生成する。
【０１１４】
第一に、（図１８の段５１において）パックされたフレームがアンパックされる。概念的にいうと、各領域は、そのサンプルを、Lpulse個のフル分解能フレームを保持するのに十分な大きさのメモリ・バッファであるパルス作業空間中にコピーすることによってアンパックされる（Lpulseはパルス長）。この時点では、パルス作業空間がサンプル５２のセットを保持する。サンプル５２は、（図１９に示される例示的な疎なパルス・データ・ブロック５２のような）空間分解能および時間分解能において不均一なサンプルの「パッチ」からなる疎なパルス・データ・ブロックである。
【０１１５】
二分の一パルス分解能インデックス・マップ５０が、パックされたフレームからのパルス５２を疎なパルス作業空間の正しい領域中のどこにコピーするかを決定するために使われる。
【０１１６】
疎なパルス５２からフル分解能パルス３８を再構成するために、補間（分解能インデックス・マップ５０に応答して図１８の段５３によって実装される）が必要とされる。時間的補間は、パルス５２のサンプルを反復することによってなされる一方、空間的補間は、逐次反復的な分解能洗練方法を使ってなされる（後述する「ボトムアップ」式分解能洗練方法）。
【０１１７】
時間的補間の一例は、（図１４を参照して述べた）中間フレームB3(t0)の関連するピクセルをパルス作業空間のフレーム0内のある領域にコピーし、次いで、同ピクセルを作業空間のフレーム１、２および３のそれぞれにおける対応する空間位置にコピーすることである。B3(t0)は、再構成されるパルスの間変化しないフル空間分解能領域だからである。今の例では、中間フレームB2(t0)の関連するピクセルは、フレーム0内の対応する空間位置にコピーされ、次いでフレーム1内の対応する空間領域内にコピーされる。それらは、第一の二分の一パルスの間一定だからである。中間フレームB1(t2)およびB1(t3)の関連するピクセルは、それぞれフレーム2および3内の対応する空間位置にコピーされ、これらのピクセルのいずれもさらにコピーされる必要はない。これらのピクセルはすでにフル・フレーム・レートで更新されているからである。このプロセスは、パックされたフレーム中のすべての領域に適用される。
【０１１８】
時間的補間後、すでにフル空間分解能になっているのでない領域は、完全なフレームを与えるために空間的に補間される必要がある。この空間的補間プロセスについて次に述べる。
【０１１９】
各フレームは、最低空間分解能領域で始まり最高空間分解能領域で終わる逐次反復手順を使って補間される。各反復工程において、最低分解能領域は、補間フィルタを使って、次の、より高い分解能に補間される。すでに目標分解能以上である領域はその反復工程の間、修正されない。ある反復工程において補間されるブロックは、次の反復工程の際に再び処理される。これは、より高い分解能のブロックが、各反復工程の間に、より低い分解能のブロックの再構成に影響することを許容する。それにより、低分解能ブロックが漸進的に洗練される。
【０１２０】
分解能洗練後、ブロック・アーチファクトがいまだフレームに存在していることがある。再構成アルゴリズムは任意的に、ブロック・ノイズを減らすために、ブロック・アーチファクト・メトリックおよびブロック除去フィルタを適用する。ブロック除去は、図１８の補間段５３の間に実装される（もしされるとしたら）。
【０１２１】
次に、本発明に従ってフル分解能ビデオの再構成を実装するために必要とされるメタデータを提供する代替的な方法について述べる。上記で説明したように、（本発明に基づいて生成される入力ビデオの）圧縮された表現と一緒にまたは該圧縮された表現の中に、各空間領域にどの時間的更新レートが割り当てられているかを示すメタデータを含める必要がある。これは、各領域についていくつかのビットを（たとえばインデックス・マップにおいて）送ることによってストレートな仕方でできる。ただし、しばしば、そのようなメタデータの量を減らすほうがよい。
【０１２２】
メタデータの量を減らす一つの方法は、（メタデータを示すビットストリームにおける）遷移数に上限を課し、一定の低いデータ・レートを達成するために可逆的圧縮を使うことである。これは、自然に現れるシーンに関係するマップにおいては内在的な整合性があるために、うまく機能する。高いマップ複雑さをもつビデオは典型的には、人間の視覚系に知覚可能でない動きを含意する。高いマップ複雑さは、視覚系がSPEMによりなめらかに追跡するのが難しい、よりカオス的な動きおよび明滅する領域に対応する。
【０１２３】
さらにもう一つの方法は、遷移コードとしてある種のピクセル値を指定することによって圧縮された表現内に時間的な更新レート遷移信号を埋め込むことである。そのような値をもつピクセルは、実際のピクセル・データについては許容されず、たまたま遷移点にあるピクセルは画像データとしては使われず、マップ信号として使われる。これは、上限を課されたデータ・レートを厳密に維持するという利点がある。低下した画像データ容量の点でわずかな、だが耐えられる代償がある（繰り返すが、マップは問題が生じるほど頻繁には遷移しない）。
【０１２４】
本発明に基づいて生成される「生の」パックされたフレームおよび圧縮されていないレートの遷移マップをサポートするには最大データ・レートが低すぎるビデオ・システムでは、パックされたフレームおよび／またはマップが圧縮されることができる。圧縮コーデックが不可逆である場合には、パックされたフレームおよびマップは典型的には、不可逆コーデックにより引き起こされるデータ損失の効果を緩和するために前処理される必要がある。そのような前処理の目標は、（再構成後に）表示される出力ビデオにおける品質損失の量を軽減することである。
【０１２５】
出力ビデオにおける視覚的に不快なアーチファクトの一つの源は、パックされたフレームとその関連付けられたマップとの中の一つまたは複数の値の間のミスマッチである。不可逆圧縮は両方のデータ・セットにおいて誤りを生じ、誤りがミスマッチを引き起こすとき、結果は、きわめて目につくものとなることがある。たとえば、最大空間分解能を示すマップ値をもつ特定の領域と、パックされたフレームにおけるピクセル値の最大空間分解能セットの関連付けられたセットが与えられるとき、マップ値が不可逆コーデックによって最小空間分解能だが最大更新レートを示す値に変えられたら、再構成アルゴリズムはひどい誤りのある出力サンプルを生成することになる。フル分解能領域の個々のピクセル値に空間的アップサンプリングを適用してそれを時間シーケンスとしてレンダリングするが、これは一度フル分解能領域をレンダリングしてそれをパルス全体にわたって静的なままにしておくのとは非常に異なるからである。
【０１２６】
パックされたフレームと分解能マップとの間のそのようなミスマッチを回避するための鍵は、パックされたフレームおよび分解能マップを（表示されるべきビデオの再構成のために）クライアントに送る前に、サーバー側で（すなわちパックされたフレームおよび分解能マップが生成される点で）マッチングを実施することである。サーバーは、初期分解能マップを生成し、次いでそれを圧縮し（伝送される圧縮されたマップの圧縮解除の際にクライアントが見ることになるのと同じ誤りを導入する）、圧縮解除し、次いで「壊れた」分解能マップを使ってパックされたフレームに入れるサンプルを選択することができる。こうすれば、パックされたフレームのサンプルは、クライアント側で、厳密に、圧縮されていないマップにマッチする。
【０１２７】
不可逆圧縮によって引き起こされるデータ損失の効果を緩和するために、パックされたフレームおよびマップは不可逆圧縮前に前処理されることができる。それでもデータ損失は一般に、データを前処理する際に何らかのデータ破損を引き起こすので、圧縮解除されたデータに対してなされる後処理が、圧縮によって導入されたアーチファクトを補償することができる。前処理および後処理方法の設計は、起こりそうなアーチファクトの型の知識によって案内されることができ、個別の各コーデックについて最適化されることができる。
【０１２８】
動きベースのコーデックでは、本機構は、動きベクトル信号伝達と似たようなものに見えることができ、あるいは動きベクトル信号伝達と組み合わされることができる。
【０１２９】
単にコーデック（たとえばH.264エンコーダ）を使って、パックされたフレームを直接エンコードすることも可能であるが、この直接的な方法は典型的には、ディスク・システム（たとえばブルーレイ）で見られるような高ビット・レートについてのみうまく機能する。放送、ケーブルまたはIPを通じた送達のためには、Bフレームとしてエンコードされたパックされたフレームは、なめらかな動き再構成を提供するための十分な情報を欠くことがある。この場合、制御された仕方でパックされたデータの一部をスケーラブルな仕方で伝送するために拡張（たとえばSVC）を使うほうがよい。こうして、より高いフレーム・レートを送る力づくの方法を用いるのではなく、スケーラブルな方法を使用して、基本層（たとえば、入力ビデオから従来式の仕方で生成されるもの）を、本発明に基づいて生成される「動きぶれを意識する」向上データでエレガントに増強する。
【０１３０】
先述したように、パックされたフレーム（および対応するメタデータ）のシーケンスは、本発明に基づいて入力ビデオの圧縮された表現を実装する一つの仕方である。あるいはまた、入力ビデオ、パックされたフレームおよびメタデータは、送達されることのできる、向上層と一緒の基本層から構成される表現を生成するために使われることができる。向上層自身が、スケーラビリティを許容するためにサブ層からなる階層構造を有していてもよい。
【０１３１】
基本層は、ベース・レートでビデオとして表示されることができるという意味で「自己完結」なフレームのシーケンスであることができる。基本層が十分低いフレーム・レート（基本層のフレーム・レートは、パックされたフレーム表現のパルス・レートと類似する）、たとえば30fpsをもつ場合には、基本層はレガシー・システム上で再生できる。この場合、向上層（単数または複数）は、レガシー・システムが該向上層を無視して基本層のみを再生する（表示する）ような仕方で（たとえばメタデータとして）、レガシー・システムに呈示されるべきである。
【０１３２】
基本層は、ブレンド（間引き）方法によって制御される動きぶれの量および型を用いて入力ビデオを間引きすることによって、入力ビデオから導出されることができる。たとえば、間引き方法が時間的フィルタを用いる場合、フィルタは、小さなシャッター角度（たとえば単位インパルスをフィルタとして使うことによって）または大きなシャッター角度（たとえば長いボックス・フィルタを使うことによって）または中間の任意のシャッター角度に起因する動きぶれを合成するよう設計されることができる。重み付けされた平均化、ランチョス・フィルタリング、他の線形フィルタ、非線形フィルタおよび非線形処理を含むがこれに限られない他の仕方のブレンドも可能である。
【０１３３】
また、個々の入力フレームにおける動きぶれが、時間的鮮鋭化フィルタおよび他の動きぶれ除去方法の使用を通じて軽減または除去されることができる。
【０１３４】
向上層のピクセルは単に、基本層と、本発明に基づいて入力ビデオから生成されたパックされたフレームのピクセルの間の算術的な差であってもよい（すなわち、向上層の各フレームは、基本層のフレームとパックされたフレームの対応するフレームとのピクセルの間の差を示す差分値からなることができる）。
【０１３５】
向上層は、より高い変化レートを示す領域についてより高い更新レートを提供し、結果としてより高い時間的忠実度を与えることによって、再構成される出力ビデオの品質を改善するために使われることができる。ある例示的な実施形態では、向上層からのデータは、出力ビデオの再構成の間に、次の方法の一つまたは複数を使って基本層を向上させるために使われる。
・置換：アルゴリズムは、向上層データによって、特定の局所的な空間時間的領域内の基本層データを上書きする。この方法では、基本層データは本質的には破棄される。
・修復：アルゴリズムは、向上層データを、特定の局所的な空間時間的領域における残差または基本層データに対する他の修正効果として適用する。基本層は部分的に保持される。
置換および修復法の任意の組み合わせも、領域ごとに適用できる。
【０１３６】
本発明の圧縮方法は、ユーザー選択されたシャッター角度およびユーザー制御可能な審美的原理と両立できる。24〜60fpsの現在の低いフレーム・レートでは、映画撮影技師は、動いている感覚がほぼ常に維持されるよう、ショットにおける動きの速度を制限するよう非常に慎重になる必要がある。見る者が映画館の低いフレーム・レートになじんでいるため、動きぶれのいくつかの形は劇的な内容に関連付けられており、芸術的および商業的な両方の理由のため、保持することが重要と考えられる「フィルムのような見え方」という概念が生じている。
【０１３７】
さらに、シャッター角度選択は、芸術的な効果のために使われることができる。シャッター角度は、各時間枠のうち、光センサーが光を収集することが許される割合である。シャッター角度が角度として表されるのは、一部の角度を素通しにして残りの部分を不透明にした回転円板として機械的なシャッターが実現できるからである。上述したように、見る者に呼び起こす感覚のため、結果として生じるストロボ効果にもかかわらず短いシャッター角度が使われることがある。デジタル・カメラのコンテキストでは、「シャッター・デューティー・サイクル」または「シャッター露出割合」といった用語が代わりに使われてもよい。本明細書は「シャッター角度」という表現を使っているが、本発明は、デジタル技術およびフィルム技術両方を含む応用をもつ。
【０１３８】
本発明の方法は、フィルムのような見え方の維持をサポートしつつ、スピード制限の緩和を許容することができる。これは、所定の閾値を破るまで諸領域についてより低い時間的更新レートを選ぶよう（本発明に基づく圧縮の間の）選択アルゴリズムにバイアスをかけることによってなされる。これを映画撮影技師のハンドブックにマッチするよう設定することによって、伝統的に許容可能なスピードを超える動きを許容しつつ、フィルムの見え方が保持される。
【０１３９】
シャッター角度についてと同様に、ユーザーは、所望されるシャッターに従って合成動きぶれが設定されるよう、変換アルゴリズムを制御することができる。各領域の更新レート選択は、パンおよびオブジェクトのより大きなスピードを許容するにもかかわらず、ストロボ効果の所望される量をちょうど許容するようバイアスをかけられることができる。
【０１４０】
変換アルゴリズムおよび再構成アルゴリズムは一緒に定義されるので、再構成側が追加的な計算を許容できるのであれば、変換側でますます洗練された仕方でサンプルを編成することも可能である。一つのそのような方法は、サンプルが超分解能（super-resolution）を介して再構成されることができるよう（入力ビデオの本発明の圧縮された表現の）サンプルを編成するものである。より具体的には、ごくわずかに異なる位置から撮影された同じシーンの画像のシーケンスが、個々のフレームのどれよりも高い分解能をもつ画像を生成するために使用できることはよく知られている。
【０１４１】
圧縮されるべき入力ビデオは典型的には、始めに、高い空間分解能をもつので、もとのビデオ（またはその近い近似）の再構成が超分解能方法を使って可能となるよう、合成的な仕方で（入力ビデオの）本発明の圧縮された表現に含まれるサンプルに摂動を加えることができる。
【０１４２】
たとえば、120fpsのもとのレートおよび30fpsのベース・レートであり、よってパルス長は4であるとする。ここで、1/4の空間分可能でではあるが120fpsのレートを保証するのに十分な動きをもつ領域を考える。当該パルスにおいて、その領域は四回送られる。四回全部についてその領域における厳密に同じ位置からのサンプルを送る必要はない。我々のフル分解能オリジナルにおける追加的なデータを使って、わずかに、だが既知の仕方でそれぞれに摂動を与え、それにより値を設定することができる。すると、再構成アルゴリズムは、標準的な超分解能を使って、普通に得られるはずよりも知覚できるほど多くの情報を復元することができる。
【０１４３】
入力ビデオの捕捉／生成時点での（本発明に基づく）圧縮と、表示の時点での（本発明に基づく）再構成との使用に言及した。また、圧縮および再構成がコーデック枠組みとの関連でまたはコーデック枠組み内でどのように使用されることができるかも述べた。
【０１４４】
あるいはまた、本発明の方法の両端（圧縮および再構成）は、ポストプロダクション・フローの際に使われることもできる。ビデオまたは映画画像シーケンスに対するポスト・プロダクション・サービスを実行する多くの施設は、HDMIのような標準と同様のHD-SDIのようなケーブル接続を使ってそれを行う。本発明の方法は、たとえデータがローカルに表示することなく使われるときでも、そのようなリンクを通じてより高いフレーム・レートのコンテンツを送るために使われることができる。
【０１４５】
さらに、消費者側では、再構成は、セットトップボックスにおいて行われてもよく、結果はHDMIを通じて出荷されてもよい。あるいは、再構成はテレビ自身の内部での最終的な諸段階の一つとして行われてもよい。それぞれの場合において、これは、ボックス間のケーブルであれチップ間のバスであれ、あるコンポーネントから別のコンポーネントへの接続の必要とされる容量を減らすという利点がある。
【０１４６】
端的に言うと、本発明に基づく圧縮（変換）は、カメラ内部での前処理とともに含められる、あるいはポストプロダクションまたは放送チェーンの前面もしくは該チェーンの終端においてコンテンツに対して実行されることができる。H.264またはJPEG2000と同様の圧縮エンジンより前にまたはそのような圧縮エンジンと関連して使われることもでき、よって映画上映ホールやセットトップボックス、テレビ・チューナー、ケーブル・セットトップボックスもしくはインターネット接続を備えた家庭へのコンテンツの送達において利点を提供するのに好適である。家庭内では、機能に合ったコンテンツを受信するよう高いフレーム・レートのパネル（前記パネルが典型的に、時間的レートを上方変換する貧弱な機能を発揮する回路をもつときの今日の状況に比べて高い）を可能にすることによって、改善された表示が容易にされる。
【０１４７】
パックされたフレームに複数の更新レートを含めることは、本発明の方法の実施形態を、適応的なストリーミングを可能にするために理想的にする。インターネットを通じてコンテンツを送達するとき、ネットワーク条件が変化し、高速だった仮想接続が遅くなったり、その逆が生じたりすることがしばしばである。オンザフライで送達条件にビデオ品質をマッチさせることが一般的な慣行であり、これは適応的ストリーミングとして知られている。ネットフリックスのようなサービスとの再生セッションの間に、ビデオが一時停止して、メッセージがビットレートが必要に応じて調整されているところであることを示すことがあるのは普通に経験されることである。
【０１４８】
本発明の実施形態は、出発点となる高度に前処理されたベースを、オンザフライ・エンコーダに提供することができる。すなわち、時間的情報が、ネットワーク条件が理想的であるときに変換アルゴリズムによってパックされたものとして送られることができ、あるいはサーバーによってアンパックされ、ブレンドされて、はるかベース・レートまでのより低いフレーム・レートを与えることができ、次いでクライアントに送られることができる。ブレンドは、サンプルの数を減らし、よってより低いフレーム・レートを提供する。変換ステップを前もって済ませておくことによって、エンコードおよび変動するネットワーク条件に適応するためのフレーム・レート間の切り換えが、ずっと効率的になることができる。
【０１４９】
本発明の諸実施形態は、トリック・モードを実装するために使われることもできる。トリック・モードは、（ローカルな）DVDプレーヤーが制御される仕方と同様に、ネットワーク・ビデオ・ストリームを視聴するユーザーに提供される、ユーザーがビデオの再生を制御できるようにする機能である。機能は、一時停止、ビデオにおけるより早いもしくは遅いフレームへのジャンプ、スロー／通常／高速先送り、スロー／通常／高速巻き戻し、一フレーム前／後に進むなどを含む。
【０１５０】
ユーザーがモードを変えるとき、サーバーは新たなモードに適応しなければならず、適応的ストリーミングにおいて本発明によってもたらされる利点は、新たなトリック・モードに適応することにおいても、エンコーダにさらなる効率を提供する。
【０１５１】
たとえば、ユーザーがビデオにおける新しい時間位置にジャンプすることを選ぶとき、クライアント上のいかなるキャッシュされたフレームも無効になる；ジャンプ後にビデオ再生を再開することにおける遅延を最小にし、新しいフレーム・キャッシュをできるだけ迅速にクライアント上で構築するために、サーバーは最初、より低いデータ・レートのストリームを送るであろう。
【０１５２】
もう一つの例として、本発明の方法のある実施形態を使うサーバーが30fpsのベース・レートをもつパックされたフレームをもつ120fpsのビデオを含むとし、サーバーが30fpsの最大ビデオ・レンダリング・レートに制限されたレガシー・クライアントをもつとする。通常再生の間、サーバーは30fps基本層を送る必要があるだけであるが、1/4速のスロー巻き戻し（rewind）および1/4速のスロー早送り（forward）のトリック・モードの間、サーバーはビデオ・ストリームの120fpsバージョンを送るが、エンコードされたフレームを1/4のビット・レートで送る（すなわち、通常スピードでビデオを視聴する120fps対応クライアントに当該ビデオを送るのに必要とされるビット・レートの1/4）。よって、レガシー・クライアントは、いまだ、30fpsストリームを受信し、ユーザーは、我々の方法なしの場合にエンド・ユーザーに対して表示されるであろう7.5fpsビデオではなく、なめらかな動きをもつ1/4速のビデオを経験する。
【０１５３】
本発明の諸実施形態を、インター符号化されたフレームとインターリーブされたイントラ符号化されたフレームを生成するコーデックとの関連で使うために、パルス長およびイントラ符号化されたフレームの（フレーム単位での）間隔は、一方が他方の整数倍となるよう選ぶことができる。
【０１５４】
ビデオが向上層と組み合わされた基本層として表現されるとき、非理想的なネットワーク条件またはトリック・モードにおける変更のためにクライアント・キャッシュが少なくなるまたは無効にされるときはいつでも、エンコーダは、基本層または基本層のデータ・レート削減バージョンだけを送ることができ、その後、条件が改善されるにつれて、向上層データが「キャッチアップ」して、よりよい品質の出力ビデオおよびさらなる堅牢性を提供するキャッシュされたフレームのより大きなセットを提供することができる。
【０１５５】
より長期にわたって条件が非理想的である場合には、システムは、向上層データに対して基本層データについて、どのくらいの帯域幅およびクライアント側フレーム・キャッシュを割り当てるべきかを適応的に調整することができる。基本層データが送られ、さらに先まで（あるいは、トリック・モードが巻き戻しモードまたは戻る方向のジャンプである場合には前まで）キャッシュされて、さらなる再生堅牢性を提供してもよい。一方、向上層データは、状況がより低い優先度を許容する際に送られる。
【０１５６】
本発明の他の側面は、本発明の圧縮および／または再構成方法の任意の実施形態を実行するよう構成されたプロセッサ、本発明の圧縮方法の任意の実施形態を実行するよう構成されたエンコーダ、本発明の再構成方法の任意の実施形態を実行するよう構成されたビデオ再構成システム、そのようなプロセッサと、（本発明に基づいて圧縮されるべき）入力ビデオを生成するための捕捉サブシステム、本発明に基づいて生成される入力ビデオの圧縮された表現（たとえばパックされたフレーム）を記憶および／または伝送するよう構成された送達サブシステムおよび本発明に基づいて、圧縮されたビデオを再構成することによって生成される出力ビデオを表示するための表示サブシステムの一つまたは複数とを含むシステムである。たとえば、図１０の実施形態を実行するよう構成されたシステムは、捕捉動作３０を実装するよう構成されたカメラ（または他のビデオ源）と、ビデオ源の出力に対して圧縮（方法段３２および３４を含む）を実行するよう構成されたプロセッサと、送達段３６を実装する送達サブシステムと、送達サブシステムから受信される圧縮されたビデオ・データに対して再構成（方法段３７）を実行するよう構成された（たとえばセットトップボックス内で実装される）第二のプロセッサと、第二のプロセッサから出力される再構成されたフレームを表示するよう結合および構成された表示装置３９とを含む。
【０１５７】
任意的に、前記送達サブシステムは、記憶および／または伝送のために（本発明に基づいて生成された）入力ビデオの圧縮された表現をさらにエンコードする（たとえば圧縮する）よう結合され、構成されているエンコーダと、入力ビデオの圧縮された表現を復元するようエンコーダのエンコードされた出力をデコードする（たとえば圧縮解除する）よう結合され、構成されたデコーダとを含む。
【０１５８】
本発明のプロセッサ、エンコーダおよびビデオ再構成システムの実施形態は、本発明の方法の実施形態を実行するようソフトウェア（またはファームウェア）によってプログラムされたおよび／または他の仕方で構成された汎用または専用プロセッサ（たとえば、集積回路（チップ）またはチップセットとして実装されるデジタル信号プロセッサまたはマイクロプロセッサ）である（またはこれを含む）。たとえば、図１０の実施形態の段３２および３４、図１１の実施形態の第４０、４３、４５、４７および４９または図１５の実施形態の段３４は、そのようなプロセッサ（またはエンコーダ）として実装されることができ、図１０の実施形態の段３７または図１８の実施形態の段５１および５３は、任意のそのようなプロセッサ（またはビデオ再構成システム）として実装されることができる。本発明のもう一つの側面は、本発明の方法の任意の実施形態を実装するためのコードを記憶しているコンピュータ可読媒体（たとえばディスク）である。
【０１５９】
本発明は、好適には、本稿に記載されるステップおよび要素（本発明のさまざまな部分および特徴）ならびにそれらの等価物を好適に含む、それらからなるまたは本質的にそれらからなるものでもよい。本稿において特定的に開示されているか否かによらず、本稿に例示的に開示される本発明のいくつかの実施形態は、本稿に記載されるステップおよび要素の一つまたは複数なしで実施される。上記の教示に照らして、本発明の数多くの修正および変形が可能である。したがって、付属の請求項の範囲内で、本発明は、本稿に具体的に記載される以外の仕方で実施されてもよいことは理解しておくものとする。
【図１】
2014522600.tif 000005
【図２】
2014522600.tif 000006
【図３】
2014522600.tif 000007
【図４】
2014522600.tif 000008
【図５】
2014522600.tif 000009
【図６】
2014522600.tif 000010
【図７】
2014522600.tif 000011
【図８】
2014522600.tif 000012
【図９】
2014522600.tif 000013
【図１０】
2014522600.tif 000014
【図１１】
2014522600.tif 000015
【図１２】
2014522600.tif 000016
【図１３】
2014522600.tif 000017
【図１４】
2014522600.tif 000018
【図１５】
2014522600.tif 000019
【図１６】
2014522600.tif 000020
【図１７】
2014522600.tif 000021
【図１８】
2014522600.tif 000022
【図１９】
2014522600.tif 000023
【国際調査報告】
2014522600.tif 000024
2014522600.tif 000025