(57)【要約】映像を符号化するように構成される符号化ユニットと、符号化された映像を再現するように構成される再現ユニットであって、再現ユニットは復号用データのビットストリームを作成する、再現ユニットと、復号用データのビットストリームを受信し、それを用いて映像を復号するように構成される復号ユニットと、を含む映像コーデック。【選択図】図１０
2015536108.tif 000002
【特許請求の範囲】
【請求項１】
映像を符号化する方法であって、
映像を受信するステップと、
前記受信された映像に対して縮小演算を行うステップであって、前記縮小演算は、
前記映像から第１のより低い解像度の映像を作成するステップ、および
追加のＮ−１個のより低い解像度の映像を順次作成するステップであって、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成される、ステップ、
を含む、ステップと、
最も低い解像度の映像を圧縮するステップと、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うステップであって、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算するステップ、
計算された前記残差を圧縮するステップ、
圧縮された前記残差を復元するステップ、および
復元された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
前記最も低い解像度の圧縮された映像、圧縮された前記残差、およびＮを含む制御情報を含むビットストリームを提供するステップと、
を含む、方法。
【請求項２】
前記ビットストリームは、ローパス解析フィルタを含み、前記より低い解像度の映像を作成するステップは、ローパス解析フィルタを映像に適用するステップを含む、請求項１に記載の方法。
【請求項３】
前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記より低い解像度の映像を作成するステップは、ぼかし演算子を映像に適用するステップ、およびダウンサンプリング演算子をぼかし演算結果に適用するステップを含む、請求項１に記載の方法。
【請求項４】
前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記ローパス解析フィルタは、前記ぼかし演算子およびダウンサンプリング演算子から計算される、請求項２に記載の方法。
【請求項５】
前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１に記載の方法。
【請求項６】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
ｂ．前記オラクル演算子を補間演算結果に適用するステップ、ならびに
ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
を含む、請求項１に記載の方法。
【請求項７】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項５に記載の方法。
【請求項８】
前記残差を計算するステップは、前記それぞれのより低い解像度の映像と前記より高い解像度の映像との差分を算出するステップを含む、請求項１に記載の方法。
【請求項９】
前記ビットストリームは、ハイパス解析フィルタを含み、前記残差を計算するステップは、前記ハイパス解析フィルタを、算出された前記差分に適用することをさらに含む、請求項８に記載の方法。
【請求項１０】
前記ハイパス解析フィルタは、算出された前記差分から計算される、請求項９に記載の方法。
【請求項１１】
前記より高い解像度の再現された映像を計算するステップは、復元された前記残差を前記より高い解像度の映像に加えるステップを含む、請求項１に記載の方法。
【請求項１２】
前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタを前記それぞれの復元された残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１に記載の方法。
【請求項１３】
前記ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算される、請求項１２に記載の方法。
【請求項１４】
請求項１に記載の方法に従って符号化された映像を復号する方法であって、
前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するステップと、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うステップであって、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との前記残差を復号するステップ、および
復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
を含む、方法。
【請求項１５】
前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
ｂ．前記オラクル演算子を補間演算結果に適用するステップ、および
ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
を含む、請求項１４に記載の方法。
【請求項１７】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項１５に記載の方法。
【請求項１８】
前記より高い解像度の再現された映像を計算するステップは、復元された前記残差を前記より高い解像度の映像に加えるステップを含む、請求項１４に記載の方法。
【請求項１９】
前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタをそれぞれの復元された前記残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１４に記載の方法。
【請求項２０】
前記ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算される、請求項１９に記載の方法。
【請求項２１】
映像を符号化するように構成される符号化ユニットと、
符号化された前記映像を再現するように構成され、復号用データのビットストリームを作成する再現ユニットと、
前記復号用データのビットストリームを受信し、それを用いて前記映像を復号するように構成される復号ユニットと、
を含む映像コーデック。
【請求項２２】
前記符号化ユニットは、
映像を受信し、
受信された前記映像に対して縮小演算を行うように構成され、前記縮小演算は、
前記映像から第１のより低い解像度の映像を作成すること、および
追加のＮ−１個のより低い解像度の映像を順次作成し、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成されること、を含み、
前記符号化ユニットは、
最も低い解像度の映像を圧縮するするように構成される、請求項２１に記載の映像コーデック。
【請求項２３】
前記再現ユニットは、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うように構成され、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算すること、
計算された前記残差を圧縮すること、
圧縮された前記残差を復元すること、および
復元された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせること、
によって、前記前のより低い解像度の再現された映像から作成されるように構成され、
前記ビットストリームは、圧縮された前記最も低い解像度の映像、圧縮された前記残差、およびＮを含む制御情報を含む、
請求項２２に記載の映像コーデック。
【請求項２４】
前記復号ユニットは、
前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するし、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うように構成され、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
前記それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との前記残差を復号すること、および
復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせること、
によって、前記前のより低い解像度の再現された映像から作成されるように構成される、請求項２３に記載の映像コーデック。
【請求項２５】
請求項１に記載の方法に従って符号化された映像を復号する方法であって、復号ユニットは、前記再現されたより高い解像度の映像を解析するように構成される、方法。
【請求項２６】
前記復号ユニットは、前記再現された映像のモーションフィールドを計算するように構成される、請求項２５に記載の方法。
【請求項２７】
前記復号ユニットは、前記再現された映像の物体認識を行うように構成される、請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像圧縮の分野に関する。
【０００２】
関連出願の相互参照
本特許出願は、２０１２年１０月７日に出願された米国特許仮出願第６１／７１０，７２３号からの優先権を主張し、それに関連する。この米国特許仮出願はその全体が本明細書において参照により援用されている。
【背景技術】
【０００３】
生の映像ファイルは大量の空間を消費する。例えば、６０フレーム／秒（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ、ｆｐｓ）、１９２０×１０８０画素のフレーム解像度、色深度３、および８ビット／色を有する高精細（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ、ＨＤ）動画は、
１，９２０＊１，０８０＊６０＊３＝３７３，２４８，０００バイト／秒
を消費する。
【０００４】
さらに、２時間のこのような動画は、
３７３，２４８，０００＊７，２００＝２，６８７，３８５，６００，０００バイト≒３テラバイト（Ｔｂｙｔｅ）
を消費するであろう。
【０００５】
この動画を普通のＤＶＤディスク、すなわち４．７ギガバイト（Ｇｂｙｔｅ）ディスク上に記憶するためには、
≒２，６８７／４．７≒６００枚のＤＶＤディスク
が必要である。
【０００６】
さらに、インターネットを通じて、仮に高速の１００Ｍｂｐｓチャネルを通じて、この動画を伝送するためには、
≒２，６８７，３８６＊８／１００≒２，１４９，９０８秒≒６０時間
が必要である。
【０００７】
映像圧縮は、知覚品質に影響を与えることなく映像サイズを縮減する技術である。
【０００８】
映像内容は必ずしも最良の装置と最良の写真撮影者を使って撮影されるわけではない。このような場合には、ビデオエンハンスメント（ｖｉｄｅｏ  ｅｎｈａｎｃｅｍｅｎｔ）としても知られるデジタル画像処理が映像の視覚品質を大幅に改善し、映像圧縮プロセスを助けることができる。ビデオエンハンスメントのためのもっとよく知られた方法のいくつかは、以下のような映像前処理ツールを用いる。
【０００９】
「インタレース解除」  インタレースされた動画は、高速移動物体を記録する際に問題となり得る。移動物体は１つの場所では「偶数の」画像内にあり、別の場所では「奇数の」画像内にあることができ、非常に乱れた「はがれた」画像ができてしまう。
【００１０】
「デブロック化」  ブロック様のアーチファクトは現在のＭＰＥＧの低品質の高圧縮映像の副作用である。デブロック化はこのような映像の品質を大きく高める。
【００１１】
「鮮鋭化」は肌理および細部を強調し、ほとんどのデジタル画像を後処理する際に重要である。画像を鮮鋭化するために「アンシャープマスク」が実際に用いられる。
【００１２】
「ノイズ除去」  「信号」を伝送または受信するいかなる電子デバイスにもある程度のノイズは必ず存在する。テレビの場合には、この信号は、ケーブルを通じて伝送されるか、またはアンテナにおいて受信される放送データであり、デジタルカメラの場合には、信号は、カメラセンサに当たる光である。映像ノイズ除去は、映像信号からノイズを取り除くプロセスである。
【００１３】
「安定化」は、カメラの動きに関連付けられるぶれを低減するために用いられる。具体的には、それはカメラまたはその他の撮像デバイスのパンおよびあおりを相殺する。ビデオカメラでは、カメラぶれが、記録された映像内に目に見えるフレーム間ジッタを生じさせる。
【００１４】
「カメラ校正」は、安定した信頼できる画像を得るために重要である。同期せずに動作するか不正確に調整されたカメラは、ぼやけた画像または見分けがつかない画像をもたらし得る。
【００１５】
このようなツールは、映像品質を大きく改善し、圧縮プロセスを助けることができる。ここでは、この課題を無視し、映像は必要に応じてすでに前処理されていると仮定する。さらなる詳細については非特許文献［１］を参照されたい。
【００１６】
デジタル映像は、同じコンテナファイル内に一緒に記憶される、映像、オーディオ、および制御等の複数のストリームから成る。例えば、一般的なコンテナ形式は、ＡＶＩ（Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｉｎｔｅｒｌａｃｅｄ、オーディオ・ビデオ・インタレース）、ＷＭＶ（Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ（登録商標）  Ｖｉｄｅｏ、ウィンドウズ・メディア・ビデオ）、ＦＬＶ（Ｆｌａｓｈ（登録商標）  Ｖｉｄｅｏ、フラッシュ・ビデオ）、ＭＯＶ（Ａｐｐｌｅ  Ｑｕｉｃｋ  Ｔｉｍｅ（登録商標）  Ｍｏｖｉｅ、アップル・クイックタイム・ムービー）である。映像ストリーム自体は通常、他のストリーム、またはコンテナタイプから独立しており、多くの異なる形式で表現することができる。Ａｐｐｌｅ  ｉＴｕｎｅｓ（登録商標）（アップル・アイチューンズ）、およびＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ（登録商標）  Ｐｌａｙｅｒ（マイクロソフト・ウィンドウズ・メディアプレーヤ）等のメディアプレーヤは、対応するコーデック（エンコーダ／デコーダ）ソフトウェアを用いて画面上に映像を表示する。
【００１７】
表示される映像は通常、ｒａｗ  ＲＧＢ色空間形式で表現される。なぜなら、人間の視覚系は同様の仕方で機能する、すなわち、人間の目の色覚は赤色、緑色および青色センサに基づくからである。図１に、ヘッダセクション１２０およびそれに続くフレーム１３０を含む、ｒａｗ  ＲＧＢファイル１００が概略的に示される。ヘッダ１２０は、ｎ個の行、ｍ個の列、およびＮ個のフレーム等の映像パラメータを包含する。フレーム１３０は、各々、Ｒ、ＧおよびＢのためのトリプレットである、ｎ＊ｍ個の画素値を包含する。
【００１８】
ｒａｗ  ＹＵＶ色空間形式は映像表現のためのもう１つの非常に有用な形式である。ここで、Ｙは映像の黒色および白色表現に対応し、ＵおよびＶは追加の色差に対応する。ＲＧＢをＹＵＶに変換するため、およびその逆のための多くの同様の式が存在する。それらのうちの１つ（非特許文献［２］参照）が図２に例示される。同図では、ユニット２１０に、ＲＧＢからＹＵＶへの変換式が与えられ、ユニット２２０に、ＹＵＶからＲＧＢへの変換式が与えられている。図３に、図１のユニット１２０におけるようなヘッダセクション３１０、ならびにそれに続くＹフレーム３２０、Ｕフレーム３３０、およびＶフレーム３４０を含む、ｒａｗ  ＹＵＶファイル３００が概略的に示される。Ｙ、ＵおよびＶ成分のための典型的なフレームが示されている。以下において、コンテナファイルの映像ストリーム部分のみを考慮し、一般性を失わず（ｗｉｔｈｏｕｔ  ｌｏｓｓ  ｏｆ  ｇｅｎｅｒａｌｉｔｙ（ｗ．ｌ．ｇ．））、ＹＵＶ色空間表現を仮定する。
【００１９】
カメラは動画の最中に何度もその画角を変化させる場合がある。シーンのこれらの変化は、動画のカットとも呼ばれ、それらの形状および内容によって識別される。非特許文献［３］を参照されたい。圧縮の観点から言うと、これは、カット間には冗長性をほとんど有しないことを意味する。
【００２０】
図４に、ヘッダセクション４１０およびそれに続くカット４２０を含む、カットファイル４００が概略的に示される。ヘッダは以下のとおりである。
ｎは行の数であり、ｍは列の数である。
Ｎはフレームの数であり、Ｍはカットの数である。
【００２１】
ファイルの各カットは、図３のユニット３００において与えられるＹＵＶファイル形式と同じ構造を有する。簡単にするために、今後は各々のこのようなカットの成分を１つだけ考慮して進めることにする。全ての成分への一般化は容易である。
【００２２】
ウェーブレットおよびマルチウェーブレット（非特許文献［４］参照）は、以下の適用において用いる重要な数学的ツールである。図５に、古典的な離散ウェーブレット変換（ｄｉｓｃｒｅｔｅ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ、ＤＷＴ）フィルタが示され、ユニット５１０に、ローパスおよびハイパス解析フィルタの対が示され、ユニット５２０に、ローパスおよびハイパス合成フィルタの対が示されている。例えば、ユニット５３０には、１次元ハール変換が示される。
【００２３】
一般的に、図６に示されるように、ｍ＞１個のフィルタを有する。ユニット６１０に、解析フィルタが示され、ユニット６２０に、合成フィルタが示されている。例えば、ユニット６３０には、２Ｄハール変換が示されている。より一般的には、フィルタは離散マルチウェーブレット変換（ｄｉｓｃｒｅｔｅ  ｍｕｌｔｉｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ、ＤＭＷＴ）に関連してもよい。
【００２４】
整数の格子（ｌａｔｔｉｃｅ  ｏｆ  ｉｎｔｅｇｅｒｓ）？ｎは、ユークリッド空間？ｎにおけるｎ組の整数のセットである。フレームは格子？２上の長方形グリッドとして、映像は？３上の立方体グリッドとして表現することができる。格子のサブセットは、それ自身が格子（ｌａｔｔｉｃｅ）であり、副格子（ｓｕｂ−ｌａｔｔｉｃｅ）と呼ばれる。図７に、？２の副格子の例が与えられる。ユニット７１０には、５点形副格子（Ｑｕｉｎｃｕｎｘ  ｓｕｂ−  ｌａｔｔｉｃｅｓ）が示される。白い丸い点は偶数副格子（ｅｖｅｎ  ｓｕｂ−ｌａｔｔｉｃｅ）に対応し、暗い丸い点は奇数副格子（ｏｄｄ  ｓｕｂ−ｌａｔｔｉｃｅ）に対応する。ユニット７２０には、２個対形副格子（Ｄｙａｄｉｃ  ｓｕｂ−ｌａｔｔｉｃｅｓ）が同様に示される。５点形副格子はユニット７１５の拡大行列によって決定され、２個対形副格子はユニット７２５の拡大行列（ｄｉｌａｔｉｏｎ  ｍａｔｒｉｘ）によって決定される。副格子の数は、対応する拡大行列の行列式によって決定され、５点形の場合には２、２個対形の場合には４になる。ダウンサンプリングとは、所与の格子から副格子を抽出するプロセスを指す。例えば、２個対形のダウンサンプリングを図８に示す。ユニット８１０には、入力信号が与えられ、ユニット８２０には、時間ダウンサンプリングが与えられ、ユニット８３０には、空間ダウンサンプリングが与えられ、ユニット８４０には、空間および時間を組み合わせたダウンサンプリングが与えられる。
【発明の概要】
【課題を解決するための手段】
【００２５】
本発明の一態様によれば、映像を符号化する方法であって、映像を受信するステップと、前記受信された映像に対して縮小演算を行うステップであって、前記縮小演算は、前記映像から第１のより低い解像度の映像を作成するステップ、および追加のＮ−１個のより低い解像度の映像を順次作成するステップであって、前記追加のより低い解像度の映像の各々は前記前のより低い解像度の映像から作成される、ステップ、を含む、ステップと、最も低い解像度の映像を圧縮するステップと、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うステップであって、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、前記それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算するステップ、計算された前記残差を圧縮するステップ、圧縮された前記残差を復元するステップ、および復元された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、によって、前記前のより低い解像度の再現された映像から作成される、ステップと、前記最も低い解像度の圧縮された映像、圧縮された前記残差、および前記Ｎを含む制御情報を含むビットストリームを提供するステップと、を含む、方法が提供される。
【００２６】
ビットストリームは、ローパス解析フィルタを含んでもよく、より低い解像度の映像を作成するステップは、ローパス解析フィルタを映像に適用するステップを含む。
【００２７】
ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含んでもよく、より低い解像度の映像を作成するステップは、ぼかし演算子を映像に適用するステップ、およびダウンサンプリング演算子をぼかし演算結果に適用するステップを含む。
【００２８】
ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含んでもよく、前記ローパス解析フィルタは、前記ぼかし演算子およびダウンサンプリング演算子から計算される。
【００２９】
ビットストリームは、ローパス合成フィルタを含んでもよく、より高い解像度の映像を作成するステップは、ローパス合成フィルタをより低い解像度の再現された映像に適用するステップを含む。
【００３０】
ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、より高い解像度の映像を作成するステップは、ａ．アップサンプリング演算子、およびそれに続き、補間演算子をより低い解像度の再現された映像に適用するステップ、ｂ．オラクル演算子を補間演算結果に適用するステップ、ならびにｃ．ぼかし除去演算子をオラクル演算結果に適用するステップ、を含む。
【００３１】
ビットストリームはアップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、ローパス合成フィルタは前記アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子から計算されてもよい。
【００３２】
残差を計算するステップは、それぞれのより低い解像度の映像とより高い解像度の映像との差分を算出するステップを含んでもよい。
【００３３】
ビットストリームは、ハイパス解析フィルタを含んでもよく、残差を計算するステップは、ハイパス解析フィルタを算出された差分に適用することをさらに含んでもよい。
【００３４】
ハイパス解析フィルタは、前記算出された差分から計算されてもよい。
【００３５】
より高い解像度の再現された映像を計算するステップは、復元された残差をより高い解像度の映像に加えるステップを含んでもよい。
【００３６】
ビットストリームは、ハイパス合成フィルタを含んでもよく、より高い解像度の再現された映像を作成するステップは、ハイパス合成フィルタをそれぞれの復元された残差に適用するステップ、およびその結果をより高い解像度の映像に加えるステップを含んでもよい。
【００３７】
ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算されてもよい。
【００３８】
本発明の別の態様によれば、上述の方法に従って符号化された映像を復号する方法であって、前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するステップと、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うステップであって、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を復号するステップ、および復号された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせるステップ、によって、前記前のより低い解像度の再現された映像から作成される、ステップと、を含む、方法が提供される。
【００３９】
ビットストリームは、ローパス合成フィルタを含んでもよく、より高い解像度の映像を作成するステップは、ローパス合成フィルタをより低い解像度の再現された映像に適用するステップを含んでもよい。
【００４０】
ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、より高い解像度の映像を作成するステップは、ａ．アップサンプリング演算子、およびそれに続き、補間演算子をより低い解像度の再現された映像に適用するステップ、ｂ．オラクル演算子を補間演算結果に適用するステップ、ならびにｃ．ぼかし除去演算子をオラクル演算結果に適用するステップ、を含んでもよい。
【００４１】
ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含んでもよく、ローパス合成フィルタは、前記アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子から計算されてもよい。
【００４２】
より高い解像度の再現された映像を計算するステップは、復元された残差をより高い解像度の映像に加えるステップを含んでもよい。
【００４３】
ビットストリームは、ハイパス合成フィルタを含んでもよく、より高い解像度の再現された映像を作成するステップは、ハイパス合成フィルタをそれぞれの復元された残差に適用するステップ、およびその結果をより高い解像度の映像に加えるステップを含んでもよい。
【００４４】
ハイパス合成フィルタは、ローパスおよびハイパス解析フィルタならびにローパス合成フィルタから計算されてもよい。
【００４５】
本発明の別の態様によれば、映像を符号化するように構成される符号化ユニットと、前記符号化された映像を再現するように構成される再現ユニットであって、再現ユニットは復号用データのビットストリームを作成する、再現ユニットと、復号用データのビットストリームを受信し、それを用いて映像を復号するように構成される復号ユニットと、を含む映像コーデックが提供される。
【００４６】
符号化ユニットは、映像を受信し、受信された前記映像に対して縮小演算を行うように構成され、前記縮小演算は、前記映像から第１のより低い解像度の映像を作成すること、および追加のＮ−１個のより低い解像度の映像を順次作成し、前記追加のより低い解像度の映像の各々は、前記前のより低い解像度の映像から作成されること、を含み、符号化ユニットは、最も低い解像度の映像を圧縮するように構成されてもよい。
【００４７】
再現ユニットは、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うように構成され、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成すること、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を計算すること、計算された前記残差を圧縮すること、圧縮された前記残差を復元すること、および復元された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせること、によって、前記前のより低い解像度の再現された映像から作成されるように構成されてもよく、前記ビットストリームは、圧縮された前記最も低い解像度の映像、圧縮された前記残差、および前記Ｎを含む制御情報を含む。
【００４８】
復号ユニットは、前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理し、前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うように構成され、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、前記より低い解像度の再現された映像からより高い解像度の映像を作成すること、前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との残差を復号すること、および復号された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせる、ことによって、前記前のより低い解像度の再現された映像から作成されるように構成されてもよい。
【００４９】
本発明の別の態様によれば、上述の方法に従って符号化された映像を復号する方法であって、前記復号ユニットは、前記再現されたより高い解像度の映像を解析するように構成される、方法が提供される。
【００５０】
復号ユニットは、前記再現された映像の動き場を計算するように構成されてもよい。
【００５１】
復号ユニットは、前記再現された映像の物体認識を行うように構成されてもよい。
【００５２】
本発明のより良い理解のため、および本発明がどのように実施されてよいのかを示すために、次に、添付の図面を純粋に例として参照する。
【００５３】
次に具体的に図面を詳細に参照するが、図示されている細部は例としてのものであり、本発明の好ましい実施形態の例示的説明のみを目的としており、本発明の原理および概念的態様の最も有用で理解しやすい説明であると考えられるものを提供するために提示されることが強調される。この点において、本発明の構造細部を本発明の基本的理解のために必要以上に詳細に示す試みはなされず、説明は、図面と併せて、本発明のいくつかの形態がどのように実際に具体化され得るのかを当業者に明らかにする。
【図面の簡単な説明】
【００５４】
【図１】ｒａｗ  ＲＧＢファイルを示す図である。
【図２】ＲＧＢ形式とＹＵＶ形式との間の変換を示す図である。
【図３】ｒａｗ  ＹＵＶファイルを示す図である。
【図４】カットファイルを示す図である。
【図５】２個の方式の離散ウェーブレット変換フィルタ（２−ｗａｙ  Ｄｉｓｃｒｅｔｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｆｉｌｔｅｒｓ）を示す図である。
【図６】ｍ個の方式の離散ウェーブレット変換フィルタ（ｍ−ｗａｙ  Ｄｉｓｃｒｅｔｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｆｉｌｔｅｒｓ）を示す図である。
【図７】格子および副格子を示す図である。
【図８】２個対形ダウンサンプリングを示す図である。
【図９】新しいコーデックのフローチャートである。
【図１０】エンコーダのフローチャートである。
【図１１】ビットストリームを示す図である。
【図１２】デコーダのフローチャートである。
【図１３】Ｍコーデックを示す図である。
【図１４】Ｍコーデックを示す図である。
【図１５】Ｍコーデックを示す図である。
【図１６】Ｏコーデックパラメータを示す図である。
【図１７】Ｏコーデックを示す図である。
【図１８】Ｏコーデックを示す図である。
【図１９】ＯＭコーデックを示す図である。
【図２０】ＯＭコーデックを示す図である。
【発明を実施するための形態】
【００５５】
本発明は、Ｈ．２６４等の標準的なＭＰＥＧ方法と異なり、最新のコンピュータビジョンおよび数学的方法を用いて、エンコーダおよびデコーダの両方における映像の解析から恩恵を受ける、映像圧縮のための新しい技術を提供する。例えば、動き場算出および物体認識（非特許文献［１］および［７］参照）がエンコーダおよびデコーダの両方において映像を再現するために用いられてもよい。
【００５６】
図９に、新しい汎用コーデックの概略図が示される。コーデックは２つの主要部分：エンコーダおよびデコーダから成る。エンコーダ１０００は映像Ｙをビットストリーム１１００に圧縮し、デコーダ１２００はビットストリームを再現された映像
【数１】
2015536108.tif 000003
に復元する。エンコーダからの出力であり、デコーダへの入力であるビットストリーム１１００は、圧縮された映像を表現する。ビットストリームはディスク上に記憶するか、またはネットワークを通じて伝送することができる。Ｙおよび
【数２】
2015536108.tif 000004
はどちらも以下の説明全体を通じて「映像」と呼ばれる。Ｙは、以上に説明したように、カットの成分であることに留意されたい。
【００５７】
以下において、エンコーダ１０００（図１０参照）、ビットストリーム１１００（図１１参照）、およびデコーダ１２００（図１２参照）を説明する。
【００５８】
エンコーダ１０００は以下のとおりの３つの段階を有する。
【００５９】
段階Ｉ（Ｅ）は以下のとおりＮ回の反復から成る。
Ｙ０？  Ｙと定義する。このとき、映像Ｙｋは反復ｋ＝０，・・・，Ｎ−１への入力であり、映像Ｙｋ＋１は反復ｋ＝０，・・・，Ｎ−１の出力である。ここで、映像Ｙｋ＋１は、映像Ｙｋのより低い解像度のより粗い表現である。より低い解像度とは、空間的により低い解像度、時間的により低い解像度、または空間的にも時間的にもより低い解像度のうちのいずれかを意味する。映像解像度を低下させるこの演算を縮小演算と呼ぶ。このような反復の数、すなわち、Ｎ、はエンコーダによって決定される。
【００６０】
段階ＩＩ（Ｅ）は圧縮演算および復元演算から成る。圧縮演算は、例えば特許文献［１］に説明されているように、映像を圧縮するためのあらゆる方法を指す。復元演算は、圧縮された映像から元の映像を再現する反対の演算を指す。ＹＮは、段階Ｉ（Ｅ）の後に結果として生じる映像を表すこととすると、このとき、圧縮された映像をＦＮによって表し、復元された映像を
【数３】
2015536108.tif 000005
によって表す。映像
【数４】
2015536108.tif 000006
は、圧縮方法の品質によって損失された映像ＹＮの再現であることに留意されたい。無損失圧縮の場合には、再現された映像
【数５】
2015536108.tif 000007
はＹＮと全く同じになるであろう。しかし、実際には、圧縮プロセスは損失を伴い、
【数６】
2015536108.tif 000008
はＹＮと同じにはならない。通常、圧縮が強いほど、映像は一致しなくなり、多くの歪みが存在する。良い圧縮方法は、圧縮された映像のサイズを最小限に抑えつつ、再現された映像の視聴品質を保つ。圧縮された映像ＦＮはビットストリーム１１００内に含められることにさらに留意されたい。
【００６１】
段階ＩＩＩ（Ｅ）は、以下のとおりＮ回の逆行反復を含む第１の引き上げ演算（ｆｉｒｓｔ  ｒａｉｓｅ  ｏｐｅｒａｔｉｏｎ）から成る。
反復ｋ＝Ｎ−１，・・・，０では、前の反復（または、ｋ＝Ｎ−１の場合には、前の段階）からの再現された映像
【数７】
2015536108.tif 000009
が入力になり、出力は、映像Ｙｋと同じ解像度（空間的および時間的）である再現された映像
【数８】
2015536108.tif 000010
になる。それゆえ、最終的な映像
【数９】
2015536108.tif 000011
は最初の映像Ｙ０（上述の段階Ｉ（Ｅ）参照）の再現になる。
【数１０】
2015536108.tif 000012
を得るために、以下のステップを行う。
【００６２】
１）まず、映像
【数１１】
2015536108.tif 000013
を、映像Ｙｋのものと同じ解像度のより高い解像度の映像
【数１２】
2015536108.tif 000014
にサイズ変更する。映像解像度を上げるこの演算を伸張演算と呼ぶ。
２）次に、映像Ｙｋと伸張された映像
【数１３】
2015536108.tif 000015
との間の残差Ｒｋを計算する。残差を計算するこの演算を結果演算と呼ぶ。
３）最後に、残差ＲｋをＥｋに圧縮する。ここでは、先と同様に、圧縮によって、上記の段階ＩＩ（Ｅ）において説明したように、あらゆる妥当な圧縮方法を意味する。残差を圧縮するこの演算を符号化演算と呼ぶ。圧縮された残差Ｅｋはビットストリーム１１００内に含められることにさらに留意されたい。
【００６３】
エンコーダの次のステップは、デコーダにおいて行われる演算をシミュレートする。
４）圧縮された残差Ｅｋを、再現された残差
【数１４】
2015536108.tif 000016
に復元する。圧縮された残差を復元するこの演算を復号演算と呼ぶ。
５）伸張された映像
【数１５】
2015536108.tif 000017
を、再現された残差
【数１６】
2015536108.tif 000018
と結合し、再現された映像
【数１７】
2015536108.tif 000019
を得る。伸張された映像を、再現された残差と結合するこの演算をアセンブル演算と呼ぶ。アセンブル演算はある意味で結果演算の逆である。
【００６４】
ビットストリーム１１００は以下の成分を包含する。
ｃｔｒｌ：ビットストリームを復元するために必要とされる、エンコーダには既知であるがデコーダにおいては未知の追加情報。例えば、エンコーダによって決定される反復の数Ｎはｃｔｒｌの一部である。ｃｔｒｌは、圧縮された形で伝送されることにさらに留意されたい。
【００６５】
圧縮された映像ＦＮ
【００６６】
圧縮された残差：Ｅｋ，ｋ＝Ｎ−１，…，０
【００６７】
デコーダ１２００は以下のとおりの２つの段階を有する。
段階Ｉ（Ｄ）は処理演算および復元演算から成る。処理演算はｃｔｒｌ情報を取得し、復号のために要求される、例えば、反復の数Ｎ等の、必要パラメータを設定する。復元演算は、エンコーダの段階ＩＩ（Ｅ）において行われたように、ＦＮを映像
【数１８】
2015536108.tif 000020
に復元する。
【００６８】
段階ＩＩ（Ｄ）は、以下のとおりのＮ回の逆行反復を含む第２の引き上げ演算（ｓｅｃｏｎｄ  ｒａｉｓｅ  ｏｐｅｒａｔｉｏｎ）から成る。
反復ｋ＝Ｎ−１，・・・，０では、前の反復（またはｋ＝Ｎ−１の場合には、前の段階）からの再現された映像
【数１９】
2015536108.tif 000021
が入力になり、出力は、再現された映像
【数２０】
2015536108.tif 000022
になる。これは以下の仕方で行われる（エンコーダの段階ＩＩＩ（Ｅ）も参照）。
１）復号演算を用いて、圧縮された残差Ｅｋを、再現された残差
【数２１】
2015536108.tif 000023
に復元する。
２）アセンブル演算を用いて、伸張された映像
【数２２】
2015536108.tif 000024
を、再現された残差
【数２３】
2015536108.tif 000025
と結合し、再現された映像
【数２４】
2015536108.tif 000026
を得る。
【００６９】
本発明をさらに明確にするために、ここで汎用コーデックのいくつかの可能な実装形態を説明する。これらはＭコーデック、Ｏコーデック、およびＯＭコーデックである。ただし、多くの他の実装形態も可能であり、これらの例によって排除されないことに留意されたい。
【００７０】
例Ｉ：マルチウェーブレット（Ｍ）コーデック
Ｍコーデックは、図１３のユニット１３１０に示されるように、ｍｋ個のマルチウェーブレットフィルタ、いわゆるＤＭＷＴフィルタのそれぞれのセットによって支配される。それらの役割を以下に説明する。
【００７１】
エンコーダ１０００において：
段階Ｉ（Ｅ）  反復ｋ＝０，・・・，Ｎ−１において、縮小演算がローパス解析フィルタ
【数２５】
2015536108.tif 000027
によって決定される。すなわち、フィルタ
【数２６】
2015536108.tif 000028
をＹｋに適用し、Ｙｋ＋１を得る。図１３のユニット１３２０を参照されたい。
【００７２】
段階ＩＩ（Ｅ）は前述同様に共通している。
【００７３】
段階ＩＩＩ（Ｅ）  反復ｋ＝Ｎ−１，…，０において：
１）伸張演算がローパス合成フィルタ
【数２７】
2015536108.tif 000029
によって決定される。すなわち、フィルタ
【数２８】
2015536108.tif 000030
を
【数２９】
2015536108.tif 000031
に適用し、
【数３０】
2015536108.tif 000032
を得る。図１３のユニット１３３０を参照されたい。
２）結果演算がｍｋ？１個のハイパス解析フィルタ
【数３１】
2015536108.tif 000033
によって決定される。
【００７４】
まず、Ｙｋと
【数３２】
2015536108.tif 000034
との差、すなわちＤｋ、が計算される。図１４のユニット１４１０を参照されたい。
【００７５】
次に、ｊ＝１，・・・，ｍｋ？１について、
【数３３】
2015536108.tif 000035
をＤｋに適用し、それぞれの残差成分
【数３４】
2015536108.tif 000036
を得る。ユニット１４２０を参照されたい。
【００７６】
３）ｊ＝１，・・・，ｍｋ？１について、残差
【数３５】
2015536108.tif 000037
を
【数３６】
2015536108.tif 000038
に符号化する。ユニット１４３０を参照されたい。
【００７７】
４）ｊ＝１，・・・，ｍｋ？１について、
【数３７】
2015536108.tif 000039
から、再現された残差
【数３８】
2015536108.tif 000040
を復号する。図１５のユニット１５１０を参照されたい。
【００７８】
５）アセンブル演算がｍｋ？１個のハイパス合成フィルタ：
【数３９】
2015536108.tif 000041
によって決定される。
ｊ＝１，・・・，ｍｋ？１について、
【数４０】
2015536108.tif 000042
を
【数４１】
2015536108.tif 000043
に適用し、成分
【数４２】
2015536108.tif 000044
を得る。ユニット１５２０を参照されたい。
【００７９】
次に、
【数４３】
2015536108.tif 000045
を合計することによって
【数４４】
2015536108.tif 000046
を再現する。ユニット１５３０を参照されたい。
【００８０】
ビットストリーム１１００内において：
ｃｔｒｌ情報は、Ｎに加えて、ＤＭＷＴフィルタを包含する。
【００８１】
デコーダ１２００において：
段階Ｉ（Ｄ）は前述同様に処理演算および復元演算から成る。
【００８２】
段階ＩＩ（Ｄ）  反復ｋ＝Ｎ−１，…，０において：
１）ｊ＝１，・・・，ｍｋ？１について、
【数４５】
2015536108.tif 000047
から、再現された残差
【数４６】
2015536108.tif 000048
を復号する。ユニット１５１０を参照されたい。
２）上述の段階ＩＩＩ（Ｅ）におけるように、アセンブル演算を用いて、映像
【数４７】
2015536108.tif 000049
を再現する。すなわち、上述のステップ５におけるように、
【数４８】
2015536108.tif 000050
を
【数４９】
2015536108.tif 000051
に適用し、
【数５０】
2015536108.tif 000052
を得て、これらの成分を
【数５１】
2015536108.tif 000053
と合計し、映像
【数５２】
2015536108.tif 000054
を得る。ユニット１５２０および１５３０を参照されたい。
【００８３】
例ＩＩ：オラクル（Ｏｒａｃｌｅ、Ｏ）コーデック。
【００８４】
Ｏコーデックは、パラメータのそれぞれのセットによって支配される。図１６を参照されたい。セットは、ぼかし／ぼかし除去逆演算子（ｂｌｕｒｒｉｎｇ／ｄｅｂｌｕｒｒｉｎｇ  ｉｎｖｅｒｓｅ  ｏｐｅｒａｔｏｒｓ）（ユニット１６１０参照）、ダウンサンプリング／アップサンプリング反対演算子および補間演算子（ｄｏｗｎ  ｓａｍｐｌｉｎｇ／ｕｐ  ｓａｍｐｌｉｎｇ  ｏｐｐｏｓｉｔｅ  ｏｐｅｒａｔｏｒｓ  ａｎｄ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｏｐｅｒａｔｏｒｓ）（ユニット１６２０参照）、ならびにオラクル演算子（ｏｒａｃｌｅ  ｏｐｅｒａｔｏｒｓ）（ユニット１６３０参照）を含む。それらの役割を以下に説明する。
【００８５】
エンコーダ１０００において：
段階Ｉ（Ｅ）  反復ｋ＝０，…，Ｎ−１において：
縮小演算がそれぞれのぼかし演算子およびダウンサンプリング演算子（ｒｅｓｐｅｃｔｉｖｅ  ｂｌｕｒｒｉｎｇ  ａｎｄ  ｄｏｗｎ  ｓａｍｐｌｉｎｇ  ｏｐｅｒａｔｏｒｓ）によって決定される。すなわち、ぼかし演算子Ｂ（ｋ）をＹｋに適用し、Ｚｋを得、次に、ダウンサンプリング演算子？（ｋ）をＺｋに適用し、Ｙｋ＋１を得る。図１７のユニット１７１０を参照されたい。
【００８６】
段階ＩＩ（Ｅ）は前述同様に共通している。
【００８７】
段階ＩＩＩ（Ｅ）  反復ｋ＝Ｎ−１，…，０において：
１）伸張演算がそれぞれのアップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子によって決定される。すなわち、アップサンプリング演算子？（ｋ）、およびそれに続き、補間演算子Ｉ（Ｋ）を
【数５３】
2015536108.tif 000055
に適用し、映像
【数５４】
2015536108.tif 000056
を得る。次に、オラクル演算子Ｏ（ｋ）を
【数５５】
2015536108.tif 000057
に適用し、
【数５６】
2015536108.tif 000058
上述の段階Ｉ（Ｅ）の映像Ｚｋの再現版、を得る。オラクル演算は、
【数５７】
2015536108.tif 000059
に基づき、Ｚｋへの最良近似
【数５８】
2015536108.tif 000060
を再現するが、超解像（非特許文献［５］参照）および圧縮センシング（非特許文献［６］参照）などの方法を用いてもよい。最後に、ぼかし除去演算子
【数５９】
2015536108.tif 000061
を
【数６０】
2015536108.tif 000062
に適用し、
【数６１】
2015536108.tif 000063
を得る。ユニット１７２０を参照されたい。
２）結果演算は単なる差分演算である。すなわち、残差ＲｋはＹｋと
【数６２】
2015536108.tif 000064
との差分である。次に、残差ＲｋをＥｋに符号化する。図１８のユニット１８１０を参照されたい。
３）次に、Ｅｋから、再現された残差
【数６３】
2015536108.tif 000065
を復号する。アセンブル演算は単なる合計演算であり、
【数６４】
2015536108.tif 000066
を
【数６５】
2015536108.tif 000067
に加え、映像
【数６６】
2015536108.tif 000068
を得る。ユニット１８２０を参照されたい。
【００８８】
ビットストリーム１１００内において：
ｃｔｒｌ情報は、Ｎに加えて、図１６にあるとおりのパラメータを包含する。
【００８９】
デコーダ１２００において：
段階Ｉ（Ｄ）は前述同様に処理演算および復元演算から成る。
【００９０】
段階ＩＩ（Ｄ）  反復ｋ＝Ｎ−１，…，０において：
１）上述の段階ＩＩＩ（Ｅ）のステップ１におけるように、伸張演算を用いて、映像
【数６７】
2015536108.tif 000069
から映像
【数６８】
2015536108.tif 000070
を再現する。ユニット１７２０を参照されたい。
２）復号演算を用いて
【数６９】
2015536108.tif 000071
を得、次に、上述の段階ＩＩＩ（Ｅ）のステップ３におけるように、アセンブル演算を用いて、
【数７０】
2015536108.tif 000072
および
【数７１】
2015536108.tif 000073
から
【数７２】
2015536108.tif 000074
を再現する。ユニット１８２０を参照されたい。
【００９１】
例ＩＩＩ：オラクル・マルチウェーブレット（Ｏｒａｃｌｅ  Ｍｕｌｔｉｗａｖｅｌｅｔ、ＯＭ）コーデック。
【００９２】
以下のようにオラクルコーデックをマルチウェーブレットコーデックと一緒に組み合わせる。
Ｏコーデックパラメータ（図１６参照）に基づき、ｍｋ個のマルチウェーブレットフィルタ（ユニット１３１０参照）を定義する。結果として得られる方法をＯＭコーデックと呼ぶ。
【００９３】
次に、Ｏコーデックパラメータを所与としてＤＭＷＴフィルタを得る方法を説明する。
１）ローパス解析フィルタ
【数７３】
2015536108.tif 000075
を定義し、それにより、結果として得られる縮小方法が所与のＯコーデック縮小方法を近似するようにする。図１９のユニット１９１０を参照されたい。
２）ローパス合成フィルタ
【数７４】
2015536108.tif 000076
を定義し、それにより、結果として得られる伸張方法が所与のＯコーデック伸張方法を近似するようにする。ユニット１９２０を参照されたい。
３）ｍｋ？１個のハイパス解析フィルタのセット
【数７５】
2015536108.tif 000077
を、
【数７６】
2015536108.tif 000078
を消滅させるマルチウェーブレットフィルタとするべく定義する。ユニット１９３０を参照されたい。
４）
【数７７】
2015536108.tif 000079
を設定することによって、ＤＭＷＴフィルタのセットを完成させる。これをウェーブレットの数学理論を用いて行う。非特許文献［４］および特許文献［２］を参照されたい。
【００９４】
ｃｔｒｌ情報は、Ｎに加えて、図１６にあるとおりのパラメータ、および図１９にあるとおりの対応するＤＭＷＴフィルタを包含する。
【００９５】
図２０に、ＯＭコーデックのフローチャートが示される。ユニット２０１０にはエンコーダフローチャートが示され、ユニット２０２０にはデコーダが示されている。
【００９６】
本出願においては以下の文献が参照されており、全て本明細書において参照により援用されている。
特許文献（Ｐａｔｅｎｔｓ）
［１］国際公開第２００８／０８１４５９号（イラン・バー・オンおよびオレグ・コステンコ（Ｉｌａｎ  Ｂａｒ−Ｏｎ  ａｎｄ  Ｏｌｅｇ  Ｋｏｓｔｅｎｋｏ）、“ウェーブレットに基づく処理のための方法およびシステム（Ａ  Ｍｅｔｈｏｄ  Ａｎｄ  Ａ  Ｓｙｓｔｅｍ  Ｆｏｒ  Ｗａｖｅｌｅｔ  Ｂａｓｅｄ  Ｐｒｏｃｅｓｓｉｎｇ）”）
［２］米国特許第８，３３１，７０８（Ｂ２）号明細書（イラン・バー・オン（Ｉｌａｎ  Ｂａｒ−Ｏｎ）、“多次元離散マルチウェーブレット変換のための方法および装置（Ｍｅｔｈｏｄ  Ａｎｄ  Ａｐｐａｒａｔｕｓ  Ｆｏｒ  Ａ  Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  Ｄｉｓｃｒｅｔｅ  Ｍｕｌｔｉｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）”、２０１２年１２月１１日）
非特許文献（Ｒｅｆｅｒｅｎｃｅ）
［１］“コンピュータビジョン、最新のアプローチ（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ）”、Ｄ．フォルシス（Ｄ．Ｆｏｒｓｙｔｈ）およびＪ．ポンセ（Ｊ．Ｐｏｎｃｅ）、２０１２年
［２］“ＩＴＵ−Ｒ勧告ＢＴ．７０９”、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｃ．＿７０９［３］“カット・バイ・カット（Ｃｕｔ  ｂｙ  Ｃｕｔ）”、Ｇ．チャンドラー（Ｇ．Ｃｈａｎｄｌｅｒ）、２０１２年
［４］“ウェーブレットおよびマルチウェーブレット（Ｗａｖｅｌｅｔｓ  ａｎｄ  Ｍｕｌｔｉｗａｖｅｌｅｔｓ）”、フリッツ・ケイネルト（Ｆｒｉｔｚ  Ｋｅｉｎｅｒｔ）、２００４年
［５］“超解像イメージング（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｉｎｇ）”、Ｐ．ミランファー（Ｐ．Ｍｉｌａｎｆａｒ）、２０１０年９月
［６］“圧縮センシング、理論と応用（Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ，  Ｔｈｅｏｒｙ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）”、Ｙ．Ｃ．エルダー（Ｙ．Ｃ．ＥＩｄａｒ）、他、２０１２年６月
［７］“オプティカルフロー（Ｏｐｔｉｃａｌ  ｆｌｏｗ）”、ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｏｐｔｉｃａｌ＿ｆｌｏｗ
【図１】
2015536108.tif 000080
【図２】
2015536108.tif 000081
【図３】
2015536108.tif 000082
【図４】
2015536108.tif 000083
【図５】
2015536108.tif 000084
【図６】
2015536108.tif 000085
【図７】
2015536108.tif 000086
【図８】
2015536108.tif 000087
【図９】
2015536108.tif 000088
【図１０】
2015536108.tif 000089
【図１１】
2015536108.tif 000090
【図１２】
2015536108.tif 000091
【図１３】
2015536108.tif 000092
【図１４】
2015536108.tif 000093
【図１５】
2015536108.tif 000094
【図１６】
2015536108.tif 000095
【図１７】
2015536108.tif 000096
【図１８】
2015536108.tif 000097
【図１９】
2015536108.tif 000098
【図２０】
2015536108.tif 000099
【手続補正書】
【提出日】平成27年6月4日(2015.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を符号化する方法であって、
映像を受信するステップと、
前記受信された映像に対して縮小演算を行うステップであって、前記縮小演算は、
前記映像から第１のより低い解像度の映像を作成するステップ、および
追加のＮ−１個のより低い解像度の映像を順次作成するステップであって、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成される、ステップ、
を含む、ステップと、
最も低い解像度の映像を圧縮するステップと、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うステップであって、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算するステップ、
計算された前記残差を圧縮するステップ、
圧縮された前記残差を復元するステップ、および
復元された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
前記最も低い解像度の圧縮された映像、圧縮された前記残差、およびＮを含む制御情報を含むビットストリームを提供するステップと、
を含む、方法。
【請求項２】
前記ビットストリームは、ローパス解析フィルタを含み、前記より低い解像度の映像を作成するステップは、ローパス解析フィルタを映像に適用するステップを含む、請求項１に記載の方法。
【請求項３】
前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記より低い解像度の映像を作成するステップは、ぼかし演算子を映像に適用するステップ、およびダウンサンプリング演算子をぼかし演算結果に適用するステップを含む、請求項１に記載の方法。
【請求項４】
前記ビットストリームは、ぼかし演算子およびダウンサンプリング演算子を含み、前記ローパス解析フィルタは、前記ぼかし演算子およびダウンサンプリング演算子から計算される、請求項２に記載の方法。
【請求項５】
前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１に記載の方法。
【請求項６】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
ｂ．前記オラクル演算子を補間演算結果に適用するステップ、ならびに
ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
を含む、請求項１に記載の方法。
【請求項７】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項５に記載の方法。
【請求項８】
前記ビットストリームは、ハイパス解析フィルタを含み、前記残差を計算するステップは、前記ハイパス解析フィルタを、前記それぞれの低い解像度の映像と前記より高い解像度の映像との差分に適用することを含む、請求項１に記載の方法。
【請求項９】
前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタを前記それぞれの復元された残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１に記載の方法。
【請求項１０】
請求項１に記載の方法に従って符号化された映像を復号する方法であって、
前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理するステップと、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成するステップと、
前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うステップであって、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成するステップを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像からより高い解像度の映像を作成するステップ、
前記それぞれのより低い解像度の映像と前記作成されたより高い解像度の映像との前記残差を復号するステップ、および
復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせるステップ、
によって、前記前のより低い解像度の再現された映像から作成される、ステップと、
を含む、方法。
【請求項１１】
前記ビットストリームは、ローパス合成フィルタを含み、前記より高い解像度の映像を作成するステップは、前記ローパス合成フィルタを前記より低い解像度の再現された映像に適用するステップを含む、請求項１０に記載の方法。
【請求項１２】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記より高い解像度の映像を作成するステップは、
ａ．前記アップサンプリング演算子、およびそれに続き、前記補間演算子を前記より低い解像度の再現された映像に適用するステップ、
ｂ．前記オラクル演算子を補間演算結果に適用するステップ、および
ｃ．前記ぼかし除去演算子をオラクル演算結果に適用するステップ、
を含む、請求項１０に記載の方法。
【請求項１３】
前記ビットストリームは、アップサンプリング演算子、補間演算子、オラクル演算子およびぼかし除去演算子を含み、前記ローパス合成フィルタは、前記アップサンプリング演算子、前記補間演算子、前記オラクル演算子および前記ぼかし除去演算子から計算される、請求項１１に記載の方法。
【請求項１４】
前記ビットストリームは、ハイパス合成フィルタを含み、前記より高い解像度の再現された映像を作成するステップは、前記ハイパス合成フィルタをそれぞれの復元された前記残差に適用するステップ、およびその結果を前記より高い解像度の映像に加えるステップを含む、請求項１０に記載の方法。
【請求項１５】
映像を符号化するように構成される符号化ユニットと、
符号化された前記映像を再現するように構成され、復号用データのビットストリームを作成する再現ユニットと、
前記復号用データのビットストリームを受信し、それを用いて前記映像を復号するように構成される復号ユニットと、
を含み、
前記符号化ユニットは、
映像を受信し、
受信された前記映像に対して縮小演算を行うように構成され、前記縮小演算は、
前記映像から第１のより低い解像度の映像を作成すること、および
追加のＮ−１個のより低い解像度の映像を順次作成し、前記追加のより低い解像度の映像の各々は、前のより低い解像度の映像から作成されること、を含み、
前記符号化ユニットは、
最も低い解像度の映像を圧縮するするように構成される、映像コーデック。
【請求項１６】
前記再現ユニットは、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
前記最も低い解像度の再現された映像に対して第１の引き上げ演算を行うように構成され、前記第１の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との残差を計算すること、
計算された前記残差を圧縮すること、
圧縮された前記残差を復元すること、および
復元された前記残差を、作成された前記より高い解像度の映像と結合し、それぞれのより高い解像度の再現された映像を生じさせること、
によって、前記前のより低い解像度の再現された映像から作成されるように構成され、
前記ビットストリームは、圧縮された前記最も低い解像度の映像、圧縮された前記残差、およびＮを含む制御情報を含む、
請求項１５に記載の映像コーデック。
【請求項１７】
前記復号ユニットは、
前記最も低い解像度の圧縮された映像、圧縮された前記残差および前記制御情報を含む前記ビットストリームを受信および処理し、
前記最も低い解像度の圧縮された映像を復元することによって最も低い解像度の再現された映像を作成し、
前記最も低い解像度の再現された映像に対して第２の引き上げ演算を行うように構成され、前記第２の引き上げ演算は、Ｎ個のより高い解像度の再現された映像を順次作成することを含み、前記より高い解像度の再現された映像の各々は、
前記より低い解像度の再現された映像から、より高い解像度の映像を作成すること、
前記それぞれのより低い解像度の映像と、作成された前記より高い解像度の映像との前記残差を復号すること、および
復号された前記残差を、作成された前記より高い解像度の映像と結合し、前記それぞれのより高い解像度の再現された映像を生じさせること、
によって、前記前のより低い解像度の再現された映像から作成されるように構成される、請求項１６に記載の映像コーデック。
【国際調査報告】
2015536108.tif 000100
2015536108.tif 000101
2015536108.tif 000102
2015536108.tif 000103
2015536108.tif 000104