(57)【特許請求の範囲】
【請求項１】
ビデオ画像フレームを後処理するためのコンピュータ・デバイスであって、
入力と、
以下のステップを使用して、ハールＷＴの低周波数部分を使用した画像フレーム後処理のための命令を含むコンピュータ記憶モジュールと、
以下のステップを、すなわち、
ｉ．  フレームＷｘ（ｉ，ｊ）の第１の行をＦ０（０，ｊ）にコピーし、Ｆ０（０，ｊ）＝Ｗｘ（０，ｊ）とするステップと、
ｉｉ．  すべての列ｊについて、次の行Ｆ０（１，ｊ）＝２＊Ｗｘ（１，ｊ）−Ｆ０（０，ｊ）を計算するステップと、
ｉｉｉ．  すべての列ｊについて、次の行Ｆ０（２，ｊ）＝（２＊Ｗｘ（２，ｊ）＋Ｆ０（１，ｊ））／３を計算するステップと、
ｉｖ．  すべての列ｊについて、次の行Ｆ０（３，ｊ）＝２＊Ｗｘ（２，ｊ）−Ｆ０（２，ｊ）を計算するステップと、
ｖ．  すべての列ｊについて、同様に後続の行を計算するステップと、
ｖｉ．  Ｆ０（ｉ，ｊ）の第１の列をＦ（ｉ，０）にコピーし、Ｆ（ｉ，０）＝Ｆ０（ｉ，０）とするステップと、
ｖｉｉ．  Ｆ０（ｉ，ｊ）のすべての行ｉについて、次の列、
Ｆ（ｉ，１）＝２Ｆ０（ｉ，１）−Ｆ（ｉ，０）；
Ｆ（ｉ，２）＝（２Ｆ０（ｉ，２）＋Ｆ（ｉ，１））／３；
Ｆ（ｉ，３）＝２Ｆ０（ｉ，２）−Ｆ（ｉ，２）；
を計算するステップと、
ｖｉｉｉ．  すべての列ｊ＞３について、同様に後続の列を計算するステップと、
ｉｘ．  算出されたピクセルを記憶するステップと
を実行するようにプログラムされたプロセッサと
を備えているコンピュータ・デバイス。
【請求項２】
ビデオ画像の圧縮及び伸張のためのシステムであって、
画像フレーム前処理のための第１のコンピュータ・モジュールと、
ビデオ画像フレームを前処理するためのコンピュータ・デバイスであって、
入力と、
間引かれたハールＷＴによる、前記入力によって受信されるビデオ・フレームのフレーム前処理のための命令を含むコンピュータ記憶モジュールと、
低周波数部分を保持すること、及び高周波数部分を切り捨てることにより、前記間引かれたハールＷＴを処理するためのプロセッサと、
出力と
を備えており、前処理のための前記命令は、以下のステップを、すなわち、
ｉ．  前記入力によって受信されるビデオ・フレームのすべての行ｉについて、フレームＷ０（ｉ，０）の第１の要素に第１のピクセルを記憶し、またハールＷＴのすべての低周波数値を計算し、またそれらをフレームＷ０（ｉ，ｊ）に記憶するステップと、
ｉｉ．  各フレームＷ０（ｉ，ｊ）のすべての列ｊについて、フレームＷ（０，ｊ）の第１の要素に第１のピクセルを記憶し、またハールＷＴのすべての低周波数値を計算し、またそれらをフレームＷ（ｉ，ｊ）に記憶するステップと
ビデオ・コーデックと、
請求項１に記載のビデオ画像フレームを後処理するための第２のコンピュータ・モジュールと、
出力デバイスと
を備えており、前記第１のコンピュータ・モジュール、又は前記第２のコンピュータ・モジュールは、メインフレーム・コンピュータと、デスクトップ・コンピュータと、パーソナル・コンピュータと、ラップトップ・コンピュータと、タブレット・コンピュータと、ワイヤレス・コンピュータと、セルラー方式電話とから成る群から選択されるプログラマブル処理装置である、システム。
【請求項３】
物理的媒体と、
当該物理的媒体に、請求項１に記載の縮小されたビデオ画像フレームを後処理する命令と
を備えているコンピュータ読取り可能な記録媒体。
【請求項４】
前記コンピュータ読取り可能な記録媒体は、ディスケットと、コンパクト・ディスク（ＣＤ）と、磁気テープと、ペーパーと、フラッシュ・ドライブと、パンチ・カードと、磁気ディスクと、着脱可能フラッシュ・メモリ・デバイスと、コンピュータ・プロセッサ記憶バッファとから成る群から選択される、請求項３に記載のコンピュータ読取り可能な記録媒体。
【請求項５】
前記第２のコンピュータ・モジュールは、Ｙ、Ｕ、Ｖ、Ｒ、Ｇ、又はＢから成る群から選択すべき２つのフィルタをさらに備えている、請求項２に記載のシステム。
【請求項６】
オブジェクトのビデオ画像を生成するための方法であって、
ａ．  前記オブジェクトのデジタル化された画像フレームを提供し、またコンピュータ・プロセッサのメモリ・デバイスに前記デジタル化された画像フレームを記憶するステップと、
ｂ．  前記デジタル化された画像フレームの間引かれたハール・ウェーブレット変換（ＷＴ）を提供するステップと、
ｃ．  前記間引かれたハールＷＴの高周波数成分を切り捨て、それによって以下のステップ、すなわち、
ｉ．  前記デジタル化された画像フレームのすべての行ｉについて、フレームＷ０（ｉ，０）の第１の要素に第１のピクセルを記憶し、またハールＷＴのすべての低周波数値を計算し、またそれらをフレームＷ０（ｉ，ｊ）に記憶するステップと、
ｉｉ．  各フレームＷ０（ｉ，ｊ）のすべての列ｊについて、フレームＷ（０，ｊ）の第１の要素に第１のピクセルを記憶し、またハールＷＴのすべての低周波数値を計算し、またそれらをフレームＷ（ｉ，ｊ）に記憶するステップと
に従って、前処理されたフレームを生成するステップと、
ｄ．  ビデオ・コーデックに対して各フレームＷ（ｉ，ｊ）を渡すステップと、
ｅ．  前記ビデオ・コーデックを使用して、前記前処理されたフレームを圧縮し、それによって圧縮されたビデオ・フレームを生成するステップと、
ｆ．  前記コーデックを使用して、前記圧縮されたビデオ・フレームを伸張するステップと、
ｇ．  以下のステップを、すなわち、
ｉ．  フレームＷｘ（ｉ，ｊ）の第１の行をＦ０（０，ｊ）にコピーし、Ｆ０（０，ｊ）＝Ｗｘ（０，ｊ）とするステップと、
ｉｉ．  すべての列ｊについて、次の行Ｆ０（１，ｊ）＝２＊Ｗｘ（１，ｊ）−Ｆ０（０，ｊ）を計算するステップと、
ｉｉｉ．  すべての列ｊについて、次の行Ｆ０（２，ｊ）＝（２＊Ｗｘ（２，ｊ）＋Ｆ０（１，ｊ））／３を計算するステップと、
ｉｖ．  すべての列ｊについて、次の行Ｆ０（３，ｊ）＝２＊Ｗｘ（２，ｊ）−Ｆ０（２，ｊ）を計算するステップと、
ｖ．  すべての列ｊについて、同様に後続の行を計算するステップと、
ｖｉ．  Ｆ０（ｉ，ｊ）の第１の列をＦ（ｉ，０）にコピーし、Ｆ（ｉ，０）＝Ｆ０（ｉ，０）とするステップと、
ｖｉｉ．  Ｆ０（ｉ，ｊ）のすべての行ｉについて、次の列、
Ｆ（ｉ，１）＝２Ｆ０（ｉ，１）−Ｆ（ｉ，０）；
Ｆ（ｉ，２）＝（２Ｆ０（ｉ，２）＋Ｆ（ｉ，１））／３；
Ｆ（ｉ，３）＝２Ｆ０（ｉ，２）−Ｆ（ｉ，２）；
を計算するステップと、
ｖｉｉｉ．  すべての列ｊ＞３について、同様に後続の列を計算するステップと
を実行することにより、前記ハールＷＴの低周波数部分と、前記ハールＷＴの前の元の画像のあらゆる行及び列の最初のピクセルとを使用した後処理を使用して、前記フレームのフルサイズの画像を再現するステップと、
ｈ．  フレームＦ（ｉ，ｊ）を表示するステップと
を含む方法。
【請求項７】
単一レベルのフレーム・サイズ縮小を含む、請求項６に記載の方法。
【請求項８】
第２のレベルのフレーム・サイズ縮小をさらに含む、請求項７に記載の方法。
【請求項９】
第３のレベルのフレーム・サイズ縮小をさらに含む、請求項８に記載の方法。
【請求項１０】
単一レベルのフレーム・サイズ拡大を含む、請求項６に記載の方法。
【請求項１１】
第２のレベルのフレーム・サイズ拡大をさらに含む、請求項１０に記載の方法。
【請求項１２】
第３のレベルのフレーム・サイズ拡大をさらに含む、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本国際出願は、それぞれが、発明者Ａｎｇｅｌ  ＤｅＣｅｇａｍａによる「Ｍｕｌｔｉｌｅｖｅｌ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ，  Ｄｅｃｏｍｐｒｅｓｓｉｏｎ  ａｎｄ  Ｄｉｓｐｌａｙ  ｆｏｒ  ４Ｋ  ａｎｄ  ８Ｋ  ａｐｐｌｉｃａｔｉｏｎｓ」という名称の２０１４年７月１６日に出願された米国仮特許出願第６２／０２５，３６５号と、２０１４年１２月２９日に出願された米国仮特許出願第６２／０９７，２５５号と、２０１５年４月２１日に出願された米国仮特許出願第６２／１５０，４３６号との優先権を主張するものである。これらの出願のそれぞれは、まるで別々にそのようにして組み込まれているように、参照により完全に本明細書に組み込まれている。
【０００２】
本出願は、米国（１８  Ｕ．Ｓ．Ｃ．）及び他の国々の著作権法の下における保護を受ける題材を含んでいる。
【０００３】
本出願は、ビデオの圧縮、送信、伸張及び表示に関する。詳細には、本発明は、ビデオ情報の前処理を行い、また後処理を行うための新しいデバイスと方法とに関する。より詳細には、本発明は、ハール・ウェーブレット・ベースの方法（Ｈａａｒ  Ｗａｖｅｌｅｔ−ｂａｓｅｄ  ｍｅｔｈｏｄｓ）を使用して、コンピュータ実装された圧縮及び伸張を組み込んでいるデバイスに関する。
【背景技術】
【０００４】
ビデオ通信システムは、増大するデータ量によって圧倒されており、また現在のビデオ圧縮技法は、コンピュータ、ケーブル・システム、モバイル・デバイス、及びテレビジョンの増大する需要に、辛うじてついて行くことができている。世界全体を通して、有線及びワイヤレスの通信ネットワークの上でビデオ・データ・トラフィックが急激に増大し、これは、特に今、４Ｋ及び８ＫのＵＨＤマルチメディア・コンテンツの導入に伴って、それらの物理的能力を消耗させ、それに対応して数百万人のユーザのためのサービス品質が低下している。
【０００５】
現在の、しかし一時的な問題解決手法は、都会エリア及び地方エリアにサービスを提供するために、広範囲に広がったケーブル・ネットワークを含めて、インフラストラクチャへの大規模投資を提供することである。しかしながら、そのようなシステムは、広範囲に及ぶインフラストラクチャと、投資と、時間とを必要とする。したがって、ケーブル・プロバイダは、事業のために、ケーブル・インフラストラクチャを設置する際に莫大な金額を投資することに気が進まない可能性がある。別の現在の問題解決手法は、ビデオ・コンテンツの配信のための光ファイバ・システムを設置することである。光ファイバ・システムは、ケーブル・システムに比べて情報量を増大させる可能性があるが、光ファイバ・システムは、広範囲に及ぶ設置と、修理と、サービスとを必要とするという類似した問題の影響を受ける。ファイバ・プロバイダは、ケーブル・プロバイダ事業と同様の事業のために、地方のエリア、又は人口の希薄なエリアにサービスを提供するために必要とされる莫大な金額を投資することに気が進まない可能性がある。
【０００６】
さらに、ケーブル・システム及びファイバ・システムは、効率を改善することができるが、ビデオ情報を記憶し、送信し、また表示するコストは、非常に高い。したがって、他の現在のシステムは、送信に先立ってビデオ情報と他の情報とを圧縮するコーデックの使用を必要とする。非常に多数のそのようなコーデックが、現在使用されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第８，０３１，７８２号
【特許文献２】米国特許第８，５０３，５４３号
【特許文献３】ＰＣＴ出願第ＰＣＴ／ＵＳ２００９／０４８７９号
【特許文献４】米国特許出願第６１／１９０，５８５号
【特許文献５】米国特許出願第１３／９５８，９４５号
【特許文献６】米国特許第７，３１７，８４０号
【非特許文献】
【０００８】
【非特許文献１】Ｔｅｎ  Ｌｅｃｔｕｒｅｓ  ｏｎ  Ｗａｖｅｌｅｔｓ  ｂｙ  Ｉｎｇｒｉｄ  Ｄａｕｂｅｃｈｉｅｓ、Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｉｎｄｕｓｔｒｉａｌ  ａｎｄ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｉｍａｔｉｃｓ
【非特許文献２】Ａ  Ｎｅｗ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ａｌｇｏｒｉｔｈｍ、ＩＥＥＥ  ３ｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｏｆｔｗａｒｅ  Ｎｅｔｗｏｒｋｓ、２０１１年、Ｚｈａｎｇｅ  Ｓｈｕ
【非特許文献３】Ｔｈｒｅｅ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ、１９９９  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉｃａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓｙｓｔｅｍｓ、１９９９年７月、Ｌ．Ｋ．Ｌｅｖｙ
【非特許文献４】Ａ  Ｎｅｗ  ａｎｄ  Ｎｏｖｅｌ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｕｓｉｎｇ  Ｗａｖｅｌｅｔ  Ｆｏｏｔｐｒｉｎｔｓ、Ａｃａｄｅｍｉｃ  Ｊｏｕｒｎａｌ  ２００５年、Ｖｏｌ．１４、ｐａｒｔ  ６、１７頁、Ｎ．Ｍａｌｍｕｒｕｇａｎ、Ａ．Ｓｈａｍｕｇａｎ、Ｓ．Ｊａｙａｒａｍａｎ、Ｖ．Ｖ．Ｄｉｎｅｓｈ、Ｃｈａｄｅｒ
【非特許文献５】ＯｐｅｎＣＬ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｅｘａｍｐｌｅ  ｂｙ  Ｒ．Ｂａｎｇｅｒ  ａｎｄ  Ｋ．Ｂｈａｔｔａｃｈａｒｙｙａ、２０１３年、Ｐａｃｋｔ  Ｐｕｂｌｉｓｈｉｎｇ  Ｌｔｄ．、ＵＫ
【非特許文献６】ＣＵＤＡ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｓｈａｎｅ  Ｃｏｏｋ、２０１３年、Ｅｌｓｅｖｉｅｒ，  Ｉｎｃ．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ケーブル・システム及びファイバ・システムのスピードと容量が改善されているが、これらのシステムは共に、それらを通して供給されるデータの圧縮のレベルによって制限される。ますます多くのタイプのビデオ情報が、コンテンツ・プロバイダによって創り出されているので、ビデオ・コンテンツの従来の処理、送信、及び表示に対する代替案を提供することが緊急に求められている。これらの問題は、モバイル電話、ラップトップ・コンピュータ、アイパッド（登録商標）（ｉＰａｄ（登録商標））、デスクトップ・コンピュータなどを含めて、比較的安価なモバイル・デバイスの全世界的な急増によって多種多様に増大する。モバイル・デバイスは、従来のケーブル・システム又はファイバ・システムについての特に困難な問題を提示しており、またワイヤレス通信の全世界的な急増とともに、代替案が緊急に求められている。
【課題を解決するための手段】
【００１０】
任意の所与のときに存在する通信インフラストラクチャが、将来までずっと高いサービス品質を提供することを可能にする、進化した技術に基づいた新しい問題解決手法が、ここで提示される。これらの問題解決手法は、コーデック自体だけによりコーデックによって生成されるビデオ品質の低下なしに、数倍だけ任意のコーデックのビデオ圧縮能力を改善する方法の数学的記述を含んでいる。
【００１１】
４Ｋ／８ＫのＵＨＤコンテンツ
本明細書において提示される問題解決手法はまた、出現し始めている新しい４Ｋ超高精細（ＵＨＤ：Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）ＴＶセットについての、高精細（ＨＤ：Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）の１０８０ｐ解像度を超えるコンテンツを生成する問題を解決する。そのような４Ｋ  ＴＶセットは、通常、ＴＶに対して入力される既存のブルーレイ・ディスクの１０８０ｐコンテンツを使用しており、これは、４Ｋに対するそのような入力の「アップスケールする」（解像度を二倍にする）内部回路を有する。４Ｋ  ＴＶの品質に応じて、そのようなアップスケーリングは、真の４Ｋ解像度に関するビジュアル品質の対応する損失を伴う、ピクセル複製や数学的補間など、簡単な技法を使用する。
【００１２】
本明細書において提示される新しいアプローチは、興味のある個人と組織とについてのこの品質問題に対処している。たとえ現時点において、８Ｋコンテンツが実際に求められていないとしても、本明細書において提示される問題解決手法は、ピクセルごとに、同じ実証された数学的精度で、４Ｋコンテンツから８Ｋコンテンツを創り出すことができる。
【００１３】
インターネット配信のための４Ｋコンテンツの圧縮
４Ｋコンテンツのストリーミングが、少なくとも１５Ｍｂｐｓを必要とすることになることが、ネットフリックス（Ｎｅｔｆｌｉｘ）によって示されている。本明細書において提示される問題解決手法は、２Ｍｂｐｓよりも少ない（実際にはほとんどの場合に約１．５Ｍｂｐｓ）場合に４Ｋコンテンツを提供することができる。本明細書において提示される方法及びデバイスを使用して、１０８０ｐ解像度が、１Ｍｂｐｓにおいて配信される可能性があり、また高品質のスマートフォン・ビデオが、０．１５Ｍｂｐｓにおいて配信される可能性がある。
【００１４】
アプリケーション
新しい技術の多数のタイプのアプリケーションがある。それらは、以下を、すなわち、
１．  ソフトウェア実装が、内部ハードウェア（いくつかの４Ｋ  ＴＶモデルにおけるネットフリックス・プレーヤなど）を使用して実行される可能性がある場合の４Ｋ  ＴＶ製造業者と、
２．  高速で効率的なコンピュータ実装された方法を使用した高速で効率的な処理が、望ましい場合の東芝、レノボなどを含む４Ｋ  ラップトップ製造業者と、
３．  新しい方法とデバイスとを
ａ．  ブルーレイ・プレーヤと、ＴＶのコストを低減させる４Ｋ  ＴＶとの間で、また
ｂ．  ケーブル・カンパニー・ボックスと、４Ｋ  ＴＶとの間で
実装するセット・トップ・ボックス製造業者と、
４．  ４Ｋ  ＴＶを駆動して、ワイヤレスに表示し、またどこからでも非常に圧縮されたビデオを受信することができるドングル製造業者と、
５．  ネットフリックスなどを含めて、４Ｋディスプレイ、並びに任意の他の解像度の場合に、ビデオ配信のコストを大幅に削減することができるコンテンツ・プロバイダと、
６．  ＳＴマイクロエレクトロニクスなど、かなりのコスト削減を生成する６０ｆｐｓについてのケーブル・ボックスと、ビデオ・ストリーミング・デバイスとのためのチップの製造業者と、
７．  直ちに１０８０ｐ解像度を使用して、視聴者に対する４Ｋコンテンツ配信のためのコストを制御することができるコンテンツ創造者と、
８．  セキュリティ保護された個人使用と組織的使用とのためのビデオ通信と、
９．  政府のアプリケーションと、
１０．  ８Ｋアプリケーションと
を含む。
【００１５】
本発明の態様は、サービス品質における対応する低下を伴ってそれらの物理的能力を使い果たしている有線通信ネットワークとワイヤレス通信ネットワークとの上で急激に増大するビデオ・データ・トラフィックの問題に対処している。４Ｋ及び８Ｋの超高精細（「ＵＨＤ」）マルチメディア・コンテンツの導入とともに、現在使用可能な一時的な問題解決手法は、ケーブル技術、光ファイバ技術、及び他の類似した技術に大規模なインフラストラクチャ投資を行う必要がこれまであった。残念ながら、そのような投資は、構築サイトのエリアに住む人々にとって非常にコストがかかり、また破壊的なものである。そのようなインフラストラクチャ開発は、固定されたケーブル・プロバイダ又はファイバ・プロバイダに対するアクセス権を有さないこれらの人々にとって関連のないものである。
【００１６】
最近、本発明者は、ハール・ウェーブレット変換を使用して、ある種のコンピュータ実装された方法を開示してきている。これらの開示は、米国特許第８，０３１，７８２号と、第８，５０３，５４３号と、ＰＣＴ出願第ＰＣＴ／ＵＳ２００９／０４８７９号と、米国特許出願第６１／１９０，５８５号と、米国特許出願第１３／９５８，９４５号とにおいて、見出される可能性がある。これらの特許と特許出願とのうちのそれぞれの内容は、参照により完全に本明細書に組み込まれている。
【００１７】
本発明者は、今、問題を解決することに対する完全に新しいアプローチをとっている。それらの新しい問題解決手法は、新しい数学的原理に基づいた新規のコンピュータ実装された処理ステップの適用に基づいたものである。これらの問題解決手法は、コーデック自体だけによりコーデックによって生成されるビデオ品質の低下なしに、数倍だけ任意のコーデックのビデオ圧縮能力を改善する。必要とされる処理は、それらを与えられたコーデックに対して渡す前の、元のビデオ・ファイルのビデオ・フレームの準備を含んでいる。次いで、コーデックは、その通常のやり方で受信フレームを処理して、初期処理のない場合よりもずっと小さな圧縮されたビデオ・ファイルを生成する。圧縮されたビデオ・ファイルは、次いで、記憶され、且つ／又は送信される可能性がある。伸張と再生のために、コーデックは、その通常のやり方で圧縮されたビデオ・フレームを伸張し、次いで、表示されるときに、前処理ステップと後処理ステップを使用せずに、しかしずっと高いビットレートで、コーデックだけによって生成される品質とは区別できない非常に高い品質を有するビデオ・ファイルを再現するポストプロセッサ・デバイスへとその伸張されたビデオ・フレームを渡す。
【００１８】
本発明は、その特定の実施例を参照して説明される。本発明の他の特徴は、図面を参照して理解される可能性がある。
【図面の簡単な説明】
【００１９】
【図１Ａ】一実施例によるビデオ前処理を示す図であり、最上部に示される元のフレーム１００を示しており、このフレームは、ピクセルの列と行とを有しており、これらの列と行とのうちのいくつかが、ラベル付けされている。ウェーブレット変換が、図１Ｂに示されるように適用される。
【図１Ｂ】一実施例によるビデオ前処理を示す図であり、水平ウェーブレット変換１１０が実行される一実施例を示す図である。ウェーブレット変換が、図１Ｃに示されるように適用される。
【図１Ｃ】一実施例によるビデオ前処理を示す図であり、垂直ウェーブレット変換１２０が実行される一実施例を示す図である。
【図２Ａ】単一レベルの前処理と後処理とが行われる一実施例によるビデオ後処理を示す図であり、ビデオ・デコーダの出力２００（ｐＦｒａｍｅ  Ｉｎ）を示す図である。
【図２Ｂ】単一レベルの前処理と後処理とが行われる一実施例によるビデオ後処理を示す図であり、逆ウェーブレット変換（「ＩＷＴ：Ｉｎｖｅｒｓｅ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ」）を使用して行により伸張されてきているビデオ・フレーム２１０（Ｉｍｇ）を示す図である。
【図２Ｃ】単一レベルの前処理と後処理とが行われる一実施例によるビデオ後処理を示す図であり、列により伸張されたビデオ・フレーム２２０（ｐＦｒａｍｅ  Ｏｕｔ）を示す図である。
【図３Ａ】２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示す図であり、ビデオ・デコーダの出力３００（ｐＦｒａｍｅ  Ｉｎ）を示す図である。
【図３Ｂ】２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示す図であり、行による第１のレベルの逆ウェーブレット変換（ＩＷＴ）３１０（Ｉｍｇ）を示す図である。
【図３Ｃ】２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示す図であり、列による第１のレベルのＩＷＴ３２０（Ｆｒａｍｅ  Ｏｕｔ）を示す図である。
【図３Ｄ】２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示す図であり、完了された第１のレベルのＩＷＴを示す図であり、また第２のレベルのＩＷＴ３３０へと入力される。（Ｆｒａｍｅ  Ｉｎ＝Ｆｒａｍｅ  Ｏｕｔ）。
【図３Ｅ】２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示す図であり、行による第２のレベルのＩＷＴ３４０（Ｉｍｇ）を示す図である。
【図３Ｆ】列による第２のレベルのＩＷＴ３５０（ｐＦｒａｍｅ  Ｏｕｔ）を示す図であり、２レベルの解決をもたらす。
【発明を実施するための形態】
【００２０】
定義
本明細書において使用されるように、用語「アルゴリズム」は、ステップを実行し、また実装するように特別にプログラムされてきているコンピュータにおいて実装されるそれらの動作ステップの数学的記述のことを意味する。
【００２１】
用語「ａ」と、「ａｎ」とは、１つ又は複数の、を意味する。
【００２２】
用語「含んでいる／備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、「含んでいる／備えているが、それだけには限定されない」ことを意味する。
【００２３】
用語「から成る」は、「含んでいるが、それだけには限定されない」ことを意味する。
【００２４】
用語「から本質的に成る」は、「文字通りの要素とその等価物とを含んでいる」ことを意味する。
【００２５】
用語「専用コンピュータ」は、前処理と、圧縮と、送信と、伸張と、ウェーブレット変換による送信とを含めて、技術的ステップを実行し、また実装するようにプログラムされたコンピュータ・デバイスのことを意味する。専用コンピュータはまた、いくつかの現在のビデオ・コーデックのうちの１つを含むこともできる。
【００２６】
用語「ＨＤ」は、高精細のことを意味する。
【００２７】
用語「ＨＷＴ」は、ハール・ウェーブレット変換のことを意味する。
【００２８】
用語「ＵＨＤ」は、超高精細のことを意味する。
【００２９】
用語「ＷＴ」は、ウェーブレット変換のことを意味する。
【００３０】
用語「ＩＨＷＴ」は、「逆ハール・ウェーブレット変換」のことを意味する。
【００３１】
用語「変換」は、入力に基づいた出力画像又はその一部分の生成のことを意味する。
【００３２】
用語「プリプロセッサ」は、ＨＷＴによるプロセスの初期ステップを実行するように具体的にプログラムされたコンピュータ・モジュールのことを意味しており、またＨＷＴを使用してビデオ・フレームを圧縮するプログラムされた命令を含んでいる。
【００３３】
本明細書において使用されるように、用語「フレーム前処理」と、「フレーム・サイズ前処理」と、「フレーム・サイズ縮小」とは、ビデオ画像又はビデオ・フレームが、ＨＷＴを使用して本発明の態様に従って、サイズが縮小される場合のプロセスのことを意味する。そのようにして生成されるフレームはまた、「縮小されたフレーム」として知られている。
【００３４】
用語「ポストプロセッサ」は、逆ＨＷＴを使用して送信されたビデオ表現の伸張を実行するように具体的にプログラムされたコンピュータ・モジュールのことを意味する。
【００３５】
本明細書において使用されるように、用語「フレーム後処理」と、「フレーム・サイズ後処理」と、「フレーム拡大」とは、それによって、ある画像が、ＩＨＷＴを使用して、高品質画像を生成する本発明の方法に従って拡大されるプロセスのことを意味する。そのようなフレームは、「拡大フレーム」と呼ばれる可能性もある。「拡大フレーム」は、どのような「前処理」、符号化された圧縮、及びコーデック伸張もなしに拡大されてきている画像のことを意味することができることを理解すべきである。
【００３６】
本明細書において使用されるように、用語「ビデオ画像」は、「ビデオ・フレーム」と同じ意味を有しており、また用語「画像」は、ビデオ情報との関連で使用されるときに、「フレーム」と同じ意味を有する。
【００３７】
用語「コーデック」は、情報を符号化し、また複合するためのコンピュータ化された方法のことを意味しており、また本発明に適用されるように、ＭＰＥＧ−４、Ｈ−２６４、ＶＣ−１を含む多数の異なるコーデック技術、並びにその内容が、参照により完全に本明細書に組み込まれている米国特許第７，３１７，８４０号に開示されるビデオ圧縮／伸張のためのウェーブレット・ベースの方法のことを意味している。
【００３８】
記憶デバイスに対して適用されるような用語「物理的コンピュータ読取り可能媒体」又は「物理的媒体」は、ディスケット、コンパクト・ディスク（ＣＤ：ｃｏｍｐａｃｔ  ｄｉｓｋｓ）、磁気テープ、ペーパー、フラッシュ・ドライブ、パンチ・カード、又はコンピュータ・デバイスによって取り出され、また本発明の方法に従って動作するようにプログラムされた専用コンピュータを使用して実装され得る命令をその上に含む他の物理的実施例を含む。
【００３９】
「非物理的コンピュータ読取り可能媒体」又は「非物理的媒体」は、コンピュータ・システムによって電子的に受信され、またコンピュータ・プロセッサによって記憶され、実装され得る信号のことを意味する。
【００４０】
前処理
本発明の前処理方法は、１レベルの変換の場合の１／４という、又は２つのレベルの変換の場合の１／１６などというフレームについてのサイズ縮小をもたらす可能性がある。これは、与えられたビデオ・シーケンスの中のすべてのフレームについて行われる可能性がある。次いで、縮小されたフレームを使用して、例えば、．ａｖｉフォーマットの形の新しいビデオ・ファイルを創り出す。例えば、ＯＧ３、Ａｓｆ、クイック・タイム、リアル・メディア、マトリョーシカ、ＤＩＶＸ及びＭＰ４を含めて、他のファイル・フォーマットが、さらに使用され得ることが、理解され得る。このファイルは、次いで、えり抜きの任意の使用可能なコーデックに入力され、またこのファイルは、一般的に、フレーム・サイズ縮小のステップなしに得られる圧縮されたサイズの２０％（ＷＴの１つのレベル）から１０％未満（ＷＴの２つ以上のレベル）に及ぶサイズへとその標準プロシージャに従ってコーデックによって圧縮される。そのようなファイルは、非常に顕著なコストの節約を伴って記憶され、且つ／又は送信される可能性がある。コーデックと適切にインターフェースさせることにより、そのようなプロシージャは、中間ファイルを生成する必要がある代わりに、フレームごとに実行される可能性がある。
【００４１】
図１は、一実施例によるビデオ前処理を示すものである。図１Ａは、最上部に示される元のフレーム１００を示しており、このフレームは、ピクセルの列と行とを有しており、これらの列と行とのうちのいくつかが、すなわち、ｙ０、ｙ１、ｙ２．．．ｙｎ−１、及びｙｎとラベル付けされる。ハール・ウェーブレット変換が、図１Ｂに示されるように適用され、この図において、水平ウェーブレット変換１１０が、実行される。いくつかのピクセルが、すなわち、ｙ０、ｘ０、ｘ１、ｘ２．．．ｘｎ−１、及びｘｎとラベル付けされる。ハール・ウェーブレット変換が、図１Ｃに示されるように適用され、この図において、垂直ウェーブレット変換１２０が、実行される。いくつかのピクセルは、すなわち、ｙ０、ｘ０、ｘ１．．．ｘｎ−１、及びｘｎとラベル付けされる。
【００４２】
後処理
各フレームの伸張では、コーデックは、その通常のやり方で使用され、また元の圧縮されていないファイル・サイズの１／４（１つのレベルのＷＴ）又は１／１６、１／６４など（２つ以上のレベルのＷＴ）にほぼ等しいサイズのファイル（例えば、．ａｖｉフォーマットの形の）が、取得される。最後のステップは、ファイルを生成することであり、ここでは、すべてのフレームは、元の圧縮されていないファイルのファイル・サイズと同じであるファイル・サイズを有するフルサイズである。初期フレーム・サイズの縮小のないコーデックによって生成される伸張されたフレームに関する損失なしにそれを達成する方法及びシステムが、本明細書において説明される。このステップは、中間ファイルを生成することなしにフレームごとに達成される可能性があり、さらにプロセスの効率を改善している。
【００４３】
図２は、単一レベルの前処理と後処理とが行われる一実施例によるビデオ後処理を示すものである。図２Ａは、ビデオ・デコーダの出力２００（ｐＦｒａｍｅ  Ｉｎ）を示すものである。図２Ｂは、逆ハール・ウェーブレット変換（「ＩＨＷＴ」）を使用して、行により伸張されてきているビデオ・フレーム２１０（Ｉｍｇ）を示しており、また図２Ｃは、列により伸張されたビデオ・フレーム２２０（ｐＦｒａｍｅ  Ｏｕｔ）を示している。
【００４４】
図３は、２つのレベルの解決（圧縮及び伸張）が行われる一実施例によるビデオ後処理を示すものである。図３Ａは、ビデオ・デコーダの出力３００（ｐＦｒａｍｅ  Ｉｎ）を示すものである。図３Ｂは、行による第１のレベルの逆ウェーブレット変換（ＩＷＴ）３１０（Ｉｍｇ）を示すものである。図３Ｃは、列による第１のレベルのＩＷＴ３２０（Ｆｒａｍｅ  Ｏｕｔ）を示すものである。図３Ｄは、完了された第１のレベルのＩＷＴを示すものであり、また第２のレベルのＩＷＴ３３０へと入力される（Ｆｒａｍｅ  Ｉｎ＝Ｆｒａｍｅ  Ｏｕｔ）。図３Ｅは、行による第２のレベルのＩＷＴ３４０（Ｉｍｇ）を示しており、また図３Ｅは、列による第２のレベルのＩＷＴ３５０（ｐＦｒａｍｅ  Ｏｕｔ）を示しており、２レベルの解決をもたらしている。
【００４５】
一連のフレームは、前処理され、圧縮され、送信され、伸張され、後処理され、またリアル・タイムで表示される可能性があり、それによって映画やライブ・ブロードキャストなどの高品質ビデオを生成していることが理解される可能性がある。前処理、圧縮、伸張、後処理におけるステップは、非常に迅速に実行され得るので、再生されたビデオ（例えば、映画又はライブ・ブロードキャスト）は、リアル・タイムで視聴される可能性がある。
【００４６】
前処理されるか、コーデックにより圧縮されるか、コーデックにより拡大されるか、又は入力画像のサイズよりも大きなサイズの高品質ビデオ画像を生成するために他の方法で処理されるかにかかわらず、フレーム拡大は、任意の入力画像に適用され得ることを理解すべきである。
【００４７】
態様の説明
本発明の態様は、ウェーブレット変換（ＷＴ）の数学に基づいている。本発明の一実施例は、サイズとコンテンツにおいて１つ又は複数のレベルだけ、与えられたビデオ・フレームの間引かれたＷＴを下に解釈すること、及び各レベルにおいて低周波数部分だけを保持することを必要とする。本発明の実施例は、ビデオ画像を含む電子ファイルを記憶するために必要とされる空間の量を低減させるための新しいシステム及び方法を含んでいる。
【００４８】
本明細書において説明される態様と、それらの部分とは、本発明を逸脱することなく、任意の組合せの形で、また必要に応じて任意の順序で、使用され得ることを理解すべきである。
【００４９】
ある種の実施例においては、ビデオ・ファイルのフレームは、ＷＴ又はＨＷＴを使用して、そのサイズを４、１６、６４のファクタだけ、又はさらに大きくさえもあるファクタだけ、そのサイズを縮小して、本発明の方法及びシステムによって前処理される。次いで、ビデオ・コーデックを適用して、かなり縮小されたサイズのフレームを圧縮して、ファイルがフレーム前処理の使用のない場合よりもかなり小さい圧縮されたファイルをさらに生成する。いくつかの実施例においては、ビデオ・ファイルのすべてのフレームは、同様に処理されて、圧縮されたファイル、又は圧縮されたファイルのシリーズを生成することができる。次いで、圧縮されたファイルは、伸張の前に、記憶され、且つ／又は送信される可能性がある。後処理においては、処理ステップは、それらの元のサイズ、又は高品質を有するより大きなサイズで、１つ又は複数の個別のビデオ・フレームを回復することができる。これは、コーデック伸張ステップの後に使用され得る、本発明の別の態様によって達成される。
【００５０】
したがって、ある種の態様においては、本発明は、ビデオ画像の圧縮及び伸張のためのシステム又はデバイスであって、
直接のウェーブレット変換（ＷＴ）又はハール・ウェーブレット変換（ＨＷＴ）を使用した画像フレーム前処理のための第１のコンピュータ・モジュールと、
ビデオ・コーデックと、
ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを使用した画像フレーム後処理のための第２のコンピュータ・モジュールと、
出力デバイスと
を備えているシステム又はデバイスを提供する。
【００５１】
他の態様においては、本発明は、第１のコンピュータ・モジュールが、
ビデオ画像フレームを記憶するための入力バッファと、
フレーム前処理のための命令を記憶するメモリ・デバイスであって、前記命令が、直接のＷＴ又はＨＷＴに基づいている、メモリ・デバイスと、
フレーム前処理のための前記命令を実装するためのプロセッサと、
出力と
を備えている、システムを提供している。
【００５２】
さらなる態様においては、本発明は、前記第２のコンピュータ・モジュールが、
入力バッファと、
フレーム前処理のための命令を記憶するメモリ・デバイスであって、前記命令は、ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを加えたものを使用することに基づいている、メモリ・デバイスと、
フレーム後処理のための前記命令を実装するためのプロセッサと、
出力と
を備えている、システムを含んでいる。
【００５３】
さらにさらなる態様においては、本発明は、前記ビデオ画像の後処理されたフレームを記憶するための別の記憶デバイスをさらに備えているシステムを提供している。
【００５４】
他の態様においては、本発明のシステムは、間引きされたＷＴ又はＨＷＴを使用し、また前記間引きされたＷＴの低周波数部分を保持し、また間引きされたＷＴ又はＨＷＴの高周波数部分を切り捨てる、フレーム前処理のための命令を含んでいる。
【００５５】
さらに他の態様においては、本発明のシステムは、ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを使用すること、並びにＩＷＴ又はＩＨＷＴを使用して入力画像を再現することにより、フレーム後処理が、後処理されたフレームを再現するための命令を含んでいる。
【００５６】
他の態様においては、本発明のシステムは、ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを使用することにより、フレーム後処理が、フルサイズの後処理されたフレームを再現するための命令を含んでいる。
【００５７】
さらなる態様においては、本発明は、ビデオ画像フレームを前処理するための集積化されたコンピュータ・デバイスであって、
間引かれたＷＴ又はＨＷＴによる、フレーム前処理のための命令を含むコンピュータ記憶モジュールと、
低周波数部分を保持すること、及び高周波数部分を切り捨てることにより、前記間引かれたＷＴ又はＨＷＴを処理するためのプロセッサと
を備えている集積化されたコンピュータ・デバイスを提供している。
【００５８】
追加の態様においては、本発明は、ビデオ画像フレームを後処理するための集積化されたコンピュータ・デバイスであって、
ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを使用して、フレーム後処理のための命令を含むコンピュータ記憶モジュールと、
フルサイズのビデオ画像を再現する前記計算を処理するためのプロセッサと
を備えている集積化されたコンピュータ・デバイスを提供している。
【００５９】
さらにさらなる態様においては、本発明は、
媒体と、
その上の、ＷＴ又はＨＷＴを使用してビデオ・フレームを前処理する命令と
を備えているコンピュータ読取り可能媒体を提供している。
【００６０】
さらに追加の態様においては、本発明は、
媒体と、
その上の、ＷＴ又はＨＷＴの低周波数部分と、ＷＴの前の元の画像のあらゆる行及び列の最初のピクセル又は最後のピクセルとを加えたものを使用して、元のサイズのビデオ・フレームを再現するように縮小されたビデオ・フレームを後処理する命令と
を備えているコンピュータ読取り可能媒体を提供している。
【００６１】
他の態様においては、本発明は、前処理なしに、ＩＨＷＴを使用したフレーム拡大のための方法及びデバイスを提供している。
【００６２】
さらに他の態様においては、本発明は、前処理又はコーデック伸張なしに、ＩＨＷＴを使用したフレーム拡大のための方法及びデバイスを提供している。
【００６３】
さらなる態様においては、本発明は、前処理、コーデック圧縮、又はコーデック伸張なしに、ＩＨＷＴを使用したフレーム拡大のための方法及びデバイスを提供している。
【００６４】
これらの上記態様のうちのいくつかにおいては、コンピュータ読取り可能物理的媒体は、ディスケット、コンパクト・ディスク（ＣＤ）、磁気テープ、ペーパー、又はパンチ・カードである。
【００６５】
本発明の態様においては、ハールＷＴが、使用される。
【００６６】
本発明の他の態様においては、ドベシィ−４ウェーブレット、ドベシィ−６ウェーブレット、ドベシィ−８ウェーブレット、双直交ウェーブレット、又は非対称ウェーブレットが、使用される可能性がある。
【００６７】
本発明のシステムは、リアル・タイムでビデオ画像の高品質再生を提供することができる。いくつかの態様においては、システムは、記憶空間における５０％を超える低減を提供することができる。他の態様においては、システムは、視覚品質のほとんど知覚可能な損失なしに、送信コストにおける５０％を超える低下を提供することができる。他の態様においては、本発明のシステムは、記憶コストにおける７０％から８０％の低下を提供することができる。追加の態様においては、本発明のシステムは、コーデックだけの圧縮、送信、及び伸張と比べて、視覚品質の知覚可能な損失がほとんどなしに、又は知覚可能な損失なしに、送信コストにおける７０％から８０％の低減を提供することができる。
【００６８】
他の態様においては、本発明は、オブジェクトのビデオ画像を生成するための方法であって、
ａ．  前記オブジェクトのデジタル化された画像フレームを提供するステップと、
ｂ．  前記デジタル化された画像フレームの間引かれたＷＴ又はＨＷＴを提供するステップと、
ｃ．  前記間引かれたＷＴの高周波数成分を切り捨て、それによって前処理されたフレームを生成するステップと、
ｄ．  圧縮されたビデオ・フレームを生成するビデオ・コーデックを使用して、前記前処理されたフレームを圧縮するステップと、
ｅ．  前記コーデックを使用して、前記圧縮されたビデオ・フレームを伸張するステップと、
ｆ．  ＷＴ又はＨＷＴの低周波数部分と、ＷＴ又はＨＷＴの前の元の画像のあらゆる行及び列の最後のピクセルとを使用した後処理を使用して、前記フレームのフルサイズの画像を再現するステップと
を含む方法を提供している。
【００６９】
他の態様においては、本発明の方法は、上記のステップｄの後に、リモート・ロケーションに対して前記圧縮された画像を送信するステップを提供している。
【００７０】
さらに他の態様においては、本発明は、ビデオ・モニタの上で前記フルサイズの画像を表示するステップをさらに含む方法を提供している。
【００７１】
これらの態様のうちのいくつかにおいては、本発明は、第２のレベルの前処理ステップをさらに含む方法を提供している。
【００７２】
これらの態様のうちの他のものにおいては、本発明は、前処理の第２のレベルのステップと、第３のレベルのステップとをさらに含む方法を提供している。
【００７３】
これらの態様のうちの他のものにおいては、本発明は、フレーム・サイズ拡大の第２のレベルのステップと、第３のレベルのステップとをさらに含む方法を含んでいる。
【００７４】
ある種の実施例においては、本発明は、コーデックが、ＭＰＥＧ−４、Ｈ２６４、ＶＣ−１、Ｈ２６５、及びＤｉｖＸから成る群から選択される方法を含んでいる。
【００７５】
他の実施例においては、本発明は、前記コーデックが、ウェーブレット・ベースのコーデック、又は任意の他の種類のコーデックである方法を含んでいる。
【００７６】
ある種の態様においては、本発明の方法は、リアル・タイムでビデオ画像の高品質ビデオ再生を提供することができる。いくつかの態様においては、方法は、記憶空間における５０％を超える低減を提供することができる。他の態様においては、方法は、視覚品質の知覚可能な損失がほとんどなしに、送信コストにおける５０％を超える低減を提供することができる。他の態様においては、記憶空間における低減は、コーデックだけの圧縮、送信、及び伸張に比べて、ビデオ品質における低下がほとんどなしに、７０％から８０％を超えるものとすることができる。
【００７７】
ある種の態様は、ビデオ画像フレームを前処理するためのコンピュータ・デバイスであって、
入力と、
間引かれたハールＷＴによる、前記入力によって受信されるビデオ・フレームのフレーム前処理のための命令を含むコンピュータ記憶モジュールと、
低周波数部分を保持すること、及び高周波数部分を切り捨てることにより、前記間引かれたＷＴを処理するためのプロセッサと、
出力と
を備えており、前処理のための前記命令は、以下のステップを、すなわち、
ｉ．  すべての行ｉについて、元のフレームＷ０（ｉ，０）の第１の要素に第１のピクセルを記憶し、またＨＷＴのすべての低周波数値を計算し、またそれらをフレームＷ０（ｉ，ｊ）に記憶するステップと、
ｉｉ．  各フレームＷ０（ｉ，ｊ）のすべての列ｊについて、フレームＷ（０，ｊ）の第１の要素に第１のピクセルを記憶し、またＨＷＴのすべての低周波数値を計算し、またそれらをフレームＷ（ｉ，ｊ）に記憶するステップと
を含む、コンピュータ・デバイスを含んでいる。
【００７８】
追加の態様は、ビデオ画像フレームを後処理するためのコンピュータ・デバイスであって、
入力と、
以下のステップを使用して、ハールＷＴの低周波数部分を使用したフレーム後処理のための命令を含むコンピュータ記憶モジュールと、
以下のステップを、すなわち、
ｉ．  フレームＷｘ（ｉ，ｊ）のすべての行ｉについて、第１の行をＦ０（０，ｊ）＝Ｗｘ（０，ｊ）にコピーするステップと、
ｉｉ．  すべての列ｊについて、次の行Ｆ０（１，ｊ）＝（２＊Ｗｘ（１，ｊ）＋Ｆ０（０，ｊ））／３を計算するステップと、
ｉｉｉ．  すべての列ｊについて、次の行Ｆ０（２，ｊ）＝（２＊Ｗｘ（２，ｊ）−Ｆ０（１，ｊ））／３）を計算するステップと、
ｉｖ．  すべての列ｊについて、次の行Ｆ０（３，ｊ）＝２＊Ｗｘ（２，ｊ）−Ｆ０（２，ｊ）を計算するステップと、
ｖ．  すべての列ｊについて、同様に後続の行を計算するステップと、
ｖｉ．  Ｆ０（ｉ，ｊ）の第１の列をＦ（ｉ，０）にコピーし、Ｆ（ｉ，０）＝Ｆ０（ｉ，０）とするステップと、
ｖｉｉ．  Ｆ０（ｉ，ｊ）のすべての行ｉについて、次の列、
Ｆ（ｉ，１）＝（（２Ｆ０（ｉ，１）＋Ｆ（ｉ，０））／３；
Ｆ（ｉ，２）＝（（２Ｆ０（ｉ，２）＋Ｆ（ｉ，１））／３；
Ｆ（ｉ，３）＝（（２Ｆ０（ｉ，２）−Ｆ（ｉ，２））；
を計算するステップと、
ｖｉｉｉ．  すべての列ｊ＞３について、同様に後続の列を計算するステップと、
ｉｘ．  算出されたピクセルを記憶するステップと
を実行するようにプログラムされたプロセッサと
を備えているコンピュータ・デバイスを含んでいる。
【００７９】
他の態様は、ビデオ画像の圧縮及び伸張のためのシステムであって、
以上の態様の画像フレーム前処理のための第１のコンピュータ・モジュールと、
ビデオ・コーデックと、
以上の態様の画像フレーム後処理のための第２のコンピュータ・モジュールと、
出力デバイスと
を備えており、前記第１のコンピュータ・モジュール、又は前記第２のコンピュータ・モジュールは、メインフレーム・コンピュータと、デスクトップ・コンピュータと、パーソナル・コンピュータと、ラップトップ・コンピュータと、タブレット・コンピュータと、ワイヤレス・コンピュータと、セルラー方式電話とから成る群から選択されるプログラマブル処理装置である、システムを含んでいる。
【００８０】
追加の態様は、
物理的媒体と、
その上の、以上の態様に従ってビデオ・フレームを前処理する命令と
を備えているコンピュータ読取り可能媒体を含んでいる。
【００８１】
さらに追加の態様は、
物理的媒体と、
その上の、以上の態様に従って縮小されたビデオ・フレームを後処理する命令と
を備えているコンピュータ読取り可能媒体を含んでいる。
【００８２】
さらにさらなる態様は、以上の態様のコンピュータ読取り可能媒体を含んでおり、前記媒体は、ディスケットと、コンパクト・ディスク（ＣＤ）と、磁気テープと、ペーパーと、フラッシュ・ドライブと、パンチ・カードと、磁気ディスクと、着脱可能フラッシュ・メモリ・デバイスと、コンピュータ・プロセッサ記憶バッファとから成る群から選択される。
【００８３】
追加して、態様は、以上の態様のシステムを含んでおり、前記ポストプロセッサ・モジュールは、Ｙ、Ｕ、Ｖ、Ｒ、Ｇ、又はＢから成る群から選択すべき２つのフィルタをさらに備えている。
【００８４】
さらなる態様は、オブジェクトのビデオ画像を生成するための方法であって、
ａ．  前記オブジェクトのデジタル化された画像フレームを提供し、またコンピュータ・プロセッサのメモリ・デバイスに前記デジタル化された画像フレームを記憶するステップと、
ｂ．  前記デジタル化された画像フレームの間引かれたハール・ウェーブレット変換（ＷＴ）を提供するステップと、
ｃ．  前記間引かれたＷＴの高周波数成分を切り捨て、それによって以下のステップ、すなわち、
ｉ．  すべての行ｉについて、元のフレームＷ０（ｉ，０）の第１の要素に第１のピクセルを記憶し、またＨＷＴのすべての低周波数値を計算し、またそれらをフレームＷ０（ｉ，ｊ）に記憶するステップと、
ｉｉ．  各フレームＷ０（ｉ，ｊ）のすべての列ｊについて、フレームＷ（０，ｊ）の第１の要素に第１のピクセルを記憶し、またＨＷＴのすべての低周波数値を計算し、またそれらをフレームＷ（ｉ，ｊ）に記憶するステップと
に従って、前処理されたフレームを生成するステップと、
ｄ．  前記ビデオ・コーデックに対して各フレームＷ（ｉ，ｊ）を渡すステップと、
ｅ．  ビデオ・コーデックを使用して、前記前処理されたフレームを圧縮し、それによって圧縮されたビデオ・フレームを生成するステップと、
ｆ．  前記コーデックを使用して、前記圧縮されたビデオ・フレームを伸張するステップと、
ｇ．  以下のステップを、すなわち、
ｉ．  フレームＷｘ（ｉ，ｊ）のすべての行ｉについて、第１の行をＦ０（０，ｊ）＝Ｗｘ（０，ｊ）にコピーするステップと、
ｉｉ．  すべての列ｊについて、次の行Ｆ０（１，ｊ）＝（２＊Ｗｘ（１，ｊ）＋Ｆ０（０，ｊ））／３を計算するステップと、
ｉｉｉ．  すべての列ｊについて、次の行Ｆ０（２，ｊ）＝（２＊Ｗｘ（２，ｊ）−Ｆ０（１，ｊ））／３）を計算するステップと、
ｉｖ．  すべての列ｊについて、次の行Ｆ０（３，ｊ）＝２＊Ｗｘ（２，ｊ）−Ｆ０（２，ｊ）を計算するステップと、
ｖ．  すべての列ｊについて、同様に後続の行を計算するステップと、
ｖｉ．  Ｆ０（ｉ，ｊ）の第１の列をＦ（ｉ，０）にコピーし、Ｆ（ｉ，０）＝Ｆ０（ｉ，０）とするステップと、
ｖｉｉ．  Ｆ０（ｉ，ｊ）のすべての行ｉについて、次の列、
Ｆ（ｉ，１）＝（（２Ｆ０（ｉ，１）＋Ｆ（ｉ，０））／３；
Ｆ（ｉ，２）＝（（２Ｆ０（ｉ，２）＋Ｆ（ｉ，１））／３；
Ｆ（ｉ，３）＝（（２Ｆ０（ｉ，２）−Ｆ（ｉ，２））；
を計算するステップと、
ｖｉｉｉ．  すべての列ｊ＞３について、同様に後続の列を計算するステップと
を実行することにより、ＷＴの低周波数部分と、ＷＴの前の元の画像のあらゆる行及び列の最後のピクセルとを使用した後処理を使用して、前記フレームのフルサイズの画像を再現するステップと、
ｈ．  フレームＦ（ｉ，ｊ）を表示するステップと
を含む方法を含んでいる。
【００８５】
さらに追加の態様は、単一レベルのフレーム・サイズ縮小を含む、以上の態様の方法を含んでいる。
【００８６】
追加の態様は、第２のレベルのフレーム・サイズ縮小をさらに含む、以上の態様の方法を含んでいる。
【００８７】
さらに追加の態様は、第３のレベルのフレーム・サイズ縮小をさらに含む、以上の態様の方法を含んでいる。
【００８８】
さらに追加の態様は、単一レベルのフレーム・サイズ拡大を含む、以上の態様の方法を含んでいる。
【００８９】
さらに追加の態様は、第２のレベルのフレーム・サイズ拡大をさらに含む、以上の態様の方法を含んでいる。
【００９０】
さらにさらなる態様は、第３のレベルのフレーム・サイズ拡大をさらに含む、以上の態様の方法を含んでいる。
【００９１】
追加の態様は、本明細書において説明されるようなシステムを含んでいる。
【００９２】
さらにさらなる態様は、本明細書において説明されるような方法を含んでいる。
【００９３】
セキュリティ、遠隔学習、ビデオ会議、娯楽、遠隔医療などの分野における、ビデオ圧縮のための多数のアプリケーションがある。
【００９４】
実施例の説明
続いている説明と実例とは、本発明の態様を例証することを意図しており、また本発明の範囲を限定することを意図してはいない。当業者なら、本明細書における開示と教示とを使用して、他の実施例を創り出すことができる。一実施例においては、一般的な説明は、本明細書において開示されるフロー・チャート、又は擬似コード、或いはソース・コードによるプログラミングを含んでいる。したがって、そのような実施例は、本発明を実行するためのある種の特定の実施例だけを表す。より一般的には、本明細書において開示される数学的記述は、本発明を実行して、実質的に同じ結果を達成する、実質的に同じように、実質的に同じ機能を達成するための非常に多数の基礎を表す。説明されたフロー・チャート、又は説明された擬似コード、或いは説明されたソース・コード以外の数式を実装する追加のやり方は、それぞれ、本発明を実行する等価的なやり方と考えられる。これらの実施例と、それらの等価形態とのそれぞれは、本発明の一部分であるものと考えられる。
【００９５】
実施例の一般的な説明
本発明者は、数学的方法のＯｐｅｎＣＬ／ＧＰＵコンピュータ支援されたアプリケーション及び実装形態を開発してきている。そのような一実装形態の実例のプログラムされたステップの高レベルの詳細は、以下のようである。
【００９６】
Ａ．  ビデオ前処理
１．  水平にフレーム・サイズを縮小する：
あらゆる行について、すべてのピクセルのうちの第１のピクセルｙ０と、低周波数ＨＷＴとを保存する。
２．  垂直方向にフレーム・サイズを縮小する：
結果として引き延ばされたフレームのあらゆる列について、すべてのピクセルのうちの第１のピクセルｙ０と、低周波数ＨＷＴとを保存する。
【００９７】
これらのステップは、より多くのレベルの縮小のために反復される可能性があるが、１つのレベルが、多数の用途のために適している。前処理の上記の２つのステップが、任意の順序で実行され得ることを理解することができる。
【００９８】
Ｂ．  ビデオ後処理
１．  望ましいフレーム・レートについての異なるバージョンの方法セクションにおいて示されるように、コーデックにより伸張されたフレームの中間の低周波数ＨＷＴ成分を取得する。
２．  フレーム・サイズを垂直に増大させる：
ステップ１において取得されるフレームのあらゆる行について、説明された方法の式を適用することにより、より高い解像度のフレームの次の２つの行のピクセルを計算し、すなわち、例えば、ｙ１から我々は、ｙ２＝（（２ｘ１＋ｙ１）／３）と、ｙ３＝２ｘ１−ｙ２とを用いてｙ２とｙ３とを取得し、ここで、ｙ１、ｙ２及びｙ３は、３つの行に沿って移動する各列のピクセルに対応している。すべてのそのような行は、ホストＣＰＵと、ＯｐｅｎＣＬ／ＣＵＤＡを使用してプログラムされ得るＮＶＩＤＩＡ  ＧＴＸ９８０カードなど、多並列ＧＰＵビデオ・カードとを必要とする任意の現代の異機種アーキテクチャにおいて、並列に同時に計算される可能性がある。
３．  フレーム・サイズを水平に増大させる：
結果として生じる引き延ばされたより高い解像度のフレームのあらゆる行について、以前に算出されたピクセルに続く、より高い解像度のフレームの２つの列のピクセルを計算する。例えば、ｙ１から、我々は、ｙ２＝（（２ｘ１＋ｙ１）／３）と、ｙ３＝２ｘ１−ｙ２とを取得し、ｙ２から、我々は、ｙ４＝（（２ｘ２＋ｙ３）／３）と、ｙ５＝２ｘ２−ｙ４とを取得するなどであり、各行のピクセルに沿って移動している。すべての行は、ホストＣＰＵと、ステップ２におけるように、ＯｐｅｎＣＬ／ＣＵＤＡプログラミングを使用した多並列ビデオ・グラフィックス・カードから成るＧＰＵとを有するハードウェア・アーキテクチャにおいて、並列に同時に行われる可能性がある。
【００９９】
後処理の上記の２つのステップは、任意の順序で実行され得ることが、理解される可能性がある。
【０１００】
ＨＤとＵＨＤとに適用されるマルチレベルのビデオの圧縮、伸張
本明細書において提示される方法の背後の数学的原理又はやり方は、ウェーブレット変換（ＷＴ）又はハール・ウェーブレット変換（ＨＷＴ）の数学的原理又はやり方である。人間が、ＷＴの基本的概念を使用して、彼らの脳の中で、すべての感覚情報を、特に、非常に大量の圧縮を必要とする視覚情報を処理することが、実証されてきているので、これは、重要である。そのような圧縮は、人間の知覚の観点とは関連のないすべてのデータの切り捨てを必要とする。
【０１０１】
どのようなやり方であれ、コーデックを修正することなく、任意の与えられたビデオ・コーデックを用いて、ビデオ・データの前処理と後処理とが使用されるためのそのような新しい方法は、ＨＤビデオとＵＨＤビデオとのための以下のテーブル１の中に示される特別な典型的な結果のための基礎である。
【０１０２】
【表１】
0006535082.tif 000002
【０１０３】
これらの結果は、この技術が、高精細ビデオと、超高精細ビデオとを含む高品質ビデオの記憶と送信との現在のコストを実質的に低減させることができることを示している。また、既存のインフラストラクチャを使用して、サービス品質の低下なしに、支払いを行う顧客の数をかなり増大させることができる。
【０１０４】
これらの顕著な事業改善の結果は、任意の組織によって現在使用されるコーデックに対して障害なしに達成される可能性がある。必要とされるすべてのことは、以下の図に示されるように、既存の処理シーケンスの中への本技術の前処理モジュールと、後処理モジュールとの挿入である。
【０１０５】
0006535082.tif 000003
【０１０６】
プログラマブルなコンピュータ実装された方法の説明
以下の説明は、ハール・ウェーブレット変換（ＨＷＴ）を使用して、改善された前処理と後処理とを達成するやり方を表している。元の圧縮されていないビデオのビデオ・フレームは、ビデオ・コーデックが、追加のビデオ圧縮のために使用されるかどうかにかかわらず、それらをビデオ・コーデックに渡す前に、前処理される。前処理は、フレームのピクセルについての、最初に行により水平に、次いで列により垂直に、各ビデオ・フレームのＨＷＴのための低周波数成分をとることから成る（図１Ａ〜１Ｃ）。代わりに、人は、フレームのピクセルについての、最初に列により垂直に、次いで行により水平に、各ビデオ・フレームのＨＷＴのための低周波数成分をとることもできる。
【０１０７】
与えられたビデオ・コーデックは、次いで、記憶又は送信のために、前処理されたフレームから成るビデオをフレームごとに圧縮し、次いで、そのビデオ・コーデックは、コーデックの前の前処理されたフレームに今では非常に近いそのようなフレームを伸張する。次いで、本方法は、デコーダからの受信されたフレームを後処理し、また元のビデオ・フレームとは視覚的に区別できない、フレームを表示のために生成する（図２Ａ〜２Ｃ及び３Ａ〜３Ｅ）。
【０１０８】
ビデオ・フレームの表示に先立って、最終的な後処理の前の特定の行又は列を取り上げると、それは、以下の構造を有している。
ｘ０、ｘ１、ｘ２、ｘ３、．．．ｘｎであり、ここでは
【数１】
0006535082.tif 000004
であり、式中で、それらのｙｉは、ピクセル値を示している。
【０１０９】
後処理の目標は、それらのｘ値から元のピクセルｙ０、ｙ１、ｙ２、ｙ３、．．．ｙ２ｎ、ｙ２ｎ＋１を回復することである。我々が、ＨＷＴの高周波数成分を有する場合、そのようなピクセルは、正確に回復される可能性がある。この方法は、それを正確に行う。最初に、我々は、次式を有する。
ｙ１＝２ｘ０−ｙ０  及び
ｘ１＝（ｙ２＋ｙ３）／２  これは、低周波数ＨＷＴ成分を規定する
Ｈ１＝（ｙ２−ｙ３）／２  これは、高周波数ＨＷＴ成分を規定する。そのときには、
ｙ２＋ｙ３＝２ｘ１  及び  ｙ２−ｙ３＝２Ｈ１
となる。これら２つの式を加算して、我々は、次式を得る。
２ｙ２＝２ｘ１＋２Ｈ１
それらを差し引いて、我々は、次式を得る。
２ｙ３＝２ｘ１−２Ｈ１
【０１１０】
Ｈ１を見出すために、我々は、最初に、ｙ２の近似式を規定しており、この近似式は、
【数２】
0006535082.tif 000005
である。正確な、逆ＷＴの代わりに、この逆ＷＴは、
【数３】
0006535082.tif 000006
であるが、我々は、上記の近似式、すなわち、
【数４】
0006535082.tif 000007
を有しており、この近似式は、３（ｙ２）’＝２ｘ１＋ｙ１を与える。
そのときには、
【数５】
0006535082.tif 000008
となる。ｙ２の実際の値は、
【数６】
0006535082.tif 000009
によって、与えられるので、我々は、
【数７】
0006535082.tif 000010
により、（ｙ２）’からｙ２を取得することができ、これは、
２ｙ２＝２（ｙ２）’−ｙ１＋３ｙ２−２ｘ１
及び
【数８】
0006535082.tif 000011
を与える。簡略化して、我々は、
【数９】
0006535082.tif 000012
及び
【数１０】
0006535082.tif 000013
の実際の値を、獲得し、これは、初期の推定値の選択を確認する。その結果として、
ｙ３＝２ｘ１−ｙ２となる。
【０１１１】
したがって、ｙ１を与えられると、我々は、
ｙ２＝ｘ１＋Ｈ１、及びｙ３＝ｘ１−Ｈ１
から取得されるｙ２とｙ３との高周波数ハールＷＴ成分Ｈ１を算出することができ、式中で、
【数１１】
0006535082.tif 000014
であり、また
【数１２】
0006535082.tif 000015
である。また、Ｈ１＝ｙ２−ｘ１であり、この式は、上記の結果に基づいて、
【数１３】
0006535082.tif 000016
になる。
【０１１２】
したがって、我々は、先行するピクセル値に基づいて、効率的な方法を用いて、それらの低周波数ハールＷＴ値から与えられたビデオ・フレームの任意の行又は列の実際のピクセル値ｙｉを取得することができる。
【０１１３】
我々が、以下で説明されるｙ１を有する場合、そのときには我々は、
ｙ２＝（２ｘ１＋ｙ１）／３、
ｙ３＝２ｘ１−ｙ２、
【数１４】
0006535082.tif 000017
ｙ５＝２ｘ２−ｙ４、
【数１５】
0006535082.tif 000018
ｙ７＝２ｘ３−ｙ６
・
・
などを取得する。
【０１１４】
ｙ１に関して、それは、ｙ０と、第１のピクセルｙ１＝２ｘ０−ｙ０と、対応する行又は列のハールＷＴの第１の低周波数成分とから算出される。ｙ０は、それが、元のフレームから保存されたので、与えられる。
【０１１５】
本方法を用いて伸張されるビデオ・フレームのＰＳＮＲ値の計算は、このアルゴリズムの精度を検証している。そのようなＰＳＮＲ結果が、以下に提示される。
【０１１６】
異なるバージョンの方法
最終的な解像度フレームは、あらゆる行及び列の第１のピクセルと、あらゆる行及び列の低周波数ハールＷＴとから示されるように、算出される可能性がある。追加のステップが行われて、秒当たりのフレームの数（ｆｐｓ）についての異なる値を取得することができる。
【０１１７】
元の入力ビデオのｆｐｓが、許容可能である場合、追加のステップは、必要ではない。より高いｆｐｓが、高速の動画ビデオの知覚されたビデオ品質を高めるために望ましい場合、そのときには追加の処理ステップが、対応するｆｐｓを生成するために必要である。
【０１１８】
そのような処理ステップは、連続的な与えられたフレームの間の低周波数ＨＷＴ成分を有する中間フレームを算出することから成る。
【０１１９】
１．  ２倍のフレーム・レート：  同じフレーム・ロケーションにおける特定のｘｉ、例えば、ｘ１及びｘ２を有する２つの知られている連続的なフレームを仮定すると、そのようなフレーム・ロケーションにおける中間フレームの低周波数ＨＷＴ成分、ｙ１、は、以下の表現、すなわち、
ｙ１＝（（ｘ２−ｘ１）／２）＋ｘ１
を使用して、取得される可能性があり、次いで、それぞれの行及び列における新しい中間フレームＨＷＴ値のより高い解像度フレームについての説明された方法を適用している。
【０１２０】
２．  ３倍のフレーム・レート：  同様に、例えば、特定のフレーム・ロケーションの元のｘ１値及びｘ２値が、以下の表現、すなわち、
ｙ１＝（（ｘ２−ｘ１）／３）＋ｘ１及びｙ２＝ｘ２−（（ｘ２−ｘ１）／３）
を使用して、取得されることを仮定すると、人は、各フレーム・ロケーションにおける特定のｘｉを有する２つの連続したフレームの間のさらに２つの中間フレームを追加することができる。
【０１２１】
３．  ４倍のフレーム・レート：  同様に、人は、特定のフレーム・ロケーションにおいてｘｉ値、例えば、ｘ１及びｘ２を有する２つの連続したフレームの間の、ｙｉ値を有するさらに３つのフレームを追加することができ、これは、以下の表現、すなわち、
ｙ１＝（（ｘ２−ｘ１）／４）＋ｘ１、ｙ２＝（（ｘ２−ｘ１）／２）＋ｘ１、ｙ３＝ｘ２−（（ｘ２−ｘ１）／４）
・
・
・
などを使用して、取得される。
【０１２２】
本方法のこのバージョンは、広範囲にわたってテストされ、またその計算効率と、後処理されたビデオの望ましい品質とが、検証された。
【０１２３】
ハール・ウェーブレット変換を使用したビデオ処理のための擬似コード
Ａ．  前処理
次に続く擬似コードは、ビデオを前処理する数学的なやり方のアプリケーションの実例を表している。
【０１２４】
【表２】
0006535082.tif 000019
【０１２５】
Ｂ．  後処理
次に続く擬似コードは、ビデオを後処理する数学的なやり方のアプリケーションの実例を表している。
【０１２６】
ビデオ・コーデックから伸張されたフレームＷ（ｉ，ｊ）を受信する。必要に応じて、望ましいフレーム・レートについて連続したＷ（ｉ，ｊ）フレームから中間フレームＷｘ（ｉ，ｊ）を生成する。
【０１２７】
【表３】
0006535082.tif 000020
【０１２８】
【表４】
0006535082.tif 000021
【０１２９】
変換のレベル及び圧縮レンジ
前処理と後処理とのレベルをさらに１つのレベルだけ増大させることにより、圧縮率は、レベルの数におけるあらゆる増大とともに、２倍にされる可能性がある。例えば、２つのレベルを用いて、ＨＤの１０８０ｐについての圧縮は、４Ｋ  ＵＨＤの場合に、０．５Ｍｂｐｓへと、また１Ｍｂｐｓ未満へと低下する。ビデオ品質は、知覚可能な損失を受けない。
【０１３０】
実装する効率
本明細書において提示されるすべての新しいビデオ圧縮結果が、１６ビット／ワード（カラー成分）に対応する６４ビット／ピクセルを使用した並列化されたデジタル計算構造を用いて取得された。これは、計算の精度からもたらされる後処理されたビデオ品質が、何故そのように高いかという理由である。
【０１３１】
４Ｋ及び８ＫのＵＨＤビデオに対するアプリケーション
現在では、計算要件と記憶要件とのために、４Ｋ及び８Ｋのコンテンツが不足している。しかしながら、本説明は、例えば、４Ｋについての説明された後処理方法を考慮することにより、適切な品質を有するそのようなコンテンツを生成することができる。我々は、最終的な後処理ステップにおいて、我々が、サイズ３８４０×２１６０の４ＫフレームのハールＷＴの低周波数成分であると考えられているサイズ１９２０×１０８０のフレームのＨＤ  １０８０ｐとともに開始することを見てきている。本明細書において開示される本方法は、それらの低周波数ハールＷＴから４Ｋピクセルを正確に算出した。
【０１３２】
同様に、８Ｋ  ＵＨＤコンテンツは、さらに１つのＩＷＴ処理レベルが４Ｋから８Ｋの高い精度へと進むようにすることにより、ＨＤコンテンツから取得される可能性がある。
【０１３３】
また、もちろん、そのようなコンテンツは、本明細書において提示される前処理方法及び後処理方法を使用した使用可能なモニタとＴＶスクリーン・ハードウェアとにより、簡単に、圧縮され、送信され、記憶され、また表示される可能性がある。言い換えれば、２０１３年末に、デンマークのビデオ会議において、また２０１４年１月のラスベガスのコンシューマ・エレクトロニクス・ショーにおいて考察された数と比べて、４Ｋ  ＵＨＤビデオは、１．５Ｍｂｐｓを必要とし、また８Ｋ  ＵＨＤビデオは、１．７５Ｍｂｐｓを必要とする。そのような予測は、４Ｋ  ＵＨＤが、それが数年のうちに広範囲にわたって使用されるときには、１５Ｍｂｐｓを必要とすることになることを示していた。
【０１３４】
任意の画像解像度の数学的な正確な増大についての論理的根拠
本明細書において提示される方法は、その低周波数成分から逆ハール・ウェーブレット変換を計算するための技法を提供しており、また与えられた画像よりも高い解像度の画像の計算をもたらすことができ、この与えられた画像は、算出されたより高い解像度画像の低周波数成分であるものと考えられる可能性がある。例えば、１０８０ｐ画像から出発して、人は、その低周波数成分が、与えられた１０８０ｐ画像である４Ｋ解像度画像を正確に算出することができる。同様に、人は、その低周波数部分が、４Ｋ解像度画像である８Ｋ解像度画像を正確に算出することができる。同様に、人は、１６Ｋ解像度、広告の３２Ｋ解像度、又は任意のより高いレベルを正確に算出することができる。これは、正確に、マルチレベルの直接のウェーブレット変換と、逆ウェーブレット変換とを算出するときに、何が、任意の与えられた画像とともに起こるかである。
【０１３５】
これらの説明は、対応するコストの節約と、優れたビデオ品質とを有する２０１４年における必要とされた高品質ビデオの権利のずっと良好なビデオ圧縮を提供する。
【０１３６】
実例
以下の実例は、本発明のある種の態様を示しており、またその範囲を限定することを意図してはいない。もっと正確に言えば、当業者なら、本明細書における開示及び教示を使用して、変形形態を生成することができ、これらの変形形態のすべてが、本発明の一部分と考えられる。当業者なら、本明細書における教示及び開示を使用して、同じ機能及びやり方を使用したビデオ画像を創り出すことができ、或いは実体のない変更を行うことにより、類似した結果又は同一の結果を生成することができる。これらのすべては、本発明の一部分であるように考えられる。
【０１３７】
「実例１」
性能データ
ハール・ウェーブレット変換の数学を使用してフレーム・ピクセルの正確な値を算出することに基づいた本方法は、提示された前処理ステップと後処理ステップと組み合わされたＨ２６４ビデオ・コーデックとＨ２６５ビデオ・コーデックとを使用して、広範囲にわたってテストされた。Ｈ２６５は、Ｈ２６４を超える圧縮率における何らかの改善を提供するが、Ｈ２６５は、ずっと複雑であり、またリアル・タイム性能のために典型的なポータブル・デバイスと一緒に使用される可能性はなく、またさらに、Ｈ２６４コーデックを使用して以上で考察された方法は、それ自体によりＨ２６５よりもずっとよい圧縮を与えている。
【０１３８】
その結果として、以下のテーブル２の中に与えられた性能値は、上記で考察された前処理アルゴリズムと、後処理アルゴリズムとを用いて、Ｈ２６４ビデオ・コーデックを使用して取得された。
【０１３９】
【表５】
0006535082.tif 000022
【０１４０】
ＰＳＮＲ値の観点から、以下のテーブル３は、上記のビットレートのそれぞれについての異なるビデオ・タイプの再構築されたフレームについて、コーデックだけと、本明細書において開示される方法を用いたコーデックとの間の典型的なデシベル（ｄｂ）値における比較を示すものである。
【０１４１】
【表６】
0006535082.tif 000023
【０１４２】
「実例２」
ソフトウェア実装された方法を組み込んだデバイス
前処理デバイス及び後処理デバイス
本明細書において開示される本方法は、多数のコンピュータ化されたデバイスの形で実装される可能性がある。コンピュータ化された処理ステップは、プリプロセッサの形で実装される可能性があり、このプリプロセッサは、間引きと、ハール・ウェーブレット・ベースの圧縮とを実行する。そのようなデバイスは、コンピュータ・システムの別個のスタンドアロン・コンポーネントとして、作られ、また提供される可能性があり、また既存のコンピュータ、モバイル・デバイス、テレビジョン、ケーブル・ボックス、セット・トップ・ボックス、又は類似したそのようなデバイスに追加される可能性がある。
【０１４３】
さらに、本明細書において開示される方法は、ポストプロセッサとして実装される可能性があり、このポストプロセッサは、コーデックから出力を伸張する。そのようなポストプロセッサは、既存のコンピュータ、テレビジョン、モバイル・デバイス、ケーブル・ボックス、セット・トップ・ボックス、又は類似したデバイスに付け加えられる可能性がある。
【０１４４】
本発明は、本明細書において開示される方法による、フレームの前処理と後処理とのための集積化されたデバイスを含んでいる。前処理デバイスは、前処理のための命令を含むメモリ・エリアと、そのメモリ・エリアに含まれる命令を実行するためのプロセッサとを含む。そのような組み合わされたメモリと、前処理デバイスとは、別々に製造され、次いでビデオ・システムの中に組み込まれ得る集積回路とすることができる。ビデオ・システムの中への前処理デバイスの接続は、入力を含むことができ、ここでは画像取り込みデバイス（例えば、カメラ）からのフレームは、前処理デバイスへと入力される可能性がある。前処理デバイスの出力は、コーデックに接続される可能性がある。オプションとして、バッファ・エリアが、前処理デバイスに含められることもある。
【０１４５】
同様に、後処理デバイスは、本発明の方法による、後処理のための命令を含むメモリ・エリアを含むことができ、またそのメモリ・エリアに含まれる命令を実行するためのプロセッサも含んでいる。そのような組み合わされたメモリと、後処理デバイスとは、別々に製造され、次いでビデオ・システムの中に組み込まれ得る集積回路とすることができる。ビデオ・システムの中への後処理デバイスの接続は、コーデックからの伸張されたフレームが、後処理デバイスの中に入力されることを可能にする。表示の目的のために、後処理デバイスは、例えば、ビデオ・モニタ、モバイル・デバイス画面、テレビジョンなどの出力デバイスに取り付けられる可能性がある。バッファ・エリアが、後処理デバイスに含められることもある。
【０１４６】
「実例３」
カラー画像化
画像とビデオ・フレームとに関して、本方法は、最初に列に対して適用され、次いで行に対して適用される。またカラー画像では、本方法は、輝度（Ｙ）成分と、クロミナンス（ＵＶ）成分とに対して別々に適用される可能性がある。
【０１４７】
「実例４」
コンピュータ読取り可能媒体
コンピュータ読取り可能媒体は、メモリ・エリアを含んでおり、このメモリ・エリアは、本発明の方法による、フレーム前処理のための命令を含んでいる。物理デバイスは、ディスケット、フラッシュ・メモリ、テープ・ドライブ、又は他の物理的ハードウェア・コンポーネントを含む。そのようなデバイスの上に含まれる命令は、メモリ・エリアに含まれる命令の実行のために外部プリプロセッサに対して転送される可能性がある。
【０１４８】
別のデバイスは、メモリ・エリアを含んでおり、このメモリ・エリアは、本発明の方法によるフレーム後処理のための命令を含んでいる。物理デバイスは、ディスケット、フラッシュ・メモリ、テープ・ドライブ、又は他の物理的ハードウェア・コンポーネントを含む。そのようなデバイスの上に含まれる命令は、メモリ・エリアに含まれる命令の実行のために外部ポストプロセッサに対して転送される可能性がある。
【０１４９】
他の実施例においては、前処理と、後処理と、表示とのためのプログラミング命令は、無線、ケーブル、光ファイバ、又は他の媒体を使用して、送信される可能性がある。
【０１５０】
前処理方法と、コーデック方法と、後処理方法とは、一緒に一体化されて、システムを提供することができ、このシステムは、コンピュータ、モバイル・デバイス、テレビジョン、ケーブル・ボックス、又は類似したデバイスの中に組み込まれ得ることが、理解される可能性がある。
【０１５１】
「実例５」
超並列現代異機種コンピューティング・アーキテクチャにおける実装形態
今日では、ハンドヘルド・モバイル・デバイスでさえもが、並列コンピューティング・フレームワークを使用したマルチコア・プラットフォームを備えている。それらの計算のコンピュータ実装形態のプロトタイプは、ＯｐｅｎＣＬプログラミング（参考文献５；参照により完全に本明細書に組み込まれたＯｐｅｎＣＬ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｅｘａｍｐｌｅ  ｂｙ  Ｒ．Ｂａｎｇｅｒ  ａｎｄ  Ｋ．Ｂｈａｔｔａｃｈａｒｙｙａ、２０１３年、Ｐａｃｋｔ  Ｐｕｂｌｉｓｈｉｎｇ  Ｌｔｄ．、ＵＫ）と、ＮＶＩＤＩＡグラフィックス・カードのためのＣＵＤＡ言語（参考文献６；参照により完全に本明細書に組み込まれたＣＵＤＡ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｓｈａｎｅ  Ｃｏｏｋ、２０１３年、Ｅｌｓｅｖｉｅｒ，  Ｉｎｃ．）と、を使用して、安価な４Ｋ  ＴＶセットの上でリアル・タイム表示の４Ｋ  ＵＨＤビデオのための効率的で高速な（６０ｆｐｓ）処理を実証して、開発される可能性がある。
【０１５２】
したがって、低コストの実装形態が、最小の記憶コスト及び送信コストと、高い知覚ビデオ品質とに加えて、その技術についての別の極めて重要な利点である。
【０１５３】
そのような超並列実装形態は、同じアーキテクチャを、又は同じベンダでさえも有する必要がない複数のデバイスに移植され得る本方法についての固有の性質の結果である。
【０１５４】
要約すれば、この技術は、予測されるよりも早く、アクセス可能であり、また入手可能である４Ｋ及び８ＫのＵＨＤビデオ通信を行うことができる。
【産業上の利用可能性】
【０１５５】
本発明のシステム及び方法を電気通信産業界及びビデオ産業界において使用して、高品質のビデオが、低減されたコストで、またコンピュータ記憶容量についての低減された要件とともに、記憶され、送信され、また再生されることを可能にすることができる。ビデオの記憶及び送信についての現在の驚くほどのコストの低減のための本発明の態様の意味あいは、かなりのものである。
【０１５６】
本出願において上記及び下記にリストアップされる参考文献及び文書のそれぞれの内容は、それらの全体が参照により完全に本明細書に組み込まれている。
１．  Ｔｅｎ  Ｌｅｃｔｕｒｅｓ  ｏｎ  Ｗａｖｅｌｅｔｓ  ｂｙ  Ｉｎｇｒｉｄ  Ｄａｕｂｅｃｈｉｅｓ、Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｉｎｄｕｓｔｒｉａｌ  ａｎｄ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ。
２．  Ａ  Ｎｅｗ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ａｌｇｏｒｉｔｈｍ、ＩＥＥＥ  ３ｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｏｆｔｗａｒｅ  Ｎｅｔｗｏｒｋｓ、２０１１年、Ｚｈａｎｇｅ  Ｓｈｕ。
３．  Ｔｈｒｅｅ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ、１９９９  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉｃａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓｙｓｔｅｍｓ、１９９９年７月、Ｌ．Ｋ．Ｌｅｖｙ。
４．  Ａ  Ｎｅｗ  ａｎｄ  Ｎｏｖｅｌ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｕｓｉｎｇ  Ｗａｖｅｌｅｔ  Ｆｏｏｔｐｒｉｎｔｓ、Ａｃａｄｅｍｉｃ  Ｊｏｕｒｎａｌ  ２００５年、Ｖｏｌ．１４、ｐａｒｔ  ６、１７頁、Ｎ．Ｍａｌｍｕｒｕｇａｎ、Ａ．Ｓｈａｍｕｇａｎ、Ｓ．Ｊａｙａｒａｍａｎ、Ｖ．Ｖ．Ｄｉｎｅｓｈ、Ｃｈａｄｅｒ。
５．  ＯｐｅｎＣＬ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｅｘａｍｐｌｅ  ｂｙ  Ｒ．Ｂａｎｇｅｒ  ａｎｄ  Ｋ．Ｂｈａｔｔａｃｈａｒｙｙａ、２０１３年、Ｐａｃｋｔ  Ｐｕｂｌｉｓｈｉｎｇ  Ｌｔｄ．、ＵＫ。
６．  ＣＵＤＡ  Ｐｒｏｇｒａｍｍｉｎｇ  ｂｙ  Ｓｈａｎｅ  Ｃｏｏｋ、２０１３年、Ｅｌｓｅｖｉｅｒ，  Ｉｎｃ．。
【図１Ａ−１Ｃ】
0006535082.tif 000024
【図２Ａ−２Ｃ】
0006535082.tif 000025
【図３Ａ−３Ｆ】
0006535082.tif 000026