(57)【要約】低ビットレートで映像画質を実質的に維持するように、ビデオ画像を前処理することを含む、ビデオ画像の画質を向上するコンピュータ化システムおよび方法である。カラービデオ画像は、カラー画像を映像構成要素に分離し、分離映像構成要素のそれぞれを対応するコンボリューションフィルタを通過させて対応する分離とフィルタリングがなされた映像構成要素を生成することによって前処理される。フィルタリングされた映像構成要素は、フィルタリングされたビデオ画像と再結合されるとともにブロック解除され、それによってフィルタリングされたビデオ画像のエッジをより鮮明にする。ビットレートは最適化され、前処理および、カラー画像の以前の圧縮によって生じられる歪みが低減される。目標とする表示画面サイズに対して適切なインターフレーム比率またはイントラフレーム比率が選択される。【選択図】図２
2017516432.tif 000002
【特許請求の範囲】
【請求項１】
低ビットレートで映像画質を実質的に維持するように、ビデオ画像を前処理することを含む、ビデオ画像の画質を向上させるコンピュータ化された方法であって、前記方法は、
カラー画像を少なくとも３つの映像構成要素に分け、分けた前記映像構成要素のそれぞれを対応するコンボリューションフィルタを通過させて対応する分離とフィルタリングがなされた映像構成要素を生成することによって、前記カラー画像を前処理するステップと、
前記フィルタリングされた映像構成要素を、フィルタリングされたビデオ画像と再結合するステップと、
ビットレートを最適化し、それによって前記前処理および、前記カラー画像の以前の圧縮によって生じた歪みを低減するステップと、
目標とする表示画面サイズに対して適切なインターフレーム比率またはイントラフレーム比率を選択するステップと、
前記フィルタリングされたビデオ画像を別のビデオ画像と比較することによって、前記フィルタリングされたビデオ画像を動作分析するステップと、
前記フィルタリングされたビデオ画像をブロック解除し、それによって前記フィルタリングされたビデオ画像のエッジをより鮮明にするステップと、
圧縮アルゴリズム規格を使用して、前記フィルタリングしたビデオ画像を圧縮するステップと、
を備えていることを特徴とする方法。
【請求項２】
前記映像構成要素は、少なくとも輝度構成要素およびクロミナンス構成要素を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記映像構成要素はＭＶＵ部分を含むことを特徴とする請求項１に記載の方法。
【請求項４】
低ビットレートで映像の画質を実質的に維持するように、ビデオ画像を前処理することを含む、映像の画質を向上させるコンピュータ化された方法であって、前記方法は、
カラー画像を少なくとも２つの映像構成要素に分け、分けた前記映像構成要素のそれぞれを対応するコンボリューションフィルタを通過させて対応する分離とフィルタリングがなされた映像構成要素を生成することによって、前記カラー画像を前処理するステップと、
フィルタリングされた映像構成要素を、フィルタリングされたビデオ画像と再結合するステップと、
ビットレートを最適化し、それによって前記前処理および、前記カラー画像の以前の圧縮によって生じられる歪みを低減するステップと、
圧縮アルゴリズム規格を使用して、前記フィルタリングしたビデオ画像を圧縮するステップと、
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同じビットレートで映像の画質を向上すること、または低ビットレートで同じ画質とするためのシステムおよび方法に関する。
【背景技術】
【０００２】
インターネット上で、高解像度で再生することを前提とする現在の映像（ビデオ、動画、ｖｉｄｅｏ）は、高解像度で再生する代わりにダウンロードに時間がかかり過ぎるか、あるいは標準の解像度で再生するかのいずれかである。ユーザは、より速度の遅いネットワーク上で高解像度を再生する場合、映像がダウンロードされるまで待つことを望まず、いらいらすることになる。いくつかのインターネットサイトは自動的に解像度を下げ、そうすることによりビデオバッファをより速くする。高解像度の映像を見るために、ユーザは速度の遅いネットワーク上で完全にダウンロードされるまで待つか、または低画質の映像を見ることを受け入れなければならない。
同様の問題が画像（ｉｍａｇｅ）にも当てはまる。高画質の画像は、ユーザが情報にアクセスするために、高速ネットワークまたは画質の低下のいずれかを必要とする。さらに、高画質の画像は、電子メールを介して送信する際に困難をもたらす可能性のある、極めて大きなファイルとなりうる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、低ビットレートで高画質な映像の伝送を可能にする画質向上および圧縮方法に関する、緊急の必要性が存在することは明らかである。この改良されたシステムおよび方法は、ユーザが、低ビットレートでより高品質な映像をダウンロードおよび送信することを可能にする。高解像度な映像が、現在の方法を比較して、より速く、かつ、より高画質でダウンロード可能である。
【課題を解決するための手段】
【０００４】
上記事項を実現するために、本発明に従って映像画質向上のシステムおよび方法が提供される。特に、映像画質向上のシステムおよび方法は、前処理の知的アルゴリズムを適用することによって実現される。このアルゴリズムは、低ビットレートでも同等の映像画質を可能にする視覚的に可逆の画質（ｌｏｓｓｌｅｓｓ  ｑｕａｌｉｔｙ）を作成する。各カラー画像は、輝度／クロミナンス、若しくはＭＶＵ部分（ＭＶＵ  ｐｏｒｔｉｏｎｓ）に従って分けられる（分離される）。輝度／クロミナンス、若しくはＭＶＵ部分の３つはそれぞれ、分かれた輝度／クロミナンスまたはＭＶＵフィルタ画像を作成するコンボリューションフィルタ（畳み込み処理フィルタ、ｃｏｎｖｏｌｕｔｉｏｎ  ｆｉｌｔｅｒ）を経て送信される。映像画質向上のためのこの部分は、前処理と呼ばれる。
【０００５】
前処理の後、ビデオ画像（映像用の画像）は３つの追加プログラムを経て処理される。比率／歪み最適化は、前処理および以前の圧縮によって発生された歪みを除去する。コーダ制御（ｃｏｄｅｒ  ｃｏｎｔｒｏｌ）は、システムが、表示画面に対するインターフレーム（フレーム間）／イントラフレーム（フレーム内）の割り当て（ｒａｔｉｏｎ、比率）を知的に選択することを可能にする。動作分析（ｍｏｔｉｏｎ  ａｎａｌｙｓｉｓ、動作解析）は、一つの画像を他の画像と比較することを可能にする。次いで、画像は、エッジをより鮮明にさせることにより、画像がさらに改良されるブロック解除フィルタ（ｄｅ−ｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ）を経て送信される。知的映像アルゴリズムの最後のステップは、圧縮のためのビデオ画像を準備する。全ての処理の後、処理された映像は標準のＨ．２６４規格技術を用いて圧縮される。
【０００６】
上記の本発明の様々な特徴は、単体でまたは組み合わせで実施されることができる。本発明のこれらの特徴および他の特徴は、本発明の詳細な説明において、以下の図面と併せて詳述されよう。
【図面の簡単な説明】
【０００７】
本発明がより明確に特定されるために、添付の図面を参照しながら、例としての、いくつかの実施形態がここに説明される。
【０００８】
【図１】図１は、本発明のいくつかの実施形態に従った、改良された視覚的画質をもたらす、映像を画質向上し、且つ圧縮するシステムおよび方法を示すブロック図である。
【０００９】
【図２】図２は、本発明のいくつかの実施形態に従った、知的映像アルゴリズムのシステムおよび方法を示すブロック図である。
【００１０】
【図３】図３は、本発明のいくつかの実施形態に従った、前処理フィルタを表したシステムおよび方法を示すブロック図である。
【００１１】
【図４】図４は、本発明のいくつかの実施形態に従った、画像のカラー分離のＭＶＵ処理を表したシステムおよび方法を示したブロック図である。
【００１２】
【図５】図５は、本発明のいくつかの実施形態に従った、輝度／Ｙフィルタ処理を表したシステムおよび方法を示したブロック図である。
【００１３】
【図６】図６は、本発明のいくつかの実施形態に従った、赤−緑／Ｕフィルタ処理を表したシステムおよび方法を示したブロック図である。
【００１４】
【図７】図７は、本発明のいくつかの実施形態に従った、青−黄／Ｖフィルタ処理を表したシステムおよび方法を示したブロック図である。
【発明を実施するための形態】
【００１５】
本発明は、付属図面に図示されるいくつかの実施形態を参照してここに詳述される。以下の説明において、数々の具体的な詳細は、本発明の実施形態の完全な理解をもたらすために明記されている。ただし、実施形態は、ある程度の、またはすべての具体的な詳細がなくとも実施可能であることは、当業者にとって明白である。別の例では、本発明を不必要に曖昧にしないために、よく知られたステップ段階および／または構造は詳述されていない。実施形態の特徴および優位性は図面、およびそれに続く詳解を参照して、さらに理解されるであろう。
【００１６】
本発明の例示の実施形態の態様、特徴および優位性は、付随する図面と関連する以下の説明により、さらに理解されるであろう。ここに提供される本発明の説明された実施形態は例示のみを目的としており、限定するものではないことは、当業者にとって明白である。本説明で開示されたすべての特徴は、明確に示されない限り、同一または同様の目的に機能する別の特徴と置き換えられてもよい。従って、修正された他の数々の実施形態が、ここに定められる本発明の範囲内に収まるものとして、および、本発明の同等物として考慮される。従って、ここに開示される実施形態は単なる例に過ぎないため、例えば、「ｗｉｌｌ」「ｗｉｌｌ  ｎｏｔ」「ｓｈａｌｌ」「ｓｈａｌｌ  ｎｏｔ」「ｍｕｓｔ」「ｍｕｓｔ  ｎｏｔ」「第１に」「最初に」「次に」「続いて」「〜の前に」「〜の後に」「最後に」および「最終的に」といった絶対的な、および／または順次的な用語の使用は、本発明の範囲を限定することを意味していない。
【００１７】
本発明は映像の画質を改良し、映像を圧縮するためのシステムおよび方法に関する。この発明は、同じビットレートの任意のＣＯＤＥＣを用いてより良好な表示品質を可能にし、且つ低ビットレートでも同じ表示品質を可能にする。本発明は、低ビットレートで、知覚される可逆的な映像のための改良された圧縮性能をもたらす。
【００１８】
議論を容易にするために、図１は、同じビットレートでの改良された表示品質をもたらす、映像の画質を向上し、かつ圧縮するための一例のシステムのための工程１００を図示している。工程１００は、前処理用知的アルゴリズム１１０を適用する、および、Ｈ．２６４規格による圧縮を使用してエンコード（符号化）する（１２０）、という２つのステップを含む。
【００１９】
図２は、知的映像アルゴリズム１１０を詳述したブロック図である。入力映像は、プレフィルタリンング２１０の処理を経て送信される。ここで、映像は知覚的に可逆的な圧縮のために、空間および時間フィルタリングを通って送信される。このプレフィルタリング２１０は映像を不可逆的に変更する。さらに、プレフィルタリング２１０のパラメータはディスプレイサイズに応じて選択される。次いで、映像は、１）比率歪み（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ）／最適化２２０、２）コーダ（ｃｏｄｅｒ）制御２３０、および３）動作分析２４０の３つの異なる工程を経て送信される。比率歪み／最適化２２０は、元の信号を確定し、圧縮によって生じた歪みを確定することによって生じる。生じた歪みは除去され、結果として低ビットレートで改良された画質を実現する。量子化パラメータのレート／歪み最適化２２０は、通常、ピーク信号対雑音比で表現される。コーダ制御２３０は、画質を改良するために、インターフレーム（フレーム間）／イントラフレーム（フレーム内）が、４×４から１６×１６の間でインテリジェント（知的）に選択される工程である。ピクチャー群（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ））構造の選択は、ビットレートを低下させる。シーンカット検出（Ｓｃｅｎｅ  Ｃｕｔ  Ｄｅｔｅｃｔｉｏｎ）を経て、イントラフレーム（Ｉ）が知的に決定される。最後の工程は動作分析２４０である。動作分析２４０は、最大１６のデコードされたフレームを保存し、フレームを比較することによって発生するが、２つまでのデコードされたフレームのみが、所定のフレームに参照されることができる。さらに、動作分析２４０は、均一な監視領域（ｕｎｉｆｏｒｍ  ｌｏｏｋｉｎｇ  ａｒｅａｓ）で見つかったタイルを平滑化（ｓｍｏｏｔｈ）する。従って、動作分析２４０の実行（ｐｅｒｆｏｒｍａｎｃｅ）は、２つのオフセット値によって調整される。３つの工程が実施された後、映像はブロック解除フィルタ２５０を経て送信される。ブロック解除フィルタ２５０は、加工されていないブロックエッジ（ｎａｔｕｒａｌ  ｂｌｏｃｋ  ｅｄｇｅ）と作為的なブロックエッジ（ａｒｔｉｆｉｃｉａｌ  ｂｌｏｃｋ）を区別し、後者をフィルタリングする。ブロック解除フィルタ２５０も、均一な監視領域で見つかったタイルを平準化する。実行は、２つのオフセット値で調整される。セグメンテーション技術（区分分け技術）によって、同一のテクスチャー領域に属するブロックは同様に識別および量子化される。最後のステップは、変換符号化（ｔｒａｎｓｆｏｒｍ  ｃｏｄｉｎｇ）およびエントロピー符号化（ｅｎｔｒｏｐｙ  ｃｏｄｉｎｇ）２６０である。変換符号化およびエントロピー符号化２６０は、媒体の固有の特性とは無関係な可逆的なデータ圧縮スキームである。
【００２０】
図３は、前処理フィルタ２１０を表したブロック図である。前処理フィルタ２１０は、知覚される可逆的な圧縮のための空間および時間フィルタリングを経て生じる。前処理フィルタの第１のステップは、色平面３１０に従って画像を分けることを要求する。次に空間フィルタは、分けられたカラー画像平面３２０のそれぞれに適用される。様々な空間フィルタが適用された後、画像平面は単一の画像に再結合される（３３０）。
【００２１】
図４は、画像のカラー分離（ｃｏｌｏｒ  ｓｅｐａｒａｔｉｏｎ）３２０のＭＶＵ処理の様々な空間フィルタを適用する工程を表している。ＭＶＵ処理は、１）輝度／Ｙフィルタ４１０、２）赤−緑／Ｕフィルタ４２０、および、３）青−黄／Ｖフィルタ４３０の、３つの異なるフィルタを含む。３つのフィルタは視覚的な画質向上のために、ここに定められる特定の順番で利用される。さらに、各フィルタは垂直方向および水平方向のベクトルを有している。垂直なベクトルは、水平なベクトルから符号を除去することにより得られる（すなわち、Ｖ＝｜Ｈ｜）。各ベクトルは１５個の符号付き浮動小数点要素を含み、中央要素に関して対称である（すなわち、０−６は逆の順序で８−１４と等しい）。
【００２２】
図５は、輝度／Ｙフィルタ処理４１０を表すブロック図である。輝度／Ｙフィルタは画像の輝度を表す（また、画像の黒色および白色部分としても知られる）。次に、輝度／Ｙフィルタで分けられた画像は、３つの異なるコンボリューションフィルタ５１０を経て送信される。各コンボリューションフィルタは水平フィルタ５２０、５４０および５６０、ならびに垂直フィルタ５３０、５５０および５７０を有する。各コンボリューションが、定められた特定の順番で適用された後、画像はＭＶＵでフィルタリングされた輝度／Ｙ画像５８０を生成するように再結合される。
【００２３】
図６は、赤−緑／Ｕフィルタ処理４２０を表すブロック図である。赤−緑／Ｕフィルタは、クロミナンスの色差構成要素の１つを表している。次に、赤−緑／Ｕフィルタで分けられた画像は、２つの異なるコンボリューションフィルタ６１０を経て送信される。各コンボリューションフィルタは、水平フィルタ６２０および６４０、ならびに垂直フィルタ６３０および６５０を有する。各コンボリューションが、定められた特定の順番で適用された後、画像はＭＶＵでフィルタリングされた赤−緑／Ｕ画像６６０を生成するように再結合される。
【００２４】
図７は、青−黄／Ｖフィルタ処理４３０を表すブロック図である。青−黄／Ｖフィルタは、クロミナンスの色差構成要素の１つを表している。次に、青−黄／Ｖフィルタで分けられた画像は２つの異なるコンボリューションフィルタ７１０を経て送信される。各コンボリューションフィルタは水平フィルタ７２０および７４０、ならびに垂直フィルタ７３０および７５０を有する。各コンボリューションが、定められた特定の順番で適用された後、画像はＭＶＵでフィルタリングされた青−黄／Ｖ画像７６０を生成するように再結合される。
【００２５】
要約すると、本発明は、映像画質を向上し、映像を圧縮するためのシステムおよび方法を提供する。かかるシステムの優位性は、同じビットレートで高画質の映像を表示させ、且つ、低ビットレートで同じ画質の映像を表示させる性能を含む。
【００２６】
本発明はいくつかの実施形態に関して説明されているが、本発明の範囲に収まる変更、修正、変形、および代わりとなる等価性が存在する。本発明の説明を補助するためにサブセクションの表題が提供されているが、これらの表題は例示を目的にしているに過ぎず、本発明の範囲を限定する意図はない。
【００２７】
本発明の方法および装置を実施する、数多くの代替的方法が存在することは留意すべきである。よって、以下に添付された請求項は、本発明の範囲に収まる程度のすべてのかかる変更、修正、変形、および代わりとなる等価性を含んでいると解釈されるべきことが意図されている。
【図１】
2017516432.tif 000003
【図２】
2017516432.tif 000004
【図３】
2017516432.tif 000005
【図４】
2017516432.tif 000006
【図５】
2017516432.tif 000007
【図６】
2017516432.tif 000008
【図７】
2017516432.tif 000009
【国際調査報告】
2017516432.tif 000010
2017516432.tif 000011