(57)【要約】  輝度変化の改善方法は、第１の輝度レベルから第２の輝度レベルへの変化の近くの符号化ビットストリームを復号する段階と、ビデオビットストリームを示す測定基準に基づき輝度変化強調をする段階と、を有する。また、輝度変化の改善をする装置は、ビデオデコーダと、信号中のビデオ符号化アーティファクトの程度を示す測定基準を決定するモジュールと、を含む。該装置は輝度過渡領域強調モジュールを含むビデオ処理モジュールも含む。輝度強調モジュールは、変化における測定基準の少なくとも１つの値に基づき変化をさせる。
2007531376.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号中の輝度変化を改良する方法であって、
第１の輝度レベルから第２の輝度レベルへ変化しているところの近くにおいて符号化されたビデオビットストリームを復号する段階と、
前記復号されたビデオビットストリーム中にあるビデオアーティファクトの程度を示す尺度に基づき、輝度変化強調をする段階と、を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
復号後、復号されたビデオビットストリームの符号化情報から前記尺度を計算する段階を更に有することを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、
前記尺度はデジタルビデオ処理用統一尺度であることを特徴とする方法。
【請求項４】
請求項３に記載の方法であって、
ビデオ変化強調は輝度過渡領域改善値に基づくことを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、
前記ＵＭＤＶＰ値がゼロより大きい場合、強調をすることを特徴とする方法。
【請求項６】
請求項５に記載の方法であって、
前記ＵＭＤＶＰ値が所定値より小さい場合、ビデオ強調はアーティファクト低減を実行した後にだけ行うことを特徴とする方法。
【請求項７】
請求項４に記載の方法であって、
前記ＵＭＤＶＰ値が所定値より大きく、ビデオ信号の輝度変化曲線の特定位置をシフトすることを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、
輝度変化曲線上の複数の位置で複数のＵＭＤＶＰ値を決定し、それぞれのスポットについて複数のシフトを計算することを特徴とする方法。
【請求項９】
請求項７に記載の方法であって、
Ｓ’＝ｆ（ＵＭＤＶＰ，Ｓ）
であり、ＳはＬＴＩからのシフトであることを特徴とする方法。
【請求項１０】
請求項８に記載の方法であって、
前記位置は１つ以上のブロック、サブピクセル、またはピクセルであることを特徴とする方法。
【請求項１１】
輝度変化を改善する装置であって、
ビデオデコーダと、
信号中のビデオアーティファクトの程度を示す尺度を決定する数値計算モジュールと、
輝度過渡領域強調モジュールを含むビデオ処理モジュールと、を有し、
前記輝度過渡領域強調モジュールは１つの位置における少なくとも前記数値に基づきビデオ変化を与えることを特徴とする装置。
【請求項１２】
請求項１１に記載の装置であって、
前記数値計算モジュールは前記デコーダから符号化情報を受け取ることを特徴とする装置。
【請求項１３】
請求項１１に記載の装置であって、
前記ビデオ処理モジュールは少なくともアーティファクト低減モジュールも含むことを特徴とする装置。
【請求項１４】
請求項１２に記載の装置であって、
前記測定基準はデジタルビデオ処理用統一計量基準であることを特徴とする装置。
【請求項１５】
請求項１４に記載の装置であって、
前記ビデオ強調モジュールは、輝度変化曲線に沿った複数の位置に対して輝度過渡領域改善を決定することを特徴とする装置。
【請求項１６】
請求項１５に記載の装置であって、
前記測定基準計算モジュールは前記複数の位置の各々についてＵＭＤＶＰ値を決定することを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、
前記ビデオ強調モジュールは、対応するＵＭＤＶＰ値が所定値より大きい場合にのみ、特定の位置にシフトＳ′を作用させることを特徴とする装置。
【請求項１８】
請求項１６に記載の装置であって、
前記ビデオ強調モジュールは、アーティファクト低減モジュールがアーティファクト低減をした後にのみ、特定の位置にシフトＳ′を作用させることを特徴とする装置。
【請求項１９】
請求項１６に記載の装置であって、
前記ビデオ強調モジュールは、ＵＭＤＶＰ値が所定値より小さい場合、前記複数の位置の前記特定の位置にはシフトを実行しないことを特徴とする装置。
【請求項２０】
請求項１６に記載の装置であって、
前記位置は１つ以上のブロック、サブピクセル、またはピクセルであることを特徴とする装置。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
この出願は、米国特許法１２０条及び３６５条（ｃ）項に基づき、国際特許出願第ＩＢ２００３／００５７（２００３年１２月４日出願、発明の名称「デジタルビデオ処理用統一尺度（ＵＭＤＶＰ）」、出願人Ｙａｎｇ等）、及び米国特許出願第１０／０２３，１３１号、発明の名称「自然な輝度変化強調」、出願人Ｂｅｌｌｅｒｓ）、米国仮特許出願（フィリップスの参照番号ＵＳ０４０１３５）（２００４年２月２７日出願、発明の名称「圧縮ビデオアプリケーションのリンギングアーティファクト低減」、出願人Ｂｏｒｏｃｚｋｙ等）に対する優先権を主張するものである。これらのアプリケーションは本譲受人に譲渡されており、これらの出願による開示はここで参照援用する。
【０００２】
Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ（ＭＰＥＧ）ビデオ圧縮技術は、必要な記憶容量と帯域幅を下げて、既存及び将来現れるビデオ製品（例えば、ＤＶＤプレーヤ、高精細度テレビデコーダ、テレビ会議等）を容易にする。ビデオ圧縮をするとアーティファクトが生じてピクチャ品質が下がってしまう。例えば、周知なこととして、このような圧縮技術（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６ｘ等）により、符号化アーティファクトが生じて符号化したビデオのピクチャ品質が低下する。
【０００３】
周知なように、ビデオ圧縮技術のフォーマットには上に挙げたようにいろいろある。さらに、符号化ビデオ信号は液晶オンシリコン（ＬＣＯＳ）やその他のＬＣＤデバイスを含む様々なアプリケーションで受信される。ＬＣＯＳデバイスは比較的高い解像度のビデオ画像を映す能力を持っている。しかし、圧縮アーティファクトは、多くのディスプレイ技術においては容易には識別できないが、ＬＣＯＳディスプレイにおいてはその本来的シャープネスゆえに目立つであろう。よって、既知のアーティファクト低減方法及び装置には欠点がある。
【０００４】
アーティファクトを低減する必要性に加えて、ビデオ信号をシャープにするために強調が必要となることが多い。ビデオ信号から作られて表示されるビデオ画像のシャープネスを改善する既知の方法は、エッジ過渡領域シャープネス強調（ｅｄｇｅ  ｔｒａｎｓｉｅｎｔ  ｓｈａｒｐｎｅｓｓ  ｅｎｈａｎｃｅｍｅｎｔ）法によることが一般的である。この方法は強調信号を利用して、ビデオ信号に加えてそこに含まれるエッジ過渡領域（ｅｄｇｅ  ｔｒａｎｓｉｅｎｔｓ）をシャープにする。このような強調信号を用いて、暗い画像領域から明るい画像領域への立ち上がりをシャープにするか、または明るい画像領域から暗い画像領域への立ち下がりをシャープにする。
【０００５】
一部のエッジ過渡領域シャープネス強調法は、線形高周波ブーストフィルタを用いて、ビデオ画像中にすでにある周波数を強調する線形法を利用する。先行技術である他のエッジ過渡領域シャープネス強調法は、エッジ過渡領域をシャープにすることを試みる非線形法を利用する。
【０００６】
既知のシャープネス強調法が過渡領域のシャープネスを幾分改善したが、まだ欠けている点や不足している点が残っている。例えば、過渡領域の符号化アーティファクトが多い場合、シャープネス強調によりアーティファクトも強調されてしまう傾向があり、画像品質が低下してしまう。
【０００７】
一実施形態例によると、輝度変化の改善方法は、第１の輝度レベルから第２の輝度レベルへの変化の近くの符号化ビットストリームを復号する段階と、復号ビデオビットストリーム中にあるビデオアーティファクトを示す測定基準に基づき輝度変化強調をする段階と、を有する。
【０００８】
他の実施形態例によると、輝度変化の改善をする装置は、ビデオデコーダと、信号中のビデオ符号化アーティファクトの程度を示す測定基準を決定するモジュールと、を含む。該装置は、輝度過渡領域強調モジュールを含むビデオ処理モジュールも含む。輝度強調モジュールは、変化における測定基準の少なくとも１つの値に基づき変化をさせる。
【０００９】
添付した図面を参照して以下の詳細な説明を読めば、本発明を最もよく理解することができる。
【００１０】
以下の詳細な説明では、限定のためではなく説明を目的として、具体的な詳細事項を開示した実施形態例を本発明を完全に理解してもらうことを目的として記載する。しかし、本開示の利益を受ける当業者には明らかなことであるが、本発明はここに開示した具体的な詳細事項から離れたその他の実施形態で実施することもできる。さらに、本発明の記載をわかりにくくしないように、周知の装置と方法の説明は省略することもある。そのような方法と装置は、もちろん実施形態を実行する上で本願発明者の想定範囲内である。可能な限り、図面を通して同一の数字は同一の特徴を指示している。
【００１１】
図１は、一実施形態例による圧縮されたデジタルビデオ信号の輝度変化を改善する装置１００を示すブロック図である。留意すべきことは、記載しない限り、図１の実施形態例のモジュール／装置は、ここに記載した機能を実行するハードウェア、ソフトウェア、または両方を含むことである。このハードウェア、ソフトウェア、またはその両方は、本技術分野における通常の技術の範囲内にあるので、実施形態例の記載をわかりにくくしないように、詳細には説明しない。
【００１２】
デコーダ１０１モジュールは、１つ以上の既知の方法により、入力ビデオ信号１０２を復号する。復号されたビデオ信号１０４は、ビデオ処理モジュール１０６への出力であり、その一部は信号１０４′として分岐され、更に処理するために測定基準計算装置１０５に入力される。
【００１３】
符号化情報１０３は、デコーダ１０１によっても出力され、測定基準計算装置１０５に入力される。出願第７０４２４５号（発明の名称「圧縮ビデオアプリケーションのためのリンギングアーティファクト低減」）及び前出の第ＩＢ２００３／００５７号に記載されているように、この符号化情報１０３は、アーティファクト低減を公表（ｐｒｏｍｕｌｇａｔｅ）して処理済みビデオ信号の測定基準情報を更新するために測定基準計算装置１０５により使用される。さらに、この説明を続けてよめばより明らかになるが、この測定基準を用いて、輝度過渡領域改善（ＬＴＩ）法を復号されたビデオ信号１０４の輝度変化に提供するのであればその程度を決定する。
【００１４】
このように、実施形態例の方法を復号した情報に適用した後、測定基準１０９をビデオ処理モジュール１０６に入力する。このビデオ処理モジュール１０６は、次に実施形態例の方法を適用して、輝度過渡領域の改善及びその他のビデオ処理機能を復号されたビデオ１０４に対して調整する。ビデオ処理モジュールのその他の例示的機能には、ノイズ低減とアーティファクト低減が含まれるがこれらに限定されない。留意すべきことは、ビデオ処理モジュールで作用されるその他のビデオ処理は、継続中の出願に記載されたビデオ処理、及び本開示の利益を有する当業者の範囲にあるその他の方法であってもよいことである。
【００１５】
ビデオ処理モジュール１０６は、次に、後処理されたビデオ信号１０７を出力し、画像品質の観点から改善された画像を供給する。モジュール１０６は、任意的に、信号１０８の更新された測定基準を出力して、画像品質を良くする。留意すべきことは、装置（ａｐｐａｒａｔｕｓ）１００中の様々な装置（ｄｅｖｉｃｅ）は、当業者には明らかな電子的装置であり、これ以上詳細には説明しないことである。さらに、留意すべきことは、ここに説明した実施形態例は、入力された圧縮デジタルビデオ信号１０２のＬＴＩに主に焦点を絞っていることである。しかし、他の機能を適用することもできる。例えば、アーティファクト低減及びビデオ強調方法及び装置は、前述した同時継続中の出願（第ＩＢ２００３／００５５号及び参照番号第７０４２５号）に記載したように実施することができる。それゆえ、本願出願人の出願の方法及び装置はここに参照援用する。
【００１６】
ここに記載した実施形態例では、圧縮されたデジタルビデオ信号はＭＰＥＧ−２フォーマットであり、測定基準は前述し以下に更に詳細に説明する同時係属出願第ＩＢ／２００３００５７号に記載されたＵＭＤＶＰである。このように、例示としてデコーダモジュール１０１はＭＰＥＧ−２デコーダであり、デコーダ１０１への信号入力はＭＰＥＧ−２信号であり、デコーダとアーティファクト低減装置からの出力はＭＰＥＧ−２フォーマットである。さらに、例示的に、符号化情報１０３はＭＰＥＧ−２符号化情報であり、測定基準計算からの出力（１０９）はＵＭＤＶＰである。さらに、本出願において、測定基準計算装置１０５はＵＭＤＶＰ計算装置１０５とも呼び、デコーダ１０１はＭＰＥＧ−２デコーダとも呼ぶ。最後に、ここで参照したＬＴＩ法は、米国特許第６，６００，５１７号、第６，０９４，２０５号、第６，６５７，６７７号、第５，６０６，２７６号及び米国特許公開出願第２００３／０１１２３７３号、第２００３／０１９７７２１２号に記載された方法であってもよい。これらの特許公報及び公開公報の開示はここに参照援用する。
【００１７】
しかし、留意すべきことは、測定基準及びＬＴＩ法は実施形態例における例示に過ぎないことである。すなわち、他のフォーマットと測定基準は、この他の既知のデジタルビデオ圧縮フォーマットと測定基準、及び既知のビデオ圧縮方法、測定基準、及びＬＴＩの子孫も含めて、ここに説明した実施形態例で使用できる。
【００１８】
図２は、ＬＴＩの既知の方法の例を示すグラフ２００である。留意すべきことは、この方法は、実施形態例を用いて作用させたようなビデオ強調を制御する測定基準の使用は含んでいない。むしろ、既知のＬＴＩ法を簡単に説明するために示したものである。
【００１９】
図２に示したＬＴＩ法は、画像の低輝度（または強度）光の領域と高輝度光の領域の間のエッジの傾きを修正する非線形アプローチである。すなわち、曲線２０１は、１次元のピクセル位置に対する実際の輝度を示す。言うまでもなく、曲線２０１における低輝度２０２から高輝度２０３への変化は、むしろゆっくりしており、エッジのシャープネスを低減している。したがって、変化率を高くして、知覚されるエッジ／変化のシャープネスを高くすることには利益がある。既知のＬＴＩ法は、曲線２０１上の点における傾きを選択的に修正して、曲線２０６とする。例えば、点２０７において、傾きを変更して曲線を２０４で示した量だけシフトする。また、点２０８において、傾きを変更して曲線を２０５で示した量だけシフトする。このプロセスを曲線２０１に沿って繰り返し作用させて、曲線２０６を実現する。
【００２０】
図２のＬＴＩはビデオ信号のエッジにおいて改善を示しているが、実施形態例によるさらなる改善が必要である。品質がよりよい出力ビデオ１０７を供給する１つの方法を図３を参照して説明する。
【００２１】
図３は、一実施形態例のＬＴＩ法を示すグラフ３００である。本実施形態において、測定基準計算モジュール１０５からの測定基準計算情報をビデオ処理モジュール１０６に入力し、ＬＴＩが測定基準データを組み込むように修正する。
【００２２】
例えば、一実施形態において、測定基準はＭＰＥＧ−２ビデオビットストリームのＵＭＤＶＰデータである。これらのＵＭＤＶＰ値は信号中の符号化アーティファクトの程度の情報を含む。例えば、ブロック、ピクセル、またはサブピクセルのＵＭＤＶＰ値が１であることは、信号中にほとんどアーティファクトが無いことを示し、ＵＭＤＶＰ値が０であることは、アーティファクトが多いことを示す。このように、多数のアーティファクトがある場合、アーティファクトを除去するまでビデオ強調を実行すべきではない。
【００２３】
このように、実施形態例のＬＴＩ法は測定基準値に依存する。一実施形態例において、ＬＴＩは：
Ｓ’＝ｆ（ＵＭＤＶＰ，Ｓ）          （１）
と表せる。ここで、ＳはＬＴＩ法で決定されるエッジ（例えば曲線３０３）上の特定点におけるシフトであり、Ｓ′は実施形態例によるエッジ上の点におけるシフトである。
【００２４】
例えば、図２のＬＴＩ法の適用によるシフトＳはエッジに沿った２つの点における２０５と２０７で示されている。対照的に、図３の実施形態例では、シフト量はＳ′であり、その点におけるＵＭＤＶＰ値により抑制されている。このため、一実施形態例では、未処理のゆっくりした輝度変化曲線３０３はよりシャープな曲線３０４に移る。しかし、曲線３０３に沿って例示した点３０５と３０６におけるシフトＳである３０１と３０２は、それぞれの点におけるＵＭＤＶＰ値に依存する。このように、ＵＭＤＶＰ値を組み込むことにより、ＵＭＤＶＰ値が比較的低い場合は「シフト」より少なくなり、ＵＭＤＶＰ値が比較的高い場合、完全なシフトとなる。留意すべきことは、シフトＳはＵＭＤＶＰ値、曲線３０３上の位置、及びＬＴＩからのシフトＳの関数となることである。よって、シフト３０１の大きさとシフト３０２の大きさは必ずしも等しくない。もちろん、これは曲線３０３に沿った全てのＳの値にあてはまる。
【００２５】
容易に分かるように、各点におけるＵＭＤＶＰ値への依存性のため、符号化アーティファクトにより損なわれた画像領域ではＬＴＩの適用が減少し、復号したビデオを弱いＬＴＩ法を用いて処理した場合、品質は良くなるのではなくむしろ更に悪くなる。
【００２６】
他の実施形態例によると、シフトＳは次式（２）で与えられる：
Ｓ＝ＵＭＤＶＰｘＳ          （２）
ここで、ＵＭＤＶＰ値は変化のエッジ上の位置に対するものであり、Ｓは選択したＬＴＩ法からのシフトである。
【００２７】
容易に分かるように、シフトＳはＵＭＤＶＰ値に直接比例する。ＵＭＤＶＰ値は−１から１までの範囲にあり、ＵＭＤＶＰ値が小さいほどアーティファクトが多くなる。実際には、本実施形態では正のＵＭＤＶＰ値のみを使用することに留意すべきである。ＵＭＤＶＰ値がゼロに等しいかそれ以下である場合、ビデオ強調は作用されない。
【００２８】
式（２）を含む方法は、一実施形態例の例示に過ぎない。明らかに、輝度変化を改善するＵＭＤＶＰとシフトＳに基づくシフトＳ′を決定する他の関係式は、本実施形態例の範囲内にある。例えば、他の実施形態例によると、シフトＳ′は次式（３）で与えられる：
【数１】
2007531376.tif 000003
ここで、Ｔ１は閾値（例えば０．３）であり、Ｓ１は他の制御パラメータ（例えば５．０）である。
【００２９】
留意すべきことは、ＵＭＤＶＰに制御されたアーティファクト低減を実行した後に、ＵＭＤＶＰ値を有用にも更新できることである。その後、Ｓ′の値を新しいＵＭＤＶＰ値を用いて計算する。このように、実施形態例の輝度変化強調を含むビデオ強調は、アーティファクト低減を作用させた後に作用させられる。有益にも、これにより許容できないレベルのアーティファクトを有するビデオ信号を強調することを防止でき、アーティファクトを低減したビデオの強調を提供できる。究極的に、後処理されたビデオ品質はこの実施形態例により改善される。
【００３０】
図４は、一実施形態例のＬＴＩ法を選択的に適用する方法例４００を示すフローチャートである。本方法は、図１の実施形態の装置１００と共に使用することができることに留意すべきである。
【００３１】
ステップ４０１において、符号化されたビデオビットストリームは復号されて復号ビデオと符号化情報になる。ステップ４０２において、復号ビデオはビデオ処理モジュールと、任意的に測定基準計算モジュールとに供給される。符号化情報は測定基準計算装置に供給される。一実施形態例では、符号化ビデオはＭＰＥＧ−２であり、測定基準はＵＭＤＶＰである。
【００３２】
ステップ４０３において、測定基準計算値を決定する。ステップ４０４において、測定基準を閾値と比較して、この測定基準が閾値より高い場合、ステップ４０６に続く。測定基準が閾値より低い場合、ステップ４０５で終了する。一実施形態例では、測定基準はＵＭＤＶＰ値であり閾値はゼロである。もちろん、これは単なる例示であり、他の測定基準や閾値を使用してもよい。場合によっては、測定基準が閾値以下であることを要求してもよいし、測定基準が閾値以上であることを要求してもよい。
【００３３】
上述のように、一実施形態例では、測定基準がゼロより大きい場合、式（２）の関係に基づいてステップ４０６でシフトを計算する。留意すべきことは、式（１）に示した関数的依存性は修正されたＬＴＩ法を実現する具体的な関係を提供する。一般的に、ＵＭＤＶＰ値の閾値がゼロより大きい場合である。
【００３４】
最後に、測定基準値がステップ４０４で設定した基準を満たさない場合、ステップ４０５において、ビデオ強調（例えばＬＴＩ）は実施されず、既存の変化エッジが出力される処理ビデオにより供給される。あるいは、ビデオ強調（例えばＬＴＩ）をアーティファクト低減を完了した後に作用させる。
【００３５】
本開示を考慮して、ここに説明したいろいろな方法と装置をソフトウェア、ハードウェア、またはこれらの組み合わせにより実施して所望の性能レベルを達成することができる。さらに、様々な方法とパラメータは例であって限定する意味ではない。それゆえ、説明した実施形態医は例示であり、特に強いエッジの近くにあるリンギングアーティファクトの低減、及び更新された測定基準の提供に有用であり、実施形態例に限定されるものではない。この開示を考慮して、当業者は、添付した請求項の範囲内に留まりながら、符号化デジタルビデオの処理を決定する様々な装置と方法を実施することができる。
【図面の簡単な説明】
【００３６】
【図１】一実施形態例による、エッジの近くのビデオアーティファクトを示す測定基準を用いて、過渡領域エッジシャープネスを改善する装置を示すブロック図である。
【図２】暗から明への変化の近くにある強度値（相対スケール）対ピクセル位置を示すグラフである。
【図３】一実施形態例の方法を組み込んだ、暗から明への変化の近くにある強度値（相対スケール）対ピクセル位置を示すグラフである。
【図４】一実施形態例によるビデオ強調をする方法を示すフローチャートである。
【図１】
2007531376.tif 000004
【図２】
2007531376.tif 000005
【図３】
2007531376.tif 000006
【図４】
2007531376.tif 000007
【国際調査報告】
2007531376.tif 000008
2007531376.tif 000009
2007531376.tif 000010