(57)【特許請求の範囲】
【請求項１】
ディテール強調されたビデオ信号を生成するためのシステムであり、前記システムは、
入力ビデオ信号を受信するフィルタであり、
前記入力ビデオ信号の一次変換である第１の信号を生成し、
前記入力ビデオ信号と前記第１の信号との間の差分を決定することによってディテール信号を生成するフィルタであり、前記ディテール信号は、前記ディテール強調されたビデオ信号を生成すべく、前記入力ビデオ信号に加えられる情報を含むフィルタと、
前記ディテール信号からノイズを除去することによって、フィルタリング処理されたディテール信号を生成するノイズ低減器と、
第２の信号を生成すべく、前記フィルタリング処理されたディテール信号にゲイン関数を乗算する乗算器であり、前記ゲイン関数は前記入力ビデオ信号における分散の量に基づく乗算器と、
前記ディテール強調されたビデオ信号を生成すべく、前記入力ビデオ信号及び前記第２の信号を組み合わせる加算器と、を備え
（１）ｍｉｄ値は、前記ゲイン関数がピークをとる分散を示す値であり、（２）前記ｍｉｄ値から前記分散が大きくなるにつれて、前記ゲイン関数が減少し、（３）前記ｍｉｄ値から前記分散が減少するにつれて、前記ゲイン関数が減少する、
システム。
【請求項２】
前記入力ビデオ信号は第１の複数の画素を含み、
前記フィルタリング処理されたディテール信号は第２の複数の画素を含み、
前記乗算器は、前記第２の複数の画素のうちの画素と前記ゲイン関数のゲイン値とを乗算し、
前記ゲイン値は、前記第１の複数の画素のうちの画素を含む画素群の分散に基づき、
前記第１の複数の画素のうちの前記画素及び前記第２の複数の画素のうちの前記画素は、同一のｘ−ｙ座標を有する
請求項１に記載のシステム。
【請求項３】
前記第２の信号は、
ΔＹｄｅｔ＝（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎ
によって定義され、
ここで、ΔＹｄｅｔは前記第２の信号であり、Ｄは前記ディテール信号であり、ｎｏｉｓｅは前記ディテール信号から除去される前記ノイズであり、ｇａｉｎは前記ゲイン関数である
請求項１又は２に記載のシステム。
【請求項４】
前記一次変換は、
【数１９】
0006587317.tif 000020
によって定義され、
ここで、Ｉｉは前記入力ビデオ信号の画素ｉの値であり、ｑｉは、前記画素ｉに対応する前記第１の信号の画素であり、
【数２０】
0006587317.tif 000021
（以降、／ａと記す）は、前記画素ｉを含む画素群の前記分散を示す第１の平均係数であり、
【数２１】
0006587317.tif 000022
（以降、／ｂと記す）は、前記画素群の平均値を示す第２の平均係数である
請求項１から３の何れか一項に記載のシステム。
【請求項５】
前記ゲイン関数は変数前記／ａに基づく
請求項４に記載のシステム。
【請求項６】
前記ゲイン関数は、
【数２２】
0006587317.tif 000023
によって定義され、
ｇａｉｎは、／ａの特定の値における前記ゲイン関数の値であり、ｍｉｄ、
【数２３】
0006587317.tif 000024
（以降、σ２ｇ１と記す）、
【数２４】
0006587317.tif 000025
（以降、σ２ｇ２と記す）、及びｓｃａｌｅは、前記ゲイン関数の分布を制御するパラメータである
請求項４又は５に記載のシステム。
【請求項７】
前記ノイズ低減器は、前記ディテール信号における前記ノイズを計算するための式を使用し、前記式は変数前記／ａに基づく
請求項４から６の何れか一項に記載のシステム。
【請求項８】
前記入力ビデオ信号の画素であり、前記画素が、ＨＳＶ色空間において、Ｈが０°≦Ｈ≦５０°、Ｓが０．２≦Ｓ≦０．６８及びＶが０．３５≦Ｖ≦１の条件を満たす色を有するとき、前記画素の前記ゲイン関数は、肌色として予め決められたゲイン値に設定され、前記画素のために除去される前記ノイズは、肌色として予め決められたノイズ値に設定される請求項１から７の何れか一項に記載のシステム。
【請求項９】
ディテール強調されたビデオ信号を生成するための方法であり、前記方法は、
入力ビデオ信号を受信する段階と、
前記入力ビデオ信号の一次変換である第１の信号を生成する段階と、
前記入力ビデオ信号と前記第１の信号との間の差分を決定することによってディテール信号を生成する段階であり、前記ディテール信号は、前記ディテール強調されたビデオ信号を生成すべく、前記入力ビデオ信号に加えられる情報を含む段階と、
前記ディテール信号からノイズを除去することによってフィルタリング処理されたディテール信号を生成する段階と、
第２の信号を生成すべく、前記フィルタリング処理されたディテール信号にゲイン関数を乗じる段階であり、前記ゲイン関数は前記入力ビデオ信号における分散量に基づく段階と、
前記ディテール強調されたビデオ信号を生成すべく、前記入力ビデオ信号と前記第２の信号とを組み合わせる段階とを含み、
（１）ｍｉｄ値は、前記ゲイン関数がピークをとる分散を示す値であり、（２）前記ｍｉｄ値から前記分散が大きくなるにつれて、前記ゲイン関数が減少し、（３）前記ｍｉｄ値から前記分散が減少するにつれて、前記ゲイン関数が減少する、
方法。
【請求項１０】
前記入力ビデオ信号は第１の複数の画素を含み、前記フィルタリング処理されたディテール信号は第２の複数の画素を含み、前記方法は、
前記第２の複数の画素のうちの画素と前記ゲイン関数のゲイン値とを乗じる段階をさらに備え、前記ゲイン値は前記第１の複数の画素のうちの画素を含む画素群の分散に基づき、前記第１の複数の画素のうちの前記画素及び前記第２の複数の画素のうちの前記画素は同一のｘ−ｙ座標を有する
請求項９に記載の方法。
【請求項１１】
前記第２の信号は、
ΔＹｄｅｔ＝（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎ
によって定義され、
ここで、ΔＹｄｅｔは前記第２の信号であり、Ｄは前記ディテール信号であり、ｎｏｉｓｅは前記ディテール信号から除去される前記ノイズであり、ｇａｉｎは前記ゲイン関数である
請求項９又は１０に記載の方法。
【請求項１２】
前記一次変換は、
【数２５】
0006587317.tif 000026
によって定義され、
ここで、Ｉｉは前記入力ビデオ信号の画素ｉの値であり、ｑｉは、前記画素ｉに対応する前記第１の信号の画素であり、／ａは、前記画素ｉを含む画素群の前記分散を示す第１の平均係数であり、／ｂは、前記画素群の平均値を示す第２の平均係数である
請求項９から１１の何れか一項に記載の方法。
【請求項１３】
前記ゲイン関数は変数前記／ａに基づく
請求項１２に記載の方法。
【請求項１４】
前記ゲイン関数は、
【数２６】
0006587317.tif 000027
によって定義され、
ｇａｉｎは、／ａの特定の値における前記ゲイン関数の値であり、ｍｉｄ、σ２ｇ１、σ２ｇ２、及びｓｃａｌｅは、前記ゲイン関数の分布を制御するパラメータである
請求項１２又は１３に記載の方法。
【請求項１５】
前記ディテール信号における前記ノイズを計算するための式を使用する段階をさらに備え、前記式は変数前記／ａに基づく
請求項１２から１４の何れか一項に記載の方法。
【請求項１６】
前記ディテール信号の画素に対するノイズ値を決定する段階をさらに備え、前記ノイズ値は、前記入力ビデオ信号の画素を含む画素群の分散に基づき、前記ディテール信号の前記画素及び前記入力ビデオ信号の前記画素は同一のｘ−ｙ座標を有する
請求項９から１５の何れか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本開示は、２０１３年３月２２日に出願された、米国仮特許出願第６１／８０４，５２２号に対する優先権を主張し、その全体が参照によって本明細書に組み込まれる。
【０００２】
本文献において記載される技術は、概してビデオ処理分野に関し、より具体的には、画像のディテール及びエッジ強調に関する。
【背景技術】
【０００３】
ファインディテール強調（すなわち、「ディテールＥＥ」）及びルミナンストランジッションインプルーブメント（ＬＴＩ）の両方を備えるエッジ強調器は、入力ビデオ信号における複数のトランジッションを改善すべく使用される。複数の小さいトランジッションにディテールＥＥが適用され、かつ大きいトランジッションにＬＴＩが適用され、これらが平行して適用されると、エッジ強調器の出力は、元の信号（Ｙｉｎ）とディテール強調（ΔＹｄｅｔ）とトランジッションインプルーブメント（ΔＬＴＩ）との和になる。例示的なシステムにおいて、ディテールＥＥは、アンシャープマスキング処理の原理を使用し、入力ビデオ信号において複数の小さいディテールを強調できる複数のエッジ上のオーバシュート又はリンギングを引き起こす。
【発明の概要】
【０００４】
本開示は、ディテール強調されたビデオ信号を生成するための複数のシステム及び複数の方法に係る。ディテール強調されたビデオ信号を生成するための例示的なシステムは、入力ビデオ信号を受信するフィルタを含む。フィルタは、入力ビデオ信号の一次変換である第１の信号を生成し、かつディテール信号を生成すべく構成される。ディテール信号は、入力ビデオ信号と第１の信号との間の差分を決定することによって生成される。ここで、ディテール信号は、ディテール強調されたビデオ信号を生成すべく入力ビデオ信号に加えられる情報を含む。システムはまた、ディテール信号からノイズを除去することによって、フィルタリング処理されたディテール信号を生成するよう構成されるノイズ低減器を含む。システムはまた、第２の信号を生成すべく、フィルタリング処理されたディテール信号にゲイン関数を乗算するよう構成される乗算器を含む。ゲイン関数は、入力ビデオ信号における分散量に基づく。システムは、ディテール強調されたビデオ信号を生成すべく、入力ビデオ信号と第２の信号とを組み合わせるよう構成される加算器をさらに含む。
【０００５】
別の例において、ディテール強調されたビデオ信号を生成するための方法において、入力ビデオ信号が受信される。入力ビデオ信号の一次変換である第１の信号が生成される。ディテール信号は、入力ビデオ信号と第１の信号との間の差分を決定することによって生成される。ここで、ディテール信号は、ディテール強調されたビデオ信号を生成すべく、入力ビデオ信号に加えられる情報を含む。フィルタリング処理されたディテール信号は、ディテール信号からノイズを除去することによって生成される。フィルタリング処理されたディテール信号はゲイン関数を乗算されて、第２の信号を生成する。ゲイン関数は、入力ビデオ信号における分散量に基づく。入力ビデオ信号と第２の信号とは組み合わせられて、ディテール強調されたビデオ信号を生成する。
【図面の簡単な説明】
【０００６】
【図１】例示的なエッジ強調アーキテクチャのブロック図である。
【０００７】
【図２】ディテール強調されたビデオ信号を生成するための例示的なシステムのブロック図を描写する。
【０００８】
【図３Ａ】例示的なガイデットフィルタと、フィルタに対する対応する複数の入力及び複数の出力とを描写する。
【０００９】
【図３Ｂ】半径ｒの複数のボックスウインドウでの平均値及び分散値を計算するための一次元（１Ｄ）の移動和法の例示的な複数の段階を示すフローチャートを描写する。
【００１０】
【図３Ｃ】二画素のウィンドウ半径を有する複数の画素のボックスを描写する。
【００１１】
【図３Ｄ】ガイデットフィルタによって実行される例示的な複数の段階を示すフローチャートを描写する。
【００１２】
【図４】Ｄ＝Ｉ−Ｑとなるように、入力ビデオ信号（Ｉ）と、案内信号（Ｑ）の一次変換である第１の信号との間の差分をとることによって決定される例示的なディテール信号（Ｄ）を描写する。
【００１３】
【図５Ａ】例示的なディテール強調モジュールと、モジュールに対する対応する複数の入力及び複数の出力とを描写する。
【００１４】
【図５Ｂ】ディテール強調モジュールにおいて使用される例示的な複数のゲイン関数を描写する。
【００１５】
【図５Ｃ】ディテール強調モジュールによって実行される例示的な複数の段階を示すフローチャートを描写する。
【００１６】
【図６】入力画像Ｉに対する強調された出力を計算するための例示的な複数の段階を示すフローチャートである。
【００１７】
【図７】ディテール強調されたビデオ信号を生成するための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【００１８】
図１は、例示的なエッジ強調アーキテクチャのブロック図１００を示す。例示的なエッジ強調アーキテクチャは、ビデオ後処理（ＶＰＰ）システムにおいて使用される。図１において、ビデオ信号Ｙｉｎ１０２は、ファインディテール強調（「ディテールＥＥ」）モジュール１１０及びルミナンストランジッションインプルーブメント（「ＬＴＩ」）モジュール１４０の両方を含むエッジ強調アーキテクチャに入力される。ビデオ信号Ｙｉｎ１０２はまずディテールＥＥモジュール１１０に入力され、ディテールＥＥモジュール１１０は、ビデオ信号Ｙｉｎ１０２の複数の強調されたファインディテールを表すディテール信号ΔＹｄｅｔ１０７を出力する。ディテール信号ΔＹｄｅｔ１０７はディテールスケーラ１３０においてアップスケーリング処理されて、信号ΔＹｄｅｔ−ｓｃｌ１０４を生成する。
【００１９】
ディテールＥＥモジュール１１０のもう１つの出力はＹｄｅｔ１０１である。図１の例において、Ｙｄｅｔ１０１は、調節されることなくディテールＥＥモジュール１１０を通された入力ビデオ信号Ｙｉｎ１０２を含む。別の例において、Ｙｄｅｔ１０１は、複数のファインディテールが強調されたビデオ信号を生成すべく、入力ビデオ信号Ｙｉｎ１０２に加えられたディテール信号ΔＹｄｅｔ１０７を含む。Ｙｄｅｔ１０１は、スケーリング処理された信号Ｙｓｃｌ１０３を生成すべくビデオスケーラ１２０においてアップスケーリング処理され、スケーリング処理された信号Ｙｓｃｌ１０３はＬＴＩモジュール１４０に入力される。図１の例において、ビデオスケーラ１２０及びディテールスケーラ１３０は、同一のスケーラフィルタを含む複数のフィルタを含む。別の例において、ビデオスケーラ１２０及びディテールスケーラ１３０は異なるスケーラフィルタを含む複数のフィルタを含む。スケーリング処理された信号Ｙｓｃｌ１０３にＬＴＩインプルーブメント信号ΔＬＴＩが加えられて、ＬＴＩモジュール１４０の出力１０５になる。出力信号Ｙｓｃｌ＋ΔＬＴＩ１０５は、加算器１６０で、スケーリング処理されディテール強調された信号ΔＹｄｅｔ−ｓｃｌ１０４に空間領域において加えられる。エッジ強調アーキテクチャの最終的な出力Ｙｅｅ−ｏｕｔ１０６は、エッジ強調され、かつスケーリング処理された信号である。
【００２０】
図１において示されるように、例示的なディテール強調アーキテクチャは、ルマ（Ｙ）ディテール強調モジュール（すなわち、ディテールＥＥモジュール１１０を含む）と、トランジェントインプルーブメントモジュール（すなわち、ＬＴＩモジュール１４０を含む）との２つの独立したモジュールを含む。トランジェントインプルーブメントモジュールは、入力ビデオ信号Ｙｉｎ１０２の複数の大きいエッジを強調するために使用され、ルマディテール強調モジュールは、入力ビデオ信号Ｙｉｎ１０２の複数のファインエッジを強調するために使用される。図２−図７及び本明細書におけるそれらの対応する説明は、ディテールＥＥモジュール１１０において実行されるディテール強調の複数の態様に係る。以下にさらに詳しく記載されるように、ディテールＥＥモジュール１１０において実行されるディテール強調は、入力画像から複数のディテールを抽出するためのガイデット画像フィルタを使用する。それとは対照的に、複数の代替的なディテール強調方法は、ガイデット画像フィルタを使用せず、代わりにハイパスフィルタ又はバンドパスフィルタのいずれかにおいて複数の固定パラメータを使用して、入力画像から複数のディテールを抽出する。そのような複数の代替的なディテール強調方法は、入力ビデオ信号Ｙｉｎ１０２の複数のエッジの周りに複数の大きいディテールをもたらし、暗い又は比較的平滑な複数の領域においてはほとんどディテールをもたらさない。複数の代替的なディテール強調方法において、強い強調ゲインを用いると、オーバシュート又は経時的なフリッカが複数のエッジの周りで頻繁に見られ、複数の暗い領域における複数のディテールは依然として効果的に強調されない。以下に詳述されるように、図２−図７を参照すると、ガイデット画像フィルタを使用するディテールＥＥモジュール１１０は、複数の代替的なディテール強調方法に固有の複数の欠点を克服し得る。
【００２１】
図２は、ディテール強調されたビデオ信号２２０を生成するための例示的なシステムのブロック図２００を描写する。図２の例示的なシステムにおいて、ガイデット画像フィルタ２０２は入力ビデオ信号（Ｉ）２０４及び案内信号２０６を受信する。入力ビデオ信号２０４は、１又は複数の画像を含み、例示的なシステムは、１又は複数の画像に複数のディテールを加えてディテール強調されたビデオ信号２２０を生成すべく構成される。一例において、入力ビデオ信号２０４の１又は複数の画像は複数のビデオフレームを含む。同様に案内信号２０６は１又は複数の画像を含み、案内信号２０６のコンテンツは、フィルタリング処理動作を実行する際にガイデット画像フィルタ２０２によって考慮され得る。例示的なシステムにおいて、案内信号２０６は、ガイデット画像フィルタ２０２に複数の制約を実行する際に使用され、別の例示的なシステムにおいて、案内信号２０６を使用して複数のフィルタカーネルが構築される。一例において、案内信号２０６は入力ビデオ信号２０４であり、２つの別個の信号２０４、２０６がガイデット画像フィルタ２０２に入力されることはなく、信号２０４、２０６の両方を表す単一の信号がフィルタ２０２によって代わりに受信される。
【００２２】
ガイデット画像フィルタ２０２は、案内信号２０６の一次変換である第１の信号（Ｑ）を生成すべく構成される。以下にさらに詳しく記載されるように、図３Ａ−図３Ｄを参照すると、一次変換は、案内信号２０６の画素をカバーする、半径ｒの複数のウィンドウの平均値及び分散値を決定することを伴う。第１の信号及び入力ビデオ信号２０４を使用して、ガイデット画像フィルタ２０２はディテール信号（Ｄ）２０８を生成する。ディテール信号２０８は、ディテール信号２０８がＩ−Ｑに等しくなるように、入力ビデオ信号２０４と第１の信号との間の差分をとることによって決定される。以下にさらに詳しく記載されるように、ディテール信号２０８は、ディテール強調されたビデオ信号２２０を生成すべく、入力ビデオ信号２０４に加えられる情報を含む。
【００２３】
図２のシステムは、ディテール信号２０８からノイズを除去することによってフィルタリング処理されたディテール信号２１２を生成すべく構成されるノイズ低減器２１０をさらに含む。乗算器２１４は、フィルタリング処理されたディテール信号２１２を受信し、フィルタリング処理されたディテール信号２１２にゲイン関数を乗算して第２の信号２１６を生成する。ゲイン関数は、入力ビデオ信号２０４における分散量に基づく。分散は入力ビデオ信号２０４内のアクティビティレベル又は変化量を示す。加算器２１８は入力ビデオ信号２０４及び第２の信号２１６を受信する。加算器２１８は、ディテール強調されたビデオ信号２２０を生成すべく、入力ビデオ信号２０４と第２の信号２１６とを組み合わせるよう構成される。
【００２４】
一例において、入力ビデオ信号２０４、案内信号２０６、ディテール信号２０８、フィルタリング処理されたディテール信号２１２、及び第２の信号２１６はそれぞれ複数の画素を含む。一例において、複数の画素はビデオ信号の特定のフレームである。さらに、以下により詳しく記載されるように、乗算器２１４は、フィルタリング処理されたディテール信号２１２に含まれる複数の画素のうちの画素にゲイン関数のゲイン値を乗算すべく構成される。ゲイン値は画素群の分散に基づく。ここで、当該画素群は、入力ビデオ信号２０４に含まれる複数の画素のうちの画素を含む。フィルタリング処理されたディテール信号２１２に含まれる複数の画素のうちの画素及び入力ビデオ信号２０４に含まれる複数の画素のうちの画素は、使用されるそれらの画素が複数の異なる画像における対応する画素であるように、同一のｘ−ｙ座標を有する。
【００２５】
図３Ａは、例示的なガイデットフィルタ３００と、フィルタ３００に対する対応する複数の入力及び複数の出力とを描写する。ガイデットフィルタ３００は、フィルタリング処理される入力画像（Ｉ）を含む入力ビデオ信号と、案内画像と、ウィンドウ半径（ｒ）と、正則化パラメータ（ε）とを含む複数の入力を受信する。ガイデットフィルタ３００がディテール強調処理を実行すべく使用される図３Ａの例において、案内画像及び入力画像は同一である。フィルタリング処理される入力画像（Ｉ）を使用して、ガイデットフィルタ３００は、以下の一次変換を使用して、全ての画素ｉ∈Ｉに対するフィルタリング出力ｑｉを計算する。
【数１】
0006587317.tif 000002
（式１）
ここで、
【数２】
0006587317.tif 000003
及び
【数３】
0006587317.tif 000004
は、画素ｉをカバーする半径ｒを有する全てのウィンドウの平均係数であり、｜ω｜は、それらの平均係数を決定する際に使用されるウィンドウ数である。画素ｋを中心とするウィンドウωｋに対して、
【数４】
0006587317.tif 000005
（式２）
【数５】
0006587317.tif 000006
（式３）
であり、ここで、
【数６】
0006587317.tif 000007
（以降、σ２ｋと記す）及びμｋは、それぞれ、ウィンドウωｋ中の複数の画素の分散及び平均であり、εは正則化パラメータである。フィルタ出力（Ｑ）は、全ての画素ｉ∈Ｉに対するフィルタリング出力ｑｉを含む。
【００２６】
図３Ｂは、半径ｒの複数のボックスウインドウでの平均値及び分散値を計算するための一次元（１Ｄ）の移動和法の例示的な複数の段階を示すフローチャート３２０を描写する。半径ｒの複数のボックスウインドウでの平均値及び分散値は、水平方向及び鉛直方向に簡単な１Ｄ移動和法を適用することによって計算される。３２２において、入力信号ｐ＿ｉが受信される。ここで、ｉ＝０，...，ｍである。さらに、３２２において、半径ｒパラメータが受信される。３２４において、ｓ＿０の値が決定される。ここで、ｓ＿０＝ｓｕｍ  ｏｆ  （ｐ＿０，...，Ｐ＿ｒ）である。さらに３２４において、変数ｋが１に等しく設定される（ｋ＝１）。３２６において、値ｓ＿ｋが決定される。ここで、ｓ＿ｋ＝ｓ＿（ｋ−１）＋Ｐ＿（ｉ＋ｒ）−ｐ＿（ｉ−ｒ−１）である。さらに、３２６において、ｊ＜０ならば、ｐ＿ｊは０に設定される。３２８において、変数ｋがｍより大きいか、又はｍに等しいかどうかについての決定が成される。変数ｋがｍより大きくない又は等しくない場合、フローチャート３２０は３３０に進み、３３０において、変数ｋは１だけインクリメントされる（ｋ＝ｋ＋１）。変数ｋが３３０において１だけインクリメントされた後、フローチャート３２０は３２６に戻る。３２８において、変数ｋがｍより大きい又は等しいと決定される場合、フローチャート３２０は３３２において完了する。
【００２７】
図３Ｃは、二画素のウィンドウ半径を有する、複数の画素のボックス３４０を描写する。一例において、式１中の
【数７】
0006587317.tif 000008
（以降、／ａｉと記す）、及び
【数８】
0006587317.tif 000009
（以降、／ｂｉと記す）の計算の際、ガイデット画像フィルタ３００における計算コストを制限するために、ウィンドウ半径ｒは二画素に等しく設定される。ゆえに、画素ｋ３４２について、５×５の隣接する画素（図３Ｃのボックス３４０において示されるような）が、分散値σ２ｋ及び平均値μｋを計算すべく使用される。分散値σ２ｋ及び平均値μｋを計算した後、式２及び式３によって、ａｋ値及びｂｋ値が計算される。必要メモリを増やさないようにするために、破線のウィンドウ３４４において示される５つのａｋ値及びｂｋ値の平均が、式１中の／ａｉ値及び／ｂｉ値を決定すべく計算される。このように複数の計算をすることによって、５つのラインバッファだけが使用される。
【００２８】
図３Ｄは、ガイデットフィルタ３００によって実行される例示的な複数の段階を示すフローチャート３６０を描写する。３６２において、入力ビデオ信号（Ｉ）中の各画素ｋに対して、画素ｋを中心とする半径ｒのウィンドウωｋの分散σ２ｋ及び平均μｋが計算される。３６４において、式２及び式３によって係数ａｋ及びｂｋが計算される。３６６において、入力ビデオ信号の各画素ｉに対して、画素ｉをカバーする複数のウィンドウの全てのａｋ及びｂｋの平均係数／ａｉ及び／ｂｉが、
【数９】
0006587317.tif 000010
及び
【数１０】
0006587317.tif 000011
によって計算される。３６８において、ガイデット画像フィルタの出力は、式１によって計算される。
【００２９】
図３Ａのガイデット画像フィルタ３００は、エッジ保存特性を有し、エッジ保存特性は２つの場合を考慮することによって説明され得る。第１に、高アクティビティ領域（すなわち、高分散領域）について、入力画像は、σ２ｋ＞＞εとなるように、ウィンドウωｋ内で比較的大きく変化する。ゆえに、高アクティビティ領域においては、
【数１１】
0006587317.tif 000012
である。高アクティビティ領域内の画素に対して、フィルタリング処理された画素値が比較的変化しないままであるように、
【数１２】
0006587317.tif 000013
である。
【００３０】
一方、平坦又は平滑な領域については、複数の画素値はウィンドウωｋにおいてほぼ一定である。故に、σ２ｋ<<εであり、かつ
【数１３】
0006587317.tif 000014
である。平坦又は平滑な領域内の画素について、
【数１４】
0006587317.tif 000015
であり、フィルタリング処理された画素は、考慮される複数のウィンドウ中の複数の隣接する画素の平均となる。正則化パラメータεを調節することによって、保存される複数のエッジ領域又はアクティビティ領域の範囲は制御される。保存される複数のエッジ領域又はアクティビティ領域の範囲の制御が可能であることは、テレビシステムにおけるディテール強調にとって望ましい。なぜなら、複数のエッジの複数の特定の範囲は、ディテール強調後のその後の処理、又は複数の視覚効果のために保存され得るからである。
【００３１】
図４は、Ｄ＝Ｉ−Ｑとなるように、入力ビデオ信号（Ｉ）と、案内信号（Ｑ）の一次変換である第１の信号との間の差分をとることによって決定される例示的なディテール信号（Ｄ）４００を描写する。上述されたように、図３Ａ−図３Ｄを参照すると、第１の信号はガイデット画像フィルタによって生成されるフィルタリング処理された画像である。例えば、式１は、入力画像Ｉの単一の画素ｉに対応する出力である、ガイデット画像フィルタの出力ｑｉを表している。第１の信号は、入力画像Ｉの複数の画素のそれぞれに対する複数のｑｉ値を含む画像である。例示的なディテール信号４００は、ディテール強調されたビデオ信号を生成すべく、入力ビデオ信号に加えられる情報を含む。
【００３２】
図５Ａは、例示的なディテール強調モジュール５００と、モジュール５００に対する対応する複数の入力及び複数の出力とを描写する。上述されたように、ディテール画像Ｄ＝Ｉ−Ｑは、ガイデット画像フィルタによって生成される。ここで、Ｉは入力画像であり、Ｑは、案内画像の一次変換をとることによって得られるガイデット画像フィルタの出力である。図５Ａは、ディテール強調モジュール５００によって受信される入力画像Ｉ及びディテール画像Ｄ＝Ｉ−Ｑを描写する。これらの入力と、以下に記載される他のものに基づいて、ディテール強調モジュール５００は、Ｅ＝Ｉ＋（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎによってディテール強調されたビデオ信号Ｅを生成する。ディテール強調されたビデオ信号Ｅを計算する際使用される変数「ｇａｉｎ」及び「ｎｏｉｓｅ」は、入力画像Ｉにどれくらい強くディテール画像Ｄの複数のディテールが加えられるか（すなわち、入力画像Ｉにディテール画像Ｄの複数のディテールが加えられる際の強度）を制御すべく選択される。図１を参照すると、ディテール画像ΔＹｄｅｔ＝（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎであり、Ｙｄｅｔ＝Ｅ又はＩである。Ｙｄｅｔは、ディテール強調がディテールＥＥモジュール１１０において実行されるのか、又は後の下流のモジュールにおいて実行されるのかに依存して、Ｅ又はＩのいずれかに等しくなるべく選択される。
【００３３】
Ｅ＝Ｉ＋（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎによってディテール強調されたビデオ信号Ｅを決定する際に使用される「ゲイン」関数は、モジュール５００が、入力画像Ｉの様々な領域内のアクティビティレベル（すなわち、分散）に基づいて変化するディテール強調を提供できるようにする。図５Ａにおいて示されるように、ディテール強調モジュール５００はガイデット画像フィルタにおいて使用される係数／ａを受信する。係数／ａは、入力画像Ｉの現在の画素が配置される小さい領域についての、周波数情報に対して高い相関性のあるアクティビティレベル情報をモジュール５００に提供する。ゲイン関数の式は、
【数１５】
0006587317.tif 000016
（式４）
ここで、ｘは現在の画素に対する係数／ａであり、ｓｃａｌｅ、ｍｉｄ、σ２ｇ１、及びσ２ｇ２は、ゲイン関数のガウス分布形状を制御するディテール強調モジュール５００によって受信されるパラメータである。変数／ａ、ｓｃａｌｅ、ｍｉｄ、σ２ｇ１、及びσ２ｇ２を使用するゲイン関数のガウス分布形状を制御することによって、モジュール５００は、入力画像Ｉの様々な領域内のアクティビティレベル（すなわち、分散）に基づいて変化するディテール強調を提供することができる。
【００３４】
図５Ｂは、ディテール強調モジュール５００において使用される例示的な複数のゲイン関数５２０を描写する。例示的な複数のゲイン関数５２０は、ディテール強調モジュール５００の複数のパラメータを調節することによって実装され得る３つのタイプの形状を描写する。ここで、アクティビティ度は、［０、１０２４］の範囲を有する、式４におけるｘの整数のバージョンであり、ｍｉｄは５００、ｓｃａｌｅは１である。図５Ｂの一番上の例示的なゲイン関数において、σ２ｇ１＞σ２ｇ２であり、ゲイン関数は、低い方の複数のアクティビティ度に対して複数の最大値を有し、ゲイン関数は、高い方の複数のアクティビティ度に対して複数のより小さい値を有するようになる。図５Ｂの真ん中の例示的なゲイン関数において、σ２ｇ１＜σ２ｇ２であり、ゲイン関数は、高い方の複数のアクティビティ度に対して複数の最大値を有し、ゲイン関数は、低い方の複数のアクティビティ度に対して複数のより小さい値を有するようになる。図５Ｂの一番下の例示的なゲイン関数において、σ２ｇ１＝σ２ｇ２であり、ゲイン関数は、ｍｉｄの値近傍で最大値を有し、アクティビティレベルが高められる、又は低められると、ゲイン関数は減少するようになる。
【００３５】
一例において、入力ビデオ画像Ｉは複数の低分散部分を含む。入力ビデオ画像Ｉの複数の低分散部分は、比較的低い分散度（すなわち、アクティビティのレベル）を有する。入力ビデオ画像Ｉはまた、複数の高分散部分も有する。複数の高分散部分は、比較的高い分散度（すなわち、比較的高いアクティビティのレベル）を有する。図５Ｂの一番上のゲイン関数に示されるように、ゲイン関数は、ディテール信号からの情報が比較的高い強度で入力ビデオ画像Ｉの複数の低分散部分に加えられるようにさせる分布を含むべく作られ得る。図５Ｂの一番上のゲイン関数にさらに示されるように、ゲイン関数はまた、その分布が、ディテール信号からの情報が比較的低い強度で入力ビデオ画像Ｉの複数の高分散部分に加えられるようにさせるように作られ得る。図５Ｂの真ん中の例示的なゲイン関数に示されるように、分布関数はまた、反対の態様で機能すべく作られ得る（すなわち、分布は、ディテール信号からの情報が比較的低い強度で入力ビデオ画像Ｉの複数の低分散部分に加えられるようにさせ、かつ、ディテール信号からの情報が比較的高い強度で入力ビデオ画像Ｉの複数の高分散部分に加えられるようにさせるべく作られ得る）。
【００３６】
式４において、ｍｉｄ、ｓｃａｌｅ、σ２ｇ１、及びσ２ｇ２のパラメータは、複数のユーザによって設定される値であるか、又はそれらのパラメータは、表示されるビデオの複数の特徴及び複数のユーザの強調の要求に基づいてソフトウェアによって設定される値であり得る。一例において、複数のデフォルトのパラメータは軽い強調をもたらすべく選択される。ディテール強調モジュール５００によって受信されされ、式４において使用されるｓｃａｌｅパラメータは、強調の強度を直接的に制御するパラメータである。一例において、ｓｃａｌｅパラメータの選択は、主観的であり、手動で実行される。別の例において、表示されるビデオの複数の特徴に基づいてｓｃａｌｅパラメータを生成すべく、一組のルールが提供される。ｓｃａｌｅパラメータは、強い強調を維持しつつ、大きすぎないオーバシュート又はサチュレーションを生成すべく選択される。特定の複数の例において、現在のフレームからのいくつかの飽和画素が集められて、それらの集められた画素は、次のフレームのｓｃａｌｅパラメータを減少させる、又は増加させるべく使用される。一例において、ｓｃａｌｅパラメータはファームウェアにおいて設定される。
【００３７】
ディテール強調モジュール５００によって受信され、式４において使用されるσ２ｇ１パラメータ及びσ２ｇ２パラメータは、ゲイン関数の形状を画定する。σ２ｇ１パラメータ及びσ２ｇ２パラメータが大きければ大きいほど、異なる複数のアクティビティ度にわたって強調はより広げられる。より集中された又は広げられた強調が望まれない限り、（０、１０２３）の範囲における、／ａを有するσ２ｇ１パラメータ及びσ２ｇ２パラメータの両方に対する１２８というデフォルト値が使用される。
【００３８】
ディテール強調モジュール５００によって受信され、式４において使用されるｍｉｄパラメータは、どの複数のエッジ領域又はアクティビティ領域の範囲が一番強調されるべきかを決定する。例えば、強調が複数の高アクティビティ領域又は複数のシャープエッジ領域に対して望まれる場合、大きいｍｉｄパラメータが使用される。一方、小さいｍｉｄパラメータは比較的低い複数のアクティビティ領域の強調に使用される。ｍｉｄのデフォルト値は、（０、１０２３）の範囲において２００である。
【００３９】
再度図５Ａを参照すると、ディテール強調モジュール５００は、ｎｏｉｓｅ＿ｎｕｍ、ｎｏｉｓｅ＿ｏｆｆｓｅｔ、及びｎｏｉｓｅ＿ｃａｐである、ノイズをフィルタリング処理するための複数のパラメータを受信するように示される。パラメータｎｏｉｓｅ＿ｎｕｍ、ｎｏｉｓｅ＿ｏｆｆｓｅｔ、及びｎｏｉｓｅ＿ｃａｐは、ディテール強調モジュール５００によって使用される式、Ｅ＝Ｉ＋（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎに含まれる「ｎｏｉｓｅ」変数を決定すべく使用される。入力画像の複数のノイズの多い領域が強調される場合、出力画像は画質が粗く不快なものに見える。ディテール強調モジュール５００によって使用される強調スキームは、入力画像の複数のノイズの多い領域を強調することを避ける。一例において、所与のレベルのノイズが、ディテール画像Ｄの複数のディテールの全てから取り去られる。別の例においては、ディテール画像Ｄの複数のノイズの多い領域が検出され、強調から除外される。図５Ａのディテール強調モジュール５００において、式１において使用される複数の一次変換パラメータは、複数の平坦又は平滑な領域におけるノイズは、複数の高アクティビティ領域におけるノイズに比べてより目立つ（すなわち、目に入る、又は目をそらさせる）という事実を考慮して、ノイズレベルを制御すべく使用される。／ａの小さい値は平坦な領域を示し、／ａの大きい値は高アクティビティ領域を示す。各画素に対するノイズレベルは、
【数１６】
0006587317.tif 000017
（式５）
によって決定される。ここで、ｎｏｉｓｅ＿ｎｕｍ、ｎｏｉｓｅ＿ｏｆｆｓｅｔ、及びｎｏｉｓｅ＿ｃａｐは、複数のレジスタによって設定され得る、ディテール強調モジュール５００によって受信されるパラメータである。
【００４０】
図５Ｃは、ディテール強調モジュール５００によって実行される複数の例示的な段階を示すフローチャート５３０を描写する。５３２において、ディテール画像Ｄは、Ｄ＝Ｉ−Ｑによって計算される。複数の他の例において、ディテール画像Ｄはガイデット画像フィルタにおいて計算される（例えば、図３Ａ−図３Ｄを参照して上述されたように）。５３４において、ゲインパラメータは式４によって、パラメータ／ａを使用して計算される。パラメータ／ａはガイデット画像フィルタにおいてもまた使用されたものである。５３６において、ノイズパラメータは式５によって計算される。５３８において、ディテール強調されたビデオ画像Ｅは、Ｅ＝Ｉ＋（Ｄ−ｎｏｉｓｅ）＊ｇａｉｎによって計算される。
【００４１】
一例において、ディテール強調されたビデオ信号を生成するためのシステムにおいて、人間の肌色の検出器が使用される。一例において、画像の複数の肌領域における複数のディテールを強調すると、不自然に見えるディテール強調された画像をもたらす。複数の他の例において、複数の肌領域における複数のディテールの軽い強調は、審美的に満足のいくものである。故に、複数の肌領域を検出し、異なる組のディテールゲインパラメータ及びノイズパラメータによって実現される複数の個々の制御によって、これらの領域の強調を無効又は有効にすることが望ましい。
【００４２】
一例において、ＩＣｒＣｂ色空間に基づく肌色検出器が、ディテール強調されたビデオ信号を生成するためのシステムにおいて実装される。別の例においては、ＨＳＶ色空間に基づく肌色検出器が単一色空間と共に使用される。ＨＳＶに基づく肌色検出スキームがディテール強調モジュールに統合される別の例において、画素が肌色であると識別されると、異なる組のディテールゲインパラメータ及びノイズパラメータが使用される。これらのパラメータは見る人の好みに基づいて調節され得る。ＲＧＢからＨＳＶへの変換は、
【数１７】
0006587317.tif 000018
（式６）
によって決定される。
以下の複数の条件を満たす画素はいずれも肌色と識別される。
【数１８】
0006587317.tif 000019
【００４３】
ディテール強調モジュール（例えば、肌色検出器を含む、又は肌色検出器を含まない）の実装において、全てのパラメータは複数の整数で表され、乗算、加算、又はシフト以外の複数の機能は、テーブルルックアップ又は近似法のいずれかによって実装される。
【００４４】
図６は、入力画像Ｉに対する強調された出力を計算するための例示的な複数の段階を示すフローチャート６００である。６０２において、入力画像Ｉの各画素ｋに対して、画素ｋを中心とする半径ｒのウィンドウに対して平均及び分散が計算される。さらに６０２において、係数ａ＿ｋ及びｂ＿ｋが式２及び式３に基づいて計算される。６０４において、入力画像Ｉの各画素ｉに対して、画素ｉをカバーする複数のウィンドウにおける全てのａ＿ｋ及びｂ＿ｋの平均値ａ＿ｉ及びｂ＿ｉが計算される。さらに、６０４において、フィルタリング出力ｑ＿ｉが式１に基づいて計算される。６０６において、入力画像Ｉの各画素ｉに対して、ディテールＤ＿ｉ＝Ｉ＿ｉ−ｑ＿ｉが計算され、それからｄｅｔａｉｌ  ｇａｉｎ＿ｉが、ｘ＝ａ＿ｉを代入することによって式４に基づいて計算される。さらに、６０６において、ｎｏｉｓｅ＿ｉが式５によって計算され、強調された出力Ｅ＿ｉ＝Ｉ＿ｉ＋ｇａｉｎ＿ｉ＊（Ｄ＿ｉ−ｎｏｉｓｅ＿ｉ）が計算される。
【００４５】
図７は、ディテール強調されたビデオ信号を生成するための例示的な方法を示すフローチャート７００である。７０２において、入力ビデオ信号が受信される。７０４において、案内信号の一次変換である第１の信号が生成される。７０６において、ディテール信号が入力ビデオ信号と第１の信号との間の差分を決定することによって生成される。ここで、ディテール信号は、ディテール強調されたビデオ信号を生成すべく、入力ビデオ信号に加えられる情報を含む。７０８において、フィルタリング処理されたディテール信号は、ディテール信号からノイズを除去することによって生成される。７１０において、フィルタリング処理されたディテール信号は、第２の信号を生成すべく、ゲイン関数を乗算される。ゲイン関数は、入力ビデオ信号における分散量に基づく。７１２において、入力ビデオ信号及び第２の信号は、ディテール強調されたビデオ信号を生成すべく組み合わせられる。
【００４６】
本明細書は、ベストモードを含む複数の例を使用して発明を開示し、また、当業者が本発明を実施し使用できるようにする。本発明の特許性のある範囲は、複数の他の例を含む。さらに、本明細書において記載される複数の方法及び複数のシステムは、デバイス処理サブシステムによって実行可能な複数のプログラム命令を備えるプログラムコードによって、多数の異なるタイプの処理デバイス上に実装され得る。複数のソフトウェアプログラム命令は、ソースコード、オブジェクトコード、マシンコード、又は処理システムに本明細書において記載される複数の方法及び複数の動作を実行させるべく動作可能な任意の他の格納されたデータを含み得る。しかしながら、ファームウェア、又さらには本明細書において記載される複数の方法及び複数のシステムを実行すべく構成される、適切に設計されるハードウェアなどの複数の他の実装もまた使用される。
【００４７】
複数のシステム及び複数の方法のデータ（例えば、複数の関連性、複数のマッピング、データ入力、データ出力、複数の中間データ結果、複数の最終データ結果、その他）は、複数の異なるタイプの記憶デバイス及びプログラミング構成要素（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、フラットファイル、データベース、プログラミングデータ構造、プログラミング変数、ＩＦ−ＴＨＥＮ（又は同様なタイプの）記述構成要素、その他）などの１又は複数の異なるタイプのコンピュータ実装型データストアに格納され、実装され得る。データ構造は、データベース、プログラム、メモリ、又はコンピュータプログラムによって使用されるための他のコンピュータ可読媒体に、データを編成し格納する際に使用されるための複数のフォーマットを記述することに留意されたい。
【００４８】
本明細書において記載される複数のコンピュータ構成要素、複数のソフトウェアモジュール、複数の関数、複数のデータストア、及び複数のデータ構造は、それらの動作に必要とされるデータの流れを許すべく、互いに直接的に又は間接的に接続され得る。モジュール又はプロセッサは、限定されないが、ソフトウェア動作を実行し、かつ、例えば、サブルーチンユニットのコードとして、又はソフトウェア機能ユニットのコードとして、又は、オブジェクト（オブジェクト指向パラダイムのような）として、又はアプレットとして、又はコンピュータスクリプト言語において、又は別のタイプのコンピュータコードとして、実装され得る１ユニットのコードを含むことにもまた留意されたい。ソフトウェアの複数の構成要素及び／又は機能性は、単一のコンピュータに配置されるか、又は目下の状況に依存して、複数のコンピュータにわたって分散されてよい。
【００４９】
本明細書における説明中に、及びあとに続く特許請求の範囲全体を通して使用されるように、「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」の意味は、文脈がそうではないと明らかに指示しない限り、複数形の参照を含むことが理解されるべきである。また、本明細書における説明中に、及びあとに続く特許請求の範囲全体を通して使用されるように、「中に（ｉｎ）」の意味は、文脈がそうではないと明らかに指示しない限り、「中に（ｉｎ）」及び「上に（ｏｎ）」を含む。さらに、本明細書における説明中に、及びあとに続く特許請求の範囲全体を通して使用されるように、「それぞれ（ｅａｃｈ）」の意味は、文脈がそうではないと明らかに指示しない限り、「全ての（ｅａｃｈ  ａｎｄ  ｅｖｅｒｙ）」を意味することを要求しない。最後に、本明細書における説明中に、及びあとに続く特許請求の範囲全体を通して使用されるように、「及び（ａｎｄ）」及び「又は（ｏｒ）」の意味は、接続的及び分離的な意味の両方を含み、文脈がそうではないと明らかに指示しない限り区別しないで使用され得て、「〜を除き（ｅｘｃｌｕｓｉｖｅ  ｏｆ）」という句は、分離的な意味だけが適用され得る複数の状況を示すべく使用され得る。
【図１】
0006587317.tif 000028
【図２】
0006587317.tif 000029
【図３Ａ】
0006587317.tif 000030
【図３Ｂ】
0006587317.tif 000031
【図３Ｃ】
0006587317.tif 000032
【図３Ｄ】
0006587317.tif 000033
【図４】
0006587317.tif 000034
【図５Ａ】
0006587317.tif 000035
【図５Ｂ】
0006587317.tif 000036
【図５Ｃ】
0006587317.tif 000037
【図６】
0006587317.tif 000038
【図７】
0006587317.tif 000039