(57)【要約】  本発明は、出力画像（１０２）を生成するために入力画像（１０１）を修正する方法およびシステムに関する。上記方法は、  −  入力画像（１０１）を粗い画像（１０４）と細かい画像（１０５）とに分割するステップ（１０３）と、  −  鮮鋭度が強調された中間画像（１０７）を生成するために、粗い画像（１０４）の鮮鋭度を強調するステップ（１０６）と、  −  出力画像（１０２）を生成するために、鮮鋭度が強調された中間画像（１０７）と細かい画像（１０５）とを結合するステップ（１０８）と、を有している。本発明は、画像の鮮鋭度を強調するために使用することができる。
2008500757.tif 000002
【特許請求の範囲】
【請求項１】
出力画像を生成するために入力画像を修正する方法であって、
前記方法は、
−  前記入力画像を粗い画像と細かい画像とに分割するステップと、
−  鮮鋭度が強調された中間画像を生成するために、前記粗い画像の鮮鋭度を強調するステップと、
−  前記出力画像を生成するために、前記鮮鋭度が強調された中間画像と前記細かい画像とを結合するステップと、
を有する方法。
【請求項２】
前記分割するステップは、
−  前記粗い画像を生成するために前記入力画像をローパスフィルタ処理するステップと、
−  前記細かい画像を生成するために前記入力画像から前記粗い画像を減算するステップと、
を有する、請求項１に記載の方法。
【請求項３】
前記ローパスフィルタ処理するステップは、前記入力画像から得られる第１のノイズ信号に適応できる、請求項２に記載の方法。
【請求項４】
前記強調するステップは、前記入力画像から得られる第２のノイズ信号に適応できる、請求項２に記載の方法。
【請求項５】
前記ローパスフィルタ処理するステップと前記強調するステップは、前記入力画像から得られるノイズ信号に適応できる、請求項２に記載の方法。
【請求項６】
前記ノイズ信号を生成するために、前記入力信号のノイズレベルを測定するステップを更に有する、請求項３、４、又は５に記載の方法。
【請求項７】
前記結合するステップは、前記出力画像を生成するために、前記鮮鋭度が強調された中間画像を前記細かい画像に加えるステップを有する、請求項１又は２に記載の方法。
【請求項８】
出力画像が生成されるように入力画像を修正するシステムであって、
前記システムは、
−  前記入力画像を粗い画像と細かい画像とに分割する手段と、
−  鮮鋭度が強調された中間画像が生成されるように、前記粗い画像の鮮鋭度を強調する手段と、
−  前記出力画像が生成されるように、前記鮮鋭度が強調された中間画像と前記細かい画像とを結合する手段と、
を有するシステム。
【請求項９】
前記分割する手段は、
−  前記粗い画像が生成されるように前記入力画像をローパスフィルタ処理するローパスフィルタと、
−  前記細かい画像が生成されるように前記入力画像から前記粗い画像を減算する手段と、
を有する、請求項８に記載のシステム。
【請求項１０】
前記ローパスフィルタおよび／又は前記強調する手段は、前記入力画像から得られるノイズ信号に適応できる、請求項９に記載のシステム。
【請求項１１】
出力画像が生成されるように入力画像を修正するビデオ装置であって、
前記ビデオ装置は、
−  前記入力画像を粗い画像と細かい画像とに分割する手段と、
−  鮮鋭度が強調された中間画像が生成されるように、前記粗い画像の鮮鋭度を強調する手段と、
−  前記出力画像が生成されるように、前記鮮鋭度が強調された中間画像と前記細かい画像とを結合する手段と、
を有するビデオ装置。
【請求項１２】
請求項１〜７のうちのいずれか一項に記載の方法の種々のステップを実行するためのコード命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の鮮鋭度を強調するための方法およびシステムに関する。
【０００２】
本発明は、例えば、ビデオ処理のフィールドに使用することができる。
【背景技術】
【０００３】
画質を向上させることは、テレビジョン受信器などのビデオ製品では重要な問題になっている。映像を規定する入力画像の鮮鋭度を向上させると、画質は特に知覚的に改善される。映像信号の鮮鋭度を向上させる既知の解決策がある。
【０００４】
第１の解決策は、連続する全ての画像に適用されるフィルタによって入力画像の鮮鋭度を強調している。入力画像はノイズ成分（例えば、アナログホワイトノイズ、又はブロック符号化動作およびブロック復号化動作から生じるデジタルアーチファクト）も含む場合があるので、結果として得られる出力画像の全体の画質が悪くなるほどノイズ成分も増加する。
【０００５】
第２の解決策は、連続する全ての画像に適用されるフィルタによって入力画像の鮮鋭度を強調するだけでなく、この入力画像中に検出されるノイズ成分のレベルに従って強調レベルを変えている。ノイズ成分が低いレベルの場合、結果として得られる出力画像の鮮鋭度はかなり増大する。対照的に、ノイズ成分が高いレベルの場合、ノイズ成分の増大を回避するためにフィルタはオフになる（又はフィルタレベルが下げられる）が、この場合、結果として得られる出力画像の鮮鋭度は、残念ながら、入力画像の鮮鋭度に近いものになる。したがって、この第２の方法は、ノイズの多い入力画像を取り扱う場合に効率のよい方法ではない点で、限界がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像信号の鮮鋭度を強調する方法であって、ノイズに強い方法を提供することにある。
【課題を解決するための手段】
【０００７】
この目的のため、本発明による方法は、出力画像を生成するために入力画像の修正を提案している。上記方法は、
−  上記入力画像を粗い画像と細かい画像とに分割するステップと、
−  鮮鋭度が強調された中間画像を生成するために、上記粗い画像の鮮鋭度を強調するステップと、
−  上記出力画像を生成するために、上記鮮鋭度が強調された中間画像と上記細かい画像とを結合するステップと、
を有している。
この方法は、入力画像が信号成分とノイズ成分との和によって規定されているという前提と、信号成分は低周波数スペクトルを有しておりノイズ成分は高周波数スペクトルを有しているという前提に基づいている。したがって、入力画像の強調されるべき周波数スペクトルの部分は、低周波数に存在しており、入力画像の強調されるべきではない周波数スペクトルの部分は、高周波数に存在している。
【０００８】
上記分割するステップは、2種類の画像（低周波数スペクトルを有する粗い画像、および高周波数スペクトルを有する細かい画像）を生成することができる。この分割ステップは、信号成分を主に含む粗い画像を選択的に強調することができる。低周波数スペクトルの画像の鮮鋭度を強調すると、高周波数スペクトルの画像の鮮鋭度を強調するよりも、良好な結果が得られる。
【０００９】
入力画像のノイズレベルにかかわらず、結果として得られる出力画像のノイズ成分は強調されていないので、この方法はノイズに強い方法である。結合した後、その結果として得られる出力画像は、依然として入力画像のノイズ成分に近いノイズ成分を有するが、信号成分の鮮鋭度が強調されるので、全体の画質は向上する。
【００１０】
上記分割するステップは、
−  上記粗い画像を生成するために上記入力画像をローパスフィルタ処理するステップと、
−  上記細かい画像を生成するために上記入力画像から上記粗い画像を減算するステップと、
を有することが好ましい。
【００１１】
この減算するステップを使用すると、データ情報を損失することなく、入力画像を最適に分割することが可能となる。
【００１２】
上記ローパスフィルタ処理するステップは、上記入力画像から得られる第１のノイズ信号に適応できることが好ましい。
【００１３】
信号成分に対応する低周波数スペクトルとノイズ成分に対応する高周波数スペクトルとの間の境界は、ノイズ信号に対し適応性を備えつつ正確に規定される。これにより、入力画像のノイズレベルにかかわらず、信号成分のスペクトル全体の鮮鋭度を強調するすることができ、鮮鋭度の増加した出力画像が得られる。
【００１４】
上記強調するステップは、上記入力画像から得られる第２のノイズ信号に適応できることが好ましい。
【００１５】
これによって、例えば、ノイズレベルが大きい場合は鮮鋭度の強調を大きくし、ノイズレベルが小さい場合は鮮鋭度の強調を小さくすることによって、鮮鋭度を強調させるときに入力画像のノイズレベルに適応させることができる。
【００１６】
上記ローパスフィルタ処理するステップと上記強調するステップは、上記入力画像から得られるノイズ信号に適応できることが好ましい。
【００１７】
これにより、入力画像のノイズレベルとはかかわらず、信号成分の周波数スペクトル全体に対して鮮鋭度を強調することが可能になるとともに、入力画像のノイズレベルに合わせて鮮鋭度を強調させることも可能となり、鮮鋭度が改善された出力画像が得られる。
【００１８】
本発明の目的は、映像信号の鮮鋭度を強調するシステムであって、ノイズに強く、本発明による方法の種々のステップを実行する処理手段を有するシステムを提供することにもある。
【００１９】
本発明の詳細な説明および他の態様は、以下に記載されている。
【００２０】
本発明の特定の態様は、以下に記載された実施例を基準にして説明されており、添付された図面を用いて説明されている。図面において、同一の部品又は同一のサブステップは、同じ符号で示されている。
【発明を実施するための最良の形態】
【００２１】
図１は、出力画像１０２を生成するために、入力画像１０１を修正する本発明による方法を表している。
【００２２】
この方法は、入力画像１０１を粗い画像１０４と細かい画像１０５とに分割するステップ１０３を有している。粗い画像１０４の周波数スペクトルは、入力画像１０１の低周波数スペクトルに対応し、細かい画像１０５の周波数スペクトルは、入力画像１０１の高周波数スペクトルに対応している。
【００２３】
この方法は、鮮鋭度が強調された中間画像１０７を生成するために、粗い画像１０４の鮮鋭度を強調するステップ１０６も有している。
【００２４】
この方法は、出力画像１０２を生成するために、鮮鋭度が強調された中間画像１０７と細かい画像１０５とを結合するステップ１０８も有している。このステップ１０８により、出力画像を復元することが可能になる。
【００２５】
図２は、出力画像２０２を生成するために入力画像２０１を修正する本発明による方法の、図１をベースにした詳細な構成を表す。分割するステップ２０３は、粗い画像２０４を生成するために、（畳込み動作を行って）入力画像２０１をローパスフィルタ処理するステップＦを有している。
【００２６】
第１の例では、ローパスフィルタ処理を行うステップＦは、粗い画素２０４を構成する画素に適用されるガウシアンフィルタを実現する。この線形フィルタは、以下のカーネルｋ１又はｋ２によって規定することができる。
【数１】
2008500757.tif 000003
【数２】
2008500757.tif 000004
【００２７】
あるいは、ローパスフィルタ処理を行うステップＦは、以下のフィルタを実現するものでもよい。
−  （例えば、画像の中の画素位置に依存するカーネル、又は画素のブロックのエッジに適用されるカーネル、を有する）非線形ＦＩＲフィルタ
−  （メジアンフィルタ、ランクオーダフィルタ、又はモルフォロジーフィルタなどの）順序統計フィルタ。このフィルタは、多数の画素値をソートし（又はランク付けし）、そのランクに基づいて、ソートされた画素値を選択するものである。
【００２８】
分割するステップ１０３は、細かい画像２０５を生成するために、入力画像２０１から粗い画像２０４を減算するステップＳＵＢも有している。この減算は、入力画像２０１の画素と粗い画像２０４の画素との間で行われ、このとき、入力画像２０１の画素の座標と、粗い画像２０４の画素の座標は同じである。この減算は、両方の画像の全ての画素に対して繰返し行われる。
【００２９】
粗い画像２０４の鮮鋭度を強調するステップ２０６は、粗い画像２０４のラインの画素および／又は粗い画像２０４の列の画素で実行される非線形処理（後述されている）とすることができる。鮮鋭度は、変化のない又はゆっくりと変化する２つのデータ領域の間のレベル遷移と考えることができる。例えば、粗い画素２０４にグラジエントフィルタを適用し、フィルタ処理された画像の中のレベルが最も高い領域を検出することにより、強調すべきレベル遷移が検出される。
【００３０】
結合するステップは、出力画像２０２を生成するために、鮮鋭度が強調された中間画像２０７を細かい画像２０５に加算するステップ２０８を有している。
【００３１】
図３は、粗い画像２０４のラインに沿う方向のレベル遷移の遷移信号Ｔ１を、一例として示す。この遷移信号は、レベルＳ１の第１の平坦な範囲と、レベルＳ２の第２の平坦な範囲と、を有している。遷移信号Ｔ１を強調処理するために、一連の連続した処理演算を実行することができる。
【００３２】
第１の処理演算は、遷移の開始時又は遷移の終了時にオーバーシュートを有する第１の中間信号ｙ１を生成するために、以下の式に示すように、遷移信号Ｔ１と微分フィルタＤＦのカーネルとの畳込み演算を含んでいる。
【数３】
2008500757.tif 000005
ここで、
2008500757.tif 000006
は、畳込み演算を表す。
【００３３】
ＤＦは、例えば、［−０．２５  ０．５  −０．２５］の形のフィルタカーネルである。
【００３４】
第２の処理演算は、第２の中間信号ｙ２を生成するために、以下の式に示すように、第１の中間信号ｙ１を或る数で乗算したものに、遷移信号Ｔ１を加算する演算を含んでいる。
【数４】
2008500757.tif 000007
ここで、αは、例えば１に等しい係数である。
【００３５】
第３の処理演算は、強調処理された遷移信号Ｔ２を生成するために、以下の式に示すように、第２の中間信号ｙ２に残っているオーバーシュートを抑制する処理を含んでいる。
【数５】
2008500757.tif 000008
ここで、ｍｅｄ（Ｓ１，Ｓ２，ｙ２）は、信号Ｓ１、Ｓ２、およびｙ２のデータサンプルの間のメジアン演算を表している。
【００３６】
図４は、出力画像２０２を生成するために、入力画像２０１を修正する本発明による方法の、図２をベースにした好ましい構成を示す。
【００３７】
この構成は、ローパスフィルタ処理するステップＦが入力画像２０１から得られるノイズ信号Ｓ１に適応できるという点で、図２とは異なっている。これにより、入力画像２０１に含まれているノイズレベルにかかわらず、信号成分に対応した粗い画像２０４を生成することが可能となる。例えば、フィルタカーネルを、信号Ｓ１が担持するノイズレベルに従って変更してもよい。
【００３８】
入力画像２０１のノイズレベルσが高ければ、ローパスフィルタのカットオフ周波数は低くなければならない。前に規定された第１のカーネルｋ１は低いノイズレベルσ１に対して使用され、前に規定された第２のカーネルｋ２は高いノイズレベルに対して使用される、と定めてもよい。
【００３９】
あるいは、カーネルｋの各係数を以下のようにノイズレベルσに依存した関数（ｆ１，ｆ２，．．．）によって規定し、フィルタ係数が入力画像２０１の中に検出されるノイズレベルσに適応できるようにしてもよい。
【数６】
2008500757.tif 000009
関数（ｆ１，ｆ２，．．．ｆ９）は、例えば、基礎実験から得られる。
【００４０】
この構成は、強調するステップ２０６も入力画像２０１から生じるノイズ信号Ｓ２に適応できる点でも、図２と異なる。これにより、入力画像２０１に含まれているノイズレベルにかかわらず、最適化された鮮鋭度を有する強調された中間画像２０７を生成することが可能になる。例えば、関係式（２）は、ノイズレベルσに依存する係数αを導入すると、以下のように修正することができる。
【数７】
2008500757.tif 000010
【００４１】
入力画像２０１のノイズレベルσが大きくなるほど、αは大きくなければならない。例えば、αとσとの間の関係を線形にすることができる。
【００４２】
フィルタ処理するステップＦおよび強調するステップ２０６は、ノイズレベルσに同時に適応する必要はなく、ノイズレベルσへの適応は、これらのステップのうちの一つのステップだけに関係するものでもよい。
【００４３】
入力画像２０１のノイズレベルσはステップＤＥＴによって測定される。このステップは、ノイズレベルσに比例する第１および第２の信号Ｓ１およびＳ２（信号Ｓ１およびＳ２は同じであってもよい）を生成する。例えば、ノイズレベルσは、当業者に既知のアルゴリズムから得ることができる。例えば、斯かる信号は、（例えば、周波数スペクトルに基づいたアルゴリズムを使用する場合）アナログノイズの大きさを反映し、および／又は（例えば、８×８画素又は１６×１６画素のブロックの周囲におけるアクティビティ（activity）を測定するブロッキング影響検出器を使用する場合）デジタルノイズの大きさを反映する。
【００４４】
本発明による方法は、出力画像１０２を生成するように入力画像１０１を修正するシステムで実現することができる。このシステムは、上記の本発明による方法の種々のステップを実現する処理手段を有している。特に、このシステムは、以下の手段およびステップを有している。
−  入力画像１０１を粗い画像１０４と細かい画像１０５とに分割する手段１０３。この手段１０３は、粗い画像１０４を生成するために入力画像１０１を受け取るローパスフィルタと、細かい画像１０５を生成するように、入力画像１０１から粗い画像１０４を減算する減算手段ＳＵＢと、を有することができる。この手段１０３は、例えば、メモリに記憶され信号プロセッサによって実行されるコード命令（即ち、コンピュータプログラム）に対応している。ローパスフィルタ係数は、入力画像１０１から生じるノイズレベルを反映する信号Ｓ１に適応することが有利である。
−  鮮鋭度が強調された中間画像１０７を生成するために、粗い画像の鮮鋭度を強調する手段１０６。この手段１０６は、例えば、図３を参照して記載された鮮鋭度強調アルゴリズムを符号化するためのコード命令（即ち、コンピュータプログラム）に対応している。このコード命令はメモリに記憶されており、信号プロセッサによって実行される。さらに有利なのは、この強調が、入力画像１０１から得られるノイズレベルを反映する信号Ｓ２に適応することである。
−  出力画像１０２を生成するために、鮮鋭度が強調された中間画像１０７と細かい画像１０５とを結合するステップ１０８。手段１０８は、例えば、メモリに記憶され信号プロセッサによって実行されるコード命令（即ち、コンピュータプログラム）に対応している。
【００４５】
このシステムは、電子カードとして埋め込まれてもよい。また、このシステムは、入力信号１０１を受け取り出力画像１０２をディスプレイに表示し又は出力画像１０２を通信チャネルに伝送するビデオ装置（例えば、テレビ、映像伝送装置など）の中で実現してもよい。
【００４６】
本発明は、本発明による方法の種々のステップを実現するためのコード命令を有するコンピュータプログラムにも関する。
【００４７】
動詞「有する」又はその活用形を使用していることは、特許請求の範囲に記載されている以外の構成要素又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００４８】
【図１】出力画像１０２を生成するために入力画像１０１を修正する本発明による方法を示す図である。
【図２】本発明による方法を詳細に示す図である。
【図３】画像の鮮鋭度を強調する様子を一例として示ず図である。
【図４】本発明による好ましい方法を示す図である。
【図１】
2008500757.tif 000011
【図２】
2008500757.tif 000012
【図３】
2008500757.tif 000013
【図４】
2008500757.tif 000014
【国際調査報告】
2008500757.tif 000015
2008500757.tif 000016