(57)【要約】  ディジタル映像システムにおいて少なくとも１つのフレームを表す符号化映像信号の画質を強調する、該符号化ディジタル映像信号に形成される鮮鋭度強調に対する限度を特定する有用性指標を生成する工程、該フレームにおける局所空間特性を規定する工程、及びフレームに対するフレーム・タイプを特定する工程を有する、方法及びシステムを設ける。該有用性指標においては、UMEが有用性指標で、q-scaleがマクロブロックに対する量子化スケールで、num_bitsが輝度ブロックを符号化するビット数で、maxがフレームに対する最大値を表す関数で、M及びNがスケーリング係数である。該方法は局所空間特性に基づいてフレームにおける画素毎に符号化利得を算定する工程及びフレーム・タイプによって有用性指標を算定する工程、更には、少なくとも１つの鮮鋭度強調アルゴリズムに対して符号化利得を形成する工程及び強調符号化アーチファクトなしで鮮鋭度強調アルゴリズムを形成することによって強調ディジタル映像信号を生成する工程を有する。
2005515730.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル映像システムにおいて少なくとも１つのフレームを表す符号化ディジタル映像信号の画質を強調する方法であって：
該符号化ディジタル映像信号に対して形成される鮮鋭度強調に対する限度を特定する有用性指標を生成する工程；
フレームにおける局所空間特性を規定する工程；
該フレームに対するフレーム・タイプを特定する工程；
該局所空間特性に基づいた該フレームにおける画素毎の符号化利得及び該フレーム・タイプによる該有用性指標を算定する工程；
該符号化利得を少なくとも１つの鮮鋭度強調アルゴリズムに対して形成する工程；及び
該鮮鋭度強調アルゴリズムを形成することによって強調ディジタル映像信号を生成する工程；
を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記形成する工程中に形成される前記アルゴリズムは：
output_pixel=input_pixel+mpeg_gain*convolution_result；
であり、output_pixelは前記画素に用いられる最終輝度値で、input_pixelは入力画素の輝度値で、mpeg_gainは前記符号化利得で、convolution_resultは高通過フィルタ出力であることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記生成する工程において生成された前記有用性指標が、
【数１】
2005515730.tif 000006
であり、UMEは該有用性指標で、q_scaleはマクロブロックに対する量子化スケールで、num_bitsは輝度ブロックを符号化するビット数で、maxは前記フレームに対する最大値を表す関数で、M及びNはスケーリング係数であることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記規定する工程によって規定された前記局所空間特性がnxn画素に及ぶnxnウィンドウにわたる画素輝度値の分散であり、該分散は以下の、
【数２】
2005515730.tif 000007
の式によって規定され、q=(n-1)/2、pix(i+k,j+m)は位置(i+k,j+m)での画素値で、meanは該nxnウィンドウにわたる平均画素値であることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記特定する工程によって特定される前記フレーム・タイプがIフレームで、更に、前記符号化利得を算定する工程が：
符号化利得を、
【数３】
2005515730.tif 000008
として、UMEが前記有用性指標で、q_scaleがマクロブロックに対する量子化スケールで、num_bitsが輝度ブロックを符号化するビット数で、maxが前記フレームに対する最大値を表す関数で、M及びNがスケーリング係数であり、前記局所空間特性が所定の分散閾値よりも大きい場合で、かつ、該輝度ブロックを符号化する該ビット数がゼロでない場合、
算定する工程；及び
該局所空間特性が所定の分散閾値よりも大きくない場合、又は、該輝度ブロックを符号化する該ビット数がゼロの場合、符号化利得をゼロとして算定する工程；
を有することを特徴とする方法。
【請求項６】
請求項１記載の方法であって、前記特定する工程によって特定された前記フレーム・タイプは、基準フレームを用いたスキップ・ブロック及び非スキップ・ブロックを有するPフレーム又はBフレームで、更に、前記符号化利得を算定する工程は：
スキップ・ブロックに対する動きベクトルに基づいて前記基準フレームから符号化利得を取り出す工程；
前記局所空間特性が所定の分散閾値以下の場合、非スキップ・ブロックに対してゼロとして符号化利得を算定する工程；及び
該局所空間特性が所定の分散閾値よりも大きい場合、非スキップ・ブロックに対する動きブロックに基づいて前記基準フレームから符号化利得を取り出す工程；
を有することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記特定する工程によって特定される前記フレーム・タイプが符号化利得マップのある基準ブロックを有するBフレームで、更に、前記符号化利得を算定する工程が：
前記基準フレームの前記符号化利得マップを該Bフレームに対する前記符号化利得として複製する工程；
を有することを特徴とする方法。
【請求項８】
請求項２記載の方法であって、前記高通過フィルタ出力は、
【数４】
2005515730.tif 000009
によって、ｋが0と１との間の範囲内に収まるスケーリング係数である場合、規定される高通過フィルタから得られることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、前記形成する工程がピーキング・アルゴリズムを前記鮮鋭度強調アルゴリズムとして形成する工程を有することを特徴とする方法。
【請求項１０】
請求項１記載の方法であって、前記形成する工程が空間領域アルゴリズムを前記鮮鋭度強調アルゴリズムとして形成する工程を有することを特徴とする方法。
【請求項１１】
少なくとも１つのフレームを表す符号化ディジタル映像信号の鮮鋭度を強調するシステムであって：
符号化ディジタル映像信号から統計情報を選定して抽出するセレクタ；
復号化後に該符号化ディジタル映像信号に対する有用性指標を生成し、該有用性指標が復号化映像信号に対して形成する鮮鋭度強調に対する限度を特定する、有用性指標生成器；
該フレームにおける局所空間特性を規定する手段；
該フレームに対するフレーム・タイプを特定する手段；
該局所空間特性に基づいた該フレームにおける画素毎の符号化利得及び該フレーム・タイプによる該有用性指標を算定する手段；及び
該符号化利得に基づいて該信号の鮮鋭度を向上するよう該復号化映像信号に対して鮮鋭度強調アルゴリズムを形成する鮮鋭度強調器；
を有することを特徴とするシステム。
【請求項１２】
請求項１１記載のシステムであって、前記鮮鋭度強調アルゴリズムがピーキング・アルゴリズムであることを特徴とするシステム。
【請求項１３】
請求項１１記載のシステムであって、前記鮮鋭度強調アルゴリズムが空間領域アルゴリズムであることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化情報及び局所空間特性を用いてディジタル映像信号の品質を強調するシステム及び方法に関するものである。本発明の該システム及び方法は符号化アーチファクトを強調することなく、符号化ディジタル映像又はトランスコード・ディジタル映像の鮮鋭度を強調するものである。
【背景技術】
【０００２】
セット・トップ・ボックス、高級テレビ、ディジタル・テレビ、パーソナル・テレビ、ストレージ製品、PDA(携帯情報端末)、無線インターネット・デバイスなどのような、高品質マルチメディア・デバイスの発展はアーキテクチャの多様性、及びこれらのデバイスに関する新機能に向けた開放性につながっている。更に、これらの新製品及び如何なるフォーマットでも映像データを表示することができる機能の開発によって映像処理及び映像強調アルゴリズムに関する新たな要求及びチャンスが結果としてもたらされている。
【０００３】
MPEG（動画像専門家グループ）映像圧縮は多くの現行及び新興製品に用いられている。MPEGはディジタル・テレビのセット・トップ・ボックス、DSS（ディジタル衛星システム）、HDTV（高品位テレビ）復号器、DVD（ディジタル多用途ディスク）プレイヤ、ビデオ会議、インターネット映像、及び他のアプリケーションの中心である。これらのアプリケーションは、映像情報のアーカイブに対する記憶空間が少なくて済むか、一地点から別地点への映像情報の伝送に対する帯域が少なくて済むか、さもなければその両方の組み合わせによって、映像圧縮から便益を受ける。これらのデバイスのほとんどは映像をMPEG-2のフォーマットにて受信及び/又は記憶する。将来においては、該デバイスはMPEG-4のフォーマットにて映像を受信及び/又は記憶し得る。これらのMPEGのソースの映像品質は大いに変動し得る。
【０００４】
人間の視覚系における研究によって人間の目は輝度における変動に対する感度が高く、クロミナンスにおける変動に対する感度は低いことが明らかになった。MPEGはこの目の輝度情報とクロミナンス情報とに対する感度が異なることを効果的に利用する色空間を処理する。したがって、MPEGはデータ値を表すのにRGB（赤緑青）ではなくYCｂCr色空間を用いる、すなわち、Yが輝度成分で、実験的にY=0.299R+0.587G＋0.114Bと判定され、Cbが青の色差の成分、Cb=B-Yで、Crが赤の色差の成分で、Cr＝R-Yである。
【０００５】
MPEG映像は、例えばオーディオ・ビットストリームにおいて、エラー処理、無作為サーチ並びに編集、及び同期化を助力するよう階層構造に配置される。第１層、すなわち、最上位層は、映像シーケンス層として知られ、独立ビットストリーム、例えば、符号化された映画、広告又は漫画映画、なら何でもよい。
【０００６】
第１層の下の、第２層はGOP（映像の集合）で、1つ以上のフレーム内（I）フレーム及び/又は非フレーム内（P又はB）映像の1つ以上の群を有する。Iフレームは完全にフレーム内圧縮され、映像に対する無作為のアクセス・ポイントを設ける。Pフレームは動き補償された前方予測符号化フレームで、フレーム間圧縮され、一般に、Iフレームよりも多量の圧縮を設ける。Bフレームは動き補償された双方向予測符号化フレームで、フレーム間圧縮され、一般に、最も多量の圧縮を設ける。
【０００７】
第２層の下の、第３層はピクチャ層自体である。第3層の下の第４層はスライス層である。各スライスはラスタ配列のマクロブロックの連続したシーケンスで、典型的な映像アプリケーションにおいては行ベースであることが最も多い。スライス構造はエラーがある状態における復号化を可能にすることを企図するものである。各スライスはマクロブロックを有し、該マクロブロックは、輝度画素、すなわち映像データ要素、の１６ｘ１６のアレイ、及び、関連したクロミナンス画素の（フォーマットによって変わってくる）２つの８ｘ８のアレイ、を有する。マクロブロックは更に、変換符号化のような別の処理を行うよう、別個の８ｘ８のブロックに分割し得る。マクロブロックは、YCbCr色空間を参照する場合、いくつかの異なる方法において表し得る。通常用いられる３つのフォーマットは４：４：４、４：２：２及び４：２：０映像として知られる。４：２：２は、フル帯域のYCbCr映像である、４：４：４の半分のクロミナンス情報を有し、４：２：０は４：４：４の4分の１のクロミナンス情報を有する。輝度及びクロミナンスは効率的な方法で表現するので、４：２：０の表現によってデータを12ブロック/マクロブロックから６ブロック/マクロブロックに直ちに削減することが可能になる。
【０００８】
Iフレームは、P及びBフレームと比較すると、中程度の圧縮のみを設け、MPEGデバイスがその最大圧縮効率を得る。該効率は動き補償ベースの予測と呼ばれる手法を通じて実現され、該手法は時間的冗長度を駆使する。フレームは密接に関係があるので、現行の映像を先行する時間での映像の平行移動としてモデル化し得るものとする。その場合、先行フレームのデータに基づいて１フレームのデータを正確に予測することが考えられる。Pフレームにおいては、各１６ｘ１６サイズのマクロブロックは先行して符号化されたI又はP映像のマクロブロックから予測される。フレームは移動物体の時間におけるスナップショットであるので、２つのフレームにおけるマクロブロックは同じ空間位置に相当しないことがある。符号器は現行のマクロブロックが有する情報にぴったりとマッチする他のマクロブロック位置について半画素単位で、先行フレームを（Pフレームについて、又は前後のフレームを、Bフレームについて）サーチする。一致したマクロブロックからの最もマッチするマクロブロックの水平及び垂直方向における移動は動きベクトルと呼ばれる。現行ブロックとマッチするブロックとの間の差異及び動きベクトルは符号化される。動きベクトルは更に、損傷データの場合、動き予測に用い得、高度な復号器アルゴリズムがこれらのベクトルをエラー隠蔽に用い得る。Bフレームについては、動き補償ベースの予測及び補間は各フレームの何れかの側にある基準フレームを用いて行われる。
【０００９】
青色レーザ・ベースのディジタル・ビデオ・レコーダ（DVR）はある程度、HD（高品位）（ATSC（米国次世代テレビ・システム委員会））機能を有し、映像強調の新方法が効果的である類のデバイスの例である。HDの番組は一般に、20Mb/sで放送され、MPEG-2映像標準によって符号化される。DVRのおおよそ２５Gbの記憶容量を考慮すると、これはディスク毎のHDの映像の記録時間がおおよそ２時間であることを意味する。記録時間を増やすよう、いくつかの、長時間再生（LP）及び拡張長時間再生（ELP）モードのような、長時間再生モードを規定し得る。
【００１０】
LPモードについては、平均記憶ビットレートは約１０Mb/sとみなされ、HDに対して倍記録時間を可能にする。その結果、トランスコードすることは映像処理チェーンに不可欠な部分となり、20Mb/sの放送ビットレートは10Mb/sの記憶ビットレートに低減する。MPEG-2をトランスコーディングする間に、映像の映像品質（例えば、鮮鋭度）は、低減される可能性が高い。しかしながら、特にＬＰモードについては、映像品質はあまり損なわれるべきでない。したがって、ＬＰモードについては、後処理が映像品質知覚を向上するのに重要な役割を果たす。
【００１１】
今日まで、従来技術の鮮鋭度強調アルゴリズムのほとんどはＮＴＳＣ、PAL（パル方式）及びSECAM（セカム方式）用に開発・最適化されたものである。伝統的に、画像強調アルゴリズムは映像における特定の所望しない特徴を低減する（例えば、雑音低減）か、画像の特定の所望する特性を向上する（例えば、鮮鋭度強調）か、の何れかを行っている。これらの新興記憶デバイスに対しては、伝統的な鮮鋭度強調アルゴリズムはこれらのソースの異なる特性によってMPEG符号化又はトランスコード映像の処理は最適条件に及ばないことがある。記憶システムの閉じられた映像処理チェーンにおいては、符号化ソースの品質を判定することを可能にする情報はMPEGストリームから導き出し得る。この情報は映像強調アルゴリズムの性能を増加するのに用いられる可能性があり得る。
【００１２】
映像品質は高級映像製品にとってなお、特徴的な要因であるので、特にこれらのソースとともに用いるよう形成された、映像強調を行う新しいアプローチは有益である。低ビットレートで符号化された映像シーケンスを強調する反復アルゴリズムを企図したものがある（非特許文献１参照。）。MPEGソースに対して、映像品質の劣化は主に量子化機能からもたらされる。したがって、該非特許文献において用いられる反復勾配予測アルゴリズムはそのコスト関数において量子化ステップ・サイズ、マクロブロック・タイプ及び前方動きベクトルのような符号化情報を用いる。該アルゴリズムは低ビットレート映像に対して期待できる結果を表すが、当該方法は計算量が高いことできわだっている。
【００１３】
MPEG−２符号化映像の復号化を改良する新しい概念を記載したものもある（非特許文献２参照。）。特に、復号化処理において統合された、インタレース解除及びフォーマット変換に対する統合アプローチが企図されている。該手法によって通常の復号化によって得られるものよりも相当高い映像品質をもたらす。しかしながら、今日まで、その計算量によってコンシューマ向けアプリケーションにおける実施は妨げられている。
【非特許文献１】C-J  Tsai,  P.  Karunaratne,  N.P.  Galatsanos  and  A.K.  Katsaggelos,  “A  Compressed  Video  Enhancement  Algorithm”,  Proc.  of  IEEE,  ICIP’99,  Kobe,  Japan,  Oct.  25-28,  1999
【非特許文献２】B.  Martins  and  S.  Forchammer,  “Improved  Decoding  of  MPEG-2  Coded  Video”,  Proc.  of  IBC’2000,  Amsterdam,  The  Netherlands,  Sept.  7-12,  2000,  pp.  109-115
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記の非特許文献は両方ともMPEG符号化情報とコスト関数とを用いた強調アルゴリズムを記載している。しかしながら、これらのシナリオの両方とも、実用的でないことに加えて、強調及びコスト関数を組み合わせたものである。コスト関数はどの程度、かつ、映像におけるどの位置で、強調を形成し得るかを判定する。コスト及び強調関数のこの組み合わせから結果として生じる問題は１つのアルゴリズムのみをコスト関数とともに用い得るということである。
【００１５】
更に、鮮鋭度強調アルゴリズムを改良しようとした以前の試みはMPEGストリームからの符号化情報のみを利用したものである。以前の鮮鋭度強調アルゴリズムは、I、P及びBフレームのような、異なる映像タイプを区別しないものであった。したがって、符号化アーチファクトのある映像部分とアーチファクトのない部分とは区別されなかったので、最適な鮮鋭度強調結果は実現されなかった。該結果は最適でない鮮鋭度強調であり得る。
【課題を解決するための手段】
【００１６】
本発明の目的及び効果は以下の説明において表され、かつ、以下の説明から明らかになるものであり、更に本発明の実施によってわかるものである。本発明の他の効果は本明細書及び特許請求の範囲、更には、添付図面、において特に示された方法及びシステムによって実現及び達成される。
【００１７】
したがって、本発明の目的は符号化ディジタル映像信号の映像品質を強調するシステム及び方法を、低ビットレートから高ビットレートまでの、広い範囲のディジタル圧縮映像ソースに対する鮮鋭度強調アルゴリズムを利用することによって、設けることにある。
【００１８】
本発明の更なる目的は異なる映像タイプを区別する鮮鋭度強調アルゴリズムを利用して符号化ディジタル映像信号の画質を強調することによって、最適な鮮鋭度強調結果を実現するシステム及び方法を設けることにある。
【００１９】
本発明の別の目的は高い時間的整合性を実現する鮮鋭度アルゴリズムを利用することによって符号化ディジタル映像信号の画質を強調するシステム及び方法を設けることにある。
【００２０】
本発明の更に別の目的は利得のような、強調するのにふさわしい候補である画素及び特定の画素を強調する度合いを判定する、量的指数を規定するよう局所空間特性と組み合わせて符号化ビットストリームからの符号化情報を用いる鮮鋭度強調アルゴリズムを利用することによって符号化ディジタル映像信号の画質を強調するシステム及び方法を設けることにある。
【００２１】
これら及び他の効果をもたらすよう、かつ、実施及び概説されたような、本発明の目的によれば、本発明はディジタル映像ストリームにおいて少なくとも１つのフレームを表す符号化ディジタル映像信号の画像を強調する方法を有する。該方法は、符号化ディジタル映像信号に形成される鮮鋭度強調に対する限度を特定する有用性指標を生成する工程、フレームにおいて局所空間特性を規定する工程、及びフレームに対するフレーム・タイプを特定する工程を有する。該方法は更に、局所空間特性に基づいたフレームにおける各画素の符号化利得及びフレーム・タイプによる有用性指標を算定する工程、及び少なくとも1つ以上の鮮鋭度強調アルゴリズムに対して符号化利得を形成する工程を有する。最後に、該方法は鮮鋭度強調アルゴリズムを形成することによって強調ディジタル映像信号を生成する工程を有する。
【００２２】
本発明は更に、少なくとも１つのフレームを表す符号化ディジタル映像信号の鮮鋭度を強調するシステムを有する。該システムは符号化ディジタル映像信号から統計情報を選定して抽出するセレクタ、復号化後に符号化ディジタル映像信号に対する有用性指標を生成する有用性指標生成器を有する。有用性指標は復号化映像信号に形成される鮮鋭度強調に対する限度を特定する。システムは更に、フレームにおいて局所空間特性を規定する手段、フレームに対するフレーム・タイプを特定する手段を有する。更に、該システムは局所空間特性に基づいたフレームにおける各画素の符号化利得及びフレーム・タイプによる有用性指標を算定する手段、及び符号化利得に基づいて信号の鮮鋭度を強調するよう復号化ディジタル映像信号に鮮鋭度強調アルゴリズムを形成する鮮鋭度強調器を有する。
【発明を実施するための最良の形態】
【００２３】
上記の概説及び以下の詳細説明は例示的なものであり、本特許請求の範囲の説明を更に設けることを企図したものであることがわかる。
【００２４】
添付図面は本発明の方法及びシステムを示し、該方法及びシステムを更に理解することを設けるよう、本明細書に組み入れられ、本明細書の一部を構成している。当該説明とともに、該図面は本発明の原理を説明する役目を担う。
【００２５】
次に、本発明の当該好適実施例を詳細まで参照し、当該例は添付図面に示す。本発明の方法及び相当する工程はシステムの詳細説明とともに説明する。
【００２６】
本発明のシステム及び方法の原理を説明する、以下記載の、図１乃至７及び本明細書及び特許請求の範囲における種々の実施例は、例示によるものであり、本発明の範囲を限定するものであると如何なる方法においても解釈されるべきでない。本発明のシステム及び方法はディジタル・テレビ・セットにおいて符号化ディジタル映像信号の画質を強調するシステム及び方法として説明する。本発明のシステム及び方法はディジタル・テレビ・セットに限定されるものでないと理解することが重要である。当業者は、本発明の原理を更に、うまく、限定なしで、テレビ受信機、セット・トップ・ボックス、ストレージ・デバイス、コンピュータ映像表示システム、及びディジタル映像信号を利用又は処理する如何なる類の電子機器をも有する、如何なる類のディジタル映像システム、にも形成し得ることが容易にわかるものである。本明細書及び特許請求の範囲の原文における「digital  video  system」の語は現在又は将来に入手可能な、これら及び他の類似した類の機器を表すのに用いられる。以下の説明においては、ディジタル・テレビ・セットがディジタル映像システムの１つの代表例として使用される。
【実施例】
【００２７】
図１は本発明の装置及び方法を利用するディジタル・テレビ・セット１００の構成図である。ディジタル・テレビ・セット１００はテレビ受信機１１０及び表示装置１１５を有する。表示装置１１５は陰極線管又はフラット・パネルのディスプレイ又は動画像を表示する如何なる類の機器であり得る。テレビ受信機１１０はテレビ信号を受信するアンテナ１０５を有する。アンテナ１０５は同調器１２０に結合される。同調器１２０は中間周波数（IF）処理器１２５に結合される。本明細書及び特許請求の範囲において実施されるIF処理器１２５は復号器１３０に結合される。本発明はMPEG復号器を表す一方、本発明はMPEGタイプの符号化/復号化アプリケーションに限定されない。本発明の他の実施例によれば、例えば、（なお画像処理標準である）JPEG（ジェイペグ）、（ディジタル映像標準である）MPEG-1、2、4、H.２６１、（ビデオ会議標準である）H.263及び他、のような、如何なるブロック・ベースの圧縮手法も、利用し得る。これらの標準においては、2次元（２D）のDCT（離散コサイン変換）が圧縮される画像における画素の８ｘ８のブロックに形成される。DCTによって生成される６４（８ｘ８＝６４）の係数は更に実際の圧縮を設けるよう量子化される。典型的な画像においては、画素の８ｘ８のブロック上のDCTからのDCT係数のほとんどは小さく、量子化後ゼロになる。実世界でのDCTのこの特性は圧縮手法にとって重要である。
【００２８】
本発明によって、ディジタル映像システムにおいて少なくとも１つのフレームを表す符号化ディジタル映像信号の画質を強調する方法及び相当するシステムを設ける。該方法は一般に、詳細を以下に説明するように、符号化ディジタル映像信号に形成される鮮鋭度強調に対する限度を特定する有用性指標を生成する工程、フレームにおける局所空間特性を規定する工程、及びフレームのタイプを特定する工程を有する。符号化利得は更に、局所空間特性に基づいてフレームにおける画素毎に算定され、かつ、フレーム・タイプによって有用性指標が算定される。算定されると、符号化利得は更に、強調ディジタル映像信号を生成するよう少なくとも１つの鮮鋭度強調アルゴリズムに形成される。
【００２９】
図７は本発明の方法の効果的実施例を示す流れ図である。本明細書及び特許請求の範囲におけるこの方法の工程は以下に更に詳細に説明する。１つのフレーム（フレーム「t」）の処理に対する符号化利得を算定する方法は概して、番号７００によって示す。第１に、符号化情報が得られる（工程７０５）。次にフレームtに対するUME及び局所空間特性が本発明によって算定される（工程７１０、７１５）。
【００３０】
該方法は更に局所空間特性に基づいてフレームにおける画素毎の符号化利得を算定する工程及び特定されたフレーム・タイプによって有用性指標を算定する工程を有する（工程７２０）。
【００３１】
最後に、該方法は少なくとも１つの鮮鋭度強調アルゴリズムに対して符号化利得を形成する工程及び鮮鋭度強調アルゴリズムの形成によって強調ディジタル映像信号を生成する工程を有する。
【００３２】
明瞭性の目的で、該システム及び方法を次に、当該図面を参照することと組み合わせて説明する。本発明は映像信号の品質を強調する強調有用性指標（UME）を生成する。MPEG復号器１３０の出力は少なくとも１つの鮮鋭度強調アルゴリズムを形成する後処理回路１３５に結合される。限定するものでなく、例示として、後処理回路１３５は、本発明の有用性指標（UME）を有する適応ピーキング装置１４０を有し得る。適応ピーキング装置１４０は後処理回路１３５内部の適切な位置に配置し得る。後処理回路１３５の出力は表示装置１１５に入力される。
【００３３】
例示の目的で、本明細書及び特許請求の範囲において実施されたように、適応ピーキング装置１４０はMPEG復号器１３０から受信された映像信号を処理する。適応ピーキング装置１４０はこの例におけるUMEを用いて、適応ピーキング処理において用いる符号化利得値を生成する。適応ピーキングの処理は例示的で、本発明のUMEをどうように用い得るかを表す。本発明のシステム及び方法は適応ピーキングの処理に限定されないものであることがわかる。UMEは2つ以上の別のタイプの映像強調アルゴリズムとともに用い得る。
【００３４】
適応ピーキング装置１４０は映像信号における符号化情報、更には、画素輝度値の分散のような、局所空間特性、を考慮する方法で映像信号を処理する。適応ピーキング装置１４０の出力は適応ピーキング装置１４０がMPEG復号器１３０から受信する映像信号に対する強調輝度信号である。適応ピーキング装置１４０によって判定される輝度信号は更に以下に説明するように、従来の技術の適応ピーキング装置によって設けられたものよりも正確で視覚的に明瞭な動画像を設ける。適応ピーキング装置１４０は強調輝度信号を後処理回路135内部の他の回路に転送する。後処理回路１３５は映像信号の品質を強調するよう強調輝度信号を利用することができる。
【００３５】
後処理回路１３５はいくつかの異なったタイプの映像信号処理を実行することができる。例えば、映像信号処理アプリケーションは：(a)雑音レベル適応雑音低減アルゴリズム；(b)雑音レベル適応鮮鋭度強調；(c)雑音レベル適応輝度クロミナンス分離；(d)雑音レベル適応動き検出；(e)雑音レベル適応動き推定及び補償；(f)雑音レベル適応アップコンバート；(g)雑音レベル適応特性強調；(h)雑音レベル適応オブジェクト・ベース・アルゴリズム；を有する。
【００３６】
図２は本発明の１つの効果的実施例による適応ピーキング装置１４０のシステム及び方法を示す構成図である。図２は本発明の強調有用性指標（UME）をどのように輝度を強調する適応ピーキング・アルゴリズムに形成し得るかを示すものである。公知の適応ピーキング・アルゴリズムは入力輝度信号２１０の過渡成分の振幅を増加することに関する。適応ピーキング・アルゴリズムは従来、「アプリオリに」符号化/トランスコードされた映像ソースに対して最適な映像品質を常に設けるものでない。これは主に、MPEGソースの特性が考慮されていないということの結果である。
【００３７】
本発明においては、有用性指標生成器２１５は有用性指標（UME）を生成する。UMEは参照番号２２０によって表される。UME２２０は量子化パラメータ及びマクロブロックを符号化するのに費やされるビット数のような、MPEGソースの特性を考慮する。元のアルゴリズムはUME２２０を用いて拡張されるので、実質的に適応ピーキング・アルゴリズムの性能を増加する。
【００３８】
適応ピーキング・アルゴリズムによって用いられる原理は公知のものである。適応ピーキング・アルゴリズムの1つの例は４つのピクセル・ベースの制御ブロックを利用する。図２に表すように、4つの制御ブロックはコントラスト制御ブロック２２５、動的レンジ制御ブロック２３０、クリッピング防止ブロック２３５、及び適応コアリング・ブロック２４０である。コントラスト制御ブロック２２５は利得信号「g1」を生成する。動的レンジ制御ブロック２３０は利得信号「g2」を生成する。クリッピング防止ブロック２３５は利得信号「g3」を生成する。適応コアリング・ブロック２４０は利得信号「g4」を生成する。これらの４つの画素ベースの制御ブロックはコントラスト、動的レンジ、及び雑音レベルのような映像信号の特定の局所特性を考慮する。しかしながら、これらの４つの制御ブロックは映像信号の符号化特性及び、画素輝度値の分散のような、局所空間特性に関する情報を考慮するものでない。
【００３９】
本発明のシステムは符号化利得ブロック２４５を設ける。更に以下に説明するように、符号化利得ブロック２４５は有用性指標（UME）２２０、更には、局所空間特性、を用いて許容ピーキング量を判定する。符号化利得ブロック２４５は利得信号「gcoding」を生成する。動的利得制御ブロック２５０は５つの利得信号（g１、g２、g３、g４、gcoding）の最小値を選定して最終利得信号「g」を生成する。乗算回路２５５は最終利得信号「g」を2次元ピーキング・フィルタ２６０によってフィルタされた高通過信号によって乗算する。加算器２６５は乗算回路２５５からの積を輝度入力信号２１０によって表される画素の元の輝度値に加算する。このようにして、強調輝度出力信号２７０が生成される。これらの機能各々は公知の適切な構成部分によって行い得る。
【００４０】
限定するものでなく、例として、図３は本発明による符号化ディジタル映像の輝度を強調する典型的なシステムを示す。該システムは入力映像信号２１０をフィルタする高通過フィルタ２６０、本発明の方法の何れかによって判定された符号化利得２５８によって高通過フィルタ信号を乗算する乗算器２５５を有する。該乗算は利得制御信号を生成する。該システムは更に、入力映像信号２１０を利得制御信号に加算し、入力信号２１０と比較して向上した映像品質を有する強調輝度出力信号２７０を生成する、加算器２６５を有する。
【００４１】
図４では、ＵＭＥ２２０が（画素毎又は領域ベースで）符号化アーチファクトを増加することなく画素又は領域をどの程度強調し得るかを算定する。ＵＭＥ２２０はビットストリームに存在するＭＰＥＧ符号化情報から導出される。ビットストリームに存在する符号化情報は復号化手順中に取り出し得る。ＵＭＥ２２０は映像の空間・時間特性又は映像品質を示す。
【００４２】
本発明によれば、復号化中に直接得られたＭＰＥＧ情報の最も細かい細粒度は(1)マクロブロック（ＭＢ）量ベースか(2)ブロック・ベースの量ベースかの何れかである。しかしながら、空間（画素）領域映像強調については、ＵＭＥは最高の映像品質を実現するよう映像の画素毎に算定すべきである。
【００４３】
ＭＰＥＧ情報から容易に抽出されるパラメータの１つに、各符号化マクロブロック（ＭＢ）にあるような、量子化パラメータ（q_scale）がある。量子化パラメータが高いほど、量子化は粗くなり、したがって、量子化エラーは高くなる。量子化エラーが高いことは結果として符号化アーチファクトをもたらす。したがって、マクロブロック（MB）における画素の、高い量子化パラメータによる、強調は更に抑制し得る。
【００４４】
別の有用な情報の項目にマクロブロック（MB）又はブロックを符号化するのに費やされるビット数（num_bits）がある。一般に、ブロックを符号化するのに費やされるビットが少ないほど、ブロックの品質は低くなる。しかしながら、この品質（num_bits）は更に、情景コンテンツ、ビットレート、（I（フレーム内）、P（予測）、B（双方向予測）フレーム・タイプのような）フレーム・タイプ、動き推定、及び動き補償によって大いに変わってくる。
【００４５】
更に、ブロックにおける既存のDCT係数の分布を検討することが考えられる。更に、強調する映像の時間特性に関する情報を得るよう動きベクトルを用い得る。MPEG符号化に関して推定され、用いられる動きベクトルは必ずしも映像における真の動きを表すものでないことは周知である。しかしながら、動きベクトルは静的区域を識別し、該静的区域を用いて、動きベクトルが信頼できない場合もフレーム間での強調の時間的整合性を向上するのを助力し得る。
【００４６】
量子化パラメータ（q_scale）も（マクロブロック（MB）又はブロックを符号化するのに）費やされたビット数（num_bits）も両方ともMPEG符号化のレート制御計算に広く用いられる。
【００４７】
量子化パラメータ値が大きいほど符号化アーチファクトが増加することをもたらすので、UMEは一般に、量子化パラメータ、q_scaleに反比例する。
【００４８】
上記のように、本発明の方法及びシステムは符号化ディジタル映像信号に形成される鮮鋭度強調に対する制限を特定する有用性指標を生成する。本発明の好適実施例によれば、UMEを生成するのに以下の式（１）：
【００４９】
【数５】
2005515730.tif 000003
を用い得、該式においては、UMEは有用性指標、q_scaleはマクロブロックに対する量子化スケール、num_bitsは輝度ブロックを符号化するビット数（すなわち、輝度ブロックのDCTブロックのAC（交流）係数を符号化するビット数）、maxはフレーム全体に対する最大値を表す関数で、M及びNは実験的に判定されるスケーリング係数である。N係数はq_scale値の範囲にある。M係数はユーザの主観的知覚によって変わってくる。例えば、鮮鋭度強調が強い場合、M係数は低減されるが、ユーザが鮮鋭度の少ない画像を好む場合、M係数は増加し得る。考えられるM値は１、２、４、８などである。
【００５０】
本発明の１つの効果的実施例においては、UMEの値は「ゼロ」(「０」)の値から「１」の値まで及び得る。UMEに対する「ゼロ」の値は、特定の画素に対する鮮鋭度強調は可能でないことを表す一方、「１」の値は画素が如何なる符号化アーチファクトをも強調するリスクなく自由に強調し得ることを表す。
【００５１】
本発明の好適実施例においては、式（１）におけるUMEはブロック毎に算定される。
【００５２】
本発明の好適実施例によれば、UMEも局所空間特性も両方とも鮮鋭度強調アルゴリズムに用いられる符号化利得を算定するよう用いられる。本発明はしたがって、映像信号の各フレームの局所空間特性を規定することを有する。
【００５３】
図４に表すように、本明細書及び特許請求の範囲における実施例については、局所空間特性は計算器２４７によって規定される。本発明の好適実施例においては、局所空間特性は、nxn画素に及ぶ、nxnウィンドウにわたる画素毎の輝度値の分散として規定される。分散は以下の式(2)：
【００５４】
【数６】
2005515730.tif 000004
によって規定され、該式においては、q=(n-1)/2で、pix(i+k,j+m)は位置(i+k,j+m)での画素値で、meanは上記のnxnウィンドウにわたる平均画素値である。項i及びjは画素の元の座標で、ｋ及びmは移動値である。
【００５５】
その代わりに、局所空間特性は領域（テクスチャ又はプレーン区域）マップとして規定し得る。
【００５６】
UMEは符号化特性を説明するよう算定されるので、UMEはブロッキング又はリンギングのような符号化アーチファクトの強調を妨げる。したがって、強調を形成しすぎることから結果として生じ得る、符号化に起因しないアーチファクトの防止又は低減は鮮鋭度強調アルゴリズムの他の部分によって対応される。
【００５７】
本発明によれば、符号化利得は局所空間特性に基づいてフレームにおける画素毎に算定され、UMEは少なくとも１つの鮮鋭度強調アルゴリズムに対して形成される。例えば、UMEは如何なるピーキング・アルゴリズムとも組み合わせることが可能である。その代わりに、UMEは如何なる空間領域鮮鋭度強調アルゴリズムにも形成し得る。更に、適応ピーキング・アルゴリズムを符号化情報と局所空間特性とのみ組み合わせて利用することも考えられる。
【００５８】
図４はそのような実施例を示す。図４においては、図２の４つの制御ブロック２２５、２３０、２３５、及び２４０が取り除かれている。符号化利得ブロック２４５だけが残っている。符号化利得はUMEを利用することによって算定され、局所空間特性は異なる映像タイプを区別することによって算定される。局所空間特性計算器２４７はソフトウェアかハードウェアか両方によって実施し得る。MPEGビットストリームの場合、異なる映像タイプはI、P及びBである。
【００５９】
I（又はフレーム内符号化）フレームはDCT符号化のみを用いて、当該シーケンスにおける如何なる他のフレームも参照することなく単一のフレームを圧縮する。P（又は予測）フレームは直前のI又はPフレームからの差異として符号化される。新Pフレームは最初に、直前のI又はPフレームをとり、新画素毎の値を予測することによって予測される。その結果、Pフレームは一般に、Iフレームよりも良好な圧縮率を設ける。B（又は双方向）フレームは直前又は次のI若しくはPフレームからの差異として符号化される。BフレームはPフレームと類似した予測を用いるが、何れかのブロック各々又は両方のブロックについて、先行するI若しくはPフレームが用いられるか、又は、次のI若しくはPフレームが用いられる。PフレームもBフレームも両方とも動き予測及びDCT符号化を用いるが、比較するのに先行するフレームをとるか次のフレームかをとるかをマクロブロック毎に選択することが可能であるので、Bフレームは一般にPフレームと比較して改良された圧縮を有する。
【００６０】
本明細書及び特許請求の範囲に実施され、本発明の好適特徴によるように、例示の目的で、符号化利得はフレームがIフレームか、Pフレームか、Bフレームかによって異なるよう算定される。
【００６１】
例えば、Iフレームについて、図５に示すように、条件C1が満たされる場合、UMEが式（１）によって算定され、符号化利得はUMEに等しくなるように設定される。条件は：
((var＞VAR_THREAD)及び（num_bits≠0）)；
として規定され、varは局所空間特性で、VAR_THREADは所定の分散の閾値で、num_bitsは輝度ブロックを符号化するのに用いられるビット数である。逆に、条件C1が満たされない場合、符号化利得は０に設定されるので、入力信号は不変である。
【００６２】
特に、局所空間特性が所定の分散閾値よりも大きく、輝度ブロックを符号化するビット数がゼロでない場合、UMEは式（１）によって算定され、符号化利得はUMEに等しくなる。局所空間特性が所定の分散の閾値よりも大きくないか、輝度ブロックを符号化するビット数がゼロの場合、符号化利得はゼロに等しくなる。
【００６３】
MPEG-2映像圧縮標準によってデータのないP（予測）及びB（双方向予測）映像における特定のマクロブロック（MB）及びブロックの符号化が可能になる。これらのマクロブロックは「スキップ」マクロブロックと呼ばれる。スキップ・マクロブロック（ＭＢ）は最も直近で符号化された非スキップ・マクロブロック（ＭＢ）からの基準映像及び符号化情報を用いた復号化手順において再構成し得る。更に、完全に動き補償されたマクロブロック（ＭＢ）については、マクロブロック（ＭＢ）におけるビットストリーム又は特定のブロックにおけるＤＣＴデータで符号化されていないものはない。
【００６４】
したがって、Ｐフレームについて、符号化利得を計算するアルゴリズムを図６に表す。マクロブロックがスキップされた場合、（すなわち、マクロブロックの４つの輝度ブロックがスキップされた場合）、符号化利得は公知のように動きベクトルに基づいて基準フレームから取り出される。しかしながら、マクロブロックがスキップされない場合、条件Ｃ２を評価しなければならない。条件Ｃ２は（var≦VAR_THREAD）として規定される。したがって、局所空間特性（var）が所定分散閾値（VAR_THREAD）よりも大きい場合、符号化利得は動きベクトルを用いることによって基準フレームから取り出される。逆に、局所空間特性(var)が所定の分散閾値（VAR_THREAD）以下の場合、符号化利得はゼロに設定される。フレーム内符号化ブロックについては、動きベクトルには(0,0)が割り当てられる。
【００６５】
Bフレームについては、先行する基準フレームの符号化利得マップは符号化利得が割り当てられる。その代わりに、Pフレームにおいて用いられたのと同様な手順がBフレームに形成し得る。
【００６６】
更に本発明によれば、符号化利得は強調ディジタル映像信号を生成するよう少なくとも１つの鮮鋭度強調アルゴリズムに形成される。図４では、上記で計算された符号化利得は乗算回路２５５を用いることによって高通過フィルタ２６０の出力によって乗算される。結果は更に、強調輝度出力信号２７０を生成するよう元の輝度入力信号２１０に加算器２６５によって加算される。
【００６７】
例として、かつ、例示の目的で図面を参照して、符号化利得が形成される鮮鋭度強調アルゴリズムを図３に示す。本発明の好適実施例においては、用いられる高通過フィルタは：
【００６８】
【数７】
2005515730.tif 000005
であり得、kは、0と1の間の、すなわち、(0,1〕で、0を除くが１を有する、範囲内に収まる、スケーリング係数である。係数ｋは一般に、ユーザの主観的知覚によって変わってくる。画像の鮮鋭度が高いほど、ｋは増加する。
【００６９】
鮮鋭度強調アルゴリズムの結果は、図３に示すように、以下：
output_pixel=input_pixel＋mpeg_gain*convolution_result        式（3）；
となり、output_pixelは画素に用いる最終輝度値で、input_pixelは入力画素の輝度値で、mpeg_gainは符号化利得で、convolution_resultは高通過フィルタ出力である。鮮鋭度強調アルゴリズムの結果の信号表現は更に、フレームの画素毎に既知の方法で生成される。
【００７０】
本発明は更に、高品位（HD）機能を有し、長時間再生（LP）モードを可能にする映像記憶アプリケーションに存在するような高品位（HD）及び標準品位（SD）シーケンスに形成し得る。そのような映像シーケンスの大部分は放送MPEG-2ビットストリームから低い記憶ビットレートにトランスコードされる。このアプリケーションの長時間再生（LP）モードについては、フォーマット変更もトランスコーディング中に起こり得る。標準品位（SD）又は高品位（HD）映像シーケンスは符号化され、復号化され、更に、鮮鋭度強調アルゴリズムによって、本発明によって処理され、符号化情報を用いないアルゴリズムよりも優れた映像品質をアプリオリな符号化又はトランスコード映像シーケンスに設ける。
【００７１】
上記で説明し、図面で示したような、本発明の方法及びシステムは、ディジタル符号化映像信号の品質を強調する改良方法を、鮮鋭度強調アルゴリズムを利用することによって設けるものである。
【００７２】
種々の修正及び変形が本発明の精神又は範囲から逸脱することなく本発明の方法及びシステムにおいて行い得ることが当業者にはわかるものである。したがって、本発明は本特許請求の範囲及びその同等の範囲に収まる修正及び変形を有するものである。
【図面の簡単な説明】
【００７３】
【図１】本発明のシステム及び方法を有する例示的ディジタル・テレビ・セットの構成図である。
【図２】本発明の有用性指標生成器及び符号化利得制御ブロックを有する適応ピーキング装置の効果的実施例を示す構成図である。
【図３】本発明によって用いられる鮮鋭度強調アルゴリズムの別の実施例を示す構成図である。
【図４】本発明の有用性指標生成器及び符号化利得制御ブロックを有する適応ピーキング装置の別の効果的実施例を示す構成図である。
【図５】Iフレームに対する符号化利得を算定する方法を示す流れ図である。
【図６】Pフレームに対する符号化利得を算定する方法を示す流れ図である。
【図７】本発明の動作の方法の効果的実施例を示す流れ図である。
【図１】
2005515730.tif 000010
【図２】
2005515730.tif 000011
【図３】
2005515730.tif 000012
【図４】
2005515730.tif 000013
【図５】
2005515730.tif 000014
【図６】
2005515730.tif 000015
【図７】
2005515730.tif 000016
【国際調査報告】
2005515730.tif 000017
2005515730.tif 000018
2005515730.tif 000019