(57)【要約】【課題】従来は、復号器から得られる符号化情報を用いて、ノイズ低減及び輪郭強調を行うため、復号器を持たないテレビジョン受像機等の電子機器では符号化情報が得られず、適応的にノイズ低減及び輪郭強調を行えない。【解決手段】ブロックノイズ検出回路２は入力された復号映像信号を微分して得た微分信号からインパルス状の微分点を孤立微分点として抽出し、その孤立微分点のうち絶対値が予め設定した閾値以上の孤立微分点の一画面における数をブロックノイズ検出結果として検出する。ノイズ低減回路３はブロックノイズ検出回路２からの検出結果に応じて、必要に応じて復号映像信号のブロックノイズの低減処理を行った後、輪郭強調回路４に供給する。輪郭強調回路４はノイズ低減回路３から出力された復号映像信号に対して、必要に応じて輪郭強調処理を施して出力端子５へ出力する。これにより、復号器を不要とする。【選択図】図１
2008160466.tif 000002
【特許請求の範囲】
【請求項１】
映像信号から生成される各画面を所定の画素数の画像領域であるブロック単位に分割し、そのブロック単位で圧縮符号化された符号化信号を復号して得られた各画面から構成される復号映像信号に対して、ノイズ低減処理と輪郭強調処理とのうちいずれか一方を選択的に施す映像信号処理装置であって、
前記復号映像信号を微分して得た微分信号からインパルス状の微分点を孤立微分点として抽出し、その孤立微分点の絶対値が予め設定した閾値以上の孤立微分点を抽出し、その抽出した孤立微分点の一画面における数をブロックノイズ検出結果として検出するブロックノイズ検出手段と、
前記復号映像信号に対して、少なくとも該復号映像信号のブロックノイズが発生しているブロックと隣接ブロックとの境界における信号レベルの差を補正する前記ノイズ低減処理を施すと共に、前記ブロックノイズ検出結果の値が予め設定した第１の値よりも大きいときにはその値が大きいほど前記補正の量を大とするように、前記ノイズ低減処理の補正量を制御するノイズ低減手段と、
前記復号映像信号に対してその復号映像信号のエッジ部分を強調する前記輪郭強調処理を施すと共に、前記ブロックノイズ検出結果の値が前記第１の値よりも小なる予め設定した第２の値以下のときにはその値が小さいほど前記輪郭強調の強調量を大とするように、前記輪郭強調処理の強調量を制御する輪郭強調手段と
を有することを特徴とする映像信号処理装置。
【請求項２】
前記ブロックノイズ検出手段は、
前記復号映像信号を微分して離散的な微分点の信号系列である微分信号を生成する微分手段と、
前記微分信号からインパルス状の微分点を孤立微分点として抽出する孤立微分点抽出手段と、
前記孤立微分点抽出手段で抽出された前記孤立微分点を絶対値に変換する絶対値変換手段と、
前記絶対値変換手段により変換された前記孤立微分点の絶対値を、前記ブロック単位で積分して積分信号を生成する積分手段と、
前記積分信号の信号レベルと予め設定した前記閾値とを比較する比較手段と、
前記比較手段から出力される、前記積分信号の信号レベルが前記閾値以上であることを示す比較結果を一画面においてカウントし、そのカウント値を前記ブロックノイズ検出結果として出力するカウント手段と
から構成されることを特徴とする請求項１記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号処理装置に係り、特にＭＰＥＧ（Moving Picture Experts Group）などの方式で圧縮符号化された映像信号を復号し、その復号された映像信号に対して画質改善のための処理を行う映像信号処理装置に関する。
【背景技術】
【０００２】
時間軸上に連続する映像信号をディジタル信号の情報として取り扱い、その際、効率の高い情報の伝送、蓄積等を目的とし、時間方向の冗長性を利用して動き補償予測を用い、空間方向の冗長性を利用して離散コサイン変換等の直交変換を用いて符号化圧縮するＭＰＥＧなどの符号化方式が現在、広く普及している。
【０００３】
このような符号化方式では、映像信号の水平方向及び垂直方向に隣接する所定の数の画素からなる矩形領域のブロック単位で上記の動き補償予測や直交変換を行い、得られた符号化映像信号を伝送、あるいは蓄積する。伝送、あるいは蓄積された符号化映像信号は、符号化時とは相補的な復号化処理がブロック単位で行われて、元の映像信号に復元される。
【０００４】
しかし、圧縮率を高めに設定して情報量を小さく抑えた場合等では、復号化処理において、或るブロックと隣接するブロックとの間に階調差が生じ、特に階調変化の緩やかな画像部分では隣接ブロック間での階調差によるノイズ（ブロックノイズ）が目に付き易くなる。
【０００５】
一方、入力映像信号に対する画質補正処理として輪郭強調処理を施して画像の精細度を上げることが知られているが、上記の符号化及び復号化の際に、この輪郭強調処理を施すと、上記のノイズ（ブロックノイズ）が強調されてしまい、十分な画質の改善が図れない。ノイズ低減と輪郭強調は相反するものであり、ノイズ低減を例えばノイズ除去フィルタを用いるなどして行うと、ノイズは低減するものの画質の精細度が損なわれてしまう。
【０００６】
そこで、従来、これらの処理を適応的に行う方法として、復号器から得られる符号化情報を用いてノイズ低減および輪郭強調を行う映像信号処理装置が提案されている（例えば、特許文献１参照）。この特許文献１記載の従来の映像信号処理装置では、復号された映像信号のノイズを低減するノイズ低減手段と、ノイズ低減された映像信号に対して画質補正を行う画質補正手段と、映像信号の復号時のノイズ量に関連する符号化情報から予測されるノイズ量と、復号画像の符号化ブロック境界の段差と、符号化ブロック境界からの距離とに対応して重み付け係数を設定するウェイティング手段とを有し、ウェイティング手段からの重み付け係数に応じて上記画質補正手段による画質補正量を制御する構成である。つまり、この従来の映像信号処理装置では、復号された映像信号のノイズを低減した後、ノイズ低減された映像信号に対して輪郭強調等の画質補正を行うものである。
【０００７】
【特許文献１】特許第３８００７０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来の映像信号処理装置では、復号器（ＭＰＥＧデコーダ）から得られる符号化情報を用いて、ノイズ低減及び輪郭強調を行うため、復号器を持たないテレビジョン受像機等の電子機器では符号化情報が得られず、適応的にノイズ低減及び輪郭強調を行えないという問題がある。
【０００９】
本発明は上記の点に鑑みなされたもので、復号器を持たないテレビジョン受像機等の電子機器においてもノイズ低減及び輪郭強調を適応的に行い得る映像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明の映像信号処理装置は、映像信号から生成される各画面を所定の画素数の画像領域であるブロック単位に分割し、そのブロック単位で圧縮符号化された符号化信号を復号して得られた各画面から構成される復号映像信号に対して、ノイズ低減処理と輪郭強調処理とのうちいずれか一方を選択的に施す映像信号処理装置であって、復号映像信号を微分して得た微分信号からインパルス状の微分点を孤立微分点として抽出し、その孤立微分点の絶対値が予め設定した閾値以上の孤立微分点を抽出し、その抽出した孤立微分点の一画面における数をブロックノイズ検出結果として検出するブロックノイズ検出手段と、復号映像信号に対して、少なくとも復号映像信号のブロックノイズが発生しているブロックと隣接ブロックとの境界における信号レベルの差を補正するノイズ低減処理を施すと共に、ブロックノイズ検出結果の値が予め設定した第１の値よりも大きいときにはその値が大きいほど補正の量を大とするように、ノイズ低減処理の補正量を制御するノイズ低減手段と、復号映像信号に対してその復号映像信号のエッジ部分を強調する輪郭強調処理を施すと共に、ブロックノイズ検出結果の値が第１の値よりも小なる予め設定した第２の値以下のときにはその値が小さいほど輪郭強調の強調量を大とするように、輪郭強調処理の強調量を制御する輪郭強調手段とを有することを特徴とする。
【００１１】
この発明では、復号映像信号を微分して得た微分信号に基づき、ブロックノイズ検出結果を得るようにしたため、復号器から得られる符号化情報を用いることなくブロックノイズ検出結果を得ることができ、また、ブロックノイズ検出結果の値に応じて、ノイズ低減手段によるノイズ低減処理と輪郭強調手段による輪郭強調処理とを選択的に施すことができる。
【００１２】
また、上記の目的を達成するため、本発明は、上記のブロックノイズ検出手段を、
復号映像信号を微分して離散的な微分点の信号系列である微分信号を生成する微分手段と、微分信号からインパルス状の微分点を孤立微分点として抽出する孤立微分点抽出手段と、孤立微分点抽出手段で抽出された孤立微分点を絶対値に変換する絶対値変換手段と、絶対値変換手段により変換された孤立微分点の絶対値を、ブロック単位で積分して積分信号を生成する積分手段と、積分信号の信号レベルと予め設定した閾値とを比較する比較手段と、比較手段から出力される、積分信号の信号レベルが閾値以上であることを示す比較結果を一画面においてカウントし、そのカウント値をブロックノイズ検出結果として出力するカウント手段とから構成したことを特徴とする。この発明では、復号映像信号を微分して得た微分信号に基づき、ブロックノイズ検出結果を得るようにしたため、復号器から得られる符号化情報を用いることなくブロックノイズ検出結果を得ることができ
【発明の効果】
【００１３】
本発明によれば、復号映像信号を微分して得た微分信号に基づき、ブロックノイズ検出結果を得ることで、復号器から得られる符号化情報を用いることなくブロックノイズ検出結果を得ることができるようにしたため、復号器を持たないテレビジョン受像機等の電子機器においてもブロックノイズ検出結果に応じて、ノイズ低減および輪郭強調を選択して行え、これによりブロックノイズの状態に応じて良好な画質を視聴者に提供することができる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の一実施の形態について図面と共に説明する。本発明は、ＭＰＥＧの復号画像の一般的な特徴として、静止画などのブロックノイズが少ない映像信号に対しては、ノイズも少なく画質は比較的良好であるため、輪郭強調を行ったほうが良く、逆に動きが激しく、ブロックノイズが多い映像信号に対しては、ノイズ低減を行った方が良い印象となることに着目してなされたものである。
【００１５】
図１は本発明になる映像信号処理装置の一実施の形態のブロック図を示す。まず、概略を説明すると、入力端子１に入来した、ＭＰＥＧ方式で符号化された符号化信号を復号して得られた復号映像信号は、ブロックノイズ検出回路２及びノイズ低減回路３にそれぞれ供給される。ブロックノイズ検出回路２は後述する構成にてブロックノイズを検出し、その検出結果をノイズ低減回路３と輪郭強調回路４にそれぞれ供給する。
【００１６】
ノイズ低減回路３はブロックノイズ検出回路２からの検出結果に応じて、必要に応じて復号映像信号のブロックノイズの低減処理を行った後、輪郭強調回路４に供給する。輪郭強調回路４はノイズ低減回路３から出力された復号映像信号に対して、必要に応じて輪郭強調処理を施して出力端子５へ出力する。
【００１７】
次に、本実施の形態の詳細を説明する。図２は図１中のブロックノイズ検出回路２の一実施の形態のブロック図、図３は図２のブロックノイズ検出動作を説明する図である。ＭＰＥＧ方式で符号化された符号化信号を復号して得られた復号映像信号中のブロックノイズの特徴として、隣接するブロック間のブロック境界において、急峻な段差が現れる特徴がある。本実施の形態のブロックノイズ検出回路２では、この特徴を利用し、ブロックノイズの検出を行う。
【００１８】
図２において、入力端子２０（図１の入力端子１に相当）に入来したＭＰＥＧの復号映像信号は、まず微分器２１に入力されて微分される。微分器２１は入力される復号映像信号が図３（ａ）のような離散的な信号であるとすると、図３（ｂ）のような微分点を得て孤立微分点抽出回路２２に供給する。孤立微分点抽出回路２２は、入力された微分点のうち、隣接する微分点が０となっているようなインパルス状の微分点を孤立微分点（図３（ｃ））として抽出して絶対値変換回路２３に供給する。
【００１９】
絶対値変換回路２３は、入力された孤立微分点を絶対値に変換して、得られた絶対値信号を積分器２４に供給する。積分器２４は入力された絶対値信号をブロック単位で積分を行う。これにより、図３（ｃ）に示した孤立微分点が孤立微分点抽出回路２２から出力される場合は、積分器２４は同図（ｄ）に示すような積分信号を出力する。
【００２０】
ここで、例えば、１つのブロックが８画素からなるとすると、積分器２４は８画素おきに絶対値に変換した孤立微分点を加算していく。すると、ブロック境界の急峻な段差の部分では積分信号は大きな値となる。
【００２１】
この積分信号の値を図３（ｄ）にＴｈで示す所定のスレッシュレベルと比較器２５で比較し、スレッシュレベルＴｈを超えた比較結果をカウンタ２６でカウントしていく。ここで、カウンタ２６がカウントする期間を、例えば、１フレームとすると、１フレーム内でどれだけブロックノイズが出ているかがカウンタ値により分かり、ブロックノイズを検出することができる。このカウンタ値はブロックノイズ検出信号として出力端子２７から出力される。
【００２２】
再び図１に戻って説明する。図１のノイズ低減回路３は、例えば、本発明者が特開２００１−１１９６９５号公報にて開示した図４のブロック図に示すような構成である。図４に示すように、ノイズ低減回路３は、入力映像信号を微分処理して微分信号を得ると共に微分信号における孤立微分点を抽出出力する孤立微分点抽出回路３１と、ブロックノイズが発生しているブロックと隣接ブロックとの境界における信号レベルの差を補正するフィルタ３２と、入力映像信号を所定時間遅延させる遅延回路３３と、フィルタ３２の出力信号と遅延回路３３の出力信号とを加算する加算器３４とからなる。
【００２３】
図４において、ノイズ低減回路３は、入力端子３０（図１の入力端子１に相当）に入来したＭＰＥＧ復号映像信号を、まず孤立微分点抽出回路３１及び遅延回路３３にそれぞれ供給する。孤立微分点抽出回路３１は、入力復号映像信号の微分信号を生成してロジカルフィルタにより隣接画素に対して突出した微分値のみを出力してフィルタ３２に供給する。ここで、入力復号映像信号が図５（ａ）に示すようなブロック境界で階調差が生じている波形の信号であるときは、孤立微分点抽出回路３１は、同図（ｂ）に示すような孤立微分データを出力する。
【００２４】
フィルタ３２は、ディジタルフィルタであり、孤立微分点抽出回路３１からの孤立微分データを画素毎に順次遅延して隣接する５画素に対応する孤立微分データにそれぞれ所定の重み付けをしてそれらを加算して、ブロックノイズが発生しているブロックと隣接ブロックとの境界における信号レベルの差を補正した、図５（ｃ）に示すような補正データを生成して、加算器３４へ出力する。
【００２５】
一方、遅延回路３３は入力復号映像信号を２画素分遅延して図５（ｄ）に示す復号映像信号を加算器３４へ出力する。加算器３４は、フィルタ３２からの補正データと、遅延回路３３からの遅延復号映像信号とを加算して、図５（ｅ）に実線で示すように、ブロック境界における段差が滑らかにされた波形の復号映像信号を出力端子３５へ出力する。このノイズ低減回路３のノイズ低減の効果の調整は、フィルタ３２の段数や係数を変えることにより行える。
【００２６】
再び図１に戻って説明する。ノイズ低減回路３から出力された必要に応じてノイズ低減処理が施された復号映像信号は、輪郭強調回路４に供給され、ここでブロックノイズ検出回路２からの検出結果に応じて効果の異なる輪郭強調処理が施された後、出力端子５へノイズ低減処理又は輪郭強調処理が施された復号映像信号を出力する。
【００２７】
輪郭強調回路４は、例えば、本出願人が特許第３２３３３３１号公報に開示した図６のブロック図に示すような構成とされている。図６において、入力端子４０にノイズ低減回路３から出力された復号映像信号が入力されて二次微分回路４１、遅延回路４５及び４６にそれぞれ供給される。二次微分回路４１は公知のアパーチャ回路等を用いて入力復号映像信号（輝度信号）の高域成分を二次微分波形として取り出す。ここで、入力復号映像信号（輝度信号）が図７（ａ）に示す輪郭部分を有する波形であるとすると、二次微分回路４１は図７（ｂ）に示す二次微分波形を出力する。
【００２８】
二次微分回路４１から出力された二次微分波形は、リミッタ４２により所定の閾値（リミッティングレベル）で振幅制限され、所定のリミッティングレベル以下の振幅部分はそのまま出力される。これにより、リミッタ４２からは図７（ｃ）に示す波形の信号が取り出され、微分回路４３に供給されて図７（ｄ）に示す微分波形の信号とされる。このとき、振幅が大きい信号については、振幅が小さい信号よりも鋭い微分波形が得られる。
【００２９】
一方、入力端子４０に入来した上記の復号映像信号（輝度信号）は、遅延回路４５で所定時間遅延された後、微分回路４７に供給されて図７（ｅ）に示す如き一次微分信号とされる。相関ロジック４４は微分回路４３及び４７からそれぞれ出力された微分信号が供給され、入力される２つの微分信号が共に同じ極性であるときだけ微分回路４３からの微分信号を出力し、異なる極性であるときは信号を出力しない（０レベルの信号を出力する）ロジックに従い、図７（ｆ）に示す波形の信号を出力する。この相関ロジック４４の出力信号波形は、入力微分信号の振幅が大きく、リミッタ４２により制限される量が多い信号ほど、元の微分信号（微分回路４７の出力微分信号）よりも鋭いものとなる。
【００３０】
相関ロジック４４から出力された図７（ｆ）に示す波形の信号は、微分回路４８により微分されて同図（ｇ）に示す補正信号とされる。これにより、入力端子４０からの図７（ａ）に示す波形の復号映像信号（輝度信号）は、遅延回路４６で微分回路４８の出力補正信号との時間合わせのための所定時間遅延された後、加算回路４９で微分回路４８から出力される同図（ｇ）に示す補正信号と加算されることにより、同図（ｈ）に実線で示す輪郭強調処理が施された映像信号とされて出力端子５０（図１の出力端子５に相当）へ出力される。なお、輪郭強調回路４の効果は、図６のリミッタ４２のリミッティングレベルを調整することにより、調整することができる。
【００３１】
本実施の形態によれば、図１のブロックノイズ検出回路２により得られた検出結果は、ブロックノイズに応じたカウント数であり、単にノイズ低減回路３及び輪郭強調回路４のオン、オフだけでなく、そのカウント数に応じて、図８にIで示すように、カウント数が小さいほどブロックノイズが少ないためにノイズ低減の効果よりも輪郭強調の効果を大きくする（輪郭強調の強調量を大とする）ように設定し、一方、図８にIIで示すように、カウント数が大きいほどブロックノイズが大きいために輪郭強調の効果よりもノイズ低減の効果を大きくする（ノイズ低減処理の補正量を大とする）ように設定する。
【００３２】
なお、図８に示すように、ブロックノイズ検出回路２により得られた、ブロックノイズに応じたカウント数が所定の範囲内の値のときには、輪郭強調処理及びノイズ低減処理はいずれも行われず、その範囲内よりも小さな値のときには輪郭強調処理のみが行われ、その範囲内よりも大きな値のときにはノイズ低減処理のみが行われる。
【００３３】
このように、本実施の形態によれば、ブロックノイズ検出回路２により得られた、ブロックノイズに応じたカウント数に応じて、ノイズ低減回路３及び輪郭強調回路４の効果をきめ細かく調整をすることができるため、常に視聴者に最適な画質を提供することが可能である。
【００３４】
なお、ノイズ低減回路３は、上記の実施の形態ではブロックノイズ低減回路について説明したが、ブロックノイズが出ている場合は、モスキートノイズも出ている場合が殆どであり、ブロックノイズ検出回路２の検出結果に応じて、モスキートノイズ低減回路の設定を行うことも可能である。
【００３５】
図９は本発明の映像信号処理装置を組み込んだテレビジョン受像機の一例のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図９において、テレビジョン受像機５１はＭＰＥＧ復号器は有しておらず、ＨＤＭＩレシーバ５２とテレビの処理回路５３との間に本発明の映像信号処理装置６０が設けられている。
【００３６】
このテレビジョン受像機５１では、ＭＰＥＧ方式で圧縮符号化された符号化信号を復号して得られた復号信号がＨＤＭＩレシーバ５２に供給され、公知のインタフェース規格であるＨＤＭＩ(High-Definition Multimedia Interface)でインタフェースをとられた後、映像信号処理装置６０に供給されて、復号信号中の復号映像信号に対して図１乃至図８と共に説明した本発明の映像信号処理が施された後、テレビの処理回路５３に供給される。テレビの処理回路５３は、公知のテレビ信号処理を行って、図示しないテレビ画面に画像を表示させると共に、図示しないスピーカから音声を発音する。
【００３７】
このように、本発明では、ＭＰＥＧ復号器から得られる符号化情報を用いることなく、ブロックノイズの検出を行うようにしているため、図９のようなＭＰＥＧ復号器を持たないテレビジョン受像機５１に適用することができ、映像信号処理装置６０内のブロックノイズ検出回路２の検出結果に応じて、ノイズ低減回路３と輪郭強調回路４を適応的に動作させることにより、視聴者に常に最適な画質を提供することが可能である。
【００３８】
図１０は本発明の映像信号処理装置を組み込んだ再生機の一例のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図１０において、再生機５５は、ＭＰＥＧ復号器は有しておらず、再生装置５６とＨＤＭＩトランスミッタとの間に本発明の映像信号処理装置６０が設けられている。
【００３９】
この再生機５５では、再生装置５６により記録媒体からＭＰＥＧ方式で圧縮符号化された符号化信号を再生して、その再生信号を復号して復号信号を得て本発明の映像信号処理装置６０に供給されて、復号信号中の復号映像信号に対して図１乃至図８と共に説明した本発明の映像信号処理が施された後、ＨＤＭＩトランスミッタ５７に供給される。ＨＤＭＩトランスミッタ５７では入力された復号信号中の復号映像信号及び復号音声信号を公知の方法でパケット化して外部へ出力する。
【００４０】
図１０に示した再生機５５もＭＰＥＧ復号器を持たないが、映像信号処理装置６０内のブロックノイズ検出回路２の検出結果に応じて、ノイズ低減回路３と輪郭強調回路４を適応的に動作させることにより、ＨＤＭＩトランスミッタ５７から出力されるパケットを受信する視聴者に常に最適な画質を提供することが可能である。
【００４１】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、ノイズ低減回路３と輪郭強調回路４との接続順を図１のそれとは逆にしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の映像信号処理装置の一実施の形態のブロック図である。
【図２】図１中のブロックノイズ検出回路の一例のブロック図である。
【図３】図２の動作説明用タイミングチャートである。
【図４】図１中のノイズ低減回路の一例のブロック図である。
【図５】図４の動作説明用信号波形図である。
【図６】図１中の輪郭強調回路の一例のブロック図である。
【図７】図６の動作説明用信号波形図である。
【図８】図１のブロックノイズ検出回路のブロックノイズカウント数によるノイズ低減回路と輪郭強調回路の効果の調整を説明する図である。
【図９】本発明の映像信号処理装置を組み込んだテレビジョン受像機の一例のブロック図である。
【図１０】本発明の映像信号処理装置を組み込んだ再生機の一例のブロック図である。
【符号の説明】
【００４３】
１  復号映像信号入力端子
２  ブロックノイズ検出回路
３  ノイズ低減回路
４  輪郭強調回路
５  出力端子
２１  微分器
２２  孤立微分点抽出器
２３  絶対値変換回路
２４  積分器
２５  比較器
２６  カウンタ
５１  テレビジョン受像機
５５  再生機
６０  本発明の映像信号処理装置
【図１】
2008160466.tif 000003
【図２】
2008160466.tif 000004
【図３】
2008160466.tif 000005
【図４】
2008160466.tif 000006
【図５】
2008160466.tif 000007
【図６】
2008160466.tif 000008
【図７】
2008160466.tif 000009
【図８】
2008160466.tif 000010
【図９】
2008160466.tif 000011
【図１０】
2008160466.tif 000012