(57)【要約】【課題】圧縮処理された映像信号を伸張処理して表示する際に、動画中の静止画部分を通過するような物体の周辺で発生するモスキートノイズを効果的に除去することができる映像処理を提供する。【解決手段】動き判定回路３は、注目画素が含まれる映像ブロックが動きを含むか含まないかを判定し、動きがあると判定されるブロックの中で静止している部分（背景部分）と動いている部分（動いている物体）を特定して切り分ける。モスキートノイズが静止画部分に発生している場合には、遅延回路５から入力される前フレームのデータを用いて置き換え、動いている物体の部分にフィルタリングを施すので、背景部分のノイズを効果的に除去することができる。また、動画中の静止画部分を通過するような物体の周辺で発生するモスキートノイズを効果的に除去する【選択図】図１
2007312316.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ×Ｎのブロック単位で圧縮処理された信号を伸張処理し得られた映像信号に対してノイズを除去するフィルターを持つ映像処理装置において、
それぞれの画素についてフィルターの重み付けの係数の算出を行う係数算出回路と、前記係数による重み付けされたフィルタリング処理を行うフィルター回路と、前記フィルター回路でノイズを除去された映像信号と前フレームの同じ位置の映像信号とからそれぞれの画素について動き情報を求める動き判定回路と、前記動き判定回路で求められた動き情報に基づいてモスキートノイズが発生している部分が静止している部分と判定された場合に前フレームの画素と置き換える後処理回路と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記動き判定回路は、動きを判定する条件として前記フィルターの重み付けの係数をも用いることを特徴とする請求項１に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、圧縮処理された映像信号を伸張処理して表示する際における映像処理装置に関する。
【背景技術】
【０００２】
近年、テレビ放送方式においては、ＢＳ、ＣＳにおいて勿論のこと地上波においてもデジタル化されており、いっぽう、デジタルカメラのようなメモリ上にデジタルで記録するシステムも広く普及している。デジタル信号をそのまま記録すると大容量が必要とされるので、記録する際にＪＰＥＧやＭＰＥＧ等の圧縮技術が用いられている。映像信号の圧縮処理は、Ｍ×Ｎのブロック単位で行われている。画像を圧縮する場合、圧縮率によっては、また画像の複雑さによっては、モスキートノイズと呼ばれる主に輪郭の周辺にモヤモヤとしたノイズが発生する場合がある。モスキートノイズは、画像をＭＰＥＧやＪＰＥＧ等の技術を使って圧縮した場合、Ｍ×Ｎのブロック内に輪郭など周波数的に高域の成分がある部分によく発生する。静止画ではモヤモヤしたものが現れるだけであるが、動画では入力画像が変化するとそれに併せてノイズの見え方も変わるので、輪郭周辺で蚊が飛んでいるかのごとくチラチラしたノイズが現れ、それがモスキートノイズと称される由来となっている。
【０００３】
このノイズを除去するための一つの方策として、ローパスフィルターを掛けて画像をぼかすことで目立たなくすることが挙げられる。しかしながら、画像全体にフィルターを掛けると、モスキートノイズだけでなく輪郭成分もぼやけるため画像の解像度感が損なわれる。そのため、輪郭情報を抽出し、輪郭がブロック内に含まれるかどうかを判断し、輪郭が含まれるブロックにのみフィルタリングを行う方式や、輪郭情報を元に輪郭部分とそれ以外の部分でフィルターの重み付けを変更するような方式が考えられている。
【０００４】
上記のフィルタリング技術は、静止画では効果的であり、ノイズのある原画とフィルタリングされた画像とを比較すると、改善されていることがよく確認できる。しかしながら、フィルターでノイズを除去した画像は原画に戻る訳ではないので、処理された画像を動画で確認すると、時間軸方向では揺らぎが発生し、ノイズ除去の効果が少なくなってしまう場合がある。即ち、背景が静止していて、その中で人や物が動いている場合にその人や物の輪郭の背景側周辺にモスキートノイズを除去するためにフィルタリングが施される。背景は静止しているにもかかわらず、モスキートノイズの発生の仕方が異なるため、ある画素に着目するとまだチラチラしたノイズが残存していることがある。
【特許文献１】特許３０１１８２８号公報
【特許文献２】特開２００４−１５９３１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、動画中の静止画部分を物体が通過するような場合、画像の中で、静止している部分と動いている部分を特定し、モスキートノイズが静止画部分に発生している場合に背景部分のノイズを効果的に除去する点で解決すべき課題がある。
【０００６】
この発明の目的は、圧縮処理された映像信号を伸張処理して表示する際に、動画中の静止画部分を通過するような物体の周辺で発生するモスキートノイズを効果的に除去することができる映像処理を提供することである。
【課題を解決するための手段】
【０００７】
この発明による映像処理装置は、Ｍ×Ｎのブロック単位で圧縮処理された信号を伸張処理し得られた映像信号に対してノイズを除去するフィルターを持つ映像処理装置において、上記フィルターはＭ×Ｎのブロック内の各画素について、フィルターの重み付けの係数の算出を行う係数算出回路と、上記係数による重み付けされたフィルタリング処理を行うフィルター回路と、上記フィルター回路でノイズを除去された映像信号と、前フレームの同じ位置のブロックとの動き情報を画素毎に求める動き判定回路と、前記動き判定回路で求められた動き情報に基づいてモスキートノイズが発生している部分が静止している部分と判定された場合に前フレームの画素と置き換える後処理回路とを備えることを特徴としている。
【０００８】
本発明は、動画中の静止画部分を通過するような物体の周辺で発生するモスキートノイズを効果的に除去するために、動き判定回路は、注目画素が含まれる映像ブロックが動きを含むか含まないかを判定し、動きがあると判定されるブロックの中で静止している部分（背景部分）と動いている部分（動いている物体）を特定して切り分け、モスキートノイズが静止画部分に発生している場合には、前フレームのデータを用いて置き換え、動いている物体の部分にフィルタリングを施すので、背景部分のノイズを効果的に除去することができる。
【０００９】
上記の映像処理装置において、前記動き判定回路は、動きを判定する条件としてフィルターの重み付けの係数をも用いることができる。
【発明の効果】
【００１０】
この発明による映像処理装置によれば、静止画中を移動する物体の周辺に現れるモスキートノイズの除去に関し、モスキートノイズが静止画部分に発生している場合には、前フレームのデータを用いて置き換えるので、背景部分のノイズが効果的に除去されることにより、背景部分にレベル変動が発生せず、動いている物体の周辺もきれいに表示され、より自然な映像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明による映像処理装置についての実施の形態を説明する。図１はこの発明による映像処理装置の一実施例を示すブロック図であり、図２は画像処理を行う対象となる移動体と静止画部分を有する一例を示す図、図３は本発明による画像処理の一例を示す説明図である。
【００１２】
図１に示すこの発明による映像処理装置の一実施例であるブロック図によれば、Ｍ×Ｎのブロック単位で圧縮処理された信号を伸張処理された映像信号が、係数算出回路１に入力される。係数算出回路１は、映像の輪郭の判定などを行いフィルターの重み付け用の係数を算出する。フィルター回路２は、係数算出回路１で算出された係数についての情報を受けて、当該係数を元に各画素単位でフィルターの重み付けを行いノイズの除去を行う。フィルター回路２からの映像信号は動き判定回路３に送られ、動き判定回路３は、遅延回路５から出力される前フレームの同じ位置の画像と比較を行い、静止した部分か動いている物体かの判定を行って、動き情報を算出する。動き判定回路３からの動き情報は後処理回路４に送られる。後処理回路４は前フレームの画素かフィルタリングされた画素かを動き情報をもとに選択し、映像信号として出力する。また出力された映像信号は遅延回路５にも送られる。
【００１３】
次に、図２に示す映像画面１０のように、背景の静止している画像（静止部分）１１の上を矢印状の物体１２が左から右に移動している場合を例に採って、本発明による映像処理の一例を説明する。ここで矢印状の物体１２の輪郭の部分では、Ｍ×Ｎのブロック内にモスキートノイズが発生していると仮定する。図３は、矢印状の物体１２の一部（矢印頭部）を拡大したものである。物体１２の輪郭（図中では点線で表される）１３が存在しているブロック１４、１６，１７内（太線で囲んだブロック）にモスキートノイズが発生する。矢印状の物体１２は移動しているため、輪郭１３の位置が変化するにつれて、図３（ａ）から図３（ｃ）に示すように、モスキートノイズが発生するブロックも変化する。
【００１４】
図３（ｂ）から図３（ｃ）に変化したときには、右上のブロック１５に新たにモスキートノイズが発生する。また、左下のブロック１６は矢印状の物体１２のテクスチャに依存するが、当該テクスチャが均一だと仮定した場合には、モスキートノイズの発生は少なくなる。また、モスキートノイズが発生するブロック（例えば、１４、１７）が同じでも輪郭１３の位置は移動しているため、時間の経過にしたがってモスキートノイズの発生パターンが変化する。そのため、ある画素に注目すると、矢印状の物体１２以外の部分（背景部分）でも、輝度や色の変化が発生する。
【００１５】
このとき、図１のブロック図においては、係数算出回路１では輪郭１３の抽出を行い、輪郭部分の情報を保存できるようにブロック内の各画素に係数を算出し、その情報を用いてフィルター回路２で入力信号のフィルタリングを行うことによりモスキートノイズを効果的に除去することが可能となる。ここで、係数を算出する方法については、ある注目画素の周辺画素の値を用いて差分をとる方法や、画素値の分布を用いる方法や、輪郭情報から算出する方法等が考えられるが、本発明ではその種類は問わない。
【００１６】
フィルター回路２でのフィルタリングの結果、フィルター回路２の出力はモスキートノイズが効果的に除去され、また輪郭１３が保存されているが、ノイズが発生していない状態と比較すると、当然に、値に差が発生する。即ち、図３（ｂ）の右上のブロック１５の各画素の値と、図３（ｃ）でフィルタリング処理された後の各画素の値をそれぞれ比較すると、一致していない。また、時間方向に注目すると、輪郭１３の位置や、ノイズの発生パターンの違いから、フィルター出力間でも値に差が発生する。即ち、図の左上のブロック１４の矢印状の物体１２以外の画素に注目すると、図３（ａ）と図３（ｂ）では各画素の値とフィルター係数も異なるためのフィルタリングの結果が一致しない。
【００１７】
そのため、ある画像に注目すると、モスキートノイズが効果的に除去されているが、その画像を動画としてみると、背景部分のノイズが除去されていないように感じられる状況が発生する。
【００１８】
フィルタリングされた信号は動き判定回路３に送られ、動き判定回路３においては、遅延回路５からの前フレームのデータとフィルター回路２の出力データ間で画素単位の比較が行われ、動き情報を作成する。この動き情報から、後処理回路４は以下のようにデータの置き換え処理を実行する。
【００１９】
まず背景画像の部分は動きがないため、前フレームとの差は無いか、有ってもかなり小さい。モスキートノイズが発生していたとしても、時間軸方向での変化は見られない。その結果、フィルタリング出力をそのまま本映像処理装置の出力としても、時間軸方向での変化は感じられない。
【００２０】
一方、動き情報と予め設定された閾値とを比較して揺らぎがあると判断した場合、モスキートノイズが発生しているブロックの背景画像（動きのない部分）は、前フレームのデータと置き換えられる。動きが有る部分（この場合は矢印状の物体１２）と判断した場合は、フィルタリングした画像を出力する。このとき輪郭部分は動きのある部分に含まれる。後処理回路４の出力は、モスキートノイズが除去された映像として出力されると共に、遅延回路５に送られ、次のフレームの映像との比較に使用される。
【００２１】
図４は、この発明による映像処理装置の別の実施例であるブロック図である。図４に示す映像処理装置と図１に示す映像処理装置とを比較すると、係数算出回路の出力が動き判定回路３にも送られている点で異なっているのみであり、その他の点では共通している。図４に示す実施例では、動き判定回路３は、動きを判定する条件として、係数算出回路が算出したフィルターの重み付けの係数をも用いている。
【図面の簡単な説明】
【００２２】
【図１】本発明による映像処理装置の一実施例を示すブロック図である。
【図２】本発明が適用される映像の一例である。
【図３】本発明の作用を説明するための、図２の一部拡大図である。
【図４】本発明による映像処理装置の別の実施例を示すブロック図である。
【符号の説明】
【００２３】
１  係数算出回路                    ２  フィルター回路
３  動き判定回路                    ４  後処理回路
５  遅延回路
【図１】
2007312316.tif 000003
【図２】
2007312316.tif 000004
【図３】
2007312316.tif 000005
【図４】
2007312316.tif 000006