(57)【要約】【課題】ブロックノイズを検出し除去する。【解決手段】注目画素差分絶対値２２０を出力し、注目画素の上下の画素に段差がある可能性を示す出力値２１０ａ〜２１０ｅを出力する水平ブロック段差候補抽出部１０２と、出力値２１０ａ〜２１０ｅを加算して、注目画素の上下の相関性を考慮して、注目画素の段差のレベル値３１０を算出するレベル値算出部１０３と、映像入力信号について、注目画素における段差の有無の可能性を示す水平段差判定値４１０を出力する水平段差検出部１０４と、注目画素差分絶対値２２０と、水平段差判定値４１０と、レベル値３１０とに基づいて、隣接画素と注目画素との間で段差があると判断する場合、注目画素差分絶対値２２０を、段差判定値５１０として出力する段差判定部１０５と、注目画素における段差の有無と、ノイズの強さを示す水平ブロック段差除去レベル値６００を算出する水平ブロック段差除去レベル算出部１０６を備える。【選択図】      図１
2009088867.tif 000002
【特許請求の範囲】
【請求項１】
矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置において、
前記映像入力信号の注目画素の信号と、前記注目画素に１Ｔ（１画素のデータを処理するために要する時間）遅延した画素の信号との差分の絶対値である注目画素差分絶対値を出力するとともに、注目画素が位置するラインの画素の信号値に基づいて前記注目画素に段差がある可能性を示す出力値と、前記注目画素が位置するラインの上下のラインの画素の信号値に基づいて前記注目画素の上下の画素に段差がある可能性を示す出力値を出力する水平ブロック段差候補抽出部と、
前記注目画素の位置するラインと、その上下のラインの出力値を加算することにより、前記注目画素の上下の相関性を考慮して、前記注目画素の段差のレベル値を算出するレベル値算出部と、
前記映像入力信号について、水平ハイパスフィルタ処理及び垂直ローパスフィルタ処理をして、前記注目画素における段差の有無の可能性を示す水平段差判定値を出力する水平段差検出部と、
前記注目画素差分絶対値と、前記水平段差判定値と、前記レベル値とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、前記注目画素差分絶対値を、段差判定値として出力する段差判定部と、
前記レベル値と前記段差判定値に基づいて、前記注目画素における段差の有無と、段差がある場合のノイズの強さを示す水平ブロック段差除去レベル値を算出する水平ブロック段差除去レベル算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記水平ブロック段差除去レベル値に基づいて前記注目画素の信号をフィルタ処理し、水平ブロック除去出力信号を出力する水平ブロック除去処理部と、
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記映像入力信号と、前記映像入力信号に１フレーム遅延した映像入力信号とに基づいて、前記注目画素の動き情報を検出する動き検出部と、
前記動き情報に基づいて、水平ブロック段差除去レベル算出部から出力された水平ブロック段差除去レベル値の重み付けを制御して、水平ブロック除去補正信号を出力する重み付け制御部と、
を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置において、
前記映像入力信号の注目画素の信号と、前記注目画素の垂直方向に隣接する画素の信号との差分の絶対値である注目画素差分絶対値を出力するとともに、注目画素が位置する列の画素の信号値に基づいて前記注目画素に段差がある可能性を示す出力値と、前記注目画素が位置する列の左右の列の画素の信号値に基づいて前記注目画素の左右の画素に段差がある可能性を示す出力値を出力する垂直ブロック段差候補抽出部と、
前記注目画素の位置する列と、その左右の列の出力値を加算することにより、前記注目画素の左右の相関性を考慮して、前記注目画素の段差のレベル値を算出するレベル値算出部と、
前記映像入力信号について、水平ローパスフィルタ処理及び垂直ハイパスフィルタ処理をして、前記注目画素における段差の有無の可能性を示す垂直段差判定値を出力する垂直段差検出部と、
前記注目画素差分絶対値と、前記垂直段差判定値と、前記レベル値とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、前記注目画素差分絶対値を、段差判定値として出力する段差判定部と、
前記レベル値と前記段差判定値に基づいて、前記注目画素における段差の有無と、段差がある場合のノイズの強さを示す垂直ブロック段差除去レベル値を算出する垂直ブロック段差除去レベル算出部と、
を備えることを特徴とする画像処理装置。
【請求項５】
前記垂直ブロック段差除去レベル値に基づいて前記注目画素の信号をフィルタ処理し、垂直ブロック除去出力信号を出力する垂直ブロック除去処理部と、
を更に備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記映像入力信号と、前記映像入力信号に１フレーム遅延した映像入力信号とに基づいて、前記注目画素の動き情報を検出する動き検出部と、
前記動き情報に基づいて、垂直ブロック段差除去レベル算出部から出力された垂直ブロック段差除去レベル値の重み付けを制御して、垂直ブロック除去補正信号を出力する重み付け制御部と、
を更に備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置において、
前記映像入力信号の注目画素の信号と、前記注目画素の垂直方向に隣接する画素の信号との差分の絶対値である注目画素差分絶対値を出力するとともに、注目画素が位置する列の画素の信号値に基づいて前記注目画素に段差がある可能性を示す出力値と、前記注目画素が位置する列の左右の列の画素の信号値に基づいて前記注目画素の左右の画素に段差がある可能性を示す出力値を出力する垂直ブロック段差候補抽出部と、
前記注目画素の位置する列と、その左右の列の出力値を加算することにより、前記注目画素の左右の相関性を考慮して、前記注目画素の段差のレベル値を算出するレベル値算出部と、
前記映像入力信号について、水平ローパスフィルタ処理及び垂直ハイパスフィルタ処理をして、前記注目画素における段差の有無の可能性を示す垂直段差判定値を出力する垂直段差検出部と、
前記注目画素差分絶対値と、前記垂直段差判定値と、前記レベル値とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、前記注目画素差分絶対値を、段差判定値として出力する段差判定部と、
前記レベル値と前記段差判定値に基づいて、前記注目画素における段差の有無と、段差がある場合のノイズの強さを示す垂直ブロック段差除去レベル値を算出する垂直ブロック段差除去レベル算出部と、
前記垂直ブロック段差除去レベル値に基づいて前記注目画素の信号をフィルタ処理し、垂直ブロック除去出力信号を出力する垂直ブロック除去処理部と、
前記垂直ブロック除去出力信号の信号と、前記注目画素に１Ｔ遅延した画素の信号との差分の絶対値である注目画素差分絶対値を出力するとともに、注目画素が位置するラインの画素の信号値に基づいて前記注目画素に段差がある可能性を示す出力値と、前記注目画素が位置するラインの上下のラインの画素の信号値に基づいて前記注目画素の上下の画素に段差がある可能性を示す出力値を出力する水平ブロック段差候補抽出部と、
前記注目画素の位置するラインと、その上下のラインの出力値を加算することにより、前記注目画素の上下の相関性を考慮して、前記注目画素の段差のレベル値を算出するレベル値算出部と、
前記映像入力信号について、水平ハイパスフィルタ処理及び垂直ローパスフィルタ処理をして、前記注目画素における段差の有無の可能性を示す水平段差判定値を出力する水平段差検出部と、
前記注目画素差分絶対値と、前記水平段差判定値と、前記レベル値とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、前記注目画素差分絶対値を、段差判定値として出力する段差判定部と、
前記レベル値と前記段差判定値に基づいて、前記注目画素における段差の有無と、段差がある場合のノイズの強さを示す水平ブロック段差除去レベル値を算出する水平ブロック段差除去レベル算出部と、
前記水平ブロック段差除去レベル値に基づいて前記注目画素の信号をフィルタ処理し、水平ブロック除去出力信号を出力する水平ブロック除去処理部と、
前記映像入力信号と、前記映像入力信号に１フレーム遅延した映像入力信号とに基づいて、前記注目画素の動き情報を検出する動き検出部と、
前記動き情報に基づいて、水平ブロック段差除去レベル算出部から出力された水平ブロック段差除去レベル値の重み付けを制御して、水平ブロック除去補正信号を出力する重み付け制御部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置に関する。
【背景技術】
【０００２】
近年の情報機器及び通信システム等の発達に伴い、ハイビジョンのデジタル放送による高精細映像化している。また、多チャンネル化に伴い、大容量のデータ伝送が行われるようになった。また、ＤＶＤレコーダやＨＤＤレコーダの普及により、大容量のデータが、ＤＶＤやハードディスクなどのメディアに記録されている。
【０００３】
このような技術の発達に伴い、伝送するデータ量を減らすため、信号圧縮技術が用いられている。信号圧縮技術の一つとして、映像信号をデジタル圧縮する際に、水平垂直方向に隣接する複数の画素を一つの矩形ブロックとして定義づけ、このブロック単位で圧縮符号化を行う方法が知られている。この矩形ブロックの大きさは、データの種類や通信速度等に応じて任意に定められるが、例えば、静止画を圧縮する場合は、８画素×８画素の大きさを持ち、動画像を圧縮する場合は、１６画素×１６画素の大きさを持つ。このような圧縮符号化技術により圧縮符号化処理された映像信号は、記録媒体或いは伝送路等で伝送された後、矩形ブロック単位で復号化処理が行われ、元の映像信号に復元される。
【０００４】
このような圧縮符号化及び復号化方式において、ブロックの圧縮時における圧縮比率を大きくすることにより、記録媒体或いは伝送路における映像信号の情報量を小さく抑えることができる一方、ブロック間で階調差が生じてしまう問題がある。この階調差によるノイズは、一般的にブロックノイズと呼ばれる。
【０００５】
このようなブロックノイズを回避するために、ブロックノイズの境界を検出し、除去する方法が提案されている。例えば、画像復号化装置において、ブロックノイズの発生原因となる隣接ブロック間の直流成分の差や、量子化スケールなどの符号化情報と用いて、ブロックノイズを検出し除去する方法がある（例えば、特許文献１の段落番号［００３２］等参照）。
【０００６】
また、ブロックの境界の位置情報が得られない場合であっても、画素の輝度を比較して輝度レベルに段差がある位置をブロックノイズ候補点位置情報として取得し、複数のブロックノイズ候補点位置情報を参照して、ブロックノイズ位置を判定する映像信号処理装置がある（例えば、特許文献２参照）。特許文献２に記載の方法において、水平ブロックノイズ候補点履歴情報に基づく所定の２点間の間隔の大きさ及びその出現頻度を調べ、ＤＣＴ変換の単位となるマクロブロックの一辺長に最も近くかつ最も頻度の多い所定の間隔を水平ブロック間隔情報として出力し、画面の有効表示領域の先端から水平ブロック間隔情報により示される間隔を順次加算して得られる位置情報も参照して、水平ブロックノイズ位置情報を判定する方法がある（特に、特許文献２の請求項２等参照）。
【０００７】
また、ブロック境界の周期性をＨＰＦ処理後の信号の累積処理により検出し、ブロック境界を除去する方法がある（例えば、特許文献３参照。）特許文献３に記載の方法において、ＨＰＦ処理した信号を絶対値化して所定時間、累積加算し、累積加算結果に基づいて、ブロックノイズの周期性を検知して、ブロック境界を判定する（特に、特許文献３の請求項２等参照）。
【特許文献１】特開２００１−２０４０２９号公報
【特許文献２】特開２００２−２０４４５７号公報
【特許文献３】特開２０００−５０２７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１に記載の技術においては、予めブロックの境界位置が把握されている場合には有効であるが、ブロックの境界位置が把握できない場合は、そのブロックの境界信号をなめらかにすることはできない。従って、例えば、テレビにおいて、外部入力からブロックノイズのある映像信号が入力されても、テレビはブロックノイズの境界位置を把握できない。
【０００９】
また、特許文献２に記載の技術においては、ノイズ候補点の履歴情報に基づいてブロックの境界位置を算出しているので、ブロックの境界間隔が不均一な映像信号に対しては、適応することができない。例えば、外部機器などによりスケーリングされたブロックノイズを含む映像信号が、テレビの外部入力により入力された場合、ブロック境界間隔が付記に津になってしまう。従って、このような場合、特許文献２に記載の技術を用いてブロックの境界位置を把握することができない。
【００１０】
また、特許文献３に記載の技術においては、信号の累積加算結果を用いているので、映像全体にブロックノイズが発生している場合には検出可能であるが、映像の一部分に発生している場合には、検出精度が落ちてしまう問題がある。
【００１１】
そこで本発明は、ブロックの境界位置情報を取得しなくてもブロックノイズを検出し、映像を劣化させることなくブロックノイズを除去することにより、高精度の映像信号を提供することのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の特徴は、矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置（１）において、映像入力信号（１００）の注目画素の信号と、注目画素に１Ｔ（１画素のデータを処理するために要する時間）遅延した画素の信号との差分の絶対値である注目画素差分絶対値（２２０）を出力するとともに、注目画素が位置するラインの画素の信号値に基づいて注目画素に段差がある可能性を示す出力値（２１０ｃ）と、注目画素が位置するラインの上下のラインの画素の信号値に基づいて注目画素の上下の画素に段差がある可能性を示す出力値（２１０ａ、２１０ｂ、２１０ｄ、２１０ｅ）を出力する水平ブロック段差候補抽出部（１０２）と、注目画素の位置するラインと、その上下のラインの出力値（２１０ａ〜２１０ｅ）を加算することにより、注目画素の上下の相関性を考慮して、注目画素の段差のレベル値（３１０）を算出するレベル値算出部（１０３）と、映像入力信号について、水平ハイパスフィルタ処理及び垂直ローパスフィルタ処理をして、注目画素における段差の有無の可能性を示す水平段差判定値（４１０）を出力する水平段差検出部（１０４）と、注目画素差分絶対値（２２０）と、水平段差判定値（４１０）と、レベル値（３１０）とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値（２２０）を、段差判定値（５１０）として出力する段差判定部（１０５）と、レベル値（３１０）と段差判定値（５１０）に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す水平ブロック段差除去レベル値（６００）を算出する水平ブロック段差除去レベル算出部（１０６）と、を備える。
【００１３】
ここで、水平ブロック段差除去レベル値（６００）に基づいて注目画素の信号をフィルタ処理し、水平ブロック除去出力信号（７１０）を出力する水平ブロック除去処理部（１０７）と、を更に備えても良い。
【００１４】
更に、映像入力信号（１００）と、映像入力信号（１００）に１フレーム遅延した映像入力信号（１０１）とに基づいて、注目画素の動き情報（９００）を検出する動き検出部（１０８）と、動き情報（９００）に基づいて、水平ブロック段差除去レベル算出部（１０６）から出力された水平ブロック段差除去レベル値（６００）の重み付けを制御して、水平ブロック除去補正信号（８１０）を出力する重み付け制御部（１０９）と、を更に備えても良い。
【００１５】
本発明の第２の特徴は、矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置（１ｃ）において、映像入力信号の注目画素の信号と、注目画素の垂直方向に隣接する画素の信号との差分の絶対値である注目画素差分絶対値（１２２０）を出力するとともに、注目画素が位置する列の画素の信号値に基づいて注目画素に段差がある可能性を示す出力値（１２１０ｃ）と、注目画素が位置する列の左右の列の画素の信号値に基づいて注目画素の左右の画素に段差がある可能性を示す出力値（１２１０ａ〜１２１０ｇ）を出力する垂直ブロック段差候補抽出部（１００２）と、注目画素の位置する列と、その左右の列の出力値（１２１０ａ〜１２１０ｇ）を加算することにより、注目画素の左右の相関性を考慮して、注目画素の段差のレベル値（１３１０）を算出するレベル値算出部（１００３）と、映像入力信号について、水平ローパスフィルタ処理及び垂直ハイパスフィルタ処理をして、注目画素における段差の有無の可能性を示す垂直段差判定値（１４１０）を出力する垂直段差検出部（１００４）と、注目画素差分絶対値（１２２０）と、垂直段差判定値（１４１０）と、レベル値（１３１０）とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値（１２２０）を、段差判定値（１５１０）として出力する段差判定部（１００５）と、レベル値（１３１０）と段差判定値（１５１０）に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す垂直ブロック段差除去レベル値（１６００）を算出する垂直ブロック段差除去レベル算出部（１００６）と、を備える。
【００１６】
ここで、垂直ブロック段差除去レベル値（１６００）に基づいて注目画素の信号をフィルタ処理し、垂直ブロック除去出力信号（１７１０）を出力する垂直ブロック除去処理部（１００７）と、を更に備えても良い。
【００１７】
更に、映像入力信号（１００）と、映像入力信号（１００）に１フレーム遅延した映像入力信号（１０１）とに基づいて、注目画素の動き情報（９００）を検出する動き検出部（１０８）と、動き情報（９００）に基づいて、垂直ブロック段差除去レベル算出部（１００６）から出力された垂直ブロック段差除去レベル値（１６００）の重み付けを制御して、垂直ブロック除去補正信号（１８１０）を出力する重み付け制御部（１００９）と、を更に備えても良い。
【００１８】
本発明の第３の特徴は、矩形ブロック単位で符号圧縮化された映像信号を、矩形ブロック単位で復号化して得られる映像入力信号について、注目画素におけるブロック境界を検出するとともに、ブロック境界におけるブロックノイズを除去するためのブロック段差除去レベルを出力する画像処理装置（１ｆ）において、映像入力信号の注目画素の信号と、注目画素の垂直方向に隣接する画素の信号との差分の絶対値である注目画素差分絶対値（１２２０）を出力するとともに、注目画素が位置する列の画素の信号値に基づいて注目画素に段差がある可能性を示す出力値（１２１０ｃ）と、注目画素が位置する列の左右の列の画素の信号値に基づいて注目画素の左右の画素に段差がある可能性を示す出力値（１２１０ａ〜１２１０ｇ）を出力する垂直ブロック段差候補抽出部（１００２）と、注目画素の位置する列と、その左右の列の出力値（１２１０ａ〜１２１０ｅ・・・）を加算することにより、注目画素の左右の相関性を考慮して、注目画素の段差のレベル値（１３１０）を算出するレベル値算出部（１００３）と、映像入力信号について、水平ローパスフィルタ処理及び垂直ハイパスフィルタ処理をして、注目画素における段差の有無の可能性を示す垂直段差判定値（１４１０）を出力する垂直段差検出部（１００４）と、注目画素差分絶対値（１２２０）と、垂直段差判定値（１４１０）と、レベル値（１３１０）とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値（１２２０）を、段差判定値（１５１０）として出力する段差判定部（１００５）と、レベル値（１３１０）と段差判定値（１５１０）に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す垂直ブロック段差除去レベル値（１６００）を算出する垂直ブロック段差除去レベル算出部（１００６）と、垂直ブロック段差除去レベル値（１６００）に基づいて注目画素の信号をフィルタ処理し、垂直ブロック除去出力信号（１７１０）を出力する垂直ブロック除去処理部（１００７）と、垂直ブロック除去出力信号（１７１０）の信号と、注目画素に１Ｔ遅延した画素の信号との差分の絶対値である注目画素差分絶対値（２２０）を出力するとともに、注目画素が位置するラインの画素の信号値に基づいて注目画素に段差がある可能性を示す出力値（２１０ｃ）と、注目画素が位置するラインの上下のラインの画素の信号値に基づいて注目画素の上下の画素に段差がある可能性を示す出力値（２１０ａ、２１０ｂ、２１０ｄ、２１０ｅ）を出力する水平ブロック段差候補抽出部（１０２）と、注目画素の位置するラインと、その上下のラインの出力値（２１０ａ〜２１０ｅ）を加算することにより、注目画素の上下の相関性を考慮して、注目画素の段差のレベル値（３１０）を算出するレベル値算出部（１０３）と、映像入力信号について、水平ハイパスフィルタ処理及び垂直ローパスフィルタ処理をして、注目画素における段差の有無の可能性を示す水平段差判定値（４１０）を出力する水平段差検出部（１０４）と、注目画素差分絶対値（２２０）と、水平段差判定値（４１０）と、レベル値（３１０）とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値（２２０）を、段差判定値（５１０）として出力する段差判定部（１０５）と、レベル値（３１０）と段差判定値（５１０）に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す水平ブロック段差除去レベル値（６００）を算出する水平ブロック段差除去レベル算出部（１０６）と、水平ブロック段差除去レベル値（６００）に基づいて注目画素の信号をフィルタ処理し、水平ブロック除去出力信号（７１０）を出力する水平ブロック除去処理部（１０７）と、映像入力信号（１００）と、映像入力信号（１００）に１フレーム遅延した映像入力信号（１０１）とに基づいて、注目画素の動き情報（９００）を検出する動き検出部（１０８）と、動き情報（９００）に基づいて、水平ブロック段差除去レベル算出部（１０６）から出力された水平ブロック段差除去レベル値（６００）の重み付けを制御して、水平ブロック除去補正信号（８１０）を出力する重み付け制御部（１０９）と、を備える。
【発明の効果】
【００１９】
本発明によれば、注目画素以外の画素における段差の相関性に基づいて段差を検出することによりブロックの境界位置情報を取得しなくてもブロックノイズを検出し、映像を劣化させることなくブロックノイズを除去することにより、高精度の映像信号を提供することのできる画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２０】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【００２１】
（実施の形態１）
図１を参照して、本発明の実施の形態１に係る画像処理装置１を説明する。本発明の実施の形態１に係る画像処理装置１は、映像入力信号１００について、水平ブロック段差がある位置を抽出し、そのブロック段差を除去する際の指標となる水平ブロック段差除去レベル値６００を出力する。
【００２２】
図１に示すように、画像処理装置１は、水平ブロック段差候補抽出部１０２と、レベル値算出部１０３と、水平段差検出部１０４と、段差判定部１０５と、水平ブロック段差除去レベル算出部１０６を備える。
【００２３】
以下、各部を詳述する。
【００２４】
（水平ブロック段差候補抽出部）
水平ブロック段差候補抽出部１０２は、後に詳述するように、映像入力信号１００の注目画素の信号と、注目画素に１Ｔ遅延した画素の信号との差分の絶対値である注目画素差分絶対値２２０を出力するとともに、注目画素が位置するラインの画素の信号値に基づいて注目画素に段差がある可能性を示す出力値２１０ｃと、注目画素が位置するラインの上下のラインの画素の信号値に基づいて注目画素の上下の画素に段差がある可能性を示す出力値２１０ａ、２１０ｂ、２１０ｄ、２１０ｅを出力する。ここで１Ｔとは、１画素のデータを処理するために要する時間である。
【００２５】
水平ブロック段差候補抽出部１０２は、映像入力信号１００から、水平ブロックの段差がある画素の候補を出力する。水平ブロック段差候補抽出部１０２は、画像におけるブロックの境界において、水平方向に隣接するブロックとの境界段差が、垂直方向で相関がある特徴を利用している。具体的には、水平方向に隣接する画素の信号値の差分を参照してブロックノイズによる段差がある場合、その画素の上下のラインにおいても、水平方向に隣接する画素の信号値の差分を参照すると、同じ画素の位置においてブロックノイズによる段差がある。これにより、水平ブロック段差候補抽出部１０２は、注目画素の水平方向の段差を判定する際に、注目画素の水平方向に隣接する画素の信号値に差分があることを判定するとともに、注目画素の上下のラインにおいても、注目画素の上下に隣接する画素の信号値においても段差があるか否かを判定している。水平ブロック段差候補抽出部１０２は、注目画素の上下のラインの判定結果を考慮して、注目画素における段差の有無を判断している。水平ブロック段差候補抽出部１０２は、注目画素のラインと、注目画素の少なくとも上下１ラインずつを参照すればよく、精度に応じて任意のライン数を参照すればよい。
【００２６】
図２を参照して、水平ブロック段差候補抽出部１０２を詳述する。図２の例においては、注目画素について処理する際に、注目画素のラインと、注目画素のラインの上下２ラインの合計５ラインを参照している。
【００２７】
水平ブロック段差候補抽出部１０２には、映像入力信号１００が入力される。水平ブロック段差候補抽出部１０２は、映像入力信号１００から、第１乃至第５の出力値２１０ａ乃至２１０ｅとともに、注目画素差分絶対値２２０を出力する。注目画素差分絶対値２２０は、注目画素の信号値と、注目画素に１Ｔ遅延した画素の信号値との差分の絶対値である。第３の出力値２１０ｃは、注目画素のラインの画素の信号値に基づいて算出された出力値である。第３の出力値２１０ｃが「１」であれば、注目画素に段差がある可能性を示し、「０」であれば、注目画素に段差がない可能性を示す。
【００２８】
同様に、第２の出力値２１０ｂは、注目画素のラインの一段下のラインの画素の信号値に基づいて算出された出力値である。第４の出力値２１０ｄは、注目画素のラインの一段上のラインの画素の信号値に基づいて算出された出力値である。第１の出力値２１０ａは、注目画素のラインの二段下のラインの画素の信号値に基づいて算出された出力値である。第５の出力値２１０ｅは、注目画素のラインの二段上のラインの画素の信号値に基づいて算出された出力値である。
【００２９】
図２において、映像入力信号１００は、遅延処理部２０２ａと差分処理部２０２ｆに入力される。更に映像入力信号１００は、垂直方向遅延処理部２０１ａ乃至２０１ｄによって、１ラインずつ垂直方向に遅延した映像信号が、遅延処理部２０２ｂ、２０２ｃ、２０２ｄ、２０２ｅと、差分処理部２０２ｇ、２０２ｈ、２０２ｉ、２０２ｊに入力される。遅延処理部２０２ａ乃至２０２ｅに入力された映像信号と、差分処理部２０２ｆ乃至２０２ｊに入力された映像信号は、同様の処理が施され、それぞれ、第１乃至第５の出力値２１０ａ乃至２１０ｅを出力する。
【００３０】
ここで、注目画素のラインの処理について説明する。垂直方向遅延処理部２０１ｂから入力された注目画素の映像信号は、差分処理部２０２ｈによって、遅延処理部２０２ｃによって１Ｔ遅延された信号との差分値が算出される。更にこの差分値から、絶対値処理部２０３ｃによって、差分値の絶対値が算出される。ここで１Ｔとは、１画素のデータを処理するために要する時間である。注目画素のラインにおいてのみ、この差分値の絶対値が、注目画素差分絶対値２２０として出力される。絶対値処理部２０３ｃによって算出された差分値の絶対値は、上限処理部２０４ｃによって、上限処理され、上限処理値が出力される。具体的には、上限処理部２０４ｃは、所定の閾値と、差分値の絶対値を比較し、閾値より差分値の絶対値が大きい場合は、上限処理値として閾値を出力するとともに、閾値より差分値の絶対値が小さい場合は、上限処理値として差分値の絶対値を出力する。
【００３１】
上限処理値は、遅延処理部２０５ｃによって、数画素のデータを処理するために要する時間（数Ｔ）を遅延される。遅延処理部２０５ｃは、例えば、上限処理値を最大１４Ｔ遅延させることができる。この遅延時間１４Ｔは、最小ブロック単位に応じて、任意に設定されることが好ましい。具体的には、最小ブロック単位が８画素である場合、注目画素を含む水平方向の１５画素に、ブロックノイズによる段差は１箇所あると考えられるため、上限処理値を最大１４Ｔ遅延させることにより、比較処理部２０６ｃにおいて、水平方向の１５画素を参照させることができる。従って、上限処理値の遅延時間は、例えば（最小ブロック単位−１）×２＋１で定められることが好ましい。
【００３２】
上限処理値は、遅延処理部２０５ｃを介して、比較処理部２０６ｃに入力される。比較処理部２０６ｃにおいては、注目画素の上限処理値と、最大１４Ｔ遅延された上限処理値とを比較する。比較処理部２０６ｃは、比較対象となる上限処理値のうち、注目画素の上限処理値が一番大きいときに、「１」を出力し、それ以外のときは「０」を出力する。具体的には、比較処理部２０６ｃは、注目画素における上限処理値が一番大きい場合に「１」を出力することにより、注目画素に段差がある可能性を示している。
【００３３】
周辺差分上限処理部２０７ｃは、注目画素における上限処理値と、注目画素の前後数Ｔ遅延した上限処理値の差分値を算出する。更に周辺差分上限処理部２０７ｃは、所定の閾値と、差分値を比較し、閾値より差分値が大きい場合は、上限処理値として閾値を出力するとともに、閾値より差分値が小さい場合は、上限処理値として差分値の絶対値を出力する。周辺差分上限処理部２０７ｃは、ライン方向における画素の差分値の差分を算出して、差分値の変化の大きい場合に「１」を出力することにより、注目画素に段差がある可能性を示している。
【００３４】
論理和処理部２０８ｃは、比較処理部２０６ｃと周辺差分上限処理部２０７ｃの出力が、ともに「１」である場合、第３の出力値２１０ｃとして「１」を出力する。それ以外の場合、論理和処理部２０８ｃは、第３の出力値２１０ｃとして「０」を出力する。
【００３５】
水平ブロック段差候補抽出部１０２は、注目画素の位置するラインの上側２ラインと下２側ラインについても、注目画素のラインと同様に処理して、第１の出力値２１０ｂ、第２の出力値２１０ｂ、第４の出力値２１０ｄ及び第５の出力値２１０ｅが出力される。
【００３６】
（レベル値算出部）
レベル値算出部１０３は、注目画素の位置するラインと、その上下のラインの出力値２１０ａ〜２１０ｅを加算することにより、注目画素の上下の相関性を考慮して、注目画素の段差のレベル値３１０を算出する。
【００３７】
レベル値算出部１０３には、水平ブロック段差候補抽出部１０２から、第１乃至第５の出力値２１０ａ乃至２１０ｅが入力される。各出力値は、注目画素と、注目画素の上下のラインの画素において、左右方向に段差があるか否かを示す指標値である。レベル値算出部１０３は、第１乃至第５の出力値２１０ａ乃至２１０ｅから、注目画素における段差の可能性を示すレベル値を出力する。ここで出力するレベル値は、注目画素におけるブロック段差を除去する程度を示すレベルとして用いられる。本実施例の場合、レベル値が小さいほど、注目画素におけるブロック段差を除去するためのフィルタ処理を要することを示す。
【００３８】
図３を参照して、レベル値算出部１０３によるレベル値算出処理を説明する。
【００３９】
レベル値算出部１０３は、まずステップＳ３０１において、水平ブロック段差候補抽出部１０２より出力された出力値を加算する。図２に示す例のように、注目画素のラインと、注目画素の位置するラインの上下それぞれ２ラインについて出力値を算出した場合は、第１乃至第５の出力値２１０ａ乃至２１０ｅが入力される。各出力値は、「０」又は「１」であるので、ステップＳ３０１で算出される加算値は、「０」から「５」の値を取る。
【００４０】
次に、ステップＳ３０２において、ステップＳ３０１で算出された加算値に基づいて、レベル値を算出する。加算値が０の場合、ステップＳ３０３において、レベル値「３」を出力する。加算値が「１」の場合、ステップＳ３０４において、レベル値「２」を出力する。加算値が「３」又は「２」の場合、ステップＳ３０５において、レベル値「１」を出力する。加算値が「５」又は「４」の場合、ステップＳ３０５において、レベル値「０」を出力する。
【００４１】
（水平段差検出部）
水平段差検出部１０４は、映像入力信号について、水平ハイパスフィルタ処理及び垂直ローパスフィルタ処理をして、注目画素における段差の有無の可能性を示す水平段差判定値４１０を出力する。
【００４２】
水平段差検出部１０４は、映像入力信号１００から、画素ごとに水平段差があるか否かを示す水平段差判定値４１０を出力する。
【００４３】
図４を参照して、水平段差検出部１０４を詳述する。図４の例においては、注目画素について処理する際に、注目画素の位置するラインと、注目画素の位置するラインの上側と下側のそれぞれ２ラインの合計５ラインを参照している。
【００４４】
水平段差検出部１０４には、映像信号１００が入力される。水平段差検出部１０４は、水平段差判定値４１０を出力する。
【００４５】
図４において、映像入力信号１００は、水平ハイパスフィルタ処理部４０２ａに入力され、水平ハイパスフィルタ処理されるとともに、垂直方向遅延処理部４０１ａ乃至４０１ｄによって、１ラインずつ垂直方向に遅延した映像信号が、水平ハイパスフィルタ処理部４０２ｂ、４０２ｃ、４０２ｄ、４０２ｅに入力され、水平ハイパスフィルタ処理される。水平ハイパスフィルタ処理部４０２ａ乃至４０２ｅは、水平５タップの水平ハイパスフィルタである。
【００４６】
水平ハイパスフィルタ処理部４０１ａ乃至４０１ｅから出力された信号は、垂直５タップの垂直ローパスフィルタ処理部４０３に入力され、垂直ローパスフィルタ処理される。
【００４７】
垂直ローパスフィルタ処理部４０３から出力された信号は、２つの閾値による判定部４０４に入力される。判定部４０４は、２つの閾値を有している。判定部４０４は、垂直ローパスフィルタ処理部４０３から出力された信号が、この２つの閾値の間にある場合「１」を出力し、２つの閾値の間にない場合「０」を出力する。
【００４８】
（段差判定部）
段差判定部１０５は、注目画素差分絶対値２２０と、水平段差判定値４１０と、レベル値３１０とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値２２０を、段差判定値５１０として出力する。
【００４９】
段差判定部１０５には、水平ブロック段差候補抽出部１０２から出力された注目画素差分絶対値２２０と、水平段差検出部１０４から出力された水平段差判定値４１０と、レベル値算出部１０３から出力されたレベル値３１０が入力される。段差判定部１０５は、注目画素差分絶対値２２０と、水平段差判定値４１０と、レベル値３１０とから、段差判定値５１０を出力する。
【００５０】
図５及び図６を参照して、段差判定部１０５を詳述する。
【００５１】
注目画素差分絶対値２２０が、２つの閾値による比較部５０１に入力される。比較部５０１は、２つの閾値を有している。比較部５０１は、注目画素差分絶対値２２０が、この２つの閾値の間にある場合「１」を出力し、２つの閾値の間にない場合「０」を出力する。
【００５２】
比較部５０１からの出力と、水平段差検出部１０４から出力された水平段差判定値４１０と、レベル値算出部１０３から出力されたレベル値３１０が、隣接段差検出部５０２に入力される。隣接段差検出部５０２は、注目画素を中心に、水平方向の左右６４画素において、水平隣接画素の段差の有無を検出する。例えば、隣接段差検出部５０２は、注目画素を中心に、水平方向の左右６４画素に、レベル値３１０が「３」以外で、水平段差判定値４１０が「１」で、比較部５０１の出力が「１」の画素がある場合、左右６４画素において段差があると考えられる。隣接段差検出部５０２は、ブロックノイズを有するブロックが集合して発生する特性に基づいて、ブロックノイズによる境界を検出している。具体的には、隣接段差検出部５０２は、最小ブロック単位を８画素と考えた場合、８ブロック連続、即ち６４画素で、ブロックノイズによる境界がない場合、注目画素における段差はブロックノイズ境界ではないと認識する。従って、隣接段差検出部５０２は、この場合、「１」を出力する。それ以外の場合、隣接段差検出部５０２は、左右６４画素において段差がある可能性が少ないと判定して、「０」を出力する。
【００５３】
注目画素差分絶対値２２０、比較部５０１からの出力値、隣接段差検出部５０２からの出力値及び水平段差判定値４１０が、段差判定部５０３に入力される。段差判定部５０３は、比較部５０１の出力値が「１」、水平段差判定値４１０の出力値が「１」かつ隣接段差検出部５０２の出力値が「１」の場合、注目画素に段差がある可能性が高いと考えられる。従って、段差判定部５０３は、この場合、この注目画素の段差判定値５１０として、注目画素差分絶対値２２０を出力する。それ以外の場合、段差判定部５０２は、段差判定値５１０として「０」を出力する。
【００５４】
（水平ブロック段差除去レベル算出部）
水平ブロック段差除去レベル算出部１０６は、レベル値３１０と段差判定値５１０に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す水平ブロック段差除去レベル値６００を算出する。
【００５５】
水平ブロック段差除去レベル算出部１０６には、レベル値算出部１０３から出力されたレベル値３１０と、段差判定部１０５から出力された段差判定値５１０とが入力される。水平ブロック段差除去レベル算出部１０６は、水平ブロック段差除去レベル値６００を出力する。
【００５６】
水平ブロック段差除去レベル算出部１０６は、図７に示すように、段差判定値５１０が「０」の場合、水平ブロック段差除去レベル値６００として「３」を出力する。
【００５７】
また、水平ブロック段差除去レベル算出部１０６は、段差判定値５１０が「０」以外で、レベル値３１０が「２」の場合、水平ブロック段差除去レベル値６００として「２」を出力する。水平ブロック段差除去レベル算出部１０６は、段差判定値５１０が「０」以外で、レベル値３１０が「１」の場合、水平ブロック段差除去レベル値６００として「１」を出力する。水平ブロック段差除去レベル算出部１０６は、段差判定値５１０が「０」以外で、レベル値３１０が「０」の場合、水平ブロック段差除去レベル値６００として「０」を出力する。
【００５８】
これにより、水平ブロック段差除去レベル値６００が「３」のとき、水平ブロック段差除去レベル算出部１０６は、水平ブロック境界が存在しないと判定する。水平ブロック段差除去レベル値６００が「２」のとき、水平ブロック段差除去レベル算出部１０６は、水平ブロックのブロックノイズのレベルが小であると判定する。水平ブロック段差除去レベル値６００が「１」のとき、水平ブロック段差除去レベル算出部１０６は、水平ブロックのブロックノイズのレベルが中であると判定する。水平ブロック段差除去レベル値６００が「０」のとき、水平ブロック段差除去レベル算出部１０６は、水平ブロックのブロックノイズのレベルが大であると判定する。
【００５９】
このように、本発明の実施の形態１に係る画像処理装置１によれば、ブロックノイズによる水平ブロックの境界の有無と、水平ブロックのブロックノイズのレベルを出力することができる。
【００６０】
（実施の形態２）
図８を参照して、本発明の実施の形態２に係る画像処理装置１ａを説明する。本発明の実施の形態２に係る画像処理装置１ａは、図１に示す本発明の実施の形態１に係る画像処理装置１と比べて、水平ブロック除去処理部１０７を備えている点が異なる。
【００６１】
（水平ブロック除去処理部）
水平ブロック除去処理部１０７は、水平ブロック段差除去レベル値６００に基づいて注目画素の信号をフィルタ処理し、水平ブロック除去出力信号７１０を出力する。
【００６２】
水平ブロック除去処理部１０７は、映像入力信号１００と、水平ブロック段差除去レベル算出部１０６から出力された水平ブロック段差除去レベル値６００が入力される。水平ブロック除去処理部１０７は、注目画素の水平ブロック除去出力信号７１０を出力する。
【００６３】
図９を参照して、水平ブロック除去処理部１０７を説明する。
【００６４】
水平ブロック除去処理部１０７は、映像入力信号１００に強いフィルタ処理をかけるフィルタ処理部７０１と、映像入力信号１００に中くらいのフィルタ処理をかけるフィルタ処理部７０２と、映像入力信号１００に弱いフィルタ処理をかけるフィルタ処理部７０３を有している。フィルタ処理部７０１によって強くフィルタ処理された映像入力信号と、フィルタ処理部７０２によって中くらいにフィルタ処理された映像入力信号と、フィルタ処理部７０３によって弱くフィルタ処理された映像入力信号と、フィルタ処理されていない映像入力信号１００が、選択部７０４に入力される。
【００６５】
選択部７０４は、水平レベル段差除去レベル値６００の値に基づいて、選択部７０４に入力された４つの信号のうち、一つの信号を選択する。具体的には、水平ブロック段差除去レベル値６００が「３」の場合、選択部７０４は、映像入力信号１００を、水平ブロック除去出力信号７１０として出力する。水平ブロック段差除去レベル値６００が「２」の場合、選択部７０４は、フィルタ処理部７０３によって弱くフィルタ処理された映像入力信号を、水平ブロック除去出力信号７１０として出力する。水平ブロック段差除去レベル値６００が「１」の場合、選択部７０４は、フィルタ処理部７０２によって中くらいにフィルタ処理された映像入力信号を、水平ブロック除去出力信号７１０として出力する。水平ブロック段差除去レベル値６００が「０」の場合、選択部７０４は、フィルタ処理部７０１によって強くフィルタ処理された映像入力信号を、水平ブロック除去出力信号７１０として出力する。
【００６６】
（実施の形態３）
図１０を参照して、本発明の実施の形態３に係る画像処理装置１ｂを説明する。本発明の実施の形態３に係る画像処理装置１ｂは、図８に示す本発明の実施の形態２に係る画像処理装置１ａと比べて、動き検出部１０８及び重み付け制御部１０９を備えている点が異なる。実施の形態３に係る画像処理装置１ｂは、実施の形態２に係る画像処理装置１ａの出力である水平ブロック除去出力信号７１０を、映像フレームにおける動き情報を考慮して重み付けして、水平ブロック除去出力信号８１０を出力している。
【００６７】
（動き検出部）
動き検出部１０８は、映像入力信号１００と、映像入力信号１００に１フレーム遅延した映像入力信号１０１とに基づいて、注目画素の動き情報９００を検出する。
【００６８】
動き検出部１０８には、映像入力信号１００と、映像入力信号１００に１フレーム遅延した映像入力信号１０１が入力される。動き検出部１０８は、映像入力信号１００と、映像入力信号１００に１フレーム遅延した映像入力信号１０１とから、映像の動き情報を検出する。映像の動き情報を検出する方法は、例えば、映像入力信号１００と、映像入力信号１００に１フレーム遅延した映像入力信号１０１との画素ごとの差分値を算出し、差分値に基づいて、画素ごとの動き情報を検出する方法がある。
【００６９】
（重み付け制御部）
重み付け制御部１０９は、動き情報９００に基づいて、水平ブロック段差除去レベル算出部１０６から出力された水平ブロック段差除去レベル値６００の重み付けを制御して、水平ブロック除去補正信号８１０を出力する。
【００７０】
重み付け制御部１０９には、水平ブロック除去処理部１０７から出力された水平ブロック除去出力信号７１０、映像入力信号１００及び動き検出部１０８から出力された動き情報９００が入力される。重み付け制御部１０９は、水平ブロック除去補正信号８１０を出力する。
【００７１】
図１１を参照して、重み付け制御部１０９を説明する。
【００７２】
重み付け制御部１０９の差分処理部８０１は、水平ブロック除去出力信号７１０と映像入力信号１００の差分値が算出される。積算処理部８０２は、差分処理部８０１の出力値に、動き情報９００を積算する。積算された値は、除算処理部８０３により除算された後、加算処理部８０４により、映像入力信号１００に加算される。例えば、動き情報が０〜１６のレンジの場合、差分処理部８０３は、積算処理部８０２の出力を１６で除算する。
【００７３】
このように実施の形態３においては、動き情報９００の値に応じてブロックノイズを除去する程度を決定することができる。映像の動き量が多い場合に、ブロックノイズが発生しやすいので、実施の形態３においては、ブロックノイズを効果的に除去する処理をすることができる。
【００７４】
（実施の形態４）
本発明の実施の形態１においては、水平方向のブロックノイズを検出して除去する場合について説明したが、実施の形態４においては、垂直方向のブロックノイズを検出して除去する場合について説明する。実施の形態４に係る画像処理装置１ｃは、実施の形態１に係る画像処理装置１の水平方向の処理を、垂直方向に拡張したものである。
【００７５】
図１２を参照して、本発明の実施の形態２に係る画像処理装置１ｃを説明する。本発明の実施の形態２に係る画像処理装置１ｃは、映像入力信号１００について、垂直ブロック段差がある位置を抽出し、そのブロック段差を除去する際の指標となる垂直ブロック段差除去レベル値１６００を出力する。
【００７６】
図１２に示すように、画像処理装置１ｃは、垂直ブロック段差候補抽出部１００２と、レベル値算出部１００３と、垂直段差検出部１００４と、段差判定部１０５と、垂直ブロック段差除去レベル算出部１００６を備える。
【００７７】
以下、各部を詳述する。
【００７８】
（垂直ブロック段差候補抽出部）
垂直ブロック段差候補抽出部１００２は、映像入力信号の注目画素の信号と、注目画素の垂直方向に隣接する画素の信号との差分の絶対値である注目画素差分絶対値１２２０を出力するとともに、注目画素が位置する列の画素の信号値に基づいて注目画素に段差がある可能性を示す出力値１２１０ｃと、注目画素が位置する列の左右の列の画素の信号値に基づいて注目画素の左右の画素に段差がある可能性を示す出力値１２１０ａ〜１２１０ｇを出力する。
【００７９】
垂直ブロック段差候補抽出部１００２は、映像入力信号１００から、水平ブロックの段差がある画素の候補を出力する。垂直ブロック段差候補抽出部１００２は、画像におけるブロックの境界において、垂直方向に隣接するブロックとの境界段差が、水平方向で相関がある特徴を利用している。具体的には、垂直方向の画素の差分を参照して段差がある画素の左右の列においても、垂直方向の画素の差分を参照すると、同じ画素の位置において段差がある。これにより、垂直ブロック段差候補抽出部１００２は、注目画素の垂直方向の段差を判定する際に、注目画素の左右の列においても、注目画素の左右の画素においても段差があるか否かを判定している。垂直ブロック段差候補抽出部１００２は、注目画素の左右の列の判定結果を考慮して、注目画素における段差の有無を判断している。垂直ブロック段差候補抽出部１００２は、注目画素の列と、注目画素の列の少なくとも左右１列ずつを参照すればよく、精度に応じて任意の列数を参照すればよい。
【００８０】
図１３を参照して、水平ブロック段差候補抽出部１００２を詳述する。図１３の例においては、注目画素について処理する際に、注目画素の列と、注目画素の列の左右２列の合計５列を参照している。
【００８１】
垂直ブロック段差候補抽出部１００２には、映像入力信号１００が入力される。垂直ブロック段差候補抽出部１００２は、映像入力信号１００から、第１乃至第７の出力値１２１０ａ乃至１２１０ｇとともに、注目画素差分絶対値１２２０を出力する。注目画素差分絶対値１２２０は、注目画素の信号値と、注目画素に垂直方向に遅延した画素の信号値との差分の絶対値である。
【００８２】
第１乃至第７の出力値１２１０ａ乃至１２１０ｇは、注目画素に左右方向に位置する画素における出力値である。
【００８３】
図１３において、映像入力信号１００は、水平方向遅延処理部１２０１ａと、差分処理部１２０２ａに入力される。更に映像信号入力１００は、水平方向遅延処理部１２０１ａ乃至１２０１ｅによって、１列ずつ水平方向に遅延した映像信号との差分値が算出される。水平方向遅延処理部１２０１ａ乃至１２０１ｅによって、１列ずつ水平方向に遅延した映像信号は更に、差分処理部１２０２ｂ乃至１２０２ｅに入力される。
【００８４】
ここで、注目画素の列の処理について説明する。水平方向遅延処理部１２０１ｂから入力された注目画素の映像信号は、差分処理部１２０２ｃによって、水平方向遅延処理部１２０１ｃによって水平方向に１列遅延された信号との差分値が算出される。更にこの差分値から、絶対値処理部１２０３ｃによって、差分値の絶対値が算出される。注目画素の列においてのみ、この差分値の絶対値が、注目画素差分絶対値１２２０として出力される。絶対値処理部１２０３ｃによって算出された差分値の絶対値は、上限処理部１２０４ｃによって、上限処理され、上限処理値が出力される。具体的には、上限処理部１２０４ｃは、所定の閾値と、差分値の絶対値を比較し、閾値より差分値の絶対値が大きい場合は、上限処理値として閾値を出力するとともに、閾値より差分値の絶対値が小さい場合は、上限処理値として差分値の絶対値を出力する。出力された値は、比較処理部１２０５に入力されるとともに、差分上限処理部１２０６に入力される。注目画素の列の左右の列においても同様に出力された値も、比較処理部１２０５に入力されるとともに、差分上限処理部１２０６に入力される。
【００８５】
比較処理部１２０５は、比較対象となる上限処理値のうち、注目画素の上限処理値が一番大きいときに、「１」を出力し、それ以外のときは「０」を出力する。具体的には、比較処理部１２０５は、注目画素における上限処理値が一番大きい場合に「１」を出力することにより、注目画素に段差がある可能性を示している。
【００８６】
差分上限処理部１２０６は、注目画素における上限処理値と、注目画素の左右方向の列の上限処理値の差分値を算出する。更に差分上限処理部１２０６は、所定の閾値と、差分値を比較し、閾値より差分値が大きい場合は、上限処理値として閾値を出力するとともに、閾値より差分値が小さい場合は、上限処理値として差分値の絶対値を出力する。差分上限処理部１２０６は、列方向における画素の差分値の差分を算出して、差分値の変化の大きい場合に「１」を出力することにより、注目画素に段差がある可能性を示している。
【００８７】
論理和処理部１２０７は、比較処理部１２０５と差分上限処理部１２０６の出力が、ともに「１」である場合、第１の出力値１２１０ａとして「１」を出力する。それ以外の場合、論理和処理部１２０７は、第１の出力値１２１０ａとして「０」を出力する。更に、１Ｔずつ遅延された値が、第２の出力値１２１０ｂ乃至第７の出力値１２１０ｇとして出力される。本実施の形態１においては、第１の出力値１２１０ａ乃至第７の出力値１２１０ｇを用いているが、回路規模と水平方向の処理のバランスに基づいて、任意の数の出力値が用いられることが好ましい。
【００８８】
（レベル値算出部）
レベル値算出部１００３は、注目画素の位置する列と、その左右の列の出力値１２１０ａ〜１２１０ｇを加算することにより、注目画素の左右の相関性を考慮して、注目画素の段差のレベル値１３１０を算出する。
【００８９】
レベル値算出部１００３には、垂直ブロック段差候補抽出部１００２から、第１乃至第７の出力値１２１０ａ乃至１２１０ｇが入力される。各出力値は、注目画素と、注目画素の左右の列の画素において、上下方向に段差があるか否かを示す指標値である。レベル値算出部１００３は、第１乃至第７の出力値１２１０ａ乃至１２１０ｇから、注目画素における段差の可能性を示すレベル値を出力する。ここで出力するレベル値は、注目画素におけるブロック段差除去する際のレベルとして用いられる。本実施例の場合、レベル値が小さいほど、注目画素におけるブロック段差除去のフィルタ処理を要することを示す。
【００９０】
図１４を参照して、レベル値算出部１００３によるレベル値算出処理を説明する。
【００９１】
レベル値算出部１００３は、まずステップＳ１３０１において、垂直ブロック段差候補抽出部１００２より出力された出力値を加算する。
【００９２】
次に、ステップＳ１３０２において、ステップＳ１３０１で算出された加算値に基づいて、レベル値を算出する。加算値が「０」の場合、ステップＳ１３０３において、レベル値「３」を出力する。加算値が「１」、「２」又は「３」の場合、ステップＳ１３０４において、レベル値「２」を出力する。加算値が「４」又は「５」の場合、ステップＳ１３０５において、レベル値「１」を出力する。加算値が「６」又は「７」の場合、ステップＳ１３０５において、レベル値「０」を出力する。
【００９３】
（垂直段差検出部）
垂直段差検出部１００４は、映像入力信号について、水平ローパスフィルタ処理及び垂直ハイパスフィルタ処理をして、注目画素における段差の有無の可能性を示す垂直段差判定値１４１０を出力する。
【００９４】
垂直段差検出部１００４は、映像入力信号１００から、画素ごとに垂直段差があるか否かを示す垂直段差判定値１４１０を出力する。
【００９５】
図１５を参照して、垂直段差検出部１００４を詳述する。図１５の例においては、注目画素について処理する際に、注目画素の位置する列と、注目画素の位置する列の左右それぞれ２列の合計５列を参照している。
【００９６】
垂直段差検出部１００４には、映像信号１００が入力される。垂直段差検出部１００４は、垂直段差判定値１４１０を出力する。
【００９７】
図１５において、映像入力信号１００は、水平ローパスフィルタ処理部１４０２ａに入力され、水平ローパスフィルタ処理されるとともに、水平方向遅延処理部１４０１ａ乃至１４０１ｄによって、１列ずつ水平方向に遅延した映像信号が、水平ローパスフィルタ処理部１４０２ｂ、１４０２ｃ、１４０２ｄ、１４０２ｅに入力され、水平ローパスフィルタ処理される。水平ローパスフィルタ処理部１４０２ａ乃至１４０２ｅは、水平５タップの水平ローパスフィルタである。
【００９８】
水平ハイパスフィルタ処理部４０１ａ乃至４０１ｅから出力された信号は、垂直５タップの垂直ハイパスフィルタ処理部１４０３に入力され、垂直ハイパスフィルタ処理される。
【００９９】
垂直ハイパスフィルタ処理部１４０３から出力された信号は、２つの閾値による判定部１４０４に入力される。判定部１４０４は、２つの閾値を有している。判定部１４０４は、垂直ハイパスフィルタ処理部１４０３から出力された信号が、この２つの閾値の間にある場合「１」を出力し、２つの閾値の間にない場合「０」を出力する。
【０１００】
（段差判定部）
段差判定部１００５は、注目画素差分絶対値１２２０と、垂直段差判定値１４１０と、レベル値１３１０とに基づいて、隣接画素と注目画素との間で段差があるか否かを判定し、段差がある場合、注目画素差分絶対値１２２０を、段差判定値１５１０として出力する。
【０１０１】
段差判定部１００５には、垂直ブロック段差候補抽出部１００２から出力された注目画素差分絶対値１２２０と、垂直段差検出部１００４から出力された垂直段差判定値１４１０と、レベル値算出部１００３から出力されたレベル値１３１０が入力される。段差判定部１００５は、注目画素差分絶対値１２２０と、垂直段差判定値１４１０と、レベル値１３１０とから、段差判定値１５１０を出力する。
【０１０２】
図１６及び図１７を参照して、段差判定部１００５を詳述する。
【０１０３】
注目画素差分絶対値１２２０が、２つの閾値による比較部１５０１に入力される。比較部１５０１は、２つの閾値を有している。比較部１５０１は、注目画素差分絶対値１２２０が、この２つの閾値の間にある場合「１」を出力し、２つの閾値の間にない場合「０」を出力する。
【０１０４】
比較部１５０１からの出力と、垂直段差検出部１００４から出力された垂直段差判定値１４１０と、レベル値算出部１００３から出力されたレベル値１３１０が、隣接段差検出部１５０２に入力される。隣接段差検出部１５０２は、注目画素を中心に、垂直方向の上下６４画素において、垂直隣接画素の段差の有無を検出する。例えば、隣接段差検出部１５０２は、注目画素を中心に、垂直方向の上下６４画素に、レベル値１３１０が「３」以外で、垂直段差判定値１４１０が「１」で、比較部１５０１の出力が「１」の画素がある場合、上下６４画素において段差があると考えられる。従って、隣接段差検出部１５０２は、この場合、「１」を出力する。それ以外の場合、隣接段差検出部１５０２は、上下６４画素において段差がある可能性が少ないと判定して、「０」を出力する。
【０１０５】
注目画素差分絶対値１２２０、比較部１５０１からの出力値、隣接段差検出部１５０２からの出力値及び垂直段差判定値１４１０が、段差判定部１５０３に入力される。段差判定部１５０３は、比較部１５０１の出力値が「１」、垂直段差判定値１４１０の出力値が「１」かつ隣接段差検出部１５０２の出力値が「１」の場合、注目画素に段差がある可能性が高いと考えられる。従って、段差判定部１５０３は、この場合、この注目画素の段差判定値１５１０として、注目画素差分絶対値１２２０を出力する。それ以外の場合、段差判定部１５０２は、段差判定値１５１０として「０」を出力する。
【０１０６】
（垂直ブロック段差除去レベル算出部）
垂直ブロック段差除去レベル算出部１００６は、レベル値１３１０と段差判定値１５１０に基づいて、注目画素における段差の有無と、段差がある場合のノイズの強さを示す垂直ブロック段差除去レベル値１６００を算出する。
【０１０７】
垂直ブロック段差除去レベル算出部１００６には、レベル値算出部１００３から出力されたレベル値１３１０と、段差判定部１００５から出力された段差判定値１５１０とが入力される。垂直ブロック段差除去レベル算出部１００６は、垂直ブロック段差除去レベル値１６００を出力する。
【０１０８】
垂直ブロック段差除去レベル算出部１００６は、図１８に示すように、ステップＳ１６０１において、段差判定値１５１０が「０」の場合、垂直ブロック段差除去レベル値１６００として「３」を出力する。
【０１０９】
また、垂直ブロック段差除去レベル算出部１００６は、段差判定値１５１０が「０」以外で、レベル値１３１０が「２」の場合、垂直ブロック段差除去レベル値１６００として「２」を出力する。垂直ブロック段差除去レベル算出部１００６は、段差判定値１５１０が「０」以外で、レベル値１３１０が「１」の場合、垂直ブロック段差除去レベル値１６００として「１」を出力する。垂直ブロック段差除去レベル算出部１００６は、段差判定値１５１０が「０」以外で、レベル値１３１０が「０」の場合、垂直ブロック段差除去レベル値１６００として「０」を出力する。
【０１１０】
これにより、垂直ブロック段差除去レベル値１６００が「３」のとき、垂直ブロック段差除去レベル算出部１００６は、垂直ブロック境界が存在しないと判定する。垂直ブロック段差除去レベル値１６００が「２」のとき、垂直ブロック段差除去レベル算出部１００６は、垂直ブロックのブロックノイズのレベルが小であると判定する。垂直ブロック段差除去レベル値１６００が「１」のとき、垂直ブロック段差除去レベル算出部１００６は、垂直ブロックのブロックノイズのレベルが中であると判定する。垂直ブロック段差除去レベル値１６００が「０」のとき、垂直ブロック段差除去レベル算出部１００６は、垂直ブロックのブロックノイズのレベルが大であると判定する。
【０１１１】
このように、本発明の実施の形態４に係る画像処理装置１ｃによれば、ブロックノイズによる垂直ブロックの境界の有無と、垂直ブロックのブロックノイズのレベルを出力することができる。
【０１１２】
（実施の形態５）
図１９を参照して、本発明の実施の形態５に係る画像処理装置１ｄを説明する。本発明の実施の形態５に係る画像処理装置１ｄは、図１２に示す本発明の実施の形態４に係る画像処理装置１ｃと比べて、垂直ブロック除去処理部１００７を備えている点が異なる。
【０１１３】
（垂直ブロック除去処理部）
垂直ブロック除去処理部１００７は、垂直ブロック段差除去レベル値１６００に基づいて注目画素の信号をフィルタ処理し、垂直ブロック除去出力信号１７１０を出力する。
【０１１４】
垂直ブロック除去処理部１００７は、映像入力信号１００と、垂直ブロック段差除去レベル算出部１００６から出力された垂直ブロック段差除去レベル値１６００が入力される。垂直ブロック除去処理部１００７は、注目画素の水平ブロック除去出力信号１７１０を出力する。
【０１１５】
図２０を参照して、垂直ブロック除去処理部１００７を説明する。
【０１１６】
垂直ブロック除去処理部１００７は、映像入力信号１００に強いフィルタ処理をかけるフィルタ処理部１７０１と、映像入力信号１００に中くらいのフィルタ処理をかけるフィルタ処理部１７０２と、映像入力信号１００に弱いフィルタ処理をかけるフィルタ処理部１７０３を有している。フィルタ処理部１７０１によって強くフィルタ処理された映像入力信号と、フィルタ処理部１７０２によって中くらいにフィルタ処理された映像入力信号と、フィルタ処理部１７０３によって弱くフィルタ処理された映像入力信号と、フィルタ処理されていない映像入力信号１００が、選択部１７０４に入力される。
【０１１７】
選択部１７０４は、垂直レベル段差除去レベル値１６００の値に基づいて、選択部１７０４に入力された４つの信号のうち、一つの信号を選択する。具体的には、垂直ブロック段差除去レベル値１６００が「３」の場合、選択部１７０４は、映像入力信号１００を、垂直ブロック除去出力信号７１０として出力する。垂直ブロック段差除去レベル値１６００が「２」の場合、選択部１７０４は、フィルタ処理部１７０３によって弱くフィルタ処理された映像入力信号を、垂直ブロック除去出力信号１７１０として出力する。垂直ブロック段差除去レベル値１６００が「１」の場合、選択部１７０４は、フィルタ処理部１７０２によって中くらいにフィルタ処理された映像入力信号を、垂直ブロック除去出力信号１７１０として出力する。垂直ブロック段差除去レベル値１６００が「０」の場合、選択部１７０４は、フィルタ処理部１７０１によって強くフィルタ処理された映像入力信号を、垂直ブロック除去出力信号１７１０として出力する。
【０１１８】
（実施の形態６）
図２１を参照して、本発明の実施の形態６に係る画像処理装置１ｅを説明する。本発明の実施の形態６に係る画像処理装置１ｅは、図１９に示す本発明の実施の形態５に係る画像処理装置１ｄと比べて、動き検出部１０８及び処理重み付け制御部１００９を備えている点が異なる。実施の形態６に係る画像処理装置１ｅは、実施の形態５に係る画像処理装置１ｄの出力である垂直ブロック除去出力信号１７１０を、映像フレームにおける動き情報を考慮して重み付けして、垂直ブロック除去出力信号１８１０を出力している。
【０１１９】
動き検出部１０９は、実施の形態３で説明した動き検出部１０９と同様の処理をする。
【０１２０】
（重み付け制御部）
重み付け制御部１００９は、動き情報９００に基づいて、垂直ブロック段差除去レベル算出部１００６から出力された垂直ブロック段差除去レベル値１６００の重み付けを制御して、垂直ブロック除去補正信号１８１０を出力する。
【０１２１】
重み付け制御部１００９には、垂直ブロック除去処理部１００７から出力された垂直ブロック除去出力信号１７１０、映像入力信号１００及び動き検出部１０８から出力された動き情報９００が入力される。重み付け制御部１００８は、垂直ブロック除去補正信号１８１０を出力する。
【０１２２】
図２２を参照して、重み付け制御部１００９を説明する。
【０１２３】
重み付け制御部１００９の差分処理部１８０１は、垂直ブロック除去出力信号１７１０と映像入力信号１００の差分値が算出される。積算処理部１８０２は、差分処理部１８０１の出力値に、動き情報９００を積算する。積算された値は、除算処理部１８０３により除算された後、加算処理部１８０４により、映像入力信号１００に加算される。例えば、動き情報が０〜１６のレンジの場合、差分処理部１８０３は、積算処理部１８０２の出力を１６で除算する。
【０１２４】
このように実施の形態６においては、動き情報９００の値に応じてブロックノイズを除去する程度を決定することができる。映像の動き量が多い場合に、ブロックノイズが発生しやすいので、実施の形態６においては、ブロックノイズを効果的に除去する処理をすることができる。
【０１２５】
（実施の形態７）
図２３を参照して、本発明の実施の形態７に係る画像処理装置１ｆを説明する。本発明の実施の形態７に係る画像処理装置１ｆは、図１９に示す本発明の実施の形態５に係る画像処理装置１ｄと、図１０に示す本発明の実施の形態３に係る画像処理装置１ｂとを併合している。
【０１２６】
図２３に示す画像処理装置１ｆは、画像入力信号１００が入力されると、垂直ブロック段差候補抽出部１００２と、レベル値算出部１００３と、垂直段差検出部１００４と、段差判定部１００５と、垂直ブロック段差除去レベル算出部１００６と垂直ブロック除去処理部１００７の各処理部によって処理され、垂直ブロック除去補正信号１７１０を出力する。
【０１２７】
更に画像処理装置１ｆは、垂直ブロック除去補正信号１７１０を、水平ブロック段差候補抽出部１０２と、レベル値算出部１０３と、水平段差検出部１０４と、段差判定部１０５と、水平ブロック段差除去レベル算出部１０６と、水平ブロック除去処理部１０７と、動き犬種部１０８と、処理重み付け制御部１０９の各処理部によって処理され、ブロック除去出力信号２８１０を出力する。
【０１２８】
画像処理装置１ｆが出力するブロック除去出力信号２８１０は、水平方向に隣接するブロックとのブロックノイズと、垂直方向に隣接するブロックとのブロックノイズとが除去され、動き情報に基づいて補正された信号である。
【０１２９】
このように本発明の実施の形態７に係る画像処理装置１ｆは、動き量に応じて、水平方向及び垂直方向のブロックとのブロックノイズが除去された信号を出力することができる。
【図面の簡単な説明】
【０１３０】
【図１】本発明の実施の形態１に係る画像処理装置の機能ブロック図である。
【図２】本発明の実施の形態１に係る水平ブロック段差候補抽出部を説明する図である。
【図３】本発明の実施の形態１に係るレベル値算出部の処理を説明するフローチャートである。
【図４】本発明の実施の形態１に係る水平段差検出部を説明する図である。
【図５】本発明の実施の形態１に係る段差判定部を説明する図である。
【図６】本発明の実施の形態１に係る段差判定部によって出力される段差判定値を説明する図である。
【図７】本発明の実施の形態１に係る水平ブロック段差除去レベル算出部によって出力される水平ブロック段差除去レベル値を説明する図である。
【図８】本発明の実施の形態２に係る画像処理装置の機能ブロック図である。
【図９】本発明の実施の形態２に係る水平ブロック除去処理部を説明する図である。
【図１０】本発明の実施の形態３に係る画像処理装置の機能ブロック図である。
【図１１】本発明の実施の形態３に係る重み付け制御部を説明する図である。
【図１２】本発明の実施の形態４に係る画像処理装置の機能ブロック図である。
【図１３】本発明の実施の形態４に係る垂直ブロック段差候補抽出部を説明する図である。
【図１４】本発明の実施の形態４に係るレベル値算出部の処理を説明するフローチャートである。
【図１５】本発明の実施の形態４に係る垂直段差検出部を説明する図である。
【図１６】本発明の実施の形態４に係る段差判定部を説明する図である。
【図１７】本発明の実施の形態４に係る段差判定部によって出力される段差判定値を説明する図である。
【図１８】本発明の実施の形態４に係る垂直ブロック段差除去レベル算出部によって出力される垂直ブロック段差除去レベル値を説明する図である。
【図１９】本発明の実施の形態５に係る画像処理装置の機能ブロック図である。
【図２０】本発明の実施の形態５に係る垂直ブロック除去処理部を説明する図である。
【図２１】本発明の実施の形態６に係る画像処理装置の機能ブロック図である。
【図２２】本発明の実施の形態６に係る重み付け制御部を説明する図である。
【図２３】本発明の実施の形態７に係る画像処理装置の機能ブロック図である。
【符号の説明】
【０１３１】
１  画像処理装置
１０２  水平ブロック段差候補抽出部
１０３、１００３  レベル値算出部
１０４  水平段差検出部
１０５、１００５  段差判定部
１０６  水平ブロック段差除去レベル算出部
１０７  水平ブロック除去処理部
１０８  動き検出部
１０９、１００９  処理重み付け処理部
１００２  垂直ブロック段差候補抽出部
１００４  垂直段差検出部
１００６  垂直ブロック段差除去レベル算出部
１００７  垂直ブロック除去処理部
【図１】
2009088867.tif 000003
【図２】
2009088867.tif 000004
【図３】
2009088867.tif 000005
【図４】
2009088867.tif 000006
【図５】
2009088867.tif 000007
【図６】
2009088867.tif 000008
【図７】
2009088867.tif 000009
【図８】
2009088867.tif 000010
【図９】
2009088867.tif 000011
【図１０】
2009088867.tif 000012
【図１１】
2009088867.tif 000013
【図１２】
2009088867.tif 000014
【図１３】
2009088867.tif 000015
【図１４】
2009088867.tif 000016
【図１５】
2009088867.tif 000017
【図１６】
2009088867.tif 000018
【図１７】
2009088867.tif 000019
【図１８】
2009088867.tif 000020
【図１９】
2009088867.tif 000021
【図２０】
2009088867.tif 000022
【図２１】
2009088867.tif 000023
【図２２】
2009088867.tif 000024
【図２３】
2009088867.tif 000025