(57)【要約】【課題】元画像データの種類に拘わらず、簡単な構成及びアルゴリズムで元画像データのノイズ成分を適切に軽減することが可能な平滑化フィルタを提供する。【解決手段】フィールド画像などの複数の単位画像データを時系列に配列した画像データが画像ソースなどから供給される。平滑化処理の対象となる単位画像データは、所定の大きさの小領域に区分される。そして、処理対象となる単位画像データに対して時間的に１つ前の先行単位画像データとの間の相違、及び、処理対象となる単位画像データに対して時間的に１つ後ろの後続単位画像データとの相違が、画素値などに基づいて小領域毎に判定される。そして、処理対象となる単位画像データは、先行単位画像データ及び後続単位画像データのうち、相違が少ない方の単位画像データと平滑化処理される。よって、処理対象となる単位画像データは、常に最も相違が少ない単位画像データと平滑化されることになり、平滑化による弊害を防止するとともに効果的なノイズ除去が可能となる。【選択図】      図２
2004179886.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得手段と、
処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定手段と、
前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化手段と、を備えることを特徴とする画像データの平滑化処理装置。
【請求項２】
前記判定手段は、
前記小領域毎に前記相違が所定値以上であるか否かを判定する手段と、
前記先行単位画像データ又は前記後続単位画像データのうち、前記相違が所定値以上である小領域の数が少ない方の単位画像データを、前記相違の少ない方の単位画像データと判定する手段と、を備えることを特徴とする請求項１に記載の画像データの平滑化処理装置。
【請求項３】
前記平滑化手段は、前記相違が所定値以上でない小領域については前記処理対象となる単位画像データと前記相違が少ない方の単位画像データを利用して平滑化を行い、前記相違が所定値以上である小領域については前記処理対象となる単位画像データのみを利用して平滑化を行うことを特徴とする請求項２に記載の画像データの平滑化処理装置。
【請求項４】
複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得工程と、
処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定工程と、
前記判定工程による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化工程と、を有することを特徴とする画像データの平滑化処理方法。
【請求項５】
コンピュータ上で実行することにより、前記コンピュータを、
複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得手段、
処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定手段、
前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化手段、として機能させることを特徴とする画像データの平滑化処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報の圧縮符号化に関連する画像データの処理方法に関する。
【０００２】
【従来の技術】
一般的に、動画像情報は膨大なデータ量を有するため、これをそのまま記憶媒体などに記憶するためには膨大な量の記憶容量が要求される。そこで、動画像データを光ディスクその他の記憶媒体に記憶可能とするために、画像の圧縮符号化技術が知られている。動画像の圧縮符号化方式としてはＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）が代表的である。
【０００３】
ＭＰＥＧに代表される圧縮符号化方式は所定画素数（例えば８×８画素）のブロック毎に離散コサイン変換（ＤＣＴ）や量子化を行い、原画像データの高周波成分を削減する性質の圧縮方法であるので、原画像データを低ビットレートに圧縮する場合、上記のブロック毎に境界線の如きブロックノイズが発生することがある。これは、圧縮符号化の対象となる原画像データが高周波成分を多く有する場合に顕著に現れる。
【０００４】
そこで、そのようなブロックノイズの発生を防止するために、ＭＰＥＧなどの圧縮符号化の前処理としてプレフィルタを利用したフィルタリングが行われる。プレフィルタは、一種の平滑化フィルタであり、原画像データに存在する高周波成分を予め取り除くことにより、ＭＰＥＧなどの圧縮符号化時におけるブロックノイズを低減させる目的で使用される。一般的にプレフィルタは、画像データを構成する各画素の輝度値を所定の大きさ（画素数）の平滑化フィルタなどを利用して平均化することにより、原画像データの高周波成分を除去する（例えば特許文献１を参照）。
【０００５】
【特許文献１】
特許第３２８０２１１号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来のプレフィルタはほとんどが静的動作の２次元フィルタであり、フィルタリングの対象となる元画像データの種類や特性に拘わらず一意に平滑化処理を行うため、平滑化処理後の画像データに不具合が生じることがある。圧縮符号化の対象となる原画像データとしては、例えば６０フィールド画像データ、３０フィールド画像データ、２−３プルダウン画像データなどが想定される。６０フィールド画像とは１秒間が６０フィールドで構成され、フィールド毎に画像内容が異なる画像データをいう。３０フレーム画像とは１秒間が３０フレームで構成され、１フレームを構成する２つのフィールド画像の画像内容が同じであり、１フレームとして表示すると静止画となるものをいう。また、２−３プルダウン画像とは、映画などのもともと２４フレーム／秒の画像を６０フィールド画像に変換したものをいう。
【０００７】
このように、圧縮符号化の対象となる原画像データはいくつかの種類があるので、静的なプレフィルタにより一律に平滑化処理を行うと、処理後の画像データに却って不具合が生じることがある。例えば、平滑化処理をフレーム単位で行うプレフィルタを使用してフィールド画像データ（６０フィールド／秒）を平滑化すると、１フレームを構成する２つのフィールド画像の組合せ方などにより全く異なる２つのフィールド画像を平滑化してしまい、平滑化処理後の画像データが原画像データと大きく異なってしまうことが起こりうる。また、平滑化処理をフィールド単位で行うプレフィルタを使用してフレーム画像データ（３０フレーム／秒）を平滑化処理すると、画像内容によってはラインレベルでの画像の相違により、フィールド毎に平滑化の結果が異なって、縞模様が発生するなどの不具合が生じることがある。本発明が解決しようとする課題には、上記のようなものが例として挙げられる。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、元画像データの種類に拘わらず、簡単な構成及びアルゴリズムで元画像データのノイズ成分を適切に軽減することが可能な平滑化フィルタを提供することを課題とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、画像データの平滑化処理装置において、複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定手段と、前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化手段と、を備えることを特徴とする。
【００１０】
請求項４に記載の発明は、画像データの平滑化処理方法において、複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得工程と、処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定工程と、前記判定工程による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化工程と、を有することを特徴とする。
【００１１】
請求項５に記載の発明は、画像データの平滑化処理プログラムにおいて、コンピュータ上で実行することにより、前記コンピュータを、複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得手段、処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定手段、前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化手段、として機能させることを特徴とする。
【００１２】
【発明の実施の形態】
まず、本発明の基本的手法について説明する。前述のように、ＭＰＥＧなどの圧縮符号化の前処理として、プレフィルタによる平滑化を行い、ノイズ成分を除去することが行われる。ここで、プレフィルタによる平滑化の対象となる原画像データは、前述のように６０フィールド画像データや３０フレーム画像データなど、各種のものがあり、単純に時間的に前後するの２つのフィールドの組合せで平滑化を行うと画像内容が変化してしまうなどの弊害が生じうる。例えば、３０フレーム画像データの場合などにトップフィールド画像とボトムフィールド画像とが整合している場合には図１（ａ）に示すように平滑化処理は適切に行われ、不要なノイズが除去される。しかし、例えば２−３プルダウン画像データや、フィールドの順序が逆の画像（ボトムフィールド→トップフィールドで１枚のフレーム画像が構成されるタイプの画像データ）などでは、図１（ｂ）に例示するように画像内容の異なる画像を平滑化してしまうという不具合が生じる。
【００１３】
そこで、本発明では、まず、平滑化の対象となる２つのフィールド画像として、適切な組合せを選択するためにフィールド／フレーム判定処理を行う。画像データは一般的に１フレームが２フィールドにより構成される。この２つのフィールド画像を、「トップ（ＴＯＰ）フィールド」と「ボトム（ＢＯＴＴＯＭ）フィールド」と呼ぶ。即ち、１つのトップフィールドと１つのボトムフィールドの組合せにより１つのフレーム画像が構成される。なお、トップフィールド及びボトムフィールドは、通常の映像信号におけるＯＤＤフィールドとＥＶＥＮフィールド、又は、第１フィールドと第２フィールドとも表現される（但し、各々がいずれに対応するかは、信号の具体的なフォーマットによる）。
【００１４】
ある１つのフィールド画像を平滑化することを考えた場合、そのフィールド画像に対して時間的に前後する２つのフィールド画像のいずれを選んでもフレーム画像の組合せを作ることができる。即ち、いま第ｎ番目のトップフィールド画像を平滑化すると仮定すると、平滑化処理の対象とするフィールド画像の組合せとしては、▲１▼第ｎ番目のトップフィールドと第ｎ番目のボトムフィールド、又は、▲２▼第ｎ番目のトップフィールドと第ｎ−１番目のボトムフィールド、の２つの組合せが考えられる。そこで、本発明では、これら２つの組合せのうち、画像内容に相違が少ない方の組合せを選択して平滑化処理を実行する。これにより、画像内容の相違が大きい組合せでフィールド画像が平滑化されてしまうという不具合を低減することができる。
【００１５】
さらに、上記のようにして決定された２つのフィールド画像の組合せに対して平滑化を行う際、画像領域を複数の領域（ブロック）に区分し、ブロック単位で平滑化処理を行う。その際、２つのフィールド画像の画像内容に相違が小さい領域についてはフレーム単位で平滑化を行い、相違が大きい領域についてはフィールド単位で平滑化を行う。フレーム単位で平滑化を行うとはフレーム画像における隣接ライン間で平滑化処理を行うことをいい、フィールド単位で平滑化を行うとはフィールド画像における隣接ライン間（フレーム画像においては１ライン飛び越したラインとの間）で平滑化を行うことをいう。この処理を上記のブロック毎に行う。よって、１枚のフィールド画像を平滑化する場合でも、その画像中の動きの多い領域（ブロック）は同一フィールド内での平滑化が行われ、動きの少ない領域（ブロック）では隣接フィールドとの平滑化が行われる。これにより、平滑化の対象となる画像データの画像内容に変化が多いか否かを考慮してブロック毎に適切な方法での平滑化を行うことができる。
【００１６】
本発明の好適な一実施形態による画像データの平滑化処理装置は、複数の単位画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定する判定手段と、前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化手段と、を備える。
【００１７】
上記の実施形態によれば、例えばフィールド画像などの複数の単位画像データを時系列に配列した画像データが画像ソースなどから供給される。平滑化処理の対象となる単位画像データは、所定の大きさの小領域に区分される。そして、処理対象となる単位画像データに対して時間的に１つ前の先行単位画像データとの間の相違、及び、処理対象となる単位画像データに対して時間的に１つ後ろの後続単位画像データとの相違が、小領域毎に判定される。ここで単位画像データの相違とは、画像データの内容の相違であり、具体的には画像データを構成する画素値の相違などとすることができる。そして、処理対象となる単位画像データは、先行単位画像データ及び後続単位画像データのうち、相違が少ない方の単位画像データと平滑化処理される。よって、処理対象となる単位画像データは、常に最も相違が少ない単位画像データと平滑化されることになり、平滑化による弊害を防止するとともに効果的なノイズ除去が可能となる。
【００１８】
上記の平滑化処理装置の一態様では、前記判定手段は、前記小領域毎に前記相違が所定値以上であるか否かを判定する手段と、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違が所定値以上である小領域の数が少ない方の単位画像データを、前記相違の少ない方の単位画像データと判定する手段と、を備えることができる。この態様では、小領域毎に画像データの相違が判定され、所定値以上の相違が認められた小領域の数が大きい方を、相違が大きい方の単位画像データと決定するので、単純な比較処理により相違が大きい方の単位画像データを決定することができる。
【００１９】
上記の平滑化処理装置の一態様では、前記平滑化手段は、前記相違が所定値以上でない小領域については前記処理対象となる単位画像データと前記相違が少ない方の単位画像データを利用して平滑化を行い、前記相違が所定値以上である小領域については前記処理対象となる単位画像データのみを利用して平滑化を行うことができる。
【００２０】
この態様では、平滑化処理の際にも、相違を考慮して小領域毎に異なる方法で平滑化を行う。つまり、相違が大きいと判定された小領域については処理対象となる単位画像データのみで平滑化を行うので、相違の大きい単位画像データを平滑化してしまうという不具合を防止することができる。また、相違が小さいと判定された小領域については、２つの単位画像データを利用して平滑化を行うので、効果的にノイズ防止などを行うことができる。
【００２１】
また、本発明の他の好適な実施形態では、上記の平滑化処理装置と同様の処理を含む画像データの平滑化処理方法を提供することができる。さらに、上記の平滑化処理装置による処理をコンピュータ上で実行する平滑化処理プログラムとして構成することもできる。
【００２２】
【実施例】
以下、図面を参照して本発明の好適な実施例について説明する。なお、以下の実施例は、本発明をＭＰＥＧ方式による圧縮符号化の前処理に使用されるプレフィルタに適用した例を示す。
【００２３】
［圧縮符号化システム］
図２に本発明によるプレフィルタを適用した画像データの圧縮符号化システムの構成を概略的に示す。図２に示すように、画像ソース５から出力される原画像データＤ０は、本発明のプレフィルタ（平滑化フィルタ）１０に供給される。なお、画像ソース５は各種の光ディスクやハードディスクなどの記憶媒体とすることができ、原画像データＤ０は前述のように、６０フィールド画像データ、３０フレーム画像データ、２−３プルダウン画像データなどの各種の画像データとすることができる。
【００２４】
プレフィルタ１０は原画像データＤ０に対して適切な平滑化を施し、平滑化処理後の画像データＤ１を符号化部７へ供給する。符号化部７は例えばＭＰＥＧエンコーダなどであり、画像データＤ１を圧縮符号化する。ＭＰＥＧエンコーダの場合、一般的には画像データＤ１に対してまずＤＣＴを行い、さらに量子化及び符号化により符号化画像データを出力する。なお、そうして圧縮符号化された画像データは、光ディスクなどの記録媒体に記録されたり、通信路を通じて送信されたりして利用される。
【００２５】
図２に示すように、プレフィルタ１０はメモリ１２と、フレーム／フィールド判定部１４と、平滑化処理部１６と、出力バッファ１８とを備える。メモリ１２は、フィールド画像４枚分の記憶容量を有する。メモリ１２は、原画像データＤ０をフィールド画像毎に順に読み込み、一時的に記憶する。
【００２６】
フレーム／フィールド判定部１４は、メモリ１２に一時的に記憶されたフィールド画像を使用してフレーム／フィールド判定を行う。フレーム／フィールド判定は、判定対象となるフィールド画像及び他の１つのフィールド画像の内容を分析し、それらのフィールド画像間の相違が所定レベルより小さければその２つのフィールド画像をフレーム構造にあると判定し、所定レベルより大きければその２つのフィールド画像をフィールド構造にあると判定する。なお、詳細は後述するが、２つのフィールド画像がフレーム構造にあるかフィールド構造にあるかは、画像領域を複数のブロックに分割してブロック毎に判定し、ブロック毎の判定結果に基づいて全体のフィールド画像がフレーム構造にあるかフィールド構造にあるかを判定する。
【００２７】
平滑化処理部１６は、処理対象となるフィールド画像と他の１つのフィールド画像により構成されるフレーム画像について、画素毎に平滑化処理を実行する。平滑化は、画像を構成する各画素の値を、所定の近傍範囲の画素値と平均化する処理であり、一般的には平滑化フィルタを使用して行われる。平滑化処理部１６は、フレーム／フィールド判定部１４による判定結果に応じて、平滑化の対象となるフィールド画像データを特定する。また、平滑化の対象となるフィールド画像データのブロック毎に、当該ブロックがフレーム／フィールド判定処理によってフレーム構造にあると判定された場合はフレーム単位での平滑化を行い、当該ブロックがフレーム／フィールド判定処理によってフィールド構造にあると判定された場合はフィールド単位での平滑化を行う。平滑化処理後の画像データは出力バッファ１８に一時的に記憶された後、符号化部７へ出力される。
【００２８】
［プレフィルタの処理］
次に、プレフィルタ１０における処理について詳しく説明する。
【００２９】
（フレーム／フィールド判定処理）
まず、フレーム／フィールド判定処理について説明する。図３（ａ）に原画像データを構成する画像データ例を示す。原画像データは、基本的にトップフィールド画像とボトムフィールド画像を交互に含む画像データであり、１つのトップフィールド画像と１つのボトムフィールド画像とを組合せることにより１つのフレーム画像が構成される。図３（ａ）の例においては、原画像データはトップフィールド画像としてＴＯＰ＿０１、ＴＯＰ＿０２、ＴＯＰ＿０３、．．．を含み、ボトムフィールド画像としてＢＯＴＴＯＭ＿０１、ＢＯＴＴＯＭ＿０２、ＢＯＴＴＯＭ＿０３、．．．を含む。画像ソース５からは例えばＴＯＰ＿０１、ＢＯＴＴＯＭ＿０１、ＴＯＰ＿０２、ＢＯＴＴＯＭ＿０２という順序でプレフィルタ１０のメモリ１２に原画像データＤ０が供給される。メモリ１２は、４つのフィールドメモリを有し、最初は４つのフィールド画像ＴＯＰ＿０１、ＢＯＴＴＯＭ＿０１、ＴＯＰ＿０２、ＢＯＴＴＯＭ＿０２を保持し、次のタイミングではＢＯＴＴＯＭ＿０１、ＴＯＰ＿０２、ＢＯＴＴＯＭ＿０２、ＴＯＰ＿０３を保持し、というように、順次１つのフィールド画像を更新しつつ、常に時間的に連続する４つのフィールド画像を保持する。
【００３０】
いま、プレフィルタ１０による平滑化の処理対象フレームが図３（ａ）に示すようにＴＯＰ＿０２であると仮定する。このとき、メモリ１２にはＢＯＴＴＯＭ＿０１、ＴＯＰ＿０２、ＢＯＴＴＯＭ＿０２、ＴＯＰ＿０３の４つのフィールド画像が保持されている。ここで、処理対象のフィールドであるＴＯＰ＿０２は、先行するフィールド画像ＢＯＴＴＯＭ＿０１と組み合わせることによりフレーム画像を構成することができるし、ＢＯＴＴＯＭ＿０２と組み合わせることによってもフレーム画像を構成することができる。即ち、処理対象フィールドＴＯＰ＿０２の平滑化は、フィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０１により構成されるフレーム画像（第１の組合せとする）、及び、フィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２により構成されるフレーム画像（第２の組合せとする）の２通りのいずれかで行うことが可能である。そこで、フレーム／フィールド判定部１４は、まず、いずれの組合せが適切であるかを決定する。
【００３１】
本実施例では、フレーム／フィールド判定部１４は、各フィールド画像を８×８画素のブロックに分割し、ブロック毎にフレーム／フィールド判定を行う。図４は例えばフィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０１により構成されるフレーム画像の１ブロックを模式的に示す。図中の白抜きの四角形はトップフィールド画像の１画素を示し、斜線の四角形はボトムフィールド画像の１画素を示す。また、図４の右側には、フレーム画像の上から３ライン分の各画素の画素値（例えば輝度値）をアルファベットで示している。画素値Ａ〜Ｐはフィールド画像ＴＯＰ＿０２の画素値であり、画素値ａ〜ｈはフィールド画像ＢＯＴＴＯＭ＿０１の画素値である。
【００３２】
ここで、フレーム／フィールド判定部１４は、まずフレーム画像の１ライン目と２ライン目の画素値を利用して、図４に示す式によりフレーム計算値ＣＲ１を算出する。また、フレーム画像の２ライン目と３ライン目の画素値を利用してフレーム計算値ＣＲ２を算出する。この処理を７ライン目と８ライン目の組合せまで実行することにより、フレーム計算値ＣＲ１〜ＣＲ７を算出し、それらを合計してフレーム累積和ＣＲを算出する。図中の式から理解されるように、フィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０１の画像が類似しているほどフレーム累積和ＣＲの値は小さくなり、相違しているほどフレーム累積和ＣＲの値は大きくなる。
【００３３】
次に、フレーム／フィールド判定部１４は、図５に示すようにフィールド累積和を算出する。具体的には、まず図５（ａ）に示すように、トップフィールド画像ＴＯＰ＿０２を構成する４ラインのうちで隣接するライン毎の組合せについて図５（ａ）に示すように、フレームの場合と同様の式によりトップフィールド計算値ＣＴ１〜ＣＴ３を算出し、それらを合計してトップフィールド累積和ＣＴを得る。式から理解されるように、トップフィールド画像ＴＯＰ＿０２の各ライン毎の画素値が類似しているほどトップフィールド累積和ＣＴは小さくなり、相違しているほどトップフィールド累積和ＣＴは大きくなる。但し、トップフィールド累積和ＣＴは同一のフィールド画像内での画素値を比較しているため、フレーム累積和に比べて小さくなる傾向にある。
【００３４】
次に、フレーム／フィールド判定部１４は、図５（ｂ）に示すように同様の処理によりボトムフィールド累積和ＣＢを算出する。具体的には、本例では処理対象のフレーム画像はフィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０１の組合せにより構成されるフレーム画像であるので、ボトムフィールド画像ＢＯＴＴＯＭ＿０１の各画素値を使用してボトムフィールド累積和ＣＢを算出する。
【００３５】
こうして、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ及びボトムフィールド累積和ＣＢが得られると、フレーム／フィールド判定部１４はブロック毎にフレーム／フィールド判定を行う。具体的には、まず以下の式により、第１及び第２の判定値を求め、以下の条件式１及び２を満足しているか否かを判定する。
【００３６】
第１の判定値  ＝  ｜ＣＲ−２・ＣＴ｜  ＞２０００        （条件式１）
第２の判定値  ＝  ｜ＣＲ−２・ＣＢ｜  ＞２０００        （条件式２）
そして、フレーム／フィールド判定部１４は、条件式１及び２が満足されていれば、当該ブロックをフィールドと判定し、条件式１及び２のいずれか一方でも満足していない場合は当該ブロックをフレームと判定する。
【００３７】
以上のようにして、フレーム／フィールド判定部１４はブロック毎のフィールド／フレーム判定を行う。原画像データが例えば７２０×４８０画素である場合、１つのフレーム画像中に８×８画素のブロックは５４００ブロック含まれることになり、各ブロックについてフレーム又はフィールドの判定を行う。そして、フレーム／フィールド判定部１４は、フィールドと判定したブロック数をフィールド判定数ｆｂ１として算出する。
【００３８】
次に、フレーム／フィールド判定部１４は、処理対象となるフィールド画像ＴＯＰ＿０２を含むフレームの別の組合せ、つまりフィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２の組合せについても上述と同様の処理を実行し、フィールド判定数ｆｂ２を算出する。
【００３９】
次に、フレーム／フィールド判定部１４は、第１の組合せと第２の組合せのいずれを用いて平滑化処理を行うべきかを、フィールド判定数に基づいて決定する。具体的には、フィールド判定数が少ない方の組合せで平滑化処理を行う。例えば、図３（ｂ）に示すようにフィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０１の組合せにおけるフィールド判定数ｆｂ１＝αが、フィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２の組合せにおけるフィールド判定数ｆｂ２＝βよりも大きい場合、フィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２の組合せで後述の平滑化処理を行うことに決定する。このように、フレーム／フィールド判定部１４は、第１と第２の組合せのうち、フィールド判定数（フィールドと判定されたブロック数）が少ない方の組合せ、即ち、画像間に相違が少ない組合せでフレーム画像を構成し、平滑化を実行するように決定する。よって、原画像データの種類などに拘わらず、常に適切な組合せで平滑化を行うことができ、相違の大きい組合せのフィールド画像で平滑化を行うことが防止される。
【００４０】
（平滑化処理）
次に平滑化処理について説明する。平滑化処理はブロック単位で１画素毎に行われる。図６に平滑化処理の対象となるフレーム画像を模式的に示す。ここで、平滑化処理の対象となるフレーム画像とは、上述のフレーム／フィールド判定処理により、フィールド判定数が少ないとして平滑化処理の対象として決定された組合せによるフレーム画像である。例えば図３（ａ）に示す例では、処理対象のフィールド画像がトップフィールド画像ＴＯＰ＿０２であり、フレーム／フィールド判定処理により図３（ｂ）に示すようにフィールド画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２の組合せにより構成されるフレーム画像に対して平滑化処理を実行することが決定されている。よって、この場合はフレーム画像ＴＯＰ＿０２とＢＯＴＴＯＭ＿０２の組合せによるフレーム画像が平滑化処理の対象となる（図６参照）。
【００４１】
このようにフレーム／フィールド判定処理により決定されたフレーム画像に対して、ブロック毎にフレーム単位の平滑化又はフィールド単位の平滑化の一方を適用する。ここでのブロックは、フレーム／フィールド判定処理において規定したブロックであり、本実施例では図４及び図５に示すように８×８画素のブロックである。フレーム／フィールド判定処理により、処理対象のフレーム画像については各ブロック毎にフレーム又はフィールドの判定が済んでいる。その判定結果の一例を図６に示す。なお、この判定結果はプレフィルタ内のメモリなどに記憶されている。図６中、「ＦＲ」で示すブロックはフレーム／フィールド判定によりフレームと判定されたブロックであり、「ＦＩ」で示すブロックはフレーム／フィールド判定によりフィールドと判定されたブロックである。平滑化処理においては、このブロック単位で、フレームと判定されたブロック内の画素にはフレーム単位の平滑化処理を適用し、フィールドと判定されたブロック内の画素にはフィールド単位の平滑化処理を適用する。
【００４２】
次に、フレーム単位の平滑化処理及びフィールド単位の平滑化処理について具体的に説明する。図７（ａ）にフレーム単位の平滑化フィルタの構成例を示し、図７（ｂ）にフィールド単位の平滑化フィルタの構成例を示す。平滑化フィルタは一般的に、処理の対象となる画素を中心とし、その周辺画素の画素値を一律に変化させるフィルタである。平滑化フィルタの係数「ａ」を平滑化係数とも呼ぶ。図７（ａ）に示す例は３×３画素の平滑化フィルタであるが、これ以外の平滑化フィルタを使用することも可能である。
【００４３】
フレーム単位の平滑化処理の場合、処理対象となるフレーム画像の隣接ラインを対象として平滑化処理を行う。よって、フレーム単位の平滑化フィルタはフレーム画像データの上下方向及び左右方向の３画素に対してフィルタリングを行う。
【００４４】
一方、フィールド単位の平滑化処理の場合は、フィールド毎に独立して平滑化処理を行う。図６の例では、処理対象のフィールド画像がＴＯＰ＿０２であるので、フィールドと判定されたブロックは、フィールド画像ＴＯＰ＿０２のみの画素データを使用して平滑化を行うことになる。図７（ｂ）に示すフィールド単位の平滑化フィルタは、説明の便宜上、フレーム画像状態（２つのフィールド画像を組み合わせた状態）の画像データに対して適用する平滑化フィルタとして構成しているので、斜線で示す部分は処理を行わず、実質的にはフィールド単位の３×３画素の平滑化フィルタとなっている。なお、実際の処理において、フィールド画像単位でメモリに記憶されているフィールド画像ＴＯＰ＿０２に対して平滑化処理を行う場合には、図７（ａ）に示す平滑化フィルタを使用すればよい。
【００４５】
また、処理対象となるフィールド画像の周辺部の画素に対しては、処理対象画素の位置に応じて図７（ｃ）に示す構造の各平滑化フィルタを使用することになる。なお、図７（ｃ）に示す画像周辺部用の平滑化フィルタは図７（ａ）と同様にフレーム状態の画像データに対して適用されるものであり、フィールド単位の平滑化の場合は図７（ｂ）と同様に処理対象とならない画素部分（斜線で示す画素）を有する形となる。
【００４６】
なお、本実施例では平滑化フィルタ処理に先だってソーベルフィルタにより境界線検出を行い、境界線を含まない画素に対してのみ平滑化処理を実行する。この理由は、スーパーインポーズの文字や画像の輪郭に対して一律に平滑化処理を実行すると、文字や画像の輪郭がつぶれてしまうので、そのような境界線部分は平滑化処理を不適用として文字や輪郭のつぶれを防止することにある。フレーム単位の画像データ用のソーベルフィルタの構成例を図８（ａ）に示し、フィールド単位の画像データ用のソーベルフィルタの構成例を図８（ｂ）に示す。具体的には、ソーベルフィルタを処理対象となるフレーム画像又はフィールド画像の１画素毎に適用し、結果として得られる値が所定の閾値より大きい場合はその画素が境界上に位置すると判定し、閾値より小さい場合はその画素は境界上に位置しないと判定する。
【００４７】
［プレフィルタ処理の流れ］
次に、プレフィルタ処理全体の流れについて図９乃至図１１を参照して説明する。図９はプレフィルタ処理のメインルーチンのフローチャートであり、図１０はフレーム／フィールド判定処理のフローチャートであり、図１１は平滑化処理のフローチャートである。
【００４８】
まず、図９を参照すると、プレフィルタ１０は、画像ソース５からの原画像データＤ０を受け取る（ステップＳ１）。そして、フレーム／フィールド判定部１４は、まず、トップフィールド画像データの処理を行う。即ち、図３に示すように、処理対象のトップフィールド画像（例えばトップフィールド画像ＴＯＰ＿０２）と、それに先行するフィールド画像（例えばボトムフィールド画像ＢＯＴＴＯＭ＿０１）との組合せ（以下、「組合せＡ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ２）。これにより、組合せＡのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ１が得られる。
【００４９】
次に、フレーム／フィールド判定部１４は、処理対象のフィールド画像（例えばトップフィールド画像ＴＯＰ＿０２）と、それに対応するフィールド画像（例えばボトムフィールド画像ＢＯＴＴＯＭ＿０２）との組合せ（以下、「組合せＢ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ３）。これにより、組合せＢのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ２が得られる。
【００５０】
次に、フレーム／フィールド判定部１４は、組合せＡのフィールド判定数ｆｂ１と組合せＢのフィールド判定数ｆｂ２を比較し（ステップＳ４）、フィールド判定数の少ない方の組合せのフレーム画像を平滑化処理の対象に決定する。そして、平滑化処理部１６は対応するフレーム画像を利用して平滑化処理を実行し（ステップＳ５又はＳ６）、平滑化処理後の画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ７）。
【００５１】
次に、プレフィルタ１０はボトムフィールド画像の処理を行う。例えば図３（ａ）のボトムフィールド画像ＢＯＴＴＯＭ＿０２を処理対象と仮定すると、トップフィールド画像ＴＯＰ＿０２とボトムフィールド画像ＢＯＴＴＯＭ＿０２の組合せ（組合せＢ）により構成されるフレーム画像と、トップフィールド画像ＴＯＰ＿０３とボトムフィールド画像ＢＯＴＴＯＭ＿０２の組合せ（以下、「組合せＣ」とする）により構成されるフレーム画像のいずれを対象として平滑化処理を行うべきかを決定する。但し、ここでは組合せＢによるフレーム画像についてのフレーム／フィールド判定は既にステップＳ３で完了しているので、組合せＣによるフレーム画像についてのフレームフィールド判定のみを実行する（ステップＳ８）。そして、フレーム／フィールド判定部１４は、組合せＢによるフレーム画像と組合せＣによるフレーム画像のうち、フィールド判定数の少ない方のフレーム画像を平滑化処理の対象と決定する（ステップＳ９）。平滑化処理部１６はそのフレーム画像について平滑化処理を実行し（ステップＳ１０又はＳ１１）、結果として得られる画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ１２）。
【００５２】
こうして、プレフィルタ１０はトップフィールド画像とボトムフィールド画像についてフレーム／フィールド判定処理及び平滑化処理を繰り返す。そして、原画像データＤ０中の全てのフィールド画像データについて処理が完了すると（ステップＳ１３；Ｙｅｓ）、プレフィルタ処理を終了する。
【００５３】
次に、ステップＳ２、Ｓ３及びＳ８で実行されるフレーム／フィールド判定処理の流れを、図１０を参照して説明する。図１０において、まず、フレーム累積和を算出する。即ち、図４に示すように、１つのブロック（本例では８×８画素）について、隣接ライン間で対応する画素値の差分の二乗を計算し、これを当該ブロックの横方向画素全てについて合計することによりフレーム計算値ＣＲ１を算出する（ステップＳ２０、Ｓ２１）。そして、処理ラインを１つずらし（ステップＳ２２）、同様の処理を行ってフレーム計算値ＣＲ２を算出する。これを繰り返して１ブロック分の全てのフレーム計算値（図４の例ではＣＲ１〜ＣＲ７）が得られると（ステップＳ２３；Ｙｅｓ）、それらを合計してフレーム累積和ＣＲを算出する。
【００５４】
次に、図５（ａ）に示すように、当該ブロックのトップフィールドに対応する画素のみについて同様にライン毎のトップフィールド計算値ＣＴ１、ＣＴ２、．．を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、トップフィールド累積和ＣＴを算出する。同様に、当該ブロックのボトムフィールドに対応する画素のみについてライン毎のボトムフィールド計算値ＣＢ１、ＣＢ２、．．を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、ボトムフィールド累積和ＣＢを算出する。こうして、１つの処理対象ブロックについて、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ、及びボトムフィールド累積和ＣＢが揃う。
【００５５】
次に、フレーム／フィールド判定部１４は、当該ブロックがフィールド判定条件を具備しているかを判定する（ステップＳ３２）。具体的には、上述の条件式１及び２の両方が満足されているか否かを判定し、両方が満足されている場合にはそのブロックをフィールドと判定し（ステップＳ３３）、いずれか一方でも満足されていない場合はそのブロックをフレームと判定する（ステップＳ３４）。こうして、対象となるフレーム画像のうちの１ブロックについてのフレーム／フィールド判定が終了する。
【００５６】
以後、フレーム／フィールド判定部１４は、ブロックを１つずらし、同様の処理により当該ブロックをフレーム又はフィールドと判定する。そして、判定対象となるフレーム画像に含まれる全てのブロックについて、フレーム又はフィールドの判定結果が得られた時点で、フレーム／フィールド判定処理は終了する。
【００５７】
次に、平滑化処理について図１１を参照して説明する。平滑化処理は、図９のステップＳ５、Ｓ６、Ｓ１０又はＳ１１において、それぞれ対象となるフレーム画像が特定された状態で行われる。
【００５８】
まず、平滑化処理部１６は、対象となるフレーム画像中の１つの画素を処理対象画素として特定し、その処理対象画素が属するブロックがフレームと判定されたブロックか、フィールドと判定されたブロックかを判定する（ステップＳ４１）。ブロック毎のフレーム／フィールド判定結果（図６参照）は前述のようにプリフィルタ内のメモリなどに保存されているので、平滑化処理部１６はそれを参照すればよい。平滑化処理部１６は、処理対象画素がフレームと判定されたブロックに属する場合、図７（ａ）に例示するようなフレーム用の平滑化フィルタを選択し（ステップＳ４２）、その処理対象画素がフィールドと判定されたブロックに属する場合には図７（ｂ）に例示するようなフィールド用の平滑化フィルタを選択する（ステップＳ４３）。
【００５９】
次に、平滑化処理部１６は、まず前述のソーベルフィルタを実行し（ステップＳ４４）、処理対象画素が境界上にあるか否かを判定する（ステップＳ４５）。処理対象画素が境界上にある場合には、前述のように平滑化処理により文字や輪郭などがつぶれることを防止するため、平滑化フィルタによる平滑化処理を行わずに、ステップＳ４７へ進む。一方、処理対象画素が境界上にない場合には、ステップＳ４２又はＳ４３で選択した平滑化フィルタを適用して平滑化処理を実行する（ステップＳ４６）。
【００６０】
さらに次の処理対象画素を特定し（ステップＳ４７）、次の処理対象画素があるか否かを判定する（ステップＳ４８）。こうして、処理対象となるフレームの全ての画素について、順に平滑化処理を実行し、全ての画素について処理が終了すると（ステップＳ４８）、平滑化処理が終了する。
【００６１】
［変形例］
上記の実施例においては、本発明の平滑化フィルタをＭＰＥＧによる圧縮符号化処理の前処理として適用されるプレフィルタとして使用しているが、本発明の平滑化フィルタはこれ以外の一般的な画像の平滑化処理に適用できる。例えば、通常のディスプレイなどに搭載し、表示画像のノイズ除去などの目的で使用することも可能である。
【００６２】
また上記の実施例では、画像データの輝度値を画素値として平滑化を行っているが、輝度のみならず色差についても同様に平滑化を行うことが可能である。
【００６３】
また、上記実施例中のフレーム／フィールド判定におけるフレーム累積和、フィールド累積和の計算式や、条件式１及び２などはいずれも単なる一例であり、他の計算式や条件式を使用してフレーム／フィールド判定を行うことも可能である。
【００６４】
以上のように、本実施例による平滑化処理装置は、複数の単位画像データを時系列に配列してなる画像データを取得し記憶するメモリと、処理対象となる単位画像データと当該単位画像データの直前の先行単位画像データとの相違、及び、前記処理対象となる単位画像データと当該単位画像データの直後の後続単位画像データとの相違を、前記単位画像データを構成する複数の小領域毎に判定するフレーム／フィールド判定部と、前記判定手段による判定結果に基づいて、前記処理対象となる単位画像データを、前記先行単位画像データ又は前記後続単位画像データのうち、前記相違の少ない方の単位画像データと平滑化する平滑化部と、を備える。
【００６５】
この構成では、例えばフィールド画像などの複数の単位画像データを時系列に配列した画像データが画像ソースなどから供給される。平滑化処理の対象となる単位画像データは、所定の大きさの小領域に区分される。処理対象となる単位画像データに対して時間的に１つ前の先行単位画像データとの間の相違、及び、処理対象となる単位画像データに対して時間的に１つ後ろの後続単位画像データとの相違が、小領域毎に判定される。そして、処理対象となる単位画像データは、先行単位画像データ及び後続単位画像データのうち、相違が少ない方の単位画像データと平滑化処理される。よって、処理対象となる単位画像データは、常に最も相違が少ない単位画像データと平滑化されることになり、平滑化による弊害を防止するとともに効果的なノイズ除去が可能となる。
【図面の簡単な説明】
【図１】平滑化処理前後の画像例を示す図である。
【図２】本発明による平滑化フィルタを適用した画像データの圧縮符号化システムの概略構成を示すブロック図である。
【図３】フレーム／フィールド判定処理の対象となるフレーム画像の組合せ例を示す図である。
【図４】フレーム／フィールド判定処理における、ブロック単位でのフレーム累積和の計算方法を示す図である。
【図５】フレーム／フィールド判定処理における、ブロック単位でのフィールド累積和の計算方法を示す図である。
【図６】処理対象のフレーム画像についてのフレーム／フィールド判定結果例を示す図である。
【図７】平滑化処理において使用される平滑化フィルタの構成例を示す。
【図８】平滑化処理において使用されるソーベルフィルタの構成例を示す。
【図９】図２に示すシステムにより実行されるプレフィルタ処理のフローチャートである。
【図１０】図９におけるフレーム／フィールド判定処理のフローチャートである。
【図１１】図９における平滑化処理のフローチャートである。
【符号の説明】
５  画像ソース
７  符号化部
１０  プレフィルタ（平滑化フィルタ）
１２  メモリ
１４  フレーム／フィールド判定部
１６  平滑化処理部
１８  出力バッファ
【図１】
2004179886.tif 000003
【図２】
2004179886.tif 000004
【図３】
2004179886.tif 000005
【図４】
2004179886.tif 000006
【図５】
2004179886.tif 000007
【図６】
2004179886.tif 000008
【図７】
2004179886.tif 000009
【図８】
2004179886.tif 000010
【図９】
2004179886.tif 000011
【図１０】
2004179886.tif 000012
【図１１】
2004179886.tif 000013