(57)【要約】【課題】交流成分の失われた領域のみに交流成分予測を適用して、交流成分予測の悪影響を伴うことなく失われた交流成分を補償でき、しかも従来のブロック歪み除去方式のような複雑な処理を必要としない画像処理装置を提供する。【解決手段】復号器１０１からの復号画像信号１３２を領域分割器１０２により複数の小領域（ブロック）に分割した後、画質判定器１０３を通して平坦部か否かを判定する平坦部判定器１２９と、復号画像信号１３２から交流成分を予測する交流成分予測器１０４と、平坦部判定器１２９により平坦部と判定されたブロックについては交流成分予測器１０４により予測された交流成分の信号１３３を出力し、それ以外のブロックについては復号画像信号１３２をそのまま出力する切替器１０５とを有する。【選択図】  図１
2005260989.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割手段と、
前記入力画像信号のうち前記エッジ部の画像信号を、前記エッジ部のうち前記平坦部に連続する領域の画像信号の代表値で置換する置換手段と、
前記置換手段から出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測手段と、
前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力する切替手段と、
を備える画像処理装置。
【請求項２】
入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割手段と、
前記入力画像信号のうち、前記エッジ部の画像信号、および、前記非平坦部の画像信号を、前記平坦部の画像信号の代表値で置換する置換手段と、
前記置換手段から出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測手段と、
前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力する切替手段と、
を備える画像処理装置。
【請求項３】
前記置換手段は、前記入力画像信号のうち、前記エッジ部のうち前記非平坦部に連続する領域の画像信号、および、前記非平坦部の画像信号を、置換することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記代表値は、前記エッジ部のうち前記平坦部に連続する領域の画像信号の平均値であることを特徴とする請求項１または請求項３に記載の画像処理装置。
【請求項５】
前記分割手段は、平坦部に隣接する非平坦部をエッジ部と判定する請求項１または請求項４に記載の画像処理装置。
【請求項６】
前記分割手段は、隣接する平坦部の輝度の直流成分から一定値範囲内にある輝度を有し、かつ該隣接する平坦部と連続している画素を平坦部と判定する請求項１または請求項５に記載の画像処理装置。
【請求項７】
入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割ステップと、
前記入力画像信号のうち前記エッジ部の画像信号を、前記エッジ部のうち前記平坦部に連続する領域の画像信号の代表値で置換する置換ステップと、
前記置換ステップにより出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測ステップと、
前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力するステップと、
を備える画像処理方法。
【請求項８】
入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割ステップと、
前記入力画像信号のうち、前記エッジ部の画像信号、および、前記非平坦部の画像信号を、前記平坦部の画像信号の代表値で置換する置換ステップと、
前記置換手段から出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測ステップと、
前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力するステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特に画像を少ない情報量に圧縮符号化し、また圧縮符号化により得られた符号列を復号して画像を再生する画像符号化／復号化システムにおいて復号画像に生じるブロック歪みを除去するのに適した画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルＴＶ放送システムのような画像を伝送したり蓄積するシステムにおいて、伝送または蓄積のために画像を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化およびピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２，ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これらはいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成３年６月）等に詳細が述べられている。
【０００３】
図１１に、従来の動画像符号化装置の例として動き補償適応予測と離散コサイン変換を用いた符号化装置の基本構成を示す。入力画像信号１２３１は、領域分割器１２０１で予め定められた複数の領域に分割された後、まず動き補償適応予測が行われる。すなわち、動き補償適応予測器１２０２において入力画像信号１２３１とフレームメモリ１２０３中に蓄えられている既に符号化および局部復号化が行われた前フレームの参照画像信号との間の動きベクトルが検出され、この動きベクトルを用いて参照画像信号に対して動き補償が行われることにより予測信号１２３３が作成される。ただし、動き補償適応予測器１２０２では、動き補償予測と入力画像信号１２３１をそのまま符号化に用いるフレーム内符号化（予測信号＝０）のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号１２３３が出力される。
【０００４】
次に、減算器１２０４において入力画像信号１２３１から予測信号１２３３が減算され、予測残差信号１２３４が出力される。予測残差信号１２３４は、離散コサイン変換器１２０５において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）が行われる。この離散コサイン変換により得られたＤＣＴ係数は、量子化器１２０１２で量子化される。量子化器１２０６で量子化されたＤＣＴ係数は二分岐され、一方において可変長符号化器１２１３で符号化された後、多重化器１２０９において可変長符号化器１２１４で符号化された動きベクトル情報と多重化されて符号列として出力され、他方において逆量子化器１２１０で逆量子化された後、さらに逆離散コサイン変換器１２１１で逆離散コサイン変換（逆ＤＣＴ）される。逆離散コサイン変換器１２１１からの出力は加算器１２１２で適応予測信号１２３３と加算されて局部復号信号となり、フレームメモリ１２０３に参照画像信号として記憶される。
【０００５】
図１２は、図１１の動画像符号化装置に対応する動画像復号化装置の基本構成を示す図である。動画像符号化装置から伝送／蓄積された符号列は、逆多重化器１３１９において量子化されたＤＣＴ係数と動きベクトル情報に分離される。量子化されたＤＣＴ係数情報は可変長復号化器１３２０、逆量子化器１３１０、逆離散コサイン変換器１３１１を経て予測誤差信号となる。動きベクトル情報は可変長復号化器１３２１で復号された後、動き補償予測器１３０２に入力される。動き補償予測器１３０２では動きベクトルを用いてフレームメモリ１３０３内の前フレームの参照画像信号に動き補償が行われ、予測信号が生成される。次に、加算器１３１２において予測誤差信号と予測信号が加算され、画像信号が再生される。再生された画像信号は、装置外へ出力されると共にフレームメモリ１３０３に参照画像信号として記憶される。
【０００６】
しかし、このような従来の動画像符号化／復号化装置には、以下のような問題がある。前述した離散コサイン変換のような直交変換を用いたブロック符号化では、各ブロックで閉じた直交変換を行うため、ブロック間にまたがる信号の変化を記述することが難しい。しかも、低ビットレートで符号化を行う場合、直交変換係数であるＤＣＴ係数を量子化する量子化器１２０６の量子化幅を大きくする必要があり、交流成分（高域成分）が失われる傾向が強くなる。この結果、ブロックの境界部での滑らかな変化が表現できず、画面上にブロックの境界部分が格子状のブロック歪みとして顕著に現れるようになる。
【０００７】
量子化によって失われた交流成分を予測する方式として、平均値を用いた交流成分予測方式が提案されている（文献２：渡邊、大関、“平均値を用いた交流成分予測方式の一検討”、１９８９年画像符号化シンポジウム（ＰＣＳＪ８９）、２−２、１９８９）。また、この他にも幾つかの交流成分予測方式が提案されている。
【０００８】
図１３は、従来の交流成分予測方式を説明するための図であり、離散コサイン変換器１４０３の前に交流成分予測器１４０１と減算器１４０２を配置し、交流成分予測器１４０１で予測された交流成分を減算器１４０２で入力信号から差し引くことにより、失われる交流成分を補償している。
【０００９】
このように従来の交流成分予測方式は、符号化処理の中の離散コサイン変換の前段階として処理を行うことを前提としており、復号画像に生じるブロック歪みの除去に関しては利用されていなかった。また、従来の交流成分予測方式を復号画像にそのまま適用したとしても、予測できる交流成分は直流に近い低域の交流成分だけであり、逆に復号画像中に存在していた高域の交流成分を除去してしまうことになる。
【００１０】
一方、ブロック歪み除去に関する方式についても提案がなされている（文献３：井沢、渡辺、滝沢、“画像符号化における帯域保存ブロック歪除去フィルタ”、１９８９年画像符号化シンポジウム（ＰＣＳＪ８９）、４−４、１９８９）。この方式は、ｎ×ｎ画素のブロックで離散コサインおよび量子化がなされた符号列を復号化側で復号して得られた復号画像について、２ｎ×２ｎの大ブロックで再度離散コサイン変換を行い、得られたＤＣＴ係数列に対して、符号化時に伝送されたＤＣＴ係数と同等の係数まで帯域を制限して復号する方式である。これによりブロックの境界にまたがる変化を推定することができ、ブロック歪みが軽減される。しかし、この方式では復号化側で符号化側と縦横２倍の大きさのブロックで離散コサイン変換を行わなければならず、復号処理が複雑になるという問題点がある。
【００１１】
また、量子化によりエッジ部の周辺ではモスキートノイズと呼ばれる量子化歪みも生じ、画質を劣化させる。この歪みは、特にエッジ部に隣接する平坦部で大きな影響を及ぼす。この歪みを除去する方式としては、非再帰形５×５適応スムージングフィルタ（文献４：加藤、大久保、“ポストフィルタリングによる高能率符号化画像品質の改善”、１９８９年電気情報通信学会秋期全国大会分冊６、Ｄ−３、Ｄ−６３）等が提案されている。しかし、この方式は画面全体にフィルタを適用して高域の交流成分を除去する動作をすることから、エッジ部が多少なりともぼけてしまうという問題点を有している。
【非特許文献１】安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成３年６月
【非特許文献２】渡邊、大関、“平均値を用いた交流成分予測方式の一検討”、１９８９年画像符号化シンポジウム（ＰＣＳＪ８９）、２−２、１９８９
【非特許文献３】井沢、渡辺、滝沢、“画像符号化における帯域保存ブロック歪除去フィルタ”、１９８９年画像符号化シンポジウム（ＰＣＳＪ８９）、４−４、１９８９
【非特許文献４】加藤、大久保、“ポストフィルタリングによる高能率符号化画像品質の改善”、１９８９年電気情報通信学会秋期全国大会分冊６、Ｄ−３、Ｄ−６３
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したように、従来の画像符号化／復号化装置では、ブロック毎に処理を行うことによってブロックの境界部分でブロック歪みが発生し、画面上に格子状の歪みが目立つという問題点がある。また、この歪みを除去する従来の方式は処理が複雑であったり、単純に失われた交流成分を予測するのでは、もともと高域の交流成分を有するブロックに対して逆に交流成分を除去してしまい、かえって悪影響が生じるという問題点があった。
【００１３】
本発明は、交流成分の失われた領域のみに交流成分予測を適用して、交流成分予測の悪影響を伴うことなく失われた交流成分を補償でき、しかも従来のブロック歪み除去方式のような複雑な処理を必要としない画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る第１の画像処理装置は、入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割手段と、前記入力画像信号のうち前記エッジ部の画像信号を、前記エッジ部のうち前記平坦部に連続する領域の画像信号の代表値で置換する置換手段と、前記置換手段から出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測手段と、前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力する切替手段とを備える。
【００１５】
本発明に刈るか第２の画像処理装置は、入力画像信号を、エッジを含む領域であるエッジ部、平坦部、および、非平坦部に分割する分割手段と、前記入力画像信号のうち、前記エッジ部の画像信号、および、前記非平坦部の画像信号を、前記平坦部の画像信号の代表値で置換する置換手段と、前記置換手段から出力された画像信号に対して所定の領域ごとに交流成分を予測して交流成分を含む信号を出力する交流成分予測手段と、前記平坦部に対応する領域、および、前記エッジ部のうち前記平坦部に連続する領域に対応する領域については前記交流成分予測手段から出力された交流成分を含む信号を出力し、それ以外の領域については前記入力画像信号を出力する切替手段とを備える。
【発明の効果】
【００１６】
本発明の画像処理装置によれば、復号画像信号などの画像信号から符号化時に発生したブロック歪みやモスキートノイズなどの量子化により生じた歪みを除去して、視覚的に高品質な復号画像を得ることができる。
【００１７】
また、本発明ではブロック歪みやモスキートノイズの目立つ高域成分の少ない平坦なブロックのみに対して交流成分予測を行うため、エッジや複雑な画像の存在する部分に対して処理を行うことにより画像のぼけを発生させるという従来の問題点が解決され、さらに従来のブロック歪み除去方式のように大きなブロックに対して処理を行う必要がないため、処理が簡単であるという利点を有する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明に係る画像処理装置の実施形態を説明する。なお、以下に説明する実施形態では前述した動画像符号化／復号化装置と組み合わせて、復号化装置の後段に画像処理装置を配置することで本発明の効果を十分に発揮できる構成を示す。ただし、本発明は特に動画像などの画像符号化／復号化装置との組み合わせに限定されるものではなく、画像信号に対して一般的に適用することが可能である。
【００１９】
（第１の実施形態）図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。同図において、入力される符号列１３１は例えば図１１に示した動画像符号化装置で得られた符号列であり、例えば図１２に示した動画像復号化装置と同様の構成の復号器１０１により復号され、復号画像信号１３２が再生される。この復号画像信号１３２は、平坦部判定器１２９と交流成分予測器１０４に入力される。
【００２０】
平坦部判定器１２９に入力された復号画像信号１３２は、まず領域分割器１０２で複数の小領域に分割される。そして、この小領域毎に画質判定器１０３において動画像符号化装置でＤＣＴ係数を量子化する際に失われた交流成分の大きさが求められる。ここでは例として小領域に８×８のブロックを用い、交流成分の大きさを表す値としては、アクティビティ（分散）Ａｃｔを次式により求めた値を用いるものとする。
【数１】
2005260989.tif 000003
【００２１】
ここで、ａｉはブロック内の各画素の画素値、Ｎはブロック内の画素数をそれぞれ表す。これにより求めたアクティビティＡｃｔはブロック内の分散を表し、この値が小さいほど直流成分が多く含まれ、交流成分が少ないことを示す。
【００２２】
平坦部判定器１２９においては、領域分割器１０２で分割された各小領域（ブロック）のうち画質判定器１０３でアクティビティＡｃｔの値が所定値以下のブロックについては平坦部と判定し、それ以外のブロックは非平坦部として判定して、判定信号１３４を出力する。
【００２３】
一方、交流成分予測器１０４に入力された復号画像信号１３２は、以下に示す手順で交流成分の予測が行われ、交流成分予測画像信号１３３が作成される。切替器１０５は平坦部判定器１２９からの判定信号１３４により制御され、平坦部判定器１２９で平坦部と判定されたブロック、つまり画質判定器１０３で交流成分が少ないと判定されたブロックについては、出力信号を交流成分予測器１０４から出力される交流成分予測画像信号１３３に置き換え、それ以外のブロックについては、復号画像信号１３２をそのまま出力する。
【００２４】
このようにして、平坦部である交流成分の少ないブロックのみ交流成分予測画像信号１３４で置き換えられた復号画像信号１３５が切替器１０５から出力される。図２は、この様子を示したものであり、平坦部のブロックはＡＣ予測ブロック、すなわち交流成分予測画像信号１３３によって構成されるブロックに変換されている。
【００２５】
次に、交流成分予測器１０４の実現法ついて説明する。交流成分予測方式としては、前述したように様々な方式が提案されている。ここでは、前記文献２に記載された交流成分予測方式を例として用いる。以下、この交流成分予測方式について簡単にそのアルゴリズムを説明する。
【００２６】
［ステップ１］ｎ＝８とする。
【００２７】
［ステップ２］ｎ×ｎ画素の大きさのブロック毎に直流成分を求める。
【００２８】
［ステップ３］各ブロックを（ｎ／２）×（ｎ／２）画素の大きさの４個のサブブロックに分割する。
【００２９】
［ステップ４］次式に示すように、各サブブロックの直流成分をその周囲のブロックの直流成分に距離を考慮した重み付けを行うことによって求める（図３参照）。
【数２】
2005260989.tif 000004
【００３０】
ここで、Ａ，Ｂ，Ｃ，Ｄは各ブロックの直流成分（平均値）、Ｃ2 はサブブロックの直流成分を表す。また、Ｗ（ｄｉ）、（ｉ＝１，２，３，４）は、直流成分がＣ2 であるサブブロックと、直流成分がＡ，Ｂ，Ｃ，Ｄである各ブロックとの距離に応じた重み付けを表す関数であり、ここでは次式に示す値を用いるものとする。
【数３】
2005260989.tif 000005
【００３１】
［ステップ５］ｎ＝ｎ／２とする。ここで、ｎ＝１なら終了し、そうでなければステップ２へ戻る。図１の交流成分予測器１０４は、以上のようなアルゴリズムで交流成分予測を行う。
【００３２】
ここで、交流成分予測器１０４においてエッジをまたいだブロック間で予測を行うと、図４に示すようにエッジの外側の影響が注目サブブロックに及んでエッジがなまり、本来の画像信号に含まれる成分とは異なる交流成分が発生してくる場合がある。このような交流成分の発生を防止するため、本実施形態では注目サブブロックの含まれるブロックの直流成分とある一定値以上の差がある直流成分を有するブロックについては、重み付けを強制的に０にしている。
【００３３】
（第２の実施形態）次に、本発明の第２の実施形態として、エッジ判定型の交流成分予測方式を用いた画像処理装置の構成を図５のブロック図に示す。本実施形態は、ブロック歪みと共に、図６中の濃いドットで示すような画像のエッジ部近傍に特に顕著に現れるモスキートノイズを同時に除去することを目的としている。
【００３４】
図５において、入力された符号列４３１は例えば図１１に示した動画像符号化装置で得られた符号列であり、例えば図１２に示した動画像復号化装置と同様の構成の復号器４０１で復号され、復号画像信号４３２が再生される。この復号画像信号４３２は、エッジ・平坦部判定器４０９と置換器４１１に入力される。
【００３５】
エッジ・平坦部判定器４０９に入力された復号画像信号４３２は、まず領域分割器４０２で複数の小領域（ブロック）に分割され、さらに画質判定器４０３で平坦部と非平坦部とに分類判定がなされた後、エッジブロック判定器４０６において画質判定器４０３で平坦部と判定された領域に隣接する非平坦部がエッジを含むブロック（エッジブロック）と判定される。画質判定器４０３からは、平坦部判定信号４３７が出力される。画質判定器４０３およびエッジブロック判定器４０６の処理アルゴリズムを以下に示す。
【００３６】
［ステップ１］各ブロックのアクティビティを求める。
【００３７】
［ステップ２］アクティビティの値から各ブロックを平坦部と非平坦部とに分類する。
【００３８】
［ステップ３］平坦部に隣接する非平坦部をエッジ部（エッジブロック）と判定する。図７は、この判定の様子を示した図であり、この例では図の左側の顔画像の輪郭であるエッジを含むブロックは平坦部に隣接する非平坦部であるため、図の右側に斜線で示すようにエッジブロックとして判定される。
【００３９】
次に、エッジ判定器４０７において、エッジブロック判定器４０６でエッジブロックと判定されたブロックがそれに隣接する平坦部のブロックから連続している領域と、それ以外の領域とに分離される。ここでは簡単にするため、エッジブロックに隣接する平坦部のブロックの輝度の直流成分から一定値以内の範囲にある輝度を有する画素を平坦部のブロックに続く領域と判定し、それ以外の領域と分離するものとする。この判定の結果、エッジ判定器４０７からエッジ判定信号４３６，４３８が出力される。
【００４０】
一方、置換器４１１では、入力された復号画像信号４３２について領域分割器４１０で分割されたブロック毎に、エッジ部置換器４０８でエッジ判定器４０７からのエッジ判定信号４３６に基づいて、エッジ判定器４０７でエッジ部と判定されたブロック（エッジブロック）のうち平坦部のブロックに連続する領域と判定された領域内の画素値の平均値を求め、それを当該エッジブロック全体の代表値（直流成分）として、当該ブロックの復号画像信号４３２に置き換える。そして、このエッジ部置換器４０８によりエッジブロックが置換された画像信号４３９に対して、第１の実施形態と同様の交流成分予測器４０４により交流成分予測が適用され、交流成分予測画像信号４３３が生成される。
【００４１】
最後に、切替器４０５において画質判定器４０３からの平坦部判定信号４３７とエッジ判定器４０７からのエッジ判定信号４３８に基づき、画質判定器４０３により平坦部と判定されたブロックと共に、エッジ判定器４０７においてエッジブロックと判定されたブロックも、交流成分予測器４０８からの交流成分予測画像信号４３３に置き換えられて出力され、それ以外の部分については復号画像信号４３２がそのまま出力される。
【００４２】
図８を用いて上述した一連の動作を説明する。すなわち、エッジ判定器４０７において、図８（ａ）の画像中のエッジブロックである図８（ｂ）を図８（ｃ）に示すように隣接する平坦部のブロックに連続している図の上側に示す第１の領域と、図の下側に示すそれ以外の第２の領域とに分離する。次に、エッジ置換器４０８によって図８（ｂ）のエッジブロック全体を図８（ｄ）に示すように第１の領域の平坦部の画素値の平均値で置換し、さらに交流成分予測器４０４で図８（ｅ）に示すように交流成分予測を行う。そして、図８（ｅ）の交流成分予測された信号と図８（ｃ）の下側に示す、隣接する平坦部に連続していない非平坦部の領域の信号を図８（ｆ）に示すように合成することによって、エッジ部の情報を保存する。
【００４３】
この場合、特に図８（ｃ）〜（ｅ）の処理によって、エッジ部近傍が一様な画素値とされた後、交流成分予測が行われるため、エッジ部で発生したモスキートノイズが抑圧される。
【００４４】
なお、上記実施形態では平坦部、非平坦部を判定する指標として画像のアクティビティ（分散）を用いたが、これに限定されるものではなく、様々な判定法が利用可能であり、それらの判定法に従って平坦部判定器１２９を構成することが可能である。
【００４５】
また、上記実施形態ではエッジ判定の方式についても、単純に画像信号の画素値（輝度）を調べて、隣接する画素と一定値以上の差がある箇所をエッジ部と判定したが、この他にも様々なエッジ判定法を利用でき、それらを用いてエッジ・平坦部判定器４０９を構成することも当然可能である。
【００４６】
さらに、置換器４１１は実施形態に用いた交流成分予測方式に対応させるため領域分割器４１０とエッジ部置換器４０８により構成したが、特にこの構成である必要はなく、小領域に分割する必要がなければ、小領域単位に置換せずに画面全体で非平坦部を平坦部の信号で置換する等の方式も利用可能である。
【００４７】
最後に、本発明の応用例として本発明の動画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図９を用いて説明する。パーソナルコンピュータ（ＰＣ）１００１に備え付けられたカメラ１００２より入力された動画像信号は、ＰＣ１００１に組み込まれた動画像符号化装置によって符号化される。この動画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１００３により無線で送信され、他の無線機１００４によって受信される。無線機１００４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１００５に組み込まれた動画像復号化装置によって復号され、ＥＷＳ１００５のディスプレイに表示される。
【００４８】
一方、ＥＷＳ１００５に備え付けられたカメラ１００６より入力された動画像信号は、ＥＷＳ１００６に組み込まれた動画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１００４により無線で送信され、無線機１００３によって受信される。無線機１００３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはＰＣ１００１に組み込まれた動画像復号化装置によって復号され、ＰＣ１００１のディスプレイに表示される。
【００４９】
図１０（ａ）（ｂ）は、図９におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた動画像符号化装置および動画像復号化装置の構成を概略的に示すブロック図である。
【００５０】
図１０（ａ）に示す動画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。
【００５１】
一方、図１０（ｂ）に示す動画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図
【図２】第１の実施形態での処理を示した図
【図３】交流成分予測方式の距離とブロックの関係を示す図
【図４】エッジ部での交流成分予測による悪影響を示す図
【図５】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図
【図６】モスキートノイズの発生しやすいブロックを示した図
【図７】第２の実施形態での処理を示した図
【図８】第２の実施形態でのブロックレベルでの処理を示した図
【図９】本発明が適用されるシステムの例を示すブロック図
【図１０】図９のシステムで使用される動画像符号化装置および動画像復号化装置の概略構成を示すブロック図
【図１１】従来の動画像符号化装置のブロック図
【図１２】従来の動画像復号装置のブロック図
【図１３】交流成分予測方式をＤＣＴ符号化方式に適用した従来の例を示す図
【符号の説明】
【００５３】
１０１…復号器
１０２…領域分割器
１０３…画質判定器
１０４…交流成分予測器
１０５…切替器
１２９…平坦部判定器
１３１…入力符号列
１３２…復号画像信号
１３３…交流成分予測画像信号
１３４…平坦部判定信号
１３５…出力画像信号
４０１…復号器
４０２…領域分割器
４０３…画質判定器
４０４…交流成分予測器
４０５…切替器
４０６…エッジブロック判定器
４０７…エッジ判定器
４０８…エッジ部置換器
４０９…エッジ・平坦部判定器
４１１…置換器
４３１…入力符号列
４３２…復号画像信号
４３３…交流成分予測画像信号
４３４…平坦部判定信号
４３５…出力画像信号
４３６…エッジ判定信号
４３７…平坦部判定信号
４３８…エッジ判定信号
４３９…エッジ部置換画像信号
１００１…パーソナルコンピュータ（ＰＣ）
１００２，１２０６…カメラ
１００３，１００４…無線機
１００５…ワークステーション（ＥＷＳ）
１１０１…画像入力部
１１０２…情報源符号化部
１１０３…誤り耐性処理部
１１０４…伝送路符号化部
１１０５…無線機
１２０１…無線機
１２０２…伝送路復号化部
１２０３…情報源復号化部
１２０４…誤り耐性処理部
１２０５…画像出力部
【図１】
2005260989.tif 000006
【図２】
2005260989.tif 000007
【図３】
2005260989.tif 000008
【図４】
2005260989.tif 000009
【図５】
2005260989.tif 000010
【図６】
2005260989.tif 000011
【図７】
2005260989.tif 000012
【図８】
2005260989.tif 000013
【図９】
2005260989.tif 000014
【図１０】
2005260989.tif 000015
【図１１】
2005260989.tif 000016
【図１２】
2005260989.tif 000017
【図１３】
2005260989.tif 000018