(57)【要約】【課題】  どのような画像であっても効率的に符号化ノイズの発生を特定することのできる復号装置を得る【解決手段】  特徴情報抽出部１３は、符号化ストリーム復号部１１で復号された復号データに基づいた符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報１３ａとして抽出する。符号化ノイズ特定部１４は、特徴情報１３ａに基づいて、復号画像内の符号化ノイズ位置を特定する。フィルタ制御部１５は、特徴情報１３ａに基づいてフィルタ処理を制御するためのフィルタ制御信号１５ａを出力する。フィルタ処理部１６は、フィルタ制御信号１５ａに基づいて符号化ノイズ特定部１４で特定された復号画像に対しフィルタ処理を行う。【選択図】        図１
2007027980.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを復号する符号化ストリーム復号部と、
前記符号化ストリーム復号部で復号された復号データに基づいて画像を再生する復号画像再生部と、
復号データに基づいた符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報として抽出する特徴情報抽出部と、
前記特徴情報抽出部で抽出された特徴情報に基づいて復号画像内の符号化ノイズ位置を特定する符号化ノイズ特定部と、
前記符号化ノイズ特定部で特定された復号画像に対しフィルタ処理を行うフィルタ処理部と、
前記特徴情報抽出部で抽出された特徴情報に基づいて前記フィルタ処理部のフィルタ処理を制御するフィルタ制御部とを備えた復号装置。
【請求項２】
入力画像をブロック単位に符号化する符号化部と、
前記符号化部で符号化された画像と、符号化する前の入力画像とのブロック境界における差分値演算を行うブロック境界差分値算出部と、
ブロック境界における差分値の絶対値が閾値より大きい場合、該当のブロック境界に対して符号化ノイズフラグを立てる符号化ノイズフラグ生成部と、
そのフラグを符号化データに多重して符号化ストリームとして出力する符号化部とを備えた符号化装置。
【請求項３】
入力画像を符号化した符号化画像と符号化データとを出力する符号化データおよび符号化画像生成部と、
前記符号化画像と、前記入力画像との差分値演算または差分値に基づく分散値演算を行い、画素差分値または分散値を出力する画素差分値または分散値算出部と、
前記画素差分値または分散値が閾値より大きい画像領域に対して符号化ノイズフラグを立てる符号化ノイズフラグ生成部と、
前記符号化ノイズフラグを前記符号化データに多重して符号化ストリームを出力する可変長符号化部とを備えた符号化装置。
【請求項４】
符号化ノイズフラグが立っている画像領域の入力画像と符号化画像との差分画像を符号化して第２の符号化データを生成する第２の符号化データ生成部を備え、
可変長符号化部は、符号化データと符号化ノイズフラグに加えて、前記第２の符号化データを多重して符号化ストリームを出力することを特徴とする請求項３記載の符号化装置。
【請求項５】
画素差分値または分散値算出部は、符号化画像と入力画像との、画素差分値または分散値を出力すると共に、前記入力画像の分散値を出力し、
符号化ノイズフラグ生成部は、前記画素差分値または分散値が閾値より大きい画像領域で前記入力画像の分散値が入力画像分散値用閾値より小さい場合に符号化ノイズフラグを立てることを特徴とする請求項３記載の符号化装置。
【請求項６】
入力画像を符号化した符号化画像と符号化データとを出力する符号化データおよび符号化画像生成部と、
前記符号化画像と、前記入力画像との差分値演算または差分値に基づく分散値演算を行い、画素差分値または分散値を出力すると共に、前記入力画像の分散値を出力する画素差分値または分散値算出部と、
前記画素差分値または分散値が閾値より大きい画像領域で、前記入力画像の分散値が入力画像分散値用閾値より小さい場合に符号化ノイズフラグを立てると共に、符号化画像毎に、前記符号化ノイズフラグが連続する場合はカウントアップし、連続しない場合はカウント値をリセットするフラグカウンタを出力する符号化ノイズフラグおよびフラグカウンタ生成部と、
前記符号化ノイズフラグと前記フラグカウンタを前記符号化データに多重して符号化ストリームを出力する可変長符号化部とを備えた符号化装置。
【請求項７】
符号化ストリームを復号する符号化ストリーム復号部と、
前記符号化ストリーム復号部で復号された復号データに基づいて画像を再生する復号画像再生部と、
復号データに基づいた符号化ノイズ情報を特徴情報として抽出する特徴情報抽出部と、
前記特徴情報抽出部で抽出された特徴情報に基づいて復号画像内の符号化ノイズ位置を特定する符号化ノイズ特定部と、
前記特徴情報抽出部で抽出された特徴情報に基づいて、符号化ノイズが連続して発生しているかを示すフィルタ制御信号を出力するフィルタ制御部と、
前記フィルタ制御信号に基づいて、前記符号化ノイズ特定部で特定された復号画像に対してフィルタ処理を行うフィルタ処理部とを備えた復号装置。
【請求項８】
フィルタ制御部は、符号化ノイズが連続して発生している場合は、時間方向のフィルタ処理を行うようフィルタ制御信号を出力することを特徴とする請求項７記載の復号装置。
【請求項９】
符号化ノイズフラグは、画像領域の位置情報または符号化ノイズ強度情報を含むことを特徴とする請求項２から請求項６のいずれか１項記載の符号化装置。
【請求項１０】
特徴情報抽出部は、動きベクトル範囲を抽出し、符号化単位画像領域を中心にして前記動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が閾値より大きい画素の領域が前記分散値が閾値より小さい画素の領域より狭く、かつ、前記分散値が閾値より大きい画素が離散して分布している場合、前記分散値の大きい領域を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１１】
特徴情報抽出部は、量子化ステップおよび動きベクトル範囲を抽出し、符号化単位画像領域を中心にして前記動きベクトル範囲内の画像に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が第１の閾値より大きい画素の領域が、前記分散値が第１の閾値より小さい画素の領域より狭く、かつ、前記分散値が第１の閾値より大きい画素が離散して分布し、かつ、前記分散値が第１の閾値より大きい画素を含む画像領域に対する前記量子化ステップが第２の閾値より大きい場合、前記分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定することを特徴とする請求項第１項記載の復号装置。
【請求項１２】
特徴情報抽出部は、動きベクトルおよび動きベクトル範囲を抽出し、符号化単位画像領域を中心にして前記動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が第１の閾値より大きい画素の領域が、前記分散値が第１の閾値より小さい画素の領域より狭く、かつ、前記分散値が第１の閾値より大きい画素が離散して分布し、かつ、前記分散値が第１の閾値より大きい画素を含む画像領域に対する前記動きベクトルが第２の閾値より大きい場合、前記分散値の大きい領域を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１３】
特徴情報抽出部は、動きベクトルを抽出し、当該動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が閾値より大きい画素の領域が前記分散値が閾値より小さい画素の領域より狭く、かつ、前記分散値が閾値より大きい画素が離散して分布している場合、前記分散値が閾値より大きい領域を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１４】
特徴情報抽出部は、量子化ステップおよび動きベクトルを抽出し、前記動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が第１の閾値より大きい画素の領域が、前記分散値が第１の閾値より小さい画素の領域より狭く、かつ、前記分散値が第１の閾値より大きい画素が離散して分布し、かつ、前記分散値が第１の閾値より大きい画素を含む画像領域に対する前記量子化ステップが第２の閾値より大きい場合、前記分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１５】
特徴情報抽出部は、動きベクトルを抽出し、前記動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が閾値より大きい画素の領域が、前記分散値が閾値より小さい画素の領域より狭く、かつ、前記分散値が閾値より大きい画素が離散して分布している場合、前記分散値が閾値より大きい領域を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１６】
特徴情報抽出部は、量子化ステップおよび動きベクトルを抽出し、前記動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、
符号化ノイズ特定部は、前記分散値が第１の閾値より大きい画素の領域が、前記分散値が第１の閾値より小さい画素の領域より狭く、かつ、前記分散値が第１の閾値より大きい画素が離散して分布し、かつ、前記分散値が第１の閾値より大きい画素を含む画像領域に対する前記量子化ステップが第２の閾値より大きい場合、前記分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定することを特徴とする請求項第１項記載の復号装置。
【請求項１７】
特徴情報抽出部は、特徴情報として量子化ステップを抽出し、
符号化ノイズ特定部は、前記量子化ステップが閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１８】
特徴情報抽出部は、特徴情報として量子化ステップおよび動きベクトルを抽出し、
符号化ノイズ特定部は、前記量子化ステップが第１の閾値より大きく、かつ、動きベクトルが第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項１９】
特徴情報抽出部は、特徴情報として量子化ステップを抽出し、
符号化ノイズ特定部は、前記量子化ステップが第１の閾値より大きい符号化単位画像領域とのブロック境界をはさむ画素の差分値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項２０】
特徴情報抽出部は、特徴情報として量子化ステップを抽出し、
符号化ノイズ特定部は、前記量子化ステップが第１の閾値より大きい符号化単位画像領域のブロック境界をはさむ画素のうち、少なくとも何れか一方の画素の分散値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている上および左の符号化単位画像領域との境界を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項２１】
特徴情報抽出部は、特徴情報として量子化ステップを抽出し、
符号化ノイズ特定部は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている符号化単位画像領域の前記量子化ステップが閾値より大きい場合、その量子化ステップが閾値より大きい符号化単位画像領域と、現在復号している符号化単位画像領域の境界を符号化ノイズ領域と特定することを特徴とする請求項１記載の復号装置。
【請求項２２】
特徴情報抽出部は、特徴情報として量子化ステップを抽出し、
フィルタ制御部は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている符号化単位画像領域の量子化ステップと、現在復号している符号化単位画像領域の量子化ステップに基づいてフィルタ処理を制御することを特徴とする請求項１記載の復号装置。
【請求項２３】
特徴情報抽出部は、特徴情報として、画像の特徴を表す番組メタ情報を抽出し、
フィルタ制御部は、前記番組メタ情報に基づいてフィルタ制御を行うことを特徴とする請求項１記載の復号装置
【請求項２４】
番組メタ情報は、画像の変化の度合いを示す情報または輝度の変化の度合いを示す情報であることを特徴とする請求項２３記載の復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、符号化に基づいて発生するノイズを低減する復号装置および符号化装置に関するものである。
【背景技術】
【０００２】
従来、符号化により発生するノイズを低減する装置としては、例えば特許文献１に示すように、画像に対する動き補償予測、ブロック単位の直交変換及び量子化の各処理を用いて符号化された符号列から、各ブロックについての直交変換係数及び動きベクトルを含んだ符号化情報を抽出する符号化情報抽出ステップと、各ブロックについての動きベクトルに基づいて、参照フレームから各ブロックの参照領域を求める参照領域抽出ステップと、各ブロック及びその参照領域に重なる参照フレーム内のブロックについての、直交変換係数の各周波数成分の分布に基づいて、除去すべき符号化ノイズを検出する符号化ノイズ検出ステップとを備えたものがあった。
【０００３】
【特許文献１】特開２００１−２０４０２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のノイズ検出方法では、画像のブロック単位でノイズを検出している。このため、例えば、複数のブロックに亘って符号化ノイズが発生している場合は、符号化ノイズの発生状況が似たような傾向であっても、符号化ノイズ周辺の絵柄等によりそれぞれブロック特徴情報は必ずしも類似のものとは限らない。
このような点から、画像の特徴等によっては符号化ノイズを特定できない場合があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、どのような画像であっても効率的に符号化ノイズの発生を特定することのできる復号装置および符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る復号装置は、符号化ストリーム復号部で復号された復号データに基づいた符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報として抽出する特徴情報抽出部と、特徴情報抽出部で抽出された特徴情報に基づいて復号画像内の符号化ノイズ位置を特定する符号化ノイズ特定部と、符号化ノイズ特定部で特定された復号画像に対しフィルタ処理を行うフィルタ処理部と、特徴情報抽出部で抽出された特徴情報に基づいてフィルタ処理部のフィルタ処理を制御するフィルタ制御部とを備えたものである。
【発明の効果】
【０００７】
この発明の復号装置は、特徴情報抽出部において、復号データに基づいた符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報として抽出し、この特徴情報に基づいてフィルタ処理を制御するようにしたので、どのような画像であっても効率的に符号化ノイズの発生を特定することができ、復号画像の画質を改善することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１による復号装置を示す構成図である。
図において、復号装置は、符号化ストリーム復号部１１、復号画像再生部１２、特徴情報抽出部１３、符号化ノイズ特定部１４、フィルタ制御部１５、フィルタ処理部１６を備えている。
【０００９】
符号化ストリーム復号部１１は、符号化ストリーム２００を復号し、復号データ１１ａを出力する機能部である。復号画像再生部１２は、符号化ストリーム復号部１１から出力された復号データ１１ａに基づいて復号画像を再生して復号画像１２ａを出力する機能部である。特徴情報抽出部１３は、復号データ１１ａに基づいて、符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報として抽出し、特徴情報１３ａとして出力する機能部である。符号化ノイズ特定部１４は、特徴情報１３ａに基づいて符号化ノイズ位置を特定し、符号化ノイズ位置情報１４ａを出力する機能部である。フィルタ制御部１５は、特徴情報１３ａに基づいて、フィルタ処理部１６におけるフィルタ処理を制御するためのフィルタ制御信号１５ａを出力する機能部である。
【００１０】
次に、実施の形態１の動作について説明する。
本実施の形態では、各フレームをいくつかの画像ブロックに分割して、ブロック毎に符号化を行う。ここで、第一の符号化単位を画像ブロックとする。
符号化ストリーム２００は、符号化ストリーム復号部１１で復号され、復号データ１１ａを出力する。復号画像再生部１２は、入力した復号データ１１ａに従い復号画像２１を再生する。特徴情報抽出部１３は、入力した復号データ１１ａに基づいて、特徴情報１３ａを出力する。この特徴情報１３ａは、符号化情報または符号化ノイズ情報または復号画像の特徴情報であるが、これらの特徴情報は次のような情報である。
【００１１】
・符号化情報：ＭＰＥＧ−２等の符号化方式により符号化されたビットストリームを、符号化ストリーム復号部１１で復号した復号データ１１ａとして、量子化ステップ値のようにそのままの値が復号されるものや、差分動きベクトルや差分画像等、更に加工をすることにより動きベクトル等の符号化パラメータや復号画像を得ることができ、このような種々の情報を意味する。
【００１２】
・符号化ノイズ情報：符号化により生じるブロック境界に現れるブロック歪や、被写体エッジ周辺に現れるモスキートノイズなどを示す情報である。これらの符号化ノイズ情報は、実施の形態２以降で記載する通り、符号化された画像と符号化する前の入力画像との差分値演算等により符号化された画像に符号化ノイズが発生しているかどうかを検出してフラグを立て、復号部ではフラグが立てられた領域は符号化ノイズが発生していることを知ることができる。
【００１３】
・復号画像の特徴情報：画像の複雑度、線やエッジなど絵柄に関する情報、輝度や色情報等、画像に関わる特徴情報を意味する。尚、これらの情報は、符号化画像および復号画像に共通の情報である。
【００１４】
符号化ノイズ特定部１４は、特徴情報１３ａに基づいて復号画像内の符号化ノイズ位置を特定し、符号化ノイズ位置情報１４ａを出力する。フィルタ制御部１５は、特徴情報１３ａに基づいて、フィルタ処理部１６におけるフィルタ処理の制御をするためのフィルタ制御信号１５ａを出力する。フィルタ処理部１６は、復号画像１２ａにおいて、符号化ノイズ位置情報１４ａで指示された位置の画像に対し、フィルタ制御信号１５ａに従ってフィルタ処理を行い、フィルタ処理画像１６ａを出力する。
【００１５】
尚、符号化ストリーム２００は、圧縮効率から可変長符号化ストリームが一般的であるが、符号化ストリーム２００が固定長コードであってもよく、符号化ストリーム復号部１１は、符号化ストリーム２００を復号できればよいので、符号化ストリーム２００の形態および符号化ストリーム復号部１１の方式は任意でよく、本発明を制限するものではない。また、復号画像再生部１２は任意の復号処理でよく、ＭＰＥＧ−２やＭＰＥＧ−４またはベクトル量子化などに本発明は限定されない。更に、画像ブロックの形状およびブロックサイズによって本発明は制限されない。
【００１６】
以上のように、実施の形態１の復号装置によれば、符号化ストリームを復号する符号化ストリーム復号部と、符号化ストリーム復号部で復号された復号データに基づいて画像を再生する復号画像再生部と、復号データに基づいた符号化情報または符号化ノイズ情報または復号画像の特徴情報のいずれかを特徴情報として抽出する特徴情報抽出部と、特徴情報抽出部で抽出された特徴情報に基づいて復号画像内の符号化ノイズ位置を特定する符号化ノイズ特定部と、符号化ノイズ特定部で特定された復号画像に対しフィルタ処理を行うフィルタ処理部と、特徴情報抽出部で抽出された特徴情報に基づいてフィルタ処理部のフィルタ処理を制御するフィルタ制御部とを備えたので、どのような画像であっても効率的に符号化ノイズの発生を特定することのでき、その結果、指定された位置の符号化ノイズを低減して復号画像の画質を改善することが可能となる。
【００１７】
実施の形態２．
図２は、実施の形態２による符号化装置を示す構成図である。
図において、符号化装置は、符号化データおよび符号化画像生成部２１、ブロック境界差分値算出部２２、符号化ノイズフラグ生成部２３、可変長符号化部２４を備えている。
符号化データおよび符号化画像生成部２１は、入力画像１００から符号化データ２１ａおよび符号化画像２１ｂを生成する機能部である。ブロック境界差分値算出部２２は、入力画像１００と符号化画像２１ｂとに基づいて、ブロック境界の差分値を算出し、ブロック境界差分値２２ａとして出力する機能部である。符号化ノイズフラグ生成部２３は、ブロック境界差分値２２ａに基づいて符号化ノイズフラグ２３ａを出力する機能部である。可変長符号化部２４は、符号化データ２１ａに基づいて可変長符号化を行い、符号化ストリーム２００として出力する機能部である。
【００１８】
次に、実施の形態２の動作について説明する。
符号化データおよび符号化画像生成部２１は、入力画像１００を入力して符号化データ２１ａおよび符号化画像２１ｂを出力する。
図３は、入力画像と符号化画像との説明図である。
図において、１０２は入力画像１００内の画像ブロック、１０２は符号化画像２１ｂ内の画像ブロックで、画像ブロック１０１と画像ブロック１０２は同一形状で画面内の同一位置にある。
【００１９】
ブロック境界差分値算出部２２では、入力画像１００および符号化画像２１ｂを入力し、画像ブロック毎にブロック境界の各画素のブロック境界差分値２２ａを算出する。即ち、画像ブロック１０１のブロック境界画素をＸｉ（ｉ＝１，２，…）、画像ブロック１０２のブロック境界画素をＹｉ（ｉ＝１，２，…）、ブロック境界差分値２２ａをＤｉ（ｉ＝１，２，…）とすると、Ｄｉ＝Ｘｉ−Ｙｉである。符号化ノイズフラグ生成部２３では、ブロック境界差分値２２ａの絶対値が閾値より大きい場合、該当するブロック境界の画素に対応する符号化ノイズフラグ２３ａを出力する。可変長符号化部２４では、符号化データ２１ａおよび符号化ノイズフラグ２３ａを可変長符号化して符号化ストリーム２００を出力する。
【００２０】
尚、符号化データおよび符号化画像生成部２１は、任意の符号化データおよび符号化画像の生成を行えばよく、ＭＰＥＧ−２やＭＰＥＧ−４またはベクトル量子化などに本発明は限定されない。よって、符号化データおよび符号化画像生成部２１では、入力画像のみ、または入力画像のほかに符号化データおよび符号化画像生成部２１内部で既に符号化された画像を参照画像として記憶し、その参照画像を使用して符号化してもよい。尚、ブロック境界差分値算出部２２で、差分絶対値Ｄｉ＝｜Ｘｉ−Ｙｉ｜を算出してもよい。また、符号化ノイズフラグ生成部２３で差分値の絶対値演算を行わず、ブロック境界差分値２２ａが正値のときは正値用の閾値より大きい場合、ブロック境界差分値２２ａが負値のときは負値用の閾値より小さい場合に該当のブロック境界の画素に対して符号化ノイズフラグを立てるようにしてもよく、絶対値を使用した判定をするか、正負別々にして判定するか何れでもよく、本発明を制限するものではない。また、符号化ノイズフラグ２３ａは、フラグに画素位置情報を多重してもよく、または可変長符号化部２４にて符号化ノイズ位置がわかるようなストリーム多重をしてもよく、復号装置側で、符号化ストリームを復号する際符号化ノイズ位置が特定できればよい。
【００２１】
また、上記例では可変長符号化部２４としたが、固定長符号化部でもよく、符号化データ２１ａと符号化ノイズフラグ２３ａを多重して符号化ストリームを生成すればよく、ストリーム生成方法に本発明は依存しない。更に、上記符号化ノイズフラグ生成部２３ではブロック境界差分値２２ａの絶対値が閾値より大きい場合、該当するブロック境界の画素に対応する符号化ノイズフラグ２３ａを出力するようにしたが、出力する符号化ノイズフラグ２３ａの情報量を節約して、多重する符号化ストリーム２００の符号化効率を向上させるため、以下のようにしてもよい。
【００２２】
即ち、ブロック境界差分値２２ａの絶対値が閾値より大きい画素数をブロック境界の各辺で累算し、または全辺で累算をし、その累算値が第２の閾値より大きい場合該当するブロック境界の辺または全辺に対応する符号化ノイズフラグ２３ａを出力してもよい。また、ブロック境界差分値２２ａの絶対値を各辺で累算し、または全辺で累算し、その累算値が第３の閾値より大きい場合該当するブロック境界の辺または全辺に対応する符号化ノイズフラグ２３ａを出力してもよい。
【００２３】
尚、このような符号化装置から出力された符号化ストリーム２００を、例えば、実施の形態１で説明した復号装置で受信した場合、復号装置は次のような動作を行う。
【００２４】
上記符号化ノイズフラグ２３ａが多重された符号化ストリーム２００を符号化ストリーム復号部１１で復号して復号データ１１ａを出力する。特徴情報抽出部１３では、復号データ１１ａから符号化ノイズフラグ２３ａを抽出し、特徴情報１３ａとして出力する。符号化ノイズ特定部１４では、特徴情報１３ａである符号化ノイズフラグ２３ａに対応するブロック境界画素または辺または全辺を符号化ノイズと特定し、符号化ノイズ位置情報１４ａを出力する。フィルタ制御部５０では、特徴情報１３ａである符号化ノイズフラグ２３ａに対応するブロック境界画素または辺または全辺に対しフィルタ処理を行うよう制御するため、フィルタ制御信号１５ａを出力する。フィルタ処理部１６では、符号化ノイズ位置情報１４ａおよびフィルタ制御信号１５ａに従い、該当する画像に対しフィルタ処理を行い、フィルタ処理画像１６ａを出力する。
【００２５】
以上のように、実施の形態２の符号化装置によれば、入力画像をブロック単位に符号化する符号化部と、符号化部で符号化された画像と、符号化する前の入力画像とのブロック境界における差分値演算を行うブロック境界差分値算出部と、ブロック境界における差分値の絶対値が閾値より大きい場合、該当のブロック境界に対して符号化ノイズフラグを立てる符号化ノイズフラグ生成部と、符号化ノイズフラグ生成部で生成されたそのフラグを符号化データに多重して符号化ストリームとして出力する符号化部とを備えたので、復号画像を解析してブロック境界における符号化ノイズを検出する必要がなく、確実にブロック境界での符号化ノイズ位置を特定することができる。
【００２６】
実施の形態３．
図４は、実施の形態３の符号化装置を示す構成図である。
図示の符号化装置は、符号化データおよび符号化画像生成部２１、画素差分値または分散値算出部２５、符号化ノイズフラグ生成部２６、可変長符号化部２７を備えている。
【００２７】
符号化データおよび符号化画像生成部２１は、実施の形態２の符号化データおよび符号化画像生成部２１と同様に入力画像１００から符号化データ２１ａおよび符号化画像２１ｂを生成する機能部である。画素差分値または分散値算出部２５は、入力画像１００および符号化画像２１ｂから画素差分値または分散値を算出して、画素差分値または分散値２５ａとして出力する機能部である。符号化ノイズフラグ生成部２６は、画素差分値または分散値２５ａが所定の閾値より大きかった場合に符号化ノイズフラグ２６ａを出力する機能部である。可変長符号化部２７は、符号化データ２１ａに対して符号化ノイズフラグ２６ａを可変長符号化して符号化ストリーム２００を出力する機能部である。
【００２８】
次に、実施の形態３の動作について説明する。
符号化データおよび符号化画像生成部２１において、入力画像１００を入力して符号化データ２１ａおよび符号化画像２１ｂを出力する。画素差分値または分散値算出部２５では、入力画像１００および符号化画像２１ｂを入力し、画像領域毎に各画素の差分値を算出し、画像領域内の各画素に対応する分散値を算出する。
【００２９】
図５は、入力画像１００および符号化画像２１ｂとそれぞれの画像内の画像領域を示す説明図である。
図５において、１０３は入力画像１００内の画像領域、１０４は符号化画像２１ｂ内の画像領域で、画像領域１０３と画像領域１０４は同一形状で画面内の同一位置にある。尚、本実施の形態では画像領域１０３および画像領域１０４は、図３と同じ画像ブロックとする。
【００３０】
図６は、分散値算出で扱う差分値を示す。
図示のＤ１〜Ｄ９は、それぞれ入力画像１００の画像領域１０３と符号化画像２１ｂの画像領域１０４における画素値の差分値を示すものである。
【００３１】
即ち、画像領域１０３の画素をＸｉ（ｉ＝１，２，…）、画像領域１０４の画素をＹｉ（ｉ＝１，２，…）、差分値をＤｉ（ｉ＝１，２，…）とすると、Ｄｉ＝Ｘｉ−Ｙｉである。また、分散値は、図６に示すように差分値Ｄ５を中心にＤ１からＤ９までの９つの差分値により算出する。ここで、分散値σ2は次のように求められる。
【数１】
2007027980.tif 000003
【００３２】
尚、分散値が大きいほど領域内の画素値のばらつき度合いが高いことを表している。例えば、砂嵐のような画像や、細かい絵柄などは分散が大きく、雲の無い澄み切った空やのっぺりした絵柄などは分散が小さい。
【００３３】
また、分散値の算出方法は、図６に示す画素に限る必要はなく、図６とは扱う画素が異なってもよい。即ち、図６に示すような３×３画素に限らず、（水平×垂直）＝２×４画素の矩形、５×１画素の水平１行や、１×３画素の垂直３列の画素に基づいて分散値を出力するようにしてもよい。但し、全ての画素についてその算出方法は共通とする。
【００３４】
符号化ノイズフラグ生成部２６では、画素差分値または分散値２５ａにおける差分値の絶対値または分散値が閾値より大きい場合、該当する画像領域の画素に対応する符号化ノイズフラグ２６ａを出力する。尚、分散値が閾値より大きい場合に符号化ノイズフラグ２６ａを出力する理由は次の通りである。
【００３５】
即ち、上記の差分値Ｄｉが閾値より大きい場合は入力画像と符号化画像とに符号化による「ずれ」が生じていることを意味する。また、差分値Ｄｉに対する分散が閾値より大きい場合は、入力画像と符号化画像の差分にばらつきがあり、符号化による「ずれ」が均一でないことを意味する。このような場合は、符号化画像は入力画像と「ずれ」が生じて符号化画像にノイズが発生していると判断する。よって、ノイズが発生している領域に符号化ノイズフラグを立てることになる。
【００３６】
可変長符号化部２７では、符号化データ２１ａおよび符号化ノイズフラグ２６ａを可変長符号化して符号化ストリーム２００を出力する。
【００３７】
尚、符号化データおよび符号化画像生成部２１は、任意の符号化データおよび符号化画像の生成を行えばよく、ＭＰＥＧ−２やＭＰＥＧ−４またはベクトル量子化などに本発明は限定されない。よって、符号化データおよび符号化画像生成部２１では、入力画像のみ、または入力画像のほか符号化データおよび符号化画像生成部２１内部で既に符号化された画像を参照画像として記憶しその参照画像を使用して符号化してもよい。
【００３８】
尚、画素差分値または分散値算出部２５で、差分絶対値Ｄｉ＝｜Ｘｉ−Ｙｉ｜を算出してもよい。また、符号化ノイズフラグ生成部２６で差分値の絶対値演算を行わず、差分値が正値のときは正値用の閾値より大きい場合、差分値が負値のときは負値用の閾値より小さい場合に該当の画像領域の画素に対して符号化ノイズフラグを立てるようにしてもよく、絶対値を使用した判定をするか、正負別々にして判定するか何れでもよく、本発明を制限するものではない。また、符号化ノイズフラグ２６ａはフラグに画素位置情報を多重してもよく、または可変長符号化部２７にて符号化ノイズ位置が分かるようなストリーム多重をしてもよく、復号装置側で符号化ストリーム２００を復号する際、符号化ノイズ位置が特定できればよい。
【００３９】
また、上記例では可変長符号化部２７としたが、固定長符号化部でもよく、符号化データ２１ａと符号化ノイズフラグ２６ａを多重して符号化ストリームを生成すればよく、ストリーム生成方法に本発明は依存しない。
また、上記実施例では画像領域１０３および画像領域１０４は図３と同じ画像ブロックとしたが、画像領域は矩形ブロックでなくともよく、形状情報を符号化ノイズフラグ２６ａに含めればその形状はなんでもよい。また、画像領域を各画素としてもよく、その場合は符号化ノイズフラグ２６ａには画素位置情報を含める。
【００４０】
また、上記符号化ノイズフラグ生成部２６では、差分値の絶対値または分散値が閾値より大きい場合、該当する画像領域の画素に対応する符号化ノイズフラグ２６ａを出力するようにしたが、出力する符号化ノイズフラグ２６ａの情報量を節約して多重する符号化ストリーム２００の符号化効率を向上させるため、次のようにしてもよい。即ち、差分値の絶対値または分散値が閾値より大きい画素数を画像領域内で累算し、その累算値が第２の閾値より大きい場合該当する画像領域に対応する符号化ノイズフラグ２６ａを出力してもよい。
【００４１】
また、差分値の絶対値または分散値を画像領域内で累算し、その累算値が第３の閾値より大きい場合該当する画像領域に対応する符号化ノイズフラグ２６ａを出力してもよい。
【００４２】
また、符号化ノイズフラグ２６ａが多重された符号化ストリーム２００を実施の形態１で示した復号装置で受信した場合の動作は次の通りである。
即ち、符号化ストリーム２００を、符号化ストリーム復号部１１で復号して復号データ１１ａを出力する。特徴情報抽出部１３では、復号データ１１ａから符号化ノイズフラグ２６ａを抽出し、特徴情報１３ａとして出力する。符号化ノイズ特定部１４では、特徴情報１３ａである符号化ノイズフラグ２６ａに対応する画像領域内の画素または画像領域全体を符号化ノイズと特定し、符号化ノイズ位置情報１４ａを出力する。フィルタ制御部１５では、特徴情報１３ａである符号化ノイズフラグ２６ａに対応する画像領域内の画素または画像領域全体に対しフィルタ処理を行うよう制御するため、フィルタ制御信号１５ａを出力する。フィルタ処理部１６では、符号化ノイズ位置情報１４ａおよびフィルタ制御信号１５ａに従い、該当する画像に対しフィルタ処理を行い、フィルタ処理画像１６ａを出力する。
【００４３】
以上のように、実施の形態３の符号化装置によれば、入力画像を符号化した符号化画像と符号化データとを出力する符号化データおよび符号化画像生成部と、符号化画像と、入力画像との差分値演算または差分値に基づく分散値演算を行い、画素差分値または分散値を出力する画素差分値または分散値算出部と、画素差分値または分散値が閾値より大きい画像領域に対して符号化ノイズフラグを立てる符号化ノイズフラグ生成部と、符号化ノイズフラグを符号化データに多重して符号化ストリームを出力する可変長符号化部とを備えたので、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定することができる。
【００４４】
実施の形態４．
図７は、実施の形態４の符号化装置を示す構成図である。
図示の符号化装置は、符号化データおよび符号化画像生成部２１、画素差分値または分散値算出部２５、符号化ノイズフラグ生成部２６、第２の符号化データ生成部２８、可変長符号化部２９を備えている。ここで、符号化データおよび符号化画像生成部２１〜符号化ノイズフラグ生成部２６は、図４に示した実施の形態３と同様であるため、ここでの説明は省略する。
【００４５】
第２の符号化データ生成部２８は、入力画像１００と符号化画像２１ｂおよび符号化ノイズフラグ２６ａに基づいて第２の符号化データを生成し、この第２の符号化データ２８ａを出力するよう構成されている。また、可変長符号化部２９は、符号化データ２１ａと符号化ノイズフラグ２６ａに加えて、第２の符号化データ２８ａを多重して符号化ストリーム２００を出力するよう構成されている。
【００４６】
次に、実施の形態４の動作について説明する。
第２の符号化データ生成部２８は、符号化ノイズフラグ２６ａが立っている画像領域の入力画像１００および符号化画像２１ｂの差分画像を符号化して第２の符号化データを生成し、これを第２の符号化データ２８ａとして出力する。可変長符号化部２９では、符号化データ２１ａ、第２の符号化データ２８ａ、符号化ノイズフラグ２６ａを可変長符号化して多重化し、符号化ストリーム２００を出力する。これ以外の動作は実施の形態３と同様である。
【００４７】
尚、符号化データおよび符号化画像生成部２１は、任意の符号化データおよび符号化画像の生成を行えばよく、ＭＰＥＧ−２やＭＰＥＧ−４またはベクトル量子化などに本発明は限定されない。よって、符号化データおよび符号化画像生成部２１では、入力画像１００のみ、または入力画像１００の他、符号化データおよび符号化画像生成部２１内部で既に符号化された画像を参照画像として記憶し、その参照画像を使用して符号化してもよい。
【００４８】
また、画素差分値または分散値算出部２５で、差分絶対値Ｄｉ＝｜Ｘｉ−Ｙｉ｜を算出してもよい。尚、分散値の算出方法は図６に示す画素に限る必要はなく、図６とは扱う画素が異なってもよい。また、符号化ノイズフラグ生成部２６で差分値の絶対値演算を行わず、差分値が正値のときは正値用の閾値より大きい場合、差分値が負値のときは負値用の閾値より小さい場合に該当の画像領域の画素に対して符号化ノイズフラグを立てるようにしてもよく、絶対値を使用した判定をするか、正負別々にして判定するか何れでもよく本発明を制限するものではない。
【００４９】
また、符号化ノイズフラグ２６ａは、フラグに画素位置情報を多重してもよく、または可変長符号化部２９にて符号化ノイズ位置が分かるようなストリーム多重をしてもよく、復号装置側で符号化ストリームを復号する際、符号化ノイズ位置が特定できればよい。更に、上記実施の形態では可変長符号化部２９としたが、固定長符号化部でもよく、符号化データ２１ａと符号化ノイズフラグ２６ａを多重して符号化ストリームを生成すればよく、ストリーム生成方法に本発明は依存しない。
【００５０】
また、上記実施の形態では、画像領域１０３および画像領域１０４は、図３と同じ画像ブロックとしたが、画像領域は矩形ブロックでなくともよく、形状情報を符号化ノイズフラグ２６ａに含めればその形状はなんでもよい。更に、画像領域を各画素としてもよく、その場合は符号化ノイズフラグ２６ａには画素位置情報を含める。
【００５１】
また、上記符号化ノイズフラグ生成部２６では、差分値の絶対値または分散値が閾値より大きい場合、該当する画像領域の画素に対応する符号化ノイズフラグ２６ａを出力するようにしたが、出力する符号化ノイズフラグ２６ａの情報量を節約して多重する符号化ストリーム２００の符号化効率を向上させるため、以下のようにしてもよい。
【００５２】
即ち、差分値の絶対値または分散値が閾値より大きい画素数を画像領域内で累算し、その累算値が第２の閾値より大きい場合該当する画像領域に対応する符号化ノイズフラグ２６ａを出力してもよい。また、差分値の絶対値または分散値を画像領域内で累算し、その累算値が第３の閾値より大きい場合、該当する画像領域に対応する符号化ノイズフラグ２６ａを出力してもよい。
【００５３】
次に、このように構成された符号化装置から出力された符号化ストリーム２００を実施の形態１の復号装置で受信した場合の動作について説明する。
符号化データ２１ａ、第２の符号化データ２８ａおよび符号化ノイズフラグ２６ａが多重された符号化ストリーム２００を、符号化ストリーム復号部１１で復号して復号データ１１ａを出力する。復号画像再生部１２では、復号データ１１ａから符号化データ２１ａおよび第２の符号化データ２８ａを抽出し、符号化データ２１ａに対応する復号画像および第２の符号化データ２８ａに対応する復号差分画像をそれぞれ再生して加算し、復号画像１２ａを出力する。尚、該当の画像領域に第２の符号化データ２８ａがない場合は符号化データ２１ａに対応する復号画像のみを出力する。
【００５４】
特徴情報抽出部１３では符号化ノイズフラグ２６ａを抽出し、特徴情報１３ａとして出力する。符号化ノイズ特定部１４では特徴情報１３ａである符号化ノイズフラグ２６ａに対応する画像領域内の画素または画像領域全体を符号化ノイズと特定し、符号化ノイズ位置情報１４ａを出力する。フィルタ制御部１５では特徴情報１３ａである符号化ノイズフラグ２６ａに対応する画像領域内の画素または画像領域全体に対しフィルタ処理を行うよう制御するためフィルタ制御信号１５ａを出力する。フィルタ処理部１６では符号化ノイズ位置情報１４ａおよびフィルタ制御信号１５ａに従い、該当する画像に対しフィルタ処理を行い、フィルタ処理画像１６ａを出力する。
【００５５】
以上のように、実施の形態４の符号化装置によれば、符号化ノイズフラグが立っている画像領域の入力画像と符号化画像との差分画像を符号化して第２の符号化データを生成する第２の符号化データ生成部を備え、可変長符号化部は、符号化データと符号化ノイズフラグに加えて、前記第２の符号化データを多重して符号化ストリームを出力するようにしたので、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定することができる。また、復号する場合、符号化ノイズがあると特定された画像領域に対しては、符号化データおよび第２の符号化データを復号再生した通常の符号化画像と差分画像を加算して復号画像を再生すればよいため、符号化ノイズがある画像領域の符号化ノイズの影響を低減することができ、復号画像の再現性を向上させることができる。
【００５６】
実施の形態５．
図８は、実施の形態５の符号化装置の構成図である。
図示の符号化装置は、符号化データおよび符号化画像生成部２１、画素差分値または分散値算出部３０、符号化ノイズフラグ生成部３１、可変長符号化部２７を備えている。画素差分値または分散値算出部３０は、画素領域に対応する入力画像１００と符号化画像２１ｂとの差分値または差分値に基づいた分散値を算出してこれを差分値または分散値３０ａとして出力すると共に、画素領域に対応する入力画像１００に基づいた入力画像分散値３０ｂとして出力する機能部である。
【００５７】
また、符号化ノイズフラグ生成部３１は、差分値または分散値３０ａと入力画像分散値３０ｂとに基づき、差分値または分散値３０ａにおける差分値の絶対値または分散値が閾値より大きい画像領域に対して、入力画像分散値３０ｂが入力画像分散値用閾値よりも小さい場合に符号化ノイズフラグ３１ａを生成して出力する機能を有している。また、符号化データおよび符号化画像生成部２１および可変長符号化部２７は、実施の形態３と同様の構成であるため、ここでの説明は省略する。
【００５８】
次に、実施の形態５の動作について説明する。
符号化データおよび符号化画像生成部２１と可変長符号化部２７の動作は実施の形態３と同様であるため、画素差分値または分散値算出部３０と符号化ノイズフラグ生成部３１の動作について説明する。尚、本実施の形態では、画像領域１０３および画像領域１０４は、図５と同じブロックとする。
【００５９】
画素差分値または分散値算出部３０では、画素領域に対応する入力画像１００と符号化画像２１ｂとの差分値または差分値に基づいた分散値を、差分値または分散値３０ａとして算出する。この差分値または分散値３０ａの算出の動作は実施の形態３、４の画素差分値または分散値算出部２５と同じである。更に、画素差分値または分散値算出部３０では、画素領域に対応する入力画像に基づいた入力画像分散値３０ｂを算出する。入力画像分散値３０ｂは、入力画素Ｘ１を中心にＸ１からＸ９までの９つの差分値により算出する。
【００６０】
図９は、入力画像の分散値の説明図である。
図示例では、入力画素Ｘ５を中心にＸ１からＸ９までの入力画像１００の分散値を算出する。尚、入力画像分散値３０ｂの算出方法は図９に示す画素に限る必要はなく、図９とは扱う画素が異なってもよい。即ち、３×３画素の矩形ブロックでなくても良い。
【００６１】
符号化ノイズフラグ生成部３１では、差分値または分散値３０ａにおける差分値の絶対値または分散値が閾値より大きい画像領域に対して入力画像分散値３０ｂが入力画像分散値用閾値より小さい場合、入力画像の画像領域の絵柄が単調な傾向にあって符号化画像との差が大きいため符号化ノイズが目立つと判断し、符号化ノイズフラグ３１ａを出力する。これは次のような理由に基づくものである。
【００６２】
即ち、差分値または分散値３０ａにおける差分値の絶対値または分散値は入力画像１００と符号化画像２１ｂの差分値に係わる値である。一方、入力画像分散値３０ｂは、入力画像１００に対する値である。入力画像分散値３０ｂが入力画像分散値用閾値より小さい場合、入力画像１００の分散値を算出した領域の絵柄が単調な傾向にある。これは、分散が小さいので該当領域の画素の値のばらつきが小さいことを意味する。従って、画素の値のばらつきが小さい絵柄は単調な傾向にあると言える。
【００６３】
そして、入力画像の絵柄が単調な傾向にある場合に、差分値または分散値３０ａが閾値より大きい場合は、入力画像１００と符号化画像２１ｂに「ずれ」が生じていることを意味する。特に、差分値または分散値３０ａにおける分散値が大きい場合は該当の差分値Ｄｉの周辺で差分値にばらつきがあることを意味している。入力画像１００の絵柄が単調なのに符号化画像２１ｂとのずれにばらつきがあると、該当の差分値Ｄｉの周辺では絵柄が単調ではなくなっていると判断する。即ち、符号化ノイズが発生していると判断し、該当領域に符号化ノイズフラグを立てる。
【００６４】
尚、上記実施の形態において、符号化ノイズフラグ生成部３１で差分値の絶対値演算を行わず、差分値が正値のときは正値用の閾値より大きい場合、差分値が負値のときは負値用の閾値より小さい場合に該当の画像領域の画素に対して符号化ノイズフラグを立てるようにしてもよく、絶対値を使用した判定をするか、正負別々にして判定するか何れでもよく本発明を制限するものではない。また、符号化ノイズフラグ３１ａはフラグに画素位置情報を多重してもよく、または可変長符号化部２７にて符号化ノイズ位置が分かるようなストリーム多重をしてもよく、復号装置側で符号化ストリームを復号する際、符号化ノイズ位置が特定できればよい。
【００６５】
また、上記実施の形態では画像領域１０３および画像領域１０４は、図３と同じ画像ブロックとしたが、画像領域は矩形ブロックでなくともよく、形状情報を符号化ノイズフラグ３１ａに含めればその形状はなんでもよい。また、画像領域を各画素としてもよく、その場合は符号化ノイズフラグ３１ａには画素位置情報を含める。
【００６６】
また、上記符号化ノイズフラグ生成部３１では、差分値または分散値３０ａにおける差分値の絶対値または分散値が閾値より大きくかつ画像領域の入力画像の入力画像分散値３０ｂが入力画像分散値用閾値より小さい場合、該当する画像領域の画素に対応する符号化ノイズフラグ３１ａを出力するようにしたが、出力する符号化ノイズフラグ３１ａの情報量を節約して多重する符号化ストリーム２００の符号化効率を向上させるため、以下のようにしてもよい。
【００６７】
即ち、差分値の絶対値または分散値が閾値より大きく、かつ、画像領域の入力画像分散値３０ｂが入力画像分散値用閾値より小さい画素数を画像領域内で累算し、その累算値が第２の閾値より大きい場合、該当する画像領域に対応する符号化ノイズフラグ３１ａを出力してもよい。
【００６８】
また、差分値の絶対値または分散値および入力画像分散値３０ｂを画像領域内で累算し、差分値または分散値の累算値が第３の閾値より大きく、入力画像分散値３０ｂの累算値が入力画像分散値用閾値より小さい場合該当する画像領域に対応する符号化ノイズフラグ３１ａを出力してもよい。
【００６９】
また、このような実施の形態の符号化装置から出力された符号化ストリーム２００を受信した復号装置の動作としては、実施の形態３で説明した復号装置の動作と同様である。
【００７０】
以上のように、実施の形態５の符号化装置によれば、画素差分値または分散値算出部は、符号化画像と入力画像との、画素差分値または分散値を出力すると共に、入力画像の分散値を出力し、符号化ノイズフラグ生成部は、画素差分値または分散値が閾値より大きい画像領域で入力画像の分散値が入力画像分散値用閾値より小さい場合に符号化ノイズフラグを立てるようにしたので、復号する場合、入力画像の絵柄が単調な傾向にあって符号化画像との差が大きいため符号化ノイズが目立つ画像領域の位置を容易に特定することができる。従って、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定してフィルタ処理をすることができる。
【００７１】
実施の形態６．
図１０は、実施の形態６の符号化装置の構成図である。
図示の符号化装置は、符号化データおよび符号化画像生成部２１、画素差分値または分散値算出部３０、符号化ノイズフラグおよびフラグカウンタ生成部３２、可変長符号化部３３を備えている。ここで符号化データおよび符号化画像生成部２１および画素差分値または分散値算出部３０は、実施の形態５と同様の構成であるため、ここでの説明は省略する。また、本実施の形態では、画像領域１０３および画像領域１０４は図５と同様の画像ブロックとする。
【００７２】
符号化ノイズフラグおよびフラグカウンタ生成部３２は、実施の形態５の符号化ノイズフラグ生成部３１と同様に、差分値または分散値３０ａと入力画像分散値３０ｂとに基づいて符号化ノイズフラグ３２ａを出力すると共に、同一画像領域における符号化ノイズフラグの時間方向の連続性を復号装置側に伝達するため、直前に符号化した符号化画像の画像領域に対して符号化ノイズフラグが立っている場合はフラグカウンタ３２ｂをカウントアップし、立っていない場合はフラグカウンタ３２ｂをリセットする機能を有している。可変長符号化部３３は、符号化データ２１ａ、符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂを可変長符号化して多重し符号化ストリーム２００を出力する機能部である。
【００７３】
次に、実施の形態６の動作について説明する。
先ず、符号化データおよび符号化画像生成部２１および画素差分値または分散値算出部３０の動作は実施の形態５と同様である。画素差分値または分散値算出部３０から差分値または分散値３０ａおよび入力画像分散値３０ｂが出力されると、符号化ノイズフラグおよびフラグカウンタ生成部３２では、実施の形態５と同様の動作により符号化ノイズフラグ３２ａを出力する。また、符号化ノイズフラグおよびフラグカウンタ生成部３２では、フラグカウンタ３２ｂを出力する。このフラグカウンタ３２ｂは次のようなフラグとする。
【００７４】
直前に既に符号化した符号化画像フレームと現在符号化している符号化画像フレームに対して同一画像領域における符号化ノイズフラグ状況に応じて画像フレーム内の画像領域毎にフラグカウンタを設定する。即ち、直前に既に符号化した符号化画像フレーム内の同一画像領域における符号化ノイズフラグをフラグ（前）、現在符号化している符号化画像フレーム内の同一画像領域における符号化ノイズフラグをフラグ（現）とすると、フラグ（現）が立っていない場合、つまり、対象となる画像領域において符号化ノイズがないと判断しフラグカウンタは０リセットする。
【００７５】
また、フラグ（現）が立っている場合は、フラグカウンタを１インクリメントする。例えば、フラグ（前）が立っておらず、フラグ（現）が立っている場合は、フラグカウンタは０に対し１インクリメントするのでカウンタ値は１となる。また、フラグ（前）およびフラグ（現）ともに立っている場合は、フラグカウンタを１インクリメントし、例えば、対象の画像領域の前のフラグカウンタが２であれば３になる。フラグカウンタの値が大きいほど同一画像領域に対して時間方向により連続して符号化ノイズがあることを意味する。
【００７６】
可変長符号化部３３では、符号化データ２１ａ、符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂを可変長符号化して多重し符号化ストリーム２００を出力する。
【００７７】
また、このように構成された符号化装置から出力された符号化ストリーム２００を受信した復号装置側の動作については、実施の形態３の場合と同様である。即ち、符号化ストリーム復号部１１では符号化ストリーム２００を復号して復号データ１１ａを出力し、特徴情報抽出部１３では、復号データ１１ａより符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂを抽出して出力する。フィルタ制御部１５では、符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂに基づいてフィルタ処理を制御するための制御信号１５ａを出力する。符号化ノイズフラグ３２ａが立っている画像領域に対しフラグカウンタ３２ｂの値に応じフィルタ強度やフィルタの種類を変えてもよく、特定の制御方法に制限されない。
【００７８】
また、上記実施の形態６において、符号化ノイズフラグおよびフラグカウンタ生成部３２で差分値の絶対値演算を行わず、差分値が正値のときは正値用の閾値より大きい場合、差分値が負値のときは負値用の閾値より小さい場合に該当の画像領域の画素に対して符号化ノイズフラグを立てるようにしてもよく、絶対値を使用した判定をするか、正負別々にして判定するか何れでもよく本発明を制限するものではない。また、符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂは、フラグまたはフラグカウンタにそれぞれ画素位置情報を多重してもよく、または可変長符号化部３３にて符号化ノイズ位置が分かるようなストリーム多重をしてもよく、復号装置側で、符号化ストリームを復号する際、符号化ノイズ位置および該当位置のフラグカウンタが特定できればよい。
【００７９】
また、上記実施例では画像領域１０３および画像領域１０４は図５と同様の画像ブロックとしたが、画像領域は矩形ブロックでなくともよく、形状情報を符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂに含めればその形状はどのようなものであってもよい。また、画像領域を各画素としてもよく、その場合は符号化ノイズフラグ３２ａおよびフラグカウンタ３２ｂには画素位置情報を含める。
【００８０】
また、上記例では可変長符号化部３３としたが、固定長符号化部でもよく、符号化データ２１ａと符号化ノイズフラグ３２ａとフラグカウンタ３２ｂとを多重して符号化ストリームを生成すればよく、ストリーム生成方法に本発明は依存しない。
【００８１】
以上のように、実施の形態６の符号化装置によれば、入力画像を符号化した符号化画像と符号化データとを出力する符号化データおよび符号化画像生成部と、符号化画像と、入力画像との差分値演算または差分値に基づく分散値演算を行い、画素差分値または分散値を出力すると共に、入力画像の分散値を出力する画素差分値または分散値算出部と、画素差分値または分散値が閾値より大きい画像領域で、入力画像の分散値が入力画像分散値用閾値より小さい場合に符号化ノイズフラグを立てると共に、符号化画像毎に、符号化ノイズフラグが連続する場合はカウントアップし、連続しない場合はカウント値をリセットするフラグカウンタを出力する符号化ノイズフラグおよびフラグカウンタ生成部と、符号化ノイズフラグとフラグカウンタを符号化データに多重して符号化ストリームを出力する可変長符号化部とを備えたので、復号する場合、入力画像の絵柄が単調な傾向にあって符号化画像との差が大きいため符号化ノイズが目立つ画像領域の位置を容易に特定することができ、また対象となる画像領域に対して時間方向に同一画像領域で連続して符号化ノイズがあるかどうか判定することができる。従って、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定してフィルタ処理をすることができる。
【００８２】
実施の形態７．
実施の形態６では、符号化装置内の符号化ノイズフラグおよびフラグカウンタ生成部３２でフラグカウンタ３２ｂを生成し、可変長符号化部３３でフラグカウンタ３２ｂを可変長符号化して多重し符号化ストリーム２００を出力したが、符号化装置側ではなく、復号装置側でフラグカウンタを生成してもよく、これを実施の形態７として説明する。この場合、符号化装置側の構成および動作は、実施の形態５と同様である。尚、本実施の形態では画像領域１０３および画像領域１０４は図５と同様の画像ブロックとする。また、図面上の構成は図１と同様であるため、図１を援用して説明する。
【００８３】
符号化ストリーム復号部１１では、符号化ストリーム２００を復号し、復号データ１１ａを出力する。特徴情報抽出部１３では、復号データ１１ａに基づいて特徴情報１３ａを出力する。フィルタ制御部１５では特徴情報１３ａより符号化ノイズフラグ３１ａを読み出し、直前に既に復号した復号画像フレームと現在復号している復号画像フレームに対して符号化ノイズフラグ状況に応じて画像フレーム内の画像領域毎にフラグカウンタの設定更新を行う。即ち、直前に既に復号した復号画像フレーム内の同一画像領域における符号化ノイズフラグをフラグ（前）、現在復号している復号画像フレーム内の同一画像領域における符号化ノイズフラグをフラグ（現）とすると、フラグ（現）が立っていない場合、即ち対象となる画像領域において符号化ノイズがないと判断しフラグカウンタは０リセッする。
【００８４】
また、フラグ（現）が立っている場合は、フラグカウンタを１インクリメントする。たとえば、フラグ（前）が立っておらず、フラグ（現）が立っている場合は、フラグカウンタは０に対し１インクリメントするのでカウンタ値は１となる。また、フラグ（前）およびフラグ（現）ともに立っている場合は、フラグカウンタを１インクリメントし、例えば対象の画像領域の前のフラグカウンタが２であれば３になる。フラグカウンタの値が大きいほど同一画像領域に対して時間方向により連続して符号化ノイズがあることを意味する。また、フィルタ制御部１５では符号化ノイズフラグ３１ａおよび内部で設定更新したフラグカウンタに基づいてフィルタ処理を制御するための制御信号１５ａを出力する。
【００８５】
尚、上記実施の形態７において、符号化ノイズフラグ３１ａが立っている画像領域に対しフラグカウンタの値に応じフィルタ強度やフィルタの種類を変えてもよく、特定の制御方法に制限されない。また、上記実施の形態７では、画像領域１０３および画像領域１０４は図５と同様の画像ブロックとしたが、画像領域は矩形ブロックでなくともよく、形状情報を符号化ノイズフラグ３１ａおよびフラグカウンタに含めればその形状はなんでもよい。また、画像領域を各画素としてもよく、その場合は符号化ノイズフラグ３１ａおよびフラグカウンタには画素位置情報を含める。
【００８６】
以上のように、実施の形態７の復号装置によれば、符号化ストリームを復号する符号化ストリーム復号部と、符号化ストリーム復号部で復号された復号データに基づいて画像を再生する復号画像再生部と、復号データに基づいた符号化ノイズ情報を特徴情報として抽出する特徴情報抽出部と、特徴情報抽出部で抽出された特徴情報に基づいて復号画像内の符号化ノイズ位置を特定する符号化ノイズ特定部と、特徴情報抽出部で抽出された特徴情報に基づいて、符号化ノイズが連続して発生しているかを示すフィルタ制御信号を出力するフィルタ制御部と、フィルタ制御信号に基づいて、符号化ノイズ特定部で特定された復号画像に対してフィルタ処理を行うフィルタ処理部とを備えたので、符号化ノイズ特定部において、入力画像の絵柄が単調な傾向にあって符号化画像との差が大きいため符号化ノイズが目立つ画像領域の位置を特定することができ、また、フィルタ制御部において、対象となる画像領域に対して時間方向に同一画像領域で連続して符号化ノイズがあるかどうか判定することができる。従って、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定してフィルタ処理をすることができる。
【００８７】
実施の形態８．
実施の形態８は、符号化ノイズフラグおよびフラグカウンタに基づいて、復号画像の空間フィルタ処理および時間フィルタ処理を制御するようにしたものである。図面上の構成は、図１と同様であるため、図１を援用して説明する。
【００８８】
実施の形態８のフィルタ制御部１５は、特徴情報抽出部１３で抽出された符号化ノイズフラグに基づいて、実施の形態７と同様に、フラグカウンタを生成し、このフラグカウンタにより、復号画像の空間フィルタ処理や時間フィルタ処理を制御するためのフィルタ制御信号１５ａを出力するよう構成されている。また、フィルタ処理部１６は、このフィルタ制御信号１５ａに基づいてフィルタ処理を行う。これ以外の構成は実施の形態１と同様であるため、ここでの説明は省略する。
【００８９】
このように構成された実施の形態８の復号装置において、フィルタ制御部１５では、生成したフラグカウンタが０の場合は、対象となる画像領域には符号化ノイズがないと判断して、空間フィルタおよび時間フィルタとも行わないよう制御するフィルタ制御信号１５ａを出力する。また、フラグカウンタが１の場合は、対象となる画像領域には直前の復号フレームの同一位置の画像領域には符号化ノイズがなく、現在復号している復号フレームの同一位置の画像領域にのみ符号化ノイズがあると判断し、空間フィルタのみ行うよう制御するフィルタ制御信号１５ａを出力する。またフラグカウンタが２以上の場合は、対象となる画像領域には以前に復号した復号フレームの同一位置の画像領域および現在復号している復号フレームの同一位置の画像領域に共に符号化ノイズがある、即ち、符号化ノイズが連続して発生していると判断し、空間フィルタおよび時間フィルタの両方を行うよう制御するフィルタ制御信号１５ａを出力する。これ以外の動作は上記実施の形態７と同様である。
【００９０】
尚、上記実施の形態８において、時間フィルタ処理はフィルタ処理部１６で現在復号している復号画像フレームの他、既に復号された復号画像フレームの画像を用いる。符号化ノイズフラグが立っている画像領域に対しフラグカウンタの値に応じ時間フィルタまたは空間フィルタのフィルタ強度やフィルタの種類を変えてもよく、特定の制御方法に制限されない。
【００９１】
以上のように実施の形態８の復号装置によれば、フィルタ制御部は、符号化ノイズが連続して発生している場合は、時間方向のフィルタ処理を行うようフィルタ制御信号を出力するようにしたので、時間的に連続して符号化ノイズがある画像領域に対して時間フィルタ処理を行うことで空間的なノイズ低減のみならず時間方向のノイズを低減して復号画像の画質を改善することが可能となる。また、復号画像を解析して画像領域における符号化ノイズを検出する必要がなく、確実に画像領域での符号化ノイズ位置を特定してフィルタ処理をすることができる。
【００９２】
実施の形態９．
実施の形態２から実施の形態８では、符号化ノイズフラグ２３ａ，２６ａ，３１ａ，３２ａは、画像領域に対するフラグであったが、実施の形態９では、単にフラグのオン／オフ情報だけでなく、フラグに画像領域の位置情報または符号化ノイズ強度情報を含むようにする。即ち、符号化ノイズフラグ生成部２３，２６，３１および符号化ノイズフラグおよびフラグカウンタ生成部３２は、画像領域の位置情報または符号化ノイズ強度情報を含む符号化ノイズフラグを出力する。そして、可変長符号化部２４，２７，２９，３３では、このような符号化ノイズフラグを含んだ符号化ストリーム２００を出力する。これ以外の構成および動作は、上記実施の形態２から実施の形態８と同様である。
【００９３】
以上のように、実施の形態９によれば、符号化ノイズフラグは、画像領域の位置情報または符号化ノイズ強度情報を含むようにしたので、復号する場合に、対象となる画像領域が容易に特定でき、また、符号化ノイズの強度に基づいてフィルタ制御することができる。
【００９４】
実施の形態１０．
図１１は、実施の形態１０の復号装置の構成図である。
図示の装置は、符号化ストリーム復号部１１、復号画像再生部１２、フィルタ制御部１５、フィルタ処理部１６、特徴情報抽出部１７、符号化ノイズ特定部１８を備えている。ここで、特徴情報抽出部１７、符号化ノイズ特定部１８以外の構成は、図１に示した実施の形態１，７，８のいずれかと同様であるため、対応する部分に同一符号を付してその説明は省略する。
【００９５】
特徴情報抽出部１７は、復号データ１１ａから特徴情報として動きベクトル範囲を抽出し、符号化単位画像領域を中心にして動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。符号化ノイズ特定部１８は、分散値が閾値より大きい画素の領域が、分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値の大きい領域を符号化ノイズ領域と特定するよう構成されている。
【００９６】
次に、実施の形態１０の動作について説明する。
符号化ストリーム復号部１１および復号画像再生部１２の動作は、実施の形態１の動作と同様である。特徴情報抽出部１７では、復号データ１１ａより動きベクトルおよび動き探索範囲を抽出する。一般的に、動いている画像の方が静止している画像より符号化ノイズが出やすい傾向がある。例えば、背景が静止していて手前の被写体が動いている場合などである。この場合、静止している背景領域は手前で動いている領域に比べ予測が当たりやすい傾向があり、例えば符号化画像の再現性を上げるために量子化ステップが小さくしても符号量の少ない符号化をしやすくなる。一方、動いている領域は被写体の形状や大きさまたは輝度値などが異なるといった理由により予測が当たりにくい場合がある。この場合、符号化により発生した高域成分を量子化処理することにより、復号時に高域成分の再現性が悪くなるため、符号化ノイズとして復号画像に現れることになる。
【００９７】
また、ＭＰＥＧ−２などの符号化方式では、動きベクトルの範囲情報を符号化ストリームに多重している。従って、動きベクトルはこの動きベクトル範囲をはみ出すことはない。よって、既に復号したフレームでの動きベクトルはこの動きベクトル範囲内の何れかのベクトルである。符号化を行う場合、既に符号化された画像を参照画像にして動きベクトルにより予測を行うため、この動きベクトル範囲内に参照画像がある。そこで、特徴情報抽出部１７では、復号データ１１ａより動きベクトルおよび動き範囲情報を抽出し、動きベクトルが発生している画像領域に対して復号画像内の動きベクトル範囲を決定する。
【００９８】
図１２は、復号画像フレーム内の復号単位ブロックおよび動きベクトル範囲を図示したものである。
図１３は、復号画像フレーム内の複数のブロックで動きベクトルが存在した場合の復号単位ブロックと動きベクトル範囲を図示したものである。
図１４は、復号画像フレーム内の複数のブロックで動きベクトルが存在した場合の復号単位ブロックと動きベクトル範囲の別の例を図示したものである。
【００９９】
特徴情報抽出部１７では、これらの図に示すように、復号画像フレーム３００内の動きベクトルが発生している復号単位ブロック（符号化単位画像領域）３２０または３２１または３２２に対して復号画像フレーム３００内の動きベクトル範囲３１０または３１１または３１２を決定する。そして、図１３に示すように動きベクトルが発生している画像領域が隣接している場合は動きベクトル範囲はマージする。更に、特徴情報抽出部１７では、動きベクトル範囲３１０または３１１または３１２内の画像のエッジ部を抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を算出して出力する。
【０１００】
符号化ノイズ特定部１８では、前記分散値が閾値より大きい画像領域が閾値より小さい画像領域より狭く（面積が小さく）かつ前記分散値の大きい画像領域が離散して分布している場合、分散値の大きい画像領域を符号化ノイズ領域と特定する。尚、離散して分布しているかどうかは、指定した画像領域内で分散値の大きい画像領域の数が任意の閾値より大きい場合に離散して分布していると判断する。また、エッジ部の抽出方法は任意でよい。また、符号化単位画像領域は矩形に限定されるものではなく、どのような形状であってもよい。
【０１０１】
以上のように、実施の形態１０の復号装置によれば、特徴情報抽出部は、動きベクトル範囲を抽出し、符号化単位画像領域を中心にして動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が閾値より大きい画素の領域が分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値の大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲を限定することができ、効率的な処理が可能となる。
【０１０２】
実施の形態１１．
実施の形態１１の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１０３】
実施の形態１１における特徴情報抽出部１７は、復号データ１１ａより特徴情報として量子化ステップおよび動きベクトル範囲情報を抽出し、符号化単位画像領域を中心にして抽出された動きベクトル範囲内の画像に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ分散値の大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値の大きい領域を符号化ノイズ領域と特定するよう構成されている。その他の構成は、実施の形態１０と同様である。
【０１０４】
このように構成された実施の形態１１の復号装置では、特徴情報抽出部１７は、動きベクトルおよび動きベクトル範囲情報と共に、量子化ステップを特徴情報として抽出する。また、動きベクトルがある画像領域を中心として動きベクトル範囲内の画像に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める動作は実施の形態１０と同じである。
【０１０５】
更に、符号化ノイズ特定部１８では、前記分散値が第１の閾値より大きい画素の領域が、前記分散値が第１の閾値より小さい画素の領域より狭く、かつ前記分散値が第１の閾値より大きい画素が離散して分布し、かつ前記分散値が第１の閾値より大きい画素を含む画像領域に対する前記量子化ステップが第２の閾値より大きい場合前記分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定する。これは量子化ステップがある程度小さい場合は、符号化のノイズの影響が低いためである。逆に、量子化ステップが小さい場合に符号化ノイズ低減フィルタを施すと例えば復号画像がぼけるなど画質に影響を与えかねない恐れがある。
【０１０６】
尚、上記実施の形態１１において、第１の閾値、第２の閾値は任意である。また、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１０７】
以上のように、実施の形態１１の復号装置によれば、特徴情報抽出部は、量子化ステップおよび動きベクトル範囲を抽出し、符号化単位画像領域を中心にして動きベクトル範囲内の画像に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲および条件を限定することができ、効率的な処理が可能となる。
【０１０８】
実施の形態１２．
実施の形態１２の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１０９】
実施の形態１２における特徴情報抽出部１７は、復号データ１１ａより特徴情報として動きベクトルおよび動きベクトル範囲を抽出し、符号化単位画像領域を中心にして動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する動きベクトルが第２の閾値より大きい場合、分散値の大きい領域を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１１０】
次に、実施の形態１２の動作について説明する。
実施の形態１０の符号化ノイズ特定部１８では、分散値が閾値より大きい画素の領域が、分散値が閾値より小さい画素の領域より狭く、かつ分散値が閾値より大きい画素が離散して分布し、かつ、分散値が閾値より大きい画素を含む画像領域に対する量子化ステップが閾値より大きい場合、分散値が閾値より大きい領域を符号化ノイズ領域と特定したが、実施の形態１２の符号化ノイズ特定部１８では、量子化ステップを閾値と比較する代わりに動きベクトルの大きさを閾値と比較する。
【０１１１】
尚、動きベクトルがある画像領域を中心として動きベクトル範囲内の画像に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める特徴情報抽出部１７の動作は実施の形態１０と同じである。符号化ノイズ特定部１８では、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する動きベクトルの大きさが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定する。
【０１１２】
ここで動きベクトルの大きさは二次元的な大きさ（距離）とする。尚、動きベクトルの大きさを水平成分および垂直成分それぞれ個別の閾値により大きさの判定をしてもよい。撮影するカメラの性能および設定によるが、動きが早いほど解像度感が低い傾向にある。よって、動きベクトルの大きさが大きいほど予測効率が低くなり符号化ノイズが発生する可能性が高くなる。そのため、まず分散値の分布状況により符号化ノイズの画像領域を絞り込み、さらに動きベクトルの大きさにより符号化ノイズの画像領域を特定する。
【０１１３】
尚、上記実施の形態１２において、第１の閾値、第２の閾値は任意である。また、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１１４】
以上のように、実施の形態１２の復号装置によれば、特徴情報抽出部は、動きベクトルおよび動きベクトル範囲を抽出し、符号化単位画像領域を中心にして動きベクトル範囲内の画像に対してエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する動きベクトルが第２の閾値より大きい場合、分散値の大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲および条件を限定することができ、効率的な処理が可能となる。
【０１１５】
実施の形態１３．
実施の形態１３の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１１６】
実施の形態１３における特徴情報抽出部１７は、復号データ１１ａより特徴情報として動きベクトルを抽出し、この動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が閾値より大きい画素の領域が分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値が閾値より大きい領域を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は、実施の形態１０と同様であるため、ここでの説明は省略する。
【０１１７】
次に、実施の形態１３の動作について説明する。
実施の形態１０では、特徴情報抽出部１７において、復号データ１１ａより動きベクトルおよび動きベクトル範囲情報を出力し、動きベクトルが発生している画像領域に対して復号画像内の動きベクトル範囲内の画像に対しエッジ部を抽出したが、実施の形態１３の特徴情報抽出部１７では、動きベクトルに接する符号化単位画像領域に対しエッジを抽出し抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める。尚、エッジ部の抽出方法は任意でよい。
【０１１８】
図１５は、復号画像フレーム内の復号単位ブロックおよび動きベクトルおよび動きベクトルに接する復号単位ブロックを示す説明図である。ここで、復号画像フレーム３００は、図１２〜図１４の復号画像フレーム３００と同様の復号画像フレームを示し、図中の３３０は動きベクトル、３４０は動きベクトル３３０に接する画像領域である。尚、３２０は図１２と同様に復号単位ブロック（符号化単位画像領域）を示している。
【０１１９】
現在復号している画像領域の動きベクトルが過去の復号フレーム内の同一画像領域の動きベクトルや現在復号している画像領域の周辺の画像領域の動きベクトルと相関が高い場合、動きベクトルは似たような方向および似たような大きさになる。この場合、動きベクトル範囲内のうちある特定の方向の領域にベクトルが発生する可能性が高いことになる。また、その特定の領域は動きベクトルによる予測符号化を行う確率が高いため、背景など動きベクトルの出ない領域に比べ符号化ノイズが出やすくなる。よって、特徴情報抽出部１７は、図１５に示すように動きベクトル３３０に接する画像領域３４０に対してエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める。そして、符号化ノイズ特定部１８では、この分散値が閾値より大きい画像領域が、分散値が閾値より小さい画像領域より狭く、かつ、分散値が閾値より大きい画像領域が離散して分布している場合、分散値が閾値より大きい画像領域を符号化ノイズ領域と特定する。
【０１２０】
尚、上記実施の形態１３において、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１２１】
以上のように、実施の形態１３の復号装置によれば、特徴情報抽出部は、動きベクトルを抽出し、動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が閾値より大きい画素の領域が分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値が閾値より大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲を限定することができ、効率的な処理が可能となる。
【０１２２】
実施の形態１４．
実施の形態１４の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１２３】
実施の形態１４における特徴情報抽出部１７は、復号データ１１ａより特徴情報として量子化ステップおよび動きベクトルを抽出し、動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定するよう構成されている。
【０１２４】
次に、実施の形態１４の動作について説明する。
実施の形態１３では、特徴情報抽出部１７で動きベクトルを抽出したが、実施の形態１４では更に量子化ステップを抽出する。また、動きベクトルに接する符号化単位画像領域に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める動作は実施の形態１３と同じである。
【０１２５】
更に、符号化ノイズ特定部１８では、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定する。これ以外の動作は実施の形態１３と同様であるため、ここでの説明は省略する。尚、上述した第１の閾値、第２の閾値は任意である。また、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１２６】
以上のように、実施の形態１４の復号装置によれば、特徴情報抽出部は、量子化ステップおよび動きベクトルを抽出し、動きベクトルに接する符号化単位画像領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲および条件を限定することができ、効率的な処理が可能となる。
【０１２７】
実施の形態１５．
実施の形態１５の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１２８】
実施の形態１５における特徴情報抽出部１７は、復号データ１１ａより特徴情報として動きベクトルを抽出し、動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が閾値より大きい画素の領域が、分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値が閾値より大きい領域を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１２９】
次に、実施の形態１５の動作について説明する。
実施の形態１０では、特徴情報抽出部１７が、復号データ１１ａより動きベクトルおよび動きベクトル範囲情報を出力し、動きベクトルが発生している画像領域に対して復号画像内の動きベクトル範囲内の画像に対しエッジ部を抽出した。実施の形態１５の特徴情報抽出部１７では、動きベクトルを抽出し、抽出された動きベクトルが閾値より大きい符号化単位画像領域に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める。これは実施の形態１２で記載したように、撮影するカメラの性能および設定によるが、動きが早いほど解像度感が低い傾向にあり、動きベクトルの大きさが大きいほど予測効率が低くなり符号化ノイズが発生する可能性が高くなるためである。尚、エッジ部の抽出方法は任意でよい。
【０１３０】
符号化ノイズ特定部１８は、分散値が閾値より大きい画像領域が、分散値が閾値より小さい画像領域より狭く、かつ、分散値が閾値より大きい画像領域が離散して分布している場合、分散値が閾値より大きい画像領域を符号化ノイズ領域と特定する。これ以外の動作は実施の形態１０と同様である。尚、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１３１】
以上のように、実施の形態１５の復号装置によれば、特徴情報抽出部は、動きベクトルを抽出し、動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が閾値より大きい画素の領域が、分散値が閾値より小さい画素の領域より狭く、かつ、分散値が閾値より大きい画素が離散して分布している場合、分散値が閾値より大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲を限定することができ、効率的な処理が可能となる。
【０１３２】
実施の形態１６．
実施の形態１６の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１３３】
実施の形態１６における特徴情報抽出部１７は、復号データ１１ａより特徴情報として量子化ステップおよび動きベクトルを抽出し、動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めるよう構成されている。また、符号化ノイズ特定部１８は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１３４】
次に、実施の形態１６の動作について説明する。
実施の形態１５では、特徴情報抽出部１７において、動きベクトルを抽出したが、実施の形態１６では更に量子化ステップを抽出する。尚、動きベクトルが閾値より大きい符号化単位画像領域に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求める動作は実施の形態１５と同じである。
【０１３５】
そして、符号化ノイズ特定部１８では、分散値が第１の閾値より大きい画像領域が、分散値が第１の閾値より小さい画像領域より狭く、かつ、分散値が第１の閾値より大きい画像領域が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい画像領域を符号化ノイズ領域と特定する。これ以外の動作は実施の形態１５と同様であるため、その説明は省略する。尚、上述した第１の閾値、第２の閾値は任意である。また、符号化単位画像領域は矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１３６】
以上のように、実施の形態１６の復号装置によれば、特徴情報抽出部は、量子化ステップおよび動きベクトルを抽出し、動きベクトルが閾値より大きい符号化単位領域に対しエッジを抽出して、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求め、符号化ノイズ特定部は、分散値が第１の閾値より大きい画素の領域が、分散値が第１の閾値より小さい画素の領域より狭く、かつ、分散値が第１の閾値より大きい画素が離散して分布し、かつ、分散値が第１の閾値より大きい画素を含む画像領域に対する量子化ステップが第２の閾値より大きい場合、分散値が第１の閾値より大きい領域を符号化ノイズ領域と特定するようにしたので、ノイズ領域の特定が必要な範囲および条件を限定することができ、効率的な処理が可能となる。
【０１３７】
実施の形態１７．
実施の形態１７の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１３８】
実施の形態１７における特徴情報抽出部１７は、復号データ１１ａより特徴情報として量子化ステップを抽出するよう構成されている。また、符号化ノイズ特定部１８は、特徴情報抽出部１７で抽出された量子化ステップが閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様である。
【０１３９】
次に、実施の形態１７の動作について説明する。
図１６は、復号画像フレーム内の復号単位ブロック（符号化単位画像領域）およびブロック境界を図示したものである。
復号画像フレーム３００は、図１５と同様の復号画像フレームを示し、ブロック（Ｑｃ）３２３は現在復号しているブロック（符号化単位画像領域）、ブロック（Ｑｕ）３２４はブロック３２３の真上に接するブロック、ブロック（Ｑｌ）３２５はブロック３２３の左に接するブロック、ブロック境界３２６は、ブロック３２３およびブロック３２４との境界、ブロック境界３２７は、ブロック３２３とブロック３２５との境界を示している。
【０１４０】
上述した実施の形態１５では、特徴情報抽出部１７において動きベクトルを抽出し、抽出された動きベクトルが閾値より大きい符号化単位画像領域に対しエッジを抽出し、抽出されたエッジ部およびエッジ部周辺の画素の分散値を求めていたが、実施の形態１７の特徴情報抽出部１７では、特徴情報として量子化ステップを抽出する。そして、符号化ノイズ特定部１８では、量子化ステップが閾値より大きい画像領域に接する画像領域のうち、図１６に示すように、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定する。これは量子化ステップが大きいほど符号化ノイズ（例えばブロック歪）が発生する可能性が高くなるためである。また、上および左の画像領域との境界について符号化ノイズ領域の特定をしたのは、符号化ノイズ領域特定の処理の効率化のためである。例えば、画像領域が正方ブロックの場合、ブロックの４辺すべてに対し周辺のブロックとの符号化ノイズを判定することも可能であるが、隣接するブロックの判定と重複することになる。
【０１４１】
尚、例えば、下や右から復号処理を行うといった異なる復号方法等であれば、このような下や右の画像領域との境界について符号化ノイズを特定する、といったように、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。また、ブロックは図１６に示すような矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１４２】
以上のように、実施の形態１７の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップを抽出し、符号化ノイズ特定部は、量子化ステップが閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するようにしたので、効率的な符号化ノイズ領域の特定処理が可能となる。
【０１４３】
実施の形態１８．
実施の形態１８の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１４４】
実施の形態１８における特徴情報抽出部１７は、特徴情報として量子化ステップおよび動きベクトルを抽出するよう構成されている。また、符号化ノイズ特定部１８は、量子化ステップが第１の閾値より大きく、かつ、動きベクトルが第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、その説明は省略する。
【０１４５】
次に、実施の形態１８の動作について説明する。
実施の形態１７では、特徴情報抽出部１７で量子化ステップを抽出したが、実施の形態１８の特徴情報抽出部１７では、更に動きベクトルを抽出する。そして、符号化ノイズ特定部１８では、量子化ステップが第１の閾値より大きく、かつ、動きベクトルが第２の閾値より大きい画像領域（復号単位ブロック）に接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定する。これは量子化ステップが大きくかつ動きベクトルが大きいほど符号化ノイズ（たとえばブロック歪）が発生する可能性が高くなるためである。また、上および左の画像領域との境界について符号化ノイズ領域の特定をしたのは、符号化ノイズ領域特定の処理の効率化のためである。
【０１４６】
尚、上記実施の形態１８において、第１の閾値、第２の閾値は任意である。また、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。更に、ブロックは矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１４７】
以上のように、実施の形態１８の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップおよび動きベクトルを抽出し、符号化ノイズ特定部は、量子化ステップが第１の閾値より大きく、かつ、動きベクトルが第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するようにしたので、効率的な符号化ノイズ領域の特定処理が可能となる。
【０１４８】
実施の形態１９．
実施の形態１９の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１４９】
実施の形態１９における特徴情報抽出部１７は、特徴情報として量子化ステップを抽出するよう構成されている。また、符号化ノイズ特定部１８は、量子化ステップが第１の閾値より大きい符号化単位画像領域とのブロック境界をはさむ画素の差分値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１５０】
次に、実施の形態１９の動作について説明する。
特徴情報抽出部１７は、実施の形態１７における特徴情報抽出部１７と同じ動作であるため、ここでの説明は省略する。実施の形態１７では、符号化ノイズ特定部１８で、量子化ステップが閾値より大きい画像領域（復号単位ブロック）に接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定したが、実施の形態１９の符号化ノイズ特定部１８では、量子化ステップが第１の閾値より大きい画像領域の画像境界をはさむ画素の差分値が第２の閾値より大きい画像領域と接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定する。
【０１５１】
即ち、図１６で示す復号画像フレームを例とした場合、「量子化ステップが第１の閾値より大きい画像領域の画像境界をはさむ画素の差分値が第２の閾値より大きい画像領域」をブロック３２３とすると、「ブロック３２３と接する画像領域のうち、既に復号処理を終えている上および左の画像領域」はブロック３２４，３２５であり、その境界はブロック境界３２６，３２７となる。
【０１５２】
このような境界を符号化ノイズ領域とする理由は、量子化ステップが大きいほど符号化ノイズ（例えばブロック歪）が発生する可能性が高くなるが、実際に画像境界の差分値の大きさを調べることにより符号化ノイズをより確実に判定できるからである。
【０１５３】
尚、上記実施の形態１９において、第１、第２の閾値は任意の値である。また、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。更に、ブロックは矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１５４】
以上のように、実施の形態１９の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップを抽出し、符号化ノイズ特定部は、量子化ステップが第１の閾値より大きい符号化単位画像領域とのブロック境界をはさむ画素の差分値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている符号化単位画像領域との境界を符号化ノイズ領域と特定するようにしたので、効率的で確度の高い符号化ノイズ領域の特定処理が可能となる。
【０１５５】
実施の形態２０．
実施の形態２０の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１５６】
実施の形態２０における特徴情報抽出部１７は、特徴情報として量子化ステップを抽出するよう構成されている。また、符号化ノイズ特定部１８は、量子化ステップが第１の閾値より大きい符号化単位画像領域のブロック境界をはさむ画素のうち、少なくとも何れか一方の画素の分散値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち既に復号処理を終えている上および左の符号化単位画像領域との境界を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１５７】
次に、実施の形態２０の動作について説明する。
特徴情報抽出部１７の動作は実施の形態１７と同じ動作であるため、その説明は省略する。また、実施の形態１９では、符号化ノイズ特定部１８で、量子化ステップが第１の閾値より大きい画像領域（復号画像ブロック）の画像境界をはさむ画素の差分値が第２の閾値より大きい画像領域と接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定したが、実施の形態２０の符号化ノイズ特定部１８では、量子化ステップが第１の閾値より大きい画像領域の画像境界をはさむ画素のうち少なくとも何れか一方の画素の分散値が第２の閾値より大きい画像領域と接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定する。
【０１５８】
これは、対象となる画像領域境界部の分散値の大きさを調べることにより、境界部周辺の画素値の分布状況がわかるためである。分散値が大きいほど境界部周辺の画素値のばらつき度合いが大きいことを意味する。尚、分散値は図９に示すように対象となる画素を中心に周囲の画素を用いて求めても、他の画素を用いて分散値を算出してもよい。量子化ステップが大きいほど符号化ノイズ（たとえばブロック歪）が発生する可能性が高くなるが、実際に画像境界の分散値の大きさを調べることにより符号化ノイズをより確実に判定できる。
【０１５９】
尚、上記実施の形態２０において、第１、第２の閾値は任意の値である。また、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。更に、ブロックは矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１６０】
以上のように、実施の形態２０の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップを抽出し、符号化ノイズ特定部は、量子化ステップが第１の閾値より大きい符号化単位画像領域のブロック境界をはさむ画素のうち、少なくとも何れか一方の画素の分散値が第２の閾値より大きい符号化単位画像領域と接する符号化単位画像領域のうち、既に復号処理を終えている上および左の符号化単位画像領域との境界を符号化ノイズ領域と特定するようにしたので、効率的で確度の高い符号化ノイズ領域の特定処理が可能となる。
【０１６１】
実施の形態２１．
実施の形態２１の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１６２】
実施の形態２１における特徴情報抽出部１７は、特徴情報として量子化ステップを抽出するよう構成されている。また、符号化ノイズ特定部１８は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている符号化単位画像領域の量子化ステップが閾値より大きい場合、その量子化ステップが閾値より大きい符号化単位画像領域と、現在復号している符号化単位画像領域の境界を符号化ノイズ領域と特定するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１６３】
次に、実施の形態２１の動作について説明する。
特徴情報抽出部１７の動作は実施の形態１７と同様であるため、ここでの説明は省略する。実施の形態１７では、符号化ノイズ特定部１８で、量子化ステップが閾値より大きい画像領域（復号画像ブロック）に接する画像領域のうち、既に復号処理を終えている上および左の画像領域との境界を符号化ノイズ領域と特定したが、実施の形態２１の符号化ノイズ特定部１８では、現在復号している画像領域に隣接し、かつ、既に復号処理を終えている上または左の画像領域の量子化ステップが閾値より大きい場合、その量子化ステップが閾値より大きいブロックと現在復号している画像領域の境界を符号化ノイズ領域と特定する。これは量子化ステップが大きいほど符号化ノイズ（たとえばブロック歪）が発生する可能性が高くなるためである。また、上および左の画像領域との境界について符号化ノイズ領域の特定をしたのは、符号化ノイズ領域特定の処理の効率化のためである。
【０１６４】
尚、上記実施の形態２１において、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。また、ブロックは矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１６５】
以上のように、実施の形態２１の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップを抽出し、符号化ノイズ特定部は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている符号化単位画像領域の前記量子化ステップが閾値より大きい場合、その量子化ステップが閾値より大きい符号化単位画像領域と、現在復号している符号化単位画像領域の境界を符号化ノイズ領域と特定するようにしたので、効率的な符号化ノイズ領域の特定処理が可能となる。
【０１６６】
実施の形態２２．
実施の形態２２の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１６７】
実施の形態２２における特徴情報抽出部１７は、特徴情報として量子化ステップを抽出するよう構成されている。また、フィルタ制御部１５は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている上または左の符号化単位画像領域の量子化ステップと、現在復号している符号化単位画像領域の量子化ステップに基づいてフィルタ処理を制御するよう構成されている。これ以外の構成は実施の形態１０と同様であるため、ここでの説明は省略する。
【０１６８】
次に、実施の形態２２の動作について説明する。
実施の形態２２において、特徴情報抽出部１７の動作は実施の形態１７と同様であるため、ここでの説明は省略する。また、実施の形態１０では、フィルタ制御部１５で、特徴情報である符号化ノイズフラグに対応するブロック境界画素または辺または全辺に対しフィルタ処理を行うよう制御するためのフィルタ制御信号１５ａを出力するようにしたが、本実施の形態のフィルタ制御部１５では、現在復号している画像領域（復号画像ブロック）に隣接し、かつ、既に復号処理を終えている上または左の画像領域の量子化ステップと現在復号している画像領域の量子化ステップに基づいてフィルタ処理を制御する。これは、量子化ステップが大きいほど符号化ノイズ（たとえばブロック歪）が発生する可能性が高くなる傾向がある上、量子化ステップの大きさにより画像領域の境界に発生する符号化ノイズの強さが異なる傾向にあるためである。また、上および左の画像領域との境界について符号化ノイズ領域の特定をしたのは、符号化ノイズ領域特定の処理の効率化のためである。
【０１６９】
また、上記フィルタ制御としては、例えば次のような制御を行う。
１）現在復号している符号化単位ブロックに隣接し、かつ、既に復号処理を終えている上または左のブロックの量子化ステップが閾値より大きいか、または、現在復号しているブロックの量子化ステップが閾値より大きい場合は、現在復号しているブロックに対し符号化ノイズを低減するフィルタ処理を制御する。制御方法は量子化ステップの大きさに応じ、フィルタの種類を適応的に変える、フィルタの係数を適応的に変える、フィルタのタップ数を適応的に変えるなどである。
【０１７０】
２）現在復号している符号化単位ブロックに隣接し、かつ、既に復号処理を終えている上または左のブロックの量子化ステップが閾値より小さく、かつ、現在復号しているブロックの量子化ステップが閾値より小さい場合は、現在復号しているブロックに対しフィルタ処理を制御する。制御方法は量子化ステップの大きさに応じ、フィルタの種類を適応的に変える、フィルタの係数を適応的に変える、フィルタのタップ数を適応的に変える、フィルタ処理を行わないなどである。
【０１７１】
尚、上記実施の形態２２において、既に復号処理を終えているブロックであれば、復号方法等に応じて、他のブロックとの境界を対象としてもよい。更に、ブロックは矩形形状に限定されるものでなく、任意の形状であってもよい。
【０１７２】
以上のように、実施の形態２２の復号装置によれば、特徴情報抽出部は、特徴情報として量子化ステップを抽出し、フィルタ制御部は、現在復号している符号化単位画像領域に隣接し、かつ、既に復号処理を終えている上または左の符号化単位画像領域の量子化ステップと、現在復号している符号化単位画像領域の量子化ステップに基づいてフィルタ処理を制御するようにしたので、符号化ノイズ強さに応じて適応的にフィルタ制御が可能となる。
【０１７３】
実施の形態２３．
実施の形態２３の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１７４】
実施の形態２３における特徴情報抽出部１７は、特徴情報として、画像の特徴を表す番組メタ情報を抽出する。即ち、特徴情報抽出部１７は、番組メタ情報から画像の変化の度合いを示す情報を抽出する。また、フィルタ制御部１５は、特徴情報抽出部１７で抽出された特徴情報に基づいてフィルタ制御を行う。これ以外の構成は実施の形態１０と同様である。
【０１７５】
次に、実施の形態２３の動作について説明する。
特徴情報抽出部１７は、特徴情報として、符号化ストリーム２００に付加されている番組メタ情報の中から、番組の動き度合いを抽出する。例えば、ドラマなどは動きが少ない、アクション番組やスポーツ番組などは動きが大きいなどである。また、同じジャンルでも番組により動き度合いが異なることもありうる。このような画像の変化の度合いを示す情報を抽出する。
【０１７６】
フィルタ制御部１５では、番組の動き度合いに基づいてフィルタ制御のためのフィルタ制御信号１５ａを出力する。動きが大きい場合は符号化ノイズが発生しやすい傾向にあるため、動き度合いの大きい番組ほどフィルタ強度を強くするようフィルタ制御信号１５ａを出力する。尚、フィルタ制御におけるフィルタ強度やフィルタの種類は任意である。
【０１７７】
以上のように、実施の形態２３の復号装置によれば、特徴情報抽出部は、特徴情報として、画像の特徴を表す番組メタ情報を抽出し、フィルタ制御部は、番組メタ情報に基づいてフィルタ制御を行うようにしたので、画像に付加されている情報に基づいて、適応的にフィルタ制御が可能となる。
【０１７８】
また、実施の形態２３の復号装置によれば、番組メタ情報から画像の変化の度合いを示す情報を抽出するようにしたので、画像中の動きの度合いに応じて適応的にフィルタ制御が可能となる。
【０１７９】
実施の形態２４．
実施の形態２４の復号装置における図面上の構成は図１１に示した実施の形態１０と同様であるため、図１１を援用して説明する。
【０１８０】
実施の形態２４における特徴情報抽出部１７は、特徴情報として、番組メタ情報の中から輝度の変化の度合いを示す情報を抽出し、フィルタ制御部１５は、この特徴情報に基づいてフィルタ制御を行うよう構成されている。これ以外の構成は実施の形態１０と同様であるため、その説明は省略する。
【０１８１】
次に、実施の形態２４の動作について説明する。
特徴情報抽出部１７は、特徴情報として、符号化ストリーム２００に付加されている番組メタ情報の中から、輝度の変化の度合い（照明の変化度合い）を抽出する。例えば、自然の風景などは照明の変化度合いが緩やかで、歌番組などは照明の変化度合いが激しいなどである。また、同じジャンルでも番組により照明の変化度合いが異なることもありうる。実施の形態２４では、このような画像の変化の度合いを示す情報を抽出する。
【０１８２】
フィルタ制御部１５では、番組の照明の変化度合いに基づいてフィルタ制御する。照明の変化度合いが激しい場合は符号化ノイズが発生しやすい傾向にあるため、照明の変化度合いの激しい番組ほどフィルタ強度を強くするようフィルタ制御信号１５ａを出力する。尚、フィルタ制御におけるフィルタ強度やフィルタの種類は任意である。
【０１８３】
以上のように、実施の形態２４の復号装置によれば、番組メタ情報から輝度の変化の度合いを示す情報を特徴情報として抽出し、この特徴情報に基づいてフィルタ制御するようにしたので、照明の変化度合いに対して適応的にフィルタ制御が可能となる。
【図面の簡単な説明】
【０１８４】
【図１】この発明の実施の形態１による復号装置を示す構成図である。
【図２】この発明の実施の形態２による符号化装置を示す構成図である。
【図３】この発明の実施の形態２による符号化装置の入力画像と符号化画像との説明図である。
【図４】この発明の実施の形態３による符号化装置を示す構成図である。
【図５】この発明の実施の形態３による符号化装置の入力画像と符号化画像との説明図である。
【図６】この発明の実施の形態３による符号化装置の分散値算出で扱う差分値を示す説明図である。
【図７】この発明の実施の形態４による符号化装置を示す構成図である。
【図８】この発明の実施の形態５による符号化装置を示す構成図である。
【図９】この発明の実施の形態５による符号化装置の入力画像の分散値の説明図である。
【図１０】この発明の実施の形態６による符号化装置を示す構成図である。
【図１１】この発明の実施の形態１０による復号装置を示す構成図である。
【図１２】復号画像フレーム内の復号単位ブロックおよび動きベクトル範囲を示す説明図である。
【図１３】復号画像フレーム内の複数のブロックで動きベクトルが存在した場合の復号単位ブロックと動きベクトル範囲を示す説明図である。
【図１４】復号画像フレーム内の複数のブロックで動きベクトルが存在した場合の復号単位ブロックと動きベクトル範囲の別の例を示す説明図である。
【図１５】復号画像フレーム内の復号単位ブロックおよび動きベクトルおよび動きベクトルに接する復号単位ブロックを示す説明図である。
【図１６】復号画像フレーム内の復号単位ブロックおよびブロック境界を示す説明図である。
【符号の説明】
【０１８５】
１１  符号化ストリーム復号部、１２  復号画像再生部、１３、１７  特徴情報抽出部、１３ａ，１７ａ  特徴情報、１４，１８  符号化ノイズ特定部、１４ａ，１８ａ  符号化ノイズ位置情報、１５  フィルタ制御部、１５ａ  フィルタ制御信号、１６  フィルタ処理部、２１  符号化データおよび符号化画像生成部、２２  ブロック境界差分値算出部、２２ａ  ブロック境界差分値、２３，２６、３１  符号化ノイズフラグ生成部、２３ａ，２６ａ，３１ａ，３２ａ  符号化ノイズフラグ、２４，２７，２９，３３  可変長符号化部、２５，３０  画素差分値または分散値算出部、２５ａ，３０ａ  画素差分値または分散値、２８  第２の符号化データ生成部、３０ｂ  入力画像分散値、３２  符号化ノイズフラグおよびフラグカウンタ生成部、３２ｂ  フラグカウンタ、１００  入力画像、２００  符号化ストリーム。
【図１】
2007027980.tif 000004
【図２】
2007027980.tif 000005
【図３】
2007027980.tif 000006
【図４】
2007027980.tif 000007
【図５】
2007027980.tif 000008
【図６】
2007027980.tif 000009
【図７】
2007027980.tif 000010
【図８】
2007027980.tif 000011
【図９】
2007027980.tif 000012
【図１０】
2007027980.tif 000013
【図１１】
2007027980.tif 000014
【図１２】
2007027980.tif 000015
【図１３】
2007027980.tif 000016
【図１４】
2007027980.tif 000017
【図１５】
2007027980.tif 000018
【図１６】
2007027980.tif 000019