(57)【特許請求の範囲】
【請求項１】
フレームメモリより読み出される信号と入力信号とから生成される信号の符号化を行う符号化制御装置において、
前記フレームメモリより読み出される信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第１予測誤差信号を生成して出力する第１減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第２予測誤差信号を生成して出力する第２減算器と、
第１減算器から出力される第１予測誤差信号を入力して第１予測誤差信号のアクティビティを求め、第２減算器から出力される第２予測誤差信号を入力して第２予測誤差信号のアクティビティを求めるとともに、前記第１予測誤差信号のアクティビティと、第２予測誤差信号のアクティビティとを比較し、アクティビティが小さい予測誤差信号を選択して選択信号とするとともに、選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする符号化制御装置。
【請求項２】
フレームメモリより読み出される信号と入力信号とを用いて符号化を行う符号化制御装置において、
前記フレームメモリより読み出される予測誤差信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第１予測誤差信号を生成して出力する第１減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第２予測誤差信号を生成して出力する第２減算器と、
第１減算器から出力される第１予測誤差信号を入力して第１予測誤差信号のアクティビティを求め、第２減算器から出力される第２予測誤差信号を入力して第２予測誤差信号のアクティビティを求め、入力信号に基づいて入力信号のアクティビティを求め、前記第１予測誤差信号のアクティビティと、第２予測誤差信号のアクティビティと、入力信号のアクティビティとの３つを比較し、前記第１予測誤差信号と前記第２予測誤差信号と入力信号との中からアクティビティが最も小さい信号を選択して選択信号とするとともに、この選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする符号化制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号を符号化する画像符号化装置に関するものである。
特に、入力信号のフレームとフレームの差分信号に基づいて符号化を行なうフレーム間符号化処理方式に関するものである。
【０００２】
【従来の技術】
画像信号を高能率に符号化しようとする場合、画像信号に含まれる冗長成分を取り除くための手段がとられる。特に動画像を符号化する代表的な手法としてはすでに符号化された画像と新たに符号化する画像との差分をとり、差分情報のみを符号化するいわゆるフレーム間符号化方式が良く知られている。
【０００３】
図４０は、例えば特開昭６３−２０８３８２号公報に示されたフレーム間符号化装置に関するブロック図であり、図において１は前フレームの画像情報を蓄積するフレームメモリ、２は動きベクトル検出部、３は減算器、４は符号化部、５は局部復号化部、６は加算器、７はフィルタ、８はフィルタ制御部である。
【０００４】
次に動作について説明する。
フレームメモリ１に蓄積されている１フレーム前の画像信号１１と、入力画像信号１２とは動きベクトル検出部２においてブロックマッチングをとり、比較されて動き量とその方向を示す動きベクトル１３を発生する。フレームメモリ１は動きベクトル１３に応じて動き補償予測信号１４を生じる。減算器３は入力画像信号１２から動き補償予測信号１４を減算して予測誤差信号（差分信号ともいう）１５を発生する。
【０００５】
符号化部４は予測誤差信号１５を量子化して符号化された誤差情報１６を発生する。局部復号化部５は符号化された誤差情報１６を復号し、局部復号誤差信号１７を出力する。加算器６は動き補償予測信号１４と局部復号誤差信号１７を加算して局部復号信号１８を発生する。フィルタ７は局部復号信号１８における高域成分を除去し、平滑化された局部復号信号１９を発生する。フィルタ制御部８は、動きベクトル１３の大きさに応じてフィルタ７の挿入又は非挿入を制御する制御信号２０を出力する。
このようにして発生した符号化された誤差信号１６と、動きベクトル１３とは伝送路を経て送出される。又、一般的にこれらの処理は画像信号に対して１６×１６画素単位や８×８画素単位毎に行われる。
【０００６】
前述の従来例においては加算器６の後段にフィルタ７を設けているが、フレームメモリ１の後段に設ける方法も知られている。又、動き検出の精度を高めるため整数画素単位以下で探索を行う方法やブロック単位に閉じたフィルタ処理を行う方法、周辺画素も含めてフィルタ処理を行う方法がある。これらいずれの方式においても、動き量に応じて高周波成分を抑圧することにより、ノイズを除去し符号化効率の向上を図っている。
【０００７】
また、従来の装置でフレーム内符号化を行う場合、入力画像信号１２をそのまま符号化部４で量子化して符号化された入力情報１６を発生する。局部復号化部５は符号化された入力情報１６を復号し、局部復号誤差信号１７をフレームメモリ１へ出力する。このようにして発生した符号化された入力情報１６は伝送路を経て送出される。
【０００８】
【発明が解決しようとする課題】
従来のフレーム間符号化処理方式においては動きベクトルの情報を利用して制御を行うことにより、図４１に示すように、静領域においてはローパスフィルタ（ＬＰＦ）をＯＦＦにして解像度を損なうことなく、動領域においてはローパスフィルタを挿入して、解像度は落ちるが、雑音を除去することを行っていた。
【０００９】
図４１は、信号の輝度強度（Ｉ）と信号の周波数（ｆ）の関係を示す図であり、１４ａはローパスフィルタをＯＦＦした場合のフレームメモリ１からの信号を示し、１４ｂはローパスフィルタをＯＮした場合のフレームメモリ１からの信号を示している。
【００１０】
図に示すように、ローパスフィルタがＯＦＦされる場合は、静領域において、高解像度を保つ場合である。逆に、ローパスフィルタをＯＮする場合は動領域において、低解像度にする場合である。このように、ローパスフィルタをＯＦＦからＯＮにすることにより、図４１の斜線で示す高域成分を除去することが可能になる。
【００１１】
図４２は、入力信号１２とフレームメモリからの動き補償予測信号１４ａの差分信号１５が非常に小さい場合を示している。即ち、図４２（ａ）に示すような入力信号１２に対して、図４２（ｂ）に示すように非常に動き検出精度が良く、動き補償予測信号１４ａがほぼ同様な特性を示す場合には、図４２（ｃ）に示すように、その差分信号１５は非常に小さくなる。従って、符号化部４が符号化する情報量が減少し、符号化効率が向上する。
【００１２】
しかし、動領域における動き検出精度が良く、入力信号とフレームメモリからの動き補償予測信号の差分が非常に小さいにもかかわらずフィルタ処理がなされる場合がある。
【００１３】
前述した図４１に示すように動領域において、ローパスフィルタがＯＮされてしまう場合は、動き補償予測信号１４の高周波成分がカットされてしまう。この場合は、フィルタ処理した結果と入力信号との差分信号に高周波成分が残存し、符号化すべき情報が増加して符号化効率が低下する上、その部分の解像度が低下する。
【００１４】
図４３は、この問題点を説明するための図であり、図４３（ａ）は、図４２（ａ）に示した入力信号と同様のものである。
又、図４３（ｂ）において１４ｂはローパスフィルタが動領域においてＯＮになり、高周波成分がカットされてしまった特性を示している。即ち、図４２（ｂ）の動き補償予測信号１４ａに比べて、高周波成分（雑音）がカットされ、１４ｂに示すような動き補償予測信号が出力されることを示している。
又、図４３（ｃ）においては、前述した図４３（ａ）に示した入力信号と図４３（ｂ）に示した動き補償予測信号１４ｂの差分信号１５が示されている。図で分かるように、高周波成分が残存するため、符号化部４は符号化すべき情報が増加し、符号化効率が低下する。
【００１５】
以上述べたように、動領域において、図４２に示すように動き検出が精度良く働きフィルタ処理する必要が無いにもかかわらず、図４３に示すようにフィルタ処理がなされてしまうために、その部分の解像度が低下したり、あるいは符号化すべき情報量が増加してしまう等の問題点があった。
【００１６】
また、符号化部４は予測誤差信号１５を量子化して符号化しているが、符号化部４が入力して符号化する信号は一種類の予測誤差信号に限られており、この予測誤差信号が符号化効率のよくない特性を示す場合であっても、この予測誤差信号を量子化して符号化するため、必ずしも符号化効率のよい信号を得られるとは限らない等の問題点があった。
【００１７】
この発明は、上記のような問題点を解決するためになされたもので、符号化すべき信号に高周波成分が残存せず、符号化効率が向上するフレーム間符号化処理方式を得ることを目的とする。
【００１８】
また、この発明は上記のような問題点を解決するためになされたもので、符号化すべき信号が符号化効率のよい信号であり、符号化効率が向上する符号化制御方式を得ることを目的とする。
【００１９】
【課題を解決するための手段】
この発明に係る符号化制御装置は、フレームメモリより読み出される信号と入力信号とから生成される信号の符号化を行う符号化制御装置において、
前記フレームメモリより読み出される信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第１予測誤差信号を生成して出力する第１減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第２予測誤差信号を生成して出力する第２減算器と、
第１減算器から出力される第１予測誤差信号を入力して第１予測誤差信号のアクティビティを求め、第２減算器から出力される第２予測誤差信号を入力して第２予測誤差信号のアクティビティを求めるとともに、前記第１予測誤差信号のアクティビティと、第２予測誤差信号のアクティビティとを比較し、アクティビティが小さい予測誤差信号を選択して選択信号とするとともに、選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする。
【００２０】
この発明に係る符号化制御装置は、フレームメモリより読み出される信号と入力信号とを用いて符号化を行う符号化制御装置において、
前記フレームメモリより読み出される予測誤差信号を入力してフィルタ処理をおこない、フィルタ処理を施した信号を出力するフィルタと、
前記フィルタから出力されるフィルタ処理を施した信号と入力信号とから第１予測誤差信号を生成して出力する第１減算器と、
前記フレームメモリより読み出されフィルタ処理が施されていない信号と入力信号とから第２予測誤差信号を生成して出力する第２減算器と、
第１減算器から出力される第１予測誤差信号を入力して第１予測誤差信号のアクティビティを求め、第２減算器から出力される第２予測誤差信号を入力して第２予測誤差信号のアクティビティを求め、入力信号に基づいて入力信号のアクティビティを求め、前記第１予測誤差信号のアクティビティと、第２予測誤差信号のアクティビティと、入力信号のアクティビティとの３つを比較し、前記第１予測誤差信号と前記第２予測誤差信号と入力信号との中からアクティビティが最も小さい信号を選択して選択信号とするとともに、この選択信号のアクティビティの値が大きな値であるほど大きな量子化ステップサイズを決定し、選択信号のアクティビティの値が大きな値であるほど係数の数が少ない変換符号化出力係数を決定し、選択信号と量子化ステップサイズと変換符号化出力係数とを出力する符号化制御部と、
前記符号化制御部が出力する選択信号と量子化ステップサイズと変換符号化出力係数とを入力して、量子化ステップサイズと変換符号化出力係数とを用いて選択信号を変換符号化して量子化する符号化部と
を備えたことを特徴とする。
【００２１】
【作用】
この発明における符号化制御方式は、入力信号または差分誤差信号に基づいて求められる特徴値（アクティビティ）のうち最適な特徴値（アクティビティ）を持つモードの信号に基づいて符号化制御部において符号化を制御するため、符号化効率を向上させることができる。
【００２２】
【実施例】
実施例１．
以下、この発明の一実施例を図１を用いて説明する。ここでは８×８画素を処理単位として、符号化を行なう場合について説明する。図１において、２１はフィルタ制御部、２２は適応フィルタ部である。その他の符号は図４０に示したものと同じである。
【００２３】
次に図１をもとに動作について説明する。
フレームメモリ１に蓄積されている１フレーム前の画像信号１１と入力画像信号１２から動きベクトル検出部２において動きベクトル１３を検出し、それに応じた動き補償予測信号１４が生成されるまでは従来例と同様である。フィルタ制御部２１は入力画像信号１２と動き補償予測信号１４によりフィルタ制御信号２３を生成する。
【００２４】
フィルタ制御信号２３の生成について図２をもとに説明する。
図２において３０は入力画像信号１２と動き補償予測信号１４の差異情報３２を計算するための差情報演算部、３１は判定部である。差情報演算部３０では入力画像信号１２と動き補償予測信号１４との差分絶対値又は差分自乗をとり、それらを８×８画素単位というフィルタの処理単位にあった複数画素分（８×８＝６４画素分）累算し、得られた結果を差異情報３２として出力する。
【００２５】
図３は、差異情報３２を説明するための図である。図３（ａ）は入力画像信号を示している。この実施例においては８×８画素を処理単位としているため、入力画像信号は１つの処理単位の中にＳ１〜Ｓ６４まで６４画素存在している。次に図３（ｂ）は、動き補償予測信号を示す図である。動き補償予測信号も８×８画素を処理単位としており、Ｙ１〜Ｙ６４までの６４画素から構成されている。図３（ｃ）は、差情報演算部３０が入力画像信号を１２と動き補償予測信号１４との差分絶対値を６４画素分累算した結果を差異情報とする場合を示している。また、図３（ｄ）は差情報演算部３０が入力画像信号１２と動き補償予測信号１４との差分自乗をとり、６４画素分累算し、得られた結果を差異情報３２としている場合を示している。
【００２６】
予測精度が高く最適な予測信号が得られている場合にはこの差異情報３２の値は小さくなるが、予測精度が低い場合や全く異なった画像が入力されたとき、又はフレームメモリ１内の局部復号化信号に多くの量子化誤差が含まれる場合などにはこの差異情報３２の値は大きくなる。
【００２７】
判定部３１では先に差異情報３２を求めた複数画素に対応する入力画像信号１２の信号アクティビティ（以下、単にアクティビティともいう）を計算する。例えば、信号アクティビティは図４に示すように信号の最大値と最小値の差として計算する。
【００２８】
図４は、信号アクティビティを画素信号の最大値と最小値の差から計算する場合の一例を示す図である。図においては、簡単に説明するために第１から第８の画素について、信号アクティビティを計算する場合を示している。この例においては、第４の画素の輝度が最大値を示し、第５の画素が最小の輝度を示しているため、この差を信号アクティビティとする。
【００２９】
あるいは信号アクティビティは、図５に示すように信号平均値からの差分絶対値和や差分自乗和として求められる。
図５は、差分絶対値や差分自乗を用いて信号アクティビティを計算する場合の一例を示した図である。図５（ａ）に示すように、第１から第８の画素の持つ輝度とこれらの８つの輝度の平均値の差をそれぞれＸ１からＸ８とすると、信号平均値からの差分絶対値は、図５（ｂ）に示すようにＸ１からＸ８の絶対値を加算した値となる。又、信号平均値からの差分自乗は、図５（ｃ）に示すようにＸ１からＸ８をそれぞれ自乗した後、加算した値となる。
【００３０】
図４及び図５に示したように、信号アクティビティは、画像信号の絶対的な強度を示すものではなく、相対的な値を示すものである。
即ち、低周波成分を多く含むような滑らかに変化する信号の場合には信号アクティビティの値Ｘは小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値Ｘは大きくなる。
【００３１】
差異情報３２は信号アクティビティで正規化（除算）され正規化結果が得られ、この値の大小に応じて高周波成分除去を行うフィルタ強度を指定するフィルタ制御信号２３を出力する。即ち正規化結果の値が大きい場合（即ち、入力画像が低周波成分を多く含むような滑らかに変化する信号の場合）はフィルタ強度を強くする。又、正規化結果の値が小さい場合（即ち、入力画像が変化の激しい高周波成分を多く含む信号の場合）は、フィルタ強度を弱くする。即ち、正規化結果の値は、適応フィルタ部２２における強度の異なる複数種類のフィルタの個数に応じてその強度指定を多値で指定する。
【００３２】
簡略化のためにフィルタの挿入、非挿入をフィルタ制御信号２３として２値で指定する場合には所定の値より先に求めた正規化情報が大きければフィルタ挿入を行って高周波成分を除去して符号化すべき情報を削減し、正規化情報が小さければフィルタを挿入せず解像度を保持した予測誤差信号とするようフィルタ制御信号２３を発する。
【００３３】
図６に、フィルタ制御部２１のｏｎ／ｏｆｆ判定フローの一実施例を示す。
このフィルタ制御部２１の動作は、入力画像信号１２と動き補償予測信号１４によってフィルタのｏｎ／ｏｆｆ判定を行うものである。
まず、ＳＴ１で、デフォルト値としてフィルタをｏｆｆにする。ＳＴ２で、差情報演算部３０は入力画像信号１２と動き補償予測信号１４の差異情報Ｎを算出する。また、ＳＴ３で判定部３１は入力画像信号１２の信号アクティビティの値Ｘを算出する。
次に、ＳＴ６においては、差異情報３２を信号アクティビティの値Ｘで正規化（除算）する。この差異情報Ｎを信号アクティビティの値Ｘで除した値が、閾値ＴｈNXより小さければ、フィルタをｏｆｆにする。この差異情報Ｎを信号アクティビティの値Ｘで除した値が、閾値ＴｈNXより小さい時は、予測が適当で差異情報３２が小さい、あるいは、入力画像信号のアクティビティが大きいことを意味する。差異情報３２が小さい場合には予測が適当である場合を示しているため、フィルタをｏｎにする必要がない。また、入力信号のアクティビティが大きい場合には動き補償予測信号１４は入力信号に追随して変化の激しい高周波成分を多く含む信号となる場合が多いため、フィルタをｏｎにせず、動き補償予測信号１４をそのまま出力する。
また、この差異情報Ｎを信号アクティビティの値Ｘで除した値が閾値ＴｈNXより大きいときは、フィルタをｏｎにする。この差異情報Ｎを信号アクティビティの値Ｘで除した値が閾値ＴｈNXより大きいときは、予測が適当でなく、差異情報３２が大きいあるいは入力画像信号のアクティビティが小さいことを意味する。差異情報３２が大きい場合は予測が適当でなく、動き補償予測信号１４には高周波成分が多く含まれているので、フィルタをｏｎにすることにより、動き補償予測信号１４から高周波成分を除去して符号化効率を向上させる。また、入力画像信号のアクティビティが小さい場合は同様にフィルタがｏｎされるが、入力画像信号のアクティビティが大きい場合にはフィルタはｏｆｆのままになる。これは入力画像信号のアクティビティが大きい場合には動き補償予測信号１４も変化の激しい高周波成分を多く含む信号である場合が多いため、フィルタをｏｆｆにして動き補償予測信号１４の高周波成分をそのまま残すことにより、符号化効率を向上させるものである。
【００３４】
次に、図７は、フィルタ制御部２１のｏｎ／ｏｆｆ判定フローの他の例を示す図である。図７において、差異情報Ｎが閾値ＴｈN より大きければ、フィルタをｏｎにする。このように差異情報Ｎが閾値ＴｈN より大きい場合は、動き補償予測信号には高周波成分が多く含まれているので、フィルタをｏｎにすることによって高周波成分を除去して符号化効率を向上させることを意味する。
つぎに、ＳＴ５では、入力画像信号１２の信号アクティビティＸが閾値ＴｈX より小さければ、フィルタをｏｎにする。信号アクティビティＸが閾値ＴｈX より小さい入力画像信号は高周波成分をほとんど含まない。したがって、フィルタをｏｎにしても高周波成分の除去に関してはほとんど影響がなく、フィルタがｏｆｆの場合以上に高周波雑音の除去に効果がある。逆に、入力画像信号１２の信号アクティビティＸが閾値ＴｈX より大きければ、フィルタをｏｆｆのままとする。信号アクティビティＸが閾値ＴｈX より大きい入力画像信号は、高周波成分を含んでいると考えられる。従って、動き補償予測信号１４も入力画像信号１２に対応して高周波成分を含んでいると考えられる。このため、フィルタをｏｆｆのままにして動き補償信号１４の高周波成分をそのままにして出力するようにする。
【００３５】
次に図８は、フィルタ制御部２１のｏｎ／ｏｆｆ判定フローの他の例を示す図である。図８に示すｏｎ／ｏｆｆ判定フローは図６と図７に示したフローを組み合わせたものである。このように図６に示した判定と図７に示した判定の両方を用いることにより、異なる閾値を用いてフィルタのｏｎ／ｏｆｆを判定することができ、フィルタのｏｎ／ｏｆｆの制御をさらにきめ細かく判定することができる。
なお、図示しないが、フィルタ制御部２１のｏｎ／ｏｆｆ判定を入力画像信号１２から算出された信号アクティビティと閾値ＴｈX との比較により行うようにしても構わない。すなわち、図７に示したｏｎ／ｏｆｆ判定フローからＳＴ２における差異情報の算出処理およびＳＴ４における差異情報Ｎと閾値ＴｈN との比較処理を除いたＳＴ１、ＳＴ３、ＳＴ５、ＳＴ７によるｏｎ／ｏｆｆ判定フローを用いてフィルタの制御を行うようにしても構わない。
【００３６】
なお、図６のＳＴ６で信号アクティビティの値Ｘが零の場合、零で除算することはできないので、正規化結果は不定となるが、一般にはこの正規化演算が有限語長による演算のため、その語長における最大値とされる。例えば、正規化演算を８ビットを一語とする語長で演算する場合には、８ビットの値の最大値である“ＦＦ”という値を用いて正規化結果とする。これは、この正規化演算で出力される最大値である。
【００３７】
適応フィルタ部２２ではフィルタ制御信号２３に応じて動き補償予測信号１４の高周波成分除去を行うためのフィルタリング処理を行う。フィルタは図９に示すように、空間方向に１次元または２次元のローパス特性をもつものや、さらに時間的にフィルタ係数値が変化する３次元のものが適用でき、フィルタ制御信号２３に従ってそのフィルタ強度を変化させるものである。
【００３８】
図９は、１次元、２次元、３次元のローパス特性を持つフィルタを説明する図であり、図９（ａ）は１次元方向において、ローパス特性を持つフィルタを示している。図９（ｂ）は、２次元方向にローパス特性を持つフィルタを示している。図９（ｃ）１次元、２次元及び時刻ｔ１、ｔ２、ｔ３という時刻の異なるフレームの処理単位により、３次元方向のローパス特性を持つフィルタを示している。
図９において、黒丸は注目画素であり、この注目画素に対して、１次元、２次元、又は、３次元方向の画素を用いてフィルタリング処理を行なうことが可能である。
【００３９】
又、図１０に示すようにフィルタリング処理は、８×８画素という処理単位の内部に閉じた画素のみで行なうことも可能であるが、８×８画素という処理単位を越えた画素を用いてフィルタリング処理を行なっても構わない。
図１０において、Ｆ１は注目画素に対して、８×８画素という処理単位をまたがって、隣接する処理単位の画素を用いてフィルタリング処理を行なう場合を示している。同様に、Ｆ２も隣接する８×８画素の処理単位内にある画素を用いて注目画素のフィルタリング処理を行なう場合を示している。
【００４０】
次に図１１はフィルタリング処理の一例を示す図であり、１次元方向のフィルタリング処理を説明するための図である。
ここで、画素Ｓ１からＳ５までの内、Ｓ３を注目画素とする。又、Ｋ１からＫ５は係数であり、図１１（ｂ）に示すようにＫ１からＫ５までの和は１．０であるものとする。
【００４１】
フィルタリング処理は、各画素の輝度に対して、それぞれＫ１からＫ５の係数を掛け合わせその和を取ることによって計算される。もし、フィルタに用いる係数の値が図１１（ｃ）に示すような値を用いれば、注目画素Ｓ３は周囲にあるＳ１、Ｓ２、Ｓ４、Ｓ５の輝度により影響を受け、平均化されることになる。それに対して係数図１１（ｄ）に示すようにＫ３＝１．０でその他の係数が０の場合には、注目画素Ｓ３は他の画素には全く影響せず、そのまま出力されることになり、フィルタ処理はＯＦＦされていることになる。
【００４２】
図１２はこのように係数を変化させることにより、フィルタの強度が変化する状態を示す図であり、予測信号２４がフィルタ処理により変化する場合を示している。フィルタ制御信号２３に従って、フィルタの係数が変化し、その結果フィルタ強度が変化し、図１２に示すように予測信号２４の高周波成分のカットが多段階に制御可能となる。即ち、入力信号が変化の激しい高周波成分を多く含む場合には、フィルタ係数値が変化して図１２において予測信号２４は矢印Ａの方向に変化する。又、入力信号が低周波成分を多く含むような信号の場合には、図１２の矢印Ｂに示すようにフィルタを挿入せず、解像度を保持した予測信号を出力するようになる。
【００４３】
フィルタ処理がなされた予測信号２４は減算器３により入力画像信号１２より減算され予測誤差信号１５が生成される。符号化部４は予測誤差信号１５を量子化して符号化された誤差情報１６を発生する。局部復号化部５は符号化された誤差情報１６を復号し、局部復号誤差信号１７を出力する。加算器６は予測信号２４と局部復号誤差信号１７を加算して局部復号信号１８を発生した後、フレームメモリ１に書き込まれる。
【００４４】
実施例２．
上記実施例１においては動きベクトル検出部２を設けた構成としたが、装置簡素化により例えば、図１３に示すように、常に動き量が零として、図１に示した動きベクトル検出部２を設けないときにも同様の処理が可能である。
【００４５】
実施例３．
上記実施例１においては適応フィルタ部２２をフレームメモリ１の後段に配置したが、図１４に示すように適応フィルタ２２を加算器６の後段に配置するときにも同様の処理が可能である。
【００４６】
実施例４．
又、図１５に示すように、常に、動き量が０として動きベクトル検出部２を設けず、適応フィルタ２２を加算器６の後段に配置する場合でも構わない。
【００４７】
実施例５．
又、この発明の他の実施例を図１６を用いて説明する。フィルタ制御部２１において求められた差異情報３２は画素数（８×８＝６４画素）で徐され、画素当たりの差異情報２５として符号化部４に送られる。
【００４８】
図１７は、この実施例におけるフィルタ制御部２１の構成を示す図であり、３３は一画素当りの差異情報２５を演算するための画素当り差情報演算部である。差情報演算部３０においては、前述したように入力画像信号１２と動き補償予測信号１４との差分絶対値、又は、差分自乗をとり、これを８×８画素という処理単位にある複数画素分（６４画素分）累算して差異情報３２として出力する。
【００４９】
画素当り差情報演算部３３が、この差異情報３２を８×８画素、即ち、６４画素で除算するということは、差異情報３２の一画素当りの平均値を求めていることになる。符号化部４では画素当たりの差異情報２５に基づきそれよりも小さな符号化誤差で量子化されるよう量子化ステップサイズを決定する。
【００５０】
図１８は、符号化部４における量子化ステップサイズの決定動作について説明するための図である。
図１８に示すように第１画素から第８画素については、画素当りの差異情報２５がＤ１の値であり、第９画素から第１６画素についての画素当りの差異情報２５はＤ２の値であり、第１７画素から第２４画素についての画素当りの差異情報２５はＤ３の値である場合を示している。そして、画素当りの差異情報Ｄ１、Ｄ２、Ｄ３は図１８（ｂ）に示すように、
Ｄ１＞Ｄ２＞Ｄ３
という関係を持って、フィルタ制御部２１から出力されたものとする。
【００５１】
符号化部４ではこのような画素当りの差異情報２５を入力すると、第１画素から第８画素に対しては量子化ステップサイズが画素当りの差異情報Ｄ１よりも小さな符号化誤差で量子化されるような、ステップサイズＳＳ１を選択する。
同様に第９画素から第１６画素についても画素当りの差異情報Ｄ２に基づき、それよりも小さな符号化誤差で量子化されるステップサイズＳＳ２を選択する。
第１７画素から第２４画素に対しても、画素当りの差異情報Ｄ３よりも小さな符号化誤差で量子化されるような量子化ステップサイズＳＳ３を選択する。
従って、量子化ステップサイズは図１８（ｄ）に示すように、
ＳＳ１＞ＳＳ２＞ＳＳ３
という関係を持って符号化部４により選択され、入力信号を量子化することになる。
【００５２】
以上のことから、入力画像信号１２と動き補償予測信号１４との差が大きい場合には量子化ステップサイズも大きくなり、入力画像信号１２と動き補償予測信号１４との差が小さい場合には量子化ステップサイズも小さくなる。従って、符号化誤差の少ない復号化画像が生成される。
【００５３】
ただし、符号化部４における量子化ステップサイズの決定は、一画素当りの差異情報２５（制御信号ともいう）のみよって決定されるのではない。例えば、符号化部４から出力された符号化された信号を一時保存して出力するための出力バッファのサイズ等により符号化量が制限されている場合には、その制限内で量子化ステップサイズを選択する。
【００５４】
実施例６．
上記実施例５においては、フィルタ制御部２１が適応フィルタ２２への制御信号２３と、符号化部４への制御信号２５を出力する場合を示したが、この２つの制御信号２３及び２５を出力する必要が無く、図１９に示したように制御部２１ａは、符号化部４への制御信号２５のみを出力する場合でも構わない。
図２０（ａ）は、この実施例における制御部２１の構成を示す図であり、図１７と異なる点は、判定部３１が存在しない点である。図２０（ａ）において、差情報演算部３０と画素当り差情報演算部３３の動作は、実施例５で説明したものと同様であり、ここではその説明を省略する。
【００５５】
又、図２０（ｂ）は、この実施例における制御部２１ａの他の構成を示す図であり、判定部３１ａから信号アクティビティを制御信号２５として出力する点を特徴としている。判定部３１ａは入力信号１２を入力し、その信号アクティビティを計算する。信号アクティビティは、図４あるいは図５に示したような方法で計算する。
前述したように、信号アクティビティは、画像信号の絶対的な強度を示すものではなく、相対的な値を示すものである。
即ち、低周波成分を多く含むような滑らかに変化する信号の場合には信号アクティビティの値Ｘは小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値Ｘは大きくなる。
従って、この信号アクティビティを制御信号２５として入力して、符号化部４の量子化ステップサイズを動的に変更することにより、適切な符号化が行なえる。
【００５６】
又、図２０（ｃ）は、図２０（ｂ）に示した入力信号１２の変わりに、フレームメモリからの動き補償予測信号１４を入力するようにしたものである。その他の動作は図２０（ｂ）と同様である。
【００５７】
実施例７．
上記実施例において、フレームメモリ１は画像フレームを単位として記憶する場合を示したが、フレームメモリ１は画像フレーム単位ではなくフィールド単位に記憶する場合でもよい。図２１は、このフレームとフィールドの関係を示す図である。図２１（ａ）に示すように１つのフレームは、第１フィールドと第２フィールドからなっており、この第１フィールドの信号と第２フィールドの信号を図２１（ｂ）に示すようにインターレースモードで表示することにより、１つの画像フレームを構成する。
【００５８】
又、前述した実施例においては、フィルタはフレームを単位としてフィルタリング処理を実行する場合について説明したが、フィールド単位で処理する場合でも構わない。
【００５９】
又フレームメモリはフレームを複数枚数記憶する場合にも同様の処理が可能である。複数の枚数を持つ場合には、過去のフレーム又はフィールドを持つ場合ばかりでなく、既に撮影されているビデオ等のように、現在のフレームやフィールドより後に出力されるであろう次のフレームやフィールドを記憶する場合であっても構わない。
【００６０】
実施例８．
又、上記実施例において、判定部３１では入力画像信号１２の信号アクティビティを求めて、差異情報３２の正規化を行ったが、動き補償予測信号１４の信号アクティビティを求めて、差異情報３２を正規化しても同様の処理が可能である。
【００６１】
実施例９．
以下、この発明の一実施例を図２２を用いて説明する。図２２において、４１は符号化制御部、４２は符号化制御信号である。他は図１と同じである。ただし、図２２には図１にある適応フィルタ２２、フィルタ制御部２１および動きベクトル検出部２はない。
【００６２】
次に図２２をもとに動作について説明する。フレームメモリ１に蓄積されている１フレーム前の画像信号１１を予測信号とする。減算器３は入力画像信号１２から画像信号１１を減算して予測誤差信号１５を発生する。符号化制御部４１では、入力画像信号１２および予測誤差信号１５のアクティビティに基づいて、符号化制御信号４２および選択信号１５０を符号化部４へ出力する。
符号化部４は選択信号１５０を量子化して符号化された誤差情報１６を発生する。局部復号化部５は符号化された誤差情報１６を復号し、局部復号誤差信号１７を出力する。加算器６で画像信号１１と局部復号誤差信号１７を加算して局部復号信号１８を発生した後、フレームメモリ１に書き込む。このようにして発生した符号化された誤差信号１６は伝送路を経て送出される。
【００６３】
符号化制御部４１の動作について図２３をもとに説明する。図において、４５はアクティビティ算出部、４６はアクティビティ比較選択部、１２ａは入力画像信号１２から求められたアクティビティ、１５ａは予測誤差信号１５から求められたアクティビティ、４２は符号化部を制御するための符号化制御信号、１５０は選択信号である。
符号化制御部４１では、アクティビティ算出部４５で入力画像信号１２および予測誤差信号１５のアクティビティをそれぞれ求め、アクティビティ比較選択部４６へ出力する。
【００６４】
ここでいう信号アクティビティとは、実施例１で述べたような信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和や差分自乗和などを意味している。このアクティビティは画像信号の個々の絶対的な強度ではなく、複数画素全体として滑らかに変化するすなわち低周波成分を多く含むような信号の場合には信号アクティビティの値は小さくなり、変化の激しい高周波成分を多く含む場合には信号アクティビティの値は大きくなる。
【００６５】
アクティビティ比較選択部４６では、入力したアクティビティの比較を行い所定の条件に合致したモードを選択する。ここで所定の条件として以下のようなものがあげられる。
（１）符号化効率に最も重点を起き、符号化効率が最も向上するモードを選択する。
（２）画質がよくなることに重点を起き、画質が向上するモードを選択する。
（３）符号化効率と画質に対してそれぞれ相当分の重要性をおき、一方が他の重要性を増す場合にはその一方の重要性がある方のモードを選択する。
【００６６】
このように所定の条件としては、符号化効率あるいは画質に対する重要度に合致したモードを選択するという場合が考えられるが、それ以外にもシステムあるいは装置によっていろいろな条件を付加することが可能である。例えば、前述した符号化効率を最も向上させるモードを選択する場合には、信号アクティビティが小さいものを選択することになる。一方、画質を向上させるモードを選択する場合には入力画像信号１２を選択することになる。また、符号化効率と画質の両方に基づいてモードを選択する場合には入力画像信号１２及び予測誤差信号１５のアクティビティの比較の結果、一定の関係を満たす場合にいずれかの信号を選択することになる。アクティビティ比較選択部４６ではそのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号４２として出力し、選択されたモードの信号を選択信号１５０として出力する。
【００６７】
次に、アクティビティ比較選択部４６の動作について図２４をもとに説明する。図において、４６ａは入力画像信号のアクティビティ１２ａ及び／あるいは予測誤差信号１５のアクティビティ１５ａに対して重み付けを行なう重み付け回路、４６ｂは重み付け回路４６ａから出力される入力画像信号及び予測誤差信号のアクティビティ１２ｂ及び１５ｂを比較する比較器、４６ｃは入力画像信号１２あるいは予測誤差信号１５のいずれかを選択して選択信号１５０として出力するとともに量子化ステップサイズ及び符号化係数等を多重化して符号化制御信号４２を出力する制御信号発生器である。この例では説明を簡単にするため、重み付け回路４６ａに関しては説明しない（重み付け回路に関しては後述する）。従って、比較器４６ｂには入力画像信号のアクティビティ１２ａ及び予測誤差信号のアクティビティ１５ａが入力される。比較器は二つのアクティビティを比較した結果をモード信号４６ｍとして制御信号発生器に出力する。モード信号４６ｍは入力画像信号１２及び予測誤差信号１５のいずれかを選択するためのスイッチ切替に用いられる。また、モード信号４６ｍは制御信号発生器内において量子化ステップサイズ及びＤＣＴ（ディスクリートコサイントランスフォーム）係数等の符号化パラメータと共に符号化制御信号の一部として多重化され符号化部４に出力される。符号化部４は符号化制御信号４２に多重化された信号を解析する。例えば、モード信号により入力画像信号１２か予測誤差信号１５のどちらが選択信号として出力されているかを知ることができる。入力画像信号１２が選択信号１５０として出力されている場合には、フレーム内符号化を行なう。また、予測誤差信号１５が選択信号１５０として出力されている場合には、フレーム間符号化を行なう。これらの符号化処理は量子化ステップサイズ、あるいはＤＣＴ係数等によって制御される。
【００６８】
実施例１０．
上記実施例９において、フィルタ制御部、適応フィルタ部、動きベクトル検出部をさらに組み込んだ場合の一実施例を図２５を用いて説明する。図２５において、２は動きベクトル検出部、１３は動きベクトル、１４は動き補償予測信号、２１はフィルタ制御部、２２は適応フィルタ部、２３はフィルタ制御信号、２４は予測信号、他は図２２と同じである。
動きベクトル検出部２、フィルタ制御部２１、適応フィルタ部２２の各部の動作は実施例１において説明したものと同様なのでここではその説明を省略する。
【００６９】
前述した実施例９においては、フレームメモリ１に蓄積されている１フレーム前の画像信号１１を予測信号として、この予測信号を減算することにより予測誤差信号１５を発生していたのに対し、この実施例１０においてはフィルタ制御部２１からのフィルタ処理が施された予測信号２４から予測誤差信号１５を求めている点が異なる点である。すなわち、この実施例はあらかじめフィルタ制御部２１からフィルタ処理制御を施された予測誤差信号１５のアクティビティとフレーム内信号１２のアクティビティとを比較し、所定の条件に基づいて符号化制御信号４２を導出する例を示している。
【００７０】
この実施例のように、フィルタ制御部において入力信号と画像メモリからの信号の差異情報を入力信号または画像メモリからの信号のアクティビティにより正規化し、正規化結果の大小により高域成分をカットするフィルタ強度を変化させることにより、常に符号化すべき信号に高周波成分が残存せず、また符号化制御部においてはフィルタ強度に応じてフィルタ処理を施した予測誤差信号および入力画像信号のアクティビティの中から最小のアクティビティを持つモードの信号に基づいて符号化制御信号を導出することにより、符号化効率が向上する。
【００７１】
実施例１１．
上記実施例９，１０においては、アクティビティ比較選択部４６において入力したアクティビティの比較を行い条件に合致したモードを選択し、そのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号４２として出力していたが、アクティビティ比較選択部４６で入力したアクティビティのうち最小のアクティビティを出力したモードを選択し、そのモードおよびアクティビティに基づいた量子化ステップサイズ等の符号化パラメータを符号化制御信号４２として出力してもよい。
このように、アクティビティが最小のものを選択することにより、符号化部における符号化効率が最も向上することになる。
【００７２】
実施例１２．
上記実施例９，１０においては、アクティビティ比較選択部４６で入力したアクティビティの比較を行う際に、少なくとも何れか一方のアクティビティに重み付けを行ってもよい。
前述した図２４に示す重み付け回路４６ａは、この実施例におけるアクティビティに重み付けを行う回路である。図２６は重み付け回路４６ａの動作を説明するための図である。図２６（ａ）は重み付け回路４６ａが入力画像信号１２及び予測誤差信号１５のアクティビティ１２ａ、１５ａのいずれの信号にいずれのアクティビティに対しても重み付けを行わない場合を示している。また、図２６（ｂ）は重み付け回路４６ａが入力画像信号１２のアクティビティ１２ａに対しては重み付けを行わず、予測誤差信号１５のアクティビティ１５ａに対しては、図２６（ａ）に示した値に対して２倍の重み付けをした場合を示している。
【００７３】
もし、アクティビティ比較選択部４６が入力したアクティビティの内最小のアクティビティを出力したモードを選択する場合、図２６（ａ）に示す場合は、入力画像信号１２のアクティビティ１２ａが予測誤差信号１５のアクティビティ１５ａに比べていずれの時刻においてもアクティビティの値が大きいためアクティビティ比較選択部４６は予測誤差信号１５を選択信号１５０として出力する。
【００７４】
一方、図２６（ｂ）の場合には、予測誤差信号１５のアクティビティ１５ａが２倍の重み付けをされているため時刻ｔ１からｔ２の間は入力画像信号１２のアクティビティ１２ａより大きな値を示している。従って、アクティビティ比較選択部４６は時刻ｔ０からｔ１の間は予測誤差信号１５を選択信号１５０として選択し、時刻ｔ１からｔ２の間は入力画像信号１２を選択信号１５０として出力する。
【００７５】
図２７に、重み付け回路４６ａの処理フローの一実施例を示す。重み付け回路４６ａは入力画像信号１２と予測誤差信号１５のアクティビティ１２ａ、１５ａとを入力し、次に、あらかじめ設定されている重み付け係数Ｗ１とＷ２を読み出す。その後、入力画像信号１２のアクティビティ１２ａにＷ１を乗じ、予測誤差信号のアクティビティ１５ａにＷ２を乗じて重み付けを行い、入力画像信号のアクティビティ１２ａｘＷ１を入力画像信号のアクティビティ１２ａに重み付けを行ったアクティビティ１２ｂとして出力し、予測誤差信号のアクティビティ１５ａｘＷ２を予測誤差信号（入力信号とフレームメモリから読み出した予測信号との差分信号）のアクティビティ１５ａに重み付けを行ったアクティビティ１５ｂとして出力する。
この例では、入力の双方に重み付けを行ったが、何れか一方でもよい。また、本実施例では、入力は入力画像信号のアクティビティ１２ａと予測誤差信号のアクティビティ１５ａの２つであったが、後述する実施例のように３入力でもよく、入力数を限定するものではない（後述する実施例１５を参照）。
図２８に、前述した重み付け回路の具体的処理フローを示す。
この重み付け回路の動作は、入力画像信号のアクティビティ１２ａと予測誤差信号のアクティビティ１５ａを入力し、入力画像信号のアクティビティ１２ａには重み付けは行わずそのままアクティビティ１２ｂとして出力し、予測誤差信号のアクティビティ１５ａに対しては２倍して重み付けを行いその結果をアクティビティ１５ｂとして出力する。
【００７６】
次に、図２９に、比較器４６ｂの処理フローの一実施例を示す。
この比較器４６ｂの動作は、入力した２つの信号アクティビティの大きさを比較して符号化モードを決めるものである。
入力画像信号のアクティビティ１２ａに重み付けを行ったアクティビティ１２ｂと予測誤差信号（入力信号とフレームメモリから読み出した予測信号との差分信号）のアクティビティに重み付けを行ったアクティビティ１５ｂを入力し、アクティビティ１２ｂがアクティビティ１５ｂより小さい場合はＩＮＴＲＡ（フレーム内符号化）モードにし、大きい場合はＩＮＴＥＲ（フレーム間符号化）モードにして、選択されたモードをモード信号４６ｍとして出力する。
また、本実施例では、入力はアクティビティ１２ｂとアクティビティ１５ｂの２つであったが、後述する実施例のように３入力でもよく、入力数を限定するものではない（後述する実施例１５を参照）。
【００７７】
図３０に、制御信号発生器４６ｃの処理フローの一実施例を示す。
この制御信号発生器４６ｃの動作は、入力したモード信号４６ｍにより選択されたモードに応じて選択信号１５０、制御信号４２を出力するものである。制御信号発生器４６ｃは、入力画像信号１２、予測誤差信号１５、および重み付けを行ったアクティビティ１２ｂとアクティビティ１５ｂ、モード信号４６ｍを入力する。制御信号発生器４６ｃは、モード信号４６ｍをチェックし、ＩＮＴＥＲ（フレーム間符号化）モードなら予測誤差信号１５を選択信号１５０として出力する。制御信号発生器４６ｃは、アクティビティ１５ｂの大きさに応じて、図３１（ａ）に示すメモリテーブルより量子化ステップサイズ（ＱＵＡＮＴ）およびＤＣＴ出力係数を読み出す。また、制御信号発生器４６ｃは、モード信号４６ｍをチェックし、ＩＮＴＲＡ（フレーム内符号化）モードなら入力画像信号１２を選択信号１５０として出力する。制御信号発生器４６ｃは、アクティビティ１２ｂの大きさに応じて、図３１（ｂ）に示すメモリテーブルより量子化ステップサイズ（ＱＵＡＮＴ）およびＤＣＴ出力係数を読み出す。読み出した量子化ステップサイズおよびＤＣＴ出力係数とモード信号４６ｍを多重して制御信号４２として出力する。
また、本実施例では、入力は重み付けを行った後のアクティビテイ１２ｂと１５ｂであったが、重み付けを行う前の信号入力画像信号のアクティビティ１２ａと予測誤差信号のアクティビティ１５ａを入力としてもよい。ただし、この場合、メモリテーブルの内容あるいは閾値を変更する必要がある。
また、図３１に示した閾値の数はＱＵＡＮＴおよびＤＣＴ出力係数の割当てに応じて多くても少なくてもよい。また、割当てるＱＵＡＮＴおよびＤＣＴ出力係数の値に関しては、画質優先あるいは符号化効率優先等の目的に応じて変えてもよい。
【００７８】
このように重み付けを行うことにより選択信号１５０として出力すべき信号を意図的に選択することが可能になる。すなわち、重み付けを行うことの利点は、符号化処理装置の要求や処理する画像に応じて、入力した信号の発生確率（入力した信号が選択信号として出力される確率）を制御できることである。
【００７９】
実施例１３．
上記実施例１０においては、符号化制御部４１で入力画像信号１２および予測誤差信号１５のアクティビティから符号化制御信号４２を求めたが、適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出してもよい。
【００８０】
図３２はこの実施例の一例を示す図である。図において、２４ａは適応フィルタ２２でフィルタ処理を施した予測信号である。２４ｂは適応フィルタ２２によりフィルタ処理を行わなかった予測信号である。これらの予測信号２４ａ及び２４ｂは減算器３ａ及び３ｂにそれぞれ入力され、入力画像信号１２との差分がとられ予測誤差信号１５ｘ及び１５ｙが出力される。この予測誤差信号１５ｘと１５ｙは符号化制御部４１に入力され、前述したような動作により符号化制御信号４２が求められる。
【００８１】
実施例１４．
上記実施例１３においては、符号化制御部４１で適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティに基づいて符号化制御信号４２を導出したが、導出の際適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティの少なくとも何れか一方のアクティビティに重み付けを行ってもよい。
【００８２】
実施例１５．
上記実施例１３においては、符号化制御部４１で適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティに基づいて符号化制御信号４２を導出したが、適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティとフレーム内予測による入力画像信号１２のアクティビティとの３者を比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出してもよい。
【００８３】
図３３はこの実施例の一例を示す図である。図３３において図３２と異なる点は入力画像信号１２が符号化制御部４１に入力されている点である。符号化制御部４１はフィルタ処理された予測誤差信号１５ｘとフィルタ処理がされていない予測誤差信号１５ｙと入力画像信号１２の３つの信号を入力し、例えば、最も小さいアクティビティを持つ信号を選択することにより符号化制御信号４２を導出する。
【００８４】
図３４は、この実施例における符号化制御部４１の構成を示す図である。前述した符号化制御部４１と異なる点はフィルタ処理された予測誤差信号１５ｘとフィルタ処理がされていない予測誤差信号１５ｙと入力画像信号１２の３つの信号を入力している点である。アクティビティ算出部４５は入力した３つの信号のアクティビティを計算してアクティビティ比較選択部４６に出力する。図３５はアクティビティ比較選択部４６の構成を示す図である。アクティビティ比較選択部はアクティビティ算出部４５で算出された３つの信号のアクティビティ１２ａ、１５ａ、１５ｃを重み付け回路４６ａに入力する。重み付け回路４６ａはあらかじめ重み付け係数としてＷ１とＷ２とＷ３を記憶しているものとする。重み付け回路はアクティビティ１２ａにＷ１を乗じ、アクティビティ１５ａにＷ２を乗じ、アクティビティ１５ｃにＷ３を乗じて重み付けを行い、重み付けを行ったアクティビティ１２ｂ、１５ｂ、１５ｄを比較器４６ｂに出力する。比較器４６ｂは３つの重み付けを行った信号を比較し、その大小関係からモード信号４６ｍを生成する。制御信号発生器４６ｃは入力画像信号１２とフィルタ処理された予測誤差信号１５ｘとフィルタ処理がされていない予測誤差信号１５ｙを入力し、モード信号４６ｍに基づいていずれかの信号を選択し、選択信号１５０を出力する。また、制御信号発生器４６ｃは選択信号１５０として選ばれた信号が入力画像信号１２である場合では、入力画像信号１２のアクティビティ１２ｂの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズ及びＤＣＴ出力係数を読み出す。あるいは選択信号１５０として選択された信号がフィルタ処理された予測誤差信号１５ｘの場合にはフィルタ処理された予測誤差信号１５ｘのアクティビティ１５ｂの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズおよびＤＣＴ出力係数を読み出す。あるいは選択信号１５０として選択された信号がフィルタ処理されていない予測誤差信号１５ｙである場合には、フィルタ処理されていない予測誤差信号１５ｙのアクティビティ１５ｄの大きさに応じて、あらかじめメモリテーブルに記憶された量子化ステップサイズおよびＤＣＴ出力係数を読み出す。これら読み出された量子化ステップサイズ、ＤＣＴ出力係数とモード信号４６ｍは多重化されて制御信号４２として出力される。
【００８５】
実施例１６．
上記実施例１５においては、符号化制御部４１で適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティとフレーム内予測による入力画像信号１２のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出したが、導出の際適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティとフレーム内予測による入力画像信号１２のアクティビティの少なくとも何れか一つのアクティビティに重み付けを行ってもよい。
【００８６】
実施例１７．
上記実施例１５においては、符号化制御部４１で適応フィルタ２２でフィルタ処理を施した予測誤差信号１５のアクティビティとフィルタ処理を行わなかった場合の予測誤差信号１５のアクティビティとフレーム内予測による入力画像信号１２のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出したが、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出してもよい。
【００８７】
実施例１８．
上記実施例１７においては、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとを比較し、何れか最も小さいアクティビティを持つ信号のアクティビティに基づいて符号化制御信号４２を導出したが、予め前記フィルタ制御部からフィルタ処理制御を施された予測誤差信号のアクティビティとフレーム内予測による入力画像信号のアクティビティとの比較を行う際に少なくとも何れか一つのアクティビティに重み付けを行ってもよい。
【００８８】
図３６はこの実施例の一例を示す図である。この図３６で特徴となる点は、フィルタ制御部２１から出力されるフィルタ制御信号２３が符号化制御部４１に入力されている点である。このフィルタ制御信号２３は符号化制御部４１に入力されると、図２４に示した重み付け回路４６ａに入力される。重み付け回路４６ａはこのフィルタ制御信号２３を解析することにより、適応フィルタ２２がオンまたはオフされていることを判定することができる。従って、例えば、適応フィルタ２２がオンされた予測信号２４に基づく予測誤差信号１５が符号化制御部４１に入力される場合には、重み付けを行い、適応フィルタ２２がオフされた予測信号２４に基づく予測誤差信号１５が符号化制御部４１に入力される場合には重み付けを行わないという制御を行なうことが可能となる。なお、この重み付けの制御はオン、オフばかりでなく、フィルタ制御信号２３の値によりダイナミックに重み付けの値を変更することも可能である。
【００８９】
実施例１９．
上記実施例１０においては、フィルタ制御部２１で入力信号１２とフレームメモリ１からの信号との差に相当する情報を入力画像信号１２で正規化してフィルタ制御信号２３を決定していたが、正規化せずに差に相当する情報そのものの大小に基づいてフィルタ制御信号２３を出力してもよい。
【００９０】
実施例２０．
上記実施例１０においては、フィルタ制御部２１で入力信号１２とフレームメモリ１からの信号との差に相当する情報を入力信号１２で正規化してフィルタ制御信号２３を決定していたが、フィルタ制御部２１で入力信号１２とフレームメモリ１からの信号との差に相当する情報によりフィルタ制御信号２３を決定してもよい。
【００９１】
実施例２１．
上記実施例１０においては、フィルタ制御部２１で入力画像信号１２とフレームメモリ１からの信号との差に相当する情報を入力画像信号１２で正規化してフィルタ制御信号２３を決定していたが、差に相当する情報を画像メモリ１からの信号で正規化した結果により適応フィルタ２２へフィルタ制御信号２３を出力してもよい。
【００９２】
実施例２２．
上記実施例１０においては適応フィルタ部２２をフレームメモリ１の後段に配置したが、図３７に示すように適応フィルタ２２を加算器６の後段に配置してもよい。この場合フィルタ処理をした局部画像信号またはフィルタ処理をしない局部画像信号をフレームメモリ１に書き込み、減算器３で入力信号１２とフレームメモリ１より出力される予測信号２４との減算を行い予測誤差信号１５を発生させて符号化制御を行う。
【００９３】
実施例２３．
また、フレームメモリ１は画像フレーム単位に限らずフィールド単位でもよく、また複数枚数もつ場合にも同様の処理が可能である。
【００９４】
実施例２４．
また、フィルタ制御部および符号化制御部を統合して新たな符号化制御部として統括的に制御を行ってもよい。
図３８はこの実施例の一例を示す図である。この図で特徴となるのは符号化制御・フィルタ制御部５０が設けられている点である。この符号化制御・フィルタ制御部は前述した実施例のフィルタ制御部２１と符号化制御部４１を統合化したものである。前述したようにフィルタ制御部２１及び符号化制御部４１はともに入力した信号のアクティビティを用いて動作しているため、これらアクティビティを計算する部分を共有化することにより小型の装置を得ることが可能になる。また、アクティビティの計算が一箇所で統括的に行われるため、装置全体の制御が容易に行われるようになる。
【００９５】
実施例２５．
また、上記実施例１０においては、動きベクトル検出部２を設けた構成としたが、装置簡素化により例えば常に動き量が零として動きベクトル検出部２を設けないときにも同様の処理が可能である。
【００９６】
実施例２６．
また、上記実施例９〜２５において、前述の符号化制御部４１または符号化制御・フィルタ制御部５０に、符号化部４より出力される符号化データに基づいたフィードバック制御を組み合せて符号化制御を行ってもよい。
図３９は、実施例９に示した符号化制御部４１に対して、フィードバック制御を行う場合を示す図である。図において、１００は符号化部４より出力される符号化データを記憶する送信バッファ、１６０は送信バッファ１００から出力される送信信号、１０１は送信バッファ１００からフィードバックされるフィードバック信号である。
符号化制御部４１は、フィードバック信号１０１により符号化制御信号４２を制御する。例えば、フィードバック信号１０１が送信バッファのデータ占有率を示すものとすると、データ占有率が高い時は符号化部４の符号化量が少なくなるように符号化制御信号４２を出力する。逆に、データ占有率が低い時は符号化部４の符号化量が多くなるように符号化制御信号４２を出力する。
【００９７】
実施例２７．
また、上記実施例においては、信号アクティビティとして、信号に基づく特徴として、信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和あるいは差分自乗和を用いる場合を示したが、このアクティビティとは信号に基づいて求められた特徴の一例であり、前述したような信号に基づく特徴として、信号の最大値と最小値の差あるいは信号平均値からの差分絶対値和あるいは差分自乗和を用いる場合に限らずその他の差分信号やあるいは分散を用いることにより同様の効果を奏することが可能である。
【００９８】
実施例２８．
また、実施例１から２７では、８×８画素の画像データを処理単位とする場合について示したが、１６×１６画素あるいは３２×３２画素あるいは８×１６画素等のその他の処理単位を用いる場合であっても構わない。
【００９９】
実施例２９．
また、実施例１から２７では信号およびデータとして画像を扱っていたが、レーダや音声等の信号やデータを扱ってもよく、本発明は画像データに限定されるものではない。
【０１００】
【発明の効果】
この発明は以上説明したように構成されているので、例えば、以下に記載するような効果を奏する。
【０１０１】
符号化制御部において入力信号と予測誤差信号のアクティビティに基づいて符号化制御信号を導出することにより、符号化効率を向上させることができる。
【０１０２】
符号化制御部において取り扱うアクティビティに対して重み付けを行うことにより、符号化処理装置の要求や処理する画像に応じて、選択された信号の発生確率を制御できる。
【０１０３】
動きに関係なくフィルタ処理および符号化制御信号の導出を行うため、動領域においても視覚的解像度を低下させることなく、静領域においても視覚的に知覚されにくい高周波成分を除去することにより、視覚的に良好な符号化画像を得ることができる。
【０１０４】
予測に用いる画像に量子化誤差が多く含まれている場合においても、フィルタ処理で高域周波数成分を除去し、符号化制御部において最小のアクティビティを持つ信号に基づいて符号化制御信号を導出することにより、符号化効率が向上する。
【０１０５】
符号化制御部において複数のモードの信号のアクティビティの中から最小のアクティビティを持つモードの信号に基づいて符号化制御信号を導出することにより、常に符号化ループゲインが小さくなるような予測ができ、符号化効率が向上する。
【図面の簡単な説明】
【図１】  この発明の一実施例のフレーム間符号化処理方式のブロック図である。
【図２】  この発明の一実施例におけるフィルタ制御部のブロック図である。
【図３】  この発明の一実施例における差異情報の算出方法を示す図である。
【図４】  この発明の一実施例における信号アクティビティを説明するための図である。
【図５】  この発明の一実施例における信号アクティビティを説明するための図である。
【図６】  この発明の一実施例のフィルタ制御部ｏｎ／ｏｆｆ判定フロー図である。
【図７】  この発明の一実施例のフィルタ制御部ｏｎ／ｏｆｆ判定フロー図である。
【図８】  この発明の一実施例のフィルタ制御部ｏｎ／ｏｆｆ判定フロー図である。
【図９】  この発明の一実施例における１次元、２次元、３次元のフィルタ処理を説明するための図である。
【図１０】  この発明の一実施例における処理単位をまたがったフィルタリング処理を説明するための図である。
【図１１】  この発明の一実施例における適応フィルタの動作を説明するための図である。
【図１２】  この発明の一実施例における適応フィルタの出力例を説明するための図である。
【図１３】  この発明の実施例２におけるフレーム間符号化処理方式のブロック図である。
【図１４】  この発明の実施例３におけるフレーム間符号化処理方式のブロック図である。
【図１５】  この発明の実施例４におけるフレーム間符号化処理方式のブロック図である。
【図１６】  この発明の実施例５におけるフレーム間符号化処理方式のブロック図である。
【図１７】  この発明の実施例５におけるフィルタ制御部のブロック図である。
【図１８】  この発明の実施例５における符号化部の動作を説明するための図である。
【図１９】  この発明の実施例６におけるフレーム間符号化処理方式のブロック図である。
【図２０】  この発明の実施例６における制御部のブロック図である。
【図２１】  この発明の実施例７におけるフレームとフィールドの関係を説明するための図である。
【図２２】  この発明の実施例９におけるフレーム間符号化処理方式のブロック図である。
【図２３】  この発明の実施例９における符号化制御部のブロック図である。
【図２４】  この発明の実施例９におけるアクティビティ比較選択部のブロック図である。
【図２５】  この発明の実施例１０におけるフレーム間符号化処理方式のブロック図である。
【図２６】  この発明の実施例１０における重み付け回路の動作を説明するための図である。
【図２７】  この発明の一実施例の重み付け回路の処理フロー図である。
【図２８】  この発明の実施例１２における重み付け回路の処理フロー図である。
【図２９】  この発明の一実施例の比較器の処理フロー図である。
【図３０】  この発明を示す一実施例の制御信号発生器の処理フロー図である。
【図３１】  この発明を示す一実施例の制御信号発生器のメモリテーブルを示す図である。
【図３２】  この発明の実施例１３におけるフレーム間符号化処理方式のブロック図である。
【図３３】  この発明の実施例１５におけるフレーム間符号化処理方式のブロック図である。
【図３４】  この発明の実施例１５における符号化制御部のブロック図である。
【図３５】  この発明の実施例１５におけるアクティビティ比較選択部のブロック図である。
【図３６】  この発明の実施例１８におけるフレーム間符号化処理方式のブロック図である。
【図３７】  この発明の実施例２２におけるフレーム間符号化処理方式のブロック図である。
【図３８】  この発明の実施例２４におけるフレーム間符号化処理方式のブロック図である。
【図３９】  この発明の実施例２６におけるフレーム間符号化処理方式のブロック図である。
【図４０】  従来例のフレーム間符号化処理方式のブロック図である。
【図４１】  従来例のフレーム間符号化処理方式においてフィルタをＯＮ／ＯＦＦさせた場合の動作を説明するための図である。
【図４２】  従来例のフレーム間符号化処理方式のフィルタの動作を説明するための図である。
【図４３】  従来例のフレーム間符号化処理方式のフィルタの動作を説明するための図である。
【符号の説明】
１  フレームメモリ、２  動きベクトル検出部、３  減算器、４  符号化部、５  局部復号化部、６  加算器、７  フィルタ、８  フィルタ制御部、１１  １フレーム前の画像信号、１２  入力信号、１３  動きベクトル、１４  動き補償予測信号、１５  予測誤差信号、１６  符号化された誤差信号、１７  局部復号誤差信号、１８  局部復号信号、１９  平滑化された局部復号信号、２０  制御信号、２１  フィルタ制御部、２２  適応フィルタ部、２３  フィルタ制御信号、２４  予測信号、２５  画素当たりの差異情報、３０  差情報演算部、３１  判定部、３２  差異情報、３３  画素当たり差情報演算部、４１  符号化制御部、４２  符号化制御信号、４５  アクティビティ算出部、４６  アクティビティ比較選択部、１５０  選択信号。
【図１】
0003640651.tif 000002
【図２】
0003640651.tif 000003
【図３】
0003640651.tif 000004
【図４】
0003640651.tif 000005
【図５】
0003640651.tif 000006
【図６】
0003640651.tif 000007
【図７】
0003640651.tif 000008
【図８】
0003640651.tif 000009
【図９】
0003640651.tif 000010
【図１０】
0003640651.tif 000011
【図１１】
0003640651.tif 000012
【図１２】
0003640651.tif 000013
【図１３】
0003640651.tif 000014
【図１４】
0003640651.tif 000015
【図１５】
0003640651.tif 000016
【図１６】
0003640651.tif 000017
【図１７】
0003640651.tif 000018
【図１８】
0003640651.tif 000019
【図１９】
0003640651.tif 000020
【図２０】
0003640651.tif 000021
【図２１】
0003640651.tif 000022
【図２２】
0003640651.tif 000023
【図２３】
0003640651.tif 000024
【図２４】
0003640651.tif 000025
【図２５】
0003640651.tif 000026
【図２６】
0003640651.tif 000027
【図２７】
0003640651.tif 000028
【図２８】
0003640651.tif 000029
【図２９】
0003640651.tif 000030
【図３０】
0003640651.tif 000031
【図３１】
0003640651.tif 000032
【図３２】
0003640651.tif 000033
【図３３】
0003640651.tif 000034
【図３４】
0003640651.tif 000035
【図３５】
0003640651.tif 000036
【図３６】
0003640651.tif 000037
【図３７】
0003640651.tif 000038
【図３８】
0003640651.tif 000039
【図３９】
0003640651.tif 000040
【図４０】
0003640651.tif 000041
【図４１】
0003640651.tif 000042
【図４２】
0003640651.tif 000043
【図４３】
0003640651.tif 000044