(57)【特許請求の範囲】
【請求項１】
動画像信号を構成する画像を複数のブロックに分割し、動き補償を行ったときの上記ブロックの動きベクトル推定残差の大きさと動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行い、当該判定結果に基づいて各ブロック毎に動き補償予測符号化を行う動画像信号符号化方法において、
上記ブロック毎の輝度値の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出し、
上記ブロックの輝度値の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くする
ことを特徴とする動画像信号符号化方法。
【請求項２】
上記動き補償を行わないときの上記ブロックの残差として当該ブロックのＡＣ成分の差分を算出する
ことを特徴とする請求項１記載の動画像信号符号化方法。
【請求項３】
ＤＣ＞ａで且つＭＡＤ＞ｂのときには上記動き補償／非動き補償判定を上記動き補償と判定する
ことを特徴とする請求項１記載の動画像信号符号化方法。
【請求項４】
動画像信号を構成する画像を複数のブロックに分割するブロック分割手段と、
動き補償を行ったときの上記ブロックの動きベクトル推定残差を算出する動きベクトル推定残差算出手段と、
動き補償を行わないときの上記ブロックの残差を算出するブロック残差算出手段と、
上記ブロック毎の輝度の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出する特徴量算出手段と、
上記動き補償を行ったときのブロックの動きベクトル推定残差の大きさと上記動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行う動き補償／非動き補償判定手段と、
上記動き補償／非動き補償判定手段の判定結果に基づいて、上記各ブロック毎に動き補償予測符号化を行う動画像符号化手段とを有してなり、
上記動き補償／非動き補償判定手段では、上記ブロックの輝度の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くする
ことを特徴とする動画像信号符号化装置。
【請求項５】
上記ブロック残差算出手段は、上記動き補償を行わないときの上記ブロックの残差として当該ブロックのＡＣ成分の差分を算出する
ことを特徴とする請求項４記載の動画像信号符号化装置。
【請求項６】
上記動き補償／非動き補償判定手段は、ＤＣ＞ａで且つＭＡＤ＞ｂのときには上記動き補償と判定する
ことを特徴とする請求項４記載の動画像信号符号化装置。
【請求項７】
動画像信号を構成する画像を複数のブロックに分割し、動き補償を行ったときの上記ブロックの動きベクトル推定残差の大きさと動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行い、当該判定結果に基づいて各ブロック毎に動き補償予測符号化を行って符号化ビットストリームを生成し、当該符号化ビットストリームを伝送する動画像信号伝送方法において、
上記ブロック毎の輝度の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出し、
上記ブロックの輝度の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くする
ことを特徴とする動画像信号伝送方法。
【請求項８】
上記動き補償を行わないときの上記ブロックの残差として当該ブロックのＡＣ成分の差分を算出する
ことを特徴とする請求項７記載の動画像信号伝送方法。
【請求項９】
ＤＣ＞ａで且つＭＡＤ＞ｂのときには上記動き補償／非動き補償判定を上記動き補償と判定する
ことを特徴とする請求項７記載の動画像信号伝送方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、例えば動画像信号を光磁気ディスクや磁気テープなどの記録媒体に記録し再生してディスプレイ装置などに表示したり、テレビ会議システム，テレビ電話システムや放送用機器等のように動画像信号を伝送路を介して送信側から受信側に伝送する際に適用して好適な動画像信号符号化方式及び装置、並びに動画像信号伝送方法に関する。
【０００２】
【従来の技術】
従来より、動画像信号をディジタル化して記録し又は伝送する場合、当該動画像信号はデータ量が膨大となるため、データを符号化（圧縮）している。代表的な符号化方式としては、動き補償予測符号化がある。
【０００３】
動き補償予測の原理を図６に示す。
【０００４】
動き補償予測符号化は、画像信号の時間軸方向の相関を利用する方法である。すなわち動き補償予測符号化は、既に復号再生されている動き予測の参照画像ＩＲより現在の符号化対象画像ＩＯの動きベクトルＭＶを推定し、復号再生されている画像信号を信号の動きに合わせて移動させ、この動き情報（動きベクトルＭＶ）とその時の予測残差を伝送することにより、符号化に必要な情報量を圧縮する方法である。
【０００５】
この動き補償予測符号化の代表的なものとしてはいわゆるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）  がある。これは、ＩＳＯ（国際標準化機構）とＩＥＣ（国際電気標準会議）のＪＴＣ（Ｊｏｉｎｔ  Ｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｔｔｅｅ）１のＳＣ（Ｓｕｂ  Ｃｏｍｍｉｔｔｅｅ）２９のＷＧ（Ｗｏｒｋｉｎｇ  Ｇｒｏｕｐ）１１においてまとめられた動画像符号化方式の通称である。
【０００６】
ＭＰＥＧでは、１画像（フレーム又はフイールド）を１６ライン×１６画素で構成されるマクロブロックと呼ばれるブロックに分割し、このマクロブロック単位で動き補償予測符号化を行う。動き補償予測符号化には、大別してイントラ符号化及び非イントラ符号化の２つの方法がある。イントラ符号化は自らのマクロブロックの情報だけを使用する符号化方法であり、非イントラ符号化は自らのマクロブロックの情報と他の時刻に現れる画像より得る情報との双方の情報を用いる符号化方法である。
【０００７】
ＭＰＥＧの動き補償予測符号化の非イントラ符号化では、現在の符号化対象画像のマクロブロックに対応する動き予測参照画像のマクロブロックの動きベクトルを検出し、この動きベクトルに応じた予測画像と入力画像との差（動き予測の残差信号）に対してＤＣＴ（ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ  、離散コサイン変換）を施し、得られたＤＣＴ係数値を量子化することで圧縮を行う。
【０００８】
ここで、ＭＰＥＧでは、現在の符号化対象画像のマクロブロックに対応する動き予測参照画像のマクロブロックの動きベクトルを検出する際に、動き予測参照画像と現在の符号化対象画像との間でマクロブロック毎にパターンマッチングを行う。具体的には、式（１）  に示すように、現在の符号化対象画像のマクロブロックの輝度信号Ｓｉ，ｊと、任意の動きベクトル（ｍｖｘ，ｍｖｙ）により参照される動き予測の参照画像のマクロブロックの輝度信号Ｒｉ＋ｍｖｘ，ｊ＋ｍｖｙとの差の絶対値和Ｅｆを求め、このＥｆの値を元に動きベクトルを検出する。
【０００９】
0003633159.tif 000002
すなわちこのとき、上記Ｅｆの値が最小となる（ｍｖｘ，ｍｖｙ）が求める動きベクトルとなる。
【００１０】
ここで、入力された画像が例えばノイズ等の影響を受けている場合に、上記のようにして動きベクトル検出を行うと、例えば画像の平坦な部分で動きベクトルを誤検出してしまったり、実際には静止している部分であるのに、上記検出された動きベクトルが（０，０）にならないことなどがある。
【００１１】
すなわち、本来は上記式（１）のＥｆの値が最小となるはずの前記輝度信号Ｓｉ，ｊと輝度信号Ｒｉ＋ｍｖｘ，ｊ＋ｍｖｙのどちらか一方あるいは双方がノイズ等の影響を受けているために、上記Ｅｆの値が最小にならないことがあり、結果として正しい動きベクトルが得られなくなることがある。
【００１２】
特に、画像が静止しており、本来ならば動きベクトルが（０，０）であるはずのマクロブロックがノイズ等の影響を受けているような場合は、図７に示すように、マクロブロックに動きが無いにもかかわらず動きベクトルが（０，０）とならないために、画質が劣化する。なお、図７の例では、Ｎ個のフレームＦ０〜ＦＮ−１のうち、フレームＦｉが参照予測画像ＩＲであり、フレームＦｉ＋ｊが現在の符号化対象画像ＩＯとなっている場合を示している。ここで、画像が静止しているのであれば、現在の符号化対象画像ＩＯ内のマクロブロックＭＢＯに対応する予測参照画像ＩＲのマクロブロックとして、本来は動き（０，０）のマクロブロックＭＢＲＲが検出されて動きベクトルＭＶＲも（０，０）となるべきである。これに対し、例えばノイズ等が存在することによってパターンマッチングに誤りが発生し、間違ったマクロブロックＭＶＲＥが検出されると、実際とは異なる（ｍｖｘ，ｍｖｙ）の動きベクトルＭＶＥが得られてしまうことが起きる。このように、画像が静止しているのに、例えばノイズ等が存在することによって（０，０）の動きベクトルＭＶＲが得られずに、（ｍｖｘ，ｍｖｙ）の動きベクトルＭＶＥが得られてしまうと、画質が劣化してしまう。
【００１３】
このような問題を解決するために、マクロブロックの動きベクトルを推定して動きを補償する処理（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ、以下、ＭＣと呼ぶ）を行う際に、マクロブロック毎の輝度値を用いた所定の判定を行い、この判定結果に基づいて強制的に動きベクトルを（０，０）にするような手法が用いられている。なお、上記強制的に動きベクトルを（０，０）にする処理を、以下、ＮｏｎＭＣと呼ぶことにする。また、上記所定の判定をＭＣ／ＮｏｎＭＣ判定と呼ぶことにする。
【００１４】
このような所定の判定（ＭＣ／ＮｏｎＭＣ判定）を行う方式としては、ＭＰＥＧのいわゆるＳＭ３（Ｓｉｍｕｌａｔｉｏｎ  Ｍｏｄｅｌ  ３）で用いられている方式がある。
【００１５】
以下に、図を用いてＭＰＥＧのＳＭ３のＭＣ／ＮｏｎＭＣ判定方式及び動き補償予測符号化方式を説明する。
【００１６】
図８には上記ＭＣ／ＮｏｎＭＣ判定を行う動画像信号符号化装置の一例を示す。図８の動画像信号符号化装置４１は、動き補償予測とＤＣＴとを組み合わせたハイブリッド符号化方法により構成されている。
【００１７】
図８において、端子４２より入力した入力動画像信号Ｓ４１はスキャンコンバータ４３に送出される。スキャンコンバータ４３では、ラスタスキャンで入力される画像信号をブロックフォーマットの信号に変換する。すなわち、図９の（Ａ）に示すように、ラスタスキャンで入力される画像は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。スキャンコンバータ４３は、この１フレームの信号を１６ラインを単位としてＮ個のスライスに区分する。各スライスは、図９の（Ｂ）に示すように、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成されており、図９の（Ｃ）に示すように、この輝度信号は８×８ドットを単位とするブロックＹ［１］からＹ［４］に区分される。また、この１６×１６ドットの輝度信号には、８×８ドットの色差信号Ｃｂ［５］と、８×８ドットの色差信号信号Ｃｒ［６］が対応付けされる。
【００１８】
上記スキャンコンバータ４３によって上記ブロックフォーマットの信号に変換された動画像信号Ｓ４２は、動きベクトル推定回路４４、ＮｏｎＭＥｅｒｒ算出回路４５、及び動画像符号化回路４８に送出される。
【００１９】
動きベクトル推定回路４４では、順次入力される動画像信号Ｓ４２の各フレームのマクロブロック毎に、参照画像記憶部４６に記憶されている参照画像との間でパターンマッチングを行い（現在の符号化対象画像と参照画像との間でマクロブロック毎のパターンマッチングを行う）、このパターンマッチングの結果に基づいて動きベクトルＭＶを検出し、同時に動き予測残差ＭＥｅｒｒを算出してＭＣ／ＮｏｎＭＣ判定回路４７に出力する。
【００２０】
ここで、現在の符号化対象画像のマクロブロックの輝度値をＳｉ，ｊとし、動き予測の参照画像の輝度値をＲｉ，ｊとするとき、上記動き予測残差ＭＥｅｒｒは式（２）を用いて求めることができる。
【００２１】
0003633159.tif 000003
この動画像信号符号化装置４１は、１フレーム内の全てのマクロブロックの動きベクトル推定が終わったならば、現在の動画像信号Ｓ４２（すなわち１フレームの画像データ）を参照画像記憶部４６に記憶し、これを次に入力されてくる画像の参照画像とする。
【００２２】
一方、ＮｏｎＭＥｅｒｒ算出回路４５では、順次入力される動画像信号Ｓ４２の各フレームのマクロブロック毎に、非動き補償時の残差ＮｏｎＭＥｅｒｒを算出する。すなわち、ＮｏｎＭＥｅｒｒ算出回路４５では、動画像信号Ｓ４２としてフレーム毎に順次入力される現在の符号化対象画像内の各マクロブロックと、参照画像記憶部４６に記憶されている参照画像のうちの動きベクトル（０，０）のマクロブロックとの間の差分をそれぞれ求め、これら差分を上記マクロブロック毎に非動き補償時の残差ＮｏｎＭＥｅｒｒとして出力する。ここに、上記非動き補償時の残差ＮｏｎＭＥｅｒｒは式（３）のようにして求める。
【００２３】
0003633159.tif 000004
このようにして得られた非動き補償時の残差ＮｏｎＭＥｅｒｒは、ＭＣ／ＮｏｎＭＣ判定回路４７に送られる。
【００２４】
上述の動き予測残差ＭＥｅｒｒと非動き補償時の残差ＮｏｎＭＥｅｒｒとが入力されたＭＣ／ＮｏｎＭＣ判定回路４７では、例えば図１０に示すような領域区分を用いて動き予測残差ＭＥｅｒｒと非動き補償時の残差ＮｏｎＭＥｅｒｒとの比較を行い、ＭＣ／ＮｏｎＭＣ判定を行う。すなわち図１０では、縦軸に非動き補償時の残差ＮｏｎＭＥｅｒｒを、横軸に動き予測残差ＭＥｅｒｒをとっており、ＭＣ／ＮｏｎＭＣ判定回路４７では、図１０の図中点線で示すＮｏｎＭＥｅｒｒ＝ＭＥｅｒｒの直線で比較領域を分けてＭＣ／ＮｏｎＭＣ判定を行うのではなく、図中実線で示すような（０．１）から（０．５，１）を結ぶ直線と、（０．５，１）から（１，１．５）を結ぶ直線と、（１，１．５）から（１，２．５）を結ぶ直線と、（１，２．５）から（１．５，３）を結ぶ直線と、（１．５，３）から（２．７，３）を結ぶ直線と、ＮｏｎＭＥｅｒｒ＝０．９ＭＥｅｒｒ＋０．５７の直線とからなる線で比較領域を分け、上記動き予測残差ＭＥｅｒｒと非動き補償時の残差ＮｏｎＭＥｅｒｒの値の比較において上記実線の左上側となったときにはＭＣと判定し、上記実線の右下側となったときにはＮｏｎＭＣと判定する。
【００２５】
上記ＭＣ／ＮｏｎＭＣ判定回路４７において、ＭＣと判定した場合は入力された動きベクトルＭＶ（ｍｖｘ，ｍｖｙ）をそのまま出力し、ＮｏｎＭＣと判定した場合は入力された動きベクトルＭＶ（ｍｖｘ，ｍｖｙ）を（０，０）に変えて出力する。当該ＭＣ／ＮｏｎＭＣ判定回路４７から出力された動きベクトルＭＶは、そのフレームの動画像信号Ｓ４２と共に動画像符号化回路（ハイブリッド符号化器）４８に入力される。
【００２６】
次に、図１１には、図８中の動画像符号化回路（ハイブリッド符号化器）４８の具体的な構成例を示す。
【００２７】
この図１１において、入力端子６１には前記ＭＣ／ＮｏｎＭＣ判定回路４７から入力される動きベクトルＭＶが供給される。一方、入力端子５０には、当該動画像符号化回路４８への入力動画像信号Ｓ６０が供給される。なお、上記入力動画像信号Ｓ６０は、図８の構成においてスキャンコンバータ４３から供給される動画像信号Ｓ４２のことである。
【００２８】
また、当該動画像符号化回路４８の動き補償フレーム間／内予測回路５７は、画像メモリを備え、上記入力端子６１からの動きベクトルＭＶに基づいて当該画像メモリから読み出した予測画像信号Ｓ６３を出力する。
【００２９】
演算器５１は、上記入力端子５０からの入力動画像信号Ｓ６０（Ｓ４２）を加算信号とし、上記動き補償フレーム間／内予測回路５７からの上記予測画像信号Ｓ６３を減算信号として加算処理を行うことにより、上記入力動画像信号Ｓ４２と予測画像信号Ｓ６３の差分を計算し、当該差分を予測残差信号Ｓ６１として出力する。なお、入力動画像として、隣接フレーム間の相関が無い例えばシーンチェンジ等の信号が供給されたときは、上記予測を行わず、したがって演算器５１からは入力動画像信号Ｓ６０がそのまま取り出される（予測を行わない原信号として出力される）。
【００３０】
次に、上記演算器５１から出力された予測残差信号Ｓ６１（予測を行わない時は原信号）は、ＤＣＴ回路５２に送られる。このＤＣＴ回路５２では上記予測残差信号Ｓ６１に対して２次元ＤＣＴを施す。このＤＣＴ回路５２から出力されたＤＣＴ係数は、量子化回路５３にてスカラー量子化される。この量子化回路５３の量子化出力信号は、可変長符号化（ＶＬＣ）回路５８と逆量子化回路５４とに送られる。ＶＬＣ回路５８では、上記量子化出力信号に対して例えばハフマン符号化を施す。このＶＬＣ回路５８の出力信号はバッファメモリ５９に送られる。当該バッファメモリ５９では、伝送路に出力するビットレートを平滑化して出力端子６０から出力する。また、当該バッファメモリ５９がオーバーフローしそうになった時には、そのことを量子化制御情報として量子化回路５３にフィードバックする。このときの量子化回路５３では量子化ステップを大きくし、これにより量子化回路５３から出力される情報量が小さくなり、上記バッファメモリ５９ではオーバーフローの発生が防止される。なお、図１１の出力端子６０は、図８の出力端子４９と対応している。
【００３１】
一方、逆量子化回路５４では、量子化回路５３より供給される量子化ステップ情報ｑ＿ｓｔｅｐに対応して、上記量子化出力信号に逆量子化処理を施す。当該逆量子化回路５４の出力は、逆ＤＣＴ回路５５に入力され、ここで逆ＤＣＴ処理されて復号された予測残差信号Ｓ６２が、演算器５６へ入力される。
【００３２】
この演算器５６にはまた、演算器５１に供給されている予測画像信号Ｓ６３と同一の信号が供給されている。演算器５６は、上記予測残差信号Ｓ６３に予測画像信号Ｓ６８を加算する。これにより、局所復号した画像信号が得られる。この画像信号は、受信側での出力画像と同じ信号である。
【００３３】
ＭＰＥＧのＳＭ３では、以上のようにしてＭＣ／ＮｏｎＭＣ判定を行い、動画像符号化を行う。ここで、ＮｏｎＭＣの場合には、動きベクトルを伝送する必要が無いため、図１０に示したように、予測誤差信号が０に近い領域や、動き予測残差ＭＥｅｒｒと非動き補償時の残差ＮｏｎＭＥｅｒｒの値がほぼ等しいか動き予測残差ＭＥｅｒｒが小さい領域ではＮｏｎＭＣを選択することで、動きベクトル分の情報量を削減できる。
【００３４】
次に、動き補償予測符号化を行う際に、現在の符号化対象画像と動き予測の参照画像との間でそれぞれ対応するマクロブロックに動きは無いが、輝度値の変化は大きいような画像が入力されることがある。このような画像としては、例えば段階的に輝度値を変化させるフェードインやフェードアウトなどの処理が施された静止画像などが考えられる。なお、以下の説明では、当該静止画像においてフェードインやフェードアウトなどの処理が施されたものをフェード画像と呼ぶことにする。
【００３５】
当該フェード画像のような輝度値が変化する入力画像を前記式（１）を用いたパターンマッチングによって動き補償予測符号化した場合、現在の符号化対象画像と動き予測の参照画像との間でそれぞれ対応するマクロブロックの輝度値が大きく変化しているために、本来は動きベクトル（０，０）のマクロブロックであったとしても前記Ｅｆが最小になり難く、これにより動きベクトルを誤検出してしまい、結果として再生画像にブロック歪みやモスキートノイズが目立つようになり、画質劣化が生じることになる。
【００３６】
すなわち例えば前述のＭＰＥＧのＳＭ３では、輝度値の差分の絶対値和のみで動きベクトルの検出及びＭＣ／ＮｏｎＭＣの判定を行っているため、実際には動き予測の参照画像と現在の符号化対象画像との間でそれぞれ対応するマクロブロックに動きが無くても、これらのマクロブロックの間で輝度値の変化が大きい場合には動きベクトルが正しく（０，０）と検出されず、本来の動きと異なるマクロブロックが参照画像のマクロブロックとして検出される可能性があり、そのために符号化効率が低下して主観画質が劣化してしまうことがある。
【００３７】
このようなことから、本件出願人は、ＮｏｎＭＣ時のマクロブロックの予測残差信号を求める際に、輝度値の差分の絶対値和の代わりに、マクロブロック内の輝度値のＡＣ成分（交流成分）の差分の絶対値和を用いて動き補償時の輝度値の絶対値和と大きさを比較して、ＭＣ／ＮｏｎＭＣ判定を行う方式（以下、ＡＣＭＥと呼ぶことにする）を、既に特開平８−９８１８７号の公報おいて開示している。
【００３８】
図１２には、上記ＡＣＭＥを用いた動画像信号符号化装置の一例を示す。なお、この図１２中のＡＣＭＥｅｒｒ算出回路２５とＭＣ／ＮｏｎＭＣ判定回路２７を除く、入力端子２２，スキャンコンバータ２３，動きベクトル推定回路２４、参照画像記憶部２６，動画像符号化回路２８，出力端子２９は、各々図８の入力端子４２，スキャンコンバータ４３，動きベクトル推定回路４４、参照画像記憶部４６，動画像符号化回路４８，出力端子４９と対応しており、動作は全く同じであるため、説明を省略する。また、図１２中の信号Ｓ２２は、前記図１１の動画像符号化回路２８における入力動画像信号Ｓ６０（図８の動画像信号Ｓ４２）に対応している。
【００３９】
この図１２のＡＣＭＥｅｒｒ算出回路２５において、上述の現在の符号化対象のマクロブロックと動きベクトル（０，０）の参照画像のマクロブロックのＡＣ成分の差分の絶対値和をＡＣＭＥｅｒｒとすると、当該ＡＣＭＥｅｒｒは例えば以下の様な式（４）で求めることができる。
【００４０】
0003633159.tif 000005
ここに、式中のＳは現在の符号化対象画像のマクロブロックの輝度値の平均値、Ｒ０ａｖは予測参照画像の動きベクトル（０，０）のマクロブロックの輝度値の平均値で、各々以下の式（５），式（６）で求める。
【００４１】
0003633159.tif 000006
また、ＭＣ／ＮｏｎＭＣ判定回路２７では、例えば図１３に示すような領域区分を用いて判定を行う。すなわち図１３では縦軸に前記ＡＣＭＥｅｒｒを、横軸に前記動き予測残差ＭＥｅｒｒをとっており、このＭＣ／ＮｏｎＭＣ判定回路２７では、図中点線で示すＡＣＭＥｅｒｒ＝ＭＥｅｒｒの直線で比較領域を分けてＭＣ／ＮｏｎＭＣ判定を行うのではなく、図中実線で示すような（０．ｙ１）から（ｘ１，ｙ１）を結ぶ直線と、（ｘ１，ｙ１）から（ｘ２，ｙ２）を結ぶ直線と、ＡＣＭＥｅｒｒ＝ＭＥｅｒｒ＋（ｘ２−ｙ２）の直線とからなる線で比較領域を分け、上記ＭＥｅｒｒとＡＣＭＥｅｒｒの値の比較において上記実線の左上側となったときにはＭＣと判定し、上記実線の右下側となったときにはＮｏｎＭＣと判定するようにしている。なお、この図１３においては、ｘ１≧ｙ１、ｘ２＞ｙ２である。ＭＣ／ＮｏｎＭＣ判定回路２７は、この図１３に示す領域区分において、ＡＣＭＥｅｒｒとＭＥｅｒｒが共に０に近い領域では強制的にＮｏｎＭＣと判定し、ＡＣＭＥｅｒｒとＭＥｅｒｒの値が略々等しいか或いはＡＣＭＥｅｒｒがＭＥｅｒｒよりも大きい領域ではＭＣと判定する。
【００４２】
図１２に示した動画像信号符号化装置２１においては、上述のような判定を行うことで、現在の符号化対象画像と動き予測の参照画像との間のそれぞれ対応するマクロブロックの輝度値の変化が大きく且つ動きが無い前記フェード画像のような場合であっても、動きベクトルを正しく（０，０）として得ることが出来るようになる。
【００４３】
【発明が解決しようとする課題】
ところで、入力画像の平坦な部分において、前述したように現在の符号化対象画像と動き予測の参照画像との間で前記式（２）  、式（３）を用いて前記ＭＥｅｒｒとＮｏｎＭＥｅｒｒとを算出したときに、各々小さい残差が得られた場合を考えてみる。
【００４４】
ＭＰＥＧのＳＭ３における前記ＭＣ／ＮｏｎＭＣ判定では、これらの残差がマクロブロック間の微妙な輝度値の変化によるものなのか、ノイズの影響によるものなのか、或いは画像中の物体の一部がマクロブロックに含まれているためなのかを判断することができない。すなわち、現在の符号化対象画像と動き予測の参照画像との間のそれぞれ対応するマクロブロックが共に平坦で、動き予測残差も小さい場合に、ＭＰＥＧのＳＭ３におけるＭＣ／ＮｏｎＭＣ判定では、符号化対象のマクロブロックが画像の一部を含んだ動きのあるマクロブロックなのか、或いはノイズを含んだ動きの無いマクロブロックなのかの判別ができない。
【００４５】
このことを図１４を用いて具体的に説明する。図１４の（ａ）には、時間の経過と共に移動する物体ＯＢＢの画像を含む１フレームの画像の一部を示している。また、この図１４の（ａ）に示すフレーム画像は、上記物体ＯＢＢを含むマクロブロックを除いて、ほとんど輝度値に変化のない平坦なマクロブロック（輝度値の変化が微妙にしかないマクロブロック）から構成されているが、マクロブロックＭＢＦｎにはノイズｎが存在している。ただし、このノイズｎを含んだマクロブロックＭＢＦｎも、ほとんど輝度値に変化のない平坦なマクロブロック（輝度値の変化が微妙にしかないマクロブロック）であるとする。
【００４６】
ここで、当該図１４の（ａ）に示すフレーム画像の符号化を行う場合に、前述したＭＰＥＧのＳＭ３のＭＣ／ＮｏｎＭＣ判定を用い、残差の小さい領域でＮｏｎＭＣが選択されるようにすると、上記ノイズｎを含んだ動きの無いマクロブロックＭＢＦｎの動きベクトルについては値を（０，０）とすることはできるが、例えば上記物体ＯＢＢの画像の一部ｏｂＢを含むマクロブロックＭＢＦＩのように、ほとんど輝度値に変化のない平坦なマクロブロック（輝度値の変化が微妙にしかないマクロブロック）については、本来ならば動きのあるマクロブロックとすべきものを、動きの無いマクロブロック（動きベクトル（０，０）のマクロブロック）としてしまう虞れがある。
【００４７】
すなわち、このように本来ならば動きのあるマクロブロックとすべきものを、動きの無いマクロブロック（動きベクトル（０，０）のマクロブロック）としてしまうと、当該図１４の（ａ）のフレーム画像からある時間ｔ経過後の再生画像には、図１４の（ｂ）に示すように、上記マクロブロックＭＢＦＩに対応する位置に、上記物体ＯＢＢの一部ｏｂＢが固定されたノイズｏｂＡとして残ってしまうようになる。なお、図１４の（ｂ）には、時間ｔ経過後の物体ＯＢＡと共に、図中点線で示すように時間ｔ経過前に物体ＯＢＢが存在した位置も示している。
【００４８】
このように、物体ＯＢＢの一部ｏｂＢを固定されたノイズｏｂＡとして残さないようにするためには、ＭＣが選択されるべきである場合に誤ってＮｏｎＭＣが選択されないようにすればよいと考えられ、そのためにはＭＣ／ＮｏｎＭＣ判定において例えば動き予測残差の小さい領域で、ＭＣが選択されるべき場合に、ＭＣが選択され易くなるようにすればよいが、前述した従来のＭＣ／ＮｏｎＭＣ方式の場合、上記動き予測残差の小さい領域で、ＭＣが選択されるべき場合に、ＭＣを選択され易くすることは未だ実現されていない。
【００４９】
また、従来のＭＣ／ＮｏｎＭＣ方式の場合、動き予測残差の小さい領域で、ＭＣを選択されやすくすると、問題が生じることがある。例えば前記マクロブロックＭＢＦｎのようにノイズｎの影響を受けた平坦で動きが無く且つ予測残差が小さいマクロブロックでは、動きベクトルを誤検出してしまい、符号化効率が悪くなる虞れがあるという問題があげられる。
【００５０】
これらの問題は、前述した特開平８−９８１８７号の公報おいて開示した前記ＡＣＭＥを用いるＭＣ／ＮｏｎＭＣ判定方式においても同様である。
【００５１】
そこで、本発明はこのような状況に鑑みてなされたものであり、画像の平坦部で動き予測残差の小さい場合、ＭＣが選択されるべきときに、間違ってＮｏｎＭＣが選択されることを原因とする固定ノイズの発生を防止できると共に、ＮｏｎＭＣが選択されるべきときに、間違ってＭＣが選択されることを原因とする画質の劣化を起こさせることなく動きベクトルを（０，０）とすることで符号化効率を向上させ、主観画質を改善し得る動画像信号符号化方法及び装置、並びに動画像信号伝送方法を提供することを目的とする。
【００５２】
【課題を解決するための手段】
本発明の動画像信号符号化方法は、動画像信号を構成する画像を複数のブロックに分割し、動き補償を行ったときの上記ブロックの動きベクトル推定残差の大きさと動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行い、当該判定結果に基づいて各ブロック毎に動き補償予測符号化を行う動画像信号符号化方法において、上記ブロック毎の輝度値の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出し、上記ブロックの輝度値の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くすることにより、上述した課題を解決する。
【００５３】
また、本発明の動画像信号符号化装置は、動画像信号を構成する画像を複数のブロックに分割するブロック分割手段と、動き補償を行ったときの上記ブロックの動きベクトル推定残差を算出する動きベクトル推定残差算出手段と、動き補償を行わないときの上記ブロックの残差を算出するブロック残差算出手段と、上記ブロック毎の輝度の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出する特徴量算出手段と、上記動き補償を行ったときのブロックの動きベクトル推定残差の大きさと上記動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行う動き補償／非動き補償判定手段と、上記動き補償／非動き補償判定手段の判定結果に基づいて、上記各ブロック毎に動き補償予測符号化を行う動画像符号化手段とを有してなり、上記動き補償／非動き補償判定手段では、上記ブロックの輝度の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くすることにより、上述した課題を解決する。
【００５４】
さらに、本発明の動画像信号伝送方法は、動画像信号を構成する画像を複数のブロックに分割し、動き補償を行ったときの上記ブロックの動きベクトル推定残差の大きさと動き補償を行わないときの上記ブロックの残差の大きさとを比較して動き補償／非動き補償判定を行い、当該判定結果に基づいて各ブロック毎に動き補償予測符号化を行って符号化ビットストリームを生成し、当該符号化ビットストリームを伝送する動画像信号伝送方法において、上記ブロック毎の輝度の平均値ＤＣと上記ブロック毎の輝度値の変化に基づいて求められる平坦さを表す値ＭＡＤとを算出し、上記ブロックの輝度の平均値ＤＣ及び上記平坦さを表す値ＭＡＤをそれぞれ所定の閾値ａ及びｂと比較した結果に基づいて、上記動き補償／非動き補償判定での大きさ比較に用いる判定領域区分を適応的に選択する際に、ＤＣ＞ａで且つＭＡＤ＞ｂのときの非動き補償の判定領域区分よりも、それ以外のときの非動き補償の判定領域区分を広くすることにより、上述した課題を解決する。
【００５５】
ここで、本発明の動画像信号符号化方法及び装置、本発明の動画像信号伝送方法においては、動き補償を行わないときの上記ブロックの残差としてこのブロックのＡＣ成分の差分を算出する。また、ブロックの輝度の平均値が低く平坦なときには、動き補償を行わない非動き補償の判定領域区分を広くするようにしている。
【００５７】
すなわち本発明においては、動画像信号を動き補償予測符号化する際に、入力画像のブロック（マクロブロック）の特徴量を用いて動き補償／非動き補償の判定方式を適応的に切り替えることにより、動きが無く、ノイズの影響を受けている画像や、輝度値が大きく変化しているような画像、動きが無い全体に平坦で暗い画像に対して、非動き補償のモードを効果的に用いることが可能となる。
【００５８】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら詳細に説明する。
【００５９】
先ず、本発明実施例の具体的な内容の説明に先立ち、本発明の原理について説明する。
【００６０】
これまでの検討の結果、現在の符号化対象画像と動き補償予測の参照画像との間のそれぞれ対応するマクロブロックにおいて、共に輝度の平均値が低く平坦であるときには、動きが無く、動きベクトルがほぼゼロであり、ＮｏｎＭＣとなり、動き予測残差も小さくなる場合が多いことがわかっている。また、このような場合において、もし、ＭＣが選択されるべきときに間違ってＮｏｎＭＣが選択されることによって、例えば画像の一部が固定されたノイズとなって残ったとしても、人間は輝度値がある程度よりも低く、暗い画像部分においては、ノイズに対しての視覚の感度が低いため、それを検知し難いこともわかっている。したがって、暗い画像部分では、もしＭＣが選択されるべきときに、間違ってＮｏｎＭＣが選択されたとしても、大きな問題ではない。
【００６１】
従って、このように現在の符号化対象画像と動き補償予測の参照画像との間のそれぞれ対応するマクロブロックにおいて、共に輝度の平均値が低く平坦である場合（もしくは、「入力されたマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤが、共に予め定めた閾値よりも小さい場合」）には、ＭＣ／ＮｏｎＭＣ判定において、前述した図１０のような領域区分を用いて、上記動き予測残差の小さい領域がＮｏｎＭＣと判定され易くなるようにすれば、例え画像の一部が固定されたノイズとなって残ったとしても人間はそれを検知し難いため、主観的な画質を改善することが可能となる。
【００６２】
一方、現在の符号化対象画像と動き補償予測の参照画像との間でそれぞれ対応するマクロブロックにおいて、共に輝度の平均値が高く平坦である場合には、もしＭＣが選択されるべきときに、間違ってＮｏｎＭＣが選択されることによって、前述のような画像の一部が固定されたノイズとなって残っていると、人間はそれを検知し易いことがわかっている。
【００６３】
従って、このように現在の符号化対象画像と動き補償予測の参照画像との間でそれぞれ対応するマクロブロックにおいて、共に輝度の平均値が高く平坦である場合（もしくは、「入力されたマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤが、共に予め定めた閾値よりも大きい場合」）には、ＭＣ／ＮｏｎＭＣ判定において、動き予測残差の小さい領域ではＭＣ／ＮｏｎＭＣ判定を行わずに通常の動き検出を行うようにすれば、画像の一部が固定されたノイズとなって残ってしまうことを無くすことができ、画質の劣化を防ぐことが可能となる。
【００６４】
そこで、本発明では、動き補償予測符号化のために動きベクトルを検出する際に、前記式（２）で得られるＭＥerrの最小値と前記式（３）に示すＮｏｎＭＥerrの値とを用い、所定の領域区分で各々の大きさを比較することでＭＣ／ＮｏｎＭＣ判定を行い、動きの無いマクロブロックの動きベクトルを正しく（０，０）と検出しようとする方式において、現在の符号化対象画像のマクロブロックの少なくとも輝度の平均値と平坦さを表す値とに基づいて、適応的にＭＣ／ＮｏｎＭＣ判定のための領域区分を変化させることで、ＭＣが選択されるべきときに、間違ってＮｏｎＭＣが選択されることによって、画像の一部が固定されたノイズとなって残ることを無くして符号化効率を向上させることを可能にすると共に、暗い画像部分では、もしＭＣが選択されるべきときに、間違ってＮｏｎＭＣが選択されたとしても、大きな問題ではないので、例え画像の一部が固定されたノイズとなって残ったとしても主観的な画質を改善できるようにしている。
【００６５】
すなわち本発明では、例えば入力画像のマクロブロックの輝度の平均値が低く平坦であり、動きが無く、動き予測残差も小さくなる場合、ＭＣ／ＮｏｎＭＣ判定において前記図１０に示したような領域区分を用いて、上記動き予測残差の小さい領域がＮｏｎＭＣとして選択され易くすることで、例え画像の一部が固定されたノイズとなって残っても主観的な画質を改善可能にしている。
【００６６】
一方、本発明では、輝度の平均値が高く平坦である場合、ＭＣ／ＮｏｎＭＣ判定において動き予測残差の小さい領域ではＭＣ／ＮｏｎＭＣ判定を行わずに通常の動き検出を行うようにすることで、画像の一部が固定されたノイズとなって残ってしまうことを無くして、画質の劣化を防ぐことを可能にしている。
【００６７】
さらに、動きベクトルを検出する時に、前記式（２）の輝度値の差分の絶対値和と同時に、前記式（４）の動きベクトル（０，０）のマクロブロックのＡＣ成分の差分の絶対値和を用いる方式（前記ＡＣＭＥ）でも、現在の符号化対象のマクロブロックの輝度の平均値と平坦度とに基づいて、ＭＣ／ＮｏｎＭＣ判定を適応的に制御することで、画像の一部が固定されたノイズとなって残ることを無くして符号化効率を向上させることが可能であると共に、例え画像の一部が固定されたノイズとなって残ったとしても主観的な画質を改善できる。
【００６８】
すなわち、本発明にかかるＭＣ／ＮｏｎＭＣ判定の方式を、前述した特開平８−９８１８７号の公報にて開示されている前記ＡＣＭＥを用いるＭＣ／ＮｏｎＭＣ判定方式と組み合わせるようにすれば、現在の符号化対象画像と動き予測の参照画像のそれぞれ対応するマクロブロックの間で動きが無く、輝度値の変化が大きいような例えば前述したフェード画像に対しても、効果的にＭＣ／ＮｏｎＭＣ判定を行うことが可能となる。
【００６９】
ここで、フェード画像の平坦部や、画面全体の輝度値が低く平坦で動きが少ない画像においては、経験的に現在の符号化対象画像と動き予測の参照画像のそれぞれ対応するマクロブロックの間で、前記式（２）のＭＥｅｒｒと前記式（４）のＡＣＭＥｅｒｒが等しいか、前記式（２）のＭＥｅｒｒよりも前記式（４）のＡＣＭＥｅｒｒが僅かに大きい場合が多い（ＡＣＭＥｅｒｒがやや大きい領域に値が集中する）ことがわかっている。このため、予測残差の小さい領域の他にも、このような領域をＮｏｎＭＣとすることが望ましい。
【００７０】
したがって、本発明では、図１に示すように、ＮｏｎＭＣの領域を多くした領域区分を用いて、動きベクトルを（０，０）として検出し易くしている。すなわち図１では、縦軸に前記ＡＣＭＥｅｒｒを、横軸に前記動き予測残差ＭＥｅｒｒをとっており、図中点線で示すＡＣＭＥｅｒｒ＝ＭＥｅｒｒの直線で比較領域を分けてＭＣ／ＮｏｎＭＣ判定を行うのではなく、図中実線で示すような（０．ｙ３）から（ｘ３，ｙ３）を結ぶ直線と、ＡＣＭＥｅｒｒ＝ＭＥｅｒｒ＋（ｘ３−ｙ３）の直線とからなる線で比較領域を分け、上記ＭＥｅｒｒとＡＣＭＥｅｒｒの値の比較において上記実線の左上側となったときにはＭＣと判定し、上記実線の右下側となったときにはＮｏｎＭＣと判定するようにしている。この図１の領域区分を用いることで、符号化効率を向上させて再生画像の主観的画質を向上させることができる。
【００７１】
なお、上記以外の画像の場合には従来通りの前記図１３に示した領域区分を用いてＭＣ／ＮｏｎＭＣ判定を行う。
【００７２】
以上のように、本発明では、入力画像の平坦部で予測残差が小さいような場合でも、主観画質を改善し、符号化効率を向上させるようにしている。
【００７３】
次に、本発明実施例の具体的な内容の説明を行う。
【００７４】
図２には、本発明の画像信号符号化方法及び画像信号伝送方法が適用される画像信号符号化装置１の第１の構成例を示す。本発明実施例では、動画像信号符号化装置１は動き補償予測とＤＣＴとを組み合わせたハイブリッド符号化を行う。
【００７５】
この図１において、端子２より入力した入力動画像信号Ｓ１はスキャンコンバータ３に送出される。スキャンコンバータ３では、ラスタスキャンで入力される画像信号をブロックフォーマットの信号に変換する。すなわち、前述した図９にて説明したように、当該スキャンコンバータ３は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている入力動画像信号Ｓ１の１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分し、各スライスをＭ個のマクロブロックに分割する。各マクロブロックは、前述同様に、１６×１６個の画素（ドット）に対応する輝度信号により構成されており、この輝度信号は８×８ドットを単位とするブロックＹ［１］からＹ［４］に区分され、またこの１６×１６ドットの輝度信号には、８×８ドットの色差信号Ｃｂ［５］と、８×８ドットの色差信号信号Ｃｒ［６］が対応付けされている。
【００７６】
上記スキャンコンバータ３によって上記ブロックフォーマットの信号に変換された動画像信号Ｓ２は、動きベクトル推定回路４、ＮｏｎＭＥｅｒｒ算出回路５、特徴量算出回路６及び動画像符号化回路９に送出される。
【００７７】
動きベクトル推定回路４では、順次入力される動画像信号Ｓ２の各フレームのマクロブロック毎に、参照画像記憶部７に記憶されている参照画像との間でパターンマッチングを行い（現在の符号化対象画像と参照画像との間でマクロブロック毎のパターンマッチングを行う）、このパターンマッチングの結果に基づいて動きベクトルＭＶを検出し、同時に前記式（２）を用いて動き予測残差ＭＥｅｒｒを算出し、これら動きベクトルＭＶと動き予測残差ＭＥｅｒｒをＭＣ／ＮｏｎＭＣ判定回路８に出力する。
【００７８】
この動画像信号符号化装置１は、１フレーム内の全てのマクロブロックの動きベクトル推定が終わったならば、現在の動画像信号Ｓ２（すなわち１フレームの画像データ）を参照画像記憶部７に記憶し、これを次に入力されてくる画像の参照画像とする。
【００７９】
一方、ＮｏｎＭＥｅｒｒ算出回路５では、順次入力される動画像信号Ｓ２の各フレームのマクロブロック毎に、非動き補償時の残差ＮｏｎＭＥｅｒｒを算出する。すなわち、ＮｏｎＭＥｅｒｒ算出回路５では、動画像信号Ｓ２としてフレーム毎に順次入力される現在の符号化対象画像内の各マクロブロックと、参照画像記憶部７に記憶されている参照画像のうちの動きベクトル（０，０）のマクロブロックとの間の差分をそれぞれ求め、これら差分を上記マクロブロック毎に非動き補償時の残差ＮｏｎＭＥｅｒｒとして出力する。上記非動き補償時の残差ＮｏｎＭＥｅｒｒは前記式（３）を用いて求める。
【００８０】
このようにして得られた非動き補償時の残差ＮｏｎＭＥｅｒｒは、ＭＣ／ＮｏｎＭＣ判定回路８に送られる。
【００８１】
また、特徴量算出回路６では、順次入力される動画像信号Ｓ２の各フレームのマクロブロック毎に、それぞれマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤとを算出する。ここで、マクロブロックの平均輝度値ＤＣとしては、例えば次式（７）に示すように、マクロブロック内の輝度値Ｓｉ，ｊの絶対値の和の平均を求める。
0003633159.tif 000007
また、平坦さを表す値ＭＡＤとしては、例えば次式（８）に示すように、マクロブロック内の輝度値Ｓｉ，ｊと平均輝度値ＤＣの差分の絶対値の和を求める。
0003633159.tif 000008
このようにして算出したマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤは、ＭＣ／ＮｏｎＭＣ判定回路８に出力される。
【００８２】
上述した動きベクトル推定回路４からの動きベクトルＭＶ及び動き予測残差ＭＥｅｒｒと、ＮｏｎＭＥｅｒｒ算出回路５からの非動き補償時の残差ＮｏｎＭＥｅｒｒと、上記特徴両算出回路６からのマクロブロックの平均輝度値ＤＣ及び平坦さを表す値ＭＡＤとが入力されたＭＣ／ＮｏｎＭＣ判定回路８では、これら供給された情報に基づいて、前述の本発明の原理にて述べたように適応的にＭＣ／ＮｏｎＭＣ判定のための領域区分を変化させて当該ＭＣ／ＮｏｎＭＣ判定を行う。
【００８３】
すなわち具体的に言うと、当該ＭＣ／ＮｏｎＭＣ判定回路８では、入力されたマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤが、共に予め定めた閾値よりも小さい場合には入力動画像信号Ｓ２に対してＭＣ／ＮｏｎＭＣ判定を行い、逆に上記閾値よりも大きい場合にはＮｏｎＭＣを用いずＭＣのみとする判定処理を行う。
【００８４】
ここで、図３のフローチャートを用いて、当該ＭＣ／ＮｏｎＭＣ判定回路８における動作を説明する。
【００８５】
図３において、先ずステップＳＴ１では、現在の符号化対象のフレーム内で各マクロブロックのＭＣ／ＮｏｎＭＣ判定を開始する。
【００８６】
ステップＳＴ２では、マクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで且つＭＡＤ＞ｂであるか否かの判定を行う。このステップＳＴ２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂであるならば、通常の動き予測補償を選択し、ステップＳＴ３の処理に移る。一方、ステップＳＴ２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合には、前記図１０に示した領域区分を選択し、ステップＳＴ４の処理に移る。ここで、例えばａ＝６０であり、ｂ＝３８４である。
【００８７】
上記ステップＳＴ３では、通常の動き補償予測を行い、動きベクトルＭＶをそのまま出力して、ステップＳＴ７の処理に進む。なお、当該出力した動きベクトルＭＶは、そのマクロブロックの動画像信号Ｓ２と共に動画像符号化回路９に入力される。
【００８８】
また、ステップＳＴ４では、前記図１０の領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。このステップＳＴ４において、前記動き予測残差ＭＥｅｒｒと非動き補償時の残差ＮｏｎＭＥｅｒｒとの比較から、前記図１０のＭＣの領域にある場合はステップＳＴ５の処理に進み、判定結果をＭＣとし、それ以外の場合はステップＳＴ６に進み、判定結果をＮｏｎＭＣとする。なお、図１０において図中の実線上はＭＣの領域に含むものとする。
【００８９】
ステップＳＴ５では、入力された動きベクトルＭＶをそのまま出力し、ステップＳＴ７の処理に進む。また、ステップＳＴ６では、入力された動きベクトルＭＶを（０，０）に変えて出力し、ステップＳＴ７の処理に進む。なお、これら出力した動きベクトルＭＶは、そのマクロブロックの動画像信号Ｓ２と共に動画像符号化回路９に入力される。
【００９０】
ステップＳＴ７では、現在のマクロブロックがフレーム内の最後のマクロブロックであるか否かの判定を行う。現在のマクロブロックがフレーム内の最後のマクロブロックであると判定された場合はステップＳＴ９の処理に進み、そうでない場合はステップＳＴ２に戻り、次のマクロブロックの処理を行う。
【００９１】
ステップＳＴ９では、現在の符号化対象画像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次のフレームを符号化対象画像として当該図３のフローチャートの処理を行う。
【００９２】
以上のようにしてＭＣ／ＮｏｎＭＣ判定回路８ではＭＣ／ＮｏｎＭＣ判定を行う。
【００９３】
動画像符号化回路９は、前述した図１１と同じ構成を有するものであり、前記図１１にて説明したのと同じ動作を行うので、ここではその説明を省略する。なお、この場合の図１１の入力動画像信号Ｓ６０は、図２の構成においてスキャンコンバータ３から供給される動画像信号Ｓ２のことであり、前記端子６１には図２のＭＣ／ＮｏｎＭＣ判定回路８からの動きベクトルＭＶが供給される。
【００９４】
次に、図４には、本発明の画像信号符号化方法及び画像信号伝送方法が適用される画像信号符号化装置１１の第２の構成例を示す。
【００９５】
ここで、この図４に示す第２の構成例では、前記図２に示した第１の構成例のＮｏｎＭＥｅｒｒ算出回路５の代わりにＡＣＭＥｅｒｒ算出回路１５を用いて前記ＡＣＭＥｅｒｒを算出してＭＣ／ＮｏｎＭＣ判定を行うようにしている。このようにすることで、例えばフェード画像においても効果的なＭＣ／ＮｏｎＭＣ判定を行えるようになる。
【００９６】
なお、この図４中のＡＣＭＥｅｒｒ算出回路１５とＭＣ／ＮｏｎＭＣ判定回路１８を除く、入力端子１２，スキャンコンバータ１３，動きベクトル推定回路１４，特徴量算出回路１６，参照画像記憶部１７，動画像符号化回路１９，出力端子２０は、各々図２の入力端子２，スキャンコンバータ３，動きベクトル推定回路４，特徴量算出回路６，参照画像記憶部７，動画像符号化回路９，出力端子１０と対応しており、動作は全く同じであるため、説明を省略する。また、図４中の信号Ｓ１２は、前記図２の動画像符号化回路９における入力動画像信号Ｓ２に対応している。
【００９７】
この図４のＡＣＭＥｅｒｒ算出回路１５においては、前記式（４）、式（５）、式（６）を用いて、前記現在の符号化対象のマクロブロックと動きベクトル（０，０）の参照画像のマクロブロックのＡＣ成分の差分の絶対値和ＡＣＭＥｅｒｒを求める。
【００９８】
ＭＣ／ＮｏｎＭＣ判定回路１８では、入力されたマクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤより、入力動画像信号Ｓ１２のＭＣ／ＮｏｎＭＣ判定に用いる領域区分を選択し、選択した領域区分と入力された動き予測残差ＭＥｅｒｒとＡＣＭＥｅｒｒとから、ＭＣ／ＮｏｎＭＣの判定を行う。
【００９９】
以下、図５のフローチャートを用いて、図４のＭＣ／ＮｏｎＭＣ判定回路１８における動作を説明する。
【０１００】
この図５において、先ずステップＳＴ１１では、現在の符号化対象のフレーム内で各マクロブロックのＭＣ／ＮｏｎＭＣ判定を開始する。
【０１０１】
ステップＳＴ１２では、マクロブロックの平均輝度値ＤＣと平坦さを表す値ＭＡＤが、ＤＣ＞ａで且つＭＡＤ＞ｂであるか否かの判定を行う。このステップＳＴ１２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂであるならば、前記図１３の領域区分を選択し、ステップＳＴ１３の処理に移る。一方、ステップＳＴ１２の判定において、ＤＣ＞ａで且つＭＡＤ＞ｂでない場合には、前記図１に示した領域区分を選択し、ステップＳＴ１６の処理に移る。ここで、例えばａ＝６０であり、ｂ＝３８４である。
【０１０２】
ステップＳＴ１３では前記図１３の領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわち、当該ステップＳＴ１３においては、前記図１３の領域区分を用い、以下の式（９）〜式（１１）の全てを満たす場合はＭＣと判定してステップＳＴ１４の処理に進み、それ以外の場合はＮｏｎＭＣと判定してステップＳＴ１５の処理に進む。
【０１０３】
0003633159.tif 000009
ステップＳＴ１４では、入力された動きベクトルＭＶをそのまま出力し、ステップＳＴ１９の処理に進む。一方、ステップＳＴ１５では入力された動きベクトルＭＶを（０，０）に変えて出力し、ステップＳＴ１９の処理に進む。これら出力した動きベクトルＭＶは、そのマクロブロックの動画像信号Ｓ１２と共に動画像符号化回路１９に入力される。
【０１０４】
また、ステップＳＴ１６では、前記図１の領域区分に従ってＭＣ／ＮｏｎＭＣ判定を行う。すなわち、当該ステップＳＴ１６においては、前記図１の領域区分を用い、以下の式（１２），式（１３）の全てを満たす場合はＭＣと判定してステップＳＴ１７の処理に進み、それ以外の場合はＮｏｎＭＣと判定してステップＳＴ１８の処理に進む。
【０１０５】
0003633159.tif 000010
ステップＳＴ１７では入力された動きベクトルＭＶをそのまま出力し、ステップＳＴ１９の処理に進む。一方、ステップＳＴ１８では、入力された動きベクトルを（０，０）に変えて出力し、ステップＳＴ１９の処理に進む。これら出力した動きベクトルＭＶは、そのマクロブロックの動画像信号Ｓ１２と共に動画像符号化回路１９に入力される。
【０１０６】
ステップＳＴ１９では、現在のマクロブロックがフレーム内の最後のマクロブロックであるか否かの判定を行う。このステップＳＴ１９において現在のマクロブロックがフレーム内の最後のマクロブロックであると判定された場合は、ステップＳＴ２０の処理に進む。そうでない場合はステップＳＴ１２に戻り、次のマクロブロックの処理を行う。
【０１０７】
ステップＳＴ２０では、現在の符号化対象画像のフレーム内でのＭＣ／ＮｏｎＭＣ判定を終え、次のフレームを符号化対象画像として当該図５のフローチャートの処理を行う。
【０１０８】
以上のようにしてＭＣ／ＮｏｎＭＣ判定回路１８ではＭＣ／ＮｏｎＭＣ判定を行う。
【０１０９】
図４の構成の動画像符号回路１９は、前記図１の動画像符号化装置９（すなわち図１１の構成）と全く同じ動作を行うので説明を省略する。なお、この場合の前記図１１の入力動画像信号Ｓ６０は、図４の構成においてスキャンコンバータ１３から供給される動画像信号Ｓ１２のことであり、前記端子６１には図４のＭＣ／ＮｏｎＭＣ判定回路１８からの動きベクトルＭＶが供給される。
【０１１０】
以上のように、本発明実施例の動画像信号符号化装置においては、動画像信号を所定の予測画像信号を用いて動き補償予測符号化する際に、マクロブロック（所定映像単位）の画像信号より平均輝度値と平坦さを算出し、当該算出した輝度及び平坦さに応じて、マクロブロックの画像信号に動き補償予測を適用するか、動きを補償しない予測を適用するかを判定し、現在の画像を符号化している。
【０１１１】
以上の構成によれば、予測を行う際に、ＭＣ／ＮｏｎＭＣの判定を行うことにより、符号化効率の悪くなるような動き補償を行うことが少なくなる。また、マクロブロック単位の画像信号の輝度の平均値と平坦さを表す値によって、ＭＣ／ＮｏｎＭＣの判定を適応的に選択することにより、より効率の良いＭＣ／ＮｏｎＭＣの判定を行うことが可能となる。したがって、これらの効果により動画像の符号化効率を向上させ、主観画質を格段に向上させることができる。
【０１１２】
なお、上述の第２の構成例においては、ＭＣ／ＮｏｎＭＣの判定のための指標として、ＡＣ成分を用いる場合について説明したが、本発明はこれに限らず、ＭＣ／ＮｏｎＭＣの判定のための指標として色差値などを用いてもよい。この場合は、図２或いは図４において、ＮｏｎＭＥｅｒｒ算出回路５やＡＣＭＥｅｒｒ算出回路１５に代えて、マクロブロック毎に色差値を算出する構成が用いられる。この場合のＭＣ／ＮｏｎＭＣ判定回路は、図２或いは図４において、前記ＮｏｎＭＥｅｒｒやＡＣＭＥｅｒｒに代えて上記色差値を用いてＭＣ／ＮｏｎＭＣ判定を行う。
【０１１３】
また、上述の第２の構成例においては、ＡＣＭＥｅｒｒを式（４）のようにして求めたが、本発明はこれに限らず、輝度値の偏差の差分などを用いて求めても良い。
【０１１４】
さらに、上述の第２の構成例においては、ＭＣ／ＮｏｎＭＣ判定のための領域区分を２種類用意し、マクロブロックの特徴量に応じて適応的にその中から選択しているが、さらに多くの領域区分を用意して、多段階で適応的に切り替えるようにしても良い。
【０１１５】
これらにより動き補償／非動き補償の判定の効率を更に向上させることも可能である。
【０１１６】
次に、上述した第１、第２の構成例の動画像信号符号化装置での符号化により得られた符号化ビットストリーム（出力ビットストリーム）は、本発明に係る信号記録媒体に記録されたり、伝送路を介して伝送されることになる。
【０１１７】
すなわち、前述した図２や図４の動画像符号化回路９，１９から出力された出力ビットストリームは、信号記録媒体の一例として光ディスク１０４に記録されたり、伝送路に伝送されたりする。
【０１１８】
前記図２及び図４において、上記出力ビットストリームを光ディスク１０４に記録する場合、前記出力端子１０或いは２０から出力された出力ビットストリーム及び量子化スケール等の後の復号化に必要な情報からなるデータ列は、誤り訂正エンコーダ（ＥＣＣエンコーダ）１０１によってエラーコレクションコードが付加され、変調回路１０２に送られる。当該変調回路１０２では上記誤り訂正エンコーダ１０１の出力に対して、所定の変調処理、例えばいわゆる８−１４変調（ＥＦＭ：Ｅｉｇｈｔ  ｔｏ  Ｆｏｕｒｔｅｅｎ  Ｍｏｄｕｌａｔｉｏｎ）或いは８−１６変調等を施す。これらの変調処理は、ディジタル信号を光ディスク１０４の伝送特性に合わせるために、上記エンコーダされたデータ（８ビット）を１４ビットや１６ビットに変換する変調方式である。この変調回路１０２の出力は記録ヘッド１０３に送られ、当該記録ヘッド１０３にて光ディスク１０４に記録される。なお、図２及び図４の例では、信号記録媒体として光ディスクを例に挙げたが、ハードディスクやフレキシブルディスク等の磁気ディスク媒体や、磁気テープ等のテープ状記録媒体、ＩＣカードや各種メモリ素子等の半導体記憶媒体等の記録媒体であってもよい。また、光ディスクとしては、物理的にピットを形成して記録がなされるディスクや、光磁気ディスクの他に、相変化型光ディスクや有機色素型光ディスク、紫外線レーザ光により記録がなされる光ディスク、多層記録膜を有する光ディスク等の各種のディスクを用いることができる。
【０１１９】
一方、伝送路に伝送する場合、上記データ列は、誤り訂正エンコーダ１１１にてエラーコレクションコードが付加され、インターフェイス回路１１２及び端子１１３を介して伝送路に出力される。なお、この伝送路としては、通常のケーブルのみならず、電波或いは光による送信も含まれる。
【０１２０】
上述のようにして信号記録媒体に記録されたデータ列、或いは伝送路を介して伝送されたデータ列は、従来同様の復号装置（動画像信号復号装置）にて復号再生されることになる。この場合、従来の動画像信号符号化装置を用いて符号化したものを復号再生した場合よりも良好な再生画像が得られることになる。
【０１２１】
【発明の効果】
上述のように本発明においては、動画像信号を動き補償予測符号化する際に、入力画像のブロック（マクロブロック）の特徴量を用いて動き補償／非動き補償（ＭＣ／ＮｏｎＭＣ）の判定方式を適応的に切り替えるようにし、また、動き予測参照画像からのマクロブロックの予測残差と動きベクトル（０，０）のマクロブロックのＡＣ成分の差分を比較して、ＭＣ／ＮｏｎＭＣの判定を行うようにすることにより、動きが無く、ノイズの影響を受けている画像や、輝度値が大きく変化しているような画像、動きが無い全体に平坦で暗い画像に対して、動きベクトルを強制的に（０，０）とするモードを効果的に用いることが可能となる。すなわち、本発明によれば、画像の平坦部で動き予測残差の小さい場合でも、固定ノイズの発生を防止できると共に、画質を劣化させることなく動きベクトルを（０，０）とすることで動画像信号の符号化効率を一段と向上させ、主観画質を改善し得る。
【図面の簡単な説明】
【図１】本発明実施例におけるＭＣ／ＮｏｎＭＣ判定の領域区分を示す図である。
【図２】本発明実施例による動画像信号符号化装置の第１の構成例を示すブロック回路図である。
【図３】本発明実施例の第１の構成例におけるＭＣ／ＮｏｎＭＣ判定の動作の説明に供するフローチャートである。
【図４】本発明実施例による動画像信号符号化装置の第２の構成を示すブロック回路図である。
【図５】本発明実施例の第２の構成例におけるＭＣ／ＮｏｎＭＣ判定の動作の説明に供するフローチャートである。
【図６】動き補償の説明に供する図である。
【図７】動き補償と非動き補償の説明に供する図である。
【図８】ＭＰＥＧのＳＭ３の動画像信号符号化装置の構成例を示すブロック回路図である。
【図９】画像データの構造を示す図である。
【図１０】ＭＰＥＧのＳＭ３におけるＭＣ／ＮｏｎＭＣ判定の領域区分を示す図である。
【図１１】動画像信号符号化装置内の動画像符号化回路の構成例を示すブロック回路図である。
【図１２】ＡＣ成分の差分の絶対値和を用いてＭＣ／ＮｏｎＭＣ判定を行う動画像信号符号化装置の構成例を示すブロック回路図である。
【図１３】ＡＣ成分の差分の絶対値和を用いたＭＣ／ＮｏｎＭＣ判定の領域区分を示す図である。
【図１４】ＮｏｎＭＣの誤検出による画質劣化の説明に供する図である。
【符号の説明】
１，１１  動画像信号符号化装置、  ２，１２  入力端子、  ３，１３  スキャンコンバータ、  ４，１４  動きベクトル推定回路、  ５  ＮｏｎＭＣＥｅｒｒ  算出回路、  ６，１６  特徴量算出回路、  ７，１７  参照画像記憶部、  ８，１８  ＭＣ／ＮｏｎＭＣ判定回路、  ９，１９  動画像符号化回路、  １０，２０  出力端子、    １５  ＡＣＭＥｅｒｒ算出回路
【図１】
0003633159.tif 000011
【図２】
0003633159.tif 000012
【図３】
0003633159.tif 000013
【図４】
0003633159.tif 000014
【図５】
0003633159.tif 000015
【図６】
0003633159.tif 000016
【図７】
0003633159.tif 000017
【図８】
0003633159.tif 000018
【図９】
0003633159.tif 000019
【図１０】
0003633159.tif 000020
【図１１】
0003633159.tif 000021
【図１２】
0003633159.tif 000022
【図１３】
0003633159.tif 000023
【図１４】
0003633159.tif 000024