(57)【要約】【課題】画質の顕著な劣化を抑制できる画像処理装置を提供する。【解決手段】レート制御回路３２が、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて補正して、量子化をより細かく行うように新たな量子化パラメータＱＰ１を生成する。そして、量子化回路２６が、量子化パラメータＱＰ１を基に規定された量子化スケールで画像データを量子化する。【選択図】  図８
2004235683.tif 000002
【特許請求の範囲】
【請求項１】
各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて前記第１の単位画像データが符号化され、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて前記第１の単位画像データが符号化される場合に、前記第１の単位画像データの量子化を制御する画像処理装置であって、
前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する検出手段と、
前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化するように制御する量子化制御手段と
を有する画像処理装置。
【請求項２】
複数の前記単位画像データから得られる画像に規定された２次元領域を分割して前記複数のモジュールが規定され、前記２次元領域において前記第２の単位画像データに対応する位置が、前記第１の前記単位画像データに対応する位置から所定の位置関係にある場合に、
前記検出手段は、前記第１の単位画像データに対応する前記位置が、当該第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データが属する前記モジュールとは異なるモジュールに属する位置であるか否かを基に、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する
請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記第１の単位画像データに対応する前記位置が、所定の前記モジュールの境界から所定の距離内にある位置であるか否かを基に、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する
請求項２に記載の画像処理装置。
【請求項４】
前記第１の単位画像データの量子化粗さを示す量子化パラメータを生成するパラメータ生成手段
をさらに有し、
前記量子化制御手段は、
前記パラメータ生成手段が生成した前記量子化パラメータが基準値を超える粗さを示し、かつ、前記第２の単位画像データが前記第１の単位画像データと同じ前記モジュールに属しないと前記検出手段が検出した場合に、前記量子化パラメータが示す前記量子化粗さに比べて細かい量子化粗さを示す新たな量子化パラメータを生成し、当該新たな量子化パラメータを基に前記第１の単位画像データの量子化を制御する
請求項１に記載の画像処理装置。
【請求項５】
前記第１の単位画像データの量子化粗さを示す量子化パラメータを生成するパラメータ生成手段
をさらに有し、
前記第２の単位画像データが前記第１の単位画像データと同じ前記モジュールに属すると前記検出手段が検出した場合に、前記量子化パラメータが示す前記量子化粗さに比べて粗い量子化粗さを示す新たな量子化パラメータを生成し、当該新たな量子化パラメータを基に前記第１の単位画像データの量子化を制御する
請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記第２の単位画像データが前記第１の単位画像データと同
じ前記モジュールに属しないと前記検出手段が検出した場合に、前記第１の単位画像データに対応する位置から前記境界までの距離をさらに検出し、
前記量子化制御手段は、前記第１の単位画像データに対応する前記第２の単位
画像データが当該第１の単位画像データと同じ前記モジュールに属すると前記検出手段が検出した場合に、前記検出手段が検出した前記距離が短くなるに従って前記第１の単位画像データを細かく量子化するように制御する
請求項２に記載の画像処理装置。
【請求項７】
各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて前記第１の単位画像データが符号化され、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて前記第１の単位画像データが符号化される場合に、前記第１の単位画像データの量子化を制御する画像処理方法であって、
前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する第１の工程と、前記同じモジュールに属すると前記第１の工程で検出した場合に、前記同じモジュールに属しないと前記第１の工程で検出した場合に比べて、前記第１の単位画像データを細かく量子化するように制御する第２の工程と
を有する画像処理方法。
【請求項８】
各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データを用いて前記第１の単位画像データを符号化する符号化装置であって、
前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する検出手段と、
前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化する量子化手段と、
第１の前記単位画像データに対応する前記第２の単位画像データが前記第１の
単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて、前記量子化制御手段で量子化された前記第１の単位画像データを符号化し、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて、前記量子化手段で量子化された前記第１の単位画像データを符号化する符号化手段と
を有する符号化装置。
【請求項９】
各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データを用いて前記第１の単位画像データを符号化する符号化方法であって、
前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する第１の工程と、
前記同じモジュールに属すると前記第１の工程で検出された場合に、前記同じモジュールに属しないと前記第１の工程で検出された場合に比べて、前記第１の単位画像データを細かく量子化する第２の工程と、
第１の前記単位画像データに対応する前記第２の単位画像データが前記第１の
単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて、前記第２の工程で量子化された前記第１の単位画像データを符号化し、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて、前記第２の工程で量子化された前記第１の単位画像データを符号化する第３の工程と
を有する符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの量子化制御に特徴を有する画像処理装置および符号化装置と、それらの方法に関する。
【０００２】
【従来の技術】
近年、画像データとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＥＰＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。
ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００５】
さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ．  ２６Ｌ（ＩＴＵ−Ｔ  Ｑ６／１６  ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌ規格ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔ  Ｍｏｄｅｌ  ｏｆ  Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇとして行われている。
【０００６】
このようなＭＰＥＧおよびＨ．２６Ｌ規格の符号化装置では、画像の局所的な情報を利用することにより、効率の良い符号化を実現している。
画像には、画像中で複雑な部分は、他の部分よりも量子化を粗くして符号化しても、肉眼では画質劣化が認識され難いという性質がある。
従って、上記符号化装置では、画像を複数の部分に分け、各部分について、画像の複雑度を検出し、その検出結果を基に、複雑な画像の部分は粗く量子化し、そうでない部分は細かく量子化して、画質劣化の影響を抑えながら、データ量を削減している。
このような画像の複雑度の情報は、アクティビティ（ａｃｔｉｖｉｔｙ）と呼ばれている。
上記符号化装置では、量子化対象の画像データのアクティビティを算出し、当該アクティビティに基づいて、量子化スケールを規定する量子化パラメータを生成している。
【０００７】
ところで、上述したＭＰＥＧ方式やＨ．２６Ｌ規格を発展させたものとしてＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）符号化方式が提案されている。
ＪＶＴ方式においては、１枚のフレームを、複数のスライス（モジュール）に分割し、符号化並びに復号化処理を行うことが可能である。
この場合に、１枚のフレームを１スライスとして処理することも可能であるが、７２０×４８０や、１９２０×１０８８といった、大きな画枠サイズの画像をリアルタイム処理するためには、１枚のフレームを複数スライスに分割し、並列処理する必要が生じる。
【０００８】
上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｌｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）と呼ばれるエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるマクロブロック（単位画像データ）の処理を行う場合に、例えば、当該処理対象のマクロブロックの近傍の所定のマクロブロックの情報を用いて処理を行う。但し、この場合に、処理対象のマクロブロックの上記近傍の所定のマクロブロックが、当該処理対象のマクロブロックと異なるスライスに属する場合には、当該近傍の所定のマクロブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するマクロブロックについて生じる。
【０００９】
【発明が解決しようとする課題】
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００１０】
本発明はかかる事情に鑑みてなされたものであり、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて前記第１の単位画像データが符号化され、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて前記第１の単位画像データが符号化される場合に、前記第１の単位画像データの量子化を制御する画像処理装置であって、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する検出手段と、前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化するように制御する量子化制御手段とを有する。
【００１２】
第１の発明の画像処理装置の作用は以下のようになる。
検出手段が、第１の単位画像データに対応する第２の単位画像データが当該第１の単位画像データと同じモジュールに属するか否かを検出する。
そして、量子化制御手段が、前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化するように制御する。
【００１３】
第２の発明の画像処理方法は、各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて前記第１の単位画像データが符号化され、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて前記第１の単位画像データが符号化される場合に、前記第１の単位画像データの量子化を制御する画像処理方法であって、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する第１の工程と、前記同じモジュールに属すると前記第１の工程で検出した場合に、前記同じモジュールに属しないと前記第１の工程で検出した場合に比べて、前記第１の単位画像データを細かく量子化するように制御する第２の工程とを有する。
【００１４】
第３の発明の符号化装置は、各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データを用いて前記第１の単位画像データを符号化する符号化装置であって、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する検出手段と、前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化する量子化手段と、第１の前記単位画像データに対応する前記第２の単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて、前記量子化制御手段で量子化された前記第１の単位画像データを符号化し、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて、前記量子化手段で量子化された前記第１の単位画像データを符号化する符号化手段とを有する。
【００１５】
第３の発明の符号化装置の作用は以下のようになる。
検出手段が、第１の単位画像データに対応する第２の単位画像データが当該第１の単位画像データと同じモジュールに属するか否かを検出する。
そして、量子化手段が、前記同じモジュールに属すると前記検出手段が検出した場合に、前記同じモジュールに属しないと前記検出手段が検出した場合に比べて、前記第１の単位画像データを細かく量子化する。
そして、符号化手段が、第１の前記単位画像データに対応する前記第２の単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場合に、当該第２の単位画像データを用いて、前記量子化制御手段で量子化された前記第１の単位画像データを符号化し、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて、前記量子化手段で量子化された前記第１の単位画像データを符号化する。
【００１６】
第４の発明の符号化方法は、各々が符号化処理の単位である複数の単位画像データが複数のモジュールのうち対応する前記モジュールにそれぞれ割り当てられており、第１の前記単位画像データに対応する第２の前記単位画像データを用いて前記第１の単位画像データを符号化する符号化方法であって、前記第１の単位画像データに対応する前記第２の単位画像データが当該第１の単位画像データと同じ前記モジュールに属するか否かを検出する第１の工程と、前記同じモジュールに属すると前記第１の工程で検出された場合に、前記同じモジュールに属しないと前記第１の工程で検出された場合に比べて、前記第１の単位画像データを細かく量子化する第２の工程と、第１の前記単位画像データに対応する前記第２の単位画像データが前記第１の単位画像データと同じ前記モジュールに属する場
合に、当該第２の単位画像データを用いて、前記第２の工程で量子化された前記第１の単位画像データを符号化し、前記第２の単位画像データが前記第１の単位画像データと異なる前記モジュールに属する場合に、前記第２の単位画像データの代わりに所定の代替データを用いて、前記第２の工程で量子化された前記第１の単位画像データを符号化する第３の工程とを有する。
【００１７】
【発明の実施の形態】
〔本発明の関連技術〕
図１は、本発明の関連技術に係わる符号化装置５００の機能ブロック図である。
図１に示す符号化装置５００において、入力となる画像信号は、まず、Ａ／Ｄ変換回路５０１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替え回路５０２においてフレーム画像データの並べ替えが行われる。
そして、イントラ符号化が行われる画像に関しては、フレーム画像データの全体が直交変換回路５０４に入力され、直交変換回路５０４において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路５０４の出力となる変換係数は、量子化回路５０５において量子化処理される。
量子化回路５０５の出力となる、量子化された変換係数は、可逆符号化回路５０６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ５０７に蓄積され、圧縮された画像データとして出力される。
【００１８】
量子化回路５０５における量子化レートは、レート制御回路５１２によって制御される。同時に、量子化回路５０５の出力となる、量子化された変換係数は、逆量子化回路５０８において逆量子化され、続いて逆直交変換回路５０９において逆直交変換処理が施され、この過程でデブロックフィルタ５１３においてブロック歪みが除去されて復号された参照フレーム画像データが得られる。当該参照フレーム画像データは、フレームメモリ５１０に蓄積される。
ここで、レート制御回路５１２は、後述するようにＱＰ算出回路５４１で生成された量子化パラメータＱＰを基に、量子化レートを制御する。
ＱＰ算出回路５４１は、例えば、ＭＰＥＧ２のＴｅｓｔＭｏｄｅｌ５（以下、ＴＭ５とも記す）に従って、後述するように、量子化スケールコードｍｑｕａｎｔｊを生成し、これを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
【００１９】
一方、インター符号化が行われる画像に関しては、画面並べ替え回路５０２から出力されたフレーム画像データが、動き予測・補償回路５１１に入力される。同時に参照フレーム画像データがフレームメモリ５１０より読み出され、動き予測・補償回路５１１によって動きベクトルが生成され、当該動きベクトルおよび参照フレーム画像データを用いて予測フレーム画像データが生成される。予測フレーム画像データが演算回路５０３に出力され、演算回路５０３において、画面並べ替え回路５０２からのフレーム画像データと、動き予測・補償回路５１１からの予測フレーム画像データとの差分を示す画像データが生成され、当該画像データが直交変換回路５０４に出力される。
また、動き補償・予測回路５１１は、動きベクトルを可逆符号化回路５０６に出力し、可逆符号化回路５０６において、動きベクトルが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像信号のヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像信号と同様である。
【００２０】
図２は、図１に示す符号化装置５００に対応する復号回路４９９の機能ブロック図である。
図２に示す復号回路４９９では、入力となる画像データがバッファ６１３に格納された後、可逆復号回路６１４に出力される。そして、可逆復号回路６１４において、フレーム画像データのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム画像データがインター符号化されたものである場合には、可逆復号回路６１４において、フレーム画像データのヘッダ部に格納された動きベクトルＭＶも復号され、その動きベクトルＭＶが動き予測・補償回路６２０に出力される。
【００２１】
可逆復号回路６１４の出力となる、量子化された変換係数は、逆量子化回路６１５に入力され、ここで逆量子化される。当該逆量子化された変換係数には、逆直交変換回路６１６において、定められたフレーム画像データのフォーマットに基づき、逆離散コサイン変換や逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレーム画像データがイントラ符号化されたものである場合には、逆直交変換処理が施されたフレーム画像データは、デブロックフィルタ６２１でブロック歪みが除去された後に画面並べ替えバッファ６１８に格納され、Ｄ／Ａ変換回路６１９によるＤ／Ａ変換処理を経て出力される。
【００２２】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償回路６２０において、動きベクトルＭＶ及びフレームメモリ６２１に格納された参照フレーム画像データを基に予測フレーム画像データが生成され、この予測フレーム画像データと、逆直交変換回路６１６から出力されたフレーム画像データとが加算器６１７において加算される。その他の処理はイントラ符号化されたフレーム画像データと同様である。
【００２３】
ところで、ＭＰＥＧ２のＴＭ５で定められている符号量制御方式のステップ３においては、マクロブロック毎の適応量子化を行う方法が定められている。すなわち、以下に定める方法により、参照量子化スケールコードを、視覚的に劣化の目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクティビティを変化させている。
【００２４】
以下では、ＭＰＥＧ２のＴＭ５において定められているレート制御方式の、ステップ１〜ステップ３について述べる。
当該ステップ１〜ステップ３の処理は、例えば、図１に示すＱＰ算出回路５４１で行われる。
ステップ１では、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）  内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っているのが特徴である。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、各ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸＩ，ＸＰ，ＸＢ（Ｇｌｏｂａｌ  Ｃｏｍｐｌｅｘｉｔｙ  Ｍｅａｓｕｒｅ）を下記（１−１）により更新する。
この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
【００２５】
【数１】
2004235683.tif 000003
【００２６】
ここで、ＳＩ，ＳＰ，ＳＢは、ピクチャ符号化時の発生符号化ビット、ＱＩ，ＱＰ，ＱＢは、ピクチャ符号化時の平均量子化スケールコードである。
また、初期値は、目標符号量であるｂｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、下記（１−２），（１−３），（１−４）で示される値とする。
【００２７】
【数２】
2004235683.tif 000004
【００２８】
【数３】
2004235683.tif 000005
【００２９】
【数４】
2004235683.tif 000006
【００３０】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率ＫＰ  ，ＫＢ  が、下記（１−５）に定める値になる時、常に全体の画質が最適化されると仮定する。
【００３１】
【数５】
2004235683.tif 000007
【００３２】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００３３】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴＩ  ，ＴＰ，ＴＢ  ）は、下記（１−６），（１−７），（１−８）で示される値となる。
下記（１−６）において、ｐｉｃｔｕｒｅ＿ｒａｔｅは、（当該シーケンスにおける、１秒あたり表示されるピクチャの数）を示している。
【００３４】
【数６】
2004235683.tif 000008
【００３５】
【数７】
2004235683.tif 000009
【００３６】
【数８】
2004235683.tif 000010
【００３７】
ここで、ＮＰ  ，ＮＢ  は、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。
【００３８】
すなわち、まず、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。
次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。
例えば、上記（１−６）の、第１引数の分母第２項、Ｎｐ  Ｘｐ  ／ＸＩ  ＫＰ  は、ＧＯＰ内の、ＮＰ  枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表すものであり、ＮＰ  に、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳＰ  ／ＳＩ  を乗じ、上記（１−１）、上記（１−５）を用いて、ＸＩ  ，ＸＰ  ，ＫＢ  で表すことにより得られる。
【００３９】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当ビット量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２に従って符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、下記（１−９）により更新する。
【００４０】
【数９】
2004235683.tif 000011
【００４１】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の（１−１０）により、Ｒを更新する。
【００４２】
【数１０】
2004235683.tif 000012
【００４３】
ここで、Ｎは、ＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴＩ，ＴＰ  ，ＴＢ  ）を、実際の符号量に一致させるため、各ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、量子化スケールコードを、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を下記（１−１１），（１−１２），（１−１３）により求める。
【００４４】
【数１１】
2004235683.tif 000013
【００４５】
【数１２】
2004235683.tif 000014
【００４６】
【数１３】
2004235683.tif 000015
【００４７】
ｄ０Ｉ  ，ｄ０Ｐ  ，ｄ０Ｂは、各仮想バッファの初期占有量、Ｂｊ  は、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００４８】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢｃｎｔｘＩ  ，ｄＭＢｃｎｔｘｐ  ，ｄＭＢｃｎｔｘＢ  ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０ Ｉ  ，ｄ０ Ｐ  ，ｄ０ Ｂ  ）として用いられる。
次に、ｊ番目のマクロブロックに対する量子化スケールコードＱｊ  を下記（１−１４）により算出する。
ここで、ｄｊ  は、ｄｊ Ｉ  ，ｄｊ Ｐ  ，ｄｊ Ｂ  を用いて下記式１−１１〜式１−１３のように定義される。
【００４９】
【数１４】
2004235683.tif 000016
【００５０】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、下記（１−１５）により与えられる。
【００５１】
【数１５】
2004235683.tif 000017
【００５２】
なお、シーケンスの最初における仮想バッファ初期値は下記（１−１６）により与えられる。
【００５３】
【数１６】
2004235683.tif 000018
【００５４】
次に、ステップ３について述べる。
アクティビティは、予測誤差でなく、原画の輝度信号画素値を用い、フレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、下記（１−１７），（１−１８），（１−１９）により与えられる。
下記（１−１８）に示すｖａｒ＿ｓｂｌｋは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるに従って値が大きくなる。
【００５５】
【数１７】
2004235683.tif 000019
【００５６】
【数１８】
2004235683.tif 000020
【００５７】
【数１９】
2004235683.tif 000021
【００５８】
ここでＰｋ  は原画の輝度信号ブロック内画素値である。上記（１−１７）において最小値（ｍｉｎ）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。
さらに、以下の（１−２０）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔｊ  を求める。
【００５９】
【数２０】
2004235683.tif 000022
【００６０】
ａｖｇ＿ａｃｔは、直前に符号化したピクチャでのａｃｔｊ  の平均値である。視覚特性を考慮した量子化スケールコードｍｑｕａｎｔｊ  は、参照量子化スケールコードＱｊ  を基に下記（１−２１）により与えられる。
【００６１】
【数２１】
2004235683.tif 000023
【００６２】
そして、前述したように、ＱＰ算出回路５４１が、量子化スケールコードｍｑｕａｎｔｊを量子化パラメータＱＰとしてレート制御回路５１２に出力する。
ここで、上述したＱＰ算出回路５４１では、例えば、図３に示すように、スライス境界に位置するマクロブロックについても、上述した手法で、スライス境界以外に位置するマクロブロックと同様に、量子化パラメータＱＰを生成している。
【００６３】
ところで、図１に示す可逆符号化回路５０６では、上述したＪＶＴ符号化方式が採用する、ＣＡＢＡＣが規定するエントロピー符号化方式、動きベクトル符号化、及びイントラ予測においては、複数の画素データから構成されるブロックデータの処理を行う場合に、例えば、当該処理対象のブロックの近傍の所定のブロックの情報を用いて処理を行う。
但し、この場合に、処理対象のブロックの上記近傍の所定のブロックが、当該処理対象のブロックと異なるスライスに属する場合には、当該近傍の所定のブロックの情報は用いずに、代替値を用いて処理を行う。このような代替値を用いた処理は、スライス境界に位置するブロックについて生じる。
しかしながら、このように代替値を用いて処理を行うと、代替値を用いたことによる処理精度の劣化を、直交変換によって防ぐことができず、スライス境界付近で顕著な画質劣化を生じてしまうという問題がある。
特に量子化パラメータＱＰの値が小さい場合に、この影響が大きくなる。
【００６４】
例えば、可逆符号化回路５０６においてＣＡＢＡＣが規定するエントロピー符号化が行われるが、当該エントロピー符号化において、画像圧縮情報における任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
このコンテクストモデル化では、例えば、図４に示すマクロブロックＣについてのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，Ｂのシンボルを用いて決定する。
従って、例えば、マクロブロックＣがスライス境界に位置し、マクロブロックＡ，Ｂの少なくとも一方がブロックＣが属するスライスとは異なるスライスに属する場合に、そのマクロブロックＡ，Ｂのシンボルを使用できず、マクロブロックＣのコンテクスト決定に精度が劣化するという問題がある。
【００６５】
また、可逆符号化回路５０６において、動きベクトルの符号化が行われる。
この場合に、可逆符号化回路５０６は、例えば、図５に示すように、動き補償ブロックＥの予測動きベクトルを生成する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いるが、これらのうち動き補償ブロックＣが、動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値として動き補償ブロックＤを用いる。
そのため、動き補償ブロックＥの予測動きベクトルの生成精度が劣化するという問題がある。
【００６６】
また、可逆符号化回路５０６において、イントラ予測符号化が行われる。
可逆符号化回路５０６は、例えば、図６において、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを生成する場合に、画素データＡ〜Ｌを用いる。
この場合に、例えば、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替値として画素データＤが用いられる。
そのため、予測値Ｐの生成精度が劣化するという問題がある。
【００６７】
以下、上述した問題を解決するための本実施形態の画像処理装置およびその方法と符号化装置について説明する。
第１実施形態
図７は、本実施形態の通信システム１の概念図である。
図７に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置４９９とを有する。
符号化装置２が発明の符号化装置に対応している。
符号化装置２および復号装置４９９は、上述したＪＶＴ符号化方式に基づいて符号化および復号を行なう。
復号回路４９９は、図２を用いて前述したものと同じである。
【００６８】
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２におけるレート制御回路３２の量子化制御に特徴を有している。
【００６９】
〔符号化装置２〕
図８は、図７に示す符号化装置２の全体構成図である。
図８に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、動き予測・補償回路３６、デブロックフィルタ３７、スライス境界検出回路４０およびＱＰ算出回路４１を有する。
【００７０】
スライス境界検出回路４０が本発明の検出手段に対応し、ＱＰ算出回路４１が本発明のパラメータ生成手段に対応し、レート制御回路３２が本発明の量子化制御手段に対応し、レート制御回路３２および量子化回路２６が本発明の量子化手段に対応し、可逆符号化回路２７が本発明の符号化手段に対応している。
【００７１】
符号化装置２は、上述したように、例えば、可逆符号化回路２７において、ＣＡＢＡＣで規定されたエントロピー符号化方式、動きベクトル符号化、及びイントラ予測を行う。
本実施形態では、レート制御回路３２が、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて補正して、量子化をより細かく行うように新たな量子化パラメータＱＰ１を生成することを特徴としている。
【００７２】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）  構造に応じて、符号化する順番に並べ替えたフレーム画像データＳ２３を演算回路２４、動き予測・補償回路３６、スライス境界検出回路４０およびＱＰ算出回路４１に出力する。
【００７３】
演算回路２４は、フレーム画像データＳ２３がインター（Ｉｎｔｅｒ）  符号化される場合には、フレーム画像データＳ２３と、動き予測・補償回路３６から入力した予測フレーム画像データＳ３６ａとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
また、演算回路２４は、フレーム画像データＳ２３がイントラ（Ｉｎｔｒａ）  符号化される場合には、フレーム画像データＳ２３を画像データＳ２４として直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
直交変換回路２５は、例えば、４×４のブロックを単位として直交変換を行う。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００７４】
可逆符号化回路２７は、画像データＳ２６をＣＡＢＡＣで規定されたエントロピー符号化および、イントラ予測符号化して可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
また、可逆符号化回路２７は、動き予測・補償回路３６から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
可逆符号化回路２７は、複数のマクロブロック（本発明の単位画像データ）から構成されるピクチャが、図３に示すように複数のスライス（本発明のモジュール）に分割され、当該複数のスライスの符号化処理を独立して並列に行う。これにより、画像圧縮処理を実時間に行うことを可能とする。
【００７５】
バッファ２８に格納された画像データは、変調等された後に送信される。
可逆符号化回路２７における上記エントロピー符号化では、画像データＳ２６内の任意のシンボル要素について、過去の履歴に応じて、当該シンボルに対する適切なモデルが選択される。この場合に、隣接するシンボルの状態に応じたモデル選択を行うコンテクストモデル化が採用されている。
可逆符号化回路２７は、例えば、前述した図４に示すマクロブロックＣのコンテキストを、マクロブロックＣに隣接するマクロブロックＡ，ＢがマクロブロックＣと同じスライスに属している場合に、マクロブロックＡ，Ｂのシンボルを用いて用いて生成する。
また、可逆符号化回路２７は、マクロブロックＡ，ＢがマクロブロックＣと異なるスライスに属している場合には、マクロブロックＡ，Ｂのシンボルの代わりに所定の代替データを用いて、マクロブロックＣのコンテキストを生成する。
【００７６】
また、可逆符号化回路２７は、例えば、図５に示すように、動き補償ブロックＡ，Ｂ，Ｃ，Ｄが動き補償ブロックＥと同じスライスに属する場合に、動き補償ブロックＡ，Ｂ，Ｃ，Ｄを用いて補償ブロックＥの予測動きベクトルを生成する。
一方、可逆符号化回路２７は、例えば、動き補償ブロックＣが動き補償ブロックＥと異なるスライスに属する場合に、動き補償ブロックＣの代替値データとして動き補償ブロックＤを用いて、補償ブロックＥの予測動きベクトルを生成する。
【００７７】
また、可逆符号化回路２７、例えば、図６に示すように、マクロブロックＢ１内の画素データａ〜ｐの予測値Ｐを、イントラ予測符号化により、画素データＡ〜ＬがマクロブロックＢ１と同じスライスに属する場合に、これらを用いて生成する。
一方、可逆符号化回路２７は、画素データＥ〜Ｈが、マクロブロックＢ１が属するスライスとは異なるスライスに属する場合に、画素データＥ〜Ｈの代替データとして画素データＤを用いて、予測値Ｐを生成する。
【００７８】
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これをデブロックフィルタ３７に出力する。
逆直交変換回路３０は、量子化され、デブロックフィルタ３７でブロック歪みが除去された画像データに上記直交変換の逆変換を施して生成したフレーム画像データをフレームメモリ３１に格納する。
【００７９】
レート制御回路３２は、バッファ２８から読み出した画像データ、ＱＰ算出回路４１から入力した量子化パラメータＱＰ、並びにスライス境界検出回路４０から入力したスライス境界検出信号Ｓ４０を基に、量子化回路２６における量子化の量子化スケールＳ３２を生成し、これを量子化回路２６に出力する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、下記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
なお、下記式（２−１）において、ｗは下記式（２−２）で示される。
また、下記式（２−１）は、ｗに量子化パラメータＱＰを乗じた値に対して、丸めによる整数化処理を行うことを示している。
【００８０】
【数２２】
2004235683.tif 000024
【００８１】
【数２３】
2004235683.tif 000025
【００８２】
すなわち、レート制御回路３２は、上記式（２−１）に示すように、スライス境界に位置するマクロブロックに対応する量子化パラメータＱＰに、上記式（２−２）で定義された重み係数ｗを乗じることで、他のマクロブロックに比してより低い量子化パラメータを割当て、これにより、より多くの符号量を割り当てる。これにより、スライス境界に位置するマクロブロックが、前述したように可逆符号化回路２７において隣接するマクロブロックの情報を用いないで符号化処理されることによる画質劣化を最小限に抑えながら、スライス毎の符号化処理を可能とする。
一方、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰをそのまま用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
ここで、量子化パラメータが大きくなるに従って量子化スケールも大きくなり、量子化回路２６による量子化も粗くなる。
【００８３】
スライス境界検出回路４０は、符号化対象のマクロブロックと、当該マクロブロックの符号化処理に用いられる他のマクロブロックとが同じスライスに属するか否かを判断し、同じスライスに属すると判断した場合には、スライス境界に位置することを示すスライス境界検出信号Ｓ４０を生成し、異なるスライスに属すると判断した場合には、スライス境界に位置しないことを示すスライス境界検出信号Ｓ４０を生成する。
例えば、本実施形態では、符号化対象のマクロブロックの符号化処理に用いられる他のマクロブロックのピクチャ上での位置が、当該符号化対象のマクロブロックの位置に対応して所定の位置関係がある。なお、マクロブロックの位置は、そのアドレスを基に規定される。
そのため、スライス境界検出回路４０は、符号化対象のマクロブロックの位置が、当該マクロブロックに対応する上記他のマクロブロックの位置が、スライス境界を越えて位置するものであるか否かを基に、上記判断を行う。
一例として、スライス境界検出回路４０は、図３において、マクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断する。
【００８４】
ＱＰ算出回路４１は、本発明の関連技術において前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８５】
動き予測・補償回路３６は、フレームメモリ３１からの画像データＳ３１と、画面並べ替え回路２３からの画像データとを基に動き予測・補償処理を行って、動きベクトルＭＶおよび参照画像データＳ３６ａを生成する。
動き予測・補償回路３６は、動きベクトルＭＶを可逆符号化回路２７に出力し、参照画像データＳ３６ａを演算回路２４に出力する。
【００８６】
次に、図８に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われる。
そして、スライス境界検出回路４０は、前述したように、図３において、符号化対象のマクロブロックが、ピクチャ上でスライス境界の一方の側（図３では下側）に隣接している場合に、スライス境界に位置すると判断し、そうでない場合に、スライス境界に位置しないと判断し、その結果を示すスライス境界検出信号Ｓ４０をレート制御回路３２に出力する。
また、ＱＰ算出回路４１が、前述したように、ＭＰＥＧ２のＴＭ５のステップ１〜ステップ３に従って、マクロブロック毎に量子化パラメータＱＰを生成し、これをレート制御回路３２に出力する。
【００８７】
イントラ符号化が行われるフレーム画像データに関しては、フレーム画像データ全体の画像情報が直交変換回路２５に入力され、直交変換回路２５において離散コサイン変換やカルーネン・レーベ変換等の直交変換が施される。
直交変換回路２５の出力となる変換係数は、量子化回路２６において量子化処理される。
量子化回路２６は、レート制御回路３２からの制御に基づいて、量子化パラメータＱＰを基に規定された量子化スケールで量子化を行う。
このとき、レート制御回路３２は、スライス境界検出信号Ｓ４０が、処理対象のマクロブロックがスライス境界に位置することを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰを用いて、上記式（２−１）の演算を行って新たな量子化パラメータＱＰ１を生成する。
そして、レート制御回路３２は、量子化パラメータＱＰ１を基に量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
【００８８】
量子化回路２６の出力となる、量子化された変換係数は、可逆符号化回路２７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、バッファ２８に蓄積され、圧縮された画像データとして出力される。
同時に、量子化回路２６の出力となる、量子化された変換係数は、逆量子化回路２９に入力され、さらに逆直交変換回路３０において逆直交変換処理が施されて、復号されたフレーム画像データとなり、そのフレーム画像データがフレームメモリ３１に蓄積される。
【００８９】
一方、インター符号化が行われる画像に関しては、先ず、そのフレーム画像データＳ２３が動き予測・補償回路３６に入力される。また、参照画像のフレーム画像データＳ３１がフレームメモリ３１より読み出され、動き予測・補償回路３６に出力される。
そして、動き予測・補償回路３６において、参照画像のフレーム画像データＳ３１を用いて、動きベクトルＭＶおよび予測フレーム画像データＳ３６ａが生成される。
【００９０】
そして、演算回路２４において、画面並べ替え回路２３からのフレーム画像データと、動き予測・補償回路３６からの予測フレーム画像データＳ３６ａとの差分信号である画像データＳ２４が生成され、当該画像データＳ２４が直交変換回路２５に出力される。
そして、可逆符号化回路２７において、動きベクトルＭＶが可変長符号化あるいは算術符号化といった可逆符号化処理され、画像データのヘッダ部に挿入される。その他の処理はイントラ符号化を施される画像データと同様である。
【００９１】
以上説明したように、符号化装置２によれば、レート制御回路３２において、スライス境界に位置するマクロブロックについては、量子化パラメータＱＰに重み付け係数Ｑを乗じることで、より小さい量子化パラメータＱＰ１を割り当て、これにより、当該マクロブロックにより多くの符号量を割り当て、細かく量子化を行う。
そのため、本発明の関連技術で説明したように、可逆符号化回路２７において、当該マクロブロックとそれに隣接するマクロブロックとが異なるスライスに属し、当該マクロブロックの符号化をそれに隣接するマクロブロックのデータの代替データを用いて行っても、当該マクロブロックの符号化による画質劣化を抑制できる。すなわち、スライス境界での顕著な画質劣化を抑制でき、画像全体に渡って高品質な画像を提供できる。
【００９２】
第２実施形態
ところで、スライス境界における画質劣化は、量子化パラメータＱＰが大きい時に生じ、逆に、量子化パラメータＱＰが小さい時には、前述した式（２−１）に示す処理を行うことで、逆に、後続のマクロブロックに割り当てる符号量を余計に使ってしまうことになり、画質劣化に繋がる場合がある。
そのため、本実施形態では、図９に示すように、上記式（２−１），（２−２）に示す重み付け係数ｗを、下記式（２−３）に示すように、量子化パラメータＱＰの関数として定義する。
レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置することを示す場合に、上記式（２−１），（２−２），（２−３）を基に、新たな量子化パラメータＱＰ１を生成する。
【００９３】
【数２４】
2004235683.tif 000026
【００９４】
すなわち、レート制御回路３２は、量子化パラメータＱＰが所定の閾値ＱＰｔｈｒｅｓｈｏｌｄ  以下である場合には、重み付け係数ｗを「１．０」とし、量子化パラメータＱＰが閾値ＱＰｔｈｒｅｓｈｏｌｄ  を超えた場合には、その大きさに応じて重み付け係数ｗを単調減少させる。
【００９５】
これにより、画質劣化に影響を及ぼす場合にのみ、スライス境界のマクロブロックに多くの符号量を割り当てられることができ、限りある符号量を有効に使用できる。
【００９６】
第３実施形態
前述した第１実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、ＱＰ算出回路４１から入力した量子化パラメータＱＰそのまま用いて量子化スケールを決定する場合を例示した。
本実施形態では、レート制御回路３２は、スライス境界検出信号Ｓ４０が処理対象のマクロブロックがスライス境界に位置しないことを示す場合に、下記式（２−４），（２−５）に示すように、ＱＰ算出回路４１から入力した量子化パラメータＱＰに重み付け係数ｗ’を乗じた値に対して丸めによる整数化処理を行って新たな量子化パラメータＱＰ２を生成する。
【００９７】
【数２５】
2004235683.tif 000027
【００９８】
【数２６】
2004235683.tif 000028
【００９９】
そして、レート制御回路３２は、スライス境界に位置しないマクロブロックについて、量子化パラメータＱＰ２を用いて量子化スケールを決定し、当該量子化スケールにより量子化回路２６の量子化を制御する。
このように、スライス境界に位置しないマクロブロックについて、式（２−４）を基に生成された量子化パラメータＱＰ２を用いて量子化を制御することで、画面（ピクチャ）全体に渡る発生符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
ここで、式（２−４），（２−５）に示す重み付け係数ｗ’も、式（２−１）に示す重み付け係数ｗと同様、量子化パラメータＱＰの関数として与えられる。ｗ及びｗ’の、スライス全体に渡る平均値は１である。
【０１００】
第４実施形態
本実施形態では、レート制御回路３２が、上記式（２−１），（２−２）に代えて、下記式（２−６），（２−７）に従って、量子化パラメータＱＰ３を生成する。
【０１０１】
【数２７】
2004235683.tif 000029
【０１０２】
【数２８】
2004235683.tif 000030
【０１０３】
図１０は、本実施形態の量子化パラメータＱＰ３の生成における重み付け係数ｋの規定方法を説明するための図であり、複数のスライスに分割されたピクチャを示している。
例えば、量子化パラメータＱＰが一定であるとすると、図１０において、符号化対象のマクロブロックの位置のスライス境界からの距離（垂直方向距離）に応じて、近い順に、レベル０、レベル１、レベル２…とする。
レベルｘのマクロブロックに対する重み係数ｋは、上記式（２−７）に示すように、ｌを引数とする関数Ｆとして与えられる。
ここで、ｘは、マクロブロックとスライス境界との距離に対応している。
【０１０４】
当該関数Ｆは、例えば、図１１（Ａ）に示すように、ｘに応じてｋを単調増加させるものでもよいし、図１１（Ｂ）に示すように、ｘがある閾値ｘｔｈｒｅｓｈｏｌｄ  以下の時には単調増加で、閾値ｘｔｈｒｅｓｈｏｌｄ  を越えた場合には、一定値を取るものでもよい。
いずれの場合も、スライス全体に渡るｋ（ｘ）の平均値を１とすることで、画面全体に渡る符号量を増加させることなく、スライス境界における画質劣化を低減することが可能である。
【０１０５】
また、関数ｆは、量子化パラメータＱＰの関数でもあり、ＱＰの値がある閾値を下回った場合には、その値ｋを１．０とする。
以上述べてきた方法を用いることにより、スライス境界における画質劣化を低減しながら、一画面を複数のスライスに分割し、並列処理を行うことで、実時間で動作することができる。
【０１０６】
【発明の効果】
本発明によれば、画質の顕著な劣化を抑制できる画像処理装置、符号化装置およびそれらの方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の関連技術に係わる符号化装置の機能ブロック図である。
【図２】図２は、本発明の関連技術に係わる復号装置の機能ブロック図である。
【図３】図３は、ＪＶＴ符号化方式におけるスライスおよびマクロブロックの概念を説明するための図である。
【図４】図４は、ＪＶＴ画像圧縮情報におけるエントロピー符号化を説明するための図である。
【図５】図５は、ＪＶＴ符号化方式における動きベクトル符号化を説明するための図である。
【図６】図６は、ＪＶＴ符号化方式におけるイントラ予測符号化を説明するための図である。
【図７】図７は、本発明の第１実施形態に係わる符号化装置を説明するための図である。
【図８】図８は、図７に示す符号化装置の構成図である。
【図９】図９は、本発明の第２実施形態における量子化パラメータの決定方法を説明するための図である。
【図１０】図１０は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【図１１】図１１は、本発明の第４実施形態の量子化パラメータの生成方法を説明するための図である。
【符号の説明】
１…通信システム、２…符号化装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３６…動き予測・補償回路、４０…スライス境界検出回路、４１…ＱＰ算出回路
【図１】
2004235683.tif 000031
【図２】
2004235683.tif 000032
【図３】
2004235683.tif 000033
【図４】
2004235683.tif 000034
【図５】
2004235683.tif 000035
【図６】
2004235683.tif 000036
【図７】
2004235683.tif 000037
【図８】
2004235683.tif 000038
【図９】
2004235683.tif 000039
【図１０】
2004235683.tif 000040
【図１１】
2004235683.tif 000041