(57)【要約】【課題】従来の動画像符号化装置では、隣接するＭＢの符号化タイプを考慮せずに量子化値を決定しているため、隣接するＭＢの各符号化タイプが異なる時にＭＢ間のブロック歪みが発生し、画質が劣化する。【解決手段】量子化決定部１１２は、ＭＥ／ＭＣ・タイプ判定部１１１よりＭＢ単位でイントラ／インターのＭＢタイプが入力され、周辺ＭＢ情報保存部１１３より入力される該当ＭＢの周辺ＭＢ情報を使用し、該当ＭＢの量子化値を決定し、符号量制御部１１４より入力された平均量子化値に沿うように調整する。周辺ＭＢ情報保存部１１３は、量子化決定部１１２で決定されたＭＢの量子化値、ＭＢタイプ（イントラ／インター）を保持する。また、周辺ＭＢ情報保存部１１３は、必要に応じて、量子化決定部１１２に周辺ＭＢ情報を出力する。【選択図】図１
2008153802.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号の一画面を所定の画素数の画像領域であるブロック単位に分割し、符号化対象の前記動画像信号と符号化データから復号した参照画像信号とを用いて動き補償予測して得られた予測信号と、前記符号化対象の動画像信号との差分信号に対して、前記ブロック単位に直交変換、量子化及び可変長符号化を順次行って、インター符号化された各画面の前記符号化データを生成する動画像符号化装置において、
符号化対象の一画面のすべての前記ブロックが、予め定めた第１のブロックと該第１のブロック以外の複数の第２のブロックとからなるとき、前記第１のブロックの第１の量子化値候補と、そのブロックが前記参照画像信号の対応するブロックの情報を用いて前記インター符号化を行う第１の符号化タイプか、前記参照画像信号を用いないイントラ符号化を行う第２の符号化タイプであるかを示す第１の符号化タイプ情報とが事前に保存されており、かつ、前記複数の第２のブロックの量子化値候補と、その第２のブロックが前記第１の符号化タイプか前記第２の符号化タイプであるかを示す第２の符号化タイプ情報とを全てブロック単位で順次に保存するための情報保存手段と、
前記情報保存手段からそれぞれ取得した、前記複数の第２のブロックの内の一の第２のブロックに隣接する周辺ブロックの前記第１又は第２の符号化タイプ情報及び前記第１又は第２の量子化値候補と、前記動画像信号から取得した該第２のブロックの前記第２の符号化タイプ情報とに基づいて、該第２のブロックの前記第２の量子化値候補を決定し、その決定した第２の量子化値候補と共に該第２のブロックの前記第２の符号化タイプ情報を前記情報保存手段に保存する第２の量子化値候補決定・保存動作を全ての前記第２のブロックに対して順次に行う量子化値決定手段と、
前記符号化対象の一画面をインター符号化するときに割り当てられた符号量に基づいて、ピクチャ平均量子化値を算出する算出手段と、
前記情報保存手段から前記符号化対象の一画面のすべての前記第１及び第２のブロックの前記第１及び第２の量子化値候補を読み出してその平均値を算出し、算出した該平均値が前記ピクチャ平均量子化値と同等となるように前記情報保存手段から読み出した前記第１及び第２のブロックの前記第１及び第２の量子化値候補を補正して各ブロック毎の量子化値を生成する補正手段と
を有し、前記補正手段により生成された前記各ブロック毎の量子化値に基づいて、前記直交変換された差分信号に対して前記量子化を前記ブロック単位で行うことを特徴とする動画像符号化装置。
【請求項２】
動画像信号の一画面を所定の画素数の画像領域であるブロック単位に分割し、符号化対象の前記動画像信号と符号化データから復号した参照画像信号とを用いて動き補償予測して得られた予測信号と、前記符号化対象の動画像信号との差分信号に対して、前記ブロック単位に直交変換、量子化及び可変長符号化を順次行って、インター符号化された各画面の前記符号化データを、コンピュータにより生成する動画像符号化プログラムにおいて、
前記コンピュータに、
符号化対象の一画面のすべての前記ブロックが、予め定めた第１のブロックと該第１のブロック以外の複数の第２のブロックとからなるとき、前記第１のブロックの第１の量子化値候補と、そのブロックが前記参照画像信号の対応するブロックの情報を用いて前記インター符号化を行う第１の符号化タイプか、前記参照画像信号を用いないイントラ符号化を行う第２の符号化タイプであるかを示す第１の符号化タイプ情報とが事前に保存されており、かつ、前記複数の第２のブロックの量子化値候補と、その第２のブロックが前記第１の符号化タイプか前記第２の符号化タイプであるかを示す第２の符号化タイプ情報とを全てブロック単位で順次に保存するための情報保存手段からそれぞれ取得した、前記複数の第２のブロックの内の一の第２のブロックに隣接する周辺ブロックの前記第１又は第２の符号化タイプ情報及び前記第１又は第２の量子化値候補と、前記動画像信号から取得した該第２のブロックの前記第２の符号化タイプ情報とに基づいて、該第２のブロックの前記第２の量子化値候補を決定し、その決定した第２の量子化値候補と共に該第２のブロックの前記第２の符号化タイプ情報を前記情報保存手段に保存する第２の量子化値候補決定・保存動作を全ての前記第２のブロックに対して順次に行う第１のステップと、
前記第１のステップで決定した前記第２の量子化値候補を前記情報保存手段に保存すると共に前記符号化対象の第２のブロックの第２の符号化タイプ情報を前記情報保存手段に保存する第２のステップと、
前記符号化対象の一画面をインター符号化するときに割り当てられた符号量に基づいて、ピクチャ平均量子化値を算出する第３のステップと、
前記情報保存手段から前記符号化対象の一画面のすべての前記第１及び第２のブロックの前記第１及び第２の量子化値候補を読み出してその平均値を算出する第４のステップと、
前記第４のステップで算出した前記平均値が前記ピクチャ平均量子化値と同等となるように前記情報保存手段から読み出した前記第１及び第２のブロックの前記第１及び第２の量子化値候補を補正して各ブロック毎の量子化値を生成する第５のステップと、
を含み、前記第５のステップにより生成された前記各ブロック毎の量子化値に基づいて、前記直交変換された差分信号に対して前記量子化を前記ブロック単位で前記コンピュータに実行させることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置及び動画像符号化プログラムに係り、特に動画像信号の各画面を所定の画素数の画像領域であるブロックを単位として分割し、そのブロック単位でピクチャ間の相関性を用いて情報量を削減すると共に、ブロック単位で直交変換、量子化及び可変長符号化を行って動画像符号化データを生成する動画像符号化装置及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
情報量が膨大な動画像信号を帯域が限られた伝送媒体で高速に伝送したり、記録容量が制限された記録媒体に長時間記録するなどのため、動画像の圧縮符号化技術は益々重要となっている。この動画像の圧縮符号化技術としては、例えば、国際基準化されたＭＰＥＧ(Moving Picture Experts Group)−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ.２６１、Ｈ.２６３、Ｈ.２６４等が知られている。これらの動画像圧縮符号化技術では、動画像信号の各画面を所定の画素数の画像領域であるブロックを単位として分割し、そのブロック単位でピクチャ間の相関性を用いた動き補償フレーム間予測等の処理により情報量を削減すると共に、ブロック単位でＤＣＴ（Discrete Cosine Transform:離散コサイン変換）等の直交変換、量子化及び可変長符号化を行って動画像符号化データを生成する。
【０００３】
このような動画像符号化データを生成する動画像符号化装置では、効率良く符号化効率を高め、動画像符号化データの画質を向上させることが要望されており、そのため、例えば画像データの複雑度（アクティビティ）を量子化パラメータの変化量に反映させる手段を備えた動画像符号化装置が従来提案されている（例えば、特許文献１参照）。
【０００４】
図４は上記の特許文献１記載の動画像符号化装置の全体構成を示すブロック図である。図４において、動画像信号はＡ／Ｄ変換回路１１でディジタル画像信号に変換され、画面並べ替え回路１２で、ＧＯＰ（Group of Picture）構造に応じて各フレーム画像信号単位で符号化する順番に並べ替えられて演算回路１３、動き予測・補償回路２２、アクティビティ算出回路２３に供給される。演算回路１３は入力されたフレーム画像信号がインター(Inter)符号化される場合には、入力フレーム画像信号と動き予測・補償回路２２からの予測フレーム画像データとの差分を示す画像データを生成して直交変換回路１４へ供給し、入力されたフレーム画像信号がイントラ(Intra)符号化される場合には、入力フレーム画像信号を画像データとしてそのまま直交変換回路１４に供給する。
【０００５】
直交変換回路１４は入力された画像データを４×４画素のブロック単位で直交変換して得た信号を量子化回路１５に供給して、ここでレート制御回路２５からの量子化スケールに応じた量子化が行われる。可逆符号化回路１６は、量子化回路１５から出力された量子化後の画像データを可変長符号化してバッファ１７に格納すると共に、動き予測・補償回路２２からの動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
【０００６】
また、量子化回路１５から出力された量子化後の画像データは、逆量子化回路１８で逆量子化され、デブロックフィルタ１９でブロック歪み除去のためのフィルタ処理され、更に逆直交変換回路２０で４×４画素のブロック単位で逆直交変換されて画像データに復号された後、フレームメモリ２１に格納される。動き予測・補償回路２２は、フレームメモリ２１からの画像データと、画面並べ替え回路１２からの画像データとに基づいて、動きベクトルＭＶ及び参照画像データを生成し、動きベクトルＭＶは可逆符号化回路１６へ、参照画像データは演算回路１３へそれぞれ出力する。
【０００７】
一方、アクティビティ算出回路２３は画面並べ替え回路１２からの画像データに基づいて入力動画像信号の画像の複雑度（アクティビティ）を所定の方法に基づいて算出し、算出したアクティビティＮａｃｔをΔＱ算出回路２４に供給し、ここで、Ｎａｃｔに応じて量子化パラメータの変化量データΔＱを所定の演算式に従って算出させる。レート制御回路２５は上記の変化量データΔＱとバッファ１７からの参照データとを加算して量子化パラメータＱＰを生成させる。
【０００８】
次に、アクティビティ算出回路２３、ΔＱ算出回路１４及びレート制御回路２５を使用して設定される量子化値の決定方法について、図５のフローチャートと共に説明する。図５において、ステップＳ５０１は、複数枚のピクチャから構成されるＧＯＰと呼ばれる単位に、入力される動画像データを分割し、ＧＯＰ単位のループの始点を示す。ステップＳ５０２では、設定されているビットレートから、前記ＧＯＰの符号量配分を決定する。ステップＳ５０３は、ＧＯＰ内のピクチャ単位のループの始点を示す。
【０００９】
ステップＳ５０４では、ＧＯＰ内のピクチャ１枚あたりの符号量配分を行う。特許文献１では、ピクチャのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に応じて、重み付けをし、ピクチャ１枚あたりの符号量を決定している。ステップＳ５０５は、ピクチャ内の１６×１６画素で構成されるマクロブロック（ＭＢ）と呼ばれる単位のループの始点を示す。
【００１０】
次に、ステップＳ５０６で、ＭＢ単位の符号量配分を決定する処理が行われる。特許文献１では、ピクチャに割り当てられた符号量を、単純にピクチャ内のＭＢ総数で分割している。ここで、決定された符号量を元に、量子化値を決定している。続いて、ステップＳ５０７で、アクティビティを反映した量子化値の決定処理が行われる。このステップＳ５０７の処理では、まず、アクティビティ算出回路２３において、入力される動画像データの輝度値を使用し、画像の複雑さ（アクティビティ）を算出し、ピクチャ全体の傾向から各ＭＢのアクティビティＮａｃｔを算出する。このアクティビティＮａｃｔの値は、ピクチャ内の画像の複雑さを測る指標であり、アクティビティ値が大きいことは、画像が複雑であることを意味する。特許文献１では、画像が複雑である場合、他の部分よりも量子化値を粗く設定しても肉眼では画像劣化が認識され難いという性質を利用し、アクティビティＮａｃｔを用いて量子化値の補正を行っている。
【００１１】
続いて、ステップＳ５０８にて、ステップＳ５０７で決定された量子化値を用いて符号化した際に、発生した符号量が、予めＭＢに与えられた符号量と比較して過不足がある場合に、精算処理を行う。特許文献１では、以下の式で精算を行っている。
【００１２】
次のＭＢ符号量＝（PicRate−符号化済みのＭＢの符号量）÷残りのＭＢ数
ただし、上式中、「PicRate」はピクチャ１枚当りに割り振られる予定の符号量である。つまり、ピクチャの符号量は決まっているため、ピクチャ内で後から符号化されるＭＢが、過不足の影響を受けることになる。特許文献１では、ＭＢの符号化順は、ピクチャの左上から右下方向に符号化されるので、ＭＢ単位の量子化値は、右下に行くに従い、前に符号化した影響を受けることとなる。
【００１３】
ステップＳ５０９は、ピクチャ内のＭＢ単位ループの終端を示す。ピクチャ内のすべてのＭＢについて、ＭＢ単位でステップＳ５０６〜Ｓ５０８の処理が繰り返される。続いて、ステップＳ５１０では、前記ステップＳ５０８と同様に、ピクチャ単位での符号量の過不足を精算する。ステップＳ５１１は、ＧＯＰ内のピクチャ単位のループの終端である。ＧＯＰ内の各ピクチャについてステップＳ５０４〜Ｓ５１０の処理が行われる。続くステップＳ５１２では、前記ステップＳ５１０と同様に、ＧＯＰ単位での符号量の過不足を精算する。ステップＳ５１３は、ＧＯＰ単位のループの終端である。
【００１４】
上記の動作を行う特許文献１記載の従来の動画像符号化装置では、画像特性を無視し、左上から右下の順で量子化値が決定されることを課題とし、画像の複雑さを示すアクティビティを導入し、量子化値を決定する際に指標として用いることで、ピクチャ内での均一的な画質が得られるとしている。
【００１５】
【特許文献１】特開２００４−１９４０７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ここで、イントラ符号化とインター符号化において、同等の量子化値を用いて符号化した場合の画質差について、図６を使用して説明する。図６（Ａ）はイントラ符号化（イントラ圧縮）、図６（Ｂ）はインター符号化（インター圧縮）の簡単な処理の流れを示す。
【００１７】
図６（Ａ）に示すように、イントラ符号化（イントラ圧縮）では、入力される現画像６０１に対して、変換６０２、量子化６０３、逆量子化６０４、逆変換６０５の各処理を順次経て、復号画像６０６を得ることができる。つまり、イントラ圧縮の場合、量子化値の大小によって削減される情報量が変動し、作成される復号画像６０６が大きく変化するといえる。
【００１８】
一方、インター符号化（インター圧縮）については、図６（Ｂ）に示すように、現画像６０１に対して、参照ピクチャを使用して動き補償予測（ＭＣ）６１０を行い、ＭＣより作成されるＭＣ画像６１１と、現画像６０１とＭＣ画像６１１の差分である残差成分６１２とに分けて圧縮処理を行う。ＭＣ画像６１１は、参照ピクチャより動きベクトル値を用いて作成することができ、実際に圧縮処理を行うことはない。つまり、インター圧縮では、ＭＣ６１０によって求められた残差成分６１２についてのみ、変換６１３、量子化６１４、逆量子化６１５、逆変換６１６の各処理を順次行い、逆変換後の残差成分とＭＣ画像６１１とから復号画像６１７を得ることができる。
【００１９】
このインター圧縮では、量子化６１４によって、残差成分が０となった場合であってもＭＣ画像６１１があるので、復号画像６１７が補償される。従って、イントラ圧縮と比較すると、量子化値の大小によって作成される復号画像は、影響が少ないといえる。
【００２０】
以上により、同等の量子化値で、イントラ圧縮とインター圧縮を行った場合、インター圧縮の参照ピクチャの画質がある程度綺麗であれば、イントラ圧縮の画像と比較して、インター圧縮の復号画像の方が綺麗である。つまり、同等の量子化値で圧縮することにおいては、イントラ圧縮とインター圧縮で画質差が生じる。
【００２１】
しかし、特許文献１記載の従来の動画像符号化装置においては、ピクチャの画像特性であるアクティビティを算出し、そのアクティビティを量子化値の決定の際に反映させているが、Ｎ番目のＭＢの量子化値を決定しようとした場合、Ｎ−１番目までに決定されたＭＢの量子化値の影響を、Ｎ番目のＭＢが受けてしまう。例えば、Ｎ−１番目のＭＢの符号化タイプがインターＭＢであり、Ｎ番目のＭＢの符号化タイプがイントラＭＢである場合を考える。Ｎ−１番目のＭＢの量子化値を決定した際に、予定された符号量と同等の符号量であったとする。
【００２２】
すると、次のＭＢ（Ｎ番目）の量子化値は、Ｎ−１番目の量子化値と同じとなってしまい、前述したようにブロック歪みを発生される要因となる。つまり、特許文献１記載の従来の動画像符号化装置では、隣接するＭＢの符号化タイプを考慮せずに量子化値を決定しているため、画質が劣化する場合があることが課題である。
【００２３】
本発明は以上の点に鑑みなされたもので、更に効率良く符号化効率を高め、画質を向上し得る動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記の目的を達成するため、第１の発明は、動画像信号の一画面を所定の画素数の画像領域であるブロック単位に分割し、符号化対象の動画像信号と符号化データから復号した参照画像信号とを用いて動き補償予測して得られた予測信号と、符号化対象の動画像信号との差分信号に対して、ブロック単位に直交変換、量子化及び可変長符号化を順次行って、インター符号化された各画面の符号化データを生成する動画像符号化装置において、
符号化対象の一画面のすべてのブロックが、予め定めた第１のブロックと第１のブロック以外の複数の第２のブロックとからなるとき、第１のブロックの第１の量子化値候補と、そのブロックが参照画像信号の対応するブロックの情報を用いてインター符号化を行う第１の符号化タイプか、参照画像信号を用いないイントラ符号化を行う第２の符号化タイプであるかを示す第１の符号化タイプ情報とが事前に保存されており、かつ、複数の第２のブロックの量子化値候補と、その第２のブロックが第１の符号化タイプか第２の符号化タイプであるかを示す第２の符号化タイプ情報とを全てブロック単位で順次に保存するための情報保存手段と、情報保存手段からそれぞれ取得した、複数の第２のブロックの内の一の第２のブロックに隣接する周辺ブロックの第１又は第２の符号化タイプ情報及び第１又は第２の量子化値候補と、動画像信号から取得した第２のブロックの第２の符号化タイプ情報とに基づいて、第２のブロックの第２の量子化値候補を決定し、その決定した第２の量子化値候補と共に第２のブロックの第２の符号化タイプ情報を情報保存手段に保存する第２の量子化値候補決定・保存動作を全ての第２のブロックに対して順次に行う量子化値決定手段と、符号化対象の一画面をインター符号化するときに割り当てられた符号量に基づいて、ピクチャ平均量子化値を算出する算出手段と、情報保存手段から符号化対象の一画面のすべての第１及び第２のブロックの第１及び第２の量子化値候補を読み出してその平均値を算出し、算出した平均値がピクチャ平均量子化値と同等となるように情報保存手段から読み出した第１及び第２のブロックの第１及び第２の量子化値候補を補正して各ブロック毎の量子化値を生成する補正手段とを有し、補正手段により生成された各ブロック毎の量子化値に基づいて、直交変換された差分信号に対して量子化をブロック単位で行うことを特徴とする。
【００２５】
また、上記の目的を達成するため、第２の発明は、動画像信号の一画面を所定の画素数の画像領域であるブロック単位に分割し、符号化対象の動画像信号と符号化データから復号した参照画像信号とを用いて動き補償予測して得られた予測信号と、符号化対象の動画像信号との差分信号に対して、ブロック単位に直交変換、量子化及び可変長符号化を順次行って、インター符号化された各画面の符号化データを、コンピュータにより生成する動画像符号化プログラムにおいて、コンピュータに、第１の発明の各手段を機能させることを特徴とする。
【００２６】
第１及び第２の発明では、符号化対象のブロックの符号化タイプ情報と、そのブロックに隣接する周辺のブロックの符号化タイプ情報と量子化値候補とを取得して、符号化対象のブロックの量子化値候補を決定することを符号化対象の一画面のピクチャについて求めた後、符号化対象の一画面のすべてのブロックの量子化値候補の平均値がピクチャの平均量子化値と同等となるように各ブロック毎の量子化値候補を補正して各ブロック毎の量子化値を生成する。
【発明の効果】
【００２７】
本発明によれば、所定のブロック単位で量子化値を決定する際に、符号化対象のブロックの周辺のブロックの情報（符号化タイプ情報と量子化値候補）を使用してブロック単位で量子化値候補を一画面内の全ブロックについて求めた後、一画面の符号化対象ピクチャ内の全ブロックの量子化値候補の平均値がそのピクチャの平均量子化値と同等となるように補正して量子化値を生成するようにしているので、符号化対象のブロックと隣接する周辺のブロックの各符号化タイプが異なる時に起こるブロック間のブロック歪みを減少することができ、主観画質の向上が実現できる。
【発明を実施するための最良の形態】
【００２８】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる動画像符号化装置の一実施の形態のブロック図を示す。本実施の形態は、符号化対象の動画像信号を１フレーム分以上蓄積するフレームメモリ１０１と、フレーム出力部１０２と、差分信号を得る減算器１０３と、直交変換を行う直交変換器１０４と、入力信号を量子化値に応じて量子化する量子化器１０５と、可変長符号化処理を行う符号化回路１０６と、量子化後の画像データに対して逆量子化を行う逆量子化器１０７と、逆量子化後の画像データに対して逆直交変換を行う逆直交変換器１０８と、加算器１０９と、フレームメモリ１１０と、ＭＢ単位で動きベクトルを算出する動き推定（ＭＥ）処理、動き補償（ＭＣ）処理、及び処理対象のＭＢがイントラＭＢかインターＭＢかのタイプ判定処理を行うＭＥ／ＭＣ・タイプ判定部１１１とを有し、更に、符号量制御部１１４、量子化決定部１１２及び周辺ＭＢ情報保存部１１３を有する。
【００２９】
フレームメモリ１０１は、符号化対象の動画像信号をディジタル信号に変換して得られた画像データを数枚（数フレーム）分保持し、必要となった場合、保持している画像データをフレーム出力部１０２を介して減算器１０３及びＭＥ／ＭＣ・タイプ判定部１１１にそれぞれ出力する。減算器１０３は、フレーム出力部１０２から出力される画像データと、ＭＥ／ＭＣ・タイプ判定部１１１から出力される動き補償予測処理された画像データとの差分データを減算により生成し、生成した差分データを直交変換器１０４に出力する。
【００３０】
直交変換器１０４は、フレーム出力部１０２から出力された画像データ、又は減算器１０３から出力された差分データに対して、直交変換の一例として例えばＤＣＴを行い、周波数成分（ＤＣＴ係数情報）に変換する。直交変換器１０４で直交変換して得られたデータは量子化器１０５に入力される。なお、本実施の形態では直交変換としてＤＣＴを用いたが、入力されるデータに対して、符号化を行い易い他の直交変換方法であっても構わない。
【００３１】
量子化器１０５は、直交変換器１０４より入力されるデータを、量子化決定部１１２より入力される量子化値で量子化する。この量子化器１０５から出力される量子化後データは、符号化回路１０６、及び逆量子化器１０７にそれぞれ供給される。符号化回路１０６は、量子化器１０５より入力される量子化後データに対して公知の可変長符号化（ＶＬＣ）処理を行う。本実施の形態では、符号化回路１０６は、ＶＬＣテーブルを使用して可変長符号化を行い、符号化して得られたデータを符号化画像データとして外部へ出力する。また、符号化回路１０６は、符号量制御部１１４で使用するパラメータを符号量制御部１１４へ出力する。なお、本実施の形態では、符号化回路１０６はＶＬＣテーブルを用いたが、他の可変長符号化方法であっても構わない。
【００３２】
逆量子化器１０７は、量子化器１０５より入力される量子化後データに対して量子化器１０５で行った操作と逆の操作を行い、逆量子化する。逆量子化器１０７で逆量子化されて得られたデータは逆直交変換器１０８に供給され、ここで直交変換器１０４で行った操作と逆の操作が行われ、逆直交変換される。逆直交変換器１０８で逆直交変換されて取り出される画像データが、イントラ符号化対象の画像データである場合は、フレームメモリ１１０に供給され、インター符号化対象の画像データである場合は加算器１０９に供給される。
【００３３】
加算器１０９は、逆直交変換器１０８から出力される逆直交変換後の画像データと、ＭＥ／ＭＣ・タイプ判定部１１１から出力されるデータとを加算し、復号画像データを作成する。作成された復号画像データはフレームメモリ１１０に出力される。フレームメモリ１１０は、逆直交変換器１０８、又は加算器１０９より入力される復号画像データを保持する。また、フレームメモリ１１０は保持している画像データを、必要に応じてフレーム出力部１０２を介してＭＥ／ＭＣ・タイプ判定部１１１に参照画像データとして出力する。
【００３４】
ＭＥ／ＭＣ・タイプ判定部１１１は、フレームメモリ１１０に保持された復号画像データを参照画像データとして取得すると共に、フレームメモリ１０１よりフレーム出力部１０２を介して符号化対象の画像データを取得して、符号化対象の画像データの動きをＭＢ単位で推定して、参照画像データと符号化対象の画像データの対応するＭＢの相対位置関係を示す動きベクトルを算出し（ＭＥ）、それに基づき動き補償（ＭＣ）を行ってピクチャ予測画像データを作成する。
【００３５】
また、ＭＥ／ＭＣ・タイプ判定部１１１は、フレーム出力部１０２より入力される符号化対象の画像データのＭＢがイントラ符号化対象のイントラＭＢであるか、またはインター符号化対象のインターＭＢであるかの判定（タイプ判定）も行う。この判定は、フレーム出力部１０２で符号化対象の画像データのＭＢをインター符号化したときの符号量とイントラ符号化したときの符号量とを比較し、符号量が少ない方のタイプの判定結果を得る。
【００３６】
ＭＥ／ＭＣ・タイプ判定部１１１で算出された動きベクトルは符号化回路１０６に出力され、動き補償によって作成されたピクチャ予測画像データは減算器１０３及び加算器１０９に出力され、タイプ判定結果は量子化決定部１１２に出力される。
【００３７】
符号量制御部１１４は、符号化回路１０６より入力されたパラメータを使用し、これから符号化されるピクチャの先頭ＭＢの初期量子化値、及びピクチャ内の平均量子化値Ｑａｖｅを決定し、この決定された初期量子化値、及び平均量子化値Ｑａｖｅを量子化決定部１１２に出力する。なお、ピクチャ単位で平均量子化値を算出し、先頭のＭＢの量子化値を決定するような符号量制御であれば、どのような制御を行ってもよい。
【００３８】
量子化決定部１１２は、ＭＥ／ＭＣ・タイプ判定部１１１よりＭＢ単位でイントラ／インターのＭＢタイプが入力され、周辺ＭＢ情報保存部１１３より入力される該当ＭＢの周辺ＭＢ情報を使用し、該当ＭＢの量子化値候補を決定し、符号量制御部１１４より入力された平均量子化値に沿うように調整する。これについては後で詳しく説明する。
【００３９】
周辺ＭＢ情報保存部１１３は、少なくとも量子化決定部１１２で決定されたＭＢの量子化値候補、ＭＢタイプ（イントラ／インター）をＭＢ毎に保持する。また、周辺ＭＢ情報保存部１１３は、必要に応じて、量子化決定部１１２に周辺ＭＢ情報を出力する。
【００４０】
次に、本実施の形態の動作について、図２のフローチャートと共に説明する。なお、各ステップの詳細な説明は、図１のブロック図の上記の説明と同様であるため省略する。まず、符号化対象の動画像信号をディジタル信号に変換して得られた画像データが入力されてフレームメモリ１０１に保存する（ステップＳ２０１）。続くステップＳ２０２は１ピクチャ単位のループの始点を示し、ピクチャ単位ループの終端を示すステップＳ２１７までの、後述するステップＳ２０３〜ステップＳ２１６の処理が符号化対象のピクチャ単位で行われる。また、ステップＳ２０２に続くステップＳ２０３は、ピクチャ内のＭＢ単位のループの始点を示し、ピクチャ内のＭＢ単位のループの終端を示すステップＳ２０９までの、後述するステップＳ２０４〜Ｓ２０８の処理が符号化対象のピクチャ内のすべてのＭＢについてＭＢ単位で行われる。
【００４１】
続いて、フレームメモリ１０１から出力される符号化対象のピクチャがイントラピクチャであるか、インターピクチャであるかをフレーム出力部１０２により判断する（ステップＳ２０４）。イントラピクチャである場合はステップＳ２０８へ、インターピクチャである場合はステップＳ２０５へ移動する。
【００４２】
符号化対象のピクチャがインターピクチャの場合は、ＭＥ／ＭＣ・タイプ判定部１１１において、フレームメモリ１１０より入力される参照画像データと、フレームメモリ１０１よりフレーム出力部１０２を介して入力される符号化対象の画像データとを使用して、符号化対象の画像データの動きをＭＢ単位で推定して、参照画像データと符号化対象の画像データの対応するＭＢの相対位置関係を示す動きベクトルを算出し（ＭＥ）、それに基づき動き補償（ＭＣ）を行ってピクチャ予測画像データを作成すると共に、フレームメモリ１０１よりフレーム出力部１０２を介して入力される画像データのＭＢがイントラ符号化対象のイントラＭＢであるか、またはインター符号化対象のインターＭＢであるかのタイプ判定を行う（ステップＳ２０５）。
【００４３】
続いて、量子化決定部１１２により、ＭＥ／ＭＣ・タイプ判定部１１１よりＭＢ単位で入力されるイントラ／インターのＭＢタイプと、周辺ＭＢ情報保存部１１３より入力される該当ＭＢの周辺ＭＢ情報と、符号量制御１１１より入力される初期量子化値とを使用して、後述するように該当ＭＢの量子化値候補を決定し（ステップＳ２０６）、その決定された量子化値候補、及びタイプ情報を周辺ＭＢ情報保存部１１３に保存する（ステップＳ２０７）。一方、ステップＳ２０４で符号化対象のピクチャがイントラピクチャであると判定された場合は、量子化決定部１１２は、符号量制御部１１１の出力に基づいてＭＢ単位で量子化値を決定する（ステップＳ２０８）。
【００４４】
ステップＳ２０４〜Ｓ２０８の処理が符号化対象のピクチャ内のすべてのＭＢについてＭＢ単位で行われると、続いて、符号化対象のピクチャがインターピクチャであるかどうかをフレーム出力部１０２の出力に基づいて再び判断し（ステップＳ２１０）、イントラピクチャである場合はステップＳ２１２へ、インターピクチャである場合はステップＳ２１１へ移動する。
【００４５】
ステップＳ２１１では、ステップＳ２０６にて決定された符号化対象のインターピクチャ内の各ＭＢの量子化値候補を、符号量制御部１１４より入力されるピクチャ平均量子化値と同等にするための補正処理を行い、符号化対象のインターピクチャのＭＢ単位の量子化値を最終的に決定する。続いて、直交変換器１０４に入力される画像データ又は差分データに対して直交変換された後、量子化器１０５によりステップＳ２０８又はＳ２１１で決定されたＭＢ単位の量子化値に基づく量子化がＭＢ単位で行われ、その量子化後データに対する符号化回路１０６による可変長符号化及び逆量子化器１０７による逆量子化、逆量子化後データに対する逆直交変換器１０８による逆直交変換からなる画像圧縮処理が行われる（ステップＳ２１２）。
【００４６】
続いて、逆直交変換器１０８で逆直交変換されて取り出される符号化されるピクチャの画像データが、インター符号化時に用いられる参照ピクチャであるかどうか判断し（ステップＳ２１３）、非参照ピクチャである場合はステップＳ２１６へ移動し、参照ピクチャである場合はステップＳ２１４へ移動する。
【００４７】
ステップＳ２１４は、復号画像を作成するステップであり、完全面内符号化ピクチャである場合は、何も処理をせず、インター符号化時に用いられる参照ピクチャである場合に、加算器１０９において逆直交変換器１０８から出力される逆直交変換後の画像データ（復号された誤差画像データ）と、ＭＥ／ＭＣ・タイプ判定部１１１から出力される動き補償して作成されたデータとを加算し、復号画像データを作成する（ステップＳ２１４）。作成された復号画像データはフレームメモリ１１０に出力されて保存される（ステップＳ２１５）。
【００４８】
そして、符号量制御部１１４により、符号化回路１０６より入力されたパラメータを使用し、次に符号化されるピクチャの先頭ＭＢの初期量子化値、及びピクチャ内の平均量子化値を決定するピクチャ単位符号量制御処理を行う（ステップＳ２１６）。この決定された初期量子化値、及び平均量子化値は量子化決定部１１２に出力される。ここで、上記のピクチャ内の平均量子化値（後述するＱａｖｅ）は、例えばＧＯＰ内で割り当てられた符号量から符号化対象ピクチャの符号化を行う直前までにＧＯＰ内の各ピクチャを符号化して得られた合計の符号量を差し引いた符号量と、ＧＯＰ内の符号化前の残りのピクチャの数とに基づいて、その符号化対象ピクチャに割り当てられた符号量から所定のアルゴリズムにより算出されたものである。
【００４９】
なお、本実施の形態ではＭＢ単位の符号量制御を行わなかったが、ステップＳ２０７、及びステップＳ２０８の後にＭＢ単位の符号量制御を行って、次のＭＢの量子化値を算出し、前記算出した量子化値を使用してもよい。
【００５０】
次に、量子化決定部１１２について詳しく説明する。量子化決定部１１２は、ＭＥ／ＭＣ・タイプ判定部１１１より、符号化対象ＭＢのイントラ／インターのタイプ判定結果が入力されると共に、周辺ＭＢ情報保存部１１３より、図３に示すように、現在の符号化対象のＭＢ３０１に対して上側に隣接した位置にある上ＭＢ３０２の量子化値候補及びタイプ情報と、左側に隣接した位置にある左ＭＢ３０３の量子化値候補及びタイプ情報とが入力され、符号量制御部１１４より、先頭ＭＢの初期量子化値と、インターピクチャのピクチャタイプに対応した平均量子化値Ｑａｖｅが入力され、これらの入力されたデータを使用し、現在の符号化対象のＭＢ３０１の量子化値候補を決定し、その決定後の量子化値候補を周辺ＭＢ情報保存部１１３にピクチャタイプと共に保存する。なお、一画面の左端でかつ上端の１ＭＢについては、周辺ＭＢは存在しないので、周辺ＭＢ情報保存部１１３には、ピクチャ平均量子化値がそのＭＢの量子化値候補として保存される。
【００５１】
このようにして符号化対象ピクチャ内の全てのＭＢの量子化値候補が決定して周辺ＭＢ情報保存部１１３に保持され次第、周辺ＭＢ情報保存部１１３から符号化対象ピクチャの全ＭＢの量子化値候補を読み出してその平均値を算出し、算出した平均値が符号化対象ピクチャの平均量子化値Ｑａｖｅと同等になるまで全体的に各ＭＢの量子化値候補を補正して、最終的な量子化値を生成する。
【００５２】
例えば、周辺情報を利用して、符号化対象ピクチャ内の全ＭＢの量子化値候補を決定したとする。その際の符号化対象ピクチャ内の全てのＭＢの平均量子化値候補を「２０」とする。設定するべき量子化値は、入力された符号化対象ピクチャの予め定められた平均量子化値Ｑａｖｅが「２２」とすると、「２」（＝２２−２０）だけ小さいことになる。よって、この場合、符号化対象ピクチャ内の全ＭＢの量子化値候補を「２」ずつ増やし、そのピクチャ内の全てのＭＢの量子化値候補を平均量子化値Ｑａｖｅと同等にするように補正することで、各ＭＢの量子化値を求める。
【００５３】
対象ＭＢの量子化決定方法の表を表１に示す。
【００５４】
【表１】
2008153802.tif 000003
なお、表１において、カレントＭＢは現在の符号化対象のＭＢであり、イントラ補正値（ＩｎｔｒａＱ）とは、ある量子化値をイントラ量子化値に換算する数値であり、インター補正値（ＩｎｔｅｒＱ）とは、ある量子化値をインター量子化値に換算する数値である。
【００５５】
イントラ補正値（ＩｎｔｒａＱ）及びインター補正値（ＩｎｔｅｒＱ）は、本実施の形態では、Ｐピクチャを符号化している場合は、イントラ補正値（ＩｎｔｒａＱ）は「１／１.１」、インター補正値（ＩｎｔｅｒＱ）は「１.１」とし、Ｂピクチャを符号化している場合は、イントラ補正値（ＩｎｔｒａＱ）は「１／１.４」、インター補正値（ＩｎｔｅｒＱ）は「１.４」とした。
【００５６】
このように、本実施の形態によれば、量子化決定部１１２がインターピクチャ内の各ＭＢの量子化値候補をＭＢ単位で決定する際に、量子化値候補を決定したいＭＢの周辺ＭＢ（左側と上側に隣接する各ＭＢ）の情報を使用してＭＢ単位で量子化値候補を全ＭＢについて求めた後、一画面の符号化対象ピクチャ内の全ＭＢの量子化値候補の平均値がピクチャの平均量子化値Ｑａｖｅと同等となるように各ＭＢ単位で量子化値候補を補正して各ＭＢ単位で量子化値を生成するようにしているので、隣接するＭＢ間に生じるブロック歪みを減少することができ、主観画質の向上が実現できる。
【００５７】
なお、本実施の形態では、イントラ補正値とインター補正値を固定値としたが、画像特性などで任意に変更しても構わない。また、ピクチャ境界など周辺ＭＢが存在しない場合は、存在するＭＢのみを使用し、量子化値候補を算出する。また、本実施の形態では、上ＭＢと左ＭＢを周辺ＭＢとしたが、既に量子化値候補の算出が終了している左上ＭＢや右上ＭＢを周辺情報として利用し量子化値候補を算出してもよい。また、本実施の形態では、ＭＢタイプを使用して量子化値候補を決定したが、周辺ＭＢの動きベクトル値、タイプ判定結果などの情報を用いて重み付けなどして量子化値候補を決定してもよい。
【００５８】
なお、本発明は図１に示した動画像符号化装置のフレームメモリ１０１、１０９以外の各構成部をコンピュータにより実現するための動画像符号化プログラムを含む。この場合、動画像符号化プログラムは、記録媒体からコンピュータに取り込まれてもよいし、通信ネットワークを介して配信されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００５９】
【図１】本発明の動画像符号化装置の一実施の形態のブロック図である。
【図２】本発明装置の動作を説明するフローチャートである。
【図３】現ＭＢの周辺ＭＢの一例の説明図である。
【図４】特許文献１記載の従来の動画像符号化装置のブロック図である。
【図５】図４の装置の符号量制御フローチャートである。
【図６】イントラ圧縮とインター圧縮の違いを説明する図である。
【符号の説明】
【００６０】
１０１、１１０  フレームメモリ
１０３  減算器
１０４  直交変換器
１０５  量子化器
１０６  符号化回路
１０７  逆量子化器
１０８  逆直交変換器
１０９  加算器
１１１  ＭＥ／ＭＣ・タイプ判定部
１１２  量子化決定部
１１３  周辺ＭＢ情報保存部
１１４  符号量制御部
【図１】
2008153802.tif 000004
【図２】
2008153802.tif 000005
【図３】
2008153802.tif 000006
【図４】
2008153802.tif 000007
【図５】
2008153802.tif 000008
【図６】
2008153802.tif 000009