(57)【要約】【課題】特徴量を算出しない場合に比べて演算量が殆ど変わらない方法で算出した現フレームの特徴量を用いて、現フレームの各領域に目標符号量を配分して、高速に符号化する。【解決手段】領域分割部１０２は、入力画像信号１０１のフレームを２つの領域に分割する。特徴量算出部１０３−１及び１０３−２は、２分割された各領域の特徴量を別々に算出する。符号量設定部１０４は、特徴量と動きベクトルと画像信号とを用いて、現フレームの特徴量から、２つの領域に目標符号量を配分する。エンコーダ部１０５−１及び１０５−２は、メモリ部１０６を共通に用いて、複数の予測モードのうち選択した予測モードで、分割された各領域の動画像信号の予測符号化を行う。このとき、エンコーダ部１０５−１及び１０５−２は、特徴量算出部１０３−１及び１０３−２からの特徴量を、所定の予測モードの評価値としてそのまま用いる。【選択図】図１
2011035807.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の動画像信号の現フレームを、各々所定サイズのブロックが複数からなるｎ個（ｎは２以上の自然数）の領域に分割する第１のステップと、
ｎ個の前記領域のそれぞれについて、互いに独立にその領域内の前記ブロック毎に、そのブロック内の画素値に関連した特徴量を算出する第２のステップと、
前フレームの発生符号量から現フレームの目標符号量を算出し、その目標符号量を、前記第２のステップで各領域内の前記ブロック単位で算出された前記特徴量に基づいて、ｎ個の前記領域のそれぞれに配分する第３のステップと、
ｎ個の前記領域のそれぞれの現フレームの動画像信号に対して、予め定められた各々異なるサイズの複数のブロックのうち所定のサイズのブロックについては、前記第２のステップで算出された前記特徴量を、ブロック単位で予測符号化したときの符号量の大きさを決める指標である評価値として利用し、前記所定のサイズ以外の複数のブロックについてはそれぞれ評価値を算出した後、得られたすべての評価値のうち最小である評価値に対応したブロック単位で予測信号を生成して前記第３のステップにより配分された前記目標符号量に従い発生符号量制御を行いつつ、予測符号化を行う第４のステップと、
前記第４のステップで得られたｎ個の符号化信号を一つの符号化信号に統合する第５のステップと
を含むことを特徴とする動画像符号化方法。
【請求項２】
前記第４のステップにおいて符号化する際に用いる、局部復号された画像信号に対してブロックノイズを低減して参照画像信号を出力する前記フィルタ手段に対して、前記第２のステップにより算出された前記特徴量の分散に応じて値が変化するフィルタ強度を設定する第６のステップを更に含むことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
符号化対象の動画像信号の現フレームを、各々所定サイズのブロックが複数からなるｎ個（ｎは２以上の自然数）の領域に分割する領域分割手段と、
ｎ個の前記領域のそれぞれについて、互いに独立にその領域内の前記ブロック毎に、そのブロック内の画素値に関連した特徴量を算出する特徴量算出手段と、
前フレームの発生符号量から現フレームの目標符号量を算出し、その目標符号量を、前記特徴量算出手段で各領域内の前記ブロック単位で算出された前記特徴量に基づいて、ｎ個の前記領域のそれぞれに配分する符号量設定手段と、
ｎ個の前記領域のそれぞれの現フレームの動画像信号に対して、予め定められた各々異なるサイズの複数のブロックのうち所定のサイズのブロックについては、前記特徴量算出手段で算出された前記特徴量を、ブロック単位で予測符号化したときの符号量の大きさを決める指標である評価値として利用し、前記所定のサイズ以外の複数のブロックについてはそれぞれ評価値を算出した後、得られたすべての評価値のうち最小である評価値に対応したブロック単位で予測信号を生成して前記符号量設定手段により配分された前記目標符号量に従い発生符号量制御を行いつつ、予測符号化を行うｎ個のエンコード手段と、
前記エンコード手段から出力されたｎ個の符号化信号を一つの符号化信号に統合する統合手段と
を有することを特徴とする動画像符号化装置。
【請求項４】
前記ｎ個のエンコード手段は、それぞれ予測符号化の際に用いる参照画像信号を記憶し読み出す共通のメモリ部を有することを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
前記エンコーダ手段内に設けられた、局部復号された画像信号に対してブロックノイズを低減して参照画像信号を出力する前記フィルタ手段に対して、前記特徴量算出手段により算出された前記特徴量の分散に応じて値が変化するフィルタ強度を設定するフィルタ強度制御手段を更に有することを特徴とする請求項３又は４記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化方法及び動画像符号化装置に係り、特に符号化対象の動画像信号のフレームの特徴量を用いて、フレームの各領域に目標符号量を配分して動画像信号の符号化を行う動画像符号化方法及び動画像符号化装置に関する。
【背景技術】
【０００２】
現在、インターネットの普及などにより、デジタル表現された画像はますます一般的になってきている。動画像を少ない符号量で効率的にデジタル表現するため、ＭＰＥＧ-２(Moving Picture Experts Group phase 2)や、ＭＰＥＧ-４ ＡＶＣ(Moving Picture Experts Group phase 4 Part10: Advanced Video Coding)などの規格に代表される動画像符号化方式が広く用いられている。
【０００３】
これらの動画像符号化方式における符号量制御のアルゴリズムとしてＴＭ５（Test Model 5）が知られている。このＴＭ５では、符号化済みのピクチャ（１枚の画面）の複雑度に応じて、目標符号量を所定の複数のピクチャからなるＧＯＰ(Group of Picture)単位で各ピクチャに配分する。そして、１ピクチャを構成する複数のマクロブロック（以下、ＭＢ）のそれぞれの量子化パラメータを、それまでのＭＢを符号化して発生した符号量と目標符号量、及びピクチャ内の符号化の進行度合いから決定する。これにより、ピクチャの符号量は目標符号量に近づき、符号量を制御することができる。
【０００４】
この符号量制御のアルゴリズム（ＴＭ５）を、高速に符号化するためにピクチャを複数の領域に分割して各領域を並列に符号化する場合に適用するには、目標符号量を領域数で等分して各領域の目標符号量とすることが考えられる。
【０００５】
しかし、これではピクチャ内で発生する符号量の偏りを考慮した各領域への目標符号量の配分ができない。すなわち、ピクチャ内には高周波成分が少なく発生符号量が少ない領域と、高周波成分が多く発生符号量が多い領域が存在する。従って、各領域の目標符号量を等分すると、発生符号量が少ない領域では高画質に、発生符号量が多い領域では低画質になるので、ピクチャ全体で見たときに画質が均一でなくなる。画質を均一にするには、各領域に発生符号量に応じて目標符号量を配分する必要がある。
【０００６】
従来の動画像符号化装置として、前フレームにおいて各領域で求めた量子化幅や平均自乗誤差により、現フレーム全体の目標符号量を各領域に分配する動画像符号化装置が提案されている（例えば、特許文献１参照）。また、従来の画像符号化復号化方法として、分割されたそれぞれの小画像において、空間特徴量であるフレーム内の分散及び動き特徴量であるフレーム間差分値の分散の加算値を現フレームから求め、全体の画像に対して割り当てられた情報量を、分割された各小画像に前記加算値に比例して振り分ける方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許平６−１１３２７４号公報
【特許文献２】特開平７−３０３２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１記載の従来の動画像符号化装置では、現フレームより前のフレームの特徴量を用いて、現フレームの各領域に目標符号量を配分している。そのため、前フレームから現フレームの間で画像の性質が変化した場合には、算出した特徴量は現フレームと異なり、各領域に発生符号量に応じて目標符号量を配分することができない。
【０００９】
また、特許文献２記載の従来の動画像符号化方法では、現フレームの特徴量を用いて、現フレームの各領域に目標符号量を配分しているため、特徴量の算出にかかる演算量が多く、高速に符号化することができない。
【００１０】
本発明は以上の点に鑑みなされたもので、特徴量を算出しない場合に比べて演算量が殆ど変わらない方法で算出した現フレームの特徴量を用いて、現フレームの各領域に目標符号量を配分して、高速に符号化することができる動画像符号化方法及び動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明の動画像符号化方法は、符号化対象の動画像信号の現フレームを、各々所定サイズのブロックが複数からなるｎ個（ｎは２以上の自然数）の領域に分割する第１のステップと、ｎ個の領域のそれぞれについて、互いに独立にその領域内のブロック毎に、そのブロック内の画素値に関連した特徴量を算出する第２のステップと、前フレームの発生符号量から現フレームの目標符号量を算出し、その目標符号量を、第２のステップで各領域内のブロック単位で算出された特徴量に基づいて、ｎ個の領域のそれぞれに配分する第３のステップと、ｎ個の前記領域のそれぞれの現フレームの動画像信号に対して、予め定められた各々異なるサイズの複数のブロックのうち所定のサイズのブロックについては、第２のステップで算出された特徴量を、ブロック単位で予測符号化したときの符号量の大きさを決める指標である評価値として利用し、所定のサイズ以外の複数のブロックについてはそれぞれ評価値を算出した後、得られたすべての評価値のうち最小である評価値に対応したブロック単位で予測信号を生成して第３のステップにより配分された目標符号量に従い発生符号量制御を行いつつ、予測符号化を行う第４のステップと、第４のステップで得られたｎ個の符号化信号を一つの符号化信号に統合する第５のステップとを含むことを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の動画像符号化方法は、上記第４のステップにおいて符号化する際に用いる、局部復号された画像信号に対してブロックノイズを低減して参照画像信号を出力するフィルタ手段に対して、上記第２のステップにより算出された特徴量の分散に応じて値が変化するフィルタ強度を設定する第６のステップを更に含むことを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の動画像符号化装置は、符号化対象の動画像信号の現フレームを、各々所定サイズのブロックが複数からなるｎ個（ｎは２以上の自然数）の領域に分割する領域分割手段と、ｎ個の領域のそれぞれについて、互いに独立にその領域内のブロック毎に、そのブロック内の画素値に関連した特徴量を算出する特徴量算出手段と、前フレームの発生符号量から現フレームの目標符号量を算出し、その目標符号量を、特徴量算出手段で各領域内のブロック単位で算出された特徴量に基づいて、ｎ個の領域のそれぞれに配分する符号量設定手段と、ｎ個の前記領域のそれぞれの現フレームの動画像信号に対して、予め定められた各々異なるサイズの複数のブロックのうち所定のサイズのブロックについては、特徴量算出手段で算出された特徴量を、ブロック単位で予測符号化したときの符号量の大きさを決める指標である評価値として利用し、所定のサイズ以外の複数のブロックについてはそれぞれ評価値を算出した後、得られた評価値が最小であるブロック単位で予測信号を生成して符号量設定手段により配分された目標符号量に従い発生符号量制御を行いつつ、予測符号化を行うｎ個のエンコード手段と、エンコード手段から出力されたｎ個の符号化信号を一つの符号化信号に統合する統合手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の動画像符号化装置は、ｎ個のエンコード手段は、それぞれ予測符号化の際に用いる参照画像信号を記憶し読み出す共通のメモリ部を有することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の動画像符号化装置は、エンコーダ手段内に設けられた、局部復号された画像信号に対してブロックノイズを低減して参照画像信号を出力するフィルタ手段に対して、特徴量算出手段により算出された特徴量の分散に応じて値が変化するフィルタ強度を設定するフィルタ強度制御手段を更に有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、特徴量を算出しない場合に比べて演算量が殆ど変わらない方法で算出した現フレームの特徴量を用いて、現フレームの各領域に目標符号量を配分して、高速に符号化することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の動画像符号化装置の一実施の形態のブロック図である。
【図２】図１中の領域分割部の動作を説明するためのフローチャートである。
【図３】領域分割を説明するための図である。
【図４】特徴量算出部を示すブロック図である。
【図５】ＭＢを説明するための図である。
【図６】図１中の符号量設定部の動作を説明するためのフローチャートである。
【図７】図１中のエンコーダ部の一例のブロック図である。
【図８】図７のエンコーダ部の動作を説明するためのフローチャートである。
【図９】図１中の領域統合部の動作を説明するためのフローチャートである。
【図１０】本発明の動画像符号化装置内の符号量設定部の他の実施の形態の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について図面と共に詳細に説明する。なお、本実施の形態では、説明を簡単化するため、ＭＰＥＧ−４ ＡＶＣを用いて動画像を符号化する際に、入力画像のフレーム（ピクチャ）を２等分して、２つの中央処理装置（ＣＰＵ）で並列に符号化する場合について説明する。
【００１９】
図１は、本発明になる動画像符号化装置の一実施の形態のブロック図を示す。同図において、本実施の形態の動画像符号化装置１００は、入力画像信号１０１のフレーム（ピクチャ）を２つの領域に等分する領域分割部１０２と、領域分割部１０２により２等分に分割された各領域の特徴量を別々に算出する特徴量算出部１０３−１及び１０３−２と、符号量設定部１０４と、２つのエンコーダ部１０５−１及び１０５−２と、エンコーダ部１０５−１及び１０５−２に共通に用いられるメモリ部１０６と、エンコーダ部１０５−１及び１０５−２からそれぞれ出力された各領域の符号化信号を統合して出力ストリーム１０８を出力する領域統合部１０７とから構成されている。
【００２０】
特徴量算出部１０３−１及び１０３−２は、一つの中央処理装置（ＣＰＵ）を用いてそれぞれ入力画像信号１０１とメモリ部１０６からの参照ピクチャとに基づき、入力画像信号１０１のフレームを２等分して得られた２つの領域の特徴量と動きベクトルを算出して画像信号と共に出力する。符号量設定部１０４は、特徴量算出部１０３−１、１０３−２からそれぞれ出力された特徴量と動きベクトルと画像信号とを用いて、現フレームの特徴量を用いて、現フレームの上記２つの領域に目標符号量を配分する。
【００２１】
エンコーダ部１０５−１及び１０５−２は、２つの領域のそれぞれの現フレームの動画像信号に対して、予め定められた各々異なるサイズの複数のブロックのうち所定のサイズのブロックについては、特徴量算出部１０３−１、１０３−２で算出された特徴量を、ブロック単位で予測符号化したときの符号量の大きさを決める指標である評価値としてそのまま使用し、所定のサイズ以外の複数のブロックについてはそれぞれ評価値を算出した後、得られたすべての評価値のうち最小である評価値に対応したブロック単位で予測信号を生成して符号量設定部１０４により配分された目標符号量に従い発生符号量制御を行いつつ、予測符号化を行う。
【００２２】
具体的には、エンコーダ部１０５−１及び１０５−２は、符号量設定部１０４から供給される２つの領域の画像信号及び動きベクトルに基づいて、一つの中央処理装置（ＣＰＵ）を用いて入力画像信号に対してイントラ予測又はインター予測による予測信号を用いた動画像符号化を行って符号化ストリームを生成する。ここで、エンコーダ部１０５−１及び１０５−２は、特徴量算出部１０３−１及び１０３−２で得られた算出された特徴量などをそのまま使用するので、特徴量算出部１０３−１及び１０３−２の演算量が増えても、エンコーダ部１０５−１及び１０５−２の演算量が減る。
【００２３】
また、エンコーダ部１０５−１及び１０５−２は、外部に独立して設けられたメモリ部１０６を共通に使用するようにされている。これにより、エンコーダ部１０５−１及び１０５−２のそれぞれがメモリ部を有する場合よりも回路構成を簡単にできる。また、エンコーダ部１０５−１及び１０５−２の一方が、画像を分割して得た後述する領域Ｄ［ｎ］だけの画像のメモリ部を持つ場合、領域Ｄ［ｎ］以外の領域を参照する際に、他方のエンコーダ部と競合して処理が遅くなることを防ぐことができる。
【００２４】
領域統合部１０７は、エンコーダ部１０５−１及び１０５−２からの２つの領域の符号化ストリームを統合して一つの領域の符号化ストリームを生成し、出力ストリーム１０８として出力する。
【００２５】
次に、本実施の形態の動画像符号化装置１００の動作について説明する。領域分割部１０２は、動画像信号である入力画像信号１０１が入力されると、図２のフローチャートに従って入力画像信号１０１の現フレームを複数の領域に分割する。すなわち、領域分割部１０２は、まず、符号化に用いることができる資源数Ｎ（Ｎは２以上の自然数）を取得する（ステップＳ１０１）。この資源数Ｎは、動画像符号化装置１００において並列に動作する部分である、特徴量算出部１０３−１及び１０３−２に用いられるＣＰＵと、エンコーダ部１０５−１及び１０５−２に用いられるＣＰＵとの数に相当し、ここでは、Ｎ＝２の固定値である。
【００２６】
続いて、領域分割部１０２は、入力画像信号１０１の１フレームをＮ分割（ここでは、上記のように２分割）した領域を生成し、各領域の開始及び終了のＭＢアドレスを計算する（ステップＳ１０２）。ステップＳ１０２では、画像の分割は、図３に示すようにＭＢ単位でなされ、複数のＭＢからなる、ある分割された領域ｎ（ｎは任意の整数）をＤ［ｎ］として表す。ここでは、上記のようにＮ＝２であるので、入力画像信号１０１の１フレームはＤ［０］とＤ［１］の２つの領域に２等分される。
【００２７】
符号化処理はラスタ順であり、入力画像信号１０１の１フレームの全ＭＢ数をＭＢｃｎｔとすると、領域Ｄ［０］の開始ＭＢアドレスは「０」で、終了ＭＢアドレスは「（ＭＢｃｎｔ／２」−１」、領域Ｄ［１］の開始ＭＢアドレスは「ＭＢｃｎｔ／２」で、終了ＭＢアドレスは「ＭＢｃｎｔ−１」となる。領域分割部１０２は、図２に示したフローチャートに従って生成した、これら開始ＭＢアドレス及び終了ＭＢアドレスと、開始ＭＢアドレスから終了ＭＢアドレスに対応する各領域毎の入力画像信号を特徴量算出部１０３に出力する。
【００２８】
ここで、特徴量算出部１０３とは、特徴量算出部１０３−１と特徴量算出部１０３−２を各領域について区別せずに示す場合の表記である。実際には、領域Ｄ［０］の情報は特徴量算出部１０３−１に、領域Ｄ［１］の情報は特徴量算出部１０３−２に、それぞれ入力される。
【００２９】
特徴量算出部１０３−１及び１０３−２は、それぞれ同一構成で、例えば図４のブロック図に示す構成とされている。図４に示すように、特徴量算出部１０３（１０３−１及び１０３−２）は、スライスタイプ判定部２０１、スイッチ２０２、イントラ特徴量算出部２０３及びインター特徴量算出部２０４からなる構成である。
【００３０】
特徴量算出部１０３（１０３−１及び１０３−２）は、まず、スライスタイプ判定部２０１において入力された現フレームの開始ＭＢアドレスから終了ＭＢアドレスに対応する領域の画像信号のスライスタイプを判定する。そして、スライスタイプがイントラスライスであれば、スイッチ２０２を介してイントラ特徴量算出部２０３に入力された領域の画像信号を供給し、スライスタイプがインタースライスであれば、スイッチ２０２を介してインター特徴量算出部２０４に入力された領域の画像信号を供給する。ここで、スライスタイプは、予め何らかの方法で決定されているものとする。
【００３１】
イントラ特徴量算出部２０３は、入力された現フレームの領域の画像信号のイントラ特徴量を算出する。インター特徴量算出部２０４は、入力された現フレームの領域の画像信号のインター特徴量を算出する。次に、このイントラ特徴量算出部２０３及びインター特徴量算出部２０４における特徴量の算出方法について説明する。
【００３２】
これらの特徴量は、現フレームに対し、各領域の開始ＭＢアドレスから終了ＭＢアドレスまでＭＢ単位で算出する。ここで、図５に示すように、ＭＢアドレスがｍ（ｍは任意の自然数）であるＭＢをＭＢ（ｍ）とし、ＭＢ（ｍ）における位置（ｉ，ｊ）の画素値をＣｉｊ（ｍ）とすると、イントラ特徴量算出部２０３は、ＭＢ（ｍ）のイントラ特徴量Ａintra（ｍ）を、次式により算出する。
【００３３】
【数１】
2011035807.tif 000003
このイントラ特徴量Ａintra（ｍ）は、ＭＢ（ｍ）内の画素値からＭＢ（ｍ）の画素平均値を引いた値である。
【００３４】
次に、ＭＢ（ｍ）のインター特徴量Ａinter（ｍ）の算出方法について説明する。インター特徴量算出部２０４は、まず、メモリ部１０６より参照ピクチャを取得し、ＭＥ（動き推定）して動きベクトルｍｖ＝（ｘ，ｙ）を算出する。そして、インター特徴量算出部２０４は、動きベクトルｍｖが示す画像をＲｘ，ｙ（ｍ）としたとき、次式によりインター特徴量Ａinter（ｍ）を算出する。
【００３５】
【数２】
2011035807.tif 000004
このインター特徴量Ａinter（ｍ）は、ＭＢ（ｍ）内の画素値から参照するＭＢの画素値を引いた絶対値である。
【００３６】
特徴量算出部１０３−１及び１０３−２は、このようにして算出したイントラ特徴量Ａintra（ｍ）、インター特徴量Ａinter（ｍ）、及び動きベクトルｍｖを、入力された各領域の画像信号と共に符号量設定部１０４に出力する。
【００３７】
符号量設定部１０４は、図６のフローチャートに従って動作する。まず、符号量設定部１０４は、ＴＭ５のアルゴリズムによって残り符号量Ｒを更新する（ステップＳ２０１）。符号量設定部１０４は、この更新に際し、後述の領域統合部１０７から入力される前フレームの発生符号量を用いる。ただし、最初のフレームにおける前フレームの発生符号量は「０」である。
【００３８】
続いて、符号量設定部１０４は、上記アルゴリズムＴＭ５によって目標符号量Ｔを計算する（ステップＳ２０２）。最後に、符号量設定部１０４は、特徴量算出部１０３−１、１０３−２よりそれぞれ入力された特徴量を用いて、領域Ｄ［ｎ］の目標符号量Ｔ［ｎ］を、次式に示すように配分する（ステップＳ２０３）。
【００３９】
【数３】
2011035807.tif 000005
ここで、（４）式及び（５）式中のＡ［ｎ］は、領域Ｄ［ｎ］内のＭＢにおける特徴量Ａ（ｍ）の和である。また、特徴量Ａ（ｍ）はイントラスライスの場合はイントラ特徴量Ａintra（ｍ），インタースライスの場合はインター特徴量Ａinter（ｍ）を示す。
【００４０】
符号量設定部１０４は、上記の目標符号量Ｔ［ｎ］、特徴量Ａ（ｍ）の和Ａ［ｎ］、特徴量Ａ（ｍ）及び動きベクトルｍｖを入力画像信号と共にエンコーダ部１０５−１及び１０５−２にそれぞれ供給する。
【００４１】
エンコーダ部１０５−１及び１０５−２は同一構成であり、例えば図７に１０５で示すブロック図の構成とされている。図７において、エンコーダ部１０５（１０５−１及び１０５−２）内の減算器３０１は、符号化対象の動画像信号である入力画像信号１２０と、必要に応じてスイッチ３０３を介して供給される画面内予測信号又は画面間予測信号との差分値を、所定の符号化単位（ここではブロック）で生成する。上記の画面内予測信号は、イントラ予測部３０２により生成されたイントラ予測による予測信号である。また、上記の画面間予測信号は、ＭＥ（動き推定）部３１０とＭＣ（動き補償）部３１１とにより生成されたインター予測による予測信号である。
【００４２】
イントラ予測部３０２は、符号化対象の入力画像信号１２０に基づいて、後述する予め定められた複数のサイズの異なるブロックのそれぞれについて評価値を算出し、それらの中で最小の評価値を示すブロックに基づいて公知のイントラ予測方法により画面内予測信号を生成する。また、ＭＥ部３１０及びＭＣ部３１１は、符号化対象の入力画像信号１２０とメモリ部１０６からの局部復号画像データとに基づいて、後述する予め定められた複数のサイズの異なるブロックのそれぞれについて評価値を算出し、それらの中で最小の評価値を示すブロックに基づいて公知のインター予測方法により画面間予測信号を生成する。
【００４３】
ＤＣＴ部３０４は、減算器３０１からの差分値に対して直交変換の一例のＤＣＴ(Discrete Cosine Transform;離散コサイン変換)を行う。上記のＤＣＴサイズは、ＭＰＥＧ−４ ＡＶＣの場合、符号化対象の入力画像信号１２０に応じて、例えば水平方向４画素、垂直方向４画素（すなわち、４×４画素）や水平方向８画素、垂直方向８画素（すなわち、８×８画素）等のサイズに可変制御することが可能である。
【００４４】
量子化部３０５は、ＤＣＴ部３０４から出力されたＤＣＴ係数に対して量子化を行い、量子化後信号を生成する。逆量子化部３０６は、量子化後信号に対して逆量子化を行う。逆ＤＣＴ部３０７は、逆量子化部３０６からの信号に対して逆ＤＣＴ処理を行って前記差分値の復号信号を生成し、それを加算器３０８に供給してスイッチ３０３を経由して供給される画面内予測信号又は画面間予測信号とを加算させて、局部復号された画像信号を生成させる。
【００４５】
デブロックフィルタ部３０９は、加算器３０８から供給される局部復号された画像信号に対して、ＭＢ単位でブロックノイズを低減するためのデブロックフィルタ処理を行い、そのフィルタ処理後の信号を参照画像信号としてメモリ部１０６に蓄積する。
【００４６】
ＭＥ部３１０は、メモリ部１０６に蓄積された参照画像信号をインター予測時に読み出して、その参照画像信号の入力画像信号１２０における対応するブロックの相対位置を示す動きベクトルを検出する動き推定（ＭＥ）処理を行う。ＭＣ部３１１は、ＭＥ部３１０からの動きベクトルに基づいて動き補償（ＭＣ）処理を行って画面間予測信号を生成する。可変長符号化部３１２は、量子化後信号に対して可変長符号化を行い、出力符号１３０を生成して出力する。
【００４７】
メモリ部１０６は、図１に示したように、エンコーダ部１０５−１及びエンコーダ部１０５−２に共通に接続されている。よって、エンコーダ部１０５−１が処理する領域Ｄ［０］から、参照画像信号としてエンコーダ部１０５−２が処理する領域Ｄ［１］を参照できる。同様に、エンコーダ部１０５−２が処理する領域Ｄ［１］から、参照画像信号としてエンコーダ部１０５−１が処理する領域Ｄ［０］を参照できる。
【００４８】
画面内予測信号を生成するイントラ予測では、１６ｘ１６画素、８ｘ８画素、４ｘ４画素のうちのいずれかのブロックサイズを適用することができ、ブロックサイズが１６ｘ１６画素の場合には所定の予測方法（Vertical/horizontal/DC/planeの予測方法）を選択することができる。
【００４９】
また、画面間予測信号を生成するインター予測では、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素、８ｘ４画素、４ｘ８画素、４ｘ４画素のうちのいずれかのブロックサイズを適用することができる。そして、このブロックサイズの異なる予測の種類を本明細書では予測モードというものとする。いくつかある予測モードを評価値によって評価し、その評価値が最小の予測モードを適用する。
【００５０】
ここで、評価値とは、予測誤差と符号量の関数である。この評価値が最小の予測モードは、予測誤差と符号量の関数の和が最小になるので、予測誤差が小さく、かつ、符号量が小さくなる。ある予測モードによって可変長符号化して符号量を算出したり、可変長符号化せずにある指標で符号量を概算したりして、どの予測モードを用いたときに評価値が最小となるかを判断する。
【００５１】
なお、図７では図示を省略したが、エンコーダ部１０５（１０５−１及び１０５−２）は、出力符号１３０の符号量を合計した値と、符号量設定部１０４から入力された目標符号量Ｔ［ｎ］とを比較しながら、量子化部３０５の動作を制御している。なお、符号量設定部１０４から入力された特徴量Ａ（ｍ）の和Ａ［ｎ］は目標符号量Ｔ［ｎ］の算出に用いられる。
【００５２】
次に、エンコーダ部１０５（１０５−１及び１０５−２）の予測処理について、図８のフローチャートに従って説明する。エンコーダ部１０５（１０５−１及び１０５−２）は、まず、その動作を制御する部分（図７では図示を省略）が入力画像信号１２０の現フレームのスライスタイプがイントラスライスであるか否かを判定する（ステップＳ３０１）。
【００５３】
スライスタイプがイントラスライスであれば、入力画像信号１２０の各ＭＢについてイントラ予測部３０２によるイントラ予測モードの予測を開始する。まず、イントラ予測部３０２は、予測モードが１６ｘ１６画素のＤＣ予測モードであるかどうかを判定する（ステップＳ３０２）。
【００５４】
次に、イントラ予測部３０２は、予測モードとして１６ｘ１６画素のＤＣ予測モードの評価値を算出する場合、特徴量算出部１０３から得た現フレームのイントラ特徴量Ａintra（ｍ）をそのまま評価値とする（ステップＳ３０３）。これは、（１）式及び（２）式により示されるイントラ特徴量Ａintra（ｍ）が１６ｘ１６画素のＭＢ単位であるからである。
【００５５】
他方、イントラ予測部３０２は、予測モードとして１６ｘ１６画素のＤＣ予測モード以外の予測モードの評価値を算出する場合、１６ｘ１６画素のＤＣ予測モード以外の評価値を算出する（ステップＳ３０４）。これは、１６ｘ１６画素以外のブロックサイズについて評価値を算出することを含む。そして、イントラ予測部３０２は、これらの中で、予測誤差が最小である最小の評価値のイントラ予測モードを決定する（ステップＳ３０８）。
【００５６】
一方、エンコーダ部１０５（１０５−１及び１０５−２）は、ステップＳ３０１において、入力画像信号１２０のスライスタイプがインタースライスであると判定したときは、その入力画像信号１２０の各ＭＢについてインター予測モードによる予測を開始する。これにより、ＭＥ部３１０は、予測モードが１６ｘ１６画素の予測モードであるか否かを判定する（ステップＳ３０５）。
【００５７】
ＭＥ部３１０は、予測モードが１６ｘ１６画素の予測モードの評価値を算出する場合、特徴量算出部１０３から得た現フレームのインター特徴量Ａinter（ｍ）をそのまま評価値とする（ステップＳ３０６）。これは、（３）式により示されるインター特徴量Ａinter（ｍ）が１６ｘ１６画素のＭＢ単位であるからである。
【００５８】
他方、ＭＥ部３１０は、予測モードが１６ｘ１６画素の予測モード以外の予測モードの評価値を算出する場合、特徴量算出部１０３から得た動きベクトルｍｖを基に１６ｘ１６画素以外のブロックサイズについても動き推定処理して、各ブロックサイズの評価値を算出する（ステップＳ３０７）。そして、これらの中で最小の評価値のインター予測モードを決定する（ステップＳ３０９）。
【００５９】
このように、本実施の形態の動画像符号化装置１００では、特徴量算出部１０３（１０３−１及び１０３−２）で算出したイントラ特徴量Ａintra（ｍ）及びインター特徴量Ａinter（ｍ）を、エンコーダ部１０５（１０５−１及び１０５−２）を所定の予測モードのときの評価値として使用するので、特徴量算出部１０３（１０３−１及び１０３−２）の演算量が増えても、エンコーダ部１０５（１０５−１及び１０５−２）の演算量が減る。すなわち、本実施の形態の動画像符号化装置１００では、特徴量算出部１０３（１０３−１及び１０３−２）にかかる演算量はエンコーダ部１０５（１０５−１及び１０５−２）の演算量と相殺される。従って、動画像符号化装置１００によれば、特徴量を算出しても、算出しない場合に比べて演算量が殆ど変わらず、高速に符号化することができる。
【００６０】
次に、領域統合部１０７の動作について図９のフローチャートと共に説明する。領域統合部１０７は、エンコーダ部１０５−１及び１０５−２からそれぞれ出力された符号化ストリーム（出力符号１３０）を入力信号として受け、まず、エンコーダ部１０５−１から出力された領域「０」の符号化ストリームに、エンコーダ部１０５−２から出力された領域「１」の符号化ストリームを結合する（ステップＳ４０１）。そして、領域統合部１０７は、必要に応じて結合した符号化ストリームをバイトスタッフィングする（ステップＳ４０２）。
【００６１】
領域統合部１０７は、バイトスタッフィングしたストリームを出力ストリーム１０８として出力する。また、現フレームの発生符号量を符号量設定部１０４に出力し、現フレームの符号化を終了する。
【００６２】
以上の動作を所望のフレーム数だけ繰り返すことで、動画像を符号化できる。本実施の形態の動画像符号化装置１００によれば、現フレームの特徴量を用いるので、前フレームから現フレームの間で画像の性質が変化した場合でも、各領域に発生符号量に応じて目標符号量を配分することができる。
【００６３】
また、本実施の形態の動画像符号化装置１００によれば、特徴量算出部１０３（１０３−１及び１０３−２）にかかる演算量はエンコーダ部１０５（１０５−１及び１０５−２）の演算量と相殺されるため、特徴量を算出しても、算出しない場合に比べて演算量が殆ど変わらず、高速に符号化することができる。
【００６４】
更に、本実施の形態の動画像符号化装置１００によれば、メモリ部１０６がエンコーダ部１０５−１及び１０５−２から独立しているため、各特徴量算出部１０３−１及び１０３−２と、各エンコーダ部１０５−１及び１０５−２が処理する領域に制限されずに参照ピクチャとして参照できるので、高画質の符号化信号を生成することができる。
【００６５】
次に、本発明の動画像符号化装置の他の実施の形態について説明する。この実施の形態の動画像符号化装置は、図１に示した符号量設定部１０４の処理方法を変えることにより、高画質に符号化するものである。符号量設定部１０４以外の処理方法は、図１に示した動画像符号化装置１００と同じであるので説明を省略する。また、各領域はスライスで分割されるものとする。
【００６６】
次に、この実施の形態の符号量設定部１０４の動作について、図１０のフローチャートに従って説明する。同図中、図６と同一処理ステップには同一符号を付し、その説明を省略する。図１に示した実施の形態と異なり、本実施の形態の符号量設定部１０４は、ステップＳ２０３に続いて、特徴量Ａ（ｍ）に応じて図７のデブロックフィルタ部３０９のフィルタ強度を設定する処理を行う（ステップＳ２０４）。このステップＳ２０４で使用する特徴量Ａ（ｍ）は、特徴量算出部１０３により算出された特徴量をそのまま利用することができる。すなわち、本実施の形態では、従来のようにフィルタ強度を設定するために新たに特徴量を算出する必要がなく、符号化の処理の高速化に寄与することができる。
【００６７】
デブロックフィルタ部３０９は文献（ＩＳＯ／ＩＥＣ  １４４９６−１０）に記載されたようなデブロックフィルタ部を用いる。このデブロックフィルタ部３０９には、スライス毎にその強度を調節できるパラメータとして、「slice_alpha_c0_offset_div2」が規定されている。フィルタ強度によって、このパラメータを変化させることにより、高画質に符号化することができる。
【００６８】
本実施の形態の符号量設定部１０４は、フィルタ強度を設定する前の領域Ｄ［ｎ］の上記パラメータをα［ｎ］とすると、次式によりフィルタ強度α’［ｎ］を算出して、デブロックフィルタ部３０９に設定する。
【００６９】
【数４】
2011035807.tif 000006
ここで、上式中、σ２［ｎ］は領域Ｄ［ｎ］内の特徴量Ａ（ｍ）の分散を示す。ただし、α’［ｎ］は±６以内とする。上記のフィルタ強度α’［ｎ］は、特徴量Ａ（ｍ）の分散σ２［ｎ］が大きいほど強くなるような値である。
【００７０】
この実施の動画像符号化装置では、前述した動画像符号化装置１００と同様の特長を有すると共に、これに加えて、特徴量に応じてデブロックフィルタ部３０９のフィルタ強度を変化させるようにしているため、高画質に符号化することができる。
【００７１】
なお、本発明は以上の実施の形態に限定されるものではなく、以下の変形例も包含するものである。前述した実施の形態では、資源数Ｎは固定値「２」であり、各領域は２等分する場合を説明したが、この資源数Ｎは任意の自然数であればよく、またフレーム毎にその値が異なってもよい。さらに、分割される領域数は任意の自然数であればよく、等分でなくともよく、またフレーム毎にその値が異なってもよい。ただし、図１にある特徴量算出部１０３及びエンコーダ部１０５の数は、資源数と同じにする。
【００７２】
また、画像の分割方法は、図３のような分割方法に限定されるものではなく、ＭＢ単位であればどのような分割方法でもよいし、処理がラスタ順以外でもよい。また、スライスタイプは予め何らかの方法で決定されているものとして説明したが、スライスタイプ判定部においてスライスタイプを決定するようにしてもよい。
【００７３】
また、上記の実施の形態では特徴量算出部１０３はイントラ特徴量又はインター特徴量のいずれかを算出するものとして構成したが、両方の特徴量を算出してから、より小さい特徴量を出力するように構成してもよい。
【００７４】
また、イントラ特徴量及びインター特徴量の算出方法は、数１及び数２で示した方法に限定されるものではなく、エンコーダ部１０５の予測モードの決定に利用できる判定式であれば、これらの数式以外でもよい。つまり、任意のブロックサイズを適用でき、もちろん色差信号にも適用できる。また、ＤＣ予測モード以外にも適用できる。
【００７５】
また、上記の実施の形態では、目標符号量の配分を数３で示したが、特徴量Ａ（ｍ）を基に目標符号量の配分を算出するようにすればよく、この数３に示した式に限定されるものではない。また、上記の実施の形態では、イントラ予測及びインター予測はすべてのブロックサイズのすべての予測モードで評価値を算出したが、必ずしもすべての予測モードで評価値を算出する必要はない。
【００７６】
また、エンコーダ部１０５は、上記の実施の形態では特徴量算出部１０３から得たイントラ特徴量Ａintra（ｍ）をそのまま１６ｘ１６画素のＤＣ予測モードの評価値としたが、これに限定されるものではなく、評価値は、イントラ特徴量Ａintra（ｍ）を利用していれば、そのままの値でなくともよい。同様に、特徴量算出部１０３から得たインター特徴量Ａinter（ｍ）をそのまま１６ｘ１６画素の予測モードの評価値としなくてもよく、インター特徴量Ａinter（ｍ）を利用していれば、そのままの値でなくともよい。
【００７７】
また、ＭＥ部３１０は、特徴量算出部１０３から得たインター特徴量Ａinter（ｍ）をそのまま１６ｘ１６画素の予測モードの評価値としたが、本発明は特徴量算出部１０３から得た動きベクトルｍｖを基にさらに動き推定（ＭＥ）して１６ｘ１６画素の予測モードの評価値を算出するようにしてもよい。
【００７８】
また、１６×１６画素以外のブロックサイズについて評価値を算出する際に、１６×１６画素の評価値を利用してもよい。また、エンコーダ部１０５はイントラスライスではイントラ予測、インタースライスではインター予測のみを適用したが、両方の予測信号を算出してから、より小さい予測モードを適用するように構成してもよい。
【００７９】
また、エンコーダ部１０５に特徴量Ｔ［ｎ］，Ａ［ｎ］，Ａ（ｍ）及び動きベクトルｍｖが入力されているので、これらの特徴量を用いてエンコード部１０５の量子化や予測モードを制御するようにしてもよい。
【００８０】
また、本発明の他の実施の形態では、デブロックフィルタ部３０９のフィルタ強度の設定に分散を算出したが、この分散を用いて、目標符号量を算出するように構成してもよい。また、上記フィルタ強度は特徴量Ａ（ｍ）を基に算出すればよく、数４で示した算出式には限定されない。また、デブロックフィルタ部用の強度パラメータ「slice_alpha_c0_offset_div2」を調整する値は任意であり、これを数４で示した算出式中のＫ［ｎ］を基に決定してもよい。更に、ＭＰＥＧ−４ ＡＶＣで規定されている別のデブロックフィルタ部用の強度パラメータ「slice_beta_offset_div2」を調整してもよい。
【符号の説明】
【００８１】
１００  動画像符号化装置
１０１  入力画像信号
１０２  領域分割部
１０３−１、１０３−２  特徴量算出部
１０４  符号量設定部
１０５−１、１０５−２  エンコーダ部
１０６  メモリ部
１０７  領域統合部
１０８  出力ストリーム
１２０  分割された領域の入力画像信号
１３０  出力符号
２０１  スライスタイプ判定部
２０２、３０３  スイッチ
２０３  イントラ特徴量算出部
２０４  インター特徴量算出部
３０１  減算器
３０２  イントラ予測部
３０４  ＤＣＴ部
３０５  量子化部
３０６  逆量子化部
３０７  逆ＤＣＴ部
３０８  加算器
３０９  デブロックフィルタ部
３１０  ＭＥ（動き推定）部
３１１  ＭＣ（動き補償）部
３１２  可変長符号化部
【図１】
2011035807.tif 000007
【図２】
2011035807.tif 000008
【図３】
2011035807.tif 000009
【図４】
2011035807.tif 000010
【図５】
2011035807.tif 000011
【図６】
2011035807.tif 000012
【図７】
2011035807.tif 000013
【図８】
2011035807.tif 000014
【図９】
2011035807.tif 000015
【図１０】
2011035807.tif 000016