(57)【要約】【課題】Ｈ．２６４／ＡＶＣビデオエンコーダにおいて、少ない計算量によってマクロブロック単位の符号化用予測モードを的確に決定できる。【解決手段】ビデオエンコーダの予測モード決定部は、動画像信号を参照画像信号として用いて複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する一次評価値計算部４１と、一次評価値に対して４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する二次評価値計算部４３と、二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段４４〜４８を有する。【選択図】  図１２
2006270437.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を符号化するビデオエンコーダにおいて、
前記動画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、
前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、
前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び
前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備するビデオエンコーダ。
【請求項２】
動画像信号を符号化するビデオエンコーダにおいて、
予測誤差信号に対して簡略化直交変換を行って変換画像信号を生成する変換手段と、
前記変換画像信号と予測画像信号との加算画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、
前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、
前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び
前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備することを特徴とするビデオエンコーダ。
【請求項３】
前記一次評価値を計算する手段は、前記一次評価値を以下の数式により計算することを特徴とする請求項１または２のいずれか１項記載のビデオエンコーダ。
Ｊ＝ＳＡＤ＋λ＊Ｒ
ここで、Ｊは前記一次評価値、ＳＡＤは前記４×４画素イントラ予測モードによる予測誤差の絶対値和（sum of absolute difference）、λは定数、Ｒは前記符号化用予測モードを表す符号の符号量をそれぞれ表す。
【請求項４】
前記一次評価値を計算する手段は、前記一次評価値を以下の数式により計算することを特徴とする請求項１または２のいずれか１項記載のビデオエンコーダ。
Ｊ＝ＳＡＴＤ＋λ＊Ｒ
ここで、Ｊは前記一次評価値、ＳＡＴＤは前記４×４画素イントラ予測モードによる予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference）、λは定数、Ｒは前記符号化用予測モードを表す符号の符号量をそれぞれ表す。
【請求項５】
前記二次評価値を計算する手段は、前記二次評価値を下記の数式により計算することを特徴とする請求項１または２のいずれか１項記載のビデオエンコーダ。
【数１】
2006270437.tif 000004
ここで、Ｅは前記二次評価値、ｉは前記４×４画素ブロックの番号、Ｊｉは前記一次評価値、ｗｉは前記評価係数をそれぞれ表す。
【請求項６】
前記評価係数は、前記複数の４×４画素ブロックのうち右下のブロックに近いブロックほど小さく定められることを特徴とする請求項１、２または５のいずれか１項記載のビデオエンコーダ。
【請求項７】
前記符号化用予測モードを決定する手段は、前記一次評価値に従って一つの４×４画素イントラ予測モード候補を決定する手段と、前記二次評価値を用いて１６×１６画素イントラ予測モードと前記４×４画素イントラ予測モードのいずれか一方を選択する第１のモード選択手段、及び前記イントラ予測モードと前記インター予測モードのいずれか一方を選択する第２のモード選択手段を有し、前記第１の選択手段の選択結果と前記第２の選択手段の選択結果及び前記４×４画素イントラ予測モード候補に従って前記符号化用予測モードを決定することを特徴とする請求項１または２のいずれか１項記載のビデオエンコーダ。
【請求項８】
前記符号化用予測モードを決定する手段は、前記第１のモード選択手段により前記４×４画素イントラ予測モードが選択され、かつ前記第２の選択手段によりイントラ予測モードが選択された場合に、前記４×４画素イントラ予測モード候補を用いて前記複数の４×４画素イントラ予測モードを少なくとも一つのモードに絞り込む予測モード絞り込み手段と、及び前記予測モード絞り込み手段により二つ以上のモードが絞り込まれた場合に該二つ以上のモードに従って、局部復号画像信号を参照画像信号として用いて該二つ以上のモードのそれぞれに対する三次評価値を計算する手段をさらに有し、前記三次評価値に従って一つの４×４画素イントラ予測モードを前記符号化用予測モードとして決定することを特徴とする請求７記載のビデオエンコーダ。
【請求項９】
請求項１乃至８のいずれか１項記載のビデオエンコーダ、及び
前記ビデオエンコーダにより前記動画像信号を符号化して得られる符号化ビットストリームを送信する送信手段を具備する携帯無線端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオエンコーダ及びこれを用いた携帯無線端末装置に関する。
【背景技術】
【０００２】
動画像の圧縮符号化技術として代表的なＭＰＥＧ方式では、インター予測（動き補償予測）、イントラ予測、離散コサイン変換（ＤＣＴ）及び可変長符号化を組み合わせて符号化を行う。イントラ予測では、符号化対象ブロックの画素値を周囲の参照ブロックの画素値から予測し、予測値に対する実際の画素値の誤差である予測誤差を符号化する。
【０００３】
一方、ＭＰＥＧ方式をさらに発展させたＨ．２６４／ＡＶＣと呼ばれる動画像符号化規格が制定されている。Ｈ．２６４／ＡＶＣでは、複雑な画像については４×４画素のブロック単位のイントラ予測（４×４画素イントラ予測という）を行い、平坦な画像については１６×１６画素のマクロブロック単位のイントラ予測（１６×１６画素イントラ予測という）を行うことで、符号化効率を向上させている。４×４画素イントラ予測においては、ブロック毎にモード０からモード８までの９つの予測モードのうちから一つのモードを選択して決定する。
【０００４】
「H. 264符号化におけるIntra予測方式の効率化に関する一検討」KDDI研究所  高木幸一他 2004年映像情報メディア学会冬季大会 12-3（非特許文献１）は、マクロブロック単位の符号化用予測モードの決定プロセスにおいて、４×４画素イントラ予測モードに対する評価値の計算手法を開示している。この手法によると、原画像信号すなわち符号化対象の動画像信号を参照画像信号として用いて前記評価値を求め、この評価値から最適な符号化用予測モードを決定する。さらに、非特許文献１ではレート・歪最適化（rate distortion optimization：ＲＤＯ）：offモードにおけるモード評価値を用いた場合の、低レート時のモードを表す符号の符号量の影響について述べている。
【０００５】
Joint Model Reference Encoding Methods and Decoding Concealment Methods JVT-J049 2004-03-02（非特許文献２）には、Ｈ．２６４／ＡＶＣにおいて予測モードに対する評価値を求めるために、予測誤差に関する差分絶対値和（sum of absolute difference：ＳＡＤ）あるいは、予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference：ＳＡＴＤ）を用いる方法が開示されている。
【非特許文献１】「H. 264符号化におけるIntra予測方式の効率化に関する一検討」KDDI研究所  高木幸一他 2004年映像情報メディア学会冬季大会 12-3
【非特許文献２】Joint Model Reference Encoding Methods and Decoding Concealment Methods JVT-J049 2004-03-02
【発明の開示】
【発明が解決しようとする課題】
【０００６】
非特許文献１によると、４×４画素イントラ予測モードに対する評価値を求める際に参照画像信号として原画像信号を用いるため、参照画像信号として局部復号画像信号を用いる一般的な手法に比較して、マクロブロック単位の符号化用予測モードの決定に要する計算量が大きく低減される。しかし、原画像信号を参照画像信号として用いると、４×４画素ブロックの位置によっては局部復号画像信号を参照画像信号として用いた場合との誤差が大きくなる。このため必ずしも正しい評価値は得られず、的確な予測モードを決定できない可能性がある。
【０００７】
本発明は、少ない計算量によってマクロブロック単位の符号化用予測モードを的確に決定できる、Ｈ．２６４／ＡＶＣに適したビデオエンコーダ及びこれを用いた携帯無線端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点によると、前記動画像信号を参照画像信号として用いて予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備する、動画像信号を符号化するビデオエンコーダを提供する。
【０００９】
本発明の第２の観点によると、予測誤差信号に対して簡略化直交変換を行って変換画像信号を生成する変換手段と、前記変換画像信号と予測画像信号との加算画像信号を参照画像信号として用いて予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備することを特徴とする、動画像信号を符号化するビデオエンコーダを提供する。
【００１０】
本発明の第３の観点によると、前記符号化用予測モードを決定する手段は、前記一次評価値に従って一つの４×４画素イントラ予測モード候補を決定する手段と、前記二次評価値を用いて１６×１６画素イントラ予測モードと前記４×４画素イントラ予測モードのいずれか一方を選択する第１のモード選択手段、及び前記イントラ予測モードと前記インター予測モードのいずれか一方を選択する第２のモード選択手段を有し、前記第１の選択手段の選択結果と前記第２の選択手段の選択結果及び前記４×４画素イントラ予測モード候補に従って前記符号化用予測モードを決定することを特徴とする。
【００１１】
本発明の第３の観点によると、前記符号化用予測モードを決定する手段は、前記第１のモード選択手段により前記４×４画素イントラ予測モードが選択され、かつ前記第２の選択手段によりイントラ予測モードが選択された場合に、前記４×４画素イントラ予測モード候補を用いて前記複数の４×４画素イントラ予測モードを少なくとも一つのモードに絞り込む予測モード絞り込み手段と、及び前記予測モード絞り込み手段により二つ以上のモードが絞り込まれた場合に該二つ以上のモードに従って、局部復号画像信号を参照画像信号として用いて該二つ以上のモードのそれぞれに対する三次評価値を計算する手段をさらに有し、前記三次評価値に従って一つの４×４画素イントラ予測モードを前記符号化用予測モードとして決定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画像信号を参照画像信号として、あるいは簡略化直交変換により得られる画像信号を参照画像信号として用いて各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。この二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
【００１３】
さらに、一次評価値に従って得られる４×４画素イントラ予測モード候補を参考にして絞り込んだ４×４画素イントラ予測モードから、局部復号画像信号を参照画像信号として用いて符号化用の４×４画素イントラ予測モードを的確に決定することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の第１の実施形態に従うビデオエンコーダを示している。ビデオエンコーダには、この例では例えばフレーム単位で動画像信号１０１が入力される。動画像信号１０１は減算器１１に入力され、減算器１１により予測画像信号１１２との差分である予測誤差信号１０２が生成される。予測誤差信号１０２に対して離散コサイン（ＤＣＴ）／量子化ユニット１２によりＤＣＴ及び量子化が施される。量子化されたＤＣＴ係数情報１０３は、逆離散コサイン（ＩＤＣＴ）／逆量子化ユニット１５とエントロピー符号化器２２に入力される。
【００１５】
量子化されたＤＣＴ係数情報１０３は、ＩＤＣＴ／逆量子化ユニット１５により処理され、これによって予測誤差信号１０３に対応した信号１０４が生成される。ＩＤＣＴ／逆量子化ユニット１５はＤＣＴ／量子化ユニット１２の処理と逆の処理である逆ＤＣＴ及び逆量子化を行う。ＩＤＣＴ／逆量子化ユニット１５からの出力信号１０４は、加算器１６において予測画像信号１１２と加算され、これによって局部復号画像信号が生成される。局部復号画像信号は参照画像メモリ１８に参照画像信号１０６として与えられ、符号化対象画像である動画像信号１０１の前後の複数フレームの参照画像信号が順次記憶される。
【００１６】
イントラ予測器１７は、予測モード決定部１９によって決定されたモードでイントラ予測を行い、イントラ予測画像信号１０５を生成する。イントラ予測器１７には、モード決定部１９によって制御されるスイッチ２０を介して、動画像信号１０１または参照画像メモリ１８から読み出される参照画像信号１０７のいずれかがイントラ予測のための参照画像信号１０８として与えられる。
【００１７】
参照画像メモリ１８から読み出される参照画像信号１０７は、デブロッキングフィルタ２１によってフィルタリングされる。フィルタリング後の参照画像信号１０９は、インター予測器２２に入力される。インター予測器２２では、フィルタリング後の複数フレームの参照画像信号と動画像信号１０１との間の動きベクトルの検出と、インター予測（すなわち動きベクトルによる動き補償予測）を行い、動きベクトル情報１１０とフレーム単位のインター予測画像信号１１１を生成する。
【００１８】
モード選択スイッチ２３は、イントラ予測モード時にはイントラ予測画像信号１０５を選択し、インター予測モード（動き補償予測モード）時にはインター予測画像信号１１１を選択する。モード選択スイッチ２３によって選択された予測画像信号１１２は、減算器１１及び加算器１６に入力される。
【００１９】
エントロピー符号化器２４は、ＤＣＴ／量子化ユニット１２から出力される量子化されたＤＣＴ係数情報１０３、インター予測器２２から出力される動きベクトル情報１１０、及び予測モード決定部１９から出力される符号化用予測モード情報１１３に対して例えば算術符号化のようなエントロピー符号化を施し、情報１０３，１１０及び１１３の各々に対応する可変長符号の符号列１１４を生成する。可変長符号列１１４は、図示しない後段の多重化器にシンタックス用データとして与えられ、シンタックス用データが多重化されることにより符号化ビットストリームが生成される。符号化ビットストリームは図示しない出力バッファにより平滑化された後、図示しない送信ユニットへ送出される。
【００２０】
符号化制御部２５は、例えば動画像信号１０１のアクティビティや前記出力バッファのバッファ量を示す情報１１５をモニタし、バッファ量が一定となるようにＤＣＴ／量子化ユニット１２及びＩＤＣＴ／逆量子化ユニット１５における量子化パラメータの制御とエントロピー符号化器２４の制御を行う。
【００２１】
＜予測モード決定部１９について＞  
次に、予測モード決定部１９について説明する。予測モード決定部１９は、予測モードをインター予測モードにするか、イントラ予測モードにするかの決定と、イントラ予測モードにする場合に４×４画素イントラ予測モードにするか、１６×１６画素イントラ予測モードにするかの決定を行う。予測モード決定部１９の機能は、例えばＣＰＵによる演算処理によって実現される。
【００２２】
図２は、４×４画素イントラ予測モードの決定において参照画像信号として原画像信号を用いた場合の参照可能領域と１６個の４×４画素ブロック０〜１５との関係を示している。ブロック０〜１５の全体は、１６×１６画素のマクロブロックに相当する。ブロック０，１，２，４，５，８，１０は、原画像の参照可能領域の画素（参照可能画素）に隣接している。すなわち、ブロック０は上、左及び左上に隣接する画素を参照可能であり、ブロック１，４，５は上に隣接する画素を参照可能であり、ブロック２，８，１０は左に隣接する画素を参照可能である。図３は、一つの現ブロックの画素ａ〜ｐと、隣接する参照可能画素との関係を示している。
【００２３】
一方、他のブロック３，６，７，９，１１，１２，１３，１４，１５は、参照可能な画素に隣接していないため、参照画像信号に局部復号画像信号を用いた場合に比較して、予測モードの決定時に計算される評価値の誤差は大きくなる。特に、右下のブロック１５に近づくほど、その誤差は増大する。
【００２４】
そこで、本発明の一実施形態では例えば図４（Ａ）及び図４（Ｂ）に示されるように、１６個の４×４画素ブロックの位置に応じた評価係数によって、評価値に対して重み付けを行う。図４（Ａ）の例では、各ブロックをそれぞれが参照可能な画素数に応じてグループ分けし、グループ毎に固有の評価係数を定める。すなわち、参照可能な画素数が多いブロックのグループに対しては評価係数を大きくし、参照可能な画素数が少ないブロックのグループに対しては評価係数を小さくする。図４（Ｂ）の例では、図４（Ａ）のようにブロックをグループ分けせず、各ブロックに対して個別に評価係数を定める。図４（Ａ）及び図４（Ｂ）のいずれの場合も、基本的に参照可能な画素数が多いほど、すなわち左上のブロックに近いブロックほど評価係数は大きく定められ、参照可能な画素数が小さいほど、すなわち右下のブロックに近いブロックほど評価係数は小さく定められる。
【００２５】
Ｈ．２６４／ＡＶＣで良く知られているように、４×４画素イントラ予測モードには９つのモードが存在する。これらのうちモード２は、上隣接参照画素Ａ，Ｂ，Ｃ，Ｄ及び左隣接参照画素Ｉ，Ｊ，Ｋ，Ｌの画素値の平均値を予測値とするモードである。モード２以外のモード０，１，３〜８は図５に示すように予測方向が異なっている。
【００２６】
以上の点を踏まえて、予測モード決定部１９の詳細な動作を図６〜図９を参照して説明する。
【００２７】
＜マクロブロック単位の信号処理＞  
図６は、マクロブロック（ＭＢ）単位の予測モード決定処理を含めた信号処理の概要を示している。まず、ステップＳ１０１でマクロブロック単位のイントラ予測用の参照画像を設定した後、１６×１６画素イントラ予測モードを決定する（ステップＳ１０２）。この際、決定された１６×１６画素イントラ予測モードに対する評価値Ｊ(intra 16×16)を例えば非特許文献２に記載された方法により算出する。
【００２８】
次に、４×４画素イントラ予測モード候補を後に図７を用いて後述する方法により決定すると共に、決定した４×４画素イントラ予測モード候補に対する評価値（二次評価値）Ｊ(intra 4×4)を求める（ステップＳ１０３）。
【００２９】
次に、輝度のイントラ予測モードとして、１６×１６画素イントラ予測モードと４×４画素イントラ予測モードのいずれか一方を選択する（ステップＳ１０４）。例えば、ステップＳ１０２で計算された評価値Ｊ(intra 16×16）とステップＳ１０３で計算された評価値Ｊ(intra 4×4)を比較し、Ｊ(intra 16×16）＜Ｊ(intra 4×4)であれば１６×１６画素イントラ予測モードを選択し、Ｊ(intra 16×16）＞Ｊ(intra 4×4)であれば４×４画素イントラ予測モードを選択する。
【００３０】
次に、インター予測モードに対する評価値Ｊ(inter)を参照して、マクロブロック単位の予測モードを選択する（ステップＳ１０５）。選択されたマクロブロック単位の予測モードを判定する（ステップＳ１０６）。マクロブロック単位の予測モードとしてインター予測モードが選択された場合は、予測誤差信号１０２の輝度及び色差についてＤＣＴ／量子化ユニット１２によってＤＣＴと量子化（Ｑ）を行い（ステップＳ１０７)、さらにＩＤＣＴ／逆量子化ユニット１５によって輝度及び色差の逆ＤＣＴと逆量子化を行い（ステップＳ１０８）、信号１０４を生成する。次に、インター予測器２２から出力される予測画像信号１１１をモード選択スイッチ２３により選択して予測画像信号１１２とし、信号１０４と予測画像信号１１２を加算器１６により加算して、輝度及び色差のイントラ予測用の参照画像信号１０６を作成する（ステップＳ１１０）。この後、参照画像信号１０６を参照画像メモリ１８に書き込み、さらにデブロッキングフィルタ１９によりフィルタリングすることで、インター予測用の参照画像信号１０９を生成する。
【００３１】
一方、ステップＳ１０５でマクロブロック単位の予測モードとしてイントラ予測モードが選択された場合は、選択されたモードが４×４画素イントラ予測モードかそうでないかを調べる（ステップＳ１１１）。４×４画素イントラ予測モードでない場合は、色差のイントラ予測モードを決定し（ステップＳ１１２）、ステップＳ１０７及びステップＳ１０８に移る。次に、イントラ予測器１７から出力される予測画像信号１０５をモード選択スイッチ２３により選択して予測画像信号１１２とし、信号１０４と予測画像信号１１２を加算器１６により加算して、輝度及び色差のイントラ予測用の参照画像信号１０６を作成する（ステップＳ１１０）。この後、参照画像信号１０６を参照画像メモリ１８に書き込み、さらにデブロッキングフィルタ１９によりフィルタリングすることで、インター予測用の参照画像信号１０９を生成する。４×４画素イントラ予測モードの場合は、図８を用いて後述する方法により４×４画素イントラ予測モードを決定する（ステップＳ１１３）。
【００３２】
次に、色差のイントラ予測モードを決定し（ステップＳ１１４）、引き続きステップＳ１０７〜Ｓ１０９と同様の手順により色差のＤＣＴと量子化（ステップＳ１１５）、色差の逆量子化と逆ＤＣＴ（ステップＳ１１６）を行い、色差のイントラ予測用参照画像信号１０６を作成する。
【００３３】
＜４×４画素イントラ予測モード候補の決定＞  
次に、図７を参照して図６中のステップＳ１０３の処理について説明する。まず、ステップＳ２０１でブロック番号（ｂＮｕｍ）をｂＮｕｍ＝０に設定し、動画像信号１０１（原画像信号）上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ２０２）。次に、９つの４×４画素イントラ予測モードの番号ｉＭｏｄｅをｉＭｏｄｅ＝０に設定し（ステップＳ２０３）、４×４画素イントラ予測モードを選択する（ステップＳ２０４）。選択された４×４画素イントラ予測モードに対する評価値（一次評価値）を非特許文献１に記載された方法に従って、例えば次の数式（１）または（２）により計算する（ステップＳ２０５）。
【００３４】
Ｊ＝ＳＡＤ＋λ＊Ｒ      （１）
Ｊ＝ＳＡＴＤ＋λ＊Ｒ    （２）
ここで、Ｊは一次評価値を表し、ＳＡＤは４×４画素イントラ予測モードによる予測誤差の絶対値和（sum of absolute difference）を表し、λは定数を表し、Ｒは符号化用予測モードを表す符号の符号量を表す。λは一般に量子化パラメータＱＰの関数である。ＳＡＴＤは４×４画素イントラ予測モードによる予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference）をそれぞれ表す。ＳＡＤ及びＳＡＴＤについては、前記非特許文献２に詳しく説明されている。
【００３５】
この後、ｉＭｏｄｅを１インクリメントし（ステップＳ２０６）、ｉＭｏｄｅ＝８となるまでステップＳ２０４〜Ｓ２０５の処理を繰り返す。ｉＭｏｄｅ＝０〜８の４×４画素イントラ予測モードのうち、ステップＳ２０５で計算された評価値が最小のモードを４×４画素イントラ予測モードの候補として決定する（ステップＳ２０７）。この後、ｂＮｕｍを１インクリメントし（ステップＳ２０８）、ｂＮｕｍ＝１５となるまでステップＳ２０２〜Ｓ２０７の処理を繰り返すことにより、全ての４×４画素ブロックについて４×４画素イントラ予測モードの候補を求める。
【００３６】
次に、以上により得られた各ブロックの４×４画素イントラ予測モード候補に対して、評価値（二次評価値）を計算する（ステップＳ２０９）。この二次評価値の計算に際しては、４×４画素イントラ予測モード候補に対してステップＳ２０５で計算された一次評価値に対して、ｂＮｕｍすなわち４×４画素ブロックの位置に応じた図４（Ａ）あるいは図４（Ｂ）に示したような評価係数により重み付けを行う。この二次評価値の計算は、以下の数式（３）で表される。
【００３７】
【数２】
2006270437.tif 000003
【００３８】
ここで、Ｅは二次評価値を表し、Ｊｉは第ｉ番目の４×４画素ブロックにおける一次評価値を表す。ｗｉは第ｉ番目の４×４画素ブロックの位置に応じた評価係数（重み係数）であり、例えば基本的に右下の４×４画素ブロックに近いブロックほど小さく定められる。従って、二次評価値は４×４画素ブロックの位置の違いによる誤差を補償しているため、より高い信頼性を持つ。
【００３９】
＜４×４画素イントラ予測モードの決定＞  
次に、図８を参照して図６中のステップＳ１１３の処理について説明する。まず、ステップＳ３０１でブロック番号ｂＮｕｍをｂＮｕｍ＝０に設定し、動画像信号１０１（原画像信号）上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ３０２）。次に、図７中のステップＳ２０１〜Ｓ２０８で得られた４×４画素イントラ予測モード候補を参考にして、図９を用いて後述する方法により４×４画素イントラ予測モードの数を絞り込む（ステップＳ３０３）。具体的には、４×４画素イントラ予測モードを上記モード候補とそれに隣接する予測モード（以後、隣接モードという）に絞り込む。例えば図５上で４×４画素イントラモード候補がモード６であれば、隣接モードはモード１とモード４に相当する。
【００４０】
次に、ｉ＝０に設定し（ステップＳ３０４）、ステップＳ３０３で絞り込まれたモードで４×４画素イントラ予測を行う（ステップＳ３０５）。ステップＳ３０５では、図１においてスイッチ２０を下側に切り替えることにより、参照画像メモリ１８から読み出される局部復号画像信号１０７を参照画像信号として用いる。ステップＳ３０５で用いる４×４画素イントラ予測モードについて、例えば数式（１）または（２）により評価値（三次評価値）を計算する（ステップＳ３０６）。この後、ｉを１インクリメントし（ステップＳ３０７）、ｉが絞り込み数ｍｏｄｅＮｕｍに達するまで、すなわちｉ＝（ｍｏｄｅＮｕｍ−１）となるまでステップＳ３０５〜Ｓ３０６の処理を繰り返す。
【００４１】
ステップＳ３０４〜Ｓ３０７の処理が終了すると、ステップＳ３０６で計算された三次評価値が最小となる、ｂＮｕｍ＝０のブロックの４×４画素イントラ予測モードを最終的に決定する（ステップＳ３０８）。次に、４×４画素単位の輝度のＤＣＴと量子化（ステップＳ３０９）、４×４画素単位の輝度の逆量子化と逆ＤＣＴ（ステップＳ３１０）を順次行い、４×４画素単位の輝度のイントラ予測用参照画像信号を作成する（ステップＳ３１１）。この後、ｂＮｕｍを１インクリメントし（ステップＳ３１２）、ｂＮｕｍ＝１５となるまでステップＳ３０２〜Ｓ３１２の処理を繰り返すことにより、最終的に全ての４×４画素ブロックについて４×４画素イントラ予測モードを求める。
【００４２】
＜４×４画素イントラ予測モード数の絞り込み＞  
次に、図９を参照して図８中のステップＳ３０３の処理について説明する。まず、４×４画素ブロックのブロック番号ｂＮｕｍが０かどうかを判定し（ステップＳ４０１）、ｂＮｕｍ０であれば絞り込み数ｍｏｄｅＮｕｍを１に設定し、４×４画素イントラ予測モード候補を最終的な４×４画素イントラ予測モードに決定する（ステップＳ４０２）。
【００４３】
ｂＮｕｍが０でない場合は、４×４画素イントラ予測モードがＤＣモードかどうかを判定し（ステップＳ４０３）、ＤＣモードであれば、ステップＳ４０４に進む。ステップＳ４０４では、例えば（例１）のようにｍｏｄｅＮｕｍを１にしてＤＣモードを絞り込みモードとするか、あるいは（例２）のようにｍｏｄｅＮｕｍを３にしてＤＣモード、水平モード及び垂直モードを絞り込みモードとする。
【００４４】
ステップＳ４０３において４×４画素イントラ予測モード候補がＤＣモードでなければ、ステップＳ４０５に進む。ステップＳ４０５では、例えば（例１）のようにｍｏｄｅＮｕｍを３にして、４×４画素イントラ予測モード候補と図５で説明した２個の隣接モードを絞り込みモードとする。または、（例２）のようにｍｏｄｅＮｕｍを４にしてＤＣモード、４×４画素イントラ予測モード候補及び２個の隣接モードを絞り込みモードとする。またあるいは、（例３）のようにｍｏｄｅＮｕｍを４×４画素ブロックの位置に応じた前記評価係数に従って決定し、少なくともＤＣモード、４×４画素イントラ予測モード候補及び２個の隣接モードを絞り込みモードとし、ｍｏｄｅＮｕｍに応じて絞り込みモードにさらに他のモードを加える。
【００４５】
以上のように第１の実施形態では原画像信号、すなわち符号化対象の動画像信号を参照画像信号として用いて、各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。この二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
【００４６】
さらに、一次評価値に従って得られる４×４画素イントラ予測モード候補を参考にして絞り込んだ４×４画素イントラ予測モードから、局部復号画像信号を参照画像信号として用いて符号化用の４×４画素イントラ予測モードを的確に決定することができる。
【００４７】
次に、本発明の第２の実施形態について説明する。図１０は、本発明の第２の実施形態に従うビデオエンコーダを示している。図１に示した第１の実施形態に従うビデオエンコーダとの相違点を説明すると、図１０のビデオエンコーダにおいては、図１中のスイッチ２０が削除され、スイッチ３１、スイッチ３２及びアダマール変換器３３が追加されている。
【００４８】
スイッチ３１は、通常は減算器１１から出力される予測誤差信号１０２をＤＣＴユニット１２に供給し、予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際には予測誤差信号１０２をアダマール変換器３３に供給する。スイッチ３２は、通常はＩＤＣＴユニット１５から出力される信号１０４を加算器１６に供給し、予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際にはアダマール変換器３３からの変換画像信号１２０を加算器１６に供給する。
【００４９】
アダマール変換器３３は、予測誤差信号１０２に対して簡略化直交変換の一つであるアダマール変換を行って変換画像信号を生成する。アダマール変換は、加減算のみで実現される簡略化直交変換であり、必要な計算量はＤＣＴ／ＩＤＣＴに比較して格段に小さい。簡略化直交変換とは、計算量がＤＣＴ／ＩＤＣＴに比較して小さい直交変換という意味であり、簡略化直交変換はアダマール変換に特に限られるものではない。予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際、アダマール変換器３３から出力される変換画像信号１２０はスイッチ３２を生かして加算器１６に供給される。加算器１６で変換画像信号１２０とイントラ予測器１７からの予測画像信号１０５との加算画像信号が生成され、加算画像信号が参照画像信号１０６として参照画像メモリ１８に記憶される。
【００５０】
第２の実施形態におけるマクロブロック単位の信号処理は、基本的に第１の実施形態と同様であり、図６に示された通りである。第２の実施形態では、＜４×４画素イントラ予測モード候補の決定＞の処理が第１の実施形態と異なる。
【００５１】
そこで、図１１を参照して図６中のステップＳ１０３の第２の実施形態に従う処理について説明する。まず、まず、ステップＳ５０１でブロック番号（ｂＮｕｍ）を０に設定し、図１０においてスイッチ３１は予測誤差信号１０２をアダマール変換器３３に供給する状態とし、スイッチ３２はアダマール変換器３３からの変換画像信号１２０を加算器１６に供給する状態にして、前記加算画像信号を参照画像信号（擬似参照画像信号という）とする。擬似参照画像信号上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ５０２）。次に、９つの４×４画素イントラ予測モードの番号ｉＭｏｄｅをｉＭｏｄｅ＝０に設定し（ステップＳ５０３）、４×４画素イントラ予測モードを選択する（ステップＳ５０４）。次に、選択された４×４画素イントラ予測モードに対する評価値を例えば前記の数式（１）または（２）により計算する（ステップＳ５０５）。
【００５２】
この後、ｉＭｏｄｅを１インクリメントし（ステップＳ５０６）、ｉＭｏｄｅ＝８となるまでステップＳ５０４〜Ｓ５０５の処理を繰り返す。ｉＭｏｄｅ＝０〜８の４×４画素イントラ予測モードのうち、ステップＳ５０５で計算された評価値が最小のモードを４×４画素イントラ予測モードの候補として決定する（ステップＳ５０７）。
【００５３】
次に、アダマール変換器３３により４×４画素単位のアダマール変換を行い（ステップＳ５０８）、４×４画素単位の輝度のイントラ予測用参照画像を作成する（ステップＳ５０９）。この後、ｂＮｕｍを１インクリメントし（ステップＳ５１０）、ｂＮｕｍ＝１５となるまでステップＳ５０２〜Ｓ２０９の処理を繰り返すことにより、全ての４×４画素ブロックについて４×４画素イントラ予測モードの候補を求める。
【００５４】
次に、以上により得られた各ブロックの４×４画素イントラ予測モード候補に対して、評価値を再計算する（ステップＳ５１１）。この再計算は、第１の実施形態と同様に４×４画素イントラ予測モード候補に対してステップＳ２０５で計算された評価値に対して、ｂＮｕｍすなわち４×４画素ブロックの位置に応じた図４（Ａ）あるいは図４（Ｂ）に示したような評価係数により重み付けを行う。
【００５５】
以上のように第２の実施形態ではアダマール変換のような簡略化直交変換を用いて生成される画像信号を参照画像信号として用いて、各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。以後、第１の実施形態と同様に二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
【００５６】
図１２は、図１中の予測モード決定部１９のうち４×４画素イントラ予測モードの決定に関わる機能を表したブロック図である。一次評価値計算部４１は、図７中のステップＳ２０３〜Ｓ２０６の処理、または図１１中のステップＳ５０３〜Ｓ５０６の処理を行う。すなわち、原画像信号１０１、または変換画像信号１２０と予測画像信号１０５との加算画像信号を４×４画素イントラ予測モードの決定のための参照画像信号２０１として用いて、予測モード０〜８のそれぞれに対する一次評価値を例えば数式（１）または数式（２）により計算する。
【００５７】
４×４画素イントラ予測モード候補決定部４２は、図７中のステップＳ２０１〜Ｓ２０７の処理、または図１１中のステップＳ５０１〜Ｓ５０７の処理を行う。すなわち、一次評価値計算部４１によって図７中のステップＳ２０３〜Ｓ２０６の処理、または図１１中のステップＳ５０３〜Ｓ５０６の処理により計算される一次評価値に従って、１６個の４×４画素ブロックについて４×４画素イントラ予測モード候補を決定する。決定された４×４画素イントラ予測モード候補は、二次評価値計算部４３と予測モード絞り込み部４４に与えられる。
【００５８】
二次評価値計算部４３は、図７中のステップＳ２０９の処理、または図１１中のステップＳ５１１の処理を行う。すなわち、図７中のステップＳ２０５、または図１１中のステップＳ５０５で計算された一次評価値に対して、例えば数式（３）の再計算を行い、図７中のステップＳ２０７、または図１１中のＳ５０７で決定された４×４画素イントラ予測モード候補に対する二次評価値を求める。
【００５９】
第１モード選択部４４、第２モード選択部４５、予測モード絞り込み部４６、三次評価値計算部４７及び４×４画素イントラ予測モード決定部４８により、マクロブロック単位の符号化用予測モードを決定する。第１モード選択部４４は、図６中のステップＳ１０４の処理を行う。すなわち、４×４画素イントラ予測モード候補に対する二次評価値と、１６×１６画素イントラ予測モードに対する評価値２０２を比較して、輝度のイントラ予測モードとして４×４画素イントラ予測モードと１６×１６画素イントラ予測モードのいずれかを選択する。第２モード選択部４５は、図６中のステップＳ１０５の処理を行う。すなわち、４×４画素イントラ予測モード候補に対する二次評価値と、インター予測モードに対する評価値２０３を比較して、マクロブロック単位の予測モードとしてイントラ予測モードとインター予測モードのいずれかを選択する。
【００６０】
予測モード絞り込み部４６、三次評価値計算部４７及び４×４画素イントラ予測モード決定部４８は、図７、または図１１に示した処理を行って、最終的な４×４画素イントラ予測モードを決定する。まず、予測モード絞り込み部４６は図８中のステップＳ３０３の処理を例えば図９のような手順によって行い、４×４画素イントラ予測モード候補を参照して予測モード０〜８を少なくとも一つのモードに絞り込む。予測モード絞り込み部４６により一つのモードが絞り込まれた場合は、その一つのモードが最終的な４×４画素イントラ予測モード２０５として出力される。
【００６１】
三次評価値計算部４７は、予測モード絞り込み部４４により二つ以上のモードが絞り込まれた場合には、三次評価値計算部４７により局部復号画像信号を参照画像信号として用いて、絞り込まれたモードのそれぞれに対する三次評価値を敬作する。４×４画素イントラ予測モード決定部４８は、三次評価値に従って一つの４×４画素イントラ予測モードを符号化用予測モード２０６として決定する。なお、４×４画素イントラ予測モード候補決定部４２により決定された候補を最終的な４×４画素イントラ予測モード２０４として用いてもよい。
【００６２】
図１３は、本発明の応用例である携帯電話機のような携帯無線端末装置を示している。受信時には、図示しないキャリア通信網に含まれる基地局から送信される無線周波数（ＲＦ）信号がアンテナ５０により受信され、受信信号はデュプレクサ５１を介して受信ユニット５２に入力される。受信ユニット５１は受信信号に対して増幅、周波数変換（ダウンコンバート）及びアナログ−ディジタル変換などの処理を施し、中間周波数（ＩＦ）信号を生成する。受信ベースバンド信号は、符号分割多元接続（code division multiple access：ＣＤＭＡ）コーデック５４に入力され、直交復調及び逆拡散の処理を受けて受信データとされる。受信データは、受信されたＲＦ信号が音声信号の場合は音声コーデック５５によって所定の音声復号化方式に従って伸張処理され、さらにディジタル−アナログ変換により復号されてアナログ音声信号とされる。アナログ音声信号は電力増幅器５８６を介してスピーカ３７に供給され、ここから音声として出力される。
【００６３】
一方、送信時にはユーザの発声音声がマイクロフォン５８により音声信号として検出される。音声信号は前置増幅器５９で増幅された後、音声コーデック５５によりディジタル化され、かつ所定の音声符号化方式に従って圧縮処理されることによって、送信音声データとされる。送信音声データはＣＤＭＡコーデック５４に入力され、拡散処理及び直交変調の処理を受ける。直交変調信号は送信ユニット５３によりディジタル−アナログ変換、周波数変換（アップコンバート）を受けてＲＦ信号に変換され、さらに電力増幅器により増幅された後、デュプレクサ５１を介してアンテナ５０に供給されることにより、電波として空間に放射され、前記基地局に向けて送信される。
【００６４】
中央演算処理装置（ＣＰＵ）でなる制御ユニット６０は、各部の制御及び種々の演算や映像・文字情報の処理を司る部分であり、ここにはＣＤＭＡコーデック５４及び音声コーデック５５の他、キー入力部６１、ディスプレイ６２、ビデオコーデック６３及びカメラ（イメージングデバイス）６４が接続されている。図示しないバッテリから制御ユニット６０の制御下で各部に電源が供給される。
【００６５】
ビデオコーデック６３は、Ｈ．２６４／ＡＶＣに準拠しており、図１あるいは図１０に示したビデオエンコーダと図示しないビデオデコーダを含む。ビデオエンコーダは、例えばカメラ６４によって得られる動画像信号を符号化し、符号化ビットストリームを生成する。符号化ビットストリームは制御ユニット６０の制御下でＣＤＭＡコーデック５４に供給され、送信ユニット５３、デュプレクサ５１及びアンテナ５０を介して前記基地局に向けて送信される。このときカメラ６４によって得られる動画像信号を制御ユニット６０により処理してディスプレイ６２に供給することによって、撮影された画像をモニタすることもできる。
【００６６】
前記受信データが圧縮された動画像信号である場合、受信データはＣＤＭＡコーデック５４により符号化ビットストリームとされ、ビデオデコーダに入力される。ビデオデコーダは、符号化ビットストリームを復号して動画像信号を生成する。ビデオデコーダにより生成される動画像信号は、制御ユニット６０の制御下でディスプレイ６２に供給されることによって画像として表示される。
【００６７】
ビデオエンコーダで必要な処理の一部（例えば予測モードの決定）や、ビデオデコーダで必要な処理の一部は、制御ユニット６０のＣＰＵにおいてソフトウェア処理で実現される。本発明の前記実施形態に従うビデオエンコーダは、前述したようにイントラ予測モードの決定に必要な処理量が大きく減少するため、ビデオコーデック６３及び制御ユニット６０の負担が軽減される。この結果、図１３のような無線端末装置の小型化、低消費電力化に寄与することができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に従うビデオエンコーダを示すブロック図
【図２】４×４画素イントラ予測モードにおける４×４画素ブロックと参照可能な画素との関係を示す図
【図３】４×４画素ブロックの各画素と参照可能な画素との関係を示す図
【図４】第１及び第２の実施形態で用いる評価係数の例を示す図
【図５】９つの４×４画素イントラ予測モードについて説明する図
【図６】第１の実施形態におけるマクロブロック単位の信号処理について説明するフローチャート
【図７】図６中のステップＳ１０３の４×４画素イントラ予測モード候補決定及び評価値計算処理の詳細を説明するフローチャート
【図８】図６中のステップＳ１１３の４×４画素イントラ予測モード決定処理の詳細を説明するフローチャート
【図９】図８中のステップＳ３０３のイントラ予測モード数の絞り込み処理の詳細を説明するフローチャート
【図１０】本発明の第２の実施形態に従うビデオエンコーダを示すブロック図
【図１１】第２の実施形態における４×４画素イントラ予測モード候補決定及び評価値計算処理の詳細を説明するフローチャート
【図１２】本発明の実施形態に従う４×４画素イントラ予測モード決定に関わる機能を表したブロック図
【図１３】本発明の実施形態に従うビデオエンコーダを含む携帯無線端末装置の例を示すブロック図
【符号の説明】
【００６９】
１１…減算器；
１２…ＤＣＴ／量子化ユニット；
１５…ＩＤＣＴ／逆量子化ユニット；
１６…加算器；
１７…イントラ予測器；
１８…参照画像メモリ；
１９…予測モード決定部；
２０…参照画像信号切替スイッチ；
２１…デブロッキングフィルタ；
２２…インター予測器；
２３…予測画像信号切替スイッチ；
２４…エントロピー符号化器；
２５…符号化制御部
３１，３２…スイッチ；
３３…アダマール変換器；
４１…一次評価値計算部；
４２…４×４画素イントラ予測モード候補決定部；
４３…二次評価値計算部；
４４…第１モード選択部；
４５…第２モード選択部；
４６…予測モード絞り込み部；
４７…三次評価値計算部；
４８…４×４画素イントラ予測モード決定部
【図１】
2006270437.tif 000005
【図２】
2006270437.tif 000006
【図３】
2006270437.tif 000007
【図４】
2006270437.tif 000008
【図５】
2006270437.tif 000009
【図６】
2006270437.tif 000010
【図７】
2006270437.tif 000011
【図８】
2006270437.tif 000012
【図９】
2006270437.tif 000013
【図１０】
2006270437.tif 000014
【図１１】
2006270437.tif 000015
【図１２】
2006270437.tif 000016
【図１３】
2006270437.tif 000017