(57)【要約】【課題】予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減する。【解決手段】映像符号化装置は、予測画像を用いて符号化する映像符号化部と映像符号化部で用いる予測の予測モードを選択する符号化制御装置からなり、映像符号化部は、予測モード選択の制御のために予測モード毎に、符号化制御装置に入力される予測誤差に対して、上位ビットのクリッピングと、下位ビットの削減とをおこない、予測誤差のビット幅を所定のビット幅に削減する。符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定する。予測誤差を削減した後の所定のビット幅は、符号化制御装置と、映像符号化部が予測誤差の転送のために利用するバス幅に等しくする。【選択図】図２
2011109172.tif 000002
【特許請求の範囲】
【請求項１】
動画像を符号化する映像符号化装置において、
入力画像より予測画像を生成し、前記予測画像を用いて符号化する映像符号化部と、
前記予測誤差を評価し、前記映像符号化部で用いる予測の予測モードを選択する符号化制御装置とを備え、
前記映像符号化部は、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、前記予測誤差のビット幅を所定のビット幅に削減し、前記所定のビット幅に削減した予測誤差を、前記予測モードを選択するために、前記符号化制御装置に出力することを特徴とする映像符号化装置。
【請求項２】
前記符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定し、
前記映像符号化部は、前記符号化制御装置からの設定される上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうことを特徴とする請求項１記載の映像符号化装置。
【請求項３】
前記予測誤差が大きいときには、上位ビットをクリッピングするビット数を小さく、下位ビットを削減するビット数を大きく設定し、
前記予測誤差が小さいときには、上位ビットをクリッピングするビット数を大きく、下位ビットを削減するビット数を小さく設定することを特徴とする請求項２記載の映像符号化装置。
【請求項４】
前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置と、前記映像符号化部が前記予測誤差の転送のために利用するバス幅であることを特徴とする請求項１記載の映像符号化装置。
【請求項５】
前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置のレジスタのビット幅であることを特徴とする請求項１記載の映像符号化装置。
【請求項６】
前記符号化制御装置は、前記映像符号化部から前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、所定の最大値となる場合には、その予測モードを予測モード選択の候補から除外して、予測モード選択をおこなうことを特徴とする請求項１記載の映像符号化装置。
【請求項７】
前記符号化制御装置は、前記映像符号化部から前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、全予測モードで所定の最大値となる場合には、所定の予測モードを選択することを特徴とする請求項６記載の映像符号化装置。
【請求項８】
前記予測誤差は、複数画素に渡る差分から計算され、前記入力画像と前記予測画像の差分が小さいならば小さい値、大きいならば大きな値をとる指標であることを特徴とする請求項１記載の映像符号化装置。
【請求項９】
動画像を符号化する映像符号化装置のデータ処理方法において、
入力画像より予測画像を生成し、前記予測画像を用いて符号化するステップと、
前記予測誤差を評価し、前記映像符号化部で用いる予測の予測モードを選択するステップと、
前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、前記予測誤差のビット幅を所定のビット幅に削減するステップと、
前記所定のビット幅に削減した予測誤差を、前記予測モードを選択するために、出力するステップとを有することを特徴とする映像符号化装置のデータ処理方法。
【請求項１０】
さらに、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を設定するステップを有し、
前記予測誤差のビット幅を所定のビット幅に削減するステップにおいて、設定された上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうことを特徴とする請求項９記載の映像符号化装置のデータ処理方法。
【請求項１１】
前記上位ビットをクリッピングするビット数および下位ビットを削減するビット数を設定するステップにおいて、
前記予測誤差が大きいときには、上位ビットをクリッピングするビット数を小さく、下位ビットを削減するビット数を大きく設定し、
前記予測誤差が小さいときには、上位ビットをクリッピングするビット数を大きく、下位ビットを削減するビット数を小さく設定することを特徴とする請求項１０記載の映像符号化装置。
【請求項１２】
前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置と、前記映像符号化部が前記予測誤差の転送のために利用するバス幅であることを特徴とする請求項９記載の映像符号化装置のデータ処理方法。
【請求項１３】
前記予測誤差を削減した後の所定のビット幅が、前記符号化制御装置のレジスタのビット幅であることを特徴とする請求項９記載の映像符号化装置のデータ処理方法。
【請求項１４】
前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、所定の最大値となる場合には、その予測モードを予測モード選択の候補から除外して、予測モード選択をおこなうことを特徴とする請求項９記載の映像符号化装置のデータ処理方法。
【請求項１５】
前記予測モード毎に入力されるビット幅を削減した予測誤差が表す値が、全予測モードで所定の最大値となる場合には、所定の予測モードを選択することを特徴とする請求項１４記載の映像符号化装置のデータ処理方法。
【請求項１６】
前記予測誤差は、複数画素に渡る差分から計算され、前記入力画像と前記予測画像の差分が小さいならば小さい値、大きいならば大きな値をとる指標であることを特徴とする請求項９記載の映像符号化装置のデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、および、そのデータ処理方法に係り、複数の予測モードによって動画像を符号化する符号化装置であって、特に、予測誤差の評価の際に、予測誤差の精度を損なわずに、予測誤差の転送による性能低下をおこすことのない映像符号化装置、および、そのデータ処理方法に関する。
【背景技術】
【０００２】
ブロードバンドネットワークの発達による動画配信コンテンツの増加や、ＤＶＤ等の大容量記憶媒体と大画面映像表示機器の普及等により、動画符号化技術は必要不可欠な技術となっている。また、撮像デバイスの高階調化と共に、１画素の持つ情報量も増加しており、動画符号化技術において、高階調な情報を保ったまま符号化する技術も必要不可欠となっている。例えば、高階調な情報を保ったまま符号化が可能な動画符号化技術の一つとして、国際標準であるＨ．２６４／ＡＶＣがある。
【０００３】
先ず、Ｈ．２６４／ＡＶＣ方式の符号化処理について説明する。
【０００４】
符号化処理は、入力画像である原画像から、より少ないデータ量のストリームに変換する処理である。Ｈ．２６４／ＡＶＣ符号化方式では予測を用いた符号化をおこなう。
【０００５】
Ｈ．２６４で用いられる予測方式は、主に、画面内予測（イントラ予測）と画面間予測（インター予測）の二つがある。さらに、画面内予測では、予測の単位となるブロックのサイズや予測方向などの、複数の異なる予測方法が用意されている。一方で画面間予測でも、予測の単位となるブロックのサイズなどの、複数の異なる予測方法が用意されている。Ｈ．２６４では、これらの予測方式を符号量に応じて動的に選択することによって、より圧縮率の高い符号化方式を実現している。
【０００６】
次に、図６を用いてＨ．２６４／ＡＶＣ符号化の処理手順の概要を説明する。
図６は、Ｈ．２６４／ＡＶＣ符号化の処理概要を説明するための図である。
【０００７】
画面内予測を使用した符号化処理では、モード選択４０が画面内予測２０側を選択し、原画像１０から画面内予測２０、直交変換６０、量子化７０、可変長符号化１００をおこない、ストリーム１１０を得る。一方、画面間予測を使用した符号化処理では、モード選択４０が画面間予測３０側を選択し、原画像１０から画面間予測３０、直交変換６０、量子化７０、可変長符号化１００をおこない、ストリーム１１０を得る。
【０００８】
次に、符号化処理の各処理内容を説明する。
【０００９】
画面内予測２０は、入力画像である原画像１０から、画面内予測情報２２０と、予測結果の画面内予測画像１３０と、原画像１０と画面内予測画像１３０の差分をあらわす画面内予測誤差２００を生成する。
【００１０】
画面間予測３０は、入力画像である原画像１０と、過去または未来の原画像から生成された参照画像１２０とを入力し、画面間予測情報２３０と画面間予測画像１４０と、原画像１０と画面間予測画像１４０の差分をあらわす画面間予測誤差２１０を生成する。
【００１１】
符号化制御５０は、画面内予測２０から入力される画面内予測誤差２００、画面間予測３０から入力される画面間予測誤差２１０、可変長符号化から入力される符号化情報１６０から、モード選択アルゴリズムに従い選択するモードを決定し、モード選択情報１２０としてモード選択４０に出力する。モード選択アルゴリズムは、一般に、ストリーム１１０の符号量が小さくなるような予測方法を選択するようになっている。
【００１２】
モード選択４０は、符号化制御５０から入力されたモード選択情報１２０に従い、画面内予測２０が選択された場合は画面内予測画像１３０を、画面間予測３０が選択された場合は画面間予測画像１４０を、予測画像１５０として出力する。
【００１３】
直交変換６０は、原画像１０と予測画像１５０の差分である差分画像１７０から、直交変換処理によって周波数成分２４０を生成する。
【００１４】
量子化７０は、周波数成分２４０を量子化処理し情報量を削減する。
【００１５】
逆量子化８０は、量子化された周波数成分に対して、逆量子化処理をおこない、復元周波数成分２５０を生成する。
【００１６】
逆直交変換９０は、復元周波数成分２５０に対して、逆直交変換処理をおこない、復元差分画像１８０を生成する。
【００１７】
復元差分画像１８０とモード選択４０によって選択された予測画像１５０は、和を取り参照画像１２０として記憶される。
【００１８】
可変長符号化１００は、量子化された周波数成分と、画面内予測情報２２０もしくは画面間予測情報２３０を、より少ないデータ量のデータ列に符号化しストリーム１１０として出力し、符号量等の符号化情報１６０を符号化制御５０に出力する。
【００１９】
次に、符号化制御５０の処理内容について説明する。
【００２０】
符号化制御５０は、画面内予測２０が出力する画内予測誤差２００と、画面間予測部３０が出力する画面間予測誤差２１０、および可変長符号化１００が出力する符号化情報１６０から、モード選択アルゴリズムを用いて選択する予測モードを決定し、モード選択情報１２０として出力する。
【００２１】
モード選択アルゴリズムは、符号化装置が出力するストリーム１１０の符号量および画質に大きな影響を与えるため、符号化対象となる原画像１０の内容や映像符号化装置の用途によって様々な方式が存在している。
【００２２】
モード選択アルゴリズムで使用する画面内予測誤差２００および画面間予測誤差２１０は、それぞれ画面内予測画像１３０と画面間予測画像１４０がどれだけ原画像１０に近似しているかをあらわす指標として使用され、一般的に符号化処理の処理単位である数画素四方のブロック単位で求められる。
【００２３】
なお、原画像１０と画面内予測画像１３０、もしくは画面間予測画像１４０との予測誤差の代表的な計算方法として、差分絶対値和（ＳＡＤ：Sum of Absolute Difference）や差分二乗和（ＳＳＤ：Sum of Square Difference）が挙げられる。
【００２４】
原画像の画素値をＯ、それに対応する予測モードｉで予測された予測画像の画素値をＰｉとすると、ＳＡＤとＳＳＤはそれぞれ次式で算出される。
【００２５】
【数１】
2011109172.tif 000003
【００２６】
ただし、Σは、ＯとＰｉについて、ブロック内の全ての画素をわたって和をとられるものとする。
【００２７】
符号化制御５０に実装されるモード選択アルゴリズムは、符号化効率に大きな影響を与える。そのため、符号化制御５０はソフトウェア制御が可能な汎用プロセッサやデジタル・シグナル・プロセッサで実装し、映像や用途に応じてモード選択アルゴリズムを変更可能にしたいという第一の要請がある。
【００２８】
一方で、高階調な情報を保ったまま映像を符号化したいという第二の要請もある。
【００２９】
第一の要請に従って、符号化制御５０をプロセッサによって実装する場合、画面内予測２０、画面間予測３０、可変長符号化１００、モード選択４０との接続は汎用バスによる接続となるため、転送帯域が制限される。すなわち、汎用バスは、１６ビットや３２ビットのバス幅のため、符号化処理のために必要とされるビット数よりも通常小さくなっている。
【００３０】
さらに、符号化制御５０は、画面内予測誤差２００や画面間予測誤差２１０や符号化情報１６０を利用して、符号化処理の処理単位となる数画素四方のブロック単位でモード判定の演算をおこなうため、フルＨＤ映像（１９２０ｘ１０８０／６０ｉ）の符号化処理では、処理単位を１６画素×１６画素単位とすると、１秒間に２４３，０００回分の画面内予測誤差２００、画面間予測誤差２１０、符号化情報１６０、モード選択情報１２０を汎用バスで転送する必要がある。
【００３１】
この中でも特に、高階調化により１画素の情報量が増加した場合に、画面内予測誤差２００および画面間予測誤差２１０の情報量が増加するという特徴があるため、第二の要請に従うと汎用バスでは一度に転送できない情報量となってしまい、複数回に分けて転送する必要が生じる。そのため、予測誤差の転送のためだけに転送帯域を多く消費してしまい、符号化制御５０の転送帯域を圧迫していた。
【００３２】
特許文献１では、動きベクトルの算出時に、予測誤差計算に使用するブロック単位の画素データを間引く、すなわち、サンプリングすることによって、予測モード判定での演算負荷を低減し、ひいては、動きベクトル検出処理に要する消費電力も低減することができるとしている。
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開平８−２８９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００３４】
上記のように、特許文献１では、予測誤差計算に使用する画素データを間引くことによって，符号化制御部の演算負荷を低減している。この特許文献１に開示されたサンプリング手法を、画面内予測誤差および画面間予測誤差の情報量を削減することに用れば、転送負荷を低減することができる。
【００３５】
しかしながら、この手法では、画素を間引いて予測誤差を計算するため、符号化制御部に転送される予測誤差の情報精度が落ちてしまい、高精度な予測誤差でモード選択がおこなえないため、符号化効率が落ちてしまうという問題点が生じる。
【００３６】
本発明は、上記問題点を解決するためになされたもので、その目的は、予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減することにより、性能を落とすことなく高い符号化効率を得ることのできる映像符号化装置を提供することにある。
【課題を解決するための手段】
【００３７】
本発明の映像符号化装置は、入力画像より予測画像を生成し、予測画像を用いて符号化する映像符号化部と、予測誤差を評価し、映像符号化部で用いる予測の予測モードを選択する符号化制御装置を備えており、符号化制御装置は、予測モード選択制御のために映像符号化部から予測モード毎に、予測誤差のビット幅を所定のビット幅に削減した予測誤差を入力するものである。
【００３８】
映像符号化部は、予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこない、予測誤差のビット幅を所定のビット幅に削減し、所定のビット幅に削減した予測誤差を、予測モードを選択するために、符号化制御装置に出力する
また、符号化制御装置は、上位ビットをクリッピングするビット数および下位ビットを削減するビット数を映像符号化部に設定し、映像符号化部は、前記符号化制御装置からの設定される上位ビットをクリッピングするビット数および下位ビットを削減するビット数に基づき、前記予測誤差の上位ビットのクリッピングと、下位ビットの削減とをおこなうようになっている。
【００３９】
予測誤差を削減した後の所定のビット幅は、符号化制御装置と、映像符号化部が予測誤差の転送のために利用するバス幅に等しくする。
【発明の効果】
【００４０】
本発明によれば、予測手法を用いて、予測誤差を評価する映像符号化装置において、予測誤差の情報精度をそれほど損なうことなく、予測誤差のビット幅を削減することにより、性能を落とすことなく高い符号化効率を得ることのできる映像符号化装置を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る映像符号化装置の全体構成図である。
【図２】映像符号化部４１０の内部構成図である。
【図３】下位ビットの削減を説明する図である。
【図４】上位ビットのクリッピングを説明する図である。
【図５】予測誤差正規化部５５０の構成図である。
【図６】Ｈ．２６４／ＡＶＣ符号化の処理概要を説明するための図である。
【発明を実施するための形態】
【００４２】
以下、本発明に係る一実施形態を、図１ないし図５を用いて説明する。
先ず、図１および図２を用いて本発明の一実施形態に係る映像符号化装置の構成を説明する。
図１は、本発明の一実施形態に係る映像符号化装置の全体構成図である。
図２は、映像符号化部４１０の内部構成図である。
【００４３】
映像符号化装置４００は、図１に示されるように、映像符号化部４１０、符号化制御装置４２０、汎用バス４４０、フレームバッファ４３０によって構成される。
【００４４】
映像符号化部４１０は、図６に示す符号化処理のうち、画面内予測２０、画面間予測３０、モード選択４０、直交変換６０、量子化７０、逆量子化８０、逆直交変換９０、可変長符号化１００の処理をおこなう。
【００４５】
符号化制御装置４２０は、図６に示す符号化処理のうち、符号化制御部５０の処理をおこなう。
【００４６】
また、符号化制御装置４２０は、映像符号化部４１０との間で、図６に示す符号化処理における画面内予測誤差２００、画面間予測誤差２１０、符号化情報１６０、および、モード選択情報１２０を通信するために、映像符号化部４１０と汎用バス４４０によって接続されている。
【００４７】
フレームバッファ４３０は、図６に示す符号化処理のうち、参照画像１２０の記憶をおこなうためのバッファである。
【００４８】
次に、映像符号化部４１０の構成と動作について詳細に説明する。
【００４９】
映像符号化部４１０は、図２に示されるように、予測画像生成部５００、モード選択部５２０、量子化部５３０、可変長符号化部５４０、通信制御部５１０、予測誤差正規化部５５０によって構成される。
【００５０】
予測画像生成部５００は、図６に示す符号化処理のうち、画面内予測２０、画面間予測３０の処理をおこない、モード別予測画像６２０をモード選択部５２０に、モード別予測画像６２０と原画像４５０の予測誤差６１０を予測モード毎に予測誤差正規化部５５０に出力する。本実施形態では、予測誤差を求めるために、既に説明したＳＡＤとＳＳＤの内、ＳＡＤを用いるものとする。なお、実際の予測誤差を求めるときにも、ＳＡＤが用いられることが多い。これは、ＳＡＤの方が、ＳＳＤより評価値が小さくなる傾向があるからである。
【００５１】
モード選択部５２０は、図６に示させる符号化処理のうち、モード選択４０の処理をおこない、モード予測信号６００によって選択された予測モードのモード別予測画像６２０を予測画像６３０として出力する。
【００５２】
量子化部５４０は、図６に示す符号化処理のうち、直交変換６０、量子化７０、逆量子化８０、逆直交変換９０の処理をおこなう。
【００５３】
可変長符号化部５４０は、図６に示す符号化処理のうち、可変長符号化５４０の処理をおこなう。
【００５４】
通信制御部５１０は、汎用バス４４０を制御して映像符号化部４１０の外部の符号化制御装置４２０と、映像符号化部４１０内部の予測誤差正規化部５５０、可変長符号化部５４０、モード選択部との通信を調停する。
【００５５】
予測誤差正規化部５５０は、予測画像生成部５００から出力される画面内予測２０と画面間予測３０の予測誤差６１０を、符号化制御装置４２０から汎用バス４４０および通信制御部５１０を経由して入力する正規化設定６７０に従い、汎用バス４４０のバス幅に合わせた情報量の削減をおこない、正規化予測誤差６８０として出力する。なお、正規化設定６７０の内容については、後に詳細に説明する。
【００５６】
次に、通信制御部５１０の処理内容を説明する。
【００５７】
通信制御部５１０は、映像符号化部４１０の予測誤差正規化部５５０から入力される正規化予測誤差６８０や、可変長符号化部５４０から入力される符号化情報６６０を、汎用バス４４０を制御して符号化制御装置４２０に適切に出力し、符号化制御装置４２０から入力される正規化設定６７０やモード選択信号６００を、内部のレジスタで保持して、それぞれ予測誤差正規化部５５０とモード選択部５２０に出力する。
【００５８】
予測誤差正規化部５５０は、予測誤差の正規化をおこなう。予測誤差の正規化は、予測誤差の上位ビットをクリッピング、下位ビットを削減することによって、情報精度を損なうことなく情報量を削減する処理である。
【００５９】
以下、図３および図４を用いて予測誤差の正規化処理について詳細に説明する。
図３は、下位ビットの削減を説明する図である。
図４は、上位ビットのクリッピングを説明する図である。
【００６０】
予測誤差の正規化処理による情報量削減の意義を理解するため、先ず、予測誤差計算方法をＳＡＤで実装した場合を例に、どの条件でＳＡＤ各ビットのどのビット領域に有意な情報が格納されるかを説明する。
【００６１】
映像符号化技術は、画面内予測や画面間予測等の複数の予測モードによって予測画像を生成する。
【００６２】
映像変化が少ない通常の映像においては、原画像と予測画像が近似している。
【００６３】
この場合は、原画像と予測画像の差分が小さくなるため、ＳＡＤの下位ビット側に有意な情報が格納されるが、ＳＡＤの上位ビットは常に０となっているため冗長となる。
【００６４】
シーンチェンジや画面遷移が大きい等の理由から予測が外れた場合、原画像と予測画像が全く異なる場合がある。
【００６５】
この場合は、原画像と予測画像の差分が大きくなるため、ＳＡＤは大きい値を示し、上位ビット側に有意な値が格納される一方で、小さい値を表現する下位ビット側の重要度は小さくなる。
【００６６】
この特徴を利用すると映像に応じてＳＡＤの上位ビットと下位ビットを適切に削減することで、有意な情報を落とすことなくＳＡＤのビット幅を削減できる。
【００６７】
なお、本発明において、予測誤差の計算方法は、原画像と予測画像の差分が小さいならば小さい値、差分が大きいならば大きな値をとる指標となるならば、予測誤差の計算方法をＳＡＤやＳＤＤに限定しない。
【００６８】
ここで、ＳＳＤが、例えば、２２ビットで表現されており、その情報量を削減する場合を考える。情報量の削減の目標は、例えば、図１における汎用バス４４０によって、符号化制御装置４２０と、映像符号化部４１０が予測誤差の転送のために利用されるバス幅で表される値の最大値を超えない量である。通常、バス幅は、固定値となっており、符号化制御装置４２０と、映像符号化部４１０が予測誤差の転送のために利用されるバス幅で表される値の最大値は、このバス幅で表される値の最大値を超えない量である。
【００６９】
例えば、汎用バス４４０のバス幅が３２ビットで、そのうち正規化予測誤差の転送に割り当てられたビット幅が１６ビットの場合は、１６ビットで取りうる最大値、すなわち、６５５３５（１６進数で０ｘｆｆｆｆ）が正規化予測誤差を転送するために利用可能なバス幅の最大値なる。
【００７０】
この例では、ＳＳＤが２２ビットであると仮定しているので、６ビットの削減が必要になる。そして、予測誤差の情報量の削減において、上位ビット削減は、上位ビットのクリッピングによっておこない、一方、下位ビット削減は、下位方向へのビットシフトによっておこなう。この上位ビットのクリッピングと、下位ビット削減をどれだけおこなうかを示すのが、正規化設定６７０であり、（ｃ，ｓ）の形式をしている。ここで、ｃは、上位ビットのクリッピングのビット数であり、ｓは、下位方向へのビットシフトをするビット数である。
【００７１】
この例では、削減するビット数の幅が、６ビットなので、ｃ＋ｓ＝６になるように、例えば、（３，３）や（４，２）になるようにとればよい。
【００７２】
ここで、（３，３）の正規化設定がされているものとする。
【００７３】
先ず、図３に示されるように、ｓ＝３の分だけ、下位方向へのビットシフトする。
【００７４】
次に、図４（ａ）に示されるように、上位のｃのビット数にあたるいずれかのところに、１がたっているときには、上位のｃビットより下の全てのビットを１にした値をクリッピング後の値とし、図４（ｂ）に示されるように、上位のｃのビット数にあたる全てのところが、０のときには、上位のｃビットより下の全てのビットをそのまま持ってきて、クリッピング後の値とする。
【００７５】
このように、クリッピングの処理は、上位ビットを削減するが、その下位ビットでできるだけ近い値を表現するために、上位のｃのビット数にあたるいずれかのところに、１がたっているときには、上位のｃビットより下の全てのビットを１にした値、すなわち、下位ビットで表現できるできるだけ大きい値で近似するものである。
【００７６】
この場合には、正規化予測誤差の転送に割り当てられたビット幅が１６ビットの場合は、１６ビットで取りうる最大値、すなわち、６５５３５に一致することになる。
【００７７】
次に、予測誤差正規化部５５０の処理内容を説明する。
【００７８】
以下、図５を用いて予測誤差正規化部５５０の構成と各部の動作を説明する。
図５は、予測誤差正規化部５５０の構成図である。
【００７９】
予測誤差正規化部５５０は、上述の予測誤差の正規化処理をおこなう部分である。
【００８０】
予測誤差正規化部５５０は、予測誤差６１０を入力し、正規化設定６７０の設定通りに、下位ビットの削減および上位ビットのクリッピングの処理をおこなう。
【００８１】
予測誤差正規化部５５０は、バレルシフタ９００、比較器９１０、セレクタ９２０によって構成される。
【００８２】
バレルシフタ９００は、正規化設定６７０が（ｃ，ｓ）のときに、予測誤差６１０として入力されたＳＡＤを、下位方向へｓビット分だけビットシフトし、下位シフト済み予測誤差９５０として出力する。
【００８３】
比較器９１０は、下位シフト済み予測誤差９５０を入力し、最大値９７０（正規化後のビットで全て１として表現した値）と比較して、セレクタ９２０に最大値より大きいならば（すなわち、上位のｃビット数にあたるいずれかのところに、１がたっているとき）、最大値を、最大値よりも小さいか等しい（上位のｃビット数にあたる全てのところが、０のとき）ならば、下位シフト済み予測誤差６８０をそのまま選択するセレクト信号９６０を出力する。
【００８４】
セレクタ９２０は、比較器９１０から入力されるセレクト信号９６０に応じて、バス最大値９７０もしくは、下位シフト済み予測誤差９５０の下位側から汎用バス４４０で正規化予測誤差の転送に割り当てられたビット幅分を、正規化予測誤差６８０として出力する。
【００８５】
なお、本発明の予測誤差の正規化処理を実現するために、上ビットのクリッピングと下位ビット削減を満足すれば、予測誤差正規化部５５０の構成は、本実施形態に限定されるものではない。
【００８６】
一方で、正規化予測誤差６８０は、正規化前の予測誤差６１０が最大値９７０以上の場合は、正規化予測誤差６８０の取りうる最大値９７０となる特徴を有する。
【００８７】
したがって、正規化予測誤差６８０を使用するモード判定アルゴリズムは、正規化予測誤差６８０の値が最大値９７０となった場合は、その予測モードの画質は極端に悪いと判断しモード判定の候補から除外することにする。
【００８８】
また、仮に全ての予測モードで正規化予測誤差６８０が最大値９７０と等しくなった場合は、どの予測モードを選択しても極端に悪い画質となるため、どの予測モードを選択しても主観画質には大きな差異はないと判断し、所定の予測モードを選択する。
【００８９】
本実施形態においては、所定のモードは、画面間予測３０側に設定している。これは、画面内予測２０側よりも発生する符号量が少ないからである。
【００９０】
なお、本発明において所定のモードは画面間予測３０に限定されるものではなく、用途や目的に応じて適切な予測モードを設定することができる。
【００９１】
上述のように、映像に応じてＳＡＤの上位ビットと下位ビットの最適な削減量は変化する。
【００９２】
映像変化が少ない通常の映像の場合は、ＳＡＤの上位ビットが冗長となるため、上位ビット側の情報を削減すること（ｃを大きく、ｓを小さくすること）が望ましい。
【００９３】
一方で、シーンチェンジや画面遷移が大きい映像の場合は、ＳＡＤの有意な値域は上位ビット側に存在するため、下位ビット側の情報を削減すること（ｃを小さく、ｓを大きくすること）が望ましい。
【００９４】
そのため、符号化制御装置４２０は、映像のピクチャの処理開始までに、前ピクチャの正規化予測誤差６８０や符号化情報６６０から、画面変化の度合いを推定し、その推定量に応じた正規化設定６７０を汎用バス４４０経由で通信制御部５１０に出力する。
【００９５】
通信制御部５１０は、符号化制御装置４２０から入力した正規化設定６７０をピクチャ開始のタイミングでラッチして、予測誤差正規化部５５０へ出力する。
【００９６】
なお、この正規化設定６７０を導出する演算は、１ピクチャで１回だけおこなえばよいため、符号化制御装置における演算負荷は十分低い。
【００９７】
また、上の例では、情報量の削減の目標として、正規化予測誤差が利用可能なバス幅の最大値を超えない量として、最大値９７０を正規化予測誤差が利用可能なバス幅の最大値としたが、別の尺度を用いることもできる。
【００９８】
例えば、情報量の削減の目標として、符号化制御装置４２０をＣＰＵ、または、専用プロセッサで実装したときに、レジスタで表現できる量とし、最大値９７０をレジスタで表現できる最大値とする。このようにすれば、正規化処理をソフトウェアで実現したときに、予測誤差に関する命令を１命令で処理できるできるため、予測誤差の正規化処理をおこなうことにより、予測誤差に関する処理の性能向上を見込むことができる。
【符号の説明】
【００９９】
１０…原画像、２０…画面内予測、３０…画面間予測、４０…モード選択、５０…符号化制御部、６０…直交変換、７０…量子化、８０…逆量子化、９０…逆直交変換、１００…可変長符号化、１１０…ストリーム、１２０…参照画像、１３０…画面内予測画像、１４０…画面間予測画像、１５０…予測画像、１６０…符号化情報、１７０…差分画像、１８０…復元差分画像、２００…画面内予測誤差、２１０…画面間予測誤差、２２０…画面内予測情報、２３０…画面間予測情報、２４０…周波数成分、２５０…復元周波数成分、４００…映像符号化装置、４１０…映像符号化部、４２０…符号化制御装置、４３０…フレームバッファ、４４０…汎用バス、４５０…原画像、４７０…ストリーム、４７０…参照画像、５００…予測画像生成部、５１０…通信制御部、５２０…モード選択部、５３０…量子化部、５４０…可変長符号化部、５５０…予測誤差正規化部、６００…モード選択信号、６１０…予測誤差、６２０…モード別予測画像、６３０…予測画像、６４０…モード別予測情報、６６０…符号化情報、６７０…正規化設定、６８０…正規化予測誤差、９００…バレルシフタ、９１０…比較器、９２０…セレクタ、９５０…下位シフト済み予測誤差、９６０…セレクタ信号、９７０…最大値。
【図１】
2011109172.tif 000004
【図２】
2011109172.tif 000005
【図３】
2011109172.tif 000006
【図４】
2011109172.tif 000007
【図５】
2011109172.tif 000008
【図６】
2011109172.tif 000009