(57)【要約】【課題】  記録媒体に設定された記録時間を保証した画像符号化を行うことができるようにする。【解決手段】  入力手段により入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成手段と、前記第１の変数に基づいて量子化幅を設定する量子化幅設定手段と、前記入力された動画像信号を直交変換し、直交変換係数を生成する直交変換手段と、前記直交変換手段により生成された直交変換係数を、前記量子化幅設定手段により設定された量子化幅で量子化し、量子化係数を生成する量子化手段と、前記量子化手段により生成された量子化係数を可変長符号化する可変長符号化手段と、前記可変長符号化手段から出力された符号化動画像データを前記記録媒体に記録する記録手段とを設け、記録媒体の残量が少なくなったら、発生符号量を減少させる方向にアクティビティを制御する。【選択図】  図１
2006324806.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を入力する入力手段と、
前記入力手段により入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成手段と、
前記変数生成手段により生成された第１の変数に基づいて量子化幅を設定する量子化幅設定手段と、
前記入力手段により入力された動画像信号を直交変換し、直交変換係数を生成する直交変換手段と、
前記直交変換手段により生成された直交変換係数を、前記量子化幅設定手段により設定された量子化幅で量子化し、量子化係数を生成する量子化手段と、
前記量子化手段により生成された量子化係数を可変長符号化する可変長符号化手段と、
前記可変長符号化手段から出力された符号化動画像データを前記記録媒体に記録する記録手段とを有することを特徴とする画像処理装置。
【請求項２】
前記変数生成手段は、前記可変長符号化手段から出力された符号化動画像データの符号量と目標符号量との差に応じて第２の変数を更に生成し、前記量子化幅設定手段は前記第１の変数と第２の変数とに基づいて前記量子化幅を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変数生成手段は、前記記録媒体の記録残容量が所定の閾値よりも小さくなった場合に、前記第１の変数の値を所定値に固定して、前記第２の変数のみにより前記量子化幅が設定されるようにすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変数生成手段は、前記第１の変数として複数の異なる所定値より選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
動画像信号を入力する入力手段と、
前記動画像信号を符号化して符号化動画像データを生成する符号化手段と、
前記符号化手段により生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出手段と、
前記符号化手段により符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出手段と、
前記複雑度検出手段により検出された複雑度の情報に基づいて前記符号化手段を制御する第１のモードと、前記複雑度検出手段により検出された複雑度の情報を用いずに前記符号化手段を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化手段を制御して、前記符号化手段から出力される符号化動画像データの符号量を調整する制御手段と、
前記制御手段により符号量を調整された符号化動画像データを前記記録媒体に記録する記録手段とを有し、
前記制御手段は、前記残量検出手段の出力に基づいて前記第１のモードと第２のモードとを切り替えることを特徴とする画像処理装置。
【請求項６】
前記制御手段は、前記記録媒体の記録残容量が所定の閾値よりも大きい場合に前記第１のモードを選択し、前記所定の閾値よりも小さい場合に前記第２のモードを選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画像信号を入力する入力工程と、
前記入力工程において入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成工程と、
前記変数生成工程において生成された第１の変数に基づいて量子化幅を設定する量子化幅設定工程と、
前記入力工程において入力された動画像信号を直交変換し、直交変換係数を生成する直交変換工程と、
前記直交変換工程において生成された直交変換係数を、前記量子化幅設定工程において設定された量子化幅で量子化し、量子化係数を生成する量子化工程と、
前記量子化工程において生成された量子化係数を可変長符号化する可変長符号化工程と、
前記可変長符号化工程において出力された符号化動画像データを前記記録媒体に記録する記録工程とを有することを特徴とする画像処理方法。
【請求項８】
前記変数生成工程においては、前記可変長符号化工程において出力された符号化動画像データの符号量と目標符号量との差に応じて第２の変数を更に生成し、前記量子化幅設定工程は前記第１の変数と第２の変数とに基づいて前記量子化幅を設定することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記変数生成工程においては、前記記録媒体の記録残容量が所定の閾値よりも小さくなった場合に、前記第１の変数の値を所定値に固定して、前記第２の変数のみにより前記量子化幅が設定されるようにすることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記変数生成工程においては、前記第１の変数として複数の異なる所定値より選択することを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
動画像信号を入力する入力工程と、
前記動画像信号を符号化して符号化動画像データを生成する符号化工程と、
前記符号化工程において生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出工程と、
前記符号化工程において符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出工程と、
前記複雑度検出工程において検出された複雑度の情報に基づいて前記符号化工程の符号化動作を制御する第１のモードと、前記複雑度検出工程において検出された複雑度の情報を用いずに前記符号化工程の符号化動作を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化工程を制御して、前記符号化工程において出力される符号化動画像データの符号量を調整する制御工程と、
前記制御工程において符号量を調整された符号化動画像データを前記記録媒体に記録する記録工程とを有し、
前記制御工程においては、前記残量検出工程の出力に基づいて前記第１のモードと第２のモードとを切り替えることを特徴とする画像処理方法。
【請求項１２】
前記制御工程において、前記記録媒体の記録残容量が所定の閾値よりも大きい場合に前記第１のモードを選択し、前記所定の閾値よりも小さい場合に前記第２のモードを選択することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
動画像信号を入力する入力工程と、
前記入力工程において入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成工程と、
前記変数生成工程において生成された第１の変数に基づいて量子化幅を設定する量子化幅設定工程と、
前記入力工程において入力された動画像信号を直交変換し、直交変換係数を生成する直交変換工程と、
前記直交変換工程において生成された直交変換係数を、前記量子化幅設定工程において設定された量子化幅で量子化し、量子化係数を生成する量子化工程と、
前記量子化工程において生成された量子化係数を可変長符号化する可変長符号化工程と、
前記可変長符号化工程において出力された符号化動画像データを前記記録媒体に記録する記録工程とを有する画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１４】
動画像信号を入力する入力工程と、
前記動画像信号を符号化して符号化動画像データを生成する符号化工程と、
前記符号化工程において生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出工程と、
前記符号化工程において符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出工程と、
前記複雑度検出工程において検出された複雑度の情報に基づいて前記符号化工程の符号化動作を制御する第１のモードと、前記複雑度検出工程において検出された複雑度の情報を用いずに前記符号化工程の符号化動作を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化工程を制御して、前記符号化工程において出力される符号化動画像データの符号量を調整する制御工程と、
前記制御工程において符号量を調整された符号化動画像データを前記記録媒体に記録する記録工程とを有し、
前記制御工程において、前記残量検出工程の出力に基づいて前記第１のモードと第２のモードとを切り替える画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１５】
前記請求項１３または１４に記載の画像処理方法をコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、コンピュータプログラム及び記録媒体に関し、特に、画像信号を符号化処理するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、動画像データを符号化して情報量を圧縮する技術として、ＭＰＥＧ方式が知られている。ＭＰＥＧ方式は、同一フレーム内の画像データのみで符号化を行うフレーム内符号化と、参照フレームとの差分（予測誤差）を符号化するフレーム間予測符号化とを組み合わせた符号化方式である。
【０００３】
予測符号化における予測残差や変換符号化における直交変換係数は、発生する信号のレベル分布にかなり偏りがある。そこで、信号レベルの発生頻度に合わせて異なった長さの符号を割り当てると、データ量の平均値は固定長の符号に対して短くできる。可変長の符号はハフマン符号などによって決められ、データの発生頻度に偏りがあるほど全体のデータ量は下げられる。このように、可変長符号を用いると、再生信号の品質を同等に保ちながら、固定長符号化より平均データ量を少なくすることができる。
【０００４】
ところが、前述の予測符号化方法をデジタルTVや、デジタルビデオディスクなどの画像蓄積に応用する際には、前記符号量が各ピクチャによって異なるため画像データの転送速度（以下、データレートと称する）の制御をどのようにするかが問題になる。
【０００５】
データレートの制御方法にはgroup of picture(GOP)と呼ばれる、所定区間内（通常、十数フレーム）の平均ビット数をほぼ一定に制御することで、転送する符号化量を一定にするものがある。
【０００６】
すなわち、１フレーム分の画像データを、所定の画素数からなるマクロブロックと呼ばれるブロックに分割して、動き補償予測、直交変換、量子化などをマクロブロック単位で行うことで、前記フレームをマクロブロック単位で符号化しており、このときの量子化で用いられる量子化幅によってGOP内の平均ビット数をほぼ一定に制御して、画像データの符号化後のデータレートを制御している（特許文献１参照）。
【０００７】
また、符号化を行う際、ブロック毎に画像の複雑度（アクティビティ）という要素を利用して、画面内の各ブロックに対して割り当てる符号量を調整することも考えられている。アクティビティとは入力画像の特徴を示す要素であり、限られた符号量内で画像の特徴に応じた高画質な再生画像を得るための工夫が行われている。
【０００８】
【特許文献１】特開平７−１８４１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記データレート制御方法において前記アクティビティは符号化しようとしているフレームに割り当てられるビット数を考慮せずに求められ、ビット数を考慮して求められる前記参照量子化幅に外乱として与えられるため、アクティビティの値が小さいマクロブロックが多い場合に発生符号量がフレームに割り当てられるビット数をオーバーしてしまう問題があった。
【００１０】
例えば、動画像データをＭＰＥＧ方式で符号化してリアルタイムにディスク媒体などに記録する記録装置においては、ある誤差範囲内で記録媒体の記録可能時間を保証する必要があるが、このように発生符号量が変動する場合には、記録可能時間を保証できないという問題があった。
【００１１】
本発明は前述の問題点にかんがみ、記録媒体に設定された記録時間を保証した画像符号化を行うことができるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、動画像信号を入力する入力手段と、前記入力手段により入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成手段と、前記変数生成手段により生成された第１の変数に基づいて量子化幅を設定する量子化幅設定手段と、前記入力手段により入力された動画像信号を直交変換し、直交変換係数を生成する直交変換手段と、前記直交変換手段により生成された直交変換係数を、前記量子化幅設定手段により設定された量子化幅で量子化し、量子化係数を生成する量子化手段と、前記量子化手段により生成された量子化係数を可変長符号化する可変長符号化手段と、前記可変長符号化手段から出力された符号化動画像データを前記記録媒体に記録する記録手段とを有することを特徴とする。
また、本発明の画像処理装置の他の特徴とするところは、動画像信号を入力する入力手段と、前記動画像信号を符号化して符号化動画像データを生成する符号化手段と、前記符号化手段により生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出手段と、前記符号化手段により符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出手段と、前記複雑度検出手段により検出された複雑度の情報に基づいて前記符号化手段を制御する第１のモードと、前記複雑度検出手段により検出された複雑度の情報を用いずに前記符号化手段を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化手段を制御して、前記符号化手段から出力される符号化動画像データの符号量を調整する制御手段と、前記制御手段により符号量を調整された符号化動画像データを前記記録媒体に記録する記録手段とを有し、前記制御手段は、前記残量検出手段の出力に基づいて前記第１のモードと第２のモードとを切り替えることを特徴とする。
【００１３】
本発明の画像処理方法は、動画像信号を入力する入力工程と、前記入力工程において入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成工程と、前記変数生成工程において生成された第１の変数に基づいて量子化幅を設定する量子化幅設定工程と、前記入力工程において入力された動画像信号を直交変換し、直交変換係数を生成する直交変換工程と、前記直交変換工程において生成された直交変換係数を、前記量子化幅設定工程において設定された量子化幅で量子化し、量子化係数を生成する量子化工程と、前記量子化工程において生成された量子化係数を可変長符号化する可変長符号化工程と、前記可変長符号化工程において出力された符号化動画像データを前記記録媒体に記録する記録工程とを有することを特徴とする。
また、本発明の画像処理方法の他の特徴とするところは、動画像信号を入力する入力工程と、前記動画像信号を符号化して符号化動画像データを生成する符号化工程と、前記符号化工程において生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出工程と、前記符号化工程において符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出工程と、前記複雑度検出工程において検出された複雑度の情報に基づいて前記符号化工程の符号化動作を制御する第１のモードと、前記複雑度検出工程において検出された複雑度の情報を用いずに前記符号化工程の符号化動作を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化工程を制御して、前記符号化工程において出力される符号化動画像データの符号量を調整する制御工程と、前記制御工程において符号量を調整された符号化動画像データを前記記録媒体に記録する記録工程とを有し、前記制御工程は、前記残量検出工程の出力に基づいて前記第１のモードと第２のモードとを切り替えることを特徴とする。
【００１４】
本発明のコンピュータプログラムは、動画像信号を入力する入力工程と、前記入力工程において入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する変数生成工程と、前記変数生成工程において生成された第１の変数に基づいて量子化幅を設定する量子化幅設定工程と、前記入力工程において入力された動画像信号を直交変換し、直交変換係数を生成する直交変換工程と、前記直交変換工程において生成された直交変換係数を、前記量子化幅設定工程において設定された量子化幅で量子化し、量子化係数を生成する量子化工程と、前記量子化工程において生成された量子化係数を可変長符号化する可変長符号化工程と、前記可変長符号化工程において出力された符号化動画像データを前記記録媒体に記録する記録工程とを有する画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、動画像信号を入力する入力工程と、前記動画像信号を符号化して符号化動画像データを生成する符号化工程と、前記符号化工程において生成された符号化動画像データに係る動画像の複雑度を検出する複雑度検出工程と、前記符号化工程において符号化された符号化動画像データを記録する記録媒体の記録残容量を検出する残量検出工程と、前記複雑度検出工程において検出された複雑度の情報に基づいて前記符号化工程の符号化動作を制御する第１のモードと、前記複雑度検出工程において検出された複雑度の情報を用いずに前記符号化工程の符号化動作を制御する第２のモードとを有し、前記第１のモードまたは第２のモードで前記符号化工程を制御して、前記符号化工程において出力される符号化動画像データの符号量を調整する制御工程と、前記制御工程において符号量を調整された符号化動画像データを前記記録媒体に記録する記録工程とを有し、前記制御工程において、前記残量検出工程の出力に基づいて前記第１のモードと第２のモードとを切り替える画像処理方法をコンピュータに実行させることを特徴とする。
【００１５】
本発明の記録媒体は、前記に記載の画像処理方法をコンピュータに実行させるプログラムを記録したことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、記録媒体の残量を監視しておき、残量が少なくなったら画像の複雑さを表すアクティビティの影響を無効化、あるいは発生符号量をより減少させる方向に制御するようにしたので、参照量子化幅に外乱として与えられるアクティビティの影響を適応的に軽減したり、あるいは無効化したりすることができる。これにより、アクティビティの値が小さいマクロブロックが多い場合に、フレームに割り当てられるビット数をオーバーしてしまい、記録媒体で求められている記録時間を保証できなくなる問題を解決することができる。
【発明を実施するための最良の形態】
【００１７】
（第１の実施の形態）
以下に、図１を参照しながら、本発明にかかる画像符号化装置の好適な一実施の形態について詳細に説明する。
図１は、本発明に係る画像符号化装置のブロック図である。図１に示すように、本発明に係る画像符号化装置はブロック分割部１、動き補償部２、直交変換部３、量子化部４、可変長符号化部５、記録部５ａ、ビット割り当て部６、参照量子化幅決定部７、アクティビティ計算部８、乗算部９、平均値計算部１０、アクティビティ制御部１１を備えている。
【００１８】
前記ブロック分割部１は、入力された原画像データを所定の画素数（１６×１６画素）からなるマクロブロックに分割し、このマクロブロックの画像データ（以下、MBデータと称する）を前記動き補償部２に出力するとともに、前記アクティビティ計算部８に出力する。
【００１９】
前記動き補償部２には、図示しない逆量子化部、逆直交変換部、動き補償部などが備えられており、ブロック分割部１から入力された今回のMBデータと参照画像データとの予測誤差を直交変換部３に出力する。すなわち、前記動き補償部２では、前記量子化部４により得られた前回の量子化されたMBデータを、逆量子化部にて逆量子化し、逆直交変換部にて逆直交変換して、前回のMBデータの復元値（復元画像データ）を求める。この復元画像データは、動き補償部２にてフレーム間予測の参照画像データとして用いられる。
【００２０】
次に、前記直交変換部３は、予測誤差データをDCT（discrete cosine transform：離散コサイン変換）などの２次元直交変換によって、符号化に適したデータ（以下、変換係数と称する）に変換する。そして、この変換係数を量子化部４に出力する。
【００２１】
量子化部４では、入力された変換係数を後述する乗算部９より得られる量子化幅によって量子化する。この量子化幅によって、変換係数の取り得る値の数（以後、レベル数と呼ぶ）が制御される。つまり、量子化幅が大きいと、レベル数が減り、これによって、０の個数が増加し、０以外の有意係数が減る。そのため、可変長符号化部５におけるハフマン符号化後の符号化データ量も減る。また、量子化幅が小さいと、０の個数が減って有意係数が増加するので、可変長符号化部５におけるハフマン符号化後の符号化データ量も増える。
【００２２】
すなわち、この量子化幅を制御することで、符号化データ量を制御することができるので、可変長符号化部５による符号化後のデータ転送速度（以下、データレートと称する）を制御することができる。そして、前記量子化部４にて量子化された変換係数は、可変長符号化部５に出力されるとともに、前記動き補償部２に出力される。
【００２３】
前記可変長符号化部５では、量子化部４において量子化された変換係数を、可変長符号化（ハフマン符号化）する。この符号化された変換係数（以下、符号化データと称する）を、図示しないバッファメモリに出力し、このバッファメモリから記録部５ａが一定のデータレートで読み出し、記録媒体１２に記録する。また、この符号化データは、変長符号化部５から後述するビット割り当て部６に可転送される。
【００２４】
アクティビティ制御部１１は、記録媒体１２の記録容量（記録可能な領域の残量）ｗ、及び現在までの記録時間ｔを検出する。アクティビティ制御部１１は、この記録容量ｗと予め設定してある複数の閾値を用いてアクティビティ計算部８が計算するアクティビティを段階的に制御する。本実施の形態では、閾値としてTh1,Th2(但し、Th1＞Th2)の２つの閾値を持っている場合を例に挙げて説明する。
【００２５】
ここで、各閾値Th1,Th2(但し、Th1＞Th2)は予め設定された所定の基準値ＷTH1，ＷTH2（但し、ＷTH1，ＷTH2）と記録時間ｔとを用いて、
ＴＨ１＝ＷTH1×ｔ、ＴＨ２＝ＷTH2×ｔと表される。
記録容量ｗと閾値Th1,Th2(但し、Th1＞Th2)には以下の関係が成り立つ時、
【００２６】
【数１】
2006324806.tif 000003
【００２７】
（i）の場合は、記録媒体の記録容量が残り僅かであると判断し、第２のアクティビティ
制御フラグflg２をONにし、アクティビティ計算部８に出力する。なお、この条件を満たしていない時にはflg２はOFFにしておく。
【００２８】
（ii）の場合には、記録媒体の記録容量が残り少なくなってきたと判断し、第１のアクテ
ィビティ制御フラグflg１をONにし、アクティビティ計算部８に出力する。なお、この条件を満たしていない時にはflg１はOFFにしておく。
【００２９】
（iii）の場合には、記録媒体の記録容量に充分な余裕があるものと判断し、アクティビティ計算部８に対して特に何も出力しないものとする。本実施の形態では閾値の数を２個に設定していたが、閾値の数を更に増やすことにより、記録媒体の記憶残量の判断を更に段階的に変化させることもできる。
【００３０】
アクティビティ計算部８は、マクロブロック単位にアクティビティを求めるようになっており、ｊ番目のマクロブロックのアクティビティactjは次式（数２）によって求められる。
【００３１】
【数２】
2006324806.tif 000004
【００３２】
ここで、vari,jは、ｊ番目のマクロブロックを４つのブロックに分割した時に、i番目のサブブロックの画素値の分散値である。つまり、マクロブロックが１６画素×１６画素からなれば、そのサブブロックは８画素×８画素となり、その画素数は６４個となり、この６４個の画素に対して前記の分散値が求められる。
【００３３】
なお、前記アクティビティ計算部８において行われるアクティビティの計算は、画素値の分散値の代わりに画素値のダイナミックレンジを用いてもよい。このようにして求めたアクティビティは平均値計算部１０により得られる量子化幅の平均値で次式（数３）のように正規化されたアクティビティNactjに変換される。
【００３４】
【数３】
2006324806.tif 000005
【００３５】
ここで、avgは平均値計算部１０により得られた量子化幅の平均値であり、ｍは任意の自然数である。但し、平均値avgは、符号化の初期では定められた初期値が設定されている。正規化されたアクティビティNactjは後述の参照量子化幅決定部７から出力される参照量子化幅と共に乗算部９に出力される。
【００３６】
なお、前記アクティビティは、マクロブロックの画素値の分散によって計算される。例えば、マクロブロックに平坦部が含まれる場合には、そのマクロブロックのアクティビティは小さくなり、平坦部中にエッジを含む場合には、アクティビティは大きくなる。また、アクティビティを乗算部９に出力する際には平均値計算部１０より出力される前フレームの量子化幅の平均値に基づいて、正規化され出力される。そして乗算部９にて、前記参照量子化幅決定部７により得られた参照量子化幅を正規化されたアクティビティにより補正して量子化幅を決定する。
【００３７】
ただし、前記アクティビティ制御部１１からの出力である前記アクティビティ制御フラグのいずれかがONになっている場合にはどちらのフラグが立っているかにより、アクティビティの計算結果を変化させる。
【００３８】
本実施の形態では、前記第１のアクティビティ制御フラグflg１、第２のアクティビティ制御フラグflg２を用いて前記アクティビティ制御部１１の閾値が２つである場合について説明する。第１のアクティビティ制御フラグflg１あるいは第２のアクティビティ制御フラグflg２がONである時のNactjは次式（数４）でNact´jに変更され、乗算部９に出力される。
【００３９】
【数４】
2006324806.tif 000006
【００４０】
ここで、decは0.1≦dec≦1.0の定数である。
まず、第２のアクティビティ制御フラグflg２がONである場合には記録媒体の記録容量が残り僅かであると判断し、アクティビティによるデータレート制御への外乱を無くすためNactjが1.0より小さいときには、1.0に設定してから乗算部９に出力する。ただし、Nactjが1.0以上である時は、そのまま出力する。あるいは、Nactjの計算を行わず、常時1.0を出力するようにしてもよい。
【００４１】
一方、第１のアクティビティ制御フラグflg１がONである場合には記録媒体１２の記録容量が残り少なくなってきたと判断し、アクティビティによるデータレート制御への外乱の影響を小さくするため、正規化されたアクティビティNactjが1.0より小さい場合には補正値decを加えたNact´jを乗算部９に出力する。
【００４２】
本実施の形態では、閾値の数を２個に設定していたが、閾値の数を更に増やして、記録媒体の記憶残量の判断を更に段階的に変化させることもできる。その際には記録媒体の残量に応じて段階的にdecを変えていけばよい。
【００４３】
前記乗算部９では、参照量子化幅を正規化されたアクティビティNactjを掛け合わせることで補正して、量子化幅を決定するようになっている。そして、この量子化幅は量子化部４に出力されるとともに、平均値計算部１０に出力される。
【００４４】
平均値計算部１０は、１フレーム分の量子化幅の平均値を計算し、この量子化幅を前記ビット割り当て部６に出力するとともに、前記アクティビティ計算部８に出力するようになっている。
【００４５】
また、ビット割り当て部６は、可変長符号化部５による前フレームまでの発生ビット数等の符号化データと、可変長符号化部５に与えられたデータレートをもとに、これから符号化しようとしているフレームに割り当てるビット数を決定する。
【００４６】
前記参照量子化幅決定部７は、前マクロブロックまでの発生ビット数と、割り当てられたビット数とをもとにマクロブロック毎に参照量子化幅qIj、qPj、qBjを決定する。ここで、ｊはマクロブロックの番号を表し、I、P、Bはピクチャのタイプを表す。例えば、Iピクチャのｊ番目のブロックにおけるバッファフルネスdIjを次式（数５）によって求める。
【００４７】
【数５】
2006324806.tif 000007
【００４８】
上式３により得られたdIjにもとづいて、参照量子化幅qIjを次式（数６）によって求める。
【００４９】
【数６】
2006324806.tif 000008
【００５０】
ここで、dI0は初期のバッファフルネスであり、前回のIピクチャを符号化したときの最後のバッファフルネスdIMBcntである。但し、初期値は任意の定数である。また、Bjはj番目のブロックまでに画像内で発生した全ビット数、MBcntは画像中のマクロブロックの総数、rは反応パラメータである。上式５は各マクロブロックにTiビットが均等に割り当てられた時、前マクロブロックまでの発生までの割り当てビット数と実際の発生ビット数との差を、仮想バッファフルネスに反映させている。
【００５１】
したがって、上式５および上式６によれば、前マクロブロックの発生ビット数が大きいと仮想バッファフルネスが大きくなり、これによって参照量子化幅が大きくなる。この結果、参照量子化幅決定部７は、以降のフレームの発生ビット数を小さくするように働く。
【００５２】
一方、前マクロブロックの発生ビット数が小さいと仮想バッファフルネスが小さくなり、これによって参照量子化幅が小さくなる。この結果、参照量子化幅決定部７は、以降のフレームの発生ビット数を大きくするように働く。なお、Pピクチャ、Bピクチャにおいても同様の方法を用いて参照量子化幅を決定する。
【００５３】
次に、前述のように構成した本実施の形態の画像処理装置の概略動作を、図３のフローチャートを参照しながら説明する。
図３に示したように、処理が開始されると、最初のステップＳ４１において、動画像信号が入力されたか否かを判定する。この判定の結果、動画像信号が入力されるとステップＳ４２に進み、入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成する。
【００５４】
次に、ステップＳ４３に進み、ステップＳ４２において生成された第１の変数に基づいて量子化幅を設定する。次に、ステップＳ４４に進み、前記入力された動画像信号を直交変換し、マクロブロックの画像データを変換した直交変換係数を生成する。
【００５５】
次に、ステップＳ４５に進み、ステップＳ４４において生成された直交変換係数を、前記ステップＳ４３において設定された量子化幅で量子化し、量子化係数を生成する。次に、ステップＳ４６に進み、ステップＳ４５において生成された量子化係数を可変長符号化する。
【００５６】
次に、ステップＳ４７に進み、ステップＳ４６で可変長符号化された符号化動画像データを記録媒体１２に記録する。その後、ステップＳ４８において、全ての画像処理が終了したか否かを判定し、処理が残っている場合にはステップＳ４２に戻って前述した処理を繰り返し行う。そして、ステップＳ４８の判定の結果、処理が残っていなかったら終了する。
【００５７】
以上のように、本実施の形態の画像符号化装置によれば、入力された動画像信号に係る画像の複雑さと、前記動画像信号を記録する記録媒体の記録残容量とに基づいて第１の変数を生成し、生成した第１の変数に基づいて量子化幅を設定するようにしたので、記録媒体１２の容量が残り少なくなった時に、データレート制御に外乱として与えられるアクティビティの影響を無効化、あるいは発生符号量をより減少させる方向に影響させることができる。これにより、データレート制御を確実に行うことが可能となり、記録媒体で求められている記録時間を保証することができる。
【００５８】
（第２の実施の形態）
次に、図２を参照しながら、本発明に係る画像符号化装置のもう一つの実施の形態について詳細に説明する。ただし、第２の実施の形態に係る画像符号化装置は第１の実施の形態とほぼ同じ構造を有するが、入力部５３を持つ点及びアクティビティ制御部５１のアクティビティ制御方法が異なる。
【００５９】
まず、ブロック分割部４１、動き補償部４２、直交変換部４３、量子化部４４、可変長符号化部４５、記録部４５ａ、については同様の動作を行うため、説明を省く。アクティビティ制御部５１は記録媒体５２の記録容量（記録可能な領域の残量）ｗ及び現在までの記録時間ｔを検出する。また、アクティビティ制御部５１は、入力部５３からユーザの設定する動画画質に相当する記録モードmodeを同時に検出する。アクティビティ制御部５１はこの記録モードmodeと前記記録容量ｗに応じて複数の閾値を設定し段階的にアクティビティの制御を行う。
【００６０】
本実施の形態では記録モードmodeとして、
高画質モード    mode＝high
標準記録モード  mode＝mid
低画質モード    mode＝low
のような３種のモードを持つ場合について説明する。
【００６１】
まず、各モードにおける予め設定された所定の基準値whigh,wmid,wlowをwhigh＞wmid ＞wlowとなるように設定し、閾値をThhigh=whigh×t、THmid= wmid×t、Thlow=wlow×tとする。これは記録モードmodeが画質、即ち平均ビットレートを表しているからである。例えばmode＝highの時はmode＝mid、mode＝lowに比べ、平均ビットレートが大きくなり、より早く記録媒体の容量が少なくなってしまうため、閾値の値を他のモードに比べ大きく設定してある。
【００６２】
このように、記録モードmodeに応じて基準となる閾値を設定した上で前記第１の実施の形態の数１のような場合わけを行う。第１の実施の形態のように閾値を各モードが２つ持っているものとすると本実施の形態において、前記数１に相当する式は次式のように求められる。
【００６３】
【数７】
2006324806.tif 000009
【００６４】
３種の記録モードmodeがあるため、flglow１、flglow２、flgmid１、flgmid２、flghigh１、flghigh２の６つのフラグがあるものの、各フラグを求める方法については各モード別に第１の実施の形態と同様の方法を行えばよいため省く。また、以降のアクティビティ計算部４８、平均値計算部５０、乗算部４９、ビット割り当て部４６、参照量子化幅決定部４７については同様の動作を行うため、詳細な説明を省略する。
【００６５】
本実施の形態では記録モードmodeとして３つのモードを設定していたが、モードの数を増やして画質に応じたアクティビティ制御を更に段階的に行ってもよい。また、逆にモードの数を減らして画質に応じたアクティビティ制御の段階数を減らしてもよい。
【００６６】
以下に、第２の実施の形態の画像処理装置の概略動作、図４のフローチャートを参照しながらを説明する。
図４に示したように、処理が開始されると、ステップＳ５１において、動画像信号が入力されたか否かを判定する。この判定の結果、動画像信号が入力されたらステップＳ５２に進み、ステップＳ５１において入力された動画像信号を符号化して符号化動画像データを生成する。次に、ステップＳ５３に進み、ステップＳ５２において生成された符号化動画像データに係る動画像の複雑度を検出する。
【００６７】
次に、ステップＳ５４に進み、ステップＳ５２において符号化された符号化動画像データを記録する記録媒体５２の記録残容量を検出する。また、ステップＳ５４において、入力部５３から入力されるユーザが設定した動画画質に相当する記録モードmodeを同時に検出する。
【００６８】
次に、ステップＳ５５に進み、ステップＳ５４において検出された記録残量が所定の残量よりも大きいか否かを判定する。この判定の結果、記録残量が所定の残量よりも大きい場合にはステップＳ５６に進み、小さい場合にはステップＳ５７に進む。
【００６９】
ステップＳ５６においては、第１のモードで符号化を実行する。本実施の形態における第１のモードは、ステップＳ５３で算出した複雑度の情報、及びユーザにより設定された記録モードmode、記録媒体５２の記録容量ｗに応じてアクティビティの制御を行い、符号化動作を制御する。
【００７０】
一方、ステップＳ５７においては、第２のモードで符号化を実行する。本実施の形態における第２のモードは、ステップＳ５３で算出した複雑度の情報を用いることなく前記符号化工程における符号化動作を制御する。
【００７１】
次に、ステップＳ５８に進み、ステップＳ５６またはステップＳ５７において符号化された動画像データを記録媒体５２に記録する処理を行う。その後、ステップＳ５９において、全ての画像処理が終了したか否かを判定し、処理が残っている場合にはステップＳ５２に戻って前述した処理を繰り返し行う。そして、ステップＳ５９の判定の結果、処理が残っていなかったら終了する。
【００７２】
本実施の形態によれば、記録媒体５２の記録残量に応じて動作モードを切り替えるようにしたので、ユーザが設定した記録モードmodeで記録し、記録媒体５２の記録容量が少なくなった段階で記録方法を切り替えるようにすることができ、画質に応じたアクティビティ制御を行うことができる。
【００７３】
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００７４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７５】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では、図３、図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７６】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００７８】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００７９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００８０】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
【００８３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施の形態における画像符号化装置の概略の構成を示すブロック図である。
【図２】本発明の第２の実施の形態における画像符号化装置の概略の構成を示すブロック図である。
【図３】本発明の画像処理方法の第１の動作例を説明するフローチャートである。
【図４】本発明の画像処理方法の第２の動作例を説明するフローチャートである。
【符号の説明】
【００８５】
１  ブロック分割部
２  動き補償部
３  直交変換部
４  量子化部
５  可変長符号化部
５ａ  記録部
６  ビット割り当て部
７  参照量子化幅決定部
８  アクティビティ計算部
９  乗算部
１０  平均値計算部
１１  アクティビティ制御部
１２  記録媒体
４１  ブロック分割部
４２  動き補償部
４３  直交変換部
４４  量子化部
４５  可変長符号化部
４５ａ  記録部
４６  ビット割り当て部
４７  参照量子化幅決定部
４８  アクティビティ計算部
４９  乗算部
５０  平均値計算部
５１  アクティビティ制御部
５２  記録媒体
５３  入力部
【図１】
2006324806.tif 000010
【図２】
2006324806.tif 000011
【図３】
2006324806.tif 000012
【図４】
2006324806.tif 000013