(57)【要約】【課題】  発生符号情報量を適正な値に保持する。【解決手段】  ＣＩＦ／ＱＣＩＦ決定部（解像度決定手段）２５は、少なくとも量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、今回符号化されるフレームの入力画像の解像度を決定する。符号化手段は、入力された入力動画像を予測符号化する。ＣＩＦ／ＱＣＩＦ変換部（解像度変換手段）３１は、予測画像と入力画像との予測誤差をＣＩＦ／ＱＣＩＦ決定部２５にて決定された解像度とする。【選択図】  図３
2005210749.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル化された動画像入力信号を予測符号化する画像符号化装置において、
少なくとも前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、符号化されるべき今回フレームの入力画像の解像度を決定する解像度決定手段と、
今回フレームの入力画像の解像度を、前記解像度決定手段によって決定された解像度に変換する解像度変換手段と、
前記解像度変換手段により解像度を変換された入力画像に対して符号化を行う符号化手段と、
を有することを特徴とする画像符号化装置。
【請求項２】
前記解像度決定手段は、今回フレームの入力画像の解像度を決定するに当たり、前回フレームの符号化における解像度も参照することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記符号化手段は、今回フレームの入力画像と、前回フレームの復号画像および今回フレームの動きベクトルを基に予測された今回フレームの予測画像との差を求め、今回フレームの予測誤差信号を生成する予測誤差信号生成手段を含み、
逆直交変換および逆量子化の各逆変換により再生された今回フレームの再生予測誤差信号と、前記今回フレームの予測画像との和を求め、今回フレームの復号画像を生成する復号画像生成手段、
をさらに有し、
前記解像度変換手段は前記予測誤差信号生成手段の前段に設けられ、
前記復号画像生成手段は、前記解像度決定手段によって決定された解像度を持つ画像を基にした前記再生予測誤差信号と前記予測画像との和を求める
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記復号画像生成手段から出力された今回フレームの復号画像の解像度を所定の一定な解像度に変換し、モニタ用の画像表示装置に出力する表示用解像度変換手段を、さらに有することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記符号化手段は、今回フレームの入力画像と、前回フレームの復号画像および今回フレームの動きベクトルを基に予測された今回フレームの予測画像との差を求め、今回フレームの予測誤差信号を生成する予測誤差信号生成手段を含み、
逆直交変換および逆量子化の各逆変換により再生された今回フレームの再生予測誤差信号と、前記今回フレームの予測画像との和を求め、今回フレームの復号画像を生成する復号画像生成手段と、
前記解像度変換手段による解像度変換の逆変換を行う解像度逆変換手段と、
をさらに有し、
前記解像度変換手段は前記予測誤差信号生成手段の後段に設けられ、
前記解像度逆変換手段は前記復号画像生成手段の前段に設けられ、
前記復号画像生成手段は、入力画像の解像度と同じ解像度を持つ画像を基にした前記再生予測誤差信号と前記予測画像との和を求める
ことを特徴とする請求項１記載の画像符号化装置。
【請求項６】
今回フレームの予測誤差信号に対して直交変換を行う直交変換手段と、
前記解像度変換手段により、今回フレームの入力画像の解像度が低解像度から高解像度へ切替えられた直後に、前記直交変換手段に対して直交変換係数の高周波成分の出力を制限するように制御する制御手段と、
をさらに有することを特徴とする請求項１記載の画像符号化装置。
【請求項７】
前記解像度決定手段は、前回フレームの符号化における量子化ステップ幅と発生符号情報量との積を求め、当該積を所定基準値と比較することにより、今回フレームの入力画像の解像度を決定することを特徴とする請求項１記載の画像符号化装置。
【請求項８】
前記所定基準値は複数の異なる値からなり、
前記解像度決定手段は、前回フレームの符号化における解像度に応じて前記複数の所定基準値のうちの１つを選択し、当該選択された所定基準値を前記比較に用いる
ことを特徴とする請求項７記載の画像符号化装置。
【請求項９】
ディジタル化された動画像入力信号を予測符号化する画像符号化装置において、
解像度を決定する解像度決定手段と、
今回フレームの入力画像の解像度を、前記解像度決定手段によって決定された解像度に変換する解像度変換手段と、
前記解像度変換手段により解像度を変換された入力画像に対して符号化を行う符号化手段と、
今回フレームの入力画像と、前回フレームの復号画像及び今回フレームの動きベクトルを基に予測された今回フレームの予測画像との差を求め、今回フレームの予測誤差信号を生成する予測誤差信号生成手段と、
今回フレームの予測誤差信号と、前回フレームの復号画像から今回フレームの復号画像を生成する復号画像生成手段と、
前記解像度変換手段による解像度変換の逆変換を行う解像度逆変換手段と、を備え、
前記解像度変換手段は、前記予測誤差信号生成手段の後段に配置し、前記解像度逆変換手段は、前記復号画像生成手段の前段に配置したことを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、特に、ディジタル化された動画像入力信号を予測符号化する画像符号化装置に関する。
動画像符号化技術として、Ｈ．２６１，ＭＰＥＧ−１／２等により標準された動画像ハイブリッド符号化方式がある。これらの符号化方式では、入力画像を複数ブロックに分割し、各ブロック単位に動き補償と直交変換とを行い、そしてエントロピ符号化を行っている。
【背景技術】
【０００２】
こうした動画像ハイブリッド符号化方式において、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、１フレーム分を符号化した結果発生した符号情報量が、１フレームに割り当てられている基準の情報量を越えてしまうことが発生する。こうした場合には、発生符号情報量を基準情報量まで強制的に減少させることが行われるので、結果的に、伝送先で復元された画像に、画像品質の極度な劣化や、極端な駒落としが発生し、非常に見にくい画像となってしまう。
【０００３】
こうした不具合を回避するために、従来、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、入力画像の解像度を低下させて、発生符号情報量を減少させるようにした動画像符号化方式が、例えば特開平７−３０９０１号公報によって開示されている。これは、発生符号情報量が増加したときに、量子化ステップ幅を広げるよりも解像度を下げるほうが、見やすい画像を復元できるという事情に基づいている。この方式では、動きベクトル検出手段によって検出されたブロック毎の動きベクトルの大きさから、現フレーム全体の動きベクトルの大きさの平均値を求め、この値に基づいて、送出する画像信号の解像度を選択するようにしている。すなわち、前フレームから現フレームへの動き量の大きいときには、画像信号の解像度を低下させて、発生符号情報量の削減を行っている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来の動画像符号化方式では以下の問題がある。
第１に、フレーム全体の平均の動きベクトルは大きいが、伝送すべき情報量は少ない場合があり得、こうした場合に、必要がないにも拘らず低解像度に切替えが行われてしまい、復元される画像の画質の劣化を招いてしまう。例えば、カメラが移動したときのように、画面全体が単純に一定方向に移動するような画像では、平均の動きベクトルの値は大きいものの、動き予測が効率よく行われ、かつ動きベクトルの値のばらつきも小さいため、発生する符号情報量は小さい。したがって、この場合には高いままの解像度で符号化を行って符号情報を伝送し、受信側で高品質な画像を復元することが可能である。それにも拘らず、平均の動きベクトルの値が大きいので、従来方式では低解像度に切替えられてしまう。
【０００５】
第２に、あるフレームの符号化の結果発生した符号情報を、伝送前に一時的にバッファに保管するが、このバッファの占有量（バッファの記憶容量のうち、既に符号情報の格納に使用されている量）が所定値よりも少なく、したがって、そのフレームの符号化に対してもっと多く符号情報を割り当てることができるときに、従来のように平均の動きベクトルの値だけで解像度を決めてしまうと、不必要に低解像度に切替えが行われてしまい、画質の劣化を招いてしまう可能性がある。
【０００６】
第３に、上記の従来方式では、動きベクトル算出手段が、フレームを構成する各ブロック毎に動きベクトルの大きさを求め、フレーム全体に亘った各動きベクトルが得られたところで、フレーム全体の動きベクトルの大きさの平均値を算出する。一方、通常の画像符号化方式ではパイプライン方式が採用されており、第１のブロックに対して動きベクトル算出処理が完了すると、つぎの第２のブロックに対して動きベクトル算出処理が行われると同時に、先の第１のブロックに対して次の処理である予測誤差算出が行われる。これらが完了すると、第３のブロックに対して動きベクトル算出処理が行われ、第２のブロックに対して予測誤差算出が行われ、第１のブロックに対して更に次の処理である直交変換が行われる。このようにして、時系列的に順次実行されるべき複数の処理が、異なったブロックに対して同時に実行されることにより、全体の処理が高速に実行され得る。ところが、従来の方式の場合には、フレームを構成する各ブロックの動きベクトルが算出されるまでは解像度が決まらず、解像度が決まって初めて、それ以降の予測誤差算出、直交変換、量子化、逆量子化、逆直交変換等の一連の処理が行われる。したがって、従来の方式において、フレームの符号化に与えられる時間内に符号化処理を済ませるためには、パイプライン方式に比べて各処理を高速に行わねばならないという問題がある。
【０００７】
本発明はこのような点に鑑みてなされたものであり、発生符号情報量を適正な値に保持するために入力画像の解像度を迅速かつ適正に制御するようにした画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では上記目的を達成するために、図１に示すように、少なくとも前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、符号化されるべき今回フレームの入力画像の解像度を決定する解像度決定手段１と、今回フレームの入力画像の解像度を、解像度決定手段１によって決定された解像度に変換する解像度変換手段２と、解像度変換手段２により解像度を変換された入力画像に対して符号化を行う符号化手段３とを有することを特徴とする画像符号化装置が提供される。
【０００９】
あるフレームの符号化が終了すると、そのフレームでの符号化情報、つまり、少なくとも量子化ステップ幅、発生符号情報量、およびバッファ占有量を直ちに獲得することができる。符号化情報は、そのフレームの画像の性質をある程度表している。また、一般的に画像の性質は時間とともに徐々に変化する一方、隣接するフレーム間において各画像の性質は類似していると言える。したがって、前回フレームの符号化情報を利用して、今回フレームの画像の性質を推定することが可能である。すなわち、符号化により発生する符号情報量が目標の情報量の範囲内にあり、かつ、その符号化が基準を満たす画質を確保できているという条件を、今回フレームの符号化が満たせるか否かを、前回フレームの符号化情報を用いて判断することが可能である。
【００１０】
本発明はこうした点に着目したものであり、上記の判断を行なった結果、上記条件が満たされなければ、入力画像の解像度を低く、つまり、符号化すべき画像の画素数を少なくすることにより、発生符号情報量を削減する。これにより、駒落としの少ない、時間的に滑らかな復号画像を得ることが可能となる。
【００１１】
具体的には、以上のような構成において、まず、解像度決定手段１が、前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、上記条件が満たされるか否かを判断し、今回フレームの入力画像の解像度を決定する。こうした量子化ステップ幅、発生符号情報量、およびバッファ占有量は、符号化手段３から送られる。
【００１２】
符号化されるべき入力画像は、符号化手段３に入力される前に、解像度変換手段２へ送られる。解像度変換手段２では、今回フレームの画像の解像度を、解像度決定手段１によって決定された解像度に変換する。その上で、符号化手段３が解像度を変換された入力画像を符号化する。
【００１３】
このように、本発明では、前回フレームの符号化後、直ちに今回フレームにおける解像度を決定することができる。すなわち、入力画像の解像度を決定する際に、従来のように、フレーム全体の動きベクトルの大きさの平均値の算出を待つことなく、入力画像の解像度を迅速かつ適正に決定でき、発生符号情報量を適正な値に保持することが可能になる。これにより、パイプライン方式を適用することができるので、一連の各処理が速度の速い処理でなくともよいことになる。
【発明の効果】
【００１４】
本発明では、前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、今回フレームの入力画像の解像度を決定する。そして、今回フレームの画像の解像度が、この決定された解像度に変換された上で、符号化される。
【００１５】
かくして、本発明では、前回フレームの符号化後、直ちに今回フレームにおける解像度を決定することができる。すなわち、入力画像の解像度を決定する際に、従来のように、フレーム全体の動きベクトルの大きさの平均値の算出を待つことなく、入力画像の解像度を迅速かつ適正に決定でき、発生符号情報量を適正な値に保持することが可能になる。これにより、パイプライン方式を適用することができるので、一連の各処理が速度の速い処理でなくともよいことになる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明に係る画像符号化装置の第１の実施の形態の原理構成を、図１を参照して説明する。第１の実施の形態は、少なくとも前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、符号化されるべき今回フレームの入力画像の解像度を決定する解像度決定手段１と、今回フレームの入力画像の解像度を、解像度決定手段１によって決定された解像度に変換する解像度変換手段２と、解像度変換手段２により解像度を変換された入力画像に対して符号化を行う符号化手段３とを備える。
【００１７】
図２は第１の実施の形態の詳しい構成を示すブロック図である。なお、図１の解像度決定手段１は図２ではＣＩＦ／ＱＣＩＦ決定部２５に対応し、同様に、解像度変換手段２はＣＩＦ／ＱＣＩＦ変換部１１に、符号化手段３は、予測パラメータ計算部１２、予測誤差信号生成部１４、直交変換部（ＤＣＴ）１５、量子化部１６、エントロピ符号化部１７、および制御部２４に対応する。第１の実施の形態では、Ｈ．２６１のコーディングスキームが用いられる。
【００１８】
図２において、ＣＩＦ／ＱＣＩＦ変換部１１は、入力した画像の解像度を、後述のＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、ＱＣＩＦ(Quarter Common Intermediate Format, 176×144 画素) に変換するものである。入力する画像の解像度はＣＩＦ(Common Intermediate Format, 352×288 画素) である。ＣＩＦ／ＱＣＩＦ変換部１１の出力は予測パラメータ計算部１２および予測誤差信号生成部１４へ送られる。予測パラメータ計算部１２には、後述するフレームメモリ２２に記憶された前回フレームの復号画像がＣＩＦ／ＱＣＩＦ変換部２３（後述）を介して送られ、予測パラメータ計算部１２は、ＣＩＦ／ＱＣＩＦ変換部１１からの今回フレームの入力画像と、ＣＩＦ／ＱＣＩＦ変換部２３からの前回フレームの復号画像とを、フレームを構成するブロック毎に比較し、今回フレームの動きベクトルを算出する。この比較の際、詳しくは後述するが、両画像の解像度は同じ解像度になっている。算出された動きベクトルは、予測画像生成部１３およびエントロピ符号化部１７（この信号の流れの図示は省略）へ送られる。予測画像生成部１３にも、フレームメモリ２２に記憶された前回フレームの復号画像がＣＩＦ／ＱＣＩＦ変換部２３を介して送られ、予測画像生成部１３は、予測パラメータ計算部１２からの今回フレームの動きベクトルと、前回フレームの復号画像とを基に、今回フレームの予測画像を生成する。この生成された今回フレームの予測画像は、予測誤差信号生成部１４および復号画像生成部２１へ送られる。
【００１９】
予測誤差信号生成部１４は、ＣＩＦ／ＱＣＩＦ変換部１１からの今回フレームの入力画像と、予測画像生成部１３からの今回フレームの予測画像との差をブロック毎に算出し、これを予測誤差信号として直交変換部１５へ出力する。この差の算出の際、詳しくは後述するが、両画像の解像度は同じ解像度になっている。直交変換部１５は、各ブロックの予測誤差信号を基に画素間の相関性を取り除く離散コサイン変換（ＤＣＴ）を行い、変換係数を生成する。つぎの量子化部１６では、各ブロック毎の変換係数を、後述の制御部２４から送られた量子化ステップ幅により量子化し、量子化係数を生成する。エントロピ符号化部１７は、量子化部１６から出力された量子化係数、予測パラメータ計算部１２から送られた動きベクトル、制御部２４から送られた後述の量子化ステップ幅および予測符号化方式情報（イントラ，インタ情報等）、後述のＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報等を基にして、これらの組合せに符号を割り当てることにより符号化を図り、符号化情報を符号化情報バッファ１８に格納する。符号化情報バッファ１８は、符号化情報を一時的に保管し、符号化情報を伝送路へ一定の情報伝送レートで出力するために用いられる。
【００２０】
一方、量子化部１６から出力された量子化係数に対して、逆量子化部１９が逆量子化を行い、逆直交変換部（ＩＤＣＴ）２０が逆離散コサイン変換（ＩＤＣＴ）を行い、予測誤差信号を再生する。復号画像生成部２１は、予測画像生成部１３で生成された今回フレームの予測画像と、逆直交変換部２０からの再生予測誤差信号との和を算出し、これを今回フレームの復号画像としてフレームメモリ２２に格納する。この和の算出の際、詳しくは後述するが、予測画像の解像度と予測誤差信号に係る画像の解像度とは同じ解像度になっている。
【００２１】
制御部２４には、エントロピ符号化部１７から、エントロピ符号化部１７が符号化を行なった結果発生した符号情報量が送られ、また、符号化情報バッファ１８から、符号化情報バッファ１８を占有している情報量（符号化情報バッファ１８の記憶容量のうち、既に符号情報の格納に使用されている量）が送られる。制御部２４は、これらを基に量子化ステップ幅を決定し、量子化部１６、逆量子化部１９（この信号の流れの図示は省略）、ＣＩＦ／ＱＣＩＦ決定部２５およびエントロピ符号化部１７へ送る。
【００２２】
ＣＩＦ／ＱＣＩＦ決定部２５は、制御部２４から前回フレームの各ブロックに関する量子化ステップ幅を受け、エントロピ符号化部１７から前回フレームに関する発生符号情報量を受け、符号化情報バッファ１８から前回フレームを処理した結果の占有情報量を受け、これらに基づき今回フレームの画像に対する解像度を決定する。この詳しい決定方法については後述する。こうして決定された解像度は、ＣＩＦ／ＱＣＩＦ変換部１１、ＣＩＦ／ＱＣＩＦ変換部２３、エントロピ符号化部１７へ送られ、さらには、直交変換部１５、表示用解像度変換部２６へ送られる。
【００２３】
ＣＩＦ／ＱＣＩＦ決定部２５が、高解像度であるＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部１１では、入力した画像（解像度ＣＩＦ）をそのまま出力する。ＣＩＦ／ＱＣＩＦ変換部２３では、フレームメモリ２２から出力された前回フレームの復号画像の解像度がＣＩＦであればそのまま出力し、ＱＣＩＦであればＣＩＦに変換した上で出力する。したがって、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号は、いずれもＣＩＦの画像を基にしたものとなる。一方、ＣＩＦ／ＱＣＩＦ決定部２５が、低解像度であるＱＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部１１では、入力した画像をＱＣＩＦに変換して出力する。ＣＩＦ／ＱＣＩＦ変換部２３では、フレームメモリ２２から出力された前回フレームの復号画像の解像度がＣＩＦであればＱＣＩＦに変換した上で出力し、ＱＣＩＦであればそのまま出力する。したがって、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号は、いずれもＱＣＩＦの画像を基にしたものとなる。
【００２４】
なお、直交変換部１５、表示用解像度変換部２６へ送られた解像度がどう用いられるかについては、下記の解像度の決定方法の説明の後に説明する。
つぎに、ＣＩＦ／ＱＣＩＦ決定部２５において行われる解像度の決定方法を説明する。
【００２５】
まず、高解像度ＣＩＦで符号化する際に許容される最も大きい（粗い）量子化ステップ幅をＱＰTH1 とし、低解像度ＱＣＩＦで符号化する際に許容される最も小さい（細かい）量子化ステップ幅をＱＰTH2 とし、画像を符号化する際の１フレーム当たりの目標符号情報量をＢtargetとする。これらの値は予め設定されるものである。そして、前回フレームにおける各ブロックの量子化ステップ幅の１フレームに亘る平均値をＱＰi-1 とし、前回フレームにおける発生符号情報量をＢi-1 としたとき、それらの積ＱＰi-1 ・Ｂi-1 を求める。また、前回フレームを処理した後の符号化情報バッファ１８の占有情報量をΔとする。
【００２６】
ここで、前回フレームの解像度がＣＩＦであった場合、占有情報量Δが所定の基準値ΔTH1 よりも大きく、かつ、積ＱＰi-1 ・Ｂi-1 が、積ＱＰTH1 ・Ｂtargetよりも大きい場合、ＣＩＦ／ＱＣＩＦ決定部２５は低解像度ＱＣＩＦを選択する。また、前回フレームの解像度がＱＣＩＦであった場合、占有情報量Δが所定の基準値ΔTH2 よりも小さく、かつ、積ＱＰi-1 ・Ｂi-1 が、積ＱＰTH2 ・Ｂtargetよりも小さい場合、ＣＩＦ／ＱＣＩＦ決定部２５は高解像度ＣＩＦを選択する。
【００２７】
すなわち、一般に動画像において、量子化ステップ幅が小さくなれば、発生する符号情報量が大きくなり、反対に量子化ステップ幅が大きくなれば発生する符号情報量が小さくなる。このことから、ある画像を符号化する際の各ブロックの量子化ステップ幅の平均値と発生符号情報量とは反比例に近い関係にあり、これらの積はほぼ一定値になる。そして、この積は、解像度を含む画像符号化装置の特性が一定ならば、画像の性質、特に符号化に関わる性質をよく表す。また、画像の性質は、一般に、時間方向にはある程度滑らかに変化し、したがって、隣接したフレーム間で上記の積の値の変化は少なく、前回フレームの上記積を今回フレームの積の代わりに使用しても多くの場合に問題ない。
【００２８】
本発明はこうした点に着目したものであり、前回フレームの解像度がＣＩＦであった場合においては、占有情報量Δが所定の基準値ΔTH1 よりも大きく、つまり符号化情報バッファ１８に余り空き容量がなく、かつ、前回フレームにおける積ＱＰi-1 ・Ｂi-1 が、基準となる積ＱＰTH1 ・Ｂtargetよりも大きい場合、つまり前回フレームにおける解像度ＣＩＦのまま今回フレームの画像を符号化したのでは発生符号情報量が多くなり過ぎることが予想される場合は、ＣＩＦ／ＱＣＩＦ決定部２５が低解像度ＱＣＩＦを選択する。一方、前回フレームの解像度がＱＣＩＦであった場合においては、占有情報量Δが所定の基準値ΔTH2 よりも小さく、つまり符号化情報バッファ１８に空き容量がある程度あり、かつ、前回フレームにおける積ＱＰi-1 ・Ｂi-1 が、基準となる積ＱＰTH2 ・Ｂtargetよりも小さい場合、つまり前回フレームにおける解像度ＱＣＩＦのまま今回フレームの画像を符号化したのでは発生符号情報量が少なくなり過ぎることが予想される場合は、ＣＩＦ／ＱＣＩＦ決定部２５が高解像度ＣＩＦを選択する。
【００２９】
以上のように、入力画像の解像度を決定する際に、従来のように、フレーム全体の動きベクトルの大きさの平均値を算出しなくとも、前回フレームの符号化情報から今回フレームの入力画像の解像度を迅速かつ適正に決定でき、したがって、発生符号情報量を適正な値に保持することが可能になる。
【００３０】
ところで、復号画像生成部２１から出力された復号画像をモニタ用の画像表示装置（図示せず）に表示することが行われるが、この復号画像生成部２１から出力される復号画像の解像度はＣＩＦのこともあれば、ＱＣＩＦのこともある。一方、通常の画像表示装置は一定の解像度の画像を表示するように設計されている。したがって、復号画像の解像度が一定しないと、画像表示装置において表示することが困難であるので、表示用解像度変換部２６において画像表示装置に合った解像度に変換を行う。すなわち、表示用解像度変換部２６は、ＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報（ＣＩＦ／ＱＣＩＦ）に応じて、復号画像生成部２１から出力された復号画像の解像度を、画像表示装置に合った解像度に変換する。
【００３１】
ところでまた、解像度がＱＣＩＦからＣＩＦへ変更された直後は、前回フレームの復号画像をベースにする予測画像の解像度はＱＣＩＦとなっている。また一般に、解像度ＣＩＦの画像には高周波成分（細かい図柄に相当）が含まれているが、解像度ＱＣＩＦの画像には高周波成分が一切含まれていない。そのため、ＣＩＦ／ＱＣＩＦ変換部１１が、入力画像の解像度をＣＩＦからＱＣＩＦに変換することを停止した直後には、解像度ＱＣＩＦの予測画像を基にしてＣＩＦ対応の符号化が行われることになり、符号情報量が非常に増大することになる。その結果、ＣＩＦ／ＱＣＩＦ決定部２５が再びＱＣＩＦを選択することが発生し、ＣＩＦとＱＣＩＦとが交互に繰り返される恐れがある。これを避けるために、直交変換部１５は、ＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報がＱＣＩＦからＣＩＦに切り替わった直後には、変換係数のうちの低周波側４×４係数成分のみを出力し、その後、解像度情報がＣＩＦを継続すれば、徐々に５×５，６×６，７×７係数成分を出力するようにする。これにより、徐々に高周波成分までが符号化されるようになり、滑らかな解像度切替えが実現してＣＩＦとＱＣＩＦとが交互に繰り返されることが防止されるとともに、発生符号情報量の過度な増加を防げる。
【００３２】
なお、上記の第１の実施の形態では、解像度をＣＩＦとＱＣＩＦとの２つ設定しているが、これに代わって、解像度を３つ以上設定して、解像度毎の基準量子化ステップ幅を設定し、これと目標符号情報量との積を以て比較基準とするようにして解像度を決定し、入力画像の解像度を制御するようにしてもよい。
【００３３】
すなわち一般に、画像符号化方式では画像をブロック単位で符号化すると効率が良いとされており、解像度がこのブロックの画素数の整数倍であれば符号化の効率が最も良い。また、ブロック単位に動作する符号化手段を用意しておけば、解像度に関係なく、ブロック単位に符号化が行われ、ブロック単位に同一のエントロピ符号を割り当てることが可能である。したがって、解像度を、符号化単位となるブロックの画素数ｎの整数倍、つまり水平方向Ｌ×ｎ画素、垂直方向Ｍ×ｎ画素（Ｌ，Ｍは任意の整数）と設定すればよく、このときには、ブロック単位の符号化をＬ×Ｍ回実行することにより、任意の解像度の画像が効率良く符号化可能となる。
【００３４】
つぎに、第２の実施の形態を説明する。
図３は第２の実施の形態の構成を示すブロック図である。第２の実施の形態の構成は、基本的に第１の実施の形態の構成と同じである。ただし、第２の実施の形態では、解像度の変換を行うＣＩＦ／ＱＣＩＦ変換部等の配置位置が第１の実施の形態と異なる。図中、第１の実施の形態と同じ構成部分には同じ参照符号を付して説明を省略する。
【００３５】
第２の実施の形態では、ＣＩＦ／ＱＣＩＦ変換部３１が予測誤差信号生成部１４と直交変換部１５との間に配置され、ＱＣＩＦ／ＣＩＦ変換部３２が逆直交変換部２０と復号画像生成部２１との間に配置される。ＣＩＦ／ＱＣＩＦ変換部３１は、予測誤差信号生成部１４から送られた解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、ＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、解像度ＱＣＩＦに変換するものである。ＱＣＩＦ／ＣＩＦ変換部３２は、逆直交変換部２０から送られた解像度ＱＣＩＦに係る再生された予測誤差信号を、ＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、解像度ＣＩＦに変換するものである。
【００３６】
すなわち、ＣＩＦ／ＱＣＩＦ決定部２５が第１の実施の形態と同じ方法により解像度を決定するが、ＣＩＦ／ＱＣＩＦ決定部２５が、例えば高解像度であるＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部３１は、解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、そのままへ出力する。したがって、ＱＣＩＦ／ＣＩＦ変換部３２には、解像度ＣＩＦに係る再生された予測誤差信号が送られ、この場合にはＱＣＩＦ／ＣＩＦ変換部３２は、解像度ＣＩＦに係る再生予測誤差信号をそのまま出力する。一方、ＣＩＦ／ＱＣＩＦ決定部２５が、低解像度であるＱＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部３１は、解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、解像度ＱＣＩＦに変換した上で出力する。したがって、ＱＣＩＦ／ＣＩＦ変換部３２には、解像度ＱＣＩＦに係る再生予測誤差信号が送られ、この場合にはＱＣＩＦ／ＣＩＦ変換部３２は、解像度ＱＣＩＦに係る再生予測誤差信号を解像度ＣＩＦに変換した上で出力する。
【００３７】
以上のように、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号はいずれも、常時、高解像度ＣＩＦの画像を基にしたものとなる。第１の実施の形態では、予測パラメータ計算部１２、予測誤差信号生成部１４、および復号画像生成部２１において低解像度ＱＣＩＦの画像を基にした処理があり得るのに対し、第２の実施の形態では、予測パラメータ計算部１２、予測誤差信号生成部１４、および復号画像生成部２１において常時、高解像度ＣＩＦの画像を基にした処理が行われる。したがって、第２の実施の形態では第１の実施の形態に比べ、途中で解像度変換が行われたにも拘らず、比較的解像度の高い画像が復号され得る。
【００３８】
さらには、第２の実施の形態では、装置１２，１３，１４，２１，２２の構成にＱＣＩＦ対応の部分が不要となり、装置構成が簡単になるという特徴がある。
なお、第２の実施の形態では、復号画像生成部２１から出力される復号画像の解像度が常時ＣＩＦであるので、第１の実施の形態のような表示用解像度変換部を必要とせず、そのまま復号画像を画像表示装置へ送ることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の原理説明図である。
【図２】第１の実施の形態の構成を示すブロック図である。
【図３】第２の実施の形態の構成を示すブロック図である。
【符号の説明】
【００４０】
１  解像度決定手段
２  解像度変換手段
３  符号化手段
【図１】
2005210749.tif 000003
【図２】
2005210749.tif 000004
【図３】
2005210749.tif 000005
【手続補正書】
【提出日】平成17年3月29日(2005.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ディジタル化された動画像入力信号を予測符号化する画像符号化装置において、
少なくとも量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、今回符号化されるフレームの入力画像の解像度を決定する解像度決定手段と、
入力された入力動画像を予測符号化する符号化手段と、
前記符号化手段で、予測画像と入力画像との予測誤差を前記解像度決定手段にて決定された解像度とする解像度変換手段と、
を有することを特徴とする画像符号化装置。
【請求項２】
前記解像度決定手段は、少なくとも前回の符号化フレームの量子化ステップ幅、発生情報量、およびバッファ占有量に基づき今回符号化される入力画像の解像度を決定することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記解像度決定手段は、今回符号化されるフレームの入力画像の解像度を決定するに当たり、前回符号化されたフレームの解像度も参照することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記符号化手段にて符号化された画像を復号化する局部復号化手段と、逆解像度変換手段を更に有し、
復号化された予測誤差信号が前記解像度変換手段にて低解像度に変換されていた場合、解像度変換前の解像度に逆解像度変換し、局部復号化をすることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
ディジタル化された動画像入力信号を予測符号化する画像符号化装置において、
入力画像の解像度を決定する解像度決定手段と、
入力された入力動画像を予測符号化する符号化手段と、
前記符号化手段で、予測画像と入力画像との予測誤差を前記解像度決定手段にて決定された解像度とする解像度変換手段と、
前記符号化手段にて符号化された画像を復号化する局部復号化手段と、
逆解像度変換手段を更に有し、
復号化された予測誤差信号が前記解像度変換手段にて低解像度に変換されていた場合、解像度変換前の解像度に逆解像度変換し、局部復号化をすることを特徴とする画像符号化装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、特に、ディジタル化された動画像入力信号を予測符号化する画像符号化装置に関する。
動画像符号化技術として、Ｈ．２６１，ＭＰＥＧ−１／２等により標準された動画像ハイブリッド符号化方式がある。これらの符号化方式では、入力画像を複数ブロックに分割し、各ブロック単位に動き補償と直交変換とを行い、そしてエントロピ符号化を行っている。
【背景技術】
【０００２】
こうした動画像ハイブリッド符号化方式において、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、１フレーム分を符号化した結果発生した符号情報量が、１フレームに割り当てられている基準の情報量を越えてしまうことが発生する。こうした場合には、発生符号情報量を基準情報量まで強制的に減少させることが行われるので、結果的に、伝送先で復元された画像に、画像品質の極度な劣化や、極端な駒落としが発生し、非常に見にくい画像となってしまう。
【０００３】
こうした不具合を回避するために、従来、シーンチェンジがあった場合や、動画像内に動きの激しい部分があった場合などに、入力画像の解像度を低下させて、発生符号情報量を減少させるようにした動画像符号化方式が、例えば特開平７−３０９０１号公報によって開示されている。これは、発生符号情報量が増加したときに、量子化ステップ幅を広げるよりも解像度を下げるほうが、見やすい画像を復元できるという事情に基づいている。この方式では、動きベクトル検出手段によって検出されたブロック毎の動きベクトルの大きさから、現フレーム全体の動きベクトルの大きさの平均値を求め、この値に基づいて、送出する画像信号の解像度を選択するようにしている。すなわち、前フレームから現フレームへの動き量の大きいときには、画像信号の解像度を低下させて、発生符号情報量の削減を行っている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の従来の動画像符号化方式では以下の問題がある。
第１に、フレーム全体の平均の動きベクトルは大きいが、伝送すべき情報量は少ない場合があり得、こうした場合に、必要がないにも拘らず低解像度に切替えが行われてしまい、復元される画像の画質の劣化を招いてしまう。例えば、カメラが移動したときのように、画面全体が単純に一定方向に移動するような画像では、平均の動きベクトルの値は大きいものの、動き予測が効率よく行われ、かつ動きベクトルの値のばらつきも小さいため、発生する符号情報量は小さい。したがって、この場合には高いままの解像度で符号化を行って符号情報を伝送し、受信側で高品質な画像を復元することが可能である。それにも拘らず、平均の動きベクトルの値が大きいので、従来方式では低解像度に切替えられてしまう。
【０００５】
第２に、あるフレームの符号化の結果発生した符号情報を、伝送前に一時的にバッファに保管するが、このバッファの占有量（バッファの記憶容量のうち、既に符号情報の格納に使用されている量）が所定値よりも少なく、したがって、そのフレームの符号化に対してもっと多く符号情報を割り当てることができるときに、従来のように平均の動きベクトルの値だけで解像度を決めてしまうと、不必要に低解像度に切替えが行われてしまい、画質の劣化を招いてしまう可能性がある。
【０００６】
第３に、上記の従来方式では、動きベクトル算出手段が、フレームを構成する各ブロック毎に動きベクトルの大きさを求め、フレーム全体に亘った各動きベクトルが得られたところで、フレーム全体の動きベクトルの大きさの平均値を算出する。一方、通常の画像符号化方式ではパイプライン方式が採用されており、第１のブロックに対して動きベクトル算出処理が完了すると、つぎの第２のブロックに対して動きベクトル算出処理が行われると同時に、先の第１のブロックに対して次の処理である予測誤差算出が行われる。これらが完了すると、第３のブロックに対して動きベクトル算出処理が行われ、第２のブロックに対して予測誤差算出が行われ、第１のブロックに対して更に次の処理である直交変換が行われる。このようにして、時系列的に順次実行されるべき複数の処理が、異なったブロックに対して同時に実行されることにより、全体の処理が高速に実行され得る。ところが、従来の方式の場合には、フレームを構成する各ブロックの動きベクトルが算出されるまでは解像度が決まらず、解像度が決まって初めて、それ以降の予測誤差算出、直交変換、量子化、逆量子化、逆直交変換等の一連の処理が行われる。したがって、従来の方式において、フレームの符号化に与えられる時間内に符号化処理を済ませるためには、パイプライン方式に比べて各処理を高速に行わねばならないという問題がある。
【０００７】
本発明はこのような点に鑑みてなされたものであり、発生符号情報量を適正な値に保持するために入力画像の解像度を迅速かつ適正に制御するようにした画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では上記目的を達成するために、少なくとも前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、符号化されるべき今回フレームの入力画像の解像度を決定する解像度決定手段と、今回フレームの入力画像の解像度を、解像度決定手段によって決定された解像度に変換する解像度変換手段と、解像度変換手段により解像度を変換された入力画像に対して符号化を行う符号化手段とを有することを特徴とする画像符号化装置が提供される。
【０００９】
また、少なくとも量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、今回符号化されるフレームの入力画像の解像度を決定する解像度決定手段と、入力された入力動画像を予測符号化する符号化手段と、符号化手段で、予測画像と入力画像との予測誤差を解像度決定手段にて決定された解像度とする解像度変換手段と、を有することを特徴とする画像符号化装置が提供される。
【００１０】
あるフレームの符号化が終了すると、そのフレームでの符号化情報、つまり、少なくとも量子化ステップ幅、発生符号情報量、およびバッファ占有量を直ちに獲得することができる。符号化情報は、そのフレームの画像の性質をある程度表している。また、一般的に画像の性質は時間とともに徐々に変化する一方、隣接するフレーム間において各画像の性質は類似していると言える。したがって、前回フレームの符号化情報を利用して、今回フレームの画像の性質を推定することが可能である。すなわち、符号化により発生する符号情報量が目標の情報量の範囲内にあり、かつ、その符号化が基準を満たす画質を確保できているという条件を、今回フレームの符号化が満たせるか否かを、前回フレームの符号化情報を用いて判断することが可能である。
【００１１】
本発明はこうした点に着目したものであり、上記の判断を行なった結果、上記条件が満たされなければ、入力画像の解像度を低く、つまり、符号化すべき画像の画素数を少なくすることにより、発生符号情報量を削減する。これにより、駒落としの少ない、時間的に滑らかな復号画像を得ることが可能となる。
【００１２】
本発明では、前回フレームの符号化後、直ちに今回フレームにおける解像度を決定することができる。すなわち、入力画像の解像度を決定する際に、従来のように、フレーム全体の動きベクトルの大きさの平均値の算出を待つことなく、入力画像の解像度を迅速かつ適正に決定でき、発生符号情報量を適正な値に保持することが可能になる。これにより、パイプライン方式を適用することができるので、一連の各処理が速度の速い処理でなくともよいことになる。
【発明の効果】
【００１３】
本発明では、前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、今回フレームの入力画像の解像度を決定する。そして、今回の符号化フレームに対して予測画像との間の予測誤差に対して決定された解像度に変換されると共に符号化される。
【００１４】
これにより、前回フレームの符号化後、直ちに今回フレームにおける解像度を決定することができる。すなわち、符号化対象画像の符号化の際の解像度を決定する際に、従来のようにフレーム全体の動きベクトルの大きさの平均値の算出を待つことなく、解像度を迅速かつ適正に決定でき、発生符号情報量を適正な値に保持することが可能になる。これにより、パイプライン方式を適用することができるので、一連の各処理が速度の速い処理でなくともよいことになる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を図面を参照して説明する。図１は画像符号化装置の概略構成を示す図である。画像符号化装置は、少なくとも前回フレームの符号化における量子化ステップ幅、発生符号情報量、およびバッファ占有量に基づき、符号化されるべき今回フレームの入力画像の解像度を決定する解像度決定手段１と、今回フレームの入力画像の解像度を、解像度決定手段１によって決定された解像度に変換する解像度変換手段２と、解像度変換手段２により解像度を変換された入力画像に対して符号化を行う符号化手段３とを有する（なお、請求項１に記した画像符号化装置の具体的な構成、動作については図３で後述する）。
【００１６】
次に入力画像を解像度変換した後に符号化する第１の実施の形態の画像符号化装置について最初に説明する。図２は第１の実施の形態の画像符号化装置の構成を示すブロック図である。なお、図１の解像度決定手段１は図２ではＣＩＦ／ＱＣＩＦ決定部２５に対応し、同様に、解像度変換手段２はＣＩＦ／ＱＣＩＦ変換部１１に、符号化手段３は、予測パラメータ計算部１２、予測誤差信号生成部１４、直交変換部（ＤＣＴ）１５、量子化部１６、エントロピ符号化部１７、および制御部２４に対応する。第１の実施の形態では、Ｈ．２６１のコーディングスキームが用いられる。
【００１７】
ＣＩＦ／ＱＣＩＦ変換部１１は、入力した画像の解像度を、後述のＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、ＱＣＩＦ(Quarter Common Intermediate Format, 176×144 画素) に変換するものである。入力する画像の解像度はＣＩＦ(Common Intermediate Format, 352×288 画素) である。ＣＩＦ／ＱＣＩＦ変換部１１の出力は予測パラメータ計算部１２および予測誤差信号生成部１４へ送られる。予測パラメータ計算部１２には、後述するフレームメモリ２２に記憶された前回フレームの復号画像がＣＩＦ／ＱＣＩＦ変換部２３（後述）を介して送られ、予測パラメータ計算部１２は、ＣＩＦ／ＱＣＩＦ変換部１１からの今回フレームの入力画像と、ＣＩＦ／ＱＣＩＦ変換部２３からの前回フレームの復号画像とを、フレームを構成するブロック毎に比較し、今回フレームの動きベクトルを算出する。この比較の際、詳しくは後述するが、両画像の解像度は同じ解像度になっている。算出された動きベクトルは、予測画像生成部１３およびエントロピ符号化部１７（この信号の流れの図示は省略）へ送られる。予測画像生成部１３にも、フレームメモリ２２に記憶された前回フレームの復号画像がＣＩＦ／ＱＣＩＦ変換部２３を介して送られ、予測画像生成部１３は、予測パラメータ計算部１２からの今回フレームの動きベクトルと、前回フレームの復号画像とを基に、今回フレームの予測画像を生成する。この生成された今回フレームの予測画像は、予測誤差信号生成部１４および復号画像生成部２１へ送られる。
【００１８】
予測誤差信号生成部１４は、ＣＩＦ／ＱＣＩＦ変換部１１からの今回フレームの入力画像と、予測画像生成部１３からの今回フレームの予測画像との差をブロック毎に算出し、これを予測誤差信号として直交変換部１５へ出力する。この差の算出の際、詳しくは後述するが、両画像の解像度は同じ解像度になっている。直交変換部１５は、各ブロックの予測誤差信号を基に画素間の相関性を取り除く離散コサイン変換（ＤＣＴ）を行い、変換係数を生成する。つぎの量子化部１６では、各ブロック毎の変換係数を、後述の制御部２４から送られた量子化ステップ幅により量子化し、量子化係数を生成する。エントロピ符号化部１７は、量子化部１６から出力された量子化係数、予測パラメータ計算部１２から送られた動きベクトル、制御部２４から送られた後述の量子化ステップ幅および予測符号化方式情報（イントラ，インタ情報等）、後述のＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報等を基にして、これらの組合せに符号を割り当てることにより符号化を図り、符号化情報を符号化情報バッファ１８に格納する。符号化情報バッファ１８は、符号化情報を一時的に保管し、符号化情報を伝送路へ一定の情報伝送レートで出力するために用いられる。
【００１９】
一方、量子化部１６から出力された量子化係数に対して、逆量子化部１９が逆量子化を行い、逆直交変換部（ＩＤＣＴ）２０が逆離散コサイン変換（ＩＤＣＴ）を行い、予測誤差信号を再生する。復号画像生成部２１は、予測画像生成部１３で生成された今回フレームの予測画像と、逆直交変換部２０からの再生予測誤差信号との和を算出し、これを今回フレームの復号画像としてフレームメモリ２２に格納する。この和の算出の際、詳しくは後述するが、予測画像の解像度と予測誤差信号に係る画像の解像度とは同じ解像度になっている。
【００２０】
制御部２４には、エントロピ符号化部１７から、エントロピ符号化部１７が符号化を行なった結果発生した符号情報量が送られ、また、符号化情報バッファ１８から、符号化情報バッファ１８を占有している情報量（符号化情報バッファ１８の記憶容量のうち、既に符号情報の格納に使用されている量）が送られる。制御部２４は、これらを基に量子化ステップ幅を決定し、量子化部１６、逆量子化部１９（この信号の流れの図示は省略）、ＣＩＦ／ＱＣＩＦ決定部２５およびエントロピ符号化部１７へ送る。
【００２１】
ＣＩＦ／ＱＣＩＦ決定部２５は、制御部２４から前回フレームの各ブロックに関する量子化ステップ幅を受け、エントロピ符号化部１７から前回フレームに関する発生符号情報量を受け、符号化情報バッファ１８から前回フレームを処理した結果の占有情報量を受け、これらに基づき今回フレームの画像に対する解像度を決定する。この詳しい決定方法については後述する。こうして決定された解像度は、ＣＩＦ／ＱＣＩＦ変換部１１、ＣＩＦ／ＱＣＩＦ変換部２３、エントロピ符号化部１７へ送られ、さらには、直交変換部１５、表示用解像度変換部２６へ送られる。
【００２２】
ＣＩＦ／ＱＣＩＦ決定部２５が、高解像度であるＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部１１では、入力した画像（解像度ＣＩＦ）をそのまま出力する。ＣＩＦ／ＱＣＩＦ変換部２３では、フレームメモリ２２から出力された前回フレームの復号画像の解像度がＣＩＦであればそのまま出力し、ＱＣＩＦであればＣＩＦに変換した上で出力する。したがって、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号は、いずれもＣＩＦの画像を基にしたものとなる。一方、ＣＩＦ／ＱＣＩＦ決定部２５が、低解像度であるＱＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部１１では、入力した画像をＱＣＩＦに変換して出力する。ＣＩＦ／ＱＣＩＦ変換部２３では、フレームメモリ２２から出力された前回フレームの復号画像の解像度がＣＩＦであればＱＣＩＦに変換した上で出力し、ＱＣＩＦであればそのまま出力する。したがって、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号は、いずれもＱＣＩＦの画像を基にしたものとなる。
【００２３】
なお、直交変換部１５、表示用解像度変換部２６へ送られた解像度がどう用いられるかについては、下記の解像度の決定方法の説明の後に説明する。
つぎに、ＣＩＦ／ＱＣＩＦ決定部２５において行われる解像度の決定方法を説明する。
【００２４】
まず、高解像度ＣＩＦで符号化する際に許容される最も大きい（粗い）量子化ステップ幅をＱＰTH1 とし、低解像度ＱＣＩＦで符号化する際に許容される最も小さい（細かい）量子化ステップ幅をＱＰTH2 とし、画像を符号化する際の１フレーム当たりの目標符号情報量をＢtargetとする。これらの値は予め設定されるものである。そして、前回フレームにおける各ブロックの量子化ステップ幅の１フレームに亘る平均値をＱＰi-1 とし、前回フレームにおける発生符号情報量をＢi-1 としたとき、それらの積ＱＰi-1 ・Ｂi-1 を求める。また、前回フレームを処理した後の符号化情報バッファ１８の占有情報量をΔとする。
【００２５】
ここで、前回フレームの解像度がＣＩＦであった場合、占有情報量Δが所定の基準値ΔTH1 よりも大きく、かつ、積ＱＰi-1 ・Ｂi-1 が、積ＱＰTH1 ・Ｂtargetよりも大きい場合、ＣＩＦ／ＱＣＩＦ決定部２５は低解像度ＱＣＩＦを選択する。また、前回フレームの解像度がＱＣＩＦであった場合、占有情報量Δが所定の基準値ΔTH2 よりも小さく、かつ、積ＱＰi-1 ・Ｂi-1 が、積ＱＰTH2 ・Ｂtargetよりも小さい場合、ＣＩＦ／ＱＣＩＦ決定部２５は高解像度ＣＩＦを選択する。
【００２６】
すなわち、一般に動画像において、量子化ステップ幅が小さくなれば、発生する符号情報量が大きくなり、反対に量子化ステップ幅が大きくなれば発生する符号情報量が小さくなる。このことから、ある画像を符号化する際の各ブロックの量子化ステップ幅の平均値と発生符号情報量とは反比例に近い関係にあり、これらの積はほぼ一定値になる。そして、この積は、解像度を含む画像符号化装置の特性が一定ならば、画像の性質、特に符号化に関わる性質をよく表す。また、画像の性質は、一般に、時間方向にはある程度滑らかに変化し、したがって、隣接したフレーム間で上記の積の値の変化は少なく、前回フレームの上記積を今回フレームの積の代わりに使用しても多くの場合に問題ない。
【００２７】
このようなことに着目することで、前回フレームの解像度がＣＩＦであった場合においては、占有情報量Δが所定の基準値ΔTH1 よりも大きく、つまり符号化情報バッファ１８に余り空き容量がなく、かつ、前回フレームにおける積ＱＰi-1 ・Ｂi-1 が、基準となる積ＱＰTH1 ・Ｂtargetよりも大きい場合、つまり前回フレームにおける解像度ＣＩＦのまま今回フレームの画像を符号化したのでは発生符号情報量が多くなり過ぎることが予想される場合は、ＣＩＦ／ＱＣＩＦ決定部２５が低解像度ＱＣＩＦを選択する。一方、前回フレームの解像度がＱＣＩＦであった場合においては、占有情報量Δが所定の基準値ΔTH2 よりも小さく、つまり符号化情報バッファ１８に空き容量がある程度あり、かつ、前回フレームにおける積ＱＰi-1 ・Ｂi-1 が、基準となる積ＱＰTH2 ・Ｂtargetよりも小さい場合、つまり前回フレームにおける解像度ＱＣＩＦのまま今回フレームの画像を符号化したのでは発生符号情報量が少なくなり過ぎることが予想される場合は、ＣＩＦ／ＱＣＩＦ決定部２５が高解像度ＣＩＦを選択する。
【００２８】
以上のように、入力画像の解像度を決定する際に、従来のように、フレーム全体の動きベクトルの大きさの平均値を算出しなくとも、前回フレームの符号化情報から今回フレームの入力画像の解像度を迅速かつ適正に決定でき、したがって、発生符号情報量を適正な値に保持することが可能になる。
【００２９】
ところで、復号画像生成部２１から出力された復号画像をモニタ用の画像表示装置（図示せず）に表示することが行われるが、この復号画像生成部２１から出力される復号画像の解像度はＣＩＦのこともあれば、ＱＣＩＦのこともある。一方、通常の画像表示装置は一定の解像度の画像を表示するように設計されている。したがって、復号画像の解像度が一定しないと、画像表示装置において表示することが困難であるので、表示用解像度変換部２６において画像表示装置に合った解像度に変換を行う。すなわち、表示用解像度変換部２６は、ＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報（ＣＩＦ／ＱＣＩＦ）に応じて、復号画像生成部２１から出力された復号画像の解像度を、画像表示装置に合った解像度に変換する。
【００３０】
ところでまた、解像度がＱＣＩＦからＣＩＦへ変更された直後は、前回フレームの復号画像をベースにする予測画像の解像度はＱＣＩＦとなっている。また一般に、解像度ＣＩＦの画像には高周波成分（細かい図柄に相当）が含まれているが、解像度ＱＣＩＦの画像には高周波成分が一切含まれていない。そのため、ＣＩＦ／ＱＣＩＦ変換部１１が、入力画像の解像度をＣＩＦからＱＣＩＦに変換することを停止した直後には、解像度ＱＣＩＦの予測画像を基にしてＣＩＦ対応の符号化が行われることになり、符号情報量が非常に増大することになる。その結果、ＣＩＦ／ＱＣＩＦ決定部２５が再びＱＣＩＦを選択することが発生し、ＣＩＦとＱＣＩＦとが交互に繰り返される恐れがある。これを避けるために、直交変換部１５は、ＣＩＦ／ＱＣＩＦ決定部２５から送られる解像度情報がＱＣＩＦからＣＩＦに切り替わった直後には、変換係数のうちの低周波側４×４係数成分のみを出力し、その後、解像度情報がＣＩＦを継続すれば、徐々に５×５，６×６，７×７係数成分を出力するようにする。これにより、徐々に高周波成分までが符号化されるようになり、滑らかな解像度切替えが実現してＣＩＦとＱＣＩＦとが交互に繰り返されることが防止されるとともに、発生符号情報量の過度な増加を防げる。
【００３１】
なお、上記の第１の実施の形態の画像符号化装置では、解像度をＣＩＦとＱＣＩＦとの２つ設定しているが、これに代わって、解像度を３つ以上設定して、解像度毎の基準量子化ステップ幅を設定し、これと目標符号情報量との積を以て比較基準とするようにして解像度を決定し、入力画像の解像度を制御するようにしてもよい。
【００３２】
すなわち一般に、画像符号化方式では画像をブロック単位で符号化すると効率が良いとされており、解像度がこのブロックの画素数の整数倍であれば符号化の効率が最も良い。また、ブロック単位に動作する符号化手段を用意しておけば、解像度に関係なく、ブロック単位に符号化が行われ、ブロック単位に同一のエントロピ符号を割り当てることが可能である。したがって、解像度を、符号化単位となるブロックの画素数ｎの整数倍、つまり水平方向Ｌ×ｎ画素、垂直方向Ｍ×ｎ画素（Ｌ，Ｍは任意の整数）と設定すればよく、このときには、ブロック単位の符号化をＬ×Ｍ回実行することにより、任意の解像度の画像が効率良く符号化可能となる。
【００３３】
次に第２の実施の形態の画像符号化装置について説明する。図３は第２の実施の形態の画像符号化装置の構成を示すブロック図である。第２の実施の形態の構成は、基本的に第１の実施の形態の構成と同じである。ただし、第２の実施の形態では、解像度の変換を行うＣＩＦ／ＱＣＩＦ変換部等の配置位置が第１の実施の形態と異なる。図中、図２と同じ構成部分には同じ参照符号を付して説明を省略する。
【００３４】
第２の実施の形態では、ＣＩＦ／ＱＣＩＦ変換部３１が予測誤差信号生成部１４と直交変換部１５との間に配置され、ＱＣＩＦ／ＣＩＦ変換部３２が逆直交変換部２０と復号画像生成部２１との間に配置される。ＣＩＦ／ＱＣＩＦ変換部３１は、予測誤差信号生成部１４から送られた解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、ＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、解像度ＱＣＩＦに変換するものである。ＱＣＩＦ／ＣＩＦ変換部３２は、逆直交変換部２０から送られた解像度ＱＣＩＦに係る再生された予測誤差信号を、ＣＩＦ／ＱＣＩＦ決定部２５の指示に基づき、解像度ＣＩＦに変換するものである。
【００３５】
すなわち、ＣＩＦ／ＱＣＩＦ決定部２５が第１の実施の形態と同じ方法により解像度を決定するが、ＣＩＦ／ＱＣＩＦ決定部２５が、例えば高解像度であるＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部３１は、解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、そのままへ出力する。したがって、ＱＣＩＦ／ＣＩＦ変換部３２には、解像度ＣＩＦに係る再生された予測誤差信号が送られ、この場合にはＱＣＩＦ／ＣＩＦ変換部３２は、解像度ＣＩＦに係る再生予測誤差信号をそのまま出力する。一方、ＣＩＦ／ＱＣＩＦ決定部２５が、低解像度であるＱＣＩＦを決定した場合、ＣＩＦ／ＱＣＩＦ変換部３１は、解像度ＣＩＦの今回フレームの画像に係る予測誤差信号を、解像度ＱＣＩＦに変換した上で出力する。したがって、ＱＣＩＦ／ＣＩＦ変換部３２には、解像度ＱＣＩＦに係る再生予測誤差信号が送られ、この場合にはＱＣＩＦ／ＣＩＦ変換部３２は、解像度ＱＣＩＦに係る再生予測誤差信号を解像度ＣＩＦに変換した上で出力する。
【００３６】
以上のように、予測パラメータ計算部１２、予測誤差信号生成部１４、復号画像生成部２１で扱う信号はいずれも、常時、高解像度ＣＩＦの画像を基にしたものとなる。第１の実施の形態では、予測パラメータ計算部１２、予測誤差信号生成部１４、および復号画像生成部２１において低解像度ＱＣＩＦの画像を基にした処理があり得るのに対し、第２の実施の形態では、予測パラメータ計算部１２、予測誤差信号生成部１４、および復号画像生成部２１において常時、高解像度ＣＩＦの画像を基にした処理が行われる。したがって、第１の実施の形態に比べ、途中で解像度変換が行われたにも拘らず、比較的解像度の高い画像が復号され得る。
【００３７】
さらには、第２の実施の形態では、装置１２，１３，１４，２１，２２の構成にＱＣＩＦ対応の部分が不要となり、装置構成が簡単になるという特徴がある。
なお、第２の実施の形態では、復号画像生成部２１から出力される復号画像の解像度が常時ＣＩＦであるので、第１の実施の形態のような表示用解像度変換部を必要とせず、そのまま復号画像を画像表示装置へ送ることができる。
【図面の簡単な説明】
【００３８】
【図１】画像符号化装置の概略構成を示す図である。
【図２】第１の実施の形態の画像符号化装置の構成を示すブロック図である。
【図３】第２の実施の形態の画像符号化装置の構成を示すブロック図である。
【符号の説明】
【００３９】
１  解像度決定手段
２  解像度変換手段
３  符号化手段