(57)【特許請求の範囲】
【請求項１】
動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化装置であって、
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段を備え、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする動画像符号化装置。
【請求項２】
前記解像度レベルは、前記水平方向と垂直方向の解像度を低下させる割合をそれぞれ１未満の正数α（０＜α＜１）の累乗αｍ、αｎで定義した場合に水平方向と垂直方向に対する指数ｍ、ｎの和（ｍ＋ｎ）によって定義される値であることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記解像度情報作成手段が、
前記解像度組み合わせが、前記過去画像の符号化で用いた解像度組み合わせから前記水平方向の解像度と前記垂直方向の解像度とのいずれか一方のみを変更するものである場合、前記水平方向の解像度と前記垂直方向の解像度とをそれぞれ解像度変換した場合の前記符号化対象画像の損失電力Ｐｈ、Ｐｖを算出し、その電力損失算出結果を出力する予測誤差推定手段と、
前記電力損失算出結果から前記電力損失の比Ｐｈ／Ｐｖを算出し、予め設定された電力損失の比の閾値よりも前記電力損失の比Ｐｈ／Ｐｖが小さい場合には、前記過去画像の符号化で用いた解像度組み合わせから前記水平方向の解像度を低下させ、前記電力損失の比の閾値よりも前記電力損失の比Ｐｈ／Ｐｖが大きい場合には、前記過去画像の符号化で用いた解像度組み合わせから前記垂直方向の解像度を低下させた解像度レベルを決定し、その解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択する選択手段と、
を備えることを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
画像の水平方向と垂直方向との少なくとも一方向の解像度を、前記解像度情報作成手段により入力される解像度情報に従って解像度変換して予測誤差画像信号を出力する手段であり、前記過去画像が入力されたときに、前記過去画像に対する解像度情報に従って前記過去画像を解像度変換し、前記過去画像に対する前記予測誤差画像信号を出力し、前記符号化対象画像が入力されたときに、前記符号化画像に対する前記解像度情報に従って前記符号化対象画像を解像度変換し、前記符号化対象画像に対する前記予測誤差画像信号を出力する第１解像度変換手段と、
前記第１解像度変換手段で求められた前記予測誤差画像信号を変換することによって第１変換係数信号を求める第１周波数変換手段と、
前記第１周波数変換手段で求められた第１変換係数信号を前記量子化パラメータによって量子化して量子化係数信号を求める量子化手段と、
前記量子化手段で求められた量子化係数信号を前記量子化パラメータも含めて符号化して符号列を作成する符号化手段と、
前記量子化手段によって求められた前記量子化係数信号を前記量子化パラメータに基づいて逆量子化することによって逆量子化信号を求める逆量子化手段と、
前記符号化手段によって作成された符号列を蓄積し、そのバッファ占有量を算出するバッファと、
前記符号化手段で作成された符号列の符号化発生量と前記バッファ占有量より前記量子化パラメータを作成する制御手段と、
をさらに備えることを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
前記予測誤差推定手段は、前記第１周波数変換手段で求められた第１変換係数信号の電力分布から解像度変換によって損失する周波数帯の電力を求め、各電力損失を算出することを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記予測誤差推定手段は、前記逆量子化手段で求められた逆量子化信号の電力分布から、解像度変換によって損失する周波数帯の電力を求め、各電力損失を算出することを特徴とする請求項４項に記載の動画像符号化装置。
【請求項７】
前記予測誤差推定手段は、前記第１解像度変換手段から出力された予測誤差画像信号から、方向毎に交流電力成分を求めて各電力損失を算出することを特徴とする請求項４項に記載の動画像符号化装置。
【請求項８】
前記第１解像度変換手段の入力又は出力信号を画像全体の周波数軸上での電力分布を求めることを目的とした周波数変換によって変換することによって第２変換係数信号を求める第２周波数変換手段をさらに備え、
前記予測誤差推定手段は、前記第２変換係数信号の電力分布から解像度変換によって損失する周波数帯の電力を求め、各電力損失を算出することを特徴とする請求項４記載の動画像符号化装置。
【請求項９】
前記逆量子化手段によって求められた逆量子化信号を前記第１周波数変換手段で行われた変換に対する逆変換を行うことによって第２予測誤差画像信号を求める逆周波数変換手段と、
前記逆周波数変換手段によって求められた第２予測誤差画像信号に係る動画像の解像度を前記第１解像度変換手段の変換結果に基づいて、もとの動画像の解像度に戻す解像度変換を行い復号予測誤差画像信号を出力する第２解像度変換手段と、
前記第２解像度変換手段で求めた前記予測誤差画像信号と復号予測誤差画像信号を加算して局所復号画像信号を生成する加算手段と、
前記加算手段で求めた前記局所復号画像信号を格納するメモリと、
前記メモリに格納されている前記局所復号動画像信号を動画像符号化装置本体に入力される動画像信号と比較して予測画像を生成する予測画像生成手段と、
前記動画像符号化装置本体に入力される動画像信号から前記予測画像を減算することによって予測誤差画像信号を生成する減算手段と、
をさらに備えることを特徴とする請求項４記載の動画像符号化装置。
【請求項１０】
請求項９記載の動画像符号化装置において符号化された符号列を復号化する復号化手段と、
前記復号化手段によって復号化された量子化係数信号を前記符号列から得られる量子化パラメータに応じて逆量子化することによって変換係数信号を求める逆量子化手段と、
前記逆量子化手段によって求められた変換係数信号を逆周波数変換することによって予測誤差画像信号を求める逆周波数変換手段と、
前記逆周波数変換手段によって求められた予測誤差画像信号に係る動画像の解像度を変換する解像度変換手段と、
前記解像度変換手段によって変換された動画像に係る動画像信号を格納するメモリと、
前記メモリに記憶されていた過去の動画像信号と前記量子化パラメータと前記解像度変換手段の変換結果とに基づく予測画像信号を、前記解像度変換手段によって変換された解像度に係る動画像信号に加算する加算手段と、
を備えることを特徴とする動画像復号化装置。
【請求項１１】
請求項９記載の動画像符号化装置と、請求項１０記載の動画像復号化装置とを伝送路で接続してなることを特徴とする動画像通信システム。
【請求項１２】
動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化方法であって、
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力し、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする動画像符号化方法。
【請求項１３】
動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段と、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化する手段としてコンピュータを機能させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
画像の水平方向と垂直方向との少なくとも一方向の解像度を、前記解像度情報作成手段により入力される解像度情報に従って解像度変換して予測誤差画像信号を出力する手段であり、前記過去画像が入力されたときに、前記過去画像に対する前記解像度情報に従って前記過去画像を解像度変換し、前記過去画像に対する前記予測誤差画像信号を出力し、前記符号化対象画像が入力されたときに、前記符号化画像に対する前記解像度情報に従って前記符号化対象画像を解像度変換し、前記符号化対象画像に対する前記予測誤差画像信号を出力する第１解像度変換手段と、
前記第１解像度変換手段で求められた前記予測誤差画像信号を変換することによって第１変換係数信号を求める第１周波数変換手段と、
前記第１周波数変換手段で求められた第１変換係数信号を前記量子化パラメータによって量子化して量子化係数信号を求める量子化手段と、
前記量子化手段で求められた量子化係数信号を前記量子化パラメータも含めて符号化して符号列を作成する符号化手段と、
前記量子化手段によって求められた量子化係数信号を前記量子化パラメータに基づいて逆量子化することによって逆量子化信号を求める逆量子化手段と、
前記符号化手段によって作成された符号列を蓄積し、そのバッファ占有量を算出するバッファと、
前記符号化手段で作成された符号列の符号化発生量と前記バッファ占有量より前記量子化パラメータを作成する制御手段と、
をさらに備えることを特徴とする請求項１又は２に記載の動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システムに関し、特に、動画像の水平方向と垂直方向との解像度変換を個別に制御する動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システムに関する。
【０００２】
【従来の技術】
従来、動画像を符号化する際に用いる発生符号量は、量子化幅を調節することによって制御される。しかし、符号化レートを下げていくと、そのままでは量子化幅を広くしなければならず、後に復号化された動画像の画質が大幅に低下する場合があった。これを緩和する方法として、入力画像の解像度を低下させ、発生情報量を減少させる動画像符号化方式が、従来、例えば、特開平９−２７１０２６号公報に開示されている。この公報の記載によると、発生情報量を減少させることにより、量子化幅の増大を防止し、主観画質を向上させることができる。
【０００３】
図２０は、従来の解像度変換を行う動画像符号化装置の構成を示すブロック図である。図２１は、図２０に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【０００４】
まず、図２０に示す動画像符号化装置について説明する。図２０に示すように、従来の動画像符号化装置は、入力された動画像信号から予測画像生成手段１０１０で生成された予測画像信号を減算することにより予測誤差画像信号を生成する減算手段１００１と、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を解像度情報作成手段１０１４で決定された解像度情報に従って変換することにより低解像度予測誤差画像信号を生成する解像度変換手段１００２と、解像度変換手段１００２から出力された低解像度予測誤差画像信号をブロック化して周波数成分等に分解して各成分毎に直交変換を施すことにより変換係数信号を求める離散コサイン変換（Discrete Cosine Transform ：以下、ＤＣＴ）手段１００３と、ＤＣＴ変換手段１００３から出力された変換係数信号を制御部１０１１から出力された量子化パラメータに従って量子化することにより量子化変換係数信号を生成する量子化手段１００４と、量子化手段１００４から出力された量子化変換係数信号をたとえば一次元信号に変換することによって可変長符号化する可変長符号化手段１０１２と、可変長符号を速度平滑化することにより伝送路速度に整合化して符号列して動画像を出力するとともにバッファ占有量を出力するバッファ１０１３と、バッファ１０１３のバッファ占有量に応じて符号化制御を行う制御部１０１１とを備えている。
【０００５】
また、従来の動画像符号化装置は、可変長符号化手段１０１２から出力された発生符号量と制御部１０１１から出力された量子化パラメータとバッファ１０１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度を決定する解像度情報作成手段１０１４と、解像度情報作成手段１０１４で作成された解像度情報に従って動画像の解像度を変換する解像度変換手段１００７と、解像度変換手段１００７で解像度変換された動画像と予測画像生成手段１０１０で生成された予測画像信号とを加算して局所復号画像信号を算出する加算手段１００８と、制御部１０１１から出力された量子化パラメータに従って量子化変換手段１００４から出力された量子化変換係数信号を逆量子化する逆量子化手段１００５と、逆量子化手段１００５から出力された逆量子化変換係数信号に対してブロック毎に逆ＤＣＴ変換を行い低解像度復号予測誤差画像信号を生成する逆ＤＣＴ手段１００６と、加算手段１００８から出力された局所復号画像信号をたとえばフレーム単位で蓄積するフレームメモリ１００９とを備えている。
【０００６】
次に、図２０に示す動画像符号化装置動作について説明する。動画像符号化装置に動画像信号が入力されると、この動画像信号は、予測パラメータ算出手段１０１５及び減算手段１００１にそれぞれへ入力される。また、予測パラメータ算出手段１０１５には、この他に、フレームメモリ１００９に蓄積されている過去に符号化されている動画像信号と解像度情報作成手段１０１４から出力される解像度情報も入力される。
【０００７】
予測パラメータ算出手段１０１５は、解像度情報によって定まる大きさの各ブロックごとに動き推定を行い、各ブロックの符号化モード情報及び動きベクトル（以下、符号化モード情報及び動きベクトルを「予測パラメータ」と称する。）を算出し、予測画像生成手段１０１０及び可変長符号化手段１０１２へ出力する。
【０００８】
次に、予測画像生成手段１０１０は、フレームメモリ１００９に蓄積されている動画像信号を、算出された予測パラメータと解像度情報作成手段１０１４から出力された解像度情報とに基づいて、ブロック毎に動き補償を行い、予測画像信号を取得して、加算手段１００８及び減算手段１００１へ出力する。
【０００９】
減算手段１００１は、入力された動画像信号から、予測画像信号を減算することによって、予測誤差画像信号を生成して、解像度変換手段１００２へ出力する。
【００１０】
解像度変換手段１００２は、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１０１４から出力された解像度情報に従って変換することにより、低解像度予測誤差画像信号を生成して、ＤＣＴ変換手段１００３へ出力する。
【００１１】
ＤＣＴ変換手段１００３は、動画像からたとえば８×８画素のように正方形ブロックに分割し、画素ブロック毎にＤＣＴ演算を行い変換係数信号を求めて量子化手段１００４へ出力する。
【００１２】
量子化手段１００４は、ＤＣＴ変換手段１００３から出力された変換係数信号を、制御部１０１１から出力された量子化パラメータに従って量子化することにより、量子化変換係数信号を生成し、可変長符号化手段１０１２及び逆量子化手段１００５へ出力する。
【００１３】
可変長符号化手段１０１２は、量子化手段１００４から出力された量子化変換係数信号を走査して、一次元信号に変換してから可変長符号化するとともに、制御部１０１１から出力された量子化パラメータ、解像度情報作成手段１０１４から出力された解像度情報及び予測パラメータ算出手段１０１５から出力された予測パラメータも同時に可変長符号化して、これらを含む符号列を作成してバッファ１０１３へ出力するとともに、出力した符号列の長さを表す発生符号量を制御部１０１１及び解像度情報作成手段１０１４へ出力する。
【００１４】
バッファ１０１３は、可変長符号化手段１０１２から出力された符号列を速度平滑化することにより、伝送路速度に整合化して伝送路及び制御部１０１１へ出力するとともに、バッファ占有量情報を制御部１０１１及び解像度情報作成手段１０１４へ出力する。
【００１５】
制御部１０１１は、可変長符号化手段１０１２から出力された発生符号量とバッファ１０１３からバッファ占有量情報とに基づいて、量子化パラメータを算出して、量子化手段１００４、解像度情報作成手段１０１４、逆量子化手段１００５及び可変長符号化手段１０１２へそれぞれ出力する。
【００１６】
解像度情報作成手段１０１４は、制御部１０１１から出力された量子化パラメータと、可変長符号化手段１０１２から出力された発生符号量と、バッファ１０１３から出力されたバッファ占有情報とに基づいて、解像度情報を作成して、解像度変換手段１００２、解像度変換手段１００７、可変長符号化手段１０１２、予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力する。解像度情報を作成する手法については、後述する。
【００１７】
一方、逆量子化手段１００５は、量子化手段１００４から出力された量子化変換係数信号を、制御部１０１１から出力された量子化パラメータに従って逆量子化することによって逆量子化変換係数信号を生成し、逆ＤＣＴ変換手段１００６へ出力する。すなわち、逆量子化手段１００５は、量子化手段１００４において量子化に際し用いた量子化パラメータと同じ量子化パラメータを用いて逆量子化する。
【００１８】
逆ＤＣＴ手段１００６は、逆量子化手段１００５から出力された逆量子化変換係数信号を、画素ブロック毎に逆ＤＣＴ変換を行うことによって、低解像度復号予測誤差画像信号を生成し、解像度変換手段１００７へ出力する。
【００１９】
解像度変換手段１００７は、逆ＤＣＴ手段１００６から出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１０１４から出力された解像度情報に基づいて変換することによって、復号予測誤差画像信号を生成し、加算手段１００８へ出力する。すなわち、復号予測誤差画像信号に係る動画像の解像度は、動画像符号化装置に入力された動画像信号に係る解像度と同じであり、解像度変換手段１００７における解像度変換は、解像度変換手段１００２で変更された解像度を元に戻すために行われる。例えば、解像度変換手段１００２で、ＣＩＦ解像度からＱＣＩＦ解像度に変換された場合には、解像度変換手段１００７では、ＱＣＩＦ解像度からＣＩＦ解像度へ変換する。
【００２０】
加算手段１００８は、予測画像生成手段１０１０から出力された予測画像信号に、解像度変換手段１００７から出力された復号予測誤差画像信号を加算することによって、局所復号画像信号を生成し、フレームメモリ１００９へ出力する。
【００２１】
フレームメモリ１００９は、出力された局所復号画像信号を一時的に蓄積し、予測パラメータを算出する際に、予測パラメータ算出手段１０１５へ出力する。
【００２２】
次に、解像度情報作成手段１０１４の動作を説明する。解像度情報作成手段１０１４では、制御部１０１１から出力されたブロック毎の量子化パラメータの平均値ＱＰ、算出した量子化パラメータの平均値ＱＰと可変長符号化手段１０１２から出力された発生符号量Ｂとの積並びに高解像度から低解像度に切り替わる量子化パラメータの閾値ＱＴＨ１及び低解像度から高解像度に切り替わる量子化パラメータの閾値ＱＴＨ２とターゲットのビットレートＢ０との積をそれぞれ求める。
【００２３】
そして、高解像度で動画像信号を符号化する場合には、バッファ占有量Δが予め定めた閾値ΔＴＨ１を超え、かつ、［ＱＰ×Ｂ］が［ＱＴＨ１×Ｂ０］を超えたときに、解像度を下げさせるための解像度情報を出力する。次のフレームの符号化時には、解像度変換手段１００２において、この解像度情報に基づいて解像度変換が行われる。すなわち、低解像度で符号化される。一方、解像度変換手段１００７では、逆に、この解像度情報に基づいて、低下した解像度を元の解像度に戻す変換が行われる。
【００２４】
低解像度で動画像信号を符号化する場合には、バッファ占有量Δが予め定めた閾値ΔＴＨ２よりも小さく、かつ、［ＱＰ×Ｂ］が［ＱＴＨ２×Ｂ０］よりも小さいときに、動画像の解像度を上げさせる解像度情報を出力する。次のフレームの符号化時には、解像度変換手段１００２において、この解像度情報に基づいて解像度変換が行われる。すなわち、高解像度で符号化される。
【００２５】
つぎに、図２１に示す動画像復号化装置について説明する。図２１に示すように、従来の動画像復号装置は、動画像符号化装置から送信された符号列を受信して可変長復号する可変長復号化手段２００１と、復号化された動画像信号を逆量子化する逆量子化手段２００２と、逆量子化された動画像信号を逆ＤＣＴ変換する逆ＤＣＴ変換手段２００３と、逆ＤＣＴ変換された動画像信号に係る動画像の解像度を変換する解像度変換手段２００４と、解像度変換された動画像信号と可変長復号化された動画像信号に基づく予測画像信号とを加算する加算手段２００５と、加算結果を記憶するフレームメモリ２００７と、フレームメモリに記憶されている加算結果とに基づいて上記予測画像信号を生成する予測画像信号生成手段２００６とを備えている。
【００２６】
次に、図２１に示す動画像復号化装置の動作について説明する。動画像復号化装置は、動画像符号化装置から送信された符号列を受信して可変長復号化手段２００１へ出力する。
【００２７】
可変長復号手段２００１は、出力された符号列に対して可変長復号を行うことにより、量子化変換係数信号、量子化パラメータ、予測パラメータ及び解像度情報を復号化し、量子化変換係数信号を逆量子化手段２００２へ出力し、予測パラメータを予測画像生成手段２００６へ出力し、解像度情報を解像度変換手段２００４及び予測画像生成手段２００６へ出力し、量子化パラメータを逆量子化手段２００２へ出力する。
【００２８】
逆量子化手段２００２は、図２０に示した逆量子化手段１００５と同様に、出力された量子化変換係数信号に対し、同じく出力された量子化パラメータに基づいて逆量子化を行うことによって取得した逆量子化変換係数信号を逆ＤＣＴ変換手段２００３へ出力する。
【００２９】
逆ＤＣＴ変換手段２００３は、図２０に示した逆ＤＣＴ変換手段１００６と同様に、出力された逆量子化変換係数信号を逆ＤＣＴ変換することにより低解像度復号予測誤差画像信号を生成して、解像度変換手段２００４へ出力する。
【００３０】
解像度変換手段２００４は、図２０に示した解像度変換手段１００７と同様に、出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度変換情報によって特定された解像度から元の動画像の解像度に戻すように変換して得られる、復号予測誤差画像信号を加算手段２００５へ出力する。
【００３１】
加算手段２００５は、図２０に示した加算手段１００８と同様に、出力された復号予測誤差画像信号に予測画像生成手段２００６から出力されている予測画像信号を加算して得られた動画像信号をフレームメモリ２００７及び外部に出力する。
【００３２】
フレームメモリ２００７は、図２０に示したフレームメモリ１００９と同様に、加算手段２００５から出力された動画像信号を一時的に蓄積し、予測画像信号を生成する際に予測画像生成手段２００６へ出力する。
【００３３】
予測画像生成手段２００６は、図２０に示した予測画像生成手段１０１０と同様に、フレームメモリ２００７から出力された動画像信号を用いて、可変長復号手段２００１から出力されている予測パラメータと解像度情報とに基づいて予測画像信号を生成して加算手段２００５へ出力する。
【００３４】
【発明が解決しようとする課題】
しかし、従来の技術は、動画像の水平方向と垂直方向との各解像度を、量子化パラメータの平均値に基づいて決定された解像度情報に応じて変換しており、たとえば、動画像の水平方向の解像度を１／２とし、垂直方向の解像度を１／３というようにすることができなかったので、発生符号量が少ない場合であっても、一律に、動画像の水平方向と垂直方向とを同じ割合で解像度変換しなければならず、画質が劣化する場合があった。
【００３５】
また、特に量子化幅が広い場合には、量子化幅と画質劣化との度合いが必ずしも比例しないため、量子化幅で解像度間の遷移を制御すると、量子化雑音が小さいにもかかわらず解像度が低下し、不要に復号した動画像の画質が劣化する場合があった。
【００３６】
そこで、本発明は、動画像の水平方向と垂直方向のそれぞれの解像度を個別に変換することができる動画像符号化装置を提供することを課題とする。
【００３７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化装置であって、画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段を備え、前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする。
【００３８】
また、本発明の動画像復号化装置は、上記動画像符号化装置において符号化された符号列を復号化する復号化手段と、前記復号化手段によって復号化された量子化係数信号を前記符号列から得られる量子化パラメータに応じて逆量子化することによって変換係数信号を求める逆量子化手段と、前記逆量子化手段によって求められた変換係数信号を逆周波数変換することによって予測誤差画像信号を求める逆周波数変換手段と、前記逆周波数変換手段によって求められた予測誤差画像信号に係る動画像の解像度を変換する解像度変換手段と、前記解像度変換手段によって変換された動画像に係る動画像信号を格納するメモリと、前記メモリに記憶されていた過去の動画像信号と前記量子化パラメータと前記解像度変換手段の変換結果とに基づく予測画像信号を、前記解像度変換手段によって変換された解像度に係る動画像信号に加算する加算手段とを備えることを特徴とする。
【００３９】
さらに、本発明の動画像通信システムは、上記動画像符号化装置と、上記動画像復号化装置とを伝送路で接続してなることを特徴とする。
【００４０】
さらにまた、本発明の動画像符号化方法は、動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化方法であって、画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力し、前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする。
【００４１】
また、本発明の記憶媒体は、上記動画像符号化方法をコンピュータに実行させる命令を含むプログラムを格納したことを特徴とする。
【００４２】
具体的には、本発明の動画像符号化装置は、図１，図９〜図１２に示すように、過去に符号化された画像の局所復号画像信号を記憶するメモリ１０９と、メモリ１０９に記憶されている局所復号画像信号を参照画像として用いてこれと入力された動画像信号と解像度情報とに基づいて解像度の変換に用いる予測パラメータを算出する予測パラメータ算出手段１０１５と、算出された予測パラメータと解像度情報とに基づいて参照画像から予測画像信号を生成する予測画像生成手段１０１０と、入力された動画像信号から予測画像信号を減じて予測誤差画像信号を生成する減算手段１００１と、生成された予測誤差画像信号の解像度を解像度情報によって特定される解像度になるように変換して低解像度予測誤差画像信号を得る解像度変換手段１０２と、得られた低解像度予測誤差画像信号を周波数成分に投影する周波数変換を行い変換係数信号として出力する周波数変換手段１０３と、出力された変換係数信号を量子化パラメータに従って量子化して量子化変換係数信号として出力する量子化手段１０４と、出力された量子化変換係数信号と量子化パラメータと予測パラメータと解像度情報とをそれぞれ可変長符号化して符号列を生成するとともに符号列の長さを表す発生符号量情報を出力する可変長符号化手段１１２と、生成された符号列を一時的に蓄えた後に伝送路に出力するとともにバッファ占有量情報を出力するバッファと、発生符号量情報とバッファ占有量情報とを用いて量子化パラメータを算出する制御部１１１と、量子化変換係数信号を量子化パラメータに従って逆量子化し逆量子化変換係数信号を算出する逆量子化手段１０５と、算出された逆量子化変換係数信号を周波数変換手段で行う変換の逆変換あるいは逆変換を近似する変換を行うことによって低解像度復号予測誤差画像を生成する逆周波数変換手段１０５と、生成された低解像度復号予測誤差画像信号に対して解像度情報で特定される解像度から動画像の解像度へ戻す解像度変換を行うことによって復号予測誤差画像を生成する解像度変換手段１０７と、予測画像と復号予測誤差画像とを加算して局所復号画像を生成する加算手段１０８と、少なくとも量子化パラメータと予測誤差画像信号又は低解像度予測誤差画像信号又は変換係数信号又は逆量子化変換係数信号とを用いて解像度情報を作成する解像度情報作成手段１２０，１３０，１５０，１６０，１７０とを備えている。
【００４３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００４４】
（実施形態１）
［構成の説明］
図１は、本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、入力された動画像信号から予測画像生成手段１０１０で生成された予測画像信号を減算することにより予測誤差画像信号を生成する減算手段１００１と、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を解像度情報作成手段１２０で決定された解像度情報に従って変換することにより低解像度予測誤差画像信号を生成する第１解像度変換手段である解像度変換手段１０２と、解像度変換手段１０２から出力された低解像度予測誤差画像信号をたとえば８×８画素ごとにブロック化して周波数成分等に分解して各成分毎に離散コサイン変換（Discrete Cosine Transform ：以下、ＤＣＴ），アダマール変換，ウェーブレット変換などを行うことにより変換係数信号を求める周波数変換手段１０３と、周波数変換手段１０３から出力された変換係数信号を制御部１１１から出力された量子化パラメータに従って量子化することにより量子化変換係数信号を生成する量子化手段１０４と、量子化手段１０４から出力された量子化変換係数信号をたとえば一次元信号に変換することによって可変長符号化するとともに発生符号量を出力する可変長符号化手段１１２と、可変長符号を蓄積するとともにバッファ占有量を出力するバッファ１１３と、バッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量に応じて符号化制御を行う制御部１１１とを備えている。
【００４５】
また、本実施形態の動画像符号化装置は、制御部１１１から出力された量子化パラメータなどに基づいて次に符号化する動画像の解像度変換に用いる解像度情報を作成する作成手段であるところの解像度情報作成手段１２０と、解像度情報作成手段１２０で作成された解像度情報に従って動画像の解像度を変換する解像度変換手段１０７と、解像度変換手段１０７で解像度変換された動画像と予測画像生成手段１０１０で生成された予測画像信号とを加算して局所画像信号を算出する加算手段１００８と、制御部１１１から出力された量子化パラメータに従って量子化変換手段１０４から出力された量子化変換係数信号を逆量子化する逆量子化手段１０５と、逆量子化手段１０５から出力された逆量子化変換係数信号をたとえばブロック毎に逆周波数変換することによって低解像度復号予測誤差画像信号を生成する逆周波数変換手段１０６と、加算手段１００８から出力された局所復号画像信号を蓄積するメモリ１０９とを備えている。
【００４６】
なお、解像度情報作成手段１２０は、変換係数に対して同じ周波数の変換係数間で二乗平均や絶対値平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１２１と、予測誤差分布算出手段１２１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向とのいずれの解像度を変換するかを選択する選択手段１２２とを備えている。
【００４７】
図２は、図１に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。動画像符号化装置から送信された符号列を受信して可変長復号する可変長復号化手段９０１と、可変長復号化手段９０１で復号化された動画像信号を逆量子化する逆量子化手段９０２と、逆量子化手段９０２で逆量子化された動画像信号を逆ＤＣＴ変換などの逆周波数変換を行う逆周波数変換手段９０３と、逆周波数変換手段９０３で逆周波数変換された動画像信号に係る動画像の解像度を変換する解像度変換手段９０４と、解像度変換手段９０４で解像度変換された動画像と可変長復号化された動画像信号に基づく予測画像信号とを加算する加算手段２００５と、加算結果を記憶するメモリ２０７と、メモリに記憶されている加算結果とに基づいて上記予測画像信号を生成する予測画像信号生成手段２００６とを備えている。
【００４８】
［動作の説明］
次に、図１に示す動画像符号化装置の動作について説明する。動画像符号化装置に動画像信号が入力されると、この動画像信号は、予測パラメータ算出手段１０１５及び減算手段１００１へそれぞれ入力される。また、予測パラメータ算出手段１０１５には、この他に、メモリ１０９に蓄積されている過去に符号化されている動画像信号と解像度情報作成手段１２０から出力された解像度情報も入力される。
【００４９】
予測パラメータ算出手段１０１５は、解像度情報によって定まる大きさの各ブロックごとに動き推定を行い、各ブロックの符号化モード情報及び動きベクトル（以下、符号化モード情報及び動きベクトルを「予測パラメータ」と称する。）を算出し、予測画像生成手段１０１０及び可変長符号化手段１１２へ出力する。
【００５０】
次に、予測画像生成手段１０１０は、メモリ１０９に蓄積されている動画像信号を読み出して、予測パラメータ算出手段１０１５から出力された予測パラメータと解像度情報作成手段１２０から出力された解像度情報とに基づいて、ブロック毎に動き補償を行い、予測画像信号を生成して、加算手段１００８及び減算手段１００１へ出力する。
【００５１】
ここで、解像度情報作成手段１２０から出力された解像度情報は、動画像の水平方向と垂直方向とのいずれを変換するかを制御したり、解像度をどの程度変更するかを制御する情報であり、例えば、解像度変換後の動画像の水平方向又は垂直方向の解像度（サイズ）そのもの、変換前後の動画像の解像度の比率やこれに上記サイズを含めたもの又はこれらの情報を特定するために予め定められたインデックスを用いている。あるいは、現在の解像度から動画像の水平方向、垂直方向のいずれかの解像度を変換させるかを指定する情報であってもよい。
【００５２】
そして、減算手段１００１は、入力された動画像信号から、予測画像信号を減算することによって、予測誤差画像信号を生成して、解像度変換手段１０２へ出力する。
【００５３】
解像度変換手段１０２は、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を、動画像全体あるいは動画像を複数のブロックに分割して各ブロック毎に解像度情報作成手段１２０から出力された解像度情報に従って変換することにより、低解像度予測誤差画像を生成して、周波数変換手段１０３へ出力する。具体的には、解像度変換手段１００２は、解像度変換用の複数のフィルタを有しており、解像度情報に従って水平方向と垂直方向とで個別にフィルタをいくつか選択し、選択したフィルタを用いてフィルタ処理を行うことで、解像度を変換する。
【００５４】
なお、解像度情報作成手段１２０から出力された解像度情報が、動画像の水平方向と垂直方向とのいずれの解像度も変換しない旨の情報である場合もあり、この場合には、解像度変換を行わず、減算手段１００１から出力された予測誤差画像信号をそのまま低解像度予測誤差画像信号として出力する。
【００５５】
また、ブロック毎に解像度変換を行うためには、解像度情報作成手段１２０側で各解像度情報にブロックを特定できるような情報を含めて解像度変換手段１０２へ出力し、解像度変換手段１０２側で解像度を特定できるようにしたり、解像度情報を各分割動画像の水平方向と垂直方向とのそれぞれの解像度を予め定まったルールに従って並べて表現するようにして、解像度変換手段１０２側でどの分割動画像に対応する解像度であるかを特定できるようにしている。
【００５６】
なお、解像度変換は、フレーム毎に行ってもよく、さらにフレームの種別に基づいて行うようにしてもよい。例えば、Ｉフレームの画質は他のフレームの画質にも大きな影響を与えるので、後述する量子化パラメータの閾値Ｑth1の値を大きくするなどしてＩフレームを高解像度に維持する。また、Ｂフレームの画質は多少劣化しても、他の種別のフレームの画質が劣化することがないので、閾値Ｑth1の値を小さくするなどしてＢフレームを低解像度とするようにしてもよい。
【００５７】
周波数変換手段１０３では、解像度変換手段１０２から出力された低解像度予測誤差画像信号を周波数変換することにより変換係数信号を求めて量子化手段１０４及び解像度情報作成手段１２０へ出力する。なお、周波数変換としてＤＣＴを行う場合には、たとえば動画像をブロック毎に分割してから、各ブロック毎にＤＣＴを行い変換係数信号を求める。
【００５８】
量子化手段１０４は、周波数変換手段１０３から出力された変換係数信号を、制御部１１１から出力された量子化パラメータに従って量子化することにより、量子化変換係数信号を生成し、可変長符号化手段１１２及び逆量子化手段１０５へ出力する。ここで、量子化パラメータとは、変換係数の量子化の粗さを定めるパラメータであり、この値が大きいほど量子化幅が長く、粗く量子化される。
【００５９】
可変長符号化手段１１２は、量子化手段１０４から出力された量子化変換係数信号を走査して、たとえば一次元信号に変換してから可変長符号化するとともに、制御部１１１から出力された量子化パラメータ、解像度情報作成手段１２０から出力された解像度情報及び予測パラメータ算出手段１０１５から出力された予測パラメータ情報も同時に可変長符号化して、これらを含む符号列を作成してバッファ１０１３へ出力するとともに、出力した符号列の長さを表す発生符号量を制御部１１１及び選択手段１２２へ出力する。
【００６０】
バッファ１０１３は、可変長符号化手段１１２から出力された符号列を速度平滑化するためにこれを蓄積し、伝送路速度に整合化してから伝送路及び制御部１１１へ出力する。そして、バッファ占有量情報を制御部１１１及び解像度情報作成手段１２０へ出力する。
【００６１】
制御部１１１は、可変長符号化手段１１２から出力された発生符号量とバッファ１０１３から出力されたバッファ占有量情報とに基づいて、量子化パラメータを算出して、量子化手段１０４、選択手段１２２、逆量子化手段１０５及び可変長符号化手段１１２へそれぞれ出力する。
【００６２】
解像度情報作成手段１２０は、後述するように、少なくとも制御部１１１から出力された量子化パラメータと周波数変換手段１０３から出力された変換係数信号とに基づいて、次に符号化する動画像の水平方向と垂直方向とのいずれの解像度を変換するかを示す解像度情報を作成して、解像度変換手段１０２、解像度変換手段１０７、可変長符号化手段１１２、予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力する。
【００６３】
一方、逆量子化手段１０５は、量子化手段１０４から出力された量子化変換係数信号を、制御部１１１から出力された量子化パラメータに従って逆量子化することによって逆量子化変換係数信号を生成し、逆周波数変換手段１０６へ出力する。すなわち、逆量子化手段１０５は、量子化手段１０４において量子化の際に用いた量子化パラメータと同じ量子化パラメータを用いて逆量子化を行う。
【００６４】
逆周波数変換手段１０６は、逆量子化手段１０５から出力された逆量子化変換係数信号を、周波数変換手段１０３で行った変換の逆変換を行うことによって、低解像度復号予測誤差画像信号を生成し、解像度変換手段１０７へ出力する。
【００６５】
解像度変換手段１０７は、逆周波数変換手段１０６から出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１２０から出力された解像度情報に基づいて変換することによって、復号予測誤差画像信号を生成し、加算手段１００８へ出力する。すなわち、復号予測誤差画像信号に係る動画像の解像度は、動画像符号化装置に入力された動画像信号に係る解像度と同じであり、解像度変換手段１０７における解像度変換は、解像度変換手段１０２で変更された解像度を元に戻すために行われる。たとえば、解像度変換手段１０２で、ＣＩＦ解像度からＱＣＩＦ解像度に変換された場合には、解像度変換手段１０７では、ＱＣＩＦ解像度からＣＩＦ解像度へ変換する。
【００６６】
加算手段１００８は、予測画像生成手段１０１０から出力された予測画像信号に、解像度変換手段１０７から出力された復号予測誤差画像信号を加算することによて、局所復号画像信号を生成し、メモリ１０９に蓄積する。
【００６７】
メモリ１０９は、メモリ１０９に蓄積された局所復号画像信号を、予測パラメータを算出する際に、予測パラメータ算出手段１０１５へ出力する。
【００６８】
次に、解像度情報作成手段１２０の動作を説明する。解像度情報作成手段１２０では、周波数変換手段１０３から出力された変換係数情報を、予測誤差分布算出手段１２１によって同じ周波数間で二乗平均や絶対値平均などの統計処理を行い各周波数における変換係数の平均値を求め、予測誤差分布情報として選択手段１２２へ出力する。
【００６９】
選択手段１２２は、予測誤差分布算出手段１２１から出力された予測誤差分布情報と、たとえば制御部１１１から出力された量子化パラメータとに基づいて、動画像の水平方向と垂直方向とのいずれの解像度を変換するかを選択して、可変長符号化手段１１２，解像度変換手段１０７，１０２及び予測パラメータ算出手段１０１５へそれぞれ出力する。なお、解像度変換する方向は、制御部１１１から出力された量子化パラメータだけでなく、バッファ１０１３から出力されたバッファ占有量情報や可変長符号化手段１１２から出力された発生符号量を用いて選択することもできる。
【００７０】
具体的には、選択手段１２２は、量子化パラメータなどを用いて解像度の変更の有無を決定する。そして、解像度を変更させると決定した場合には、予測誤差分布算出手段１２１からの各周波数における変換係数の平均値に基づいて、動画像の水平方向と垂直方向とのいずれの解像度を変換するかを決定する。
【００７１】
なお、本実施形態では、たとえば動画像の水平方向の解像度を変換する場合には、動画像の水平方向に対しては、その解像度をたとえば１／２とさせるような情報を作成するとともに、動画像の垂直方向に対しては解像度を変換させないような情報を作成するようにしている。
【００７２】
図３は、図１の選択手段１２２の動作を説明するための遷移図である。図３において、楕円内の数字は、動画像の水平方向と垂直方向との解像度に基づくインデックスを意味している。ここでは、楕円内の数字が±１又は０になるように遷移するようにしており、たとえば（ｍ，ｎ）＝（０，０）から（ｍ，ｎ）＝（０，１）へ遷移することは、動画像の垂直方向の解像度だけをたとえば１／２だけ低下させることを意味している。このように、ｍ，ｎの値が大きくなるにつれ、解像度が低下するようにしている。
【００７３】
なお、本実施形態では、解像度を１／２とする場合を例としているが、一般的には、たとえば解像度を以下のようにすることができる。すなわち、動画像の水平方向と垂直方向との解像度は、それぞれｍ，ｎの関数で表現できるので、動画像の水平方向の解像度をｒh（ｍ）、垂直方向の解像度をｒv（ｎ）とすると、ｒh（ｍ）、ｒv（ｎ）は、
ｒh（ｍ）＝αm
ｒv（ｎ）＝αn  （但し、０＜α＜１とする。）
とすることができる。
【００７４】
また、図３では、［ｍ＋ｎ］を解像度レベルｋと定義して、解像度レベルｋが等しい領域を破線で区切っている。解像度レベルｋが等しい領域では、動画像に係る画素の総数が同数になるので動画像の解像度は同じになる。
【００７５】
但し、ｒh（ｍ），ｒv（ｎ）は、それぞれαのべき乗ではなくてもよく、たとえばｒh（０）＝１，ｒh（１）＝２／３，ｒh（２）＝１／２，ｒh（３）＝１／３，ｒh（４）＝１／４とし、ｒv（ｎ）もこれと同様に設定してもよい。この場合ｋの値が同じでも、ｍ，ｎの組み合わせにより画素数が完全には一致しないが、ｋが等しい状態間では近い値になり、ほぼ同等の解像度と見なすことができる。
【００７６】
図４は、図１の選択手段１２２の動作を示すフローチャートである。図５，図６は、それぞれ図４のステップＳ３００５，Ｓ３００６の手順を示すフローチャートである。以下、遷移前の解像度レベルｋをｋ0として説明する。
【００７７】
まず、選択手段１２２は、制御部１１１から出力されたブロック毎の量子化パラメータなどを用いて、動画像内での量子化パラメータの平均値Ｑaveを算出する（ステップＳ３００１）。つづいて、動画像内での量子化パラメータの平均値Ｑaveと解像度レベルｋがｋ0の場合の閾値Ｑth1（ｋ0）との大小を比較し（ステップＳ３００２）し、ＱaveがＱth1（ｋ0）より大きい場合にはステップＳ３００５へ移行し、そうでなければステップＳ３００３へ移行する。
【００７８】
ステップＳ３００３では、解像度レベルｋがｋ0の場合の閾値Ｑth0（ｋ0）と動画像内での量子化パラメータの平均値Ｑaveとの大小を比較し、さらに、解像度変更を行わない動画像の数、すなわち図３において元の楕円に遷移した回数（Count）と所定の閾値Ｃthとの大小を比較する。そして、Ｑaveが、Ｑth1（ｋ0）よりも小さい場合であって、CountがＣthより大きい場合には、ステップＳ３００６へ移行し、そうでなければステップＳ３００４へ移行する。
【００７９】
なお、ここでは、解像度変換が頻繁にされすぎたり、逆にほとんどされないような事態が生じないように、閾値Ｃthを、たとえば過去の解像度変換が行われる程度に応じて設定している。すなわち、解像度変換が頻繁にされる場合には、閾値Ｃthの値を大きくして、Countが増えるようにする。一方、解像度変換がほとんどされない場合には、閾値Ｃthの値を小さくして、Countが増えないようにしている。なお、閾値Ｑth（ｋ0）などの値を変えて、Countを制御してもよい。
【００８０】
ステップＳ３００４では、Countに１を加える。こうして、図４に示す手順を終了する。なお、Countは、動画像の解像度を変更させた後に、すぐに直前の解像度に戻すことにより、解像度変換が頻繁に行われて画質の低下などが生じないようにするために用いている。
【００８１】
一方、ステップＳ３００５に移行した場合には、解像度を低下させる処理を行う。具体的には、図５に示すように、まず、ステップＳ３１０１において、図３の遷移図上で、遷移元が一番右下の楕円であるかどうかを判定する。具体的には、ｍ＝Ｍ−１かつｎ＝Ｎ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０９へ移行し、そうでなければステップＳ３１０２へ移行する。
【００８２】
ステップＳ３１０９に移行したということは、動画像の水平方向と垂直方向とのいずれの解像度も低下させることができないのでCount値に１を加える。こうして、図４に示す手順を終了する。
【００８３】
一方、ステップＳ３１０２に移行した場合には、まだ動画像の水平方向と垂直方向とのいずれかの解像度を低下させることができるので、いずれの方向の解像度を低下させることができるか判定するために、図３の遷移図上で、遷移元が一番右列の楕円であるかどうかを判定する。具体的には、ｍ＝Ｍ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０６へ移行し、そうでない場合には、ステップＳ３１０３へ移行する。
【００８４】
ステップＳ３１０３では、図３の遷移図上で、遷移元が一番下行の楕円であるかどうかを判定する。具体的には、ｎ＝Ｎ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０８へ移行し、そうでなければステップＳ３１０４へ移行する。なお、ステップＳ３１０２とステップＳ３１０３とで行う処理の順序を互いに入れ替えて、先に遷移元が一番下行の楕円であるかどうかを判定し、それから遷移元が一番右列の楕円であるかどうかを判定してもよい。
【００８５】
ステップＳ３１０４では、予測誤差分布算出手段１２１からの各周波数における変換係数の平均値を用いて、右側の楕円に遷移させたと仮定したときに、解像度変換手段１０２から出力される低解像度予測誤差画像信号の電力が現在の解像度状態の場合よりもどれだけ損失するかを表す損失電力Ｐh、下側の楕円に遷移させたと仮定したときに、低解像度予測誤差画像信号の電力が現在の解像度状態の場合よりもどれだけ損失するかを表す損失電力Ｐv及び水平方向と垂直方向とのいずれの解像度を低下させるべきかの選択に用いる閾値Ｐth（ｍ，ｎ）算出して、ステップＳ３１０５へ移行する。
【００８６】
なお、閾値Ｐth（ｍ，ｎ）は、本実施形態では、たとえば［ｍ−ｎ＝０］若しくは［ｍ−ｎ＝１］、すなわち水平方向の解像度と垂直方向の解像度との比が、１：１又は２：１若しくは１：２になるようにして、動画像の水平方向と垂直方向とで、極端に解像度が異ならないようにしている。これにより、画質が劣化することを防ぐことができる。なお、たとえば閾値Ｐth（ｍ，ｎ）≡１とすると、Ｐh／Ｐvのみによって遷移が決まる。閾値Ｐth（ｍ，ｎ）を算出する手法については後述する。
【００８７】
ステップＳ３１０５では、動画像の水平方向と垂直方向との、解像度変換による予測誤差画像信号の損失電力の少ない方の解像度を低下させるために、算出した損失電力ＰhとＰvとの比であるＰh／Ｐvと閾値Ｐth（ｍ，ｎ）との大小を比較して、Ｐh／Ｐvが閾値Ｐth（ｍ，ｎ）よりも小さい場合には、ステップＳ３１０８へ移行し、そうでなければステップＳ３１０６へ移行する。
【００８８】
図７（ａ）は、隣接している楕円へ遷移させる場合のＱaveと閾値Ｑth0（ｋ0）等との関係を示す図である。図７（ｂ）は、後述する隣接していない楕円へ遷移させる場合のＱaveと閾値Ｑth0（ｋ0）等との関係を示す図である。
【００８９】
図７（ａ）を用いて図４のステップＳ３００２，ステップＳ３００３及び図５のステップＳ３１０５の動作について説明を捕捉すると、まず、Ｑaveの値と閾値Ｑth0（ｋ0）又はＱth1（ｋ0）との大小を比較して、解像度レベルｋがｋ0からｋ0へ遷移するのか、ｋ0＋１又はｋ0−１へ遷移するかを求める。次に、解像度レベルｋがｋ0からｋ0＋１又はｋ0−１へ遷移する場合には、Ｐh／Ｐvの値と閾値Ｐth（ｍ，ｎ）との大小を比較して、解像度レベルｋがｋ0＋１とｋ0−１とのいずれに遷移するかを決定する。
【００９０】
また、ステップＳ３１０８では、ｍに１を加え、さらに、後に説明するDirection(k)の値を１とすることによって、動画像の水平方向の解像度を低下させる解像度情報を作成してステップＳ３１０７へ移行する。ステップＳ３１０６では、ｎに１を加え、さらに、Direction(k)の値を０とすることによって、動画像の垂直方向の解像度を低下させる解像度情報を作成してステップＳ３１０７へ移行する。ステップＳ３１０７では、解像度レベルｋに１を加え、Countの値をリセットする。こうして、図５に示す処理を終了する。
【００９１】
ここで、Direction(k)は、それぞれ解像度レベルｋに１を加えたときに動画像の水平方向と垂直方向とのいずれの解像度を低下させる解像度情報を作成したかという履歴を生成するためのものであり、動画像の水平方向の解像度を低下させる解像度情報を作成した場合には、たとえばDirection(k)の値を１とし、動画像の垂直方向の解像度を低下させる解像度情報を作成した場合には、たとえばDirection(k)の値を０にすることで、遷移状態の履歴を生成する。生成した履歴は、後の処理で解像度を元に戻す際に用いる。
【００９２】
つぎに、閾値Ｐth（ｍ，ｎ）を算出する手法について説明する。まず、閾値Ｐth（ｍ，ｎ）を、
Ｐth（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｒh（ｍ）−ｒv（ｎ））ｄ（ｒh（ｍ），ｒv（ｎ）））  …（１）
とおく。ここで、関数ｆ（ｘ）はｆ（０）＝１を満たす単調非減少関数としており、またｄ（ｘ，ｙ）はｘとｙとの距離を示す関数、Ｓｉｇｎ（ｘ）は［ｘ≧０］の場合に１、［ｘ＜０］の場合に−１を満たす関数としている。
【００９３】
特に、［ｒh（ｉ）＝ｒv（ｉ）］が成り立つ場合には、数式（１）において、Ｓｉｇｎ（ｒh（ｍ）−ｒv（ｎ））に代えて、Ｓｉｇｎ（ｎ−ｍ）を用い、ｄ（ｒh（ｍ），ｒv（ｎ））に代えてｄ（ｍ，ｎ）を用いると、
Ｐth（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｎ−ｍ）ｄ（ｍ，ｎ））   …（２）
が得られるが、数式（２）を用いて閾値Ｐth（ｍ，ｎ）を算出してもよい。
【００９４】
また、例えば、ａを正の定数として、
ｆ（ｔ）＝ｅｘｐ（ａｔ）  …（３）
ｄ（ｘ，ｙ）＝｜ｘ−ｙ｜  …（４）
とおき、数式（３），（４）を数式（２）に代入すると、
Ｐth（ｍ，ｎ）＝ｅｘｐ（ａ（ｎ−ｍ））  …（５）
が得られる。
【００９５】
図８は、数式（５）を対数スケールで示す図である。図８に示すように、横軸を［ｎ−ｍ］とし、縦軸を［ｌｏｇＰth（ｍ，ｎ）］とすると、
ｌｏｇＰth（ｍ，ｎ）＝ａ（ｎ−ｍ）
が成立する。
【００９６】
次に、図４のステップＳ３００６に移行した場合の動作について図６を用いて説明する。まず、ステップＳ３２０１において、図３の遷移図上で、遷移元が一番左上の楕円であるかどうかを判定する。具体的には、ｍ＝０かつｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３２０７へ移行し、そうでなければステップＳ３２０４へ移行する。
【００９７】
ステップＳ３２０７では、解像度をもう上げることができないのでCountに１を加えて、図５に示す手順を終了する。一方、ステップＳ３２０４では、動画像の水平方向又は垂直方向の解像度をまだ上げることができるのでDirection(k-1)の値が１であるかどうかを判定し、判定の結果、Direction(k-1)の値が１である場合には、ステップＳ３２０８へ移行し、そうでなければステップＳ３２０５へ移行する。
【００９８】
ここで、図５のステップＳ３１０６で説明したように、解像度レベルｋに１が加えられるときには、動画像の水平方向の解像度を低下させる解像度情報を作成したことを意味するため、Direction(k-1)が１の場合には、現在の遷移元から、動画像の水平方向の解像度を上げさせるような解像度情報を作成し、一方、Direction(k-1)が１でない場合には、動画像の垂直方向の解像度を上げさせるような解像度情報を作成している。
【００９９】
ステップＳ３２０８では、ｍから１を減らすことによって、動画像の水平方向の解像度を上げさせるような解像度情報を作成してステップＳ３２０６へ移行する。一方、ステップＳ３２０５では、ｎから１を減らすことによって、動画像の垂直方向の解像度を上げさせるような解像度情報を作成してステップＳ３２０６へ移行する。ステップＳ３２０６では、ｋから１を減して、さらにCountをリセットして、図６に示す処理を終了する。
【０１００】
つぎに、図３〜図６を用いつつ具体的な解像度を決定する手法について説明する。初期状態を［ｍ＝ｎ＝０］としておき、この状態で、制御部１１１から出力された量子化パラメータなどを用いて、（ｍ，ｎ）＝（０，１）又は（１，０）の楕円に遷移するのか、又は（ｍ，ｎ）＝（０，０）の楕円に遷移するのかを算出する。
【０１０１】
そして、解像度を低下させる解像度情報を作成する場合には、画像予測誤差分布算出手段１２１から出力の各周波数における変換係数の平均値に基づいて、動画像の水平方向と垂直方向とのいずれの解像度を低下させる解像度情報を作成するかを算出する（ステップＳ３１０５）。
【０１０２】
一方、初期状態をｍ＝ｎ＝０としていても、何度目かの解像度の変更時には、解像度を上げさせる解像度情報を作成する場合もある（ステップＳ３００３）。この場合には、解像度を低下させる解像度情報を作成したときの状態遷移の経路を逆行することにより解像度を上げさせる解像度情報を作成している。このような手順の繰り返すことによって、各動画像ごとに水平方向又は垂直方向の解像度が変換できるように解像度情報を作成している。
【０１０３】
なお、制御部１１１から出力された量子化パラメータと予測誤差分布算出手段１２１から出力された予測誤差分布情報とに加え、たとえば発生符号量も用いて解像度を決定する場合には、図４のステップＳ３００２及びステップＳ３００３において、それぞれＱaveと発生符号量との積と、閾値Ｑth0（ｋ0）及びＱth1（ｋ0）との大小を比較するようにすればよい。
【０１０４】
さらに、バッファ占有量情報も用いて解像度を決定する場合には、図４のステップＳ３００２及びステップＳ３００３において、それぞれＱaveと発生符号量とバッファ占有量との積と、閾値Ｑth0（ｋ0）及びＱth1（ｋ0）との大小を比較するようにすればよい。
【０１０５】
以上、本実施形態では、図３において隣接している楕円へ遷移する場合を例に説明したが、ＱaveとＰh／Ｐvに対する閾値とをそれぞれ複数設定することにより、隣接していない楕円へ遷移させてもよい。
【０１０６】
図７（ｂ）に示すように、まず、Ｑaveの値とたとえば各閾値Ｑth-2（ｋ0）〜Ｑth3（ｋ0）との大小を比較して、解像度レベルｋがｋ0からｋ0へ遷移するのか、ｋ0以外のｋ0＋３〜ｋ0−３のいずれかへ遷移するかを求める。すなわち、求めた解像度レベルｋの変位量をｐとすると、変位量ｐが０かどうかを求める。
【０１０７】
つぎに、解像度レベルｋがｋ0以外のｋ0＋３〜ｋ0−３のいずれかへ遷移する場合、すなわち、変位量ｐが０でない場合には、解像度レベルｋがｋ0＋ｐのいずれかへ遷移するということを決定する。
【０１０８】
つづいて、解像度レベルｋがｋ0＋ｐの楕円のうち、いずれの楕円に遷移するかを決定する。具体的には、各楕円の遷移した場合に解像度変換手段１０２への入力信号の電力損失を算出して、基本的には、算出した値が最小になる楕円を遷移先と決定する。但し、動画像の水平方向と垂直方向との各解像度が極端に異ならないようにするために、［ｍ−ｎ］の差に従って各算出値に重み付けをするようにしている。
【０１０９】
この重み付けは、たとえば、数式（１）の関数ｆ（ｘ），ｄ（ｘ，ｙ）を用いて、
ｆ（ｄ（ｍ，ｎ））
によって、算出した数値を用いればよい。
【０１１０】
ここで、ｐ＜０の場合、すなわち、解像度を上げさせるような解像度情報を作成する場合には、動画像の水平方向と垂直方向との解像度の差が最も小さい状態のうちいずれかに遷移するようにする。なお、隣接していない楕円へ遷移させる場合には、解像度情報作成手段１２０において、解像度そのものを含む解像度情報が作成される。
【０１１１】
次に、図２の動画像復号化装置の動作について説明する。動画像復号化装置は、動画像符号化装置から送信された符号列を受信して可変長復号化手段９０１へ出力する。
【０１１２】
可変長復号手段９０１は、出力された符号列に対して可変長復号を行うことにより、量子化変換係数信号、量子化パラメータ、予測パラメータ及び解像度情報を復号化し、量子化変換係数信号を逆量子化手段９０２へ出力し、予測パラメータを予測画像生成手段２００６へ出力し、解像度情報を解像度変換手段９０４及び予測画像生成手段２００６へ出力し、量子化パラメータを逆量子化手段９０２へ出力する。
【０１１３】
逆量子化手段９０２は、図１に示した逆量子化手段１００５と同様に、出力された量子化変換係数信号に対し、同じく出力された量子化パラメータに基づいて逆量子化を行うことによって取得した逆量子化変換係数信号を逆周波数変換手段９０３へ出力する。
【０１１４】
逆周波数変換手段９０３は、図１に示した逆周波数変換手段１００６と同様に、出力された逆量子化変換係数信号を逆周波数変換することにより低解像度復号予測誤差画像信号を生成して、解像度変換手段９０４へ出力する。
【０１１５】
解像度変換手段９０４は、図１に示した解像度変換手段１００７と同様に、出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度変換情報によって特定された解像度から元の動画像の解像度に戻すように変換して得られる、復号予測誤差画像信号を加算手段２００５へ出力する。
【０１１６】
加算手段２００５は、図１に示した加算手段１００８と同様に、出力された復号予測誤差画像信号に予測画像生成手段２００６から出力されている予測画像信号を加算して得られた動画像信号をメモリ２０７及び外部に出力する。
【０１１７】
メモリ２０７は、図１に示したメモリ１０９と同様に、加算手段２００５から出力された動画像信号を一時的に蓄積し、予測画像信号を生成する際に予測画像生成手段２００６へ出力する。
【０１１８】
予測画像生成手段２００６は、図１に示した予測画像生成手段１０１０と同様に、メモリ２０７から出力された動画像信号を用いて、可変長復号手段９０１から出力されている予測パラメータと解像度情報とに基づいて予測画像信号を生成して加算手段２００５へ出力する。
【０１１９】
（実施形態２）
図９は、本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。図９において、１５０は逆量子化手段１０５から出力された逆量子化変換係数信号と制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２０】
解像度情報作成手段１５０は、逆量子化手段１０５から出力された逆量子化変換係数信号に対して同じ周波数の逆量子化変換係数信号間で二乗平均などの統計処理を行うことにより各周波数に対する逆量子化変換係数信号の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１５１と、予測誤差分布算出手段１５１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１５２とを備えている。なお、図９において図１と同様の部分には同一符号を付している。
【０１２１】
また、図９に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、解像度情報作成手段１５０に備えている予測誤差分布算出手段１５１は、逆量子化変換係数信号の平均値を算出している。なお、この算出結果には、符号化歪みが含まれるため、実際の周波数分布とは異なるが、それに近い分布が得られるので、それを用いて次に符号化する動画像の解像度の変換に用いる解像度情報を作成している。
【０１２２】
（実施形態３）
図１０は、本発明の実施形態３の動画像符号化装置の構成を示すブロック図である。図１０において、１３０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２３】
解像度情報作成手段１３０は、解像度変換手段１０２から出力された低解像度予測誤差画像信号から、方向毎にアクティビティ（交流電力成分）を求めて、これを方向別予測誤差推定情報として出力する方向別予測誤差推定手段１３１と、方向別予測誤差推定手段１３１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段選択手段１３２とを備えている。なお、図１０において図１と同様の部分には同一符号を付している。
【０１２４】
また、図１０に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、選択手段１３２は、方向別予測誤差推定手段１３１から出力された方向別予測誤差推定情報に基づいて解像度を選択し、具体的には、アクティビティの振幅の小さい方向の解像度を変換するようにしている。
【０１２５】
（実施形態４）
図１１は、本発明の実施形態４の動画像符号化装置の構成を示すブロック図である。図１１において、１６０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２６】
解像度情報作成手段１６０は、低解像度予測誤差画像信号を周波数成分に射影する周波数変換を行うことによって第２の変換係数信号を生成する周波数変換手段１６３と、周波数変換手段１６３で生成された第２の変換係数信号を変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１６１と、予測誤差分布算出手段１６１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１６２とを備えている。なお、図１１において図１と同様の部分には同一符号を付している。
【０１２７】
周波数変換手段１６３では、周波数変換手段１０３と同様の手法によって周波数変換を行っても異なる手法によって周波数変換を行ってもよく、例えば、周波数変換手段１０３ではＤＣＴを行い、周波数変換手段１６３ではＤＦＴ（離散フーリエ変換）を行ってもよい。
【０１２８】
また、図１１に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、予測誤差分布算出手段１６１では、周波数変換手段１６３から出力された第２の変換係数信号に基づいて予測誤差分布を求め、予測誤差分布情報として出力する。選択手段１６２では、予測誤差分布算出手段１６１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて解像度を決定するようにしている。
【０１２９】
（実施形態５）
図１２は、本発明の実施形態５の動画像符号化装置の構成を示すブロック図である。図１２において、１７０は減算手段１００１から出力された予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１３０】
解像度情報作成手段１７０は、予測誤差画像信号の周波数変換を行うことにより第３の変換係数信号を生成する周波数変換手段１７３と、周波数変換手段１７３で生成された第３の変換係数信号を変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１７１と、予測誤差分布算出手段１７１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１７２とを備えている。なお、図１２において図１と同様の部分には同一符号を付している。
【０１３１】
また、図１２に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、図５のステップＳ３１０４においてＰh及びＰvの値を算出せず、入力された動画像信号に係る動画像の解像度を変換したときの各電力損失を求めている。具体的には、後に図１３のステップＳ３３０４で説明する処理と同じで、インデックス（ｍ，ｎ）がインデックス（ｍ＋１，ｎ）及び（ｍ，ｎ＋１）で表せる解像度に変換した際の、インデックス（０，０）を基準とした電力損失を算出して、この算出結果に基づいて解像度を変換する方向を決定している。
【０１３２】
また、図１２に示す動画像符号化方式の場合、図６を用いて説明した手法の他に、以下説明する図７に示す手法によって解像度を上げてもよい。なお、図１３に示す手法を用いる場合には、Direction(k)の値を記憶する（ステップＳ３１０６，Ｓ３１０８）という動作が不要となる。
【０１３３】
図１３は、図１２に示す動画像符号化装置における解像度を上げる動作を説明するフローチャートであり、図６に相当するものである。まず、ステップＳ３３０１において、図３の遷移図上で、遷移元が一番左上の楕円であるかどうかを判定する。具体的には、ｍ＝０かつｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０９へ移行し、そうでなければステップＳ３３０２へ移行する。
【０１３４】
ステップＳ３３０９では、解像度をもう上げることができないのでCountに１を加えて、図１３に示す手順を終了する。一方、ステップＳ３３０２では、動画像の水平方向又は垂直方向の解像度をまだ上げることができるので、いずれの方向の解像度を低下させることができるか判定するために、図３の遷移図上で、遷移元が一番左列の楕円であるかどうかを判定する。具体的には、ｍ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０６へ移行し、そうでない場合には、ステップＳ３３０３へ移行する。
【０１３５】
ステップＳ３３０３では、図３の遷移図上で、遷移元が一番上行の楕円であるかどうかを判定する。具体的には、ｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０８へ移行し、そうでなければステップＳ３３０４へ移行する。なお、ステップＳ３３０２とステップＳ３３０３とで行う処理の順序を互いに入れ替えて、先に遷移元が一番上行の楕円であるかどうかを判定し、それから遷移元が一番左列の楕円であるかどうかを判定してもよい。
【０１３６】
ステップＳ３３０４では、予測誤差分布算出手段１２１から出力された予測誤差分布情報を用いて、インデックス（ｍ，ｎ）を、（ｍ＋１，ｎ）又は（ｍ，ｎ＋１）で表せる解像度に変換した際の、（ｍ，ｎ）＝（０，０）に対する水平方向の電力損失Ｐ’h、垂直方向の電力損失Ｐ’v及び水平方向と垂直方向とのいずれの解像度を上げるべきかの決定に用いる閾値Ｐ’th（ｍ，ｎ）を算出して、ステップＳ３３０５へ移行する。
【０１３７】
なお、閾値Ｐ’th（ｍ，ｎ）は、図５のステップＳ３１０４で算出する閾値Ｐth（ｍ，ｎ）と同様に算出する。簡単には、閾値Ｐ’th（ｍ，ｎ）＝閾値Ｐth（ｍ，ｎ）としてもよい。
【０１３８】
ステップＳ３３０５では、動画像の水平方向と垂直方向との、解像度変換による損失電力の少ない方の解像度を低下させるために、算出した損失電力Ｐ’vとＰ’hとの比であるＰ’v／Ｐ’hと閾値Ｐ’th（ｍ，ｎ）との大小を比較して、Ｐ’v／Ｐ’hが閾値Ｐ’th（ｍ，ｎ）よりも大きい場合には、ステップＳ３３０８へ移行し、そうでなければステップＳ３３０６へ移行する。
【０１３９】
ステップＳ３３０８では、ｍから１を減らすことによって、動画像の水平方向の解像度を上げさせる解像度情報を作成してステップＳ３３０７へ移行する。ステップＳ３３０６では、ｎから１を減らすことによって垂直方向の解像度を上げさせる解像度情報を作成してステップＳ３３０７へ移行する。ステップＳ３１０７では、解像度レベルｋから１を減らして、Countの値をリセットする。こうして、図１３に示す処理を終了する。
【０１４０】
なお、本実施形態においても、図７（ｂ）を用いて説明したように、図３における隣接しない楕円に遷移するようにしてもよい。この場合において、ｐ＜０のとき、すなわち、解像度を上げるような解像度情報を作成するときには、算出したＰ’h及びＰ’vに基づいて遷移するようすればよい。
【０１４１】
（実施形態６）
図１４は、本発明の実施形態６の動画像符号化装置の構成を示すブロック図である。図１４において、２２１は周波数変換手段１０３から出力された変換係数信号と、逆量子化手段１０５から出力された逆量子化変換係数信号とに基づいて算出した量子化によって生じた量子化誤差の統計処理を行うことによって、量子化誤差の大きさを表す統計量を算出して、量子化誤差情報として解像度情報作成手段２２０へ出力する量子化誤差算出手段である。
【０１４２】
また、２２０は周波数変換手段１０３から出力された変換係数信号と制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１４３】
解像度情報作成手段２２０は、変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段２２１と、予測誤差分布算出手段２２１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段２２２とを備えている。なお、図１４において図１と同様の部分には同一符号を付している。
【０１４４】
図１４に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、量子化誤差算出手段２２１は、周波数変換手段１０３から出力された変換係数信号と逆量子化手段１０５から出力された逆量子化変換係数信号とをそれぞれ入力して、これらの信号を差分することによって、量子化によって生じたブロック毎の量子化誤差を算出する。さらに、算出した各量子化誤差から例えば二乗平均値や絶対値平均値に基づく量子化誤差電力などの統計量を算出するために統計処理を行って、算出した統計量を量子化誤差情報として解像度情報作成手段２２０へ出力する。
【０１４５】
解像度情報作成手段２２０では、選択手段２２２によって、量子化誤差算出手段２２１から出力された量子化誤差情報と周波数変換手段１０３から出力された変換係数信号とに基づいて、将来符号化する動画像の解像度が決定され、解像度情報として、解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力される。
【０１４６】
図１５は、図１４の選択手段２２２の動作を示すフローチャートであり、図４に相当するものである。現在の解像度の状態における解像度レベルｋの値がｋ1である場合には、図１５に示すように、まず、解像度レベルｋがｋ1の場合の量子化誤差情報Ｅと量子化誤差情報Ｅの閾値Ｅth1（ｋ1）との大小を比較し（ステップＳ３５０２）、ＥがＥth1（ｋ1）より大きい場合には、ステップＳ３５０５へ移行し、そうでなければステップＳ３５０３へ移行する。なお、ステップＳ３５０５における処理は、図５と同様としている。
【０１４７】
ステップＳ３５０３では、量子化誤差情報Ｅと閾値Ｅth0（ｋ1）との大小を比較し、さらに、解像度を変更しない動画像の数、すなわち図３で元の楕円に遷移した回数（Count）と所定の閾値ｃthとの大小を比較する。そして、ＥがＥth0（ｋ1）より小さい場合であって、Countがｃthより大きい場合には、ステップＳ３５０６へ移行し、そうでなければステップＳ３５０４へ移行する。なお、ステップＳ３５０６における処理は、図６と同様としている。
【０１４８】
また、ステップＳ３５０４では、Countに１を加える。こうして、図１５に示す処理を終了する。なお、Countは、実施形態１と同様に、動画像の解像度を変更させた後に、すぐに直前の解像度に戻さないように制御するために用い、解像度間のばたつきが生じないようにしている。
【０１４９】
（実施形態７）
図１６は、本発明の実施形態７の動画像符号化装置の構成を示すブロック図である。図１６において、２５０は逆量子化手段１０５から出力された逆量子化変換係数信号と量子化誤差算出手段２２１とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５０】
解像度情報作成手段２５０は、逆量子化手段１０５から出力された逆量子化変換係数信号に対して同じ周波数の逆量子化変換係数信号間で二乗平均などの統計処理を行うことにより各周波数に対する逆量子化変換係数信号の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段２５１と、予測誤差分布算出手段２５１から出力された予測誤差分布と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて動画像の水平方向と垂直方向とのいずれの解像度を変更するかを選択する選択手段２５２とを備えている。
【０１５１】
図１６に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、解像度情報作成手段２５０では、逆量子化手段１０５から出力された逆量子化変換係数信号を用いて予測誤差画像信号の周波数分布を算出して、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５２】
（実施形態８）
図１７は、本発明の実施形態８の動画像符号化装置の構成を示すブロック図である。図１７において、２３０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５３】
解像度情報作成手段２３０は、図１０で説明した方向別予測誤差推定手段１３１と同様の方向別予測誤差推定手段２３１と、方向別予測誤差推定手段２３１から出力された方向別予測誤差推定情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２３２とを備えている。なお、図１７において図１４と同様の部分には同一符号を付している。
【０１５４】
図１７に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２３２では、量子化誤差算出手段２２１から出力された量子化誤差情報と方向別予測誤差推定手段２３１から出力された方向別予測誤差推定情報を用いて解像度を選択し、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５５】
（実施形態９）
図１８は、本発明の実施形態９の動画像符号化装置の構成を示すブロック図である。図１８において、２６０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５６】
解像度情報作成手段２６０は、図１１で説明した周波数変換手段１６３及び予測誤差分布算出手段１２１と、予測誤差分布算出手段１２１から出力された方向別予測誤差推定情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２６２とを備えている。
【０１５７】
図１８に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２６２では、量子化誤差算出手段２２１から出力された量子化誤差情報と、予測誤差分布算出手段１６１から出力された予測誤差分布情報とに基づいて解像度を選択し、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５８】
（実施形態１０）
図１９は、本発明の実施形態１０の動画像符号化装置の構成を示すブロック図である。図１９において、２７０は減算手段１００１から出力された予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５９】
解像度情報作成手段２７０は、図１２で説明した周波数変換手段１６３及び予測誤差分布算出手段１６１と、予測誤差分布算出手段１６１から出力された予測誤差分布情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２７２とを備えている。
【０１６０】
図１９に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２７２では、量子化誤差算出手段２２１から出力された量子化誤差情報と、予測誤差分布算出手段１６１から出力された予測誤差分布情報とを用いて、解像度を選択して、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１６１】
以上、本発明の各実施形態で説明した動画像符号化装置の動作を実現できるプログラムを、ＣＤ−ＲＯＭやフロッピーディスク、不揮発性メモリカードなどの記憶媒体に記憶し、記憶媒体に記憶しているプログラムをコンピュータによって読み取り実行するようにしてもよい。
【０１６２】
【発明の効果】
以上説明したように、本発明によると、動画動の水平方向と垂直方向とで個別に解像度を変換することができるので、動画像の画質を向上することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。
【図２】図１に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【図３】図１の選択手段の動作を説明するための遷移図である。
【図４】図１の選択手段の動作を示すフローチャートである。
【図５】図４のステップＳ３００５の手順を示すフローチャートである。
【図６】図４のステップＳ３００６の手順を示すフローチャートである。
【図７】Ｑaveと閾値Ｑth0（ｋ0）等との関係を示す図である。
【図８】数式（５）を対数スケールで示す図である。
【図９】本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。
【図１０】本発明の実施形態３の動画像符号化装置の構成を示すブロック図である。
【図１１】本発明の実施形態４の動画像符号化装置の構成を示すブロック図である。
【図１２】本発明の実施形態５の動画像符号化装置の構成を示すブロック図である。
【図１３】図１２に示す動画像符号化装置における解像度を上げる動作を説明するフローチャートである。
【図１４】本発明の実施形態６の動画像符号化装置の構成を示すブロック図である。
【図１５】図１４の選択手段の動作を示すフローチャートである。
【図１６】本発明の実施形態７の動画像符号化装置の構成を示すブロック図である。
【図１７】本発明の実施形態８の動画像符号化装置の構成を示すブロック図である。
【図１８】本発明の実施形態９の動画像符号化装置の構成を示すブロック図である。
【図１９】本発明の実施形態１０の動画像符号化装置の構成を示すブロック図である。
【図２０】従来技術の解像度変換を行う動画像符号化装置の構成を示すブロック図である。
【図２１】図２０に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０２，１０７，１００２，９０４，２００４  解像度変換手段
１０３，１６３  周波数変換手段
１０４，１００４  量子化手段
１０５，１００５，２００２  逆量子化手段
１０６  逆周波数変換手段
１０９  メモリ
１１１，１０１１  制御部
１１２，１０１２  可変長符号化手段
１２０，１３０，１５０，１６０，１７０，２２０，２３０，２５０，２６０，２７０，１０１４  解像度情報作成手段
１２１，１３１，１５１，１６１，１７１，２２１，２３１，２５１  予測誤差分布算出手段
１２２，１３２，１５２，１６２，１７２，２２２，２３２，２５２，２６２，２７２  選択手段
１３１，２３１  方向別予測誤差推定手段
２２１  量子化誤差算出手段
９０１，２００１  可変長復号手段
１００１  減算手段
１００３  ＤＣＴ変換手段
１００８，２００５  加算手段
１０１０，２００６  予測画像生成手段
１０１３  バッファ
１０１５  予測パラメータ算出手段
２００３  逆ＤＣＴ変換手段
２００７  フレームメモリ
【図１】
0004258694.tif 000002
【図２】
0004258694.tif 000003
【図３】
0004258694.tif 000004
【図４】
0004258694.tif 000005
【図５】
0004258694.tif 000006
【図６】
0004258694.tif 000007
【図７】
0004258694.tif 000008
【図８】
0004258694.tif 000009
【図９】
0004258694.tif 000010
【図１０】
0004258694.tif 000011
【図１１】
0004258694.tif 000012
【図１２】
0004258694.tif 000013
【図１３】
0004258694.tif 000014
【図１４】
0004258694.tif 000015
【図１５】
0004258694.tif 000016
【図１６】
0004258694.tif 000017
【図１７】
0004258694.tif 000018
【図１８】
0004258694.tif 000019
【図２０】
0004258694.tif 000020
【図２１】
0004258694.tif 000021
【図１９】
0004258694.tif 000022