(57)【特許請求の範囲】
【請求項１】
入力動画像を複数のブロックに分割して圧縮符号化するステップと、
前記圧縮符号化するステップにより符号化された画像を復号するステップと、
前記復号するステップにより復号された画像からブロック歪度を計算するステップと、
前記ブロック歪度を第１のしきい値と比較し、前記ブロック歪度が前記第１のしきい値よりも大きいと判断された場合には、現在の空間解像度よりも低い解像度を選択し、且つ、前記ブロック歪度を第２のしきい値と比較し、前記ブロック歪度が第２のしきい値よりも小さいと判断された場合には、現在の空間解像度よりも高い解像度を選択する解像度決定ステップと、を有し、
前記圧縮符号化するステップは解像度決定ステップにより選択された解像度を使用して次の入力画像の圧縮符号化を行い、
前記解像度決定ステップは、解像度変換後、所定のフレーム数が経過した場合に前記ブロック歪度を前記第１又は第２のしきい値と比較する動画像の空間解像度自動設定方法。
【請求項２】
前記ブロック歪度を計算するステップは、各ブロック間のブロック境界画素間の差分値の絶対和と、各ブロック内の画素間の差分値の絶対和との比を計算する請求項１記載の動画像の空間解像度自動設定方法。
【請求項３】
前記ブロック歪度を計算するステップは、各ブロック間のブロック境界画素間の差分値の２乗和と、各ブロック内の画素間の差分値の２乗和との比を計算する請求項１記載の動画像の空間解像度自動設定方法。
【請求項４】
入力動画像を複数のブロックに分割して圧縮符号化する手段と、
前記圧縮符号化するステップにより符号化された画像を復号する手段と、
前記復号するステップにより復号された画像からブロック歪度を計算する手段と、
前記ブロック歪度を第１のしきい値と比較し、前記ブロック歪度が前記第１のしきい値よりも大きいと判断された場合には、現在の空間解像度よりも低い解像度を選択し、且つ、前記ブロック歪度を第２のしきい値と比較し、前記ブロック歪度が第２のしきい値よりも小さいと判断された場合には、現在の空間解像度よりも高い解像度を選択する解像度決定手段と、を有し、
前記圧縮符号化する手段は解像度決定手段により選択された解像度を使用して次の入力画像の圧縮符号化を行い、
前記解像度決定手段は、解像度変換後、所定のフレーム数が経過した場合に前記ブロック歪度を前記第１又は第２のしきい値と比較する動画像の空間解像度自動設定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の画像情報を高能率に圧縮符号化及び復号する方法に関し、特に動画像の符号化の途中でも、画像の性質により、符号化する画像の空間解像度を自動的に切り替えるための解像度設定方法及び装置に関する。
【０００２】
【従来の技術】
動画像の伝送においては、制限された帯域内で、最大の品質の画像を伝送するために、画像圧縮が行われる。画像圧縮は、所定の空間解像度において、例えば、ＭＰＥＧ−４やＨ．２６３のような所定の圧縮方式を使用して行われる。このような動画像の圧縮においては、画像の複雑さ等に応じて、同一シーン及び、同一ビットストリーム内で、空間解像度の切り替えを行って符号化を行う要求がある。
【０００３】
図１は、従来技術の空間解像度の切り替え装置について示したものである。図１において、空間解像度の切り替え装置１００は、符号化手段１０１、１フレームの平均量子化サイズ計算手段１０２、発生情報ビット数カウント手段１０３、解像度決定手段１０４及び、メモリ手段１０５を有する。符号化手段１０１には、一定の解像度を有する動画像１１０が入力され、先ず最初に、解像度決定手段１０４により決定された解像度１１１に従って、解像度の変換が行われる。次に、符号化手段１０１は、所定の圧縮方法に従って、動画像をビットストリーム１１２へ圧縮する。符号化手段１０１からは、同時にブロックごとの量子化サイズ１１３が出力され、１フレームの平均量子化サイズ計算手段１０２へ入力される。解像度決定手段１０４は、発生情報ビット数カウント手段１０３により出力発生情報ビット数１１４と１フレームの平均量子化サイズ計算手段１０２の出力する量子化サイズ１１５及び、メモリ１０５の出力する過去の解像度１１６に基づき、図２を用いて後に説明する動作フローにより閾値ＱＰ１，ＱＰ２，ＦＲ１及び、ＦＲ２により解像度１１１を決定する。
【０００４】
解像度決定手段１０４の従来技術としては、例えば、１９９７年１２月発行のＩＴＵ−ＴＤｏｃｕｍｅｎｔＱ１５−Ｃ−１５”Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｔｅｓｔ  Ｍｏｄｅｌ，  Ｎｅａｒ−Ｔｅｒｍ，  Ｖｅｒｓｉｏｎ９”があげられる。図２は、この文献で開示された解像度の決定方法に関するフローを示す。この方法では、画像の複雑さ（即ち、符号化のし難さ）は、あるフレームの平均量子化サイズ（図２におけるＱＰｐｒｅ）と、発生情報量（図２におけるＢ）との積により表すことができるということに基づいている。
【０００５】
図２のフローは１フレームに関する動作を示すものとする。ステップ２０１で、必要なパラメータ類を入力する。しきい値をＴｈ１，Ｔｈ２、直前に符号化したフレームの平均量子化サイズをＱＰｐｒｅ、直前に符号化したフレームの発生情報量をＢ，しきい値決定のパラメータをＱＰ１，ＱＰ２，ＦＲ１、ＦＲ２及び、目標ビットレートをＴＢとする。ここで、しきい値Ｔｈ１は、高い空間解像度における画像の複雑さに関するしきい値である。このしきい値Ｔｈ１よりも、上述の、直前に符号化したフレームの平均量子化サイズＱＰｐｒｅと直前に符号化したフレームの発生情報量Ｂの積の方が大きい場合には、画像が複雑過ぎるとして、符号化される画像の解像度を、低解像度とする。しきい値Ｔｈ２は、低い空間解像度における画像の複雑さに関するしきい値である。また、このしきい値Ｔｈ２よりも、上述の、直前に符号化したフレームの平均量子化サイズＱＰｐｒｅと直前に符号化したフレームの発生情報量Ｂの積の方が小さい場合には、画像が複雑ではないとして、符号化される画像の解像度を、高解像度とする。ＦＲ１は高い解像度に対して設定されたフレームレート、であり、ＦＲ２は低い解像度に対して設定されたフレームレートである。ＦＲ１とＦＲ２は、等しくとも良い。
【０００６】
次に、ステップ２０２で、しきい値Ｔｈ１とＴｈ２を決定する。しきい値Ｔｈ１は、高い解像度での１フレーム当りの目標ビット数ＴＢ／ＦＲ１に、パラメータＱＰ１を乗じて算出する。同様に、しきい値Ｔｈ２は、低い解像度での１フレーム当りの目標ビット数ＴＢ／ＦＲ２に、パラメータＱＰ２を乗じて算出する。
【０００７】
そして、ステップ２０３で、現在の空間解像度が、高いか又は低いかを決定し、現在の空間解像度が高い場合にはステップ２０４へ、現在の空間解像度が低い場合にはステップ２０５へ進む。
【０００８】
ステップ２０４では、現在の空間解像度が高いので、これを低くするか否かを決定する。実際には、直前に符号化したフレームの平均量子化サイズＱＰｐｒｅと直前に符号化したフレームの発生情報量Ｂの積をしきい値Ｔｈ１と比較し、ＱＰｐｒｅとＢとの積がＴｈ１をより大きい場合には、ステップ２０６で次フレームの符号化は低い空間解像度により行う。
【０００９】
ステップ２０５では、現在の空間解像度が低いので、これを高くするか否かを決定する。実際には、直前に符号化したフレームの平均量子化サイズＱＰｐｒｅと直前に符号化したフレームの発生情報量Ｂの積をしきい値Ｔｈ２と比較し、ＱＰｐｒｅとＢとの積がＴｈ２より小さい場合には、ステップ２０７で次フレームの符号化は低い空間解像度により行う。
【００１０】
【発明が解決しようとする課題】
しかし、上述のような従来技術には、次のような欠点がある。即ち、直前に符号化したフレームの平均量子化サイズＱＰｐｒｅと直前に符号化したフレームの発生情報量Ｂの積は、シーンチェンジ等の不連続な画像や動きの激しい画像等を含まないような、自然な画像の場合には、画像の複雑さを表す基準として使用できる。しかし、シーンチェンジ等の不連続な画像や動きの激しい画像等を含む場合には、画像の複雑さを表す基準として使用できないという欠点がある。しかし、従来技術においては、この積の値を、画像の複雑さを表す基準として使用している。
【００１１】
これによって、ユーザからは同一のシーンに見えるような場合にも、動きが大きい画像が含まれるような場合には、符号化する場合のパラメータ等を手動で変更する必要が生じて実時間での符号化を不可能とし、また、パラメータの設定には、ある程度の熟練を要す等との欠点があった。
【００１２】
【課題を解決するための手段】
本発明は、上記欠点を解決した、動画像の符号化の途中でも、画像の性質により、符号化する画像の空間解像度を自動的に切り替えるための解像度設定方法及び装置を提供することである。
【００１３】
本発明は、動きが大きい画像等のような、符号化に多くの情報が必要となった場合に、画像圧縮によって発生される情報量を、伝送レート等により制限される一定のビットレートに抑えるために、量子化サイズを一定に保ったまま、空間解像度が低くなるように制御することとした。これにより、一定のビットレートに抑えるために、量子化サイズを大きくすることににより発生するブロック歪等を押さえることができる。
【００１４】
【発明の実施の形態】
図３は本発明の一実施例を示す。図３は、本発明に従った空間解像度の切り替え装置３００のブロック図を示したものである。空間解像度の切り替え装置３００は、符号化手段３０１、ブロック歪度測定手段３０２、メモリ３０３，３０４及び、解像度決定手段３０４を有する。
【００１５】
符号化手段３０１には、一定の解像度を有する動画像３１０が入力され、先ず最初に、解像度決定手段３０４により決定された解像度３１１に従って、解像度の変換が行われる。次に、符号化手段３０１は、所定の圧縮方法に従って、動画像をビットストリーム３１２へ圧縮する。符号化方式として、差分符号化を使用する場合には、符号化手段３０１からは、同時にローカルデコード出力画像３１３が出力され、ブロック歪度測定手段３０２へ入力される。ここで、ローカルでコード出力画像とは、圧縮方式に予測符号化を採用している場合の、入力画像との差分を計算するための基準にするために、符号化器内で復号された画像をいう。ローカルデコード出力画像の解像度は、入力解像度と同一であるとする。符号化方式として、差分符号化方式を使用しない場合には、符号化手段３０１からは、同時に、圧縮した画像を復号した画像３１３が出力される。解像度決定手段３０４は、ブロック歪度測定手段３０２によりブロック歪度３１４とメモリ３０３の出力する過去のブロック歪度３１５及び、メモリ３０５の出力する解像度３１６に基づき、図４から図６を用いて後に説明する動作フローにより解像度３１１を決定する。
【００１６】
次にブロック歪度の計算について図４から図６を参照して説明する。ブロック歪度は、縦方向及び、横方向のブロック境界での画素の値の差の累積和と、ブロック内での画素の値の差の累積和の比率により計算する。
【００１７】
図４は、隣接する画像ブロックと、ブロック歪度の計算に使用する画素を示す。ブロック境界に接する左側画素から左にｕｖ個離れた画素をＰｖａｉ、ブロック境界に接する右側画素から右にｖｖ個離れた画素をＰｖｂｉ、Ｐｖａｉから左にｘｖ個はなれた画素をＰｖｃｉ、Ｐｖｂｉから右にｙｖ個はなれた画素をＰｖｄｉとする。また、ブロック境界に接する上側画素から上にｕｈ個離れた画素をＰｈａｉ、ブロック境界に接するした下側画素から下にｖｈ個離れた画素をＰｈｂｉ、Ｐｈａｉから上にｘｈ個はなれた画素をＰｈｃｉ、Ｐｈｂｉから下にｙｈ個はなれた画素をＰｈｄｉとする。ｕｖ、ｖｖ、ｘｖ、ｙｖ及び、ｕｈ、ｖｈ、ｘｈ、ｙｈは、その時点での解像度によって適切に選択する。解像度が低い場合には、隣接する画素は、低域通過フィルタにより処理した結果であることがあり、隣接画素間の相関が強いために適切な値が得られない場合があるためである。解像度が最も高い場合には、ｕｖ＝ｖｖ＝０及び、ｘｖ＝ｙｖ＝１でもよい。ｕｈ、ｖｈ、ｘｈ、ｙｈも同様である。
【００１８】
図５は、ブロック歪度の計算方法について示す。先ず最初に縦方向のブロック歪度を計算する。ステップ５０１で、上述のように計算に使用する各画素を選択する。ここで、ブロック境界の歪度をＤｖ１、ブロック内の歪度をＤｖ２とする。
【００１９】
次にステップ５０２で、ブロック境界の歪度をＤｖ１、ブロック内の歪度をＤｖ２を計算する。ブロック境界の歪度をＤｖ１は、図４のブロック境界をはさむ全ての画素（ｉ＝１，Ｎ）について、ＰｖａｉとＰｖｂｉの差の絶対値の和を計算する。また、ブロック境界の歪度をＤｖ２は、図４のブロック内の全ての画素（ｉ＝１，Ｎ）について、ＰｖａｉとＰｖｃｉの差の絶対値の和及び、ＰｖｂｉとＰｖｄｉの差の絶対値の和の合計を計算する。別の例として、絶対値の和を計算する代わりに、差のＮ乗和（例えば、差の２乗和）を計算しても良い。
【００２０】
次横方向のブロック歪度を計算する。ステップ５０３で、上述のように計算に使用する各画素を選択する。ここで、ブロック境界の歪度をＤｈ１、ブロック内の歪度をＤｈ２とする。
【００２１】
次にステップ５０４で、ブロック境界の歪度をＤｈ１、ブロック内の歪度をＤｈ２を計算する。ブロック境界の歪度をＤｈ１は、図４のブロック境界をはさむ全ての画素（ｉ＝１，Ｎ）について、ＰｈａｉとＰｈｂｉの差の絶対値の和を計算する。また、ブロック境界の歪度をＤｈ２は、図４のブロック内の全ての画素（ｉ＝１，Ｎ）について、ＰｈａｉとＰｈｃｉの差の絶対値の和及び、ＰｈｂｉとＰｈｄｉの差の絶対値の和の合計を計算する。別の例として、絶対値の和を計算する代わりに、差のＮ乗和（例えば、差の２乗和）を計算しても良い。
【００２２】
そして、最後にステップ５０５で、Ｄｖ１，Ｄｖ２、Ｄｈ１，Ｄｈ２より、
Ｄ＝（Ｄｖ１＋Ｄｈ１）ｘ２３／（Ｄｖ２＋Ｄｈ２）
に従ってブロック歪度Ｄを計算し、ステップ５０６でＤを出力して終了する。
【００２３】
次に以上のように計算したブロック歪度を用いて解像度を決定する解像度決定手段３０４の動作について、図６を参照して説明する。図６は、本発明の実施例のフローを示す図である。図６に示す実施例では、高い解像度と低い解像度の２種類の解像度を有する場合を示しているが、３種類以上の解像度を有する場合でも同様に解像度を決定することができる。
【００２４】
ステップ６０１では、上述したように高い空間解像度のしきい値をＴｈ１，低い空間解像度のしきい値をＴｈ２，計算したブロック歪度をＤとする。また、しきい値更新の判断のためのフレーム数Ａ，Ｂとする。
【００２５】
ステップ６０２で、現在の空間解像度が高いか又は低いかを判断し、高い場合にはステップ６０３へ、又は、低い場合にはステップ６０４へ進む。
【００２６】
ステップ６０３では、解像度か高いと判断されてからＢフレーム以下のフレームしか経過していない場合には、ステップ６０５へ進み、しきい値Ｔｈ１にＤを代入し、ステップ６０７で空間解像度を変更しない。そして、ステップ６１５へ進み処理を終了する。
【００２７】
一方、ステップ６０３で、解像度か高いと判断されてからＢフレーム以上のフレームが経過している場合には、ステップ６０６へ進み、解像度を変更するか否かの判断を行う。ステップ６０６で、ブロック歪度Ｄがしきい値Ｔｈ１を超えている場合にはステップ６０８へ進み、解像度が最も低い解像度であるかどうかを判断する。ステップ６０８で、解像度が最も低い解像度ではないと判断した場合には、ステップ６０９へ進み、次に低い解像度へ変更し、次のフレームの符号化では変更後の解像度を使用して符号化を行う。一方、ステップ６０６で、ブロック歪度Ｄがしきい値Ｔｈ１を超えていない場合にはステップ６０７へ進み上述したように、解像度の変更は行わない。
【００２８】
ステップ６０４では、解像度か低いと判断されてからＡフレーム以下のフレームしか経過していない場合には、ステップ６１０へ進み、しきい値Ｔｈ２にＤを代入し、ステップ６１１で空間解像度を変更しない。そして、ステップ６１５へ進み処理を終了する。
【００２９】
一方、ステップ６０４で、解像度か低いと判断されてからＡフレーム以上のフレームが経過している場合には、ステップ６１２へ進み、解像度を変更するか否かの判断を行う。ステップ６１２で、ブロック歪度Ｄがしきい値Ｔｈ２をより小さい場合にはステップ６１３へ進み、解像度が最も高い解像度であるかどうかを判断する。ステップ６１３で、解像度が最も高い解像度ではないと判断した場合には、ステップ６１４へ進み、次に高い解像度へ変更し、次のフレームの符号化では変更後の解像度を使用して符号化を行う。一方、ステップ６１３で、ブロック歪度Ｄがしきい値Ｔｈ２をより小さくない場合にはステップ６１１へ進み上述したように、解像度の変更は行わない。
【００３０】
以上の処理によって、次に符号化するフレームで使用する空間解像度を決定する。上述の実施例では、しきい値Ｔｈ１、Ｔｈ２は、Ｄが代入されてその都度変更される構成としたが、一方又は、両方を固定としてもよい。
【００３１】
（付記１）  入力動画像を複数のブロックに分割して圧縮符号化するステップと、
前記圧縮符号化するステップにより符号化された画像を復号するステップと、
前記復号するステップにより復号された画像からブロック歪度を計算するステップと、
前記ブロック歪度を第１のしきい値と比較し、前記ブロック歪度が前記第１のしきい値よりも大きいと判断された場合には、現在の空間解像度よりも低い解像度を選択し、且つ、前記ブロック歪度を第２のしきい値と比較し、前記ブロック歪度が第２のしきい値よりも小さいと判断された場合には、現在の空間解像度よりも高い解像度を選択する解像度決定ステップとを有する動画像の空間解像度自動設定方法。
【００３２】
（付記２）  前記ブロック歪度を計算するステップは、各ブロック間のブロック境界画素間の差分値の絶対和と、各ブロック内の画素間の差分値の絶対和との比を計算する付記１記載の動画像の空間解像度自動設定方法。
【００３３】
（付記３）  前記ブロック歪度を計算するステップは、各ブロック間のブロック境界画素間の差分値の２乗和と、各ブロック内の画素間の差分値の２乗和との比を計算する付記１記載の動画像の空間解像度自動設定方法。
【００３４】
（付記４）  前記第１及び、第２のしきい値は、前記ブロック歪度を計算するステップで計算したブロック歪度を基に決定する付記１記載の動画像の空間解像度自動設定方法。
【００３５】
（付記５）  入力動画像を複数のブロックに分割して圧縮符号化する手段と、
前記圧縮符号化するステップにより符号化された画像を復号する手段と、
前記復号するステップにより復号された画像からブロック歪度を計算する手段と、
前記ブロック歪度を第１のしきい値と比較し、前記ブロック歪度が前記第１のしきい値よりも大きいと判断された場合には、現在の空間解像度よりも低い解像度を選択し、且つ、前記ブロック歪度を第２のしきい値と比較し、前記ブロック歪度が第２のしきい値よりも小さいと判断された場合には、現在の空間解像度よりも高い解像度を選択する解像度決定手段とを有する動画像の空間解像度自動設定装置。
【００３６】
（付記６）  前記ブロック歪度を計算する手段は、各ブロック間のブロック境界画素間の差分値の絶対和と、各ブロック内の画素間の差分値の絶対和との比を計算する付記５記載の動画像の空間解像度自動設定装置。
【００３７】
（付記７）  前記ブロック歪度を計算する手段は、各ブロック間のブロック境界画素間の差分値の２乗和と、各ブロック内の画素間の差分値の２乗和との比を計算する付記５記載の動画像の空間解像度自動設定装置。
【００３８】
（付記８）  前記第１及び、第２のしきい値は、前記ブロック歪度を計算する手段で計算したブロック歪度を基に決定する付記５記載の動画像の空間解像度自動設定装置。
【００３９】
【発明の効果】
以上、本発明により、動きが大きい画像等のような、符号化に多くの情報が必要となった場合にも、量子化サイズを一定に保ったまま、空間解像度が低くなるように制御することによって、ブロック歪等の発生を押さえることができる、動画像の空間解像度自動設定方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】従来技術の空間解像度の切り替え装置について示したものである。
【図２】従来技術の空間解像度の切り替え装置の解像度の決定方法に関するフローを示す。
【図３】本発明に従った空間解像度の切り替え装置のブロック図を示したものである。
【図４】隣接する画像ブロックと、ブロック歪度の計算に使用する画素を示す図である。
【図５】ブロック歪度の計算方法を示す図である。
【図６】本発明の実施例のフロー示す図である。
【符号の説明】
１００  空間解像度の切り替え装置
１０１  符号化手段
１０２  フレームの平均量子化サイズ計算手段
１０３  発生情報ビット数カウント手段
１０４  解像度決定手段
１０５  メモリ手段
３００  空間解像度の切り替え装置
３０１  符号化手段
３０２  ブロック歪度測定手段
３０３，３０４  メモリ
３０４  解像度決定手段
【図１】
0004688279.tif 000002
【図２】
0004688279.tif 000003
【図３】
0004688279.tif 000004
【図４】
0004688279.tif 000005
【図５】
0004688279.tif 000006
【図６】
0004688279.tif 000007