(57)【特許請求の範囲】
【請求項１】
画像フレームを構成するブロックについて、前記ブロックの輝度値に応じた第１評価値と、前記ブロックの複雑度に応じた第２評価値とを少なくとも含む複数の評価値を算出する算出手段と、
前記算出手段によって算出された前記複数の評価値と、複数の閾値との比較結果に応じて、前記ブロックの量子化のための量子化パラメータを決定する決定手段と、
前記量子化パラメータを用いて前記ブロックを量子化する量子化手段と
を備え、
前記決定手段は、
第１のブロックにおける前記複数の評価値と複数の閾値との比較結果に応じて前記第１のブロックの量子化のための第１の量子化パラメータを導出し、
その導出した第１の量子化パラメータの大きさに基づいて、前記第１の量子化パラメータを補正するか判断し、
前記第１の量子化パラメータを補正すると判断した場合であって、前記第１のブロックの前記第２評価値と、前記第１のブロックに隣接する第１隣接ブロックの前記第２評価値との差分値が所定の閾値よりも大きい場合、前記第１の量子化パラメータを小さくするよう補正する
ことを特徴とする画像符号化装置。
【請求項２】
前記決定手段は、前記複数の評価値のそれぞれを評価値の種別に応じた閾値と比較し、比較結果に基づいて前記ブロックの量子化パラメータを決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記決定手段は、前記第１評価値が第１閾値より高く、且つ、前記第２評価値が第２閾値より高い場合と、前記第１評価値が前記第１閾値より低く、且つ、前記第２評価値が前記第２閾値より低い場合とで異なる量子化パラメータを決定する
ことを特徴とする請求項１又は２に記載の画像符号化装置。
【請求項４】
前記第１評価値は、前記ブロック内の平均輝度に対応する評価値であり、
前記第２評価値は、前記ブロック内の各画素の輝度と前記平均輝度との差分に基づく評価値である、
ことを特徴とする請求項１乃至３のうち、何れか１項に記載の画像符号化装置。
【請求項５】
前記決定手段は、前記第１評価値が前記第１閾値より高く、且つ、前記第２評価値が前記第２閾値より高い場合は、前記第１評価値が前記第１閾値より低い、且つ、前記第２評価値が前記第２閾値より低い場合よりも、前記ブロックの量子化パラメータを大きくする
ことを特徴とする請求項３に記載の画像符号化装置。
【請求項６】
前記ブロックの動き情報を検出する検出手段をさらに有し、
前記複数の評価値は、前記検出された動き情報を含む
ことを特徴とする請求項１乃至５のうち、何れか１項に記載の画像符号化装置。
【請求項７】
前記第１ブロックに対応する動き情報が示す動き量が所定量以上であり、且つ、第２ブロックに対応する動き情報が示す動き量が前記所定量未満である場合、前記第１ブロックの方が前記第２ブロックよりも量子化ステップが大きくなるように前記量子化パラメータを決定する
ことを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
前記画像フレームを画面間符号化する場合に動きベクトルもしくは予測誤差のうち少なくとも１つを記憶し、前記画像フレームを画面内符号化する場合に輝度の平均値と分散のうち少なくとも１つに基づく指標を記憶する記憶手段
をさらに有することを特徴とする請求項１乃至７のうち、何れか１項に記載の画像符号化装置。
【請求項９】
画像フレームを構成するブロックについて、前記ブロックの輝度値に応じた第１評価値と、前記ブロックの複雑度に応じた第２評価値とを少なくとも含む複数の評価値を算出する算出工程と、
前記算出工程において算出された前記複数の評価値と、複数の閾値との比較結果に応じて、前記ブロックの量子化のための量子化パラメータを決定する決定工程と、
前記量子化パラメータを用いて前記ブロックを量子化する量子化工程と
を有し、
前記決定工程において、
第１のブロックにおける前記複数の評価値と複数の閾値との比較結果に応じて前記第１のブロックの量子化のための第１の量子化パラメータを導出し、
その導出した第１の量子化パラメータの大きさに基づいて、前記第１の量子化パラメータを補正するか判断し、
前記第１の量子化パラメータを補正すると判断した場合であって、前記第１のブロックの前記第２評価値と、前記第１のブロックに隣接する第１隣接ブロックの前記第２評価値との差分値が所定の閾値よりも大きい場合、前記第１の量子化パラメータを小さくするよう補正する
ことを特徴とする画像符号化方法。
【請求項１０】
コンピュータを、請求項１乃至８のうち、何れか１項に記載の画像符号化装置の各手段として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特に画面内の適応的な符号量制御に関する。
【背景技術】
【０００２】
動画像の圧縮記録に用いられる符号化方式として、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においては、画像をブロック単位に符号化を行うが、そのブロック毎に量子化値は可変である。量子化値を制御する事によって、ブロックに割り当てる符号量を変えて画質を制御する事ができる。このようにブロック毎に割り当てる符号量を変える従来技術として、特許文献１が挙げられる。特許文献１では、ブロックの輝度平均値、色差の平均値、輝度の分散値、動きベクトル量の平均値等の評価値を乗算しブロックの符号化難易度を計算して符号量を割り当てる。そしてその割り当てた符号量に応じて量子化値が制御される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１８８７２号公報
【非特許文献】
【０００４】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４  （０３／２０１０）  Ａｄｖａｎｃｅｄｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示した制御方法では量子化値を決定するための関数の計算の複雑度が大きいので、コストが増大する。また、特許文献１に示した制御方法では、複数の評価値を乗算により線型的に一次元の値に変換した評価指標と量子化値の関係とが、予め数式化されていることが前提となっている。よって、様々な評価指標から符号化対象ブロックの特性を非線形的に判別し、判別結果に応じた細かい符号量割り当てを適応的に行うことが困難であるという問題があった。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像符号化装置は、画像フレームを構成するブロックについて、前記ブロックの輝度値に応じた第１評価値と、前記ブロックの複雑度に応じた第２評価値とを少なくとも含む複数の評価値を算出する算出手段と、前記算出手段によって算出された前記複数の評価値と、複数の閾値との比較結果に応じて、前記ブロックの量子化のための量子化パラメータを決定する決定手段と、前記量子化パラメータを用いて前記ブロックを量子化する量子化手段とを備え、前記決定手段は、第１のブロックにおける前記複数の評価値と複数の閾値との比較結果に応じて前記第１のブロックの量子化のための第１の量子化パラメータを導出し、その導出した第１の量子化パラメータの大きさに基づいて、前記第１の量子化パラメータを補正するか判断し、前記第１の量子化パラメータを補正すると判断した場合であって、前記第１のブロックの前記第２評価値と、前記第１のブロックに隣接する第１隣接ブロックの前記第２評価値との差分値が所定の閾値よりも大きい場合、前記第１の量子化パラメータを小さくするよう補正する。
【発明の効果】
【０００７】
複数の評価値に基づいて視覚特性に応じた緻密な量子化値の制御が可能になるため、主観的な画質が向上する。
【図面の簡単な説明】
【０００８】
【図１】実施形態１における画像符号化装置の構成を示すブロック図
【図２】実施形態１におけるフレーム符号化のフローチャート
【図３】実施形態１における判別情報生成のフローチャート
【図４】実施形態２における量子化パラメータ生成のフローチャート
【図５】実施形態３における画像符号化装置の構成を示すブロック図
【図６】実施形態４における画像符号化装置の構成を示すブロック図
【図７】実施形態１におけるブロックの判別を示す図
【図８】オブジェクトとブロックの関係を示す図
【図９】実施形態１におけるブロックの判別を示す図
【図１０】実施形態５における領域と評価値の関係を示す図
【図１１】本発明の画像符号化装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
以下、本発明の第一の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。
【００１１】
図１において、１０１は、入力画像の評価値を算出する評価値算出部である。評価値算出部１０１にはブロック単位に画像が入力され、前記ブロック毎の評価値が複数算出される。１０２は、複数の前記評価値を基に判別情報を生成するブロック判別部である。１０３は、前記判別情報に基づいて、ブロックの量子化パラメータを決定する制御部である。１０４は、入力された画像を符号化する符号化部である。符号化部１０４には、ブロック単位に画像が入力され、前記制御部から生成された量子化パラメータに基づいてブロックが符号化され、符号化ストリームが生成される。
【００１２】
本実施形態の画像符号化装置の動作を、図２のフローチャートを用いて詳細に説明する。本実施形態では動画像データはフレーム単位に入力され、ブロックに分割されてラスタ順に処理される。しかし本願発明はこれに限定されるものではなく、例えばフレームを分割したスライス単位に画像を入力しても構わない。また、本実施形態におけるブロックのサイズは１６×１６画素とするが、本発明はこれに限定されるものではなく、例えば８×８画素や３２×３２画素でもよく、３２×１６画素のように非対称でもよい。
【００１３】
ステップＳ２０１において、評価値算出部１０１は、入力されたブロックの評価値を複数算出する。評価値は、処理対象のブロックを符号化した時の画質指標に関するものとする。例えば画質指標とは、ブロックを符号化する際に生じる量子化誤差が、人間の視覚に影響を与える度合いであり、評価値はこの度合いを判定するために算出される。本実施形態では、ブロックに属する各画素の輝度の平均値及び輝度の複雑度を前記評価値として算出する。ここで、輝度の複雑度として、ブロックに属する各画素の輝度値と該ブロックの輝度の平均値との差分の大きさ（絶対値）の合計値を用いる。しかし、本発明の画像符号化装置はこれに限定されるものではなく、人間の視覚に与える度合いを判定できる指標であればよい。例えば輝度のアクティビティや分散を評価値として算出してもよいし、色差のアクティビティ、平均値、複雑度、分散等を算出してもよい。また、算出される評価値の数は２種類に限定されるものではなく、輝度の平均値と複雑度に加えて、色差の平均値等他の評価値を算出する事も可能である。アクティビティとは、ブロックを更に分割した、サブブロック毎に画素値の分散値を取得し、得られた複数の分散値の中で最小の値を選択する事で決定される指標である。
【００１４】
ステップＳ２０２において、ブロック判別部１０２は、前記評価値を基に当該ブロックに対して判別情報を生成する。判別情報の生成方法の詳細に関しては後述する。
【００１５】
ステップＳ２０３において、制御部１０３は、前記判別情報に基づき、当該ブロックの属性に対応した量子化パラメータを生成する。量子化パラメータの生成方法の詳細は特に規定しないが、例えばテーブルルックアップ等の処理でブロックの判別結果に１対１に対応した量子化値を返す方法などがある。
【００１６】
ステップＳ２０４において、符号化部１０４は、前記量子化パラメータに基づいてブロックを符号化し、符号化ストリームを生成する。
【００１７】
ステップＳ２０５では、フレーム内の全てのブロックが符号化されたか否かが判定される。全てのブロックが符号化されたならば（ステップＳ２０５でＹｅｓ）、フレームの符号化処理を終了する。全てのブロックが符号化されていなければ（ステップＳ２０５でＮｏ）、ステップＳ２０１の処理に進み後続のブロックを符号化する。
【００１８】
次に本実施形態におけるブロックの判別情報の生成方法（ステップＳ２０２）を説明する。本実施形態では、評価値として２個、ブロックの輝度の平均値Ｓ１と輝度の複雑度Ｓ２を用いる。また、評価値Ｓ１，Ｓ２それぞれに対し閾値配列Ｔ１，Ｔ２を定義する。ｎ個の評価値Ｓ１，Ｓ２，…，Ｓｎ毎にそれぞれ閾値配列Ｔｎが保持される。図７に、輝度の平均値及び複雑度を評価値とした際のブロックの判別の一例を示す。横軸は複雑度Ｓ２、縦軸は輝度の平均値Ｓ１であり、計７２個の領域に分割されている。Ｔ１、Ｔ２はそれぞれの領域を定義する閾値の組で構成される。図７の例ではＴ１＝｛Ｔ１［１］，Ｔ１［２］，Ｔ１［３］，Ｔ１［４］，Ｔ１［５］，Ｔ１［６］，Ｔ１［７］，Ｔ１［８］，Ｔ１［９］｝である。また、Ｔ２＝｛Ｔ２［１］，Ｔ２［２］，Ｔ２［３］，Ｔ２［４］，Ｔ２［５］，Ｔ２［６］，Ｔ２［７］，Ｔ２［８］｝である。また、判別情報Ｍとして、当該ブロックが各評価値のどの領域に位置するかを、領域を定義する閾値の組であらわす。例えば図７において斜線で示した領域はＭ＝｛Ｔ１［６］，Ｔ２［５］｝である。
【００１９】
図３のフローチャートを用いて判別情報の生成方法（ステップＳ２０２）を詳細に説明する。まず、ステップＳ３０１では、変数ｉが１に、ステップＳ３０２では、変数ｊが１に初期化される。次に、ステップＳ３０３では、評価値Ｓｉが閾値Ｔｉ［ｊ］で定義される領域内に属しているか否かが判定される。評価値Ｓｉが閾値Ｔｎ［ｉ］に属しているならば（ステップＳ３０３でＹｅｓ）ステップＳ３０６の処理に進み、そうでないならばステップＳ３０４の処理に進む。次に、ステップＳ３０４では変数ｊに１が加算される。
【００２０】
次にステップＳ３０５では、評価値Ｓｉを全ての閾値（閾値配列Ｔｉに属するすべての閾値）と比較したか否かが判定される。全ての閾値と比較したならば（ステップＳ３０５でＹｅｓ）ステップＳ３０６の処理に進み、そうでないならばステップＳ３０３の処理に進む。ステップＳ３０６では、評価値Ｓｉにおける判別情報Ｍｉ（判別情報Ｍのｉ番目の要素）に、当該評価値について属していると判定された閾値が代入され、ステップＳ３０７に進む。ステップＳ３０７では、変数ｉに１が加算され、ステップＳ３０８に進む。ステップＳ３０８では、変数ｉがｎより大きい、すなわちｎ個の評価値全てにおいて閾値との比較がなされたかどうかを判定する。全ての比較が終わっていれば（ステップＳ３０８でＹｅｓ）ステップＳ３０９に、終わっていなければ（ステップＳ３０８でＮｏ）ステップＳ３０２に進む。
【００２１】
ステップＳ３０９では、判別情報Ｍに各評価値について属していると判定された閾値の組が代入され、判別情報の生成を終了する。このようにして生成した判別情報は当該ブロックが図７の格子状の領域のどの部分に位置されるかを示しており、この判別情報にブロックの特性および特性に適した量子化値を対応付けることで画質制御を行う。
【００２２】
本実施形態において判別情報の生成は、処理対象ブロックの画質劣化度合いを判定するために行われる。例えば、人間の目は高い空間周波数の画像よりも低い空間周波数の画像のほうが、画質の劣化に対して敏感である。そのため、前記複雑度が低いブロックは空間周波数も低く、量子化誤差による画質劣化が人の視覚に目立ち易く、複雑度が高いブロックは空間周波数が高く画質劣化が目立ちにくい。輝度の平均値も同様で、暗い領域の方が人の視覚に対して画質劣化が目立ち易く、明るい領域は画質劣化が目立ちにくいといった特性を持つ。これら複数の評価値をもとに、例えば図７の左下の領域は画質劣化の目立ちやすい領域であるため量子化値を下げて画質劣化を抑える。同時に図７の右上の画質劣化の目立ちづらい領域の量子化値を上げて全体の符号量の上昇を抑えることで、同等のビットレートを保ったまま主観的な画質を向上させることが可能となる。
【００２３】
本実施形態では、評価値として輝度の平均値と複雑度の２種類を使用し２次元空間の位置情報に基づいて量子化パラメータを設定する例を説明したが、更に評価値の種類をＮ種類（Ｎ＞２）に増やしてＮ次元空間上に拡張してもよい事は自明である。
【００２４】
＜実施形態２＞
本発明の第２の実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図１に示した第１の実施形態の画像符号化装置の構成と同一である。また、本実施形態の画像符号化装置の動作に関しても図２のフローチャートで表される第１の実施形態と同一であり、図３のフローチャートを用いて表される判別情報の生成方法（ステップＳ２０２）に関しても第１の実施形態と同一であるため説明を省略する。本実施形態では、量子化パラメータ生成方法（ステップＳ２０３）が第１の実施形態と異なり、ブロックの判別情報のみならず、隣接するブロックの複雑度を用いる事で、高精度に量子化パラメータを決定する。図８を用いて隣接ブロックの複雑度を用いる効果を説明する。
【００２５】
図８は、白い背景に黒いオブジェクトが存在している画像を示しており、個々の正方形は１６×１６画素のブロックを表す。８０１は、白い背景の一部のブロック（白ブロック）であり、該ブロックに属する画素の画素値は全て大きいためブロックの複雑度は低い。８０３は、黒いオブジェクトの一部のブロック（黒ブロック）であり、該ブロックに属する画素の画素値は全て小さいためブロックの複雑度は低い。ここで、８０２は、白いブロックと黒いブロックの境界に位置するブロックである。ブロック８０２は、黒い画素と白い画素が混在するため、ブロックの輝度の平均値と各画素の輝度の差分値が大きく複雑度が高いため、図７の例で言えば量子化パラメータが大きく設定される領域に属する。しかし、ブロック８０２のように、境界に位置するブロックは一般的に画質の劣化が目立ち易く、量子化パラメータを小さく設定する事が望ましい。ブロック８０２に隣接する、ブロック８０１やブロック８０３は、前述のように複雑度が低いブロックであるため、ブロック８０２との複雑度の差分値が大きい。このように、隣接ブロックの複雑度を参照する事で、画質劣化の目立ち易い境界ブロックであるか否かを判定する事ができ、量子化パラメータを大きく設定して画質が劣化する事を防ぐ事ができる。
【００２６】
以下、図４のフローチャートを用いて、量子化パラメータの生成方法（ステップＳ２０３）を詳細に説明する。
【００２７】
まず、ステップＳ４０１において、制御部１０３は、図２のステップＳ２０２の処理で求められた判別情報Ｍに基づいてテーブルを参照する事により、量子化パラメータを決定する。次に、ステップＳ４０２において、制御部１０３は、判別情報が示す領域が、隣接ブロック判定領域であるか否かを判定する。隣接ブロック判定領域とは、量子化パラメータを設定する際に、隣接ブロックの評価値を用いて量子化パラメータを補正する領域を示す。誤って主観画質の劣化が目立ち易いブロックの量子化パラメータを大きく設定してしまう事を防ぐために、量子化パラメータを大きく設定する領域に関しては隣接ブロックのパラメータを参照してより高精度に量子化パラメータを決定する。隣接ブロック判定領域であるならば（ステップＳ４０２でＹｅｓ）ステップＳ４０３の処理に進み、そうでないならば量子化パラメータの生成を終了する。
【００２８】
次に、ステップＳ４０３において、制御部１０３は、後述するステップＳ４０５の処理においてバッファリングしていた隣接ブロックの評価値の読み出しを行う。次に、ステップＳ４０４において、隣接ブロックと処理対象ブロックの評価値の差分値を算出する。次に、ステップＳ４０４において、制御部１０３は、前記差分値に基づいて量子化パラメータの補正を行う。
【００２９】
本実施形態では、隣接ブロックの複雑度を読み出し、差分値を抽出する。そして、ブロックの差分値が予め定めた閾値よりも大きい場合、複雑度の低いブロックから複雑度の高いブロックへと切り替わるブロックに対しては量子化パラメータを小さく設定する。これは、前述の通り複雑度が切り替わるブロックはオブジェクトの境界ブロックである可能性が高く、オブジェクトの境界は画質劣化が目立ち易いためである。次に、ステップＳ４０５では、処理対象のブロックの評価値をバッファに書き出す。
【００３０】
本実施形態では、以上の処理により、画質劣化の目立ち易い境界ブロックであるか否かを判定する事ができ、量子化パラメータを大きく設定して画質が劣化する事を防ぐ事ができる。
【００３１】
＜実施形態３＞
第３の実施形態の画像符号化装置について説明する。本実施形態では、評価値として３個、ブロックの輝度の平均値と輝度の複雑度に加えて予測情報を用いる。ここで予測情報とは、たとえばＨ．２６４符号化方式における動きベクトル情報、隣接する画素値情報等、予測符号化を行うために必要なデータのことである。図５は本実施形態の画像符号化装置の構成を表すブロック図である。
【００３２】
図５において、５０１は入力画像をもとに予測符号化のための予測処理を行う予測部、５０２は入力画像の評価値を算出する評価値算出部である。評価値算出部５０２にはブロック単位に画像が入力され、前記ブロック毎の評価値が複数算出されるとともに、予測部５０１から前記予測処理の結果に付随した予測情報が算出される。本実施形態では、予測部５０１から得られる情報として、動きベクトルの大きさ等を用いるが、本発明はこれに限定されるものではない。５０３は、複数の前記評価値を基に前記ブロックを判別するブロック判別部である。５０４は、前記判別情報に基づいて、ブロックの量子化パラメータを決定する制御部である。５０５は、ブロック内の各画素データを周波数変換処理したのち、前記制御部により決定された量子化パラメータに基づいて量子化する変換・量子化部である。５０６は、変換・量子化部５０５で得られた量子化後のデータに対しエントロピー符号化を行い、符号化ストリームを生成するエントロピー符号化部である。
【００３３】
本実施形態の画像符号化装置の動作を、図２のフローチャートを用いて詳細に説明する。まず、ステップＳ２０１では、評価値算出部１０１において、入力されたブロックの評価値が複数算出される。本実施形態では、第１実施形態の評価値に加え、予測部５０１により得られた動きベクトルの大きさ（絶対値）を用いる。
【００３４】
次に、図３のフローチャートを用いて判別情報の生成方法（ステップＳ２０２）を詳細に説明する。ステップＳ３０１，ステップＳ３０２に関する説明は第１実施形態と同一であるため、説明を省略する。次に、ステップＳ３０３において、ブロック判別部５０３は、評価値Ｓｉが閾値Ｔｉ［ｊ］で定義される領域内に属しているか否かを判定する。本実施形態では、評価値として第１実施形態と同様にＳ１を輝度の平均値、Ｓ２を輝度の複雑度とするとともに、Ｓ３を動きベクトルの大きさとする。閾値配列Ｔｎも、第１実施形態と同様に評価値Ｓ１，Ｓ２，Ｓ３それぞれに対応するＴ１，Ｔ２，Ｔ３が保持される。評価値Ｓｉが閾値Ｔｎ［ｉ］に属しているならば（ステップＳ３０３でＹｅｓ）ステップＳ３０６の処理に進み、評価値Ｓｉが閾値Ｔｎ［ｉ］に属していないならばステップＳ３０４の処理に進む。以下、ステップＳ３０４，ステップＳ３０５，ステップＳ３０６，ステップＳ３０７，ステップＳ３０８，ステップＳ３０９に関する説明は第１実施形態と同一であるため、説明を省略する。以下、図２の処理に関しては第２実施形態と同一であるため説明は省略する。
【００３５】
本実施形態において判別情報の生成は、処理対象ブロックの画質劣化度合いを判定するために行われる。複雑度、輝度の平均値に関する説明は第１実施形態と同一であるため説明を省略する。本実施形態では、動きベクトルの絶対値の大きい、すなわち大きく動いている領域に対して、人間の目がついていけず画質劣化を判別しづらいことを利用する。これら複数の評価値をもとに、画質劣化の目立ちやすい領域の量子化値を下げて画質劣化を抑える。同時に、画質劣化の目立ちづらい領域の量子化値を上げて全体の符号量の上昇を抑えることで、同等のビットレートを保ったまま主観的な画質を向上させることが可能となる。
【００３６】
＜実施形態４＞
第４の実施形態の画像符号化装置について説明する。図６は本実施形態の画像符号化装置の構成を表すブロック図である。
【００３７】
図６において、６０１は入力画像をもとに予測符号化のための予測処理を行って予測誤差を生成する予測部であり、予測バッファ６０７が接続されている。予測バッファ６０７には予測処理に必要になる直前および１列上のブロックの予測情報が格納される。６０２は入力画像の評価値を算出する評価値算出部である。評価値算出部６０２にはブロック単位に画像が入力され、前記ブロック毎の評価値が複数算出されるとともに、予測部６０１から前記予測処理の結果に付随する評価値が算出される。６０２は、複数の前記評価値を基に前記ブロックを判別するブロック判別部である。６０３は、複数の前記評価値を基に前記ブロックを判別するブロック判別部である。６０４は、前記判別情報に基づいて、ブロックの量子化パラメータを決定する制御部である。６０５は、予測部６０１で生成された予測誤差を周波数変換処理したのち、前記制御部により決定された量子化パラメータに基づいて量子化する変換・量子化部である。６０６は、変換・量子化部６０５で得られた量子化後のデータに対しエントロピー符号化を行い、符号化ストリームを生成するエントロピー符号化部である。
【００３８】
以下、本実施形態の画像符号化装置の動作、判別情報の生成方法（図２におけるステップＳ２０２）および量子化パラメータの生成方法（図２におけるステップＳ２０３）に関しては第３実施形態と等しいため説明を省略する。
【００３９】
第２の実施形態で説明したように、対象ブロックに加えて隣接ブロックの判別情報を使用した画質制御を行う場合には、過去に判別したブロックの判別結果、もしくは各ブロックの評価値そのものをバッファリングしておく必要がある。ブロックがラスタ順に処理されているとすると、例えば対象ブロックの上側に隣接するブロックの情報を使用するには１ブロック行分の情報を保持しておく必要があり、専用にメモリを用意する場合にはその分のコスト増大を招く。本実施形態においては、イントラフレームの符号化に関しては、イントラフレーム符号化時に使用していないインターフレーム用のバッファメモリ（予測バッファ６０７）を使用することとする。この結果、新たにブロック情報を格納するメモリを持たずに、相対的にビットレートが高く画質制御の効果の大きいイントラフレームの符号化に関しては、隣接ブロックの特性までを考慮した高精度な画質制御を行うことが可能となる。
【００４０】
なお、インターフレーム用のバッファメモリは画面間符号化を行う際は動きベクトルもしくは予測誤差のうち少なくとも一つを記憶し、画面内符号化を行う際は平均値、アクティビティ、複雑度、分散のうち少なくとも一つを記憶してもよい。
【００４１】
＜実施形態５＞
本発明の第５の実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図１に示した本発明の第１実施形態の画像符号化装置の構成と同一である。また、本実施形態の画像符号化装置の動作に関しても図２のフローチャートで表される第１実施形態と同一であるため説明を省略する。本実施形態では同様に評価値Ｓ１，Ｓ２および対応する閾値配列Ｔ１，Ｔ２に関しても第１実施形態と同じである。しかし図９で示されるように、実線もしくは破線によって、ブロックの判別結果としての領域の数が７２個でなく１３個｛Ｒ１，Ｒ２，…，Ｒ１３｝になっていることが異なる。すなわち第１実施形態における領域が複数個まとめられている。
【００４２】
図９で示される領域は、図２のステップＳ２０４の処理において、個別に量子化パラメータを変える事ができる。斜線で示された領域は量子化パラメータの重みづけを基準値から変える領域である。斜線ではない領域（Ｒ９）は量子化パラメータを基準値から変更しない領域である。ここで基準値とは、フレームに与えられるデフォルトの量子化パラメータを指す。斜線で示された領域の中で、実線で囲まれた領域は複雑度が高いもしくは明るい領域である。これらの領域は画質劣化が目立ちにくいため量子化パラメータを基準値よりも大きく設定し、符号量を削減する。一方、破線で囲まれた領域は画質劣化が目立ち易い領域のため、量子化パラメータを基準値よりも小さく設定して画質を向上させる。画質を緻密に制御するため、画質劣化の目立ち易い領域は特に細かく領域を分割している。単に閾値との比較を行うだけでブロックの判別を決定しているため、第１実施形態と比較して多くの場合処理が単純である。具体的には、第１実施形態においては７２個の領域判定には最大で７２回の比較処理が必要になるが、図１０で示すように、Ｒ１，Ｒ２，…，Ｒ１３の順に領域を判定することで、最大で１３回の比較処理で１３個の領域判定処理が可能となる。本実施形態では、領域を１３個に分割する例を紹介したが、本発明はこれに限定されるものではなく、領域数を増やして更に緻密に画質を制御する事も可能である。
【００４３】
＜実施形態６＞
図１、図５、図６に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図１、図５、図６に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
【００４４】
図１１は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【００４５】
ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１１０１は、図１、図５、図６に示した各処理部として機能することになる。
【００４６】
ＲＡＭ１１０２は、外部記憶装置１１０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
【００４７】
ＲＯＭ１１０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１１０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。表示部１１０５は、ＣＰＵ１１０１による処理結果を表示する。また表示部１１０５は例えば液晶ディスプレイのような表示装置で構成される。
【００４８】
外部記憶装置１１０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１１０６には、ＯＳ（オペレーティングシステム）や、図１、図５、図６に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１１０６には、処理対象としての各画像データが保存されていても良い。
【００４９】
外部記憶装置１１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。Ｉ／Ｆ１１０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１１０７を介して様々な情報を取得したり、送出したりすることができる。１１０８は上述の各部を繋ぐバスである。
【００５０】
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１１０１が中心となってその制御を行う。
【００５１】
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００５２】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００５３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図１】
0005988577.tif 000002
【図２】
0005988577.tif 000003
【図３】
0005988577.tif 000004
【図４】
0005988577.tif 000005
【図５】
0005988577.tif 000006
【図６】
0005988577.tif 000007
【図７】
0005988577.tif 000008
【図８】
0005988577.tif 000009
【図９】
0005988577.tif 000010
【図１０】
0005988577.tif 000011
【図１１】
0005988577.tif 000012