(57)【要約】      （修正有）【課題】目標の符号化データ量としながらも、画質劣化を抑制した符号化データを生成する。【解決手段】画像符号化装置であって、着目フレームの画像データから、単一成分で構成される複数のプレーンデータを生成するプレーン変換部と、生成したデータに対して、複数のサブバンド係数を生成する周波数変換部と、該係数を所定領域単位で更新される量子化パラメータに従い量子化し、符号化する符号化部と、量子化パラメータ及び生成符号量とに基き、符号化の難易度指標を算出する算出部と、該指標に基き後続フレームの符号量を制御する符号量制御部とを有する。符号量制御部は、設定されたフレーム目標符号量を、プレーン毎指標値の積算値比率に基きプレーン毎へ分配する事で、後続フレームの各プレーン目標符号量を決定し、決定した目標量を、各プレーンのサブバンド毎の指標値の積算値の比率に基きサブバンド毎に分配する事で、サブバンド目標符号量を決定する。【選択図】図１
2017224965.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを符号化する画像符号化装置であって、
動画像データにおけるフレームのデータに対して周波数変換を実行し、複数のサブバンドの係数データを生成する周波数変換手段と、
該周波数変換手段で得られた係数データを、量子化パラメータに従って量子化し、当該量子化された係数データを符号化する符号化手段と、
前記符号化手段により発生する符号量が目標符号量になるように前記符号化手段を制御する符号量制御手段とを有し、
前記符号量制御手段は、複数のサブバンド毎に算出される難易度を表す指標値に応じて決定される比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記複数のサブバンド毎のサブバンド目標符号量を決定する
ことを特徴とする画像符号化装置。
【請求項２】
前記符号量制御手段は、複数のサブバンドの難易度を表す指標値に所定の重みづけを行って決定された比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記サブバンド目標符号量を決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
さらに、前記動画像データにおけるフレームの画像データから単一成分で構成される複数のプレーンデータを生成するプレーン変換手段を有し、
前記周波数変換手段は、前記プレーン変換手段により生成されたプレーンデータに対して周波数変換を実行して、前記複数のプレーンデータ毎に複数のサブバンドの係数データを生成し、
前記符号量制御手段は、複数のプレーンデータ毎に算出される難易度を表す指標値、および、複数のサブバンド毎に算出される難易度を表す指標値に応じて決定される比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記サブバンド目標符号量を決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記符号量制御手段は、
複数のプレーンデータの難易度を表す指標値に応じて決定される比率に基づいて、前記目標符号量を前記複数のプレーンデータへ分配することにより、プレーンデータ毎のプレーン目標符号量を決定し、
各プレーンデータについて、当該プレーンデータおける複数のサブバンドの難易度を表す指標値に応じて決定される比率に基づいて、前記プレーン目標符号量を前記複数のサブバンドに分配することにより、前記サブバンド目標符号量を決定することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記符号量制御手段は、複数のプレーンデータおよび複数のサブバンドの難易度を表す指標値に所定の重みづけを行って決定された比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記サブバンド目標符号量を決定することを特徴とする請求項３または４に記載の画像符号化装置。
【請求項６】
前記周波数変換手段は、離散ウェーブレット変換手段であることを特徴とする請求項１に記載の画像符号化装置。
【請求項７】
前記符号化手段は、
同一分解レベルのサブバンドであるＬＬ、ＨＬ、ＬＨ、ＨＨにおいて、ＬＬ≦ＬＨ＝ＨＬ≦ＨＨの関係を持つ初期の量子化パラメータに基づいて量子化を開始し、
解像度レベルの間では、解像度レベルが低いほど大きな初期の量子化パラメータに基づいて量子化を開始する
ことを特徴とする請求項６に記載の画像符号化装置。
【請求項８】
プレーン変換手段は、ＲＡＷ画像データを、Ｒ，Ｇ，Ｂの単一の色成分で構成さされる複数のプレーンデータに変換する手段であることを特徴とする請求項３に記載の画像符号化装置。
【請求項９】
プレーン変換手段は、ＲＡＷ画像データを、輝度成分で構成されるプレーン、複数の色差成分それぞれのプレーンデータに変換する手段であることを特徴とする請求項３に記載の画像符号化装置。
【請求項１０】
前記符号量制御手段は、
前記輝度成分のプレーンデータに対し、前記色差成分のプレーンデータよりも大きな重みづけ係数を用いて、フレーム目標符号量を分配する
ことを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記符号化手段は、
サブバンドの１ライン分の係数データを単位に量子化し、
前記１ライン分の係数データを量子化した際の量子化パラメータと前記１ライン分の係数データから生成された符号化データ量との積を、前記難易度を表す指標値として算出する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像符号化装置。
【請求項１２】
動画像データを符号化する画像符号化装置の制御方法であって、
周波数変換手段が、動画像データにおけるフレームのデータに対して周波数変換を実行し、複数のサブバンドの係数データを生成する周波数変換工程と、
符号化手段が、前記周波数変換工程で得られた係数データを、量子化パラメータに従って量子化し、当該量子化された係数データを符号化する符号化工程と、
符号量制御手段が、前記符号化工程により発生する符号量が目標符号量になるように前記符号化工程を制御する符号量制御工程とを有し、
前記符号量制御工程は、複数のサブバンド毎に算出される難易度を表す指標値に応じて決定される比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記複数のサブバンド毎のサブバンド目標符号量を決定する
ことを特徴とする画像符号化装置の制御方法。
【請求項１３】
コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至１１のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの符号化技術に関するものである。
【背景技術】
【０００２】
現在、デジタルビデオカメラ等、動画像を記録するデジタル機器が普及しており、近年では静止画にのみ適用されていたＲＡＷ画像記録が動画像の記録にも適用されている。上記のＲＡＷ画像は記録に必要なデータ量が膨大になるものの、オリジナル画像に対する補正や劣化を最低限に抑えられる点、撮影後の画像編集の自由度が高い点等から、撮像装置を使用する者の中でも上級者によって好んで使われている。
【０００３】
ＲＡＷ動画像をメモリカード等の記録媒体に記録するためには、その記録媒体の容量に応じた時間分の記録を可能とするため、或る程度の圧縮率でＲＡＷ動画像を圧縮符号化することが必要になる。
【０００４】
一般に、撮像素子はベイヤ配列を採用している。ベイヤ配列は、異なる色成分が交互に並んでいることから、隣接する画素間の相関が低く、そのまま符号化しても圧縮効率が悪い。そこで、ベイヤ配列の画像データから、Ｒ成分のみの画像プレーン、Ｇ１成分のみの画像プレーン、Ｇ２成分のみの画像プレーン、Ｂ成分のみの画像プレーンに分離し、プレーン毎に符号化を行うことで、符号化効率を向上させることが行われている。
【０００５】
また、従来の代表的な圧縮符号化方式として、Ｈ．２６４（H.264/ MPEG-4 Part10 : Advanced Video Coding）が知られている。かかる圧縮符号化方式では、１フレーム内で所定画素数から成るブロック毎に、動画像が有する時間冗長性と空間冗長性を利用してデータ量を圧縮する。
【０００６】
上記Ｈ．２６４では、時間冗長性に対する動き検出及び動き補償、空間冗長性に対する周波数変換として離散コサイン変換(Descrete Cosine Transform;DCT) 、更に量子化やエントロピー符号化といった技術を組み合わせている。ただし、ある程度以上圧縮率を上げると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に画像劣化が目立つようになる。
【０００７】
そこで、周波数変換として、水平方向と垂直方向に低域フィルタリングと高域フィルタリングをそれぞれかけることで、サブバンドと呼ばれる周波数帯に分解する技術がＪＰＥＧ２０００で採用されている。ＪＰＥＧ２０００では、周波数帯へ周波数変換を行うために離散ウェーブレット変換(Discrete Wavelet Transform; 以下、ＤＷＴ)を用いている。サブバンド符号化は、ＤＣＴを用いた符号化技術に比べ、ブロック歪みが生じにくく、高圧縮時の圧縮特性が良いといった特徴を有する。
【０００８】
一般的な符号量制御は、符号化が完了しているフレームの情報を元に、次に符号化するフレームの目標符号量を決定する。そして、１フレームあたりの目標符号量へ発生符号量を収束させるために、量子化に利用する量子化パラメータＱｐを画像の所定の領域毎に変更する量子化制御を行うことで符号量の制御を行う。なお、Ｑｐは、その値が大きい程符号量を削減することができるパラメータである一方、画質劣化の原因になるため、出来るだけ小さく、かつ画面内で一定であることが望ましい。
【０００９】
また、サブバンド間のＱｐの比率を所定の関係にすることで符号化効率を向上させることができ、例えば、ＪＰＥＧ２０００では、高域サブバンドほど量子化パラメータを大きく設定する関係式が、暗示的な量子化として規定されている。特に、サブバンド符号化では、画像の目標符号量を、各サブバンドへサブバンド目標符号量として分配し、サブバンド毎に量子化制御を行うことで、量子化制御を行うことができ、所望の符号量へ画像データを圧縮することが可能である。
【００１０】
しかしながら、上述のように、サブバンド毎に目標符号量を設定し、Ｑｐをサブバンド内で所定の領域毎に変更する場合、サブバンド目標符号量を適切に設定しないと、サブバンドの符号化開始時に設定する初期Ｑｐの比率を所定の関係にしたとしても、各サブバンドのＱｐの比率が画面途中で所定の関係から逸脱していく可能性がある。
【００１１】
例として、各サブバンドの目標符号量を全て等しく設定した場合のＱｐの変化を挙げる。入力画像が、垂直線の多い画像である場合、垂直線が劣化しないように水平周波数成分の目標符号量は垂直周波数成分の目標符号量よりも大きく設定するべきである。しかし、水平周波数成分と垂直周波数成分の目標符号量が等しいと、発生符号量が多くなる水平周波数成分では、符号量を抑えようと、Ｑｐが大きくなるよう制御されるので、垂直線がぼやけてしまうような劣化が起きる。また、プレーン変換後の各プレーンの目標符号量の設定においても、適切に目標符号量を設定しないと上記と同様の問題が発生し得る。
【００１２】
そこで、適切に輝度と色差成分の符号量を配分するために、符号化する際に適用する量子化マトリクスの設定を変更することで、符号量制御性を向上させる技術が特許文献１に記載されている。特許文献１によれば、輝度符号量と色差符号量の比率を元に、輝度符号量が所定の値よりも大きければ輝度信号の量子化値をスケールアップし、色差符号量が所定の値よりも大きければ色差信号の量子化値をスケーアップすることで、ピクチャ目標符号量を適切に輝度符号量及び色差符号量に配分することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開2010-183402号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１に記載された技術では、輝度信号と色差信号の量子化値をそれぞれ独立に変更するため、最適な画質を得られない場合がある。これは、上述のサブバンド毎の目標符号量やプレーン毎の目標符号量の設定に当てはめても問題となる。例えば、周波数変換したサブバンド間の量子化の関係において従来技術を適応した場合を考察する。垂直線の多い画像では、水平成分に相当するサブバンドの符号量が多いからといって、同じく量子化パラメータを大きくしてしまえば、原画像に対して符号化後の水平成分の情報比率は減ってしまい、垂直線線がぼやけてしまい、画質は大きく劣化してしまう。
【００１５】
また、ＲＡＷ画像からＲ，Ｇ１，Ｇ２，Ｂへのプレーン変換時も同様である。例えばＲ，Ｇ１，Ｇ２，Ｂプレーンへ分解した際のＢのプレーンの符号量が極端に多いとする。この場合、Ｂプレーンの量子化パラメータを他のプレーンより大きくすれば、原画像に対して符号化後の青成分の情報が極端に減ってしまい、画質が劣化する。
【００１６】
本発明は上記の問題点に鑑みなされたものであり、目標とする符号化データ量としながらも、画質劣化を抑制した符号化データを生成する技術を提供しようとするものである。
【課題を解決するための手段】
【００１７】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像データを符号化する画像符号化装置であって、
動画像データにおけるフレームのデータに対して周波数変換を実行し、複数のサブバンドの係数データを生成する周波数変換手段と、
該周波数変換手段で得られた係数データを、量子化パラメータに従って量子化し、当該量子化された係数データを符号化する符号化手段と、
前記符号化手段により発生する符号量が目標符号量になるように前記符号化手段を制御する符号量制御手段とを有し、
前記符号量制御手段は、複数のサブバンド毎に算出される難易度を表す指標値に応じて決定される比率に基づいて、前記目標符号量を前記複数のサブバンドに分配することにより、前記複数のサブバンド毎のサブバンド目標符号量を決定することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、目標とする符号化データ量としながらも、画質劣化を抑制した符号化データを生成することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】実施形態の画像符号化装置のブロック構成図。
【図２】ベイヤ配列と、Ｒ，Ｇ１，Ｂ１，Ｇの４プレーンとの対応関係を示す図。
【図３】離散ウェーブレット変換(DWT)を３回実施した場合のサブバンドの形成図。
【図４】実施形態に係るＤＷＴによる分解レベルとＱｐとの関係を示す図。
【図５】（ａ）は画像例を示し、（ｂ）は各分解レベルでの均等割り当てＱｐと、実施形態での割り当てＱｐとの関係を示し、（ｃ）は第１の実施形態における分解レベル１のサブバンドのＱｐの推移を示す図。
【図６】実施形態における画像目標符号量のプレーン目標符号量への分配例を示す図。
【図７】実施形態に係るＤＷＴ分解レベル１におけるＱｐの関係の例を示す図。
【図８】実施形態に係るＲプレーン目標符号量の各サブバンド目標符号量への分配例を示した図。
【発明を実施するための形態】
【００２０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００２１】
［第１の実施形態］
＜装置構成＞
図１は、第１の実施形態が適用する画像符号化装置のブロック構成図である。この画像符号化装置は、デジタルビデオカメラなどの撮像装置に適用されるものでもある。画像符号化装置は、装置全体の制御を司る主制御部を有し（不図示）、以下の説明する各種処理部の制御を司る。
【００２２】
撮像部100は、光学レンズ、ベイヤ配列の撮像素子、Ａ／Ｄ変換器等を収容し、撮像したＲＡＷ形式の動画像データをフレーム単位にプレーン変換部101に供給する。ベイヤ配列では、その中の２×２画素が１個のＲ（レッド）画素、１個のＢ（ブルー）画素、２つのＧ（グリーン）画素で構成される。２つのＧ画素は、それぞれを区別するため、一般にＧ１，Ｇ２と表記されることが多い。また、実施形態における撮像部100は、例えば１秒当たり30枚のＲＡＷ画像データをプレーン変換部101に供給するものとする。
【００２３】
プレーン変換部101は、入力した１枚のＲＡＷ画像データから、それぞれが単一成分の４つのプレーンデータを生成する。ここでは、実施形態のプレーン変換部101は、１枚のフレームであるＲＡＷ画像データからＲプレーン、Ｇ１プレーン、Ｇ２プレーン、Ｂプレーンの４プレーンを生成し、離散ウェーブレット変換部102に供給する。図２は、入力したＲＡＷ画像データ（ベイヤ配列）と、Ｒ，Ｇ１，Ｇ２，Ｂの４プレーンとの対応関係を示している。プレーン変換部101による４つのプレーンへ分離し、圧縮符号化を実施することで、ベイヤ配列のままの画像に比べ、プレーン内の画素間の相関を高め、圧縮効率を向上させることができる。
【００２４】
離散ウェーブレット変換部102は、入力した１つのプレーン（Ｒ，Ｇ１，Ｇ２，Ｂプレーンのいずれか）が示す画像データごとに、周波数変換の１つである離散ウェーブレット変換（以下、ＤＷＴ）を行う。この結果、複数のサブバンドの係数データ（周波数領域信号）が生成されるので、離散ウェーブレット変換部102はそれらを出力する（詳細後述）。
【００２５】
なお、実施形態におけるプレーン変換部101は１枚のＲＡＷ画像データから４つのプレーンが生成されている。ＤＷＴに係る時間の短縮のために離散ウェーブレット変換部102を４つ並列に配置して、ＤＷＴを並列実行しても良い。これは、後述する量子化部103、符号化部104でも同様である。
【００２６】
また、ＤＷＴは、一般に画像全体に対してフィルタリングを行うが、フィルタタップ数分の画素がメモリに溜まったタイミングで、垂直方向及び水平方向のフィルタリングを行うことが可能である。そのため、ＤＷＴを入力画像の１ライン単位に行い、更に生成された低域サブバンド（一般にＬＬサブバンド）に対して再帰的にＤＷＴを行うことで、各サブバンドをライン単位に並列に処理することが可能である。離散ウェーブレット変換部102は、周波数変換で得られた各プレーンの各サブバンドの係数データを順次量子化部103へ供給する。
【００２７】
量子化部103は、符号量制御部105より設定される量子化パラメータＱｐを利用し、入力されるＤＷＴ変換係数データを量子化し、量子化後のＤＷＴ変換係数データを符号化部１０４に供給する。量子化パラメータは、その値が大きいほど符号量を削減することができるが、その一方で、その値が大きいと画質劣化が顕著になる。
【００２８】
符号化部104は、量子化部103から供給された量子化後の係数データを符号化して符号化データを生成し、出力部119に供給する。出力部119は、符号化部104から供給された符号化データに、復号に必要な情報を含むヘッダを付加し、所定のフォーマットの符号化データを生成し、記憶媒体120に書き込む。
【００２９】
次に、第１の実施形態における符号量制御部117について説明する。
【００３０】
符号量制御部117は、制御感度設定部113、サブバンド量子化設定部114、サブバンド目標符号量設定部115、そしてサブバンド複雑度設定部116を含み、これらによりサブバンド毎の各種設定値を元にした符号量の制御を行う。
【００３１】
量子化制御部105は、各サブバンドの発生符号量がサブバンド目標符号量に収束するように、ライン単位にＱｐを更新する。そのため、量子化制御部105は、サブバンド毎にライン単位の制御を行う。発生符号量保持部106は、符号化部104から通知される符号化データである発生符号量をサブバンド毎に保持する。
【００３２】
矩形ブロック複雑度算出部107は、着目サブバンドにおける、次に符号化するラインに対して１ライン前のラインの複雑度Ｘ[i-1]を算出する（詳細後述）。矩形ブロック複雑度算出部107で算出されたライン毎の複雑度は、サブバンド毎に積算され、サブバンド複雑度設定部116で保持される。なお、以降ｉは符号化対象ラインのライン番号を表す。
【００３３】
矩形ブロック目標符号量算出部108は、サブバンド目標符号量設定部115で設定されるサブバンド目標符号量Ｔsb、サブバンド複雑度設定部116で設定されるサブバンド複雑度Ｘsb、矩形ブロック複雑度算出部107で算出される矩形ブロック複雑度Ｘ[i-1]に従い、着目サブバンド内の次に符号化するラインの目標符号量Ｔ[i]を算出する（詳細後述）。
【００３４】
差分算出部109は、着目サブバンド内のライン毎に、発生符号量保持部106で保持されたライン発生符号量Ｓ[i-1]と矩形ブロック目標符号量算出部108から出力される矩形ブロック目標符号量Ｔ[i]の差分を算出する。差分保持部110は、上記算出値を積算した積算差分値ΣＥ[i-1]をサブバンド毎に保持する。
【００３５】
ここで、着目サブバンドの目標符号量Ｔtarget、着目サブバンドが含むライン数をＭとし、水平軸をライン数、垂直軸を符号量と定義する座標空間を定義したとする。積算差分値ΣＥ[i-1]は、原点（０，０）と（Ｍ、Ｔtarget）とを結ぶ理想とする符号量推移線上から、どれだけずれているかを示していることになる。
【００３６】
量子化値算出部111は、差分保持部110で保持された積算差分値ΣＥ[i-1]と、サブバンド量子化設定部114で設定し、量子化パラメータ保持部112で保持された初期ＱｐであるＱｐini、そして、制御感度設定部113で設定される制御感度ｒを用いて、着目サブバンド内の次（後続）のラインの量子化パラメータＱｐ[i]を決定する。簡単には、量子化値算出部111は、積算差分値ΣＥ[i-1]の絶対値が小さくなるように、次に符号化するラインの量子化パラメータＱｐ[i]を算出するものである（詳細後述）。
【００３７】
＜離散ウェーブレット変換(DWT)＞
図３は、ＤＷＴの垂直、水平フィルタリング処理をそれぞれ３回実施した場合の分解レベル３のサブバンド形成図である。
【００３８】
ＤＷＴでは、垂直、水平にそれぞれフィルタをかけることで、ＨＨ，ＨＬ，ＬＨ，ＬＬの４つの周波数帯域（サブバンド）の係数データが生成される。そして、上記変換により生成された低域（ＬＬ）サブバンドに対して再帰的にDWTを施すことで分解レベルを増加させ、図３のように周波数分解の粒度を細かくすることができる。なお、図３における“Ｌ”，“Ｈ”はそれぞれ低域、高域を示し、その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示し、“Lv”の後の数字はＤＷＴの分解レベルを示す。また、ＬＬは、最低域サブバンドを示す。
【００３９】
図１の符号量制御部117では、高域のサブバンドほど量子化パラメータを大きく、低域のサブバンドほど量子化パラメータを小さく設定し符号量制御を行う。これにより、人間の視覚特性上視認しづらい、画像データの高域成分ほど発生符号量を圧縮し、符号化効率を向上させることができる。なお、図３では、ＤＷＴ変換の実行回数を３としているが、これはあくまで一例であり、その回数に特に制限はない。
【００４０】
＜複雑度の算出＞
複雑度は、画像の難易度を示す指標値であり、画像が難しいほど大きく、易しいほど小さいパラメータである。難しい画像とは、あるＱｐで画像全面を符号化したときに、符号量がより発生する画像のことを示している。故に、複雑度Ｘは、量子化パラメータＱｐ、発生符号量Ｓを用いて、次式（１）のように表す。
Ｘ＝Ｑｐ×Ｓ    …（１）
【００４１】
矩形ブロック複雑度算出部107は、矩形ブロック目標符号量を算出するために、次に符号化するラインに対して、１ライン前の１ライン分の複雑度を算出する。
【００４２】
１ライン前の符号化に利用した量子化パラメータＱｐ[i-1]と、１ライン前の符号化で発生した符号化データ量Ｓ[i-1]を用いれば、１ライン前の複雑度Ｘ[i-1]は、式（１）に従って次式（２）のように表せる。
Ｘ[i-1] ＝ Ｑｐ[i-1]×Ｓ[i-1]    …（２）
【００４３】
＜矩形ブロック目標符号量の算出＞
各サブバンドでは、画像の難しいラインほど目標符号量を多く割り当て、易しいラインほど目標符号量を小さく割り当てることで、Ｑｐの変動をサブバンド内で極力小さくすることができる。
【００４４】
そこで、矩形ブロック目標符号量算出部108は、サブバンド目標符号量設定部115で設定されるサブバンド目標符号量Ｔsb、サブバンド複雑度設定部116で設定されるサブバンド複雑度Ｘsb及び、矩形ブロック複雑度Ｘ[i-1]に従い、着目サブバンド内の次に符号化するラインの目標符号量Ｔ[i]を次式（３）に基づき算出する。
Ｔ[i] = Ｔsb ×  Ｘ[i-1] ／ Ｘsb_N-1    …（３）
式(1)で示したように、複雑度は発生符号量を利用し算出するため、符号化しなければ得られないフィードバック量である。そのため、Ｘsbには、着目フレームであるＮフレームに対して、１フレーム前のサブバンド複雑度Ｘsb_N-1をフィードバックし用いる。ただし、Ｎは整数であり、Ｎフレームは着目ＲＡＷ画像データを表す。
【００４５】
式（３）のように、サブバンド全体に対する着目ラインの複雑度の比率をＴsbに乗ずることで、難しいラインでは目標符号量を多く割り当て、易しいラインでは目標符号量を少なく割り当てることができる。この結果、サブバンド内でＱｐの変動を極力小さくすることができる。
【００４６】
＜量子化制御＞
量子化パラメータ算出方法の一つに「ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ  ５」に示される公知技術がある。この技術に従い、量子化値算出部111は、差分保持部110に保持された積算差分値ΣＥ[i-1]と量子化パラメータ保持部112で保持された初期量子化パラメータＱｐini、制御感度設定部113で設定された制御感度ｒを用いて、次式（４）のように、次のラインの量子化パラメータＱｐ[i]を算出する。
Ｑｐ[i]＝Ｑｐini + r ×ΣＥ[i-1]    …（４）
なお、制御感度ｒは、大きいほど積算差分値に応じて急峻にＱｐ[i]を変動させる一方、符号量の制御性が良くなるパラメータである。「ＭＰＥＧ２ Ｔｅｓｔ  Ｍｏｄｅｌ  ５」を利用することで、目標符号量に対して発生符号量が大きければ量子化パラメータを大きく、小さければ量子化パラメータを小さく設定し、符号量を制御することが可能である。
【００４７】
＜符号量制御（Ｒ，Ｇ１，Ｇ２，Ｂ間の量子化パラメータの関係）＞
図２で示すＲ，Ｇ１、Ｇ２，Ｂプレーンへの変換により生成された各プレーンは、人間の視覚特性上の重要度はなく、どのプレーンに優劣を付けることなく一律で重要なプレーンといえる。そのため、Ｑｐはどのプレーンでも等しいことが望ましい。
【００４８】
また、各周波数帯を示すサブバンドに関しては、人間の視覚特性上鈍感であるとされる空間周波数の高いサブバンドの係数データに対してＱｐを大きくすることが有効とされている。
【００４９】
図４は、実施形態における、ＤＷＴによる分解レベル数が３の場合のＱｐの関係例を示す説明図である。なお、“ｍ”は、画像目標符号量によって調整する値であり、各サブバンド間の比率にｍを乗じた値を実際のＱｐとする。
【００５０】
図４に示すように、同一解像度レベル内においては、ＨＬサブバンドとＬＨサブバンドの量子化パラメータは互いに等しく、ＨＨサブバンドの量子化パラメータは、ＨＬ（もしくはＬＨ）サブバンドの２倍の値である。
【００５１】
また、分解レベル間では、同じ種類のサブバンドの間では、レベルが高い方がレベルの低い方に対して１／２の関係にある。更に、解像度レベルLv3のサブバンドは、より低域周波数成分を意味しており、画質の観点から、どんな画像であったりどんな画像目標符号量であったとしても、量子化しないようにして良い。
【００５２】
なお、図４で示したＱｐの関係は、空間周波数の高いサブバンド程Ｑｐを大きくするという前述の考えに則っている。以上のようにサブバンド間のＱｐの比率を考慮して圧縮符号化を行うことで、低域周波数帯と高域周波数帯のＱｐを同じにして符号量制御を行う場合に比べて高画質を実現することができる。以降、ここで述べた高画質に寄与するＱｐの比率関係を「所定のＱｐの関係」と記載する。
【００５３】
上記のようなＱｐの初期設定は、サブバンド量子化設定部114で予め設定することが可能である。しかし、サブバンド目標符号量が適切でない場合、画面の途中で、Ｑｐの関係が所定のＱｐの関係を逸脱する場合がある。
【００５４】
図５（ａ）乃至（ｃ）を参照して、サブバンド間において所定のＱｐの関係から逸脱する例を示す。図５（ａ）は垂直線を多く含む画像例であり、図５（ｂ）は目標符号量の関係を示す。そして、図５（ｃ）は、画面内のＱｐの推移を示す。
【００５５】
図５（ａ）のように、垂直線の多い画像の場合、水平成分に相当するＨＬサブバンドの複雑度の比率は、他のサブバンドに比べ大きくなる。それ故、同図（ｂ）の参照符号５１乃至５３に示すように、ＨＬサブバンドについては目標符号量を、他のＬＨ，ＨＨサブバンドよりも多く設定することが望ましい。
【００５６】
しかし、ここでは、ＨＬ，ＬＨ，ＨＨのサブバンドに対して図５（ｂ）の参照符号５５乃至５７のように、同じ目標符号量を設定してしまった場合を考察する。この場合、初期Ｑｐを所定のＱｐの関係で設定したとしても、ＨＬサブバンドについては符号量を抑え込もうとＱｐが大きくなる方向へ量子化制御が働き、ＬＨサブバンド、ＨＨサブバンドは符号量を発生させようとＱｐが小さくなる方向へ量子化制御が働く。このため、図５（ｃ）のように１フレームの符号化中で、所定のＱｐの関係が崩れ、画質の劣化が発生する可能性が高くなる。
【００５７】
以上のような所定のＱｐの関係が崩れることを防ぐ、本実施形態のサブバンド目標符号量の設定方法を以下に説明する。
【００５８】
図１に示したように、入力した動画像の１フレームのＲＡＷ画像データはプレーン変換部101、離散ウェーブレット変換部102、量子化部103による処理が行われる。本実施形態では、サブバンド毎に目標符号量を設定するため、ビットレートに基づいて既に決定されている１フレーム分の目標符号量を、各サブバンド目標符号量として分配する。そこで、まずＲ，Ｇ１，Ｇ２，Ｂのプレーン間への画像目標符号量の分配方法を説明する。
【００５９】
図２のようなＲ，Ｇ１，Ｇ２，Ｂのプレーンに対する所定のＱｐの関係は、上述の通り、どのプレーン間でも１：１の関係である。そこで、プレーン間のＱｐの関係を1:1にするため、複雑度を利用する。
【００６０】
式(１)で説明したが、複雑度は、発生符号量とＱｐの積算量であり、難しい画像程大きいパラメータである。そして、Ｑｐが大きければ発生符号量は小さくなる関係にあるため、或る画像や或るプレーン、サブバンドの複雑度はＱｐによらず一定である。そこで、この複雑度の比率を目標符号量の比率として、１フレーム（ＲＡＷ画像データ）の画像目標符号量を、４つのプレーンに分配する。
【００６１】
図６に、画像目標符号量の、プレーン目標符号量への分配例を示す。前フレームにおける複雑度の比率がＧ１：Ｒ：Ｂ：Ｇ２＝１：２：１：１であったとする。この場合、式（１）から、Ｒプレーンは、他のプレーンと同じＱｐで符号化した場合でも、他のプレーンの２倍の符号量が発生することになる。そこで、本実施形態では、後続フレームの各プレーンの目標符号量の比率を、複雑度の比率と同様に、Ｇ１：Ｒ：Ｂ：Ｇ２＝１：２：１：１と設定する。図６を参照すれば、予め設定された１フレーム当たりのフレーム目標符号量が“225”であった場合、後続フレームの各プレーンの目標符号量はＧ１＝４５、Ｒ＝９０、Ｂ＝４５、Ｇ２＝４５に設定される。このようにすることで、全プレーン同じＱｐ値、つまり所定のＱｐの関係を維持しつつ、所定の目標符号量に収束させることが可能である。
【００６２】
以上をまとめると、着目プレーン目標符号量Ｔplは、１フレームの目標符号量Ｔpic（既知）、前フレームにおけるＲ，Ｇ１，Ｇ２，Ｂの各プレーンのプレーン複雑度の合計を示す画像複雑度Ｘpic、前フレームにおける着目プレーンの複雑度Ｘplを用いて次式で示すように算出される。
Ｔpl ＝ Ｔpic × Ｘpl ／Ｘpic    …（５）
なお、ＸplやＸpicは、サブバンド複雑度Ｘsbをプレーン分、あるいは１フレーム分加算することで得ることができる。
【００６３】
次に、１つのプレーン内におけるサブバンド目標符号量の分配方法を説明する。簡単のため、まず、ＤＷＴ分解レベル１で分配方法を説明する。
【００６４】
図７に、分解レベル１における、所定のＱｐの関係の比率例を示す。図８はＲプレーン目標符号量の各サブバンド目標符号量への分配例を示す。図７に示すように、レベルＬｖ１において、所定のＱｐの関係をＬＬ:Lv1ＨＬ：Lv1ＬＨ：Lv1ＨＨが、１：２：２：４とする。
【００６５】
画像目標符号量をプレーン目標符号量へ分配したように、サブバンド目標符号量は、プレーン目標符号量を各サブバンドに分配することで得られる。
【００６６】
サブバンド目標符号量の分配にも、前述の複雑度の比率を利用する。しかしながら、複雑度のみで目標符号量を分配すると、前述の通りサブバンド間のＱｐの関係は、１：１となってしまう。そこで、この複雑度の比率に加え、更に所定のＱｐの関係を利用することで、サブバンド目標符号量を設定する。
【００６７】
具体的には、複雑度の比率に、所定の重みαsbを乗じる。この所定の重みのサブバンド間の関係は、Ｑｐの比率をＬＬ:Lv1ＨＬ:Lv1ＬＨ:Lv1ＨＨ＝１：２：２：４にするため、ＬＬ:Lv1ＨＬ:Lv1ＬＨ:Lv1ＨＨ＝１：１／２：１／２：１／４＝４：２：２：１、つまり所定のＱｐの関係の逆数にする。このようにして得た各サブバンドの重みを、複雑度に乗じ、重み付けされた複雑度を用いてサブバンド目標符号量を設定する。
【００６８】
上記を適応した一例を以下に挙げる。前フレームにおける各サブバンドの複雑度の比率が、ＬＬ:Lv1ＨＬ:Lv1ＬＨ:Lv1ＨＨ =1:1:1:1であったとする。図８を参照すれば、画像目標符号量からＲプレーンに割り当てられるＲプレーン目標符号量が“９０”で、各サブバンドの目標符号量は、ＬＬ＝４０, Lv1ＨＬ＝２０, Lv1ＬＨ＝２０, Lv1ＨＨ＝１０と分配される。
【００６９】
このようにサブバンド目標符号量を与えれば、式（１）で発生符号量=目標符号量と制御が働くため、Ｑｐの比率は、所定のＱｐの関係である、ＬＬ:Lv1ＨＬ:Lv1ＬＨ:Lv1ＨＨ＝１：２：２：４となる。
【００７０】
以上をまとめると、図７の所定のＱｐの関係を元にした着目サブバンド目標符号量は、
Tpl = ( Tpl × XLL/Xpl×αLL ＋ Tpl × XLv1HL/Xpl×αLv1HL
＋Tpl × XLv1LH/Xpl×αLv1LH ＋ Tpl × XLv1HH/Xpl×αLv1HH )×βpl
= Ｔpl / Xpl×βpl
×(XLL×αLL+XLv1LH×αLv1LH+XLv1LH×αLv1LH+XLv1LH×αLv1LH) …（６）
Tsb= Tpl × Xsb/Xpl ×αsb ×βpl  …（７）
と分配することができる。
【００７１】
なお、Ｘsbは着目サブバンドの複雑度、αsbは着目サブバンドの重み、βplは、着目プレーンに含まれるサブバンドの合計目標符号量が着目プレーン目標符号量に収束するようにするための調整値であり、その他の頭文字がＸ,Ｔの変数は、Ｘ以降、Ｔ以降に付与したサブバンド名が意味するサブバンドの複雑度、目標符号量である。
【００７２】
更に、本実施形態で実施するＤＷＴが３回、所定のＱｐの関係が図４の場合の目標符号量は、次式（８）なる。
Tpl − (TLL + TLv3HL + TLv3LH + TLv3HH )
= Tpl/Xpl×βpl×(XLv2HL×αLv2HL ＋ XLv2LH×αLv2LH ＋ XLv2HH×αLv2HH
＋ XLv1HL×αLv1HL ＋ XLv1LH×αLv1LH ＋ XLv1HH×αLv1HH）  …（８）
なお、量子化を行う着目サブバンドの目標符号量は、式（７）の通りである。
【００７３】
量子化しないサブバンドが存在する場合、量子化しない当該サブバンドの目標符号量は、着目フレームと相関の高い１フレーム前の着目サブバンドの発生符号量をそのまま当該サブバンド目標符号量とし、プレーン目標符号量から予め減じておくことで、式（７）で示した例と同じ方法でその他のサブバンド目標符号量を算出することができる。
【００７４】
また、当該フレームのサブバンド発生符号量は、設定したサブバンド目標符号量となると考えれば、量子化を実施する当該サブバンドの初期Ｑｐは、式（１）から、Ｘsb/Ｔsbで算出することができ、このようにして得られるＱｐのサブバンド間の関係は、所定のＱｐの関係の通りになる。
【００７５】
このようにプレーン及びサブバンドの目標符号量を設定することで、各サブバンドの全面が所定のＱｐの関係で符号化された場合の発生符号量を予測できる。このため、ライン単位に量子化制御を実施しても、所定のＱｐの関係で設定した各サブバンドの初期Ｑｐから乖離することなく、各サブバンド目標符号量へ収束させ、画面の符号量制御を実施することができる。
【００７６】
以上のようにすることで、プレーンやサブバンドの目標符号量を、画像の複雑度及び、プレーン及びサブバンド間における所定の量子化パラメータの関係を用いて設定し、画質を向上することができる。
【００７７】
なお、１フレーム前とフレーム相関が低い場合、利用する複雑度が当該フレームの複雑度と異なる値となり、所定のＱｐの関係から符号化途中で乖離していく可能性がある。しかし、一般的に、フレーム間の相関は十分高く、上記のような問題は起きない。また、フレーム間の相関が低い場合は、シーンチェンジと呼ばれ、通常時と別の符号量制御方法をとることが一般的である。それ故、シーンチェンジに対して係る制御を採用しても構わない。
【００７８】
本第１の実施形態例ではプレーン変換部101にて、入力した１フレームのＲＡＷ画像をＲ，Ｇ１，Ｇ２，Ｂの４プレーンへ変換したが、そのプレーン数に制限は無く、例えば入力ＲＡＷ画像データを1プレーンとして、1プレーンに対してDWT等以降の処理を実施することも、本発明の範疇である。また、ＤＷＴの分解レベルも同様に、分解の回数に制限は無く、当該プレーンをそのまま量子化する、ＤＷＴ０回、ＤＷＴ４回或いはそれ以上の複数分解まで、フィルタリングすることも、本実施形態の範疇である。更に、所定の量子化の関係で示したLv3を量子化しないという考えも、同様にその限りではなく、例えば、ＤＷＴの分解レベル３で、ＬＬのみ量子化しない場合等も本発明の範疇である。そして、本実施形態では１ライン毎に量子化制御を実施しているが、その限りではなく、１画素×１画素以上の矩形ブロック毎で量子化制御を実施することも、本発明の範疇である。
【００７９】
［第２の実施形態］
以下、第２の実施形態を説明する。本第２の実施形態の装置構成は、上記の第１の実施形態における図１と同じである。上記第１の実施形態と異なる点は、プレーン間でも第１の実施形態で説明したサブバンド毎の目標符号量の設定方法と同様に、複雑度に重み付けを行う点である。
【００８０】
プレーン変換は、ベイヤ配列を色成分毎にプレーン化する図２の方法に限らない。一般に、人間はその視覚特性上、画像の輝度成分に敏感である。そのため、輝度と色差からなる複数プレーンに分離し、輝度成分の情報量を色差に比べて多く残すことで、符号化効率を向上させる方法は従来の符号化方式でも利用されている。
【００８１】
そこで、ベイヤ配列を輝度プレーンと色差プレーンから成る複数プレーンに分解するプレーン分離を行う場合は、第１の実施形態で示したＲ，Ｇ１，Ｇ２，Ｂの各プレーンの場合のように、プレーン間のＱｐの関係は１：１にすべきではない。この場合、所定のＱｐの関係として、『輝度プレーンのＱｐ＜色差プレーンのＱｐ』とすべきである。
【００８２】
そこで、プレーン間の目標符号量の分配にも、第１の実施形態で示した、重み付けの概念を取り入れる。
【００８３】
所定のＱｐの関係の逆数の関係から導かれる着目プレーンの重みをαplとすれば、
当該着目プレーンの目標符号量は、次式（９）のように表すことができる。
Tpl = Tpic × Xpl / Xpic  ×αpl  ×βpic    …（９）
ここで、βpicは、着目画像に含まれるプレーンの合計目標符号量が、着目画像目標符号量に収束するようにするための調整値である。
【００８４】
以上のようにすることで、プレーン毎に異なるＱｐで符号化したい場合にも、プレーンやサブバンドの目標符号量を、画像の複雑度及び、プレーン及びサブバンド間における所定の量子化パラメータの関係を用いて設定し、画質を向上することができる。
【００８５】
なお、式（９）のαpl=1,βpic=1とした場合が、式(5)で示した第１の実施形態で示したプレーン間のＱｐの関係が1:1の場合のプレーン目標符号量の設定方法と等価になる。そこで、以上をまとめると、画像目標符号量から、サブバンド目標符号量を算出するには、以下を計算すれば良い。まず、着目フレームの画像目標符号量符号量は、全サブバンドの目標符号量の合計値であるから、次式（１０）のように表せる。
Ｔpic＝ΣＴsb      …（１０）
式（１０）は、着目フレームの画像をプレーン分解、サブバンド分割したときの全サブバンド目標符号量の積算値がＴpicであることを意味する。
式（７）、（８）、（１０）から、
Ｔpic＝Ｔpic／Ｘpic × Σ(Ｘsb×α’sb) × β’pic    …（１１）
Ｔsb ＝Ｔpic／Ｘpic × (Ｘsb×α’sb) × β’pic      …（１２）
なお、α’sbは当該プレーンの重みαplと当該サブバンドの重みαsbを乗じることで得るプレーンの重みを加味した当該サブバンドの重みである。β’picは、着目画像に含まれるサブバンドの合計目標符号量が、着目画像目標符号量に収束するようにするための調整値である。
【００８６】
式（１２）を利用することで、プレーンの目標符号量を計算することなくサブバンドの目標符号量を導出することができ、処理を高速化することができる。
【００８７】
以上のようにすることで、プレーンやサブバンドの目標符号量を、画像の複雑度及び、プレーン及びサブバンド間における所定の量子化パラメータの関係を用いて設定し、画質を向上することができる。
【００８８】
以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素を全部又は複数を組み合わせることも可能である。
【００８９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００…撮像部、１０１…プレーン変換部、１０２…離散ウェーブレット変換部、１０３…量子化部、１０４…符号化部、１０５…量子化制御部、１０６…発生符号量保持部、１０７…矩形ブロック複雑度算出部、１０８…矩形ブロック目標符号量算出部、１０９…差分算出部、１１０…差分保持部、１１１…量子化値算出部、１１２…量子化パラメータ保持部、１１３…制御感度設定部、１１４…サブバンド量子化設定部、１１５…サブバンド目標符号量設定部、１１６…サブバンド複雑度設定部、１１７…符号量制御部、１１９…出力部、１２０…記憶媒体
【図１】
2017224965.tif 000003
【図２】
2017224965.tif 000004
【図３】
2017224965.tif 000005
【図４】
2017224965.tif 000006
【図５】
2017224965.tif 000007
【図６】
2017224965.tif 000008
【図７】
2017224965.tif 000009
【図８】
2017224965.tif 000010