(57)【特許請求の範囲】
【請求項１】
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段と、を有し、
前記量子化制御手段は、動画像のフレーム内で前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインから前記解析された特徴量又は前記対象ラインのフレーム内で前記対象ラインの直前のラインから前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めることを特徴とする符号化装置。
【請求項２】
前記量子化制御手段は、前記直前のフレーム内の前記対象ラインに対応したラインの前記特徴量と、前記対象ラインのフレーム内の前記対象ラインの直前のラインの前記特徴量とのうち、前記対象ラインの前記特徴量に近い方の特徴量に対応したラインを選択し、前記選択されたラインの前記特徴量と前記対象ラインの前記特徴量との差分の絶対値を算出して、前記差分の絶対値が前記所定の閾値以内であるとき、前記選択されたラインの前記符号化による発生符号量に基づいて、前記対象ラインの前記制御値を求めることを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記解析手段は、前記ライン単位の画像データの総和又は分散値を前記特徴量として算出することを特徴とする請求項１または２に記載の符号化装置。
【請求項４】
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段と、を有し、
前記量子化制御手段は、前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインの直前のラインについて前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記直前のラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めることを特徴とする符号化装置。
【請求項５】
画像データをＧ０，Ｒ，Ｇ１，Ｂの色成分の各画素プレーンに変換するプレーン変換手段と、
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段と、を有し、
前記解析手段は、前記Ｇ０とＧ１の何れか一方の色成分の画素プレーンのライン単位の特徴量を解析し、
前記量子化制御手段は、動画像のフレーム内で前記量子化の対象になっている対象ラインについて前記一方の色成分から解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインについて前記一方の色成分から解析された特徴量又は前記対象ラインの直前のフレーム内で前記対象ラインの直前のラインについて他方の色成分から解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めることを特徴とする符号化装置。
【請求項６】
前記量子化制御手段は、前記直前のフレーム内で前記対象ラインに対応したラインの前記一方の色成分から解析された特徴量と、前記対象ラインの直前のフレーム内で前記対象ラインの直前のラインの前記他方の色成分から解析された特徴量とのうち、前記対象ラインの前記一方の色成分から解析された特徴量に近い方の特徴量に対応したラインを選択し、前記選択されたラインの前記特徴量と前記対象ラインの前記特徴量との差分の絶対値を算出して、前記差分の絶対値が前記所定の閾値以内であるとき、前記選択されたラインの前記符号化による発生符号量に基づいて、前記対象ラインの前記制御値を求めることを特徴とする請求項５に記載の符号化装置。
【請求項７】
ライン順に入力された画像データを符号化する符号化装置の制御方法であって、
ライン順に入力された画像データの特徴量をライン単位で解析する解析ステップと、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化ステップと、
前記量子化ステップにより量子化された画像データを前記ライン単位で符号化する符号化ステップと、
前記解析ステップにより解析された前記特徴量と前記符号化ステップでの前記符号化による発生符号量とに基づいて、前記量子化ステップにて前記ライン単位で画像データを量子化する際の制御値を求める量子化制御ステップと、を有し、
前記量子化制御ステップでは、動画像のフレーム内で前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインから前記解析された特徴量又は前記対象ラインのフレーム内で前記対象ラインの直前のラインから前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化ステップでの符号化による発生符号量に基づいて、前記対象ラインについて前記量子化ステップで前記量子化する際の前記制御値を求めることを特徴とする符号化装置の制御方法。
【請求項８】
コンピュータを、
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段として機能させ、
前記量子化制御手段では、動画像のフレーム内で前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインから前記解析された特徴量又は前記対象ラインのフレーム内で前記対象ラインの直前のラインから前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めるようにコンピュータを機能させるためのプログラム。
【請求項９】
ライン順に入力された画像データを符号化する符号化装置の制御方法であって、
ライン順に入力された画像データの特徴量をライン単位で解析する解析ステップと、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化ステップと、
前記量子化ステップにより量子化された画像データを前記ライン単位で符号化する符号化ステップと、
前記解析ステップにより解析された前記特徴量と前記符号化ステップでの前記符号化による発生符号量とに基づいて、前記量子化ステップにて前記ライン単位で画像データを量子化する際の制御値を求める量子化制御ステップと、を有し、
前記量子化制御ステップでは、前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインの直前のラインについて前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記直前のラインにおける前記符号化ステップでの符号化による発生符号量に基づいて、前記対象ラインについて前記量子化ステップで前記量子化する際の前記制御値を求めることを特徴とする符号化装置の制御方法。
【請求項１０】
コンピュータを、
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段として機能させ、
前記量子化制御手段では、前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインの直前のラインについて前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記直前のラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めるようにコンピュータを機能させるためのプログラム。
【請求項１１】
ライン順に入力された画像データを符号化する符号化装置の制御方法であって、
画像データをＧ０，Ｒ，Ｇ１，Ｂの色成分の各画素プレーンに変換するプレーン変換ステップと、
ライン順に入力された画像データの特徴量をライン単位で解析する解析ステップと、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化ステップと、
前記量子化ステップにより量子化された画像データを前記ライン単位で符号化する符号化ステップと、
前記解析ステップにより解析された前記特徴量と前記符号化ステップでの前記符号化による発生符号量とに基づいて、前記量子化ステップにて前記ライン単位で画像データを量子化する際の制御値を求める量子化制御ステップと、を有し、
前記解析ステップでは、前記Ｇ０とＧ１の何れか一方の色成分の画素プレーンのライン単位の特徴量を解析し、
前記量子化制御ステップでは、動画像のフレーム内で前記量子化の対象になっている対象ラインについて前記一方の色成分から解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインについて前記一方の色成分から解析された特徴量又は前記対象ラインの直前のフレーム内で前記対象ラインの直前のラインについて他方の色成分から解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化ステップでの符号化による発生符号量に基づいて、前記対象ラインについて前記量子化ステップで前記量子化する際の前記制御値を求めることを特徴とする符号化装置の制御方法。
【請求項１２】
コンピュータを、
画像データをＧ０，Ｒ，Ｇ１，Ｂの色成分の各画素プレーンに変換するプレーン変換手段と、
ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、
前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、
前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、
前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段として機能させ、
前記解析手段では、前記Ｇ０とＧ１の何れか一方の色成分の画素プレーンのライン単位の特徴量を解析し、
前記量子化制御手段では、動画像のフレーム内で前記量子化の対象になっている対象ラインについて前記一方の色成分から解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインについて前記一方の色成分から解析された特徴量又は前記対象ラインの直前のフレーム内で前記対象ラインの直前のラインについて他方の色成分から解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めるようにコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、符号化装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来の撮像装置は、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などのいわゆる現像処理を行っている。そして、撮像装置は、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。
【０００３】
一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化が最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。
【０００４】
また、近年、ＲＡＷ画像の記録は、静止画のみならず、動画にも適用されている。動画のＲＡＷ画像を記録する際には、所定の記録媒体に一定時間の動画像が記録できるように、データ量を所望の符号量へ圧縮する処理が必要となる。
【０００５】
従来の圧縮符号化方式としてはＨ．２６４が知られており、Ｈ．２６４を用いて符号量を制御する撮像装置の構成は特許文献１に記載されている。特許文献１に記載の撮像装置は、符号化処理の前処理として、画像を符号化ブロックごとに分け、その符号化ブロック内の各局所領域の特徴量を抽出し、符号化ブロックごとに特徴量を集計する。そして、特許文献１に記載の撮像装置は、前処理による複数符号化ブロックの特徴量の集計結果を用いて、符号化処理における符号化を制御する構成が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１８９３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年の撮像センサの進化により、画像１枚あたりの画素数は大幅に増加している。また、１秒当たりに連写できる画像の枚数も同様に増加している。このため、撮像装置は、そのような入力画像を圧縮符号化し得る処理能力が求められる。更に、扱う画像データが膨大になることで、画像を一次的に蓄積するＲＡＭのバス帯域の逼迫が問題となる。そこで、入力されたＲＡＷ画像のデータを、画面全体としてＲＡＭに蓄積せず、撮像センサから画素ライン単位にラスタ順で画像データを読み出して圧縮符号化することにより、ＲＡＭのバス帯域の逼迫を回避する構成が考えられている。
【０００８】
しかしながら、このような構成を採用した場合、撮像センサからライン単位で画素データが出力されるので、前述の特許文献１のような符号化ブロックごとに特徴量を集計する撮像装置は、符号化処理の前処理において画像の特徴量を取得することができない。また、特許文献１の撮像装置は、符号化ブロックごとに特徴量を算出する構成となされているため、ライン単位の画素データを処理するためには、符号化ブロックの高さ方向（垂直方向）のデータを蓄積できるだけのラインバッファが必要となる。なお、符号化ブロックの高さを１画素にすれば、特徴量を算出するために使用するラインバッファは最低限で済むが、この場合、ブロックのサイズが小さくなることにより、ヘッダのオーバーヘッドが多く発生してしまうという問題がある。このように、特許文献１の撮像装置は、ライン単位の画像データを効率的且つ精度よく符号化することができない。
【０００９】
本発明はこのような問題点に鑑みてなされたものであり、ライン単位の画像データを効率的且つ精度よく符号化可能とする符号化装置、符号化装置の制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の符号化装置は、ライン順に入力された画像データの特徴量をライン単位で解析する解析手段と、前記ライン順に入力された画像データを前記ライン単位で量子化する量子化手段と、前記量子化手段により量子化された画像データを前記ライン単位で符号化する符号化手段と、前記解析手段により解析された前記特徴量と前記符号化手段での前記符号化による発生符号量とに基づいて、前記量子化手段が前記ライン単位で画像データを量子化する際の制御値を求める量子化制御手段と、を有し、前記量子化制御手段は、動画像のフレーム内で前記量子化の対象になっている対象ラインから前記解析された特徴量と、前記対象ラインのフレームの直前のフレーム内で前記対象ラインに対応したラインから前記解析された特徴量又は前記対象ラインのフレーム内で前記対象ラインの直前のラインから前記解析された特徴量との間で差分の絶対値を算出し、前記差分の絶対値が所定の閾値以内であるとき、前記対象ラインとの間で差分の絶対値が算出されたラインにおける前記符号化手段での符号化による発生符号量に基づいて、前記対象ラインについて前記量子化手段が前記量子化する際の前記制御値を求めることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ライン単位の画像データを効率的且つ精度よく符号化可能となる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る撮像装置の構成例を示す図である。
【図２】カラーフィルタに対応した画素配列を示す図である。
【図３】目標符号量と発生符号量の関係を示す図である。
【図４】第１の実施形態の量子化制御のフローチャートである。
【図５】各ラインのデータ総和を示す図である。
【図６】量子化制御後の目標符号量と発生符号量の関係を示す図である。
【図７】第２の実施形態の量子化制御のフローチャートである。
【図８】第２の実施形態の量子化ステップ数の補正量を示す表である。
【図９】第３の実施形態の量子化制御のフローチャートである。
【図１０】第３の実施形態の量子化制御の際の解析情報の説明に用いる図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、図面を参照しながら、本実施形態の符号化装置について詳細に説明する。図１は、本実施形態の符号化装置が適用される一例としての撮像装置１００の概略構成例を示す図である。本実施形態の撮像装置１００は、撮像センサ部１０２より入力されたＲＡＷ画像に対して圧縮符号化を行うことで符号化ストリームを生成し、記録又は伝送するものである。
【００１４】
＜符号化処理＞
図１において、制御部１１８は、ＣＰＵと当該ＣＰＵが実行する制御プログラムを格納するメモリを含む。ＣＰＵとメモリの図示は省略する。ＣＰＵは、メモリに格納されている制御プログラムを実行することにより、撮像装置１００の全体の処理を制御する。
【００１５】
撮像光学部１０１は、撮像対象となる被写体等の光学像を、撮像センサ部１０２のセンサ面上に結像させる。撮像センサ部１０２のセンサ面の前面には、カラーフィルタが配されている。図２はカラーフィルタの一例を示している。カラーフィルタは、Ｒ（赤）光成分を透過するＲフィルタとＧ（緑）光成分）を透過するＧフィルタとＢ（青）光成分を透過するＢフィルタが、撮像センサ部１０２のセンサ面の画素配列に対応するように配置されている。具体的には、図２に示すように、カラーフィルタは、水平方向の２画素と垂直方向の２画素の４画素につきＲフィルタが１画素分、Ｂフィルタが１画素分、Ｇフィルタが２画素分（Ｇ０，Ｇ１）で１セットとなされて規則的に並べられた構造となっている。このようなカラーフィルタの配列（画素の配置）は、一般にベイヤー配列と呼ばれる。このカラーフィルタが撮像センサ部１０２の前面に配置されていることで、撮像センサ部１０２からは、Ｇ０成分、Ｒ成分、Ｇ１成分、Ｂ成分の各色成分に対応した電気信号が出力されることになる。なお、撮像光学部１０１は、フォーカス位置調整機能や露出調整機能も有しており、それらは制御部１１８により制御される。
【００１６】
撮像センサ部１０２は、制御部１１８による制御の下で動作し、カラーフィルタを透過した光を電気信号に変換する。撮像センサ部１０２は、光電変換により生成した電気信号をセンサ信号処理部１０３へ出力する。センサ信号処理部１０３は、画素の修復処理を行う。画素の修復処理は、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理を含む。本実施形態では、センサ信号処理部１０３から出力される画像データを、生の画像（未現像の画像）を意味するＲＡＷ画像と称す。
【００１７】
センサ信号処理部１０３は、画素の修復処理後のＲＡＷ画像のデータを、入力画像バッファ１０４へ出力する。入力画像バッファ１０４は、複数画素ライン分のＲＡＷ画像のデータを保持可能となされている。入力画像バッファ１０４に保持されたＲＡＷ画像のデータは、画素ライン順に読み出されて、画像符号化部１１７の量子化部１０７と入力画像解析部１０５へ送られる。以下、画素ラインを単に「ライン」と表記する。
【００１８】
画像符号化部１１７は、入力画像バッファ１０４からライン順に読み出されたＲＡＷ画像のデータに対し、量子化部１０７による量子化処理を行い、さらに符号化部１１６による符号化処理を行う。画像符号化部１１７は、後述する量子化処理や符号化処理、量子化ステップの決定等の本実施形態に係る各種処理をハードウェア構成により実現してもよいし、ソフトウェア構成により実現してもよい。画像符号化部１１７の各種処理をソフトウェア構成により実現する場合、図示しないメモリに展開された本実施形態のプログラムを同じく図示しないＣＰＵ等が実行することにより実現することになる。なお、各種処理がソフトウェア構成による実現される場合、それら各種処理は制御部１１８が本実施形態のプログラムを実行することで実現してもよい。
【００１９】
画像符号化部１１７の量子化部１０７は、後述する量子化制御部１１０から量子化制御のための制御値として通知される量子化ステップ数の情報を用いて、入力画像バッファ１０４からライン順に読み出されたＲＡＷ画像の各画素のデータを量子化する。そして、量子化部１０７は、量子化したＲＡＷ画像データを符号化部１１６へ出力する。また、量子化部１０７は、ライン単位での量子化に使用した量子化ステップ数を、量子化値保持部１０８に保持させる。
【００２０】
符号化部１１６は、量子化部１０７にて量子化されたＲＡＷ画像のデータを圧縮符号化し、符号化ストリームとして出力する。本実施形態において、符号化部１１６は、一例として、いわゆるゴロム符号化のようなエントロピー符号化を用いた圧縮符号化を行う。また、符号化部１１６は、圧縮符号化により得られた符号化ストリームにおける１ラインの符号量、すなわち圧縮符号化による１ラインの発生符号量の情報を、発生符号量保持部１１５へ保持させる。なお、発生符号量保持部１１５に発生符号量の情報が保持されるラインは、画像符号化部１１７で量子化及び符号化の対象となるピクチャがＲＡＷ画像の先頭フレームか否か、量子化及び符号化の対象となるラインがピクチャ内の先頭ラインか否かで異なる。発生符号量保持部１１５に発生符号量の情報が保持されるラインが何れのラインになっているかの詳細は後述する図４により説明する。以下の説明では、画像符号化部１１７で量子化及び符号化の対象となるピクチャを「符号化対象ピクチャ」と表記し、量子化及び符号化の対象となるラインを「符号化対象ライン」と表記する。
【００２１】
なお、ピクチャとは、例えば動画像のフレームが圧縮符号化される場合には１フレームの画像であり、例えばいわゆるＨ．２６４のＭＰＥＧ規格による圧縮符号化が行われる場合にはＨ．２６４における各ピクチャ（Ｉ，Ｐ，Ｂの各ピクチャ）である。静止画像の圧縮符号化が行われる場合には、ピクチャは、１枚分の静止画像となる。
【００２２】
画像符号化部１１７の入力画像解析部１０５は、入力画像バッファ１０４からライン順に読み出された１ライン分のＲＡＷ画像データの総和を算出する。入力画像解析部１０５は、算出した１ライン分のデータ総和を、解析情報として、解析情報保持部１０６へ出力する。解析情報保持部１０６は、入力画像解析部１０５から送られてきた解析情報を保持する。ここで、入力画像解析部１０５が算出して解析情報保持部１０６に保持される解析情報は、換言すれば画像の特徴量を表す情報といえる。また、符号化対象ピクチャ内の符号化対象ラインから算出した特徴量は、例えば符号化対象ピクチャの直前に符号化されたフレーム内において符号化対象ラインに対応した位置に在るラインから算出した特徴量と、ある程度の相関性を有すると考えられる。同様に、符号化対象ピクチャ内の符号化対象ラインから算出した特徴量は、その符号化対象ラインの直前に符号化されたライン（符号化対象ラインの一つ前のライン）から算出した特徴量と、ある程度の相関性を有すると考えられる。このようなことから、詳細は後述するが、本実施形態の量子化制御部１１０は、解析情報保持部１０６に保持された解析情報すなわち画像の特徴量に基づいて、量子化制御を行うようになされている。なお、解析情報保持部１０６に解析情報が保持されるラインは、符号化対象ピクチャがＲＡＷ画像の先頭フレームか否か（２ピクチャ目以後か否か）、また、符号化対象ラインがピクチャ内の先頭のラインか否か（２ライン目以後か否か）で異なる。符号化対象ピクチャや符号化対象ラインに応じて、解析情報保持部１０６に解析情報が保持されるラインが何れのラインになっているかの詳細は、後述の図４にて説明する。
【００２３】
目標符号量設定部１１１は、制御部１１８から指示された、画質優先の記録モードや、記録時間優先の記録モードなど、各種記録モードから決まる圧縮率に応じて、１ピクチャに割り当てる符号量を算出する。また、ＲＡＷ画像の動画記録においては、記録された動画全体で所望の圧縮率になるように制御がなされることになる。このため、目標符号量設定部１１１は、動画像全体で所望の圧縮率が得られるように、１ピクチャに割り当てる符号量を算出する。目標符号量設定部１１１は、１ピクチャに割り当てる符号量（以下、ピクチャに対する目標符号量とする。）の情報を、画像符号化部１１７の画素ライン目標符号量算出部１１２へ出力する。
【００２４】
画素ライン目標符号量算出部１１２は、目標符号量設定部１１１より送られてきた、１ピクチャに対する目標符号量の情報から、ライン単位の目標符号量を算出する。一例として、画素ライン目標符号量算出部１１２は、１ピクチャに割り当てる目標符号量を、各ラインに均等に割り振るようにして、ライン単位の目標符号量を算出する。画素ライン目標符号量算出部１１２は、算出した各ライン単位の目標符号量の情報を、画素ライン目標符号量保持部１１３へ出力する。画素ライン目標符号量保持部１１３は、各ライン単位の目標符号量の情報を保持する。なお、画素ライン目標符号量保持部１１３に目標符号量の情報が保持されるラインは、画像符号化部１１７における符号化対象ピクチャがＲＡＷ画像の先頭フレームか否か、また、符号化対象ラインがピクチャ内の先頭のラインか否かで異なる。符号化対象ピクチャや符号化対象ラインに応じて、画素ライン目標符号量保持部１１３に目標符号量の情報が保持されるラインが何れのラインになっているかの詳細は後述する図４により説明する。
【００２５】
量子化設定部１０９は、制御部１１８による制御の下で、基準となる量子化ステップを決定し、その基準量子化ステップの情報を量子化制御部１１０へと通知する。なお、例えばピクチャ間で量子化ステップを大きく切り替えると、ピクチャ間で符号化歪みが顕在化してしまうため、制御部１１８は、ピクチャ間で緩やかに量子化ステップが推移するように制御する。
【００２６】
符号量比較部１１４は、画素ライン目標符号量保持部１１３から、ライン単位の目標符号量の情報を読み出す。また、符号量比較部１１４は、発生符号量保持部１１５から、１ラインの発生符号量の情報を読み出す。そして、符号量比較部１１４は、ライン単位の目標符号量と発生符号量との差分を求め、符号量差分情報として、量子化制御部１１０へ出力する。なお、符号量比較部１１４にて差分が求められる際の目標符号量と発生符号量に対応するラインは、画像符号化部１１７における符号化対象ピクチャがＲＡＷ画像の先頭フレームか否か、また、符号化対象ラインがピクチャ内の先頭のラインか否かで異なる。符号化対象ピクチャや符号化対象ラインに応じて、符号量比較部１１４にて差分が求められる目標符号量と発生符号量のラインが何れのラインになっているかの詳細は後述する図４により説明する。
【００２７】
量子化制御部１１０は、量子化設定部１０９から指示された基準量子化ステップの情報、又は、後述するようにして算出した量子化ステップの情報を、量子化制御のための制御値として量子化部１０７へ出力する。具体的には、量子化制御部１１０は、画像符号化部１１７における符号化対象ラインがピクチャ内の先頭のラインであるときには、量子化設定部１０９から指示された量子化ステップの情報を量子化部１０７へ出力する。一方、量子化制御部１１０は、符号化対象ラインがピクチャ内の２ライン目以後であるときには、以下の各情報を用いて量子化ステップを算出する。すなわち量子化制御部１１０は、解析情報保持部１０６からの解析情報と、量子化値保持部１０８からの量子化ステップ情報と、発生符号量保持部１１５からの発生符号量情報と、符号量比較部１１４からの符号量差分情報とを用いて、量子化ステップを算出する。そして、量子化制御部１１０は、算出した量子化ステップの情報を、量子化部１０７へ出力する。符号化対象ラインがピクチャ内の２ライン目以後である場合の、量子化制御部１１０における量子化ステップの算出方法の詳細については後述する。
【００２８】
＜量子化制御＞
図３は、ピクチャ内の各ラインにおける総目標符号量と総発生符号量の関係を示す図である。なお、図３の例では、ピクチャ内の先頭のライン（第１ライン）から順に第４ラインまでを示しているが、本実施形態ではピクチャ内の全ラインによる総目標符号量と総発生符号量が求められる。図３中の一点鎖線は、ピクチャ内の先頭のラインから順に各ラインの目標符号量を積算した総目標符号量３０１を示している。図３の総目標符号量３０１は、第１（先頭）ラインの目標符号量Ｔ（０）に第２ラインの目標符号量が加えられて総目標符号量Ｔ（１）となり、更に第３，第４ラインの目標符号量が順に加えられて総目標符号量Ｔ（２），Ｔ（３）となった例を示している。また、図３中の実線は、ピクチャ内の先頭のラインから順に各ラインの符号化による発生符号量を積算した総発生符号量３０２を示している。図３の総発生符号量３０２は、第１ラインの発生符号量Ｃ（０）に第２ラインの発生符号量が加えられて総発生符号量Ｃ（１）となり、更に第３，第４ラインの発生符号量が順に加えられて総発生符号量Ｃ（２），Ｃ（３）となった例を示している。また図３には、各ラインによる総目標符号量３０１と総発生符号量３０２との間の符号量差分３０３も示されている。図３の符号量差分３０３は、第１ラインでは符号量差分ＥＲＲ（０）となり、第２ラインでは符号量差分ＥＲＲ（１）となり、第３，第４ラインではそれぞれ符号量差分ＥＲＲ（２），ＥＲＲ（３）となった例を示している。これら符号量差分ＥＲＲ（０）〜ＥＲＲ（３）は、符号量比較部１１４にて算出される。この図３の例から判るように、第１ラインでは、目標符号量Ｔ（０）に対し発生符号量Ｃ（０）が上回っている。このような場合、量子化制御部１１０は、次の第２ライン目に対しては第１ラインと比較して量子化ステップ数を大きくし、第２ライン目の発生符号量を抑えるように制御して、総目標符号量Ｔ（１）に総発生符号量Ｃ（１）を近づけるようにする。具体的には、量子化制御部１１０は、以下の式（１），式（２）を用いて量子化ステップを決定することで、発生符号量を抑えるように制御する。
【００２９】
ｑ（Ｎ）＝Ｑ（０）＋ＥＲＲ（Ｎ−１）×Ｒ            式（１）
Ｑ（Ｎ）＝ｑ（Ｎ）×α                              式（２）
【００３０】
なお、式（１）のＱ（０）は先頭のラインの量子化ステップ数、ｑ（Ｎ）はＮライン目の仮の量子化ステップ数、ＥＲＲ（Ｎ−１）はＮ−１ライン目までの総符号量差分、Ｒは制御感度である。また、式（２）のＱ（Ｎ）はＮライン目の量子化ステップ数、αは後述するようにして算出される重み係数である。Ｎラインは符号化対象ラインである。
【００３１】
先ず、量子化制御部１１０は、式（１）を用いて仮の量子化ステップｑを算出する。式（１）は、ＭＰＥＧ２  Ｔｅｓｔ  Ｍｏｄｅｌ  ５に示された画像符号化方式に代表されるものと同様であり、ピクチャに対する目標符号量と実際の発生符号量との差を抑えるために、量子化コードをフィードバック制御により求める。
【００３２】
次に、量子化制御部１１０は、式（２）を用いて、式（１）で算出した仮の量子化ステップｑに対して重み係数αを掛け、量子化ステップＱを決定する。重み係数αの算出方法については、図４のフローチャートと図５を用いて説明する。
【００３３】
図４は、量子化制御部１１０が量子化ステップＱを決定する際の重み係数αが算出されるまでの処理の流れを示すフローチャートである。この図４のフローチャートに示す処理は、１ライン単位ごとに行われ、ピクチャの終端まで繰り返されるものとする。以下、図４のフローチャートを参照しながら、動画像の先頭フレームの先頭ラインから順に、量子化制御部１１０の処理の流れを説明する。
【００３４】
図４において、量子化制御部１１０は、先ずステップＳ４０１の処理として、符号化対象ピクチャがＲＡＷ画像の先頭フレームであるか否か、言い換えると２フレーム目以後であるか否か判定する。量子化制御部１１０は、符号化対象ピクチャが先頭フレームであると判定した場合には処理をステップＳ４０３へ進め、一方、符号化対象ピクチャが先頭フレームでなく２フレーム目以後であると判定した場合には処理をステップＳ４０２へ進める。
【００３５】
ここで、符号化対象ピクチャが先頭フレームである場合、量子化制御部１１０は、ステップＳ４０３において、符号化対象ピクチャ内における符号化対象ラインが先頭ラインであるか否か、言い換えると２ライン目以後であるか否か判定する。量子化制御部１１０は、符号化対象ラインが先頭ラインであると判定した場合には、処理をステップＳ４０５へ進め、一方、符号化対象ラインが先頭ラインでなく２ライン目以後であると判定した場合には、処理をステップＳ４０４へ進める。
【００３６】
符号化対象ピクチャが先頭フレームで符号化対象ラインが先頭ラインである場合、量子化制御部１１０は、ステップＳ４０５において、符号化対象ラインに対して入力画像解析部１０５が算出して解析情報保持部１０６に保持された解析情報を取得する。すなわち、このとき量子化制御部１１０が取得する解析情報は、先頭フレームの先頭ラインのＲＡＷ画像データの総和Ｋである。ステップＳ４０５の後、量子化制御部１１０は、処理をステップＳ４０６へ進める。
【００３７】
ステップＳ４０６では、量子化制御部１１０は、以下のデータの総和Ｊと総和Ｌの両方が取得されているか否かを判定する。ここで、総和Ｊは、符号化対象ピクチャの直前に符号化されたフレーム内において、符号化対象ピクチャ内の符号化対象ラインに対応した位置に在るラインの、ＲＡＷ画像データの総和である。また、総和Ｌは、符号化対象ラインの直前に符号化されたライン（符号化対象ラインの一つ前のライン）のＲＡＷ画像データの総和である。量子化制御部１１０は、総和Ｊと総和Ｌの両方が取得されていると判定した場合には処理をステップＳ４０７へ進め、一方、両方が取得されていないと判定した場合には処理をステップＳ４０８へ進める。ここで、符号化対象ピクチャが先頭フレームで符号化対象ラインが先頭ラインである場合、総和Ｊと総和Ｌの何れも取得されていないことになるため、量子化制御部１１０は、処理をステップＳ４０８へ進める。
【００３８】
ステップＳ４０８では、量子化制御部１１０は、前述の総和Ｊと総和Ｌの何れか一方が取得されているか否か判定する。量子化制御部１１０は、総和Ｊと総和Ｌの何れか一方でも取得されていると判定した場合には処理をステップＳ４０９へ進め、何れも取得されていないと判定した場合には処理をステップＳ４１１へ進める。符号化対象ピクチャが先頭フレームで符号化対象ラインが先頭ラインである場合、総和Ｊと総和Ｌの何れも取得されていないため、量子化制御部１１０は、処理をステップＳ４１１へ進める。
【００３９】
ステップＳ４１１では、量子化制御部１１０は、重み係数αを「１」とする。すなわち、符号化対象ピクチャが先頭フレームで符号化対象ラインが先頭ラインである場合、量子化制御部１１０は、重み係数αを「１」として、前述の式（１），式（２）を用いて量子化ステップを決定する。
【００４０】
これにより、画像符号化部１１７の量子化部１０７は、重み係数αが「１」となされて算出された量子化ステップを用いて、先頭フレームの先頭ラインのＲＡＷ画像データの量子化を行うことになる。また、画像符号化部１１７の符号化部１１６は、量子化部１０７で量子化されたＲＡＷ画像データの符号化を行う。そして、量子化値保持部１０８は量子化部１０７の量子化で用いられた量子化ステップの情報を保持し、発生符号量保持部１１５は符号化部１１６での符号化による発生符号量の情報を保持する。
【００４１】
次に、符号化対象ピクチャが先頭フレームで符号化対象ラインが２ライン目になった場合、量子化制御部１１０は、ステップＳ４０１では符号化対象ピクチャが先頭フレームであると判定して、処理をステップＳ４０３へ進める。そして、量子化制御部１１０は、ステップＳ４０３では符号化対象ラインが２ライン目以後であると判定して、処理をステップＳ４０４へ進める。
【００４２】
ステップＳ４０４では、量子化制御部１１０は、符号化対象ラインの直前に符号化されたライン（以下、直前のラインと表記する。）に対して入力画像解析部１０５が算出して解析情報保持部１０６に保持された解析情報を取得する。すなわち、この場合の直前のラインは先頭ラインであるため、量子化制御部１１０は、ステップＳ４０４では先頭ラインから算出されて保持されたＲＡＷ画像データの総和Ｌを取得する。また、このときの量子化制御部１１０は、直前のライン（先頭ライン）について量子化値保持部１０８に保持された量子化ステップの情報と、同じく直前のラインについて発生符号量保持部１１５に保持された発生符号量の情報を取得する。このステップＳ４０４の後、量子化制御部１１０は、処理をステップＳ４０５へ進める。
【００４３】
この場合のステップＳ４０５では、量子化制御部１１０は、符号化対象ラインに対して入力画像解析部１０５が算出して解析情報保持部１０６に保持された解析情報を取得する。すなわち、この場合の符号化対象ラインは２ライン目であるため、量子化制御部１１０は、ステップＳ４０５では２ライン目のＲＡＷ画像データの総和Ｋを取得する。ステップＳ４０５の後、量子化制御部１１０は、処理をステップＳ４０６へ進める。
【００４４】
ステップＳ４０６では、量子化制御部１１０は、前述したデータの総和Ｊと総和Ｌの両方が取得されているか否か判定する。この場合、符号化対象ピクチャは先頭フレームで符号化対象ラインは２ライン目であるため、量子化制御部１１０は、直前のライン（先頭ライン）の総和Ｌのみを取得していることになる。したがって、ステップＳ４０６では、量子化制御部１１０は、総和Ｊと総和Ｌの両方が取得されていないと判定して、処理をステップＳ４０８へ進める。
【００４５】
ステップＳ４０８では、量子化制御部１１０は、前述の総和Ｊと総和Ｌの何れか一方が取得されているか否か判定する。このときの量子化制御部１１０は、前述のように総和Ｌを取得している。このため、量子化制御部１１０は、ステップＳ４０８では総和Ｊと総和Ｌの何れか一方が取得されていると判定して、処理をテップＳ４０９へ進める。
【００４６】
ステップＳ４０９では、量子化制御部１１０は、総和Ｌと総和Ｋとの差分の絶対値を所定の閾値（特徴量閾値）と比較し、特徴量閾値以内かどうかを判定する。すなわちこの場合の量子化制御部１１０は、ステップＳ４０４で取得したデータの総和Ｌと、ステップＳ４０５で取得したデータの総和Ｋとの差分の絶対値が所定の特徴量閾値以内かどうかを判定する。量子化制御部１１０は、総和Ｌと総和Ｋの差分の絶対値が所定の特徴量閾値より大きいと判定した場合には処理をステップＳ４１１へ進め、前述同様に重み係数αを「１」とする。
【００４７】
一方、ステップＳ４０９において所定の特徴量閾値以内であると判定した場合、量子化制御部１１０は、処理をステップＳ４１０へ進める。ステップＳ４１０では、量子化制御部１１０は、ステップＳ４０４で取得した量子化ステップの情報と発生符号量の情報と、符号化対象ラインの仮の量子化ステップｑ、及び、符号化対象ラインの目標符号量の情報を用いて、重み係数αを算出する。ここでの重み係数αの具体的な算出方法の詳細については後述する。
【００４８】
そして、ステップＳ４１０で重み係数αが算出されると、量子化制御部１１０は、その重み係数αを用い、前述の式（１），式（２）から量子化ステップを決定する。これにより、画像符号化部１１７の量子化部１０７は、重み係数αを用いて算出された量子化ステップにより、先頭フレームの２ライン目のＲＡＷ画像データの量子化を行うことになる。また、量子化値保持部１０８は量子化部１０７の量子化で用いられた量子化ステップの情報を保持し、発生符号量保持部１１５は符号化部１１６での符号化による発生符号量の情報を保持する。
【００４９】
符号化対象ピクチャが先頭フレームで符号化対象ラインが３ライン目以後である場合、量子化制御部１１０は、前述の２ライン目と同様の処理を行うため、ここではそれらの説明については省略する。
【００５０】
次に、符号化対象ピクチャが２フレーム目になり、その２フレーム目の先頭ラインが符号化対象ラインになった場合について説明する。符号化対象ピクチャが２フレーム目になった場合、符号化対象ピクチャの直前に符号化されたフレームは、先頭フレームとなる。以下、符号化対象ピクチャの直前に符号化されたフレームを直前のフレームと表記する。符号化対象ピクチャが２フレーム目になった場合、量子化制御部１１０は、ステップＳ４０１では符号化対象ピクチャが２フレーム目以後であると判定して、処理をステップＳ４０２へ進める。
【００５１】
ステップＳ４０２では、量子化制御部１１０は、直前のフレーム内において、符号化対象ラインに対応した位置に在るラインについて、入力画像解析部１０５で算出して解析情報保持部１０６に保持されたデータの総和Ｊを取得する。この場合、符号化対象ラインに対応した位置に在るラインは、先頭フレーム（直前のフレーム）の先頭ラインであるため、量子化制御部１１０は、ステップＳ４０２では先頭フレームの先頭ラインから算出されて保持されたＲＡＷ画像データの総和Ｊを取得する。また、このときの量子化制御部１１０は、直前のフレーム内において符号化対象ラインに対応した位置に在るラインに対して量子化値保持部１０８に保持された量子化ステップの情報を取得する。同様に、量子化制御部１１０は、直前のフレーム内において符号化対象ラインに対応した位置に在るラインに対して発生符号量保持部１１５に保持された発生符号量の情報を取得する。このステップＳ４０２の後、量子化制御部１１０は、処理をステップＳ４０３へ進める。
【００５２】
ここで、符号化対象ピクチャは２フレーム目であるが、符号化対象ラインは先頭ラインであるため、量子化制御部１１０は、ステップＳ４０３では符号化対象ラインが２ライン目以後でないと判定して、処理をステップＳ４０５へ進める。
【００５３】
このときの量子化制御部１１０は、ステップＳ４０５では、符号化対象ラインに対して入力画像解析部１０５が算出して解析情報保持部１０６に保持された解析情報を取得する。すなわち、このとき量子化制御部１１０は、２フレーム目の先頭ラインのＲＡＷ画像データの総和Ｋを取得する。ステップＳ４０５の後、量子化制御部１１０は、処理をステップＳ４０６へ進める。
【００５４】
ステップＳ４０６では、量子化制御部１１０は、前述したデータの総和Ｊと総和Ｌの両方が取得されているか否か判定する。この場合、符号化対象ピクチャは２フレーム目で符号化対象ラインは先頭ライン目であるため、量子化制御部１１０は、先頭フレームの先頭ラインの総和Ｊのみを取得していることになる。したがって、ステップＳ４０６では、量子化制御部１１０は、総和Ｊと総和Ｌの両方が取得されていないと判定して、処理をステップＳ４０８へ進める。
【００５５】
ステップＳ４０８では、量子化制御部１１０は、前述の総和Ｊと総和Ｌの何れか一方が取得されているか否か判定する。このときの量子化制御部１１０は、前述のように総和Ｊを取得している。このため、量子化制御部１１０は、ステップＳ４０８では総和Ｊと総和Ｌの何れか一方が取得されていると判定して、処理をテップＳ４０９へ進める。
【００５６】
ステップＳ４０９では、量子化制御部１１０は、総和Ｊと総和Ｋとの差分の絶対値が所定の特徴量閾値以内かどうかを判定する。そして、量子化制御部１１０は、総和Ｊと総和Ｋの差分の絶対値が所定の特徴量閾値より大きいと判定した場合には処理をステップＳ４１１へ進め、前述同様に重み係数αを「１」とする。
【００５７】
一方、ステップＳ４０９において所定の特徴量閾値以内であると判定した場合、量子化制御部１１０は、処理をステップＳ４１０へ進める。この場合のステップＳ４１０では、量子化制御部１１０は、ステップＳ４０２で取得した量子化ステップの情報と発生符号量の情報と、符号化対象ラインの仮の量子化ステップｑ、及び、符号化対象ラインの目標符号量の情報を用いて、重み係数αを算出する。
【００５８】
その後、量子化制御部１１０は、重み係数αを用いて量子化ステップを決定する。これにより、画像符号化部１１７の量子化部１０７は、重み係数αを用いて算出された量子化ステップにより、２フレーム目の先頭ラインのＲＡＷ画像データの量子化を行うことになる。また、前述同様に量子化ステップと発生符号量の情報が保持される。
【００５９】
次に、符号化対象ピクチャが２フレーム目で符号化対象ラインが２ライン目になった場合について説明する。なおこの場合、符号化対象ピクチャに対する直前のフレームは先頭フレームとなり、符号化対象ピクチャの直前のラインは２フレーム目の先頭ラインとなる。
【００６０】
符号化対象ピクチャが２フレーム目で符号化対象ラインが２ライン目になった場合、量子化制御部１１０は、ステップＳ４０１では符号化対象ピクチャが２フレーム目以後であると判定して、処理をステップＳ４０２へ進める。ステップＳ４０２では、量子化制御部１１０は、直前のフレーム（先頭フレーム）内の、符号化対象ラインに対応した位置に在るライン（２ライン目）について、入力画像解析部１０５で算出して解析情報保持部１０６に保持したデータの総和Ｊを取得する。また、量子化制御部１１０は、直前のフレーム（先頭フレーム）内において符号化対象ラインに対応した位置に在るライン（２ライン目）に対応した量子化ステップと発生符号量の情報を取得する。このステップＳ４０２の後、量子化制御部１１０は、処理をステップＳ４０３へ進める。そして、この場合、量子化制御部１１０は、ステップＳ４０３では符号化対象ラインが２ライン目以後であると判定して、処理をステップＳ４０４へ進める。
【００６１】
ステップＳ４０４では、量子化制御部１１０は、符号化対象ライン（２ライン目）の直前のラインである先頭ラインのＲＡＷ画像データの総和Ｌを取得する。また、量子化制御部１１０は、直前のライン（先頭ライン）の量子化ステップと発生符号量の情報を取得する。このステップＳ４０４の後、量子化制御部１１０は、処理をステップＳ４０５へ進める。そして、ステップＳ４０５では、量子化制御部１１０は、符号化対象ライン（２ライン目）の解析情報（２フレーム目の２ライン目のＲＡＷ画像データの総和Ｋ）を取得する。ステップＳ４０５の後、量子化制御部１１０は、処理をステップＳ４０６へ進める。
【００６２】
ステップＳ４０６では、量子化制御部１１０は、総和Ｊと総和Ｌの両方が取得されているか否かを判定する。この場合、ステップＳ４０２で総和Ｊが取得され、ステップＳ４０４で総和Ｌが取得されている。したがって、このときの量子化制御部１１０は、ステップＳ４０６では総和Ｊと総和Ｌの両方が取得されていると判定して、処理をステップＳ４０７へ進める。
【００６３】
ステップＳ４０７では、量子化制御部１１０は、ステップＳ４０５で取得した総和Ｋに対して、ステップＳ４０２で取得した総和ＪとステップＳ４０４で取得した総和Ｌのうちの何れか値が近似する方を選択する。すなわち、ステップＳ４０７では、量子化制御部１１０は、直前のフレームのラインと直前のラインの二つのラインのうち、符号化対象ラインに対して、画像の特徴が近く相関性が高い方のラインを選択している。このステップＳ４０７の後、量子化制御部１１０は、処理をステップＳ４０９へ進める。
【００６４】
ステップＳ４０９へ進むと、量子化制御部１１０は、ステップＳ４０７で選択したデータの総和（総和Ｊと総和Ｌの何れか選択された方の総和）と、ステップＳ４０５で取得した総和Ｋとの差分の絶対値が所定の特徴量閾値以内かどうかを判定する。そして、量子化制御部１１０は、差分の絶対値が所定の特徴量閾値より大きいと判定した場合には処理をステップＳ４１１へ進め、前述同様に重み係数αを「１」とする。
【００６５】
一方、ステップＳ４０９で差分の絶対値が所定の特徴量閾値以内であると判定した場合、量子化制御部１１０は、処理をステップＳ４１０へ進める。この場合の量子化制御部１１０は、ステップＳ４１０において重み係数αを算出するが、このとき重み係数αの算出に使用する量子化ステップと発生符号量は以下の情報となる。すなわち、重み係数αの算出に使用する量子化ステップは、ステップＳ４０７で選択された総和に対応したラインの量子化ステップとなり、発生符号量は、同じくステップＳ４０７で選択された総和に対応したラインの発生符号量となる。量子化制御部１１０は、それら量子化ステップの情報と、発生符号量の情報と、符号化対象ラインの仮の量子化ステップｑ、及び、符号化対象ラインの目標符号量の情報を用いて、重み係数αを算出する。
【００６６】
そして、ステップＳ４１０で重み係数αが算出されると、量子化制御部１１０は、その重み係数αを用いて量子化ステップを決定する。すなわちこの場合の量子化ステップは、符号化対象ラインに対して画像の特徴が近く相関性が高いラインの符号化の際に用いられた量子化ステップ数と発生符号量に基づいて算出されたものとなる。したがって、符号化対象ラインの量子化及び符号化がなされると、発生符号量は目標符号量に近い値となる。
【００６７】
次に、符号化対象ピクチャが２フレーム目で符号化対象ラインが３ライン目以後になった場合、量子化制御部１１０は、ステップＳ４０１では２ピクチャ目以後であると判定して処理をステップＳ４０２へ進める。ステップＳ４０２から後の処理については、量子化制御部１１０は、符号化対象ラインが３ライン目以後になっていること以外、前述同様の処理を行うことになり、それらの説明については省略する。
【００６８】
次に、図４のステップＳ４１０で行われる重み係数αの算出方法について、図５を用いて説明する。図５は、符号化対象ピクチャと、直前のフレームと、それらピクチャ及びフレーム内の各ラインと、各ラインのデータ総和を説明するための図である。図５において、フレーム番号（Ｆ）のフレーム５０２は符号化対象ピクチャを表しており、フレーム番号（Ｆ−１）のフレーム５０１は直前のフレームを表している。また、符号化対象ピクチャ（フレーム５０２）内のライン５０３は符号化対象ラインを表しており、ライン５０６は符号化対象ライン（５０３）の直前のラインを表している。さらに、フレーム５０１内のライン５０５は、符号化対象ピクチャ（フレーム５０２）内の符号化対象ライン５０３に対応した位置に在るラインを表している。また、フレーム５０１，５０２の各ライン内に記載されている数字は、それら各ラインのＲＡＷ画像データの総和の値の一例を示している。さらに、閾値５０４は、図４のステップＳ４０９の判定で用いられる所定の特徴量閾値の一例である。
【００６９】
図５の例において、符号化対象ライン５０３のデータ総和の値は「８５」となっており、また直前のフレーム５０１内において符号化対象ライン５０３に対応した位置に在るライン５０５のデータ総和の値は「９０」になっている。このため、それらライン５０３とライン５０５のデータ総和の差分の値は「１０」となる。また、図５の例の場合、閾値５０４は「１５」となされている。すなわち、図５の例において、符号化対象ライン５０３と、直前のフレーム５０１内で符号化対象ライン５０３に対応した位置に在るライン５０５は、それらのデータ総和の差分が閾値５０４以内の値となっている。したがって、この例の場合、量子化制御部１１０は、図４のステップＳ４０９において差分の絶対値が所定の特徴量閾値以内であると判定して、図４のステップＳ４１０へ処理を進めることになる。量子化制御部１１０は、ステップＳ４１０では、具体的には、下記の式（３）を用いて重み係数αを算出する。
【００７０】
α＝（Ｑ＿ｐｒｅ（Ｎ）×Ｃ＿ｐｒｅ（Ｎ））／（ｑ（Ｎ）×Ｔ（Ｎ））    式（３）
【００７１】
なお、式（３）のＱ＿ｐｒｅ（Ｎ）は、符号化対象ピクチャ内の符号化対象ラインがＮライン目である場合の、直前のフレーム内で符号化対象ラインに対応した位置にあるライン（Ｎライン目）の量子化ステップ数である。また、Ｃ＿ｐｒｅ（Ｎ）は、符号化対象ピクチャ内の符号化対象ラインがＮライン目である場合の、直前のフレーム内で符号化対象ラインに対応した位置にあるライン（Ｎライン目）の発生符号量である。ｑ（Ｎ）は式（１）に示した符号化対象のＮライン目の仮の量子化ステップ数である。Ｔ（Ｎ）は符号化対象のＮライン目の目標符号量である。
【００７２】
ここで、例えば、符号化対象のＮライン目の仮の量子化ステップ数ｑ（Ｎ）と目標符号量Ｔ（Ｎ）を乗算した値が、直前のフレーム内のＮライン目の量子化ステップ数Ｑ＿ｐｒｅ（Ｎ）と発生符号量Ｃ＿ｐｒｅ（Ｎ）を乗算した値に満たなかったとする。この場合、符号化対象のＮライン目に対する量子化ステップ数が仮の量子化ステップ数ｑ（Ｎ）であるとすると、発生符号量Ｃ＿ｐｒｅ（Ｎ）を目標符号量Ｔ（Ｎ）に抑えられない可能性がある。なお、仮の量子化ステップ数ｑ（Ｎ）では発生符号量Ｃ＿ｐｒｅ（Ｎ）を目標符号量Ｔ（Ｎ）に抑えられない場合とは、言い換えると、符号化対象のＮライン目は、符号化の際の画像難易度が高いラインであるといえる。このように、仮の量子化ステップ数ｑ（Ｎ）では発生符号量Ｃ＿ｐｒｅ（Ｎ）を目標符号量Ｔ（Ｎ）に抑えられない場合でも、式（３）を用いれば、（ｑ（Ｎ）×Ｔ（Ｎ））＜（Ｑ＿ｐｒｅ（Ｎ）×Ｃ＿ｐｒｅ（Ｎ））となり、重み係数αはα＞１の値となる。この場合、前述の式（２）により求められる最終的な量子化ステップＱ（Ｎ）は、仮の量子化ステップｑ（Ｎ）に対して大きく設定されることになり、目標符号量に発生符号量を収束させる制御が可能となる。
【００７３】
一方、例えば、符号化対象のＮライン目の仮の量子化ステップ数ｑ（Ｎ）と目標符号量Ｔ（Ｎ）を乗算した値が、直前のフレーム内のＮライン目の量子化ステップ数Ｑ＿ｐｒｅ（Ｎ）と発生符号量Ｃ＿ｐｒｅ（Ｎ）を乗算した値を超えるとする。この場合、符号化対象のＮライン目に対する量子化ステップ数が仮の量子化ステップ数ｑ（Ｎ）であるとすると、発生符号量Ｃ＿ｐｒｅ（Ｎ）が目標符号量Ｔ（Ｎ）に対して少なくなってしまう可能性がある。なお、仮の量子化ステップ数ｑ（Ｎ）では発生符号量Ｃ＿ｐｒｅ（Ｎ）に対して目標符号量Ｔ（Ｎ）が少なくなる場合とは、言い換えると、符号化対象のＮライン目は、符号化の際の画像難易度が低いラインであるといえる。このように、仮の量子化ステップ数ｑ（Ｎ）では発生符号量Ｃ＿ｐｒｅ（Ｎ）に対し目標符号量Ｔ（Ｎ）が少なくなる場合でも、式（３）を用いれば、（ｑ（Ｎ）×Ｔ（Ｎ））＞（Ｑ＿ｐｒｅ（Ｎ）×Ｃ＿ｐｒｅ（Ｎ））となり、重み係数αはα＜１の値となる。この場合、前述の式（２）により求められる最終的な量子化ステップＱ（Ｎ）は、仮の量子化ステップｑ（Ｎ）に対して小さく設定されることになり、目標符号量に発生符号量を収束させる制御が可能となる。
【００７４】
図６は、量子化制御部１１０による量子化制御において、前述の式（３）で算出される重み係数αを適用する場合と適用しない場合とで、発生符号量がどのように変化するかを説明するための図である。ここでは、符号化対象ラインの画像難易度が高く、重み係数αがα＞１の値となった場合の例を示している。また、図６において、図中の一点鎖線は、ピクチャ内の先頭のラインから順に各ラインの目標符号量を積算した総目標符号量６０１を示している。図６の総目標符号量６０１は、第１（先頭）ラインの目標符号量Ｔ（０）に第２ラインの目標符号量が加えられて総目標符号量Ｔ（１）となった例を示している。また、図６中の実線は、ピクチャ内の先頭のラインから順に各ラインの符号化による発生符号量を積算した総発生符号量６０２を示している。図６の総発生符号量６０２は、第１ラインの発生符号量Ｃ（０）に第２ラインの発生符号量が加えられて総発生符号量Ｃ（１）となった例を示している。また図６には、各ラインによる総目標符号量６０１と総発生符号量６０２の符号量差分６０３も示されている。図６の符号量差分６０３は、第１ラインでは符号量差分ＥＲＲ（０）となり、第２ラインでは符号量差分ＥＲＲ（１）となった例を示している。これら符号量差分ＥＲＲ（０），ＥＲＲ（１）は、符号量比較部１１４にて算出される。また、図６の点６０４は、式（３）で算出した重み係数αを適用しなかった場合の量子化ステップにより第２ラインが量子化されて符号化されたときの総発生符号量Ｃｇ（１）を示している。これに対し、図６の点６０５は、前述した式（３）により算出した重み係数αを用いた場合の量子化ステップにより第２ラインが量子化されて符号化されたときの総発生符号量Ｃ（１）を示している。この図６の例から判るように、式（３）の重み係数αを適用しなかった場合、総発生符号量Ｃｇ（１）は総目標符号量Ｔ（１）から離れてしまっている。これに対し、式（３）の重み係数αを適用した場合は、総発生符号量Ｃ（１）は総目標符号量Ｔ（１）に近い値となる。
【００７５】
以上説明したように、第１の実施形態の撮像装置１００は、符号化対象ラインの画像難易度に応じて、仮の量子化ステップ数に重み係数αを掛けることで、発生符号量を目標符号量に近づけることができる。したがって、第１の実施形態によれば、１ピクチャの総発生符号量を目標符号量に近づけることが可能となり、ＲＡＷ画像の動画記録において記録時間を保証できるよう、精度よく符号量制御を行う撮像装置を提供することが出来る。
【００７６】
第１の実施形態では、２ピクチャ以上のＲＡＷ画像を記録する動画記録について説明したが、１ピクチャのみの静止画や動画のＲＡＷ画像の記録にも適用することも可能である。すなわち、１ピクチャのみが符号化される場合、量子化制御部１１０は、符号化対象ラインから算出された解析情報と符号化対象ラインの直前のラインから算出された解析情報との間で差分絶対値を算出する。そして、量子化制御部１１０は、差分絶対値が所定の特徴量閾値以内であるとき、前述どうように、直前のラインの量子化ステップ数や発生符号量等を用いて、符号化対象ラインの量子化ステップ数を算出する。また、動画像を符号化する場合も、量子化制御部１１０は、直前のフレーム内のラインのデータ総和や量子化ステップ、発生符号量等を用いず、符号化対象ピクチャ内のラインのデータの総和や量子化ステップ、発生符号量のみで量子化制御を行ってもよい。この場合、直前のフレームのためのデータ等を保持する必要がなく、メモリ容量の消費を抑えることができる。
【００７７】
また、入力画像解析部１０５は、画像の特徴を表す情報として、入力画像バッファ１０４に入力される１ラインのＲＡＷ画像データの分散値を算出してもよい。この場合、解析情報保持部１０６は、そのデータ分散情報を解析情報として保持する。そして、量子化制御部１１０は、データ分散情報と、前述同様の量子化ステップ、発生符号量等を用いて量子化制御を行う。
【００７８】
＜第２の実施形態＞
次に第２の実施形態の撮像装置１００について説明する。第２の実施形態の撮像装置１００の構成は図１と同様である。第２の実施形態の撮像装置１００の場合、画像符号化部１１７の入力画像解析部１０５は、符号化対象ラインのデータの総和を解析情報として算出し、解析情報保持部１０６はその解析情報のみを保持する。そして、量子化制御部１１０は、符号化済みのラインの量子化ステップ数及び発生符号量と、符号化対象ラインの目標符号量と、解析情報とを用いて量子化制御を行う。ここで、第２の実施形態の場合、量子化制御部１１０は、符号化対象ラインの解析情報から予測発生符号量を算出し、その予測発生符号量を用いて量子化ステップ数を補正する。予測発生符号量の算出と、予測発生符号量を用いた量子化ステップ数の補正について、以下に説明する。
【００７９】
＜量子化制御＞
図７は、第２の実施形態の量子化制御部１１０が予測発生符号量を算出し、その予測発生符号量を用いて量子化ステップ数を補正（調整）する処理のフローチャートである。なお、図７のフローチャートに示す処理は、１ライン単位ごとに行われ、ピクチャの終端まで繰り返されるものとする。
【００８０】
図７のフローチャートにおいて、ステップＳ７０１では、量子化制御部１１０は、符号化対象ラインのデータの総和を取得する。このステップＳ７０１の後、量子化制御部１１０は、処理をステップＳ７０２へ進める。
【００８１】
ステップＳ７０２では、量子化制御部１１０は、符号化対象ラインに対する仮の量子化ステップ数ｑを算出する。具体的には、量子化制御部１１０は、第１の実施形態で説明したのと同様の方法により、仮の量子化ステップ数ｑを算出する。ステップＳ７０２の後、量子化制御部１１０は、処理をステップＳ７０３へ進める。
【００８２】
ステップＳ７０３では、量子化制御部１１０は、ステップＳ７０１で取得したデータ総和を用いて、符号化対象ラインに対する予測発生符号量を算出する。予測発生符号量の算出方法の詳細は後述する。ステップＳ７０３の後、量子化制御部１１０は、処理をステップＳ７０４へ進める。
【００８３】
ステップＳ７０４では、量子化制御部１１０は、ステップＳ７０３で算出した予測発生符号量と、符号化対象ラインに対する目標符号量との差分の絶対値を算出し、その差分絶対値が所定の符号量閾値を越えるか（差分絶対値が閾値より大きいか）否か判定する。量子化制御部１１０は、差分絶対値が所定の符号量閾値を越えないと判定した場合は、ステップＳ７０２で求めた仮の量子化ステップ数ｑを、量子化部１０７へ出力する。これにより、量子化部１０７では、符号化対象ラインに対して仮の量子化ステップ数ｑを用いた量子化が行われることになる。その後、量子化制御部１１０は、次の符号化対象ラインに対する処理を行うことになる。一方、量子化制御部１１０は、ステップＳ７０４で差分絶対値が所定の符号量閾値を超えると判定した場合、処理をステップＳ７０５へ進める。
【００８４】
ステップＳ７０５では、量子化制御部１１０は、ステップＳ７０２で求めた仮の量子化ステップ数ｑを後述のように補正して、その補正後の量子化ステップ数を量子化部１０７へ出力する。これにより、量子化部１０７では、符号化対象ラインに対して、補正後の量子化ステップ数を用いた量子化が行われることになる。その後、量子化制御部１１０は、次の符号化対象ラインに対する処理を行う。
【００８５】
以下、予測発生符号量の算出方法の詳細を説明する。ここで、符号化対象ラインのデータ総和は、発生符号量及び量子化ステップ数と相関性があり、データ総和が大きいほど、同一の量子化ステップ数に対して発生符号量が大きくなる傾向がある。このような関係に基づき、符号化対象ラインのデータ総和は以下の式（４）で表すことができる。
【００８６】
Ｋ＝（Ｃｆ（Ｎ）×ｑ（Ｎ））×β              式（４）
【００８７】
なお、式（４）のＫは符号化対象ラインのデータ総和である。Ｃｆ（Ｎ）は符号化対象ラインがＮライン目であるときの予想発生符号量である。ｑ（Ｎ）は前述の第１の実施形態の場合と同様に符号化対象ラインがＮライン目であるときの仮の量子化ステップ数である。βは重み係数であり、一例として予め決めた値を用いることができる。
【００８８】
そして、予想発生符号量Ｃｆ（Ｎ）は、式（４）を変形した以下の式（５）により算出することができる。すなわち、第２の実施形態の量子化制御部１１０は、以上のようにして、符号化対象ラインのデータの総和Ｋと仮の量子化ステップ数ｑと重み係数βから、発生符号量を予測する。
【００８９】
Ｃｆ（Ｎ）＝Ｋ／（ｑ（Ｎ）×β）              式（５）
【００９０】
＜量子化値補正処理＞
次に、第２の実施形態の量子化制御部１１０において、仮の量子化ステップ数に対する補正方法について以下に説明する。図８は、予想発生符号量Ｃｆ（Ｎ）と目標符号量Ｔ（Ｎ）との差分８０１と、量子化ステップ数に対する補正量８０２を示す表である。図８に示すように、量子化制御部１１０は、目標符号量Ｔ（Ｎ）に対して予測発生符号量Ｃｆ（Ｎ）が大きい（差分８０１が大きい）場合、量子化ステップ数が大きくなるような補正量８０２で仮の量子化ステップ数を補正して発生符号量を抑えるよう制御する。また、量子化制御部１１０は、目標符号量Ｔ（Ｎ）に対して、予想発生符号量Ｃｆ（Ｎ）が小さい（差分８０１が小さい）場合、量子化ステップ数が小さくなるような補正量８０２で仮の量子化ステップ数を補正して発生符号量を増やすよう制御する。図８の場合、補正量８０２は、目標符号量Ｔ（Ｎ）と予測発生符号量Ｃｆ（Ｎ）の差分８０１が大きい場合と小さい場合の何れも、目標符号量Ｔ（Ｎ）と予想発生符号量Ｃｆ（Ｎ）の差分絶対値が大きくなればなるほど補正量８０２の絶対値も大きくなされている。
【００９１】
以上のように、第２の実施形態の撮像装置１００は、符号化対象ラインの解析情報を用いて発生符号量を予想して量子化ステップ数を補正することにより、目標符号量に近づけると同時に、１ピクチャの総発生符号量を目標符号量に近づけることが可能となる。したがって、本実施形態によれば、使用メモリ量を減らしながらも、ＲＡＷ画像の動画記録において記録時間を保証できるよう、精度よく符号量制御を行う撮像装置１００を提供することが出来る。
【００９２】
＜第３の実施形態＞
次に、第３の実施形態の撮像装置１００について説明する。第３の実施形態の場合、量子化制御部１１０は、Ｇ０成分に対応したデータ及びＧ１成分に対応したデータに対する量子化制御の際に、後述するようにして量子化ステップ数を決定する。具体的には、量子化制御部１１０は、Ｇ０成分とＧ１成分の量子化の際に、符号化済みのラインの量子化ステップ数及び発生符号量と、Ｇ０成分とＧ１成分に該当する画素プレーン及び他の成分の画素プレーンの解析情報を用いて、量子化ステップ数を決定する。
【００９３】
第３の実施形態の撮像装置１００の構成は図１と同様である。なお、センサ信号処理部１０３は、ベイヤー配列に対応したＲＡＷ画像データを、Ｇ０，Ｒ，Ｇ１，Ｂの各色成分の各画素プレーンに変換する。また、符号化部１１６は、プレーン変換された画像データを圧縮符号化する。具体的には、符号化部１１６は、画素プレーンのデータに対してウェーブレット変換を行い、そのウェーブレット変換により得られた、各周波数帯であるサブバンドのウェーブレット係数を圧縮符号化する。
【００９４】
第３の実施形態の量子化制御部１１０は、Ｇ０成分とＧ１成分の量子化の際、符号化済みのラインの量子化ステップ数及び発生符号量と、Ｇ０成分とＧ１成分に該当する画素プレーン及び他の成分の画素プレーンの解析情報を用いて量子化ステップ数を決定する。第３の実施形態における量子化制御について、以下に説明する。
【００９５】
図９は、第３の実施形態の量子化制御部１１０が量子化ステップＱを決定する際の重み係数αが算出されるまでの処理の流れを示すフローチャートである。この図９のフローチャートに示す処理は、１ライン単位ごとに行われ、ピクチャの終端まで繰り返されるものとする。なお、図９のフローチャートの各ステップＳ９０１〜Ｓ９１１は、図４のフローチャートのステップＳ４０１〜Ｓ４１１とそれぞれ対応しており、以下の説明ではステップＳ４０１〜Ｓ４１１で行われる処理とは異なる部分のみ説明する。また、図９のフローチャートの総和Ｌと総和Ｊと総和Ｋは、図４のフローチャートの総和Ｌと総和Ｊと総和Ｋとは異なるが、それら総和の値を用いた判定や選択、差分絶対値の算出等の処理自体は同じであるため、図９でもそのまま使用している。
【００９６】
図９のフローチャートでは、Ｇ０成分とＧ１成分のうち、一方のＧ０成分の量子化ステップを決定するときの重み係数αの算出の流れのみを説明する。なお、Ｇ０成分とＧ１成分のうち、他方のＧ０成分の量子化ステップを決定する場合の説明は省略するが、具体的には、図９の説明において「Ｇ０」を「Ｇ１」に置き換え、「Ｇ１」を「Ｇ０」に置き換えた処理が行われることになる。また、図９のフローチャートにおいて、Ｒ成分とＢ成分に対する制御については第１の実施形態の図４のフローチャートで述べた制御と同じであるため、Ｒ成分とＢ成分の説明は省略する。
【００９７】
図９のフローチャートにおいて、ステップＳ９０１では、量子化制御部１１０は、符号化対象ピクチャがＲＡＷ画像記録の先頭フレームか否かで処理を分岐させる。すなわち、量子化制御部１１０は、符号化対象ピクチャが先頭フレームであれば処理をステップＳ９０４へ進め、先頭フレームではなく２ピクチャ以後であれば処理をステップＳ９０５へ進める。
【００９８】
ステップＳ９０２では、量子化制御部１１０は、ライン単位のデータの総和Ｊ、量子化ステップ数、発生符号量について、直前のフレームのＧ０成分の、符号化対象ラインに対応した位置に在るラインの値を取得する。
【００９９】
ステップＳ９０３では、量子化制御部１１０は、符号化対象ラインが２ライン以後であるかどうかで処理を分岐させる。すなわち、量子化制御部１１０は、符号化対象ラインが先頭ラインであれば処理をステップＳ９０５へ進め、符号化対象ラインが先頭ラインでなく２ライン目以後であれば処理をステップＳ９０４へ進める。
【０１００】
ステップＳ９０４では、量子化制御部１１０は、ライン単位のデータの総和Ｌ、量子化ステップ数、発生符号量について、直前のフレームのＧ１成分の、符号化対象ラインの直前のラインに対応した位置にあるラインの値を取得する。また、ステップＳ９０５では、量子化制御部１１０は、Ｇ０成分の、符号化対象ラインのデータの総和Ｋを取得する。
【０１０１】
次に、ステップＳ９０６では、量子化制御部１１０は、直前のフレームのＧ０成分のデータの総和Ｊ又はＧ１成分のデータの総和Ｌの両方を取得しているかどうかで処理を分岐させる。すなわち、量子化制御部１１０は、Ｇ０成分の総和ＪとＧ１成分の総和Ｌの両方を取得していれば処理をステップＳ９０７へ進め、何れか一方でも取得していなければ処理をステップＳ９０８へと進める。
【０１０２】
ステップＳ９０７では、量子化制御部１１０は、直前のフレームのＧ０成分の総和Ｊ又はＧ１成分の総和Ｌのうち、符号化対象ラインの総和Ｋに近い方を選択する。
【０１０３】
一方、ステップＳ９０８では、量子化制御部１１０は、直前のフレームのＧ０成分の総和ＪとＧ１成分の総和Ｌのどちらか一方でも取得しているかどうかで処理を分岐させる。すなわち、量子化制御部１１０は、それらの何れか一方でも取得していれば処理をステップＳ９０９へ進め、何れも取得していなければ処理をステップＳ９１１へ進める。
【０１０４】
ステップＳ９０９では、量子化制御部１１０は、ステップＳ９０７で選択された総和又はステップＳ９０８で取得されていると判定された総和と、符号化対象ラインの総和Ｋとの差分絶対値が、所定の特徴量閾値以内かどうかで処理を分岐させる。すなわち、量子化制御部１１０は、差分絶対値が所定の特徴量閾値以内であれが処理をステップＳ９１０へと進め、一方、差分絶対値が特徴量閾値より大きければ処理をステップＳ９１１へと進める。
【０１０５】
ステップＳ９１０では、量子化制御部１１０は、ステップＳ９０９で総和Ｋとの差分が求められた総和に対応したラインの量子化ステップ数及び発生符号量と、符号化対象ラインの仮の量子化ステップ数及び目標符号量を用い、前述同様に重み係数αを算出する。一方、ステップＳ９１１では、量子化制御部１１０は、重み係数αを「１」にする。
【０１０６】
次に、図１０は、Ｇ０成分及びＧ１成分のラインと、Ｇ０成分の量子化制御で用いられる解析情報の参照関係を示す概念図である。この図１０において、Ｆフレームは符号化対象ピクチャであり、ライン１００３はＦフレームのＧ０成分のラインであり、ライン１００４はＦフレームのＧ１成分のラインである。また、ライン１００７は、ＦフレームのＧ０成分の符号化対象ラインである。さらに、ライン１００８は、ＦフレームのＧ０成分の符号化対象ラインの直前のラインである。一方、Ｆ−１フレームは符号化対象ピクチャの直前のフレームであり、ライン１００１はＦ−１フレームのＧ０成分のラインであり、ライン１００２はＦ−１フレームのＧ１成分のラインである。また、ライン１００５は、Ｆ−１フレームのＧ０成分のラインのうち、符号化対象ラインに対応した位置に在るラインであり、ライン１００６は、Ｆ−１フレームのＧ１成分のラインのうち、符号化対象ラインに対応した位置に在るラインの直前のラインである。
【０１０７】
図１０のように、量子化制御部１１０は、Ｇ０成分の量子化制御の際、１フレーム前のＧ０成分の符号化対象ラインと同位置のラインのデータ総和、及び、１フレーム前のＧ１成分の符号化対象ラインの直前の１ラインのデータ総和を用いて、量子化制御を行う。ここで、ＦフレームのＧ０成分の直前の位置のライン１００８のよりも、１フレーム前のＧ１成分の符号化対象ラインの直前の位置のライン１００６の方が、符号化対象ラインに対して、より近似性が高いと考えられる。このため、量子化制御部１１０は、Ｇ０成分について、第１の実施形態で行った制御と比較して、より精度の高い量子化制御が可能となる。
【０１０８】
上述のように、第３の実施形態によれば、Ｇ０成分の量子化制御を、より高い精度で行うことが可能な撮像装置１００を提供することが出来る。また、第３の実施形態では、Ｇ０成分に対する量子化制御について説明したが、Ｇ１成分についても同様の制御が可能である。すなわち、Ｇ１成分の量子化制御の場合、量子化制御部１１０は、１フレーム前のＧ１成分の符号化対象ラインと同位置のラインのデータ総和、及び、１フレーム前のＧ０成分の符号化対象ラインの直前の１のラインのデータ総和を用いて、量子化制御を行う。
【０１０９】
以上説明したように、第１〜第３の実施形態の撮像装置１００は、ライン単位で画素データを符号化する構成において、画像の特徴量を参照して量子化制御を行うことで、高い精度の量子化制御を実現し、発生符号量を目標符号量に近づける制御が可能である。
【０１１０】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１２】
１０１  撮像光学部、１０２  撮像センサ部、１０３  センサ信号処理部、１０４  入力画像バッファ、１０５  入力画像解析部、１０６  解析情報保持部、１０７  量子化部、１０８  量子化設定保持部、１０９  量子化設定部、１１０  量子化制御部、１１１  目標符号量設定部、１１２  画素ライン目標符号量算出部、１１３  画素ライン目標符号量保持部、１１４  符号量比較部、１１５  発生符号量保持部、１１６  符号化部、１１７  画像符号化部、１１８  制御部
【図１】
0006486120.tif 000002
【図２】
0006486120.tif 000003
【図３】
0006486120.tif 000004
【図４】
0006486120.tif 000005
【図５】
0006486120.tif 000006
【図６】
0006486120.tif 000007
【図７】
0006486120.tif 000008
【図８】
0006486120.tif 000009
【図９】
0006486120.tif 000010
【図１０】
0006486120.tif 000011