(57)【要約】【課題】異なる出力画像サイズでも、少ないメモリ容量でマイコンに処理負担をかけずに、圧縮符号化される画像データの符号量を調整する。【解決手段】符号量変化割合算出部１４ａは、基本量子化テーブルに乗算するＳＣＦ値を変化させ、ＳＣＦ値の変化に応じた画像データの符号量の変化割合を算出し、画像データの符号量が、所定の範囲外である場合に、ＳＣＦ値決定部１４ｂは、算出された変化割合を参照して、符号量を所定の範囲内とするようなＳＣＦ値を決定する。【選択図】        図１
2005020386.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像データを取り込み圧縮符号化する撮像装置において、
所定の前記画像データに対して、基本量子化テーブルに乗算するスケーリングファクタを変化させ、前記スケーリングファクタの変化に応じた前記画像データの符号量の変化割合を算出する符号量変化割合算出部と、
他の前記画像データの前記符号量が、所定の範囲外である場合に、前記変化割合を参照し、前記符号量を前記所定の範囲内とするような前記スケーリングファクタを決定するスケーリングファクタ決定部と、
を有することを特徴とする撮像装置。
【請求項２】
前記符号量変化割合算出部は、用いられる前記基本量子化テーブルの種類に応じて、前記変化割合を調整することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記符号量変化割合算出部は、用いられる前記基本量子化テーブルの最大要素値または最小要素値に応じて、前記スケーリングファクタの変化の範囲を制限することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記符号量変化割合算出部により算出された前記変化割合を格納する記憶部をさらに備え、
前記スケーリングファクタ決定部は、前記記憶部に格納された前記変化割合を参照して前記スケーリングファクタを決定する請求項１記載の撮像装置。
【請求項５】
被写体の画像データを取り込み圧縮符号化する撮像方法において、
所定の前記画像データに対して、基本量子化テーブルに乗算するスケーリングファクタを変化させ、前記スケーリングファクタの変化に応じた前記画像データの符号量の変化割合を算出し、
他の前記画像データの前記符号量が、所定の範囲外である場合に、前記変化割合を参照し、前記符号量を前記所定の範囲内とするような前記スケーリングファクタを決定する、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像方法に関し、特に、被写体の画像データを取り込み圧縮符号化する撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
静止画像として撮像した被写体の画像データを取り込んで圧縮符号化する方式としてＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）が知られている。
【０００３】
ＪＰＥＧ方式では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、量子化、エントロピー符号化などのアルゴリズムにより撮像した画像データを圧縮符号化する。
【０００４】
以下、従来における量子化処理について説明する。
量子化では、量子化テーブルを用い、ＤＣＴ処理後の８×８の６４画素からなるブロックごとに、画像データを量子化（除算）する。量子化テーブルとは、基本量子化テーブルとスケーリングファクタ（以下ＳＣＦまたはＳＣＦ値と表記する）を乗算した値となり、以下の式で表される。
【０００５】
【数１】
ＱＴａｂｌｅ［ｉ，ｊ］＝ＳＣＦ×ＢａｓｅＱＴａｂｌｅ［ｉ，ｊ］……（１）
なおここで、“ＱＴａｂｌｅ［ｉ，ｊ］”は量子化テーブルの［ｉ，ｊ］番目の値、“ＢａｓｅＱＴａｂｌｅ［ｉ，ｊ］”は基本量子化テーブルの［ｉ，ｊ］番目の値を示している。ＳＣＦ値は量子化ステップ幅を変化させ、画像データの符号量を変化させる。ＳＣＦ値を大きくするほど符号量は小さくなり、小さくするほど符号量は大きくなる。また、量子化テーブルはＹ（輝度）成分用のものとＣ（色差）成分用のものがあり、ＳＣＦ値もＹ成分用、Ｃ成分用のものが別々に用意されている。
【０００６】
一般に、符号量が大きければ画質がよくなるが、システムにおいて許容される符号量（以下制限符号量と呼ぶ）が異なる。
従来、量子化の際のＳＣＦ値を複数個の固定値として持ち、最初のＳＣＦ値で量子化し、制限符号量で規定された範囲内に収まっていなかった場合、次のＳＣＦ値を用いて量子化を行うという処理を、制限符号量の範囲内に収まるまで繰り返していた。このような場合、最適なＳＣＦ値を求めるのに、フレームメモリを実装する必要があり、コストがかかり、且つ、チップサイズが大きくなってしまうという問題があった。
【０００７】
このため、ＳＣＦ値に対する符号量の予測が必要になっており、いくつかの技術が開示されている。
例えば、符号量予測で、各ＳＣＦ値に対する符号量をテーブルとして持ち、入力されたＳＣＦ値に応じた符号量を一意に予測するというものがある（特許文献１参照）。
【０００８】
【特許文献１】
特開２００２−３６９１９８号公報（段落番号〔００８３〕、〔００８４〕，第７図）
【０００９】
【発明が解決しようとする課題】
しかし、上記の従来技術では、以下のような問題があった。
近年では、例えば、カメラモジュールで撮像し、圧縮符号化された画像データは、複数の出力画像サイズに対応していることが求められている。出力画像サイズとしては、６４０（画素）×４８０（ライン）画素のＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）、３２０×２４０画素のＱＶＧＡ（Ｑｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）、３５２×２８８画素のＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）、１７６×１４４画素のＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ）などがある。従来では、このような出力画像サイズの違いに対応していないので、出力画像サイズごとに、ＳＣＦ値に対する符号量のテーブルデータ、もしくはパラメータなどを持たなければならないという問題があった。このような場合、出力画像サイズの種類が増えるほど必要となるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリ容量が膨大なものになってしまうという問題があった。
【００１０】
また、従来の方法では、ＳＣＦ値の制御はカメラモジュールの上位側のマイクロコンピュータ（以下マイコンと略す）で行っていたため、上位側のマイコンに処理負担がかかるという問題があった。
【００１１】
また、従来の方法では、ＳＣＦ値に対して、符号量を一意に決めてしまっているので、符号量のエラーに応じた符号量の調整は不可能であった。
本発明はこのような点に鑑みてなされたものであり、少ないメモリ容量でマイコンに処理負担をかけずに、符号量の調整が可能な撮像装置及び撮像方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明では上記課題を解決するために、被写体の画像データを取り込み圧縮符号化する撮像装置において、所定の前記画像データに対して、基本量子化テーブルに乗算するＳＣＦ値を変化させ、前記ＳＣＦ値の変化に応じた前記画像データの変化割合を算出する符号量変化割合算出部と、他の前記画像データの前記符号量が所定の範囲外である場合に、前記変化割合を参照し、前記符号量を前記所定の範囲内とするような前記ＳＣＦ値を決定するＳＣＦ値決定部と、を有することを特徴とする撮像装置が提供される。
【００１３】
上記の構成によれば、画像データの符号量が、所定の範囲外である場合に、ＳＣＦ値決定部は、符号量変化割合算出部により算出された変化割合を参照して、符号量を所定の範囲内とするようなＳＣＦ値を決定する。
【００１４】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は、本発明の実施の形態の撮像装置の概略の機能ブロック図である。
【００１５】
ここでは、ＪＰＥＧ形式に圧縮符号化する撮像装置を示している。
撮像装置１０は、撮像部１１と、デジタル化部１２と、ＤＣＴ変換部１３と、量子化部１４と、エントロピー符号化部１５とを有し、さらに、量子化部１４の量子化の際に機能する符号量変化割合算出部１４ａと、ＳＣＦ値決定部１４ｂとからなる。
【００１６】
撮像部１１は、被写体の画像データを取り込む。
デジタル化部１２は、取り込んだ画像データをデジタルデータに変換する。
ＤＣＴ変換部１３では、離散コサイン変換を行い、画像データを周波数成分に変換する。
【００１７】
量子化部１４は、量子化テーブルを用いてＤＣＴ係数を量子化する。
エントロピー符号化部１５は、ハフマン符号化や算術符号化などにより、出現頻度の高いデータの並びを短い符号に置き換え、頻度の低いデータの並びを長い符号に置き換える。
【００１８】
符号量変化割合算出部１４ａは、基本量子化テーブルに乗算するＳＣＦ値を変化させ、ＳＣＦ値の変化に応じた画像データの符号量の変化割合を算出する。変化割合は、基準となるＳＣＦ値のときの符号量（基準符号量）をもとに算出する。符号量の変化割合には、符号量の減少割合（以下符号減少割合と呼ぶ）または増加割合（以下符号増加割合と呼ぶ）がある。基準符号量については後述する。
【００１９】
ＳＣＦ値決定部１４ｂ部は、画像データの符号量が、制限符号量で規定された所定の範囲外である場合に変化割合を参照し、所定の範囲内に符号量を調整するようなＳＣＦ値を予測して決定する。
【００２０】
ここで、本発明の実施の形態の撮像装置１０において、符号量の変化割合を算出し用いることの理由について説明する。
図２は、ＳＣＦ値とＪＰＥＧ形式の画像データの符号量との関係を示す図である。
【００２１】
横軸がＳＣＦ値、縦軸が符号量であり、いずれも対数軸である。またここでは、Ｙ（輝度）成分、Ｃ（色差）成分のＳＣＦ値は同一であるとしている。なお、以下で示す図３〜図９も同様に縦軸横軸いずれも対数軸であり、Ｙ（輝度）成分、Ｃ（色差）成分のＳＣＦ値は同一であるとしている。
【００２２】
この図のように、ＳＣＦ値を減少させると符号量は増加し、ＳＣＦ値を増加させると符号量は減少することが分かる。
符号減少割合は、以下の式のようになる。
【００２３】
【数２】
ＲＥＤ＿ＲＡＴＥ（Ｘ）＝ＴＯＴＡＬ（ＢａｓｅＳＣＦ）／ＴＯＴＡＬ（Ｘ）……（２）
上式において、ＳＣＦ値が“Ｘ”の場合の符号減少割合“ＲＥＤ＿ＲＡＴＥ（Ｘ）”は、基準とするＳＣＦ値“ＢａｓｅＳＣＦ”の符号量“ＴＯＴＡＬ（ＢａｓｅＳＣＦ）”（これが、基準符号量である）を、ＳＣＦ値が“Ｘ”の場合の符号量“ＴＯＴＡＬ（Ｘ）”で割ったものとして表される。
【００２４】
なお、式（２）において、“ＴＯＴＡＬ（Ｘ）／ＴＯＴＡＬ（ＢａｓｅＳＣＦ）”とすれば符号増加割合が求まる。
式（２）に従って図２で示した符号量を、符号減少割合に変換すると以下の図のようになる。
【００２５】
図３は、ＳＣＦ値と符号減少割合の関係を示す図である。
横軸がＳＣＦ値、縦軸は符号減少割合である。
但し、ここでは基準とするＳＣＦ値“ＢａｓｅＳＣＦ＝１．０”として式（２）を実行したものを示す。図のように符号減少割合は、ＳＣＦ値＝１．０のときの符号量を基準符号量とした場合の、相対的な符号量となる。
【００２６】
図４は、同じ画を異なる３つの画像サイズでとった場合の画像データの符号量とＳＣＦ値の関係を示す図である。
なお、量子化に用いる基本量子化テーブルは同じであるとする。
【００２７】
ここでは、同じ画を、ＶＧＡ、ＱＶＧＡ、ＱＣＩＦの異なる３つの画像サイズでとったときの符号量のＳＣＦ値による変化を示している。画像サイズの１番大きいＶＧＡがもっとも符号量が多く、画像サイズがもっとも小さいＱＣＩＦの符号量がもっとも少ない。図のように、ＳＣＦ値が同じでも、出力画像サイズにより符号量は大きく異なっていることが分かる。
【００２８】
次にこの符号量を、式（２）に従って符号減少割合に変換すると次に示す図のようになる。
図５は、同じ画を異なる３つの画像サイズでとった場合の画像データの符号減少割合とＳＣＦ値の関係を示す図である。
【００２９】
図のように、出力される画像サイズに係わらず、符号減少割合はほぼ同じになることが分かる。これは、出力される画像サイズに係わらず、ＳＣＦ値の変化に対する符号量の変化の仕方が似通っているからである。
【００３０】
次に出力画像サイズが同じ場合で、画の冗長度などにより極端に違った符号量となった場合について検討する。
図６は、同じ画像サイズであるが、極端に符号量の異なる画のＳＣＦ値に対する符号量の変化を示す図である。
【００３１】
図のように、ＳＣＦ値が同じでも、符号量は異なっていることが分かる。
次にこの符号量を、式（２）に従って符号減少割合に変換すると以下に示す図のようになる。
【００３２】
図７は、符号量の異なる画のＳＣＦ値に対する符号減少割合の変化を示す図である。
図のように、符号量の異なる画についても、符号減少割合に変換することで、似通った特性となることが分かる。これは、符号量の異なる画においても、ＳＣＦ値の変化に対する符号量の変化の仕方が似通っているからである。
【００３３】
次に基本量子化テーブルが異なる場合について説明する。
図８は、３種類の基本量子化テーブルについてＳＣＦ値と符号量の関係を示す図である。
【００３４】
図のように、基本量子化テーブルが異なると、ＳＣＦ値の変化に応じて符号量の変化の仕方も異なる。これを、式（２）に従って符号減少割合に変換すると以下に示す図のようになる。
【００３５】
図９は、３種類の基本量子化テーブルについてＳＣＦ値と符号減少割合の関係を示す図である。
図のように、基本量子化テーブルが異なる場合、符号減少割合が異なることが分かる。
【００３６】
以上の考察により、基本量子化テーブルが同じならば、符号減少割合は出力される画像サイズや、符号量の差異に係わらず似通ったものとなることが分かった。符号増加割合についても同様であることはいうまでもない。
【００３７】
このような理由から、本発明の実施の形態の撮像装置１０では、ＳＣＦ値に対する符号量の変化割合を算出し、例えば、テーブルデータとして持ち、これを量子化の際のＳＣＦ値の決定に用いる。
【００３８】
以下、撮像装置１０の動作を説明する。
被写体を撮像部１１にて取り込むと、デジタル化部１２にて取り込んだ画像データはデジタルデータに変換される。画像データは、ＤＣＴ変換部１３にて、離散コサイン変換が行われて周波数成分に変換される。
【００３９】
周波数成分に変換された画像データは、量子化部１４にて量子化される。符号量変化割合算出部１４ａでは、例えば、工場出荷前に、ある標準画像を写したときに、基本量子化テーブルに乗算するＳＣＦ値を所定のステップで変化させ、そのときの画像データのフレームの符号量の変化から、ＳＣＦ値に対する符号量変化割合を算出する。算出された符号量の変化割合は、例えば、テーブル化されて（符号減少割合テーブルまたは符号増加割合テーブル）管理される。
【００４０】
所定のステップ“ＳＴＥＰ”とは、隣あったテーブル上のＳＣＦ値の割合“ＴＢＬ＿ＳＣＦ［ｘ＋１］／ＴＢＬ＿ＳＣＦ［ｘ］”で表され、ＳＣＦ値のとりうる範囲である１／２５６〜２５６において、例えば、対数軸上で等間隔に要素数“ＮＵＭＰＯＩＮＴ”をとる場合は、以下の式で表される。
【００４１】
【数３】
2005020386.tif 000003
【００４２】
図１０は、符号減少割合テーブルの例である。
ここで、“ＴＢＬ＿ＳＣＦ”はテーブル上でのＳＣＦ値、“ＴＢＬ＿ＲＥＤ＿ＲＡＴＥ”はテーブル上での符号減少割合を示す。なお、図１０のように、符号減少割合テーブル作成には、ＳＣＦ値＝１．０を真中にし、式（３）で計算したようなステップで、ＳＣＦ値に対応する符号減少割合のテーブルが作成される。
【００４３】
次に、ＳＣＦ値決定部１４ｂでは、圧縮符号化処理後の画像データの符号量を検出し、符号量が制限符号量で規定された範囲外である場合に、符号量の変化割合（例えば、図１０のような符号減少割合テーブル）を参照し、制限符号量の範囲内に符号量を調整するようなＳＣＦ値を決定する。具体的な調整方法については後述する。
【００４４】
量子化部１４では、決定されたＳＣＦ値を式（１）のように基本量子化テーブルに掛け合わせ量子化テーブルを作成し、その量子化テーブルを用いて量子化を行う。
【００４５】
図１１は、Ｙ（輝度）成分用の基本量子化テーブルの例である。
また、図１２は、Ｃ（色差）成分用の基本量子化テーブルの例である。
図１１、１２のように高い周波数成  分（図の右下部分）は目立ちにくい特徴があり、低い周波数成分（図の左上部分）は目立ちやすい特徴があるので、低い周波数成分は省略を少なくするために、量子化ステップを小さく、高い周波数成分は省略を多くするために、量子化ステップを大きくしている。
【００４６】
なお、人間の視覚は輝度成分に比べて色差成分の感度が低い特徴があるので、図１２のＣ成分用の基本量子化テーブルのように色差成分の省略を多くして符号量を輝度成分に比べて少なくしている。
【００４７】
量子化された画像データは、エントロピー符号化部１５により、ハフマン符号化や算術符号化され、ＪＰＥＧデータとして出力される。
以上のように、異なる画像サイズ、大幅に異なる符号量の画像についても同一の符号量の変化割合（例えば、図１０の符号減少割合テーブル）を用いて、符号量の調整が可能であるので、少ないメモリ容量で符号量予測及び符号量の調整が可能になる。
【００４８】
次に、本発明の実施の形態の撮像装置１０を具体的に説明する。
図１３は、撮像装置システムのハードウェア構成図である。
図のように、撮像装置システムは、図１で示した撮像装置１０と対応しているカメラモジュール２０と、表示制御ブロック３０とからなる。
【００４９】
カメラモジュール２０は、レンズ２１、センサ２２、ＣＤＳ（相関二重サンプリング）／ＡＧＣ（自動利得制御）２３、カメラ信号処理ブロック２４、ＪＰＥＧエンコーダ２５、マイコン２６、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２７から構成される。
【００５０】
ここで、レンズ２１は、被写体に対し、集光と結像を行う。
センサ２２は、光を電気信号に変換する。また、電子シャッターにより電荷の蓄積時間が可変する。センサ２２は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサである。
【００５１】
ＣＤＳ／ＡＧＣ２３は、相関二重サンプリング回路によるノイズ除去と自動利得制御を行う。
カメラ信号処理ブロック２４は、Ａ／Ｄ（アナログ／デジタル）コンバータを有し、センサ２２から入力されたアナログ信号をデジタル信号に変換する。さらに、入力信号を映像信号（図ではＹＵＶ信号）に変換し出力する。なお、“ＳＹＮＣ信号”は同期信号であり、カメラ信号処理ブロック２４からＪＰＥＧエンコーダ２５及び表示制御ブロック３０に入力され、各ブロックに処理での同期をとる。ＹＵＶ信号は、Ｙ成分と、Ｙ成分と赤色成分（Ｃｒ）の差（Ｕ）、Ｙ成分と青色成分（Ｃｂ）の差（Ｖ）の３つの情報で色を表した形式による映像信号である。
【００５２】
ＪＰＥＧエンコーダ２５は、カメラ信号処理ブロック２４からの出力をＪＰＥＧ形式にエンコード（圧縮符号化）する。
マイコン２６は、図示を省略しているが、図１３の撮像装置システムを制御するためのプログラムを格納したＲＯＭ及びプログラムの実行時に必要なデータを一時格納するＲＡＭを有し、撮像装置システムの各部を制御する。
【００５３】
ＥＥＰＲＯＭ２７は、前述した基本量子化テーブル及び、符号量の変化割合を格納する。
表示制御ブロック３０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）出力、画像伸張などを行う。また、図示しない上位の制御ブロック（マイコン）からのコマンドをＩＩＣ（Ｉｎｔｅｒ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）通信などで、マイコン２６に通知する。
【００５４】
図１３において、レンズ２１及びセンサ２２は、図１で示した撮像部１１に対応している。また、カメラ信号処理ブロック２４（Ａ／Ｄコンバータ）は、デジタル化部１２に対応している。また、ＪＰＥＧエンコーダ２５と、マイコン２６の機能により、ＤＣＴ変換部１３、量子化部１４、符号量変化割合算出部１４ａ、ＳＣＦ値決定部１４ｂ、エントロピー符号化部１５の機能が実現できる。
【００５５】
このような撮像装置システムにおいて、被写体がレンズ２１により集光され、センサ２２に結像されると、センサ２２は光を電気信号に変換する。さらに電気信号になった画像データに対して、ＣＤＳ／ＡＧＣ２３でノイズ除去や自動利得制御が行われたのちカメラ信号処理ブロック２４に入力され、ＹＵＶ信号に変換されて表示制御ブロック３０に出力される。例えば、デジタルカメラなどにおいて、シャッターが押されていない場合、表示モードによっては、映像信号は表示制御ブロック３０で処理され、液晶モニタ（図示せず）上で被写体を常に表示させるようにしてもよい。このとき例えば、被写体が、３０フレーム／秒で表示される。
【００５６】
シャッターが押された場合、そのときのフレームの映像信号が８×８の６４画素を１ブロックとして、ブロックごとにＪＰＥＧエンコーダ２５で処理されＪＰＥＧ形式に圧縮符号化される。
【００５７】
ここで、本発明の実施の形態におけるＪＰＥＧエンコーダ２５の詳細を説明する。
図１４は、ＪＰＥＧエンコーダ及びそのエンコード処理に用いられる構成を示す図である。
【００５８】
図のように、ＪＰＥＧエンコーダ２５は、ＪＰＥＧエンコードブロック２５−１、符号量レジスタ２５−２を有する。
また、ＪＰＥＧエンコードブロック２５−１は、Ｙ成分用基本量子化テーブルレジスタ２５−１ａ、Ｃ成分用基本量子化テーブルレジスタ２５−１ｂ、Ｙ成分用ＳＣＦレジスタ２５−１ｃ、Ｃ成分用ＳＣＦレジスタ２５−１ｄを有する。
【００５９】
Ｙ成分用基本量子化テーブルレジスタ２５−１ａは、量子化の際、ＥＥＰＲＯＭ２７から取り出されたＹ成分用の基本量子化テーブルを一時格納する。
Ｃ成分用基本量子化テーブルレジスタ２５−１ｂは、量子化の際、ＥＥＰＲＯＭ２７から取り出されたＣ成分用の基本量子化テーブルを一時格納する。
【００６０】
Ｙ成分用ＳＣＦレジスタ２５−１ｃは、量子化の際、ＥＥＰＲＯＭ２７から取り出されたＹ成分用のＳＣＦ値を一時格納する。
Ｃ成分用ＳＣＦレジスタ２５−１ｄは、量子化の際、ＥＥＰＲＯＭ２７から取り出されたＣ成分用のＳＣＦ値を一時格納する。
【００６１】
符号量レジスタ２５−２は、ＪＰＥＧエンコードブロック２５−１から出力されたＪＰＥＧ形式の画像データの符号量を計数する。例えばカウンタのような構成であればよい。
【００６２】
このようなＪＰＥＧエンコーダ２５において、８×８画素のブロックごとに、マイコン２６の制御のもと、ＤＣＴ変換処理がおこなわれ、その後、量子化処理が行われる。
【００６３】
量子化処理時には、Ｙ成分用基本量子化テーブルレジスタ２５−１ａにはＹ成分用の基本量子化テーブルが、Ｃ成分用基本量子化テーブルレジスタ２５−１ｂにはＣ成分用の基本量子化テーブルが、Ｙ成分用ＳＣＦレジスタ２５−１ｃにはＹ成分用のＳＣＦ値が、Ｃ成分用ＳＣＦレジスタ２５−１ｄにはＣ成分用のＳＣＦ値が、ＥＥＰＲＯＭ２７から取り出され格納される。
【００６４】
画像データは、取り出されたこれらのものを用いて量子化される。
すなわち、ＳＣＦ値を基本量子化テーブルの各要素値に掛け合わせて量子化テーブルを作成し、その量子化テーブルの各要素値で、ＤＣＴ変換処理の結果得られた８×８のＤＣＴ係数を割る。このようにして量子化し、エントロピー符号化処理を行った後、得られたＪＰＥＧ形式の画像データの符号量を符号量レジスタ２５−２で計数する。その結果、出力符号量が上限符号量から下限符号量の制限符号量以内である場合は、そのままＪＰＥＧエンコーダ２５から出力する。
【００６５】
なお、上限符号量と下限符号量はＪＰＥＧエンコードブロック２５−１に設定し、制限符号量エラーをマイコン２６に通知するようにしてもよいし、外部から指定された値をマイコン２６内部のＲＡＭに持ち、出力される符号量と比較して、制限符号量エラーをマイコン２６で検知するようにしてもよい。
【００６６】
以下、出力符号量が制限符号量以内ではない場合の量子化処理を説明する。
本発明の実施の形態では、例えば、工場出荷前にある標準画像を写し、マイコン２６の制御のもと、量子化の際に用いる基本量子化テーブルに乗算するＳＣＦ値を所定のステップで変化させ、ＳＣＦ値の変化に応じた画像データの符号量の変化割合を算出し、例えば、図１０に示したような符号減少割合テーブルとして管理する。このような符号減少割合テーブルは、ＥＥＰＲＯＭ２７に格納される。
【００６７】
画像データの符号量が、制限符号量の範囲外である場合に、マイコン２６は、初期化処理時にＲＡＭに展開しておいたＥＥＰＲＯＭ２７に格納された符号量の変化割合を参照して以下の処理を行う。
【００６８】
まず目標とする符号量（以下目標符号量と呼ぶ）を定める。
目標符号量としては、例えば以下のようなものがある。
１．上限符号量と下限符号量の中間の符号量
２．上限符号量エラー時には、上限符号量よりも小さな符号量で、下限符号量エラー時には、下限符号量よりも大きな符号量。
３．どちらのエラー時にも上限符号量より少し小さな値。
【００６９】
その後、符号量エラー時の符号量より、目標符号量にするための割合（以下絶対目標符号量割合と呼ぶ）を求める。絶対目標符号量割合は、エラー時の符号量を目標符号量で割ることによって算出される。
【００７０】
さらに、マイコン２６は、エラー時に使用したＳＣＦ値の符号量の変化割合に絶対目標符号量割合を掛け、相対的な目標符号量割合（以下相対目標符号量割合と呼ぶ）を算出する。算出した相対目標符号量割合を用いて、例えば図１０のような、符号減少割合テーブルを参照して、次のフレームの量子化に用いるＳＣＦ値を決定する。
【００７１】
その後、ＪＰＥＧエンコードブロック２５−１において、Ｙ成分用ＳＣＦレジスタ２５−１ｃにはＹ成分用のＳＣＦ値が、Ｃ成分用ＳＣＦレジスタ２５−１ｄにはＣ成分用のＳＣＦ値が格納され、式（１）のように基本量子化テーブルに掛け合わせ量子化テーブルを作成し、その量子化テーブルを用いて量子化が行われる。
【００７２】
上記のマイコン２６による、前述した目標符号量の２番目の例についてのＳＣＦ値の自動調整処理について、フローチャートでまとめる。
図１５は、ＳＣＦ値の自動調整処理の流れを示すフローチャートである。
【００７３】
なお、図では、主に上限符号量エラーの場合の処理内容を表記している。
また、ここでは、符号量の変化割合として符号減少割合をテーブル化したものを利用する場合について示しており、“ＴＢＬ＿ＲＥＤ＿ＲＡＴＥ［ＣＮＴ］”は、カウンタ値ＣＮＴに対応する符号減少割合テーブル上での符号減少割合を示す。また、“ＴＢＬ＿ＳＣＦ［ＣＮＴ］”はカウンタ値ＣＮＴに対応する符号減少割合テーブル上のＳＣＦ値を示している。なお、カウンタ値ＣＮＴは、符号減少割合テーブル上での位置を示し、例えば、図１０で示したような符号減少割合テーブルにおいて、ＳＣＦ値が最小（図１０の例では、ＴＢＬ＿ＳＣＦ＝０．００３９の値）の場合は、カウンタ値ＣＮＴ＝０となり、ＳＣＦ値が最大（図１０の例では、ＴＢＬ＿ＳＣＦ＝２５６）の場合は、カウンタ値ＣＮＴも最大となる。
【００７４】
ＳＣＦ値の自動調整処理は、まず、カウンタ更新処理を行う。ここではカウンタ値ＣＮＴに、符号量エラー時のフレームに使用していたＳＣＦ値のカウンタ値ＰＡＳＴ＿ＣＮＴをセットする（ステップＳ１０）。
【００７５】
次に相対目標符号量割合を計算する。相対目標符号量割合は、絶対目標符号量（出力符号量／制限符号量）に、現在のカウンタ値ＣＮＴにおける符号減少割合ＴＢＬ＿ＲＥＤ＿ＲＡＴＥ［ＣＮＴ］を掛けることによって算出する。ここで制限符号量は、上限符号量エラー時は上限符号量であり、下限符号量エラー時は下限符号量である（ステップ１１）。
【００７６】
次にカウンタ値ＣＮＴを上限符号量エラー時にはプラス１し、下限符号量エラー時にはマイナス１する（ステップＳ１２）。
次に、上限符号量エラー時には、符号減少割合ＴＢＬ＿ＲＥＤ＿ＲＡＴＥ［ＣＮＴ］が、ステップＳ１１で算出した相対目標符号量割合を上回るか否かを判断する。上回る場合はステップＳ１５の処理に進み、そうでない場合は、ステップＳ１４に進む。一方、下限符号量エラー時には、符号減少割合ＴＢＬ＿ＲＥＤ＿ＲＡＴＥ［ＣＮＴ］が、ステップＳ１１で算出した相対目標符号量割合を下回るか否かを判断する。下回る場合はステップＳ１５の処理に進み、そうでない場合は、ステップＳ１４に進む（ステップＳ１３）。
【００７７】
ステップＳ１４の処理では、上限符号量エラー時には、カウンタ値ＣＮＴが最大値か否かの判定を行う。ここで、カウンタ値ＣＮＴが最大値ならばステップＳ１５へ、そうでない場合は、ステップＳ１２からの処理を繰り返す。一方、下限符号量エラー時には、カウンタ値ＣＮＴが最小値か否かの判定を行う。ここで、カウンタ値ＣＮＴが最小値ならばステップＳ１５へ、そうでない場合は、ステップＳ１２からの処理を繰り返す。
【００７８】
ステップＳ１５の処理では、ＳＣＦレジスタ（図１４のＹ成分用ＳＣＦレジスタ２５−１ｃ及びＣ成分用ＳＣＦレジスタ２５−１ｄ）と、量子化に用いるＳＣＦ値のカウンタ値ＰＡＳＴ＿ＣＮＴを更新する。すなわち、ステップＳ１４までの処理で決まったカウンタ値ＣＮＴにより、ＳＣＦレジスタには、符号量の変化割合テーブル上のＳＣＦ値ＴＢＬ＿ＳＣＦ［ＣＮＴ］をセットし、量子化に用いるＳＣＦ値のカウンタ値ＰＡＳＴ＿ＣＮＴには、カウンタ値ＣＮＴをセットする。以上により、ＳＣＦ値の自動調整処理を終了する。
【００７９】
このように、異なる画像サイズ、符号量の画像についても同一の符号量の変化割合のデータを用いてＳＣＦ値を調整することで、少ないメモリ容量で符号量予測及び符号量の調整が可能になる。
【００８０】
さらに、従来カメラモジュール２０の上位の制御ブロックで行っているファイルサイズ制御をカメラモジュール２０で行ったので、余分な処理を上位の制御ブロックに入れる必要がなくなる。よって、上位の制御ブロックにおけるＲＯＭ、ＲＡＭ容量の削減、また、処理負担を軽減することができる。
【００８１】
なお、上記では、符号量の変化割合をマイコン２６の制御のもと算出するとして説明したが、符号量の変化割合を、例えば、図１０で示したようなテーブルデータとして外部からＥＥＰＲＯＭ２７に書き込むようにしてもよい。
【００８２】
また、符号量の変化割合は、前述の考察のように、基本量子化テーブルによって異なるものにするべきであるため、工場出荷前に基本量子化テーブルを変更するような場合は、変更した基本量子化テーブルに対応した符号量変化割合を前述の方法により算出して調整しなおすか、外部からＥＥＰＲＯＭ２７に与えることによって対応することができる。
【００８３】
また、上記では、制御可能なＳＣＦ値を１／２５６〜２５６としたが、量子化テーブルの要素の値は１〜２５５までであることから、基本量子化テーブルの最大要素と最小要素からＳＣＦ値の必要な制御範囲を求めるようにしてもよい。
【００８４】
例えば、ＳＣＦ値の制御最大値＝２５５／基本量子化テーブルの最小値、ＳＣＦ値の制御最小値＝１／基本量子化テーブルの最大値、という式で制御範囲を決定する。このようにＳＣＦ値の制御範囲を限定することで、高速に制御することが可能になる。
【００８５】
【発明の効果】
以上説明したように本発明では、基本量子化テーブルに乗算するＳＣＦ値を変化させ、ＳＣＦ値の変化に応じた画像データの符号量の変化割合を算出して、画像データの符号量が、所定の範囲外である場合、その変化割合を参照して、符号量を所定の範囲内とするようなＳＣＦ値を決定するので、出力画像サイズに係わらず、同一の符号量の変化割合を用いて符号量の調整が可能となる。
【００８６】
これによって、少ないメモリ容量で符号量の調整が可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置の概略の機能ブロック図である。
【図２】ＳＣＦ値とＪＰＥＧ形式の画像データの符号量との関係を示す図である。
【図３】ＳＣＦ値と符号減少割合の関係を示す図である。
【図４】同じ画を異なる３つの画像サイズでとった場合の画像データの符号量とＳＣＦ値の関係を示す図である。
【図５】同じ画を異なる３つの画像サイズでとった場合の画像データの符号減少割合とＳＣＦ値の関係を示す図である。
【図６】同じ画像サイズであるが、極端に符号量の異なる画のＳＣＦ値に対する符号量の変化を示す図である。
【図７】符号量の異なる画のＳＣＦ値に対する符号減少割合の変化を示す図である。
【図８】３種類の基本量子化テーブルについてＳＣＦ値と符号量の関係を示す図である。
【図９】３種類の基本量子化テーブルについてＳＣＦ値と符号減少割合の関係を示す図である。
【図１０】符号減少割合テーブルの例である。
【図１１】Ｙ（輝度）成分用の基本量子化テーブルの例である。
【図１２】Ｃ（色差）成分用の基本量子化テーブルの例である。
【図１３】撮像装置システムのハードウェア構成図である。
【図１４】ＪＰＥＧエンコーダ及びそのエンコード処理に用いられる構成を示す図である。
【図１５】ＳＣＦ値の自動調整処理の流れを示すフローチャートである。
【符号の説明】
１０……撮像装置、１１……撮像部、１２……デジタル化部、１３……ＤＣＴ変換部、１４……量子化部、１４ａ……符号量変化割合算出部、１４ｂ……ＳＣＦ値決定部、１５……エントロピー符号化部
【図１】
2005020386.tif 000004
【図２】
2005020386.tif 000005
【図３】
2005020386.tif 000006
【図４】
2005020386.tif 000007
【図５】
2005020386.tif 000008
【図６】
2005020386.tif 000009
【図７】
2005020386.tif 000010
【図８】
2005020386.tif 000011
【図９】
2005020386.tif 000012
【図１０】
2005020386.tif 000013
【図１１】
2005020386.tif 000014
【図１２】
2005020386.tif 000015
【図１３】
2005020386.tif 000016
【図１４】
2005020386.tif 000017
【図１５】
2005020386.tif 000018