(57)【要約】【課題】画像の圧縮データを格納したバッファメモリと、上記圧縮データの一部に対して加工処理を施す装置間とのデータ転送量を減らすことができると共に、上記圧縮データを得る際に柔軟な符号化を行うことができる。【解決手段】圧縮部１２２は、撮像センサ１１０で撮像されデジタルデータに変換された画像を複数のブロックに分割してブロック毎に圧縮を行う。その際、可変長符号化方式で、符号量が目標値周辺になるように圧縮する。そして、各ブロックの圧縮データを、該ブロックの画像上での位置と１対１に対応付けられたバッファメモリ１２４の格納領域に夫々格納する。【選択図】図１
2011071854.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子で撮像されデジタルデータに変換された画像を圧縮する圧縮部と、
前記圧縮部により得られた圧縮データを格納する記憶部とを備え、
前記圧縮部は、
前記デジタルデータを複数のブロックに分割し、
前記複数のブロック毎に、符号量が目標値周辺になるように可変長符号化方式で圧縮を行い、
各前記ブロックの圧縮データを、該ブロックの前記画像上での位置と１対１に対応付けられた前記記憶部の格納領域に夫々格納することを特徴とする画像処理装置。
【請求項２】
前記圧縮部は、適応符号化方式で圧縮を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
各前記格納領域は、
前記目標値に所定のマージンを足した固定の容量を有し、
ブロックの前記画像上での位置との対応関係が予め決められていることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記圧縮部は、各前記ブロックの圧縮データを連続的に前記記憶部に格納すると共に、各ブロックの圧縮データが格納された格納領域と、該ブロックの前記画像上での位置とを対応付けるインデックステーブルを生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記圧縮部は、圧縮した順に各前記ブロックの圧縮データを前記記憶部に格納することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記圧縮部は、先に圧縮されたブロックの符号量を参照して、全てのブロックの符号量の総和が所定値内になるように、後に圧縮されるブロックの前記目標値を調整することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
撮像装置に備えられていることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
撮像素子で撮像されデジタルデータに変換された画像を圧縮する際に、
前記デジタルデータを複数のブロックに分割し、
前記複数のブロック毎に、符号量が目標値周辺になるように可変長符号化方式で圧縮を行い、
各前記ブロックの圧縮データを、該ブロックの前記画像上での位置と１対１に対応付けられた記憶部の格納領域に夫々格納することを特徴とする画像処理方法。
【請求項９】
適応符号化方式で圧縮を行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
各前記格納領域は、
前記目標値に所定のマージンを足した固定の容量を有し、
ブロックの前記画像上での位置との対応関係が予め決められていることを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
各前記ブロックの圧縮データを連続的に前記記憶部に格納すると共に、各ブロックの圧縮データが格納された格納領域と、該ブロックの前記画像上での位置とを対応付けるインデックステーブルを生成することを特徴とする請求項８または９に記載の画像処理方法。
【請求項１２】
圧縮した順に各前記ブロックの圧縮データを前記記憶部に格納することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
先に圧縮されたブロックの符号量を参照して、全てのブロックの符号量の総和が所定値内になるように、後に圧縮されるブロックの前記目標値を調整することを特徴とする請求項１２に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理、具体的には撮像素子で撮像されデジタルデータに変換された画像に対する画像処理に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、撮像素子で撮像されデジタルデータに変換された画像に対して様々な加工処理が施されている。画素数の少ない撮像装置では、加工処理前のデジタルデータが一時的にバッファメモリに格納されるようになっていたが、近年の高画素数化に従って、デジタルデータを圧縮してからバッファメモリに格納することが行われている。
【０００３】
バッファメモリに格納された圧縮データは、後に読み出されて加工処理が施される。その際、画像全体に対してではなく、画像の一部分に対してのみ加工処理を施す場合がある。例えば、画像の中央部分のみを伸張する場合がある。
【０００４】
特許文献１には、圧縮された画像の一部分に対してのみ加工処理を施す際に、加工処理を担う部分と、バッファメモリとの間のデータ転送量を減らすための技術が開示されている。この技術は、画像のデジタルデータを複数の矩形ブロックに分割して、矩形ブロック毎に固定符号量で符号化してコードストリームを生成する。そして、コードストリームをブロック毎にバッファメモリに格納する。バッファメモリ上の各ブロックを格納するメモリ番地は、矩形ブロックの画像上の位置と１対１に対応付けられている。
【０００５】
これにより、画像の一部分に対してのみ加工処理を施す際に、該部分が含まれる矩形ブロックのコードストリームのみをバッファメモリから読み出せばよい。そのため、加工処理を担う部分と、バッファメモリとの間のデータ転送量を減らすことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１６６１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の技術は、各ブロックに対して固定符号量で符号化するため、符号化方式が限定されてしまい、例えば画質に応じた符号化など、柔軟な符号化を行うことができないという問題がある。
【課題を解決するための手段】
【０００８】
本発明の一つの態様は、画像処理装置である。この画像処理装置は、撮像素子で撮像されデジタルデータに変換された画像を圧縮する圧縮部と、圧縮部により得られた圧縮データを格納する記憶部を備える。
【０００９】
圧縮部は、上記デジタルデータを複数のブロックに分割し、ブロック毎に圧縮を行う。その際、可変長符号化方式で、符号量が目標値周辺になるように圧縮を行う。そして、各ブロックの圧縮データを、該ブロックの画像上での位置と１対１に対応付けられた記憶部の格納領域に夫々格納する。
【００１０】
なお、上記態様の装置を方法やシステムに置き換えて表現したもの、該装置または該装置の一部の処理をコンピュータに実行せしめるプログラム、該装置を備えた撮像装置なども、本発明の態様としては有効である。
【発明の効果】
【００１１】
本発明にかかる技術によれば、画像の圧縮データを格納したバッファメモリと、上記圧縮データの一部に対して加工処理を施す装置間とのデータ転送量を減らすことができると共に、上記圧縮データを得る際に柔軟な符号化を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態にかかるデジタルカメラを示す図である。
【図２】図１に示すデジタルカメラにおける圧縮部が画像をブロックに分割する態様を示す図である（その１）。
【図３】図１に示すデジタルカメラにおける圧縮部が画像をブロックに分割する態様を示す図である（その２）。
【図４】図１に示すデジタルカメラにおける圧縮部が画像をブロックに分割する態様を示す図である（その３）。
【図５】図１に示すデジタルカメラにおけるバッファメモリ内の各格納領域を示す図である。
【図６】図５に示すバッファメモリに各ブロックの圧縮データが格納された態様を示す図である。
【図７】図１に示すデジタルカメラにおける加工処理部の処理対象の領域の例を示す図である。
【図８】本発明の第２の実施の形態にかかるデジタルカメラを示す図である。
【図９】図８に示すデジタルカメラのバッファメモリに各ブロックの圧縮データが格納された態様を示す図である。
【図１０】図８に示すデジタルカメラの圧縮部が作成したインデックステーブルの例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００１４】
＜第１の実施の形態＞
図１は、本発明第１の実施の形態にかかる撮像装置例えばデジタルカメラ１００を示す。デジタルカメラ１００は、撮像センサ１１０、入力部１２０、圧縮部１２２、バッファメモリ１２４、伸張部１２６、加工処理部１２８、出力部１３０、表示部１３２、メモリ１３４を備える。分かりやすいように、図１には、本発明にかかる技術を説明するために必要な構成要素のみを示しており、デジタルカメラに通常備えられた他の構成要素については省略している。
【００１５】
撮像センサ１１０は、例えばＣＣＤセンサやＣＭＯＳセンサなどの撮像素子である。入力部１２０は、撮像センサ１１０により撮像されデジタルデータに変換した画像を圧縮部１２２に入力する。圧縮部１２２は、入力部１２０から入力されたデジタルデータを圧縮して圧縮データを得ると共に、圧縮データをバッファメモリ１２４に格納する。伸張部１２６は、バッファメモリ１２４に格納された圧縮データを伸張して加工処理部１２８に出力する。加工処理部１２８は、伸張部１２６により伸張されたデータを加工して出力部１３０に出力する。出力部１３０は、加工処理部１２８により加工されたデータを表示部１３２とメモリ１３４に出力する。表示部１３２は、出力部１３０からのデータを表示し、メモリ１３４は、出力部１３０からのデータを保存する。
【００１６】
デジタルカメラにおいて、撮像した画像に対して様々な加工処理が行われる。一例として、本実施の形態のデジタルカメラ１００は、撮像した画像に対して拡大処理を施すデジタルズーム機能を備えるものであるとし、加工処理部１２８は、拡大処理を担う。
【００１７】
本実施の形態において、圧縮部１２２は、画像を複数のブロックに分割してブロック毎に圧縮を行う。図２は、ブロックに分割する態様の一例を示す。この例では、画像は、４×４の１６個のブロックに分割され圧縮される。なお、分割の態様は、図２に示す例に限らず、図３と図４に示すように、縦方向または横方向にのみ分割するようにしてもよい。図４に示すように横方向にのみ分割する場合には、ライン毎に入力されるデジタルデータに対して順次に圧縮を行えるという利点がある。以下において、図２に示す例を用いて説明する。
【００１８】
圧縮部１２２は、図２に示すように分割して得た１６個のブロックに対して夫々圧縮を行う。その際、符号化方式としてＪＰＥＧ符号化や予測符号化などの可変長符号化方式を用いると共に、符号量が目標値周辺になるように圧縮する。
【００１９】
具体的には、例えば適応符号化を行う。適応符号化によれば、可変長符号化方式を用いながら、符号量が予め設定された目標値の近傍になるように圧縮できる。
【００２０】
圧縮部１２２は、圧縮データをブロック毎にバッファメモリ１２４に格納する。図５は、本実施の形態におけるバッファメモリ１２４を示す。バッファメモリ１２４は、ブロック数分の格納領域を有し、各格納領域は固定の容量Ｃを有する。容量Ｃは、上述した目標値（図中目標値Ａ）と、所定サイズのマージンＢとの和である。また、各格納領域は、図２に示す各ブロックの画像上での位置（たとえばブロックの番号）と１対１に対応付けられている。ここで、格納領域１〜１６がブロック１〜１６に夫々対応するとする。
【００２１】
圧縮部１２２は、各ブロックの圧縮データを当該ブロックに対応した格納領域に夫々格納する。
【００２２】
図６は、１６個のブロックの圧縮データがバッファメモリ１２４に格納された態様の一例を示す。図中陰影部分は、圧縮データを示す。
【００２３】
適応符号化手法では、符号量が目標値周辺になるが、必ずしも目標値以下になるとは限らない。図６に示すように、格納領域１に格納されたブロック１の圧縮データのサイズは、目標値Ａより小さい。一方、格納領域２に格納されたブロック２の圧縮データのサイズは、目標値Ａより大きく、容量Ｃより小さい。このように、目標値ＡにマージンＢを足した容量を各格納領域の容量Ｃとすることによって、圧縮データは、その符号量が目標値Ａを若干超えたとしても、溢れることなく格納される。
【００２４】
前述したように、加工処理部１２８は、デジタルズーム機能による拡大処理を行うものである。その際に、例えば、図７に示すように、画像の中央部分Ｄを切り出して拡大する。また、圧縮されたままでは拡大を施すことができないので、まず伸張部１２６による伸張処理が必要である。
【００２５】
伸張部１２６は、加工処理部１２８が拡大処理を行うために必要な部分（ここでは中央部分Ｄ）が含まれる各ブロックの圧縮データのみをバッファメモリ１２４から読み出して伸張する。図７に示す例の場合は、伸張部１２６は、ブロック６、７、１０、１１の圧縮データを読み出して伸張する。
【００２６】
加工処理部１２８は、伸張部１２６により伸張されたブロック６、７、１０、１１のデータに対して、中央部分Ｄのみを切り出して拡大処理をし、処理済みのデータを表示部１３２とメモリ１３４に出力する。
【００２７】
これにより、画像の拡大された中央部分Ｄは、表示部１３２に表示され、そのデータがメモリ１３４に保存される。
【００２８】
このように、本実施の形態のデジタルカメラ１００は、画像を複数のブロックに分割して圧縮し、各ブロックの圧縮データを、バッファメモリ１２４の当該ブロックに対応する格納領域に格納する。そのため、加工処理に際して、画像全体のデータではなく、加工処理の対象となる部分が含まれるブロックの圧縮データのみを読み出せばよい。したがって、バッファメモリ１２４と伸張部１２６間のデータ転送量を減らすことができる。
【００２９】
また、各ブロックの符号量が目標値周辺になるように圧縮するので、バッファメモリ１２４の各格納領域の容量を固定することができる。そのため、各格納領域のアドレスも固定でき、読出しが簡単にできる。
【００３０】
さらに、ブロック毎に圧縮を施す際に、可変長符号化方式を用いるので、例えば画質などに応じて柔軟に符号量の目標値を設定することができる。
【００３１】
＜第２の実施の形態＞
図８は、本発明の第２の実施の形態にかかるデジタルカメラ２００である。デジタルカメラ２００は、撮像センサ１１０、入力部１２０、圧縮部２２２、バッファメモリ２２４、伸張部２２６、加工処理部１２８、出力部１３０、表示部１３２、メモリ１３４を備える。図８において、図１に示すデジタルカメラ１００のものと同様の構成または機能を有する構成要素に対して同一の符号を付与しており、これらの要素についての説明は、以下省略する。
【００３２】
圧縮部２２２は、圧縮についてはデジタルカメラ１００の圧縮部１２２と同様に動作する。すなわち、画像を４×４の１６個のブロックに分割し、各ブロックに対して、可変長符号化方式で、符号量が目標値周辺になるように圧縮を行う。一方、圧縮データをバッファメモリ２２４への格納については、圧縮部２２２は、デジタルカメラ１００の圧縮部１２２と異なる動作をする。
【００３３】
圧縮部２２２は、圧縮データをブロック毎にバッファメモリ２２４に格納する。その際、各ブロックの圧縮データを、圧縮した順に連続的に格納する。図９は、圧縮部２２２がバッファメモリ２２４に圧縮データを格納する態様を示す。図中陰影部分は、圧縮データを示す。図示のように、バッファメモリ２２４の格納領域１〜１６に、ブロック１〜１６の圧縮データが夫々格納されている。各格納領域の容量は、当該格納領域に格納された圧縮データのサイズと同様である。
【００３４】
図９に示す格納態様では、各格納領域の容量が一定ではないので、格納領域のアドレスも予め定めることができない。そのため、本実施の形態において、圧縮部２２２は、図１０に示すインデックステーブル２２３を作成してバッファメモリ２２４に格納する。
【００３５】
図１０に示すように、インデックステーブル２２３では、各ブロックの圧縮データが格納された格納領域のアドレスと、該ブロックの画像上での位置（たとえばブロックの番号）とが対応付けられている。
【００３６】
伸張部２２６は、インデックステーブル２２３を参照して圧縮データを読み出す。例えば、加工処理部１２８による拡大処理の対象となるブロック６、７、１０、１１の圧縮データを読み出す際に、インデックステーブル２２３からブロック６、７、１０、１１のアドレスを取得し、取得したアドレスが示す格納領域に格納された圧縮データを読み出して伸張する。
【００３７】
加工処理部１２８、出力部１３０、表示部１３２、メモリ１３４については、ここで説明を省略する。
【００３８】
本第２の実施の形態のデジタルカメラ２００は、インデックステーブル２２３を作成することにより、格納領域の容量、アドレスを予め設定せずに、各格納領域とブロックの対応付けができ、ひいては第１の実施の形態のデジタルカメラ１００と同様の効果を得ることができる。
【００３９】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減、組合せを行ってもよい。これらの変更、増減、組合せが行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４０】
例えば、上述した各実施の形態において、各ブロックに対してその符号量の目標値が固定である。この目標値は、ブロック間で異なるようにしてもよい。第２の実施の形態のデジタルカメラ２００を例にして説明する。
【００４１】
例えば、１つの画像に対して使用できるバッファメモリの総容量が固定されているとする。この場合、まず、総容量に応じて１６個のブロックの圧縮データの目標値を同一の初期値（総容量の１／１６など）に設定する。そして、ブロック毎に圧縮していく過程で、先に圧縮されたブロックの圧縮データの符号量が初期値より少なければ、後に圧縮するブロックの目標値を初期値より高くなるように調整する。逆に、先に圧縮されたブロックの圧縮データの符号量が初期値を越えたら、後に圧縮するブロックの目標値を初期値より低くなるように調整する。こうすることにより、各ブロックの符号量の総和が総容量を超えない前提下で、最良な画質を得ることができる。
【００４２】
また、第２の実施の形態のデジタルカメラ２００において、圧縮部２２２は、インデックステーブル２２３をバッファメモリ２２４に格納しているが、バッファメモリ２２４以外の、インデックステーブル２２３を使用する構成要素（例えば伸張部２２６）がアクセスできるメモリに格納するようにしてもよい。
【符号の説明】
【００４３】
１００  デジタルカメラ
１１０  撮像センサ
１２０  入力部
１２２  圧縮部
１２４  バッファメモリ
１２６  伸張部
１２８  加工処理部
１３０  出力部
１３２  表示部
１３４  メモリ
２００  デジタルカメラ
２２２  圧縮部
２２３  インデックステーブル
２２４  バッファメモリ
２２６  伸張部
【図１】
2011071854.tif 000003
【図２】
2011071854.tif 000004
【図３】
2011071854.tif 000005
【図４】
2011071854.tif 000006
【図５】
2011071854.tif 000007
【図６】
2011071854.tif 000008
【図７】
2011071854.tif 000009
【図８】
2011071854.tif 000010
【図９】
2011071854.tif 000011
【図１０】
2011071854.tif 000012