(57)【要約】【課題】連写枚数を向上させつつ、回路規模やコストを抑えることが可能な撮像装置を提供することを目的とする。【解決手段】Ｐｒｅｐｒｏ部１２２と記憶部１２７との間に圧縮部１２８を設けるとともに、記憶部１２７とＹＣ処理部１２３との間に伸張部１２９を設け、かつ、圧縮後のベイヤー画像データを第１ブロック及び第２ブロックに分割し、第１、第２ブロックに対してそれぞれ伸張及び画像処理を行うとともに、記憶部１２７から伸張部１２９に読み出される際に第２ブロックに付加されるオーバーラップ分により、第１ブロックに含まれる第２ブロックの読み出し開始位置の画素に対して圧縮時及び伸張時の予測条件を切り替える。【選択図】図２
2009224987.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力され、記憶手段に記憶された1フレームの画像データを複数に分割したブロック毎に、隣接ブロックから予め設定されたオーバーラップ量に基づくオーバーラップ分を含めて読み出し、2次元空間フィルタ処理をする画像処理手段を有する撮像装置であって、
前記撮像手段から出力される前記画像データにおける圧縮対象画素の近傍２画素以上を用いて第１の予測値を生成する第1のモード及び前記圧縮対象画素の近傍１画素又は固定値を用いて前記第１の予測値を生成する第２のモードのどちらか一方のモードを行う第１の予測手段を有し、前記圧縮対象画素値と前記第１の予測値との差分を符号化することで前記画像データを圧縮し、圧縮画像データとして前記記憶手段に記憶する圧縮手段と、
前記記憶手段から読み出される前記圧縮画像データにおける伸張対象画素の近傍２画素以上を用いて第２の予測値を生成する第３のモード及び前記伸張対象画素の近傍１画素又は前記固定値を用いて前記第２の予測値を生成する第４のモードのどちらか一方のモードを行う第２の予測手段を有し、前記記憶手段から読み出した前記圧縮画像データを復号化した値と前記第２の予測値との加算を行うことで前記圧縮画像データを伸張し、前記画像処理手段に画像データを送出する伸張手段と、
を有し、
前記圧縮手段は、前記記憶手段から前記圧縮画像データを読み出す時の分割数、前記ブロックのブロックサイズ、及び前記オーバーラップ量に基づいて、前記第１のモード又は前記第２のモードの適用を前記第１の予測手段に指示する圧縮予測条件指示手段を有し、
前記伸張手段は、前記分割数、前記ブロックサイズ、及び前記オーバーラップ量に基づいて、前記第３のモード又は前記第４のモードの適用を前記第２の予測手段に指示する伸張予測条件指示手段を有する
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記第１の予測手段は、
前記圧縮手段に入力される前記１フレームの画像データにおける水平方向の画素を第１の所定値までカウントするとゼロにリセットすることを繰り返す第１の水平カウンタと、
前記圧縮手段に入力される前記１フレームの画像データにおける水平方向のブロックを前記１フレームの画素データの水平方向の分割数から１減算された値までカウントすると、前記第１の水平カウンタを停止させる第１の水平ブロック数カウンタと、
前記第１の水平カウンタのカウント値が１回目ゼロにリセットされると、前記第１の所定値を（前記ブロックの水平方向の画素数−前記圧縮対象画素の圧縮に使用される近傍の画素数＋１）から前記ブロックの水平方向の画素数に切り替える第１の水平セレクタと、
前記圧縮手段に入力される前記１フレームの画像データにおける垂直方向の画素を第２の所定値までカウントするとゼロにリセットすることを繰り返す第１の垂直カウンタと、
前記圧縮手段に入力される前記１フレームの画像データにおける垂直方向のブロックを前記１フレームの画素データの垂直方向の分割数から１減算された値までカウントすると、前記第１の垂直カウンタを停止させる第１の垂直ブロック数カウンタと、
前記第１の垂直カウンタのカウント値が１回目ゼロにリセットされると、前記第２の所定値を（前記ブロックの水平方向の画素数−前記圧縮対象画素の圧縮に使用される近傍の画素数＋１）から前記ブロックの垂直方向の画素数に切り替える第１の垂直セレクタと、
を備え、
前記第１の水平カウンタ及び前記第１の垂直カウンタのそれぞれのカウント値がゼロにならないとき、前記圧縮対象画素の近傍のオーバーラップ分の画素を使用して前記第１の予測値を生成し、前記第１の水平カウンタのカウント値のみがゼロになるとき、前記圧縮対象画素の上側の画素を前記第１の予測値とし、前記第１の垂直カウンタのカウント値のみがゼロになるとき、前記圧縮対象画素の左側の画素を前記第１の予測値とし、前記第１の水平カウンタ及び前記第１の垂直カウンタのそれぞれのカウント値がゼロになるとき、前記固定値を前記第１の予測値とする
ことを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置であって、
前記第２の予測手段は、
前記伸張手段に入力される１フレームの前記圧縮画像データの水平方向の画素を第３の所定値までカウントするとゼロにリセットすることを繰り返す第２の水平カウンタと、
前記伸張手段に入力される１フレームの前記圧縮画像データの水平方向のブロックを１フレームの前記圧縮画素データの水平方向の分割数から１減算された値までカウントすると、前記第２の水平カウンタを停止させる第２の水平ブロック数カウンタと、
前記第２の水平カウンタのカウント値が１回目ゼロにリセットされると、前記第３の所定値を（前記ブロックの水平方向の画素数−前記伸張対象画素の近傍の伸張に使用される画素数＋１）から前記ブロックの水平方向の画素数に切り替える第２の水平セレクタと、
前記伸張手段に入力される１フレームの前記圧縮画像データの垂直方向の画素を第４の所定値までカウントするとゼロにリセットすることを繰り返す第２の垂直カウンタと、
前記伸張手段に入力される１フレームの前記圧縮画素データの垂直方向のブロックを１フレームの前記圧縮画素データの垂直方向の分割数から１減算された値までカウントすると、前記第２の垂直カウンタを停止させる第２の垂直ブロック数カウンタと、
前記第２の垂直カウンタのカウント値が１回目ゼロにリセットされると、前記第４の所定値を（前記ブロックの垂直方向の画素数−前記伸張対象画素の近傍の伸張に使用される画素数＋１）から前記ブロックの垂直方向の画素数に切り替える第２の垂直セレクタと、
を備え、
前記第２の水平カウンタ及び前記第２の垂直カウンタのそれぞれのカウント値がゼロにならないとき、前記伸張対象画素の近傍のオーバーラップ分の画素を使用して前記第２の予測値を生成し、前記第２の水平カウンタのカウント値のみがゼロになるとき、前記伸張対象画素の上側の伸張後の画素を前記第２の予測値とし、前記第２の垂直カウンタのカウント値のみがゼロになるとき、前記伸張対象画素の左側の伸張後の画素を前記第２の予測値とし、前記第２の水平カウンタ及び前記第２の垂直カウンタのそれぞれのカウント値がゼロになるとき、前記固定値を前記第２の予測値とする
ことを特徴とする撮像装置。
【請求項４】
請求項１〜３の何れか１項に記載の撮像装置であって、
前記第１の予測手段は、前記第２のモードにより前記第１の予測値を生成するとき、前記記憶手段に記憶される画素のアドレスの一覧を示すアドレスリストを作成するアドレスリスト作成手段を備え、
前記アドレスリストに基づいて、前記記憶手段から前記伸張手段へ前記圧縮画像データが読み出される
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、
前記アドレスリスト作成手段は、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインの最終画素の復号化後、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインのデータ量がそれぞれバイト単位になるように、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインの最終画素の後にダミービットを付加する
ことを特徴とする撮像装置。
【請求項６】
請求項１〜５の何れか１項に記載の撮像装置であって、
前記圧縮手段は、前記第１の予測手段が前記第２のモードを行うとき、前記画像データを圧縮せずに前記記憶手段に出力し、
前記伸張手段は、前記第２の予測手段が前記第４のモードを行うとき、前記圧縮画像データを伸張せずに前記画像処理手段に送出する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージャーから出力される画像データに対して２次元空間フィルタ処理等を行う撮像装置に関する。
【背景技術】
【０００２】
図９は、一般的な撮像装置を示す図である。
図９に示す撮像装置１２０は、イメージャー（撮像素子）１２１と、Ｐｒｅｐｒｏ（Ｐｒｅ−Ｐｒｏｃｅｓｓ）部１２２と、ＹＣ処理部１２３と、ＪＰＥＧ圧縮部１２４と、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）表示部１２５と、記録メディア１２６と、記憶部１２７とを備えて構成されている。なお、Ｐｒｅｐｒｏ部１２２、ＹＣ処理部１２３、及びＪＰＥＧ圧縮部１２４等の各機能ブロックにより画像エンジンを構成するものとする。
【０００３】
上記イメージャー１２１としては、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等がある。
【０００４】
上記記憶部１２７は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）、又はＤＤＲＳＤＲＡＭ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  ＳＤＲＡＭ）等により構成され、Ｐｒｅｐｒｏ部１２２から出力されるベイヤー画像データ、ＹＣ処理部１２３から出力される画像処理後のカラー化画像データ、及びＪＰＥＧ圧縮部１２４から出力されるＪＰＥＧ圧縮画像データを記憶する。
【０００５】
上記撮像装置１２０は、イメージャー１２１から出力される被写体の画像データ（１）である１フレームのベイヤー画像データについて、順次、Ｐｒｅｐｒｏ部１２２において画素欠陥補正、シェーディング補正処理等をして記憶部１２７に記憶する。次に、記憶部１２７から読み出されたベイヤー画像データは、ＹＣ処理部１２３においてベイヤー補間処理、マトリクス処理、解像度変換処理、輪郭強調処理等の所定の画像処理が行われた後、ＲＧＢ画像をＹＣ４：２：２といった画像フォーマット形式の画像データに変換して記憶部１２７に記憶される。また、画像処理後の画像データは、ＪＰＥＧ圧縮部１２４においてＪＰＥＧ圧縮が行われた後、記憶部１２７に記憶される。記憶部１２７に記憶されたＪＰＥＧ圧縮画像データは記録用画像データとしてＦｌａｓｈメモリ等で構成される記録メディア１２６に出力され記録される。さらに画像処理後の画像データは、表示用画像データとしてＬＣＤ等で構成されるＥＶＦ表示部１２５に出力され表示される。
【０００６】
Ｐｒｅｐｒｏ部１２２から記憶部１２７に出力されるベイヤー画像データ（２）、記憶部１２７からＹＣ処理部１２３に出力されるベイヤー画像データ（３）、ＹＣ処理部１２３から記憶部１２７に出力されるカラー化画像データ（４）、ＪＰＥＧ圧縮部１２４から記憶部１２７に出力されるＪＰＥＧ圧縮画像データ（５）、記憶部１２７からＥＶＦ表示部１２５に出力されるカラー化画像データ（６）、及び記憶部１２７から記録メディア１２６に出力されるＪＰＥＧ圧縮画像データ（７）は、それぞれ、記憶部１２７のデータバスをタイムシェアリングしながら記憶部１２７からアクセスされる。
【０００７】
なお、Ｐｒｅｐｒｏ部１２２は、ベイヤー画像データは偶数ラインでＲとＧ１、奇数ラインでＧ２とＢと交互に配置されるベイヤー画像形式だけでなく、Ｒ画像データ、Ｇ１画像データ、Ｇ２画像データ、及びＢ画像データの色毎に分離した色プレーン形式で記憶部１２７に記憶されるように構成してもよい。  
【０００８】
図９に示す撮像装置１２０において、イメージャー１２１の画素数の増加に応じ、さらにそれまでと同じの連写撮影枚数を得るため、装置を構成する各機能ブロックに供給しているクロックの周波数を増やす場合、Ｐｒｅｐｒｏ部１２２、ＹＣ処理部１２３、ＪＰＥＧ圧縮部１２４、ＥＶＦ表示部１２５、記録メディア１２６の各機能ブロックから記憶部１２７への入出力される単位時間あたりのデータ量の合計値も増えるが、これが記憶部１２７が対応できる最大のデータ入出力量を超えない状態では画素数増加前と同じ連写枚数での撮影が可能である。しかし、さらにイメージャー１２１の画素数とクロック周波数を増やしていくと、各機能ブロックから記憶部１２７への単位時間あたりのデータ入出力量の合計値が記憶部１２７が対応できる最大のデータ入出力量を超える。この状態では各機能ブロックどうしが同時に記憶部１２７にアクセスして競合が起きた場合、優先順位の高い機能ブロックのアクセスがデータバスに割り当てられ、競合に負けた機能ブロックのこのアクセスを終了するまでアクセス待ちが発生する。この場合では、待ち時間が発生した分だけ全体の処理時間が長くなるので、連写撮影枚数が減ってしまう。
【０００９】
そこで、各機能ブロック間でのアクセス競合が起きないように記憶部１２７が対応できる最大のデータ入出力量を増やす方法もあるが、回路規模やコストだけでなく、消費電力も増えるので好ましくない。そこで、記憶部１２７のデータバス１２８上のデータ量を減縮する方法として、図１０に示すように、Ｐｒｅｐｒｏ部１２２と記憶部１２７との間に圧縮部１２８を設けるとともに、記憶部１２７とＹＣ処理部１２３との間に伸張部１２９を設ける。これによって、Ｐｒｅｐｒｏ部１２２から記憶部１２７に出力されるベイヤー画像データや記憶部１２７からＹＣ処理部１２３に出力されるベイヤー画像データのデータ量が小さくなり、各機能ブロック間でのアクセス競合が起きないようになるので、連写撮影枚数を維持させることが考えられる（例えば、特許文献１参照）。また、画素数や各機能ブロックに供給しているクロックの周波数を増やさなければ、この方法を取り込んだ撮像装置では連写撮影枚数を増やすことも可能になる。
【００１０】
図１１は、予測差分符号方式の圧縮部１２８の一例を示す図で、予測差分符号方式はＪＰＥＧ圧縮方式に比べて回路規模が小さく、高速動作が可能という特徴を有している。
図１１に示す圧縮部１２８は、ラインメモリ１４１と、ＦＦ（フリップフロップ）１４２〜１４６と、平面予測部１４７と、予測部１４８と、セレクタ１４９と、水平カウンタ１５０と、垂直カウンタ１５１と、予測値選択部１５２と、予測誤差検出部１５３と、可変長符号化部１５４とを備えて構成されている。
【００１１】
上記圧縮部１２８は、入力されるベイヤー画像データの各画素のうちある画素ｘに対して同じ色どうしで予測を行い、その予測の結果と画素ｘとの差分をエントロピー符号化した値を圧縮後のベイヤー画像データとして記憶部１２７に出力するものである。
【００１２】
上記ラインメモリ１４１は、ベイヤー画像形式の場合、２ライン分、色プレーン形式の場合、１ライン分の画素を保持し、図１２に示すように、ベイヤー画像形式の場合は２ライン分、色プレーン形式の場合は１ライン分前の画素ｘに上にある画素ｂを出力する。
【００１３】
上記ＦＦ１４３、１４５、１４６は、それぞれ、１画素分を保持し、図１２に示すように、入力される画素ｘの１つ前の画素ａを出力する。
上記ＦＦ１４２、１４４は、それぞれ、１画素分を保持し、図１２に示すように、入力される画素ｂの１つ前の画素ｃを出力する。
【００１４】
なお、これからは説明を簡単にするため、色プレーン形式の画像を圧縮する場合についての各部の動作を説明する。
上記平面予測部１４７は、ＦＦ１４５から出力される画素ａ、ラインメモリ１４１から出力される画素ｂ、及びＦＦ１４４から出力される画素ｃにより、ａ＋ｂ−ｃを計算し、その計算結果を予測部１４８へ出力する。
【００１５】
上記予測部１４８は、ＦＦ１４３から出力される画素ａ、ラインメモリ１４１から出力される画素ｂ、ＦＦ１４２から出力される画素ｃ、及び平面予測部１４７から出力されるａ＋ｂ−ｃに基づいて、予測値Ｘを出力する。例えば、予測部１４８は、画素ｃが画素ａ及び画素ｂのうちの最大値よりも大きいとき（ｃ＞ｍａｘ（ａ，ｂ））、画素ａ及び画素ｂのうちの最小値を予測値Ｘとして出力する（ｘ＝ｍｉｎ（ａ，ｂ））。また、予測部１４８は、画素ｃが画素ａ及び画素ｂのうちの最小値よりも小さいとき（ｃ＜ｍｉｎ（ａ，ｂ））、画素ａ及び画素ｂのうちの最大値を予測値Ｘとして出力する（ｘ＝ｍａｘ（ａ，ｂ））。また、予測部１４８は、画素ｃが画素ａ及び画素ｂのうちの最小値よりも小さくないとき、または、画素ｃが画素ａ及び画素ｂのうちの最大値よりも大きくないとき（ｎｏｔ（ｃ＜ｍｉｎ（ａ，ｂ）ｏｒ  ｃ＞ｍａｘ（ａ，ｂ）））、ａ＋ｂ−ｃを予測値Ｘとして出力する（ｘ＝ａ＋ｂ−ｃ）。
【００１６】
上記水平カウンタ１５０は、入力されるベイヤー画像データの画素数を先頭画素から０，１，２、、、とカウントアップしながらカウントする。
上記垂直カウンタ１５１は、入力されるベイヤー画像データのライン数を先頭ラインから０，１，２、、、とカウントアップしながらカウントする。
【００１７】
上記予測値選択部１５２は、水平カウンタ１５０及び垂直カウンタ１５１から出力されるカウンタ値がそれぞれゼロでないとき、すなわち画素ｘがライン先頭画素でも第1ライン上の画素でもないとき、予測値Ｘを選択する旨の選択信号を出力する（予測の第１のモード）。また、予測値選択部１５２は、水平カウンタ１５０から出力されるカウンタ値がゼロであり、かつ、垂直カウンタ１５１から出力されるカウンタ値がゼロでないとき、すなわち、図１３に示すように、入力される画素ｘがベイヤー画像データの第２ライン以降の各ラインの第１画素であるとき、画素ｘの上側の画素ｂを選択する旨の選択信号を出力する（予測の第２のモード）。また、予測値選択部１５２は、水平カウンタ１５０から出力されるカウンタ値がゼロでなく、かつ、垂直カウンタ１５１から出力されるカウンタ値がゼロであるとき、すなわち、図１３に示すように、入力される画素ｘがベイヤー画像データの第１ラインの第２画素以降の画素であるとき、画素ｘの左側の画素ａを選択する旨の選択信号を出力する（予測の第２のモード）。また、予測値選択部１５２は、水平カウンタ１５０及び垂直カウンタ１５１から出力されるカウンタ値がそれぞれゼロであるとき、すなわち、図１３に示すように、入力される画素ｘがベイヤー画像データの第１ラインの第１画素であるとき、固定値（例えば、中間値１２７）を選択する旨の選択信号を出力する（予測の第２のモード）。
【００１８】
上記セレクタ１４９は、予測値選択部１５２から出力される選択信号に基づいて、予測値Ｘ、画素ａ、画素ｂ、及び固定値のうち何れか（予測の第１のモード、第２のモード）を選択して出力する。
【００１９】
このように予測差分符号化方式の圧縮部１２８は、近傍画素が予測に十分な数だけ得られない画像境界に位置する画素についても、特別な予測条件（予測の第２のモード）を適用して予測する仕組みが入っていないと動作できない原理となっている。
【００２０】
上記予測誤差検出部１５３は、セレクタ１４９から出力される値と、画素ｘとの差分を計算して、その計算結果の絶対値を出力する。
上記可変長符号化部１５４は、予測誤差検出部１５３から出力される値に対してゴロムライス符号化等のエントロピー符号化処理を行うことにより圧縮ベイヤー画像データを生成して記憶部１２７に出力する。なお、ゴロムライス符号化はハフマン符号化より回路規模が小さく、高速動作が可能という特徴を有している。
【００２１】
ところで、ＹＣ処理部１２３では、解像度変換処理等を行う際のＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）や輪郭強調処理等を行うＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）において２次元空間フィルタ処理が行われる。
【００２２】
図１４は、２次元空間フィルタ処理回路の一例を示す図である。なお、図１４に示す２次元空間フィルタ処理回路１８０は、説明を簡単にするため、色プレーン画像形式での画像処理を行う構成にしている。
【００２３】
図１４に示す２次元空間フィルタ処理回路１８０は、複数のラインメモリ１８１と、複数の画素メモリ１８２と、マトリクス演算器１８３とを備えて構成されている。
上記複数のラインメモリ１８１は、それぞれ、記憶部１２７または伸張部１２９からＹＣ処理部１２３に読み出されるベイヤー画像データの１ライン分の画素をＦＩＦＯ（ＦｉｒｓｔＩｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ動作のように記憶する。これにより、各ラインメモリからは複数ラインに渡る同じ水平位置の画素の画像データが同時に得られるので、その都度画像データを記憶部から読み出してマトリクス画素を用意する方式より処理速度が早く、低消費電力動作が可能になる。ラインメモリ１８１はイメージャーの水平画素数と概ね同じラインメモリ長を採用するものもある。
【００２４】
上記複数の画素メモリ１８２は、それぞれ、ラインメモリ１８１から読み出される各画素を記憶する。
上記マトリクス演算器１８３は、複数の画素メモリ１８２に記憶される各画素に対してΣｋｍｎｘｍｎ（ｋｍｎは画像データｘｍｎに対する係数）といったマトリクス演算をし、画像処理対象画素に対する画像処理後の画像データを得る。
【００２５】
このように構成される２次元空間フィルタ処理回路１８０では、近年の画像データ（１）の高画素化に伴い、画像データ（１）の１ラインあたりの画素が増えるのでラインメモリ１８１のラインメモリ長も増大している。そのため、ＹＣ処理部１２３の回路規模やコストの増加による撮像装置１２０全体の回路規模やコストの増大が懸念される。
【００２６】
そこで、ラインメモリ１８１のラインメモリ長の増大による回路規模やコストの増加を抑えるため、ベイヤー画像データをＹＣ処理部１２３において画像処理する際、図１５Ａに示すように、ベイヤー画像データを左側半分の第１ブロックと右半分の第２ブロックとに分割し、最初に第１ブロックの画像処理を行い、この後に第２ブロックの画像処理というようにブロックに分けて画像処理を行うことが考えられる（例えば、特許文献２参照）。このように画像処理を行うことにより、図１５Ｂに示すように、ベイヤー画像データ全体に対して一括で画像処理を行う場合に比べて、ラインメモリ１８１のラインメモリ長を概ね半分にすることができ回路規模やコストの増加を抑えることができる。なお以後、分割数は２以上でも良く、水平方向、垂直方向のどちらの分割方向でも良い。
【００２７】
ここで、例えば、図１６Ａに示すように、ベイヤー画像データの上から第ｎライン、左から第ｍ画素の画像処理対象画素に対して図１４に示す２次元空間フィルタ処理回路１８０により画像処理を行う場合、第２ブロックから画像処理対象画素の周辺２画素を読み出す必要がある。そのため、第１ブロックを２次元空間フィルタ処理回路１８０によって画像処理を行う場合、第１ブロックと、オーバーラップ分として第２ブロックの各ラインの第１、第２画素とを読み出す必要がある。
【００２８】
また、図１６Ｂに示すように、ベイヤー画像データの上から第ｎライン、左から第ｍ＋１画素の画像処理対象画素を２次元空間フィルタ処理回路１８０により画像処理を行う場合、第１ブロックから画像処理対象画素の周辺２画素を読み出す必要がある。そのため、ベイヤー画像データの第２ブロックを２次元空間フィルタ処理回路１８０により画像処理を行う場合、オーバーラップ分として第１ブロックの各ラインの最終２画素と、第２ブロックとを読み出す必要がある。
【００２９】
また、２次元空間フィルタ処理回路が多段に構成される場合は、各２次元空間フィルタ処理回路で必要なオーバーラップ分の合計をブロックに付加して初段の２次元空間フィルタ処理回路に読み出す必要がある。例えば、図１７に示すように、１段目の２次元空間フィルタ処理回路２１０において必要な周辺画素数が５で、２段目の２次元空間フィルタ処理回路２１１において必要な周辺画素数が７である場合、１段目の２次元空間フィルタ処理回路２１０に読み出すベイヤー画像データは、第１ブロックに５＋７＝１２のオーバーラップ分を付加したものになる。したがって、ＹＣ処理部１２３にて複数の２次元空間フィルタを縦列的に接続して用いている場合は、初段の２次元空間フィルタのラインメモリ長の長さで分割する。
【００３０】
このように、Ｐｒｅｐｒｏ部１２２と記憶部１２７との間に圧縮部１２８を設けるとともに、記憶部１２７とＹＣ処理部１２３との間に伸張部１２９を設け、かつ、ベイヤー画像データを２次元空間フィルタ処理回路のラインメモリのラインメモリ長に基づいてブロック分割して画像処理することによって、連写枚数を向上させつつ、回路規模やコストを抑えることができる。
【特許文献１】特開２００６−３５２６３０号公報
【特許文献２】特開２０００−３１２３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【００３１】
しかしながら、上述したように、Ｐｒｅｐｒｏ部１２２と記憶部１２７との間に圧縮部１２８を設けるとともに、記憶部１２７とＹＣ処理部１２３との間に伸張部１２９を設け、かつ、分割したベイヤー画像データを２次元空間フィルタ処理回路のラインメモリのラインメモリ長に基づいてブロック分割して画像処理する構成において、図１８に示すように、オーバーラップ分を付加して分割した各ベイヤー画像データを圧縮部１２８においてオーバーラップ分を含めた第１ブロック（ＡＢ）を圧縮してからオーバーラップ分を含めた第２ブロック（ＢＣ）の圧縮を行うことになるので、第１ブロックを圧縮している期間、オーラーラップ分を含め第２ブロックの画像データを一時的に記憶する必要があり、（データ量を減らそうとしている）記憶部１２７とは異なる記憶部（メモリ１２７Ａ）を備える必要がある。そのため、その分撮像装置１２０の回路規模やコストが増大してしまうという問題がある。
【００３２】
そこで、本発明では、連写枚数を向上させつつ、回路規模やコストを抑えることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮像装置は、撮像手段から出力され、記憶手段に記憶された1フレームの画像データを複数に分割したブロック毎に、隣接ブロックから予め設定されたオーバーラップ量に基づくオーバーラップ分を含めて読み出し、2次元空間フィルタ処理をする画像処理手段を有する撮像装置であって、前記撮像手段から出力される前記画像データにおける圧縮対象画素の近傍２画素以上を用いて第１の予測値を生成する第1のモード及び前記圧縮対象画素の近傍１画素又は固定値を用いて前記第１の予測値を生成する第２のモードのどちらか一方のモードを行う第１の予測手段を有し、前記圧縮対象画素値と前記第１の予測値との差分を符号化することで前記画像データを圧縮し、圧縮画像データとして前記記憶手段に記憶する圧縮手段と、前記記憶手段から読み出される前記圧縮画像データにおける伸張対象画素の近傍２画素以上を用いて第２の予測値を生成する第３のモード及び前記伸張対象画素の近傍１画素又は前記固定値を用いて前記第２の予測値を生成する第４のモードのどちらか一方のモードを行う第２の予測手段を有し、前記記憶手段から読み出した前記圧縮画像データを復号化した値と前記第２の予測値との加算を行うことで前記圧縮画像データを伸張し、前記画像処理手段に画像データを送出する伸張手段とを有し、前記圧縮手段は、前記記憶手段から前記圧縮画像データを読み出す時の分割数、前記ブロックのブロックサイズ、及び前記オーバーラップ量に基づいて、前記第１のモード又は前記第２のモードの適用を前記第１の予測手段に指示する圧縮予測条件指示手段を有し、前記伸張手段は、前記分割数、前記ブロックサイズ、及び前記オーバーラップ量に基づいて、前記第３のモード又は前記第４のモードの適用を前記第２の予測手段に指示する伸張予測条件指示手段を有する。
【００３４】
また、前記第１の予測手段は、前記圧縮手段に入力される前記１フレームの画像データにおける水平方向の画素を第１の所定値までカウントするとゼロにリセットすることを繰り返す第１の水平カウンタと、前記圧縮手段に入力される前記１フレームの画像データにおける水平方向のブロックを前記１フレームの画素データの水平方向の分割数から１減算された値までカウントすると、前記第１の水平カウンタを停止させる第１の水平ブロック数カウンタと、前記第１の水平カウンタのカウント値が１回目ゼロにリセットされると、前記第１の所定値を（前記ブロックの水平方向の画素数−前記圧縮対象画素の圧縮に使用される近傍の画素数＋１）から前記ブロックの水平方向の画素数に切り替える第１の水平セレクタと、前記圧縮手段に入力される前記１フレームの画像データにおける垂直方向の画素を第２の所定値までカウントするとゼロにリセットすることを繰り返す第１の垂直カウンタと、前記圧縮手段に入力される前記１フレームの画像データにおける垂直方向のブロックを前記１フレームの画素データの垂直方向の分割数から１減算された値までカウントすると、前記第１の垂直カウンタを停止させる第１の垂直ブロック数カウンタと、前記第１の垂直カウンタのカウント値が１回目ゼロにリセットされると、前記第２の所定値を（前記ブロックの水平方向の画素数−前記圧縮対象画素の圧縮に使用される近傍の画素数＋１）から前記ブロックの垂直方向の画素数に切り替える第１の垂直セレクタとを備え、前記第１の水平カウンタ及び前記第１の垂直カウンタのそれぞれのカウント値がゼロにならないとき、前記圧縮対象画素の近傍のオーバーラップ分の画素を使用して前記第１の予測値を生成し、前記第１の水平カウンタのカウント値のみがゼロになるとき、前記圧縮対象画素の上側の画素を前記第１の予測値とし、前記第１の垂直カウンタのカウント値のみがゼロになるとき、前記圧縮対象画素の左側の画素を前記第１の予測値とし、前記第１の水平カウンタ及び前記第１の垂直カウンタのそれぞれのカウント値がゼロになるとき、前記固定値を前記第１の予測値とするように構成してもよい。
【００３５】
また、前記第２の予測手段は、前記伸張手段に入力される１フレームの前記圧縮画像データの水平方向の画素を第３の所定値までカウントするとゼロにリセットすることを繰り返す第２の水平カウンタと、前記伸張手段に入力される１フレームの前記圧縮画像データの水平方向のブロックを１フレームの前記圧縮画素データの水平方向の分割数から１減算された値までカウントすると、前記第２の水平カウンタを停止させる第２の水平ブロック数カウンタと、前記第２の水平カウンタのカウント値が１回目ゼロにリセットされると、前記第３の所定値を（前記ブロックの水平方向の画素数−前記伸張対象画素の近傍の伸張に使用される画素数＋１）から前記ブロックの水平方向の画素数に切り替える第２の水平セレクタと、前記伸張手段に入力される１フレームの前記圧縮画像データの垂直方向の画素を第４の所定値までカウントするとゼロにリセットすることを繰り返す第２の垂直カウンタと、前記伸張手段に入力される１フレームの前記圧縮画素データの垂直方向のブロックを１フレームの前記圧縮画素データの垂直方向の分割数から１減算された値までカウントすると、前記第２の垂直カウンタを停止させる第２の垂直ブロック数カウンタと、前記第２の垂直カウンタのカウント値が１回目ゼロにリセットされると、前記第４の所定値を（前記ブロックの垂直方向の画素数−前記伸張対象画素の近傍の伸張に使用される画素数＋１）から前記ブロックの垂直方向の画素数に切り替える第２の垂直セレクタとを備え、前記第２の水平カウンタ及び前記第２の垂直カウンタのそれぞれのカウント値がゼロにならないとき、前記伸張対象画素の近傍のオーバーラップ分の画素を使用して前記第２の予測値を生成し、前記第２の水平カウンタのカウント値のみがゼロになるとき、前記伸張対象画素の上側の伸張後の画素を前記第２の予測値とし、前記第２の垂直カウンタのカウント値のみがゼロになるとき、前記伸張対象画素の左側の伸張後の画素を前記第２の予測値とし、前記第２の水平カウンタ及び前記第２の垂直カウンタのそれぞれのカウント値がゼロになるとき、前記固定値を前記第２の予測値とするように構成してもよい。
【００３６】
また、前記第１の予測手段は、前記第２のモードにより前記第１の予測値を生成するとき、前記記憶手段に記憶される画素のアドレスの一覧を示すアドレスリストを作成するアドレスリスト作成手段を備え、前記アドレスリストに基づいて、前記記憶手段から前記伸張手段へ前記圧縮画像データが読み出されるように構成してもよい。
【００３７】
また、前記アドレスリスト作成手段は、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインの最終画素の復号化後、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインのデータ量がそれぞれバイト単位になるように、前記オーバーラップ分を含む各ブロックの画像データにおける各ラインの最終画素の後にダミービットを付加するように構成してもよい。
【００３８】
また、前記圧縮手段は、前記第１の予測手段が前記第２のモードを行うとき、前画像データを圧縮せずに前記記憶手段に出力し、前記伸張手段は、前記第２の予測手段が前記第４のモードを行うとき、前記圧縮画像データを伸張せずに前記画像処理手段に送出するように構成してもよい。
【発明の効果】
【００３９】
本発明によれば、撮像装置において、連写枚数を向上させつつ、回路規模やコストを抑えることができる。
【発明を実施するための最良の形態】
【００４０】
以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置を示す図である。なお、図１３に示す構成と同じ構成には同じ符号を付している。
【００４１】
図１に示す撮像装置１は、イメージャー１２１と、Ｐｒｅｐｒｏ部１２２と、ＹＣ処理部１２３と、ＪＰＥＧ圧縮部１２４と、ＥＶＦ表示部１２５と、記録メディア１２６と、記憶部１２７と、圧縮部１２８と、伸張部１２９とを備えて構成されている。
【００４２】
本実施形態の撮像装置１では、Ｐｒｅｐｒｏ部１２２と記憶部１２７との間に圧縮部１２８を設けるとともに、記憶部１２７とＹＣ処理部１２３との間に伸張部１２９を設け、かつ、伸張部１２９からＹＣ処理部１２３に出力されるベイヤー画像データをＹＣ処理部１２３の２次元空間フィルタ処理回路のラインメモリのラインメモリ長で読み出し、各ベイヤー画像データに対して画像処理を行っている。
【００４３】
そのため、本実施形態の撮像装置１では、記憶部１２７のデータバスを使用する全体のデータ量を低減することができ、そのため各ブロックどうしが同時にアクセスして競合が起き、優先順位の高いブロックのアクセスが行われ、競合に負けたブロックがアクセス待ちをするときでも、データ量低減分、待ち時間が短くなり、これによって後段の回路が滞りなく処理が可能になるので連写枚数を向上させることができるとともに、２次元空間フィルタ処理回路の回路規模やコストを低減することができ撮像装置１の回路規模やコストを抑えることができる。
【００４４】
また、本実施形態の撮像装置１では、図２に示すように、記憶部１２７から伸張部１２９に読み出される圧縮後のベイヤー画像データをオーバーラップ分を含めて読み出した後、それらのベイヤー画像データを伸張部１２９において伸張する。そして、伸張後の各ベイヤー画像データをＹＣ処理部１２３において画像処理を行い、記憶部１２７に記憶して、このプロセスを左画像、右画像の順番で順次行うことで記憶部１２７にはブロック間の境目が連続で、きれいに繋がるフレーム全体のカラー化画像が得られる。
【００４５】
また、本実施形態の撮像装置１では、圧縮部１２８において予測条件指示部１３０を備えている。予測条件指示部１３０には予め読み出しの際のブロックサイズ、オーバーラップ量に関する情報が設定されており、この情報に基づいて圧縮時の予測条件を変えることができる。つまり、圧縮時に圧縮対象画素が読み出し時のブロック境界に位置しているかどうかを判断しており、圧縮対象画素が読み出し時のブロック境界に位置していると判断した場合は、実際に圧縮対象画素に近傍画素があるかないかにかかわらず、予測条件を予測の第２のモードに変更することを行っている。そのため、本実施形態の撮像装置１は、図１８に示すように、第1ブロック画像の圧縮をしてから第２ブロック画像の圧縮ができるように、ベイヤー画像データを圧縮部１２８に入力する前に、一旦記憶部１２７とは異なるメモリ１２７Ａに記憶し、第１ブロック画像についてオーバーラップ分付加した画像サイズに切り出してメモリ１２７Ａから読み出して圧縮部１２８に入力し、圧縮対象画素の予測に十分な近傍画素数が得られないブロック境界には予測条件を予測の第２のモードに変更して圧縮し記憶部１２７に圧縮データを記憶し、次に第２ブロック画像についてオーバーラップ分付加した画像サイズに切り出してメモリ１２７Ａから読み出して圧縮部１２８に入力し、実際に圧縮対象画素に予測に十分な近傍画素数が得られないブロック境界には予測条件を予測の第２のモードに変更して圧縮し記憶部１２７に圧縮データを記憶する構成に比べて、ブロックに分割せずにイメージャーから出力される圧縮前の画像データを順次圧縮して記憶部１２７に記憶するので、一時的に圧縮前の画像データを記憶する記憶手段が不要であり、撮像装置１の回路規模やコストを抑えることができる。
【００４６】
また、本実施形態の撮像装置１では、伸張部１２９において予測条件指示部１３２を備えている。予測条件指示部１３２には予め読み出しの際のブロックサイズ、オーバーラップ量に関する情報が設定されており、この情報に基づいて伸張時の予測条件を予測の第４のモードに変えることができる。すなわち、圧縮時に予測の第２のモードが適用された場合は、伸張時に後述する予測の第４のモードが適用される。
【００４７】
そのため、読み出しブロック内に存在する予測の第２のモードが適用された符号が出現するタイミングがわかるので、そのタイミングでは予測条件を予測の第４のモードに変更し、正常に伸張できる。
【００４８】
図３Ａは、予測条件指示部１３０の動作を説明するための図であり、図３Ｂは、予測条件指示部１３２の動作を説明するための図である。なお、説明を簡単にするため、２分割とした場合とする。ベイヤー画像データを水平方向に２分割した際の１ブロック分の水平方向の画素数をＬ１、ＹＣ処理部１２３の２次元空間フィルタ処理回路で使用される周辺画素の数をｒとする。
【００４９】
予測条件指示部１３０は、図３Ａに示すように、Ｐｒｅｐｒｏ部１２２から圧縮部１２８に読み出されるベイヤー画像データの各ラインの第１画素と第（Ｌ１−ｒ＋１）画素と第１ラインのすべて画素に対して予測条件を予測の第２のモードに変更する。
【００５０】
また、予測条件指示部１３２は、図３Ｂに示すように、記憶部１２７から伸張部１２９に読み出される第１ブロックを伸張する際は圧縮後のベイヤー画像データの各ラインの第１画素、第（Ｌ１−ｒ＋１）画素と第１ラインのすべての画素に対して予測条件を予測の第２のモードに変更する。記憶部１２７から伸張部１２９に読み出される第２ブロックを伸張する際は圧縮後のベイヤー画像データの各ラインの第１画素と第１ラインのすべてに対して予測条件を予測の第２のモードに変える。
【００５１】
なお、上述した本実施形態の撮像装置１では、記憶部１２７から伸張部１２９に読み出される圧縮後のベイヤー画像データを水平方向に２分割する場合を説明したが、記憶部１２７から伸張部１２９に読み出されるベイヤー画像データを水平方向及び垂直方向においてそれぞれ任意の数で分割してもよい。
【００５２】
例えば、図４Ａに示すように、ベイヤー画像データを水平方向に３分割、垂直方向に３分割してもよい。このように、ベイヤー画像データを第１ブロック〜第９ブロックに分割する場合、予測条件指示部１３０は、水平方向において、水平方向の分割数回、予測条件を切り替え、垂直方向において、垂直方向の分割数回、予測条件を切り替える。すなわち、予測条件指示部１３０は、図４Ｂに示すように、水平方向において、まず第1画素に対して予測条件を変え、1回目の第（Ｌ１−ｒ＋１）画素に対して予測条件を予測の第２のモードに変え、２回目以降は第（Ｌ１）画素毎に予測条件を変える。また、予測条件指示部１３０は、図４Ｂに示すように、垂直方向において、まず第1ラインのすべての画素に対して予測条件を予測の第２のモードに変え、１回目の第（Ｌ２−ｒ＋１）画素に対して予測条件を予測の第２のモードに変え、２回目以降の第（Ｌ２）画素に対して予測条件を予測の第２のモードに変える。なお、上記Ｌ２は、ベイヤー画像データを垂直方向に分割した際の１ブロックの垂直方向の画素数とする。
【００５３】
また、ベイヤー画像データを第１ブロック〜第９ブロックに分割する場合、予測条件指示部１３２も同様に、水平方向において、水平方向分割数回、予測条件を予測の第２のモードに切り替え、垂直方向において、垂直方向分割数回、予測条件を予測の第２のモードに切り替える。すなわち、予測条件指示部１３２も、図４Ｂに示すように、水平方向において、１回目、第（Ｌ１−ｒ＋１）画素に対して予測条件を予測の第２のモードに変え、２回目以降、第（Ｌ１）画素に対して予測条件を予測の第２のモードに変える。また、予測条件指示部１３２は、図４Ｂに示すように、垂直方向において、１回目、第（Ｌ２−ｒ＋１）画素に対して予測条件を予測の第２のモードに変え、２回目以降、第（Ｌ２）画素に対して予測条件を予測の第２のモードに変える。
【００５４】
次に、本実施形態の圧縮部１２８について説明する。
図５は、本実施形態の圧縮部１２８の一例を示す図である。なお、図１１に示す構成と同じ構成には同じ符号を付している。
【００５５】
図５に示す圧縮部１２８は、ラインメモリ１４１と、ＦＦ１４２〜１４６と、平面予測部１４７と、予測部１４８と、セレクタ１４９と、水平カウンタ１５０と、垂直カウンタ１５１と、予測値選択部１５２と、予測誤差検出部１５３と、可変長符号化部１５４と、予測条件指示部１３０とを備えて構成されている。予測条件指示部１３０以外の各構成の動作は、図１１に示す各構成の動作と同様であるためその説明を省略する。
【００５６】
上記予測条件指示部１３０は、水平カウンタ１５０及び垂直カウンタ１５１のそれぞれのカウンタ値を設定するためのものであって、カウンタ１３３〜１３６と、加算器１３７、１３８と、セレクタ１３９、１４０とを備えて構成されている。
【００５７】
上記カウンタ１３３は、水平カウンタ１５０が１から０になる度に水平方向の分割数から１減算された値からカウントダウンし、ゼロまでカウントすると、水平カウンタ１５０の動作を停止させる。
【００５８】
上記カウンタ１３４は、始めカウンタ値がゼロであり、水平カウンタ１５０のカウンタ値がゼロになる度にカウントアップする。
上記セレクタ１３９は、値Ａとして加算器１３７から出力される上記（Ｌ１−ｒ＋１）が入力されるとともに、値Ｂとして上記（Ｌ１）が入力され、カウンタ１３４のカウンタ値がゼロのとき、値Ａを選択して出力し、カウンタ１３４のカウンタ値が１以上のとき、値Ｂを選択して出力する。
【００５９】
同様に、上記カウンタ１３５は、垂直カウンタ１５１が０になる度に垂直方向の分割数から１減算された値からカウントダウンし、ゼロまでカウントすると、垂直カウンタ１５１の動作を停止させる。
【００６０】
上記カウンタ１３６は、始めカウンタ値がゼロであり、垂直カウンタ１５１のカウンタ値がゼロになる度にカウントアップする。
上記セレクタ１４０は、値Ｃとして加算器１３８から出力される上記（Ｌ２−ｒ＋１）が入力されるとともに、値Ｄとして上記（Ｌ２）が入力され、カウンタ１３６のカウンタ値がゼロのとき、値Ｃを選択して出力し、カウンタ１３６のカウンタ値が１以上のとき、値Ｄを選択して出力する。
【００６１】
次に、本実施形態の伸張部１２９について説明する。
図６は、本実施形態の伸張部１２９の一例を示す図である。なお、図５に示す構成と同じ構成には同じ符号を付している。
【００６２】
図６に示す伸張部１２９は、ラインメモリ１４１と、ＦＦ１４２〜１４６と、平面予測部１４７と、予測部１４８と、セレクタ１４９と、水平カウンタ１５０と、垂直カウンタ１５１と、予測値選択部１５２と、予測誤差検出部１５３と、予測条件指示部１３２と、ゴロムライス復号器１５５と、加算器１５６とを備えて構成されている。ゴロムライス復号器１５５及び加算器１５６以外の各構成の動作は、図５に示す各構成の動作と同様であるためその説明を省略する。なお、伸張部１２９におけるラインメモリ１４１は、加算器１５６から出力される伸張後のベイヤー画像データの１ライン分の画素を保持し、加算器１５６から出力される伸張後の画素ｘの１つ前のラインの画素ｂを出力するものとする。また、伸張部１２９における予測値選択部１５２は、圧縮部１２８における予測値選択部１５２と同様に、水平カウンタ１５０及び垂直カウンタ１５１から出力されるカウンタ値がそれぞれゼロでないとき、すなわち画素ｘがライン先頭画素でも第1ライン上の画素でもないとき、予測値Ｘを選択する旨の選択信号を出力する（予測の第３のモード）。
【００６３】
上記ゴロムライス復号器１５５は、記憶部１２７から読み出される圧縮後のベイヤー画像データをゴロムライス復号化して出力する。
上記加算器１５６は、予測誤差検出部１５３から出力される値と、ゴロムライス復号器１５５から出力される値とを加算することにより、伸張後のベイヤー画像データを生成してＹＣ処理部１２３に出力する。
【００６４】
上記予測条件指示部１３２は、予測条件指示部１３０と同様に、水平カウンタ１５０及び垂直カウンタ１５１のそれぞれのカウンタ値を設定するためのものであって、カウンタ１３３、１３５と、加算器１３７、１３８と、セレクタ１３９、１４０とを備えて構成されている。予測条件指示部１３２のセレクタ１３９は、予測条件指示部１３０のセレクタ１３９と異なり、カウンタ１３３のカウンタ値がゼロのとき、値Ａを選択して出力し、カウンタ１３３のカウンタ値が１以上のとき、値Ｂを選択して出力する。同様に、セレクタ１４０は、カウンタ１３５のカウンタ値がゼロのとき、値Ｃを選択して出力し、カウンタ１３５のカウンタ値が１以上のとき、値Ｄを選択して出力する。
【００６５】
なお、上記実施形態の圧縮部１２８や伸張部１２９では、それぞれ、水平方向において、第１画素に対して予測条件を予測の第４のモードに切り替え、１回目の第（Ｌ１−ｒ＋１）画素に対して予測条件を予測の第４のモードに切り替えて圧縮や伸張を行い、２回目以降は第（Ｌ１）画素毎に予測条件を予測の第4のモードに切り替えて圧縮や伸張を行うとともに、垂直方向において、第１ラインに対して予測の第４のモードに予測条件を切り替え、１回目の第（Ｌ２−ｒ＋１）画素に対して予測条件を予測の第４のモードに切り替えて圧縮や伸張を行い、２回目以降は第（Ｌ２）画素毎に予測条件を予測の第４のモードに切り替えて圧縮や伸張を行う構成である。第４のモードを適用する以外は、伸張対象画素の周辺画素を用いて予測値Ｘを求め伸張を行う（第３のモード）。
【００６６】
図１における撮像装置における撮像から記録メディア１２６にＪＰＥＧデータが格納されるまでの流れを説明する。
まず、図示していないＣＰＵが使用者の撮像装置のシャッター（図示なし）押しを検出して、イメージャー１２１に対して露光の指示を出す。所定時間の露光が終了すると、ＣＰＵはイメージャー１２１からＰｒｅｐｒｏ部１２２に撮像データの転送とその転送された撮像データへのシェーディング補正や画素欠陥補正等の処理をし、ベイヤー画像にする指示をＰｒｅｐｒｏ部１２２に出力する。次にＣＰＵはＹＣ処理部１２３を構成する2次元空間フィルタの初段のラインメモリ数とイメージャー１２１の画素数から水平／垂直分割数、水平／垂直分割サイズ（ブロックサイズ）、オーバーラップ量を計算し、圧縮部１２８の予測条件指示部１３０に設定するとともに、Ｐｒｅｐｒｏ部１２２に対して補正等の済んだベイヤー画像を圧縮部１２８に転送する指示と圧縮部１２８への圧縮開始指示を出力する。圧縮部１２８は予測条件指示部１３０からの出力される予測条件指示にしたがって予測差分符号化を行い、記憶部１２７に圧縮されたベイヤー画像データを記憶する。このとき、アドレスリスト１３１は予測条件指示部１３０が予測条件を変える指示を出したときに符号化された圧縮済みベイヤー画像データが記憶部１２７に格納されるアドレスを記憶部１２７とは異なるメモリ（図示せず）に記憶する。これは圧縮された画像データが可変長になっており、このため圧縮された画像データが記憶部１２７に格納される各ブロック番号、各ライン番号と格納アドレス値には何の法則性がなく計算では求められないことを意味し、このままでは伸張するときに任意のブロックを読み出し、伸張することができない。そこで、アドレスリストを作成することで、ブロック番号とライン番号から圧縮された画像データの先頭格納アドレスを計算で求めることができるようになる。
【００６７】
また、圧縮部１２８では、ベイヤー画像データに対して可変長符号化を行うため、符号化後の各ラインの符号の長さはバイト長の整数倍になるとは限らない。そのため、アドレスリスト作成部１３１は、符号化後の各ラインの最終画素の符号化の後にダミービットを付加し、符号化後の各ラインの符号長をバイト長の整数倍にしている。
【００６８】
なお、符号化後の各ラインの符号長をバイト長の整数倍にしない場合は、アドレスリスト作成部１３１において、アドレスリストの他に、次のラインの第１画素を示すスタートビットをも記録しているリストを作成する必要があるとともに、そのスタートビットリストに基づいて記憶部１２７から伸張部１２９に圧縮後のベイヤー画像データを読み出すためのスタートビット頭だし回路等を備える必要がある。
【００６９】
記憶部１２７に圧縮されたベイヤー画像データがある程度蓄積されたことをＣＰＵは検出すると、ＹＣ処理部１２３を構成する２次元空間フィルタの初段のラインメモリ数とイメージャー１２１の画素数から水平／垂直分割数、水平／垂直分割サイズ、オーバーラップ量を計算し、伸張部１２９の予測条件指示部１３２に設定するとともに、伸張部１２９に対して圧縮されたベイヤー画像の第1ブロックから順番に伸張部１２９に転送する指示と伸張部１２９への伸張開始指示を出力する。伸張部１２９は現在のブロック番号とライン番号を基にアドレスリスト１３１から読み出し開始アドレスを計算し、これに基づいて記憶部１２７から現ブロックを構成する圧縮されたベイヤー画像データを読み出す。伸張部１２９は予測条件指示部１３２からの出力される予測条件指示にしたがって予測差分復号化を行い、伸張されたベイヤー画像データをＹＣ処理部１２３に転送する。ＹＣ処理部１２３では伸張された第1ブロックのベイヤー画像データに対してベイヤー補間処理、マトリクス処理、解像度変換処理、輪郭強調処理等の所定の画像処理等の画像処理がされて、ブロック番号とライン番号を基に記憶部１２７への書き込み開始アドレスを計算し、その書き込みアドレスに画像処理後の画像データが記憶部１２７に記憶される。これと同様の処理を第９ブロックまで行うと、記憶部１２７にはブロック境界がきれいにつながった１フレームの画像ができている。なお、処理されるブロックの順番は１，２，３，、、、９だけでなく、任意の順番で処理することができるのも、予測条件指示部１３２、アドレスリスト生成部１３１の動作原理からわかる。
【００７０】
ＹＣ処理部１２３から出力される画像データは記憶部１２７に記憶されるだけでなく、ＪＰＥＧ圧縮部１２４に出力され、ＪＰＥＧ圧縮が行われ、ＪＰＥＧ圧縮画像データは記憶部１２７に記憶される。このとき、ＪＰＥＧ圧縮はブロック単位で圧縮されているが、ＪＰＥＧ画像としてはフレーム全体での圧縮であることが必要なため、ＪＰＥＧ圧縮データをブロック単位毎に並び替えてフレーム単位に変換している。なお、この並び替えにはＪＰＥＧマーカーのＲＳＴ（リスタート）マーカーを使用しているので、並び替えを簡単な回路構成で、高速に処理できるようになっている。
【００７１】
最後にＣＰＵはＪＰＥＧ規格通りのＪＰＥＧファイルとしての圧縮画像データを記憶部１２７から記録メディア部１２６に転送することで、撮像装置の一連の動作が完了する。
図５や図６の圧縮部、伸張部では、予測条件の切り替え（予測の第２、または第４のモード）を行っていたが、予測条件の切り替えでなく、その圧縮対象画素のオリジナルデータをそのまま記憶する構成にしてもよい。
【００７２】
図７及び図８は、それぞれ、そのように構成する場合の圧縮部１２８及び伸張部１２９の一例を示す図である。なお、図５または図６に示す構成と同じ構成には同じ符号を付している。
【００７３】
図７に示す圧縮部１２８は、ラインメモリ１４１と、ＦＦ１４２〜１４６と、平面予測部１４７と、予測部１４８と、セレクタ１４９と、水平カウンタ１５０と、垂直カウンタ１５１と、予測値選択部１５２と、予測誤差検出部１５３と、可変長符号化部１５４と、予測条件指示部１３０と、圧縮モード切替指示部１５７と、セレクタ１５８とを備えて構成されている。圧縮モード切替指示部１５７及びセレクタ１５８以外の各構成の動作は、図５に示す各構成の動作と同様であるためその説明を省略する。
【００７４】
上記圧縮モード切替指示部１５７は、水平カウンタ１５０のカウンタ値及び垂直カウンタ１５１のカウンタ値のうち少なくとも１つがゼロである場合、画素ｘを選択する旨の選択信号をセレクタ１５８に出力し、水平カウンタ１５０のカウンタ値及び垂直カウンタ１５１のカウンタ値がどちらもゼロでない場合、可変長符号化部１５４から出力される値を選択する旨の選択信号をセレクタ１５８に出力する。
【００７５】
上記セレクタ１５８は、画素ｘを選択する旨の選択信号が入力されると、画素ｘを選択して記憶部１２７に出力し、可変長符号化部１５４から出力される値を選択する旨の選択信号を入力すると、可変長符号化部１５４から出力される値を選択して記憶部１２７に出力する。
【００７６】
図８に示す伸張部１２９は、ラインメモリ１４１と、ＦＦ１４２〜１４６と、平面予測部１４７と、予測部１４８と、セレクタ１４９と、水平カウンタ１５０と、垂直カウンタ１５１と、予測値選択部１５２と、予測誤差検出部１５３と、予測条件指示部１３２と、ゴロムライス復号器１５５と、加算器１５６と、伸張モード切替指示部１５９と、セレクタ１６０とを備えて構成されている。伸張モード切替指示部１５９及びセレクタ１６０以外の各構成の動作は、図６に示す各構成の動作と同様であるためその説明を省略する。
【００７７】
上記伸張モード切替指示部１５９は、水平カウンタ１５０のカウンタ値及び垂直カウンタ１５１のカウンタ値のうち少なくとも１つがゼロである場合、ゴロムライス復号器１５５から出力される復号後のベイヤー画像データを選択する旨の選択信号をセレクタ１６０に出力し、水平カウンタ１５０のカウンタ値及び垂直カウンタ１５１のカウンタ値がどちらもゼロでない場合、加算器１５６から出力される値を選択する旨の選択信号を出力する。
【００７８】
上記セレクタ１６０は、ゴロムライス復号器１５５から出力される復号後のベイヤー画像データを選択する旨の選択信号が入力されると、圧縮後のベイヤー画像データを選択してＹＣ処理部１２３に出力し、加算器１５６から出力される値を選択する旨の選択信号を入力すると、加算器１５６から出力される値を選択してＹＣ処理部１２３に出力する。
【００７９】
なお、本願では圧縮部１２８で圧縮したベイヤー画像を記憶部１２７に一旦記憶したのち、直ちにブロック毎に読み出して、伸張部１２９にて伸張し、ＹＣ処理部１２３でカラー画像処理化しているが、圧縮部１２８で圧縮したベイヤー画像を記憶部１２７に記憶したあと、その圧縮ベイヤー画像データを読み出し、記録メディア１２６に転送しても良い。この場合、外部のＰＣにて記録メディア１２６に記録された圧縮ベイヤー画像データを読み出し、ブロック毎に読み出して、伸張し、ＹＣ処理でカラー画像処理化を行う。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施形態の撮像装置を示す図である。
【図２】本実施形態の撮像装置の動作を説明するための図である。
【図３Ａ】圧縮部の予測条件指示部の動作を説明するための図である。
【図３Ｂ】伸張部の予測条件指示部の動作を説明するための図である。
【図４Ａ】ベイヤー画像データを９分割する場合の各ブロックを示す図である。
【図４Ｂ】圧縮時及び伸張時において予測条件を切り替える際の画素を示す図である。
【図５】本実施形態の圧縮部の一例を示す図である。
【図６】本実施形態の伸張部の一例を示す図である。
【図７】他の実施形態の圧縮部の一例を示す図である。
【図８】他の実施形態の伸張部の一例を示す図である。
【図９】一般的な撮像装置を示す図である。
【図１０】圧縮部と伸張部を備えた撮像装置を示す図である。
【図１１】圧縮部の一例を示す図である。
【図１２】平面予測の説明をするための図である。
【図１３】予測条件を切り替える際の画素を示す図である。
【図１４】２次元空間フィルタ処理回路の一例を示す図である。
【図１５Ａ】分割する場合のベイヤー画像データを示す図である。
【図１５Ｂ】分割しない場合のベイヤー画像データを示す図である。
【図１６Ａ】２次元空間フィルタ処理回路の動作を説明するための図である。
【図１６Ｂ】２次元空間フィルタ処理回路の動作を説明するための図である。
【図１７】２次元空間フィルタ処理回路を２段備える場合のオーバーラップ分を示す図である。
【図１８】分割したベイヤー画像データを圧縮して記憶部に一旦記憶した後、それらのベイヤー画像データを伸張しそれぞれ画像処理を行う場合のベイヤー画像データを示す図である。
【符号の説明】
【００８１】
１  撮像装置
１２０  撮像装置
１２１  イメージャー
１２２  Ｐｒｅｐｒｏ部
１２３  ＹＣ処理部
１２４  ＪＰＥＧ圧縮部
１２５  ＥＶＦ表示部
１２６  記録メディア
１２７  記憶部
１２８  圧縮部
１２９  伸張部
１３０  予測条件指示部
１３１  アドレスリスト作成部
１３２  予測条件指示部
１３３〜１３６  カウンタ
１３７、１３８  加算器
１３９、１４０  セレクタ
１４１  ラインメモリ
１４２〜１４６  ＦＦ
１４７  平面予測部
１４８  予測部
１４９  セレクタ
１５０  水平カウンタ
１５１  垂直カウンタ
１５２  予測値選択部
１５３  予測誤差検出部
１５４  可変長符号化部
１５５  ゴロムライス復号器
１５６  加算器
１５７  圧縮モード切替指示部
１５８  セレクタ
１５９  伸張モード切替指示部
１６０  セレクタ
１８０  ２次元空間フィルタ処理回路
１８１  ラインメモリ
１８２  画素メモリ
１８３  マトリクス演算器
２１０、２１１  ２次元空間フィルタ処理回路
【図１２】
2009224987.tif 000003
【図１５Ａ】
2009224987.tif 000004
【図１５Ｂ】
2009224987.tif 000005
【図１】
2009224987.tif 000006
【図２】
2009224987.tif 000007
【図３Ａ】
2009224987.tif 000008
【図３Ｂ】
2009224987.tif 000009
【図４Ａ】
2009224987.tif 000010
【図４Ｂ】
2009224987.tif 000011
【図５】
2009224987.tif 000012
【図６】
2009224987.tif 000013
【図７】
2009224987.tif 000014
【図８】
2009224987.tif 000015
【図９】
2009224987.tif 000016
【図１０】
2009224987.tif 000017
【図１１】
2009224987.tif 000018
【図１３】
2009224987.tif 000019
【図１４】
2009224987.tif 000020
【図１６Ａ】
2009224987.tif 000021
【図１６Ｂ】
2009224987.tif 000022
【図１７】
2009224987.tif 000023
【図１８】
2009224987.tif 000024