(57)【要約】  【課題】圧縮データ量のばらつきが抑制され、処理時間が短縮され、バッファメモリの必要容量が低減される撮像装置を提供する。  【解決手段】被写体を撮像して画像データを生成し、生成された１フレームの画像データを複数フィールドに分けて読み出す撮像部１と、読み出された画像データに所定の処理が施された画像データを一時的に記憶する記憶部３と、記憶部に記憶された画像データに基づいて、記録用画像データおよび記録とは別の用途のための補助画像データを生成する画像処理部２とを備える。記録用画像データは、１フレームの画像データのうち全部のフィールドの画像データを用いて生成され、補助画像データは、１フレームの画像データのうち一部のフィールドの画像データを用いて生成される。【選択図】図１
2006197548.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成し、前記生成された１フレームの画像データを複数フィールドに分けて読み出す撮像部と、
前記読み出された画像データに所定の処理が施された画像データを一時的に記憶する記憶部と、
前記記憶部に記憶された画像データに基づいて、記録用画像データおよび記録とは別の用途のための補助画像データを生成する画像処理部とを備え、
前記記録用画像データは、１フレームの画像データのうち全部のフィールドの画像データを用いて生成され、前記補助画像データは、１フレームの画像データのうち一部のフィールドの画像データを用いて生成されることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記補助画像データを生成した後に、前記記録用画像データを生成する、請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記記録用画像データを生成する際に圧縮処理を施し、前記圧縮処理の前に、前記補助画像データを用いて予め圧縮パラメータの調整を行う請求項２に記載の撮像装置。
【請求項４】
前記画像処理部は、前記一部のフィールドの画像データを圧縮処理することによって前記補助画像データを生成し、前記補助画像データのデータサイズを用いて、前記記録用画像データの圧縮処理の際に用いる圧縮パラメータを調整する請求項３に記載の撮像装置。
【請求項５】
前記調整された圧縮パラメータを記憶するパラメータ記憶部をさらに備えた請求項３または４に記載の撮像装置。
【請求項６】
前記補助画像データに基づいてサムネイル画像データを生成する請求項１に記載の撮像装置。
【請求項７】
前記補助画像データに基づく表示画像を画像モニタに表示する請求項１に記載の撮像装置。
【請求項８】
前記撮像部は、前記生成した画像データをアナログ形式からデジタル形式に変換するＡＤコンバータを含む請求項１に記載の撮像装置。
【請求項９】
前記画像処理部は、
前記撮像部で生成された画像データに対して前処理を行う前処理部と、
前記処理された画像データを輝度信号と色差信号からなるＹＣデータに変換するＹＣ処理部と、
前記変換されたＹＣデータを圧縮処理する圧縮部とを含む請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画を圧縮符号化して記録するデジタルスチルカメラのような撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラは、撮像した画像情報をＪＰＥＧなどの方式で圧縮符号化し、フラッシュメモリのような不揮発性の半導体メモリなどの記録デバイスに、圧縮符号化されたデータ（以下圧縮データと記す）を記録する。記録デバイスの容量は有限である為、圧縮画像データの１枚あたりのデータ量がばらつくと記録枚数もばらついてしまい、好ましくない。そこで、１枚あたりのデータ量をそろえる為、圧縮符号化する前に仮の圧縮符号化を行ない、生成される圧縮データの符号量に基づいて適切な圧縮率を算出している。以下、これを符号量見積りと呼ぶ。
【０００３】
以下、図を参照して、従来のデジタルスチルカメラにおける処理について説明する。
【０００４】
図１４は、従来のデジタルスチルカメラのブロック図である。図１４において、１０１は撮像素子であり、ＴＧ（タイミングジェネレータ）１０２からの信号に基づいて駆動される。撮像素子１０１の画素配列としては、例えば図１５に示すような、ＲＧＢのベイヤー配列が用いられる。また、撮像素子１０１は、１フレームの画像信号を３フィールドに分けて読み出すインターレース読み出しのＣＣＤイメージセンサである。１フレームはＡ〜Ｃの３フィールドからなり、Ａフィールドでは、ライン１，４，・・・のように、３ライン毎の電荷を垂直ＣＣＤに転送し、順次読み出す。同様に、Ｂフィールドでは、ライン２，５，・・・、Ｃフィールドでは、ライン３，６，・・・の電荷を垂直ＣＣＤに転送し、順次読み出す。
【０００５】
図１４のＲＡＷデータ生成部１０３は、撮像素子１０１から読み出した信号をデジタル信号に変換して、ＲＡＷデータを生成する。ＲＡＷデータとは、この明細書においては、撮像素子から読み出され必要な処理を受けたデータであって、ＹＣデータに変換される前の画像データをいう。Ａ，Ｂ，ＣフィールドのＲＡＷデータは、一度バッファメモリ１０４に格納され、ＹＣ処理部１０５によってＹＣデータが生成される。ＹＣデータとは、輝度信号（Ｙ信号）と色信号（Ｃ信号）とを重畳した信号をいう。ＹＣデータ処理は、図１５に示した元の画素配列の順で行なう必要がある。その為、バッファメモリ１０４の１つの領域に、Ａ，Ｂ，Ｃ各フィールドのＲＡＷデータを３ライン毎に格納してライン順次で読み出すか、または、Ａ，Ｂ，Ｃフィールドを別々の領域に格納して各フィールドのデータをライン毎に交互に読み出す必要がある。ＹＣ処理部１０５によって生成されたＹＣデータは、バッファメモリ１０４のＹＣデータの領域に格納される。
【０００６】
バッファメモリ１０４に記録されたＹＣデータは、圧縮符号化部１０６でＪＰＥＧなどの方式により圧縮符号化される。圧縮データは本圧縮時にはバッファメモリ１０４の圧縮データの領域に格納されるが、符号量見積もり時にはバッファメモリ１０４には格納されず、生成された符号量の情報のみが、圧縮符号化部１０６から圧縮率算出部１０７に供給される。圧縮率算出部１０７は、符号量見積もりによって得られた符号量に基づいて適切な圧縮率を算出する。本圧縮時には、その圧縮率が圧縮符号化部１０６に設定される。なお、符号量見積もり時には、圧縮符号化部１０６は仮の圧縮率で圧縮符号化を行なう。
【０００７】
バッファメモリ１０４に格納された圧縮データは、半導体メモリなどの記録デバイスからなる記録部１０８に記録される。制御部１０９は、ＴＧ１０１、ＲＡＷデータ生成部１０３、ＹＣ処理部１０５、圧縮符号化部１０６、圧縮率算出部１０７、および記録部１０８に対して、これら一連の処理を行なうための制御を行う。
【０００８】
次に、上記構成のデジタルスチルカメラが、１画面分の画像データを記録するまでの動作について説明する。図１６は、制御部１０９の動作を示したフローチャートである。まず、撮影状況に応じて適切な露光時間を設け、撮像素子１０１を露光する（ステップＳ２０１）。次に、Ａ，Ｂ，Ｃフィールドの順で撮像素子１０１に蓄積された電荷を読み出すようにＴＧ１０２を制御し、撮像素子１０１から読み出した信号をＲＡＷデータ生成部１０３によってＲＡＷデータに変換させ、バッファメモリ１０４に格納させる（ステップＳ２０２）。
【０００９】
このデジタルスチルカメラでは、１フレームの画像信号を３フィールドに分けて読み出すＣＣＤイメージセンサを用いているので、ＣフィールドのＲＡＷデータがバッファメモリ１０４に格納開始されると、画面上部から順次３フィールド分のＲＡＷデータが揃い、ＹＣデータ処理を開始することが出来る。そこで、ＣフィールドのＲＡＷデータの格納が開始されると（ステップＳ２０３）、ＹＣ処理部１０５によってＲＡＷデータからＹＣデータへの変換を開始させる（ステップＳ２０４）。また、画像の上部から順次生成されたＹＣデータを圧縮符号化部１０６によって圧縮符号化して、符号量見積もりを開始させる（ステップＳ２０５）。この段階では、符号量見積もりのための圧縮符号化である為、圧縮符号化部１０６はあらかじめ記憶されている仮の圧縮率によって圧縮符号化を行い、圧縮データはバッファメモリ１０４に格納しない。
【００１０】
１画面分のＹＣデータの生成が終了し、それに伴って符号量見積もりも終了すると（ステップＳ２０６）、圧縮率算出部１０７は生成された符号量から適切な圧縮率を算出し（ステップＳ２０７）、圧縮符号化部１０６に本圧縮を開始させる（ステップｓ２０８）。本圧縮が終了したら（ステップＳ２０９）、バッファメモリ１０４に格納された圧縮データを記録部１０８に記録させて（ステップＳ２１０）、制御部１０９の１画面分の制御は終了する。
【００１１】
図１７は、上記構成におけるバッファメモリ１０４の使用量を示した図である。１１０はＲＡＷデータによる使用量を示す。Ａ，Ｂ，ＣフィールドのＲＡＷデータがバッファメモリ１０４に格納されるに従って、使用量１１０が増加する。ただし、ＣフィールドになるとＹＣデータ処理が始まる為、ＹＣデータが生成されるに従い、不要になったＲＡＷデータはバッファメモリ１０４から破棄される。ＣフィールドのＲＡＷデータがバッファメモリ１０４に格納される量以上に、ＹＣデータ処理によって不要になるＲＡＷデータの量が多いため、バッファメモリ１０４の使用量１１０はわずかながら減少する。その後、ＣフィールドのＲＡＷデータの格納が終了すると、ＹＣデータ処理によって不要になったＲＡＷデータが破棄される一方になる為、使用量１１０は減少する。ＹＣデータの生成が終了するとともに、ＲＡＷデータによる使用量１１０は０になる。
【００１２】
１１１は、ＹＣデータによるバッファメモリ１０４の使用量を示す。Ｃフィールドになり、ＹＣデータがバッファメモリ１０４に格納されるに従って使用量１１１が増加する。１１２は、圧縮データによる使用量を示す。なお、符号量見積もりはＹＣデータ生成とほぼ同時に開始されるが、それにより生成された圧縮データはバッファメモリ１０４に格納されない為、符号量見積もりの際には圧縮データによる使用量１１２は０である。ＹＣデータ生成、および、符号量見積もりが終了した後、圧縮符号化部１０６は本圧縮を開始し、圧縮データによる使用量１１２は増加する。一方、不要になったＹＣデータはバッファメモリ１０４から破棄されて使用量１１１が減少し、圧縮データの生成が終了すると使用量１１１は０になる。バッファメモリ１０４に格納された圧縮データは、記録部１０８に記録され、不要になった圧縮データはバッファメモリ１０４から破棄されて使用量１１２が急激に減少し、記録部１０８への記録が終了すると使用量１１２は０になる。
【００１３】
以上のように、従来のデジタルスチルカメラでは、１枚あたりの符号量がばらつくことを防ぐ為、ＹＣデータ生成とともに符号量見積もりを行ない、符号量見積もりが終了してから本圧縮を開始していた。すなわち、圧縮符号化を２回行なうことになり、処理時間が長くなる。また、バッファメモリの使用量が一番多いＹＣデータを、少なくとも本圧縮が開始されるまでは保持しておく必要がある為、その分のバッファメモリの容量を確保しておく必要がある。また、連写機能などを実現する為には、さらに容量を確保する為にコストアップを伴ってメモリ容量を増すか、または、ＹＣデータの使用量が減少する程度まで撮影間隔を長くするかのいずれかを選択しなければならなかった。
【００１４】
そこで、例えば特許文献１、特許文献２に記載されているように、符号量見積もりを行ないつつも、処理時間の短縮、及び、バッファメモリの容量削減を可能とする方法が提案されている。
【００１５】
特許文献１に記載の方法では、入力画像データを複数の小画像に分割し、小画像単位で間引いたデータに対して、先行してＹＣデータ処理と符号量見積もりを行なうことにより、処理時間の短縮とバッファメモリの容量削減を実現している。例えば、データを半分に間引いた場合、符号量見積もりの時間を約半分にすることが出来、その分、本圧縮の開始を早めることが可能になる。また、ＹＣデータ処理が半分済んだ時点で圧縮符号化を開始出来ることから、バッファメモリに保持しておくＹＣデータは半分でよく、容量を削減することが可能である。
【００１６】
特許文献２に記載の方法では、バッファメモリに記録されているＲＡＷデータを単色で圧縮符号化し、その符号量に基づいて本圧縮の圧縮率を決定している。これにより、ＲＡＷデータのバッファメモリへの格納と、符号量見積もりを並行して行なうことが出来るので、処理時間を短縮することが出来る。
【特許文献１】特開２００３―３０４４９１号公報
【特許文献２】特開２００４―０８８２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、上記の従来技術は以下の問題点を有する。
【００１８】
特許文献１に記載の方法では、所定の画素数とライン数の小画像群でデータを間引く為、間引く前後での画像データの量の差が大きい場合には、符号量見積もりの誤差が大きくなる可能性が高い。
【００１９】
また、特許文献２に記載の方法では、符号量見積もりを単色で行なう為、色の情報量が多い場合に符号量見積もりの誤差が大きくなる可能性が高い。
【００２０】
本発明は、上記課題を解決し、圧縮データ量のばらつきが小さく、処理時間が短く、バッファメモリの容量が小さい撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の撮像装置は、被写体を撮像して画像データを生成し、前記生成された１フレームの画像データを複数フィールドに分けて読み出す撮像部と、前記読み出された画像データに所定の処理が施された画像データを一時的に記憶する記憶部と、前記記憶部に記憶された画像データに基づいて、記録用画像データおよび記録とは別の用途のための補助画像データを生成する画像処理部とを備える。前記記録用画像データは、１フレームの画像データのうち全部のフィールドの画像データを用いて生成され、前記補助画像データは、１フレームの画像データのうち一部のフィールドの画像データを用いて生成される。
【発明の効果】
【００２２】
本発明の撮像装置によれば、１フレーム分の画像データを記憶部に格納し終わる前に符号量見積もりを終了することが出来、さらに、記録用画像データを記憶部に保持しておく必要がほとんど無い。従って、圧縮データ量のばらつきが小さく、処理時間が短く、バッファメモリの必要容量が小さい撮像装置を提供することが出来る。
【発明を実施するための最良の形態】
【００２３】
本発明の撮像装置において、前記画像処理部は、前記補助画像データを生成した後に、前記記録用画像データを生成する構成とすることができる。
【００２４】
また、前記画像処理部は、前記記録用画像データを生成する際に圧縮処理を施し、前記圧縮処理の前に、前記補助画像データを用いて予め圧縮パラメータの調整を行う構成とすることができる。
【００２５】
また、前記画像処理部は、前記一部のフィールドの画像データを圧縮処理することによって前記補助画像データを生成し、前記補助画像データのデータサイズを用いて、前記記録用画像データの圧縮処理の際に用いる圧縮パラメータを調整する構成とすることができる。
【００２６】
上記構成において、前記調整された圧縮パラメータを記憶するパラメータ記憶部をさらに備えることができる。
【００２７】
また、前記補助画像データに基づいてサムネイル画像データを生成する構成とすることができる。
【００２８】
また、前記補助画像データに基づく表示画像を画像モニタに表示する構成とすることができる。
【００２９】
前記撮像部は、前記生成した画像データをアナログ形式からデジタル形式に変換するＡＤコンバータを含む構成とすることができる。
【００３０】
前記画像処理部は、前記撮像部で生成された画像データに対して前処理を行う前処理部と、前記処理された画像データを輝度信号と色差信号からなるＹＣデータに変換するＹＣ処理部と、前記変換されたＹＣデータを圧縮処理する圧縮部とを含む構成とすることができる。
【００３１】
以下に、本発明の実施の形態について、図面を参照しながら具体的に説明する。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１におけるデジタルスチルカメラの構成を示すブロック図である。なお、図中の実線矢印は画像信号の伝送を意味し、破線矢印は制御信号の伝送を意味する。
【００３３】
このデジタルスチルカメラは、撮像部を構成するＣＣＤイメージセンサ１、ＣＣＤイメージセンサ１から出力される電気信号を処理する画像処理部２、画像処理部２が処理した信号を一時的に記憶するバッファメモリ３、および全体の動作を制御するコントローラ４を有する。ＣＣＤイメージセンサ１は、ＴＧ（タイミングジェネレータ）５から供給されるタイミングパルスに基づいて動作する。
【００３４】
画像処理部２は、前処理部６、ＹＣ処理部７、拡大縮小処理部８、および圧縮符号化部９を含む。圧縮符号化部９の出力信号は符号量カウンタ１０に供給され、符号量カウンタ１０の出力信号は圧縮パラメータ算出部１１に供給される。圧縮パラメータ算出部１１の出力信号はコントローラ４に供給されて、制御に用いられる。バッファメモリ３には、メモリスロット１２が接続されており、メモリカード１３が挿入されて、バッファメモリ３に記憶された圧縮データをメモリカード１３に記録することができる。
【００３５】
ＣＣＤイメージセンサ１は、光学系１４を通して入射する光学像を、ＲＧＢ三原色に分解して画素信号を出力し、前処理部６に供給する。前処理部６では、画素信号をデジタル信号に変換し、ぺデスタル処理、ホワイトバランス（ＡＷＢ）処理によるゲイン調整等を行ってＲＡＷデータを作成し、バッファメモリ３に記憶する。
【００３６】
図２は、本実施の形態におけるＣＣＤイメージセンサ１の画素配列例である。図２において、図１５の従来例と同じ部分については同じ符号を用い、説明の重複を省略する。（ａ）に示すような２ライン周期の画素配列のＣＣＤイメージセンサにおいて、Ａフィールドで、ライン１，４，・・・のように３ライン毎に読み出した信号は、（ｂ）に示すようになる。２ライン周期の画素配列から３ライン毎に読み出す為、Ａフィールドの信号だけでもＲ，Ｇ，Ｂの各色成分を有しており、輝度だけではなく、色も含めた符号量見積もりが可能である。
【００３７】
図１におけるＹＣ処理部７は、コントローラ４の制御により、バッファメモリ３からＲＡＷデータを取得し、そのＲＡＷデータをＹＣデータに変換する。
【００３８】
拡大縮小処理部８は、サムネイル画像を生成するために設けられる。すなわち、記録した圧縮データを本体に搭載されている液晶ディスプレイなどに再生する際に、多数ある記録画像の中から再生画像を選び出すのに便利なように、サムネイル画像を複数枚ディスプレイ上に表示する機能を備える。そのため、拡大縮小処理部８により、撮影、記録時にあらかじめサムネイル画像を生成しておく。
【００３９】
圧縮符号化部９は、バッファメモリ３に記録されたＹＣデータを、ＪＰＥＧなどの方式により圧縮符号化する。圧縮データは、本圧縮時にはバッファメモリ３の圧縮データの領域に格納される。一方、符号量見積もり処理に際しては、圧縮データはバッファメモリ３には格納されず、生成された符号量の情報のみが、圧縮符号化部９から符号量カウンタ１０に供給される。符号量カウンタ１０は、所定数のフィールド分の符号量を測定して記憶する。圧縮パラメータ算出部１１は、符号量カウンタ１０により測定された符号量に基づいて、適切な圧縮パラメータを算出する。本圧縮時には、その圧縮パラメータが圧縮符号化部９に設定される。なお、符号量見積もり時には、圧縮符号化部９は仮の圧縮パラメータに基づいて圧縮符号化を行なう。
【００４０】
このように、一度符号量カウンタ１０に符号量を記憶させるのは、本実施形態ではＡフィールドのみで符号量見積もりを行ない、符号量見積もりが終了した直後に本圧縮が開始されるのではない為、本圧縮が開始されるまでの間、符号量を保持しておく必要があるからである。
【００４１】
次に、本実施の形態におけるデジタルスチルカメラの動作について、図３に示すフローチャート、および図４に示すタイミングチャートを参照して説明する。図４に示すタイミングチャートは、横軸（ｍ）に時刻を示し、（ａ）〜（ｇ）に各動作のタイミングを示す。また、（ｈ）、（ｊ）、（ｋ）には、バッファメモリ３の使用容量を示す。
【００４２】
まず、時刻Ｔ１に、撮影状況に応じて適切な露光時間を設けて、ＣＣＤイメージセンサ１の露光を行う（ステップＳ１）。次に、時刻Ｔ２から、Ａ，Ｂ，Ｃフィールドの順でＣＣＤイメージセンサ１に蓄積された電荷を読み出し、読み出された信号を前処理部６によりＲＡＷデータに変換して、バッファメモリ３に格納する（ステップＳ２）。本実施の形態では、ＲＡＷデータの格納を開始した後、ＹＣデータ処理に必要なライン数のＲＡＷデータがバッファメモリ３に格納されると、見積もり用ＹＣデータ処理を開始する（ステップＳ３）。なお、図４では、（ａ）ＲＡＷデータの格納と、（ｂ）符号量見積もりおよび（ｃ）ＹＣデータの生成が、同じ時刻Ｔ２から開始するように図示されている。これは、僅かな時間差を図示することが困難であるため、便宜上同時刻に示しただけであり、実際には上述のとおり順次動作が開始される。
【００４３】
見積もり用ＹＣデータ処理は、図２に示したＡフィールドのＲＡＷデータに対して行ない、圧縮符号化に必要なライン数のＹＣデータがバッファメモリに格納されると（時刻Ｔ３）、符号量見積もり用圧縮データの生成を開始する（ステップＳ４）。ＡフィールドのＲＡＷデータの格納が終了すると、それに伴って見積もり用ＹＣデータ処理が終了する（時刻Ｔ４）。更に符号量見積もり用圧縮データの生成も終了して（時刻Ｔ５）、符号量見積もりが終了する（ステップＳ５）。その結果生成された符号量を、符号量カウンタ１０に記憶する。
【００４４】
引き続き、ＢフィールドのＲＡＷデータの格納を終了し、時刻Ｔ６においてＣフィールドのＲＡＷデータの格納を開始する（ステップＳ６）。それに伴い、本圧縮のためのＹＣデータ処理を開始する（ステップＳ７）。時刻Ｔ７に、サムネイル画像の生成を開始する（ステップＳ８）とともに、符号量カウンタ１０に記憶された符号量を圧縮パラメータ算出部１１に読み出して、圧縮パラメータを算出し（ステップＳ９）、圧縮符号化部９に対して圧縮パラメータを設定する。圧縮符号化に必要なライン数のＹＣデータがバッファメモリ３に格納されたら、本圧縮を開始する（ステップＳ１０）。圧縮符号化部９は圧縮データをバッファメモリ３に格納し、時刻Ｔ９で本圧縮が終了したら（ステップＳ１１）、記録ファイルを生成する（ステップＳ１２）。記録ファイルをメモリカード１３に記録し（ステップＳ１３）、時刻Ｔ１０に記録が終了すれば、１画面分の処理は終了する。
【００４５】
以上のように、本実施形態では本圧縮をＹＣデータ処理と並行して行なえる為、ＹＣデータ処理および符号量見積もりが終了するまで本圧縮を開始出来ない従来例と比較して、１画面分の処理を早く終了することが出来る。
【００４６】
なお、１フレームを構成する全フィールドの画像データを用いて生成されるＹＣデータ、またはそれを圧縮符号化して、メモリカードのような記録媒体に記録されるデータを、本明細書では記録用画像データと称する。これに対して、見積もり用ＹＣデータ処理のために、一部のフィールド（本実施の形態では１フィールド）の画像データから生成されるＹＣデータを、補助画像データと称する。補助画像データは、ＹＣデータに圧縮符号化処理を施した圧縮データであってもよい。また補助画像データは、記録用とは別の用途の画像データとして、符号量見積もり以外の目的のためにも使用可能である。
【００４７】
次に、図４の（ｈ）、（ｊ）、（ｋ）を参照して、バッファメモリ３の使用量の変化について説明する。（ｈ）はＲＡＷデータによる使用量を示す。時刻Ｔ２から、Ａ，Ｂ，ＣフィールドのＲＡＷデータがバッファメモリ３に格納されるに従って、使用量（ｈ）が増加する。ただし、ＣフィールドになるとＹＣデータ処理が始まる為、ＹＣデータが生成されるに従い、不要になったＲＡＷデータはバッファメモリ３から破棄される。ＣフィールドのＲＡＷデータがバッファメモリ３に格納される量以上に、ＹＣデータ処理によって不要になるＲＡＷデータの量が多いため、バッファメモリ３の使用量はわずかながら減少する。その後、ＣフィールドのＲＡＷデータの格納が終了すると、ＹＣデータ処理によって不要になったＲＡＷデータが破棄される一方になる為、使用量（ｈ）は急激に減少する。ＹＣデータの生成が終了するとともに、ＲＡＷデータの使用量（ｈ）は０になる。
【００４８】
（ｊ）は、ＹＣデータによるバッファメモリ３の使用量を示す。使用量（ｊ）は、本実施形態ではわずかである。その理由は、以下のとおりである。まず、符号量見積もり時のＹＣデータは、ＡフィールドのみのＲＡＷデータから生成したものであり、符号量見積もりの為だけに必要なものである。ＹＣデータは画面上部から順次生成され、圧縮符号化に必要なライン数、例えばＪＰＥＧの場合だとマクロブロックのライン数のＹＣデータが生成されると、圧縮符号化が開始される。マクロブロックの圧縮符号化が終了すれば、そのＹＣデータは不要になりバッファメモリ３から破棄される。従って、バッファメモリ３に保持しておく必要があるＹＣデータは、マクロブロックのライン数程度になる。次に本圧縮時のＹＣデータに関しては、従来例では、ＹＣデータ生成後に本圧縮を行なっていた為に、本圧縮開始までＹＣデータをバッファメモリ３に保持しておく必要があった。これに対して、本実施形態では、ＹＣデータ生成とともに圧縮符号化も開始する為、符号量見積もりの時と同様の理由により、数ライン程度のＹＣデータだけをバッファメモリ３に保持しておけばよい。
【００４９】
（ｋ）は圧縮データによる使用量である。従来例と同様に、符号量見積もり時の圧縮データはバッファメモリ３に格納せず、本圧縮のデータのみを格納し、メモリカード１３に記録されて不要になった圧縮データは、バッファメモリ３から破棄される。
【００５０】
以上のように、本実施形態では、ＹＣデータをバッファメモリ３に保持しておく必要がほとんど無い為、従来例と比較してバッファメモリ３の容量を小さくすることが可能である。
【００５１】
本実施の形態によれば、１画面全体の輝度と色で符号量見積もりを行うので、圧縮データ量のばらつきが小さく、さらに、処理時間が短く、バッファメモリの容量が小さいデジタルスチルカメラを提供することが出来る。
【００５２】
（実施の形態２）
図５は、本発明の実施の形態２におけるデジタルスチルカメラのブロック図である。図５において、図１と同じ構成については同じ符号を用い、説明の重複を省略する。実施の形態１が符号量見積もりによって得られた符号量を記憶していたのに対し、本実施形態では符号量見積もり終了後に、圧縮パラメータ算出部１１は得られた符号量から適切な圧縮パラメータを算出し、算出した圧縮パラメータを圧縮パラメータ記憶部１４に記憶する。本圧縮時には、圧縮パラメータ記憶部１４に記憶された圧縮パラメータに基づいて、圧縮符号化部９に対して圧縮パラメータが設定される。
【００５３】
図６は、本実施の形態におけるデジタルスチルカメラの動作を示すフローチャートである。図６において、図３と同じ部分については同じ符号を用い、説明の重複を省略する。本実施の形態では、符号量見積もりが終了した後（ステップＳ５）、圧縮パラメータの算出を行ない、算出した圧縮パラメータを記憶する（ステップＳ１４）。
【００５４】
本実施形態は、実施の形態１と本質的に同等であり、同様の効果が得られる。
【００５５】
（実施の形態３）
本発明の実施の形態３におけるデジタルスチルカメラは、図１に示した実施の形態１と実質的に同様の構成を有する。本実施形態は、サムネイル画像データの生成に関する動作が、実施の形態１と相違する。すなわち、本実施形態では、実施形態１と同様、符号量見積もりの為にＡフィールドのみでＹＣデータを生成しているので、このＹＣデータを縮小処理することによりサムネイル画像データを生成する。
【００５６】
本実施の形態におけるデジタルスチルカメラの動作について、図７に示すフローチャート、および図８に示すタイミングチャートを参照して説明する。図７および図８において、図３および図４と同じ部分については同じ符号を用い、説明の重複を省略する。
【００５７】
本実施形態では、図３の実施形態１とは異なり、見積もり用ＹＣデータ処理開始（ステップＳ３）とほぼ同時に（時刻Ｔ３）、縮小処理を開始する（ステップＳ１５）。そして、Ａフィールドが終了し、見積もり用ＹＣデータ処理、符号量見積もりが終了するとのとほぼ同時に、縮小処理も終了し（時刻Ｔ５）、縮小したサムネイル用のＹＣデータはメモリカード１３に記録される。このようにサムネイル用のＹＣデータを直接記録するのではなく、これを圧縮符号化して記録してもよい。
【００５８】
以上のように、本実施形態では、サムネイル用のＹＣデータをＡフィールドのＲＡＷデータのみで生成する為、画像表示時はもちろんのこと、撮影時においてもサムネイル画像生成の為の時間を要としない。また、サムネイル画像生成の為に元の画像サイズのＹＣデータをバッファメモリ上に保持しておく必要も無い。その為、処理時間が短く、バッファメモリの容量が小さいデジタルスチルカメラを提供することが出来る。
【００５９】
また、本実施形態では、縮小処理をサムネイル用画像生成に使用する挙げたが、特に用途を限定するものではない。本実施の形態は、１フレームの画像より小さいサイズの別の画像を、処理時間を要さずに生成したい場合に適用可能である。
【００６０】
（実施の形態４）
本発明の実施の形態４におけるデジタルスチルカメラは、ＬＣＤ等のモニタに画像を表示するための構成が改良されたものである。デジタルスチルカメラは撮像素子で捉えた像をＬＣＤ等に表示する機能を備えており、光学的なビューファインダーを備えないデジタルスチルカメラも多い。従って、ビューファインダーを覗いてシャッターを押すのではなく、ＬＣＤを見てシャッターを押す撮影スタイルが一般的であり、ＬＣＤの表示品質が撮影の成否に影響する。
【００６１】
デジタルスチルカメラの撮像部はモニタモードとスチルモードを備えており、モードによって動作が異なる。モニタモードでは６０分の１秒毎に１画面の入力画像データを出力するが、その出力画素数は少なく解像度はビデオカメラと同等である。一方、スチルモードでは、より高解像度でより高画素の画像データを出力するが、画素数が多いために、出力に比較的長い時間を要する。そのため、撮像により画像データが読み出されてＬＣＤに表示されるまでの時間（表示タイムラグ）が長い。モニタモードにおいては表示タイムラグは小さく、３０分の１秒程度の時間であるのに対して、スチルモードでは、表示タイムラグは４分の１秒から２分の１秒に達し、非常に長い。
【００６２】
ＬＣＤ表示が遅れると、被写体の動きを認識するのが遅れることになる。特に連続してスチル撮影を行う連写モードは、動きがある被写体を撮影することが目的であるので、ＬＣＤ表示が遅れると、被写体の動きに合わせたカメラの操作が困難になる。その結果、被写体を正しく捉えていない画像を記録することになる。
【００６３】
スチルモードで表示タイムラグが長くなる理由について、図１８を参照して説明する。図１８は、スチルモードにおけるＬＣＤへの画像表示の動作を示す。上段は、ＲＧＢ形式の画像データＸの時間変化を示す。中段は、表示画像データ（画像表示用のデータ）Ｙの出力期間を示す。下段のＺは、画像表示期間を示す。各升目内の数字は画像のフレーム番号を表しており、数字が同じであれば同じフレームであることを意味する。Ａ、Ｂ、Ｃは各フィールドを示す。
【００６４】
画像データＸは、１フレーム目の各フィールド１Ａ、１Ｂ、１Ｃ、２フレーム目の各フィールド２Ａ、２Ｂ、２Ｃ・・・、のように順次出力される。各Ｃフィールドの画像データＸの出力に伴い、表示画像データＹの生成が開始され、１フレーム分の表示画像データＹの生成が完了した時点から、当該フレームの画像表示期間Ｚが始まる。表示タイムラグＬは、Ａフィールドの画像データＸの出力開始から表示画像データＹの生成完了までとなるので、上述のとおり、かなり長くなる。本実施の形態では、符号量見積もりの為にＡフィールドのみで生成しているＹＣデータを利用することにより、表示タイムラグＬを短くしたモニタ画像表示を可能とする。
【００６５】
図９は、本発明の実施の形態４におけるデジタルスチルカメラのブロック図である。図９において、図１の実施の形態１と同じ構成については同じ符号を用い、説明の重複を省略する。
【００６６】
このデジタルスチルカメラは、液晶ドライバ１６により液晶モニタ１７を駆動して画像を表示させるための表示画像データの生成方法が、図１の実施の形態１とは異なる。また、バッファメモリ３を、ＭＭＵ（メモリマネージングユニット）１５を介して管理する構成が、実施の形態１とは異なる。
【００６７】
また、画像処理部２は、表示画モードと記録画モードの二つのモードで動作し、モードはコントローラ４から供給されるモード切替信号により切り替えられる。記録画モードであれば、ＭＭＵ１５経由でバッファメモリ３からＲＧＢ形式の画像データを読み出し、記録画素数に合わせたＹＣデータを生成し、バッファメモリ３の記録画像用ＹＣデータ領域に書き戻す。表示画モードであれば、ＭＭＵ１５経由でバッファメモリ３からＲＧＢ形式の画像データを読み出し、表示画素数に合わせたＹＣデータを生成して、バッファメモリ３の表示画像用ＹＣデータ領域に書き戻す。
【００６８】
ＭＭＵ１５は、オンデマンドページングによりメモリを動的に割り当てる機能と、不要になったページを自動的に回収する機能を備えている。例えば、ＣＣＤイメージセンサ１がＲＧＢ形式の画像データを出力する際は、最初の画素データの格納の時点で１ページ分のメモリがＲＧＢ形式の画像データに自動的に割り当てられ、ＣＣＤイメージセンサ１が１ページ分のメモリを書き終えると同時に、次の１ページ分のメモリがＲＧＢ形式の画像データ用に新たに割り当てられる。また、画像処理部２がＲＧＢ形式の画像データを読み出す時には、画像処理部２がＲＧＢ形式の画像データ用メモリを１ページ読み終える毎に、不要になったページは自動的に回収されて空きページとなり、次の割り当てで再利用される。
【００６９】
液晶ドライバ１６は、ＭＭＵ１５経由でバッファメモリ３の表示画像用ＹＣデータ領域からＹＣデータを読み出して、液晶モニタ１７に表示する。表示データ領域は繰り返し読み出しを行うために固定的にページを割り当てており、ＭＭＵ１５が自動的にページを回収することはない。
【００７０】
次に、画像処理部２のＹＣデータ処理に係わる構成を、図１０を参照して説明する。図１０は画像処理部２の一部の構成を示したブロック図である。ＹＣ処理部７に対し、レジスタＦ群２１、レジスタＢ群２２が、セレクタ２３を介して接続されている。レジスタＦ群２１とレジスタＢ群２２は各々、ＹＣ処理部７の動作を指示するものである。指示の内容は、ＲＧＢデータ領域の先頭番地、ＹＣデータ領域の先頭番地を含む。レジスタＦ群２１とレジスタＢ群２２の出力は、セレクタ２３により選択され、一方の指示だけがＹＣ処理部７に与えられる。
【００７１】
ＹＣ処理部７は、指示に従ってＲＧＢデータの読み出し、データの変換と、およびＹＣデータの格納を行い、読み出し及び格納に同期してトリガパルス群２５を出力する。このトリガパルス群２５は、格納及び読み出しの進行に合わせてＲＧＢデータの先頭番地及びＹＣデータの先頭番地を更新する為のパルスである。トリガパルス群２５は、ゲート回路２４を介して、レジスタＦ群２１とレジスタＢ群２２のうちセレクタ２３で選択されているレジスタ群にのみ与えられ、それぞれのレジスタの値を更新する。セレクタ２３およびゲート回路２４による選択は、モード切替信号２６により行われる。
【００７２】
次に、モード切替えにおける動作を説明する。記録画モードではレジスタＢ群２２が選択されており、処理の進行に応じてレジスタＢ群２２のＲＧＢデータの先頭番地及びＹＣデータの先頭番地がインクリメントされていく。ある時点でモード切替信号２６が変化して表示画モードに切り替わると、レジスタＢ群２２に代わってレジスタＦ群２１が選択され、レジスタＢ群２２は変化しなくなる。再びモード切替信号２６が変化して記録画モードに戻ると、レジスタＢ群２２のＲＧＢデータの先頭番地及びＹＣデータの先頭番地は、記録画像の処理が停止する直前の状態に保たれているので、ＹＣ処理部７は中断した箇所から記録画像の処理を再開することができる。
【００７３】
本実施の形態におけるデジタルスチルカメラの動作について、図１１に示すフローチャート、および図１２に示すタイミングチャートを参照して説明する。図１１および図１２において、図３および図４と同じ部分については同じ符号を用い、説明の重複を省略する。
【００７４】
本実施形態では、見積もり用ＹＣデータ処理が終了すると（ステップＳ５）とほぼ同時に（図１２の時刻Ｔ５）、画像表示（ｅ）を開始する（ステップＳ１６）点が、実施の形態１とは相違する。
【００７５】
撮影動作を始めると、図１２（ｂ）に示すように、前処理部６は、ＲＧＢ形式の画像データを３フィールドに分割して格納する。同時に前処理部６は、格納したライン数をライン数信号としてコントローラ４に通知し、コントローラ４はＹＣ処理部７を表示画モードで起動させる。図１２（ｄ）に示すように、ＹＣ処理部７は前処理部６による格納に同期して（時刻Ｔ２）、バッファメモリ３からＲＧＢ形式の画像データを読み出し、これから表示画素数に合わせたＹＣデータを生成してバッファメモリ３に書き戻す。ＡフィールドのＹＣデータの生成が終わると（時刻Ｔ４）、図１２（ｅ）に示すように、当該フレームによる画像表示を開始する（時刻Ｔ５）。その結果、表示タイムラグは、図１８に示した従来例の場合と比べると、２フィールド分のＲＧＢ形式の画像データを出力する期間以上短くなる。
【００７６】
このように本実施の形態のデジタルスチルカメラでは、１フレームの撮影毎にＹＣデータの生成を２回行う。一回目のＹＣデータの生成は表示画像用ＹＣデータの生成であり、ＣＣＤイメージセンサ１が最初のＡフィールドのＲＧＢデータを出力するのと同時に生成するので、表示画像を最短時間で更新できる。二回目のＹＣデータの生成は記録画像用ＹＣデータの生成であり、全てのフィールドのＲＧＢデータを参照して生成するので、解像度劣化の無い画像を記録することができる。
【００７７】
次に、図１３を参照して連写時の動作を説明する。同図は、図１２と同じタイムチャートを２フレーム分連続して表示したものである。但し、バッファメモリの使用容量（ｈ）には、ＲＡＷデータ、ＹＣデータ、および圧縮データによる使用容量が、重ねて示されている。
【００７８】
連写動作では、図１３（ｆ）の時刻Ｔ１０に終了する記録用画像データの生成期間と、図１３（ｂ）の時刻Ｔ１０に開始する次のフレームのＡフィールドのＲＧＢ形式の画像データの出力期間、即ち表示用画像データの生成期間が重なることがある。両期間が重なるのは、記録画像の画素数が多いため、次のフレームのＡフィールドのＲＡＷデータの格納の開始までに圧縮データの生成処理が終わらない場合である。
【００７９】
これに対して、本実施の形態のデジタルスチルカメラでは、画像処理部２は表示画モードと記録画モードの二つのモードを持ち、モードを交互に切り換えることにより、表示画像データと記録画像データを擬似的に平行して生成することが出来る。この時に、コントローラ４は、表示画像を優先して生成するようモード切替信号を制御する。具体的には、前処理部６が画像データを６４ライン出力すると、コントローラ４はモード切替信号を切り換えてＹＣ処理部７を表示画モードにし、ＹＣ処理部７が６４ライン分の画像データを処理し終えるのを待ってモード切替信号を記録画モードの側に戻すよう制御する。このような制御により表示画像は遅滞なく生成され、残った処理時間は無駄なく前のフレームの記録画像の生成に割り当てられる。
【００８０】
ＹＣ処理部７を時分割並列処理させる機能を持たない場合には、次のフレームのＡフィールドの途中で記録画像の生成を一時停止して表示画像の生成を開始し、Ａフィールドが終わって表示画像の生成が完了した時点で記録画像の生成を再開してもよい。
【００８１】
２フレーム目の圧縮符号化部９の動作は、ＹＣ処理部７のような時分割並列処理の機能を圧縮符号化部９が持たないために、少し不規則になる。先ず２フレーム目の表示画像データが生成される時には、前のフレームの記録画像データの圧縮符号化が完了していないので、その完了を待って２フレーム目の表示画像データの圧縮符号化を開始する。２フレーム目も１フレーム目と同様に、表示画像の圧縮符号化の結果に従って圧縮符号化のパラメータを最適化する。圧縮符号化部９は、ＹＣ処理部７が２フレーム目の記録用画像データの生成を開始するのを待って記録画像データの圧縮符号化を開始し、その際に表示画像データの圧縮符号化によって最適化されたパラメーターを用いる。
【００８２】
このように、２フレーム目の圧縮符号化部９の処理動作の時期は、ＹＣ処理部７が記録画像データを生成する時期と必ずしも一致しないことがあるが、圧縮符号化の処理は表示画像の生成のように外見上の違和感を生じることがなく、また、２枚目の表示画像データの圧縮符号化は２枚目の記録画像データの圧縮符号化の開始前に終了していればよいので、ＹＣ処理部７のような時分割並列処理の機能が無くても支障はない。
【００８３】
本実施の形態では、表示画像データを圧縮符号化した結果によりパラメータを最適化するが、記録画像データと表示画像データの画素数の差が大きい場合に、ＪＰＥＧデータ量の予測誤差が大きくなる事も懸念される。その場合には表示画像データの生成と同時、または表示画像データの生成の前後で圧縮符号化のための試行画像を生成し、試行画像を圧縮符号化した結果によりパラメータを最適化することもできる。試行画像を記録画素数に合わせた画素数の画像にしておけば、記録画像データと画素数が大きく異なる表示画像データを圧縮符号化する場合よりも、ＪＰＥＧデータ量の予測誤差を小さくすることが出来る。
【００８４】
また、別の方法として表示画像データを生成せず試行画像だけを生成し、液晶ドライバ１６が試行画像の画素データを間引いて液晶モニタに表示することもできる。この方法を採る場合は、試行画像の水平方向と垂直方向の画素数を、表示画像の水平方向と垂直方向の画素数の各々整数倍にしておけば、間引きの操作を簡単に行うことが出来る。
【００８５】
以上の実施の形態においては、Ａフィールドのみの画像データに基づいて補助画像データ（ＹＣデータ）を生成する例を示したが、１フレームの一部の複数フィールドの画像データに基づいてＹＣデータを生成してもよい。それにより、符号量見積もりの精度を高めることが可能である。また、１フィールドの画像データのみでは全ての色のデータが揃わない場合にも、複数フィールドの画像データを用いて補助画像データを生成することが望ましい。また、発明の効果を十分に得るためには、先に読み出される方の一部フィールドの画像データを用いて補助画像データを生成することが望ましい。
【００８６】
なお、撮像部としては、ＣＣＤイメージセンサに限らず、ＣＭＯＳイメージセンサ等を用いることもできる。ＡＤコンバータは、撮像部に内蔵したものでもよく、外付けしたものでもよい。
【００８７】
画像処理部は、ＤＳＰのようにハードウェア回路で構成してもよく、また、ソフトウェアを用いたマイクロコンピュータで構成してもよい。画像処理部、符号量カウンタ、圧縮パラメータ算出部、コントローラは、１チップで構成することができる。
【００８８】
バッファメモリは、単一のメモリで構成してもよく、あるいは、複数のメモリで構成しても良い。また、バッファメモリは、上記実施の形態１等のようにコントローラにより直接制御してもよく、または、実施の形態４のように、ＭＭＵを用いて制御してもよい。
【００８９】
記録用のメモリは、着脱可能なメモリカードとしてもよく、内蔵メモリとしてもよい。
【００９０】
ＲＡＷデータは、ＲＧＢデータとして説明したが、補色系の画像データであってもよい。撮像素子は、ＲＧＢデータではなく、ＹＣデータを出力するようにしてもよい。
【００９１】
メモリーカードには、圧縮データではなく、非圧縮データを記録するように構成してもよい。
【産業上の利用可能性】
【００９２】
本発明の撮像装置によれば、圧縮データ量のばらつきが小さく、処理時間が短く、バッファメモリの必要容量が小さいので、デジタルスチルカメラ、静止画撮影機能を有するデジタルビデオカメラ、カメラ機能付き携帯電話端末などに有用である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の形態１におけるデジタルスチルカメラの構成を示すブロック図
【図２】同デジタルスチルカメラを構成するＣＣＤイメージセンサの画素配列を示す図
【図３】同デジタルスチルカメラの動作を示すフローチャート
【図４】同デジタルスチルカメラの動作を説明するためのタイミングチャート
【図５】本発明の実施の形態２におけるデジタルスチルカメラの構成を示すブロック図
【図６】同デジタルスチルカメラの動作を示すフローチャート
【図７】本発明の実施の形態３におけるデジタルスチルカメラの動作を示すフローチャート
【図８】同デジタルスチルカメラの動作を説明するためのタイミングチャート
【図９】本発明の実施の形態４におけるデジタルスチルカメラの構成を示すブロック図
【図１０】同デジタルスチルカメラを構成する画像処理部の一部の構成例を示すブロック図
【図１１】同デジタルスチルカメラの動作を示すフローチャート
【図１２】同デジタルスチルカメラの動作を説明するためのタイミングチャート
【図１３】同デジタルスチルカメラの連写時の動作を説明するためのタイミングチャート
【図１４】従来例のデジタルスチルカメラの構成を示すブロック図
【図１５】同デジタルスチルカメラにおける撮像素子の画素配列例を示す図
【図１６】同デジタルスチルカメラの動作を示すフローチャート
【図１７】同デジタルスチルカメラにおけるバッファメモリの使用量を示す図
【図１８】同デジタルスチルカメラの画像表示の動作を示す図
【符号の説明】
【００９４】
１  ＣＣＤイメージセンサ
２  画像処理部
３  バッファメモリ
４  コントローラ
５  ＴＧ（タイミングジェネレータ）
６  前処理部
７  ＹＣ処理部
８  拡大縮小処理部
９  圧縮符号化部
１０、１０ａ  符号量カウンタ
１１  圧縮パラメータ算出部
１２  メモリスロット
１３  メモリカード
１４  光学系
１５  ＭＭＵ（メモリマネージングユニット）
１６  液晶ドライバ
１７  液晶モニタ
２１  レジスタＦ群
２２  レジスタＢ群
２３  セレクタ
２４  ゲート回路
２５  トリガパルス群
２６  モード切替信号
１０１  撮像素子
１０２  ＴＧ（タイミングジェネレータ）
１９３  ＲＡＷデータ生成部
１０４  バッファメモリ
１０５  ＹＣ処理部
１０６  圧縮符号化部
１０７  圧縮率算出部
１０８  記録部
１０９  制御部
１１０  ＲＡＷデータによる使用量
１１１  ＹＣデータによる使用量
１１２  圧縮データによる使用量
Ｘ  画像データ
Ｙ  表示画像データ
Ｚ  画像表示期間
【図１】
2006197548.tif 000003
【図２】
2006197548.tif 000004
【図３】
2006197548.tif 000005
【図４】
2006197548.tif 000006
【図５】
2006197548.tif 000007
【図６】
2006197548.tif 000008
【図７】
2006197548.tif 000009
【図８】
2006197548.tif 000010
【図９】
2006197548.tif 000011
【図１０】
2006197548.tif 000012
【図１１】
2006197548.tif 000013
【図１２】
2006197548.tif 000014
【図１３】
2006197548.tif 000015
【図１４】
2006197548.tif 000016
【図１５】
2006197548.tif 000017
【図１６】
2006197548.tif 000018
【図１７】
2006197548.tif 000019
【図１８】
2006197548.tif 000020