(57)【要約】  【課題】高速撮像時にカメラ信号処理回路が高画面レートで信号処理を行うことを不要とし、通常画面レートで信号処理を行うようにする。  【解決手段】高速撮像モード時には、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータが変換処理部２０１、記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。間引きおよびサイズ変換がなされたＲＡＷデータが前処理回路２０２を介してカメラ信号処理回路２０３に供給され、カメラ信号処理がなされた信号によって撮像中の画像が表示部１１２に表示される。再生時には、表示部１１２の表示能力にあわせて低画面レートでＲＡＷデータが記録デバイス１１１から読み出され、読み出されたＲＡＷデータが前処理回路２０２およびカメラ信号処理回路２０３によって処理され、表示部１１２によって再生画像が表示される。【選択図】図２
2008113126.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
上記変換手段または上記記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
上記カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と
を有することを特徴とする撮像装置。
【請求項２】
上記記録媒体に記録される撮像データを圧縮符号化し、上記記録媒体から読み出される撮像データを伸張復号化する圧縮伸張手段をさらに有することを特徴とする請求項１記載の撮像装置。
【請求項３】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
上記変換手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
上記記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
上記第１および第２のカメラ信号処理手段の一方の出力画像信号から表示用の画像信号を生成する表示処理手段とを有し、
上記第１のカメラ信号処理手段が上記第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置。
【請求項４】
固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、上記第１の記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御手段と、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
上記変換手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
上記第１の記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
上記第２のカメラ信号処理手段の出力画像信号を第２の記録媒体に記録し、上記第２の記録媒体から上記第２の画面レートで画像信号を読み出す第２の記録媒体制御手段と、
上記第１のカメラ信号処理手段の出力画像信号並びに上記第２の記録媒体制御手段の出力画像信号の一方から表示用の画像信号を生成する表示処理手段とを有し、
上記第１のカメラ信号処理手段が上記第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置。
【請求項５】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
上記変換ステップまたは上記記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
上記カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと
を有することを特徴とする撮像方法。
【請求項６】
上記記録媒体に記録される撮像データを圧縮符号化し、上記記録媒体から読み出される撮像データを伸張復号化する圧縮伸張ステップをさらに有することを特徴とする請求項５記載の撮像方法。
【請求項７】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
上記変換ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
上記記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
上記第１および第２のカメラ信号処理ステップの一方の出力画像信号から表示用の画像信号を生成する表示処理ステップとを有し、
上記第１のカメラ信号処理ステップが上記第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法。
【請求項８】
固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、上記第１の記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御ステップと、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
上記変換ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
上記第１の記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
上記第２のカメラ信号処理ステップの出力画像信号を第２の記録媒体に記録し、上記第２の記録媒体から上記第２の画面レートで画像信号を読み出す第２の記録媒体制御ステップと、
上記第１のカメラ信号処理ステップの出力画像信号並びに上記第２の記録媒体制御ステップの出力画像信号の一方から表示用の画像信号を生成する表示処理ステップとを有し、
上記第１のカメラ信号処理ステップが上記第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置および撮像方法に関し、特に高速イメージセンサを用いて画像を撮像する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、高速撮影を行う高速度ビデオカメラが知られている。例えば高速レートで処理する１枚あたりの画像サイズを小さいサイズ、たとえば標準画像サイズの４分の１に変換して通常レートの画像に４枚分を埋め込むことにより、高速撮像を実現したものがあった（特許文献１参照）。また、センサからのデータを並列に処理するような回路構造を取ることにより、単位時間あたりの画像データの処理量を増加させて、高速撮像を実現したものもあった（特許文献２参照）。
【０００３】
【特許文献１】特開平８−８８８３３号公報
【特許文献２】特開平８−２５１４９２号公報
【０００４】
しかしながら、特許文献１または特許文献２に記載されている高速撮像は、撮像画像をＶＴＲ、半導体メモリ等の記憶装置に一旦記憶し、後でスローモーション再生を行い、極めて高速の動きを解析することを目的とするものであり、装置自体が複雑且つ高価なものであった。したがって、これらの特許文献１または特許文献２に記載されているような高速撮像システムは、携帯性の点で、また、消費電力の点で、家庭用として広く普及している携帯型撮像装置、いわゆるカムコーダ（ビデオカメラおよびレコーダが一体化された装置の略称）、ディジタルカメラ等に適用することが難しかった。
【０００５】
このような点を考慮した撮像装置について、図１を参照して説明する。図１の構成は、既存のカムコーダと同様の構成を有している。すなわち、図１に示す撮像装置１００は、イメージセンサ１０１、前処理回路１０２、カメラ信号処理回路１０３、変換処理部１０４、圧縮伸張回路１０５、メモリ制御回路１０６、メモリ１０７、表示処理回路１０８、圧縮伸張回路１０９、記録デバイス制御回路１１０、記録デバイス１１１、表示部１１２、および制御部１１３を備えている。
【０００６】
イメージセンサ１０１は、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、例えば通常レートの４倍の２４０ｆｐｓとされている。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）およびＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。
【０００７】
前処理回路１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路１０３は、前処理回路１０２からの撮像データに対して、ホワイトバランス調整処理等のカメラ信号処理を施す。
【０００８】
変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を表示部１１２の表示に適合した画面レートおよび画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理回路１０８に出力するときのみ行う。ここで表示間引きとは、撮像装置１００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
【０００９】
圧縮伸張回路１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御回路１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御回路１０６は、メモリ１０７に対する画像データの書き込みおよび読み込みを制御する。メモリ１０７は、メモリ制御回路１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが使用される。
【００１０】
表示処理回路１０８は、変換処理部１０４または圧縮伸張回路１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。
【００１１】
圧縮伸張回路１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理回路１０８に出力する。表示部１１２は、表示処理回路１０８から受け取った動画を表示する。
【００１２】
制御部１１３は、例えば、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory ）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
【００１３】
図１の撮像装置において、高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの撮像信号が前処理回路１０２を介してカメラ信号処理回路１０３に供給される。カメラ信号処理回路１０３の出力画像信号が変換処理部１０４において、６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされた画像信号が表示処理回路１０８に供給され、表示処理回路１０８が表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。
【００１４】
ユーザ操作に応じて制御部１１３から高速撮像した画像の記録要求を受け取ると、変換処理部１０４が圧縮伸張回路１０５に対しても２４０ｆｐｓの画像信号を送る。変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を、必要に応じて縮小して、圧縮伸張回路１０５へ送る。
【００１５】
圧縮伸張回路１０５は、変換処理部１０４から画像信号をＪＰＥＧ形式で圧縮符号化する。メモリ制御回路１０６は、圧縮伸張回路１０５からの符号化データをメモリ１０７に一時記憶する。このようにして、メモリ１０７には一定時間分の画像データが蓄積される。
【００１６】
メモリ制御回路１０６は、メモリ１０７に一時記憶した符号化データの読み出し要求を制御部１１３から受け取ると、メモリ１０７に記憶されている符号化データを６０ｆｐｓで読み出して圧縮伸張回路１０５へ送る。圧縮伸張回路１０５は、メモリ制御回路１０６から符号化データを伸張復号化し、復号データを変換処理部１０４へ送る。変換処理部１０４は、制御部１１３から記録デバイス１１１への記録要求を受け取ると、圧縮伸張回路１０５から受け取った画像信号を圧縮伸張回路１０９へ送る。圧縮伸張回路１０９は、変換処理部１０４から受け取った画像信号を、ＭＰＥＧ形式で圧縮し、圧縮符号化された信号を記録デバイス制御回路１１０を介して記録デバイス１１１へ記憶する。変換処理部１０４は、圧縮伸張回路１０５から６０ｆｐｓで受け取った画像信号をサイズ調整し、表示処理回路１０８へ送り、表示部１１２に再生画像が表示される。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
上述した図１に示す先に提案されている撮像装置では、イメージセンセンサ１０１の高速撮像モード時において、イメージセンサ１０１の出力撮像信号の画面レートが高いので、前処理回路１０２およびカメラ信号処理回路１０３が高速で動作することが要求される。システムをＬＳＩ等で実現する場合、前処理回路１０２およびカメラ信号処理回路１０３は、全システムに対する演算規模が大きいために、高速処理あるいは並列処理は、回路面積および消費電力の面で不利となる。また、図１の構成は、撮像信号をメモリ１０７に一時記憶する構成であるため、高速撮像モード停止後もメモリ１０７に一時記憶されたデータを復号し、通常記録フォーマットに再符号化する処理時間を要する問題があった。
【００１８】
したがって、この発明の目的は、カメラ信号処理回路が高速の画面レートの処理を行う必要がなく、簡単且つローコストで、したがって、携帯性に優れた撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【００１９】
この発明では上述した問題を解決するために、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段または記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と
を有することを特徴とする撮像装置である。
【００２０】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
第１および第２のカメラ信号処理手段の一方の出力画像信号から表示用の画像信号を生成する表示処理手段とを有し、
第１のカメラ信号処理手段が第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置である。
【００２１】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、第１の記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理手段と、
第１の記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理手段と、
第２のカメラ信号処理手段の出力画像信号を第２の記録媒体に記録し、第２の記録媒体から第２の画面レートで画像信号を読み出す第２の記録媒体制御手段と、
第１のカメラ信号処理手段の出力画像信号並びに第２の記録媒体制御手段の出力画像信号の一方から表示用の画像信号を生成する表示処理手段とを有し、
第１のカメラ信号処理手段が第２のカメラ信号処理手段に比して簡易な構成とされたことを特徴とする撮像装置である。
【００２２】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップまたは記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと
を有することを特徴とする撮像方法である。
【００２３】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
第１および第２のカメラ信号処理ステップの一方の出力画像信号から表示用の画像信号を生成する表示処理ステップとを有し、
第１のカメラ信号処理ステップが第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法である。
【００２４】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを第１の記録媒体に記録し、第１の記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す第１の記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第１のカメラ信号処理ステップと、
第１の記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行う第２のカメラ信号処理ステップと、
第２のカメラ信号処理ステップの出力画像信号を第２の記録媒体に記録し、第２の記録媒体から第２の画面レートで画像信号を読み出す第２の記録媒体制御ステップと、
第１のカメラ信号処理ステップの出力画像信号並びに第２の記録媒体制御ステップの出力画像信号の一方から表示用の画像信号を生成する表示処理ステップとを有し、
第１のカメラ信号処理ステップが第２のカメラ信号処理ステップに比して簡易な構成とされたことを特徴とする撮像方法である。
【発明の効果】
【００２５】
この発明の撮像装置によれば、撮像素子の画面レートが高くなっているにもかかわらず、カメラ信号処理回路は常に表示部の表示能力の画面レートを満たせばよく、高速撮像を処理するためだけに高周波駆動、並列処理をする必要が無く、消費電力や回路規模を削減することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、この発明の第１の実施の形態を図面を参照して詳細に説明する。図２に示すように、第１の実施の形態に係る撮像装置２００に対して、イメージセンサ１０１からの撮像信号が供給される。
【００２７】
イメージセンサ１０１は、光学系（レンズ、赤外線除去フィルタ、光学的ローパスフィルタ等を含む）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)型の撮像素子が
用いられている。ＣＯＭＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成されている。なお、イメージセンサ１０１として、高速撮像が可能とされたＣＣＤ(Charge Coupled Device) を使用しても良い。
【００２８】
イメージセンサ１０１は、ＮＴＳＣ方式の仕様である通常画面レート（６０ｆｐｓ（フィールド／秒））以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、例えば通常レートの４倍の２４０ｆｐｓとされている。イメージセンサ１０１は、ＣＤＳ（Correlated Double
Sampling）、Ａ／Ｄコンバータ等が内蔵され、イメージセンサ１０１の画素の配列と対応したディジタル撮像信号が出力される。
【００２９】
イメージセンサ１０１は、例えば３原色の撮像信号をそれぞれ出力する３枚の撮像素子を使用し、各撮像素子から４行毎に１行の出力を取り出すことによって、通常の画面レート（６０ｆｐｓ）の４倍の２４０ｆｐｓの画面レートを得ることができる。通常の画面レートの１フレームの画素数が例えば６４０万画素とすると、高速撮像モードでは、１６０万画素とされる。。
【００３０】
図３Ａは、この発明を適用できる色フィルタの配列の例を示す。正方格子状の配列を４５°傾けると共に、ＲおよびＢの各フィルタの周囲の全てをＧフィルタで囲んだ構成とされる。この構成によりＲ・Ｂ成分についての人間の視感度特性上、必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度が高いＧ成分の空間周波数特性を従来のベイヤ配列よりも高めることが可能となる。Ｇ成分は、輝度信号を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ画質が向上する。
【００３１】
図３Ａに示すカラーフィルタ配列においては、画面レートが通常の場合、破線で示すように、１水平期間内に隣接する２行の画素を交互に読み出す方法を基本としている。すなわち、通常撮像モードでは、このようにして順に走査して読出しを行う。
【００３２】
高画面レートの場合には、４水平走査線で１本の割合で走査線が間引かれた読み出しがなされる。高画面レートに対応するために、図３Ｂに示すように、隣接する６列の画素の読み出し出力をＣＨ１〜ＣＨ６とした場合に、１列毎に並んだ３列（ＣＨ１，ＣＨ３，ＣＨ５およびＣＨ２，ＣＨ４，ＣＨ６）毎に共通にＡ／Ｄコンバータを配置して、Ａ／Ｄコンバータによって、例えば１サンプルが１４ビットのディジタルデータに変換される。各画素の列毎にＡ／Ｄコンバータを配置するようにしても良い。さらに、図示を省略するが、Ａ／Ｄコンバータと同様にＣＤＳが配置され、高速の読み出しが可能とされている。なお、イメージセンサ１０１としては、他の構成例えば１枚の撮像素子に対して３原色のフィルタが配置された構成も使用できる。さらに、補色フィルタを使用する撮像素子も使用することができる。
【００３３】
撮像装置２００は、変換処理部２０１、前処理回路２０２、カメラ信号処理回路２０３、表示処理回路２０８、記録デバイス制御回路２１０、記録デバイス１１１、表示部１１２、および制御部２１３を備えている。
【００３４】
変換処理部２０１は、イメージセンサ１０１から受け取ったディジタル画像信号に対して、信号の分流と表示間引きを行う。なお、表示間引きは表示処理回路２０８に出力するときのみ行う。ここで表示間引きとは、撮像装置２００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
【００３５】
前処理回路２０２は、イメージセンサ１０１から出力されたディジタル画像信号に対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路２０３は、前処理回路２０２からの画像信号に対して、ホワイトバランス調整処理等のカメラ信号処理（現像処理、絵作り処理等とも称される）を施す。カメラ信号処理回路２０３の出力信号が表示処理回路２０８に対して供給される。
【００３６】
表示処理回路２０８は、カメラ信号処理回路２０３から受け取った画像信号から、表示部１１２に表示するための画像信号を生成して、この信号を表示部１１２に送り、画像が表示される。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。なお、表示部１１２を、撮像装置２００の外部に設け、表示部１１２の代わりに外部出力のためのインタフェイスを撮像装置２００に設けておいてもよい。
【００３７】
変換処理部２０１に対して接続された記録デバイス制御回路２１０は、記録デバイス１１１に対する画像データの書き込みおよび読み出しを制御する。記録デバイス１１１に対して蓄積されるデータは、前処理回路２０２およびカメラ信号処理回路２０３の処理を受けていない撮像データであり、この明細書では、ＲＡＷデータと称する。
【００３８】
なお、記録デバイス１１１としては、磁気テープ、フラッシュメモリなどの半導体メモリ、ハードディスクなどを使用できる。記録デバイス１１１としては、基本的には脱着不能なものが使用される。但し、記録デバイス１１１を脱着可能としてＲＡＷデータを外部の取り出すようにしても良い。ＲＡＷデータを外部に取り出す場合、好ましくは、前処理回路２０２で処理されたＲＡＷデータが取り出される。外部の例えばパーソナルコンピュータのソフトウェアによってカメラ信号処理がなされる。
【００３９】
制御部２１３は、例えばＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only  Memory ）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。
【００４０】
変換処理部２０１、前処理回路２０２およびカメラ信号処理回路２０３の一例の構成を図４に示す。イメージセンサ１０１（ＣＤＳ、Ａ／Ｄコンバータを含む）からの撮像データが変換処理部２０１に供給される。変換処理部２０１は、スイッチＳＷ１およびＳＷ２、間引き部２２１およびサイズ調整部２２２とからなる。間引き部２２１が表示間引きを行う。サイズ調整部２２２が表示する画像のサイズを適切なものに変更する。間引き部２２１、または間引き部２２１およびサイズ調整部２２２によって高速撮像時のＲＡＷデータの画面レートが通常レートに下げられる。スイッチＳＷ１およびＳＷ２は、記録時と再生時とで切り換えられるもので、記録時に選択される端子をｒで示し、再生時に選択される端子をｐで示す。
【００４１】
変換処理部２０１のサイズ調整部２２２の出力画像信号が前処理回路２０２のシェーディング補正回路２３１に供給される。シェーディング補正回路２３１は、画面周辺の明るさが暗くなるのを補正する。シェーディング補正回路２３１の出力信号がカメラ信号処理回路２０３に供給される。
【００４２】
カメラ信号処理回路２０３は、一例として、入力側から順に、同時化回路２４１、ホワイトバランス補正部２４２、アパーチャ補正部２４３、ガンマ補正部２４４、ＹＣ生成部２４５を備える構成とされている。但し、カメラ信号処理回路２０３の構成は、図４に示すものに限定されず、例えばこれらの構成要素の順序を変更したり、一部の構成要素を省略することも可能である。
【００４３】
同時化回路２４１は、各色成分について欠落している画素を補間する。同時化回路２４１から３原色信号（Ｒ，Ｇ，Ｂ）が並列的に出力される。同時化回路２４１の出力信号がホワイトバランス補正部２４２に供給される。ホワイトバランス補正部２４２は、被写体の色温度環境の違い、そしてセンサー上の色フィルタによる感度の違いによる各色間のアンバランスが補正される。
【００４４】
ホワイトバランス補正部２４２の出力がアパーチャ補正部２４３に供給される。アパーチャ補正部２４３は、信号変化の大きい部分を取り出して強調する輪郭補正である。アパーチャ補正部２４３の出力信号がガンマ補正部２４４に供給される。
【００４５】
ガンマ補正部２４４は、表示部１１２に対して撮像信号を出力した場合に、階調が正しく再現されるように、入出力特性を補正する。ガンマ補正部２４４の出力信号がＹＣ生成部２４５に供給される。
【００４６】
ＹＣ生成部２４５は、輝度信号（Ｙ）および色差信号（Ｃ）をそれぞれ生成する。輝度信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。色差信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。生成された輝度信号および色差信号が表示処理回路２０８を介して表示部１１２に対して供給される。
【００４７】
図２の撮像装置において、高速撮像モード時には、図４に示すように、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｒ側を選択する状態に制御部２１３によって制御される。図５は、高速撮像モードの信号の流れを示している。図５に示すように、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータがスイッチＳＷ１の端子ｒを介して記録デバイス制御回路２１０を介して記録デバイス１１１に対して供給される。ユーザ操作に応じて制御部２１３から高速撮像した画像の記録要求を受け取ると、ＲＡＷデータが記録デバイス１１１に記録される。
【００４８】
また、変換処理部２０１の間引き部２２１によって、ＲＡＷデータが６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされたＲＡＷデータが前処理回路２０２を介してカメラ信号処理回路２０３に供給される。カメラ信号処理回路２０３でカメラ信号処理がなされた信号が表示処理回路２０８を介して表示部１１２に供給され、撮像中の画像が表示部１１２に表示される。
【００４９】
図２の撮像装置において、再生時には、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｐ側を選択する状態に制御部２１３によって制御される。図６は、再生時の信号の流れを示している。図６に示すように、記録デバイス制御回路２１０の制御によって表示部１１２の表示能力にあわせて低画面レート（たとえば６０ｆｐｓ）でＲＡＷデータが記録デバイス１１１から読み出される。読み出されたＲＡＷデータが記録デバイス制御回路２１０から変換処理部２０１のスイッチＳＷ１、ＳＷ２およびサイズ調整部２２２を介して前処理回路２０２に供給される。
【００５０】
前処理回路２０２の出力信号がカメラ信号処理回路２０３および表示処理回路２０８を介して表示部１１２に供給され、表示部１１２によって再生画像が表示される。例えば画面レートのみが変更されている場合では、再生画像は、時間軸が記録時に比して４倍に拡大されたスローモーション再生画像となる。また、撮像時に撮像条件（露光状態等）を４通りに変えた撮像を行い、再生時に４種類の撮像画像（静止画および動画の何れでも良い）を比較することもできる。さらに、記録デバイス１１１の読み出し時に間引きを行ってコマ送りの再生画像を得ることもできる。
【００５１】
次に、図７を参照してこの発明の第２の実施の形態による撮像装置３００について説明する。撮像装置３００では、変換処理部２０１と記録デバイス制御回路２１０の間に圧縮伸張回路３０１が配されている。圧縮伸張回路３０１は、変換処理部２０１からの高画面レートのＲＡＷデータに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式で圧縮符号化処理を行う。圧縮符号化データが記録デバイス制御回路２１０の制御によって記録デバイス１１１に書き込まれる。圧縮伸張の符号化方式として、ＪＰＥＧ以外に２進データに対する符号化方式を使用することができる。
【００５２】
図８が記録時の信号の流れを示している。高速撮像モードで得られた高画面レートのＲＡＷデータが圧縮伸張回路３０１で圧縮符号化され、記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。表示部１１２に対しては、第１の実施の形態と同様に、変換処理部２０１によって、通常画面レートに変換され、前処理回路２０２およびカメラ信号処理回路２０３で処理された画像信号が表示される。
【００５３】
図９に示すように、再生時には、記録デバイス１１１から読み出され、記録デバイス制御回路２１０から供給されたＲＡＷデータの符号化データが圧縮伸張回路３０１にて伸張復号化される。伸張復号化されたＲＡＷデータが変換処理部２０１から前処理回路２０２、カメラ信号処理回路２０３、表示処理回路２０８を介して表示部１１２に供給され、再生画像が表示部１１２に表示される。記録デバイス１１１からの読み出しの速度が通常画面レートのＲＡＷデータが読み出されるように設定される。
【００５４】
次に、図１０を参照してこの発明の第３の実施の形態による撮像装置４００について説明する。撮像装置４００では、撮影中のカメラスルー画像を表示部１１２に表示するために、変換処理部２０１の信号の後段に簡易的な前処理回路４０１と簡易的なカメラ信号処理回路４０２を設ける。「簡易的」は、表示部１１２への表示画像生成のみに特化されていることを意味し、表示画像としては、撮像中の被写体を確認する目的を達成できる程度の画質で良い。例えば前処理回路４０１のＡ／Ｄコンバータの出力データのビット数がより少ないものとされる。また、簡易的な前処理回路４０１を省略しても良い。簡易的な構成によって、高速撮像時に画像をモニタしている時の消費電力、発熱を低減できる。
【００５５】
図１１は、撮像装置４００の記録時の信号の流れを示す。高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの画面レートのＲＡＷデータが変換処理部２０１によって６０ｆｐｓの通常画面レートのＲＡＷデータに変換される。通常画面レートのＲＡＷデータが簡易的な前処理回路４０１および簡易的なカメラ信号処理回路４０２とスイッチＳＷ３の端子ｒを介して表示処理回路２０８に供給され、表示部１１２によって表示される。高速撮像モードにおいて、記録指示が与えられると、高画面レートのＲＡＷデータが記録デバイス制御回路２１０を介して記録デバイス１１１に記録される。
【００５６】
図１２に示すように、再生時には、記録デバイス制御回路２１０から記録デバイス１１１から読み出されたＲＡＷデータが前処理回路２０２に供給され、カメラ信号処理回路２０３においてＲＡＷデータが処理され、スイッチＳＷ３の端子ｐおよび表示処理回路２０８を経由して表示部１１２に送られる。前処理回路２０２およびカメラ信号処理回路２０３は、上述した第１および第２の実施の形態におけるものと同様の構成のものであり、撮像時に比して高品質の再生画像が表示部１１２に表示される。
【００５７】
次に、図１３を参照してこの発明の第４の実施の形態による撮像装置５００について説明する。撮像装置５００では、撮影中のカメラスルー画像を表示部１１２に表示するために、変換処理部２０１の信号の後段に簡易的な前処理回路４０１と簡易的なカメラ信号処理回路４０２を有し、上述した第３の実施の形態と同様に、画像をモニタしている時の消費電力、発熱を低減できる。さらに、記録していない期間に、ＲＡＷデータをメモリ５０２から通常画面レートで読み出し、カメラ信号処理を行って記録デバイス５０５に記録することが可能とされている。
【００５８】
この撮像装置５００においては、変換処理部２０１からのＲＡＷデータがメモリ制御回路５０１を介してメモリ５０２に供給される。メモリ制御回路５０１は、メモリ５０２に対する画像データの書き込みおよび読み込みを制御する。メモリ５０２は、メモリ制御回路５０１から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが使用される。メモリ５０２は、前処理回路２０２およびカメラ信号処理回路２０３の処理能力に合わせてバッファリングを行う。
【００５９】
カメラ信号処理回路２０３の出力信号がスイッチＳＷ４の端子ｒに供給される。スイッチＳＷ４の端子ｐがスイッチＳＷ３の端子ｐと共通接続されている。スイッチＳＷ４は、記録デバイス制御回路５０４と接続されている。記録デバイス制御回路５０４に対して記録デバイス５０５が接続されている。
【００６０】
記録デバイス制御回路５０４は、記録デバイス５０５に対するスイッチＳＷ４からの画像データの書き込みおよび読み込みを制御する。記録デバイス５０５に対して蓄積されるデータは、前処理回路２０２およびカメラ信号処理回路２０３の処理を受けた輝度信号および色差信号である。記録デバイス５０５は、磁気テープ、フラッシュメモリなどの半導体メモリ、記録可能な光ディスク、ハードディスクなどを使用できる。記録デバイス５０５としては、基本的には脱着可能なものが適用されるが、脱着不能として、記録したデータを通信インタフェイスを介して外部に出力できるようにしても良い。
【００６１】
図１４は、撮像装置５００の記録時の信号の流れを示す。高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓの画面レートのＲＡＷデータが変換処理部２０１によって６０ｆｐｓの通常画面レートのＲＡＷデータに変換される。通常画面レートのＲＡＷデータが簡易的な前処理回路４０１および簡易的なカメラ信号処理回路４０２とスイッチＳＷ３の端子ｒを介して表示処理回路２０８に供給され、表示部１１２によって表示される。高速撮像モードにおいて、記録指示が与えられると、高画面レートのＲＡＷデータがメモリ制御回路５０１を介してメモリ５０２に記録される。
【００６２】
高速撮像モードにおける記録休止期間例えば記録ボタンから手を離している記録スタンバイ状態において、メモリ５０２からＲＡＷデータが読み出され、読み出されたＲＡＷデータが前処理回路２０２およびカメラ信号処理回路２０３で処理され、カメラ信号処理回路２０３の出力信号がスイッチＳＷ４の端子ｒおよび記録デバイス制御回路５０４を介して記録デバイス５０５に記録される。メモリ５０２からＲＡＷデータは、通常画面レートの６０ｆｐｓまたはそれ以下のレートで読み出される。
【００６３】
図１５に示すように、再生時には、記録デバイス５０５から読み出された通常画面レートのＲＡＷデータが記録デバイス制御回路５０４、スイッチＳＷ４の端子ｐおよび表示処理回路２０８を経由して表示部１１２に送られる。表示部１１２によって記録デバイス５０５の再生画像が表示される。かかる撮像装置５００では、前述した実施の形態と比較して再生時にカメラ信号処理を行うことが不要となり、再生時の消費電力を節減できる。
【００６４】
この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、第３の実施の形態による撮像装置４００（図１０）における記録デバイス１１１、または第４の実施の形態による撮像装置５００（図１３）におけるメモリ５０２または記録デバイス５０５に格納されるデータを圧縮するようにしても良い。
【００６５】
また、この発明は、カムコーダ、ディジタルスチルカメラに限らず、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能を持つ装置に適用可能である。また
、パーソナルコンピュータなどに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、この発明を適用することができる。
【図面の簡単な説明】
【００６６】
【図１】先に提案されている撮像装置の一例のブロック図である。
【図２】この発明の第１の実施の形態による撮像装置のブロック図である。
【図３】この発明を適用できるイメージセンサの一例の説明に用いる略線図である。
【図４】この発明の第１の実施の形態の一部のより詳細な構成を示すブロック図である。
【図５】この発明の第１の実施の高速撮像モードにおけるデータフロー図である。
【図６】この発明の第１の実施の画像再生時におけるデータフロー図である。
【図７】この発明の第２の実施の形態による撮像装置のブロック図である。
【図８】この発明の第２の実施の高速撮像モードにおけるデータフロー図である。
【図９】この発明の第２の実施の画像再生時におけるデータフロー図である。
【図１０】この発明の第３の実施の形態による撮像装置のブロック図である。
【図１１】この発明の第３の実施の高速撮像モードにおけるデータフロー図である。
【図１２】この発明の第３の実施の画像再生時におけるデータフロー図である。
【図１３】この発明の第４の実施の形態による撮像装置のブロック図である。
【図１４】この発明の第４の実施の高速撮像モードにおけるデータフロー図である。
【図１５】この発明の第４の実施の画像再生時におけるデータフロー図である。
【符号の説明】
【００６７】
１００，２００、３００，４００，５００・・・撮像装置
１０１・・・イメージセンサ
１０２，２０２・・・前処理回路
１０３，２０３・・・カメラ信号処理回路
１０４，２０１・・・変換処理部
１０５、１０９，３０１・・・圧縮伸張回路
１０６，５０１・・・メモリ制御回路
１０７，５０２・・・メモリ
１０８，２０８・・・表示処理回路
１１１，５０５・・・記録デバイス
１１２・・・表示部
１１３，２１３・・・制御部
４０１・・・簡易前処理回路
４０２・・・簡易カメラ信号処理回路
【図１】
2008113126.tif 000003
【図２】
2008113126.tif 000004
【図３】
2008113126.tif 000005
【図４】
2008113126.tif 000006
【図５】
2008113126.tif 000007
【図６】
2008113126.tif 000008
【図７】
2008113126.tif 000009
【図８】
2008113126.tif 000010
【図９】
2008113126.tif 000011
【図１０】
2008113126.tif 000012
【図１１】
2008113126.tif 000013
【図１２】
2008113126.tif 000014
【図１３】
2008113126.tif 000015
【図１４】
2008113126.tif 000016
【図１５】
2008113126.tif 000017