(57)【要約】  【課題】カメラ信号処理回路の加工用パラメータが異なる複数の動画データを一度の高速撮像によって得る。  【解決手段】高速撮像モード時には、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータがカメラ信号処理回路１０３に供給される。カメラ信号処理回路１０３のパラメータが２４０ｆｐｓのＲＡＷデータのフレーム切り換えと同期して切り換わる。６０ｆｐｓの画像のそれぞれが異なるパラメータによって加工され、加工後の画像データがが圧縮伸張回路１０５で圧縮され、メモリ１０７に対して書き込まれる。画像データの書き込み時または読み出し時に、加工後の画像データから４個の動画データが形成される。選択された動画データがメモリ１０７から読み出され、圧縮伸張回路１０５で伸張され、変換処理部１０４および表示処理回路１０８を介して表示部１１２に表示される。【選択図】図１
2008124671.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子から得られた第１の画面レートの撮像データに対して画像加工を施すカメラ信号処理手段と、
上記カメラ信号処理手段により加工された上記第１の画面レートの画像データを圧縮する第１の圧縮符号化手段と、
上記第１の圧縮符号化手段により符号化された画像データを一時的に記憶する一時記憶手段と、
所定時間の間に撮影された画像データを上記第１の画面レートより低い第２の画面レートで上記一時記憶手段から読み出し、読み出された画像データを伸張する復号化手段と、
上記復号化手段によって伸張された画像データを圧縮する第２の圧縮符号化手段と、
上記第２の圧縮符号化手段により符号化された画像データを記憶する記憶手段と、
加工用パラメータが１乃至複数の画像毎に時分割で切り換わるように、上記カメラ信号処理手段を制御する制御手段と
を有する撮像装置。
【請求項２】
上記一時記憶手段および上記記憶手段の少なくとも一方が装着、離脱可能とされた請求項１記載の撮像装置。
【請求項３】
上記一時記憶手段から上記第２の画面レートで読み出された上記所定時間の間に撮影された画像データを表示する表示手段をさらに有する請求項１記載の撮像装置。
【請求項４】
上記一時記憶手段に対する上記所定時間の間に撮影された画像データを書き込む時、または上記一時記憶手段から上記画像データを読み出す時に、上記一時記憶手段を制御することによって、上記画像データから複数の動画データを形成する請求項１記載の撮像装置。
【請求項５】
上記第１の画面レートが上記第２の画面レートのＮ倍（Ｎは２以上の整数）であり、
上記第１の画面レートの撮像データの時間的に連続するＮ枚の各画像ごとに上記カメラ信号処理手段の上記加工用パラメータが設定可能に制御され、Ｎ個の上記動画データが形成される請求項４記載の撮像装置。
【請求項６】
上記記憶手段に対して上記複数の動画データの内の選択された上記動画データを記憶する請求項４記載の撮像装置。
【請求項７】
固体撮像素子から得られた第１の画面レートの撮像データに対して画像加工を施すカメラ信号処理ステップと、
上記カメラ信号処理ステップにより加工された上記第１の画面レートの画像データを圧縮する第１の圧縮符号化ステップと、
上記第１の圧縮符号化ステップにより符号化された画像データを一時的に記憶する一時記憶ステップと、
所定時間の間に撮影された画像データを上記第１の画面レートより低い第２の画面レートで上記一時記憶ステップから読み出し、読み出された画像データを伸張する復号化ステップと、
上記復号化ステップによって伸張された画像データを圧縮する第２の圧縮符号化ステップと、
上記第２の圧縮符号化ステップにより符号化された画像データを記憶する記憶ステップと、
加工用パラメータが１乃至複数の画像毎に時分割で切り換わるように、上記カメラ信号処理ステップを制御する制御ステップと
を有する撮像方法。
【請求項８】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換手段と、
上記変換手段または上記記録媒体制御手段からの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
上記カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と、
上記固体撮像素子のパラメータが１乃至複数の画像毎に時分割で切り換わるように、上記固体撮像素子を制御する制御手段と
を有する撮像装置。
【請求項９】
上記固体撮像素子のパラメータが電子シャッターのシャッター速度である請求項８記載の撮像装置。
【請求項１０】
上記記録媒体が装着、離脱可能とされた請求項８記載の撮像装置。
【請求項１１】
上記記録媒体に対して上記撮像データを書き込む時、または上記記録媒体から上記撮像データを読み出す時に、上記記録媒体制御手段を制御することによって、上記撮像データから複数の動画撮像データを形成する請求項８記載の撮像装置。
【請求項１２】
上記第１の画面レートが上記第２の画面レートのＮ倍（Ｎは２以上の整数）であり、
上記第１の画面レートの撮像データの時間的に連続するＮ枚の各画像ごとに上記固体撮像素子のパラメータが設定可能に制御され、Ｎ個の上記動画撮像データが形成される請求項１１記載の撮像装置。
【請求項１３】
上記記録媒体に記録される撮像データを圧縮符号化し、上記記録媒体から読み出される撮像データを伸張復号化する圧縮伸張手段をさらに有する請求項８記載の撮像装置。
【請求項１４】
固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、上記記録媒体から上記第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
上記固体撮像素子からの上記第１の画面レートの撮像データを上記第２の画面レートの撮像データへ変換する変換ステップと、
上記変換ステップまたは上記記録媒体制御ステップからの上記第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
上記カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと、
上記固体撮像素子のパラメータが１乃至複数の画像毎に時分割で切り換わるように、上記固体撮像素子を制御する制御ステップと
を有する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置および撮像方法に関し、特に、動画撮影時に、撮影条件を異ならせた複数の動画撮像信号を得るようにした撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、ディジタルスチルカメラにおいて、撮影時に異なる撮像条件を順次適用した複数の撮影画像を連続的に取り込むオートブラケット機能（以下の説明では、ブラケット撮影と称する）が知られている。例えば自動的に露出をずらして３枚の連写がなされる。連写により撮影された各画像がメモリに保存され、撮影後に３枚の画像の中から最も好ましいものが選択される。下記の特許文献１には、ブラケット撮影と撮像条件を自動的に設定する撮像モードとをユーザが切り換えることを可能としたものが記載されている。
【０００３】
【特許文献１】特開２００６−０５０３３６号公報
【０００４】
また、下記の特許文献２には、ブラケット撮影により得られる複数枚の画像のそれぞれについて撮像条件を個別に設定することが可能な撮像装置が記載されている。
【０００５】
【特許文献２】特開２００６−２５４３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した先に提案されている撮像装置のブラケット撮影は、静止画像の撮影に適用されるものであって、動画撮影に対するものではなかった。従来の撮像装置は、撮像した画像を毎秒６０枚出力するので、若し、４通りの動画撮像を行う場合には、毎秒１５枚の画像のレートとなり、動きによる画像劣化が生じる。したがって、従来の撮像装置において動画に対してブラケット撮影を行いたい場合には、特定の撮像条件で撮影後に、撮像条件を変更して再度撮影する必要があった。この方法は、撮影を複数回繰り返す作業が面倒であり、被写体が動くものである場合には、同じ撮像画像を得ることができない問題があった。
【０００７】
したがって、この発明の目的は、動画に対してブラケット撮影が可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
この発明は、上述した問題を解決するために、固体撮像素子から得られた第１の画面レートの撮像データに対して画像加工を施すカメラ信号処理手段と、
カメラ信号処理手段により加工された第１の画面レートの画像データを圧縮する第１の圧縮符号化手段と、
第１の圧縮符号化手段により符号化された画像データを一時的に記憶する一時記憶手段と、
所定時間の間に撮影された画像データを第１の画面レートより低い第２の画面レートで一時記憶手段から読み出し、読み出された画像データを伸張する復号化手段と、
復号化手段によって伸張された画像データを圧縮する第２の圧縮符号化手段と、
第２の圧縮符号化手段により符号化された画像データを記憶する記憶手段と、
加工用パラメータが１乃至複数の画像毎に時分割で切り換わるように、カメラ信号処理手段を制御する制御手段と
を有する撮像装置である。
【０００９】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データに対して画像加工を施すカメラ信号処理ステップと、
カメラ信号処理ステップにより加工された第１の画面レートの画像データを圧縮する第１の圧縮符号化ステップと、
第１の圧縮符号化ステップにより符号化された画像データを一時的に記憶する一時記憶ステップと、
所定時間の間に撮影された画像データを第１の画面レートより低い第２の画面レートで一時記憶ステップから読み出し、読み出された画像データを伸張する復号化ステップと、
復号化ステップによって伸張された画像データを圧縮する第２の圧縮符号化ステップと、
第２の圧縮符号化ステップにより符号化された画像データを記憶する記憶ステップと、
加工用パラメータが１乃至複数の画像毎に時分割で切り換わるように、カメラ信号処理ステップを制御する制御ステップと
を有する撮像方法である。
【００１０】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御手段と、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換手段と、
変換手段または記録媒体制御手段からの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理手段と、
カメラ信号処理手段からの画像信号から表示用の画像信号を生成する表示処理手段と、
固体撮像素子のパラメータが１乃至複数の画像毎に時分割で切り換わるように、固体撮像素子を制御する制御手段と
を有する撮像装置である。
【００１１】
この発明は、固体撮像素子から得られた第１の画面レートの撮像データを記録媒体に記録し、記録媒体から第１の画面レートより低い第２の画面レートで撮像データを読み出す記録媒体制御ステップと、
固体撮像素子からの第１の画面レートの撮像データを第２の画面レートの撮像データへ変換する変換ステップと、
変換ステップまたは記録媒体制御ステップからの第２の画面レートの撮像データに対しカメラ信号処理を行うカメラ信号処理ステップと、
カメラ信号処理ステップからの画像信号から表示用の画像信号を生成する表示処理ステップと、
固体撮像素子のパラメータが１乃至複数の画像毎に時分割で切り換わるように、固体撮像素子を制御する制御ステップと
を有する撮像方法である。
【発明の効果】
【００１２】
この発明の撮像装置によれば、カメラ信号処理の加工用パラメータが異なる複数の動画データを１回の撮像によって得ることができ、撮像後に直ちに所望の動画データを決定することができる。この発明では、複数の動画データの画面レートが例えば通常の６０ｆｐｓであり、表示した場合の画質劣化が生じない利点がある。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の第１の実施の形態を図面を参照して詳細に説明する。図１に示すように、第１の実施の形態に係る撮像装置１００に対して、イメージセンサ１０１からの撮像信号が供給される。撮像装置１００は、イメージセンサ１０１、前処理回路１０２、カメラ信号処理回路１０３、変換処理部１０４、第１の圧縮符号化および復号化手段としての圧縮伸張回路１０５、メモリ制御回路１０６、一時記憶手段としてのメモリ１０７、表示処理回路１０８、第２の圧縮符号化および復号化手段としての圧縮伸張回路１０９、記録デバイス制御回路１１０、記憶手段としての記録デバイス１１１、表示部１１２、および制御部１１３を備えている。
【００１４】
イメージセンサ１０１は、光学系（レンズ、赤外線除去フィルタ、光学的ローパスフィルタ等を含む）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor) 型の撮像素子が用いられている。ＣＯＭＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成されている。なお、イメージセンサ１０１として、高速撮像が可能とされたＣＣＤ(Charge Coupled Device) を使用しても良い。
【００１５】
イメージセンサ１０１は、ＮＴＳＣ方式の仕様である通常画面レート（６０ｆｐｓ（フィールド／秒））以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、通常レートのＮ倍（Ｎは２以上の整数）例えば４倍の２４０ｆｐｓとされている。
【００１６】
イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）等のアナログフロントエンド、並びにＡ／Ｄコンバータが内蔵され、イメージセンサ１０１の画素の配列と対応したディジタル撮像信号が出力される。イメージセンサ１０１が出力するディジタル撮像信号は、前処理回路１０２およびカメラ信号処理回路１０３の処理を受けていないデータであり、この明細書では、ＲＡＷデータと称する。
【００１７】
イメージセンサ１０１は、例えば３原色の撮像信号をそれぞれ出力する３枚の撮像素子を使用し、各撮像素子から４行毎に１行の出力を取り出すことによって、通常の画面レート（６０ｆｐｓ）の４倍の２４０ｆｐｓの画面レートを得ることができる。通常の画面レートの１フレームの画素数が例えば６４０万画素とすると、高速撮像モードでは、１６０万画素とされる。
【００１８】
図２Ａは、この発明を適用できる色フィルタの配列の例を示す。正方格子状の配列を４５°傾けると共に、ＲおよびＢの各フィルタの周囲の全てをＧフィルタで囲んだ構成とされる。この構成によりＲ・Ｂ成分についての人間の視感度特性上、必要十分な空間周波数特性が得られながらも、これらの成分より人間の感度が高いＧ成分の空間周波数特性を従来のベイヤ配列よりも高めることが可能となる。Ｇ成分は、輝度信号を生成する上で主成分となるものであり、これにより無彩色の被写体だけでなく、有彩色の被写体に対する輝度の解像度が高められ画質が向上する。なお、この発明は、図２Ａに示す色フィルタの配列以外の一般的な正方格子配列を含む種々の色フィルタの配列を有するイメージセンサを使用するようにしても良い。
【００１９】
図２Ａに示すカラーフィルタ配列においては、画面レートが通常の場合、破線で示すように、１水平期間内に隣接する２行の画素を交互に読み出す方法を基本としている。すなわち、通常撮像モードでは、このようにして順に走査して読出しを行う。
【００２０】
高画面レートの場合には、４水平走査線で１本の割合で走査線が間引かれた読み出しがなされる。高画面レートに対応するために、図２Ｂに示すように、隣接する６列の画素の読み出し出力をＣＨ１〜ＣＨ６とした場合に、１列毎に並んだ３列（ＣＨ１，ＣＨ３，ＣＨ５およびＣＨ２，ＣＨ４，ＣＨ６）毎に共通にＡ／Ｄコンバータを配置して、Ａ／Ｄコンバータによって、例えば１サンプルが１４ビットのディジタルデータに変換される。各画素の列毎にＡ／Ｄコンバータを配置するようにしても良い。さらに、図示を省略するが、Ａ／Ｄコンバータと同様にＣＤＳが配置され、高速の読み出しが可能とされている。なお、イメージセンサ１０１としては、他の構成例えば１枚の撮像素子に対して３原色のフィルタが配置された構成も使用できる。さらに、補色フィルタを使用する撮像素子も使用することができる。
【００２１】
前処理回路１０２は、イメージセンサ１０１から出力されたＲＡＷデータに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路１０３は、前処理回路１０２からの撮像データに対して、ホワイトバランス調整処理等のカメラ信号処理（加工処理、現像処理、絵作り処理等とも称される）を施す。
【００２２】
変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を表示部１１２の表示に適合した画面レートおよび画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理回路１０８に出力するときのみ行う。ここで表示間引きとは、撮像装置１００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
【００２３】
圧縮伸張回路１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御回路１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御回路１０６は、メモリ１０７に対する画像データの書き込みおよび読み込みを制御する。メモリ１０７は、メモリ制御回路１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First In First Out）方式のバッファメモリであり、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などが使用される。
【００２４】
表示処理回路１０８は、変換処理部１０４または圧縮伸張回路１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。
【００２５】
圧縮伸張回路１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving Picture Experts Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理回路１０８に出力する。表示部１１２は、表示処理回路１０８から受け取った動画を表示する。
【００２６】
制御部１１３は、例えば、ＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory ）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。通常、制御部１１３は、撮像装置１００の一部の構成要素として設けられている。
【００２７】
なお、ＭＰＥＧ符号化した画像データを保存する記録デバイス１１１としては、磁気テープ、フラッシュメモリなどの半導体メモリ、記録可能な光ディスク、ハードディスクなどを使用できる。記録デバイス１１１としては、基本的には脱着、離脱可能なものが適用されるが、脱着不能として、記録したデータを通信インタフェイスを介して外部に出力できるようにしても良い。
【００２８】
図１の撮像装置において、高速撮像モードでは、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータが前処理回路１０２を介してカメラ信号処理回路１０３に供給される。カメラ信号処理回路１０３において、後述するように、カメラ信号処理の加工用パラメータが６０ｆｐｓの第１、第２、第３および第４のＲＡＷデータ毎に変更される。カメラ信号処理回路１０３の出力画像信号が変換処理部１０４において、６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされた画像信号が表示処理回路１０８に供給され、表示処理回路１０８が表示部１１２に表示させるための画像信号を生成して、この信号を表示部１１２に送り、画像を表示させる。
【００２９】
ユーザ操作に応じて制御部１１３から高速撮像した画像の記録要求を受け取ると、変換処理部１０４が圧縮伸張回路１０５に対しても２４０ｆｐｓの画像信号を送る。変換処理部１０４は、カメラ信号処理回路１０３から受け取った画像信号を、必要に応じて縮小して、圧縮伸張回路１０５へ送る。
【００３０】
圧縮伸張回路１０５は、変換処理部１０４から画像信号をＪＰＥＧ形式で圧縮符号化する。メモリ制御回路１０６は、圧縮伸張回路１０５からの符号化データをメモリ１０７に一時記憶する。このようにして、メモリ１０７には一定時間分の画像データが蓄積される。
【００３１】
メモリ１０７が記憶した画像データで一杯になると、高速撮像モードでの撮像および記録を自動的に停止し、データ再生および記録デバイス１１１への記録を行うモードに切り換わる。すなわち、メモリ制御回路１０６は、メモリ１０７に一時記憶した符号化データの読み出し要求を制御部１１３から受け取ると、メモリ１０７に記憶されている符号化データを６０ｆｐｓで読み出して圧縮伸張回路１０５へ送る。このとき、画像信号の間引きは行わない。圧縮伸張回路１０５は、メモリ制御回路１０６から符号化データを伸張復号化し、復号データを変換処理部１０４へ送る。
【００３２】
変換処理部１０４は、制御部１１３から記録デバイス１１１への記録要求を受け取ると、圧縮伸張回路１０５から受け取った画像信号を圧縮伸張回路１０９へ送る。圧縮伸張回路１０９は、変換処理部１０４から受け取った画像信号を、ＭＰＥＧ形式で圧縮し、圧縮符号化された信号を記録デバイス制御回路１１０を介して記録デバイス１１１へ記憶する。変換処理部１０４は、圧縮伸張回路１０５から６０ｆｐｓで受け取った画像信号をサイズ調整し、表示処理回路１０８へ送り、表示部１１２に再生画像が表示される。
【００３３】
前処理回路１０２およびカメラ信号処理回１０３の一例の構成を図３に示す。イメージセンサ１０１（ＣＤＳ、Ａ／Ｄコンバータを含む）からのＲＡＷデータが前処理回路１０２のシェーディング補正回路２３１に供給される。シェーディング補正回路２３１は、画面周辺の明るさが暗くなるのを補正する。シェーディング補正回路２３１の出力信号がカメラ信号処理回路１０３に供給される。
【００３４】
カメラ信号処理回路１０３は、一例として、入力側から順に、ゲイン補正回路２４０、同時化回路２４１、ホワイトバランス補正部２４２、アパーチャ補正部２４３、ガンマ補正部２４４、ＹＣ生成部２４５を備える構成とされている。ＹＣ生成部２４５の出力に輝度信号（Ｙ）および色差信号（Ｃ）からなる画像信号が出力される。但し、カメラ信号処理回路２０３の構成は、図３に示すものに限定されず、例えばこれらの構成要素の順序を変更したり、一部の構成要素を省略することも可能である。
【００３５】
ゲイン補正回路２４０は、ＲＡＷデータのゲインを補正する。ゲイン補正回路２４０のゲインを高くすれば、ＲＡＷデータの振幅が大きくなり、撮像画像が明るいものとされ、ゲインを低くすれば、ＲＡＷデータの振幅が小さくなり、撮像画像が暗いいものとされる。
【００３６】
同時化回路２４１は、各色成分について欠落している画素を補間する。同時化回路２４１から３原色信号（Ｒ，Ｇ，Ｂ）が並列的に出力される。同時化回路２４１の出力信号がホワイトバランス補正部２４２に供給される。ホワイトバランス補正部２４２は、被写体の色温度環境の違い、そしてセンサー上の色フィルタによる感度の違いによる各色間のアンバランスが補正される。
【００３７】
ホワイトバランス補正部２４２の出力がアパーチャ補正部２４３に供給される。アパーチャ補正部２４３は、信号変化の大きい部分を取り出して強調する輪郭補正である。アパーチャ補正部２４３の出力信号がガンマ補正部２４４に供給される。
【００３８】
ガンマ補正部２４４は、表示部１１２に対して撮像信号を出力した場合に、階調が正しく再現されるように、入出力特性を補正する。ガンマ補正部２４４の出力信号がＹＣ生成部２４５に供給される。
【００３９】
ＹＣ生成部２４５は、輝度信号（Ｙ）および色差信号（Ｃ）をそれぞれ生成する。輝度信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。色差信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。生成された輝度信号および色差信号が表示処理回路１０８を介して表示部１１２に対して供給される。
【００４０】
ゲイン補正回路２４０のゲイン、ホワイトバランス補正部２４２の各色間のバランスを決める係数、アパーチャ補正部２４３の輪郭強調の程度、ガンマ補正部２４４の入出力特性がカメラ信号処理回路１０３の画像加工用のパラメータである。カメラ信号処理回路１０３の加工用パラメータがＮ（この例ではＮ＝４）枚の各画像毎に設定可能とされる。但し、これらの全ての構成要素のパラメータを制御する必要はなく、少なくとも一つの加工用パラメータが制御される。パラメータの制御は、ＲＡＷデータと同期して制御部１１３によって制御される。
【００４１】
図４は、カメラ信号処理回路１０３のパラメータの制御を示す。参照符号１２１で示すように、カメラ信号処理回路１０３のパラメータが制御部１１３の制御によって切り換えられ、２４０ｆｐｓのＲＡＷデータのフレーム切り換えと同期して４相で時分割多重されたパラメータＡ、パラメータＢ、パラメータＣ、パラメータＤが発生する。パラメータＡ〜Ｄは、例えばゲイン補正回路２４０のゲインである。実際には、ゲイン補正回路２４０に対してパラメータＡ〜Ｄを指定するゲイン指示信号が供給され、ゲイン補正回路２４０がゲイン指示信号に応じたゲインを持つように制御される。カメラ信号処理回路１０３に入力されるＲＡＷデータ１２２（６０ｆｐｓの画像Ａ，Ｂ，Ｃ，Ｄが繰り返す）の処理例えばゲイン補正が対応するパラメータＡ〜Ｄによってそれぞれなされる。
【００４２】
これらのパラメータＡ〜Ｄは、予めユーザによって設定されている。パラメータＡ〜Ｄの内の一つ例えばパラメータＡが標準値とされている。標準値は、撮像装置１００の制御部１１３が画像信号のレベルに応じて自動的に設定する最適値である。他のパラメータＢ，ＣおよびＤは、互いに異なる値に設定されたものである。例えばパラメータＢは、パラメータＡによって指示されるゲインの２／３のゲインを指示する信号であり、パラメータＣは、パラメータＡによって指示されるゲインの５／４のゲインを指示する信号であり、パラメータＤは、パラメータＡによって指示されるゲインの３／２のゲインを指示する信号である。
【００４３】
なお、パラメータＡ〜Ｄが同一の制御対象を制御するものである必要はなく、パラメータＡが全てのパラメータの標準値であり、パラメータＢがゲインのみを標準値に対して変更したものであり、パラメータＣがホワイトバランス補正のみを標準値に対して変更したものであり、パラメータＤがアパーチャ補正のみを標準値に対して変更したものであっても良い。ユーザがパラメータＡ〜Ｄを所望の値に設定する場合には、例えば表示部１１２にパラメータ設定用の画面を表示し、ユーザが画面を見ながらパラメータを所望のものに設定することができる。さらに、パラメータＡ〜Ｄの少なくとも２以上の値を予め組み合わせたパラメータセットを複数通り用意しておき、その中の所望のパラメータセットを選択的にＲＡＷデータに対して適用するようにしても良い。例えば被写体、撮影環境等に応じて複数の撮像モードが設定可能とされ、撮像モードに対応してパラメータセットが選択される。
【００４４】
６０ｆｐｓの画像Ａ〜ＤのそれぞれがパラメータＡ〜Ｄによって加工され、加工後の画像データ１２３がカメラ信号処理回路１０３から発生する。例えば画像ＡがパラメータＡによって加工されて画像データ（Ｙ11，Ｃｒ11，Ｃｂ11）が得られ、画像ＢがパラメータＢによって加工されて画像データ（Ｙ12，Ｃｒ12，Ｃｂ12）が得られ、画像ＣがパラメータＣによって加工されて画像データ（Ｙ13，Ｃｒ13，Ｃｂ13）が得られ、画像ＤがパラメータＤによって加工されて画像データ（Ｙ14，Ｃｒ14，Ｃｂ14）が得られる。次に、同様にパラメータＡ〜Ｄによって加工された画像データ（Ｙ21，Ｃｒ21，Ｃｂ21）（Ｙ22，Ｃｒ22，Ｃｂ22）（Ｙ23，Ｃｒ23，Ｃｂ23）（Ｙ24，Ｃｒ24，Ｃｂ24）が得られる。
【００４５】
カメラ信号処理回路１０３によって加工された画像データが圧縮伸張回路１０５で圧縮され、メモリ制御回路１０６の制御によってメモリ１０７に対して書き込まれる。メモリ１０７に対する画像データの書き込み時またはメモリ１０７からの画像データの読み出し時に、アドレス制御によって加工後の画像データから４個の動画データ１２４Ａ，１２４Ｂ，１２４Ｃ，１２４Ｄが形成される。
【００４６】
動画データ１２４Ａ〜１２４Ｄの内の例えば動画データ１２４Ａが６０ｆｐｓでメモリ１０７から読み出され、圧縮伸張回路１０５で伸張され、変換処理部１０４および表示処理回路１０８を介して表示部１１２に表示される。表示部１１２上には、パラメータＡで加工された動画が表示される。同様に、パラメータＢ，Ｃ，Ｄのそれぞれによって加工された動画データ１２４Ｂ，１２４Ｃ，１２４Ｄのそれぞれが表示部１１２上に表示される。
【００４７】
このように、メモリ１０７に対して異なるパラメータによって加工された４個の動画データを保存でき、表示部１１２上に異なるパラメータによって加工された４個の動画を順次表示することができ、ユーザは、表示された動画を見て最も好ましいと思う動画を判定し、当該動画データを選択することができる。４個の動画を表示する場合に、画像を縮小して１画面を分割した４個の画面のそれぞれに４個の動画を同時に表示するようにしても良い。
【００４８】
選択された動画データが圧縮伸張回路１０９によって圧縮され、記録デバイス制御回路１１０を介して記録デバイス１１１に対して記録される。記録された動画データは、６０ｆｐｓであり、例えば記録デバイス１１１を取り外して他の再生装置によって再生した場合に、通常の表示装置上に再生画像を表示することができる。記録デバイス１１１の容量に余裕があれば、記録デバイス１１１に対して２以上の異なる動画データを記録するようにしても良い。
【００４９】
次に、この発明の他の実施の形態について説明する。図５に示すように、他の実施の形態に係る撮像装置２００に対して、イメージセンサ１０１からの撮像信号が供給される。
【００５０】
イメージセンサ１０１は、一実施の形態におけるイメージセンサと同様のものである。すなわち、イメージセンサ１０１は、ＮＴＳＣ方式の仕様である通常画面レート（６０ｆｐｓ（フィールド／秒））以上の第１の画面レート（フレームレートとも称される）で高速に信号を読み出す高速撮像モードと、通常の第２の画面レートで信号を読み出す通常撮像モードとが切り換え可能とされている。高速撮像モードの画面レートは、例えば通常レートの４倍の２４０ｆｐｓとされている。イメージセンサ１０１は、ＣＤＳ（Correlated Double Sampling）、Ａ／Ｄコンバータ等のアナログフロントエンドが内蔵され、イメージセンサ１０１の画素の配列と対応したディジタル撮像信号が出力される。
【００５１】
イメージセンサ１０１は、上述したように、３枚の撮像素子を使用した構成、図２示すような色フィルタの配列を有し、また、アナログフロントエンドおよびＡ／Ｄコンバータを内蔵している構成を有する。また、図２に示す色フィルタの配列以外の配列を有するイメージセンサを使用することができる。
【００５２】
撮像装置２００は、変換処理部２０１、前処理回路２０２、カメラ信号処理回路２０３、表示処理回路２０８、記録デバイス制御回路２１０、記録デバイス１１１、表示部１１２、および制御部２１３を備えている。
【００５３】
変換処理部２０１は、イメージセンサ１０１から受け取ったＲＡＷデータに対して、信号の分流と表示間引きを行う。なお、表示間引きは表示処理回路２０８に出力するときのみ行う。ここで表示間引きとは、撮像装置２００が高速撮像モードのときに映し出す表示装置の表示規格で規定されている単位時間あたりのフィールド数（ここでは６０ｆｐｓ）に合うように、フィールドを間引くことである。
【００５４】
前処理回路２０２は、イメージセンサ１０１から出力されたディジタル画像信号に対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。カメラ信号処理回路２０３は、前処理回路２０２からの画像信号に対して、ホワイトバランス調整処理等のカメラ信号処理（加工処理、現像処理、絵作り処理等とも称される）を施す。カメラ信号処理回路２０３の出力信号が表示処理回路２０８に対して供給される。
【００５５】
表示処理回路２０８は、カメラ信号処理回路２０３から受け取った画像信号から、表示部１１２に表示するための画像信号を生成して、この信号を表示部１１２に送り、画像が表示される。表示部１１２は、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータを再生した画像などを表示する。なお、表示部１１２を、撮像装置２００の外部に設け、表示部１１２の代わりに外部出力のためのインタフェイスを撮像装置２００に設けておいてもよい。
【００５６】
変換処理部２０１に対して接続された記録デバイス制御回路２１０は、記録デバイス１１１に対する画像データの書き込みおよび読み出しを制御する。記録デバイス１１１に対して蓄積されるデータは、前処理回路２０２およびカメラ信号処理回路２０３の処理を受けていないＲＡＷデータである。
【００５７】
なお、記録デバイス１１１としては、磁気テープ、フラッシュメモリなどの半導体メモリ、ハードディスクなどを使用できる。記録デバイス１１１としては、基本的には脱着不能なものが使用される。但し、記録デバイス１１１を脱着可能としてＲＡＷデータを外部の取り出すようにしても良い。ＲＡＷデータを外部に取り出す場合、好ましくは、前処理回路２０２で処理されたＲＡＷデータが取り出される。外部の例えばパーソナルコンピュータのソフトウェアによってカメラ信号処理（画像加工）がなされる。
【００５８】
制御部２１３は、例えばＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコンピュータであり、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。制御部２１３は、撮像装置２００の一部の構成要素として備えられている。制御部２１３は、イメージセンサ１０１のパラメータを制御するようになされている。他の実施の形態では、イメージセンサ１０１の電子シャッターのシャッター速度を制御するようになされている。
【００５９】
変換処理部２０１、前処理回路２０２およびカメラ信号処理回路２０３の一例の構成を図６に示す。イメージセンサ１０１（ＣＤＳ、Ａ／Ｄコンバータを含む）からの撮像データが変換処理部２０１に供給される。変換処理部２０１は、スイッチＳＷ１およびＳＷ２、間引き部２２１およびサイズ調整部２２２とからなる。間引き部２２１が表示間引きを行う。サイズ調整部２２２が表示する画像のサイズを適切なものに変更する。間引き部２２１、または間引き部２２１およびサイズ調整部２２２によって高速撮像時のＲＡＷデータの画面レートが通常レートに下げられる。スイッチＳＷ１およびＳＷ２は、記録時と再生時とで切り換えられるもので、記録時に選択される端子をｒで示し、再生時に選択される端子をｐで示す。
【００６０】
変換処理部２０１のサイズ調整部２２２の出力画像信号が前処理回路２０２のシェーディング補正回路２３１に供給される。シェーディング補正回路２３１は、画面周辺の明るさが暗くなるのを補正する。シェーディング補正回路２３１の出力信号がカメラ信号処理回路２０３に供給される。
【００６１】
カメラ信号処理回路２０３は、上述した一実施の形態と同様に、入力側から順に、ゲイン補正回路２４０、同時化回路２４１、ホワイトバランス補正部２４２、アパーチャ補正部２４３、ガンマ補正部２４４、ＹＣ生成部２４５を備える構成とされている。但し、カメラ信号処理回路２０３の構成は、図４に示すものに限定されず、例えばこれらの構成要素の順序を変更したり、一部の構成要素を省略することも可能である。また、カメラ信号処理回路２０３は、一実施の形態におけるように、画像に応じて時分割で切り換わることがない。
【００６２】
ゲイン補正回路２４０、同時化回路２４１、ホワイトバランス補正部２４２、アパーチャ補正部２４３、ガンマ補正部２４４、ＹＣ生成部２４５のそれぞれの機能は、上述した一実施の形態におけるのと同様である。すなわち、同時化回路２４１は、各色成分について欠落している画素を補間し、同時化回路２４１の出力信号がホワイトバランス補正部２４２に供給される。ホワイトバランス補正部２４２は、被写体の色温度環境の違い、そしてセンサー上の色フィルタによる感度の違いによる各色間のアンバランスが補正される。アパーチャ補正部２４３は、信号変化の大きい部分を取り出して強調する輪郭補正である。ガンマ補正部２４４は、表示部１１２に対して撮像信号を出力した場合に、階調が正しく再現されるように、入出力特性を補正する。ＹＣ生成部２４５は、輝度信号（Ｙ）および色差信号（Ｃ）をそれぞれ生成する。輝度信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。色差信号は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって生成される。生成された輝度信号および色差信号が表示処理回路２０８を介して表示部１１２に対して供給される。
【００６３】
図５の撮像装置において、高速撮像モード時には、図６に示すように、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｒ側を選択する状態に制御部２１３によって制御される。図７は、高速撮像モードの信号の流れを示している。図７に示すように、イメージセンサ１０１からの２４０ｆｐｓのＲＡＷデータがスイッチＳＷ１の端子ｒを介して記録デバイス制御回路２１０を介して記録デバイス１１１に対して供給される。ユーザ操作に応じて制御部２１３から高速撮像した画像の記録要求を受け取ると、ＲＡＷデータが記録デバイス１１１に記録される。このＲＡＷデータは、時間的に連続するＮ（＝４）枚の各画像毎にシャッター速度が設定されたものである。
【００６４】
また、変換処理部２０１の間引き部２２１によって、ＲＡＷデータが６０ｆｐｓになるように、４分の１間引きがなされる。間引きおよびサイズ変換がなされたＲＡＷデータが前処理回路２０２を介してカメラ信号処理回路２０３に供給される。カメラ信号処理回路２０３でカメラ信号処理がなされた信号が表示処理回路２０８を介して表示部１１２に供給され、撮像中の画像が表示部１１２に表示される。表示される画像は、４種類のシャッター速度の何れかで撮影されたものである。
【００６５】
図５の撮像装置において、再生時には、変換処理部２０１のスイッチＳＷ１およびＳＷ２が端子ｐ側を選択する状態に制御部２１３によって制御される。図８は、再生時の信号の流れを示している。図８に示すように、記録デバイス制御回路２１０の制御によって表示部１１２の表示能力にあわせて低画面レート（たとえば６０ｆｐｓ）でＲＡＷデータが記録デバイス１１１から読み出される。読み出されたＲＡＷデータが記録デバイス制御回路２１０から変換処理部２０１のスイッチＳＷ１、ＳＷ２およびサイズ調整部２２２を介して前処理回路２０２に供給される。
【００６６】
前処理回路２０２の出力信号がカメラ信号処理回路２０３および表示処理回路２０８を介して表示部１１２に供給され、表示部１１２によって再生画像が表示される。例えば画面レートのみが変更されている場合では、再生画像は、時間軸が記録時に比して４倍に拡大されたスローモーション再生画像となる。また、撮像時に撮像条件（露光状態等）を４通りに変えた撮像を行い、再生時に４種類の撮像画像（静止画および動画の何れでも良い）を比較することもできる。さらに、記録デバイス１１１の読み出し時に間引きを行ってコマ送りの再生画像を得ることもできる。
【００６７】
なお、記録デバイス１１１に対して記録されるＲＡＷデータを例えばＪＰＥＧ（Joint
Photographic Experts Group）などの符号化方式で圧縮符号化処理を行い、圧縮符号化データを記録デバイス制御回路２１０の制御によって記録デバイス１１１に書き込み、記録デバイス１１１から読み出された圧縮符号化データを伸張処理するようにしても良い。
【００６８】
上述したこの発明の他の実施の形態においては、カメラ信号処理回路２０３に対して通常の低画面レート（６０ｆｐｓ）のＲＡＷデータが供給されるので、カメラ信号処理回路２０３における画像加工のパラメータを画像データと同期して変更することができない。しかしながら、カメラ信号処理回路２０３が低画面レートで動作すれば良いので、高速処理を可能とするために回路規模が大きくなったり、消費電力が増大することを回避できる。但し、記録デバイス１１１に記録された高画面レートのＲＡＷデータに対して撮像装置２００以外の装置またはコンピュータによって加工のパラメータを変更することが可能である。
【００６９】
制御部２１３は、イメージセンサ１０１のシャッター速度の設定を高画面レートのＲＡＷデータに同期して制御する。イメージセンサ１０１は、電子シャッターの構成とされているので、２４０ｆｐｓの画面レートのＲＡＷデータの各フレームに対してシャッター速度を設定することができる（但し、設定可能なシャッター速度の上限は１／２４０秒である）。例えば図４に示すＲＡＷデータ１２２の各画像（Ａ〜Ｄの何れかの画像）に対して異なるシャッター速度が設定される。
【００７０】
一例として、ＲＡＷデータ中の画像Ａに対しては、１／２４０（秒）のシャッター速度が設定され、画像Ｂに対しては、１／４００（秒）のシャッター速度が設定され、画像Ｃに対しては、１／６００（秒）のシャッター速度が設定され、画像Ｄに対しては、１／１０００（秒）のシャッター速度が設定される。また、設定されたシャッター速度が記録デバイス１１１にＲＡＷデータと関連して記録される。
【００７１】
記録デバイス１１１に対する高画面レートのＲＡＷデータの書き込み時、または記録デバイス１１１からの低画面レートのＲＡＷデータの読み出し時に、アドレス制御によってＲＡＷデータから４個の動画データが形成される。各動画データに設定されたシャッター速度が動画データに関連する付加的情報として読み出される。制御部２１３は、記録デバイス１１１から読み出され、カメラ信号処理回路２０３に供給されるＲＡＷデータのシャッター速度に基づいてカメラ信号処理回路２０３内のゲイン補正回路２４０のゲインを自動的に補正する。すなわち、シャッター速度が高くなることによる入射光量の不足を補正して適切な明るさの画像が得られるように、ゲイン補正がなされる。
【００７２】
ユーザは、再生時に制御部２１３と関連する入力操作部（図示せず）を操作して、記録デバイス１１１から読み出される４個のＲＡＷデータの内の一つのＲＡＷデータを選択することができ、表示部１１２上に再生画像を表示することができる。ユーザは、４種類のシャッター速度の設定が異なる画像を表示させて適切なシャッター速度を知ることができる。このように、シャッター速度が適切と判断された画像データを上述した一実施の形態と同様に、記録デバイス例えば光ディスクに記録または通信インタフェイスを介して外部に出力できるようにしても良い。また、ＲＡＷデータを記録デバイスに記録する代わりに通信インタフェイスを介して外部に出力できるようにしても良い。
【００７３】
この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、カムコーダ、ディジタルスチルカメラに限らず、携帯電話機、ＰＤＡ（Personal Digital Assistants ）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、この発明を適用することができる。
【図面の簡単な説明】
【００７４】
【図１】この発明の一実施の形態による撮像装置のブロック図である。
【図２】この発明を適用できるイメージセンサの一例の説明に用いる略線図である。
【図３】この発明の一実施の形態の一部のより詳細な構成を示すブロック図である。
【図４】この発明の一実施の形態の信号処理を示すタイミングチャートである。
【図５】この発明の他の実施の形態による撮像装置のブロック図である。
【図６】この発明の他の実施の形態の一部のより詳細な構成を示すブロック図である。
【図７】この発明の他の実施の形態の高速撮像モードにおけるデータフロー図である。
【図８】この発明の他の実施の形態の画像再生時におけるデータフロー図である。
【符号の説明】
【００７５】
１００，２００・・・撮像装置
１０１・・・イメージセンサ
１０２，２０２・・・前処理回路
１０３，２０３・・・カメラ信号処理回路
１０４，２０１・・・変換処理部
１０５、１０９・・・圧縮伸張回路
１０６・・・メモリ制御回路
１０７・・・メモリ
１０８，２０８・・・表示処理回路
１１１・・・記録デバイス
１１２・・・表示部
１１３，２１３・・・制御部
【図１】
2008124671.tif 000003
【図２】
2008124671.tif 000004
【図３】
2008124671.tif 000005
【図４】
2008124671.tif 000006
【図５】
2008124671.tif 000007
【図６】
2008124671.tif 000008
【図７】
2008124671.tif 000009
【図８】
2008124671.tif 000010