"第1色成分の画素信号の読出しを第1のフレームレートで行い、かつ、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで行う撮像部であって、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行う撮像部と、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録する記録媒体と、表示部と、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させることができるフレームレート補正部と、を備える撮像装置。前記撮像部は、前記第1色成分の画素信号の読出しと、前記第2色成分の画素信号の読出しとを行う撮像素子であって、画素信号の非破壊読出しを行うことができる撮像素子と、前記撮像素子を制御することにより、前記第1色成分の画素信号の読出しを前記第1のフレームレートで行わせ、かつ、前記第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで行わせる撮像制御部であって、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行わせる撮像制御部と、を備える請求項1に記載の撮像装置。前記フレームレート補正部は、前記非破壊読出しによって得られた前記画素信号を記録するメモリと、前記メモリに記録された画素信号に基づいて、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力する減算部と、を有する請求項1または2に記載の撮像装置。前記フレームレート補正部は、前記撮像素子における電荷蓄積開始からの経過時間と前記撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正部を有する請求項3に記載の撮像装置。前記ゲイン補正部は、前記減算部の出力について、電荷蓄積開始からの経過時間によって前記減算部の出力が小さくなることを補正するゲイン調整機能を有し、前記第2色成分の画素信号の読出しのタイミングに同期して前記補正を行う、請求項4に記載の撮像装置。前記ゲイン補正部は、前記第1色成分の画素信号の電荷蓄積開始時点からの経過時間および入射光量の2つのインデックスを有する補正係数テーブルと、前記経過時間及び前記入射光量に基づいて前記ゲイン補正係数テーブルからゲイン補正係数を選択する補正係数選択部と、前記ゲイン補正係数と非破壊読出しによって得られた前記第1色成分の画素信号との乗算を行う乗算部と、を備え、前記経過時間及び前記入射光量に応じて、前記カラー画像の各色成分の信号強度のバランスを維持するように前記補正を行う、請求項4または5に記載の撮像装置。前記ゲイン補正部は、前記撮像装置への入射光量が変化しない場合の撮像信号テーブルと、前記減算部の出力と前記撮像信号テーブルの値との比較を行う比較部と、を備え、前記第1色成分の画素信号の非破壊読出し時に、前記減算部の出力と前記撮像信号テーブルの値との差を検出することにより、電荷蓄積中に入射光量が変化した場合でも色成分間のバランスを維持するように前記ゲイン補正係数を選択する、請求項4から6のいずれかに記載の撮像装置。前記ゲイン補正部は、前記第1色成分の画素信号の出力信号を入力とする関数テーブルを有し、前記関数テーブルに保持した関数により、前記ゲイン補正係数及び前記入射光量が変化しない場合の撮像信号を、前記第1色成分の画素信号の非破壊読出し時に計算することが可能である、請求項7に記載の撮像装置。前記フレームレート補正部は、前記第1色成分の画素信号の電荷蓄積時間の長短に応じ、前記ゲイン補正動作の有無を選択する補正選択部を有している請求項4から8のいずれかに記載の撮像装置。前記第1色成分はグリーンであり、前記第2色成分はレッドおよびブルーである、請求項1から9のいずれかに記載の撮像装置。前記撮像部は、入射光を前記第1色成分の光と前記第2色成分の光とに分離する光分離素子と、前記第1色成分の光を受ける第1の固体撮像素子と、前記第2色成分の光を受ける第2の固体撮像素子と、を有している請求項1から10のいずれかに記載の撮像装置。前記撮像部は、前記第1色成分の光を受ける複数の画素と前記第2色成分の光を受ける複数の画素とが1つの撮像面内に配列された固体撮像素子を有している請求項1から10のいずれかに記載の撮像装置。前記第2色成分の画素信号のフレームレートを、前記第1色成分の画素信号のフレームレートに適合するように、前記第2色成分の画素信号をフレーム単位で加算を行う第2のフレームレート補正部と、被写体の動きの大きさに応じて、前記2つのフレームレート補正部の一方を選択する補正方法選択部と、を備える請求項1から12のいずれかに記載の撮像装置。前記第1色成分の画素信号画像生成方法を、前記第2色成分の画素信号の動き情報を元に時空間分解する画像復元部と、ユーザによる録画機能及び再生機能の選択に応じて、前記表示部に表示するカラー動画像を前記フレームレート補正部により生成するか、前記画像復元部により生成するかを選択する表示方法選択部と、を備える請求項1から13のいずれかに記載の撮像装置。第1色成分の画素信号の読出しを第1のフレームレートで行い、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで撮像を行うステップAと、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行うステップBと、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録媒体に記録するステップCと、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させるステップDと、を含む画像生成方法。前記ステップDは、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力するステップを含む、請求項15に記載の画像生成方法。前記ステップDは、電荷蓄積開始からの経過時間と撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正ステップを含む請求項16に記載の画像生成方法。第1色成分の画素信号の読出しを第1のフレームレートで行い、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで撮像を行うステップAと、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行うステップBと、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録媒体に記録するステップCと、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させるか、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号を用いて前記表示部に画像を表示させるかを選択するステップDと、選択された信号を用いて前記表示部に画像を表示させるステップEと、を含む画像生成方法。画像処理装置に設けられたプロセッサに動画像のデータを生成させるコンピュータプログラムであって、前記コンピュータプログラムは、前記プロセッサに、請求項1から14のいずれかに記載の撮像装置から、前記非破壊読出しによって得られた前記第1色成分の画素信号と、前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを受け取るステップと、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力するステップと、を実行させる、コンピュータプログラム。前記プロセッサに、前記電荷蓄積開始からの経過時間と前記撮像素子から出力される画素信号との間にある飽和特性に応じて、前記差分値を補正するステップを更に実行させる請求項19に記載のコンピュータプログラム。請求項19または20に記載のコンピュータプログラムを記録した記録媒体。上記従来の構成は、電荷蓄積時間が短い色成分の出力を電荷蓄積時間の長い色成分に適合させるため、出力カラー画像のフレームレートが電荷蓄積時間の長い色成分画像のフレームレートに揃えられる。このとき、被写体の動きが大きい場合には、表示装置上で被写体の動きぶれが目立つという課題がある。一方で、被写体の動きぶれの少ない、高フレームレートのカラー画像を得る方法として、前記カラー動画像の高フレームレート化のための画像処理を行い、その結果得られるカラー画像を表示部に表示することが考えられる。しかしながら、撮像中の被写体の確認に使用するための表示画像を生成する場合は、リアルタイムで被写体の像を表示できる必要がある。このため、高フレームレート化処理を施したカラー画像を表示装置に表示しようとすると、画像処理に要する時間による表示遅延が問題になる。本発明は、色成分ごとに電荷蓄積時間の異なる撮像方式で撮像されたカラー画像を撮像時に表示することが可能な撮像装置を提供することを目的とする。本発明の撮像装置は、第1色成分の画素信号の読出しを第1のフレームレートで行い、かつ、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで行う撮像部であって、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行う撮像部と、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録する記録媒体と、表示部と、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させることができるフレームレート補正部とを備える。ある実施形態において、前記撮像部は、前記第1色成分の画素信号の読出しと、前記第2色成分の画素信号の読出しとを行う撮像素子であって、画素信号の非破壊読出しを行うことができる撮像素子と、前記撮像素子を制御することにより、前記第1色成分の画素信号の読出しを前記第1のフレームレートで行わせ、かつ、前記第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで行わせる撮像制御部であって、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行わせる撮像制御部とを備える。ある実施形態において、前記フレームレート補正部は、前記非破壊読出しによって得られた前記画素信号を記録するメモリと、前記メモリに記録された画素信号に基づいて、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力する減算部と、を有する。ある実施形態において、前記フレームレート補正部は、前記撮像素子における電荷蓄積開始からの経過時間と前記撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正部を有する。ある実施形態において、前記ゲイン補正部は、前記減算部の出力について、電荷蓄積開始からの経過時間によって前記減算部の出力が小さくなることを補正するゲイン調整機能を有し、前記第2色成分の画素信号の読出しのタイミングに同期して前記補正を行う。ある実施形態において、前記ゲイン補正部は、前記第1色成分の画素信号の電荷蓄積開始時点からの経過時間および入射光量の2つのインデックスを有する補正係数テーブルと、前記経過時間及び前記入射光量に基づいて前記ゲイン補正係数テーブルからゲイン補正係数を選択する補正係数選択部と、前記ゲイン補正係数と非破壊読出しによって得られた前記第1色成分の画素信号との乗算を行う乗算部と、を備え、前記経過時間及び前記入射光量に応じて、前記カラー画像の各色成分の信号強度のバランスを維持するように前記補正を行う。ある実施形態において、前記ゲイン補正部は、前記撮像装置への入射光量が変化しない場合の撮像信号テーブルと、前記減算部の出力と前記撮像信号テーブルの値との比較を行う比較部と、を備え、前記第1色成分の画素信号の非破壊読出し時に、前記減算部の出力と前記撮像信号テーブルの値との差を検出することにより、電荷蓄積中に入射光量が変化した場合でも色成分間のバランスを維持するように前記ゲイン補正係数を選択する。ある実施形態において、前記ゲイン補正部は、前記第1色成分の画素信号の出力信号を入力とする関数テーブルを有し、前記関数テーブルに保持した関数により、前記ゲイン補正係数及び前記入射光量が変化しない場合の撮像信号を、前記第1色成分の画素信号の非破壊読出し時に計算することが可能である。ある実施形態において、前記フレームレート補正部は、前記第1色成分の画素信号の電荷蓄積時間の長短に応じ、前記ゲイン補正動作の有無を選択する補正選択部を有している。ある実施形態において、前記第1色成分はグリーンであり、前記第2色成分はレッドおよびブルーである。ある実施形態において、前記撮像部は、入射光を前記第1色成分の光と前記第2色成分の光とに分離する光分離素子と、前記第1色成分の光を受ける第1の固体撮像素子と、前記第2色成分の光を受ける第2の固体撮像素子とを有している。ある実施形態において、前記撮像部は、前記第1色成分の光を受ける複数の画素と前記第2色成分の光を受ける複数の画素とが1つの撮像面内に配列された固体撮像素子を有している。ある実施形態において、前記第2色成分の画素信号のフレームレートを、前記第1色成分の画素信号のフレームレートに適合するように、前記第2色成分の画素信号をフレーム単位で加算を行う第2のフレームレート補正部と、被写体の動きの大きさに応じて、前記2つのフレームレート補正部の一方を選択する補正方法選択部とを備える。ある実施形態において、前記第1色成分の画素信号画像生成方法を、前記第2色成分の画素信号の動き情報を元に時空間分解する画像復元部と、ユーザによる録画機能及び再生機能の選択に応じて、前記表示部に表示するカラー動画像を前記フレームレート補正部により生成するか、前記画像復元部により生成するかを選択する表示方法選択部とを備える。本発明の画像生成方法は、第1色成分の画素信号の読出しを第1のフレームレートで行い、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで撮像を行うステップAと、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行うステップBと、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録媒体に記録するステップCと、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させるステップDとを含む。ある実施形態において、前記ステップDは、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力するステップを含む。ある実施形態において、前記ステップDは、電荷蓄積開始からの経過時間と撮像素子から出力される信号との間にある飽和特性に応じて、前記差分値を補正するゲイン補正ステップを含む。本発明による他の画像生成方法は、第1色成分の画素信号の読出しを第1のフレームレートで行い、前記第1色成分以外の第2色成分の画素信号の読出しを前記第1のフレームレートよりも高い第2のフレームレートで撮像を行うステップAと、前記第1のフレームレートによって定まる電荷蓄積期間内において、前記第2色成分の画素信号の読出しのタイミングと同期して前記第1色成分の画素信号の非破壊読出しを行うステップBと、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号、および前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号を記録媒体に記録するステップCと、前記非破壊読出しによって得られた前記第1色成分の画素信号と前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを用いて前記第2のフレームレートで前記表示部にカラー画像を撮像時に表示させるか、前記第1のフレームレートでの読出しによって得られた前記第1色成分の画素信号を用いて前記表示部に画像を表示させるかを選択するステップDと、選択された信号を用いて前記表示部に画像を表示させるステップEとを含む。本発明のコンピュータプログラムは、画像処理装置に設けられたプロセッサに動画像のデータを生成させるコンピュータプログラムであって、前記コンピュータプログラムは、前記プロセッサに、上記いずれかの撮像装置から、前記非破壊読出しによって得られた前記第1色成分の画素信号と、前記第2のフレームレートでの読出しによって得られた前記第2色成分の画素信号とを受け取るステップと、前回の非破壊読出しによって得られた画素信号を、その次の非破壊読出しによって得られた画素信号から減算することによって差分値を求め、前記差分値を前記第2のフレームレートで出力するステップとを実行させる。ある実施形態において、前記プロセッサに、前記電荷蓄積開始からの経過時間と前記撮像素子から出力される画素信号との間にある飽和特性に応じて、前記差分値を補正するステップを更に実行させる。本発明の記録媒体は、上記いずれかのコンピュータプログラムを記録した記録媒体である。本発明の撮像装置によれば、第1色成分と第2色成分とで電荷蓄積時間の異なる画像を取得する場合において、被写体の動きが大きい場合でも、動きぶれを低減したカラー動画像を撮像中に表示部に表示することができる。以下、図面を参照しながら本発明による撮像装置の実施形態を説明する。実施形態1図1は、本実施形態における撮像装置の外観を示す斜視図である。図1に示す撮像装置は、本体12と、本体12の内部に位置する撮像素子不図示に被写体を結像するレンズ11と、ビューファインダ13とを備えるビデオカメラカムコーダである。ビューファインダ13は、画像の表示部であり、撮影時の被写体を表示する。また、このビューファインダ13は、撮影の終了後において、撮影された画像録画画像を再生して表示することもできる。図2は、本実施形態に係る撮像装置の構成を示すブロック図である。図2に示すように、本実施形態の撮像装置は、撮像部20と、フレームレート補正部22と、表示部21と、記録部23と、撮像装置内の各部を制御する主制御部24と、ユーザからの指示を主制御部に伝達する入力部25とを備えている。本実施形態における撮像部20は、第1色成分の画素信号の読出しを第1のフレームレートで行う第1色成分読出し部20aと、第1色成分以外の第2色成分の画素信号の読出しを第1のフレームレートよりも高い第2のフレームレートで行うことができる第2色成分読出し部20bとを有している。本実施形態における第1色成分はグリーンGであり、第2色成分は、レッドRおよびブルーBである。ただし、第1色成分および第2色成分を、それぞれ、どの色に設定するかは任意である。また、この撮像部20は、第1のフレームレートによって定まる電荷蓄積期間内において、第2色成分の画素信号の読出しのタイミングと同期して第1色成分の画素信号の非破壊読出しを行うことができる。この非破壊読出しについては後に詳述する。図2に示すように、本実施形態では、撮像部20の第1色成分読出し部20aから出力された第1色成分画像は、フレームレート補正部22および記録部23に並列的に入力される。一方、撮像部20の第2色成分読出し部20bから出力された第2色成分画像は、表示部21および記録部23に並列的に入力される。すなわち、第1色成分読出し部20aから出力された第1色成分画像は、表示部21に直接に入力されず、フレーム補正部22を介してから、表示部21に入力されることになる。フレームレート補正部22は、第1色成分読出し部20aによって得られた第1色成分画像についてフレームレート補正を行う。そして、第2色成分読出し部20bによって得られた第2色成分画像のフレームレートに合わせたカラー画像を出力し、表示部21に与える。本明細書では、撮像部から画像を読出すときのフレームレートを撮像フレームレートと称し、表示部に画像を表示するときのフレームレートを表示フレームレートと称する場合がある。撮像フレームレートとは、画素信号のリセットを伴う読出し破壊読出しの1秒あたりの回数と定義される。この撮像フレームレートは、一般的な撮像素子のフレームレートが有する通常の意味で使用される。本実施形態では、第1色成分画像についての撮像フレームレートは、表示フレームレートに一致していない。より具体的には、第1色成分画像の表示フレームレートは、撮像フレームレートよりも高い。例えば、第1色成分画像の表示フレームレートは、第1色成分画像の撮像フレームレートの4倍の大きさを有している。一方、本実施形態では、第2色成分画像の表示フレームレートは、その撮像フレームレートに一致している。本明細書では、撮像フレームレートと表示フレームレートとの間に差異がある場合において、撮像によって得られた画像から表示のための画像を生成することを、フレームレート補正と称することにする。本実施形態では、第1色成分画像についてフレームレート補正を行うが、第2色成分画像については、フレームレート補正を行わない。フレームレート補正は、フレームレート補正部22によって実行される。表示部21は、フレームレート補正部22によって処理されたカラー画像を撮影時にリアルタイムで表示することができる。記録部23は、第1及び第2色成分読出し部によって得られた各色成分画像を記録録画する。主制御部24は、入力部25から受け取ったユーザの指示に基づいて、撮像部20による撮影の条件フレームレート、露出時間、ズーム倍率などを設定することができる。上記の構成において、撮像部20、フレームレート補正部22、記録部23、主制御部24、および入力部25は、図1に示す本体12の中に配置され、表示部21はビューファインダ13の中に配置される。記録部23は、本体12から取り外し可能な記録媒体から構成されていても良い。図2の構成例において、フレームレート補正部22は、記憶部221と、減算部222と、補正制御部223と、ゲイン補正部224とを有している。記憶部221は、第1色成分読出し部20aによって撮像される第1色成分画像について、撮像制御部201によって規定される時点で非破壊読出しされた画素信号を記憶する。減算部222は、記憶部221に記憶された前回の非破壊読出し時における画素信号と今回の非破壊読出しにおける画素信号との差分を求める。補正制御部223は、画素信号の記憶部221への書き込み、及び減算部222による記憶部221の記憶データの読出しを制御する。ゲイン補正部224は、減算部222の出力のゲインを調整する。フレームレート補正部22のより詳細な説明は後述する。次に、撮像部20の構成例を説明する。まず、図3Aを参照する。図3Aに示す撮像部20は、Rchチャネル、Gch、Bchの各色成分の入射光の強度を電気信号に変換する光電変換機能を有する撮像素子201と、各色成分の撮像素子201に独立に読出し信号及び画素リセット信号を供給する機能を有する撮像制御部202とを備えている。撮像部20は、例えば図3Bに示すように、3つの撮像素子201a、201b、201cを備えていてもよい。図3Bの例では、撮像部20が、入射光101をR光の波長域、G光の波長域、B光の波長域に分光する色分解部104を備えている。撮像素子201aでG画像、撮像素子201bでR画像、撮像素子201cでB画像を取得する。色分解部104の面115は、相対的に波長が長いR光を反射し、残りの波長域の光を透過する。色分解部104の面116は、相対的に波長が短いB光を反射し、残りの波長域の光を透過する。このように、3つの撮像素子を用いるカラー画像を取得する方式を3板式と称する。表示部20の構成は、図3Bに示される3板式の構成例に限定されず、図3Cまたは図3Dなどに示される構成例を有していても良い。図3Cに示す例では、撮像部20が、入射光101をG光第1色成分と、RおよびB光第2色成分とに分ける色分解部105を備えている。この例では、撮像素子201aでG画像、撮像素子201dでR画像およびB撮像を取得する。図3Dに示す例では、撮像部20が、1つの撮像素子201eでG画像、R画像およびB撮像を取得する単板式。1つの撮像素子201eで、色成分ごとに画像を読み出すフレームレート撮像フレームレートを変化させるためには、撮像素子201として、CCDではなく、CMOSイメージセンサを用いる必要がある。3板式であれば、CCDを用いても良い。次に、図3Eおよび図3Fを参照しながら、撮像素子201の撮像面に形成されている画素の構成例を説明する。図3Eは、複数の画素のうちの1つの画素と、この画素に接続された読出し信号線42および出力信号線44とを模式的に示す図である。読出し信号線42上の読出し信号は入力端子405を介して画素に与えられる。一方、画素から出力される画素信号は、出力端子406を介して出力信号線44に与えられる。図3Fは、各画素の回路構成の一例を示す図である。撮像素子201の撮像面には、多数の画素が行および列状に配列されており、各画素は、基本的に図3Fに示す構成を有している。図3Fに示すように、各画素は、入射光の量に応じた量の電荷を光電変換によって生成し、蓄積するフォトダイオード401を備える。フォトダイオード401にはスイッチ402が接続されている。スイッチ402は、入力端子405が受け取る信号に応答して、オン状態とオフ状態とを切り換える。スイッチ402がオフ状態からオン状態に切り替わると、フォトダイオード401に蓄積されていた電荷に応じた電位がアナログバッファ404のゲートに与えられる。その結果、アナログバッファ404は、フォトダイオード401に蓄積された電荷の量に応じた信号を、画素信号として出力端子406に出力することができる。スイッチ403及びアナログバッファ404のドレインには、画素バイアスが与えられている。スイッチ403がオン状態になると、アナログバッファ404のゲートに画素バイアスが印加され、画素信号がリセットされる。読出し信号は、図3Eに示す読出し信号線42を介して入力端子405に与えられ、スイッチ402をオフ状態からオン状態にする信号である。一方、画素信号は、読出し信号の入力に応答して、出力端子406から出力信号線44に出力される信号である。すなわち、画素信号は、読出し信号が与えられたタイミングにおいてフォトダイオード401に蓄積されている電荷の量を示す信号である。通常、読出し信号が入力端子405に与えられ、出力端子から画素信号が出力された後、画素リセットが行われる。その結果、フォトダイオード401に蓄積されていた電荷はリセットされる。本明細書における非破壊読出しとは、出力端子406から画素信号を読み出した後、画素リセットを行うことなく、フォトダイオード401における電荷の蓄積を継続する読出しを意味する。このような非破壊読出しを行っても、フォトダイオード401における電荷蓄積量はリセットされない。再び図3Aを参照する。撮像制御部202は、各色成分の撮像素子201に対し、読出し信号及び画素リセット信号を供給するタイミングによって、i長時間の電荷蓄積時間、低フレームレートの撮像条件で撮像する第1の撮像条件と、ii短時間の電荷蓄積時間、高フレームレートの撮像条件で撮像する第2の撮像条件とを、R成分、G成分、B成分の各色ごとに個別に設定する。図3Aは、撮像部20の一例として、G成分を第1色成分、R及びB成分を第2色成分に設定した場合の構成を示しているが、第1色成分および第2色成分は、上記の例に限定されない。なお、図3Aに示す例では、R成分、G成分、B成分の各々画像を、それぞれ、3つの撮像素子201で取得している。このような構成の撮像部20は、図3Bに示すように、入射光をR成分、G成分、B成分の3つに分離する色分解素子104を備えることによって実現される。この場合、図3Bに示す撮像素子201a、201b、201cの撮像面にはカラーフィルタは不要である。しかし、図3Cに示すように、1つの撮像素子201dで、RおよびB成分の撮像が行われる場合には、この撮像素子201dには、Rを透過するカラーフィルタRフィルタおよびBを透過するカラーフィルタBフィルタが配列されたカラーフィルタアレイが配置される。また、図3Dに示すように、1つの撮像素子201eで、G、RおよびB成分の撮像が行われる場合、撮像素子201eには、Gを透過するカラーフィルタGフィルタ、RフィルタおよびBフィルタが配列されたカラーフィルタアレイが配置される。第1色成分画像は、長時間露光、低フレームレートの撮像条件で撮像される。本実施形態における低フレームレートとは、第2色成分についての撮像フレームレートの数分の1から20分の1程度である。また、本実施形態における長時間の電荷蓄積時間とは、この撮像フレームレートの値で決まる1フレームの時間を上限とし、かつ、上記の短時間の電荷蓄積時間よりも長い電荷蓄積時間である。第2色成分画像は、短時間露光、高フレームレートの撮像条件で撮像される。本実施形態における高フレームレートとは、例えば30fpsフレーム毎秒から60fps程度までの範囲にある。また、本実施形態における短時間の電荷蓄積時間とは、最長でもフレームレートで決まる1フレームの上限本実施形態の場合、30分の1秒から60分の1秒程度以下の時間の露光である。なお、上で述べた短時間の電荷蓄積、長時間の電荷蓄積、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、カラー画像の第1色成分についての電荷蓄積時間は、第2色成分についての電荷蓄積時間よりも長く、第1色成分のフレームレートは第2色成分のそれよりも低ければよく、上記に例示した数値の範囲に限定するものではない。本実施形態では、色成分ごとに画像を読み出すフレームレート撮像フレームレートを変化させるが、例えば特許文献1に記載の技術のように、撮像フレームレートに加えて撮像時の画素の密度を色成分毎に変化させることができる。第1色成分のフレームレートは第2色成分のそれよりも低いため、典型的な例では、第1色成分の画素数が第2色成分の画素数よりも高く設定される。その場合、第1色成分および第2色成分の画像を合成してカラー画像を表示部23に表示するには、色成分毎に異なる画素数を一致させることが好ましい。撮像時に表示部23にカラー画像を表示させる場合は、高い空間解像度は要求されないため、画素数の多い色成分の画像、ここでは、第1色成分の画像を構成する画素の数を減少させることができる。図3Bに示す3板式の場合、典型的な例では、高空間解像度の色成分第1色成分の撮像素子201aの画素数は、低空間解像度の色成分第2色成分の撮像素子201b、201cあるいは201dよりも多い。この場合、第1色成分の撮像素子201aにおける複数の近傍画素からの出力を加算することにより、その色成分画像を構成する画素の数を簡単に減少させることができる。一方、図3Dに示す単板式の場合は、色ごとに画素数の異なる撮像を行う手法として、特許文献5に開示されているような、第2色成分について隣接する同色の画素を空間的に加算ビニングする方式が知られている。このような場合は、低空間解像度の色成分第2色成分の画像について、画素補間を行うことにより、その色成分の画像の空間解像度を高め、高空間解像度の色成分第1色成分画像の画素数に一致させることもできる。また一方で、上記ビニング操作を撮像部20の外で行う構成とし、表示部21にビニング前の第2色成分画像を入力できるような構成とすることで、表示部21に入力されるすべての色成分の画素数を一致させることができる。表示部21は撮像時の被写体の状態を一時的に表示する装置であるため、必ずしもS/Nの高い画像は必要とされず、前記のように第2色成分画像のビニングが省略され、S/Nが十分に改善されていない画像が入力されても、実用上問題はない。図3Gは、非特許文献1に記載の単板撮像素子の構成を示す。図3Gにおいて、符号Rは、入射光のR成分の強度を検出する画素、符号Bは、入射光のB成分の強度を検出する画素、符号GrおよびGbは、入射光のG成分の強度を検出する画素を示す。この撮像素子では、R画素およびG画素が水平方向に交互に配置されている行RG行と、B画素およびG画素が水平方向に交互に配置されている行BG行が、垂直方向に交互に配置されている。以下、RG行のG画素をGr画素、BG行のG画素をGb画素と称する。非特許文献1では、G画素の露出時間をRおよびB画素の露出時間より長くし、低いフレームレートで出力することを仮定している。図3Gに示すように、各画素へ読み出し信号を伝達する読み出し信号線、および画素出力信号をAD変換などの次段の処理に伝達する出力信号線を、R、B画素およびG画素で別個に配置している。その結果、各画素行に沿って、R画素またはB画素に接続された読み出し信号線とG画素に接続された読み出し信号線とからなる2本の信号線が水平方向に延びている。一方、各画素列に沿って、R画素またはB画素に接続された出力信号線とG画素に接続された出力信号線とからなる2本の信号線が垂直方向に延びている。このような構成にすることで、R、B画素およびG画素に独立に読み出し信号を与え、かつ、各色画素から並列に出力を得る読み出しを行うことができる。なお、単板式撮像素子における撮像面の構成は、図3Gに示される例に限定されない。図3Aに示すように、撮像制御部202は主制御部24に接続されており、主制御部24は入力部25に接続されている。再び図2を参照する。表示部21は、フレームレート補正部22によって補正された第1色成分画像と、第2色成分画像とを合成してカラー画像を表示する。記録部23は、低フレームレートの第1色成分画像と、高フレームレートの第2色成分画像とを記録する。なお、記録部23は表示部21に包含され、表示部21に入力される画像フレームレート補正部22の出力と同一の画像を記録してもかまわない。フレームレート補正部22は、第1色成分画像を、第2色成分画像と同一のフレームレート表示フレームレートで表示部21に出力するための補正を行う。以下、フレームレート補正部22を詳細に説明する。図4は、撮像制御部202による非破壊読出しを行わず、第1色成分画像及び第2色成分画像を、それぞれの電荷蓄積時間に応じて読出す場合の蓄積電荷量と時間との関係を示す図である。一例として第1色成分画像の電荷蓄積時間を第2色成分画像の電荷蓄積時間の4倍としている。第1色成分画像の電荷蓄積時間が第2色成分画像の電荷蓄積時間より長ければよく、この数値に限定するものではない。図4において、丸印を付した時点で読出しが行われる。図4の例によると、第2色成分画像の読出しを4度行う間、第1色成分画像は画素出力を蓄積し続ける。第1色成分画像の撮像フレームレートは第2色成分画像の撮像フレームレートの1/4であり、第1色成分画像は、第2色成分画像における4フレーム分の時間が経過した時点で読み出される。第1色成分画像の1フレーム中に、第2色成分画像の読出しは4回行われ、その読出しの各々において画素信号のリセットが行われる。第1色成分画像の1フレームが終了した後、第1色成分の画素出力がリセットされる。本実施形態では、第1色成分画像の1フレーム中に非破壊読出しを行う。以下、フレームレート補正部22の動作について、図5を参照しながら更に詳細に説明する。本実施形態では、第1色成分画像について電荷を蓄積し続けている間も、第2色成分画像の読出しタイミングに合わせて非破壊読出しが行われる。具体的には、図5aに示す3つの時点51、52、53において、画素信号をリセットすることなく、電荷蓄積を継続しながら、非破壊的に画素信号の読出しが行われる。時点51で読出された画素信号図5aの差分55に相当は、表示部21にそのまま出力されると同時に、記憶部221に記憶される。その後、時点52での読出し時に、図2の減算部222によって、記憶部221に記憶された時点51における画素信号と、時点52で読出しされた画素信号との差分56を求め、表示部21に出力する。同時に、時点52における読出し信号を、記憶部221に記憶させる。前記動作を、時点53、及び時点54のそれぞれでも行う。それぞれの時点53、54における表示部21への出力は、同図の差分57及び58に等しい。同図の例において、時点54で第1色成分の画素信号はリセットされる。図5bは、第2色成分の4つの電荷蓄積期間に等しい4つの期間に蓄積された第1色成分の電荷量を示している。次に、図6を参照しながら、フレームレート補正部22における補正制御部223の動作について説明する。補正制御部223は、第1色成分の画素信号の電荷蓄積開始時点からの第2色成分の読出し回数に応じて、非破壊読出しされた第1色成分の画素信号の記憶部221への書き込み、及び読出しを制御する。図6の例によると、記憶部221は2つのメモリ61及びメモリ62を備えている。第1色成分画像の電荷蓄積が開始した時点から最初の非破壊読出し時図5における時点51は、図6aに示すように、第1色成分の画素信号がメモリ61及びメモリ62の双方に記録され、また減算部222を動作させず、読み出された画素信号をそのまま表示部21に出力する。続いて、第1色成分画像の次の非破壊読出し時図5における時点52には、図6bに示すような構成とする。どちらか一方のメモリ、例えばメモリ61に記憶されているデータと、今回非破壊読出しされた画素信号を減算部222に入力し、その差分を表示部21に出力する。また、それと同時に、今回、非破壊読出しされた画素信号を、他方のメモリ、例えばメモリ62に記憶させる。続いて、さらにその次の非破壊読出し時図5における時点53には、図6cに示す構成とする。図6bで前回非破壊読出しされた画素信号が記憶されたメモリ、例えばメモリ62に記憶されているデータと、今回非破壊読出しされた画素信号とを減算部222に入力し、その差分を表示部21に表示する。それと同時に、今回非破壊読出しされた画素信号を、他方のメモリ、例えばメモリ61に記憶させる。その後、第1色成分画像の非破壊読出しのたびに図6b、及び図6cの構成を繰り返し、第1色成分の画素信号がリセットされた時点で、図6aの構成に戻る。なお、図2及び図6において、記憶部221は二つのメモリを備えているが、メモリを一つにし、減算部222への読出しが完了した後に、メモリに非破壊読出し信号を書き込む構成にしてもよい。本実施形態では、図2に示すように、演算部222によって得られた画素信号の差分は、ゲイン補正部224に入力される。ゲイン補正部224は、表示部21の入力となる減算部222の出力のゲインを調整する。第1色成分の画素信号のように、電荷蓄積時間が長くなり、蓄積電荷量が増大すると、一般に、図7aに示すように、画素信号は飽和する。これは、例えば、撮像素子20において、画素信号を増幅する増幅器が、すべての入力に対して同一のゲインを有するわけではなく、入力信号が大きくなるにつれゲインが減少することによる。このとき、第2色成分の読出し時点における減算部222の出力は、図7bにおける高さ75~78で示されるように、時間経過とともに減少する。よって、時点73や時点74における読出しでは、実際に蓄積された電荷量に比べて小さな差分が得られるため、表示部21に表示されるカラー画像は、第1色成分が減少した、不自然な色味の画像となる。図8aは、飽和が起こった場合における第1色成分の画素信号と蓄積時間との関係を示す図である。図8bは、ゲイン補正部224の効果を示す図である。第1色成分の電荷蓄積開始時点からの経過時間が長くなるほど、前述した差分に大きなゲイン係数を乗じるという補正を行うと、図8bに示すように、2点鎖線で示す大きさの信号を得ることができる。図8bに示す高さ81、82、83、84は、補正後の差分値である。この補正により、第1色成分画像の読出し開始時点からの経過時間に伴う減算部223の出力低下を避けることができる。次に、上記の補正を行うゲイン補正部224の構成例を説明する。図9は、フレームレート補正部22に含まれるゲイン補正部224の構成例を示すブロック図である。ゲイン補正部224は、ゲイン補正用の係数を保持しておく補正係数テーブル91と、補正係数テーブル91から適切な補正係数を選択する補正係数選択部92と、減算部222の出力とゲイン補正係数との乗算を行う乗算部93と、第1色成分画像の電荷蓄積期間中に撮像素子20への入射光量が変化しない場合に得られる画素信号値を保持しておく期待値テーブル94と、期待値テーブル94の信号値と減算部222との出力との大小を比較し、補正係数選択部92の制御を行う比較部95とを備えている。補正係数テーブル91は、第1色成分画像の電荷蓄積開始からの経過時間に加え、撮像素子20に入射する光の強度、すなわち第1色成分の画素信号の大きさの2つのインデックスを持つ。補正係数選択部92は、補正係数テーブル91から適切な補正係数を選択し、乗算部93に出力する。乗算部93は、該ゲイン補正係数と、減算部223の出力を乗じ、乗算結果を表示部21に出力する。補正係数選択部92は、入射光量が所定値より大きいときゲイン補正の程度を大きくし、前記所定値以下のときにはゲイン補正の程度を小さくするように、撮像素子20への入射光量に対して適応的に補正係数テーブル91を用いてゲイン補正係数を選択する。前記所定値は、例えば、電荷蓄積開始から第1回目の非破壊読出し信号値が画素飽和信号レベルの40に設定される。図10は、入射光量の違いによる第1色成分の画素信号の時間変化を模式的に示した図である。図10によると、入射光量が大きいとき図10a、画素信号は電荷蓄積時間の経過とともに飽和する。一方、入射光量が小さいとき、画素信号は飽和レベルまで達せず、図10bに示したような、飽和せずにより直線的に近い増加を示す。このような場合に、図10aのような時間変化を想定してゲイン補正係数を決定すると、図10bの二点鎖線に示すように、電荷蓄積開始時点から長時間経過した後の第1色成分画像の補正出力が、不自然に大きな値となる。ゲイン補正係数テーブル91は、前記入射光量の影響を鑑み、第1色成分画像の電荷蓄積開始からの経過時間と、撮像素子20への入射光量の二つのインデックスを有する。表1は、補正係数テーブル91の一例を示す。表1において、第1フレーム信号電圧は、第1色成分画像の電荷蓄積開始時点から、第2色成分における1フレーム分の蓄積時間が経過した時点での第1色成分の画素信号を示す。また第2フレーム、第3フレームという表現は、第1色成分画像の電荷蓄積開始時点からの第2色成分のフレーム番号に該当する。同表に示すように、該ゲイン補正係数は、第1色成分の第1フレーム信号電圧が小さいときは時間経過による変化は小さいが、前記第1フレーム信号電圧が大きくなると、時間とともに大きく変化していく。図9における期待値テーブル94と、比較部95は、第1色成分画像の電荷蓄積期間中に撮像素子20への入射光量が変化した場合に、その変化に動的に対応する機能を有する。期待値テーブル94及び比較部95の動作について、図11を参照しながら説明する。図11は、第1色成分画像の電荷蓄積期間中に、撮像素子20への入射光量が変化した場合の画素信号及び減算部223の出力を示す。図11aは、電荷蓄積開始時点より撮像素子20への入射光量が減少した場合を示し、図11bは、電荷蓄積開始時点より前記入射光量が増加した場合を示す。図11bにおいて、第1色成分画像の電荷蓄積中に前記入射光量が増加し、画素信号が飽和するレベルに達した場合、信号が飽和した後は、図11b下段に示すように減算部223の出力が小さくなる。このとき、第1色成分画像の電荷蓄積開始時点においてゲイン補正係数選択部92によって選択されたゲイン補正係数を使用し続けると、ゲインの補正の程度は小さくなり例えば、表1における第1フレーム信号電圧=10mVのときの係数値を参照、後の非破壊読出しにおける画素信号の飽和に対するゲイン補正が不十分となる。第1色成分画像の電荷蓄積期間において入射光量が変化しない場合の画素信号の期待値を期待値テーブル94に保持しておき、比較部95において第1色成分画像の非破壊読出しのたびに減算部223の出力と比較することで、入射光量の変化を検出し、それに合わせて適切なゲイン補正係数を選択することができる。なお、期待値テーブル94も、補正係数テーブル91と同様、第1色成分画像の電荷蓄積開始からの経過時間と撮像素子20への入射光量の2つのインデックスを有する。表2に、期待値テーブル94の一例を示す。表2における、第1フレーム出力信号、及び第2フレーム等の表現は、表1と同一のものを指す。なお、補正係数テーブル91及び期待値テーブル94は、撮像素子201における画素の電荷蓄積特性、あるいは撮像素子201内の増幅器の特性に依存するため、本発明に係る撮像装置において使用する撮像素子ごとに設定される必要がある。補正係数テーブル91及び期待値テーブル94は、例えば、撮像素子201を作成した時点でその特性を調べ、その結果を元に作成することができる。なお、補正係数テーブル91と期待値テーブル94は、それらの代わりに、該係数値及び撮像信号の期待値を算出する関数を保持し、本実施形態におけるテーブル参照時に前記関数によって前記係数値及び撮像信号の期待値を計算する構成としてもよい。前記構成とした場合の、フレームレート補正部1201のブロック図を図12に示す。図12において、ゲイン補正部224は、補正係数計算部1202と、ゲイン補正係数を計算するための関数を保持する関数テーブル1203と、期待値計算部1204と、撮像素子20への入射光量が変化しない場合の撮像信号を計算するための関数を保持する関数テーブル1205を有する。このとき、関数テーブル1203に保持されるゲイン補正係数kとおくの計算式は、例えば、として与えられる。ここで、tは第1色成分画像の電荷蓄積開始からの経過時間、αは表1における第1フレーム出力電圧の大きさによって決まる定数である。また、関数テーブル1205に保持される撮像信号の期待値Veとおくの計算式は、例えば、として与えられる。ここで、Eは撮像素子201内の画素信号増幅器の電源電圧、tは第1色成分画像の電荷蓄積開始からの経過時間、αは表2における第1フレーム出力電圧の大きさによって決まる定数である。なお、前記数1及び数2は、増幅器の入力が大きくなったときの非線形性を指数関数で表現した例であるが、これらは撮像素子201の画素ごとに決まる特性であるため、数1及び数2に示した数式に制限されるものではなく、また本発明に係る撮像装置において使用する撮像素子ごとに設定される必要がある。本実施形態の構成により、色成分ごとに電荷蓄積時間の異なるカラー画像を撮像した場合に、色成分ごとの電荷蓄積時間の違いによる色ずれのないカラー画像を、大規模な画像処理を行うことなく生成し、カメラのビューファインダなどに表示することが可能となる。また、カラー画像の表示フレームレートは電荷蓄積時間の短い色成分画像の表示フレームレートに適合されるため、被写体の動きが大きい場合にも、動きぶれを程度が小さいカラー画像を生成することができる。さらに、本実施形態におけるゲイン補正部224により、時間経過に伴う第1色成分画像の輝度値が小さくなる問題を解決することができる。なお、本実施形態では、第1色成分について、比較的高いレートで非破壊読出しを行う一方で、長時間の電荷蓄積時間かつ低フレームレートでの撮像を行っている。もし、非破壊読出しを行う代わりに、そのタイミングでリセットを伴う破壊読出しを行うことも理論的には可能である。そのような短時間の電荷蓄積時間かつ高フレームレートでの撮像を行った後、複数フレームにわたって画像データを加算すれば、長時間の電荷蓄積時間かつ低フレームレートでの撮像によって得られる画像を得ることも可能になる。しかし、短い蓄積時間で得られる画像データを加算することによって得られる画像は、実際に長時間の電荷蓄積によって得られた画像よりも、多くのノイズを含む。非特許文献2は、実際に露出時間を長くして撮像した場合と、短時間の電荷蓄積時間によって得られた画像をデジタル的に加算した場合に得られる画像に混入するノイズを説明している。この文献によれば、デジタル加算によって得られる画像には、長時間蓄積によって得られる画像の3倍程度多いノイズが混入される。本実施形態では、第1色成分については、実際に電荷蓄積時間が十分に長い画像低フレームレートの画像を取得しながら、リアルタイムの表示に必要な画像を非破壊読出しによって取得している。実施形態2次に、本発明による撮像装置の第2の実施形態を説明する。本実施形態の撮像装置は、第1色成分画像の電荷蓄積時間の長さに応じて、第1実施形態に記載のゲイン補正動作の有無を選択可能にする構成を備えている。図13は、本実施形態に係る撮像装置の構成を示すブロック図である。同図中の撮像部20、記憶部221、減算部222、補正制御部223、ゲイン補正部224、表示部21は、それぞれ、第1実施形態において対応する構成要素と同一の機能を有する。本実施形態と実施形態1との相違点は、本実施形態において、フレームレート補正部1301が補正選択部1302を有していることにある。ユーザが入力部25に入力した撮影条件に基づいて主制御部24は、第1色成分画像のフレームレートおよび第2色成分画像のフレームレートを決定する。これにより、第1色成分画像の電荷蓄積時間の長さが定まる。補正方法選択部1302は、第1色成分画像の電荷蓄積時間の長さに応じて、ゲイン補正部224の動作を行うか否かを選択する。第1色成分画像の電荷蓄積時間が短い場合、例えば第1色成分画像の電荷蓄積時間が第2色成分画像の2フレーム分の蓄積時間に等しい場合は、第1色成分の画素信号は飽和の影響が顕著になる前にリセットされる。この場合は、ゲイン補正動作を行う必要がないため、補正方法選択部1302の働きにより、ゲイン補正部224を動作させないようにすることができる。具体的には、補正方法選択部1302が減算部222の出力を、そのまま、表示部21に与える。本実施形態の構成により、第1実施形態において第2色成分の読出し時点ごとに行っていた、第1色成分の画素信号のゲイン補正動作を省略できる。このため、画像生成に伴う表示遅延をさらに小さくすることができる。実施形態3次に、本発明による撮像装置の第3の実施形態を説明する。本実施形態の撮像装置は、第1色成分画像のフレームレートを第2色成分画像のフレームレートに適合させるフレームレート補正部第1のフレームレート補正部22と、第2色成分画像のフレームレートを第1色成分画像のフレームレートに適合させる第2のフレームレート補正部1402とを有する。そのため、被写体の動きの大きさに基づいて、第1および第2のフレームレート補正部22、1402いずれかを選択できる。図14は、本実施形態に係る撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、第1及び第2実施形態におけるフレームレート補正部22に加え、第2色成分画像のフレームレートを第1色成分画像のフレームレートに適合させるフレームレート補正部1402を備えている。また、本実施形態の撮像装置は、2つのフレームレート補正部22及び1402のどちらを使用するかを選択する補正方法選択部1401と、動き検出部1403とを有する。第2色成分画像を表示させるためのフレームレートを第1色成分画像のフレームレートに適合させるには、例えば、第1色成分の相対的に長い電荷蓄積期間中に読み出された複数フレームの第2色成分画像を加算すればよい。一方、第1色成分画像を表示するためのフレームレートを第2色成分画像のフレームレートに適合させるには、実施形態1、2について説明したフレームレート補正部22を動作させればよい。本実施形態では、補正方法選択部1401が、動き検出部1403による検出結果に基づいて、表示部21に与える画像データのフレームレートを決定する。すなわち、被写体の動きが少ない場合には、第2色成分画像のフレームレートを、第1色成分のフレームレートに合わせる。逆に被写体の動きが大きな場合には、第1色成分画像のフレームレートを、第2色成分のフレームレートに合わせる。なお、動き検出部1403は、例えば、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、動きオプティカルフローを検出する。動きの大きさを自動的に検出する方法の一例を説明する。図17aおよびbは、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部1403は、基準とするフレーム動きを求めるべく着目しているt番目のフレーム内に、図17aに示す窓領域Aを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。探索範囲は、図17bに示すように、通常、移動量ゼロの位置Bを基準に予め一定の範囲同図17b中のCが設定される。また、パターンの類似の度合い程度は、数3に示す残差平方和SSD:SumofSquareDifferrencesや、数4に示す残差絶対値和SAD:SumofAbsolutedDifferencesを評価値として計算することによって評価する。数3および数4において、Ix,y,tは、画像内の位置x,y、フレーム番号tにおける画素の信号値である。また、x,y∈Wは、基準フレームの窓領域内に含まれる画素の座標値を意味する。動き検出部1403は、探索範囲内でu,vを変化させることにより、上記評価値を最小とするu,vの組を探索し、これをフレーム間での動きベクトルVとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎例えば8画素×8画素に求める。動きの大きさを自動的に検出してフレームレート補正法を選択する場合は、例えば、前記方法によって求められた動きに対し、下記数5によって求めた画像内の全画素における動きの大きさの平均値が8画素以上であればフレームレート補正部22を、それ以下であればフレームレート補正部1402を使用する、というように自動的に選択させる。数5において、umeantはt番目のフレームにおける全画素の動きの大きさの平均値、Nは1フレームにおける全画素数、Ωは1フレームにおける全画素の座標値を意味する。なお、本実施形態において、上記の2種のフレームレート補正法は、入力画像すべてに対し同一の方法を選択するようにしてもよいし、入力画像の部分ごとに異なる方法が選択される構成でもかまわない。入力画像の部分ごとにフレームレート補正法を変える場合は、例えば数5におけるumeantを画像全体でなく、ある大きさの画像ブロックごとに求め、umeantが8画素以上であるブロックはフレームレート補正部22に、そうでないブロックはフレームレート補正部1402に入力されるような構成とすることで実現できる。本実施形態において、被写体の動きが小さいときに、第2色成分画像のフレームレートを第1色成分画像のフレームレートに適合させることにより、電荷蓄積が十分に行われた、S/Nの高いカラー画像を得ることができる。被写体の動きが小さいため、電荷蓄積時間を長くしても、表示部21に出力されるカラー画像に動きぶれは目立たない。実施形態4次に、本発明による撮像装置の第4の実施形態を説明する。本実施形態は、第1あるいは第2実施形態のフレームレート補正部に加え、他の画像復元部を備えている。そして、ユーザの本撮像表示装置の用途、例えば、録画時に用いるか再生時に用いるかの指示に基づいて、そのいずれかを選択できるようにした構成である。図15は、本実施形態に係る構成を示すブロック図である。本実施形態において、第1または第2実施形態おけるフレームレート補正部と同様の構成を有するフレームレート補正部1502と、第1色成分画像の高フレームレート化処理を行う画像処理部1503と、フレームレート補正部1502および画像処理部1503のどちらを使用するかを選択する表示方法選択部1501を有する。また、本実施形態の撮像装置は、ユーザからの録画/再生の指示を受けつけ、主制御部24に伝達する入力部1504を有している。画像処理部1503の動作の一例について、図18を参照しながら説明する。画像処理部1503の構成および動作は、特許文献3および特許文献4に開示されている装置および動作と同様であり得る。ここに、特許文献3および特許文献4の開示の全体を援用する。図18の例によると、本実施形態において、画像処理部1503は、第1色成分画像の表示フレームレートを第2色成分画像に適合させる処理を行う第1色成分アップコンバータ1801と、第2色成分画像から動きを検出する動き検出部1802から構成される。画像処理部1503の動作は、第1色成分画像について、動き検出部1802によって例えば前記数3あるいは数4により求めた動きを元に、時空間的に分解する処理である。第1色成分画像gLの復元画像gHは、下記の数6を最小化するgHとして求められる。ここで、gH、gLは動画像の各画素を要素とする縦ベクトル、Hは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Qsは滑らかさ拘束、λmは動き拘束に対する重み、Qmは動き拘束をモデル化した行列を表している。なお、gH、gLは、動画像における全ての位置及び全てのフレームにおける画素値を並べたベクトルである。以下、数7、数8及び数9に、前記数6右辺の各項の詳細な式を示す。なお、上記数7、数8、数9において、gHx,y,t、HgHx,y,t、QsgHx,y,t、QmgHx,y,tは、それぞれ数6におけるgH、HgH、QsgH、QmgHの位置x,y、フレーム番号tに相当する要素である。また、数8、数9において、xmax、ymax、tmaxはそれぞれx方向画素番号、y方向画素番号、フレーム番号の最大値を示す。また、数9におけるux,y,t及びvx,y,tは、動き検出部1802によって求められた、位置x,y及びフレーム番号tの画素位置におけるx方向及びy方向の動きの大きさである。動き検出部1802は、例えば実施形態3の方法で動きを検出する。なお、数7においては、第1色成分画像の電荷蓄積時間は、第2色成分画像の電荷蓄積時間の4倍であると仮定しているが、本発明は、この値に制限されるものではない。第1色成分アップコンバータ1801は、下記数10に基づいて数6を最小化するgHを得る。その結果、第1色成分アップコンバータ1801は、数11に示す連立方程式を解くことによってgHを得る。数11は、共役勾配法や最急降下法等の既存の数値計算法連立方程式の解法を用いることによって解くことができる。本実施形態において、本撮像装置の出力画像を撮像中の被写体の確認に用いるのでなく、録画後に鑑賞目的で再生するのに使用する場合、実施形態1のフレームレート補正部を用いる場合よりも高画質のカラー画像を表示することができる。なお、高フレームレート化処理は、撮像装置内に組み込んだ画像処理部1503によって行ってもよいし、記録部23から撮像画像を外部演算装置に転送した上で、該演算装置内で行ってもよい。高フレームレート化処理を撮像装置内の画像処理部1503において行う場合でも、該処理は録画されたカラー画像を対象とするため、リアルタイムに行う必要はない。そのため、リアルタイムの高フレームレート化処理を行う場合に比べ、該処理に必要な回路規模を抑えることができる。なお、本実施形態における画像処理部1504は、実施形態1から実施形態3のいずれか任意の撮像装置に組み込まれ、記録部23からのデータを読み出して処理するために用いられてもよい。この場合、画像処理部1504によって得られたカラー画像は、撮像が完了した後、外部の表示装置に表示され得る。また、この画像処理部1504は、実施形態1から実施形態3のいずれか任意の撮像装置の記録部23から読み出されたデータを、撮像装置の外部で処理するために使用されてもよい。画像処理部1504の構成および動作は、上述したものに限定されない。実施形態5図16に、本実施形態におけるコンピュータプログラムのフローチャートの一例を示す。本実施形態におけるコンピュータプログラムは、前記の各実施形態に係る撮像装置に設けられたプロセッサに各種のステップを実行させる指令のセットである。上記の実施形態では、フレームレート補正部22、1201、1301、1402が減算部222、ゲイン補正部224、およびその他の構成要素を備えているが、これらの構成要素は、特別のハードウェアによって実現されても良いし、ハードウェアおよびソフトウェアの組み合わせによって実現されても良い。本実施形態では、撮像装置に設けられたプロセッサによって上記の構成要素の少なくとも一部が実現され得る。本実施形態のコンピュータプログラムは、上記の各実施形態における撮像装置から、非破壊読出しによって得られた第1色成分の画素信号と、第2のフレームレートでの読出しによって得られた第2色成分の画像信号を受け取るステップと、前回の非破壊読出しによって得られた信号を、その次の非破壊読出しによって得られた信号から減算することによって差分値を求め、差分値を第2のフレームレートで出力するステップとを実行させる点に特徴を有している。本発明の好ましい実施形態におけるコンピュータプログラムに従ってプロセッサが実行する方法は、表示部の画像を撮像時の被写体の確認に用いるか、録画された動画像を再生するときに用いるかを選択する表示方法選択ステップ1601と、被写体の動きの大きさに応じてフレームレート補正方法を選択する補正方法選択ステップ1602と、非破壊読出しされた第1色成分の信号の差分を取る減算ステップ1603と、前記減算ステップの出力のゲイン補正を行うゲイン補正ステップ1604と、第2色成分画像のフレームレートを第1色成分画像と同一のフレームレートに補正するフレームレート補正ステップ1605と、第1及び第2色成分画像から高フレームレートのカラー画像を生成する高フレームレート化処理ステップ1606を包含している。表示方法選択ステップ1601の動作は実施形態4における表示方法選択部1501の動作と同一である。補正方法選択ステップ1602の動作は実施形態3における補正方法選択部1401の動作と同一である。減算ステップ1603の動作は実施形態1における減算部223の動作と同一である。ゲイン補正ステップ1604の動作は実施形態1におけるゲイン補正部224の動作と同一である。フレームレート補正ステップ1605の動作は実施形態3におけるフレームレート補正部1402の動作と同一である。高フレームレート化処理ステップ1606の動作は実施形態4における画像復元部1503の動作と同一である。上記の各ステップの全てをプロセッサによって実行させる必要はなく、一部のステップは、専用のハードウェアによって実行させても良い。このプログラムは、記録媒体に記録された形態で存在する。"