"固体撮像素子と、前記固体撮像素子を制御する撮像制御部と、前記固体撮像素子によって取得された画像を処理する画像処理部とを備える撮像装置であって、前記固体撮像素子は、第1の色の画素および第2の色の画素を含む複数の画素が第1方向および前記第1方向と交差する第2方向に2次元的に配列された撮像面であって、前記第1方向に延びる画素の列が前記第1の色の画素および前記第2の色の画素を含む撮像面と、各々が前記第1方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第1方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第1電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第1の色の画素からの電荷を検出し、電圧信号に変換する複数の第1電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第2電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第2の色の画素からの電荷を検出し、電圧信号に変換する複数の第2電荷検出素子と、前記第2の方向に延び、一端から画素信号を出力する転送路と、前記第1の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線と、を有し、前記撮像制御部は、前記固体撮像素子から、前記第1の色の画素から構成される第1色画像を第1のフレームレートで読み出し、前記第2の色の画素から構成される第2色画像を前記第1のフレームレートよりも低い第2のフレームレートで読み出す、撮像装置。前記撮像制御部は、前記複数の画素の各々で生じた電荷を同一のタイミングで前記複数の電荷結合素子列に読み出す機能を有している、請求項1に記載の撮像装置。前記撮像制御部は、前記電荷結合素子列に保持された前記第1の色の複数の画素からの電荷を前記電荷結合素子列で混合する機能を有している、請求項1または2に記載の撮像装置。前記撮像制御部は、前記第1色画像および前記第2色画像の両方を読み出すフレームにおいて、各電荷結合素子列に保持された前記第2の色の画素からの電荷を前記電荷結合素子列から除去した後、前記第1の色の複数の画素で生成された電荷を前記電荷結合素子列内で混合する機能を有する、請求項3に記載の撮像装置。前記画像処理部は、前記第1のフレームレートで読み出された前記第1色画像と、前記第2のフレームレートで読み出された前記第2色画像とに基づいて、前記第1のフレームレート以上のフレームレートを有し、かつ、前記第2色画像の解像度以上の解像度を有するカラー動画像を生成する、請求項1から4のいずれかに記載の撮像装置。前記転送路は、前記第2方向に延びる水平電荷結合素子列を含み、前記水平電荷結合素子列は、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号に対応する電荷信号を保持しながら水平方向に転送する、請求項1から5のいずれかに記載の撮像装置。前記転送路は、前記第2方向に延びる水平シフトレジスタを含み、前記水平シフトレジスタは、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号を水平方向に転送する、請求項1から5のいずれかに記載の撮像装置。前記固体撮像素子は、前記複数の出力信号線と前記水平シフトレジスタとの間に配置されたビニング回路を有し、前記ビニング回路は、前記複数の出力信号線の少なくとも2本の出力信号線上の前記電圧信号であって、前記第2方向に配列されている複数の画素からの電荷を示す電圧信号を加算する機能を有している、請求項7に記載の撮像装置。前記撮像面における前記複数の画素の各々は、入射光に含まれるレッド、グリーン、およびブルー成分のいずれか1つの強度を検出する請求項1から8のいずれかに記載の撮像装置。前記第1の色はレッドおよびブルーであり、前記第2の色はグリーンである請求項1から9のいずれかに記載の撮像装置。前記撮像面における前記複数の画素の各々は、入射光に含まれるシアン、マゼンタ、イエロー及びグリーン成分のいずれか1つの強度を検出する請求項1から8のいずれかに記載の撮像装置。第1の色の画素および第2の色の画素を含む複数の画素が第1方向および前記第1方向と交差する第2方向に2次元的に配列された撮像面であって、前記第1方向に延びる画素の列が前記第1の色の画素および前記第2の色の画素を含む撮像面と、各々が前記第1方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第1方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第1電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第1の色の画素からの電荷を検出し、電圧信号に変換する複数の第1電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第2電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第2の色の画素からの電荷を検出し、電圧信号に変換する複数の第2電荷検出素子と、前記第2の方向に延び、一端から画素信号を出力する転送路と、前記第1の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線と、を備える固体撮像素子。請求項12に記載の固体撮像素子の駆動方法であって、前記複数の画素の各々で生成された電荷を、同一のタイミングで、前記複数の電荷結合素子列の対応する部分に画素単位で移動させる工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第2の色の画素から移動してきた電荷を前記第2電荷検出素子で検出する工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第1の色の画素から移動してきた電荷を前記第2電荷検出素子内で混合する工程と、各電荷結合素子列内で混合された電荷を前記第1電荷検出素子で検出する工程と、を実行する固体撮像素子の駆動方法。しかしながら、前記従来の構成では、単板カラー撮像素子上のすべての画素から同時に画素信号を読み出すことができない。CMOS撮像素子では、画素信号を読み出す水平走査線を順次選択し、出力する。このため、撮像面の上側と下側で露光が終了し画素信号が読み出されるタイミングにずれが生じる。このとき、高速に水平方向に移動する被写体があれば、得られる被写体像は、画面内の上側と下側で撮像画像に捉えられる位置にずれが発生し、歪みを生じる。一方、単板カラー撮像素子では異なる色の画素が交互に配列されている。このため、CCD撮像素子において画素に接続された電荷結合素子上で加算を行う際、すべての画素を同時に電荷結合素子に読み出すと、電荷結合素子上で前記異なる色の画素の信号が混合されてしまう。特許文献3のCCD撮像素子においても、この異なる色の画素信号の混合を避けるために、垂直方向の同一の列に配置されたR画素とG画素の信号について、画素から電荷を電荷結合素子に読み出すタイミングに、色ごとにずれを持たせている。つまり、CCD撮像素子を用いた場合は、色ごとに撮像される像にずれを生じる可能性がある。これらの撮像素子においてすべての画素の露出タイミングをそろえるためには、撮像素子外部、例えば撮像装置に設置されるレンズの後方に撮像素子全面への入射光を遮断するシャッタ機構を追加で設置する必要がある。そして、画素の露光を前記シャッタで遮断してから読み出す必要がある。この追加機構によって撮像装置そのもののサイズが大きくなるという課題が生じる。本発明は、上記課題を解決する者であり、その主たる目的は、色成分ごとに解像度フレームレートが異なる撮像を行う際に有効な構成を有する撮像装置を提供することにある。また、本発明の他の目的は、上記の撮像装置によって取得された画像を高解像度化する画像処理装置を提供することにある。本発明の撮像装置は、固体撮像素子と、前記固体撮像素子を制御する撮像制御部と、前記固体撮像素子によって取得された画像を処理する画像処理部とを備える撮像装置であって、前記固体撮像素子は、第1の色の画素および第2の色の画素を含む複数の画素が第1方向および前記第1方向と交差する第2方向に2次元的に配列された撮像面であって、前記第1方向に延びる画素の列が前記第1の色の画素および前記第2の色の画素を含む撮像面と、各々が前記第1方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第1方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第1電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第1の色の画素からの電荷を検出し、電圧信号に変換する複数の第1電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第2電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第2の色の画素からの電荷を検出し、電圧信号に変換する複数の第2電荷検出素子と、前記第2の方向に延び、一端から画素信号を出力する転送路と、前記第1の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線とを有し、前記撮像制御部は、前記固体撮像素子から、前記第1の色の画素から構成される第1色画像を第1のフレームレートで読み出し、前記第2の色の画素から構成される第2色画像を前記第1のフレームレートよりも低い第2のフレームレートで読み出す。ある実施形態において、前記撮像制御部は、前記複数の画素の各々で生じた電荷を同一のタイミングで前記複数の電荷結合素子列に読み出す機能を有している。ある実施形態において、前記撮像制御部は、前記電荷結合素子列に保持された前記第1の色の複数の画素からの電荷を前記電荷結合素子列で混合する機能を有している。ある実施形態において、前記撮像制御部は、前記第1色画像および前記第2色画像の両方を読み出すフレームにおいて、各電荷結合素子列に保持された前記第2の色の画素からの電荷を前記電荷結合素子列から除去した後、前記第1の色の複数の画素で生成された電荷を前記電荷結合素子列内で混合する機能を有する。ある実施形態において、前記画像処理部は、前記第1のフレームレートで読み出された前記第1色画像と、前記第2のフレームレートで読み出された前記第2色画像とに基づいて、前記第1のフレームレート以上のフレームレートを有し、かつ、前記第2色画像の解像度以上の解像度を有するカラー動画像を生成する。ある実施形態において、前記転送路は、前記第2方向に延びる水平電荷結合素子列を含み、前記水平電荷結合素子列は、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号に対応する電荷信号を保持しながら水平方向に転送する。ある実施形態において、前記転送路は、前記第2方向に延びる水平シフトレジスタを含み、前記水平シフトレジスタは、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号を水平方向に転送する。ある実施形態において、前記固体撮像素子は、前記複数の出力信号線と前記水平シフトレジスタとの間に配置されたビニング回路を有し、前記ビニング回路は、前記複数の出力信号線の少なくとも2本の出力信号線上の前記電圧信号であって、前記第2方向に配列されている複数の画素からの電荷を示す電圧信号を加算する機能を有している。ある実施形態において、前記撮像面における前記複数の画素の各々は、入射光に含まれるレッド、グリーン、およびブルー成分のいずれか1つの強度を検出する。ある実施形態において、前記第1の色はレッドおよびブルーであり、前記第2の色はグリーンである。ある実施形態において、前記撮像面における前記複数の画素の各々は、入射光に含まれるシアン、マゼンタ、イエロー及びグリーン成分のいずれか1つの強度を検出する。本発明の固体撮像素子は、第1の色の画素および第2の色の画素を含む複数の画素が第1方向および前記第1方向と交差する第2方向に2次元的に配列された撮像面であって、前記第1方向に延びる画素の列が前記第1の色の画素および前記第2の色の画素を含む撮像面と、各々が前記第1方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第1方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第1電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第1の色の画素からの電荷を検出し、電圧信号に変換する複数の第1電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第2電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第2の色の画素からの電荷を検出し、電圧信号に変換する複数の第2電荷検出素子と、前記第2の方向に延び、一端から画素信号を出力する転送路と、前記第1の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線とを備える。本発明による固体撮像素子の駆動方法は、請求項12に記載の固体撮像素子の駆動方法であって、前記複数の画素の各々で生成された電荷を、同一のタイミングで、前記複数の電荷結合素子列の対応する部分に画素単位で移動させる工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第2の色の画素から移動してきた電荷を前記第2電荷検出素子で検出する工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第1の色の画素から移動してきた電荷を前記第2電荷検出素子内で混合する工程と、各電荷結合素子列内で混合された電荷を前記第1電荷検出素子で検出する工程とを実行する。本発明によれば、色成分ごとに解像度フレームレートが異なる撮像を行うために画素加算を行う場合にも、追加のシャッタ機構なしに撮像面上のすべての画素から同時に画素信号を読み出すことが可能になる。まず、図1から図5を参照して、本発明の基本的な構成と動作を説明する。図1は、本発明の撮像装置の構成を示すブロック図である。図1に例示されるように、本発明の撮像装置は、固体撮像素子120と、固体撮像素子120を制御する撮像制御部130と、固体撮像素子120によって取得された画像を処理する画像撮像素子140とを備える。次に、図2Aを参照して、固体撮像素子120の構成例を説明する。図2Aに例示される固体撮像素子120は、複数の画素が第1方向および第1方向と交差する第2方向に2次元的に配列された撮像面100を有している。複数の画素は、例えばレッドおよびブルーからなる第1の色の画素101と、例えばグリーンからなる第2の色の画素102を含む。画素101、102の各々は、光電変換を行う不図示の光電変換素子典型的にはフォトダイオードを含み、また必要に応じて他のトランジスタ素子などの回路要素を含み得る。画素101、102の光入射側には、第1の色を透過する第1色フィルタと第2の色を透過する第2色フィルタとがモザイク状に配列されたカラーフィルタアレイが設けられる。カラーフィルタアレイは、典型的には、ベイヤ型配列構成を有しているが、他の配列構成を有していてもよい。各画素101、102では、光電変換により、光の入射に応じた量の電荷が生成される。レンズによって撮像面に形成された像は、撮像面内で入射光量の分布を有する。したがって、各画素101、102のカラーフィルタに入射する光の量も、撮像面内で2次元的な分布を有する。対応するカラーフィルタを透過して各画素101、102の光電変換部に入射する光の量も、撮像面内で2次元的な分布を有する。第1の色の画素101は、その位置における第1の色フィルタに届いた光のうち、第1の色フィルタを透過して光電変換素子に入射した光の量に応じた電荷を生成し、蓄積する。一方、第2の色の画素102は、その位置における第2の色フィルタに届いた光のうち、第2の色フィルタを透過して光電変換素子に入射した光の量に応じた電荷を生成し、蓄積する。一定の像が撮像面に形成されているとき、各画素101、102で生成される電荷は、電荷蓄積期間が長くなるほど、多くなる。第1方向に延びる画素の各列103は、第1の色の画素101および第2の色の画素102を含む。図2Aの例では、垂直方向に延びる画素の各列103において、第1の色の画素101および第2の色の画素102が交互に配列されている。固体撮像素子120は、各々が第1方向に延びる複数の電荷結合素子列104を有している。電荷結合素子列104の構成は、公知のCCD撮像素子に用いられている垂直電荷結合転送路または水平電荷結合転送路の構成と同様である。各電荷結合素子列104は、絶縁膜を介して半導体表面を覆うように配列された多数の電極を有しており、これらの電極に与える電位を制御することにより、電荷を蓄積または転送することが可能である。各電荷結合素子列104は、隣接する画素の列103に接続されている。図2Aの例に示される電荷結合素子列104は、図中の右側に位置する画素の列103に接続されているが、本発明は、これに限定されない。各電荷結合素子列104は、それに接続された画素の列103を構成する画素101、102が生成した電荷をそれぞれ画素単位で受け取り、保持することができる。固体撮像素子120は、複数の電荷結合素子列104の各々に接続された複数の第1電荷検出素子106Aおよび複数の第2電荷検出素子106Bを有している。これらの電荷検出素子106A、106Bは、トランジスタ素子から構成されたアンプであり得る。複数の第1電荷検出素子106Aの各々は、対応する電荷結合素子列104に保持された第1の色の画素101からの電荷を検出し、電圧信号に変換する。同様に、複数の第2電荷検出素子106Bの各々は、対応する電荷結合素子列104に保持された第2の色の画素102からの電荷を検出し、電圧信号に変換する。固体撮像素子120は、第2の方向に延びる転送路110と、第1の方向に延びる複数の出力信号線108とを有する。複数の出力信号線108の各々は、複数の電荷検出素子106A、106Bの少なくとも一部に接続され、電荷検出素子106A、106Bが出力した電圧信号を転送路110に伝達する。図2Aの例では、電荷検出素子106A、106Bは、共通する1つの出力信号線108に接続されているが、図2Bに示すように、電荷検出素子106A、106Bが、それぞれ、異なる出力信号線108A、108Bに接続されていてもよい。図2Aおよび図2Bに示すいずれの例においても、転送路110は、出力信号線108または出力信号線108A、108Bを介して受け取った電圧信号に対応する画素信号を、その一端から出力する。画像信号は、第1の色の画素からなる画像第1色画像、第2の色の画素からなる画像第2色画像の形成に用いられる。撮像の各フレームで出力される画素信号により、1フレームの画像が形成される。異なる色の画像を合成することにより、カラーの動画像が形成され得る。ある実施形態において、転送路110は、第2方向に延びる水平電荷結合素子列を含む。この水平電荷結合素子列は、複数の出力信号線に接続され、複数の出力信号線上の電圧信号に対応する電荷信号を保持しながら水平方向に転送する。また、他の実施形態において、転送路110は、第2方向に延びる水平シフトレジスタを含む。この水平シフトレジスタは、複数の出力信号線に接続され、複数の出力信号線上の電圧信号を水平方向に転送する。再び図1を参照する。図1の撮像制御部130は、固体撮像素子120における第1の色の画素から構成される第1色画像を第1のフレームレートで読み出すことができる。また、撮像制御部130は、第2の色の画素から構成される第2色画像を第1のフレームレートよりも低い第2のフレームレートで読み出すことができる。こうして読み出された複数の色画像は、画像処理部140に入力される。画像処理部140は、後述する種々の画像処理を実行することにより、高解像のカラー動画像を生成し、出力する。次に、図3Aから図3Fを参照しながら、本発明の撮像装置の動作の一例を説明する。これらの図においては、簡単のため、第1方向に延びる画素の列103および電荷結合素子列104の1組が記載されている。現実の固体撮像素子120では、このような画素の列103および電荷結合素子列104の多数の組が第2方向に交互に配列されている。まず、図3Aを参照する。画素101、102に光が入射すると、黒丸で模式的に示す電荷が光電変換によって画素101、102に生成される。次に、図3Bに示すように、画素101、102に生成された電荷を、同一のタイミングで、電荷結合素子列104に移動させる。各画素101、102の電荷は、画素単位で電荷結合素子列104に移動し、画素単位で電荷結合素子列104に保持される。図3Bの例では、1つの画素の列103から同一タイミンクで電荷の移動が行われているが、好ましく、撮像面内のすべての画素から、対応する電荷結合素子列104に電荷の移動が行われる。通常のCCD撮像素子であれば、各画素101、102から電荷結合素子列104内に移動した電荷は、次に、第1方向に転送される。しかし、本発明では、そのような転送を行う必要がない。次に、図3Cおよび3Dに示すように、複数の第2電荷検出素子106Bが、順次、対応する電荷結合素子列104に保持された第2の色の画素102からの電荷を検出し、電圧信号に変換する。電圧信号は、第2電荷検出素子106Bに接続された出力信号線108に与えられる。複数の第2電荷検出素子106Bは、接続された電荷結合素子列104の保持する第2の色の画素102からの電荷を、画素単位で検出する。第1方向に、順次、検出が行われる結果、図3Eに示されるように、電荷結合素子列104からは第2の色の画素102からの電荷がすべて除去され、電荷結合素子列104は、第1の色の画素101からの電荷のみを保持した状態になる。図3Eは、そのような状態を示している。その後、図3Fに示されるように、第1方向に隣接する2以上の第1の色の画素101からの電荷を混合する。この混合は、電荷結合素子列104内で行われる。混合の詳細は、後述する。図4は、第1の色の画素101および第2の色の画素102が交互に配列された画素の列103と、この画素の列103に接続された電荷結合素子列104と、電荷結合素子列104における半導体の表面ポテンシャルの形状を模式的に示している。図4の3Bは、図4に示す表面ポテンシャルが図3Bの状態におけるものであることを示している。この状態では、電荷結合素子列104中にポテンシャルの井戸が多数形成される。この井戸は、表面ポテンシャルの電位が局所的に高くなり、その井戸の底に電荷電子を蓄積する。図4に示すポテンシャルの井戸の底部において、斜線でハッチングされた部分が蓄積された電荷を模式的に示している。現実には、電荷は、半導体表面付近に蓄積される。ポテンシャルの形状は、半導体の内部ではなく表面における電位を示している。前述した図3C、3E、3Fに示す状態では、それぞれ、図5に模式的に示す形状のポテンシャルが電荷結合素子列104の半導体表面に形成され、電荷の蓄積状態が変化してゆく。図5における3C3E3Fの波形は、それぞれ、図3C、3E、3Fに示す状態における半導体表面のポテンシャルを示している。図5の3Cでは、図中の最上部に位置する画素102からの電荷が電荷結合素子列104から除去されている。図5の3Eでは、第2の色の画素102からの電荷がすべて電荷結合素子列104から除去されている。図5の3Fでは、第1の色の画素として隣接する2つの画素101からの電荷か電荷結合素子列104内で混合され、蓄積量が加算されている。本明細書では、複数の画素からの電荷を混合することを画素加算と称する。このように本発明によれば、第1方向に延びる電荷結合素子列104を介して画素の電荷を読み出すため、第1方向に配列された複数の画素から電荷を読み出すタイミングを一致させることができる。このため、撮像面の上側と下側とで画素信号が読み出されるタイミングにずれが生じるというCMOS撮像素子の前記課題が解決される。また、本発明によれば、撮像面内の各画素フォトダイオードで生じた電荷を、いったん電荷結合素子列104に移動させた後、電荷結合素子列104が保持する電荷を電荷検出素子106A、106Bによって検出し、第1方向に延びる出力信号線を介して読み出す。すなわち、電荷結合素子列104によって第1方向に電荷を転送しなくとも、第1方向における任意の位置の画素の電荷を読み出すことができる。この点において、本発明は、CMOS撮像素子による画素信号の読み出しと同様の利点を有し、従来のCCD撮像素子が有している課題を解決することができる。更に、本発明によれば、第1方向において隣接する同色の画素からの電荷を電荷結合素子列104内で混合し、画素加算を実行することが容易に行える。なお、本発明の好ましい実施形態では、第2方向において隣接する同色の画素からの電荷を混合し、画素加算を実行することができる。このような画素加算は、公知のビニング回路を用いて行ってもよいし、また、水平電荷結合素子列を用いて行ってもよい。以下、本発明の実施の形態について、図面を参照しながら説明する。実施の形態1図6は、本実施形態に係る撮像装置の構成を示す。本実施形態の撮像装置は、撮像部11と、画像処理部12と、撮像制御部13とを備えている。撮像部11は同一シーンのRレッド、Gグリーン、Bブルー成分の色成分画像を撮像する。画像処理部12は撮像部11の出力画像を処理し、高解像度高フレームレートのカラー出力画像を生成する。撮像制御部13は撮像部11の撮像動作を制御する。以下に上記構成の動作について詳細に説明する。撮像部11は、レンズ111と、撮像素子112とから構成される。レンズ111は、被写体の像を撮像素子112の像面に結像する。撮像素子112は、撮像面上にR画素、G画素、B画素を有する単板カラー撮像素子であり、同一シーンのカラー画像のR成分、G成分、B成分について、入射光の強度を電気信号に変換する光電変換機能を有する。本実施形態では、第1の色成分をR成分およびB成分に設定し、第2の色成分をG成分に設定する。第1の色成分画像は、短時間露光、高フレームレートの撮像条件で撮像される。本実施形態における高フレームレートとは、例えば30fpsフレーム毎秒から60fps程度までの範囲にある。また、本実施形態における短時間露光とは、最長でもフレームレートで決まる1フレームの上限本実施形態の場合、30分の1秒から60分の1秒程度以下の時間の露光である。第2の色成分画像は、長時間露光、低フレームレートの撮像条件で撮像される。本実施形態における低フレームレートとは、第1の色成分についてのフレームレートの、数分の1から20分の1程度である。また、本実施形態における長時間露光とは、このフレームレートの値で決まる1フレームの時間を上限とし、かつ、上記の短時間露光の時間よりも長い露光である。なお、上で述べた短時間露光、長時間露光、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、カラー画像の第1の色成分についての露光時間は、第2の色成分についての露光時間よりも短く、第1の色成分のフレームレートは第2の色成分のそれよりも高ければよく、上記に例示した数値の範囲に限定するものではない。画像処理部12は、撮像部11において、高解像度低フレームレートで撮像された第1の色成分画像、及び低解像度高フレームレートで撮像された第2の色成分画像から、高解像度高フレームレートの出力カラー画像を生成する。撮像制御部13は、撮像部11における撮像素子112の動作を制御する。具体的には、撮像素子112に対して、第1及び第2の色成分に独立に読み出しタイミングを規定する信号以下、読み出し信号と称する、画素加算動作を制御する信号、画素信号の垂直及び水平転送を制御する信号を供給する機能を有する。これらの制御信号については、詳細は後述する。なお、画像処理部12は、撮像部11と同一の筐体内に収納し、撮像と画像処理を一体化した撮像装置として提供されてもよいし、撮像部11と分離し、撮像部11から有線あるいは無線で伝達された撮像信号を受け取って撮像部11と別のハードウェアにて画像処理を行ってもよい。図7は、撮像素子112の画素配列を示す。図において、符号Rは、入射光のRレッド成分の強度を検出する画素、符号Bは、入射光のBブルー成分の強度を検出する画素、符号Gr及びGbは、入射光のGグリーン成分の強度を検出する画素を示す。本実施形態の撮像素子は、R画素及びG画素が水平方向に交互に配置されている行と、G画素及びB画素が水平方向に交互に配置されている行が、垂直方向に交互に配置されている。以下、R画素と水平方向に交互に配置されているG画素をGr画素、B画素と水平方向に交互に配置されているG画素をGb画素と称し、図6中のGr、Gbという表現は、ここで述べたものと同一のものを指す。本実施形態では、R及びB画素について、垂直及び水平方向に互いに隣接する2画素を加算する。図8は、本実施形態における撮像素子112の一部の詳細な構成を示す。図中の符号R、B、Gr、Gbは、それぞれ撮像素子に入射する光のR成分、B成分、G成分の光電変換を行う画素を示す。電荷結合素子列301は、各画素について3個ずつの電荷結合素子で構成されており、R及びGb画素の蓄積した電荷を読み出し、垂直方向の加算を行う。個々の電荷結合素子は、他の電荷結合素子から独立した電位が与えられ得る電極を持つMOS型キャパシタ構造を有している。電荷検出アンプ302は、R及びGb画素に接続された電荷結合素子に格納された該画素電荷を、電圧の形の電気信号に変換する。読み出し信号線303は、Gr及びGb画素の読み出し信号を伝達する。読み出し信号線304は、R及びB画素の読み出し信号を伝達する。信号線303及び304は、電荷検出アンプの出力に対するスイッチのゲートに接続される。これらの信号線にHレベルの信号を供給することで、電荷検出アンプによって電気信号に変換された画素出力を読み出す。出力信号線305及び306は、前記方法で読み出されたR画素及びGb画素の出力信号を、撮像素子上端に配置された水平転送部に伝達する。電荷結合素子列307は、電荷結合素子列301と同数の電荷結合素子で構成されており、B及びGr画素の蓄積した電荷を読み出し、垂直方向の加算を行う。電荷検出アンプ308は、R及びGb画素に接続された電荷結合素子に格納された該画素電荷を、電圧の形の電気信号に変換する。出力信号線309及び310は、前記方法で読み出されたB画素及びGr画素の出力信号を、撮像素子上端に配置された水平転送部に伝達する。トランスファーゲート311及び312は、電荷検出アンプ302から出力されたR画素及びGb画素の出力信号を水平転送路315に供給する。トランスファーゲート313及び314は、電荷検出アンプ308から出力されたB画素及びGr画素の出力信号を、再度電荷に変換し、水平転送路316に供給する。水平転送路315は、各画素について3個ずつの電荷結合素子で構成されており、トランスファーゲート311及び314によって電荷に変換されたR及びGr画素の出力を、水平方向に加算及び転送し、撮像素子112の外に出力する。水平転送路316は、水平転送路315と同数の電荷結合素子で構成されており、トランスファーゲート312及び313によって電荷に変換されたB及びGb画素の出力を、水平方向に加算及び転送し、撮像素子112の外に出力する。水平出力電荷検出アンプ317及び318は、水平転送路315及び316の終端に配置され、それぞれの転送路の終端に到達した電荷を電気信号に変換する。なお、ここで読み出し信号線303及び304には、撮像面上の画素の行ごとに異なる信号が入力される。図8に示されるように、例えば、撮像面の上辺からn番目のR及びB画素の組には、同一の読み出し信号Rreadnを供給し、n番目のGr及びGb画素の組には、読み出し信号Greadnを供給する。n1番目のRB画素の組にはRreadn1、GrGb画素の組にはGreadn1をそれぞれ供給する。なお、本実施形態におけるトランスファーゲート313及び314は、例えば特許文献4に示されるような、公知のものでかまわない。なお、図8の例では、垂直画素列が2列分、水平画素列が8行分のみ記載しているが、実際はこれが垂直水平方向ともに撮像素子の画素数分だけ繰り返して配置されている。また、図8において、水平転送路315及び316は画素配列部の上側に配置して記載しているが、実際の構成はこれに限定されるものではなく、画素アレイの下側に配置してもよい。水平転送路315あるいは水平転送路316の片方のみ上側に、もう片方を下側に配置する構成でもかまわない。図9は、図8における電荷結合素子列301及び307の各電荷結合素子に供給する信号の一覧を示した図である。同図において、図8に記載の電荷検出アンプ302及び308、読み出し信号線303及び304などの記載を省略している。実際は電荷結合素子列301及び307を構成する各電荷結合素子には、図8の電荷検出アンプ302及び308と、図9に示される駆動信号の信号線の双方が接続されている。図9によると、本実施形態においては、電荷結合素子列301の電荷結合素子の駆動にV1、V2、V3、VR1、VR2、VGの6種類の制御信号を用いる。これらの信号のうち、VR1、VR2、VGは、画素に蓄積された電荷を電荷結合素子に読み出すのに必要な電圧値電荷読み出し電圧と称すると、電荷結合素子列上で電荷の転送を行うのに必要な電圧値電荷転送電圧と称する、電荷転送電圧よりもやや高い電圧で電荷を保持するための電圧電荷保持電圧と称する、及びLレベルに相当する電圧例えば0Vの4値をとる。一方で、V1、V2、V3は、電荷転送電圧とLレベルの2値をとる。本実施形態では、電荷読み出し電圧は電荷転送電圧より高い電圧値であり、例えば、電荷読み出し電圧は5V、電荷転送電圧は2Vである。また、電荷保持電圧は電荷読み出し電圧と電荷転送電圧の中間の値をとり、例えば3.5Vである。本実施形態において、R画素とB画素を同時に読み出し、Gr画素とGb画素を同時に読み出すことを仮定しているため、B画素及びGr画素が接続された電荷結合素子列307に対しても、電荷結合素子列301と同一の駆動信号を供給するものとする。具体的には、電荷結合素子列307においてB画素が接続されている電荷結合素子には、電荷結合素子列301においてR画素が接続されている電荷結合素子と同一の駆動信号を供給し、Gr画素が接続されている電荷結合素子には、電荷結合素子列301においてGb画素が接続されている電荷結合素子と同一の駆動信号を供給する。本発明において、第1の色成分であるG成分は、第2の色成分であるR及びB画素より低いフレームレートで出力される。すなわち、R及びB画素はすべてのフレームで出力されるが、G画素は、RB画素の数フレームに一回、例えば4フレームに一回ずつ読み出される。G画素が読み出されないフレームにおいては、該画素は電荷の蓄積を継続している。図10は、R画素及びB画素のみ読み出すフレームの、1フレーム分の画素の読み出しの流れを示した図である。G画素は読み出されないため、G画素に対する操作は何も行われない。R及びB画素に対しては、まずすべての画素の同時読み出し以下でグローバルシャッタ動作と称するを行い、垂直方向の画素加算を行う。ここでいう画素の読み出しとは、電荷結合素子列301及び307中の各RB画素に接続された電荷結合素子に前記電荷読み出し電圧の信号図9におけるVR1及びVR2を与え、画素に蓄積された電荷を電荷結合素子に移動させることを意味する。その後、第1行目の水平走査線から順に、読み出し信号線304にHレベルの読み出し信号を供給することで電荷検出アンプ302あるいは308から1行分のR及びB画素信号を出力させる。その後、トランスファーゲート311あるいは313を通じて水平転送路315あるいは316中の電荷結合素子に加算画素電荷を格納したうえで、水平方向の画素加算の後に転送を行う。最後に水平転送路の終端にある水平出力電荷検出アンプ317あるいは318によって転送された電荷を電気信号に変換し、1行ずつ撮像素子112の外に画素信号を出力する。垂直方向及び水平方向の画素加算動作についての詳細は後述する。図11は、R、G、Bすべての画素を読み出すフレームにおける、1フレーム分の画素読み出しの流れを示した図である。該フレームにおいて、まずRGBすべての画素に対しグローバルシャッタ動作を行う。すなわち、図9における駆動信号VR1、VR2、VGすべてに前記電荷読み出し電圧の信号を与える。その後、RB画素に接続されている電荷結合素子の駆動信号図9のVR1及びVR2に電荷読み出し電圧の信号電圧を供給したまま、Gb及びGr画素のみに対し、第1行目の水平走査線から順に、読み出し信号線304にHレベルの読み出し信号を供給することで電荷検出アンプ302あるいは308から1行分のGr及びGb画素の信号を出力させる。その後トランスファーゲート312あるいは314を通じて水平転送路315あるいは316内の電荷結合素子に画素電荷を格納したうえで、水平方向に転送を行い、終端にある水平出力電荷検出アンプ317あるいは318によって転送された電荷を電気信号に変換したうえで、1行ずつ撮像素子112の外に画素信号を出力する。Gr及びGb画素の出力が完了すると、続いてR及びB画素の加算及び出力を行う。R及びB画素の出力は、図10に記載の方法と同一の方法で行う。図12は、垂直方向のR画素及びB画素の加算の流れを示した図である。図の上側には、電荷結合素子列301及び307内の電荷結合素子に供給する信号のうち、画素加算にかかわる部分のタイミングチャートを示しており、図の下側には、それぞれのタイミングに対応する時点での電荷結合素子のポテンシャル分布を示している。同図中には電荷結合素子列301上でのR画素の加算の例を示しているが、B画素についても、電荷結合素子列307上で同様に加算を行う。図中で符号706を付した電圧レベルは、電荷結合素子の前記電荷転送電圧に相当し、符号707を付した電圧レベルは、前記電荷保持電圧に相当し、符号708を付した電圧レベルは、前記電荷読み出し電圧に相当する。以下、図中の各時点における動作について詳細に説明する。まず、符号701で示される時点において、R画素に接続された電荷結合素子に電荷読み出し電圧を印加し、R画素のグローバルシャッタ動作を行う。このとき信号VR1及びVR2の振幅は電荷読み出し電圧に一致し、それぞれの電荷結合素子の位置のポテンシャルは、該電荷読み出し電圧に相当する深さを持った井戸を形成する。時点702においては、次の時点符号703での画素加算動作のために、信号VR1及びVR2の電圧を電荷転送電圧のレベルとし、ポテンシャル井戸を浅くする。続いて、時点703において、信号V1、VR1、VR2及びVGに電荷転送電圧を供給することで、それぞれ信号が供給された電荷結合素子の位置に一つの広大なポテンシャルの井戸を形成し、時点702において信号VR1及びVR2が供給される電荷結合素子の位置に保持されていた画素電荷をこの広大な井戸で共有する。このときに、VR1及びVR2の位置に保持されていた画素電荷は、この時点において一つの井戸で共有されることになり、その結果として2画素分の加算された電荷が得られる。その後、時点704において、VR1に電荷保持電圧を供給することで、広大な井戸で保持していた加算画素電荷を一つの電荷結合素子VR1の電荷結合素子に集約する。時点705では、信号VR1が供給される電荷結合素子以外の電荷結合素子にLレベルの駆動信号を印加することで、画素電荷の加算動作が完了する。上記のように加算された画素信号電荷は、対応する位置の電荷検出アンプ302によって電気信号に変換され、対応する位置の読み出し信号線303にHレベルの信号が供給された時点で、トランスファーゲート311を経由して水平転送路315に伝達される。なお、図12において、VR1及びVR2の電荷結合素子に読み出されたR画素の電荷を加算した後に、加算電荷をVR1の電荷結合素子に集約しているが、本実施形態はこの手順に限定されるものではなく、例えば加算後の電荷をVR2の電荷結合素子に集約してもよい。続いて、水平方向の画素加算及び水平転送を介した画素信号の出力の仕方について、図13、図14及び図15を参照しながら説明する。図13は、水平転送路315及び316の詳細な構成を示す図である。同図に示すように、水平転送路315内の電荷結合素子には、B画素の出力信号線図8における309と、Gb画素の出力信号線図8における306が、トランスファーゲート312及び313を介して水平方向に交互に接続されている。水平転送路316の電荷結合素子には、R画素の出力信号線305と、Gr画素の出力信号線310がトランスファーゲート311及び314を介して交互に接続されている。また、水平転送路315及び316内の各電荷結合素子は、VH1、VH2、VH3、VH4、VHR1、VHR2、VHGの7系統の駆動信号で制御される。出力信号線上の電圧信号は、例えばコンデンサにより電圧-電荷変換を行った後、水平転送路315及び316内の各電荷結合素子に与えられる。この電圧-電荷変換は、非特許文献2に記載されている。図14は、G画素の水平転送の流れを示した図である。図12と同様に、上記の7系統の駆動信号の時間波形と、それぞれの時刻に対応するポテンシャル分布図を示している。G画素は加算を行わないため、トランスファーゲート312あるいは313を通して水平転送路上にG画素の電荷が移された時点で、転送を開始する。図14に示すように、G画素は1単位時間単位時間とは、例えば撮像素子112を制御するクロックの周期で1段ずつ転送を行い、6単位時間ごとにG画素の電荷が出力される。また、図中の時点902及び908のパルスパターン、ポテンシャル分布に示されるとおり、6単位時間周期で同一の状態に戻り、以降同一の状態変化を繰り返す。水平方向に配列されたすべてのG画素Gr画素及びGb画素が上記方式で水平転送路316及び315から出力された時点で、G画素の水平転送が完了する。図15は、水平方向のR及びB画素の加算及び水平転送の流れを示した図である。なお、同図には水平転送路316上のR画素の加算の様子のみ表示しているが、水平転送路315上で、B画素の加算もまったく同様に行われる。図15を参照しながら、水平加算及び水平転送の仕方について説明する。図中の符号1001で示される時点は、信号VHR1及びVHR2を電荷読み出し電圧のレベルとして水平転送路の電荷結合素子上にトランスファーゲート311から出力されたR画素の電荷を読み出し、その後電荷転送電圧のレベルとすることによって該電荷を保持している状態である。時点1002では、さらに信号VH1、VH2、VHGを電荷転送電圧のレベルとすることで、VHR1、VHR2に読み出された電荷を一つにまとめる。その後、時点1003において、信号VH1、VH2、VHG及びVHR1を電荷転送電圧のレベルに保持したまま、信号VHR2を電荷保持電圧とし、加算された電荷を信号VHR2が供給されている電荷結合素子に集約する。この時点で、水平方向の2画素のR画素加算が完了する。時点1004は、時点1003で加算したR画素の電荷を、電荷転送電圧に相当するポテンシャルレベルで保持した状態である。時点1005からは、水平転送を行う。時点1005では、信号VHR2に加え、信号VH2、VH3、VH4、VHGも電荷転送電圧のレベルとする。この時点で、もっとも水平転送路316の終端、すなわち電荷検出アンプ318に近い位置にある画素の電荷は、電荷検出アンプ317を通じて撮像素子112の外に出力される。時点1006では、時点1005の状態から信号VH4を電荷保持電圧とすることで、時点1005でVH2、VHR2、VH3、VH4及びVHGの電荷結合素子で共有していた画素出力電荷をVH4の電荷結合素子に集約する。この時点で、時点1004で信号VHR2を供給する電荷結合素子の位置にあった画素電荷を、信号VH4を供給する電荷結合素子の位置まで転送できたこととなる。時点1007で集約した電荷を保持するポテンシャルレベルを変換し、その後時点1008では、VH3以外のすべての信号を電荷転送電圧のレベルとする。このとき、同図に示されるように、画素の加算電荷は非常に幅の広いポテンシャル井戸で保持される。時点1009では、時点1008において広い井戸で保持された電荷を、信号VHR2が供給される電荷結合素子のみで保持する。時点1010で、VHR2が供給される電荷結合素子が保持する画素電荷のポテンシャルレベルを電荷転送電圧に変換する。このとき、各駆動信号の値及びポテンシャル分布は時点1004のそれらと同一であり、この後は時点1005から時点1010のパターンを繰り返す。水平転送路316に読み出されたすべての画素の出力電荷が転送された時点で、水平転送が完了する。図16は、図8における読み出し信号線303及び304に供給する信号の波形の一例を示す。図16において、図8と同様、Rreadnは撮像面の上辺からn番目のR及びB画素の組に供給される読み出し信号、すなわち読み出し信号線304に供給される信号であり、Greadnはn番目のGr及びGb画素の組に供給される読み出し信号、すなわち読み出し信号線303に供給される信号である。以下同様に、Rreadn2、Rreadn4、Rreadn6は、それぞれn2番目、n4番目、n6番目のRB画素の組に供給される読み出し信号であり、Greadn1、Greadn2、Greadn3はそれぞれn1番目、n2番目、n3番目のGrGb画素の組に供給される読み出し信号である。本実施形態では、G画素の露出時間をR及びB画素の4倍、すなわちG画素の読み出しフレームレートをR及びB画素の1/4としているため、Greadnは、Rreadnが4度供給されるたびに1度ずつ供給される。また、本実施形態においてR及びB画素は垂直方向に2画素加算されるため、Rreadの垂直選択信号は2列おきに供給される。なお、図11に示すように、RGB全画素を読み出すフレームにおいてはG画素を読み出した後にRB画素の加算および読み出しを行うため、図16においてもGreadnとRreadnがそれぞれHレベルになる時刻に時間差がある。具体的には、GreadnがすべてのG画素に対して供給され、すべてのG画素の信号が読み出された後に、Rreadnが順次Hレベルとなっていく。また同図において、RB画素のみを読み出すフレームについては、図10に準じてRB画素の読み出しをフレームの先頭付近の時刻で行うようにしている。しかしながら、本発明に係る撮像素子の駆動方法はこれに限らず、RB画素のみを読み出すフレームにおいても、RGB全画素読み出すフレームと同様に、RB画素を各フレームの後半で読み出すような駆動方法でもかまわない。次に、画像処理部12の動作の一例について、図17を参照しながら説明する。図17によると、本実施形態において、該画像処理部は、第2の色成分画像から動きを検出する動き検出部1201と、第1の色成分画像のフレームレートを第2の色成分画像に適合させる処理と、第2の色成分画像の解像度を第1の色成分に適合させる処理を同時に行うアップコンバータ1202から構成される。動き検出部1201は、例えば、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、動きオプティカルフローを検出する。動きを自動的に検出する方法の一例について、図18を参照しながら説明する。図18aおよびbは、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部1101は、基準とするフレーム動きを求めるべく着目しているt番目のフレーム内に、図18aに示す窓領域Aを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。探索範囲は、図18bに示すように、通常、移動量ゼロの位置Bを基準に予め一定の範囲同図18b中のCが設定される。また、パターンの類似の度合い程度は、数1に示す残差平方和SSD:SumofSquareDifferrencesや、数2に示す残差絶対値和SAD:SumofAbsolutedDifferencesを評価値として計算することによって評価する。数1および数2において、Ix,y,tは、画像内の位置x,y、フレーム番号tにおける画素の信号値である。また、x,y∈Wは、基準フレームの窓領域内に含まれる画素の座標値を意味する。動き検出部1201は、探索範囲内でu,vを変化させることにより、上記評価値を最小とするu,vの組を探索し、これをフレーム間での動きベクトルVとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎例えば8画素×8画素に求める。画像処理部1202は、動き検出部1201によって例えば数1あるいは数2により求めた動きを元に、第1の色成分画像を時空間的に分解する。第1の色成分画像gG、第2の色成分画像をgR及びgBとしたとき、高解像度化画像fは、下記の数6を最小化するfとして求められる。ここで、gGは第1の色成分本実施形態においてはG成分、gR、gBは第2の色成分本実施形態においてはR及びB成分の動画像の各画素を要素とする縦ベクトル、fは高解像度高フレームレートの高解像度化動画像のRGBすべての成分の各画素を要素とする縦ベクトル、HR、HB、HGはそれぞれfからR画素、B画素及びG画素に対応する画素値の要素を抽出する行列、HTは長時間露光による光の加算をモデル化した行列、HSは画素加算による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Qsは滑らかさ拘束、λmは動き拘束に対する重み、Qmは動き拘束をモデル化した行列を表している。以下、数4、数5、数6及び数7に、数3右辺の各項の詳細な式を示す。なお、上記数4、数5、数6及び数7において、fx,y,t、HSHRfx,y,t、HRfx,y,t、HTHGfx,y,t、HGfx,y,t、Qsfx,y,t、Qmfx,y,tは、それぞれ数3におけるf、HSHRf、HRf、HTHGf、HGf、Qsf、Qmfの位置x,y、フレーム番号tに相当する要素である。また、数4ではR画素に対する計算式のみ記載しているが、B画素に対しても、数4におけるHRをHBに置き換えることでまったく同様に表現できる。また、数6、数7において、xmax、ymax、tmaxはそれぞれx方向画素番号、y方向画素番号、フレーム番号の最大値を示す。また、数7におけるux,y,t及びvx,y,tは、動き検出部1201によって求められた、位置x,y及びフレーム番号tの画素位置におけるx方向及びy方向の動きの大きさである。なお、本実施形態において、第2の色成分画像の解像度が第1の色成分画像の1/4であり、第1の色成分画像の露出時間が第2の色成分画像の4倍であるため、数7においてはHRfの隣接する2×2画素の画素値を加算しており、また数8においてはHGfの4フレーム分の画素値を加算しているが、本発明に係る撮像装置においては、この値に制限されるものではない。アップコンバータ1202は、下記数8に基づいて数3を最小化するfを得る。その結果、アップコンバータ1202は、数9に示す連立方程式を解くことによってfを得る。数9は、共役勾配法や最急降下法等の既存の数値計算法連立方程式の解法を用いることによって解くことができる。なお、撮像制御部13は、撮像素子11内に設置し、撮像素子11の内部で前記読み出し信号及び前記スイッチの制御信号を発生する構成してもよいし、図6に示すように撮像素子11の外に配置し、外部より前記読み出し信号及び前記スイッチの制御信号を与える構成にしてもよい。なお、本実施形態に係る構成において、画素上にオンチップマイクロレンズを配置し、さらに集光能力を高める構成としてもよい。なお、本実施形態において、撮像素子112はR、G、Bの三原色の色成分を撮像する構成としているが、本発明に係る撮像装置における撮像素子はこの構成に限定するものではなく、例えば三原色の補色成分、すなわち、シアンC、マゼンタM、イエローY、及びGの色成分を撮像する構成でもよい。この場合は、例えば、図7におけるR画素の位置にY画素、B画素の位置にC画素、Gr画素の位置にM画素、Gb画素の位置にG画素を配置することで、Y成分及びC成分を短い露出時間で、M成分及びG成分を長い露出時間で撮像することが可能となる。図19に、本発明に係る撮像素子を用いることによる効果を示す。いま、同図aに示されるような、被写体が右方向に移動しているシーンを外部シャッタ機構のないビデオカメラで撮像することを考える。同図bに、このシーンを従来のCMOS撮像素子を搭載したビデオカメラで撮像した場合の撮像イメージを示す。このCMOS撮像素子が画面の上側の水平走査線から順に操作していくとすると、該撮像素子で撮像されるイメージは、画面の上側と下側で画素信号が読み出されるタイミングがずれるために、同図bに示されるような画面の下側に行くにつれて右方向にゆがんだ像となる。同図cは、同図aのシーンを従来のCCD撮像素子で撮像した場合のイメージである。従来のCCD撮像素子では、R及びB画素の加算を電荷結合素子からなる垂直及び水平転送路上で行い、また一つの転送路を異なる色の画素が共有しているために、すべての画素を同時に読み出すと画素加算動作を行うことができない。そのため、色成分ごとに読み出すタイミングをずらす必要があり、いま例えばGr及びGb画素を読み出した後にR及びB画素の読み出し及び加算を行うとすれば、同図cに示されるように、RB画像及びG画像で画面上に被写体が映りこむ位置にずれが生じる。このような動画像を画像処理部12に入力する場合、上記のように低フレームレートで撮像されたG画像の高フレームレート化にR及びB画像から求めたフレーム間の動きを用いるが、それぞれの色成分画像は互いに異なるシーンを撮像しているため、画像処理部12は正しく出力カラー画像を高解像度化できなくなる可能性がある。これに対し、同図dは本発明に係る撮像装置における撮像素子の出力イメージであり、特定の色成分画像のみ画素加算を行う場合においても、すべての色成分のすべての画素について同時に読み出すことが可能であり、従来技術に見られた被写体の歪みや色間のずれのない撮像動画像を、画像処理部12に入力することが可能となる。本実施形態の構成とすることにより、単板カラー撮像素子において、同色の画素の加算を行う場合にも、追加のシャッタ機構を使用することなくすべての画素についてグローバルシャッタ動作を行うことが可能となり、シャッタ機構を使用する場合に比べ撮像装置を小型化することができる。また撮像素子からは色ごとに解像度フレームレートが異なる動画像が出力されるが、画像処理装置を備えることにより、本発明に係る撮像装置の出力画像は、第1の色成分の高解像度、かつ第2の色成分の高フレームレートを兼ね備えた、高画質の動画像を出力することができる。なお、本実施形態においては、R画素及びB画素を短時間露光、Gr画素およびGb画素を長時間露光とし、また電荷結合素子上でRおよびB画素を加算する例を示したが、本発明に係る撮像素子は、このような構成に限定されるものではない。すなわち、R画素あるいはB画素を長時間露光としてもかまわないし、Gr画素あるいはGb画素を短時間露光とし、画素加算を行う形にしてもかまわない。さらに、露光時間の長短を色成分ごとに振り分けることも必須でなく、例えばGr画素は短時間露光で、Gb画素は長時間露光で読み出すことも可能であるし、R画素とB画素の露光時間が互いに異なる構成も実現可能である。図20は長時間露光で撮像を行う画素および短時間露光で撮像を行う画素の割り当てを変えた場合の、各電荷結合素子へ供給する信号の一例を示す。この例では、R画素のみ短時間露光の撮像および画素加算を行い、Gr、Gb、B画素は長時間露光で撮像を行っている。この構成が図9と異なる点は、B画素が接続されている電荷結合素子に与える信号を、図9でGrあるいはGb画素が接続されている電荷結合素子に与えるものと同一のものとしている点である。図9の構成では、電荷結合素子列301あるいは307を、短時間露光で撮像を行う画素R画素あるいはB画素と長時間露光で撮像を行う画素Gr画素あるいはGb画素が互いに共有しているが、本発明に係る撮像素子はその構成に限定されるものではない。図20はその一例を示すものであり、本発明に係る撮像素子では、各画素の出力信号は電荷結合素子列301あるいは307でなく、それぞれに固有の出力信号線図8における出力信号線305、306、309、310を通して出力されるため、長時間露光で撮像する画素同士が電荷結合素子の電荷結合素子列を共有する場合でも、それらの出力信号が混合することはない。また、本発明に係る撮像素子の画素配列は、図7に示す配列に限定されない。例えば、図7に示すR画素、Gr画素、Gb画素、B画素の代わりに、シアンC、マゼンタM、イエローY、およびGの色成分について、撮像を行うこともできる。この場合は、例えば、図7におけるR画素の位置にM画素、B画素の位置にC画素、Gr画素の位置にG画素、Gb画素の位置にY画素が配置され得る。このような配置例を採用することにより、C画素、M画素、Y画素及びG画素のそれぞれについて、長時間露出及び短時間露出による撮像信号を取得することが可能となる。実施の形態2本実施形態は、撮像面上で加算する画素数を第1実施形態から異なるものとしたときの例を示す。本実施形態では3画素の加算を行う例を取り扱うが、本発明にかかる撮像素子は、駆動方法を変更することにより加算画素数を自由に変更可能である。図21は、本実施形態における電荷結合素子列1401及び1402の各電荷結合素子に供給する信号の一覧を示した図である。同図においても、第1実施形態において図9に示したものと同様、図8に記載の電荷検出アンプ302及び308、読み出し信号線303及び304などの記載を省略している。図21によると、本実施形態において、電荷結合素子列1401の電荷結合素子の駆動には第1実施形態と同様にV1、V2、V3、VR1、VR2、VGの6種類の制御信号を用いるが、それらの信号を供給する電荷結合素子の組み合わせが異なる。これらの信号のうち、VR1、VR2、VGは、電荷読み出し電圧、電荷転送電圧、電荷保持電圧、及びLレベルに相当する電圧例えば0Vの4値をとる。信号V1、V2、V3は、電荷転送電圧とLレベルの2値をとる。また、本実施形態においても、第1実施形態と同様、R画素とB画素を同時に読み出し、Gr画素とGb画素を同時に読み出すことを仮定しているため、B画素及びGr画素が接続された電荷結合素子列1402に対しても、電荷結合素子列1401と同一の駆動信号を供給するものとする。本実施形態において、画素のグローバルシャッタ動作は、第1実施形態に記載の方法と同様に行う。すなわち、画素の読み出し及び撮像素子112外への出力は、第1実施形態において図10及び図11に示した流れで行う。本実施形態では、撮像面上で3画素加算を行う際の画素加算動作について特に詳細に説明する。図22は、垂直方向のR画素及びB画素の加算の流れを示した図である。図の上側には、第1実施形態における図12と同様、電荷結合素子列1401及び1402内の電荷結合素子に供給する信号のうち、画素加算にかかわる部分のタイミングチャートを示しており、図の下側には、それぞれのタイミングに対応する時点での電荷結合素子のポテンシャル分布を示している。同図中にはR画素の加算の例を示しているが、B画素についても、同様に加算を行う。なお、図中で符号1505を付した電圧レベルは電荷結合素子の電荷転送電圧に相当し、符号1506を付した電圧レベルは電荷保持電圧に相当し、符号1507を付した電圧レベルは電荷読み出し電圧に相当する。以下、図中の各時点における動作について詳細に説明する。符号1501で示される時点は、信号VR1及びVR2を供給する電荷結合素子に、R画素から読み出した電荷を電荷転送電圧のレベルで保持している状態である。続いて、時点1502において、信号V1、VR1、VR2、VGを電荷転送電圧のレベルとすることで、隣接する3つのR画素の電荷を加算する。その後、時点1503において、信号VR1を電荷保持電圧とすることで、加算画素電荷を一つの電荷結合素子信号VR1が供給される電荷結合素子に集約する。時点1504では、VR1以外の駆動信号をLレベルとすることで、画素電荷の加算動作が完了する。本実施形態における画素電荷の水平転送について、Gr及びGb画素については、第1実施形態とまったく同様にして出力される。本実施形態では、R及びB画素の水平加算及び水平転送の様子について述べる。図23は、水平転送路1601及び1602の詳細な構成を示す図である。同図に示されるように、水平転送路1601内の電荷結合素子にはR画素及びGr画素の出力信号線が、トランスファーゲート311及び314を介して水平方向に交互に接続されている。水平転送路1602の電荷結合素子には、B画素及びGb画素の出力信号線がトランスファーゲート312及び313を介して交互に接続されている。また、水平転送路1601及び1602は、第1実施形態における水平転送路315及び316と同様にVH1、VH2、VH3、VH4、VHR1、VHR2、VHGの7系統の駆動信号で制御されるが、それらの信号が供給される電荷結合素子の組み合わせが異なる。図24は、水平方向のR及びB画素の加算及び水平転送の流れを示した図である。また、同図には水平転送路1601上のR画素の加算の様子のみ表示しているが、水平転送路1602上で、B画素の加算もまったく同様に行われる。図24中の符号1701で示される時点は、トランスファーゲート311から出力されたR画素の電荷を、電荷転送電圧に対応するポテンシャルで保持している状態である。時点1702では、さらに信号VH1、VH2及びVHGを電荷転送電圧とし、VHR1及びVHR2が供給される電荷結合素子に読み出された3画素分のR画素の電荷を一つにまとめ加算する。その後、時点1703において加算された電荷を信号VHR2が供給される電荷結合素子に集約する。時点1704で電荷を保持するポテンシャルレベルを変換し、時点1705から水平転送を行う。時点1705では、信号VH2、VH3、VH4、VHR2及びVHGを電荷転送電圧のレベルとし、もっとも水平転送路1601の終端に近い画素の電荷を電荷検出アンプ318を通じて撮像素子112の外に出力する。時点1706及び1707で、加算された電荷を信号VH4の電荷結合素子に集約する。その後時点1708、1709、1710を経て、加算された電荷は、信号VH4の電荷結合素子から信号VHR2の電荷結合素子まで転送される。この後は時点1705から時点1710のパターンを繰り返し、水平方向の転送を行う。本実施形態に示した構成とすることにより、加算画素数が2画素以外の場合においても、追加のシャッタ機構なしにグローバルシャッタ動作を実現できる。また、加算画素数がいかなる数であっても、図20に示す4つのステップで加算動作を実現でき、高速な加算動作を実現している。実施の形態3本発明における撮像素子は、R画素及びB画素の信号の加算を電荷結合素子上で行う以外に、電荷検出アンプによって電気信号に変換した状態で行うことも可能である。本実施形態では、画素信号の加算を電気信号の加算という形で実現する場合の例について示す。図25は、本実施形態に係る撮像素子112の内部構成を示す図である。該撮像素子は、第1及び第2実施形態に示したものと同様にR、B、Gr及びGb画素と電荷結合素子列、各画素位置に配置された電荷検出アンプを含み、それに加えてR画素及びB画素のビニング回路を有する。図25において、読み出し信号線1801及び1802は、RB画素及びGrGb画素の蓄積した電荷を電荷検出アンプによって電圧値に変換した信号を、出力信号線1803~1810に出力するタイミングを決める読み出し信号を伝達する。出力信号線1803、1807はR画素、出力信号線1804、1808はGb画素、出力信号線1805、1809はB画素、出力信号線1806、1810はGr画素の出力信号をそれぞれ伝達する。電荷結合素子列1811、1813は電荷結合素子によって構成され、R画素及びGb画素の蓄積した電荷を保持し、またR画素信号の加算を行う。電荷結合素子列1812、1814はB画素及びGr画素の蓄積した電荷を保持し、またB画素信号の加算を行う。R画素及びB画素ビニング部1815及び1816は、電荷検出アンプによって電圧信号とされた画素出力を加算し、水平方向の画素加算を実現する。AD変換部1817は、ビニング部1815および1816から出力されたRおよびB画素の出力信号、ならびに出力信号線1804、1805、1808および1809を通して出力されたGrおよびGb画素の出力信号をアナログ-デジタル変換する。さらに、水平シフトレジスタ1818は、AD変換部1818においてデジタル信号に変換された各色画素の信号を、撮像素子外に転送する。なお、図25におけるAD変換部1817は、R、Gr、GbおよびB画素用に4系統の回路を含んでいてもよいし、単一の回路で時分割で各色画素のAD変換を行ってもよい。さらに、水平シフトレジスタ1818も、各色画素が並列に出力される構成でもよいし、単一のシフトレジスタの転送路によってすべての色成分の画素が出力されてもよい。また、本撮像素子がデジタル信号でなく各画素のアナログ信号を出力する構成でもよく、その場合、AD変換部1817は省略される。この点、第1の実施形態でも同様である。本実施形態において、各画素信号の読み出しは、以下の方法で行う。ここでは、RGBすべての画素を読み出す場合の手順についてのみ説明するが、RB画素のみ読み出すフレームは、RGB全画素読み出すフレームの動作からG画素の読み出しの部分を省略することで読み出し動作を実現できる。まず、RGBすべての画素に対しグローバルシャッタ動作、すなわち画素に蓄積された電荷を画素に接続された電荷結合素子に移す動作を行う。続いて、G画素の信号を先に出力するために、撮像面上の各行について順次読み出し信号線1802に読み出しパルスを供給し、電荷検出アンプによって電気信号に変換された各G画素信号を出力する。Gr及びGb画素の出力はAD変換部1817、あるいはAD変換をしない場合には水平シフトレジスタ1818に入力される。すべてのG画素の読み出しが完了した後に、R画素及びB画素の出力電荷を例えば第1実施形態における図12と同様に加算する。R画素及びB画素の加算が完了した後に、順次読み出し信号線1801に読み出しパルスを供給し、電荷検出アンプによって電気信号に変換された各RB画素の信号を出力する。その後、各RB画素の信号はそれぞれの画素のビニング部1815及び1816に入力され、水平方向の画素加算が行われた後に、AD変換部1817あるいは水平シフトレジスタ1818に入力される。本実施形態において、読み出し信号線1801および1802に供給すべき読み出し信号は、図16に示す第1実施形態における読み出し信号と同一のものでかまわない。また、水平方向2画素の加算を行うとしたときの、ビニング部1815及び1816の構成の一例を図26に示す。水平方向にm列目とm1列目のR画素の加算、m2列目とm3列目のR画素の加算、以下隣接2列のR画素の加算を行うとしたときのR画素ビニング部1815の構成を図26に示す。同図において、Rmはm列目、Rm1はm1列目、Rm2はm2列目、Rm3はm3列目のR画素の画素出力信号である。Rm及びRm1についてはその双方をコンデンサ2001に充電し、Rm2及びRm3についてはその双方をコンデンサ2002に充電することによって、水平方向の隣接画素の加算を行う。B画素についても、B画素ビニング部1816において同様に加算を行うことができる。本実施形態の構成とすることにより、単板カラー撮像素子において、同色の画素の加算を行う場合にも、追加のシャッタ機構を使用することなくすべての画素についてグローバルシャッタ動作を行うことが可能となり、シャッタ機構を使用する場合に比べ撮像装置を小型化することができる。実施の形態4本発明に係る撮像装置の、撮像素子から得られたRGB画素信号から高解像度高フレームレート出力画像を高解像度化する画像処理部について、その高解像度化アルゴリズムは第1実施形態に示したものに限定されない。本実施形態では、他の画像高解像度化アルゴリズムによって撮像装置の出力画像を得る場合の例を示す。本実施形態では、画像高解像度化アルゴリズムとして、第1実施形態に記載の方法によりG成分画像のみ高解像度化し、その高解像度化G画像の高周波域成分をR及びB画像に反映させる手法を取り扱う。このアルゴリズムにおいては、高周波数域以外中低周波数域ののR、G、B画像間の局所的な相関関係に応じて、重畳する高域成分の振幅を制御してもよい。これにより、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。また、R及びB画像についても、高解像度高フレームレート化したG画像の高域を重畳して高解像度化するため、より安定した高解像度化が可能となる。図27は、上述の動作を行う画像処理部12の構成の一例を示す。本実施形態に係る画像処理部の構成要素自体は、第1実施形態に記載のもの図17と同一であり、また、画像処理部内の動き検出部2101は、第1実施形態における動き検出部1201と同一の動作をする。すなわち、低解像度高フレームレートのR及びB画像から、ブロックマッチングなどの方法によりフレーム間の各画素の動きを算出する。本実施形態においては、アップコンバータ2102の動作が異なる。アップコンバータ2102の内部構成の一例を図28に示す。アップコンバータ2102は、G高解像度化部2201と、サブサンプリング部2202と、G補間部2203と、R補間部2204と、R用ゲイン制御部2205と、B補間部2206と、B用ゲイン制御部2207を備えている。G高解像度化部2201は、G画像の高解像度化処理を行う。この高解像度化処理は、第1実施形態に記載の画像処理法を、G画像にのみ適用することで実現される。すなわち、高解像度高フレームレートの出力G画像をfGと表したとき、第1実施形態の数3の表記を用いて、最小化すべき評価関数を次のように立式する。数10におけるHT、gG、Qs、Qm等の標記は、数3に記載のものと同一である。G高解像度化部2201において、数10を最小化するfGの計算を行う。すなわち、第1実施形態と同様に数10をfGで偏微分し0とおくことで、数10を最小化するfGを求めるための方程式を数11として得る。サブサンプリング部2202は、高解像度化したG画像がR及びB画像と同一の画素数となるように、画素を間引くサブサンプリングする。G補間部2203は、サブサンプリング部2202において画素が間引かれたG画像を、再びもとの画素数に戻す処理を行う。具体的には、G補間部2203はサブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。補間方法は公知の方法でかまわない。サブサンプリング部2202及びG補間部2203は、G高解像度化部2201から出力されたG画像とサブサンプリングおよび補間が行われたG画像から、高解像度化されたG画像の高周波成分を抽出するために設けている。R補間部2204は、Rを補間する。R用ゲイン制御部2205は、Rに重畳するGの高域成分に対するゲイン係数を計算する。B補間部2206は、Bを補間する。B用ゲイン制御部2207は、Bに重畳するGの高域成分に対するゲイン係数を計算する。なお、R補間部2204及びB補間部2206における補間方法は、それぞれG補間部2203と同じであってもよいし、異なっていてもよい。補間部2203、2204及び2206で用いられる補間方法は、すべて同一のものでもよいし、互いに異なっていてもよい。以下、画像処理部2102の動作を説明する。G高解像度化部2201は、入力G画像及び動き検出部2101の出力である画素ごとの動きベクトルを用い、数11の方程式を解くことにより高解像度高フレームレートのG画像を高解像度化する。高解像度化結果は、出力画像のG成分として出力されるとともに、サブサンプリング部2202に入力される。サブサンプリング部2202は、入力されたG画像を間引く。G補間部2203は、サブサンプリング部2202において低解像度化されたG画像を補間する。G補間部2203で補間されたG画像を、G高解像度化部2201の出力から差し引くことによって、Gの高周波成分GHighを得る。一方、R補間部2204は、入力R画像をG画像と同じ画素数になるよう補間拡大する。R用ゲイン制御部2205は、G補間部2203の出力すなわち、Gの中低周波成分とR補間部2204の出力との間の局所的な相関係数を計算する。例えば、着目画素x,yの近傍3×3画素における相関係数ρを数12を用いて計算できる。なお、数12において、R、Gはそれぞれ補間拡大によって求められたR及びG成分の高解像度画像である。このようにして計算されたRとGの低空間周波数成分における相関係数を、Gの高空間周波数成分GHighに乗じた後、R補間部2204の出力に加算することにより、R成分の高解像度化が行なわれる。B成分についてもR成分と同様に処理する。すなわち、B補間部2206は、空間加算されたB画像を、G画像と同じ画素数になるよう補間拡大する。B用ゲイン制御部2207は、G補間部2203の出力とB補間部2206の出力との間での局所的な相関係数を計算する。例えば数13により、着目画素x,yの近傍3×3画素における相関係数が計算される。ここで、Bは補間拡大によって求められたB成分の高解像度画像である。このようにして計算されたBとGの低空間周波数成分における相関係数を、Gの高空間周波数成分GHighに乗じた後、B補間部2206の出力に加算することにより、B成分の高解像度化が行なわれる。本実施形態に記載の構成とすることにより、本発明にかかる撮像装置において異なるアルゴリズムによる画像処理を実現でき、また本実施形態のアルゴリズムは、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。また、R及びB画像についても、高解像度高フレームレート化したG画像の高域を重畳して高解像度化するため、より安定した高解像度化が可能となる。さらに、本実施形態においては、数11において解くべき方程式の次元はGの画素数と一致するため、第1実施形態で数9がRGB全画素について立てられた方程式であるのと比べると次元の数が1/3となっており、演算量の低減を実現している。実施の形態5第1実施形態においては、G画素は露出時間を長くし、またR及びB画素は撮像面上で加算を行うことで、入力画像においてより多くの光量を確保する構成としていた。しかし、本発明に係る撮像装置の動作のバリエーションとして、G画素は低フレームレート長時間露出で撮像するが、R及びB画素については加算を行わず、すべての画素から読み出した上で高解像度化処理を行い、出力画像を得る方法がある。この場合、RB画素の加算を行わないために、第1実施形態の動作条件に比べ入力画像全体で確保できる光量は減少するが、画像処理に必要な演算量を低減できる。本実施形態では、R及びB画素の加算を省略した場合の撮像素子の駆動方法ならびに画像処理方法の一例を示す。本発明に係る撮像素子において、R及びB画素の加算を省略して撮像することは、第1実施形態における撮像素子駆動シーケンスからR及びB画素の垂直水平加算工程を取り除くことで実現できる。該シーケンスは図10あるいは図11に示しているが、これらのシーケンスからR及びB画素の加算工程を除くと、RGB全画素を読み出すフレームにおいて、RB画素の加算のためにG画素をあらかじめ出力しておく必要がなくなり、すべての画素を同時に出力することが可能となる。つまり、本実施形態における撮像素子112の駆動シーケンスは、図29aRBのみ読み出すフレームあるいは同図bRGB全画素読み出すフレームに示されるシーケンスとなる。なお、本実施形態において、各画素の撮像素子112外への出力を行う水平転送は、第1実施形態における図8に記載の水平転送路315あるいは316によって行われてもよいし、第3実施形態に記載の水平転送シフトレジスタによって行われてもかまわない。続いて、本実施形態における、画像処理部12の動作の一例を述べる。本実施形態では、以下のような流れで出力画像を得る。まず、低フレームレート長時間露出で取得されたG成分画像を第3実施形態に記載の数11によって求める。このとき、画面上のすべての画素位置におけるG成分画像を求めるのでなく、ベイヤ配列においてG画素が配置されている位置の画素値のみ求める。その後、入力RB画像とこの高解像度化G画像から、公知のベイヤ高解像度化処理によってフルカラー画像を生成する。図30は本実施形態における画像処理部に含まれるアップコンバータの構成を示しており、同図によると、アップコンバータ2401は、G高解像度化部2402と、ベイヤ復元部2403で構成される。G高解像度化部2402は、第4実施形態における数11に基づき、出力画像のG成分画像を高解像度化する。このとき、数11は、画面中のすべての画素位置でなくベイヤ配列上でG画素が配置されている位置の画素値のみについて立式する。ベイヤ復元部2403は、G高解像度化部2402の出力G画像と、入力RB画像からベイヤ高解像度化によりフルカラー出力画像を出力する。ベイヤ高解像度化部のアルゴリズムは公知のもの、例えばACPIAdaptiveColorPlaneInterpolationでかまわない。ここでは、このACPI法について詳細に述べる。該ベイヤ高解像度化手法のアルゴリズムについて、図31を参照しながら説明する。ACPI法の手順は、輝度成分の強いGの成分の補間値を先に求め、その後求めたGの成分の補間値を用いてBまたはRの補間値を求める。ここで、図中のR画素の位置例えば3,3の位置で算出するB及びG画素の値をそれぞれB’、G’と表す。G’3,3を算出する計算方法を数14に示す。数14におけるα及びβは、数15で与えられる。同じ位置におけるB画素値B’3,3を算出する計算方法を数16に示す。数16におけるα及びβは、数17で求められる。また、ベイヤ配列のGの画素位置2,3におけるR及びB画素の推定値R’及びB’は、それぞれ数18、数19により算出する。なお、本実施形態で用いるベイヤ高解像度化手法は、ここに示したACPI法に限られるものではなく、色相を考慮した方法やメジアンを用いた補間法により、全画素位置のRGBを算出してもかまわない。本実施形態の構成とすることにより、解くべき方程式の次元はベイヤ配列上のGの画素数と一致するため、第4実施形態における数11の次元数のさらに1/2で、第1実施形態における数9と比べると次元の数を1/6にまで減らしており、演算量のさらなる低減を実現している。なお、本実施形態において、ベイヤ配列上のG画素のみを高解像度化し、ベイヤ高解像度化によって出力フルカラー画像を得ているが、本実施形態のRB画素加算を行わない場合の画像処理部の動作はこれに限られるものではなく、例えば、画面上のすべての画素位置についてG画素を高解像度化し、またR及びB画素については補間拡大によって全画素位置の画素値を生成することで、全画素位置におけるRGB画素値を求める構成としてもかまわない。また、画像処理部2401を第1実施形態に記載の図17と同様の構成とし、ベイヤ位置のG画素低フレームレート及びベイヤ位置のRB画素高フレームレート加算なしを入力として、全画素位置におけるRGB全色成分画像を出力とする構成としてもかまわない。これらの場合も、G画素を長時間露出で撮像しているために、ノイズの減少した、高いS/Nの出力画像を得ることができる。"