(57)【要約】【課題】高速撮影時に高画質な映像を得られる撮像装置を提供する。【解決手段】第１の緑色光用撮像素子から、全画素の読み出しを行う場合の半分の時間の期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出し、第２の緑色光用撮像素子から、前記期間に前記１フレームの画像の画素と相補的な画素からなる１フレームの画像を読み出す読み出し制御手段と、前記期間毎に第１の緑色光用撮像素子から読み出した画像と第２の緑色光用撮像素子から読み出した画像とに基づいて、全画素分の画像情報を有する１フレームの緑色画像を生成する緑色画像生成手段と、を備える。【選択図】図４
2010193400.tif 000002
【特許請求の範囲】
【請求項１】
緑色光の成分の画像を撮像する第１及び第２の緑色光用撮像素子と、
赤色光の成分の画像を撮像する赤色光用撮像素子と、
青色光の成分の画像を撮像する青色光用撮像素子と、
前記第１の緑色光用撮像素子から、全画素の読み出しを行う場合の半分の時間の期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、前記期間に前記１フレームの画像の画素と相補的な画素からなる１フレームの画像を読み出し、前記赤色光用撮像素子から、前記期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出し、前記青色光用撮像素子から、前記期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出す読み出し制御手段と、
前記期間毎に前記第１の緑色光用撮像素子から読み出した画像と前記第２の緑色光用撮像素子から読み出した画像とに基づいて、全画素分の画像情報を有する１フレームの緑色画像を生成する緑色画像生成手段と、
前記期間毎に前記赤色光用撮像素子から読み出した画像と前記青色光用撮像素子から読み出した画像と前記緑色画像生成手段により生成された緑色画像を１フレームの画像に合成する画像合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記読み出し制御手段は、前記第１の緑色光用撮像素子から、奇数行目のラインのみからなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、偶数行目のラインのみからなる１フレームの画像を読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記読み出し制御手段は、前記第１の緑色光用撮像素子から、奇数行目のライン上の奇数列目の各画素及び偶数行目のライン上の偶数列目の各画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、奇数行目のライン上の偶数列目の各画素及び偶数行目のライン上の奇数列目の各画素からなる１フレームの画像を読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記読み出し制御手段は、前記第１又は第２の緑色光用撮像素子のいずれか一方と同じ読み出し順序で前記赤色光用撮像素子及び前記青色光用撮像素子から順次読み出しを行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記赤色光用撮像素子への入射光及び前記青色光用撮像素子への入射光のうち、前記１フレームの画像において間引かれる画素の配列方向に応じた方向の高周波の空間周波数成分を除去する空間フィルタを備えることを特徴とする請求項１から請求項４のいずれか１の項に記載の撮像装置。
【請求項６】
緑色光の成分の画像を撮像する第１及び第２の緑色光用撮像素子と、
赤色光の成分の画像を撮像する赤色光用撮像素子と、
青色光の成分の画像を撮像する青色光用撮像素子と、
前記第１の緑色光用撮像素子から、全画素の読み出しを行う場合より短時間の期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、前記期間に前記１フレームの画像の画素と相補的な画素からなる１フレームの画像を読み出し、前記赤色光用撮像素子から、前記期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出し、前記青色光用撮像素子から、前記期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出す読み出し制御手段と、
前記期間毎に前記第１の緑色光用撮像素子から読み出した画像と前記第２の緑色光用撮像素子から読み出した画像とに基づいて、全画素分の画像情報を有する１フレームの緑色画像を生成する緑色画像生成手段と、
前記期間毎に前記赤色光用撮像素子から読み出した画像と前記青色光用撮像素子から読み出した画像と前記緑色画像生成手段により生成された緑色画像を１フレームの画像に合成する画像合成手段と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速撮影に適した撮像装置に関する。
【背景技術】
【０００２】
通常より高いフレームレートでの撮影をすることが可能な撮像装置として、例えば、特許文献１に開示されたものが知られている。この撮像装置における撮像部の概略構成図を図９に示す。
【０００３】
図９において、プリズム９０１に入射した被写体像Ｌは、反射面９０２，９０３によって青色光成分Ｂと赤色光成分Ｒと緑色光成分Ｇとに分離される。青色光成分Ｂは青色光用撮像素子９１４に入射し、赤色光成分Ｒは赤色光用撮像素子９１３に入射する。緑色光成分Ｇは、ハーフミラー９０４によって更に第１緑色光成分Ｇ１と第２緑色光成分Ｇ２とに分離される。第１緑色光成分Ｇ１は第１緑色光用撮像素子９１１に入射し、第２緑色光成分Ｇ２は第２緑色光用撮像素子９１２に入射する。各撮像素子９１１〜９１４は、撮像面が２ｎ本（ｎは自然数）のラインで構成されている。
【０００４】
通常撮影時のフレームレートを６０フレーム／秒とすると、１フレーム期間は１／６０秒である。各撮像素子９１１〜９１４において、各画素に蓄積された電荷の読み出しは順次１ラインずつ行われ、１フレーム期間で２ｎライン分の読み出しが完了する。
【０００５】
一方、２倍速撮影時においては、第１緑色光用撮像素子９１１と第２緑色光用撮像素子９１２の撮像を、通常撮影時における１フレーム期間の半周期ずらして行う。即ち、Ｔ＝１／６０秒として、第１緑色光用撮像素子９１１については、時刻ｔからｔ＋Ｔの期間に順次１ラインずつ２ｎライン分の読み出しを行い、１フレームの画像を得る。また、第２緑色光用撮像素子９１２については、時刻ｔ＋Ｔ／２からｔ＋３Ｔ／２の期間に順次１ラインずつ２ｎライン分の読み出しを行い、１フレームの画像を得る。以降も同様の動作を行うことで、１／６０秒の期間に、それぞれ２ｎラインからなる互いに１／１２０秒ずれた２枚のフレームが得られる。この結果、緑色については、１フレーム期間は等価的に１／１２０秒となる。赤色光用撮像素子９１３と青色光用撮像素子９１４については、赤色や青色に対する人間の視覚の感度が緑色よりも低いことを利用し、読み出すラインを半分に間引いて１／１２０秒間にｎラインからなるそれぞれ１枚のフレームを得る。このようにして、全色について、フレームレートが１２０フレーム／秒、即ち２倍速の高速撮影が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２２８７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような駆動方法により高速撮影を実現する場合、２つの緑色光用撮像素子９１１，９１２を交互のタイミングで駆動するので、各撮像素子をそれぞれ駆動制御する制御信号が互いに干渉し合って撮像素子から読み出す画像にノイズが発生し、画質が劣化してしまうという問題がある。
また、上記の駆動方法では、一方の第１緑色光用撮像素子９１１から１枚の緑色のフレームを得、他方の第２緑色光用撮像素子９１２からもう１枚の緑色のフレームを得ているので、この２つの撮像素子９１１，９１２が例えば光電変換効率の特性の差を有するものであった場合、緑色の各フレームは交互に明暗のレベルが異なるものとなってしまう。この明暗のレベル差は、再生時にフリッカーとなって現れるため、画質を劣化させる要因となる。
【０００８】
本発明は上記の点に鑑みてなされたものであり、その目的は、高速撮影時に高画質な映像を得られる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は上記の課題を解決するためになされたものであり、緑色光の成分の画像を撮像する第１及び第２の緑色光用撮像素子と、赤色光の成分の画像を撮像する赤色光用撮像素子と、青色光の成分の画像を撮像する青色光用撮像素子と、前記第１の緑色光用撮像素子から、全画素の読み出しを行う場合の半分の時間の期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、前記期間に前記１フレームの画像の画素と相補的な画素からなる１フレームの画像を読み出し、前記赤色光用撮像素子から、前記期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出し、前記青色光用撮像素子から、前記期間に当該全画素の半数の画素を間引いた画素からなる１フレームの画像を読み出す読み出し制御手段と、前記期間毎に前記第１の緑色光用撮像素子から読み出した画像と前記第２の緑色光用撮像素子から読み出した画像とに基づいて、全画素分の画像情報を有する１フレームの緑色画像を生成する緑色画像生成手段と、前記期間毎に前記赤色光用撮像素子から読み出した画像と前記青色光用撮像素子から読み出した画像と前記緑色画像生成手段により生成された緑色画像を１フレームの画像に合成する画像合成手段と、を備えることを特徴とする撮像装置である。
【００１０】
また、本発明は、上記の撮像装置において、前記読み出し制御手段は、前記第１の緑色光用撮像素子から、奇数行目のラインのみからなる間引かれた１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、偶数行目のラインのみからなる間引かれた１フレームの画像を読み出すことを特徴とする。
また、本発明は、上記の撮像装置において、前記読み出し制御手段は、前記第１の緑色光用撮像素子から、奇数行目のライン上の奇数列目の各画素及び偶数行目のライン上の偶数列目の各画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、奇数行目のライン上の偶数列目の各画素及び偶数行目のライン上の奇数列目の各画素からなる１フレームの画像を読み出すことを特徴とする。例えば、前記読み出し制御手段は、第ｎラインの第ｍ画素、第ｎ＋１ラインの第ｍ＋１画素、第ｎラインの第ｍ＋２画素、第ｎ＋１ラインの第ｍ＋３画素、…の順序で前記第１の緑色光用撮像素子から順次読み出しを行い、第ｎ＋１ラインの第ｍ画素、第ｎラインの第ｍ＋１画素、第ｎ＋１ラインの第ｍ＋２画素、第ｎラインの第ｍ＋３画素、…の順序で前記第２の緑色光用撮像素子から順次読み出しを行う（但し、ｎ，ｍは自然数）。
【００１１】
また、本発明は、上記の撮像装置において、前記読み出し制御手段は、前記第１又は第２の緑色光用撮像素子のいずれか一方と同じ読み出し順序で前記赤色光用撮像素子及び前記青色光用撮像素子から順次読み出しを行うことを特徴とする。
また、本発明は、上記の撮像装置において、前記赤色光用撮像素子への入射光及び前記青色光用撮像素子への入射光のうち、前記１フレームの画像において間引かれる画素の配列方向に応じた方向の高周波の空間周波数成分を除去する空間フィルタを備えることを特徴とする。
【００１２】
また、本発明は、緑色光の成分の画像を撮像する第１及び第２の緑色光用撮像素子と、赤色光の成分の画像を撮像する赤色光用撮像素子と、青色光の成分の画像を撮像する青色光用撮像素子と、前記第１の緑色光用撮像素子から、全画素の読み出しを行う場合より短時間の期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出し、前記第２の緑色光用撮像素子から、前記期間に前記１フレームの画像の画素と相補的な画素からなる１フレームの画像を読み出し、前記赤色光用撮像素子から、前記期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出し、前記青色光用撮像素子から、前記期間に当該全画素の一部の画素を間引いた画素からなる１フレームの画像を読み出す読み出し制御手段と、前記期間毎に前記第１の緑色光用撮像素子から読み出した画像と前記第２の緑色光用撮像素子から読み出した画像とに基づいて、全画素分の画像情報を有する１フレームの緑色画像を生成する緑色画像生成手段と、前記期間毎に前記赤色光用撮像素子から読み出した画像と前記青色光用撮像素子から読み出した画像と前記緑色画像生成手段により生成された緑色画像を１フレームの画像に合成する画像合成手段と、を備えることを特徴とする撮像装置である。
【発明の効果】
【００１３】
本発明は、２つの緑色光用撮像素子からの画像の読み出しにおいて、１フレーム内の画素を間引いて読み出しを行う構成とすることにより、通常（全画素の読み出しを行う場合）より短い期間に画素数の少ない１フレーム分の読み出しを完了させ高速化を図るとともに、２つの緑色光用撮像素子で同じ期間にその１フレーム分を読み出し、画素が間引かれた２つの画像から当該期間の１枚の完全な（つまり画素を間引いていない）画像を生成する構成とすることにより、画素を間引かずに読み出しをした場合と同じ解像度の画像が得られるようにした。
【００１４】
よって、２つの緑色光用撮像素子を交互のタイミングで駆動しないので、制御信号の干渉に起因するノイズが発生せず、良好な画質を保つことができる。また、画素を間引いた２つの画像から１枚の緑色画像を生成するので、元の２つの画像が特性差を有していたとしても、その特性差は生成された緑色画像の１フレーム内に分散され、視覚上は認識困難となりフリッカーとして顕在化することもないため、画質の劣化を抑えることができる。
したがって、本発明によれば、高速撮影時に高画質な映像を得ることが可能である。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による撮像装置の構成を示す図である。
【図２】第１緑色光用撮像素子に対する画素選択信号と当該画素選択信号に応じて第１緑色光用撮像素子から出力される画像信号を表す図である。
【図３】２倍速撮影時における第１緑色光用撮像素子と第２緑色光用撮像素子とに対する画素選択信号を表す図である。
【図４】図３の画素選択信号に基づいて得られる緑色光成分Ｇに関する画像信号を表す図である。
【図５】赤色光成分Ｒに関する画像信号を表す図である。
【図６】第２の実施形態における第１緑色光用撮像素子と第２緑色光用撮像素子とに対する画素選択信号を表す図である。
【図７】図６の画素選択信号に基づいて得られる緑色光成分Ｇに関する画像信号を表す図である。
【図８】第２の実施形態における赤色光用撮像素子と青色光用撮像素子とに対する画素選択信号を表す図である。
【図９】従来の撮像装置における撮像部の概略構成図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
（第１の実施形態）
図１は、本発明の一実施形態による撮像装置の構成を示す図である。撮像装置は、第１緑色光用撮像素子１１１と、第２緑色光用撮像素子１１２と、赤色光用撮像素子１１３と、青色光用撮像素子１１４と、プリズム１０４と、読み出し制御部１０１と、緑色画像生成部１０２と、画像合成部１０３と、を含んで構成されている。
【００１７】
プリズム１０４は、被写体像Ｌを赤・緑・青の各色成分に分離するとともに、緑色成分を２つに分岐させる機能を有した光学素子であり、その内部に反射面１０４１，１０４２及びハーフミラー１０４３を備えている。プリズム１０４に入射した被写体像Ｌは、反射面１０４１，１０４２によって青色光成分Ｂと赤色光成分Ｒと緑色光成分Ｇとに分離される。青色光成分Ｂは青色光用撮像素子１１４に入射し、赤色光成分Ｒは赤色光用撮像素子１１３に入射する。緑色光成分Ｇは、ハーフミラー１０４３によって更に第１緑色光成分Ｇ１と第２緑色光成分Ｇ２とに分岐される。第１緑色光成分Ｇ１は第１緑色光用撮像素子１１１に入射し、第２緑色光成分Ｇ２は第２緑色光用撮像素子１１２に入射する。
【００１８】
第１緑色光用撮像素子１１１は、入射した被写体像Ｌの第１緑色光成分Ｇ１を受光して光電変換する。第２緑色光用撮像素子１１２は、入射した被写体像Ｌの第２緑色光成分Ｇ２を受光して光電変換する。赤色光用撮像素子１１３は、入射した被写体像Ｌの赤色光成分Ｒを受光して光電変換する。青色光用撮像素子１１４は、入射した被写体像Ｌの青色光成分Ｂを受光して光電変換する。各撮像素子１１１〜１１４は、例えばＣＭＯＳイメージセンサであり、撮像面が多数の画素で構成されている。各画素は、２ｎ本（ｎは自然数）のラインをなすように配置されている。
【００１９】
読み出し制御部１０１は、各撮像素子１１１〜１１４に対して、光電変換により各画素に蓄積された電荷を読み出す制御を行う。この読み出し制御において、読み出し制御部１０１は、撮像面を構成している画素の中から電荷の読み出し対象とする画素を順次選択する画素選択信号を生成する。生成された画素選択信号は各撮像素子１１１〜１１４へ入力される。この画素選択信号に従って、各撮像素子１１１〜１１４の選択された画素から電荷が順次読み出される。
【００２０】
画素選択信号による撮像素子からの読み出し動作を詳しく説明する。
図２は、第１緑色光用撮像素子１１１に対する画素選択信号と当該画素選択信号に応じて第１緑色光用撮像素子１１１から出力される画像信号を表す図である。以下、通常撮影時のフレームレートを６０フレーム／秒とし、２倍速撮影時のフレームレートを１２０フレーム／秒とする。また、撮像面のｋ行目のラインをラインｋと呼ぶこととする（ｋは自然数）。
【００２１】
図２（Ａ）の通常撮影時において、読み出し制御部１０１は、ライン１の各画素を順次左側から右側へ向かって選択し、次いでライン２の各画素を順次左側から右側へ向かって選択し、次いでライン３の各画素を順次左側から右側へ向かって選択し、…、次いでライン２ｎ−１の各画素を順次左側から右側へ向かって選択し、次いでライン２ｎの各画素を順次左側から右側へ向かって選択する画素選択信号を、通常撮影時の１フレーム期間である１／６０秒毎に生成する。この結果、ライン１の各画素に蓄積された電荷に基づく信号、ライン２の各画素に蓄積された電荷に基づく信号、ライン３の各画素に蓄積された電荷に基づく信号、…、ライン２ｎ−１の各画素に蓄積された電荷に基づく信号、及び、ライン２ｎの各画素に蓄積された電荷に基づく信号からなる、２ｎラインで構成された１フレームの画像を表す画像信号が、１フレーム期間即ち１／６０秒毎に第１緑色光用撮像素子１１１から出力される。
【００２２】
一方、図２（Ｂ）の２倍速撮影時において、読み出し制御部１０１は、奇数行目のラインの画素のみを選択する画素選択信号、即ち、ライン１の各画素を順次左側から右側へ向かって選択し、次いでライン３の各画素を順次左側から右側へ向かって選択し、次いでライン５の各画素を順次左側から右側へ向かって選択し、…、次いでライン２ｎ−３の各画素を順次左側から右側へ向かって選択し、次いでライン２ｎ−１の各画素を順次左側から右側へ向かって選択する画素選択信号を、２倍速撮影時の１フレーム期間である１／１２０秒毎に生成する。この結果、ライン１の各画素に蓄積された電荷に基づく信号、ライン３の各画素に蓄積された電荷に基づく信号、ライン５の各画素に蓄積された電荷に基づく信号、…、ライン２ｎ−３の各画素に蓄積された電荷に基づく信号、及び、ライン２ｎ−１の各画素に蓄積された電荷に基づく信号からなる、奇数行目のラインのみのｎラインで構成された１フレームの画像を表す画像信号が、１フレーム期間即ち１／１２０秒毎に第１緑色光用撮像素子１１１から出力される。このように、２倍速撮影時には、撮像素子のラインを半分に間引くことで通常時の倍の速さで１フレーム分の画像の読み出しを行う。
【００２３】
図３は、２倍速撮影時における第１緑色光用撮像素子１１１と第２緑色光用撮像素子１１２とに対する画素選択信号を表す図である。図３（Ａ）の第１緑色光用撮像素子１１１については図２（Ｂ）に示したとおりである。図３（Ｂ）において、読み出し制御部１０１は、第２緑色光用撮像素子１１２に対する画素選択信号として、偶数行目のラインの画素のみを選択する画素選択信号、即ち、ライン２の各画素を順次左側から右側へ向かって選択し、次いでライン４の各画素を順次左側から右側へ向かって選択し、次いでライン６の各画素を順次左側から右側へ向かって選択し、…、次いでライン２ｎ−２の各画素を順次左側から右側へ向かって選択し、次いでライン２ｎの各画素を順次左側から右側へ向かって選択する画素選択信号を、２倍速撮影時の１フレーム期間である１／１２０秒毎に生成する。
また、図示は省略するが、読み出し制御部１０１は、赤色光用撮像素子１１３及び青色光用撮像素子１１４に対する画素選択信号として、図３と同様に、奇数行目のライン又は偶数行目のライン（いずれでもよい）の画素のみを選択する画素選択信号を、２倍速撮影時の１フレーム期間である１／１２０秒毎に生成する。
【００２４】
図４は、図３の画素選択信号に基づいて得られる緑色光成分Ｇに関する画像信号を表す図である。図４（Ａ）の第１緑色光用撮像素子１１１から出力される画像信号については図２（Ｂ）に示したとおりである。図４（Ｂ）において、ライン２の各画素に蓄積された電荷に基づく信号、ライン４の各画素に蓄積された電荷に基づく信号、ライン６の各画素に蓄積された電荷に基づく信号、…、ライン２ｎ−２の各画素に蓄積された電荷に基づく信号、及び、ライン２ｎの各画素に蓄積された電荷に基づく信号からなる、偶数行目のラインのみのｎラインで構成された１フレームの画像を表す画像信号が、１フレーム期間即ち１／１２０秒毎に第２緑色光用撮像素子１１２から出力される。
【００２５】
次に、緑色画像生成部１０２について説明する。
緑色画像生成部１０２には、第１緑色光用撮像素子１１１から出力された画像信号と第２緑色光用撮像素子１１２から出力された画像信号が入力される。緑色画像生成部１０２は、１フレーム期間（１／１２０秒）毎に、第１緑色光用撮像素子１１１から出力された画像信号、即ち奇数行目のラインのみのｎラインからなる画像信号と、第２緑色光用撮像素子１１２から出力された画像信号、即ち偶数行目のラインのみのｎラインからなる画像信号とから、緑色光成分Ｇについて２ｎ本の全てのラインで構成された完全な（全ての画素を含む）１フレームの画像（緑色画像）を表す画像信号を生成する。以下具体的に説明する。
【００２６】
図４（Ｃ）は、緑色画像生成部１０２から出力される画像信号を表す図である。緑色画像生成部１０２は、ライン１の各画素に蓄積された電荷に基づく信号（ライン１信号）とライン２の各画素に蓄積された電荷に基づく信号（ライン２信号）が入力されると、この２つの信号をライン１信号，ライン２信号の順に並べて出力する。次いで、ライン３の各画素に蓄積された電荷に基づく信号（ライン３信号）とライン４の各画素に蓄積された電荷に基づく信号（ライン４信号）が入力されると、緑色画像生成部１０２は、この２つの信号をライン３信号，ライン４信号の順に並べて出力する。以降についても同様である。
【００２７】
このようにして、ライン１信号，ライン２信号，ライン３信号，…，ライン２ｎ−１信号，ライン２ｎ信号の順に各信号が配列されてなる、完全な１フレームの緑色画像に対応した画像信号が、１フレーム期間（１／１２０秒）毎に緑色画像生成部１０２から出力される。
【００２８】
次に、画像合成部１０３について説明する。
画像合成部１０３には、赤色光用撮像素子１１３から出力された画像信号と青色光用撮像素子１１４から出力された画像信号と緑色画像生成部１０２から出力された緑色画像の画像信号とが入力される。画像合成部１０３は、赤色光用撮像素子１１３からの画像信号と青色光用撮像素子１１４からの画像信号をそれぞれ補間して２ｎラインからなる画像信号を生成する処理と、補間により２ｎラインとなった赤色及び青色の画像信号と緑色画像生成部１０２からの２ｎラインからなる緑色の画像信号とを合成して１フレームの画像とする処理を行う。
【００２９】
上記の補間処理について説明する。
図５は、赤色光成分Ｒ（青色光成分Ｂも同様）に関する画像信号を表す図である。図５（Ａ）に示すように、赤色光用撮像素子１１３からの画像信号は、第１緑色光用撮像素子１１１からの画像信号（図４（Ａ））と同様、奇数行目のラインのみのｎラインからなっている。画像合成部１０３は、例えば、隣り合った２つの奇数行目のラインの信号に基づき当該２つの奇数行目のラインに挟まれた偶数行目のラインの信号を生成する補間を行うことにより、図５（Ｂ）に示すように、２ｎラインからなる画像信号を生成する。なお、補間方法としてこれ以外の方法を用いてもよい。
【００３０】
このように、本実施形態によれば、フレームレートが１２０フレーム／秒の２倍速撮影を行うことができる。また、２つの緑色光用撮像素子１１１，１１２を交互のタイミングで駆動する方法を採っていないので、そのような駆動を行うための制御信号の干渉に起因するノイズが発生せず、良好な画質を保つことができる。また、第１緑色光用撮像素子１１１からの奇数行目のラインと第２緑色光用撮像素子１１２からの偶数行目のラインとにより１フレームの緑色画像を生成するので、撮像素子の解像度と同じ解像度の緑色画像を得ることができるとともに、２つの緑色光用撮像素子１１１，１１２が特性差を有していたとしても、その特性差は生成された緑色画像の１フレーム内において１ライン飛びに分散され、視覚上は認識困難となりフリッカーとして顕在化することもないため、画質の劣化を抑えることができる。
【００３１】
（第２の実施形態）
図１の撮像装置において、２倍速撮影の際、以下のような画素選択信号を用いて撮像素子からの読み出しを行う構成としてもよい。
【００３２】
図６は、第１緑色光用撮像素子１１１と第２緑色光用撮像素子１１２とに対する画素選択信号を表す図である。図６（Ａ）において、読み出し制御部１０１は、第１緑色光用撮像素子１１１に対する画素選択信号として、全画素のうち半数の画素をジグザグ状に選択する画素選択信号、即ち、ライン１とライン２について、ライン１の第１画素（Ａ）、ライン２の第２画素（Ｂ）、ライン１の第３画素（Ｃ）、ライン２の第４画素（Ｄ）、ライン１の第５画素、…と画素を順次選択し、次いでライン３とライン４について、ライン３の第１画素、ライン４の第２画素、ライン３の第３画素、ライン４の第４画素、ライン３の第５画素、…と画素を順次選択し、次いでライン５とライン６について、ライン５の第１画素、ライン６の第２画素、ライン５の第３画素、ライン６の第４画素、ライン５の第５画素、…と画素を順次選択し、…、次いでライン２ｎ−１とライン２ｎについて、ライン２ｎ−１の第１画素、ライン２ｎの第２画素、ライン２ｎ−１の第３画素、ライン２ｎの第４画素、ライン２ｎ−１の第５画素、…と画素を順次選択する画素選択信号を、２倍速撮影時の１フレーム期間である１／１２０秒毎に生成する。
【００３３】
同様に、図６（Ｂ）において、読み出し制御部１０１は、第２緑色光用撮像素子１１２に対する画素選択信号として、全画素のうち図６（Ａ）で選択した画素と相補的な半数の画素をジグザグ状に選択する画素選択信号、即ち、ライン１とライン２について、ライン２の第１画素（ａ）、ライン１の第２画素（ｂ）、ライン２の第３画素（ｃ）、ライン１の第４画素（ｄ）、ライン２の第５画素、…と画素を順次選択し、次いでライン３とライン４について、ライン４の第１画素、ライン３の第２画素、ライン４の第３画素、ライン３の第４画素、ライン４の第５画素、…と画素を順次選択し、次いでライン５とライン６について、ライン６の第１画素、ライン５の第２画素、ライン６の第３画素、ライン５の第４画素、ライン６の第５画素、…と画素を順次選択し、…、次いでライン２ｎ−１とライン２ｎについて、ライン２ｎの第１画素、ライン２ｎ−１の第２画素、ライン２ｎの第３画素、ライン２ｎ−１の第４画素、ライン２ｎの第５画素、…と画素を順次選択する画素選択信号を、２倍速撮影時の１フレーム期間である１／１２０秒毎に生成する。
【００３４】
但し、ここで第ｊ画素（ｊは自然数）とは各ラインにおいて左から第ｊ番目の画素を指すものとする。また、「相補的」とは、第１緑色光用撮像素子１１１から選択した画素と第２緑色光用撮像素子１１２から選択した画素とによって、全ての画素からなる完全な１フレームの画像（緑色画像）を構成できることを意味する。
また、以下の説明では、便宜上、図６（Ａ）において、ライン１とライン２から選択した画素の集合をライン１’、ライン３とライン４から選択した画素の集合をライン３’、…のように呼び、図６（Ｂ）において、ライン１とライン２から選択した画素の集合をライン２’、ライン３とライン４から選択した画素の集合をライン４’、…のように呼ぶこととする。
【００３５】
図７は、図６の画素選択信号に基づいて得られる緑色光成分Ｇに関する画像信号を表す図である。図７（Ａ）において、ライン１’の各画素に蓄積された電荷に基づく信号、ライン３’の各画素に蓄積された電荷に基づく信号、ライン５’の各画素に蓄積された電荷に基づく信号、…、ライン２ｎ−３’の各画素に蓄積された電荷に基づく信号、及び、ライン２ｎ−１’の各画素に蓄積された電荷に基づく信号からなる、全画素の半数の画素に対応したジグザグ状のｎライン（便宜上の「ライン」）で構成された１フレームの画像を表す画像信号が、１フレーム期間即ち１／１２０秒毎に第１緑色光用撮像素子１１１から出力される。ここで、例えばライン１’について見ると、画素Ａ（ライン１の第１画素）、画素Ｂ（ライン２の第２画素）、画素Ｃ（ライン１の第３画素）、画素Ｄ（ライン２の第４画素）、…のように各画素の信号が配置されている。
【００３６】
同様に、図７（Ｂ）において、ライン２’の各画素に蓄積された電荷に基づく信号、ライン４’の各画素に蓄積された電荷に基づく信号、ライン６’の各画素に蓄積された電荷に基づく信号、…、ライン２ｎ−２’の各画素に蓄積された電荷に基づく信号、及び、ライン２ｎ’の各画素に蓄積された電荷に基づく信号からなる、図７（Ａ）と相補的な画素に対応したジグザグ状のｎライン（便宜上の「ライン」）で構成された１フレームの画像を表す画像信号が、１フレーム期間即ち１／１２０秒毎に第２緑色光用撮像素子１１２から出力される。ここで、例えばライン２’について見ると、画素ａ（ライン２の第１画素）、画素ｂ（ライン１の第２画素）、画素ｃ（ライン２の第３画素）、画素ｄ（ライン１の第４画素）、…のように各画素の信号が配置されている。
【００３７】
このような第１緑色光用撮像素子１１１及び第２緑色光用撮像素子１１２からの画像信号に基づき、図４（Ｃ）と同様に緑色画像生成部１０２は全画素で構成された完全な１フレームの緑色画像を表す画像信号を生成するが、その具体的な処理方法は次のとおりである。
【００３８】
図７（Ｃ）は、緑色画像生成部１０２から出力される画像信号を表す図である。緑色画像生成部１０２は、ライン１’の各画素に蓄積された電荷に基づく信号（ライン１’信号）とライン２’の各画素に蓄積された電荷に基づく信号（ライン２’信号）が入力されると、ライン１’信号に含まれる各画素の信号とライン２’信号に含まれる各画素の信号とを交互に並べ替えて、実際のライン１の画素の並び順で各画素の信号を配列したライン１信号と、実際のライン２の画素の並び順で各画素の信号を配列したライン２信号とをこの順で出力する。つまり、画素Ａ，画素Ｂ，画素Ｃ，画素Ｄ，…の順で構成されたライン１’信号と画素ａ，画素ｂ，画素ｃ，画素ｄ，…の順で構成されたライン２’信号の入力に対し、画素Ａ，画素ｂ，画素Ｃ，画素ｄ，…の順で構成されたライン１信号と画素ａ，画素Ｂ，画素ｃ，画素Ｄ，…の順で構成されたライン２信号の出力が得られる。
【００３９】
同様に、次いでライン３’の各画素に蓄積された電荷に基づく信号（ライン３’信号）とライン４’の各画素に蓄積された電荷に基づく信号（ライン４’信号）が入力されると、緑色画像生成部１０２は、ライン３’信号に含まれる各画素の信号とライン４’信号に含まれる各画素の信号とを交互に並べ替えて、実際のライン３の画素の並び順で各画素の信号を配列したライン３信号と、実際のライン４の画素の並び順で各画素の信号を配列したライン４信号とをこの順で出力する。以降についても同様である。
【００４０】
このようにして、実際の各画素の配置順である、ライン１信号，ライン２信号，ライン３信号，…，ライン２ｎ−１信号，ライン２ｎ信号の順に各信号が配列されてなる、完全な１フレームの緑色画像に対応した画像信号が、１フレーム期間（１／１２０秒）毎に緑色画像生成部１０２から出力される。
【００４１】
図８は、赤色光用撮像素子１１３と青色光用撮像素子１１４とに対する画素選択信号を表す図である。同図（Ａ），（Ｂ）に示すように、赤色光用撮像素子１１３の画素選択信号は図６（Ａ）の第１緑色光用撮像素子１１１の画素選択信号と同じであり、青色光用撮像素子１１４の画素選択信号は図６（Ｂ）の第２緑色光用撮像素子１１２の画素選択信号と同じである。
【００４２】
図８（Ｃ）は、図８（Ａ）に示す赤色光用撮像素子１１３の画素選択信号の補間処理を表す図である。図８（Ａ）に示されるように、ライン２については、第２画素（Ｂ），第４画素（Ｄ），…の各画素の信号は存在するが、第１画素（Ｘ），第４画素（Ｙ），…の各画素の信号は存在していない。そこで、画素Ｘの信号を、例えばその周囲の３つの画素の信号、即ち、画素Ａ（ライン１の第１画素），画素Ｂ，画素Ｅ（ライン３の第１画素）の各信号を用いて補間する。補間式は、例えば、Ｘ＝（Ａ＋Ｂ＋Ｅ）／３とする。また同様に、画素Ｙの信号を、例えばその周囲の４つの画素の信号、即ち、画素Ｂ，画素Ｃ（ライン１の第３画素），画素Ｄ，画素Ｇ（ライン３の第３画素）の各信号を用いて補間する。補間式は、例えば、Ｙ＝（Ｂ＋Ｃ＋Ｄ＋Ｇ）／４とする。但し、Ｘ，Ｙ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｇはそれぞれ画素の信号の値を表す。
【００４３】
本実施形態においても、前述の実施形態と同じ効果を得ることができる。特に、第１緑色光用撮像素子１１１と第２緑色光用撮像素子１１２とからジグザグ状に読み出した互いに相補的な画素により１フレームの緑色画像を生成するので、撮像素子の解像度と同じ解像度の緑色画像を得ることができるとともに、２つの緑色光用撮像素子１１１，１１２が特性差を有していたとしても、その特性差は生成された緑色画像の１フレーム内において１画素飛びに分散され、視覚上は認識困難となりフリッカーとして顕在化することもないため、画質の劣化を抑えることができる。
【００４４】
更に、赤色光用撮像素子１１３及び青色光用撮像素子１１４からもジグザグ状に読み出しを行って補間をするので、赤色と青色についてラインと垂直な方向の解像度が向上し、画質を高めることができる。
【００４５】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００４６】
例えば、第１緑色光用撮像素子１１１から読み出す画素と第２緑色光用撮像素子１１２から読み出す画素は、全画素から一部の画素を間引いた画素であって互いに相補的な関係にある画素であればよく、それぞれ読み出す画素数は完全に同数（つまり全画素数の半数）となっていなくてもよい。ここで、「間引く」とは、撮像面において所定面積を有する任意の２つの領域を比較したとき、両者で同数の画素が非選択画素となっていることを意味する。例えば、第１緑色光用撮像素子１１１では１００画素につき６０画素の割合で画素を選択し、第２緑色光用撮像素子１１２では１００画素につき４０画素の割合で画素を選択するようなことを行ってもよい。このとき、１フレーム期間は、通常撮影時の１フレームの半分ではなく、例えば、読み出す画素数が多い方の緑色光用撮像素子に合わせた長さの期間（但し通常撮影時の１フレームよりは短い）としてもよい。
【００４７】
また、赤色光用撮像素子１１３及び青色光用撮像素子１１４とプリズム１０４との間に、空間周波数の高い成分を除去する光学的空間フィルタを挿入した構成としてもよい。これは、赤色光用撮像素子１１３と青色光用撮像素子１１４から読み出す画素を間引いているので高周波成分がノイズとなってしまうことを防ぐためである。空間フィルタの配置の向きは、除去される高周波成分の波数方向が、間引かれて残った画素の並んでいる方向（図３においては水平方向、図においては斜め４５°方向）に対して垂直となるようにすることが好ましい。
【００４８】
また、第２の実施形態として説明した撮像素子からの読み出し方法は、第１緑色光用撮像素子１１１から、奇数行目のライン上の奇数列目の各画素及び偶数行目のライン上の偶数列目の各画素からなる１フレームの画像を読み出し、第２緑色光用撮像素子１１２から、奇数行目のライン上の偶数列目の各画素及び偶数行目のライン上の奇数列目の各画素からなる１フレームの画像を読み出す読み出し方法の一例であり、これに限られるものではない。
【符号の説明】
【００４９】
１０１…読み出し制御部  １０２…緑色画像生成部  １０３…画像合成部  １０４…プリズム  １１１…第１緑色光用撮像素子  １１２…第２緑色光用撮像素子  １１３…赤色光用撮像素子  １１４…青色光用撮像素子
【図１】
2010193400.tif 000003
【図２】
2010193400.tif 000004
【図３】
2010193400.tif 000005
【図４】
2010193400.tif 000006
【図５】
2010193400.tif 000007
【図６】
2010193400.tif 000008
【図７】
2010193400.tif 000009
【図８】
2010193400.tif 000010
【図９】
2010193400.tif 000011