(57)【要約】【課題】撮像装置における高ＳＮ比化によって他の特性を劣化させない高ＳＮ比の信号を得て高画質な画像を得ることができることを目的とする。【解決手段】被写体からの光の量が十分に多い場合、撮像部の撮像素子において、できるだけ多くの光量を利用して信号をとりだすために、出力感度の高い撮像素子を有する撮像部のフレーム周波数を上げる。これにより、出力感度の高い撮像素子を有する撮像部からは複数枚分の画像データ信号が出力されるので、それに加算平均処理を行うことで、画像データ信号のＳＮ比を向上させる。【選択図】図１
2008199403.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し、基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する第１色用撮像部と、
撮像素子を有し、前記基準時間内において、前記被写体からの光に含まれる第２の色帯域の光であって、前記撮像素子の出力感度が前記第１の色帯域の光に対する前記撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、前記画像データ情報を１枚の画像に相当する前記画像データ情報ごとに取得した順に出力する第２色用撮像部と、
前記第１色用撮像部から出力される前記画像データ情報の出力レートを決定するための第１色用フレーム周波数と前記第２色用撮像部から出力される前記画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定するフレーム周波数設定部と、
前記フレーム周波数設定部で設定された前記第１色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第１色用撮像部から出力させる第１色用駆動部と、
前記フレーム周波数設定部で設定された前記第２色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第２色用撮像部から出力させる第２色用駆動部と、
前記第２色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で演算処理を行い、出力する第２色用演算処理部と、
を備える撮像装置。
【請求項２】
第２色用フレーム速度変換部と遅延部とをさらに備え、
前記第１色用駆動部は、前記基準時間に相当する前記第１色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第１色用撮像部から基準時間画像データ情報として出力させ、
前記第２色用フレーム速度変換部は、前記第２色演算処理部から出力される前記画像データ情報を前記基準時間に対応する基準時間画像データ情報に変換して、出力し、
前記遅延部は、前記第１色用撮像部から出力される前記基準時間画像データ情報と前記第２色用フレーム速度変換部から出力される前記基準時間画像データ情報との出力タイミングを合わせる、
請求項１に記載の撮像装置。
【請求項３】
前記フレーム周波数設定部は、前記第１色用撮像部の前記撮像素子の出力感度と前記第２色用撮像部の前記撮像素子の出力感度とに応じて、前記第１色用フレーム周波数と第２色用フレーム周波数とを設定する、
請求項１または２に記載の撮像装置。
【請求項４】
前記フレーム周波数設定部は、前記第１色用撮像部の前記撮像素子の出力感度と前記第２色用撮像部の前記撮像素子の出力感度との整数比と、前記第１色用フレーム周波数と第２色用フレーム周波数との比が一致するように前記第１色用フレーム周波数と第２色用フレーム周波数とを設定する、
請求項３記載の撮像装置。
【請求項５】
前記フレーム周波数設定部は、前記第１色用撮像部の出力レベルと前記第２色用撮像部の出力レベルとがほぼ同一になるように前記第２色用フレーム周波数を設定する、
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第２色用演算処理部は、前記第２色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で加算平均処理を行い、出力する、
請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記遅延部から出力される前記基準時間画像データ情報を標準映像信号に変換し、出力するプロセス部をさらに備える、
請求項２から６のいずれかに記載の撮像装置。
【請求項８】
第３色用撮像部と第３色用演算部と第３色用フレーム速度変換部とをさらに備え、
前記第３色用撮像部は、撮像素子を有し、前記基準時間内において、前記被写体からの光に含まれる第３の色帯域の光であって、前記撮像素子の出力感度が前記第２の色帯域の光に対する前記撮像素子の出力感度より高い第３の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、前記画像データ情報を１枚の画像に相当する前記画像データ情報ごとに取得した順に出力し、
前記フレーム周波数設定部は、前記第３色用撮像部から出力される前記画像データ情報の出力レートを決定するための第３色用フレーム周波数を設定し、
前記第３色用フレーム速度変換部は、前記第３色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で演算処理を行い、出力する、
請求項１に記載の撮像装置。
【請求項９】
前記第３色演算処理部から出力される前記画像データ情報を前記基準時間に対応する基準時間画像データ情報に変換して、出力する第３色用フレーム速度変換部をさらに備え、
前記遅延部は、前記第１色用撮像部から出力される前記基準時間画像データ情報と前記第２色用フレーム速度変換部から出力される前記基準時間画像データ情報と前記第３色用フレーム速度変換部から出力される前記基準時間画像データ情報との出力タイミングを合わせる、
請求項８に記載の撮像装置。
【請求項１０】
前記フレーム周波数設定部は、前記第１色用撮像部の前記撮像素子の出力感度と前記第２色用撮像部の前記撮像素子の出力感度と前記第３色用撮像部の前記撮像素子の出力感度とに応じて、前記第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数とを設定する、
請求項８または９に記載の撮像装置。
【請求項１１】
前記フレーム周波数設定部は、前記第１色用撮像部の前記撮像素子の出力感度と前記第２色用撮像部の前記撮像素子の出力感度と前記第３色用撮像部の前記撮像素子の出力感度との整数比と、前記第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数との比が一致するように前記第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数とを設定する、
請求項１０記載の撮像装置。
【請求項１２】
前記フレーム周波数設定部は、前記第１色用撮像部の出力レベルと前記第２色用撮像部の出力レベルと前記第３色用撮像部の出力レベルとがほぼ同一になるように前記第２色用フレーム周波数および前記第３色用フレーム周波数を設定する、
請求項８から１１のいずれかに記載の撮像装置。
【請求項１３】
前記第２色用演算処理部は、前記第２色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で加算平均処理を行い、出力し、
前記第３色用演算処理部は、前記第３色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で加算平均処理を行い、出力する、
請求項８から１２のいずれかに記載の撮像装置。
【請求項１４】
前記遅延部から出力される前記基準時間画像データ情報を標準映像信号に変換し、出力するプロセス部をさらに備える、
請求項９から１３のいずれかに記載の撮像装置。
【請求項１５】
前記第１の色帯域の光は、青色帯域の光であり、前記第２の色帯域の光は、赤色帯域の光であり、前記第３の色帯域の光は、緑色帯域の光である、
請求項８から１４のいずれかに記載の撮像装置
【請求項１６】
前記フレーム周波数設定部は、前記第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数との比が、１：２：３となるように前記各周波数を設定する、
請求項１５記載の撮像装置。
【請求項１７】
前記基準時間は、テレビジョン信号において１フィールドを走査するのに要する時間である、
請求項１から１６のいずれかに記載の撮像装置。
【請求項１８】
前記基準時間は、テレビジョン信号において１フレームを走査するのに要する時間である、
請求項１から１６のいずれかに記載の撮像装置。
【請求項１９】
撮像素子をそれぞれ有する第１色用撮像部および第２色用撮像部を備える撮像装置における撮像方法であって、
基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する第１色用撮像ステップと、
前記基準時間内において、前記被写体からの光に含まれる第２の色帯域の光であって、前記撮像素子の出力感度が前記第１の色帯域の光に対する前記撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、前記画像データ情報を１枚の画像に相当する前記画像データ情報ごとに取得した順に出力する第２色用撮像ステップと、
前記第１色用撮像ステップで出力される前記画像データ情報の出力レートを決定するための第１色用フレーム周波数と前記第２色用撮像部から出力される前記画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定するフレーム周波数設定ステップと、
前記フレーム周波数設定ステップで設定された前記第１色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第１色用撮像部から出力させる第１色用駆動ステップと、
前記フレーム周波数設定ステップで設定された前記第２色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第２色用撮像部から出力させる第２色用駆動ステップと、
前記第２色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で演算処理を行い、出力する第２色用演算処理ステップと、
を含む撮像方法。
【請求項２０】
撮像素子を有し、基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する第１色用撮像部と、
撮像素子を有し、前記基準時間内において、前記被写体からの光に含まれる第２の色帯域の光であって、前記撮像素子の出力感度が前記第１の色帯域の光に対する前記撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、前記画像データ情報を１枚の画像に相当する前記画像データ情報ごとに取得した順に出力する第２色用撮像部と、
前記第１色用撮像部から出力される前記画像データ情報の出力レートを決定するための第１色用フレーム周波数と前記第２色用撮像部から出力される前記画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定するフレーム周波数設定部と、
前記フレーム周波数設定部で設定された前記第１色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第１色用撮像部から出力させる第１色用駆動部と、
前記フレーム周波数設定部で設定された前記第２色用フレーム周波数により決定される出力レートにより前記画像データ情報を前記第２色用撮像部から出力させる第２色用駆動部と、
前記第２色用撮像部から出力される前記画像データ情報に対して、１枚の画像に相当する前記画像データ情報を単位画像データ情報として、前記単位画像データ情報間で演算処理を行い、出力する第２色用演算処理部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高いＳＮ比の映像を得ること目的とした撮像装置に関するものである。
【背景技術】
【０００２】
近年、撮像装置で撮影した映像とＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）とによる合成画像などが、テレビジョン、あるいは映画などの映像で利用されている。ここでは、撮像装置からの画像をクロマキー技術により抜き出し、合成して画像を作り出す手法が多様されている。このようなクロマキー合成等を行うに際して、高いＳＮ比の画像が要望されている。また、近年、標準テレビジョン信号のフレーム周波数より相当高速のフレーム周波数で動作するＭＯＳ型の固体撮像素子が実現されている。
以下に従来の撮像装置について説明する。
従来、撮像装置として、特開２０００−２７８７０４号公報に記載されたものが知られている。その撮像装置を図５に示す。図５は従来の撮像装置の構成図を示すものである。図５において、この撮像装置は、被写体からの光を集光するレンズ５０１と、レンズ５０１で集光された光を３色に分離する３色分離プリズム５０２と、３色分離プリズム５０２から分離される光を光電変換し電気信号として取り出すための青用固体撮像素子５０３、緑用固体撮像素子５０４および赤用固体撮像素子５０５とを有している。また、この撮像装置は、青用固体撮像素子５０３、緑用固体撮像素子５０４および赤用固体撮像素子５０５をそれぞれ駆動するための駆動回路５０６、５０７、５０８と、この撮像装置の利得や青用、緑用および赤用固体撮像素子の蓄積時間を決定するマイクロプロセッサ５０９と、ガンマ補正、ＤＴＬ処理（ディテール・エンハンサ処理）、同期付加等をおこなって標準テレビジョン信号を作成するためのプロセス回路５１０とを有している。
【０００３】
以上のように構成された従来の撮像装置について、以下その動作について説明する
まず、被写体からの光は、レンズ５０１を通して３色分離プリズム５０２で青、緑、赤の３色光に分離され、固体撮像素子５０３、５０４、５０５上で被写体像として結像され、光電変換されて電気信号として出力される。このとき、固体撮像素子５０３、５０４、５０５から出力される電気信号の信号レベルがほぼ同等になるように固体撮像素子５０３、５０４、５０５に電荷を蓄積させる時間（電荷蓄積時間）を設定する。なお、この電荷蓄積時間の設定は、マイクロプロセッサ５０９の制御により、駆動回路５０６、５０７、５０８にて行う。この青用固体撮像素子５０３、緑用固体撮像素子５０４および赤用固体撮像素子５０５から出力される、それぞれ青、緑、赤に対応する出力信号は、プロセス回路５１０で、各色間で出力感度が一定になるように信号レベル調整が行われ、さらに、ガンマ補正、ＤＴＬ処理、同期付加等が実行され、標準テレビジョン信号として、プロセス回路５１０から出力される。マイクロプロセッサ５０９は、信号レベルの大きい色の固体撮像素子ほど電荷蓄積時間を短くし、信号レベルが小さい色の固体撮像素子ほど電荷蓄積時間を長くすることで、各色の固体撮像素子の出力レベルをほぼ一致させる。
【０００４】
通常の撮像装置において、固体撮像素子の出力レベルは、緑、赤、青の順に小さくなる。つまり、撮像装置が緑用固体撮像素子、赤用固体撮像素子、青用固体撮像素子の３つの固体撮像素子から構成される場合、緑用の固体撮像素子の出力レベル（出力感度）が最も大きく（高く）、青用の固体撮像素子の出力レベル（出力感度）が最も小さい（低い）。そして、緑用固体撮像素子の出力レベル（出力感度）と青用固体撮像素子の出力レベル（出力感度）との比は、約４：１である。
これについて、図６を用いて説明する。図６（ａ）は、標準テレビジョン信号の垂直同期信号と時間との関係を示した図である。図６（ｂ）は、緑用固体撮像素子の電荷蓄積量と時間との関係を示した図である。図６（ｃ）は、赤用固体撮像素子の電荷蓄積量と時間との関係を示した図である。図６（ｄ）は、青用固体撮像素子の電荷蓄積量と時間との関係を示す図である。図６に示すように、ＣＣＤ型固体撮像素子における電荷蓄積時間は、蓄積開始時点を電荷リセット信号が入力されるタイミング（図６に示すｔｒＧ、ｔｒＲ、ｔｒＢのタイミング）とし、蓄積終了時点をフレームの終了時（標準テレビジョン信号の垂直同期信号が出力されるタイミング）と一致させることで決定される。ＭＯＳ型固体撮像素子ではＣＣＤ型固体撮像素子の場合とは電荷蓄積時間を決定させる方法が若干異なる。ＭＯＳ型固体撮像素子では、固体撮像素子を構成する各画素からの信号読み出し時点が電荷蓄積時間の終了時となり、固体撮像素子を構成する全ての画素で電荷蓄積時間が同時間になるようにリセットパルスが画素ごとに挿入される。そして、この電荷蓄積時間に蓄積された電荷が電圧信号として読み出される。固体撮像素子においては、出力感度の高い緑用固体撮像素子５０４の電荷蓄積時間を最も短くし、出力感度の低い青用固体撮像素子５０３の電荷蓄積時間を最も長くするため、フレーム期間（標準フレーム長の長さをもつ期間）全域を電荷蓄積期間とすることで、各色用の固体撮像素子から出力される信号のレベル（出力電圧）の出力感度を一致させている。このように各色用の固体撮像素子から出力される出力信号の信号レベルについての出力感度を一致させることで、全ての色の再現範囲が同等になるようにしている。そして、このようにすることで、全ての色に対して、固体撮像素子の電荷蓄積量の飽和レベル以下の範囲で最大限蓄積された電荷量を利用することができる。したがって、光電変換され固体撮像素子から出力される信号において、出力感度の低い青用固体撮像素子から出力される出力信号のＳＮ比が向上するので、色信号全体としてのＳＮ比も向上し、高いＳＮ比を有する信号が得られる。
【特許文献１】特開２０００−２７８７０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の構成では、緑用、赤用固体撮像素子での電荷蓄積時間がフレーム周期に相当する時間（標準フレーム長に相当する時間）より短いので、緑用、赤用固体撮像素子に入射された光を利用できていない期間が存在しており、被写体からの光の量が多い状況では、撮像装置（カメラ）の光利用率が悪くなってしまう。特に固体撮像素子の出力感度が高い緑の帯域の光が有効利用されておらず、固体撮像素子において光電変換される光量が少なくなってしまうという問題点を有している。
本発明は、上記問題点を解決するもので、被写体からの光の量が十分多い状況において、光利用効率を向上させ、出力信号のＳＮ比を向上させる撮像装置、撮像方法および集積回路を実現することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明は、第１色用撮像部と、第２色用撮像部と、フレーム周波数設定部と、第１色用駆動部と、第２色用駆動部と、第２色用演算処理部と、を備える撮像装置である。第１色用撮像部は、撮像素子を有し、基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する。第２色用撮像部は、撮像素子を有し、基準時間内において、被写体からの光に含まれる第２の色帯域の光であって、撮像素子の出力感度が第１の色帯域の光に対する撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、画像データ情報を１枚の画像に相当する画像データ情報ごとに取得した順に出力する。フレーム周波数設定部は、第１色用撮像部から出力される画像データ情報の出力レートを決定するための第１色用フレーム周波数と第２色用撮像部から出力される画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定する。第１色用駆動部は、フレーム周波数設定部で設定された第１色用フレーム周波数により決定される出力レートにより画像データ情報を第１色用撮像部から出力させる。第２色用駆動部は、フレーム周波数設定部で設定された第２色用フレーム周波数により決定される出力レートにより画像データ情報を第２色用撮像部から出力させる。第２色用演算処理部は、第２色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で演算処理を行い、出力する。
【０００７】
この撮像装置では、被写体からの光に含まれる第１の色帯域の光は、基準時間内において、第１色用撮像部で光電変換され１枚の画像に相当する画像データ情報（以下、Ｎ枚の画像に相当する画像データを「Ｎ枚分の画像データ情報」という）として取得され、出力される。被写体からの光に含まれる第２の色帯域の光は、第２色用撮像部により、基準時間内において、複数枚分の画像データ情報として取得され、出力される。第２色用撮像部から順次出力される複数枚分の画像データ情報は、第２色用演算処理部により、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で演算処理される。第２の色帯域の光に対する第２色用撮像部の撮像素子の出力感度は、第１の色帯域の光に対する出力感度より高いので、第２色用撮像部において、基準時間において複数枚分の画像データ情報を効率良く取得することができる。
【０００８】
これにより、被写体からの光の量が十分多い状況において、撮像素子の出力感度の高い光についての光電変換における光利用効率を向上させることができ、第２色用演算処理部によりノイズ低減処理を実行することができるので、撮像装置からの出力信号のＳＮ比を向上させることができる。
なお、「基準時間」とは、動画として表示させる場合において、１つの画像を構成するのに要する時間のことをいい、例えば、１秒間に３０枚の画像を動画として表示させる場合は、１／３０秒が基準時間となる。また、「画像データ情報」とは、画像を形成することができるデータ情報のことをいい、例えば、２次元画像を形成することができる画像データ信号等が含まれる概念である。
第２の発明は、第１の発明であって、第２色用フレーム速度変換部と遅延部とをさらに備える。第１色用駆動部は、基準時間に相当する第１色用フレーム周波数により決定される出力レートにより画像データ情報を第１色用撮像部から基準時間画像データ情報として出力させる。第２色用フレーム速度変換部は、第２色演算処理部から出力される画像データ情報を基準時間に対応する基準時間画像データ情報に変換して、出力する。遅延部は、第１色用撮像部から出力される基準時間画像データ情報と第２色用フレーム速度変換部から出力される基準時間画像データ情報との出力タイミングを合わせる。
【０００９】
これにより、第２色用フレーム速度変換部から出力される画像データ情報は、基準時間に対応するものとなる。さらに、第１色用撮像部から出力される基準時間に対応する画像データ情報と、第２色用フレーム速度変換部から出力される基準時間に対応する画像データ情報との位相のズレおよび遅延量を、遅延部により、調整することができるので、遅延部からは出力タイミングの一致した画像データ情報が出力される。
第３の発明は、第１または第２の発明であって、フレーム周波数設定部は、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度とに応じて、第１色用フレーム周波数と第２色用フレーム周波数とを設定する。
これにより、第１色用撮像部から出力される画像データ情報と、第２色用撮像部から出力される画像データ情報の出力レベルを一致させる、あるいは出力レベルの差を一定範囲内におさめることができる。例えば、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度のとの比がＮ：Ｍである場合、第１色用フレーム周波数と第２色用フレーム周波数との比をＮ：Ｍに設定することで、第１色用撮像部から出力される画像データ情報と、第２色用撮像部から出力される画像データ情報の出力レベルを一致させる、あるいは出力レベルの差を一定範囲内におさめることができる。
【００１０】
第４の発明は、第３の発明であって、フレーム周波数設定部は、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度との整数比と、第１色用フレーム周波数と第２色用フレーム周波数との比が一致するように第１色用フレーム周波数と第２色用フレーム周波数とを設定する。
これにより、簡単な構成で、第１色用撮像部から出力される画像データ情報と、第２色用撮像部から出力される画像データ情報の出力レベルとを一致させる、あるいは出力レベルの差を一定範囲内におさめることができる。例えば、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度との比が１：２である場合、第１色用フレーム周波数と第２色用フレーム周波数との比を１：２に設定すればよい。
【００１１】
第５の発明は、第１から第４のいずれかの発明であって、フレーム周波数設定部は、第１色用撮像部の出力レベルと第２色用撮像部の出力レベルとがほぼ同一になるように第２色用フレーム周波数を設定する。
これにより、第１色用撮像部の出力レベルと第２色用撮像部の出力レベルとがほぼ一致し、色帯域に偏りのない出力画像データ情報を取得することができる。例えば、マイクロプロセッサを用いたフィードバック制御により、第１色用撮像部の出力レベルと第２色用撮像部の出力レベルとがほぼ同一になるようにフレーム周波数の値を制御することで、この撮像装置を実現できる。
第６の発明は、第１から第５のいずれかの発明であって、第２色用演算処理部は、第２色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で加算平均処理を行い、出力する。
これにより、第２色用演算処理部から出力される画像データ情報は、ノイズ成分が低減されたものとなる。
【００１２】
第７の発明は、第２から第６のいずれかの発明であって、遅延部から出力される基準時間画像データ情報を標準映像信号に変換し、出力するプロセス部をさらに備える。
これにより、遅延部から出力される基準時間画像データ情報を標準映像信号に変換することができ、撮像装置からの出力を、標準映像信号を表示することができる表示装置等に表示させることができる。ここで、標準映像信号とは、例えば、テレビジョンモニタ等の表示装置に表示するための標準テレビジョン信号（６０フレーム／秒、６０フィールド／秒、５０フレーム／秒、５０フィールド／秒等の標準解像度映像信号（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の映像信号）や高解像度映像信号（ＨＤＴＶ等の映像信号））や、シネマ用映像信号（４８フレーム／秒、２４フレーム／秒等の映像信号）のことをいう。
【００１３】
第８の発明は、第１の発明であって、第３色用撮像部と第３色用演算部と第３色用フレーム速度変換部とをさらに備える。第３色用撮像部は、撮像素子を有し、基準時間内において、被写体からの光に含まれる第３の色帯域の光であって、撮像素子の出力感度が第２の色帯域の光に対する撮像素子の出力感度より高い第３の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、画像データ情報を１枚の画像に相当する画像データ情報ごとに取得した順に出力する。フレーム周波数設定部は、第３色用撮像部から出力される画像データ情報の出力レートを決定するための第３色用フレーム周波数を設定する。第３色用フレーム速度変換部は、第３色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で演算処理を行い、出力する。
これにより、例えば、青、緑、赤の色帯域に分離した被写体からの光に対して、その３色の光に対応する画像データ情報を取得することができ、撮像素子の出力感度の高い緑、赤の色帯域の光に対応する画像データ情報については、基準時間内に、複数枚分の画像データ情報を取得でき、ノイズ低減をする演算処理を実行することができる。
【００１４】
第９の発明は、第８の発明であって、第３色演算処理部から出力される画像データ情報を基準時間に対応する基準時間画像データ情報に変換して、出力する第３色用フレーム速度変換部をさらに備える。遅延部は、第１色用撮像部から出力される基準時間画像データ情報と第２色用フレーム速度変換部から出力される基準時間画像データ情報と第３色用フレーム速度変換部から出力される基準時間画像データ情報との出力タイミングを合わせる。
これにより、第３色用フレーム速度変換部から出力される画像データ情報は、基準時間に対応するものとなる。さらに、第１色用撮像部から出力される基準時間に対応する画像データ情報と、第２色用フレーム速度変換部から出力される基準時間に対応する画像データ情報と、第３色用フレーム速度変換部から出力される基準時間に対応する画像データ情報との位相のズレおよび遅延量を、遅延部により、調整することができるので、遅延部からは出力タイミングの一致した画像データ情報が出力される。
【００１５】
第１０の発明は、第８または第９の発明であって、フレーム周波数設定部は、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度と第３色用撮像部の撮像素子の出力感度とに応じて、第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数とを設定する。
これにより、第１色用撮像部から出力される画像データ情報と、第２色用撮像部から出力される画像データ情報と、第３色用撮像部から出力される画像データ情報との出力レベルを一致させる、あるいは出力レベルの差を一定範囲内におさめることができる。
第１１の発明は、第１０の発明であって、フレーム周波数設定部は、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度と第３色用撮像部の撮像素子の出力感度との整数比と、第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数との比が一致するように第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数とを設定する。
これにより、簡単な構成で、第１色用撮像部から出力される画像データ情報と、第２色用撮像部から出力される画像データ情報の出力レベルと、第３色用撮像部から出力される画像データ情報の出力レベルとを一致させる、あるいは出力レベルの差を一定範囲内におさめることができる。例えば、第１色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度と第２色用撮像部の撮像素子の出力感度との比が１：２：３である場合、第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数との比を１：２：３に設定すればよい。
【００１６】
第１２の発明は、第８から第１１のいずれかの発明であって、フレーム周波数設定部は、第１色用撮像部の出力レベルと第２色用撮像部の出力レベルと第３色用撮像部の出力レベルとがほぼ同一になるように第２色用フレーム周波数および第３色用フレーム周波数を設定する。
これにより、第１色用撮像部の出力レベルと第２色用撮像部の出力レベルと第３色用撮像部の出力レベルとがほぼ一致し、色帯域に偏りのない出力画像データ情報を取得することができる。
第１３の発明は、第８から第１２のいずれかの発明であって、第２色用演算処理部は、第２色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で加算平均処理を行い、出力する。第３色用演算処理部は、第３色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で加算平均処理を行い、出力する。
これにより、第２色用演算処理部および第３色用演算処理部からそれぞれ出力される画像データ情報は、ノイズ成分が低減されたものとなる。
【００１７】
第１４の発明は、第９から第１３のいずれかの発明であって、遅延部から出力される基準時間画像データ情報を標準映像信号に変換し、出力するプロセス部をさらに備える。
これにより、遅延部から出力される基準時間画像データ情報を標準映像信号に変換することができ、撮像装置からの出力を、標準映像信号を表示することができる表示装置等に表示させることができる。
第１５の発明は、第８から第１４のいずれかの発明であって、第１の色帯域の光は、青色帯域の光であり、第２の色帯域の光は、赤色帯域の光であり、第３の色帯域の光は、緑色帯域の光である。
なお、青色帯域の光とは、例えば、４３５［ｎｍ］付近をピークとする４３０［ｎｍ］から４６０［ｎｍ］の波長をもつ光をいい、赤色帯域の光とは、例えば、７００［ｎｍ］付近をピークとする６１０［ｎｍ］から７８０［ｎｍ］の波長をもつ光をいい、緑色帯域の光とは、例えば、５４６［ｎｍ］付近をピークとする５００［ｎｍ］から５７０［ｎｍ］の波長をもつ光をいう。
【００１８】
第１６の発明は、第１５の発明であって、フレーム周波数設定部は、第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数との比を、１：２：３となるように第１色用フレーム周波数と第２色用フレーム周波数と第３色用フレーム周波数とを設定する。
第１７の発明は、第１から第１６のいずれかの発明であって、基準時間は、テレビジョン信号において１フィールドを走査するのに要する時間である。なお、「１フィールドを走査するのに要する時間」とは、表示装置において１つの画面を作り出すために要する時間であり、例えば、インターレースのＮＴＳＣ方式の場合は、１／６０秒であり、インターレースのＰＡＬ方式の場合は、１／５０秒である。
【００１９】
第１８の発明は、第１から第１６のいずれかの発明であって、基準時間は、テレビジョン信号において１フレームを走査するのに要する時間である。なお、「１フレームを走査するのに要する時間」とは、表示装置において１つの画像を構成するために要する時間であり、例えば、インターレースのＮＴＳＣ方式の場合は１／３０秒、ノンインターレースのＮＴＳＣ方式の場合は１／６０秒である。
第１９の発明は、撮像素子をそれぞれ有する第１色用撮像部および第２色用撮像部を備える撮像装置における撮像方法であって、第１色用撮像ステップと、第２色用撮像ステップと、フレーム周波数設定ステップと、第１色用駆動ステップと、第２色用駆動ステップと、第２色用演算処理ステップと、を含む撮像方法である。第１色用撮像ステップでは、基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する。第２色用撮像ステップでは、基準時間内において、被写体からの光に含まれる第２の色帯域の光であって、撮像素子の出力感度が第１の色帯域の光に対する撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、画像データ情報を１枚の画像に相当する画像データ情報ごとに取得した順に出力する。フレーム周波数設定ステップでは、第１色用撮像ステップで出力される画像データ情報の出力レートを決定するための第１色用フレーム周波数と第２色用撮像部から出力される画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定する。第１色用駆動ステップでは、フレーム周波数設定ステップで設定された第１色用フレーム周波数により決定される出力レートにより画像データ情報を第１色用撮像部から出力させる。第２色用駆動ステップでは、フレーム周波数設定ステップで設定された第２色用フレーム周波数により決定される出力レートにより画像データ情報を第２色用撮像部から出力させる。第２色用演算処理ステップでは、第２色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で演算処理を行い、出力する。
この撮像方法により、被写体からの光の量が十分多い状況において、撮像素子の出力感度の高い光についての光電変換における光利用効率を向上させることができ、第２色用演算処理ステップによりノイズ低減処理を実行することができるので、この撮像方法により生成される出力信号のＳＮ比を向上させることができる。
【００２０】
第２０の発明は、第１色用撮像部と、第２色用撮像部と、フレーム周波数設定部と、第１色用駆動部と、第２色用駆動部と、第２色用演算処理部と、を備える集積回路である。第１色用撮像部は、撮像素子を有し、基準時間内において、被写体からの光に含まれる第１の色帯域の光を光電変換して少なくとも１枚の画像に相当する画像データ情報として取得し、出力する。第２色用撮像部は、撮像素子を有し、基準時間内において、被写体からの光に含まれる第２の色帯域の光であって、撮像素子の出力感度が第１の色帯域の光に対する撮像素子の出力感度より高い第２の色帯域の光を光電変換して複数枚の画像に相当する画像データ情報として取得するとともに、画像データ情報を１枚の画像に相当する画像データ情報ごとに取得した順に出力する。フレーム周波数設定部は、第１色用撮像部から出力される画像データ情報の出力レートを決定するための第１色用フレーム周波数と第２色用撮像部から出力される画像データ情報の出力レートを決定するための第２色用フレーム周波数とを設定する。第１色用駆動部は、フレーム周波数設定部で設定された第１色用フレーム周波数により決定される出力レートにより画像データ情報を第１色用撮像部から出力させる。第２色用駆動部は、フレーム周波数設定部で設定された第２色用フレーム周波数により決定される出力レートにより画像データ情報を第２色用撮像部から出力させる。第２色用演算処理部は、第２色用撮像部から出力される画像データ情報に対して、１枚の画像に相当する画像データ情報を単位画像データ情報として、単位画像データ情報間で演算処理を行い、出力する。
【００２１】
これにより、被写体からの光の量が十分多い状況において、撮像素子の出力感度の高い光についての光電変換における光利用効率を向上させることができ、第２色用演算処理部によりノイズ低減処理を実行することができるので、撮像装置からの出力信号のＳＮ比を向上させることができる。
【発明の効果】
【００２２】
本発明によれば、被写体からの光の量が十分多い状況において、光利用効率を向上させ、出力信号のＳＮ比を向上させる撮像装置、撮像方法および集積回路を実現することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について、図１から図４を用いて説明する。
［第１実施形態］
＜撮像装置の全体構成＞
図１に本発明の第１実施形態に係る撮像装置１００の構成図を示す。撮像装置１００は、主に、被写体からの光を集光するレンズ１と、レンズ１で集光された光を３色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））に分離する３色分離プリズム２と、３色分離プリズム２から分離される光を光電変換し電気信号として取り出すための青用撮像部３、緑用撮像部４および赤用撮像部５とを有している。
また、この撮像装置１００は、さらに、緑用撮像部４および赤用撮像部５からの出力に対して演算処理を行う緑用演算処理部９および赤用演算処理部１０、緑用演算処理部９および赤用演算処理部１０の出力に対してフレーム速度変換を行う緑用フレーム速度変換部１１および赤用フレーム速度変換部１２を有している。さらに、撮像装置１００は、青用撮像部３からの出力信号、緑用フレーム速度変換部１１からの出力信号および赤用フレーム変換部からの出力信号を入力とし、各出力信号の出力タイミングを一致させる遅延部１３、遅延部からの出力信号を標準テレビ信号等に変換するプロセス部１４を有している。そして、撮像装置１００は、青用撮像部３、緑用撮像部４および赤用撮像部５のフレーム周波数を設定するフレーム周波数設定部としてのマイクロプロセッサ１５と、マイクロプロセッサ１５により設定されたフレーム周波数により決定される出力レートにより、青用撮像部３、緑用撮像部４および赤用撮像部５から画像データ信号を出力させる青用駆動部６、緑用駆動部７および赤用駆動部８とを有している。
【００２４】
青用撮像部３は、基準時間内において、被写体からの光に含まれる青色帯域の光を光電変換して、１枚の画像に相当する画像データ情報としての画像データ信号を出力する。
緑用撮像部４および赤用撮像部５は、基準時間内において、それぞれ、被写体からの光に含まれる緑色帯域の光および赤色帯域の光を光電変換して、複数枚の画像に相当する画像データ情報（画像データ信号）として取得し、１枚の画像に相当する画像データ信号ごとに取得した順に出力する。
青用撮像部３、緑用撮像部４および赤用撮像部５として、例えば、ＭＯＳ形イメージ・センサ等の固体撮像素子が使用される。
緑用演算処理部９および赤用演算処理部１０は、それぞれ緑用撮像部４および赤用撮像部５から出力される画像データ信号に対して、１枚の画像に相当する画像データ信号を単位画像データ信号として、単位画像データ信号間で演算処理を行い、出力する。例えば、単位画像データ信号が、標準テレビジョン信号（６０フレーム／秒、６０フィールド／秒、５０フレーム／秒、５０フィールド／秒等の標準解像度映像信号（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の映像信号）や高解像度映像信号（ＨＤＴＶ等の映像信号））や、シネマ用映像信号（４８フレーム／秒、２４フレーム／秒等の映像信号）の１フレーム分の画像データ信号である場合は、緑用演算処理部９および赤用演算処理部１０は、それぞれ画像データ信号が形成する２次元画像上における同一位置に対応する画素に対して、フレーム間での演算処理を行う。演算処理としては、例えば、加算平均処理等がある。
【００２５】
緑用フレーム速度変換部１１および赤用フレーム速度変換部１２は、緑用演算処理部９および赤用演算処理部１０から出力される画像データ信号を基準時間に対応する基準時間画像データ信号に変換して、出力する。例えば、緑用撮像部４が基準時間内において２枚の画像に相当する画像データ信号を出力しており、赤用撮像部５が基準時間内において３枚の画像に相当する画像データ信号を出力している場合、緑用演算処理部９は、基準時間の１／３の時間を単位として単位画像データ信号を出力し、赤用演算処理部１０は、基準時間の１／２の時間を単位として単位画像データ信号を出力することになる。そこで、緑用フレーム速度変換部１１は、緑用演算処理部９から出力される単位画像データ信号が基準時間を単位として出力されるように時間軸伸長処理を行う（この場合、３倍の時間軸伸長処理を行う）。同様に、赤用フレーム速度変換部１２は、赤用演算処理部１０から出力される単位画像データ信号が基準時間を単位として出力されるように時間軸伸長処理を行う（この場合、２倍の時間軸伸長処理を行う）。
【００２６】
遅延部１３は、例えば、青用遅延部１３１、緑用遅延部１３２および赤用遅延部１３３から構成される。遅延部１３は、青用撮像部３、緑用フレーム速度変換部１１および赤用フレーム速度変換部１２から、それぞれ基準時間を単位として出力される３つの画像データ信号（青用画像データ信号、緑用画像データ信号および赤用画像データ信号）を入力とし、遅延部１３から出力される３つの画像データ信号（青用画像データ信号、緑用画像データ信号および赤用画像データ信号）の出力タイミングが（位相も含めて）一致するように遅延処理を行う。
プロセス部１４は、遅延部１３から出力された画像データ信号に、同期信号付加、ガンマ補正、ディテール付加（ディテール・エンハンサ処理）等を行い、標準映像信号を生成し、出力する。ここで、標準映像信号とは、例えば、テレビジョンモニタ等の表示装置に表示するための標準テレビジョン信号（６０フレーム／秒、６０フィールド／秒、５０フレーム／秒、５０フィールド／秒等の標準解像度映像信号（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等の映像信号）や高解像度映像信号（ＨＤＴＶ等の映像信号））や、シネマ用映像信号（４８フレーム／秒、２４フレーム／秒等の映像信号）のことをいう。
【００２７】
マイクロプロセッサ１５は、撮像装置１００の各種シーケンスを制御する。マイクロプロセッサ１５は、青用撮像部３、緑用撮像部４および赤用撮像部５からそれぞれ出力される画像データ信号の出力レートを決定する、青用フレーム周波数、緑用フレーム周波数および赤用フレーム周波数を設定する。青用撮像部３、緑用撮像部４、赤用撮像部５、プロセス部１４等の撮像装置１００の構成部に対して、指令を出すことで、それぞれの構成部の機能を制御する。なお、マイクロプロセッサ１５は、各構成部と直接接続されるものであっても、バスを介して接続されるものであってもよい。
青用駆動部６、緑用駆動部７および赤用駆動部８は、マイクロプロセッサ１５により設定されたフレーム周波数により決定される出力レートにより、青用撮像部３、緑用撮像部４および赤用撮像部５から、それぞれ画像データ信号を出力させる。
【００２８】
なお、マイクロプロセッサ１５の一部がフレーム周波数設定部をなす。マイクロプロセッサ１５に、例えば、ＲＯＭ（図示せず）等に予め記憶させたフレーム周波数の設定値を読み込ませることで、フレーム周波数設定部の機能を実現させることができる。また、例えば、ユーザが外部からフレーム周波数の設定値を入力し、その入力されたフレーム周波数の設定値をマイクロプロセッサ１５が読み込むことでもフレーム周波数設定部の機能を実現させることができる。
＜撮像装置の動作＞
次に、図１から図４を用いて、撮像装置１００の動作について説明する。
図１に示すように、まず、被写体からの光は、レンズ１により集光され、３色分離プリズム２で青、緑、赤の３色光に分離される（青色帯域の光、緑色帯域の光、赤色帯域の光に分離される）。そして、３色に分離された光は、それぞれ、青用撮像部３、緑用撮像部４および赤用撮像部５の各固体撮像素子上で被写体像として結像され、光電変換されて電気信号として出力される。ここで、基準時間をインターレースのＮＴＳＣ方式の１フレーム時間（１／３０秒）とし、マイクロプロセッサ１５により、青用フレーム周波数を３０［Ｈｚ］に、緑用フレーム周波数を９０［Ｈｚ］に、赤用フレーム周波数を６０［Ｈｚ］にそれぞれ設定した場合を例に、以下説明する。なお、ＮＴＳＣ方式等のフレーム周波数である３０［Ｈｚ］を「標準フレーム周波数」と、標準フレーム周波数の周期を「標準フレーム周期」と、標準フレーム周期に相当する時間を「標準フレーム時間」または「標準フレーム長」と、呼ぶことにする。
【００２９】
青用フレーム周波数を３０［Ｈｚ］に、緑用フレーム周波数を９０［Ｈｚ］に、赤用フレーム周波数を６０［Ｈｚ］にそれぞれ設定した場合、青用駆動部６は、青用撮像部３が１秒間に３０枚分の画像に相当する画像データ信号（３０フレーム分の画像データ信号）を出力するように青用撮像部３を制御する。緑用駆動部７は、緑用撮像部４が１秒間に９０枚分の画像に相当する画像データ信号（以下、Ｎ枚の画像に相当する画像データ信号を「Ｎ枚分の画像データ信号」という。）を出力するように緑用撮像部４を制御する。赤用駆動部８は、赤用撮像部５が１秒間に６０枚分の画像データ信号を出力するように赤用撮像部５を制御する。
これにより、標準フレーム時間において、青用撮像部３からは１枚分の画像データ信号が、緑用撮像部４からは３枚分の画像データ信号が、赤用撮像部５からは２枚分の画像データ信号が出力される。
【００３０】
青用撮像部３、緑用撮像部４および赤用撮像部５における電荷蓄積量と電荷蓄積時間との関係について図２を用いて説明する。図２（ａ）は、標準テレビジョン信号の垂直同期信号（ＶＤ信号）と時間との関係を示した図である。図２（ｂ）は、緑用固体撮像素子の電荷蓄積量と時間との関係を示した図である。図２（ｃ）は、赤用固体撮像素子の電荷蓄積量と時間との関係を示した図である。図２（ｄ）は、青用固体撮像素子の電荷蓄積量と時間との関係を示す図である。
青用フレーム周波数を３０［Ｈｚ］に、緑用フレーム周波数を９０［Ｈｚ］に、赤用フレーム周波数を６０［Ｈｚ］にそれぞれ設定した場合、青用撮像部３における電荷蓄積時間は図２に示すＴＧとなり、赤用撮像部５における電荷蓄積時間はＴＲとなり、青用撮像部３における電荷蓄積時間はＴＢとなる。固体撮像素子の出力感度は、緑用撮像部４を構成する固体撮像素子の出力感度、赤用撮像部５を構成する固体撮像素子の出力感度、青用撮像部３を構成する固体撮像素子の出力感度の順に低くなる。したがって、電荷蓄積時間をＴＧ、ＴＲ、ＴＢの順に長くなるようにすることで、青用撮像部３、緑用撮像部４および赤用撮像部５からのそれぞれ出力される出力信号の信号レベルを、同等レベルにすることができる。図２においては、ＴＧ：ＴＲ：ＴＢ＝３：２：１としている。ただし、電荷蓄積時間ＴＧ、ＴＲ、ＴＢの比は、これに限定されることはない。例えば、マイクロプロセッサ１５により、青用撮像部３の固体撮像素子、緑用撮像部４の固体撮像素子および赤用撮像部５の固体撮像素子のそれぞれの出力感度を検出し、その出力感度の比により、それぞれ、青用フレーム周波数、緑用フレーム周波数、赤用フレーム周波数を決定し、電荷蓄積時間ＴＧ、ＴＲ、ＴＢの比を決定するようにしてもよい。各固体撮像素子の出力感度の検出については、例えば、各固体撮像素子の出力感度と相関のある、青用撮像部３、緑用撮像部４および赤用撮像部５から出力される画像データ信号の出力レベルにより検出してもよいし、プロセス部１４に入力される青用遅延部１３１、緑用遅延部１３２および赤用遅延部１３３からの画像データ信号の出力レベルにより検出してもよい。（図１において、マイクロプロセッサ１５と青用、緑用および赤用撮像部等との具体的な接続関係については図示していない。）さらに、例えば、各固体撮像素子の出力感度比が３．２：２：１のように整数比にならない場合は、切り捨て処理を行い、各フレーム周波数の比が整数となるように設定すればよい（この場合、フレーム周波数の比を３：２：１にすればよい）。これにより、撮像装置１００に入力された光が光電変換されない期間を少なくすることができ、光の利用効率を高めることができる。
【００３１】
標準フレーム時間において、青用撮像部３から出力された１枚分の画像データ信号は、遅延部１３の青用遅延部１３１に入力される。一方、標準フレーム時間において、緑用撮像部４から出力された３枚分の画像データ信号は、緑用演算処理部９に入力され、赤用撮像部５から出力された２枚分の画像データ信号は、赤用演算処理部１０に入力される。そして、緑用演算処理部９の出力は緑用フレーム速度変換部１１に、赤用演算処理部１０の出力は赤用フレーム速度変換部１２に入力される。このときの動作について、図３および図４を用いて説明する。
図３は、撮像装置１００の緑用撮像部４から出力された画像データ信号の出力波形、緑用演算処理部９から出力された画像データ信号の出力波形、および緑用フレーム速度変換部１１から出力された画像データ信号の出力波形の一例を示している。図３（ａ）は、緑用撮像部４から出力された画像データ信号の出力波形の一例、図３（ｂ）は、緑用演算処理部９から出力された画像データ信号の出力波形の一例、図３（ｃ）は、緑用フレーム速度変換部１１から出力された画像データ信号の出力波形の一例を示している。なお、図３（ａ）〜（ｃ）は説明のための便宜図であり、各波形の出力タイミングを示すものではない。
【００３２】
図４は、撮像装置１００の赤用撮像部５から出力された画像データ信号の出力波形、赤用演算処理部１０から出力された画像データ信号の出力波形、および赤用フレーム速度変換部１２から出力された画像データ信号の出力波形の一例を示している。図４（ａ）は、赤用撮像部５から出力された画像データ信号の出力波形の一例、図４（ｂ）は、赤用演算処理部１０から出力された画像データ信号の出力波形の一例、図４（ｃ）は、赤用フレーム速度変換部１２から出力された画像データ信号の出力波形の一例を示している。なお、図４（ａ）〜（ｃ）は説明のための便宜図であり、各波形の出力タイミングを示すものではない。
緑用フレーム周波数は、標準フレーム周波数の３倍に設定されているので、図３（ａ）に示すように、標準フレーム時間において、緑用撮像部から３枚分の画像データ信号Ｇ１、Ｇ２およびＧ３が出力される。緑用演算処理部９では、３枚分の画像データ信号Ｇ１、Ｇ２およびＧ３において、加算平均処理が行われ、加算平均処理された画像データ信号ＧＧ１が緑用演算処理部９から出力される。画像データ信号ＧＧ１は、標準フレーム周期の１／３の周期の信号であるので、緑用フレーム速度変換部１１により、時間軸伸長処理が行われ、標準フレーム周期の画像データ信号ＧＧ２に変換され、緑用フレーム速度変換部１１から出力される。
【００３３】
同様に、赤用フレーム周波数は、標準フレーム周波数の２倍に設定されているので、図４（ａ）に示すように、標準フレーム時間において、緑用撮像部から２枚分の画像データ信号Ｒ１およびＲ２が出力される。赤用演算処理部１０では、２枚分の画像データ信号Ｒ１およびＲ２において、加算平均処理が行われ、加算平均処理された画像データ信号ＲＲ１が赤用演算処理部１０から出力される。画像データ信号ＲＲ１は、標準フレーム周期の１／２の周期の信号であるので、赤用フレーム速度変換部１２により、時間軸伸長処理が行われ、標準フレーム周期の画像データ信号ＲＲ２に変換され、赤用フレーム速度変換部１２から出力される。
青用撮像部３、緑用フレーム速度変換部１１および赤用フレーム速度変換部から、それぞれ出力された画像データ信号は、標準フレーム周期の信号となっているが、演算処理、フレーム速度変換処理等による遅延が生じており、遅延部１３に入力される３つの画像データ信号には、位相のズレがある。そこで、遅延部１３により、青用撮像部３から出力された画像データ信号は青用遅延部１３１により、緑用フレーム速度変換部１１から出力された画像データ信号は緑用遅延部１３２により、赤用フレーム速度変換部１２から出力された画像データ信号は赤用遅延部１３３により、それぞれ遅延処理が行われ、位相のズレが解消され、出力タイミングが一致した状態で、それぞれ、遅延部１３から出力される。なお、青用撮像部３から出力された画像データ信号は、演算処理およびフレーム速度変換処理が行われておらず、演算処理、フレーム速度変換による遅延が発生しないので、遅延部１３は、青用遅延部１３１がない構成であってもよい。
【００３４】
遅延部１３から出力された画像データ信号は、プロセス部１４により、標準映像信号に必要なガンマ処理、ＤＴＬ処理（ディテール・エンハンサ処理）および同期信号付加処理等を実行されることにより、標準映像信号に変換されて出力される。
以上のように本実施形態の撮像装置１００によれば、出力感度の最も低い固体撮像素子を有する撮像部のフレーム周波数を標準フレーム周波数とし、出力感度の高い固体撮像素子を有する撮像部のフレーム周波数を標準周波数の整数倍にすることで、出力感度の高い固体撮像素子を有する撮像部から標準フレーム時間において、出力される複数枚分の画像データ信号に対して、加算平均処理等のノイズ低減処理を行うことができ（一般に相関の高い信号をＮ回加算平均するとノイズ成分は１／Ｎ１／２倍となり、ノイズ軽減される）、被写体からの光の利用効率を高めるとともに、撮像装置１００から出力される画像データ信号のＳＮ比を向上させることができる。特に、被写体からの光の量が十分多い状況において、従来のように、撮像素子が飽和しないように絞りを絞って、撮像素子で光電変換に利用される光量を減少させたり、撮像素子での電荷蓄積時間を短くして光電変換に利用される光量を減少させたりする必要はなく、その効果は顕著である。
【００３５】
［他の実施形態］
上記実施形態では、青用フレーム周波数、緑用フレーム周波数および赤用フレーム周波数は、予め設定されている場合について、主に説明したが、これに限定されることはなく、例えば、放送用撮像装置や、プロのカメラマンが使用する撮像装置において、試し撮りを行い、撮像部の撮像素子からの出力が飽和しているか否かを監視しながら、飽和しないようにフレーム周波数を上げるように外部から手動でフレーム周波数を設定するようにしてもよい。
また、放送用撮像装置や、プロのカメラマンが使用する撮像装置においては、常に色温度が３２００［Ｋ］（通常、スタジオ撮影のライトの色温度が３２００［Ｋ］である。）になるように補正して撮影するので青用、緑用、赤用撮像素子のフレーム周波数を標準テレビのフレーム周波数の１倍、３倍、２倍に固定して撮像してもよい。
【００３６】
また、マイクロプロセッサ１５が青用撮像部３、緑用撮像部４および赤用撮像部５の各固体撮像素子の出力信号レベルを検出して、各固体撮像素子を駆動するためのフレーム周波数を算出し、青用撮像部３、緑用撮像部４および赤用撮像部５の各固体撮像素子の出力信号レベルを一致させるように、マイクロプロセッサ１５が自動的にフレーム周波数を決定するようにしても良い。
また、上記実施形態では、緑用演算処理部９および赤用演算処理部１０が、加算平均処理を行う場合について説明したが、例えば、画像データ信号を低域成分の信号と高域成分の信号とに分離し、高域成分の信号に含まれる小振幅の高域成分を取り除いた後、小振幅の高域成分が取り除かれた高域成分の信号と低域成分の信号とを加算し、フレーム間で加算平均して、さらにＳＮ比を向上させる演算をしても良い。
【００３７】
また、上記実施形態では、３板式の撮像装置（３板式のカメラ）の場合について説明したが、これに限定されることない。例えば、１枚の撮像素子に設けられた色フィルタで色信号を生成するように構成される単板式の撮像装置において、撮像素子の駆動を色ごとに行うことができるように構成されたもの（ＣＭＯＳ型固体撮像素子では色ごとにグループ化して駆動できる構造の撮像素子がある。）については、別々の色ごとに駆動できる撮像素子を有しているのと同様であり、上記で説明した本発明と同様の信号処理を、このような単板式撮像装置にも適用することができる。
また、上記実施形態においては、撮像装置１００において、プロセス部１４から出力される画像データ信号は、動画像（映像）を想定しているものであるが、これに限定されることはなく、例えば、遅延部１３から出力された画像データ信号を静止画として出力し、外部の静止画表示装置に出力する構成にしてもよい。
【００３８】
また、上記実施形態においては、青用撮像部３、緑用撮像部４および赤用撮像部５を有する構成の撮像装置１００、つまりＲＧＢ３色用の信号処理を行う撮像装置１００について説明したが、これに限定されることはなく、例えば、赤２色、緑２色、青２色の６色分の撮像部を有し、６色分の信号処理を行う撮像装置であってもよいし、また、減色系の３色（シアン、マゼンタ、イエロー）分の撮像部を有し、減色系３色分の信号処理を行う撮像装置であってもよい。
また、上記実施形態においては、基準時間を１フレーム時間として説明したが、基準時間は、例えば、１フィールド時間等の他の基準時間であってもよい。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。
【００３９】
また、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。特に、撮像部を構成する撮像素子としてＭＯＳ型イメージ・センサを用いた場合、ＭＯＳ型集積回路に集積することが容易となる。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００４０】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００４１】
本発明によれば、被写体からの光の量が十分多い状況において、光利用効率を向上させ、出力信号のＳＮ比を向上させる撮像装置、撮像方法および集積回路を実現することができるので、撮像装置関連分野において、実施することができる。特にＳＮ比の高い画像が要求されるクロマキー処理やＣＧの合成等が使用される分野において有用である。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１実施形態に係る撮像装置の構成図
【図２】同実施形態に係る撮像装置の青用撮像部、緑用撮像部および赤用撮像部における電荷蓄積量と電荷蓄積時間との関係を示す図
【図３】同実施形態に係る撮像装置１００の緑用撮像部、緑用演算処理部および緑用フレーム速度変換部から出力画像データ信号の出力波形の一例
【図４】同実施形態に係る撮像装置１００の赤用撮像部、赤用演算処理部および赤用フレーム速度変換部から出力画像データ信号の出力波形の一例
【図５】従来の撮像装置の構成図
【図６】従来の撮像装置における撮像素子の電荷蓄積時間と電荷蓄積量との関係を説明するため図
【符号の説明】
【００４３】
１００  撮像装置
１  レンズ
２  ３色分離プリズム
３、４、５  青、緑、赤用撮像部
６、７、８  青、緑、赤用駆動回路
９  緑用演算処理部
１０  赤用演算処理部
１１  緑用フレーム速度変換部
１２  赤用フレーム速度変換部
１３  遅延部
１４  プロセス部
１５  マイクロプロセッサ
【図１】
2008199403.tif 000003
【図２】
2008199403.tif 000004
【図３】
2008199403.tif 000005
【図４】
2008199403.tif 000006
【図５】
2008199403.tif 000007
【図６】
2008199403.tif 000008