(57)【特許請求の範囲】
【請求項１】
撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、
上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、
上記イメージシフト手段による上記撮像光のシフト前後で、上記固体撮像素子から出力される電気信号に基づいた画像データを記憶する記憶手段と、
上記記憶手段に記憶されたシフト後の画像データ中の画素の最小値、平均値、最大値を、シフト前の画像データ中の画素の最小値、平均値、最大値に変換し、上記の両画素値を一致させることによってシフト前後の撮像光の光量差を補正する光量差補正手段とが設けられており、
上記光量差補正手段は、上記記憶手段に記憶されたシフト前後の画像データを複数のブロックに分割する手段と、それぞれのブロックにおいてシフト後の画像データ中の画素の最小値、平均値、最大値を、シフト前の画像データ中の画素の最小値、平均値、最大値に一致させる演算手段とを有し、該演算によってシフト前後の撮像光の光量差を補正することを特徴とする撮像装置。
【請求項２】
上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、
上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、
上記イメージシフト手段による上記撮像光のシフト前後で、上記固体撮像素子から出力される電気信号に基づいた画像データを記憶する記憶手段と、
上記記憶手段に記憶されたシフト後の画像データの所定の画素値を、シフト前の画像データの所定の画素値に変換し、上記の両画素値を一致させることによってシフト前後の撮像光の光量差を補正する光量差補正手段とが設けられており、
上記光量差補正手段は、所定領域に属するシフト前後の画像データの移動平均の差を被補正画素の画像データに加算して被補正画素の画像データを補正するようになっていることを特徴とする撮像装置。
【請求項４】
上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、
上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、
上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、
上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられており、
上記遮断手段は、上記固体撮像素子に入射する撮像光を透過させる第１開口部と、上記撮像レンズに入射する撮像光の一部を透過させる第２開口部とを有し、上記補正手段が、上記イメージシフト手段による撮像光のシフト前後で、上記第２開口部を透過する光の光量をそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正するようになっていることを特徴とする撮像装置。
【請求項６】
撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、
上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、
上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、
上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段と、
上記遮断手段の開口量を検出する光学センサとが設けられており、
上記遮断手段のシャッタ速度が、上記開口量に応じて制御され、
上記遮断手段の露光時間に対応したメカニカルシャッタ駆動パターン信号と、上記光学センサからの出力信号との差に基づき、上記遮断手段の開放および閉塞時の速度制御を行うための動力源が駆動されることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を備えた撮像装置に関するものであり、特に被写体画像を固体撮像素子に対して相対的にシフトさせる、いわゆるイメージシフトを行うことによって高解像度の画像を得る、例えばデジタルスチルカメラ等の撮像装置に関するものである。
【０００２】
【従来の技術】
従来から、ＣＣＤ（Charge Coupled Device ）等の固体撮像素子を備えた撮像装置において、高解像度の画像を得るための技術が種々提案されている。イメージシフト手法はそのうちの一つである。このイメージシフト手法とは、１回の撮像動作において撮像光の変位前後でそれぞれ露光を行い、上記の両露光によって得られる２枚の画像を合成する手法である。この手法によれば、固体撮像素子の画素数を増加させなくても、画素数を増加させた場合と等価的に高解像度の画像が得られるようになっている。
【０００３】
このようなイメージシフト手法を用いて画像の高解像度化を図っている従来技術の一つに、例えば特開平４−７０２８３号公報がある。上記公報では、まず固体撮像素子に対して１回目の露光を行い、次に固体撮像素子を１／２画素ピッチ分だけ変位させて２回目の露光を行っている。つまり、固体撮像素子を変位させることにより、撮像光を相対的に変位させている。そして、この従来技術では、変位前の露光量を固体撮像素子の電子シャッタにより制御する一方、変位後の露光量を、例えばレンズシャッタ、フォーカルプレーンシャッタ等のメカニカルシャッタにより制御している。そして、上記の２回の露光により、それぞれ１フレーム分の画像を得てそれらを合成することにより、高解像度の静止画を得るようにしている。つまり、上記従来技術では、実質的に本来の２倍の画素数に対応した画像信号を得ることにより、画像の高解像度化を図っている。
【０００４】
【発明が解決しようとする課題】
ところで、上記のようなイメージシフト手法で高解像度の画像を得る場合、２つの撮像光の間で光量差が生じると、得られる２枚の画像を合成して静止画像を得たときに、その光量差がノイズとなって現れる。その結果、合成画像の画質が劣化してしまう。したがって、撮像光を相対的に変位させた後の露光量は、変位前の露光量と等しくすることが望ましい。
【０００５】
そこで、上記特開平４−７０２８３号公報では、メカニカルシャッタのシャッタ幕の閉塞位置をモニタしている。そして、該シャッタ幕の閉塞位置が変位前の露光量と等しくなる位置に到達してから変位後の露光を開始するようにしている。しかし、上記公報の構成では、メカニカルシャッタの駆動速度にばらつきがあるため、上記のようにシャッタ幕を制御しても誤差が生じてしまう。その結果、変位前と変位後との両露光量を正確に一致させることが困難であるという問題が生ずる。
【０００６】
また、メカニカルシャッタを用いずに電子シャッタのみを用いて露光時間を制御する構成としても、蛍光灯照明などの場合にはフリッカ（光が明減する現象）が生じるため、変位の前後で得られる画像の光量が変化してしまうことがある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、その目的は、イメージシフト前後の撮像光の光量差による合成画像の画質劣化を防止することができる撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明に係る撮像装置は、上記の課題を解決するために、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段による上記撮像光のシフト前後で、上記固体撮像素子から出力される電気信号に基づいた画像データを記憶する記憶手段と、上記記憶手段に記憶されたシフト後の画像データの所定の画素値を、シフト前の画像データの所定の画素値に変換し、上記の両画素値を一致させることによってシフト前後の撮像光の光量差を補正する光量差補正手段とが設けられていることを特徴としている。
【０００９】
上記の構成によれば、撮像レンズを介して入射する被写体からの撮像光は、イメージシフト手段により、固体撮像素子に対して２次元的に所定量だけ相対シフトされ、固体撮像素子上に結像する。上記の固体撮像素子は、例えばメモリ領域を有するフレームインタライン転送型の固体撮像素子等で構成される。そして、上記のシフトの前後で上記固体撮像素子から出力される電気信号に基づいた画像データが記憶手段に記憶される。
【００１０】
このとき、上記記憶手段に記憶されたシフト後の画像データの所定の画素値が、光量差補正手段によってシフト前の画像データの所定の画素値に変換されるので、これにより、シフト前後の画像データにおいて所定の画素値同士が一致する。
【００１１】
つまり、上記の所定の画素値として、例えばシフト前後における各画像データの画素値の最小値、平均値、最大値を考えた場合、光量差補正手段が上記のような処理を行うことにより、シフト前後における各画像データの画素値の最小値、平均値、最大値が互いに一致することになる。
【００１２】
これにより、シフト前後における撮像光の光量が共に等しくなり、その結果、従来のように、イメージシフトで撮影される２枚の画像の光量差に起因するノイズが合成画像に現れるようなことがなくなる。したがって、上記構成によれば、イメージシフト前後の撮像光の光量差を補正することができ、上記の光量差に起因する合成画像の画質劣化を防止することができる。
【００１３】
本発明に係る撮像装置は、上記の課題を解決するために、上記構成に加えて、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられていることを特徴としている。
【００１４】
上記の構成によれば、遮断手段により、イメージシフト前後の光量差をなくすことができる。したがって、上記構成によれば、撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００１５】
本発明に係る撮像装置は、上記の課題を解決するために、上記構成において、上記光量差補正手段は、上記記憶手段に記憶されたシフト前後の画像データを複数のブロックに分割する手段と、それぞれのブロックにおいてシフト後の画像データの所定の画素値を、シフト前の画像データの所定の画素値に一致させる演算手段とを有し、該演算によってシフト前後の撮像光の光量差を補正することを特徴としている。
【００１６】
上記の構成によれば、シフト前後の画像データを複数のブロックに分割し、それぞれのブロックにおいて光量差の補正を行うので、全体としての光量差の補正を精度良く行うことができる。その結果、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を確実に防止することができる。
【００１７】
本発明に係る撮像装置は、上記の課題を解決するために、上記構成において、上記光量差補正手段は、所定領域に属するシフト前後の画像データの移動平均の差を被補正画素に加算して被補正画素の画像データを補正するようになっていることを特徴としている。
【００１８】
上記の構成によれば、上記光量差補正手段により、所定領域に属するシフト前後の画像データの移動平均の差が被補正画素の画像データに加算され、被補正画素の画像データが補正される。これにより、シフト前後における所定の画像データ同士が互いに一致し、イメージシフト手段によるシフト前後の撮像光の光量差が補正される。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００１９】
本発明に係る撮像装置は、上記の課題を解決するために、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられており、上記遮断手段は、上記固体撮像素子に入射する撮像光を透過させる第１開口部と、上記撮像レンズに入射する撮像光の一部を透過させる第２開口部とを有し、上記補正手段が、上記イメージシフト手段による撮像光のシフト前後で、上記第２開口部を透過する光の光量をそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正するようになっていることを特徴としている。
【００２０】
上記の構成によれば、撮像レンズを介して入射する被写体からの撮像光は、イメージシフト手段により、固体撮像素子に対して２次元的に所定量だけ相対シフトされ、固体撮像素子上に結像する。上記の固体撮像素子は、例えばメモリ領域を有するフレームインタライン転送型の固体撮像素子等で構成される。
【００２１】
このとき、撮像光のシフト後、固体撮像素子から出力される画像データは、補正手段により検出されたシフト前後の光量の比率に応じて補正される。つまり、例えば（シフト前の光量）／（シフト後の光量）をシフト後の画像データに乗じることによってシフト後の画像データが補正される。これにより、シフト前後における画像の明るさが同程度になるため、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００２２】
また、遮断手段により、イメージシフト前後の光量差をなくすことができる。したがって、上記構成によれば、撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００２３】
また、上記補正手段は、遮断手段の第２開口部を透過する光、すなわち、上記撮像レンズに入射する撮像光の一部の光量をシフト前後でそれぞれ検出する。このとき、シフト後の画像データは、補正手段により検出されたシフト前後の光量の比率に応じて補正されるので、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００２４】
本発明に係る撮像装置は、上記の課題を解決するために、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段と、上記遮断手段の開口量を検出する光学センサとが設けられており、上記遮断手段のシャッタ速度が、上記開口量に応じて制御され、上記遮断手段の露光時間に対応したメカニカルシャッタ駆動パターン信号と、上記光学センサからの出力信号との差に基づき、上記遮断手段の開放および閉塞時の速度制御を行うための動力源が駆動されることを特徴としている。
【００２５】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について図１ないし図７に基づいて説明すれば、以下のとおりである。
【００２６】
図１は、本実施形態における撮像装置の概略の構成を示している。本実施形態における撮像装置は、同図に示すように、撮像レンズ１、イメージシフト手段２、色分解光学系３、固体撮像素子４ａ、４ｂ、４ｃ、Ａ／Ｄ変換器（Analog-to-Digital converter ）５、画像用メモリ６、光量補正部７、および制御手段８を備えている。
【００２７】
撮像レンズ１は、図示しない被写体からの撮像光を集光し、上記撮像光を固体撮像素子４ａ、４ｂ、４ｃの受光面に結像させるための光学系である。
【００２８】
イメージシフト手段２は、固体撮像素子４ａ、４ｂ、４ｃ上に結像する被写体画像を、固体撮像素子４ａ、４ｂ、４ｃに対して２次元的に所定量だけ相対シフトさせるものである。
【００２９】
本実施形態では、イメージシフト手段２は、透明平行平板と、該透明平行平板の傾き角を検出するセンサと、該センサからの検出をもとにフィードバック処理によって上記透明平行平板の傾き角を変化させる圧電アクチュエータ（共に図示せず）とから構成されている。そして、圧電アクチュエータが透明平行平板の傾き角を変化させることにより、上記透明平行平板を透過する撮像光が固体撮像素子４ａ、４ｂ、４ｃに対してシフトするようになっている。
【００３０】
なお、この種のイメージシフト手段２としては、例えば本願と同一出願人により提案されている特願平８−８６２８号に記載されたものであってもよい。
【００３１】
色分解光学系３は、イメージシフト手段２を介して入射した撮像光を、色の３原色であるＲ（Red ）、Ｇ（Green ）、Ｂ（Blue）の各色に分解し、分解された光をそれぞれの色に対応した固体撮像素子４ａ、４ｂ、４ｃに入射させるための光学系である。
【００３２】
固体撮像素子４ａ、４ｂ、４ｃは、受光した光の量（光強度）に対応した電気信号を出力するものである。固体撮像素子４ａ、４ｂ、４ｃはそれぞれ、例えば上記のＲ、Ｇ、Ｂの光に対応しており、受光量に応じて赤色、緑色、青色の各アナログ画像信号をそれぞれ発生するようになっている。なお、本実施形態における固体撮像素子４ａ、４ｂ、４ｃはそれぞれ、例えば水平７２０画素×垂直４８０画素の合計約３５万画素の画素数と、４８０段のメモリ領域と、各画素からの電荷を上記メモリ領域に転送するための垂直ＣＣＤシフトレジスタと、上記メモリ領域に蓄積された電荷を転送しＣＣＤ出力として出力するための水平ＣＣＤシフトレジスタと、オーバーフロードレインとを有するＦＩＴ（Frame Interline Transportation）型の全画素読み出しＣＣＤ（Charge Coupled Device ）である。
【００３３】
なお、このＦＩＴ型の固体撮像素子４ａ、４ｂ、４ｃは、後述のＩＴ（Interline Transportation）型の固体撮像素子とは違ってメモリ領域を備えているので、受光部からメモリ領域へ高速で電荷を転送することができるようになっている。
【００３４】
Ａ／Ｄ変換器５は、固体撮像素子４ａ、４ｂ、４ｃから出力された各アナログ画像信号をデジタル化する、つまり、上記各アナログ画像信号をデジタル画像信号に変換するものである。
【００３５】
画像用メモリ６（記憶手段）は、Ａ／Ｄ変換器５で変換されたデジタル画像信号を記憶するメモリである。つまり、上記イメージシフト手段２による上記撮像光のシフト前後で、上記固体撮像素子４ａ、４ｂ、４ｃから出力される電気信号に基づいた画像データを記憶するようになっている。
【００３６】
光量補正部７（光量差補正手段）は、イメージシフトで得られる２つの画像の光量差を補正する機能を有している。なお、光量差の補正方法の詳細については後述する。また、制御手段８は、イメージシフトによって被写体画像を撮像する際の、固体撮像素子４ａ、４ｂ、４ｃの動作を制御するものである。
【００３７】
次に、本実施形態における撮像装置の動作について、図１に基づいて以下に説明する。
【００３８】
まず、図示しない被写体から発せられた撮像光は撮像レンズ１を介してイメージシフト手段２に入射する。ここで、イメージシフトにおける１フレーム目の露光の場合、上記撮像光はイメージシフト手段２によってシフトされずにイメージシフト手段２をそのまま透過する。一方、イメージシフトにおける２フレーム目の露光の場合、上記の撮像光はイメージシフト手段２により、固体撮像素子４ａ、４ｂ、４ｃの水平方向、垂直方向にそれぞれ、例えばＰｘ／２、Ｐｙ／２だけシフトされる。なお、イメージシフト手段２の詳細な動作については後述する。
【００３９】
イメージシフト手段２から出射した撮像光は、色分解光学系３によりＲ、Ｇ、Ｂの３原色に分解される。分解された撮像光は、固体撮像素子４ａ、４ｂ、４ｃによって受光量（光強度）に応じた赤色、緑色、青色の各アナログ電気信号に変換される。その後、上記の各アナログ電気信号は、図示しない変換部により相関二重サンプリング、ガンマ補正等の処理が施され、アナログ画像信号としてＡ／Ｄ変換器５にそれぞれ入力される。Ａ／Ｄ変換器５は、入力された赤色、緑色、青色の各アナログ画像信号を、それぞれ赤色、緑色、青色の各デジタル画像データに変換する。変換された画像データは、画像用メモリ６に記憶される。そして、光量補正部７は、画像用メモリ６に記憶された２つの画像データに基づき光量差の補正を行う。なお、この光量差の補正方法の詳細については後述する。
【００４０】
ここで、イメージシフト手段２の詳細な動作について、図２に基づいて説明する。なお、以下の記述において、フレーム１とは、イメージシフトによる２画面の撮像を行う場合のイメージシフト前の状態を示すものとし、フレーム２とは、イメージシフト後の状態を示すものとする。また、実際には、イメージシフト手段２によって被写体像が平行移動しているのであるが、ここでは、フレーム１、フレーム２における固体撮像素子４ａ、４ｂ、４ｃの等価的な撮像位置を示し、その動作を説明する。
【００４１】
図２は、フレーム１とフレーム２とにおける固体撮像素子４ａ、４ｂ、４ｃの撮像セルの位置を示している。詳しくは、同図中○印がフレーム１における固体撮像素子４ａ、４ｂ、４ｃの撮像セルの位置を示しており、同図中△印がフレーム２における固体撮像素子４ａ、４ｂ、４ｃの撮像セルの位置を示している。同図より、フレーム２での撮像位置は、フレーム１での撮像位置を水平方向に１／２Ｐｘかつ垂直方向に１／２Ｐｙだけ、つまり、矢印Ａ方向に、その長さ分だけ平行移動したものとなる。
【００４２】
また、同図中、斜線の入った正方形で示される画素は、隣接する画素における補間により得ることができる。このときの補間方法としては、線形補間、２次以上のラグランジュ補間、キュービックコンボリューション補間等が公知であるので、それらの方法を用いればよい。
【００４３】
以上のようにして、固体撮像素子４ａ、４ｂ、４ｃの撮像セル間の点を撮像することにより、水平方向と垂直方向のサンプリングレートを擬似的に上げることができ、これによって静止画像の高解像度化を図ることができる。
【００４４】
なお、イメージシフト手段２により、水平方向に（Ｐｘ／２）×ｍかつ垂直方向に（Ｐｙ／２）×ｎ（ただし、ｍ、ｎは奇数）だけ光像を移動させ、補間の際に２つの画像を空間的に位置合わせして静止画像を合成しても、上記と同等の効果を得ることができる。
【００４５】
ここで、固体撮像素子４ａ、４ｂ、４ｃにおける各種動作のタイミングについて、図３に基づいて説明する。なお、本実施形態では、固体撮像素子４ａ、４ｂ、４ｃの電子シャッタにより、露光時間が制御されている。また、同図では、固体撮像素子４ａ、４ｂ、４ｃをＣＣＤと略称している。
【００４６】
まず、固体撮像素子４ａ、４ｂ、４ｃの電子シャッタが開かれると、フレーム１の露光が開始される。すなわち、オーバーフロードレイン（同図では、ＯＦＤと略称している）が閉じられ、固体撮像素子４ａ、４ｂ、４ｃでの電荷の蓄積が始まる（Ａ点）。
【００４７】
次に、固体撮像素子４ａ、４ｂ、４ｃにおける電荷読み出しパルスにより、受光素子から垂直ＣＣＤシフトレジスタへ電荷が転送され、フレーム１での露光が終了する。その後、上記垂直ＣＣＤシフトレジスタから固体撮像素子４ａ、４ｂ、４ｃ上のメモリ領域へ電荷が高速転送される。そして、固体撮像素子４ａ、４ｂ、４ｃ上に電荷が蓄積されないように、オーバーフロードレインが開かれる。
【００４８】
そして、イメージシフト手段２により、固体撮像素子４ａ、４ｂ、４ｃ上に結像する撮像光の空間的な位置のシフト、いわゆるイメージシフトが開始される。このとき、上記のメモリ領域に格納された電荷が、水平ＣＣＤシフトレジスタへ順次転送され、その後、水平ＣＣＤシフトレジスタからＣＣＤ出力として出力される（Ｂ点）。
【００４９】
次に、イメージシフト手段２による撮像光のイメージシフトが終了すると、固体撮像素子４ａ、４ｂ、４ｃの電子シャッタが開かれ、フレーム２の露光が開始される。すなわち、オーバーフロードレインが閉じられ、固体撮像素子４ａ、４ｂ、４ｃでの電荷の蓄積が始まる（Ｃ点）。
【００５０】
そして、固体撮像素子４ａ、４ｂ、４ｃにおける電荷読み出しパルスにより、受光素子から垂直ＣＣＤシフトレジスタへ電荷が転送され、フレーム２の露光が終了する（Ｄ点）。
【００５１】
続いて、フレーム１のＣＣＤ出力が終了すると、上記垂直ＣＣＤシフトレジスタに残されているフレーム２の電荷が、固体撮像素子４ａ、４ｂ、４ｃ上のメモリ領域に転送される。そして、上記のメモリ領域に格納された電荷が、水平ＣＣＤシフトレジスタへ順次転送され、その後、水平ＣＣＤシフトレジスタからＣＣＤ出力として出力される（Ｅ点）。
【００５２】
そして、フレーム２のＣＣＤ出力が終了し、フレーム２の画像を全て読み出した時点で、イメージシフト前後の静止画合成に供される２画面の撮像が終了する（Ｆ点）。このようにして、イメージシフト前後の撮像光の画像用メモリ６への取り込みが行われる。
【００５３】
なお、本実施形態では、イメージシフト手段２は、透明平行平板と、センサと、圧電アクチュエータとにより構成されているが、例えば手振れ補正用の可変頂角プリズムで構成されていてもよい。この種の可変頂角プリズムについては、例えばテレビジョン学会技術報告（ITEJ Technical Report Vol.17, No.5,pp.15〜20,CE'93-3(Jan.1993)）で示されている。ここで、上記文献で報告されている可変頂角プリズムについて、図４（ａ）および図４（ｂ）に基づいて説明する。
【００５４】
図４（ａ）は、可変頂角プリズムの斜視図であり、図４（ｂ）は、可変頂角プリズムの側面図である。この可変頂角プリズムは、２枚のガラス板１１、１２と、上記ガラス板１１、１２をつなぐ特殊フィルムでできた蛇腹部分１３とで構成されている。蛇腹部分１３の内部には高屈折率の液体１４が充填されている。
【００５５】
ガラス板１１、１２には、互いに直交するように回転軸１１ａ、１２ａが取り付けられており、例えば回転軸１１ａの回転によって前面のガラス板１１が水平方向に、また、回転軸１２ａの回転によって後面のガラス板１２が垂直方向に回転するようになっている。なお、図示はしないが、上記の回転軸１１ａ、１２ａには、駆動用コイル、制動用コイル、回転角検出センサが取り付けられている。
【００５６】
次に、この可変頂角プリズムを用いてイメージシフトを行う原理について、図５（ａ）および図５（ｂ）に基づいて説明する。
【００５７】
同図（ａ）は、ガラス板１１、１２が共に回転していない状態を示す平面図であり、同図（ｂ）は、ガラス板１１がθ1 だけ回転したときの状態を示す平面図である。同図（ａ）に示す状態では、２枚のガラス板１１、１２は平行状態を保っているのでこの場合、可変頂角プリズムに入射した光線は直進する。
【００５８】
一方、同図（ｂ）に示すように、ガラス板１１がθ1 だけ傾斜した場合、ガラス板１１からの出射角をθ2 、ガラス板１２への入射角をθ1 −θ2 、ガラス板１２からの出射角をθ3 、液体１４の屈折率をｎとすると、以下の関係が成立する。
【００５９】
ｓｉｎθ1 ＝ｎｓｉｎθ2 
ｎｓｉｎ（θ1 −θ2 ）＝ｓｉｎθ3 
ここで、θを微小角度δθと考えると、
ｓｉｎδθ≒δθ
であるので、さらに次のような近似式が成立する。
【００６０】
δθ1 ＝ｎδθ2 
ｎδ（θ1 −θ2 ）＝δθ3 
したがって、
δθ3 ／δθ1 ＝ｎ−１
となる。ここで、液体１４の屈折率ｎを例えば１．５とすると、ガラス板１１の傾斜角の約半分が光軸の傾斜角となる。このようにして、２枚のガラス板１１、１２を傾斜させることにより、撮像光を２次元方向に移動させる、いわゆるイメージシフトを行うことができる。
【００６１】
次に、先述した光量補正部７において、イメージシフト前後の撮像光の光量差の補正方法について、図６（ａ）ないし図６（ｃ）に基づいて説明する。
【００６２】
図６（ａ）は、フレーム１の画像のヒストグラムを示し、図６（ｂ）は、フレーム２の画像のヒストグラムを示している。光量補正部７は、画像用メモリ６に記憶された２つの画像に対応する画像データ中の画素の値（例えば８ビットで記録されている場合は０〜２５５の値を取る）のうち、最小値、平均値、最大値をそれぞれ次のような方法で合わせることにより、２画面間での光量差の補正を行う。なお、上記の画素の値は、当然、固体撮像素子４ａ、４ｂ、４ｃの画素における電荷蓄積量に比例した値になる。
【００６３】
ここで、フレーム１の画像に対応した画像データ中の画素の最小値、平均値、最大値をそれぞれα、β、γとする。一方、フレーム２の画像に対応した画像データ中の画素の最小値、平均値、最大値をそれぞれδ、ε、ζとする。
【００６４】
まず、図６（ｃ）に示すように、横軸に光量補正前のフレーム２の画素の値を、また、縦軸に光量補正後のフレーム２の画素の値を取り、点η（δ，α）、点θ（ε，β）、点ι（ζ，γ）を取る。そして、上記の点η、θ、ιを直線で結んで射影を行い、フレーム２の画素値δ、ε、ζを、それぞれフレーム１の画素値α、β、γに変換する。
【００６５】
具体的には、イメージシフトによって得られ、画像用メモリ６に記憶された２つの画像に対応した画像データのうち、まずフレーム１の画像に対応した画像データを画像用メモリ６より読み出し、画像データ中の画素の最小値α、平均値β、最大値γをそれぞれ求める。その後、フレーム２の画像に対応した画像データを画像用メモリ６より読み出し、画像データ中の画素の最小値δ、平均値ε、最大値ζをそれぞれ求める。
【００６６】
次に、上述したような処理を行うためのルックアップテーブル（ＬＵＴ）を作成する。そして、読み出したフレーム２の画素値をルックアップテーブルによりフレーム１の画素値に変換し、画像用メモリ６に記憶されているフレーム２の画素値をルックアップテーブルによる変換後の画素値に更新する。
【００６７】
静止画合成を行う際には、画像用メモリ６上の光量補正後のフレーム２の画像データを用いて、図示しない補間回路により補間して静止画合成を行えばよい。
【００６８】
上記の構成によれば、画像用メモリ６に記憶されたシフト後の画像データの所定の画素値（最小値、平均値、最大値）が、光量補正部７によってシフト前の画像データの所定の画素値にそれぞれ変換されるので、シフト前後の画像データにおいて所定の画素値同士が一致する。
【００６９】
これにより、シフト前後における撮像光の光量が共に等しくなり、その結果、従来のように、イメージシフトで撮影される２枚の画像の光量差に起因するノイズが合成画像に現れるようなことがなくなる。したがって、上記構成によれば、イメージシフト前後の撮像光の光量差を補正することができ、上記の光量差に起因する合成画像の画質劣化を防止することができる。
【００７０】
また、上記構成によれば、イメージシフト手段２はフィードバック処理を行いながらイメージシフトを行うので、精度良くイメージシフトを行うことができる。これにより、実際のシフト量と目標とするシフト量との誤差に起因する合成画像の画質劣化をも防止することができる。
【００７１】
なお、本実施形態では、イメージシフトで得られる２つの画像の光量差を補正する際に、１画面単位での画素の最小値、平均値、最大値を求めることにより補正を行っているが、これに限ることはない。例えば１画面を複数のブロックに分割してブロック単位で補正を行ってもよい。
【００７２】
例えば、本実施形態の場合、固体撮像素子４ａ、４ｂ、４ｃの画素数が、水平７２０画素×垂直４８０画素であるので、１ブロックを例えば水平２０画素×垂直２０画素で構成すれば、全体としては水平３６ブロック×垂直２４ブロックの計８６４ブロックとなる。この各ブロックごとにフレーム２の画素の最小値、平均値、最大値をフレーム１の画素の最小値、平均値、最大値に合わせるようにする。
【００７３】
この場合、それぞれのブロックにおいて光量差の補正を行うので、全体としての光量差の補正を精度良く行うことができる。その結果、シフト前後での撮像光の光量差による合成画像の画質劣化を確実に防止することができる。また、補正後は各ブロックごとに画像データを画像用メモリ６に記憶させればよいので、画像用メモリ６の容量の小型化を図ることができる。なお、各ブロックの境界での誤差が大きくなる場合には、その境界において平滑化を行えばよい。
【００７４】
また、上記以外の光量補正の方法としては、例えば移動平均を求めることにより光量補正を行う方法もある。例えば、図７中の撮像セルＢ７の補正後の値を求める場合、同図中破線で菱形に囲まれたピクセルの撮像セル、すなわち、フレーム１における撮像セルＡ１〜Ａ１２の１２点と、フレーム２における撮像セルＢ１〜Ｂ１３の１３点とを用いれば、次式により撮像セルＢ７における補正後の値が求められる。
【００７５】
【数１】
0003647572.tif 000002
【００７６】
上記の構成によれば、光量補正部７により、所定領域（この場合、破線で菱形に囲まれたピクセル）に属するシフト前後の画像データの移動平均の差が被補正画素Ｂ７の画像データに加算され、被補正画素Ｂ７の画像データが補正される。これにより、シフト前後における所定の画像データが互いに一致し、イメージシフト手段２によるシフト前後の撮像光の光量差が補正される。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００７７】
なお、本実施形態では、固体撮像素子４ａ、４ｂ、４ｃの画素数は水平７２０画素×垂直４８０画素となっているが、例えば水平６４０画素×垂直４８０画素等の他の画素数であっても、本実施形態と同様の効果が得られるものである。
【００７８】
また、本実施形態では、固体撮像素子４ａ、４ｂ、４ｃに対して斜め方向のイメージシフトを行っているが、例えば水平方向のイメージシフトのみ、あるいは垂直方向のイメージシフトのみを行うようにしても、上述のような光量補正を行うことができ、これによって良好な静止画像を得ることができる。
【００７９】
なお、本実施形態では、イメージシフト手段２によりイメージシフトをおこなっているが、例えば光学系を構成する中の一つあるいは複数のレンズを、移動量をモニタしながら圧電素子等によって動かし、イメージシフトを行うようにしてもよい。また、固体撮像素子４ａ、４ｂ、４ｃ自体を、移動量をモニタしながら圧電素子等によって動かし、イメージシフトを行うようにしてもよい。また、固体撮像素子４ａ、４ｂ、４ｃと色分解光学系３とを一体化してユニットを構成し、このユニットを移動量をモニタしながら圧電素子等によって動かし、イメージシフトを行うようにしてもよい。
【００８０】
また、本実施形態では、ＦＩＴ型の固体撮像素子４ａ、４ｂ、４ｃを用いているが、メカニカルシャッタを用いれば、ＦＩＴ型の固体撮像素子４ａ、４ｂ、４ｃの代わりにＩＴ型の固体撮像素子を用いることもできる。
【００８１】
このメカニカルシャッタは、イメージシフトに要する撮像時間（イメージシフト前のフレームでの上記固体撮像素子に対する露光時間＋イメージシフト遷移時間＋イメージシフト前のフレームでの上記固体撮像素子に対する露光時間）が短くなるように、上記固体撮像素子に入射するシフト後の撮像光を遮断するものである。このメカニカルシャッタによって、イメージシフト後のフレームの露光を途中で遮断することにより、ＩＴ型の固体撮像素子を使用した場合でも、上記撮像時間、すなわち、等価シャッタ速度を短くすることができる。これにより、イメージシフト前後の光量差をなくすことができ、ＩＴ型の固体撮像素子を用いた場合でも、撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【００８２】
なお、本実施形態では、イメージシフトで得られる２つの画像において、フレーム１の画像の光量に対してフレーム２の画像の光量を合わせている。しかし、本実施形態のようにＦＩＴ型の固体撮像素子４ａ、４ｂ、４ｃを用いる構成では、フレーム２の画像の光量に対してフレーム１の画像の光量を合わせるようにしても、本実施形態と同様の効果を得ることができる。
【００８３】
また、メカニカルシャッタの閉塞時間は完全に零ではなく、フレーム２の画像端部の光量は、画像中央部の光量よりも少なくなる。したがって、ＩＴ型の固体撮像素子とメカニカルシャッタとを用いる構成では、本実施形態のように、フレーム１の画像の光量に対してフレーム２の画像の光量を合わせるようにしたほうがよい。
〔実施の形態２〕
本発明の実施の他の一形態について、図８ないし図１２に基づいて説明すれば以下の通りである。なお、説明の便宜上、実施の形態１で用いた部材と同一の機能を有する部材には同一の部材番号を付記し、その説明を省略する。また、本実施形態では、メカニカルシャッタ９、光量センサ１０以外の構成および動作については実施の形態１と同様であるので、主に、メカニカルシャッタ９、光量センサ１０の構成および動作について説明する。
【００８４】
なお、本実施形態では、実施の形態１で用いたＦＩＴ（Frame Interline Transportation）型の固体撮像素子４ａ、４ｂ、４ｃ（図１参照）の代わりに、図８に示すように、ＩＴ（Interline Transportation）型の固体撮像素子４ｄ、４ｅ、４ｆを用いている。この固体撮像素子４ｄ、４ｅ、４ｆは、例えば水平７２０画素×垂直４８０画素の計約３５万画素数と、各画素からの電荷を転送しＣＣＤ出力として出力するための垂直ＣＣＤシフトレジスタおよび水平ＣＣＤシフトレジスタと、オーバーフロードレインとを有するＩＴ型の全画素読み出しＣＣＤである。
【００８５】
メカニカルシャッタ９（遮断手段）は、撮像レンズ１を介して入射する被写体画像の光量を調整し、イメージシフト手段２に導くものである。また、光量センサ１０（補正手段）は、撮像装置のイメージサークル（後述する）内に入射する光量を検出し、その結果に基づいて光量補正を行うものである。本実施形態の場合、光量センサ１０は例えばフォトダイオードで構成され、色分解光学系３の前に光学的に配置されている。
【００８６】
ここで、メカニカルシャッタ９の詳細な構成について、図９（ａ）および図９（ｂ）に基づいて説明する。図９（ａ）は、メカニカルシャッタ９の斜視図であり、図９（ｂ）は、メカニカルシャッタ９の主要部の正面図である。
【００８７】
このメカニカルシャッタ９は、同図（ａ）および同図（ｂ）に示すように、シャッタ羽根２１、センシング用プレート２２、センサ用光源２３、光学センサ２４、バネ２５、およびモータ２６で構成されている。
【００８８】
シャッタ羽根２１は、固体撮像素子４ｄ、４ｅ、４ｆに入射する撮像光の一部を遮光するためのシャッタ羽根である。このシャッタ羽根２１の開閉動作により、メカニカルシャッタ９の開口部分の面積が調整されることになる。
【００８９】
センシング用プレート２２は、メカニカルシャッタ９の開口量を検出する際に使用されるものである。このセンシング用プレート２２は、シャッタ駆動用のピン（図示せず）に連結されており、シャッタ羽根２１と同時に動くようになっている。また、センシング用プレート２２は、プレートの先端になるほど幅が狭く、プレートの根元（シャッタ駆動用のピン側）になるほど幅が広くなる穴部２２ａを有している。そして、シャッタ羽根２１の開閉動作に連動してセンシング用プレート２２の位置が変位することにより、穴部２２ａを透過して光学センサ２４へ入射するセンサ用光源２３からの光の光量が変化する構成となっている。
【００９０】
センサ用光源２３は、シャッタ羽根２１の開口状況を検出する光学センサ２４に対する光源である。光学センサ２４は、センシング用プレート２２の穴部２２ａを透過するセンサ用光源２３からの光の光量に応じて出力を生じるセンサである。この出力により、メカニカルシャッタ９の開口量がモニタされることになる。本実施形態では、光学センサ２４はフォトダイオードで構成されている。
【００９１】
バネ２５は、シャッタ羽根２１の閉塞動作を行う際の動力となるものである。また、モータ２６は、シャッタ羽根２１の開放時および閉塞時の速度制御を行うための動力源であり、メカニカルシャッタ９の駆動を担うアクチュエータとして機能するものである。つまり、シャッタ羽根２１の開放時には、モータ２６によってバネ２５の力に逆らってシャッタ羽根２１が開放するようになっている。一方、シャッタ羽根２１の閉塞時には、モータ２６とバネ２５との合力により、シャッタ羽根２１が閉塞するようになっている。
【００９２】
次に、上記のメカニカルシャッタ９を使用してイメージシフトを行う際の、固体撮像素子４ｄ、４ｅ、４ｆにおける各種動作のタイミングについて、図１０に基づいて説明する。なお、本実施形態では、イメージシフト前（以下、フレーム１と称する）の露光時間は固体撮像素子４ｄ、４ｅ、４ｆの電子シャッタにより制御され、イメージシフト後（以下、フレーム２と称する）の露光時間は、固体撮像素子４ｄ、４ｅ、４ｆのオーバーフロードレインが閉じられ、メカニカルシャッタ９により制御される。このメカニカルシャッタ９は通常時はオープンの状態になっている。また、同図では、固体撮像素子４ｄ、４ｅ、４ｆをＣＣＤと略称している。
【００９３】
まず、固体撮像素子４ｄ、４ｅ、４ｆの電子シャッタが開かれると、フレーム１の露光が開始される。すなわち、オーバーフロードレイン（同図では、ＯＦＤと略称している）が閉じられ、固体撮像素子４ｄ、４ｅ、４ｆでの電荷の蓄積が始まる（Ａ点）。
【００９４】
次に、固体撮像素子４ｄ、４ｅ、４ｆにおける電荷読み出しパルスにより、受光素子から垂直ＣＣＤシフトレジスタへ電荷が転送され、フレーム１での露光が終了する。そして、固体撮像素子４ｄ、４ｅ、４ｆ上に電荷が蓄積されないように、オーバーフロードレインが開かれる。そして、イメージシフト手段２により、固体撮像素子４ｄ、４ｅ、４ｆ上に結像する撮像光の空間的な位置のシフト、いわゆるイメージシフトが開始される。このとき、上記の垂直ＣＣＤシフトレジスタから水平ＣＣＤシフトレジスタへ電荷が順次転送され、その後、水平ＣＣＤシフトレジスタからＣＣＤ出力として出力される（Ｂ点）。
【００９５】
次に、イメージシフト手段２による撮像光のイメージシフトが終了すると、フレーム２の露光が開始される。すなわち、オーバーフロードレインが閉じられ、固体撮像素子４ｄ、４ｅ、４ｆでの電荷の蓄積が始まる。ここで、メカニカルシャッタ９が閉塞されることになるが、そのタイミング等の詳細については後述する（Ｃ点）。
【００９６】
そして、メカニカルシャッタ９の閉塞動作が終了すると、固体撮像素子４ｄ、４ｅ、４ｆに入射する撮像光が遮光され、フレーム２での露光が終了する（Ｄ点）。
【００９７】
続いて、フレーム１のＣＣＤ出力が終了すると、固体撮像素子４ｄ、４ｅ、４ｆにおける電荷読み出しパルスにより、受光素子から垂直ＣＣＤシフトレジスタへ電荷が転送される。そして、上記垂直ＣＣＤシフトレジスタに残されているフレーム２の電荷が、水平ＣＣＤシフトレジスタへ順次転送され、その後、水平ＣＣＤシフトレジスタからＣＣＤ出力として出力される。メカニカルシャッタ９の開放動作は、この時点以降で行われる（Ｅ点）。
【００９８】
そして、フレーム２のＣＣＤ出力が終了し、フレーム２の画像を全て読み出した時点で、イメージシフト前後の静止画合成に供される２画面の撮像が終了する（Ｆ点）。このようにして、イメージシフト前後の撮像光の画像用メモリ６への取り込みが行われる。
【００９９】
ここで、フレーム１での電子シャッタによる露光時間に対応して、フレーム２での固体撮像素子４ｄ、４ｅ、４ｆの露光量がフレーム１と等しくなるように、あらかじめメカニカルシャッタ駆動パターンを作成しておき、該駆動パターンに基づいて制御を行えば、イメージシフト前後で得られる２画面間での光量差をなくすことができる。以下、このメカニカルシャッタ９の制御方法について、図１１に基づいて説明する。
【０１００】
本実施形態におけるメカニカルシャッタ９は、上述した各種部材の他に、比較器３２と増幅器３３とを備えている。比較器３２は、メカニカルシャッタ駆動パターン信号である目標値３１と、光学センサ２４からフィードバックされる出力信号とを比較して、その差の分だけ増幅器３３に出力するものである。また、増幅器３３は、上記比較器３２からの出力信号を所定の増幅率で増幅するものである。増幅された信号は、モータ２６の駆動信号となる。
【０１０１】
これにより、図１０中のＣ点では、上記の目標値３１として、電子シャッタの露光時間に対応したメカニカルシャッタ駆動パターン信号が出力される。そして、該駆動パターン信号と光学センサ２４からの出力信号とが比較器３２によって比較され、その差の分だけが増幅器３３に出力される。そして、増幅器３３に出力された信号は、増幅器３３にて所定の増幅率で増幅されてモータ駆動信号となる。このモータ駆動信号に基づいてモータ２６が駆動し、メカニカルシャッタ９の閉塞動作が行われることになる。このように、光学センサ２４がシャッタの開口量を検出しながら、メカニカルシャッタ９のシャッタ速度が制御され、メカニカルシャッタ９の閉塞動作が行われることになる。したがって、上記構成によれば、メカニカルシャッタ９の駆動速度のばらつきを押さえることができる。
【０１０２】
次に、光量センサ１０の詳細について、図１２に基づいて説明する。
同図において、円形をなすイメージサークル４１は、光学系における撮像光のイメージサークルである。また、長方形をなす固体撮像素子イメージ領域４２は、固体撮像素子４ｄ、４ｅ、４ｆの撮像で利用されるイメージ領域である。また、斜線で示されたセンシング領域４３は、光量センサ１０がセンシングする領域である。
【０１０３】
同図からも明らかなように、固体撮像素子イメージ領域４２はイメージサークル４１内に収まっており、イメージサークル４１内の全ての領域が固体撮像素子４ｄ、４ｅ、４ｆの撮像で利用されるわけではない。そこで、イメージサークル４１内の固体撮像素子イメージ領域４２以外の領域を使用して光量センサ１０が入射光量のセンシングを行い、その結果により光量補正を行う。
【０１０４】
なお、本実施形態では、光量センサ１０を色分解光学系３の前に光学的に配置し、入射光量のセンシングを行う構成としているが、光量センサ１０を光学系内のどの位置に配置しても得られる効果は同じである。
【０１０５】
ここで、光量センサ１０による光量差の補正方法について以下に説明する。
まず、光量センサ１０は、フレーム１における固体撮像素子４ｄ、４ｅ、４ｆでの露光時間（すなわち、固体撮像素子４ｄ、４ｅ、４ｆの電子シャッタによる露光時間）内に、光量センサ１０に入射する光量Ｑ1 を検出する。このときの光量Ｑ1 の検出方法は、電子シャッタによる露光開始時（リセット時）からの入射光量を積分することにより求める。
【０１０６】
次に、光量センサ１０は、フレーム２における固体撮像素子４ｄ、４ｅ、４ｆでの露光時間（すなわち、メカニカルシャッタ９で規定される固体撮像素子４ｄ、４ｅ、４ｆでの露光時間）内に、光量センサ１０に入射する光量Ｑ2 を検出する。このときの光量Ｑ2 の検出方法は、図１０中のＣ点（リセット時）からＤ点までの入射光量を積分することにより求める。
【０１０７】
そして、フレーム２の画像に対して、得られた光量Ｑ1 、Ｑ2 の比率、すなわち、Ｑ1 ／Ｑ2 を補正係数として乗じることにより、フレーム１とフレーム２とにおける光量差が補正される。なお、補正係数Ｑ1 ／Ｑ2 を乗じるタイミングとしては、固体撮像素子４ｄ、４ｅ、４ｆから画像信号を読み出すとき、もしくは、上記画像信号を画像用メモリ６に格納するときであればよい。
【０１０８】
上記の構成によれば、撮像光のシフト後、固体撮像素子４ｄ、４ｅ、４ｆから出力される画像データは、光量センサ１０により検出されたシフト前後の光量の比率に応じて補正されるので、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができる。
【０１０９】
なお、本実施形態では、固体撮像素子４ｄ、４ｅ、４ｆの画素数を、水平７２０画素×垂直４８０画素としているが、例えば水平６４０画素×垂直４８０画素等の画素数でも上記と同様の効果が得られるものである。
【０１１０】
また、本実施形態では、固体撮像素子４ｄ、４ｅ、４ｆとしてＩＴ型の固体撮像素子を用いているが、ＦＩＴ型の固体撮像素子を用いても上記と同様の作用、効果が得られるのは勿論のことである。この場合、当然、メカニカルシャッタ９は不要となる。
〔実施の形態３〕
本発明の実施の他の一形態について、図１３および図１４に基づいて説明すれば以下の通りである。なお、説明の便宜上、実施の形態１または２で用いた部材と同一の機能を有する部材には同一の部材番号を付記し、その説明を省略する。本実施形態では、実施の形態２で用いたメカニカルシャッタ９の代わりにメカニカルシャッタ９′を配置し、光量センサ１０の配置位置を変更している。つまり、本実施形態では、メカニカルシャッタ９′の構成および動作、および光量センサ１０の動作以外については実施の形態２と同様である。したがって、以下では、主に、メカニカルシャッタ９′の構成および動作、および、光量センサ１０の動作について説明する。
【０１１１】
本実施形態におけるメカニカルシャッタ９′は、図１４（ａ）および図１４（ｂ）に示すように、点Ｌを中心に互いに回転自在である遮光用部材５１、５２からなっている。そして、上記遮光用部材５１、５２の回転により、開口部５３、５４が所定量だけ封鎖されるようになっている。また、固体撮像素子４ｄ、４ｅ、４ｆに入射する撮像光は、上記開口部５３を通過するようになっている。以下、上記撮像光の光路を光路Ｍと称する。
【０１１２】
一方、本実施形態では、撮像レンズ１に入射した撮像光のうち、固体撮像素子４ｄ、４ｅ、４ｆでの撮像に使用されない光が開口部５４を通過するように、光学系を設定している。つまり、撮像レンズ１に入射する撮像光の一部が上記開口部５４を通過するようになっている。以下、上記開口部５４を通過する光の光路を光路Ｎと称する。そして、光量センサ１０は、光路Ｎによって導かれる光の光量を検出するようになっている。
【０１１３】
ここで、開口部５３を通過する光量をＱM 、開口部５４を通過する光量をＱN とすると、光軸に平行な光源からの光が入射した場合には、
【０１１４】
【数２】
0003647572.tif 000003
【０１１５】
の関係が成立する。ただし、ｋ＝（光路Ｍの半径）／（光路Ｎの半径）とする。
【０１１６】
したがって、
ＱN ＝ｋ2 ・ＱM 
となり、開口部５４を通過する光量ＱN と、開口部５３を通過する光量ＱM とは比例関係にあることが分かる。したがって、光量ＱM をモニタすることにより、光量ＱN を求めることができる。
【０１１７】
そこで、本実施形態では、以下のようにして、得られた光量ＱM の値をもとに、光量補正を行うようにする。なお、メカニカルシャッタ９′を使用してイメージシフトを行う際の、固体撮像素子４ｄ、４ｅ、４ｆにおける各種動作のタイミングについては実施の形態２と同様であるので、その説明を省略する。
【０１１８】
まず、光量センサ１０は、フレーム１における固体撮像素子４ｄ、４ｅ、４ｆでの露光時間（すなわち、固体撮像素子４ｄ、４ｅ、４ｆの電子シャッタによる露光時間）内に、開口部５３を通過する光量ＱM1を検出する。このときの光量ＱM1の検出方法は、電子シャッタによる露光開始時（リセット時）からの入射光量を積分することにより求める。
【０１１９】
次に、光量センサ１０は、フレーム２における固体撮像素子４ｄ、４ｅ、４ｆでの露光時間（すなわち、メカニカルシャッタ９′で規定される固体撮像素子４ｄ、４ｅ、４ｆでの露光時間）内に、開口部５４を通過する光量ＱM2を検出する。このときの光量ＱM2の検出方法は、図１０中のＣ点（リセット時）からＤ点までの入射光量を積分することにより求める。
【０１２０】
そして、フレーム２の画像に対して、得られた光量ＱM1、ＱM2の比率、すなわち、ＱM1／ＱM2を補正係数として乗じることにより、フレーム１とフレーム２とにおける光量差が補正される。なお、補正係数ＱM1／ＱM2を乗じるタイミングとしては、固体撮像素子４ｄ、４ｅ、４ｆから画像信号を読み出すとき、もしくは、上記画像信号を画像用メモリ６に格納するときであればよい。
【０１２１】
上記の構成によれば、シフト後の画像データは、光量センサ１０により検出されたシフト前後の光量の比率に応じて補正されるので、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差による合成画像の画質劣化を防止することができる。
【０１２２】
なお、本実施形態で用いたメカニカルシャッタ９′において、一方の開口部に固体撮像素子４ｄ、４ｅ、４ｆに入射する撮像光を通過させ、かつ、他方の開口部にＬＥＤ（Light Emitting Diode）等の基準光源からの光を通過させるようにし、メカニカルシャッタ９′の開口量を検出するようにしてもよい。
【０１２３】
【発明の効果】
本発明に係る撮像装置は、以上のように、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段による上記撮像光のシフト前後で、上記固体撮像素子から出力される電気信号に基づいた画像データを記憶する記憶手段と、上記記憶手段に記憶されたシフト後の画像データの所定の画素値を、シフト前の画像データの所定の画素値に変換し、上記の両画素値を一致させることによってシフト前後の撮像光の光量差を補正する光量差補正手段とが設けられている構成である。
【０１２４】
それゆえ、シフト前後の画像データにおいて所定の画素値同士が一致するので、シフト前後における撮像光の光量が共に等しくなる。その結果、従来のように、イメージシフトで撮影される２枚の画像の光量差に起因するノイズが合成画像に現れるようなことがなくなる。したがって、上記構成によれば、イメージシフト前後の撮像光の光量差を補正することができ、上記の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１２５】
本発明に係る撮像装置は、以上のように、上記構成に加えて、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられている構成である。
【０１２６】
それゆえ、遮断手段により、イメージシフト前後の光量差をなくすことができる。したがって、上記構成によれば、撮像光の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１２７】
本発明に係る撮像装置は、以上のように、上記構成において、上記光量差補正手段は、上記記憶手段に記憶されたシフト前後の画像データを複数のブロックに分割する手段と、それぞれのブロックにおいてシフト後の画像データの所定の画素値を、シフト前の画像データの所定の画素値に一致させる演算手段とを有し、該演算によってシフト前後の撮像光の光量差を補正するようになっている構成である。
【０１２８】
それゆえ、シフト前後の画像データを複数のブロックに分割し、それぞれのブロックにおいて光量差の補正を行うので、全体としての光量差の補正を精度良く行うことができる。その結果、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を確実に防止することができるという効果を奏する。
【０１２９】
本発明に係る撮像装置は、以上のように、上記構成において、上記光量差補正手段は、所定領域に属するシフト前後の画像データの移動平均の差を被補正画素に加算して被補正画素の画像データを補正するようになっている構成である。
【０１３０】
それゆえ、被補正画素の画像データが補正されることにより、イメージシフト手段によるシフト前後の撮像光の光量差が補正される。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１３１】
本発明に係る撮像装置は、以上のように、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段が設けられており、上記遮断手段は、上記固体撮像素子に入射する撮像光を透過させる第１開口部と、上記撮像レンズに入射する撮像光の一部を透過させる第２開口部とを有し、上記補正手段が、上記イメージシフト手段による撮像光のシフト前後で、上記第２開口部を透過する光の光量をそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正するようになっている構成である。
【０１３２】
それゆえ、撮像光のシフト後、固体撮像素子から出力される画像データは、補正手段により検出されたシフト前後の光量の比率に応じて補正される。その結果、シフト前後における画像の明るさが同程度になるため、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１３３】
また、遮断手段により、イメージシフト前後の光量差をなくすことができる。したがって、上記構成によれば、撮像光の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１３４】
また、シフト後の画像データは、補正手段により検出されたシフト前後の光量の比率に応じて補正されるので、シフト前後での撮像光の光量差はなくなる。したがって、上記構成によれば、シフト前後での撮像光の光量差に起因する合成画像の画質劣化を防止することができるという効果を奏する。
【０１３５】
本発明に係る撮像装置は、以上のように、撮像レンズを介して入射する被写体からの撮像光を、複数の画素を有する固体撮像素子にて撮像する撮像装置であって、上記撮像光を上記固体撮像素子に対して２次元的に所定量だけ相対シフトさせるイメージシフト手段と、上記イメージシフト手段によるシフト前後で上記撮像光の入射光量を、撮像光のイメージサークル内における上記固体撮像素子イメージ領域以外の領域を使用してそれぞれ検出し、シフト前後の光量の比率に基づいてシフト後の画像データを補正する補正手段とが設けられていると共に、上記固体撮像素子に入射するシフト後の撮像光を遮断する遮断手段と、上記遮断手段の開口量を検出する光学センサとが設けられており、上記遮断手段のシャッタ速度が、上記開口量に応じて制御され、上記遮断手段の露光時間に対応したメカニカルシャッタ駆動パターン信号と、上記光学センサからの出力信号との差に基づき、上記遮断手段の開放および閉塞時の速度制御を行うための動力源が駆動される構成である。
【図面の簡単な説明】
【図１】  本発明に係る撮像装置の一構成例を示すブロック図である。
【図２】  フレーム１とフレーム２とにおける固体撮像素子の撮像セルの位置を示す説明図である。
【図３】  上記固体撮像素子における各種動作のタイミングを示すタイミングチャートである。
【図４】  （ａ）は、可変頂角プリズムの概略の構成を示す斜視図であり、（ｂ）は、上記可変頂角プリズムの側面図である。
【図５】  （ａ）は、上記可変頂角プリズムのガラス板が共に回転していない状態を示す平面図であり、（ｂ）は、一方のガラス板がθ1 だけ回転したときの状態を示す平面図である。
【図６】  （ａ）は、フレーム１の画像のヒストグラムを示し、（ｂ）は、フレーム２の画像のヒストグラムを示し、（ｃ）は、フレーム２の画素値を射影によって補正する方法を示す説明図である。
【図７】  フレーム１とフレーム２とにおける固体撮像素子の所定領域内の撮像セルの位置を示す説明図である。
【図８】  本発明に係る撮像装置の他の構成例を示すブロック図である。
【図９】  （ａ）は、メカニカルシャッタの斜視図であり、（ｂ）は、上記メカニカルシャッタの主要部の正面図である。
【図１０】  上記撮像装置に備えられた固体撮像素子における各種動作のタイミングを示すタイミングチャートである。
【図１１】  上記メカニカルシャッタの動作制御を示すブロック図である。
【図１２】  撮像光のイメージサークルと、固体撮像素子の撮像で利用されるイメージ領域と、光量センサのセンシング領域とを示す平面図である。
【図１３】  本発明に係る撮像装置の更に他の構成例を示すブロック図である。
【図１４】  メカニカルシャッタの他の構成例を示し、（ａ）は、上記メカニカルシャッタの開口部が封鎖されていない状態を示す平面図であり、（ｂ）は、上記メカニカルシャッタの開口部が封鎖されている状態を示す平面図である。
【符号の説明】
１    撮像レンズ
２    イメージシフト手段
４ａ  固体撮像素子
４ｂ  固体撮像素子
４ｃ  固体撮像素子
４ｄ  固体撮像素子
４ｅ  固体撮像素子
４ｆ  固体撮像素子
６    画像用メモリ（記憶手段）
７    光量補正部（光量差補正手段）
９    メカニカルシャッタ（遮断手段）
９′  メカニカルシャッタ（遮断手段）
１０    光量センサ（補正手段）
【図１】
0003647572.tif 000004
【図２】
0003647572.tif 000005
【図３】
0003647572.tif 000006
【図４】
0003647572.tif 000007
【図５】
0003647572.tif 000008
【図６】
0003647572.tif 000009
【図７】
0003647572.tif 000010
【図８】
0003647572.tif 000011
【図９】
0003647572.tif 000012
【図１０】
0003647572.tif 000013
【図１１】
0003647572.tif 000014
【図１２】
0003647572.tif 000015
【図１３】
0003647572.tif 000016
【図１４】
0003647572.tif 000017