(57)【特許請求の範囲】
【請求項１】
自己の撮像視野に対応した画像信号を得るための撮像素子と、上記撮像素子に対し当該撮像視野のうち相対的に低輝度である部分の撮像を賄うべく相対的に長い第１の時間区間に亘って実効的な露光を与え、且つ、上記撮像視野のうち相対的に高輝度である部分の撮像を賄うべく上記第１の時間区間に隣接する相対的に短い第２の時間区間に亘って実効的な露光を与えるように該撮像素子に対する実効的な露光時間を制御する露光時間制御手段と、
上記撮像素子に対する上記第１の時間区間に対応して得られる第１の撮像信号のデータに基づいて相対的に低輝度である部分の画像が表わされ、且つ上記第２の時間区間に対応して得られる第２の画像信号のデータに基づいて、相対的に高輝度である部分の画像が表わされるようにして、上記第１の画像信号のデータ及び、第２の撮像信号のデータに基づいて、１つの画像を表わす画像データを合成する合成手段と、
発光の形態を制御可能な閃光発光手段と、
上記第１の時間区間及び第２の時間区間でそれぞれ上記閃光発光手段を発光せしめるときに該第２の時間区間における総露光量が該第１の時間区間における総露光量を越えないように該閃光発光手段の発光の形態を制御するための発光御手段と、を備え、
上記発光制御手段は、上記第１の時間区間と第２の時間区間との比に対応して当該第１の時間区間及び第２の時間区間における上記閃光発光手段の各発光による発光量の比が選択されるように発光の形態を制御することを特徴とする撮像装置。
【請求項２】
上記発光制御手段は、上記閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するように構成されたものであることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いたダイナミックレンジが拡大可能な撮像装置に関する。
【０００２】
【従来の技術】
従来、固体撮像素子のダイナミックレンジを拡大するための種々の手法が考えられている。
例えば、本出願人による先の出願を開示する特開平５−３０８５７３号公報には、Ｘ−Ｙアドレス方式の固体撮像素子を用い、電荷が蓄積される積分時間即ち、露光時間を制御することで露光量の異なる２つの画像を読み出し、これらの２つの画像を合成することにより、ダイナミックレンジの拡大を図る撮像装置が記載されている。
【０００３】
【発明が解決しようとする課題】
しかし前述した特開平５−３０３５７３号公報に記載された撮像装置には、上記合成の対象となる露光量の異なる２つの画像を得るために、露光時間を制御しているが、ストロボ等の光源を用いた場合に、必要となる配慮等については記載されていない。
【０００４】
即ち、該公報記載の撮像装置では、露光量の異なる２つの画像を得るために、積分時間を制御しているのみである。従って、光源に自然光やランプを用いた照明灯による撮像のように露光量が露光時間に比例する場合は問題がないが、光源にストロボ等の短時間発光の閃光を用いた場合は、２つの画像の露光量は露光時間に比例せず、短時間発光による露光量が総露光量を規定するに支配的となるため、単に積分時間を基準として撮像した画像を合成したとしても、露光量の異なる画像によって各該当する輝度レベル域をカバーすることにより、ダイナミックレンジを拡大するといった配慮からは適正な画像合成が行われ得ないという問題がある。
【０００５】
さらに、発光間隔の間に、構図内で被写体が移動した場合には、画像合成を行った時に２つの画像の間にズレが生じてしまう欠点があった。
そこで本発明は、光源に自然光やストロボ等による短時間発光（閃光）を用いた撮像に対して、適正な広いダイナミックレンジで、且つ画像合成によるズレが少ない画像を得る撮像装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上記目的を達成するために、自己の撮像視野に対応した画像信号を得るための撮像素子と、上記撮像素子に対し当該撮像視野のうち相対的に低輝度である部分の撮像を賄うべく相対的に長い第１の時間区間に亘って実効的な露光を与え、且つ、上記撮像視野のうち相対的に高輝度である部分の撮像を賄うべく上記第１の時間区間に隣接する相対的に短い第２の時間区間に亘って実効的な露光を与えるように該撮像素子に対する実効的な露光時間を制御する露光時間制御手段と、上記撮像素子に対する上記第１の時間区間に対応して得られる第１の撮像信号のデータに基づいて相対的に低輝度である部分の画像が表わされ、且つ上記第２の時間区間に対応して得られる第２の画像信号のデータに基づいて、相対的に高輝度である部分の画像が表わされるようにして、上記第１の画像信号のデータ及び、第２の撮像信号のデータに基づいて、１つの画像を表わす画像データを合成する合成手段と、発光の形態を制御可能な閃光発光手段と、上記第１の時間区間及び第２の時間区間でそれぞれ上記閃光発光手段を発光せしめるときに該第２の時間区間における総露光量が該第１の時間区間における総露光量を越えないように該閃光発光手段の発光の形態を制御するための発光御手段と、を備え、上記発光制御手段は、上記第１の時間区間と第２の時間区間との比に対応して当該第１の時間区間及び第２の時間区間における上記閃光発光手段の各発光による発光量の比が選択されるように発光の形態を制御する備える撮像装置を提供する。
【０００７】
さらに上記発光制御手段は、上記閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するように構成されたものである。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
個別の実施形態について詳述するに先立って、本発明の原理について概説する。先ず、露光量を異にする撮像によって得られる複数（例えば、２つ）の画像（画像データ）に基づいてダイナミックレンジが拡大された画像を得る原理について説明する。
【０００９】
いま、或る撮像視野（被写体）に対して、総露光量が相対的に多い第１の露光（例えば、相対的に長い露光時間での露光）を行ったとすると、この第１の露光によって得られる画像は、被写体の暗い部分（低輝度部）が相対的に適正に再現されるようになり、明るい部分（高輝度部）は飽和レべルに達してしまい所謂「白とび」といったような不適正な状態でしか再現されなくなる。同じ状態の被写体に対して、上記とは反対に総露光量が相対的に少ない第２の露光（例えば、相対的に短い露光時間での露光〉を行ったとすると、この第２の露光によって得られる画像は、被写体の暗い部分（低輝度部）は信号レベルが低過ぎてノイズに埋もれた所謂「黒つぶれ」といったような不適正な状態でしか再現されなくなる一方、明るい部分（高輝度部）は相対的に適正に再現されるようになる。
【００１０】
従って、これら第１の露光と第２の露光とによって、上記被写体の各該当する適正に再現される領域の撮像を賄うようにして、両露光による各画像（画像データ）に基づいて、同一被写体を表わす画像（画像データ）を形成する処理を行なうことにより、ダイナミックレンジが拡大された画像（画像データ）を得ることができる。上記より了解される通り、この処理（明細書本文での「合成」）が単純な加算のみでないことは勿論である。
【００１１】
次に、撮像に際してストロボ等の閃光発光手段を用いた場合でも、上述した原理に基づくダイナミックレンジの拡大手法が有効に適用され得るようにするための所要の条件について説明する。上述した原理に基づいてダイナミックレンジを拡大する場合、第１の露光によっては被写体の相対的に暗い部分（低輝度部）の撮像を賄い、第２の露光によっては被写体の相対的に明るい部分（高輝度部）の撮像を賄うように両露光による分担を設定しておくものであるから、たとえ撮像に際してストロボ等の閃光発光手段を用いても、この分担関係が維持されることを要する。従って上記第２の露光における閃光発光の積分を含んだ総露光量が第１の露光における閃光発光の積分を含んだ総露光量を越えないようにする。
【００１２】
図１には、本発明による第１の実施形態としての撮像装置の構成例を示し説明する。この撮像装置において、入射された光を光電変換し任意の蓄積時間の信号電荷を読み出すことができる電子シャッタ動作が可能な固体撮像素子３（以下、撮像素子と称する。尚本実施形態では、素子面上にオンチップのカラーフィルタが配置されているものとする）と、被写体からの光を撮像素子３面上に結像させるレンズ系１と、このレンズ系１と撮像素子３の光路上に配置され、不要な高周波成分を除去する光学ＬＰＦや不要な赤外成分を除去するＩＲカットフィルタを含む光学フィルタ２と、上記撮像素子３からの信号を増幅し、ＯＢ（オプチカルブラック）クランプの処理を行い、後段のＡ／Ｄ変換部５の入力レベル範囲に適合させて出力する撮像処理部４と、撮像処理部４から入力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部５と、デジタル変換された１フィールド分の画像データを記憶するフィールドメモリ６と、上記フィールドメモリ６からの１フィールド前の画像と上記撮像素子３からの画像との合成を行う画像合成部７と、ストロボ２０発光時の画像合成部７で合成された画像を１画面分記憶するフレームメモリ８と、上記撮像素子３面上の素子面上に構成されたカラーフィルタの配列に従って処理を行いＲ、Ｇ、Ｂの信号に分離して出力する色処理部９と、上記色処理部９から出力される各Ｒ、Ｇ、Ｂの信号にシステムコントローラ１６から出力される係数を掛けて色のバランスをとるホワイトバランス部１０ｒ，１０ｇ，１０ｂと、上記ホワイトバランス部１０ｒ，１０ｇ，１０ｂからの各Ｒ、Ｇ、Ｂ信号に基づき輝度信号を出力する輝度生成部１３と、１画面分の輝度信号を記憶しシステムコントローラ１６へ出力するフレームメモリ１５と、上記システムコントローラ１６からの信号と輝度信号により圧縮係数を出力する圧縮係数生成部１４と、各Ｒ、Ｇ、Ｂ信号に圧縮係数生成部１４から供給される圧縮係数による圧縮を行い出力する圧縮部１１ｒ，１１ｇ，１１ｂと、上記圧縮部１１ｒ，１１ｇ，１１ｂからの各信号を表示系（例えば、モニタ）の規格に合うように変換して出力するモニタＩ／Ｆ部（一般的には、入力されるデジタル信号をＤ／Ａ変換したアナログ信号に変換し、同期信号を付加する）１２と、この装置の動作を総括的に管理し、動作モードの選択や演算に適用すべき各係数を求めるシステムコントローラ１６と、撮像素子３の動作を制御するセンサ駆動部１７と、ストロボ２０の発光を制御する発光制御部１８と、発光制御部１８からの信号によりストロボ２０を駆動する発光駆動部１９と、被写体に光を照射するストロボ（たとえばキセノンストロボ）２０とから構成される。
【００１３】
次に、この様に構成された撮像装置の動作について、自然光による通常動作時と補助発光を必要とするストロボ発光時に分けて説明する。
まず、自然光の光量が十分あり、被写体像に適正な露出ができる時は、通常動作を行う。
【００１４】
被写体からの光は、レンズ系１で集光され、光学フィルタ２により不要な高周波成分と赤外成分が除去された後、撮像素子３の素子面上に結像される。
上記撮像素子３は、結像された被写体像を電気信号に変換し、センサ駆動部１７からの駆動信号（各種パルス）に従って、該撮像素子３の各画素を走査し、映像信号として読み出し、撮像処理部４に出力する。この時、撮像素子３はセンサ駆動部１７により、フィールド毎に電子シャッタ動作を行うため、フィールド毎に蓄積時間の異なる（短時間の蓄積時間と長時間の蓄積時間の）映像信号が撮像処理部４に交互に出力される。
【００１５】
次に、撮像処理部４に入力された信号は、増幅処理及びＯＢクランプ処理が行われ、Ａ／Ｄ変換部５でデジタル信号に変換され、フィールドメモリ６に１フィールド分の画像が記憶される。
【００１６】
そして画像合成部７には、フィールドメモリ６に記憶されている１フィールド前の画像と、上記撮像素子３からのフィールドメモリ６に記憶されている画像とは蓄積時間の異なる画像とが同時に入力され、２つの画像の合成処理を行い、ダイナミックレンジの広い１つの画像として色処理部９に出力される。ここで、上記画像合成とは、同じ場面構成（構図）の被写体像を重ね合わせて１つの画像を形成することであって、同じ場面構成の画像の一部分をトリミングしたり、全く異なる場面構成の２つの画像を合成することではない。しかし、実際の撮像では、同時に２つの画像を得ることはできないので、全く同じ場面構成の画像は得られず、厳密には極短時間で時間的に連続した２つの画像となる。
【００１７】
次に上記色処理部９では、撮像素子３の素子面上に構成されたオンチップのカラーフィルタの配列に従って色処理がなされ、Ｒ、Ｇ、Ｂ信号の各所定の信号形態に変換されて出力される。尚、色処理の方法については、カラーフィルタの種類及び配列に対応して、種々の公知な方法があり、本発明についても、それらのうちの適宜なものが適用され得る。
【００１８】
次に、上記色処理部９から出力された信号は、ホワイトバランス部１０ｒ，１０ｇ，１０ｂにより、Ｒ、Ｇ、Ｂ信号のそれぞれにシステムコントローラ１６からの所定のゲインが掛けられ、色のバランスが適正化され出力される。また、輝度生成部１１では、上記ホワイトバランス部１０ｒ，１０ｇ，１０ｂからの各Ｒ、Ｇ、Ｂ信号より、輝度信号を生成し、１画面分の輝度信号を記憶して、システムコントローラ１６へ出力するフレームメモリ１５と、システムコントローラ１６からの信号と輝度信号を元に圧縮係数を生成出力する圧縮係数生成部１４とへ出力する。つまり、上記システムコントローラ１６は、フレームメモリ１５からの輝度信号に基づき、画像合成した広いダイナミックレンジとなった画像を、図示していない表示系（モニタ）のダイナミックレンジに合うようにダイナミックレンジの圧縮変換処理を行うための圧縮係数を求め、圧縮係数生成部１４へ出力している。
【００１９】
上記圧縮部１１ｒ，１１ｇ，１１ｂでは、圧縮係数生成部１４からの圧縮係数に基づき、ホワイトバランス部１０ｒ，１０ｇ，１０ｂからの広いダイナミックレンジの画像を表示系のダイナミックレンジに好適するように、ダイナミックレンジの圧縮変換処理を行い、モニタＩ／Ｆ部１２へ出力する。上記モニタＩ／Ｆ部１２は、表示系の規格に合う形態で出力するために、入力したデジタル信号を内蔵するＤ／Ａ変換器でアナログ信号に変換した後、同期信号を付加して出力する。
【００２０】
また上記システムコントローラ１６は、図示しないユーザインターフェースとなるキーボード等の操作部、この操作部の設定に従って、撮像装置の動作モードを管理するＣＰＵ等から構成され、自然光だけで撮像を行う通常動作時は、前述した動作に従って得られた広いダイナミックレンジの被写体像が表示系に映し出される。
【００２１】
次に、自然光の光量の不足により被写体像が暗く、適正な露光が得られず照明光を必要とする場合で、ストロボによる発光を行って撮像した場合について説明する。
【００２２】
図示しない撮像装置の操作部の設定に従って、システムコントローラ１６は発光制御部１８に発光許可信号を出力する。
この発光許可信号を受けた発光制御部１８は、センサ駆動部１７からの各種パルスのうち垂直ブランキング信号及び、撮像素子３の電子シャッタを行うタイミング信号に基づき、ストロボ２０の発光光量及びタイミングを制御するストロボランプ駆動パルスを生成し、発光駆動部１９へ出力する。
【００２３】
そして本実施形態においては、ストロボ２０として、例えば、キセノンストロボが用いられ、発光駆動部１９により駆動され被写体への照射を行う。
図２には、第１の実施形態における発光許可信号を受けた発光制御部１８から出力されるストロボランプ駆動パルスによりストロボ２０の発光を行うタイミング及び光量を示す。
【００２４】
図２において、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時には、この信号蓄積時間の間に光量の小さい発光を行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時には、この信号蓄積時間の間に光量の大きい発光を行なう。この様な発光制御は、発光制御部１８から発せられるストロボランプ駆動パルスに従って、発光駆動部１９がストロボ２０を駆動することにより行われる。尚、上述において、「電子シャッタ動作」とは、撮像素子の１フィールドの蓄積時間のうち、任意の時間で蓄積された電荷を掃き出した後から定めたフィールドより短い任意時間に蓄積された電荷を信号として読み出すことである。以下、この文言は同様の意で用いることとする。
【００２５】
そしてストロボ２０発光時の撮像素子３から出力された映像信号は、通常動作時と同様な処理動作により、画像合成部７でダイナミックレンジの広い１つの画像に合成され、フレームメモリ８に記憶される。
【００２６】
次に、ストロボ２０発光動作の次フレームからは、フレームメモリ８に記憶されているストロボ２０発光時の広いダイナミックレンジの画像が色処理部９に出力され、表示系には、ストロボ２０発光時の広いダイナミックレンジの画像が静止画として映し出される。
【００２７】
以上説明した本実施形態によれば、光源としてストロボ２０等の短時間発光（閃光）を用いた場合であっても、撮像素子３の短時間の信号蓄積時間の時には小さい露光量の画像と、長時間の信号蓄積時間の時には大きい露光量の画像との、露光量の異なる２つの画像を得ることができるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像を得ることが出来る。
【００２８】
次に、第２の実施形態の撮像装置について説明する。この第２の実施形態は、第１の実施形態の変形例であり、図１に示したものとブロック図上で見た構成を同じくし、以下に述べる機能が異なっている。図３には、システムコントローラ１６からの発光許可信号を受けた発光制御部１８から出力されるストロボランプ駆動パルスのストロボ２０の発光を行うタイミング及び光量を示す。
【００２９】
図３に示すように、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時には、この信号蓄積時間の間にある一定の光量の発光を行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時には、この信号蓄積時間の間にある一定の光量の発光を連続して行なう。このような発光制御は発光制御部１８から発せられるストロボランプ駆動パルスに従って発光駆動部１９がストロボ２０を駆動することにより行われる。
【００３０】
この第２の実施形態の動作により、撮影時に光源としてストロボ２０による短時間発光を用いた場合でも、発光回数により、撮像素子３の上述した比較的短時間の信号蓄積時間の時には比較的小さい露光量の画像が得られ、上述した比較的長時間の信号蓄積時間の時には比較的大きい露光量の画像が得られる。これら露光量の異なる２つの画像を得ることができるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像を得ることが出来る。
【００３１】
次に、第３の実施形態の撮像装置について説明する。この第３の実施形態も、第１の実施形態の変形例であり、図１に示したものとブロック図上で見た構成と同じくし、以下に述べる機能が異なっている。
【００３２】
図４には、システムコントローラ１６からの発光許可信号を受けた発光制御部１８から出力されるストロボランプ駆動パルスによりストロボ２０の発光を行うタイミング及び光量を示す。
【００３３】
図４に示すように、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時には、この信号蓄積時間の間に行う光量の小さい発光を同信号蓄積時間の後半に行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時には、この信号蓄積時間の間に行う光量の大きい発光を信号蓄積時間の前半に行う。即ち、この実施形態では、２回の発光の間隔を他の既述の形態のものに比し、敢えて短くするようにしてある。この形態においても発光の制御は、発光制御部１８からのストロボランプ駆動パルスに従って発光駆動部１９がストロボ２０を駆動することにより行われる。
【００３４】
この第３の実施形態の動作により、撮影時に光源としてストロボ２０による短時間発光を用いた場合でも、上述したように撮像素子３の比較的短時間の信号蓄積時間の時には小さい露光量の画像が得られ、比較的長時間の信号蓄積時間の時には大きい露光量の画像が得られる。これらの露光量の異なる２つの画像を得ることができるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像を得ることが出来る。
【００３５】
さらに、発光間隔の間に被写体が移動した場合でも、ストロボ２０の発光間隔が短いので２つの画像の差が小さく、２つの画像を合成することによるズレの少ない画像を得ることができる。
【００３６】
次に、第４の実施形態の撮像装置について説明する。この第４の実施形態も、第１の実施形態の変形例であり、図１に示したものとブロック図上で見た構成を同じくし、以下に説明する機能が異なっている。
【００３７】
図５には、システムコントローラ１６からの発光許可信号を受けた発光制御部１８から出力されるストロボランプ駆動パルスによりストロボ２０の発光を行うタイミング及び光量を示す。
【００３８】
図５に示すように、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時のこの信号蓄積時間の終わり近傍から、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時のこの信号蓄積時間の始まり近傍にかけて、ある一定の光量の発光を連続的に繰り返して行う。この実施形態においても発光の制御は発光制御部１８からのストロボランプ駆動パルスに従って発光駆動部１９がストロボ２０を駆動する。
【００３９】
この様な動作により、光源として、ストロボ２０による短時間発光を用いた場合でも、上述のように撮像素子３の比較的短時間の信号蓄積時間の時には小さい露光量の画像が得られ、比較的長時間の信号蓄積時間の時には大きい露光量の画像が得られる。これらの露光量の異なる２つの画像を得ることができるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像を得ることが出来る。
【００４０】
さらに、発光間隔の間に被写体が移動した場合でも、ストロボ２０の発光間隔が短いので、２つの画像の差が小さく、２つの画像を合成することによるズレの少ない画像を得ることが出来る。
【００４１】
次に、第５の実施形態の撮像装置について説明する。この第５の実施形態も、第１の実施形態の変形例であり、図１に示したものとブロック図上で見た構成を同じくし、以下に説明する機能が異なっている。
【００４２】
本実施形態においては、システムコントローラ１６からの発光許可信号を受けた発光制御部１８から出力されるストロボランブ駆動パルスによりストロボ２０の発光を行うタイミング及び光量を次のように制御する。即ち、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時のこの信号蓄積時間の間に行う光量の小さい発光と、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時のこの信号蓄積時間の間に行う光量の大きい発光との光量の比（図２乃至図５、図９の斜線で示した部分の面積比）を、撮像素子３の上記短時間の信号蓄積時間と上記長時間の信号蓄積時間との信号蓄積時間の比と等しくする。
【００４３】
または、連続する２つのフィールドのうち、撮像素子３の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールド（第１フィールド）の時のこの信号蓄積時間の間に行うある一定の光量の発光回数と、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールド（第２フィールド）の時のこの信号蓄積時間の間に行うある一定の光量の発光回数との比を、撮像素子３の比較的短時間の信号蓄積時間と比較的長時間の信号蓄積時間との信号蓄積時間の比と等しくする。
【００４４】
この様な動作により、本実施形態は、光源としてストロボ２０による短時間発光を用いた場合であっても、撮像素子３の比較的短時間の信号蓄積時間の時には小さい露光量の画像が得られ、比較的長時間の信号蓄積時間の時には大きい露光量の画像が得られる。これらの露光量の異なる２つの画像を得ることができるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像を得ることが出来る。
【００４５】
さらに、ストロボ２０の照射する光の届く（露光量が照明発光の光量に依存する）被写体と、ストロボ２０の照射する光の届かない（露光量が信号蓄積時間に依存する）背景において、各々の露光量の比が撮像素子３の信号蓄積時間の比と等しい２つの画像が得られるので、被写体と背景の両方において適正な広いダイナミックレンジの画像を得ることができる。
【００４６】
次に図６には、本発明による第６の実施形態としての撮像装置の構成例を示し説明する。ここで、第６の実施形態の構成部位で図１に示した第１の実施形態と同等の部位には同じ参照符号を付して詳細な説明は省略する。
【００４７】
図６において、入射された光学像を受光し光電変換を行う撮像部として、通常の信号蓄積期間の他に垂直ブランキング期間も信号蓄積及び出力可能な固体撮像素子２２を用いる。この撮像素子は、例えば、「映像情報」（１９９５年７月号ＰＰ１４〜１７に詳しく記載されている。
【００４８】
さらに、図１に示すフィールドメモリ６の代わりに、図７に示す撮像素子２２から出力される映像信号に対して後述する同時化を行う同時化部２１を、Ａ／Ｄ変換部５と画像合成部７との間に配置して構成する。
【００４９】
この様に構成された撮像装置の動作について、自然光による通常動作時と補助発光を必要とするストロボ発光時に分けて説明する。
まず、自然光の光量が十分あり、被写体像が適正な露光の時は、通常動作を行う。
【００５０】
撮像素子２２は、レンズ系１により結像された光像を電気信号に変換し、センサ駆動部１７からの駆動信号（各種パルス）に従って、該撮像素子２２の画素を走査して、映像信号を読み出し撮像処理部４に出力する。この時、上記撮像素子２２からは、図７に示すような、１水平期間内の前半と後半に通常の信号蓄積期間に蓄積された信号と垂直ブランキング期間に蓄積された信号とに振り分けられた映像信号として、通常のデータレートの倍の速さのデータレートで撮像処理部４に出力される。
【００５１】
図８に示すように、同時化部２１は、スイッチ２３，２５，２６と４つのラインメモリ２４ａ，２４ｂ，２４ｃ，２４ｄで構成される。この同時化部２１では、１水平期間内の前半と後半に振り分けられた信号蓄積時間の異なる映像信号を、一旦４つのラインメモリ２４ａ，２４ｂ，２４ｃ，２４ｄに、スイッチ２３を切り換えて、それぞれに記憶させる。このスイッチ２３の切り換えは、はじめの水平期間の前半には、ラインメモリ２４ａに通常の信号蓄積期間に蓄積された信号、後半にはラインメモリ２４ｂに垂直ブランキング期間に蓄積された信号の記憶を行い、次の水平期間の前半にはラインメモリ２４ｃに通常の信号蓄積期間に蓄積された信号、後半にはラインメモリ２４ｄに垂直ブランキング期間に蓄積された信号の記憶を行うように、順次、循環的に切り換えられる。
【００５２】
図７に示すように、ラインメモリ２４ａ，２４ｃからは、１水平期間内に通常の信号蓄積期間に蓄積された信号が出力され、ラインメモリ２４ｂ，２４ｄからは垂直ブランキング期間に蓄積された信号が出力されるが、各々が１水平期間分遅れて独立した信号として通常のデータレートで出力される。
【００５３】
これらのラインメモリからの各出力は、はじめの水平期間にはラインメモリ２４ａからの出力が長時間蓄積の、ラインメモリ２４ｂからの出力が短時間蓄積の同時化された出力として、次の水平期間にはラインメモリ２４ｃからの出力が長時間蓄積の、ラインメモリ２４ｄからの出力が短時間蓄積の同時化された出力として出力され、スイッチ２５及び２６によって水平期間ごとに交互に切り換えられて、独立した信号線によって画像合成部７に同時に出力される。
【００５４】
次に、自然光の光量の不足により被写体像が暗く、適正な露光が得られず照明光を必要とする場合で、ストロボによる発光を行って撮像した場合について説明する。
【００５５】
図９には、システムコントローラ１６からの発光許可信号を受けた発光制御部１８から出力される、ストロボランプ駆動パルスによりストロボ２０の発光を行うタイミング及び光量を示す。
【００５６】
まず、連続する垂直ブランキング期間と通常の信号蓄積期間において、撮像素子２２の比較的短時間の信号蓄積時間である垂直ブランキング期間の間に光量の小さい発光を行い、比較的長時間の信号蓄積時間である通常の信号蓄積期間の間に光量の大きい発光を行なう。上述した発光動作の制御は、発光制御部１８から発せられるストロボランプ駆動パルスに従って発光駆動部１９がストロボ２０を駆動することによって行われる。
【００５７】
上述したように本実施形態は、使用する撮像素子２２として、通常の信号蓄積期間の他に垂直ブランキング期間も信号電荷を蓄積することが可能なそれ自体は、公知な特殊な固体撮像素子を用いて被写体像が暗い場合には、光源としてストロボ２０による短時間発光を用いて、適正な露光の画像を得ることが可能になる。  また、ストロボ２０による短時間発光を用いた場合に、撮像素子２２により光電変換される画像は、比較的短時間の信号蓄積時間の時には小さい露光量の画像が得られ、比較的長時間の信号蓄積時間の時には大きい露光量の画像が得られる。これら露光量の異なる２つの画像が得られるため、画像合成部７による２つの画像の画像合成を適正に行うことができ、広いダイナミックレンジの画像が得られる。
【００５８】
なお、この第６の実施形態の構成においても、前述した第２乃至第５の実施形態と同等の第１の実施形態を変形した実施形態を容易に適用でき、同様な効果が得られる。
【００５９】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
（１）  自己の撮像視野に対応した画像信号を得るための撮像素子と、
上記撮像素子に対し当該撮像視野のうち相対的に低輝度である部分の撮像を賄うべく相対的に長い第１の時間区間に亘って実効的な露光を与え、且つ、上記撮像視野のうち相対的に高輝度である部分の撮像を賄うべく上記第１の時間区間に隣接する相対的に短い第２の時間区間に亘って実効的な露光を与えるように該撮像素子に対する実効的な露光時間を制御する露光時間制御手段と、
上記撮像素子に対する上記第１の時間区間に対応して得られる第１の画像信号のデータに基づいて相対的に低輝度である部分の画像が表わされ、且つ上記第２の時間区間に対応して得られる第２の画像信号のデータに基づいて相対的に高輝度である部分の画像が表されるようにして、上記第１の画像信号のデータ及び、第２の画像信号のデータに基づいて、１つの画像を表す画像データを合成する合成手段と、
発光の形態を制御可能な閃光発光手段と、
上記第１の時間区間及び第２の時間区間でそれぞれ上記閃光発光手段を発光せしめるときに該第２の時間区間における総露光量が該第１の時間区間における総露光量を超えないように該閃光発光手段の発光の形態を制御するための発光制御手段と、
を備えてなることを特徴とする撮像装置。
【００６０】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像が得ることができるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。
【００６１】
（２）上記発光制御手段は、上記第１の時間区間と第２の時間区間との比に対応して当該第１の時間区間及び第２の時間区間における上記閃光発光手段の各発光による発光量の比が選択されるように発光の形態を制御するように構成されたものであることを特徴とする上記〈１）項記載の撮像装置。
【００６２】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像が得ることができるので、画像合成手段により適正な広いダイナミッグレンジの画像を得ることが出来る。さらに、上記閃光発光手段の光の届く（露光量が上記閃光発光手段の発光量に依存する）被写体と光の届かない（露光量が露光時間に依存する）背景において、各々の露光量の比が第１及び第２の時間区間の比と等しい２つの画像が得られるので、画像合成手段により被写体と背景の両方において適正な広いダイナミックレンジの画像を得ることが出来る。
【００６３】
（３）上記発光制御手段は、上記閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するように構成されたものであることを特徴とする上記（１）項または上記（２）項に記載の撮像装置。
【００６４】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像が得ることができるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。
【００６５】
（４）上記発光制御手段は、上記閃光発光手段の各発光について、単位時間当たりの発光量を一定にして発光時間を制御することにより当該発光による露光量を制御するように構成されたものであることを特徽とする上記（１）項または上記（２）項に記載の撮像装置。
【００６６】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像が得ることかできるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。
【００６７】
（５）上記発光制御手段は、上記閃光発光手段の各発光について単位時間当たりの発光量を一定にして発光回数を制御することにより当該発光による露光量を制御するように構成されたものてあることを特徴とする上記（１）項または上記（２）項に記載の撮像装置。
【００６８】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像が得ることができるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。
【００６９】
（６〉上記発光制御手段は、上記第１の時間区間のうち第２の時間区間に近接した時間領域内、及び上記第２の時間区間のうち第１の時間区間に近接した時間領域内で、それぞれ上記閃光発光手段による各発光を行わしめるべく発光の形態を制御するように構成されたものであることを特徴とする上記（３）項または上記〈４）項または上記（５）項に記載の撮像装置
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像を得ることができるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。さらに、上記閃光発光手段の発光間隔の間に被写体が移動した場合ても、発光間隔が短いので２つの画像の差が小さく、２つの画像を合成することによるズレの少ない画像を得ることが出来る。
【００７０】
（７）上記発光制御手段は、上記第１の時間区間のうち第２の時間区間に近接した時間領域内及び、上記第２の時間区間のうち第１の時間区間に近接した時間領域内で、上記閃光発光手段による上記両時間領域内での各発光が略々連続するような態様で発光を行わしめるべく発光の形態を制御するように構成されたものであることを特微とする上記（４）項または上記〈５）項に記載の撮像装置。
【００７１】
以上のような構成により、上記撮像素子の露光量が露光時間ではなく上記閃光発光手段の発光量に依存する場合でも、上記撮像素子の第１の時間区間のときは露光量の大きい、第２の時間区間のときには露光量の小さい、露光量の異なる２つの画像を得ることができるので、画像合成手段により適正な広いダイナミックレンジの画像を得ることが出来る。さらに、上記閃光発光手段の発光間隔の間に被写体が移動した場合でも、発光間隔が短いので２つの画像の差が小さく、２つの画像を合成することによるズレの少ない画像を得ることが出来る。
【００７２】
【発明の効果】
以上詳述したように本発明によれば、光源として自然光に加えて短時間発光（閃光）を用いても、露光量の異なる２つの画像を撮像でき、これらを画像合成して、適正な広いダイナミックレンジの画像を得ることが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態としての撮像装置の構成例を示す図である。
【図２】図１に示した撮像装置の動作を説明するためのストロボ発光のタイミング及び光量を示す図である。
【図３】第２の実施形態としての撮像装置の動作を説明するためのストロボ発光のタイミング及び光量を示す図である。
【図４】第３の実施形態としての撮像装置の動作を説明するためのストロボ発光のタイミング及び光量を示す図である。
【図５】第４の実施形態としての撮像装置の動作を説明するためのストロボ発光のタイミング及び光量を示す図である。
【図６】本発明による第６の実施形態としての撮像装置の構成例を示す図である。
【図７】第６の実施形態の撮像装置における撮像素子、ラインメモリ及び同時化部の出力信号による動作タイミングを示す図である。
【図８】第６実施形態の同時化部の構成例を示す図である。
【図９】第６の実施形態としての撮像装置の動作を説明するためのストロボ発光のタイミング及び光量を示す図である。
【符号の説明】
１…レンズ系
２…光学フィルタ
３，２２…固体撮像素子
４…撮像処理部
５…Ａ／Ｄ変換部
６…フィールドメモリ
７…画像合成部
８…フレームメモリ
９…色処理部
１０ｒ，１０ｇ，１０ｂ…ホワイトバランス部
１１ｒ，１１ｇ，１１ｂ…圧縮部
１２…モニタＩ／Ｆ部
１３…輝度生成部
１４…圧縮係数生成部
１５…フレームメモリ
１６…システムコントローラ
１７…センサ駆動部
１８…発光制御部
１９…発光駆動部
２０…ストロボ
２１…同期化部
２３，２５，２６…スイッチ
２４ａ，２４ｂ，２４ｃ，２４ｄ…ラインメモリ
【図１】
0003834354.tif 000002
【図２】
0003834354.tif 000003
【図３】
0003834354.tif 000004
【図４】
0003834354.tif 000005
【図５】
0003834354.tif 000006
【図６】
0003834354.tif 000007
【図７】
0003834354.tif 000008
【図８】
0003834354.tif 000009
【図９】
0003834354.tif 000010