(57)【特許請求の範囲】
【請求項１】
単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像部と、
上記撮像部により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、出力信号の動作範囲を固定としたゲイン処理を施す前処理部と、
上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、
上記前処理部のゲイン処理における基準ゲイン設定値を上記撮像部の撮像モードに応じて切り換えて、上記撮像部が合成撮像モードの撮像動作状態にあるときに、上記撮像部が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像部により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理部により出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う制御部と
を備える撮像装置。
【請求項２】
単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により画像信号を得る撮像ステップと、
上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で長時間露光画像信号と短時間露光画像信号に出力信号の動作範囲を固定としたゲイン処理を施す前処理ステップと、
上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、
上記前処理ステップのゲイン処理における基準ゲイン設定値を上記撮像手段の撮像モードに応じて切り換えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記撮像手段が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理ステップにより出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う制御ステップと
を有する撮像制御方法。
【請求項３】
単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段と、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、出力信号の動作範囲を固定としたゲイン処理を施す前処理手段と、上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備えた撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、
上記前処理手段のゲイン処理における基準ゲイン設定値を上記撮像手段の撮像モードに応じて切り換えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記撮像部が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理部により出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う第１の制御ステップと、
上記信号処理手段の処理を上記撮像手段の撮像モードに応じて切替えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成させる第２の制御ステップとを有する制御方法をコンピュータに実行させることを特徴とする撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像装置、撮像制御方法及び撮像制御プログラムに関する。
【背景技術】
【０００２】
従来のＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いた撮像装置では、撮像素子に入力される光量（露光量）を、絞りや電子シャッタースピードによって調節している。つまり、明るいシーンを撮像するときには撮像素子の出力信号が飽和していわゆる白つぶれ（露光過多：overexposure）が発生しないように露光量を少なくし、逆に暗いシーンではいわゆる黒つぶれ（露光不足：underexposure）が発生しないように露光量を多くするように、露光量を調節している。
【０００３】
しかしながら、明暗の差が大きいシーンの撮像（逆光撮像、屋内外同時撮像）する場合、使用する固体撮像素子のダイナミックレンジ不足により、露光量の調節だけでは、明るい部分が飽和して白とびが発生してしまったり、暗い部分で黒つぶれが発生してしまい、両方の部分を適正に再現できないという問題がある。
【０００４】
この問題を解決するために、フィールド内で二つの異なる電子シャッタースピードを使用したり、フィールドごとに電子シャッタースピードを変えて、明るいエリアの情報と暗いエリアの情報とを別々に撮像し、得られたそれぞれの情報を１枚の画像に合成する方法が既に開発されている（例えば、特許文献１参照）。
【０００５】
また、これを応用したものとして、ダイナミックレンジの広い画像を撮像可能な装置（ワイドダイナミックレンジカメラ）があり、その合成画像の品質を向上させる装置・方法が提案されている（例えば、特許文献２、３参照）。
【０００６】
一般的にワイドダイナミックレンジカメラの動作状態として、ワイドダイナミックレンジ撮影を行う合成撮影モードと、ワイドダイナミックレンジ撮影を行わない通常撮影モードの２種類があるが、従来のワイドダイナミックレンジカメラの露光制御においては、合成撮影モードと通常撮影モードにおける撮像素子の出力信号振幅（動作領域）を共通にしていて、図８に示すように、撮像素子の飽和領域より低いレベルで動作領域を設定していた。これは撮像素子の動作領域を飽和領域まで広げた場合、図９に示すように、高輝度信号に対する画素ごとのダイナミックレンジのバラツキで飽和ムラが発生し、高輝度部分での画質が劣化するためである。
【０００７】
しかしながら、上記のように飽和領域より低いレベルで動作領域を設定した場合は、飽和ムラの発生は防止できるが、動作領域が下がることでＳ／Ｎが悪化するという問題も新たに発生する。
【０００８】
また、通常動作モードでは動作領域を広げることが望まれるが、そのためには飽和ムラをできるだけ目立たないようにする信号処理が必要となる。
【０００９】
撮像素子の動作領域を飽和領域まで広げた場合に、画素ごとのダイナミックレンジのバラツキによって白色部分に生じるきまった形のノイズが高輝度部のアパーチャ補正によって強調されることを防ぎ、広いダイナミックレンジを得るようにした撮像装置が提案されている（例えば、特許文献４参照）。
【００１０】
このような技術を通常撮影モードでの信号処理で利用すれば、動作領域を広げることが可能となり、Ｓ／Ｎを向上させることが可能である。
【００１１】
また、カメラの用途によっては飽和ムラよりもＳ／Ｎの悪化が問題視される場合もあり、通常動作モードにおいては、前述の飽和ムラを緩和させる処理を行なわなくとも、動作領域を広げることが望まれる場合もある。
【００１２】
【特許文献１】特開平６−１４１２２９号公報
【特許文献２】特開２００２−８４４４９号公報
【特許文献３】特開２００４−１２０２０５号公報
【特許文献４】特開平７−２４０８５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記のように飽和領域より低いレベルで動作領域を設定した場合は、飽和ムラの発生は防止できるが、動作領域が下がることでＳ／Ｎが悪化するという問題は、ワイドダイナミックレンジカメラにおいては、通常撮影モードの場合に限り問題視される事項で、合成撮影モードではダイナミックレンジを拡大させることが主目的であることから問題とはならない。また、合成撮影モードでは、合成処理を行なう信号処理にも依存するが、飽和ムラを含む信号を合成することは画質劣化の原因となるので、動作領域を完全に飽和領域より低く設定する必要がある。
【００１４】
そこで、本発明の目的は、上述の如き従来の実情に鑑み、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とを選択的に実行する際に、通常撮影モードではＳ／Ｎを向上させ、合成撮影モードでは飽和ムラを防ぐことができるようにした撮像装置、撮像制御方法及び撮像制御プログラムを提供することにある。
【００１５】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１６】
本発明では、ワイドダイナミックレンジカメラにおいて、通常撮影モードと合成撮影モードの各々に最適な動作点を例えば予め記憶し、それぞれの動作モードに応じて自動的に動作点を切り替え、通常撮影モードでは飽和領域まで動作点を広げＳ／Ｎを向上させ、合成撮影モードでは飽和領域より低く動作領域を設定することで飽和ムラを防ぐ。
【００１７】
すなわち、本発明は、撮像装置であって、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像部と、上記撮像部により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、出力信号の動作範囲を固定としたゲイン処理を施す前処理部と、上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理部と、上記前処理部のゲイン処理における基準ゲイン設定値を上記撮像部の撮像モードに応じて切り換えて、上記撮像部が合成撮像モードの撮像動作状態にあるときに、上記撮像部が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像部により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理部により出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う制御部とを備えることを特徴とする。
【００１８】
また、本発明は、撮像制御方法であって、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段により画像信号を得る撮像ステップと、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で長時間露光画像信号と短時間露光画像信号に出力信号の動作範囲を固定としたゲイン処理を施す前処理ステップと、上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理ステップと、上記前処理ステップのゲイン処理における基準ゲイン設定値を上記撮像手段の撮像モードに応じて切り換えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記撮像手段が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理ステップにより出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う制御ステップとを有する撮像制御方法。
【００１９】
さらに、本発明は、単位期間に１つの露光画像信号を出力する通常撮像モードの撮像動作と、単位期間に露光時間が相対的に長い長時間露光画像信号と露光時間が相対的に短い短時間露光画像信号を出力する合成撮像モードの撮像動作とが選択的に実行可能な撮像手段と、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号、または、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、出力信号の動作範囲を固定としたゲイン処理を施す前処理手段と、上記ゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成する信号処理手段とを備えた撮像装置を制御する制御方法をコンピュータに実行させる撮像制御プログラムであって、上記前処理手段のゲイン処理における基準ゲイン設定値を上記撮像手段の撮像モードに応じて切り換えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記撮像部が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とし、上記撮像手段により上記通常撮像モードの撮像動作で得られた露光画像信号と、上記合成撮像モードの撮像動作で得られた長時間露光画像信号と短時間露光画像信号に、上記前処理部により出力信号の動作範囲を固定としたゲイン処理を異なる基準ゲイン設定値で施す制御を行う第１の制御ステップと、上記信号処理手段の処理を上記撮像手段の撮像モードに応じて切替えて、上記撮像手段が合成撮像モードの撮像動作状態にあるときに、上記前処理ステップでゲイン処理が施された長時間露光画像信号と短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成させる第２の制御ステップとを有する制御方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、ワイドダイナミックレンジカメラにおける合成撮影モードと通常撮影モードでの撮像素子の動作領域を切り替えることで、通常撮影モードでは飽和領域まで動作点を広げることでＳ／Ｎを向上させ、合成撮影モードでは飽和領域より低く動作点を設定することで飽和ムラを防ぐことが可能となり、両撮影モードに最適な画質を得ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２２】
本発明は、例えば図１に示すような構成の撮像装置１０に適用される。
【００２３】
ここで、この撮像装置１０は、ワイドダイナミックレンジカメラとしての合成撮像モードの撮像動作が可能な撮像装置であり、例えば監視カメラなどとして好適に用いられる。もちろん一般ユーザーが通常用いるデジタルスチルカメラ、デジタルビデオカメラなどとしても適用可能である。
【００２４】
この撮像装置１０は、撮像光学系１、撮像素子部２，前処理部３、信号処理部４、出力部５、検波部６、タイミングジェネレータ７、光学部品駆動部８、制御部９、操作部１１、表示部１２などを備える。
【００２５】
撮像光学系１は、レンズや不要な波長を除去する光学フィルタ、絞り１ａ等の光学部品を備える。被写体から入射された光は撮像光学系１における各光学部品を介して撮像素子部２に導かれる。
【００２６】
撮像素子部２は、例えばＣＣＤセンサアレイ、ＣＭＯＳセンサアレイなどの固体撮像素子部として構成される。この撮像素子部２は、撮像光学系１を介して導かれた光を光電変換し、撮像画像としての電気信号を出力するもので、この撮像装置１０では、通常撮像モードと合成撮像モードとで異なる露光処理を行う。
【００２７】
すなわち、通常撮像モードでは図２（ａ）のように１フィールド期間に所定時間の露光としての通常露光を行って露光画像信号としての電気信号を出力する。一方、合成撮像モードでは、撮像素子部２では１フィールド期間に図２（ｂ）のような長時間露光と短時間露光を行い、長時間露光画像信号と短時間露光画像信号としての電気信号を時分割出力する。
【００２８】
以下の説明では、図２（ａ）のような通常撮像モードでの露光動作を、説明上「通常露光」と言うこととし、図２（ｂ）のような合成撮像モードでの「長時間露光」「短時間露光」と区別する。また、通常露光により得られた露光画像信号を「通常露光画像信号」といい、「長時間露光画像信号」「短時間露光画像信号」と区別する。
【００２９】
なお、撮像素子部２は、固体撮像素子を用いる構成に限られない。例えば撮像管のような非固体撮像素子を用いる構成でも良い。非固体撮像素子についても、メカニカルシャッタ、液晶シャッタ等を利用して、長時間露光、短時間露光を行ったり、通常露光、長時間露光、短時間露光の露光時間を変化させることは可能である。
【００３０】
ここで、通常撮像モードと合成撮像モードについて述べておく。
【００３１】
一般的に使用される撮像装置における通常の撮像動作（通常撮像モード）では、被写体における非常に暗い部分から非常に明るい部分までの広範囲にわたるダイナミックレンジを扱うことが困難である。例えば晴天の昼間の時間帯に，屋外が見える状態で、屋内において撮像する場合、屋内の被写体に露光基準を合わせると、屋外の部分が階調を失い白とびしてしまう。また、逆に屋外の部分に露光基準を合わせれば、屋内の被写体が黒つぶれしてしまう。即ち被写体内での輝度差が著しい場合、その輝度のダイナミックレンジに対応した撮像画像を得ることが困難となる。
【００３２】
これに対して合成撮像モードの撮像動作では、例えば電子シャッタでシャッタ速度を変えて、露光時間の異なる複数の画像を合成する処理を行うことにより、ダイナミックレンジの広い、白とびや黒つぶれの生じない撮像画像を得るようにしている。
【００３３】
但し、合成撮像モードで撮られた画像は、視覚的に多少の違和感が生ずることがあり、このためユーザーの好みや、撮像目的などに応じて、通常撮像モードと合成撮像モードを切り換えて撮像できるようにすることが好適となる。
【００３４】
図２（ａ），（ｂ）は、撮像素子部２での、１フィールド内の露光時間と蓄積される露光量（電荷量）を示している。
【００３５】
図２（ａ）は通常撮像モードの場合であり、撮像の単位期間である、１／６０秒の１フィールド期間において露光を行う。この図２（ａ）では露光時間を１／６０秒としているが、もちろん露光時間は１／６０秒に限られない。電子シャッタースピードとして或る露光時間が設定される。このように撮像素子部では１フィールド期間に或る露光時間の露光が行われ、１フィールドの露光画像信号が得られる。この露光画像信号に対して所定の信号処理が行われ、１フィールドの撮像画像データが生成される。
【００３６】
図２（ｂ）は合成撮像モードの場合であり、この図２（ｂ）では１／６０秒の１フィールド期間において、１／６４秒の長時間露光と、１／２０００秒の短時間露光を行う場合を示している。なお、長時間露光時間と短時間露光時間は可変制御可能である。
【００３７】
この長時間露光と短時間露光を行うことで、１フィールド期間に、長時間露光画像信号と短時間露光画像信号を得る。そしてこの両画像信号を合成することで１フィールドの撮像画像データが生成される。
【００３８】
なお、長時間露光と短時間露光は、必ずしも１フィールド期間に行わなければならないものではなく、或るフィールド期間に長時間露光を行い、次のフィールド期間に短時間露光を行って、各露光画像信号を合成するような処理も考えられる。
【００３９】
図３は、長時間露光画像信号と短時間露光画像信号の合成処理の説明のために、長時間露光画像信号の入出力輝度特性Ｌと、短時間露光画像信号の入出力輝度特性Ｓを示している。
【００４０】
合成処理においては、例えば所定の輝度閾値で示される切り替えポイントを合成位置とする。そして、合成位置すなわち切り替えポイントよりも低輝度の画素は、長時間露光画像信号の画素信号を採用する。一方、合成位置すなわち切り替えポイントよりも高輝度の画素については、短時間露光画像信号の画素信号を採用する。このとき、長時間露光画像と短時間露光画像との露光比を短時間露光画像に乗算することで双方の画像のレベル合わせを行う。
【００４１】
仮に長時間露光画像と短時間露光画像との露光比が１０：１であるとすると、短時間露光画像の露光は長時間露光画像の１０分の１である。しかし存在する光の量としては短時間露光画像の輝度信号レベルの１０倍は光量がある。したがって短時間露光画像信号にゲインＫとして１０を乗算することによりレベルを合わせる。
【００４２】
このように短時間露光画像信号についてゲイン乗算を行い、図３に示すように長時間露光画像信号特性とレベルの合った特性ＫＳを得る。
【００４３】
結果として、特性Ｌ−ＫＳの合成画像を生成する。すなわち、合成画像では、被写体内で比較的暗い領域は長時間露光画像信号による黒つぶれのない画像が得られ、比較的明るい領域は短時間露光画像信号による白とびのない画像が得られる。
【００４４】
なお、出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像する合成撮像モードの手法としては、上記のように露光時間の異なる明るい画像と暗い画像とを合成する以外にも各種の手法がある。
【００４５】
例えば画素単位に感度を変えて撮像素子から同じ露光条件の信号のみを抜き出して画像を再生し、露光条件の異なる１又は２以上の画像を合成する方法もある。
【００４６】
またはプリズムにより入射光を分けて、撮像素子と、透過する光を全波長に渡って減少させる、つまり入射光量を等しく減少させるＮＤフィルタ（Neutral Density Filter：光量調節フィルタ）のような減光機能を持つものとを張り合わせた撮像素子から出力される信号を合成する方法などもある。
【００４７】
これらの手法を採用した合成撮像モードによれば、通常撮像モードによる撮像の場合のダイナミックレンジよりも非常に広いダイナミックレンジを得ることができる。従って出力画像に明るい部分から暗い部分までが含まれるダイナミックレンジが広い被写体を撮像することが可能であり、例えば強い外光が差し込む室内，照度差の激しい場所などを撮像する場合に適している。具体的には銀行などの店舗の出入口、または交通状況の把握のために交通道路など、日中、夜間など撮像される時間帯によりダイナミックレンジが大きく異なる場合の撮像には、合成撮像モードが好適となる。
【００４８】
この撮像装置１０における前処理部３は、いわゆるアナログフロントエンドであり、撮像素子部２から出力される撮像画像としての電気信号に対してＣＤＳ（correlated double sampling ：相関２重サンプリング）処理、プログラマブルゲインアンプによるゲイン処理、Ａ／Ｄ変換処理を行う。そしてこれらの処理を行った露光画像信号を信号処理部４に供給する。すなわち、通常撮像モードの場合は通常露光画像信号を信号処理部４に供給し、合成撮像モードの場合は長時間露光画像信号と短時間露光画像信号を信号処理部４に供給する。
【００４９】
信号処理部４は、通常撮像モード、合成撮像モードのそれぞれに応じて所要の信号処理を行って、撮像画像データを生成する。
【００５０】
通常撮像モードの場合は、入力される通常露光画像信号に対して例えばガンマ補正処理やホワイトバランス処理等を行って撮像画像データとする。
【００５１】
また、合成撮像モードの場合は、入力される長時間露光画像信号と短時間露光画像信号について図３で述べた合成処理を行う。すなわち、時分割的に供給される長時間露光画像信号と短時間露光画像信号のタイミング調整や色バランス補正処理、長時間露光画像信号に対して短時間露光画像信号の輝度レベルを一致させるゲイン処理、および合成処理を行う。また合成画像信号に対するガンマ補正処理やホワイトバランス処理も行って撮像画像データとする。
【００５２】
信号処理部４は、生成した撮像画像データを出力部５及び検波部６に出力する。
【００５３】
出力部５は、信号処理部４からの撮像画像データについて、モニタディスプレイにおける表示のための処理や、或いは外部機器への送信のための処理を行う。
【００５４】
検波部６は、信号処理部４からの撮像画像データについての測光処理を行って輝度積算値を算出し、制御部９に供給する。この場合検波部６では、制御部９からの指示に従って実行する測光方式が選択される。測光方式としては、中央部重点測光方式、評価測光方式、平均測光方式、部分測光方式などが実行可能とされる。それぞれの測光方式により画像領域内の検波枠が異なるものとなるが、検波部６は、実行する測光方式で設定される検波枠毎の輝度積算値を制御部９に供給することになる。
【００５５】
制御部９は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを有するマイクロコンピュータによって構成され、撮像装置の全体の動作を制御する。
【００５６】
また、制御部９は、撮像処理系としての撮像素子部２，前処理部３，信号処理部４，タイミングジェネレータ７に対して、通常撮像モードと合成撮像モードのそれぞれの撮像動作を実行させる制御を行う。
【００５７】
また、制御部９は、検波部６に対して輝度積算枠を指定する制御を行う。
【００５８】
さらに、制御部９は、合成撮影モードと通常撮影モードで動作領域を変えるために、前処理部３のＰＧＡ（プログラマブルゲインアンプ）に与えるゲインを変更する。それぞれの撮影モードに最適なゲイン設定を基準ゲイン設定として露光処理を行なう。
【００５９】
前処理部３のＰＧＡ３ａのゲイン設定を変化させることで、撮像素子の動作領域が変化する様子を図４に示す。
【００６０】
すなわち、出力信号の動作領域は、固定とするので、ゲイン設定により入力信号の領域は変化することになり、出力信号の最大をＯＵＴとし、ゲインをＸ倍としたとき、入力信号の最大は、  ＩＮ＝ＯＵＴ／  Ｘ
となり、動作領域が定まる。
【００６１】
ここでは、合成撮影モードと通常撮影モードで動作点を基準ゲイン設定により、変更させる例として、撮像素子の出力が５００ｍｖ〜６００ｍｖの範囲で、画素ごとのダイナミックレンジのバラツキが現れ、飽和ムラが発生する場合を考える。
【００６２】
合成撮影モードにおいては、飽和ムラを含む信号を合成することは画質劣化の原因となるので、図５に示すように、飽和ムラが発生しない５００ｍｖまでを動作領域としたいので、ゲイン設定を２倍とする。この合成撮影モードにおける基準ゲイン設定値をＷＤＧＡＩＮとする。
【００６３】
一方、通常撮影モードにおいては、Ｓ／Ｎ向上のため動作領域を可能な限り広げる必要があるので、図６に示すように、飽和するまでの６００ｍｖまでを動作領域とするために、ゲイン設定を１．６７倍とする。この通常撮影モードにおける基準ゲイン設定値をＮＭＧＡＩＮとする。
【００６４】
合成撮影モードにおける基準ゲイン設定値ＷＤＧＡＩＮは、ＷＤＧＡＩＮ＞ＮＭＧＡＩＮ、すなわち、通常撮影モードにおける基準ゲイン設定値ＮＭＧＡＩＮよりも大きな値となっている。
【００６５】
制御部９におけるＲＯＭには、これらの制御処理を実行させる撮像制御プログラムが格納されており、該撮像制御プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
【００６６】
タイミングジェネレータ７は、例えばＣＣＤなどの撮像素子部２に必要な動作パルスを生成する。例えば垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子部２に供給する。このタイミングジェネレータ７により撮像素子部２を駆動（電子シャッタ機能）させることが可能となる。このタイミングジェネレータ７は、制御部９から通常撮像モードが指示された場合は、撮像素子部２に図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、また合成撮像モードが指示された場合は、撮像素子部２に図２（ｂ）のように露光時間が相対的に長い長時間露光と、露光時間が相対的に短い短時間露光を実行させる。
【００６７】
もちろん通常撮像モードでの通常露光時間や、合成撮像モードでの長時間露光時間及び短時間露光時間を可変することも可能である。
【００６８】
光学部品駆動部８は、撮像光学系１における光学部品の駆動を行うもので、例えば、絞り１ａを駆動し、入射光量を調節するための駆動回路部などからなる。
【００６９】
操作部１１、表示部１２はユーザインターフェースのために設けられる。操作部１１はユーザー操作に応じて操作情報を制御部９に出力する。
【００７０】
表示部１２は、制御部９からの指示に応じて動作状態、時間情報、モード情報、メッセージなど、ユーザーに提示すべき情報の表示を行う。
【００７１】
なお、操作部１１、表示部１２は、撮像装置とは別体の機器とされてもよい。また、表示部１２に表示すべき情報を、キャラクタ画像、文字画像として出力部５において撮像画像データに重畳させ、撮像画像を表示出力するモニタディスプレイ上で表示させるようにしてもよい。
【００７２】
このような構成の撮像装置１０において、制御部９による制御に基づいて、図７のフローチャートに示す手順にしたがった撮像動作が行われる。
【００７３】
すなわち、この撮像装置１０では、撮像動作を開始すると、制御部９は、先ず、ステップＳＴ１において、合成撮影モードであるか否かを判定する動作モード判定を行い、その判定結果が「ＹＥＳ」、すなわち、合成撮影モードである場合には、ステップＳＴ２−１に移って合成撮像処理を行い、また、判定結果が「ＮＯ」、すなわち、通常撮影モードである場合には、ステップＳＴ２−２に移って通常撮像処理を行う。
【００７４】
ステップＳＴ２−１の合成撮像処理では、制御部９は、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２（ｂ）のような長時間露光と短時間露光を実行する。すなわち、タイミングジェネレータ７は、１フィールド期間内に異なる二つの電子シャッタースピードを設定することが可能であり、１フィールド期間に図２（ｂ）の長時間露光と短時間露光を撮像素子部２に実行させる。これにより露光量の違う二つの撮像画像信号（例えば露光時間１／６４秒の長時間露光画像信号と、露光時間１／２０００秒の短時間露光画像信号）が得られる。長時間露光画像信号と短時間露光画像信号は、それぞれ前処理部３で処理されて信号処理部４に供給される。
【００７５】
次のステップＳＴ３−１では、制御部９は、前処理部３のＰＧＡ（プログラマブルゲインアンプ）に設定する基準ゲイン設定値を合成撮影モードにおける基準ゲイン設定値ＷＤＧＡＩＮとすることにより、飽和領域より動作点を下げ、完全に飽和ムラが発生しないようにさせる。
【００７６】
そして、次のステップＳＴ４において、制御部９は、信号処理部４により図３で述べた手法で合成処理を行わせる。
【００７７】
すなわち、合成撮影モードでは、信号処理部４は、前処理部３でデジタル化された長時間露光画像信号と短時間露光画像信号を合成し、ダイナミックレンジを拡大させ、出力部５と検波部６へ出力する。
【００７８】
また、ステップＳＴ２−２の通常撮像処理では、タイミングジェネレータ７により撮像素子部２の駆動を制御して、撮像素子部２に一つの電子シャッタースピードを設定して、図２（ａ）のように１フィールド期間に所定時間の通常露光を実行させ、通常露光画像信号を生成させる。通常露光画像信号は、前処理部３で処理されて信号処理部４に供給される。そして、通常撮影モードでは、信号処理部４は、合成を行わず、標準露光画像信号を出力部５と検波部６へ出力する。
【００７９】
次のステップＳＴ５では、検波部６により検波処理を行う。
【００８０】
このステップＳＴ５における検波処理では、検波部６は、制御部９で指定された検波枠における輝度積算値を生成し、それをフィールド毎に上記制御部９へ送信する。
【００８１】
次のステップＳＴ６では、制御部９は、露光制御処理を行う。
【００８２】
このステップＳＴ８における露光制御処理では、制御部９は、検波部６から受信した輝度積算値を用いて、現在の輝度と目標輝度との差分から、絞り１ａの開口量、撮像素子部２の長時間露光時間、短時間露光時間、前処理部３のＰＧＡについて、それぞれ必要な制御量を計算し、適切な露光制御を行う。すなわち、被写体輝度が暗いほど、前処理部３のＰＧＡに設定するゲインを上げ、被写体輝度が明るいと前処理部３のＰＧＡに設定するゲインを下げる。さらに、被写体輝度が明るくなると、絞り１ａを閉じる方向へ制御することで輝度の調節を行なう。
【００８３】
すなわち、この撮像装置１０では、通常撮像モードの撮像動作と合成撮像モードの撮像動作とが選択的に実行可能な撮像素子部２により得られた露光画像信号、または、長時間露光画像信号と短時間露光画像信号を前処理部３により増幅して信号処理部４に供給し、信号処理部４により、通常撮像モードの撮像動作で得られた露光画像信号に信号処理を施して画像信号を生成し、また、上記撮像素子部２により合成撮像モードの撮像動作で得られた上記長時間露光画像信号と上記短時間露光画像信号とを合成することにより、少なくとも上記長時間露光画像信号又は上記短時間露光画像信号のダイナミックレンジのいずれかよりも相対的にダイナミックレンジが広い合成画像信号を生成するにあたり、制御部９により、上記前処理部３の基準ゲイン設定値を上記撮像素子部２の撮像モードに応じて切り換えて、上記撮像素子部２が合成撮像モードの撮像動作状態にあるときに、上記撮像素子部２が通常撮像モードの撮像動作状態にあるときの基準ゲイン設定値よりも大きな基準ゲイン設定値とする制御を行う。
【００８４】
このように、この撮像装置１０では、合成撮影モードと通常撮影モードでの撮像素子の動作領域を切り替えることで、通常撮影モードでは飽和領域まで動作点を広げることでＳ／Ｎを向上させ、合成撮影モードでは飽和領域より低く動作点を設定することで飽和ムラを防ぐことができ、両撮影モードに最適な画質を得ることができる。
【００８５】
この撮像装置１０において、本発明に係る撮像制御プログラムは、上述した制御部９の処理のプログラム、すなわち、図７のような各種処理をマイクロコンピュータ（演算処理装置）である制御部９に実行させるプログラムである。
【００８６】
このようなプログラムは、パーソナルコンピュータや、撮像装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
【００８７】
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００８８】
また、上記撮像制御プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【００８９】
以上、実施の形態を説明してきたが、本発明としては多様な変形例が考えられる。
【００９０】
例えば本発明は動画撮像を行うカメラシステムに適用できるが、静止画撮像を行うカメラシステムにも適用できる。設定露光モードで静止画撮像を行う場合であっても、例えば撮像タイミングに至るまでのモニタリング中に、各フィールド期間で上述のような露光制御（短時間露光時間の制御）を行えばよい。
【００９１】
また、例えばノンインターレーススキャン方式の撮像を行う場合、上述してきたフィールド期間の処理はフレーム期間の処理として考えればよい。
【００９２】
もちろん、スキャン方式に限らず、画像信号の単位期間とは、フィールド期間、フレーム期間、複数フィールド期間、複数フレーム期間などとして、多様に考えられる。例えば複数フレーム期間ごとに１回の割合で、検波処理、露光補正処理、露光制御処理が行われるような動作例も考えられる。
【図面の簡単な説明】
【００９３】
【図１】本発明を適用した構成の撮像装置の構成を示すブロック図である。
【図２】上記撮像装置における長時間露光と短時間露光の説明図である。
【図３】上記撮像装置における合成処理の説明図である。
【図４】上記撮像装置における前処理部のＰＧＡのゲイン設定を変化させることで、撮像素子の動作領域が変化する様子を示す図である。
【図５】上記撮像装置の合成撮影モードにおける基準ゲイン設定値を示す図である。
【図６】上記撮像装置の通常撮影モードにおける基準ゲイン設定値を示す図である。
【図７】上記撮像装置の動作を示すフローチャートである。
【図８】従来のワイドダイナミックレンジカメラの露光制御における動作領域の設定状態を示すＣＣＤ光電変換特性図である。
【図９】従来のワイドダイナミックレンジカメラにより得られる画像の輝度信号の波形図である。
【符号の説明】
【００９４】
１  撮像光学系、１ａ  絞り、２  撮像素子部，３  前処理部、４  信号処理部、５  出力部、６  検波部、７  タイミングジェネレータ、８  光学部品駆動部、９  制御部、１０  撮像装置、
【図１】
0004424402.tif 000002
【図２】
0004424402.tif 000003
【図３】
0004424402.tif 000004
【図４】
0004424402.tif 000005
【図５】
0004424402.tif 000006
【図６】
0004424402.tif 000007
【図７】
0004424402.tif 000008
【図８】
0004424402.tif 000009
【図９】
0004424402.tif 000010