(57)【要約】【課題】信号処理機能を切り換える際に、映像上にショックが生じないようにする。【解決手段】境界露出制御として、第２の信号処理手段での合成比率、圧縮率や、露出制御のための輝度情報の混合比を変化させる処理が、第１の信号処理手段の機能時の露出制御と、第２の信号処理手段の機能時の露出制御をつなぐかたちで行われる。つまり第１の信号処理手段の動作と第２の信号処理手段の動作が切り換えられる遷移期間に境界露出制御が行われる。これにより第１、第２の信号処理手段での処理アルゴリズムと露出制御の差異による、出力映像の差（輝度や色の差）を吸収する。【選択図】        図５
2004350204.tif 000002
【特許請求の範囲】
【請求項１】
被写体から得られた光を電気信号である撮像映像信号に変換する撮像手段と、
被写体輝度が第１の所定値より低い低輝度領域にあるときに、上記撮像映像信号に対して通常信号処理を行って映像信号を出力する第１の信号処理手段と、
被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときに、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号との合成処理を行って映像信号を出力する第２の信号処理手段と、
撮像映像信号の輝度情報に応じて、上記第１の信号処理手段の機能時には適正露出に調整する露出制御を行い、上記第２の信号処理手段の機能時には上記第１の露出状態を得る露出調整と上記第２の露出状態を得る露出調整を行うとともに、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記第２の信号処理手段による上記合成処理における合成比率を変化させる境界露出制御を行う制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記制御手段は、上記境界露出制御において、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第１の信号処理手段と上記第２の信号処理手段は、それぞれ上記被写体輝度を検出する輝度情報検出部を含み、
上記制御手段は、上記境界露出制御において、上記第１の信号処理手段における輝度情報検出部からの輝度情報と、上記第２の信号処理手段における輝度情報検出部からの輝度情報の混合比を変化させることを特徴とする請求項１に記載の撮像装置。
【請求項４】
被写体から得られた光を電気信号である撮像映像信号に変換し、
被写体輝度が第１の所定値より低い低輝度領域にあるときには、上記撮像映像信号に対して通常信号処理を行って映像信号を生成し、
被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときには、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号とを合成して映像信号を生成し、
被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記合成における合成比率を変化させつつ映像信号を生成する、
ことを特徴とする撮像方法。
【請求項５】
上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、さらに、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させることを特徴とする請求項４に記載の撮像方法。
【請求項６】
上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、
上記通常信号処理を実行する回路により検出された輝度情報と、上記合成を実行する回路により検出された輝度情報とを、所定の混合比で混合して輝度情報及び露出制御の収束目標値を算出し、
上記輝度情報と上記収束目標値との比較結果に基づいて、上記合成比率及び上記圧縮率を変化させることを特徴とする請求項５に記載の撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像装置及び撮像方法に関するものである。
【０００２】
【従来の技術】
【特許文献１】特開平８−２８０１８８
例えばＣＣＤ等の撮像素子を用いて被写体映像を撮像するビデオカメラなどの撮像装置では、被写体の輝度に関わらず安定した映像が撮像できるように自動露出調整が行われるものが知られている。公知の通り、露出を調整するには主に３つの手法があり、絞り調整、シャッタースピード調整、ゲイン調整である。
【０００３】
上記の絞り調整によっては、被写体の輝度に応じて入射光量を調整することができ、適切な露出状態を得ることができる。
例えば上記特許文献１には、撮像素子に至る撮像光の入射経路にメカニカルな絞り機構（アイリス機構）を備え、複数の羽根により口径を大小させることで入射光量を調整する構成及びその駆動制御のための技術が開示されている。
【０００４】
また、シャッタースピード（ＣＣＤの場合は露出情報の転送タイミングによる電子シャッタで制御される露光時間）を調整することも露出調整となる。
さらに、ＣＣＤ等の撮像素子によって得られた撮像映像信号のゲインを可変することでも、信号上で輝度調整ができ、即ち露出調整が可能である。
ビデオカメラにおいては、このような３つの手法が組み合わされて、適切な自動露出調整が行われている。
【０００５】
【発明が解決しようとする課題】
ところで、撮像装置で撮像を行う被写体は、画面上で全体的に輝度が低い或いは高いということばかりでなく、画面内で輝度が高い部分と低い部分が混在することも多々ある。特に非常に輝度の高い部分と輝度の低い部分が混在すると、最適な露出調整が難しく、撮像された映像を高品位とすることができない。
このため、撮像された映像信号に対する処理を工夫し、広い輝度ダイナミックレンジに対応して高品位な映像を得るための手法が開発されている。
【０００６】
例えば通常の信号処理アルゴリズムと特殊な信号処理アルゴリズムを用意する。そして被写体輝度がかなり高くなり、被写体の輝度ダイナミックレンジが広いとされる場合には、通常の信号処理アルゴリズムから特殊な信号処理アルゴリズムに切り換え、広いダイナミックレンジに対応した処理とすることが考えられている。
しかしながら、このように複数の信号処理機能を輝度変化に応じて切り換えるようにする場合、その切換の際に、出力される映像信号が急激に変化してしまう。つまり複数の信号処理アルゴリズムでの処理において輝度や色などの差異が生ずるため、連続した映像上で、信号処理の変化があった時点で、映像上にショック（輝度や色あい等の急激な変化）があらわれてしまうという問題があった。
【０００７】
【課題を解決するための手段】
本発明はこのような事情に鑑みて、複数の信号処理アルゴリズムでの処理が切り換えられる際に、ショックがあらわれない円滑な映像信号出力を行うことができるようにすることを目的とする。
【０００８】
本発明の撮像装置は、被写体から得られた光を電気信号である撮像映像信号に変換する撮像手段と、被写体輝度が第１の所定値より低い低輝度領域にあるときに、上記撮像映像信号に対して通常信号処理を行って映像信号を出力する第１の信号処理手段と、被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときに、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号との合成処理を行って映像信号を出力する第２の信号処理手段と、撮像映像信号の輝度情報に応じて、上記第１の信号処理手段の機能時には適正露出に調整する露出制御を行い、上記第２の信号処理手段の機能時には上記第１の露出状態を得る露出調整と上記第２の露出状態を得る露出調整を行うとともに、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記第２の信号処理手段による上記合成処理における合成比率を変化させる境界露出制御を行う制御手段とを備える。
また、上記制御手段は、上記境界露出制御において、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させる。
また、上記第１の信号処理手段と上記第２の信号処理手段は、それぞれ上記被写体輝度を検出する輝度情報検出部を含み、上記制御手段は、上記境界露出制御において、上記第１の信号処理手段における輝度情報検出部からの輝度情報と、上記第２の信号処理手段における輝度情報検出部からの輝度情報の混合比を変化させる。
【０００９】
本発明の撮像方法は、被写体から得られた光を電気信号である撮像映像信号に変換し、被写体輝度が第１の所定値より低い低輝度領域にあるときには、上記撮像映像信号に対して通常信号処理を行って映像信号を生成し、被写体輝度が上記第１の所定値より大きな第２の所定値より高い高輝度領域にあるときには、第１の露出状態において得られた撮像映像信号と第２の露出状態において得られた撮像映像信号とを合成して映像信号を生成し、被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記合成における合成比率を変化させつつ映像信号を生成する。
また、上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、さらに、上記第１の露出状態において得られた撮像映像信号と上記第２の露出状態において得られた撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を変化させる。
また上記被写体輝度が上記第１の所定値と上記第２の所定値の間にある場合には、上記通常信号処理を実行する回路により検出された輝度情報と、上記合成を実行する回路により検出された輝度情報とを、所定の混合比で混合して輝度情報及び露出制御の収束目標値を算出し、上記輝度情報と上記収束目標値との比較結果に基づいて、上記合成比率及び上記圧縮率を変化させる。
【００１０】
以上の本発明において、被写体輝度条件によって上記第１の信号処理手段の動作と上記第２の信号処理手段の動作が切り換えられる遷移期間に、上記第２の信号処理手段における合成処理の合成比率の変化、さらにはダイナミックレンジ圧縮率の変化や起動情報の混合比の変化を行う境界露出制御は、第１の信号処理手段の機能時の露出制御と、第２の信号処理手段の機能時の露出制御をつなぐかたちで行われる。そして、第１の信号処理手段と第２の信号処理手段では、その処理アルゴリズムと露出制御に差異があって、出力映像の差（輝度や色の差）が大きいが、境界露出制御によってその差異を吸収する。具体的には処理パラメータを段階的に変化させていくことで、信号処理の差によって出力映像上にショックが生ずることを防止し、また取得する輝度情報の混合比を段階的に変化させていくことで、露出制御の差によって出力映像上にショックが生ずることを防止する。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図１〜図６を用いて説明する。
図１は実施の形態の撮像装置の要部のブロック図である。この撮像装置は、例えば動画としての撮像映像信号を得るビデオカメラとされる。
【００１２】
被写体からの撮像光は撮像レンズ１を介して入射される。この撮像光１はメカアイリス部２を介してＣＣＤ３に結像される。メカアイリス部２は、例えば複数の羽根により口径を大小させることで入射光量を調整するようにされた絞り機構である。このメカアイリス部２においては、口径を形成する複数の羽根と、その羽根を駆動し口径を可変させるための駆動機構を有する。駆動機構は、駆動用モータ及びモータコイルに駆動信号を与える回路系から成る。そしてこのメカアイリス部２に対しては、駆動制御電圧ＶＣＮＴが与えられることで、複数の羽根がオープン方向又はクローズ方向に駆動される。
【００１３】
ＣＣＤ３に結像された撮像光は電気信号に変換される。即ち各画素の電荷として蓄積され、転送クロックによって画素電荷が転送されていくことで電気信号としての撮像映像信号に変換され、ＣＤＳ／ＡＧＣ回路４に供給される。ＣＣＤ３においては、タイミングジェネレータ１３からの転送タイミング信号ＴＭが供給されるが、この転送タイミング信号ＴＭの周波数は、電子シャッタとしてのシャッタースピードを規定するものとなる。
【００１４】
ＣＤＳ／ＡＧＣ回路４においては、ＣＤＳ（相関２重サンプリング）処理により撮像映像信号としてのデータをサンプルホールドし、さらにＡＧＣ（オートゲインコントロール）処理によるゲイン調整を行なう。ＡＧＣ処理については、ゲイン制御信号Ｃｇにより、その調整ゲインが制御される。
【００１５】
ＣＤＳ／ＡＧＣ回路４から出力される撮像映像信号は、Ａ／Ｄ変換器５においてデジタルデータに変換され、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０に入力される。
ＤＳＰ１０は本発明でいう第２の信号処理手段に相当し、撮像映像信号に対して、ワイドダイナミックレンジ処理（以下、ＷＤ処理）としての信号処理を行う部位とされる。ＷＤ処理とは、特に被写体輝度が高い場合において、ＤＳＰ１０で行われる処理である。
図２を用いてＷＤ処理を説明する。
【００１６】
ＷＤ処理は、広ダイナミックレンジ信号処理を実現するために、長時間露光と短時間露光の２つの撮像を行い得られた２つの画像の適切な露出箇所を合成し１枚のワイドダイナミックレンジ撮像画像を作り出すアルゴリズムである。
今、図２（ａ）のような被写体を想定する。例えば樹木に対して太陽光が直接あたり、樹木の部分が非常に高輝度な被写体となっている。一方、人物は塀によって太陽光から遮られた位置にいることで、低輝度の被写体となっている。このように被写体において輝度のレンジが広い場合、通常の露出制御では最適な映像を得ることができない。即ち露出を上げれば人物にはよいが、樹木には適切な状態とならない。露出を下げるとその逆となる。
そこでこのような場合のＷＤ処理では、例えば長時間露光画像（第１の露出状態）として図２（ｂ）のように人物にとって適切な露出の映像を得、さらに短時間露光画像（第２の露出状態）として図２（ｃ）のように樹木にとって適切な露出の映像を得る。そしてこの２つの画像において露出が適切となっている箇所をそれぞれ抽出し、合成する。すると図２（ｄ）のように人物と樹木の両方に適切な露出の画像が得られる。
ＤＳＰ１０は、ＷＤ処理としてこのように長時間露光画像と短時間露光画像を合成して１つの画像を得る処理を行うものである。
【００１７】
ＤＳＰ１０とともに、ＤＳＰ２０が設けられる。ＤＳＰ２０は、本発明でいう第１の信号処理手段に相当し、被写体輝度が或るレベルより低い場合において撮像映像信号に対して通常の映像信号処理を行う。
通常の映像信号処理とは、上記ＷＤ処理のような特別な信号処理を行わないで、１回の撮像で１枚の画像を作り出す従来型の信号処理である。
そして例えばＤＳＰ２０では、撮像映像信号に対する輝度（Ｙ）信号処理や色（Ｃ）信号処理を行う。
【００１８】
このようにＤＳＰ１０，ＤＳＰ２０が設けられる本例では、通常は、撮像映像信号に対する信号処理はＤＳＰ１０をパスしてＤＳＰ２０において実行されるが、特に被写体輝度がかなり高輝度の場合、ＤＳＰ１０においてＷＤ処理が施されるものとなる。
【００１９】
ＤＳＰ１０又はＤＳＰ２０で処理された信号は、図示しない次段の回路系に供給される。例えばモニタ出力映像としての処理回路系に供給される。また例えば当該撮像装置が、ディスクやテープメディアに映像信号を記録する記録装置部を備えているのであれば、ＤＳＰ５で処理された撮像映像信号は、所定の記録用エンコード処理や圧縮処理などを経て、メディアに記録される。
【００２０】
ＤＳＰ１０及びＤＳＰ２０には、それぞれオプティカルディテクタ１１、２１が設けられる。オプティカルディテクタ１１は積分器であり、例えば映像信号のフィールド単位で輝度信号、色信号の積分処理を行う。そしてフィールド単位の積分値（以下、ＯＰＤ値）をコントローラ６に供給する。特に本実施の形態では、コントローラ６による自動露出制御に関して述べていくが、この自動露出制御に関して輝度信号のＯＰＤ値を用いることになる。
【００２１】
コントローラ６は、例えばマイクロコンピュータにより構成される。ＲＯＭ６ａ、ＲＡＭ６ｂは、コントローラ６の処理プログラム、制御変数、処理係数等の格納や、各種演算のためのワーク領域として用いられる。
コントローラ６は、撮像映像信号に対する信号処理の実行について、ＤＳＰ１０、ＤＳＰ２０を選択的に切り換える処理を行う。
また、ＤＳＰ１０、ＤＳＰ２０での信号処理実行制御や、処理に用いるパラメータの設定などの処理を行う。
【００２２】
さらにコントローラ６は、自動露出調整（ＡＥ）のための制御機能を有する。コントローラ６は、オプティカルディテクタ１１からの輝度積分値ＯＰＤ（Ｄ）又はオプティカルディテクタ２１からの輝度積分値ＯＰＤ（Ｎ）に基づいて、ＡＥ制御を行う。即ち供給されたＯＰＤ値を、基準のＯＰＤ値と比較する演算によって得られるエラー値に基づいて露出調整処理を実行する。上述したように露出調整のためには、絞り調整、シャッタスピード調整、ゲイン調整の３つの手法が用いられる。
【００２３】
コントローラ６は、露出調整のためにシャッタースピード調整を実行させる際にはシャッタースピード制御信号Ｃｓをタイミングジェネレータ１３に対して出力する。シャッタースピード制御信号Ｃｓは、タイミングジェネレータ１３からＣＣＤ３に供給する露光時間を規定する信号であり、これによってコントローラ６がシャッタースピードを可変指示できる。例えばシャッタースピードとして１／６０秒〜１／１０００秒などの間で可変指示される。
またコントローラ６は、露出調整のためにゲイン調整を実行させる際にはゲイン制御信号ＣｇをＣＤＳ／ＡＧＣ回路４に対して出力する。ゲイン制御信号Ｃｇは、ＡＧＣ処理でのゲイン値を指定する信号であり、ＣＤＳ／ＡＧＣ回路４では、ゲイン制御信号Ｃｇで指定されたゲインを基準としてゲイン調整処理が行われる。これによってコントローラ６が撮像映像信号に与えるゲインを可変指示できる。
さらにコントローラ６は、絞り調整を実行させるためには、アイリス制御信号Ｃｉを出力する。アイリス制御信号ＣｉはＥＶＲ（電子ボリューム）１４により所要の電圧調整が行われ、駆動制御電圧ＶＣＮＴとしてメカアイリス部２に供給される。アイリス制御信号Ｃｉは、メカアイリス部２をオープン方向又はクローズ方向に駆動させるように指示する信号である。従って、コントローラ６がアイリス制御信号Ｃｉとしてオープン方向の値を出力することで、メカアイリス部２においては口径が開くオープン方向に駆動され、またコントローラ６がアイリス制御信号Ｃｉとしてクローズ方向の値を出力することで、メカアイリス部２においては口径が閉じるクローズ方向に駆動される。さらにコントローラ６がアイリス制御信号Ｃｉとして駆動停止の値を出力することで、メカアイリス部２においてはその時点の口径状態を維持する。
【００２４】
ここで、コントローラ６による露出制御方式及びＤＳＰ１０，２０の振り分けを図３で説明する。
自動露出調整とは、被写体輝度に関わらず、安定した輝度レベルの撮像映像信号が得られるようにすることである。そしてそのために、上記のように絞り、シャッタースピード、ゲインを調整する。
図３には横軸に被写体輝度をとって、被写体輝度に応じて露出調整動作の一例を示している。
【００２５】
例えばこの図３のように、被写体輝度レベルとしての所定値Ｃ、Ｄにおいて、ＤＳＰ２０、ＤＳＰ１０の処理が切り分けられる。
被写体輝度レベルが第１の所定値Ｃより低輝度の範囲にあるときは、映像信号処理としてはＤＳＰ２０による通常処理が行われる。そしてコントローラ６は、ＤＳＰ２０による通常処理が行われる被写体輝度レベルの範囲は、通常ＡＥ制御領域としてＡＥ処理（露出調整）を行う。
この通常ＡＥ制御領域においては、コントローラ６はオプティカルディテクタ２１からの輝度積分値ＯＰＤ（Ｎ）に基づく制御を行う。例えば被写体輝度レベルがＢ〜Ｃの範囲にあるときは、絞り調整或いはシャッタースピード調整による露出制御を行う。また被写体輝度レベルがＡ〜Ｂの範囲にあるときは、ゲイン調整による露出制御を行う。さらに被写体輝度レベルがＡ以下の範囲にあるときは、シャッタースピード制御（スローシャッタ）による露出制御を行う。これらの露出制御を、輝度積分値ＯＰＤ（Ｎ）がその収束目標値に達するように実行する。
【００２６】
被写体輝度レベルが第２の所定値Ｄより高輝度の範囲にあるときは、映像信号処理としてはＤＳＰ１０によるＷＤ処理が行われる。そしてコントローラ６は、ＤＳＰ１０による通常処理が行われる被写体輝度レベルの範囲は、ＷＤ−ＡＥ制御領域としてＡＥ処理（露出調整）を行う。
このＷＤ−ＡＥ制御領域においては、コントローラ６はオプティカルディテクタ１１からの輝度積分値ＯＰＤ（Ｄ）に基づく制御を行う。例えば絞り調整或いはシャッタースピード調整による露出制御を行う。これらの露出制御を、輝度積分値ＯＰＤ（Ｄ）がその収束目標値に達するように実行する。
【００２７】
そして本例では、特に輝度レベルが第１の所定値Ｃと第２の所定値Ｄの間にある場合、即ち通常ＡＥ制御領域とＷＤ−ＡＥ制御領域の境界領域において、境界ＡＥ制御が行われる。
この境界ＡＥ制御は、映像信号処理がＤＳＰ１０とＤＳＰ２０の間で切り換えられる際に、出力される映像信号にショックが生じないようにするために実行される。
以下、境界ＡＥ制御について述べていく。
【００２８】
上述したように本例では、２つの異なる信号処理を行う機能を有する。そしてＤＳＰ１０によるワイドダイナミックレンジ撮像機能（ＷＤ処理）と、ＤＳＰ２０による通常撮像機能（通常処理：通常輝度〜低照度での撮像機能）を、被写体条件（ダイナミックレンジ、輝度）によって切り替えるものである。
このＤＳＰ１０、ＤＳＰ２０のそれぞれによる機能では、その映像信号処理およびそれぞれの自動露出制御（ＡＥ）のアルゴリズムがまったく異なる。
このため信号処理による出力映像の差と、ＡＥ処理による出力映像の差が生ずる。
【００２９】
まず映像信号処理においては、ＤＳＰ１０のＷＤ処理では、上記図２で説明したように、ワイドダイナミックレンジ信号処理を実現するために、第１，第２の露出状態、即ち長時間露光と短時間露光の２つの撮像を行い、得られた２つの画像の適切な露出箇所を合成し１枚のワイドダイナミック撮像画像を作り出すアルゴリズムである。
一方、ＤＳＰ２０の通常処理は上記のような特別な信号処理を行わない１回の撮像で１枚の画像を作り出す従来型の信号処理である。
【００３０】
このような信号処理の差異によっては、ＷＤ処理を行うＤＳＰ１０はダイナミックレンジを圧縮した映像信号を出力し、一方通常処理を行うＤＳＰ２０は特にダイナミックレンジを圧縮することのない映像信号を出すことになる。ＷＤ処理の場合、ダイナミックレンジの広い合成撮像映像を生成するが、その場合、映像モニタ装置などの出力デバイスのダイナミックレンジに合わせる必要が生じ、そのため上記図２の合成処理を行った後、或る程度ダイナミックレンジ圧縮処理が行われるためである。
そしてこのようにＷＤ処理がダイナミックレンジ圧縮処理を行い、通常処理ではダイナミックレンジ圧縮処理を行わないことから、同じ被写体を撮像したとしてもＤＳＰ１０の出力映像とＤＳＰ２０の出力映像には差が生じる。
【００３１】
またＡＥ処理において、ＤＳＰ２０で通常処理が行われる際には、主に画面全体を測光して適正露出に制御するが、ＤＳＰ１０でＷＤ処理が行われる際は、長時間露光撮像において低輝度被写体をターゲットにした適正露出より明るい露出条件をもつ処理（ＷＤ−ＡＥ処理（ｉ）とする）と、短時間露光において高輝度被写体をターゲットにした適正露出より暗い露出条件をもつ処理（ＷＤ−ＡＥ処理（ｉｉ）とする）との２つが行われる。このような露出制御の差異においてもＤＳＰ１０の出力映像とＤＳＰ２０の出力映像には差が生じる。
【００３２】
本例の境界ＡＥ制御は、このような信号処理の差異及びＡＥ制御の差異によって生ずる出力映像の差を吸収するものである。
そしてこの境界ＡＥ制御は、自動露出制御の一部として機能し、図３に示した通常ＡＥ制御領域とＷＤ−ＡＥ制御領域をつなぐ形で存在する。
【００３３】
まず信号処理の差異による出力映像の差異を解消するためには、境界ＡＥ制御において、ＤＳＰ１０のＷＤ処理におけるパラメータとして、ミックススタート（ＭＩＸ  ＳＴＡＲＴ）、及びアジャストゲイン（ＡＤＪＵＳＴ  ＧＡＩＮ）が変化されるようにする。
即ち本例では、ＡＥ制御においてミックススタート、及びアジャストゲインが設定されるようにするとともに、そのパラメータが境界ＡＥ制御において変化される。
【００３４】
ミックススタートのパラメータとは、ＤＳＰ１０において長時間露光画像と短時間露光画像の２つの画像を合成する際に、どの信号レベルを境に合成をするかを決めるパラメータである。
例えば図４において、横軸は入力映像信号の画素の輝度レベルを示し、その画素輝度としての或る値として設定されたミックススタートパラメータを示している。図４の縦軸は長時間露光画像と短時間露光画像に与えるゲインであり、実線は短時間露光画像のゲイン、破線は長時間露光画像のゲインを示す。
【００３５】
例えば図４（ａ）のようにミックススタート＝Ｙ１と設定されている場合、輝度が輝度レベルＹ１より低い画素については長時間露光画像のゲインが１、短時間露光画像のゲインが０とされ、その画素については、合成処理において長時間露光画像側の画素が用いられる。一方、輝度が輝度レベルＹ２より高い画素については長時間露光画像のゲインが０、短時間露光画像のゲインが１とされ、その画素については、合成処理において短時間露光画像側の画素が用いられる。輝度レベルＹ１〜Ｙ２の範囲の画素については、長時間露光画像と短時間露光画像が、図に示されるゲインの比率で合成されることになる。
【００３６】
ＷＤ処理時の露出調整が行われるＷＤ−ＡＥ制御領域においては、上述したＷＤ処理のために、ミックススタートパラメータの値はある適性値に設定されている。
ここで、ミックススタートパラメータは、長時間露光画像側と短時間露光画像側の２つの画像を合成する処理における、合成の基準となる画素輝度レベルを指定するパラメータであるため、ミックススタートパラメータを変化させることによれば、合成画像において長時間露光画像と短時間露光画像のしめる割合、即ち合成比率を変化させるものとなる。
例えばミックススタートパラメータの値を大きくしていくと図４（ｂ）のようになる。図４（ｂ）はミックススタート＝Ｙ３とした場合であり、この場合、輝度がＹ３〜Ｙ４の範囲の画素において長時間露光画像側の画素と短時間露光画像側の画素が混合される。
そしてこの場合、長時間露光画像側の画素のみを用いる画素輝度の範囲がＹ３にまで拡大することになり、つまり、合成映像に長時間露光画像成分の占める割合が大きくなっていく。
このミックススタートパラメータを最大値にすると、ＤＳＰ１０で形成される合成画像は長時間露光画像が１００％用いられたものとなることが理解される。
【００３７】
またＤＳＰ１０のＷＤ処理においては、上述したように出力デバイス（ＴＶモニタ等）のダイナミックレンジに合わせるため、合成映像信号のダイナミックレンジ圧縮を行う機能を有する。
このダイナミックレンジ圧縮処理のパラメータがアジャストゲインである。
【００３８】
ＷＤ−ＡＥ制御領域では、ＤＳＰ１０のＷＤ処理として広ダイナミックレンジ画像処理を行うため、アジャストゲインとしてのパラメータを或る適性値に設定している。
このアジャストゲインを大きくしていくと合成映像信号に対するダイナミックレンジの圧縮率が小さくなっていき、最大値にすると圧縮率は１（＝圧縮しない）ものとなる。
【００３９】
ここで本例の境界ＡＥ制御領域を図５に示す。
これはＡＥ制御として、ＷＤ−ＡＥ制御領域と通常ＡＥ制御領域の間で境界ＡＥ制御が行われることを模式的に示しているものである。つまり、ＡＥ制御において、ＷＤ−ＡＥ制御と通常ＡＥ制御の間で移行する際（ＤＳＰ１０の処理とＤＳＰ２０の処理が切り換えられる際）に、境界ＡＥ制御が実行される。
なお、境界ＡＥ制御領域の範囲をＳｃａｌｅ値で表しているが、このＳｃａｌｅ値とは、撮像装置のシステムゲインに相当する値である。説明上、システムゲインとは撮像装置において映像信号の輝度を決定するゲインの総称とする。システムゲインを変化させる要因としては、アイリス（絞り）、電子シャッタ、ＡＧＣゲインなどがあり、また上記ミックススタート及びアジャストゲインは、出力映像信号の輝度をコントロールできることから、システムゲインを変化できる制御対象の一部となる。
【００４０】
図５に示すように、境界ＡＥ制御領域としては、ＷＤパラメータ制御領域と、ＯＰＤＭＩＸ領域が設定されている。
ＷＤパラメータ制御領域は、上述したＤＳＰ１０とＤＳＰ２０の信号処理の際によって生ずる出力映像の差を解消するための制御領域であり、このＷＤパラメータ制御領域では、図示するように上記のミックススタート及びアジャストゲインを変化させるものとなる。
【００４１】
この処理を、ＷＤ−ＡＥ制御領域から通常ＡＥ制御領域に向かって遷移する場合で述べる。
ミックススタート、アジャストゲインとしての各パラメータは、ＷＤ−ＡＥ制御領域においては、上記したようにそれぞれ適正値に設定されている。
ＷＤパラメータ制御領域の制御としては、ＷＤ−ＡＥ制御領域においてある適性値に設定されているミックススタートおよびアジャストゲインを徐々に最大値に近づけて、長時間露光画像１００％かつ圧縮率＝１の出力画像を得るように制御する。その後、通常ＡＥ制御領域に移行する。
このようにすれば、通常ＡＥ制御領域に移行した直後のＤＳＰ２０による信号処理画像と、通常ＡＥ制御領域に移行する直前のＤＳＰ１０の信号処理画像は、露出条件さえあっていれば差異が生じなくなる。
【００４２】
ここまでは、ＤＳＰ１０，２０の信号処理の差異によって出力映像信号に急激に差が生ずることを防止する手法である。
本例ではさらに、上記したＡＥ制御処理の差によって出力映像信号に差が生ずることを、以下のようにして防止する。
【００４３】
ＷＤ−ＡＥ制御の際には、コントローラ６はオプティカルディテクタ１１で測光された輝度積分値ＯＰＤ（Ｄ）を用いてＡＥ制御を行う。
一方、通常ＡＥ制御の際には、コントローラ６はオプティカルディテクタ２１で測光された輝度積分値ＯＰＤ（Ｎ）を用いてＡＥ制御を行う。
【００４４】
さらにＷＤ−ＡＥ制御で用いられるオプティカルディテクタ１１は、上述した、長時間露光撮像において低輝度被写体をターゲットにした適正露出より明るい露出条件をもつ処理であるＷＤ−ＡＥ処理（ｉ）のための測光機能と、短時間露光において高輝度被写体をターゲットにした適正露出より暗い露出条件をもつ処理であるＷＤ−ＡＥ処理（ｉｉ）のための測光機能を有している。
【００４５】
ここで、ＷＤ−ＡＥ制御領域から通常ＡＥ制御領域に遷移する際を考えると、その測光処理はオプティカルディテクタ１１からオプティカルディテクタ２１に遷移されることになる。
このとき、それぞれの露出制御対象を、ＷＤ−ＡＥ処理（ｉ）が低輝度被写体とし、通常ＡＥ制御が主に画面全体としているため、ＡＥ制御の収束条件（収束とは最適露出への収束）が異なるものとなり、その結果出力映像に差異が生ずる。
そこで本例では、上記図５の境界ＡＥ制御領域において、ＯＰＤ  ＭＩＸ領域と呼ぶ領域を設け、このＯＰＤＭＩＸ領域における測光は、オプティカルディテクタ１１，２１の２つのＯＰＤ値（ＯＰＤ（Ｄ）、ＯＰＤ（Ｎ））の合成値を用いるようにしている。
【００４６】
この場合の合成値は、
ＯＰＤ合成値＝（ＯＰＤ（Ｄ）×ｋ）  ＋  （ＯＰＤ（Ｎ）×（１−ｋ））    ・・・（式１）
但し、０≦ｋ≦１
とする。
係数ｋの値は、図５のようにＯＰＤＭＩＸ領域内で変化される。
これによってＷＤ−ＡＥ制御領域から境界ＡＥ制御領域に遷移した直後はｋ＝１であるため、オプティカルディテクタ１１からのＯＰＤ（Ｄ）値を１００％使用してＡＥ制御がなされる。
またＯＰＤＭＩＸ領域内で、通常ＡＥ制御領域側に移行するほど、係数ｋの値が小さくなり、オプティカルディテクタ２１からのＯＰＤ（Ｎ）値の混合比が大きくなる。そして通常ＡＥ制御領域へ遷移する直前ではＯＰＤ（Ｎ）値を１００％使用してＡＥ制御が行われる。
【００４７】
またＷＤ−ＡＥ制御と通常ＡＥ制御の収束ターゲットの差が、ＡＥ制御が収束する位置、つまり適正露出値（収束目標値）の差として説明できる場合、境界ＡＥ制御領域の収束目標値は次のように求めればよい。
ＷＤ−ＡＥ処理（ｉ）の収束目標値をＴｉ、通常ＡＥ処理の収束目標値をＴＮとすると、
2004350204.tif 000003
但し、０≦ｋ≦１
である。
これによって、ＷＤ−ＡＥ制御領域から境界ＡＥ制御領域に遷移した直後は、ＷＤ−ＡＥ処理（ｉ）の収束目標値Ｔｉを１００％使用してＡＥ処理が行われ、また境界ＡＥ制御領域から通常ＡＥ制御領域に遷移する直前では、収束目標値ＴＮを１００％使用してＡＥ処理が行われることとなる。
【００４８】
このようにＡＥ制御に用いるＯＰＤ値と収束目標値を、境界ＡＥ制御領域において徐々に変化させることで、ＷＤ−ＡＥ制御と通常ＡＥ制御が切り換えられる際に、ＡＥ制御の違いによって生ずる出力映像の急激な変化を解消する。
【００４９】
本例では、境界ＡＥ制御領域において、以上のようなＷＤパラメータ制御領域におけるパラメータ（ミックススタート、アジャストゲイン）の制御を行い、またＯＰＤＭＩＸ領域においてＯＰＤ値及び収束目標値の制御を行うことで、出力映像に生ずるショックを防止するものである。
以下、境界ＡＥ制御領域での具体的な処理例を説明する。
【００５０】
図５に示したように、境界ＡＥ制御領域の全体をＳｃａｌｅと呼ぶ値であらわすとする。
説明上、仮に、当該境界ＡＥ制御領域として、ＷＤ−ＡＥ制御領域との境界をＳｃａｌｅ＝０とし、通常ＡＥ制御領域との境界をＳｃａｌｅ＝２００とする。また、境界ＡＥ制御領域内で、ＷＤパラメータ制御領域とＯＰＤＭＩＸ領域の境界をＳｃａｌｅ＝１００とする。
【００５１】
ここで現在の制御点をｎｏｗとする（ｎｏｗ  ＝  ０  〜  ２００）。現在の制御点とは、現在の撮像装置のシステムゲインに相当する。即ち出力映像における輝度レベルということもできる。
【００５２】
この場合、上記の式１、式２におけるｋの値はｋ＝  （１００−ｎｏｗ）／１００  と表現できる。（ただし  （０≦ｋ≦１）  ）
ここで式１と式２の演算結果を比較する。
式１で算出された輝度積分値（ＯＰＤ合成値）が、式２で算出された収束目標値より大きければ、被写体が明るいと判断できるため、ｎｏｗの値を減らして（つまりＳｃａｌｅ値を減らして）システムゲインを下げる。
また逆に、式１で算出された輝度積分値（ＯＰＤ合成値）が、式２で算出された収束目標値より小さければ、被写体が暗いと判断できるため、ｎｏｗの値を増加させて（つまりＳｃａｌｅ値を増加させて）システムゲインを上げる。これらによってＡＥ制御とする。
【００５３】
ここまでは、収束位置の算出になるが、このように増減されＳｃａｌｅ値を用いてミックススタート、アジャストゲインのパラメータ制御を行う。
ミックススタート、アジャストゲインを以下のように算出する。
ＭＩＸ  ＳＴＡＲＴ＝ＭＳ最大値×Ｌ＋ＭＳ適正値×（１  −  Ｌ）      ・・・（式３）
ＡＤＪＵＳＴ  ＧＡＩＮ＝ＡＧ最大値×Ｌ＋ＡＧ適正値×（１  −  Ｌ）    ・・・（式４）
【００５４】
なお、ＭＳ最大値とは、ミックススタートパラメータのとりうる最大値、ＭＳ適正値とは、ＷＤ−ＡＥ制御領域において適正値（最大値未満）に設定されているミックススタート値である。
また、ＡＧ最大値とは、アジャストゲインパラメータのとりうる最大値、ＡＧ適正値とは、ＷＤ−ＡＥ制御領域において適正値（最大値未満）に設定されているアジャストゲイン値である。
Ｌは、図５にも示したが、Ｌ＝（Ｓｃａｌｅ  −  １００  ）  ／  １００  で表される値である（但し、０≦Ｌ≦１）
【００５５】
以上のように、現在の制御点ｎｏｗから規定される係数ｋに応じて、式１，式２で輝度積分値と収束目標値が算出されることで、現在の制御点に応じてＯＰＤＭＩＸ領域でのＡＥ制御の変化、つまりＷＤ−ＡＥ制御と通常ＡＥ制御をスムーズに連続させるための動作が行われる。
またＳｃａｌｅ値によって、ミックススタートパラメータとアジャストゲインは、図５に示すように変化される。つまりＷＤパラメータ制御領域において、通常ＡＥ制御領域に近いＳｃａｌｅ値となるほど、大きい値に変化される。
【００５６】
なお、アジャストゲインを上げて圧縮率を低くすると、オプティカルディテクタ２１で検波されるＤＳＰ１からの出力映像は、全体的に輝度が増すものとなる。このためシステムゲインが上がったことと同等の動きをすることになりＷＤパラメータ制御領域はＡＥ処理としてのフィードバックが成立する。
これに対しＯＰＤＭＩＸ領域は、内部的なＡＥ評価値となるＯＰＤ合成値が変化するだけで、システムゲインが変化しないため、不感帯に相当する働きを示す。これによって境界ＡＥ制御領域ではヒステリシス特性を持つこととなり、発振しにくくなる。
【００５７】
以上の境界ＡＥ制御領域の処理をフローチャートで示したものが図６である。
図６の処理は、コントローラ６において輝度積分値が入力される毎に行われる。
ステップＦ１０１では、上記式１によりＯＰＤ合成値を算出する。
ステップＦ１０２では、上記式２により収束目標値を算出する。
ここで、式１＞式２、つまりＯＰＤ合成値＞収束目標値であれば、ステップＦ１０３からＦ１０４に進んで、Ｓｃａｌｅ値を１減ずる。
一方、式１＜式２、つまりＯＰＤ合成値＜収束目標値であれば、ステップＦ１０５からＦ１０６に進んで、Ｓｃａｌｅ値を１増加させる。
【００５８】
ステップＦ１０７は、上記のように増減されたＳｃａｌｅ値が２００を越えたか否かを確認する。Ｓｃａｌｅ値＝２００とは通常ＡＥ制御領域との境界である。もしＳｃａｌｅ値が２００を越えていれば、ステップＦ１０７からＦ１０８に進んで、通常ＡＥ制御に移行するものとなる。
ステップＦ１０９は、上記のように増減されたＳｃａｌｅ値が０より小さくなったか否かを確認する。Ｓｃａｌｅ値＝０とはＷＤ−ＡＥ制御領域との境界である。もしＳｃａｌｅ値が０より小さくなっていれば、ステップＦ１０９からＦ１１０に進んで、ＷＤ−ＡＥ制御に移行する。
【００５９】
Ｓｃａｌｅ値が０以上２００以下の範囲、つまり境界ＡＥ制御領域内であるならステップＦ１１１に進む。そして、その時点のＳｃａｌｅ値から係数ｋ、Ｌを求める。Ｓｃａｌｅ値に対して係数ｋ、Ｌは図５に示したように設定されている。つまりＳｃａｌｅ値から一意に求められる値となる。
ステップＦ１１２では、係数ｋ、Ｌの値を用い、上記式３，式４によってミックススタート、及びアジャストゲインとしての値を求める。そして求めたミックススタート、アジャストゲインをＤＳＰ１０に設定する。
【００６０】
境界ＡＥ制御領域において、この図６のような処理が行われていくことで、上述したようにＷＤ−ＡＥ制御領域と通常ＡＥ制御領域の遷移期間において、出力映像にショックが生じないようにされることになる。これによって２つの異なる信号処理方式をスムーズに連続させることができる。
【００６１】
【発明の効果】
以上の説明から理解されるように本発明では、境界露出制御として、第２の信号処理手段における合成処理の合成比率を変化させる処理、合成画像のダイナミックレンジ圧縮率を変化させる処理、さらには輝度情報の混合比を変化させる処理が、第１の信号処理手段の機能時の露出制御と、第２の信号処理手段の機能時の露出制御をつなぐかたちで行われる。つまり第１の信号処理手段の動作と第２の信号処理手段の動作が切り換えられる遷移期間に境界露出制御が行われる。そして、第１の信号処理手段と第２の信号処理手段では、その処理アルゴリズムと露出制御に差異があって、出力映像の差（輝度や色の差）が大きいが、境界露出制御によってその差異が吸収されながら、第１の信号処理手段と第２の信号処理手段の切換が行われる。これによって、処理切換時に出力映像上にショックが生ずることが防止されるという効果がある。
そして処理切換時の映像上のショックが避けられることで、２つの信号処理手段の機能を有効に利用して高品位な撮像映像を得ることができる。
【００６２】
また第２の信号処理手段の合成比率の変化として、例えば合成処理において高い露出状態の撮像映像信号と低い露出状態の撮像映像信号の割合を指定するパラメータ（ミックススタート）を変化させたり、また高い露出状態の撮像映像信号と低い露出状態の撮像映像信号を合成した映像信号に対するダイナミックレンジ圧縮処理の圧縮率を、例えばパラメータ（アジャストゲイン）で変化させる。さらに、輝度情報の取得処理として、第１の信号処理手段における輝度情報検出部からの輝度情報ＯＰＤ（Ｎ）と第２の信号処理手段における輝度情報検出部からの輝度情報ＯＰＤ（Ｄ）の混合比を変化させる。これらの処理によって、上記のショックの解消は有効に行われ、第１，第２の信号処理手段の切換はスムーズに行われる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置の要部のブロック図である。
【図２】実施の形態の広ダイナミックレンジ処理の説明図である。
【図３】実施の形態の露出制御領域の説明図である。
【図４】実施の形態の広ダイナミックレンジ処理でのミックススタートの説明図である。
【図５】実施の形態の境界ＡＥ制御の説明図である。
【図６】実施の形態の境界ＡＥ制御のフローチャートである。
【符号の説明】
１  撮像レンズ、２  メカアイリス部、３  ＣＣＤ、４  ＣＤＳ／ＡＧＣ回路、５  Ａ／Ｄ変換器、６  コントローラ、１０  ＷＤ処理ＤＳＰ、１１，２１  オプティカルディテクタ、２０  通常処理ＤＳＰ
【図１】
2004350204.tif 000004
【図２】
2004350204.tif 000005
【図３】
2004350204.tif 000006
【図４】
2004350204.tif 000007
【図５】
2004350204.tif 000008
【図６】
2004350204.tif 000009