(57)【要約】【課題】画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを選択して撮影できる撮像装置を提供する。【解決手段】被写体像を撮像して得られる画像信号を順次に出力する固体撮像素子を含む撮像手段1と、撮像手段1から順次に出力される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段6と、画像合成手段6により画像合成を行わない撮影モード、および画像合成手段6により画像合成を行う撮影モードのいずれかのモードを選択する選択手段20と、選択手段20により画像合成を行わない撮影モードが選択されたときは一回の撮影で一画面分の画像信号を得て通常の画像処理を行わせ、選択手段20により画像合成を行う撮影モードが選択されたときは一回の撮影で複数画面分の画像信号を得て画像合成を行わせる制御手段8と、を有することを特徴とする。【選択図】図１
2007251997.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して得られる画像信号を順次に出力する固体撮像素子を含む撮像手段と、
前記撮像手段から順次に出力される前記複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記画像合成手段により前記画像合成を行わない撮影モード、および前記画像合成手段により前記画像合成を行う撮影モードのいずれかのモードを選択する選択手段と、
前記選択手段により前記画像合成を行わない撮影モードが選択されたときは一回の撮影で一画面分の画像信号を得て通常の画像処理を行わせ、前記選択手段により前記画像合成を行う撮影モードが選択されたときは一回の撮影で複数画面分の画像信号を得て前記画像合成を行わせる制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記選択手段は、手動によって前記各モードを選択するための入力キーを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、前記撮像手段から出力される画像信号に基づいて自動的に前記各モードを選択するように構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像手段は、前記固体撮像素子から露光量の異なる被写体像の画像信号が順次に得られるように構成され、
前記画像合成手段は、前記撮像手段から順次に出力される前記露光量の異なる被写体像の複数の画像信号を加算合成して一つの合成画像信号を生成するように構成されていることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画像合成手段は、前記撮像手段から順次に出力される前記露光量の異なる被写体像の複数の画像信号を加算合成してダイナミックレンジの広い一つの合成画像信号を生成するように構成されていることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記選択手段は、前記撮像手段から出力される画像信号の白とびを検出して自動的に前記画像合成を行う撮影モードを選択するように構成されていることを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子スチールカメラやデジタルカメラ等の固体撮像素子を有する撮像装置において、特に固体撮像素子のダイナミックレンジの拡大を図った撮像装置に関するものである。
【背景技術】
【０００２】
固体撮像素子を有する撮像装置は、固体撮像素子のダイナミックレンジが銀塩フィルムよりも狭いため、例えば比較的明るい背景で被写体を撮影するにあたって、被写体が適正となるように露光時間を合わせると、背景が露光オーバーとなって画像信号が飽和し、逆に背景が適正となるように露光時間を合わせると、被写体がアンダー露光となって暗くなってしまう。そこで、この種の従来の撮像装置として、露光量を異ならせて被写体を撮影し、その露光量の異なる二つの画像信号を加算して合成したり、あるいは露光量の異なる二つの画像信号を部分的に切り換えて合成したりして、固体撮像素子のダイナミックレンジを拡大するようにしたものが提案されている。
【０００３】
しかしながら、前者のように、露光量の異なる二つの画像信号を加算して合成するものにあっては、被写体が移動している場合や、手振れによって画像間に相対的な位置ずれが生じると、その相対的な位置ずれを有する部分においてＳ／Ｎが低下するという問題があると共に、カラー画像の場合には偽色や擬似輪郭が生じるという問題がある。
【０００４】
このような問題を解決し得るものとして、例えば、露光量の異なる二つの画像信号の差を検出し、その差の絶対値を補正量として加算した画像信号から減算するようにしたものが提案されている（例えば、特許文献１参照）。
【０００５】
しかし、この場合には、ずれ相当部分を減算補正によって除去するため、例えば主要被写体が移動する場合には、合成画像における主要被写体の形状が変化して、通常の銀塩フィルムによる写真画像と比較して違和感が残るものになるという問題がある。
【０００６】
このような問題は、後者のように露光量の異なる二つの画像信号を部分的に切り換えて合成する場合にも同様に生じる。すなわち、図１３に示すように、長時間露光における画像Ａの白とびした部分Ｂ（例えば、背景部分）の画像信号を、短時間露光における画像Ｃの対応する部分Ｄのゲインを調整した画像信号に切り換えて合成画像Ｅを得る場合において、主要被写体Ｆが短時間露光と長時間露光との間で、図１３において右から左に移動していると、その移動量に相当する短時間露光における主要被写体部分（合成画像Ｅにおいて部分Ｇ）の画像信号も合成されて、主要被写体Ｆが二重になり、合成画像Ｅとして違和感が残るものになる。
【０００７】
【特許文献１】特開平２−２８０５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この発明の目的は、画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを選択して撮影できる撮像装置を提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に係る撮像装置の発明は、
被写体像を撮像して得られる画像信号を順次に出力する固体撮像素子を含む撮像手段と、
前記撮像手段から順次に出力される前記複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記画像合成手段により前記画像合成を行わない撮影モード、および前記画像合成手段により前記画像合成を行う撮影モードのいずれかのモードを選択する選択手段と、
前記選択手段により前記画像合成を行わない撮影モードが選択されたときは一回の撮影で一画面分の画像信号を得て通常の画像処理を行わせ、前記選択手段により前記画像合成を行う撮影モードが選択されたときは一回の撮影で複数画面分の画像信号を得て前記画像合成を行わせる制御手段と、
を有することを特徴とするものである。
【００１０】
請求項２に係る発明は、請求項１に記載の撮像装置において、
前記選択手段は、手動によって前記各モードを選択するための入力キーを有することを特徴とするものである。
【００１１】
請求項３に係る発明は、請求項１に記載の撮像装置において、
前記選択手段は、前記撮像手段から出力される画像信号に基づいて自動的に前記各モードを選択するように構成されていることを特徴とするものである。
【００１２】
請求項４に係る発明は、請求項１に記載の撮像装置において、
前記撮像手段は、前記固体撮像素子から露光量の異なる被写体像の画像信号が順次に得られるように構成され、
前記画像合成手段は、前記撮像手段から順次に出力される前記露光量の異なる被写体像の複数の画像信号を加算合成して一つの合成画像信号を生成するように構成されていることを特徴とするものである。
【００１３】
請求項５に係る発明は、請求項４に記載の撮像装置において、
前記画像合成手段は、前記撮像手段から順次に出力される前記露光量の異なる被写体像の複数の画像信号を加算合成してダイナミックレンジの広い一つの合成画像信号を生成するように構成されていることを特徴とするものである。
【００１４】
請求項６に係る発明は、請求項５に記載の撮像装置において、
前記選択手段は、前記撮像手段から出力される画像信号の白とびを検出して自動的に前記画像合成を行う撮影モードを選択するように構成されていることを特徴とするものである。
【発明の効果】
【００１５】
この発明によれば、画像合成手段により画像合成を行わない撮影モード、および画像合成手段により画像合成を行う撮影モードのいずれかのモードを選択する選択手段を設けたので、画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを選択して撮影することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照してこの発明の実施形態について説明する。
図１は、この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。この電子スチールカメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ撮像素子１を用いるもので、このＣＣＤ撮像素子１には、レンズ２および絞り・シャッタ機構３を経て被写体像が結像され、その被写体像が光電変換されて画像信号として出力される。ＣＣＤ撮像素子１からの被写体像の画像信号は、図示しない相関二重サンプリング回路等でノイズ成分が除去されたのち、アンプ４で増幅され、さらにＡ／Ｄ変換器５でデジタル信号に変換されてカメラ信号処理回路６に供給され、ここで画像データとして処理される。
【００１７】
また、Ａ／Ｄ変換器５の出力は、ＡＦ，ＡＥ，ＡＷＢ検波回路７にも供給され、ここで本来の撮影に先立って、フォーカスを自動的に制御するためのＡＦ情報を取り出すＡＦ検波処理、露出を自動的に制御するためのＡＥ情報を取り出すＡＥ検波処理、およびホワイトバランスを自動的に設定するためのＡＷＢ情報を取り出すＡＷＢ検波処理が行われる。このＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＦ情報、ＡＥ情報およびＡＷＢ情報は、それぞれＣＰＵ８を介してレンズ２、絞り・シャッタ機構３およびカメラ信号処理回路６に供給される。
【００１８】
カメラ信号処理回路６およびＣＰＵ８は、バスライン９に接続され、このバスライン９には、メモリコントローラ１０を介して、画像データの色処理等を行う際に作業用メモリとして用いられるＤＲＡＭ１１が接続されていると共に、カメラ信号処理回路６からの画像データを圧縮処理する圧縮回路（ＪＰＥＧ）１２が接続されている。また、バスライン９には、圧縮回路１２で圧縮処理された画像データをメモリカード１３に記録するために、メモリカードＩ／Ｆ１４が接続されていると共に、メモリカード１３に記録された画像データを読み出して表示したり、撮影状態を表示したりするために表示回路１５を介して液晶表示素子（ＬＣＤ）１６が接続されている。さらに、バスライン９には、メモリカード１３に記録されている画像データをパソコン（ＰＣ）１７へ転送するためのＰＣＩ／Ｆ１８が接続されている。
【００１９】
また、ＣＰＵ８には、ＡＦ，ＡＥ，ＡＷＢ検波回路７からのＡＥ情報に基づいて制御されるストロボ装置１９、および各種撮影モードの設定やトリガスイッチの駆動等を行う入力キー２０がそれぞれ接続されている。なお、ＣＣＤ撮像素子１は、ＣＰＵ８の制御のもとにタイミングジェネレータ（ＴＧ）２１からのタイミングパルスによって駆動されるようになっている。
【００２０】
図１に示す撮像装置では、画像合成を行わない通常撮影モードと、画像合成を行う広ダイナミックレンジ撮影モードとを、入力キー２０の操作により手動的に選択するか、あるいはＣＣＤ撮像素子１からの画像信号の白とびを検出してＣＰＵ８において自動的に選択し、その選択した撮影モードに応じてＣＰＵ８により撮影動作を制御する。すなわち、通常撮影モードが選択された場合には、通常の撮影動作によって一回の撮影でＣＣＤ撮像素子１から一画面分の画像信号を得、広ダイナミックレンジ撮影モードが選択された場合には、ＣＣＤ撮像素子１の電子シャッタ機能、あるいはこの電子シャッタ機能と絞り・シャッタ機構３との組み合わせによる公知の方法で一回の撮影でＣＣＤ撮像素子１から露光量の異なる複数画面分（ここでは、二画面分）の画像信号を得て、カメラ信号処理回路６において撮影モードに応じた画像データ処理を行う。
【００２１】
図２は、図１に示すカメラ信号処理回路６の一例の構成を示すブロック図である。このカメラ信号処理回路６には、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６を設け、入力側切り換えスイッチ２５の一方の切り換え接点を、カメラ信号画像処理回路２７を経て出力側切り換えスイッチ２６の一方の切り換え接点に接続する。また、入力側切り換えスイッチ２５の他方の切り換え接点は画像切り換えスイッチ２８に接続し、この画像切り換えスイッチ２８の一方の切り換え接点を画像データバッファ２９、開閉スイッチ３０およびプロセス回路３１を経て画像合成処理回路３２の一方の入力端子に接続し、他方の切り換え接点を画像データバッファ３３、開閉スイッチ３４およびプロセス回路３５を経て画像合成処理回路３２の他方の入力端子に接続する。さらに、画像合成処理回路３２の出力端子は画像圧縮処理回路３６の入力端子に接続し、この画像圧縮処理回路３６の出力端子を出力側切り換えスイッチ２６の他方の切り換え接点に接続する。
【００２２】
入力側切り換えスイッチ２５および出力側切り換えスイッチ２６は、ＣＰＵ８からの撮影モード信号iiに基づいて制御するようにし、画像切り換えスイッチ２８および開閉スイッチ３０，３４は、ＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御するようにする。また、画像合成処理回路３２には、広ダイナミックレンジ撮影モード時に、ＣＰＵ８から露光量の異なる二つの画像信号間の露光量比データ信号mmを供給する。
【００２３】
すなわち、通常撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５および出力側切り換えスイッチ２６をカメラ信号画像処理回路２７側に接続して、図１に示すＡ／Ｄ変換器５からの画像信号aaを、入力側切り換えスイッチ２５を経てカメラ信号画像処理回路２７に供給し、ここでＣＰＵ８からのＡＷＢ情報に基づくＡＷＢ処理、ＣＣＤ撮像素子１の色フィルタ構造に基づく色情報の補間処理、コントラストの強調処理等の通常の画像処理を行って、その通常撮影による画像信号hhを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００２４】
これに対し、広ダイナミックレンジ撮影モードでは、ＣＰＵ８からの撮影モード信号iiにより、入力側切り換えスイッチ２５を画像切り換えスイッチ２８側に、出力側切り換えスイッチ２６を画像圧縮処理回路３６側にそれぞれ接続し、画像切り換えスイッチ２８および開閉スイッチ３０，３４をＣＰＵ８からの画像合成処理制御信号jjに基づいて切り換え制御回路３７を介して制御して、露光量の異なる二つの画像信号を画像データバッファ２９および３３に格納する。
【００２５】
すなわち、先ず、開閉スイッチ３０，３４を開放状態として、画像切り換えスイッチ２８を露光量の異なる二つの画像信号の取込みに同期して切り換えて、Ａ／Ｄ変換器５からの露光量の小さい画像信号aaを画像データバッファ２９に、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaを画像データバッファ３３にそれぞれ格納する。その後、開閉スイッチ３０，３４を同時に閉成状態として、画像データバッファ２９から露光量の小さい画像信号bbを、開閉スイッチ３０を経てプロセス回路３１に供給し、それと同期して画像データバッファ３３から露光量の大きい画像信号ccを、開閉スイッチ３４を経てプロセス回路３５に供給する。
【００２６】
プロセス回路３１，３５では、カメラ信号画像処理回路２７と同様の画像処理を行って、プロセス回路３１からの露光量の小さい画像信号ddと、プロセス回路３５からの露光量の大きい画像信号eeとを画像合成処理回路３２に同期して供給し、この画像合成処理回路３２において、ＣＰＵ８からの露光量比データ信号mmを用いて画像信号ddと画像信号eeとを部分的に切り換え合成する。この画像合成処理回路３２で合成した広ダイナミックレンジの合成画像信号ffは、画像圧縮処理回路３６に供給してそのダイナミックレンジを適正露光レベルとなるように圧縮処理を行い、その合成画像圧縮画像信号ggを出力側切り換えスイッチ２６を経て最終出力画像信号kkとしてバスライン９に出力する。
【００２７】
なお、図２では、二組の画像データバッファ２９，３３および開閉スイッチ３０，３４を設けたが、例えば画像データバッファ３３および開閉スイッチ３４を省略し、画像データバッファ２９に露光量の小さい画像信号aaを格納した後、画像切り換えスイッチ２８の切り換えに同期して開閉スイッチ３０を閉成して、画像データバッファ２９からの露光量の小さい画像信号bbと、Ａ／Ｄ変換器５からの露光量の大きい画像信号aaとを対応するプロセス回路３１，３５に同期して供給するようにすることもできる。
【００２８】
図１に示す電子スチールカメラは、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像を得る場合に、常に違和感の無い画像を得ることを目的としている。
【００２９】
そこで、この発明の第１実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,eeを合成するにあたって、それらの画像信号間のレベル比を対応する画素毎に算出し、そのレベル比がＣＰＵ８からの露光量比データ信号mmに比べて所定値以上となる画素を合成不適合画素として検出し、その合成不適合画素の画素信号を、該合成不適合画素の近傍に位置し、かつ合成不適合画素として検出されなかった画素の合成画素信号に基づいて補間して補正する。
【００３０】
図３は、第１実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部４１の一方の入力端子に供給すると共に、画像データ比較部４２の一方の入力端子に供給する。また、露光量の小さい画像信号ddは、画像データ比較部４２の他方の入力端子に供給すると共に、乗算器４３に供給する。乗算器４３では、ＣＰＵ８からの露光量比データ信号mmに基づいて、画像信号ddを露光量比分増幅するゲイン調整を行って、そのゲイン調整した露光量の小さい画像信号ppを画像合成部４１の他方の入力端子に供給する。
【００３１】
画像データ比較部４２では、画像信号dd,eeのレベル比を画素単位で、すなわち同一画素位置毎に比較して、その画像データ比較信号nnを比較演算部４４に供給する。比較演算部４４では、画像データ比較信号nnとＣＰＵ８からの露光量比データ信号mmに基づく基準値とを比較して比較結果論理データ信号ooを出力し、この比較結果論理データ信号ooを画像合成部４１および合成不適合画素領域抽出部４５にそれぞれ供給する。ここでは、比較結果論理データ信号ooとして、画像データ比較信号nnの各画素について基準値を越えるときは合成不適合画素として論理「１」を、基準値以下のときは合成適合画素として論理「０」を出力するものとする。
【００３２】
画像合成部４１では、比較結果論理データ信号ooの論理値に基づいて、論理「０」すなわち合成適合画素のときは、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、論理「１」すなわち合成不適合画素のときは、対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部４１から得られる合成不適合画素以外が合成された合成画像信号qqを、補間対象画素検出部４６およびローパスフィルタ（ＬＰＦ）４７にそれぞれ供給する。
【００３３】
一方、合成不適合画素領域抽出部４５では、比較結果論理データ信号ooの論理値に基づいて、すなわち論理「１」が連続する領域に基づいてライン毎（水平方向）に合成不適合画素領域を抽出し、その領域信号rrを補間対象画素検出部４６および合成不適合画素補間部４８にそれぞれ供給する。補間対象画素検出部４６では、画像合成部４１からの合成不適合画素以外が合成された合成画像信号qqと、合成不適合画素領域抽出部４５からの領域信号rrとに基づいて、合成不適合画素領域の画素信号を補間するための補間対象画素（補正基準画素）を検出し、その補正基準画素信号ss（合成画像信号qqの情報を含む）を合成不適合画素補間部４８に供給する。
【００３４】
合成不適合画素補間部４８では、合成不適合画素領域抽出部４５からの領域信号rrに対応する合成不適合画素の画素信号を、補間対象画素検出部４６からの補正基準画素信号ssに基づいて補間して補正し、その補間処理した合成補正画像信号ttをローパスフィルタ４７に供給する。ローパスフィルタ４７では、合成補正画像信号ttを画像合成部４１からの合成画像信号qqを用いて少なくとも垂直方向にローパスフィルタ処理して、合成画像信号ffとして図２に示した画像圧縮処理回路３６に供給するようにする。
【００３５】
図４は、図３に示した合成不適合画素領域抽出部４５、補間対象画素検出部４６、合成不適合画素補間部４８およびローパスフィルタ４７による合成不適合画素の画素信号の補正処理動作を詳細に示すフローチャートである。先ず、合成不適合画素領域抽出部４５において、比較演算部４４からの比較結果論理データ信号ooに基づいて参照画素が合成不適合画素か否かを判定し（ステップＳ１）、合成不適合画素の場合、すなわち論理「１」の場合には、水平方向に連続している合成不適合画素を一つの領域として統合して（ステップＳ２）、その合成不適合画素領域の長さ（Ｓ）を算出する（ステップＳ３）。この長さ分の合成不適合画素を領域信号rrとする。
【００３６】
その後、補間対象画素検出部４６において、合成不適合画素領域の左右両端から、Ｓ×β（ただし、βは任意の調整パラメータ；β＞０）の距離にある画素を補正基準画素(LPx,RPx)として検出して（ステップＳ４）、その各補正基準画素の輝度信号(Y-LPx,Y-RPx)を計算し（ステップＳ５）、その大小関係を判定する（ステップＳ６）。ここで、Y-LPx=Y-RPxの場合には、各補正基準画素の色差信号(Cr-LPx,Cr-RPx),(Cb-LPx,Cb-RPx)を計算し（ステップＳ７）、Y-LPx＞Y-RPxの場合には、合成不適合画素領域の左端からｄ画素分（ただし、ｄ≦Ｓ×β）補正領域を拡張して（ステップＳ８）からステップＳ７の処理を実行し、Y-LPx＜Y-RPxの場合には、合成不適合画素領域の右端からｄ画素分補正領域を拡張して（ステップＳ９）からステップＳ７の処理を実行する。
【００３７】
その後、合成不適合画素補間部４８において、補正基準画素の画素信号を用いて補正領域（合成不適合画素領域＋拡張分）の画素信号を輝度、色差別に平滑化して補間し（ステップＳ１０）、全ての補正領域についての補間処理が終了した時点で、ローパスフィルタ４７において、補正領域に対して輝度、色差別にローパスフィルタ処理を行い（ステップＳ１１）、その補間された輝度、色差信号からＲＧＢ信号に変換して（ステップＳ１２）、合成画像信号ffとして出力する。
【００３８】
なお、第１実施形態では、水平方向について合成不適合画素領域を算出して、その画素信号を補正するようにしたが、垂直方向についても同様にして合成不適合画素領域を算出し、その画素信号を水平および垂直方向における補正基準画素の画素信号に基づいて補正して、水平および垂直の二次元方向にローパスフィルタ処理を施すようにすることもできる。このようにすれば、周囲および合成画像全体に対して、より違和感の無い合成画像を得ることが可能となる。また、第１実施形態では、合成不適合部を画素単位で検出して補正するようにしたが、所定画素数のブロック単位で検出して補正するよう構成することもできる。
【００３９】
この発明の第２実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,eeを合成するにあたって、それらの画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出し、その動きベクトルの始点の画素信号を、該動きベクトルの終点を含む所定の小ブロック内の合成不適合部でない合成画素信号に基づいて補間して補正し、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、画像信号ddの対応する領域の画素信号に基づいて補間して補正する。
【００４０】
図５は、第２実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部５１の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器５２においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部５１の他方の入力端子に供給する。また、画像信号pp,eeは対応するエッジ検出部５３，５４に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号uu,vvを対応するブロック設定部５５，５６に供給してそれぞれブロック信号ww,xxを生成して動きベクトル計算部５７に供給し、該動きベクトル計算部５７においてブロック信号ww,xxに基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部５１、小ブロック設定部５８、小ブロック平均算出部５９およびベクトル画素補間部６０にそれぞれ供給する。
【００４１】
画像合成部５１では、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部５１から得られる合成不適合画素以外が合成された合成画像信号qqを、小ブロック設定部５８およびローパスフィルタ（ＬＰＦ）６１にそれぞれ供給する。
【００４２】
一方、小ブロック設定部５８では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値とを比較して、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときのみ、その参照画素を合成不適合画素として、図６（Ａ）に示すように、合成画像信号qqからその動きベクトルの終点を中心とする小ブロック（ここでは、３×３画素ブロック）を設定して、その小ブロック設定信号zz（合成画像信号qqの情報を含む）を小ブロック平均算出部５９に供給し、ここで図６（Ｂ）に示すように小ブロック内に存在する合成画素信号を用いて色信号毎に平均値（Rv,Gv,Bv）を算出し、その小ブロック内平均値信号aaa（合成画像信号qqの情報を含む）をベクトル画素補間部６０に供給する。
【００４３】
ベクトル画素補間部６０には、ゲイン調整した露光量の小さい画像信号ppをも供給し、ここで図６（Ｃ）に示すように、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaaで補間し、また、動きベクトルの終点を含む残りの領域の合成不適合部の画素信号は、ゲイン調整した画像信号ppの対応する領域の画素信号で補間し、その補間処理した合成補正画像信号bbbをローパスフィルタ６１に供給する。ローパスフィルタ６１では、合成補正画像信号bbb を、画像合成部５１からの合成不適合画素以外が合成された合成画像信号qqを用いて、第１実施形態と同様にローパスフィルタ処理を行って合成画像信号ffを得る。
【００４４】
図７は、図５に示した小ブロック設定部５８、小ブロック平均算出部５９、ベクトル画素補間部６０およびローパスフィルタ６１による合成不適合画素の画素信号の補間処理動作を詳細に示すフローチャートである。先ず、小ブロック設定部５８において、動きベクトル計算部５７からの動きベクトルデータ信号yyに基づいて参照画素を始点とする動きベクトルが所定の閾値Thを越えるか否かを判定し（ステップＳ２１）、越える場合には参照画素を合成不適合画素として画像合成部５１からの合成画像信号qqに基づいて動きベクトルの終点を中心とする３×３画素の小ブロックを設定して（ステップＳ２２）、その小ブロック設定信号zzを小ブロック平均算出部５９に供給する。
【００４５】
小ブロック平均算出部５９では、小ブロック設定信号zzを受けて、色信号の変数（ＲB,ＧB,ＢB）および加算回数を計数する内部カウンタ（Count）を初期化して（ステップＳ２３）、設定された小ブロックを走査しながら（ステップＳ２４）、その小ブロック内に合成画素信号（Ｒ，Ｇ，Ｂ）が存在するか否か判定し（ステップＳ２５）、合成画素信号が存在する場合には、その合成画素信号を対応する変数に加算すると共に、そのカウンタをインクリメントする（ステップＳ２６）。その後、小ブロックの走査が終了したら（ステップＳ２７）、Count値を用いて変数（ＲB,ＧB,ＢB）の平均値（Rv,Gv,Bv）を算出して（ステップＳ２８）、その平均値を小ブロック内平均値信号aaaとしてベクトル画素補間部６０に供給する。
【００４６】
ベクトル画素補間部６０では、移動被写体を移動前の状態に戻すように、動きベクトルの始点の合成不適合画素の画素信号を、小ブロック内平均値信号aaa で補間する（ステップＳ２９）と共に、該動きベクトルの終点を含む残りの領域の合成不適合部の画素信号を、ゲイン調整した画像信号ppの対応する領域の画素信号で補間して（ステップＳ３０）、合成補正画像信号bbbとしてローパスフィルタ６１に供給し、ここで合成画像信号qqを用いて補間された動きベクトル上の画素信号に対して各色信号別のローパスフィルタ処理を実行して（ステップＳ３１）、合成画像信号ffを得る。
【００４７】
すなわち、この第２実施形態では、広ダイナミックレンジ撮影モードにおいて、プロセス回路３１，３５（図２参照）から、図８（Ａ）に短時間露光画像として示す露光量の小さい画像信号ddと、図８（Ｂ）に長時間露光画像として示す露光量の大きい画像信号eeが得られた場合には、図８（Ｃ）に示すように短時間露光画像のレベルを長時間露光画像のレベルに合わせるようにゲイン調整して、そのゲイン調整した短時間露光画像と長時間露光画像とから動きベクトルを検出しながら、その動きベクトルの大きさが所定の閾値を越える画素を除いて切り換え合成を行って、図８（Ｄ）に示すような合成画像を得る（ただし、この時点では、図８（Ｄ）に示す動きベクトルの始点は置換されていない）。また、動きベクトルに対応する画素については、動きベクトル毎に、その始点の画素の画素信号を、図６で説明したように該動きベクトルの終点を中心とする小ブロック内の合成画素信号の平均値で補間し（この時点で、図８（Ｄ）に示す動きベクトルの始点が置換される）、該動きベクトルの終点を含む残りの領域の画素信号は、図８（Ｃ）に白枠で示すゲイン調整した対応する領域の画素信号で補間して、図８（Ｅ）に示す補正した合成画像を得る。したがって、図９（Ａ）に示す複数の動きベクトルについて上記の処理を行えば、最終的には図９（Ｂ）に示すような補正された合成画像を得ることができる。
【００４８】
なお、以上の説明では、移動被写体の移動前後の境界の画素信号を補正（補間）するようにしたが、背景部について補正（補間）する場合も同様である。この場合には、先ず、上記の移動被写体についての補正と同様に、動きベクトルの終点について設定した小ブロック内の合成画素信号の平均値を算出して、その平均値を動きベクトルの始点の画素信号に補間する。この場合の平均値は、移動被写体の情報が主となる。次に、動きベクトルの始点以外の画素信号を短時間露光画像（露光量の小さい画像信号に相当）の対応する領域の画素信号で補間する。この際、補間する情報は背景部であるから、背景部が白とびにならないように、短時間露光画像を１倍にゲイン調整する。このように補間処理することにより、動きベクトルは、その始点のみが移動被写体を主情報とし、それ以外は背景部の情報に補間されることになる。図１０（Ａ）〜（Ｅ）は、この場合の補間処理の概略を示すものであるが、その詳細は、上記の説明、図８（Ａ）〜（Ｅ）の説明、および図９（Ａ），（Ｂ）の説明から明らかであるので、省略する。
【００４９】
なお、第２実施形態では、動きベクトルの始点の画素信号を、その終点を中心とする小ブロック内の合成画素信号の平均値で置換して補正したが、単に終点の画素信号で置換して補正するようにすることもできる。
【００５０】
この発明の第３実施形態では、図２の画像合成処理回路３２において、露光量の異なる画像信号dd,eeを合成するにあたって、それらの画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について動きベクトルを算出し、その動きベクトルの大きさが所定値を越える画素を合成不適合画素として検出して、動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、該動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号で置換し、その置換により失われた画素信号をゲイン調整した露光量の小さい画像信号の対応する領域の画素信号で補正する。
【００５１】
図１１は、第３実施形態における画像合成処理回路３２の一例の構成を示すブロック図である。この画像合成処理回路３２では、露光量の大きい画像信号eeを画像合成部７０の一方の入力端子に供給し、露光量の小さい画像信号ddは、乗算器７１においてＣＰＵ８からの露光量比データ信号mmに基づいて露光量比分増幅するゲイン調整を行い、そのゲイン調整した露光量の小さい画像信号ppを画像合成部７０の他方の入力端子に供給する。また、画像信号pp,eeは対応するＡＮＤゲート７２，７３の一方の入力端子にそれぞれ供給すると共に、画像差分演算部７４に供給する。画像差分演算部７４では、画像信号pp,eeの差分を画素単位で、すなわち同一画素位置毎に演算して、その絶対値と所定の閾値とを比較し、差分の絶対値が閾値を越えるときは論理「１」、閾値以下のときは論理「０」の比較結果論理値データ信号cccをＡＮＤゲート７２，７３の他方の入力端子にそれぞれ供給する。これにより、ＡＮＤゲート７２から、ゲイン調整した画像信号ppのうち、画像信号pp,eeの差分の絶対値が閾値を越える領域の画像信号ddd を出力させ、ＡＮＤゲート７３から、画像信号eeのうち、画像信号pp,eeの差分の絶対値が閾値を越える領域の画像信号eeeを出力させる。
【００５２】
ＡＮＤゲート７２，７３からの画像信号ddd,eeeは、対応するエッジ検出部７５，７６に供給してそれぞれ画像のエッジを検出し、それらのエッジ検出信号fff,gggを対応するブロック設定部７７，７８に供給してそれぞれブロック信号ww,xxを生成して動きベクトル計算部７９に供給し、該動きベクトル計算部７９においてブロック信号ww,xxに基づいて両画像間の動きベクトルを計算して、その動きベクトルデータ信号yyを画像合成部７０、被補正ブロック設定部８０、被補正ブロック置換画素決定部８１およびデータ補正部８２にそれぞれ供給する。
【００５３】
画像合成部７０では、第２実施形態と同様に、動きベクトルデータ信号yyの大きさと所定の閾値とを比較し、動きベクトルデータ信号yyの大きさが所定の閾値以下のときは、合成適合画素として、ゲイン調整した露光量の小さい画像信号ppと露光量の大きい画像信号eeとの対応する画素信号を、図１３で説明したように切り換えて合成し、動きベクトルデータ信号yyの大きさが所定の閾値を越えるときは、合成不適合画素として対応する画素信号の切り換え合成を行わないようにする。このようにして画像合成部７０から得られる合成不適合画素以外が合成された合成画像信号qqを、被補正ブロック設定部８０およびローパスフィルタ（ＬＰＦ）８３にそれぞれ供給する。
【００５４】
一方、図１２にフローチャートをも示すように、被補正ブロック設定部８０では、参照画素を始点とする動きベクトルデータ信号yyの大きさと所定の閾値Thとを比較して（ステップＳ４１）、動きベクトルデータ信号yyの大きさが所定の閾値Thを越えるときのみ、参照画素を合成不適合画素として、動きベクトルの算出計算と同様の計算により合成画像信号qqから動きベクトルの始点（参照画素）を中心とし、その終点を含む被補正ブロックを設定し（ステップＳ４２）、その被補正ブロック設定信号hhh（合成画像信号qqの情報を含む）を被補正ブロック置換画素決定部８１に供給する。
【００５５】
被補正ブロック置換画素決定部８１では、被補正ブロック設定信号hhhおよび動きベクトルデータ信号yyに基づいて動きベクトルの終点を中心とする被補正ブロックと同じ大きさの補正ブロックを設定して（ステップＳ４３）、その補正ブロック設定信号iii（合成画像信号qqの情報を含む）をデータ補正部８２に供給する。
【００５６】
データ補正部８２には、ゲイン調整した画像信号ppをも供給し、ここで補正ブロック設定信号iiiおよび動きベクトルデータ信号yyに基づいて、被補正ブロック内の合成不適合画素の画素信号を補正ブロック内の合成画素信号で置換（ステップＳ４４）すると共に、その置換により失われた領域の画素信号をゲイン調整した露光量の小さい画像信号ppの対応する領域の画素信号で補間して補正し（ステップＳ４５）、その補正処理された合成補正画像信号jjjをローパスフィルタ８３に供給する。ローパスフィルタ８３では、合成補正画像信号jjjの補正された被補正ブロックおよびその周囲の画素信号に対して各色信号別にローパスフィルタ処理を実行して（ステップＳ４６）、合成画像信号ffを得る。
【００５７】
なお、第３実施形態では、被補正ブロック内の合成不適合部の画素信号を、補正ブロック内の合成不適合部でない合成画素信号で置換するようにしたが、置換に代えて補間するようにすることもできる。このようにすれば、補正ブロック内で失われる画素信号が無くなるので、その画素信号の補間処理が不要となり、処理が簡単になる。
【００５８】
この発明のさらに他の実施形態では、以上の各実施形態あるいは変形例で説明した広ダイナミックレンジ撮影モードにおける処理動作を実行するためのプログラムを記録媒体に記録しておき、撮像装置には記録媒体のドライバを付設して、記録媒体に記録されているプログラムをドライバを介して撮像装置本体のＣＰＵ８（図１参照）で読み取って実行するようにすることもできる。
【００５９】
上述した各実施形態によれば、露光量の異なる複数の画像信号を部分的に切り換えて合成してダイナミックレンジの広い画像信号を生成する場合に、画像信号の合成不適合部を検出し、その合成不適合部の画素信号を補正するようにしたので、例えば明るい背景で動いている主要被写体を撮影した場合の画像信号の合成時における影響を最小限に抑えることができ、通常の写真画像と比較して何ら違和感の無いダイナミックレンジの広い画像を得ることができる。
【図面の簡単な説明】
【００６０】
【図１】この発明に係る撮像装置としての電子スチールカメラの基本的構成を示すブロック図である。
【図２】図１に示すカメラ信号処理回路の一例の構成を示すブロック図である。
【図３】この発明の第１実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図４】第１実施形態における要部の動作を説明するためのフローチャートである。
【図５】この発明の第２実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図６】その動作を説明するための図である。
【図７】同じく、要部の動作を説明するためのフローチャートである。
【図８】同じく、動作を説明するための図である。
【図９】同じく、動作を説明するための図である。
【図１０】同じく、動作を説明するための図である。
【図１１】この発明の第３実施形態における図２に示す画像合成処理回路の一例の構成を示すブロック図である。
【図１２】その要部の動作を説明するためのフローチャートである。
【図１３】露光量の異なる二つの画像信号を部分的に切り換えてダイナミックレンジの広い画像を得る方法を説明するための図である。
【符号の説明】
【００６１】
１  カラーＣＣＤ撮像素子
２  レンズ
３  絞り・シャッタ機構
６  カメラ信号処理回路
８  ＣＰＵ
２０  入力キー
２１  タイミングジェネレータ
３２  画像合成処理回路
４１  画像合成部
４２  画像データ比較部
４３  乗算器
４４  比較演算部
４５  合成不適合画素領域抽出部
４６  補間対象画素検出部
４７  ローパスフィルタ（ＬＰＦ）
４８  合成不適合画素補間部
５１  画像合成部
５２  乗算器
５３，５４  エッジ検出部
５５，５６  ブロック設定部
５７  動きベクトル計算部
５８  小ブロック設定部
５９  小ブロック平均算出部
６０  ベクトル画素補間部
６１  ローパスフィルタ（ＬＰＦ）
７０  画像合成部
７１  乗算器
７２，７３  ＡＮＤゲート
７４  画像差分演算部
７５，７６  エッジ検出部
７７，７８  ブロック設定部
７９  動きベクトル計算部
８０  被補正ブロック設定部
８１  被補正ブロック置換画素決定部
８２  データ補正部
８３  ローパスフィルタ（ＬＰＦ）
【図１】
2007251997.tif 000003
【図２】
2007251997.tif 000004
【図３】
2007251997.tif 000005
【図４】
2007251997.tif 000006
【図５】
2007251997.tif 000007
【図６】
2007251997.tif 000008
【図７】
2007251997.tif 000009
【図８】
2007251997.tif 000010
【図９】
2007251997.tif 000011
【図１０】
2007251997.tif 000012
【図１１】
2007251997.tif 000013
【図１２】
2007251997.tif 000014
【図１３】
2007251997.tif 000015