【手続補正書】
【提出日】平成17年7月21日(2005.7.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像装置において、
被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像手段と、
この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段と、
この記憶手段から少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、
前記異なる露光量で撮像された複数の画像信号の比較に基づいて合成不適合部を検出する合成不適合部検出手段と、
この合成不適合部検出手段で検出された合成不適合部の画素信号を補正する合成不適合部補正手段とを有することを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間のレベル比を算出し、そのレベル比と前記露光量の異なる複数の画像信号を得るときに設定される露光量比との比較に基づいて前記合成不適合部を検出するよう構成されていることを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出し、その差分に基づいて前記合成不適合部を検出するよう構成されていることを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさに基づいて前記合成不適合部を検出するよう構成されていることを特徴とする撮像装置。
【請求項５】
請求項４記載の撮像装置において、
前記合成不適合部補正手段は、前記動きベクトルの始点を含む合成不適合部の画素信号を、該動きベクトルの終点を含む合成不適合部でない合成画素信号に基づいて補正し、該動きベクトルの終点の画素を含む所定の画素ブロック内の残りの領域の合成不適合部の画素信号を、前記露光量の異なる複数の画像信号のうちの一つの画像信号の対応する領域の画素信号に基づいて補正するよう構成されていることを特徴とする撮像装置。
【請求項６】
請求項４記載の撮像装置において、
前記合成不適合部補正手段は、前記動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、前記動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号に基づいて補正するよう構成されていることを特徴とする撮像装置。
【請求項７】
請求項４乃至６のいずれか一つに記載の撮像装置において、
前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさに基づいて前記合成不適合部を検出するよう構成されていることを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれか一つに記載の撮像装置において、
前記合成不適合部補正手段は、前記合成不適合部の画素信号を、該合成不適合部の近傍に位置し、かつ前記合成不適合部検出手段で合成不適合部として検出されなかった部分の合成画素信号に基づいて補正するよう構成されていることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれか一つに記載の撮像装置において、
前記記憶手段は、異なる露光量で撮像された二つの画像信号を格納するように構成されていることを特徴とする撮像装置。
【請求項１０】
請求項１乃至８のいずれか一つに記載の撮像装置において、
前記画像合成手段は、異なる露光量で撮像された二つの画像信号を部分的に切り替えながらモザイク状に画像合成を行って合成画像信号を出力するように構成されていることを特徴とする撮像装置。
【請求項１１】
請求項１乃至８のいずれか一つに記載の撮像装置において、
前記合成不適合部補正手段によって補正された画像信号と、前記画像合成手段から出力される合成画像信号とを混合して補正された合成画像として出力する混合手段をさらに備えたことを特徴とする撮像装置。
【請求項１２】
請求項１１記載の撮像装置において、
前記混合手段は、前記合成不適合部補正手段から出力される合成補正画像信号を、前記画像合成手段から出力される合成画像信号でローパス処理するローパスフィルタを含むことを特徴とする撮像装置。
【請求項１３】
固体撮像素子を有する撮像装置の動作を制御するためのコンピュータに、
前記固体撮像素子から被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に得る機能と、
その露光量の異なる画像信号の比較に基づいて、それらの画像信号を合成する際の合成不適合部を検出する機能と、
その検出した合成不適合部の画素信号を補正する機能と、
前記合成不適合部を除いて前記露光量の異なる画像信号を合成する機能と、
その合成不適合部を除く合成画素信号と前記補正した合成不適合部の画素信号とを合成してダイナミックレンジの広い画像信号を生成する機能と、
を実現させるためのプログラムを記録した記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【課題を解決するための手段】
上記第１の目的を達成する請求項１に係る発明は、露光量を異ならせて撮像した複数の画像信号を合成してダイナミックレンジの広い画像信号を生成する撮像装置において、被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に出力する固体撮像素子を含む撮像手段と、この撮像手段から順次に出力される前記複数の画像信号の少なくとも一部を格納する記憶手段と、この記憶手段から少なくとも一部分が読み出される複数の画像信号を合成して一つの合成画像信号を生成する画像合成手段と、前記異なる露光量で撮像された複数の画像信号の比較に基づいて合成不適合部を検出する合成不適合部検出手段と、この合成不適合部検出手段で検出された合成不適合部の画素信号を補正する合成不適合部補正手段とを有することを特徴とするものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
請求項２に係る発明は、請求項１記載の撮像装置において、前記合成不適合部検出手段を、前記露光量の異なる複数の画像信号間のレベル比を算出し、そのレベル比と前記露光量の異なる複数の画像信号を得るときに設定される露光量比との比較に基づいて前記合成不適合部を検出するよう構成されていることを特徴とするものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
請求項３に係る発明は、請求項１記載の撮像装置において、前記合成不適合部検出手段を、前記露光量の異なる複数の画像信号間の差分を算出し、その差分に基づいて前記合成不適合部を検出するよう構成されていることを特徴とするものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
請求項４に係る発明は、請求項１記載の撮像装置において、前記合成不適合部検出手段を、前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさに基づいて前記合成不適合部を検出するよう構成されていることを特徴とするものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
請求項５に係る発明は、請求項４記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を含む合成不適合部の画素信号を、該動きベクトルの終点を含む合成不適合部でない合成画素信号に基づいて補正し、該動きベクトルの終点の画素を含む所定の画素ブロック内の残りの領域の合成不適合部の画素信号を、前記露光量の異なる複数の画像信号のうちの一つの画像信号の対応する領域の画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
このようにして、検出された動きベクトルに対応する合成不適合部の画素信号を補正すれば、補正処理を簡単な構成で高速に行うことが可能となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
請求項６に係る発明は、請求項４記載の撮像装置において、前記合成不適合部補正手段は、前記動きベクトルの始点を中心とする該動きベクトルの終点を含む所定の画素ブロック内の合成不適合部の画素信号を、前記動きベクトルの終点を中心とする同じ大きさの画素ブロック内の合成不適合部でない合成画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
このようにすれば、画素単位での演算を行うことなく、合成不適合部の画素信号を補正することができるので、構成を簡単にできると共に、処理時間を短縮することが可能となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
請求項７に係る発明は、請求項４乃至６のいずれか一つに記載の撮像装置において、前記合成不適合部検出手段は、前記露光量の異なる複数の画像信号間の差分を算出して、その差分の絶対値が所定値以上となる画素領域について前記露光量の異なる複数の画像信号の比較に基づいて動きベクトルを算出し、その動きベクトルの大きさに基づいて前記合成不適合部を検出するよう構成されていることを特徴とするものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
このように、露光量の異なる複数の画像信号間の差分の絶対値が所定値以上となる画素領域についてのみ、動きベクトルを算出して合成不適合部を検出するようにすれば、合成不適合部の検出処理速度を短縮することが可能となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項８に係る発明は、請求項１乃至７のいずれか一つに記載の撮像装置において、前記合成不適合部補正手段は、前記合成不適合部の画素信号を、該合成不適合部の近傍に位置し、かつ前記合成不適合部検出手段で合成不適合部として検出されなかった部分の合成画素信号に基づいて補正するよう構成されていることを特徴とするものである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
このように、合成不適合部の近傍に位置し、かつ合成不適合部として検出されなかった部分の合成画素信号に基づいて、合成不適合部の画素信号を補正すれば、周囲および合成画像全体に対して違和感の無い合成画像を得ることが可能となる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
請求項９に係る発明は、請求項１乃至８のいずれか一つに記載の撮像装置において、前記記憶手段は、異なる露光量で撮像された二つの画像信号を格納するように構成されていることを特徴とするものである。請求項１０に係る発明は、請求項１乃至８のいずれか一つに記載の撮像装置において、前記画像合成手段は、異なる露光量で撮像された二つの画像信号を部分的に切り替えながらモザイク状に画像合成を行って合成画像信号を出力するように構成されていることを特徴とするものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
請求項１１に係る発明は、請求項１乃至８のいずれか一つに記載の撮像装置において、前記合成不適合部補正手段によって補正された画像信号と、前記画像合成手段から出力される合成画像信号とを混合して補正された合成画像として出力する混合手段をさらに備えたことを特徴とするものである。請求項１２に係る発明は、請求項１１記載の撮像装置において、前記混合手段は、前記合成不適合部補正手段から出力される合成補正画像信号を、前記画像合成手段から出力される合成画像信号でローパス処理するローパスフィルタを含むことを特徴とするものである。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
さらに、上記第２の目的を達成する請求項１３に係る記録媒体の発明は、固体撮像素子を有する撮像装置の動作を制御するためのコンピュータに、前記固体撮像素子から被写体像を露光量を異ならせて複数回撮像して得られる複数の画像信号を順次に得る機能と、その露光量の異なる画像信号の比較に基づいて、それらの画像信号を合成する際の合成不適合部を検出する機能と、その検出した合成不適合部の画素信号を補正する機能と、前記合成不適合部を除いて前記露光量の異なる画像信号を合成する機能と、その合成不適合部を除く合成画素信号と前記補正した合成不適合部の画素信号とを合成してダイナミックレンジの広い画像信号を生成する機能と、を実現させるためのプログラムを記録したことを特徴とするものである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
この発明のさらに他の実施形態では、以上の各実施形態あるいは変形例で説明した広ダイナミックレンジ撮影モードにおける処理動作を実行するためのプログラムを記録媒体に記録しておき、撮像装置には記録媒体のドライバを付設して、記録媒体に記録されているプログラムをドライバを介して撮像装置本体のＣＰＵ８（図１参照）で読み取って実行するようにすることもできる。
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2000050173.tif 000001
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2000050173.tif 000002
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2000050173.tif 000003
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2000050173.tif 000004
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2000050173.tif 000005