【手続補正書】
【提出日】平成26年7月22日(2014.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージセンサと、  
上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、
上記画像合成部により加算した合成画像データのレベルを検出する出力検出部と、
上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する重み付け係数演算部と、  
上記合成画像データに上記重み付け係数αを乗算する重み付け処理部と、
を備え、
上記出力検出部は上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記画像合成部で合成した画像データの総コマ数ｈを演算し、上記重み付け係数演算部は上記画像合成部で合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものであることを特徴とする撮像装置。
合成画像データのレベル ＜ Ｖｓのとき
α ＝ １  
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ 
【請求項２】
イメージセンサと、
上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、
上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する出力検出部と、
上記画像データのレベルの時間的変化があった画像のコマ数、及び上記画像合成部によって累積加算した画像の総コマ数に基づいて、上記画像合成部により加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数αを演算する重み付け係数演算部と、
上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する重み付け処理部と、
を備えたことを特徴とする撮像装置。
【請求項３】
上記出力検出部はｋコマ目の画像データの平均的なレベルとｋ−１コマ目の平均的なレベルの変化量を検出した結果、正の変化量が所定値以上であったと検出された総コマ数ｈを検出するものであり、上記重み付け係数演算部は、上記画像合成部で合成した画像データの総コマ数をｍとするとき上記重み付け係数αを、  
α ＝ ｈ／ｍ  
とするものであり、
上記重み付処理部は上記重み付け係数αを上記合成画像データに乗算することを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記出力検出部は上記ｋコマ目の画像データを構成する画素データ（ｘ、ｙ）（ただしｘ、ｙは、それぞれ直交するＸ軸方向、及びＹ軸方向の画素位置の座標を表す）のレベルと、ｋ−１コマ目の画像データを構成する画素データ（ｘ、ｙ）のレベルの変化量を検出した結果、正の変化量が所定値以上であったと検出された総コマ数ｈを検出するものであり、上記重み付け係数演算部は、上記画像合成部で合成した画像データの総コマ数をｍとするとき上記重み付け係数αを、
α ＝ ｈ／ｍ
とするものであり、
上記重み付処理部は、上記重み付け係数αを上記合成画像データを構成するそれぞれの画素データに乗算することを特徴とする請求項２に記載の撮像装置。
【請求項５】
イメージセンサから読み出された時間的に連続する複数コマの画像データを合成する第１ステップと、
上記第１ステップにおいて合成された合成画像データの画素データのレベルを検出する第２ステップと、
上記第２ステップにおいて検出された検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する第３ステップと、  
上記合成画像データに上記重み付け係数αを乗算する第４ステップとを有し、
上記第２ステップは上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記第１ステップで合成した画像データの総コマ数ｈを演算し、上記第４ステップは上記第１ステップで合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものであることを特徴とする撮像方法。
合成画像データのレベル ＜ Ｖｓのとき
α ＝ １  
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ
【請求項６】
イメージセンサから読み出された画像データを順次累積加算する第１ステップと、
上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する第２ステップと、
上記画像データのレベルの時間的変化があった画像のコマ数、及び上記第１ステップで累積加算した画像の総コマ数に基づいて、上記第１ステップにおいて累積加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する第３ステップと、
上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する第４ステップと、
を有することを特徴とする撮像方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上述した課題を解決するために、第１の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、上記画像合成部により加算した合成画像データのレベルを検出する出力検出部と、上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する重み付け係数演算部と、上記合成画像データに上記重み付け係数αを乗算する重み付け処理部と、を備え、上記出力検出部は上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記画像合成部で合成した画像データの総コマ数ｈを演算し、上記重み付け係数演算部は上記画像合成部で合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものである。
合成画像データのレベル ＜ Ｖｓのとき
α ＝ １  
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、第２の発明に係る撮像装置は、イメージセンサと、上記イメージセンサから読み出された画像データを順次累積加算する画像合成部と、上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する出力検出部と、上記画像データのレベルの時間的変化があった画像のコマ数、及び上記画像合成部によって累積加算した画像の総コマ数に基づいて、上記画像合成部により加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する重み付け係数演算部と、上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する重み付け処理部とを備えた。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明に係る第３の撮像方法は、イメージセンサから読み出された時間的に連続する複数コマの画像データを合成する第１ステップと、上記第１ステップにおいて合成された間合成画像データの画素データのレベルを検出する第２ステップと、上記出力検出部の検出結果に基づいて上記合成画像データに乗算する重み付け係数αを演算する第３ステップと、上記合成画像データに上記重み付け係数αを乗算する第４ステップとを有し、上記第２ステップは上記合成画像データによって表される画像の所定領域に対応する画像データの平均的なレベルが所定値Ｖｓ以上か否かを上記イメージセンサから画像データが読み出されるたびに判定するとともに、該所定値Ｖｓ以上であると初めて判定されるまでに上記第１ステップで合成した画像データの総コマ数ｈを演算し、上記第４ステップは上記第１ステップで合成した画像データの総コマ数をｍとするとき、以下のように上記重み付け係数αを設定するものである。
合成画像データのレベル ＜Ｖｓのとき
α ＝ １
合成画像データのレベル ≧ Ｖｓのとき
α ＝ ｈ／ｍ
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明に係る第４の撮像方法は、イメージセンサから読み出された画像データを順次累積加算する第１ステップと、上記イメージセンサから読み出された画像データのレベルの時間的変化を検出する第２ステップと、上記画像データのレベルの時間的変化があった画像のコマ数、及び上記第１ステップで累積加算した画像の総コマ数に基づいて、上記第１ステップにおいて累積加算した合成画像データ又は該合成画像データを構成するそれぞれの画素データに乗算する重み付け係数を演算する第３ステップと、上記合成画像データ又は該合成画像データを構成するそれぞれの画素データに上記重み付け係数を乗算する第４ステップとを有する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
【図１】本発明の実施形態１〜３に共通の撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態１〜３に共通の動作の流れを説明するためのフローチャートである。
【図３】本発明の実施形態１に係る画像処理の動作の流れを説明するためのフローチャートである。
【図４】本発明の実施形態２に係る画像処理の動作の流れを説明するためのフローチャートである。
【図５】本発明の実施形態３に係る画像処理の動作の流れを説明するためのフローチャートである。
【図６】本発明の実施形態２の出力検出部８において、画像合成部７で合成された中間合成画像データにレベルの変化があったかどうかを検出するための画像データの分割の一例を示す図である。
【図７】本発明の実施形態１における表示部１３で表示される表示用合成画像データによって表示される画像の時間推移の一例を示す図である。
【図８】本発明の実施形態２におけるイメージセンサ４から読み出される画像、画像合成部７によって合成される中間合成画像、表示部１３で表示される表示用合成画像の時間推移の一例を示す図である。
【図９】従来の撮像装置によって星空を含む被写体を時分割により撮影した画像データを単純に累積加算して得られた画像の表示例である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
図１は本発明の撮像装置の構成を示すブロック図である。この撮像装置は、イメージセンサに被写体の光学像を結像するためのレンズ１と、露出量を調節するための絞り値を決定する絞り２と、開閉動作によりイメージセンサへの露出や遮光を行いシャッタ速度を制御するメカシャッタ３と、レンズ１により結像された光学像を電気信号に変換するイメージセンサ４と、イメージセンサ４から読み出されたアナログ画像信号をデジタル画像信号である画像データに変換するＡ／Ｄ変換部５と、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像を一時的に記憶しておくための、フラッシュメモリなどの不揮発性メモリによって構成される内部メモリ６と、画像合成を行う画像合成部７と、画像合成部７で合成された合成画像データのレベルやこのレベルの時間的変化を検出する出力検出部８と、出力検出部８の検出結果に基づいて重み付け係数を演算する重み付け係数演算部９と、画像合成部７で合成された画像データに重み付け係数部８で決定された重み付け係数を乗じる重み付け処理部１０と、重み付け処理部１０で重み付けされた画像データ、又はＡ／Ｄ変換部５でデジタル化されたＲＡＷ画像データに対してデモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う現像処理部１１と、現像処理部１１で現像処理された画像データを記録するための外部メモリ１２と、ＴＦＴや有機ＥＬなどのＥＶＦ(電子ビューファインダ)によって構成され、現像処理部１１で現像された画像データによって表される画像を表示する表示部１３と、撮像装置全体を統括的に制御するシステム制御部１４と、システム制御部１４に対して、ユーザー操作に基づいて各種のモード設定やレリーズ等の撮影動作の指示を行うための指示部１５と、システム制御部１４と上述した各ブロック間で信号の送受信を行うための信号線であるバス１６と、を備えている。なお、以上述べた構成のうち、画像合成部７、出力検出部８、重み付け係数演算部９、重み付け処理部１０、現像処理部１１は画像処理部を構成する。また、指示部１５に含まれる撮影動作を指示するためのレリーズスイッチは最初の押圧動作を検出する第１スイッチと、続いて最初の押圧動作よりも相対的に強い押圧動作を検出する第２スイッチを有している。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
ＳＩ_ｎ（ｎは１以上の整数）をイメージセンサから読み出したｎコマ目の画像データ、ＳＩ_１からＳＩ_ｋまで累積加算した合成画像データを中間合成画像データ、ＣＩ_ｍを１〜ｍコマ目までの表示用合成画像データ、αを１〜ｍコマ（ｍは整数）の画像データを合成したときの中間合成画像データに対する重み付け係数、ｈを中間合成画像データのレベルが所定の適正レベル以上であると初めて判定したときの、それまで中間合成画像データを生成するために加算した総コマ数とすると、ＣＩ_ｍは数１のように表わされる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
このように、合成画像データのレベルが適正に達するまでは単純な加算処理（α＝１）にて合成画像データを生成し、中間合成画像データのレベルの検出結果が適正レベルに達したら、中間合成画像データに重み付け係数α＝ｈ／ｍを乗算することで、表示用合成画像データによって表される画像の背景輝度が適正に維持され、白トビを防止することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
ステップＳ２０１において、システム制御部１４は、直前にイメージセンサ４から読み出された画像信号に対応する画像データが、１コマ目の画像データであるか否かを判定する。ここで１コマ目の画像データである場合は、図３のサブルーチンからリターンする。なお、内部メモリ６は、少なくとも１コマ目の画像データおよび最終的な合成画像データを生成するまでの中間的な合成画像データである中間合成画像データを記憶する第１記憶領域と、２コマ目以降の画像データを記憶する第２記憶領域と、表示用合成画像データを記憶する第３記憶領域を有している。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
実施形態２においては内部メモリ６は、連続する２コマの画像データを記憶するための第１記憶領域及び第２記憶領域と、中間的な合成画像データである中間合成画像データを記憶する第３記憶領域と、この中間合成画像データに所定の係数を乗算することにより得られた画像表示に供するための表示用合成画像データを記憶する第４記憶領域を有する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
図８の（ａ−１）、（ａ−２）、（ａ−３）は、時刻Ｔｎ−１において読み出された画像である。時刻Ｔｎにおいて、打ち上げ直後の花火が撮影されており（１行左から２番目）、図８の（ｂ−１）から（ａ-１）を減算した減算画像データＳｕｂ＿ｎ（２行左から２番目） には花火が表示されている。このとき、重み付け係数αをｈ／ｎとし表示用合成画像を表示する（３行左から２番目）。ただし、ｈはｎコマ目の画像データに対して出力検出部８によりレベル変化を検出した後に、それまでにレベル変化があると判定された画像データの総コマ数である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
つぎに本発明の実施形態３に係る図２のステップＳ１１９の画像処理を、図５を参照して説明する。なお、実施形態３のその他の動作は図２で説明したとおりである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
実施形態３においては内部メモリ６は、連続する２コマの画像データを記憶するための第１記憶領域及び第２記憶領域と、中間的な合成画像データである中間合成画像データを記憶する第３記憶領域と、この中間合成画像データに所定の係数を乗算することにより得られた画像表示に供するための表示用合成画像データを記憶する第４記憶領域を有する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
つぎにステップＳ４０７において、重み係数演算部９は数６に従って重み付け係数αを演算する。つぎにステップＳ４０８において、重み係数処理部１０は第３記憶領域に記憶されている中間合成画素データ（ｘ、ｙ）に重み付け係数α(ｘ、ｙ)を乗算する。