(57)【要約】      （修正有）【課題】光跡と背景画像それぞれに対して様々な画像処理補正を独立に行い、かつ、撮影状況を確認しながら画像処理補正を行える効果を実現する撮像装置及び撮像方法を提供する。【解決手段】イメージセンサから逐次出力された第１の撮影画像データから背景領域となる第２の撮影画像データを生成し、第１の撮影画像データから主被写体領域となる第３の撮影画像データを生成し、第１及び第２の画像補正設定値を入力し、第１の画像補正設定値に基づいて、第２の撮影画像データに対して画像補正処理を行って、背景画像データを算出しＳ４１〜Ｓ４５、第２の画像補正設定値に基づいて、第３の撮影画像データに対して画像補正処理を行って、主被写体画像データを算出しＳ３５〜Ｓ３９、背景画像データと主被写体画像データから多重露光画像データを生成しＳ４７、多重露光画像データに基づいて画像を表示するＳ５３。【選択図】図３
2016149631.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続する複数回の露光動作を行い、複数の撮影画像データを取得し、１つの多重露光画像データを合成する撮像装置において、
上記被写体像である光像を結像させる撮影光学系と、
上記撮影光学系によって結像された被写体像を光電変換して撮影画像データを生成するイメージセンサと、
上記イメージセンサに対して、複数回の露光動作、および該複数回のそれぞれの露光動作毎に得る撮影画像データを読み出し制御する露光制御部と、
上記露光制御部により、最新の露光によって上記イメージセンサから逐次出力された撮影画像データである上記第１の撮影画像データに対して、上記第１の撮影画像に含まれる背景領域となる画像領域を抽出した画像データである第２の撮影画像データを算出する第１の画像処理演算部と、
上記第１の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する第２の画像処理演算部と、
上記第１の撮影画像データ、上記第２の撮影画像データ、および上記第３の撮影画像データをそれぞれの露光毎に記録保持するメモリ部と、
上記第２の撮影画像データ、および上記第３の撮影画像データに対して、それぞれ第１、および第２の画像補正設定値を入力する画像補正入力部と、
上記画像補正入力部によって入力された上記第１の画像補正設定値に基づいて、上記第２の撮影画像データに対して画像補正処理を行って、背景画像データを算出する第３の画像処理部と、
上記画像補正入力部によって入力された上記第２の画像補正設定値に基づいて、上記第３の撮影画像データに対して画像補正処理して、主被写体画像データを算出する第４の画像処理部と、
上記背景画像データと、上記主被写体画像データとを加算合成処理して、多重露光画像データを生成する画像合成処理部と、
上記多重露光画像データに基づいて表示画像を表示出力する表示部と、
含むことを特徴とする撮像装置。
【請求項２】
上記第２の画像処理演算部は、上記第１の撮影画像データと、上記第２の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記第１の画像処理演算部は、最新の露光動作によって取得した上記第１の撮影画像データと、
当該第１の画像処理演算部により前回演算された比較暗合成画像データまたは平均合成画像データを、比較暗合成処理または平均合成処理を行い、新たな比較暗合成画像データまたは新たな平均合成画像データを上記第２の画像データとして算出し、
上記第２の画像処理演算部は、比較明合成処理部と画像減算処理部とを含み、
上記比較明合成処理部は、最新の露光動作によって取得した上記第１の撮影画像データと、当該比較明合成処理部によって前回演算出力された比較明合成画像データとを比較明合成処理して、新たな比較明合成データを生成し、
上記画像減算処理部は、上記新たな比較明合成データから、上記第２の画像データを減算処理して、上記第３の画像データを算出する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記第２の画像処理演算部は、画像減算処理部と比較明合成処理部を含み、
上記画像減算処理部は、最新の露光動作によって取得した上記第１の撮影画像データから、前回の露光動作によって取得した上記第１の撮影画像データを減算処理して、差分画像データを生成し、
上記比較明合成処理部は、上記差分画像データに対して、当該比較明合成処理部によって前回演算出力された比較明合成画像データを比較明合成処理して、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記第１の画像処理演算部は、さらに、第１の比較明合成処理部と、画像加算処理部と、第２の比較明合成処理部と、画像減算処理部を含み、
上記第１の比較明合成処理部は、最新の露光動作によって取得した上記第１の撮影画像データと、当該比較明合成処理部によって前回演算出力された第１の比較明合成画像データとを比較明合成処理して、新たな第１の比較明合成データを生成し、
上記画像加算処理部は、上記最新の露光動作によって取得した上記第１の撮影画像データと、当該画像加算処理部によって前回演算出力された第１の加算合成画像データとを加算合成処理して、新たな第１の加算合成画像データを生成し、
上記第２の比較明合成処理部は、上記新たな第１の比較明合成画像データと、上記新たな第１の加算合成画像データとを、比較明合成処理してデータを生成して、第２の比較明合成データを生成し、
上記画像減算処理部は、上記第１の比較明合成データから、上記第２の比較明合成データを減算処理して、背景領域画像である上記第２の画像データを算出する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記画像補正入力部が入力する上記第１および第２の画像補正設定値は、それぞれシャープネス補正値とホワイトバランス補正値を含む補正設定値であり、
上記第３の画像処理部、および上記第４の画像処理部で行う画像補正処理は、上記画像補正入力部が入力した輝度補正設定値とホワイトバランス補正値を含む補正設定値に対応して、上記第２の撮影画像データ、および上記第３の撮影画像データに対して輝度補正、およびホワイトバランスゲイン補正をする、
ことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
【請求項７】
時系列に連続する複数回の露光動作を行い、複数の撮影画像データを取得し、１つの多重露光画像データを合成する撮像装置における撮影方法であって、
当該撮像装置の撮影光学系によって結像された被写体像をイメージセンサによって、光電変換して撮影画像データを生成する工程と、
上記イメージセンサに対して、複数回の露光動作、および該複数回のそれぞれの露光動作毎に得る撮影画像データを読み出しする読み出し工程と、
上記読み出し工程によって、最新の露光によって上記イメージセンサから読み出された最新の撮影画像データである上記第１の撮影画像データに対して、上記第１の撮影画像に含まれる背景領域となる画像領域を抽出した画像データである第２の撮影画像データを算出する第１の画像処理工程と、
上記第１の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する第２の画像処理工程と、
上記第１の撮影画像データ、上記第２の撮影画像データ、および上記第３の撮影画像データをそれぞれの露光毎に記録保持する工程と、
上記第２の撮影画像データ、および上記第３の撮影画像データに対して、それぞれ第１、および第２の画像補正設定値を入力する入力工程と、
上記画像補正入力部によって入力された上記第１の画像補正設定値に基づいて、上記第２の撮影画像データに対して画像補正処理を行って、背景画像データを算出する第３の画像処理工程と、
上記画像補正入力部によって入力された上記第２の画像補正設定値に基づいて、上記第３の撮影画像データに対して画像補正処理して、主被写体画像データを算出する第４の画像処理工程と、
上記背景画像データと、上記主被写体画像データとを加算合成処理して、多重露光画像データを生成する画像合成処理工程と、
上記多重露光画像データに基づいて表示画像を表示出力する表示工程と、
を含むことを特徴とする撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等の撮像装置において、特に、バルブ撮影等の長秒時露光撮影時に、複数回露光した画像データを比較明合成や比較暗合成等によって、多重露光撮影を行ったのと同等の１つのバルブ撮影画像を生成することが可能であり、かつ露光時間が任意に調整可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、一眼レフレックス式の撮像装置においては、被写体像の観察は光学式ファインダにより行っていた。しかし、最近では光学式ファインダをなくし、イメージセンサから読み出した画像を、液晶モニター等によって表示するライブビュー表示によって、被写体像の観察をする撮像装置が知られている。また、光学ファインダの代わりに、ライブビュー表示による画像を、液晶モニターとは別に、電子ビューファインダーを用いて表示し、液晶モニター出力と、電子ビューファインダーとを切り替え可能にした撮像装置が市販されている。
【０００３】
従来、光学ファインダの場合も電子ビューファンダーの場合もバルブ撮影のような長時間撮影時には、露出中にイメージセンサからの画像信号の読み出しを行うことができないために、被写体の状態や露出状態を確認できず、撮影が終了して画像を確認することとなる。このため、撮影者にとっては、露出設定や露出時間は、被写体の明るさなどから撮影者自身が推定して露光開始、終了を実施することとなり、露出不足、過多による撮影失敗することなく所望の撮影画像を得ることは容易でない。しかし、撮影を行いながら撮影中の被写体の状態や露出状態を確認することができれば、簡単に所望の撮影を行うことができ便利である。
【０００４】
そこで、長時間露光で撮影を行っている際の被写体の経過画像を表示する撮像装置が種々提案されている。例えば、特許文献１、２には、天体撮影や花火撮影などでは単純加算（通常のライブバルブ）と比較して、主要被写体（星、花火の軌跡）と背景（夜空）のコントラストを大きくして印象的な写真を生成するために比較明合成によって合成画像を取得するようにした撮像装置が提案されている。なお、比較明合成は、合成する２枚の画像データの同位置の画素出力を比較して、輝度の高い方の画素出力を合成後の画像出力とする合成方法である。
【０００５】
また、特許文献３には、記録されている複数枚画像を用いて合成画像を作成する際に、合成画像に対して最適なホワイトバランス（以下、ＷＢと称す）ゲインによるＷＢ補正を行うために、複数枚画像それぞれから算出したＷＢゲインと、合成画像を作成する際の合成方法とに応じて、合成画像に対するＷＢゲインを算出し、最適なＷＢ補正を行う画像処理方法が提案されている。
【０００６】
また、特許文献４には、比較明合成と比較暗合成によって得られたそれぞれの画像を用いて、星や花火等の主要被写体のみの画像（比較明合成画像と比較暗合成画像の差分）と、夜空といった背景等の画像（比較暗合成画像）を生成し、それぞれの画像に異なる露出補正をかけることで、主要被写体画像中の光の軌跡の増減調整や、背景画像の輝度調整ができる画像装置が提案されている。なお、比較暗合成は、合成する２枚の画像データの同位置の画素出力を比較して、輝度の低い方の画素出力を合成後の画像出力とする合成方法である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４５６５５０４号公報
【特許文献２】特許第４１４８５８６号公報
【特許文献３】特開２０１２−０８５０４３号公報
【特許文献４】特開２０１４−２１２４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
撮影対象となる被写体には、まず主要被写体を星の軌跡や自動車のヘッドライトなど時間経過と共に移動する光跡がある。一方、主要被写体以外であり移動しない背景領域となる画像がある。これらの被写体画像を対象とした撮影状況において、それぞれ主要被写体の移動軌跡を残しつつ、背景画像を所望の画質を得る撮影が望まれる。
【０００９】
前述の特許文献１〜３においても、光跡と背景を自動的に判別し、且つ撮影中に撮影者がその途中経過を確認しながら光跡と背景それぞれに異なる画像処理を行えるものではない。このため、画角内の被写体に対して一様にＷＢ補正が掛かってしまうものとなっていた。また特許文献４においては、主要被写体画像と背景画像それぞれに対し、露出補正に特化した画像処理は掛けられるが、補正や偽色補正、輪郭強調等の画像処理は行えないものとなっていた。
【００１０】
光跡と背景に対しては、撮像装置で撮影中に、様々な画像処理補正を、それぞれ独立に行えることが望ましい。例えば、夜空に浮かび上がる星の光跡を撮影する条件下では、天候条件に左右される背景画像に対して撮影者が意図するＷＢ補正を行い、さらに背景をぼけさせるために輪郭強調を弱めるなどと行った補正を行えれば便利である。しかし光跡に対しては、背景とは異なる画像処理補正が望ましい。すなわち、画像処理補正として、光跡を目立たせるために露出補正を上げる、光跡をはっきりさせるために輪郭強調を上げる、撮影中に本来の色味とは異なる偽色が発生してしまうのを防ぐために光跡のみに偽色補正処理をかける等の補正処理ができると、撮影者の意図に沿った画像を得ることが可能となる。
【００１１】
このように、撮影を行う天候条件や、カメラの撮影条件によっては、撮影中に光跡と背景画像に対して異なる画像処理補正を行えることが望ましいが、現状ではそれを実現できる手段がない。そこで、撮影終了後に、撮影された画像データに対して、画像処理ソフトを用いて多大な時間を掛けて補正作業を行うしかない。即ち従来技術では、撮影装置で撮影中に光跡と背景画像それぞれに対して様々な画像処理補正を独立に行う方法がなく、かつ撮影状況を確認しながら画像処理補正を行えるという方法もなかった。
【００１２】
本発明は、このような事情を鑑みてなされたものであり、撮影中に光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができ、かつ撮影状況を確認しながら画像処理補正を行える効果を実現できるようにした撮像装置および撮像方法を提供する。
【課題を解決するための手段】
【００１３】
上記目的を達成するため第１の発明に係る撮像装置は、時系列に連続する複数回の露光動作を行い、複数の撮影画像データを取得し、１つの多重露光画像データを合成する撮像装置であって、上記被写体像である光像を結像させる撮影光学系と、上記撮影光学系によって結像された被写体像を光電変換して撮影画像データを生成するイメージセンサと、上記イメージセンサに対して、複数回の露光動作、および該複数回のそれぞれの露光動作毎に得る撮影画像データを読み出し制御する露光制御部と、上記露光制御部により、最新の露光によって上記イメージセンサから逐次出力された撮影画像データである上記第１の撮影画像データに対して、上記第１の撮影画像に含まれる背景領域となる画像領域を抽出した画像データである第２の撮影画像データを算出する第１の画像処理演算部と、上記第１の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する第２の画像処理演算部と、上記第１の撮影画像データ、上記第２の撮影画像データ、および上記第３の撮影画像データをそれぞれの露光毎に記録保持するメモリ部と、上記第２の撮影画像データ、および上記第３の撮影画像データに対して、それぞれ第１、および第２の画像補正設定値を入力する画像補正入力部と、上記画像補正入力部によって入力された上記第１の画像補正設定値に基づいて、上記第２の撮影画像データに対して画像補正処理を行って、背景画像データを算出する第３の画像処理部と、上記画像補正入力部によって入力された上記第２の画像補正設定値に基づいて、上記第３の撮影画像データに対して画像補正処理して、主被写体画像データを算出する第４の画像処理部と、上記背景画像データと、上記主被写体画像データとを加算合成処理して、多重露光画像データを生成する画像合成処理部と、上記多重露光画像データに基づいて表示画像を表示出力する表示部と、含む。
【００１４】
第２の発明に係る撮像装置は、上記第１の発明において、上記第２の画像処理演算部は、上記第１の撮影画像データと、上記第２の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する。
【００１５】
第３の発明に係る撮像装置は、上記第２の発明において、上記第１の画像処理演算部は、最新の露光動作によって取得した上記第１の撮影画像データと、該第１の画像処理演算部により前回演算された比較暗合成画像データまたは平均合成画像データを、比較暗合成処理または平均合成処理を行い、新たな比較暗合成画像データまたは新たな平均合成画像データを上記第２の画像データとして算出し、上記第２の画像処理演算部は、比較明合成処理部と画像減算処理部とを含み、上記比較明合成処理部は、最新の露光動作によって取得した上記第１の撮影画像データと、当該比較明合成処理部によって前回演算出力された比較明合成画像データとを比較明合成処理して、新たな比較明合成データを生成し、上記画像減算処理部は、上記新たな比較明合成データから、上記第２の画像データを減算処理して、上記第３の画像データを算出する。
【００１６】
第４の発明に係る撮像装置は、上記第１の発明において、上記第２の画像処理演算部は、画像減算処理部と比較明合成処理部を含み、上記画像減算処理部は、最新の露光動作によって取得した上記第１の撮影画像データから、前回の露光動作によって取得した上記第１の撮影画像データを減算処理して、差分画像データを生成し、上記比較明合成処理部は、上記差分画像データに対して、当該比較明合成処理部によって前回演算出力された比較明合成画像データを比較明合成処理して、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する。
【００１７】
第５の発明に係る撮像装置は、上記第１の発明において、上記第１の画像処理演算部は、さらに、第１の比較明合成処理部と、画像加算処理部と、第２の比較明合成処理部と、画像減算処理部を含み、上記第１の比較明合成処理部は、最新の露光動作によって取得した上記第１の撮影画像データと、当該比較明合成処理部によって前回演算出力された第１の比較明合成画像データとを比較明合成処理して、新たな第１の比較明合成データを生成し、上記画像加算処理部は、上記最新の露光動作によって取得した上記第１の撮影画像データと、当該画像加算処理部によって前回演算出力された第１の加算合成画像データとを加算合成処理して、新たな第１の加算合成画像データを生成し、上記第２の比較明合成処理部は、上記新たな第１の比較明合成画像データと、上記新たな第１の加算合成画像データとを、比較明合成処理してデータを生成して、第２の比較明合成データを生成し、上記画像減算処理部は、上記第１の比較明合成データから、上記第２の比較明合成データを減算処理して、背景領域画像である上記第２の画像データを算出する。
【００１８】
第６の発明に係る撮像装置は、上記第１ないし第５の発明のいずれかにおいて、上記画像補正入力部が入力する上記第１および第２の画像補正設定値は、それぞれシャープネス補正値とホワイトバランス補正値を含む補正設定値であり、上記第３の画像処理部、および上記第４の画像処理部で行う画像補正処理は、上記画像補正入力部が入力した輝度補正設定値とホワイトバランス補正値を含む補正設定値に対応して、上記第２の撮影画像データ、および上記第３の撮影画像データに対して輝度補正、およびホワイトバランスゲイン補正をする。
【００１９】
第７の発明に係る撮像方法は、時系列に連続する複数回の露光動作を行い、複数の撮影画像データを取得し、１つの多重露光画像データを合成する撮像装置における撮影方法であって、当該撮像装置の撮影光学系によって結像された被写体像をイメージセンサによって、光電変換して撮影画像データを生成する工程と、上記イメージセンサに対して、複数回の露光動作、および該複数回のそれぞれの露光動作毎に得る撮影画像データを読み出しする読み出し工程と、上記読み出し工程によって、最新の露光によって上記イメージセンサから読み出された最新の撮影画像データである上記第１の撮影画像データに対して、上記第１の撮影画像に含まれる背景領域となる画像領域を抽出した画像データである第２の撮影画像データを算出する第１の画像処理工程と、上記第１の撮影画像データに基づいて、上記第１の撮影画像に含まれる主被写体領域となる画像領域を抽出した第３の撮影画像データを生成する第２の画像処理工程と、上記第１の撮影画像データ、上記第２の撮影画像データ、および上記第３の撮影画像データをそれぞれの露光毎に記録保持する工程と、上記第２の撮影画像データ、および上記第３の撮影画像データに対して、それぞれ第１、および第２の画像補正設定値を入力する入力工程と、上記画像補正入力部によって入力された上記第１の画像補正設定値に基づいて、上記第２の撮影画像データに対して画像補正処理を行って、背景画像データを算出する第３の画像処理工程と、上記画像補正入力部によって入力された上記第２の画像補正設定値に基づいて、上記第３の撮影画像データに対して画像補正処理して、主被写体画像データを算出する第４の画像処理工程と、上記背景画像データと、上記主被写体画像データとを加算合成処理して、多重露光画像データを生成する画像合成処理工程と、上記多重露光画像データに基づいて表示画像を表示出力する表示工程と、を含む。
【発明の効果】
【００２０】
本発明によれば、撮像装置で撮影中に、光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができ、かつ撮影状況を確認しながら画像処理補正を行える効果を実現できるようにした撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の各実施形態に共通するカメラの主として電気的構成を示すブロック図である。
【図２】本発明の各実施形態に共通するカメラにおいて、カメラの動作を示すフローチャートである。
【図３】本発明の各実施形態に共通するカメラにおいて、カメラの動作を示すフローチャートである。
【図４】本発明の第１実施形態に係るカメラにおける画像処理部の詳細を示すブロック図である。
【図５】本発明の第１実施形態に係るカメラにおけるレイヤー合成処理部の詳細を示すブロック図である。
【図６】本発明の第１実施形態に係るカメラにおいて、主被写体分離および合成処理の動作を示すフローチャートである。
【図７】本発明の第１実施形態に係るカメラにおいて、画像の合成処理を説明する図である。
【図８】本発明の第２実施形態に係るカメラにおける画像処理部の詳細を示すブロック図である。
【図９】本発明の第２実施形態に係るカメラにおいて、主被写体分離および合成処理の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係るカメラにおいて、画像の合成処理を説明する図である。
【図１１】本発明の第３実施形態に係るカメラにおける画像処理部の詳細を示すブロック図である。
【図１２】本発明の第３実施形態に係るカメラにおいて、主被写体分離および合成処理の動作を示すフローチャートである。
【図１３】本発明の第３実施形態に係るカメラにおいて、画像の合成処理を説明する図である。
【図１４】本発明の第４実施形態に係るカメラにおける画像処理部の詳細を示すブロック図である。
【図１５】本発明の第４実施形態に係るカメラにおいて、主被写体分離および合成処理の動作を示すフローチャートである。
【図１６】本発明の第４実施形態に係るカメラにおいて、画像の合成処理を説明する図である。
【発明を実施するための形態】
【００２２】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラであり、撮像素子から読み出される画像データに基づく画像データを表示部にライブビュー表示すると共にレリーズ釦の操作に応じて記録用に画像処理した画像データを外部メモリに記録する。また、ライブコンポジット・経過表示モードを設定すると、バルブ撮影等の長時間露光中に、所定時間間隔で画像データを読出し、画像データが読み出される毎に複数の画像データを合成して経過画像の画像データを生成し、露光状態の経過表示を行うことができる。
【００２３】
さらに、このカメラは、露光状態の経過表示を行うにあたって、撮像素子から連続的に読み出した画像信号から、光跡と背景画像をそれぞれ抽出し、それぞれ別のレイヤーとして重ねて表示機器に出力する。撮影者は表示機器に出力されている画像を見ながら、露出補正やＷＢ補正、輪郭強調、偽色補正等の様々な画像処理補正をそれぞれのレイヤーに対して、独立に行うことができる。
【００２４】
本発明の好ましい実施形態においては、難易度の高いバルブ撮影時に、天候等の撮影条件やカメラの設定条件と、それにより取得された画像と撮影者が意図する画像との乖離を埋め合わせるための画像処理補正を簡易化、広範囲化することで、撮影者が意図する画像を一度の撮影で簡単に取得できる。
【００２５】
図１は、本発明の第１〜第４実施形態に共通に使用されるカメラの主として電気的構成を示すブロック図である。本実施形態におけるカメラは、撮像部１、画像処理部１０、システム制御部２０、およびバス３１とこれに接続された各部を有する。
【００２６】
レンズ２は、イメージセンサ４に被写体の光学像を結像する撮影光学系を有する。またレンズ２内には、露出量を調節するための絞り値を決定する絞りを備える。メカシャッタ３は、開閉動作によりイメージセンサ４への露出や遮光を行い、シャッタ速度を制御する。イメージセンサ４は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２により結像された被写体の光学像を画素毎に電気信号に変換し、画像データを、画像処理部１０およびバス３１に出力する。バス３１は、各ブロック間で信号の送受信を行うための信号線である。
【００２７】
画像処理部１０は、イメージセンサ４から出力された画像データに画像処理を施す。画像処理部１０は、画素比較合成部１１、画素平均合成部１２、画素加算合成部１３、差分画像合成部１４、画像合成部１５、および現像処理部１６を有する。なお、図１において、画像処理部１０は、各部位に対応する画像処理演算を行う演算回路で構成する専用の画像処理プロセッサを一例として挙げている。しかし、これに限らず、画像処理部１０は、ＤＳＰ（Digital Signal Processor）やＣＰＵ（Central Processing Unit）等である汎用の信号処理プロセッサを用いたハードウエアで構成してもよく、そのハードウエアで行う一部または全部の演算処理機能を処理プログラムとなるソフトウエアで実行するようにしてもよい。
【００２８】
画素比較合成部１１は、イメージセンサ４から連続的に読み出された画像データと、内部メモリ３３に保存された画像データの画素毎の出力を比較し、画素毎に比較明処理及び比較暗合成処理を行い、これらの処理によって生成された比較明合成画像データおよび比較暗合成画像データを用いて合成画像データを生成する。
【００２９】
すなわち、画素比較合成部１１における比較明処理では、最初にイメージセンサ４から読み出された１コマ目となる画像データを、１コマ目の累積比較明合成画像データとして内部メモリ３３に記憶する。この１コマ目となる画像データは、後に比較明合成処理する際の基準画像データである。次に、イメージセンサ４から読み出された２コマ目以降となる画像データと、内部メモリ３３に記憶されている累積比較明合成画像データについて、それぞれ対応する画素データの出力値を比較する。そして、それぞれ対応する画素データを比較した結果、いずれか大きい方、すなわち明るい方の画素データを検出し、この明るい方の画素データを用いて、新たに累積比較明合成画像データを再構成する。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。比較明処理を行うことにより、夜空の星の光跡の画像を得ることができる（後述する図７の比較明合成画像８１ｂ等参照）。
【００３０】
また、画素比較合成部１１における比較暗処理では、最初にイメージセンサ４から読み出された画像データを基に生成された画像データを、１コマ目の累積比較暗合成画像データとして内部メモリ３３に記憶する。この１コマ目となる画像データは、後に比較暗合成処理する際の基準画像データである。次にイメージセンサ４から読み出された２コマ目以降となる画像データと、内部メモリ３３に記憶されている累積比較暗合成画像データについて、それぞれ対応する画素データの出力値を比較する。そして、それぞれ対応する画素データを比較した結果、いずれか小さい方、すなわち暗い方の画素データの出力値を検出し、この暗い方の画素データを用いて、新たに累積比較暗合成画像データを再構成する。この処理をイメージセンサ４から画像データが読み出されるたびに繰り返し行う。比較暗処理を行うことにより、夜空の星の光跡を消去し、背景の画像を得ることができる（後述する図７の比較暗合成画像８１ｃ等参照）。
【００３１】
画素平均合成部１２は、累積比較明合成画像データまたは累積比較暗合成画像データを構成する複数の画素データについて、対応する画素毎に画素データの平均値を算出する（後述する図１０の平均画像８２ｃ参照）。
【００３２】
画素加算合成部１３は、イメージセンサ４から連続的に読み出された画像データと、内部メモリ３３に保存された画像データの画素毎の出力を、対応する画素毎に画像データの平均値を算出する。これの処理によって生成された平均合成画像データを用いて合成画像データを生成する（後述する図１６の加算合成画像８７ａ、８７ｂ参照）。
【００３３】
差分画像合成部１４は、２つの画像データについて、画素毎に差分を算出し、差分画像データを生成する。具体的には、比較明合成画像データと比較暗合成画像データの画素毎の差分出力や、比較明合成画像データと平均合成画像データの差分出力や、ｎ＋１枚目の画像データとｎ枚目の画像データの差分出力や、比較明合成画像データと加算合成後の比較明合成画像の画像データの差分出力等を算出する（例えば、後述する図１３の差分画像８３ｅ、８３ｆ、８３ｇ参照）。
【００３４】
画像合成部１５は、差分画像データと比較暗合成画像データをそれぞれ別のレイヤーとして重ねるような像合成を行う。
【００３５】
現像処理部１６は、それぞれのレイヤーに対して独立に、露出補正やＷＢゲイン補正、輪郭強調、偽色補正といった様々な画像を行う。また、画像合成部１５において生成されたＲＡＷ画像データに対して、デモザイキング、ホワイトバランス調整、ガンマ補正、画像圧縮などの現像処理を行う。
【００３６】
なお、後述に示す各実施形態では、画像処理部１０内にある、画素比較合成部１１、画素平均合成部１２、画素加算合成部１３、差分画像生成部１４に対する入力、出力となる信号処理の流れ、画像処理内容の構成をそれぞれ変えて構成している。この点の詳細説明は、後述各実施形態での画像処理部内の処理構成の説明にて行う。
【００３７】
内部メモリ３３は、カメラ動作に必要な各種設定情報や、画像処理時に途中経過の画像データを一時的に記憶する。内部メモリ３３には、後述詳細の説明で示すように、画像処理時に画像データを一時的に記憶する画像データメモリ３３ａを備えている。内部メモリ３３は、フラッシュメモリ等の不揮発性メモリや、ＤＲＡＭ等の揮発性のメモリによって構成される。
【００３８】
外部メモリ３６は、カメラ本体に装填自在、または内部に固定された不揮発性の記憶媒体であり、例えば、ＳＤカードやＣＦカード等である。この外部メモリ３６は、現像処理部１６で現像処理された画像データを記録し、また再生時には、記録された画像データが読み出され、カメラの外部に出力可能である。
【００３９】
表示部３７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬなどの背面表示部やＥＶＦ（電子ビューファインダ）によって構成され、現像処理部１６によって現像された画像を表示する。
【００４０】
入力ＩＦ３８は、レリーズ釦等の操作部材や、背面表示部等におけるタッチ操作を入力するためのタッチパネル等を有し、ユーザ操作に基づいて各種のモード設定やレリーズ等撮影動作の指示を行う。
【００４１】
露出判定部３４は、イメージセンサ４から読み出される画像データまたは各合成部で生成された画像データの出力から適正露出か否かを判定する。比較部３５は、比較合成する複数の画像データの画素毎の出力差を比較する。また画素毎の出力差と所定値（スレッシュレベル）を比較することも可能である。
【００４２】
システム制御部２０は、ＣＰＵ（Central Processing Unit）を有し、内部メモリ３３内に記憶されたプログラムに従ってカメラの全体制御を行う。また、システム制御部２０は、露光時間算出部２１、露光時間制御部２２、通信制御部２３を有する。露光時間算出部２１は露出判定部３４における露出判定結果から最適な露光時間（シャッタ速度）を算出する。露光時間制御部２２は露出時間算出部２１における算出結果に応じてメカシャッタ３の開閉タイミング処理を制御する。露光時間算出部２１および露光時間制御部２２は、ＣＰＵが処理するプログラムであるソフトウエアによって処理してもよく、また、専用の信号処理回路等のハードウエアによって処理してもよい。
【００４３】
通信制御部２３は、外部通信機器と通信を行い、外部通信機能を介してカメラを制御する。また、バスライン３１を介して、撮像部や画像処理部等に対して、制御信号やデータ信号等の送受信させる通信動作を行う。
【００４４】
次に、図２および図３に示すフローチャートを用いて、第１〜第４実施形態に共通するカメラの処理の流れを説明する。このフローチャートは、内部メモリ３３に記憶されたプログラムに従って、システム制御部２０が各部を制御することにより実行する。なお、図２および図３に示すフローチャートでは、通常のバルブ撮影（露光経過を読み出し、経過表示を行わない場合）のシーケンスについては図示、説明を割愛し、連続的に読み出した画像データを合成しては順次、撮影経過として表示する経過表示モードについて説明する。
【００４５】
図２に示すフローがスタートする前は、撮影待機状態である。この撮影待機状態において、イメージセンサ４から読み出した画像データに基づいて、ライブビュー表示がなされる。撮影者は表示部３７や光学ファインダ（未表示）を確認しながら、撮影したい被写体が撮影できるように撮像装置の向きやレンズの焦点距離（ズーム）を調整する。また、必要に応じて、撮影者は釦やタッチパネルＩＦなどの入力ＩＦ３８を介して、レンズを構成するフォーカスレンズの位置、絞り値、ＩＳＯ感度等の撮影情報を設定する。
【００４６】
また、撮影待機状態においては、撮影者は入力ＩＦ３８を介して、ライブコンポジット・経過表示モードの設定が可能である。このライブコンポジット・経過表示モードは、バルブ撮影等の際に撮影中にイメージセンサ４から画像データを読出し、この画像データを読み出す毎に、比較明合成等、種々の画像合成を行い、長時間露光時における経過画像を表示する。また、ライブコンポジット・経過表示モードが設定されると、主要被写体画像と背景画像を分離し、それぞれの画像に対して、種々の画像処理を施すことができる。
【００４７】
図２に示すフローに入ると、まず、ライブコンポジット・経過表示モードが選択されているか否かを判定する（Ｓ１）。前述したように、ライブコンポジット・経過表示モードは、入力ＩＦ３８を介して設定される。
【００４８】
ステップＳ１における判定の結果、ライブコンポジット・経過表示モードが選択されていない場合には、通常撮影を行う（Ｓ２３）。このステップでは、システム制御部２０が、従来から知られている通常撮影の制御を行う。例えば、レリーズ釦の半押しがなされると、ＡＦ（Auto Focus）とＡＥ（Auto Exposure）がなされる。また、レリーズ釦の全押しがなされると、画像データが取り込まれ、画像処理が施された後に、外部メモリ３６に画像データが記録される。通常撮影を行うと、ステップＳ５７に進む。
【００４９】
一方、ステップＳ１における判定の結果、ライブコンポジット・経過表示モードが選択されていた場合には、次に、１ｓｔレリーズを検知したか否かを判定する（Ｓ３）。このステップでは、入力ＩＦ３８が、レリーズ釦の半押しに応じて動作する１ｓｔレリーズスイッチがオンになったか否かを検知し、その検知結果に基づいて判定する。この判定の結果、１ｓｔレリーズを検知しない場合には、待機状態となる。
【００５０】
ステップＳ３における判定の結果、１ｓｔレリーズを検知した場合には、次に、ＡＦ・ＡＥを行う（Ｓ５）。ここでは、システム制御部２０が、ＡＦ制御を行う。すなわち、イメージセンサ４から繰り返し読み出される画像データに基づいて、コントラスト値（評価値）がピークとなるように、撮像部１の撮影レンズ２内に構成するフォーカスレンズを移動させ、撮影像のピント位置を調整する。なお、ＡＦ制御は、前述の様に、コントラスト値によるピント状態を検出する手段に限るものではない。例えば、イメージセンサ４に、被写体像の位相差を検出する位相差検出用画素を設け、この位相差検出用画素からの信号に基づいて、位相差検出法によって被写体距離を検出し、この検出結果に応じてフォーカスレンズを合焦位置に移動させてもよい。
【００５１】
また、ステップＳ５においては、システム制御部２０がＡＥ制御を行う。すなわち、露出判定部３４が、イメージセンサ４からの画像データに基づいて被写体輝度状態を検出する。この被写体輝度状態に基づいて、撮影レンズ２内にある絞りに対して、目標となる被写体輝度を得るために必要な所定の絞り開口量が設定される。また、露出時間算出部２１が、メカシャッタ３によってイメージセンサ４に入射する被写体光の露出時間を算出する。
【００５２】
ステップＳ５において、ＡＥ・ＡＦを行うと、次に、２ｎｄレリーズ検知を行う（Ｓ７）。このステップでは、入力ＩＦ３８が、レリーズ釦の全押し（半押しより相対的に強い押圧動作）に応じて動作する２ｎｄレリーズスイッチがオンになったか否かを検知し、その検知結果に基づいて判定する。この判定の結果、２ｎｄレリーズを検知しない場合には、ステップＳ５に戻り、２ｎｄレリーズがオンになるまでＡＦ動作を繰り返し行う。
【００５３】
ステップＳ７における判定の結果、２ｎｄレリーズが検知されると、連続取り込みを開始する（Ｓ９）。このステップでは、システム制御部２０が、設定された撮影条件に従って、イメージセンサ４から画像データの連続取り込みを開始させる。
【００５４】
まず、システム制御部２０は１コマ目の露出を開始する。この時、撮影者設定、若しくは初期設定を反映した画像読出し周期（露出時間）Ｔにて露光、画像読出しを行うように、システム制御部２０はメカシャッタ３、イメージセンサ４及びその後の画像処理等を制御する。比較合成モードにおいては、１ｓｔレリーズがオンされた後のＡＥ制御により、背景の明るさが適正露出となるように、露出時間Ｔを自動設定してもよい。
【００５５】
連続取り込みを開始すると、次に、画像データを内部メモリに保存する（Ｓ１１）。このステップでは、システム制御部２０は、所定の画像読出し周期（露出時間）Ｔが経過したか否かを判定する。所定の時間Ｔが経過したものと判定されると、システム制御部２０はイメージセンサ４から画像データを読み出し、内部メモリ３３に記録する。内部メモリ３３への記録が完了すると、即時に次のコマの露出を開始する。
【００５６】
システム制御部２０は、内部メモリ３３に画像データが記憶される毎に、この画像データに対して、現像処理部１６にてデモザイキング処理、γ補正処理、ノイズリダクション処理、ＹＣ信号生成処理、リサイズ処理（読み出された画像の画素数は液晶やＥＶＦよりも大きいため、表示素子の表示画素数にあうようにあわせる）等の現像像処理を施し、表示用の画像データを生成し、露光画経過画像として表示部３７に表示させる。
【００５７】
１コマ目の読み出し画像については特に合成処理などの処理は行わず、２コマ目以降にて、後述する第１実施形態〜第４実施形態に記載するような合成処理を実施する。システム制御部は、２ｎｄレリーズがオフ（押圧動作が解除）されたか否かを判定する。オフされない場合は撮影を継続する。２コマ目の露出開始からさらに時間Ｔが経過するとシステム制御部は２コマ目の画像を読み出すようにイメージセンサを制御する。１コマ目同様に内部メモリに記録する（このとき同時に３コマ目の露出を開始する）。
【００５８】
内部メモリに画像データを保存すると、次に、画像データに対して被写体領域を分離、抽出処理を行う（レイヤー抽出・分離処理ステップＳ１３）。このステップでは、システム制御部２０は内部メモリ３３に記録された１コマ目と２コマ目の読み出し画像を画像処理部１０に転送し、後述する第１実施形態〜第４実施形態に従い、２枚の画像の画素毎の画素レベルを比較することにより、画像データに対して被写体領域の分離、抽出処理、およびそれぞれ分離した画像データ（レイヤー画像）の生成を行う。
【００５９】
ステップＳ１３による被写体領域の分離、抽出を行う処理関する詳細な説明は、後述する第１実施形態〜第４実施形態において行う。ここで、被写体領域の分離、抽出とは、画像データから主要被写体つまり光跡画像に相当する画像と、主要被写体以外である背景画像とを、それぞれ分離、抽出して、それぞれ主要被写体レイヤー画像と、背景画像レイヤー画像を生成することである。
【００６０】
またステップＳ１５では、ステップＳ１３の処理に基づいて生成した主要被写体レイヤー画像と、背景画像レイヤー画像となる２つの画像データを内部メモリに保存する。次に、画像表示を行う（Ｓ２１）。前述のステップＳ１３における処理を基にそれぞれ保存された画像データ（すなわち、主要被写体のレイヤー画像と、背景画像のレイヤー画像）を読み出し、画像合成部１０において、これら２つのレイヤー画像を重ねて表示部３７へ表示出力する。
【００６１】
撮影継続中は、１コマの画像を読み出すごとに最新の取得画像と過去に撮影された取得画像から、主要被写体レイヤー画像と背景レイヤー画像となる２つの画像データを生成する（Ｓ１３参照）。この２つの画像データを重ねたものを、１コマの画像を読み出すごとに表示出力するため、表示部３７に出力される画像は更新され続けることになる。
【００６２】
ステップＳ２１において、画像表示を行うと、ステップＳ３１〜Ｓ４９において、更新されている画像表示をモニタリングしながら、撮影者は主要被写体画像もしくは背景画像を選択し、それぞれ、露出補正やＷＢゲイン補正、輪郭強調、偽色補正といった様々な画像処理補正を独立に行うことができる。この時点で主要被写体画像と背景画像は、それぞれ別々のレイヤーとして存在するものに独立に画像処理補正をかけるため、一度行った画像処理補正は可逆的な操作である。
【００６３】
なお、画像処理補正対象は撮影者が入力ＩＦ部３８を介して選択する構成を一例として示す。しかしながら、これら画像処理補正対象の選択は、入力ＩＦ部３８を介して選択する構成に限らず、カメラ本体内の通信制御部２３における通信機能を用いて、外部通信機器を介して行う構成も含まれる。この構成では、入力ＩＦ部３８を操作することで、カメラ本体に振動が発生し、像ぶれによる不鮮明な画像が得られてしまうことを避けることが可能である。
【００６４】
ステップＳ２１において画像表示を行うと、まず、画像処理補正を実施するか否かを判定する（Ｓ３１）。画像処理補正は撮影者が入力ＩＦ部３８を介して行う。この判定の結果、画像処理補正を行う場合には、次に、主要被写体画像に対して行うか、背景画像に対して行うかの判定を行う（Ｓ３３）。主要被写体画像に対してか、または背景画像に対しては、撮影者が入力ＩＦ部３８を介して選択する。
【００６５】
ステップＳ３３における判定の結果、主要被写体に対して画像処理補正を行う場合には、選択された主要被写体に対して画像処理補正を行う（Ｓ３５）。ここでは、入力ＩＦ部３８を介して指定された画像処理補正を、主要被写体に対して行う。画像処理補正を行うと、画像表示を行う（Ｓ３７）。ここでは、ステップＳ３５において画像処理補正が行われた画像データに基づいて主要被写体画像を表示部３８に表示する。画像表示すると、画像処理補正が終了か否かを判定する（Ｓ３９）。撮影者は、画像処理補正を終了する場合には、入力ＩＦ部３８を介して、その旨を指示する。この判定の結果、終了しない場合には、ステップＳ３６に戻り、画像処理補正を繰り返す。
【００６６】
ステップＳ３３における判定の結果、背景画像に対して画像処理補正を行う場合には、背景画像に対して画像処理補正を行う（Ｓ４１）。ここでは、入力ＩＦ部３８を介して指定された画像処理補正を、背景画像に対して行う。画像処理補正を行うと、画像表示を行う（Ｓ４３）。ここでは、ステップＳ４１において画像処理補正が行われた画像データに基づいて背景画像を表示部３８に表示する。画像表示すると、画像処理補正が終了か否かを判定する（Ｓ４５）。撮影者は、画像処理補正を終了する場合には、入力ＩＦ部３８を介して、その旨を指示する。この判定の結果、終了しない場合には、ステップＳ４１に戻り、画像処理補正を繰り返す。
【００６７】
ステップＳ３９またはＳ４５における判定の結果、画像処理補正が終了した場合には、現像処理を行う（Ｓ４７）。このステップでは、ステップＳ３３、Ｓ４１において画像処理補正が施された画像データに対して、現像処理部１６が現像処理を行う。
【００６８】
現像処理を行うと、次に、画像表示を行う（Ｓ４９）。ここでは、ステップＳ４７において、現像処理された画像データに基づいて、表示部３７に補正処理された画像を表示する。撮影者は、この画像を見ながら、補正量を変化させ、意図に沿った画像を得ることができる。
【００６９】
画像表示を行うと、次に、編集終了か否かを判定する（Ｓ５１）。撮影者が画像処理補正を終了する場合には、入力ＩＦ部３８を介して指示する。この判定の結果、編集を終了しない場合には、ステップＳ３３に戻り、画像処理補正を行う。
【００７０】
ステップＳ５１における判定の結果、編集終了の場合には、画像表示を行う（Ｓ５３）。ここでは、ステップＳ３５とＳ４１において画像処理補正された画像の各レイヤーを合成し、すなわち主要被写体画像と背景画像を合成した画像の表示を行う。
【００７１】
ステップＳ５３において画像表示を行うと、次に、撮影終了か否かの判定を行う（Ｓ５５）。撮影終了か否かは、レリーズ釦から指が離され（押圧動作が解除）、２ｎｄレリーズスイッチがオフされた場合に撮影終了と判定される。この判定の結果、撮影が終了していない場合には、ステップＳ１１に戻り、前述の動作を繰り返す。
【００７２】
一方、ステップＳ５５における判定の結果、撮影終了の場合には、外部メモリ画像データを保存する（Ｓ５７）。このステップでは、“時間Ｔ経過した後”、画像データを読み出し、内部メモリ３３に保存する。上述した処理と同様に、累積画像と最終取り込み画像から差分を抽出し、スレッシュレベル以上の画素アドレスを元に主要被写体画像と背景画像を取得し、内部メモリ３３へ記録する。さらにＳ２１と同様に、主要被写体画像と背景画像をそれぞれ別のレイヤーとして内部メモリ３３へ記録し、表示部３７へ出力する。
【００７３】
外部メモリに保存すると、次に、現像画像の表示を行う（Ｓ５９）。ここでは、ステップＳ５７において保存した画像データに基づいて、現像画像を表示部３７に表示する。表示を行うと、本フローを終了する。
【００７４】
このように、第１〜４実施形態に共通の実施形態においては、それぞれのレイヤーに対しては独立した画像処理補正を行うことが可能であり（Ｓ３３〜Ｓ４５参照）、画像処理補正の編集作業が終わった時点で、現像処理を施し、その結果を外部メモリ３６へ記録し、最終画像を表示部３７へ出力する（Ｓ５１、Ｓ５３参照）。同時に、別のタイミングで改めて画像処理補正の編集を可能とするために、現像処理結果の画像データとは別に、主要被写体画像と背景画像のレイヤーも外部メモリ３３へ記憶する（Ｓ５７参照）。
【００７５】
また、時間Ｔ経過後に読み出しを行うのは、後述する第１実施形態のように比較暗合成処理を行う場合に、比較暗合成では暗い（輝度レベルの小さい）画素が採用される。このため、時間Ｔよりも短い時間で読み出した暗い画像を比較合成すると、その暗い画像の出力が最終的な合成画像となってしまい（例えばＴに対して非常に短い時間で読み出した場合比較暗合成画像が真っ暗になってしまう）、全ての合成画像は同じ露光時間Ｔで読出しを行うように制御している。
【００７６】
次に、本発明の第１実施形態について、図４ないし図７を用いて説明する。
【００７７】
まず、図４を用いて、本実施形態における画像処理部１０の構成について説明する。図４は、第１実施形態において、画像処理部４で行う画像処理の構成と、画像信号等の流れを示すブロック図である。
【００７８】
本実施形態における画像処理部は、多重露光撮影中に、それぞれイメージセンサ４から得られた画像データ（RAW_Image[n]; n:n回目の露光による）に対して、主被写体領域画像と、背景領域画像をレイヤー画像として分離生成する。なお、２ｎｄレリーズがオンとなってからオフとなるまでの間、時間Ｔ毎に画像データを読出し、この読み出された複数の画像データを合成処理しており、擬似的に多重露光撮影と同等となる。そこで、経過表示モードが設定されている場合の撮影を「多重露光撮影」とよぶ。
【００７９】
図４において、主被写体領域レイヤー画像データをLayer2_image[n]、背景領域レイヤー画像データをlayer1_image[n]として示す。主被写体領域画像と、背景領域画像をレイヤー画像として分離生成する演算構成としては、画像処理部１０は、比較暗合成処理部４１、比較明合成処理部４２、差分画像生成処理部４３を有する。また、主被写体領域レイヤー画像データと背景領域レイヤー画像データを、画像補正設定値によるゲイン配分等に基づいて、合成処理を行って出力画像を取得するレイヤー合成処理部４７を有する。レイヤー合成処理部４７における信号処理構成の詳細は図５を用いて後述する。
【００８０】
なお、図１における画素比較合成部１１は、比較暗合成処理部４１と比較明合成処理部４２に、また差分画像合成部１４は、差分演算処理部４３に相当する。図４に示されるその他のブロックは、図１の画像処理部１０には明示されていない。
【００８１】
図４において、主被写体領域画像と背景領域画像についてそれぞれの画像をレイヤー画像として、分離抽出処理を行う構成について説明する。このレイヤー画像として分離抽出する処理は、比較明合成部４２、比較暗合成部４１、差分演算４３、閾値比較部４４、閾値出力部４５が行う。
【００８２】
比較明合成部４２は、撮像素子から画像データRAW_Image[n]が出力される毎に比較明合成処理をする。処理された後の比較明合成画像データをComp2_image[n]とする。比較暗合成部４１は、撮像素子から画像データRAW_Image[n]が出力される毎に比較暗合成処理をする。処理された後の比較暗合成画像データをComp1_image[n]とする。
【００８３】
差分演算部４３は、比較明合成部４２によって処理された比較明合成画像データComp2_image[n]と、比較暗合成部４１によって処理された比較暗合成画像Comp1_image[n]との差分演算、すなわち、Comp2_image[n] − Comp1_image[n]を行い、差分画像diff_image[n]を演算出力する。
【００８４】
閾値比較部４４は、差分画像diff_image[n]と、閾値出力部４５から出力される閾値を入力し、それぞれの画素出力がある閾値以上であるか否かを判定する。そして、判定の結果、画素値が所定の閾値以上の場合には画素出力はそのまま出力し、所定の閾値未満となる画素値は、出力０（画像出力で黒データ）として出力する。この閾値処理後の画像データをLayer2_image[n]として出力する。
【００８５】
また、詳細については後述するが、比較暗合成部４１によって出力された画像データComp1_image[n]を、背景領域レイヤー画像データLayer1_image[n]として出力する。
【００８６】
前述の比較明合成処理部４２による比較明合成処理について説明する。比較明合成処理部４２は、ｎ回目に撮像素子から得られた画像データRAW_Image[n]と、前回（ｎ−１）回までに比較明合成処理部４２によって画像処理された比較明合成画像データComp2_Image[n-1]を入力する。そして、比較明合成処理部４２は、それぞれ同じ画素位置に対応した画素出力を比較して、RAW_Image[n]とComp2_Image[n-1]の画素出力のそれぞれ大きい出力を選択して新たにｎ回目の比較明合成データComp2_Image[n]を設定出力する。
【００８７】
比較明合成処理では、具体的には、それぞれの画像データのＸ行、Ｙ列に対応する画素出力を、RAW_Image[n]（X,Y）、Comp2_Image[n-1]（X,Y）とすると、比較明合成処理後の画像データのＸ行、Ｙ列に対応する画素出力Comp2_Image[n]（X,Y）は、
Comp2_Image[n]（X,Y）= max｛RAW_Image[n](X,Y)、Comp2_Image[n-1]（X,Y）｝
となる。
【００８８】
また、比較暗合成処理部４１は、ｎ回目に撮像素子から得られた画像データRAW_Image[n]と、前回（ｎ−１）回までに比較暗合成処理部４１によって画像処理された累積の比較暗合成画像データComp1_Image[n-1]を入力する。そして、比較暗合成処理部４１は、それぞれ同じ画素位置に対応した画素出力を比較して、RAW_Image[n]とComp1_Image[n-1]の画素出力のそれぞれ小さい出力を選択して新たにｎ回目の比較暗合成データComp1_Image[n]を設定出力する。
【００８９】
比較暗合成処理では、具体的には、それぞれの画像データのＸ行、Ｙ列に対応する画素出力を、RAW_Image[n]（X,Y）、Comp1_Image[n-1]（X,Y）とすると、比較明合成処理後の画像データのＸ行、Ｙ列に対応する画素出力Comp1_Image[n]（X,Y）は、
Comp1_Image[n]（X,Y）＝min｛RAW_Image[n]（X,Y）、Comp1_Image[n-1]（X,Y）｝
となる。
【００９０】
比較明合成処理、比較暗合成処理された画像データRAW_Image[n]は、内部メモリ３３内にある画像データメモリ３３ａ内に保持される。また、ｎ＝１回目のイメージセンサ４から得られた画像データRAW_Image[n-1]は、ｎ＝１回目の比較明合成処理および比較暗合成処理では、比較元となる比較明または比較暗合成した画像がないため、そのまま画像データメモリ３３ａ内に保持される。つまり、RAW_Image[1]＝Comp2_Image[1]、RAW_Image[1]＝Comp1_Image[1]である。
【００９１】
本実施形態における画像処理では、上述の比較暗合成処理部４１によって出力された比較暗合成画像データComp1_Image[n]を、背景領域を抽出した背景画像（Layer1_image[n]）とする。
Layer1_image[n] = Comp1_Image[n]
【００９２】
図７に示す画像合成の一例を用いて比較暗合成処理と比較明合成処理について説明する。合成前画像８１ａにおいて、背景領域となる山の部分は所定の輝度がある画像に対しては、星の部分は撮影画角内の移動がある。一方、山の部分は撮影画角内の移動がない。このため、比較暗合成処理を行うと、処理後画像は、背景領域となる山の部分のみ抽出された比較暗合成画像８１ｃが得られる。この比較暗合成処理後の画像データを背景レイヤー画像データ（Layer1_image[n]）とする。
【００９３】
一方、主被写体レイヤー画像データ（Layer2_image[n]）は、比較暗合成処理部４１によって出力された比較暗合成画像データComp1_Image[n]と、比較明合成処理部４２によって出力された比較明合成画像データComp2_Image[n]とを用いて算出する。
【００９４】
具体的には、まず、差分演算部４３は、比較暗合成画像データComp1_Image[n]と、比較明合成処理部４２によって出力された比較明合成画像データComp2_Image[n]を入力し、差分演算した画像出力diff_image[n]を出力する。差分演算処理後の画像データのＸ行、Ｙ列に対応する画素出力diff_Image[n]（X,Y）は、下記式で求められる。
Diff_image[n]（X,Y）= Comp2_Image[n]（X,Y）− Comp1_Image[n]（X,Y）
【００９５】
図７に示した一例では、合成前画像８１ａは、背景領域となる山の部分は所定の輝度があり、かつ撮影画角内の移動がないのに対して、星の部分は撮影画角内の移動がある。このため比較明合成処理を行うと、処理後画像は、星の移動軌跡となる画像領域と、背景領域となる山の部分が写された比較明合成画像８１ｂが得られる。
【００９６】
次に、比較明合成画像８１ｂから、比較暗合成画像８１ｃを減算処理すると、移動領域を含む主要被写体である星の移動軌跡部分を抽出した差分画像８１ｄを算出する。この差分画像は、比較明合成画像８１ｂ、比較暗合成画像８１ｃに共通する山の画像領域は削除され、一方、星の移動軌跡は抽出される。
【００９７】
図４に戻り、閾値比較処理部４４は、差分画像データdiff_Image[n]に対して、所定の閾値th_image_outとなる画素出力値以上となる画像出力のみ抽出する閾値比較処理を行う。この閾値比較処理によって、主被写体領域レイヤー画像データLayer2_image[n]は、下記式によって得られる。  
Layer2_image[n]（X,Y）
＝diff_Image[n] （X,Y）  （diff_image[n]（X,Y）＞閾値th_image_out）
＝       0          （diff_image[n]（X,Y）＜閾値th_image_out）
【００９８】
以上のような演算処理によって、主被写体画像領域のレイヤー画像データLayer2_image[n]が、分離抽出される。
【００９９】
ここで、閾値出力部４５に所定の閾値を設けて、閾値比較処理部４４による閾値比較処理を行う理由として以下の利点が挙げられる。差分出力画像diff_Image[n]は、主要被写体となる光跡に相当する画素領域の画素出力のみ抽出されるべきであり、光跡以外の背景となるべき画素領域の画素出力は抽出されるべきではない。特に、撮影継続中の時間経過と共に、主要被写体周辺の画素出力レベルが高くなる場合（つまり明るくなる場合）には、差分画像データdiff_Image[n]は、光跡以外の部分も差分出力として抽出されてしまう。このため本来意図する主要被写体の画像が得られない。このため、閾値th_image_outを設けることによって、閾値th_image_outより高い画素出力のみが光跡として抽出できるようになる。なお、この閾値th_image_outは、撮影者が任意に設定可能なパラメーターであり、例えば、撮影者が入力ＩＦ部３８を介して設定値を入力する。
【０１００】
図７に示す合成画像生成の一例では、星の移動軌跡部分の輝度出力が、周辺にある画像の輝度出力に比べて相対的に大きい。したがって、閾値比較処理部４４によって、所定の輝度出力以上の画素出力を抽出すると、差分画像８１ｄから、星の移動軌跡を示す画像領域のみ抽出する。これらの処理によって、主要被写体があるレイヤー画像Layer2_image[n] を生成することができる。この主要被写体レイヤー画像Layer1_image[n]は、画像データメモリ３３ａに保持される。
【０１０１】
次に、図５を用いて、レイヤー合成処理部４７について、説明する。レイヤー合成処理部４７には、主被写体領域レイヤー画像Layer2_Image[n]と背景領域レイヤー画像Layer2_Image[n]が入力される。
【０１０２】
レイヤー合成処理部４７内に配置されたレイヤゲイン乗算処理部４７１Ａ、４７１Ｂは、主被写体領域レイヤー画像と背景領域レイヤー画像、それぞれの画像データに対して、外部から設定入力された輝度出力ゲイン（主被写体レイヤゲインα、背景レイヤゲインβ）を乗算処理する。これは、主被写体領域と背景領域のそれぞれの画像の輝度のバランスを変えるものである。
【０１０３】
ＲＧＢ分離抽出部４７２Ａ、４７２Ｂは、レイヤゲイン乗算処理部４７１Ａ、４７１Ｂによって算出された主被写体領域レイヤー画像と背景領域レイヤー画像に基づく画像出力に対して、後述のホワイトバランスゲインバランスを補正するために、それぞれのＲＧＢ色成分の画像出力を分離、抽出する。
【０１０４】
ホワイトバランスゲイン乗算部（Ｒ、Ｇ、Ｂゲイン乗算部４７３Ａ、４７３Ｂ、４７３Ｃ、４７３Ｄ、４７３Ｅ、４７３Ｆ）は、ＲＧＢ分離抽出部４７２Ａ、４７２Ｂによって分離抽出したＲ、Ｇ、Ｂ成分の画像出力に対して、外部から設定入力されたホワイトバランスゲイン（背景レイヤホワイトバランスwg_r1, wg_g1, wg_b1、主被写体レイヤホワイトバランスwg_r2, wg_g2, wg_b2）によってＲ、Ｇ、Ｂ出力の強度を重み付け乗算する。
【０１０５】
ＲＧＢ再構成処理部４７４Ａ、４７４Ｂは、前述のホワイトバランスゲイン乗算部（ＲＧＢゲイン乗算部４７３Ａ〜４７３Ｆ）によって、ホワイトバランスゲインを重み付け演算された後のＲ、Ｇ、Ｂ画像出力のそれぞれから、１つの画像データに再構成する処理を行う。この処理を行うことにより、外部から設定入力された、主被写体領域と、背景領域に対応するホワイトバランスゲインの設定を反映した後となる、主被写体領域レイヤー画像と、背景領域レイヤー画像を生成することができる。
【０１０６】
画像フィルタリング処理部４７５Ａ、４７５Ｂは、ＲＧＢ再構成部４７４Ａ、４７４Ｂによる再構成処理された主被写体領域レイヤー画像と背景領域レイヤー画像に対して、外部から設定入力されたシャープネス設定情報（画像フィルタ係数１，２）に基づいて、輪郭強調（エッジ強調）または、輪郭ぼかし処理等、画像の空間周波数特性を変更させるためのフィルタリング処理を行う。
【０１０７】
レイヤー加算処理部４７６は、画像フィルタリング処理部４７５Ａ、４７５Ｂによる画像フィルタリング処理後の被写体領域レイヤー画像と背景領域レイヤー画像に対して、加算合成処理を行う。この加算合成処理を行った画像データを出力画像データ（Output_image[n]）とする。これらの出力画像データは、多重露光撮影の途中であれば、経過画像として表示部に出力する。また、多重露光撮影を終了した際は、現像処理と、所定の記録形式にそった圧縮処理を行って記録画像データを生成した後に、外部メモリ３６に記録する。
【０１０８】
次に、図６に示すフローチャートおよび図７に示す合成処理を示す図を用いて、第１実施形態における光軌跡と背景を抽出する処理について説明する。なお、図６に示すフローチャートは、図２に示すフローチャートのステップＳ１１〜Ｓ１３の詳細な処理内容を示すものである。
【０１０９】
図７において、合成前画像８１ａは、ステップＳ９（図２参照）において取得された合成前の画像の一例である。この例では合成前画像８１ａの上半分に輝度の高い星等の映像があり、下半分の中心付近には、輝度の高い映像である山の映像がある。その他の映像領域として、夜空のように輝度の低い映像領域がある。ステップＳ９では、時系列にそれぞれ合成前画像８１ａの様な画像が取得される。星の映像は、撮影時間の経過と共に星の位置は移動する。一方、山の映像は、撮影時間の経過によらず、常に同じ位置にある。これらの複数の合成前画像８１ａはステップＳ１１１（図６参照）にて画像データメモリ３３ａ内に保存される。
【０１１０】
比較明合成画像８１ｂは、ステップＳ１１３（図６参照）の処理にて、上述のメモリ３３に保存された複数の合成前画像に対して、比較明合成処理を行った後の画像である（Comp2_Image[n]に対応）。ここでは、輝度の高い星の部分は移動があるため、星の移動軌跡を残した画像が取得される。
【０１１１】
比較暗合成画像８１ｃは、ステップＳ１１２（図６参照）の処理にて、上述のメモリ３３に保存された複数の合成前画像に対して、比較暗合成処理を行った後の画像である（Comp1_Image[n]に対応）。ここでは、輝度の高い星の部分は移動があるため、比較暗合成処理を行うと、星の移動軌跡は残らない。一方、山の映像領域は、撮影時間の変化に対して、撮影領域の移動がない。このため比較暗合成処理を行うと、輝度の高い山の画像が取得される。比較明合成処理と、比較暗合成処理を行うと、合成処理された画像データを画像データメモリ３３ａに保存する（Ｓ１１ｅ）。
【０１１２】
差分画像８１ｄは、ステップＳ１１５において差分抽出を行い、上述の比較明合成画像８１ｂと、比較暗合成画像８１ｃとの両画像に対して、画像出力の差分演算をした結果の画像出力である（diff_Image[n]に対応）。ここでは、比較明合成画像８１ｂの上半分にある星の移動軌跡となる画像領域のみが残る形になる。この処理により、星の軌跡部分のレイヤー画像８１ｄと（Layer2_Image[n]に対応）、山の部分のレイヤー画像８１ｃが（Layer1_Image[n]に対応）それぞれ生成される。
【０１１３】
レイヤー合成画像８１ｅは、各レイヤー画像８１ｄ、８１ｃに対して、それぞれ合成処理を行った画像出力である。ここで、レイヤー画像８１ｄとレイヤー画像８１ｃの合成比率となる重み付け（α、β）や、それぞれのレイヤー画像に対するホワイトバランスゲイン等の画像補正処理を与えて加算したものが、処理画像８１ｆである（Output_Image[n]に対応）。この重み付けα、βの値は、撮影者が任意に設定させて合成処理することができる。
【０１１４】
また、重み付けα、βは、輝度に係る値のみではなく、例えば、それぞれのレイヤー画像に対してＲ、Ｇ、Ｂ出力のホワイトバランス比率（ホワイトバランスゲイン）を変えることであってよい。さらに、この重み付けα、βは輪郭強調、偽色補正といった様々な画像処理に関わる係数であってもよい。このことによって、星の軌跡と山の画像とで色温度設定を変えて合成した画像を得ることもできる。
【０１１５】
このように、本発明の第１実施形態においては、背景領域を比較暗合成処理によって抽出し（図６のＳ１１２、図７の比較暗合成画像８１ｃ参照）、主被写体領域を比較明合成画像と比較暗合成画像の差分画像から抽出している（図６のＳ１１５〜Ｓ１１９、図７の差分画像８１ｄ参照）。そして、抽出された背景領域と主被写体領域に対して、個々に画像処理補正を行っている（図３のＳ３３〜Ｓ４５、図７の例や合成画像８１ｅ、処理画像５０ｆ参照）。このため、光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができる。
【０１１６】
次に、本発明の第２実施形態について、図８ないし図１０を用いて説明する。本発明の第２実施形態と第１実施形態は、背景領域と主被写体領域の分離抽出方法が異なる。すなわち、第１実施形態においては、背景領域を比較暗合成処理によって抽出し、主被写体領域を比較明合成画像と比較暗合成画像の差分画像から抽出していた。これに対して、第２実施形態においては、背景領域を平均合成処理により抽出し、主被写体領域を比較明合成画像と平均合成画像の差分画像から抽出する。本実施形態も図１ないし図３を用いて説明した共通実施形態を採用している。
【０１１７】
図８を用いて、本実施形態における画像処理部１０について説明する。画像処理部１０は、背景画像レイヤーの抽出を、第１実施形態での比較暗合成処理部４１に替えて平均合成処理部４８で行う。
【０１１８】
平均合成処理部４８は、イメージセンサ４から取得された画像データと、それまでに累積して平均合成処理された累積平均合成画像との２つの画像データに対して、双方の画素出力値の平均値を算出して、新たにこの平均値を平均合成処理画像とする。
【０１１９】
具体的には、平均合成処理部４８は、ｎ回目に撮像素子から得られた画像データRAW_Image[n]と、前回（ｎ−１）回までに平均合成処理部４８によって画像処理された平均合成画像データAve_comp_Image[n-1]を入力する。そして、平均合成処理部４８は、両画像データのそれぞれ同じ画素位置に対応した画素出力を比較して、RAW_Image[n]とAve_comp_Image[n-1]の画素出力のそれぞれを平均化演算し、この平均化演算後の出力を選択して新たにｎ回目の比較明合成データAve_comp_Image [n]として設定出力する。
【０１２０】
平均合成処理部４８以外の構成は、図４に示した第１実施形態の画像処理部構成と同じであるので、詳しい説明は省略する。また、画像処理部１０内におけるレイヤー合成処理部４７は、図５と同様の構成であるため、詳しい説明は省略する。
【０１２１】
第１実施形態においては、背景レイヤー画像を、比較暗合成を累積合成した画像データに基づいて抽出分離処理を行っていた。比較暗合成処理では、各合成前画像に輝度変化がない場合は、合成後の輝度出力は変化しない。しかし、各合成前画像には、イメージセンサ等に基づくランダムなノイズ成分が含まれる場合や、日照や月照等外部光のあたり具合（影など）が時間変化する場合には、撮影画像の出力が低い側が選択された合成画像となってしまうため、撮影者が所望とする背景領域が隠れて抽出できなくなる場合がある。
【０１２２】
そこで、第２実施形態においては、背景レイヤー画像を、平均化合成を累積合成した画像データに基づいて抽出分離処理を行っている。さらに、平均化合成処理を行うと、撮影画像に対するランダムノイズが、平均化されることにより小さくなる特性があり、画像取得毎に画像の解像度が上がる。
【０１２３】
次に、図９に示すフローチャートおよび図１０に示す合成処理を示す図を用いて、第２実施形態における光軌跡と背景を抽出する処理について説明する。なお、図９に示すフローチャートは、図２に示すフローチャートのステップＳ１１〜Ｓ１３の部分を詳細に説明したものである。ここで、図９に示す第２実施形態での処理フローは、図６に示す第１実施形態の処理フローにおいて、ステップＳ１２２、Ｓ１２５が異なっており、この点を中心に説明する。
【０１２４】
図９のステップＳ８は、図１０の比較明合成画像８２ｂと、平均合成画像８２ｃを生成する処理を行う。ここで、ステップ１２１〜Ｓ１２２では、第１実施形態における比較暗合成処理の代わりに加算平均化合成を行っている。これは、前述したように、各合成前画像にはランダムなノイズ成分が含まれる場合があり、平均合成処理を行うことにより、ランダムノイズが小さくなる特性があり、画像取得毎に画像の解像度が上がるからである。
【０１２５】
このように、本発明の第２実施形態においては、背景領域を平均合成処理によって抽出し（図９のＳ１２２、図１０の平均画像８２ｃ参照）、主被写体領域を比較明合成画像と平均画像の差分画像から抽出している（図９のＳ１２５〜Ｓ１２９、図１０の差分画像８２ｄ参照）。そして、抽出された背景領域と主被写体領域に対して、個々に画像処理補正を行っている（図３のＳ３３〜Ｓ４５、図７の例や合成画像８１ｅ、処理画像５０ｆ参照）。このため、第１実施形態と同様に、光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができる。また、背景画像を平均化合成処理によって取得しているので、ランダムノイズが小さくなり、画像の解像度が向上する。
【０１２６】
次に、本発明の第３実施形態について、図１１ないし図１３を用いて説明する。本発明の第３実施形態と第１、２実施形態は、背景領域と主被写体領域の分離抽出方法が異なる。すなわち、第１実施形態においては、背景領域を比較暗合成処理によって抽出し、主被写体領域を比較明合成画像と比較暗合成画像の差分画像から抽出し、第２実施形態においては、背景領域を平均合成処理により抽出し、主被写体領域を比較明合成画像と平均合成画像の差分画像から抽出していた。これに対して、第３実施形態においては、背景領域は、比較暗合成または平均合成処理によって抽出し、主被写体領域は、差分画像処理を行い、この差分画像を比較明合成処理することによって抽出する。すなわち、第３実施形態が、第１、２実施形態と異なる点は、主被写体領域を抽出するための画像処理であり、背景領域抽出は、第１、第２実施形態のいずれかと同様である。なお、本実施形態においても図１ないし図３を用いて説明した共通実施形態を採用している。
【０１２７】
本実施形態では、主被写体領域を、イメージセンサ４からそれぞれ取得した画像データと、過去に同様にイメージセンサ４からそれぞれ取得した画像データとの差分演算に基づいて主被写体領域となるレイヤー画像を算出する。このレイヤー画像の取得と合わせて、主被写体領域となる画素アドレス情報も取得する。
【０１２８】
図１１を用いて、本実施形態における画像処理部１０について説明する。なお、図４、図８と同様の処理部については、詳しい説明を省略する。
【０１２９】
差分演算処理部４９は、イメージセンサ４からそれぞれ取得した画像データRaw_image[n]と、過去に同様にイメージセンサ４からそれぞれ取得した画像データRaw_image[n-1]との差分演算を行い、差分画像Diff_Raw_image[n]を生成し、出力する。
【０１３０】
閾値判定部５１は、差分画像Diff_Raw_image[n]と、閾値出力部４５からの所定の輝度閾値出力（A_th）を入力する。そして、差分画像の画素毎に輝度閾値を比較し、画素値が輝度閾値以上となる画素アドレスを抽出する。ここで抽出されたアドレスデータをDiff_image_address[n]とする。
【０１３１】
累積加算処理部５３は、閾値比較判定部５１によって抽出されたアドレスデータDiff_image_address[n]に対して、被写体追跡した画像情報のアドレス領域を算出するために、毎回の撮影毎に累積加算処理をする。累積加算処理後のレイヤーアドレスデータをLayer1_address[n]とし、このレイヤーアドレスデータをレイヤアドレスメモリ３３ｂに保存する。
【０１３２】
比較明合成処理部５０は、差分画像Diff_Raw_image[n]と、前回、差分演算処理部５０によって出力された差分画像Diff_Raw_image[n-1]を画像データメモリ３３ａから読み出して入力する。そして、比較明合成処理部５０は、両画像の画素毎の画素値を用いて、比較明合成処理を行い、比較明合成処理をされた後の画像comp_diff_image[n]を出力する。この比較明合成処理をすることにより、主被写体領域画像に対して移動軌跡を含む画像領域を生成することができるためである。
【０１３３】
主被写体領域抽出部５２は、比較明合成処理をされた後の画像データComp_diff_image[n]と、主被写体領域レイヤーアドレスデータLayer1_address[n]との両データの掛け算処理を行う。掛け算処理を行った後の画像データを、主被写体領域レイヤー画像データLayer1_image[n]として出力する。
【０１３４】
この主被写体領域抽出部５２が行う処理は、撮影画像に含まれる主要被写体領域外の画像データ（例えば、外乱光や輝度ノイズ）を除去した主被写体領域レイヤー画像データLayer1_image[n]を取得するためである。また、星の輝度は、これら主要被写体領域外の画像データ周りの画像出力に比べて高い。このため、上述の閾値判定部５１と累積加算処理部５３による閾値処理を行うことによって、より確実に光跡部分となる画素アドレス領域を確実に抽出することが可能になる。
【０１３５】
上述の処理部以外の構成は、図４に示した第１実施形態の画像処理部または図８に示した第２実施形態の画像処理部と同じであるので、詳しい説明は省略する。また、画像処理部１０内におけるレイヤー合成処理部４７は、図５と同様の構成であるため、詳しい説明は省略する。
【０１３６】
図１１に示した画像処理部１０の動作について説明する。第３実施形態では、光跡のみを取得する方法としては、第１、２実施形態とは異なる方法で行う。まず、イメージセンサ４によって取得した撮影画像データを、時系列に連続して取り込み、それぞれの画像データを画像データメモリ３３ａに保持する。この画像データをRaw_image[n]、Raw_image[n-1]とする。
【０１３７】
次に、差分演算処理部４９は、現在取得された画像データの画素出力レベルRaw_image[n]と、前回取得した画像データ画素出力レベルRaw_image[n-1]を入力し、各画素出力毎に差分演算して、差分画像データDiff_Raw_image[n]を生成する。
【０１３８】
ここで差分画像データDiff_Raw_image[n]は、ｎ回目の取得した画像データが、ｎ−１回目に取得した画像データと異なる像である部分のみが残った画像データとなる。つまり、ｎ回目と、ｎ−１回目に取得した画像の間で、像の動きがあった点（この場合は光跡部分）が画像データとして残るものとなる。差分画像データDiff_Raw_image[n]は毎回の撮影毎に演算処理されて生成され、生成された差分画像データDiff_Raw_image[n]は、画像データメモリ３３ａに保持をする。
【０１３９】
さらに、比較明合成処理部５０は、上述の差分画像データDiff_Raw_image[n]と、画像データメモリ３３ａに保持された差分画像データComp_Diff_Raw_image[n-1]を読み出して入力し、両画像データを用いて、画素毎に累積して比較明合成処理を行い、出力する。ここで比較明合成処理をされた後の画像データをComp_diff_image[n]とする。これは、差分画像に基づいた主被写体画像部分に対して、さらに撮影開始時から現在までの累積した光跡画像部分が残る画像データとなる。
【０１４０】
また、比較明合成処理と並行して主要被写体部分から光跡のある画像領域（画素アドレス領域）の抽出処理を行う。すなわち、閾値比較判定部５１は、上述の差分画像データの各画素出力Comp_diff_image[n]（X,Y）と、閾値出力部５１から出力された所定の輝度出力となる出力閾値A_thを入力し、両データを比較する。この比較した結果が閾値（スレッシュレベルA_th）以上であれば、この画素アドレスは光跡として扱う画像領域であることが分かるように、出力値を１とする。一方比較した結果が閾値（スレッシュレベルA_th）未満であれば、出力値を０とする。すなわち、下記のようになる。
Layer2_address[n]（X,Y）＝１：｛Diff_image[n]（X,Y）≧A_th｝
Layer2_address[n]（X,Y）＝０：｛Diff_image[n]（X,Y）＜A_th｝
【０１４１】
累積加算処理部５３は、光跡追跡対象となる画素アドレスとそれ以外の対象となる画素アドレス領域が異なることが分かるように、主被写体領域レイヤーアドレスデータLayer2_address[n]を生成する。これらの処理は、連続露光動作およびイメージセンサ４から画像データを取り込む毎に繰り返し行う。そしてこの主被写体領域レイヤーアドレスデータLayer2_address[n]は、繰り返し毎に累積加算処理を行う。連続取り込み中にこの処理を繰り返すことで、星の移動軌跡となる画素アドレス領域を抽出したレイヤーアドレスデータを得ることが可能である。
【０１４２】
また、主被写体領域抽出部５２は、比較明合成処理をされた後の画像データをComp_diff_image[n]と、主被写体領域レイヤーアドレスデータLayer1_address[n]を入力する。そして、主被写体領域抽出部５２は、両データの掛け算処理を行う。掛け算処理を行った後の画像データを、主被写体領域レイヤー画像データLayer1_image[n]とする。
【０１４３】
次に、図１２に示すフローチャートおよび図１３に示す合成処理を示す図を用いて、第３実施形態における光軌跡と背景を抽出する処理について説明する。なお、図１２に示すフローチャートは、図２に示すフローチャートのステップＳ１１〜Ｓ１３の部分を詳細に説明したものである。
【０１４４】
まず、イメージセンサ４から取り込まれた画像データは、画像データメモリ３３ａに保存される（図１２のＳ１１）。画像データを画像データメモリ３３ａに保存すると、背景画像レイヤーの抽出処理を行う（図１２のＳ１３２）。ここでの背景画像レイヤーの抽出処理内容は、第１実施形態での比較暗合成処理部４１が行う処理（図５のＳ１１２）、若しくは、第２実施形態での平均合成処理部４８が行う処理（図９のＳ１３１）と同様の処理を行う。抽出された背景画像レイヤー画像は、画像データメモリ３３ａに保存する（図９のＳ１３３）。
【０１４５】
次に、差分抽出を行う（Ｓ１３４）。主被写体画像領域のレイヤー画像データは、差分画像データdiff_Image[n]に対して、画素アドレス情報のデータLayer1_address[n]のそれぞれの画素データに対して乗算処理をして算出される。取り込み画像８３ａ〜８３ｄ（１枚目に取り込んだ画像を８３ａ、２枚目に取り込んだ画像を８３ｂ、・・・とする）において、連続する２枚の画像の差分出力を生成する。
【０１４６】
さらに、これらの差分出力に対して、累積して比較明合成処理を行う（図１２のＳ１３５）。主被写体画像領域レイヤーの画素アドレス領域を設定するために、差分画像８３ｅ、８３ｆ、８３ｇの中にある画素出力から、所定の出力閾値Ath以上である、画像出力のある画素アドレス位置を抽出する（画素アドレス情報のデータをLayer1_address[n]とする）。２枚の画像の差分結果がスレッシュレベル以上であれば、該当画素は光跡に相当する画素アドレスとして扱われる（図１２のＳ１３６、Ｓ１３７、Ｓ１３８）。
【０１４７】
さらにこのアドレス抽出したアドレス位置情報を、累積加算処理部５３が、最初の撮影から累積加算する。このことにより、最初の撮影時から、現在の撮影までにある、星の光跡となる画像領域があると判断された画素アドレス情報を検出する（図１２のＳ１３９）。
【０１４８】
最後に、主被写体領域抽出部５２が、上述の差分画像の比較明合成処理された画像データと、画素アドレス情報データを掛け算処理することにより光跡画像レイヤーを生成する（図１２のＳ１４０、図１３の光跡画像レイヤー８３ｈ〜８３ｊ参照）。ステップＳ１４０の処理により生成された光跡画像レイヤーは、主被写体レイヤー画像として画像データメモリ３３ａへ保存される（図１２のＳ１４１）。
【０１４９】
このように、第３実施形態においては、背景領域は、第１、２実施形態と同様に、比較暗合成処理または平均合成処理によって抽出し（図１１の比較暗、または平均合成処理部４１、４８）、主被写体領域は、差分画像処理を行った後、この差分画像を比較明合成処理によって抽出している（図１２のＳ１３４、Ｓ１３５、図１３の画像８３ｊ参照）。そして、抽出された背景領域と主被写体領域に対して、個々に画像処理補正を行っている（図３のＳ３３〜Ｓ４５、図７の例や合成画像８１ｅ、処理画像８１ｆ参照）。このため、第１、２実施形態と同様に、光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができる。
【０１５０】
また、第１、２実施形態では、主被写体画像レイヤーを抽出するために、撮影画像データに対して、複数の異なる合成処理等が必要であった。またこれに合わせて、内部メモリ３３内に設ける画像データメモリの容量を多く確保する必要があった。これに対して、第３実施形態においては、差分演算処理と比較明合成処理のみで主被写体レイヤー画像を抽出できる。このため合成処理が簡素になり、システムの構成が安易になる。また、内部メモリ３３内に設ける画像データメモリ領域を押さえることができるというメリットがある。
【０１５１】
次に、本発明の第４実施形態について、図１４ないし図１６を用いて説明する。第４実施形態では、背景領域を抽出する処理ための構成が、第１〜３実施形態と異なっている。主被写体領域を抽出するための構成は、第１、２実施形態の構成と同じであるため、省略している。なお、本実施形態においても図１ないし図３を用いて説明した共通実施形態を採用している。
【０１５２】
図１４に示した画像処理部１０について、背景領域を抽出するための構成を中心に説明する。すなわち、図１４において、下半分は主被写体領域のレイヤー画像データLayer2_image[n]を取得するための構成であり、上半分が背景領域のレイヤー画像データLayer1_image[n]を取得するための構成である。下半分の主被写体領域のレイヤー画像データを取得するための構成は、第１および第２実施形態と同様であることから、詳しい説明を省略する。なお、主被写体領域のレイヤー画像データを取得するための構成は、第３実施形態と同様の構成を採用しても勿論かまわない。
【０１５３】
第１の比較明合成処理部６１は、イメージセンサ４から逐次出力される画像データRAW_Image[n]に対して、累積した比較明合成処理をする。この第１の比較明合成処理部６１は、第１、第２実施形態における比較明合成処理と同様の処理を行う。ここで比較明合成処理した画像データをComp11_image[n]とする。
【０１５４】
加算合成処理部６２は、イメージセンサ４から逐次出力される画像データRAW_Image[n]に対して、奇数番目に取得した画像データRAW_Image[2m-1] ; （n=2m-1、m:整数）と、偶数番目に取得した画像データRAW_IMage[2m] ; （n=2m、m:整数）を加算合成処理する。ここで加算合成処理された画像データをADD_Image[2m]とする。
【０１５５】
第２の比較明合成処理部６３は、加算合成処理された画像データADD_Image[2m]と、前回加算合成処理された画像データADD_Image[2m-2]を用いて、比較明合成処理を行う。ここで第２の比較明合成処理された画像データをComp22_image[4m]とする。
【０１５６】
第１差分演算部６４は、第２の比較明合成処理された画像データComp22_image[4m]から、第１の比較明合成処理した画像データComp11_image[4m] （n=4m、m:整数）を、差分演算処理を行って、処理後の背景レイヤー画像データを取得する。この差分画像をdiff_image[４ｍ]とする。
【０１５７】
閾値比較部６５は、差分画像diff_image[4m]に対して、それぞれの画素出力がある閾値以上であるか否かを判定して、所定の閾値以上の画素出力はそのままとし、所定の閾値未満となる画像出力は、出力０（画像出力で黒データ）として処理をする。この閾値処理後の画像データを背景レイヤー画像データLayer1_image[4m]として出力する。これらの画像処理構成によって、背景画像のみ抽出された画像データを算出することができる。
【０１５８】
次に、比較明合成処理、加算合成処理、差分出力による背景画像の取得ステップ、および画像データの様子を図１５、図１６に示す。
【０１５９】
本実施形態においては、背景画像のみを取得する方法として、連続取り込みした画像を用いて、第１比較明合成処理部６１によって比較明合成処理した画像（第１比較明合成画像）と、連続取り込みした画像から加算合成処理部６２によって加算合成を行い、加算合成結果の画像を第２比較明合成部６３により比較明合成処理した画像（第２比較明合成画像）から、第１差分演算処理部６４により画素毎に差分を抽出して、この差分画像を背景画像として扱う。
【０１６０】
図１５は、本実施形態における光跡と背景の分離、合成処理の一例を示す処理フローを示し、図１６に、この処理フローによる処理画像の一例を示す。
【０１６１】
図１５に示す処理フローに入ると、まず、イメージセンサ４から取り込まれた画像データ（図１６の取得画像８５ａ〜８５ｄ参照）を画像データメモリ３３ａに保存する（Ｓ１５１）。主被写体画像レイヤーの抽出処理を行う（図１５のＳ１５２）。ここでの主被写体画像レイヤーの抽出処理内容は、第１実施形態および第２実施形態での抽出ステップと同様の処理を行う（図６のＳ１１２〜Ｓ１１９の処理、または図９のＳ１２２〜Ｓ１２９）。
【０１６２】
続いて、比較明合成処理と、加算合成＋比較明合成処理を行う（Ｓ１５３）。ここでは、（１）連続取得した画像を用いて、順次比較明合成を行い、第１比較明合成画像を取得する（図１６の比較明合成画像８６ａ〜８６ｃ参照）。また、（２）連続取得した画像のうち、１枚目と２枚目を加算合成し（図１６の加算合成画像８７ａ参照）、３枚目と４枚目を加算合成する（図１６の加算合成画像８７ｂ参照）。そして、それぞれの加算合成結果に対し、比較明合成処理を行って第２比較明合成画像を取得する（図１６の第２比較明合成画像８８参照）。次に、ステップＳ１５３で行われた合成処理結果（第１比較明合成画像、第２比較明合成画像）を画像データメモリ３３ａに保存する（Ｓ１５４）。
【０１６３】
画像データメモリ３３ａに合成処理結果を保存すると、第１差分演算処理部６４により差分出力の算出を行う（Ｓ１５５）。これは、上述の（２）で取得された第２比較明合成画像の背景画像のみ、適正露出に対する画素出力レベルが適正露出となる出力レベルの倍となる。このため、第２比較明合成画像 −第１比較明合成画像となる差分演算処理を行い、適正露出相当の背景画像を取得する（図１６の差分画像８９参照）。なお、第１比較明画像合成、第２比較明合成画像について、それぞれの画像における背景領域の画素出力と、主被写体領域（光跡）の画素出力の関係は、下記の通りである。
（１）第１比較明合成画像の、それぞれ領域での適正露出に対する画素レベルの比；
背景：１、光跡：１
（２）第２比較明合成画像の、それぞれ領域での適正露出に対する画素レベルの比；
背景：２、光跡：１
【０１６４】
次に、ステップＳ１５５の算出処理によって生成した差分画像出力に対し、それぞれの画素出力レベルに対してしきい値処理を行う（図１５のＳ１５６〜Ｓ１５７）。そして、しきい値処理された画像データを、背景レイヤー画像データとして画像データメモリ３３ａに保存する。（図１２のＳ１５９）。
【０１６５】
このように、第４実施形態においては、主被写体領域は、第１実施形態と同様に、比較暗合成処理と比較明合成処理の差分演算処理によって抽出し（図１４の下半分の構成、なお、暗合成処理に代えて平均合成処理でもよい）、背景体領域は、比較明合成画像と加算合成画像の差分演算処理によって抽出している（図１５のＳ１１ｄ、Ｓ１３ｄ、図１６参照）。そして、抽出された背景領域と主被写体領域に対して、個々に画像処理補正を行っている（図３のＳ３３〜Ｓ４５、図７の例や合成画像８１ｅ、処理画像５０ｆ参照）。このため、第１〜３実施形態と同様に、光跡と背景画像それぞれに対して様々な画像処理補正を独立に行うことができる。
【０１６６】
また、本実施形態においては、生成される光跡画像のレイヤーと、背景画像のレイヤーを内部メモリ・外部メモリへ記録しておくので、両者による合成画像だけではなく、他の撮影画像と組み合わせることで多重露光効果も実現することができる。
【０１６７】
以上説明したように、本発明の各実施形態においては、第１の撮影画像データから背景領域となる画像領域から第２の撮影画像データと、主被写体領域となる画像領域からなる第３の撮影画像データを算出し、第２および第３の撮影画像データに対して、それぞれ第１、第２の画像補正設定値を設定し、これらの設定値に基づいて、背景領域と主被写体領域のそれぞれに対して独立に補正処理を行うことができる。
【０１６８】
なお、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、異なる光学システムを採用する撮影のための機器であれば、本発明を適用することができる。
【０１６９】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１７０】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１７１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１７２】
１・・・撮像部、２・・・レンズ（絞り）、３・・・メカシャッタ、４・・・イメージセンサ、１０・・・画像処理部、１１・・・画素比較合成部、１２・・・画素平均合成部、１３・・・画素加算合成部、１４・・・差分画像合成部、１５・・・画像合成部、１６・・・現像処理部、２０・・・システム制御部、２１・・・露光時間算出部、２２・・・露光時間制御部、２３・・・通信部、３１・・・バス、３３・・・内部メモリ、３３ａ・・・画像データメモリ、３３ｂ・・・レイヤアドレスメモリ、３４・・・露出判定部、３５・・・比較部、３６・・・外部メモリ、３７・・・表示部、３８・・・入力ＩＦ、４１・・・比較暗合成処理部、４２・・・比較明合成処理部、４３・・・差分演算処理部、４４・・・閾値比較処理部、４５・・・閾値出力部、４７・・・レイヤー合成処理部、４８・・・平均合成処理部、４９・・・差分演算処理部、５０・・・比較明合成処理部、５１・・・閾値比較判定部、５２・・・主被写体領域抽出部、５３・・・累積加算処理部、６１・・・第１比較明合成処理部、６２・・・加算合成処理部、６３・・・第２比較明合成処理部、６４・・・第１差分演算処理部、６５・・・閾値比較判定部
【図１】
2016149631.tif 000003
【図２】
2016149631.tif 000004
【図３】
2016149631.tif 000005
【図４】
2016149631.tif 000006
【図５】
2016149631.tif 000007
【図６】
2016149631.tif 000008
【図８】
2016149631.tif 000009
【図９】
2016149631.tif 000010
【図１１】
2016149631.tif 000011
【図１２】
2016149631.tif 000012
【図１４】
2016149631.tif 000013
【図１５】
2016149631.tif 000014
【図７】
2016149631.tif 000015
【図１０】
2016149631.tif 000016
【図１３】
2016149631.tif 000017
【図１６】
2016149631.tif 000018