(57)【要約】【課題】ゲイン処理の後に混入するノイズの割合を下げることでノイズを低減させると共に、ダイナミックレンジを維持した画像を取得する。【解決手段】所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得すると共に、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する画像取得手段１０と、前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させるレベル合わせ手段１１と、前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成する画像合成手段１２と、を備える画像処理装置１を提供する。【選択図】図１
2013258444.tif 000002
【特許請求の範囲】
【請求項１】
所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得すると共に、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する画像取得手段と、
前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させるレベル合わせ手段と、
前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成する画像合成手段と、
を備える画像処理装置。
【請求項２】
前記画像合成手段が、合成画像を生成する際に、合成対象から除外する画素を抽出する除外画素抽出手段を備える請求項１に記載の画像処理装置。
【請求項３】
前記所定のＩＳＯ感度に従って、前記所定の露光時間にて取得された画像の輝度値の分布に基づいて、前記第１の画像群に含める画像の枚数、前記第２の画像群に含める画像の枚数、及び、前記第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定する撮影パラメータ決定手段を備える請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記第１の画像群又は前記第２の画像群に含まれる画像を取得する際の撮影シーンを判別するシーン判別手段と、
該シーン判別手段によって判別された撮影シーンに基づいて、前記第１の画像群に含める画像の枚数、前記第２の画像群に含める画像の枚数、及び、前記第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定する撮影パラメータ決定手段を備える請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記所定の露光時間が、手ぶれ又は被写体ぶれの発生しない程度の露光時間とされ、前記第１の画像群と前記第２の画像群とが同一の露光時間にて取得されている請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得する工程と、
前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する工程と、
前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させる工程と、
前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成する工程と、
を備える画像処理方法。
【請求項７】
所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得するステップと、
前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得するステップと、
前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させるステップと、
前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成するステップと、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置における手ぶれやノイズを低減するために、所謂電子ぶれ補正方式が種々提案されている。例えば、特許文献１には、一枚当たりの露光時間を短くした撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるように動きベクトルにより位置合わせ処理を行った後、これら複数の画像を合成することにより、ぶれやノイズを低減させた画像を取得する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に撮像素子内で画像信号に混入するノイズ源は複数存在する。この中でＩＳＯ感度に応じて適用されるゲイン処理の後に画像信号に混入するノイズの振幅を抑制する方法について以下に説明する。まずゲイン処理で画像の明るさが適正な明るさよりも明るくなるように信号値を増幅して読み出す。その後デジタル処理で適正な明るさの画像が得られるように一旦増幅された信号値を減少させる。このような処理を行なうことにより、ゲイン処理の後に画像信号に混入したノイズの振幅も減少するため、上記デジタル処理後の適正な明るさの画像における信号値に対する当該ノイズの割合を下げることができる。しかしこの方法では、ゲイン処理における信号値の増幅率を過度に大きくすると、信号値が飽和してしまい、結果的に画像信号のダイナミックレンジが狭くなるという潜在的な問題がある。
【０００５】
本発明は、上記問題に鑑みてなされたものであって、ゲイン処理の後に混入するノイズの割合を下げることでノイズを低減させると共に、ダイナミックレンジを維持した画像を取得する画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得すると共に、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する画像取得手段と、前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させるレベル合わせ手段と、前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成する画像合成手段と、を備える画像処理装置を提供する。
【０００７】
本発明によれば、第１の画像群に含まれる画像を取得したときのＩＳＯ感度が、当該画像が好ましい明るさとなる感度である場合、第２の画像群に含まれる画像は、第１の画像群に含まれる画像よりも高いＩＳＯ感度で取得されているため、飽和する画素が多く、画像のダイナミックレンジが狭い画像となるが、ゲイン処理後に撮像素子内で混入するノイズの割合は低下している。このため、第２の画像群に含まれる画像の画素レベルを、第１の画像群に含まれる画像の画素レベルに合致させた後に、これらを合成した合成画像を生成することで撮像素子内でのゲイン処理の後に混入するノイズの影響を抑えつつダイナミックレンジを維持した画像を得ることができる。
【０００８】
上記発明において、前記画像合成手段が、合成画像を生成する際に、合成対象から除外する画素を抽出する除外画素抽出手段を備えることが好ましい。
このようにすることで、第２の画像群に含まれる画像にＩＳＯ感度を高くしたことにより信号値が飽和した画素が含まれている場合でも、このような画素を合成対象から除外することができ、飽和が発生しない画素については、ゲイン処理の後に撮像素子内で混入するノイズの割合が低下した画像を合成対象に加えることで、よりノイズを低減させることができる。
【０００９】
上記発明において、前記所定のＩＳＯ感度に従って、前記所定の露光時間にて取得された画像の輝度値の分布に基づいて、前記第１の画像群に含める画像の枚数、前記第２の画像群に含める画像の枚数、及び、前記第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定する撮影パラメータ決定手段を備えることが好ましい。
このようにすることで、所定の露光時間にて取得された画像の輝度値によって、例えば、合成枚数を変化させたり、よりノイズ低減効果が期待できるＩＳＯ感度を決定することができる。
【００１０】
上記発明において、前記第１の画像群又は前記第２の画像群に含まれる画像を取得する際の撮影シーンを判別するシーン判別手段と、該シーン判別手段によって判別された撮影シーンに基づいて、前記第１の画像群に含める画像の枚数、前記第２の画像群に含める画像の枚数、及び、前記第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定する撮影パラメータ決定手段を備えることが好ましい。
このようにすることで、撮影シーンに応じて、例えば、合成枚数を変化させたり、よりノイズ低減効果が期待できるＩＳＯ感度を決定することができる。
【００１１】
上記発明において、前記所定の露光時間が、手ぶれ又は被写体ぶれの発生しない程度の露光時間とされ、前記第１の画像群と前記第２の画像群とが同一の露光時間にて取得されていることが好ましい。
このようにすることで、合成に用いる各画像の露光時間を手ぶれあるいは被写体ぶれの発生しない露光時間に抑えることで、合成画像のぶれを抑えることが可能となり、撮像素子内でのゲイン処理の後に混入するノイズの影響を抑えつつダイナミックレンジを維持した画像を得ることができる。
【００１２】
また、本発明は、所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得する工程と、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する工程と、前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させる工程と、前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成する工程と、を備える画像処理方法を提供する。
【００１３】
また、本発明は、所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得するステップと、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得するステップと、前記第２の画像群に含まれる画像の画素レベルを、前記第１の画像群に含まれる画像の画素レベルに合致させるステップと、前記第１の画像群に含まれる画像と、画素レベルを合致させた前記第２の画像群に含まれる画像とを合成した合成画像を生成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。
【発明の効果】
【００１４】
本発明によれば、ゲイン処理の後に混入するノイズの割合を下げることでノイズを低減させると共に、ダイナミックレンジを維持した画像を取得することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置において、合成画像を生成する際の動作を説明図である。
【図３】本発明の第２の実施形態に係る画像処理装置において、合成画像を生成する際の動作を説明図である。
【図４】本発明の第３の実施形態に係る画像処理装置において、合成画像を生成する際の処理の流れを示すフローチャートである。
【図５】本発明の第３の実施形態に係る画像処理装置において、通常シーンにおいて取得された画像についてのヒストグラム計算結果の例である。
【図６】本発明の第３の実施形態に係る画像処理装置において、通常シーンにおいて取得された画像についての累積ヒストグラム計算結果の例である。
【図７】本発明の第３の実施形態に係る画像処理装置において、夜景シーンにおいて取得された画像についてのヒストグラム計算結果の例である。
【図８】本発明の第３の実施形態に係る画像処理装置において、夜景シーンにおいて取得された画像についての累積ヒストグラム計算結果の例である。
【発明を実施するための形態】
【００１６】
以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。
【００１７】
（第１の実施形態）
図１は、画像処理装置１の概略構成を示している。図１に示すように、画像処理装置１は、画像取得部１０、レベル合わせ処理部１１及び画像合成部１２を備えている。
画像取得部１０は、所定のＩＳＯ感度に従って、所定の露光時間にて少なくとも１枚の画像を含む第１の画像群を取得すると共に、前記ＩＳＯ感度よりも高いＩＳＯ感度に従って少なくとも１枚の画像を含む第２の画像群を取得する。
画像取得部１０は、本実施形態においては、レンズ等からなる光学系１００、光学系１００を介して画像を撮像する撮像素子１０１、及び撮像素子１０１において撮像された画像を一時的に格納するフレームメモリ１０２を備えており、撮像装置として機能する。なお、画像取得部１０は、必ずしも光学系１００、撮像素子１０１、及びフレームメモリ１０２を備えている必要はなく、外部の撮像装置から所定の画像を取得する構成とすることもできる。
【００１８】
レベル合わせ処理部１１は、同一の被写体に対する第２の画像群に含まれる画像の画素レベルを、第１の画像群に含まれる画像の画素レベルに合致させるように、第２の画像群に含まれる画像に対して補正を行う。また、画像合成部１２は、第１の画像群に含まれる画像と、レベル合わせ処理部１１により画素レベルを合致させた第２の画像群に含まれる画像とを合成した合成画像を生成する。ここで、画像合成部１２は、図示しない除外画素抽出部を備え、合成画像を生成する際に、除外画素抽出部により合成対象から除外する画素を抽出する。そして、画像合成部１２は、抽出した画素を除外しつつ、合成画像を生成する。
【００１９】
以下、上述した画像処理装置１において、合成画像を生成する場合の作用について具体例を挙げて説明する。
まず、画像取得部１０において、第１の画像群及び第２の画像群が取得される。すなわち、画像取得部１０において、レンズ等からなる光学系１００を通して撮像素子１０１にて複数枚の画像を撮像し、撮像した画像を一旦フレームメモリ１０２に格納する。このとき、手ぶれの発生しない露光時間で、かつ明るさが適正となるＩＳＯ感度において高感度画像を第１の画像群として複数枚撮影し、フレームメモリ１０２に格納する。次に、同一の露光時間でＩＳＯ感度を上げた高感度画像を第２の画像群として複数枚撮影し、フレームメモリ１０２に格納する。
【００２０】
図２に具体例を示した。すなわち、手ぶれの発生しない露光時間（シャッター速度）を１／１０秒とし、任意の撮影シーンをこの露光時間で撮影する際に画像を適正な明るさとするにはＩＳＯ感度を３２００とする必要があるものとする。
この状況下において、まず、シャッター速度１／１０秒、ＩＳＯ感度３２００で第１の画像群として４枚の画像を連写撮影しフレームメモリ１０２に格納する。次に、同一のシャッター速度１／１０秒とし、先のＩＳＯ感度よりも高いＩＳＯ感度６４００で４枚の画像を第２の画像群として連写撮影しフレームメモリに格納する。
【００２１】
ＩＳＯ感度６４００で撮影した第２の画像群に含まれる画像は、適正よりも２倍のゲインがかかっており、その分飽和する画素が多く、画像のダイナミックレンジが狭くなっている。ただし、感度を上げて撮像素子から読み出したことにより、ゲインがかかった後に撮像素子内で混入するノイズの割合は低下している。
【００２２】
このようにして連写撮影されフレームメモリ１０２に格納された画像は、レベル合わせ処理部１１において同一の被写体が同一の画素レベルとなるような補正がなされる。図２に示した例では、第２の画像群はＩＳＯ感度６４００で撮影しているため、適正な明るさである第１の画像群におけるＩＳＯ感度３２００の２倍の画素値となっている。このため、第２の画像群の画素レベルを１／２とすることで第２の画像群に含まれる画像の画素レベルを第１の画像群に含まれる画像の画素レベルに合わせる。
【００２３】
なお、ＩＳＯ感度を２倍の６４００とすることにより飽和する画素が発生するが、飽和した画素はレベル合わせ処理で１／２とした場合でもＩＳＯ３２００で撮影した場合の画素値と一致しない。一方、レベル合わせ処理部１１でレベル合わせがなされた画像は画像合成部１２で合成処理がなされて合成画像が生成される。この合成処理は公知の方法により行うことができ、例えば、上述の特許文献１に記載された方法で行うことができる。
【００２４】
合成画像を生成する際に、レベル合わせ処理前で飽和していた画素については、レベル合わせ後の画素値も飽和による影響を受けて適正な画素値となっていないことから、合成対象としない処理を追加する必要がある。このため、除外画素抽出部により合成対象から除外する画素を抽出する。具体的には、画素値が０から２５５までである場合、ＩＳＯ感度６４００で撮影した画像をレベル合わせ処理で１／２とした場合、画素値で１２７付近の画素は飽和による影響を受けているため、合成対象から除外する画素とする。
【００２５】
このようにすることで、飽和が発生しない暗部においては、ゲインがかかった後に撮像素子内で混入するノイズの割合が低下した画像を合成対象画像に加えることで、よりノイズ低減が可能となる。図２の例においては、８枚の合成画像の内、４枚はＩＳＯ６４００で撮影した後に１／２とすることで、ゲインがかかった後に撮像素子内で混入するノイズの割合が低下した画像となっている。これら画像を合成することにより、通常の８枚合成に比べても強いノイズ低減効果を得ることができる。
【００２６】
また、明部においても適正なＩＳＯ感度で撮影した画像が合成に使用され、適正よりも大きいＩＳＯ感度での撮影で飽和が発生した画素は合成に使用されないことから、明部における飽和等の劣化はなく、ダイナミックレンジは通常通り維持される。
なお、飽和が発生する明部においては、合成が行われないことにより、複数枚画像を合成することによる効果が減ることとなる。例えば図２の例では、飽和が発生する画素においては、合成に使用する枚数が通常の８枚から４枚に減少することとなり、この分、複数枚合成によるノイズ低減効果は減る。しかし、通常Ｓ／Ｎ比は暗部において悪く明部においては良好であり、ノイズ低減効果は暗部において強く発揮されることが期待されることから、本発明のように暗部において強いノイズ低減効果を得ることができる方式は有効と考えられる。
【００２７】
以上、本実施形態のように、通常の露光時間とＩＳＯ感度で撮影した画像と、同一の露光時間と通常よりも強いＩＳＯ感度で撮影した画像を合成することで、撮像素子内でのゲイン処理の後に混入するノイズの影響を抑えつつダイナミックレンジを維持した画像を得ることができる。
【００２８】
（第２の実施形態）
上述した第１の実施形態においては、適正な明るさとなるＩＳＯ感度で撮影した第１の画像群に含まれる画像と、これよりも強いＩＳＯ感度で撮影した第２の画像群に含まれる画像を合成することで、ノイズ低減効果を高め、かつ、ダイナミックレンジを維持した合成画像を得た。本実施形態においては、３種類以上のＩＳＯ感度で撮影した画像を合成する形態について説明する。
【００２９】
図３に、３種類のＩＳＯ感度で撮影した画像を合成する例を示す。第１の実施形態で説明した図２の例と同様に、手ぶれの発生しない露光時間（シャッター速度）を１／１０秒とし、任意の撮影シーンをこの露光時間で撮影する際に画像を適正な明るさとするには、ＩＳＯ感度を３２００とする必要があるものとする。まず、画像取得部１０は、シャッター速度１／１０秒、ＩＳＯ感度３２００で第１の画像群として１枚の画像を撮影しフレームメモリ１０２に格納する。
【００３０】
次に、画像取得部１０は、同一のシャッター速度１／１０秒、ＩＳＯ感度６４００で第２の画像群として２枚の画像を連写撮影しフレームメモリ１０２に格納する。ＩＳＯ感度６４００で撮影したこれらの画像は、適正よりも２倍のゲインがかかっており、その分飽和する画素が多く、画像のダイナミックレンジが狭くなっている。ただし、感度を上げて撮像素子から読み出したことにより、ゲインがかかった後に撮像素子内で混入するノイズの割合は低下している。
【００３１】
更に、画像取得部１０は、同一のシャッター速度１／１０秒、ＩＳＯ感度１２８００で他の第２の画像群として５枚の画像を連写撮影しフレームメモリ１０２に格納する。ＩＳＯ感度１２８００で撮影したこれらの画像は、適正よりも４倍のゲインがかかっており、その分飽和する画素が更に多く、画像のダイナミックレンジが狭くなっている。ただし、感度を上げて撮像素子から読み出したことにより、ゲインがかかった後に撮像素子内で混入するノイズの割合はＩＳＯ６４００で撮影した画像よりも更に低下している。
【００３２】
次にフレームメモリ１０２に格納された画像をレベル合わせ処理して同一の被写体が同一の画素レベルとなるように補正する。図３に示した例では、ＩＳＯ感度６４００で２枚の画像を連写撮影している。これは適正な明るさであるＩＳＯ感度３２００の２倍の画素値となっているため、これを１／２とすることでレベルを合わせる。
【００３３】
また、ＩＳＯ感度１２８００で撮影した５枚の画像は１／４とすることでレベルを合わせる。レベル合わせ処理をした画像は第１の実施例と同様に飽和の影響を受けた画素を除いて合成処理を行う。
このようにすることで、第１の実施形態と同様に、ダイナミックレンジは通常通り維持したまま、飽和が発生しない暗部においてよりノイズが低減した合成画像を得ることができる。第１の実施形態においては、２種類のＩＳＯ感度で撮影した画像を合成に使用した。これにより、合成枚数が切り替わる輝度レベルにおいてノイズ低減特性が急変する恐れがあった。例えば図２の例において、画素値を０〜２５５とした場合、画素値が１２７より大きい画素については、除外画素抽出部により合成対象から当該画素が除外されるので、ＩＳＯ感度３２００で撮影した４枚が合成され、画素値が１２７より小さい画素についてはＩＳＯ感度３２００で撮影した４枚とＩＳＯ感度６４００で撮影した４枚が合成される。このため、合成枚数が切り替わる画素値付近でノイズ低減特性が急変する恐れがある。
【００３４】
これに対して本実施形態においては、３種類以上のＩＳＯ感度で撮影した画像を合成に用いており、切り替わりをよりなめらかにすることができるため、ノイズ低減特性の急変を緩和することができ、良質な合成画像を生成することができる。
以上、本実施形態のように、通常の露光時間とＩＳＯ感度で撮影した画像と、同一の露光時間と通常よりも強い複数のＩＳＯ感度で撮影した画像を合成することで、撮像素子内でのゲイン処理の後に混入するノイズの影響を抑えつつダイナミックレンジを維持した画像を得ることができる。
また、３種類以上のＩＳＯ感度で撮影された画像を合成に用いることにより、輝度レベルに応じたノイズ低減特性の変化をなめらかにすることができ、自然なノイズ特性の合成画像を得ることが可能となる。
【００３５】
（第３の実施形態）
上述した第１の実施形態及び第２の実施形態においては、各ＩＳＯ感度での撮影枚数は事前に決定されているものとしていた。本実施形態においては、撮影シーンに応じて各ＩＳＯ感度での撮影枚数を可変とする形態について説明する。
すなわち、本実施形態においては、画像処理装置が図示しないシーン判別部と、撮影パラメータ決定部とを備え、シーン判別部により第１の画像群又は前記第２の画像群に含まれる画像を取得する際の撮影シーンを決定し、該シーン判別部によって決定された撮影シーンに基づいて、第１の画像群に含める画像の枚数、第２の画像群に含める画像の枚数、及び、第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定することができる。
【００３６】
図４に本実施形態の画像処理装置において合成画像を生成する場合の処理の流れを示すフローチャートを示す。
ステップＳ１００で、手ぶれの発生しない露光時間（ぶれ限界シャッター速度）及び適正な明るさとなるＩＳＯ感度で画像を１枚撮影する。第１の実施形態及び第２の実施形態と同様に、手ぶれの発生しない露光時間（シャッター速度）を１／１０秒とし、任意の撮影シーンをこの露光時間で撮影する際に画像を適正な明るさとするには、ＩＳＯ感度を３２００とする必要があるものとする。
【００３７】
ステップＳ１００ではシャッター速度１／１０秒、ＩＳＯ感度３２００で１枚の画像を撮影する。次にステップＳ１０１では、ステップＳ１００で撮影した画像のヒストグラムを計算する。ステップＳ１０２では、計算したヒストグラムを基に各ＩＳＯ感度での撮影枚数を決定する。
【００３８】
以下、ステップＳ１０２における各ＩＳＯ感度での撮影枚数の決定方法について詳細に説明する。本実施形態においては、各ＩＳＯ感度での撮影枚数を通常撮影シーン用と夜景シーン用の２パターン用意し、ヒストグラムに基づいてシーン判別して２パターンの内のどちらを採用するかを決定する。例えば、通常撮影シーンでは第１の実施形態と同様に、ＩＳＯ感度３２００を４枚、ＩＳＯ感度６４００を４枚の計８枚撮影するものとする。
【００３９】
これに対し、夜景シーンでは画像の中で暗部の占める割合が大きく、より暗部の画質を向上することが望ましいことから、ＩＳＯ感度３２００を２枚、ＩＳＯ感度６４００を６枚の計８枚撮影する。計算されたヒストグラムから累積ヒストグラムを計算し、暗部を占める画素の割合から夜景シーンか通常シーンかを判別する。
【００４０】
図５に通常シーンにおけるヒストグラム計算結果の例を示す。図５では、横軸に画素値（０から２５５とする）、縦軸に画素数としてヒストグラムがプロットしてある。入力画像の全画素について、ある画素値を示す画素の画素数を計算し、これを画素値のヒストグラムとする。画素値としては、輝度値に変換した値を用いてもよいし、例えばＧ画素のみを代表画素値としてもよい。
【００４１】
図６に累積ヒストグラムの計算結果の例を示す。横軸に画素値（０から２５５とする）、縦軸に頻度（％）として累積ヒストグラムがプロットしてある。累積ヒストグラムは、ヒストグラム計算結果を画素値０からある画素値まで積分し、それが全画素数に占める割合をそれぞれの画素値についてプロットしたものである。例えば、図６において横軸の画素値６４で約４０％の頻度となっているのは、画素値０から画素値６４までの画素数は、全画素数の４０％であることを意味している。
【００４２】
図７に夜景シーンにおけるヒストグラム計算結果の例を、図８にこの累積ヒストグラムを示す。典型的な夜景シーンでは、暗部の画素が多いため、より小さい画素値で累積ヒストグラムが高い値を示すこととなる。例えば、画素値６４での累積ヒストグラム値に注目し、これがある閾値以上であれば夜景シーンと判断、それ以外であれば通常シーンと判断すればよい。
【００４３】
以降、決定されたＩＳＯ感度と撮影枚数に従い、ステップＳ１０３で複数枚画像の撮影を実施し、ステップＳ１０４にてレベル合わせ処理を、ステップＳ１０５にて、複数枚の画像に基づいて合成画像を生成する。
以上、本実施形態のように、通常の露光時間とＩＳＯ感度で撮影した画像と、同一の露光時間と通常よりも強い複数のＩＳＯ感度で撮影した画像を合成することで、撮像素子内でのゲイン処理の後に混入するノイズの影響を抑えつつダイナミックレンジを維持した画像を得ることができる。
また、シーンに応じて各ＩＳＯ感度の画像数を可変とすることにより、シーンに適合した画質改善効果を得ることができる。
【００４４】
なお、上述の実施形態においては、シーン判別部により第１の画像群又は前記第２の画像群に含まれる画像を取得する際の撮影シーンを決定し、該シーン判別部によって決定された撮影シーンに基づいて、第１の画像群に含める画像の枚数、第２の画像群に含める画像の枚数、及び、第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定したが、このような構成に限られることはない。例えば、撮影パラメータ決定部が、所定のＩＳＯ感度に従って、所定の露光時間にて取得された画像の輝度値の分布に基づいて、第１の画像群に含める画像の枚数、第２の画像群に含める画像の枚数、及び、第２の画像群に含まれる画像を取得する際のＩＳＯ感度、のうち少なくとも１つを決定する構成とすることもできる。
【符号の説明】
【００４５】
１  画像処理装置
１０  画像取得部
１１  レベル合わせ処理部
１２  画像合成部
１００  光学系
１０１  撮像素子
１０２  フレームメモリ
【図１】
2013258444.tif 000003
【図２】
2013258444.tif 000004
【図３】
2013258444.tif 000005
【図４】
2013258444.tif 000006
【図５】
2013258444.tif 000007
【図６】
2013258444.tif 000008
【図７】
2013258444.tif 000009
【図８】
2013258444.tif 000010