(57)【要約】【課題】広ダイナミックレンジの合成画像の画質を向上する。【解決手段】複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、適切な露出条件において被写体を撮影して得られる高解像度画像とを取得する画像入力手段と、複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、高解像度画像と同等の解像度を持つ合成画像を生成する合成手段とを備え、合成手段は、選択された低解像度画像を構成する各画素の階調値と高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する調整手段と、複数の低解像度画像それぞれについて求めた階調値のヒストグラムと高解像度画像について求めた階調値のヒストグラムと画像入力手段によって取得された低解像度画像の数との少なくとも一方に基づいて、調整手段による合成画像の各画素についての階調値の調整処理を制御する制御手段とを備える。【選択図】      図１
2008294524.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、前記撮像手段によって適切な露出条件において前記被写体を撮影して得られる高解像度画像とを取得する画像入力手段と、
前記複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、前記高解像度画像と同等の解像度を持つ合成画像を生成する合成手段とを備え、
前記合成手段は、
前記選択された低解像度画像を構成する各画素の階調値と前記高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する調整手段と、
前記複数の低解像度画像それぞれについて求めた階調値のヒストグラムと前記高解像度画像について求めた階調値のヒストグラムと前記画像入力手段によって取得された低解像度画像の数との少なくとも一方に基づいて、前記調整手段による合成画像の各画素についての階調値の調整処理を制御する制御手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御手段は、
前記複数の低解像度画像それぞれおよび前記高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記調整手段において合成画像の各画素の階調値を所定の範囲に収めるために用いられる階調変換曲線を調整する変換曲線調整手段とを備えた
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記制御手段は、
前記複数の低解像度画像それぞれおよび前記高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記調整手段による調整処理に供する低解像度画像を選択する選択手段とを備えた
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記制御手段は、
前記調整手段による合成処理に供される低解像度画像の数に応じて、前記調整手段による前記合成画像を構成する各画素の階調値の調整において反映すべき低解像度画像の範囲の大きさを決定する範囲決定手段を備えた
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記制御手段は、
前記調整手段による前記合成画像を構成する各画素の輝度成分に、前記選択された低解像度画像の画素に対応する輝度成分を反映する際に適応すべき輝度重みを決定する輝度重み決定手段と、
前記調整手段による前記合成画像を構成する各画素の色差成分に、前記選択された低解像度画像の画素に対応する色差成分を反映する際に適応すべき色差重みを決定する色差重み決定手段とを備え、
前記色差重み決定手段は、前記高解像度画像の各画素に対応する色差成分の大きさに応じて、前記色差重みの値を調整する重み調整手段を備えた
ことを特徴とする画像処理装置。
【請求項６】
複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、前記撮像手段によって適切な露出条件において前記被写体を撮影して得られる高解像度画像とを取得する画像入力ステップと、
前記複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、前記高解像度画像と同等の解像度を持つ合成画像を生成する合成ステップとを備え、
前記合成ステップは、
前記選択された低解像度画像を構成する各画素の階調値と前記高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する調整ステップと、
前記複数の低解像度画像それぞれについて求めた階調値のヒストグラムと前記高解像度画像について求めた階調値のヒストグラムと前記画像入力ステップにおいて取得された低解像度画像の数との少なくとも一方に基づいて、前記調整ステップによる合成画像の各画素についての階調値の調整処理を制御する制御ステップとを備えた
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどの撮像装置によって撮影された画像を処理対象とする画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置によって得られる画像データのダイナミックレンジは、撮像に用いられる撮像素子(例えばＣＣＤなど)のダイナミックレンジによって制限される。このため、特に、逆光などの露出条件で撮影した場合などに、画面内の明るい部分と暗い部分との一方または双方に、画素値が飽和していることを示す同一の階調の画素データが連なる領域、いわゆる「白とび」あるいは「黒つぶれ」の領域が生じる場合があった。
【０００３】
このような画素値が飽和した領域について画質の向上を図る技法として、複数種類の露出条件で同一の被写体を撮影し、得られた画像データを合成して、ダイナミックレンジの広い高品質の画像データを得る手法が提案されている(特許文献１参照)。
【特許文献１】特開２００２−３０５６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１の技法では、様々な露出条件において同一の被写体を撮影して得られる複数の高解像度の画像データをメモリに蓄積し、これらの画像データを読み出して合成処理を行っている。このため、複数の高解像度の画像データを蓄積しておくための大容量のメモリが必要である上に、大容量の画像データを読み出す処理に要する時間のために、撮影速度を向上することが難しかった。
【０００５】
本出願人は、メモリ量の増大および読み込み処理負担の増大を抑制しつつ、広いダイナミックレンジを有する高解像度画像を合成することが可能な技術として、特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を既に出願している。
【０００６】
この技法では、本撮影で適用された露出条件とは異なる露出条件に対応する高解像度の画像データの代わりに、デジタルカメラに備えられた液晶表示部による表示に供される低解像度画像(スルー画像)を利用し、露出条件を変えて取得した複数のスルー画像を本撮影で得られた高解像度画像との合成処理に供することにより、画像処理装置の小型化および高速撮影への対応を実現している。
【０００７】
更に、この技法を適用する際に、スルー画像の合成手法を工夫することにより、合成処理によって得られる広いダイナミックレンジを有する高解像度画像の画質を向上することが可能である。
【０００８】
本発明は、露出条件の異なる画像を合成して広いダイナミックレンジを持つ画像を生成する画像処理装置および画像処理方法において、画像処理装置の小型化および高速化とともに生成される広ダイナミックレンジの画像の画質を向上可能な画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明にかかわる第１の画像処理装置は、以下のように構成される。
【００１０】
画像入力手段は、複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、撮像手段によって適切な露出条件において被写体を撮影して得られる高解像度画像とを取得する。合成手段は、複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、高解像度画像と同等の解像度を持つ合成画像を生成する。この合成手段において、調整手段は、選択された低解像度画像を構成する各画素の階調値と高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する。制御手段は、複数の低解像度画像それぞれについて求めた階調値のヒストグラムと高解像度画像について求めた階調値のヒストグラムと画像入力手段によって取得された低解像度画像の数との少なくとも一方に基づいて、調整手段による合成画像の各画素についての階調値の調整処理を制御する。
【００１１】
本発明にかかわる第２の画像処理装置は、以下のように構成される。
【００１２】
上述した第１の画像処理装置に備えられる制御手段において、解析手段は、複数の低解像度画像それぞれおよび高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する。変換曲線調整手段は、解析手段による解析結果に基づいて、調整手段において合成画像の各画素の階調値を所定の範囲に収めるために用いられる階調変換曲線を調整する。
【００１３】
本発明にかかわる第３の画像処理装置は、以下のように構成される。
【００１４】
上述した第１の画像処理装置に備えられる制御手段において、解析手段は、複数の低解像度画像それぞれおよび高解像度画像について求めた階調値のヒストグラムについて、所定の範囲の階調値における画素の分布を解析する。選択手段は、解析手段による解析結果に基づいて、調整手段による調整処理に供する低解像度画像を選択する。
【００１５】
本発明にかかわる第４の画像処理装置は、以下のように構成される。
【００１６】
上述した第１の画像処理装置に備えられる制御手段において、範囲決定手段は、調整手段による合成処理に供される低解像度画像の数に応じて、調整手段による合成画像を構成する各画素の階調値の調整において反映すべき低解像度画像の範囲の大きさを決定する。
【００１７】
本発明にかかわる第５の画像処理装置は、以下のように構成される。
【００１８】
上述した第１の画像処理装置に備えられる制御手段において、輝度重み決定手段は、調整手段による合成画像を構成する各画素の輝度成分に、選択された低解像度画像の画素に対応する輝度成分を反映する際に適応すべき輝度重みを決定する。色差重み決定手段は、調整手段による合成画像を構成する各画素の色差成分に、選択された低解像度画像の画素に対応する色差成分を反映する際に適応すべき色差重みを決定する。この色差重み決定手段において、重み調整手段は、高解像度画像の各画素に対応する輝度成分の大きさに応じて、色差重みの値を調整する。
【００１９】
本発明にかかわる第１の画像処理方法は、以下のように構成される。
【００２０】
画像入力ステップは、複数の異なる解像度で被写体の画像を撮影する撮像手段によって複数の露出条件において同一の被写体を撮影して得られる複数の低解像度画像と、撮像手段によって適切な露出条件において被写体を撮影して得られる高解像度画像とを取得する。合成ステップは、複数の低解像度画像から選択された低解像度画像と高解像度画像とを合成して、高解像度画像と同等の解像度を持つ合成画像を生成する。この合成ステップにおいて、調整ステップは、選択された低解像度画像を構成する各画素の階調値と高解像度画像の対応する画素値とを反映して合成画像の対応する画素の階調値を調整する。制御ステップは、複数の低解像度画像それぞれについて求めた階調値のヒストグラムと高解像度画像について求めた階調値のヒストグラムと画像入力ステップにおいて取得された低解像度画像の数との少なくとも一方に基づいて、調整ステップによる合成画像の各画素についての階調値の調整処理を制御する。
【発明の効果】
【００２１】
本発明にかかわる画像処理装置および画像処理方法によれば、露出条件の異なる複数の低解像度画像を高解像度画像に合成することにより、階調再現域を拡大と処理の高速性とを両立させるとともに、合成処理に供される高解像度画像と低解像度画像の特徴を考慮した適切な合成手法を選択的に適用することで、最終的に得られる合成画像の画質の向上を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
（第１の実施形態）
図１に、本発明にかかわる画像処理装置の第１の実施形態を示す。
【００２３】
図１に示したデジタルカメラにおいて、画像の撮影の際に撮影光学系２１によって撮像素子２２上に結像された光は、撮像素子２２によってその強度に応じた電気信号に変換され、更に、アナログ／デジタル(Ａ／Ｄ)変換器２３によってデジタルデータに変換されてメモリ２４に保持される。図１に示したメモリ２４は、バスを介して本発明にかかわる画像処理装置２５、画像圧縮部２６、記録処理部２７および撮影制御部２８に接続されており、この撮影制御部２８により、撮像素子２２に対する読み出しモードの切り換えが行われる。
【００２４】
図１に示した撮影制御部２８は、利用者によるレリーズボタンの操作に応じて、上述した撮像素子２２に全ての画素に対応するデータの読出を指示する高解像度モードを指示し、これに応じて撮像素子２２から読み出された電気信号から得られた高解像度画像データはメモリ２４に蓄積されるとともに画像処理装置２５の処理に供される。一方、レリーズボタンが操作される時点の前後では、撮影制御部２８により、撮像素子２２からの読み出しモードは、スルー画モードに切り換えられ、これに応じて、撮像素子２２内部での画素間引きや画素加算によって得られる低解像度画像データがメモリ２４を介して表示部２９による表示処理に供され、利用者に撮像範囲に関する情報を提供する。
【００２５】
上述したスルー画モードが適用されている期間において、様々な露出条件の下で取得された撮像素子２２の出力信号から得られた低解像度画像データがメモリ２４に保持され、上述した高解像度画像データとともに画像処理装置２５の処理に供される。また、この画像処理装置２５による処理が完了した画像データは、画像圧縮部２６によって圧縮された後にバスを介して記録処理部２７に渡され、記憶媒体３０に記録される。
【００２６】
図１に示した画像処理装置２５において、位置合わせ処理部３２により、メモリ２４から受け取った高解像度画像と複数の低解像度画像とについてそれぞれ特徴抽出が行われ、抽出された特徴に基づいて互いの位置ずれが補正される。また、図１に示したゲイン補正部３１により、高解像度画像と個々の低解像度画像との露出条件の違いに応じたゲイン補正が行われ、補正後の低解像度画像が、階調合成部３３により、上述した位置合わせ処理部３２による処理結果に基づいて高解像度画像と合成され、画像圧縮部２６の処理に供される。
【００２７】
なお、上述した位置合わせ処理部３２および階調合成部３３の詳細構成および詳細な動作については、本出願人が先に出願した特願２００７−０１２５１６「画像処理装置、電子カメラ、および画像処理プログラム」を参照されたい。
【００２８】
図１に示した画像処理装置２５において、分布解析部３４は、ゲイン補正部３１によって補正された高解像度画像および低解像度画像について、階調値のヒストグラムをそれぞれ作成し、後述するようにして、このヒストグラムの解析を行い、解析結果を合成制御部３５の処理に供する。
【００２９】
また、図１に示した合成制御部３５は、分布解析部３４による解析結果に基づいて、階調合成部３３における階調合成処理に適用すべき様々なパラメータを決定し、これらのパラメータを階調合成部３３の処理に供することにより、この階調合成部３３の処理を制御する。
【００３０】
以下、本撮影で得られた適正露出の高解像度画像と適正露出に対して１段および２段アンダーで取得されたスルー画像(低解像度画像)とを合成して、階調再現域が拡大された広ダイナミックレンジの高解像度画像を生成する場合を例にとって、分布解析部３４および合成制御部３５の詳細な動作を説明する。
【００３１】
図２に、画像合成処理を表す流れ図を示す。また、図３に、分布解析処理を説明する図を示す。
【００３２】
メモリ２４に蓄積されていたスルー画像から本撮影で適用された露出条件に比べて低い露出値が適用されたスルー画像が抽出され、本撮影で得られた高解像度画像とともに画像処理装置２５に読み込まれる(ステップＳ１)。メモリ２４には、本撮影に先立って露出値決定処理のために様々な露出条件で取得されたスルー画像が蓄積されており、これらのスルー画像の中から、例えば、本撮影で適用された適正露出に対して１段アンダーで取得されたスルー画像と２段アンダーで取得されたスルー画像とがメモリ２４から読み出され、以降の処理に供される。
【００３３】
このようにして読み出されたスルー画像について、ゲイン補正部３１により、スルー画像を構成する各画素の階調値に、それぞれに適用された露出値と適正露出との比に応じた定数を乗算することにより、ゲイン補正が行われる(ステップＳ２)。ここで、読み出されたスルー画像について既にガンマ変換が施されている場合には、ゲイン補正に先立って、逆ガンマ変換が施される。これにより、１段アンダーで取得されたスルー画像のヒストグラム(図３(ｂ)参照)および２段アンダーで取得されたスルー画像のヒストグラム(図３(ｄ)参照)は、適正露出で撮影された高解像度画像のヒストグラムにおける画素の分布(図３(ａ)参照)とリニアな空間で比較可能なヒストグラムに変換される(図３(ｃ)、(ｅ)参照)。
【００３４】
このようにして得られたスルー画像のヒストグラムについて、分布解析部３４は、適正露出が適用されたときに飽和状態となる高輝度領域(図３において、破線で示した階調値以上の範囲)において、所定の閾値以上の画素が分布している範囲を探索し、該当する範囲を高輝度領域における階調変化の特徴として抽出する(ステップＳ３)。
【００３５】
ステップＳ３において、例えば、図３(ｃ)、(ｅ)に破線で囲んで示すような範囲が検出された場合に、分布解析部３４は、高輝度領域における階調変化の特徴が抽出された旨を合成制御部３５に通知し、これに応じて、合成制御部３５は、階調変化の特徴が抽出されたスルー画像を合成対象の低解像度画像として選択する(ステップＳ４)。
【００３６】
合成処理を実行する場合に、分布解析部３４は、メモリ２４から読み込んだ高解像度画像について、所定の閾値以上の階調値を持つ高輝度領域の画素の数を集計し、この高輝度領域の画素数が全画素数に占める割合を算出し(ステップＳ５)、この割合に基づいて、合成制御部３５は、最終的に階調値を表示装置などの制約に合わせて８ビットの階調値に変換するための階調変換曲線における屈曲点の位置(図４(ａ)において符号(イ)を付して示す)を決定する(ステップＳ６)。
【００３７】
このとき、分布解析部３４は、例えば、１２ビットの階調値を８ビットの階調値に変換するための一般的な階調変換曲線(図４において、太い破線で示す)を用いた変換によって所定の値(例えば、数値２００)以上に変換される階調値を持つ画素の割合を算出する。この割合が所定の閾値よりも大きい場合に、合成制御部３５は、例えば、上述した割合と閾値との差に応じて、屈曲点の位置を入力階調値の小側(図４の左側)に移動させる。逆に、上述した割合が所定の閾値よりも小さい場合に、合成制御部３５は、上述した割合と閾値との差に応じて、屈曲点の位置を入力階調値の大側(図４の右側)に移動させる。
【００３８】
例えば、明るく輝く雲が画面において無視できない大きさを占めているような構図で被写体が撮影された場合に、ステップＳ５において分布解析部３４によって得られる高輝度領域の割合は大きくなり、これに応じて、階調変換曲線の屈曲点の位置は、図４に符号(イ)で示した位置よりも入力階調値が小さい側にずらされる。
【００３９】
次いで、分布解析部３４は、上述したステップＳ４において合成対象として選択されたスルー画像について、個々のスルー画像において階調値が飽和していない範囲であって、高解像度画像における階調値の分布範囲を超える範囲に分布している画素について、階調値の平均値を算出し(ステップＳ７)、この平均値に基づいて、合成処理部３５は、上述した階調変換曲線による階調再現域の上限の位置(図４(ａ)において符号(ロ)を付して示す)を決定する(ステップＳ８)。
【００４０】
例えば、図３に示したヒストグラムを持つ１段アンダーのスルー画像と２段アンダーのスルー画像について、それぞれ上述したステップＳ３で抽出した範囲(図３(ｃ)、(ｅ)参照)に分布している画素について階調値の平均値を求め、これらを更に平均した値に応じて、階調再現域の上限は、図４に符号(ロ)で示した位置(つまり、１２ビットの階調値の上限)よりも入力階調値が大きい側にずらされる。ここで、露出値の異なるスルー画像が複数枚取得されている場合は、これらについてそれぞれ求めた平均値を更に平均した値に応じて、階調再現域の上限を決定すればよい。このとき、合成制御部３５は、例えば、上述した平均値と１２ビットの階調値の上限、即ち、高解像度画像の階調値の上限との差分をこの平均値に加えた位置に階調再現域の上限をずらすこともできる。
【００４１】
このようにして、中程度以下の輝度を持つ領域における階調変化を圧縮して、高輝度に対応する階調値の変化が８ビットの階調値の変化として再現される範囲を広げることにより、高輝度領域における階調変化を８ビットの階調値によって再現可能な階調変換曲線が生成され、この階調変換曲線が合成処理部３５において得られたスルー画像と高解像度画像とを合成して得られた合成画像の階調変換処理に適用される(ステップＳ９)。
【００４２】
なお、ステップＳ３において、全てのスルー画像で上述した範囲に所定数以上の画素が分布している範囲が抽出されなかった場合は、高解像度画像に反映すべき高輝度領域における階調変化の特徴はないと判断して、合成処理を実施しないで終了することも可能である。
【００４３】
また、高解像度画像において「黒つぶれ」状態となっているような低輝度領域については、図４(ｂ)に示すように、複数の屈曲点を持つ階調変換曲線を適用することで、階調再現可能域の低輝度方向への拡大を図ることも可能である。
【００４４】
次に、階調合成部３３による合成処理について説明する。
【００４５】
位置合わせ処理部３２によって高解像度画像と取得された各スルー画像との間の位置合わせが行われ、この位置合わせ処理結果に基づいて、階調合成部３３により、スルー画像を構成する各画素の輝度成分および色差成分が、図５に示すように、高解像度画像と同密度の画素空間に再配置される。
【００４６】
このとき、階調合成部３３は、高解像度画像の露出値を基準として各スルー画像について、上述したゲイン補正部３１によってゲイン補正を施して得られた輝度成分を上述したようにして再配置することにより、再配置画像の輝度成分Ｂ'y（ｉ，ｊ）を得ることができる。
【００４７】
次いで、階調合成部３３は、高解像度画像について既にガンマ変換が施されている場合は、高解像度画像の画素値Ａy（ｉ，ｊ）に逆ガンマ変換を施して、リニア空間における画素値を求め、このリニア変換された高解像度画像の輝度成分Ａ'y（ｉ，ｊ）に、同じくリニア空間の再配置画像の輝度成分Ｂ'y（ｉ，ｊ）を重み付け加算することにより、合成画像の輝度成分ｇ'y（ｉ，ｊ）を求める。
【００４８】
この階調合成部３３は、例えば、式(１)に示すように、高解像度画像の注目画素(ｉ、ｊ)の画素値ｐに近い値を持つ再配置画像の輝度成分Ｂ'y（ｉ，ｊ）に大きな重みを与える重み関数Ｇ（ｉ，ｊ，ｐ）を用いて、式(２)に示すように、注目画素を中心とするフィルタサイズｍの重み付け加算処理を行うことで、合成画像のリニア空間における輝度成分ｇ'y（ｉ，ｊ）を求めることができる。
【００４９】
【数１】
2008294524.tif 000003
また一方、階調合成部３３は、高解像度画像と合成対象のスルー画像との画素値に基づいて、上述と同様にして、高解像度画像の色差成分Ａ'CbCr（ｉ，ｊ）および再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を求め、これらを重み付け加算することにより、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）を求める。
【００５０】
このとき、高解像度画像において「白とび」状態となっている高輝度領域では、色差成分が小さくなっていることを考慮して、階調合成部３３は、式(４)に示すように、輝度成分に基づく重み付けを再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）に施して足し合わせることで得られた色差成分ｇ'CbCr（ｉ，ｊ）と、高解像度画像の色差成分Ａ'CbCr（ｉ，ｊ）とを、式(３)で表される重みをつけて加算する(式(５)参照)。
【００５１】
【数２】
2008294524.tif 000004
これにより、高輝度領域では再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）に、より高い重みで反映させ、自然な色差成分を復元することができる。
【００５２】
同様にして、「黒つぶれ」状態となっている低輝度領域についても、再配置画像の色差成分Ｂ'CbCr（ｉ，ｊ）を、合成画像の色差成分ｇ'CbCr（ｉ，ｊ）により高い重みで反映させることにより、自然な色差成分を復元することができる。
【００５３】
ここで、図５に示したように、高解像度画像に合成されるスルー画像の輝度成分および式差成分は、それぞれ再配置画像にマッピングされるので、合成処理に供されるスルー画像の枚数が増えれば、再配置画像と高解像度画像とを合成する際に、重み付け加算対象となるフィルタ内にマッピングされた画素が増えるので、合成画像の画素値に反映される情報が増大する。
【００５４】
したがって、合成対象のスルー画像の数に応じて、合成処理において適用するフィルタサイズｍを調整することで、合成画像における画質を維持しつつ、画像処理装置における画像合成処理にかかる処理負担を軽減することができる。例えば、合成処理に供されるスルー画像の数が、所定の枚数以下の場合には、基準となるフィルタサイズ(例えば、ｍ＝５)を適用し、スルー画像の数が上述した所定数を超える場合には、フィルタサイズを一段階縮小することで、スルー画像の枚数の増大による処理負担の増加を抑えつつ、位置合わせ誤差が合成画像の画質に与える影響を抑えることができる。
【００５５】
また、上述したようにして得られた合成画像の輝度成分ｇ'y（ｉ，ｊ）について、図１に示した分布解析部３４および合成制御部３５によって得られた階調変換曲線を適用することにより、高解像度画像において「白とび」状態となっていた高輝度領域の階調値の変化をスルー画像に含まれる情報を利用して復元し、ガンマ変換後の階調値(８ビット)の変化として再現することができる。
【００５６】
上述したように、本発明にかかわる画像処理装置および画像処理方法によれば、合成処理に供される高解像度画像と低解像度画像における階調値の分布や合成に供される画像の数を含む様々な特徴を考慮して、適切な合成手法を選択的に適用することができる。
【００５７】
これにより、本撮影で得られた高解像度画像とスルー画像とを合成して広いダイナミックレンジを持つ高解像度の合成画像を得る手法において、例えば、明るく輝く雲や青空を背景に撮影された桜などの被写体における階調の変化を過不足なく適切に再現することができ、画質の向上を図ることができる。
（第２の実施形態）
図６に、本発明にかかわる画像処理装置の第２の実施形態を示す。
【００５８】
なお、図６に示す構成要素のうち、図１に示した各部と同等のものについては、図１に示した符号を付して示し、その説明を省略する。
【００５９】
図６に示したパソコンにおいて、ＣＰＵ３８とメモリ２４、カードリーダ３６および表示処理部３７とはバスを介して接続されており、画像処理装置２５は、図１２示した画像処理装置２５の各部の処理をＣＰＵ３８に実行させるプログラムによって実現される。
【００６０】
例えば、記憶媒体３０に、デジタルカメラによる本撮影で得られた高解像度画像とともに１段アンダーおよび２段アンダーのスルー画像を記録しておき、これらの画像データをカードリーダ３６によって読み出してメモリ２４に格納し、画像処理装置２５の処理に供することにより、合成処理に供される高解像度画像と低解像度画像における階調値の分布や合成に供される画像の数を含む様々な特徴を考慮して、適切な合成手法を選択的に適用し、広いダイナミックレンジを持つ高解像度の合成画像を得ることができる。
【００６１】
このように、高解像度画像と低解像度画像とを合成する画像処理をパソコンに分担することにより、デジタルカメラ側で必要な処理を合成処理に供される画像情報の抽出および記録に限定することができるので、デジタルカメラの更なる高速動作を可能とすることができる。また、このようにして得られた合成画像を表示処理部３７および表示部３９による表示処理に供し、利用者に提供することにより、利用者は、大きな見やすい画面に表示された画像に基づいて、上述した画像処理結果を確認することもできる。
【産業上の利用可能性】
【００６２】
上述したように、本発明にかかわる画像処理装置および画像処理方法によれば、本撮影で得られた高解像度画像とスルー画像とを合成して広いダイナミックレンジを持つ高解像度の合成画像を得る手法において、合成処理の高速性を維持しつつ、画質の向上を図ることができるので、デジタルカメラなどの画像取得装置およびパソコンを含む画像処理装置において極めて有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明にかかわる画像処理装置の第１の実施形態を示す図である。
【図２】画像合成処理を表す流れ図である。
【図３】ヒストグラムに基づく分布解析処理を説明する図である。
【図４】階調変換曲線の説明図である。
【図５】再配置画像を説明する図である。
【図６】本発明にかかわる画像処理装置の第２の実施形態を示す図である。
【符号の説明】
【００６４】
２１…撮像光学系、２２…撮像素子、２３…アナログ／デジタル(Ａ／Ｄ)変換器、２４…メモリ、２５…画像処理装置、２６…画像圧縮部、２７…記録処理部、２８…撮影制御部、２９、３９…表示部、３０…記憶媒体、３１…ゲイン補正部、３２…位置合わせ処理部、３３…階調合成部、３４…分布解析部、３５…合成制御部、３６…カードリーダ、３７…表示処理部、３８…ＣＰＵ。
【図１】
2008294524.tif 000005
【図２】
2008294524.tif 000006
【図３】
2008294524.tif 000007
【図４】
2008294524.tif 000008
【図５】
2008294524.tif 000009
【図６】
2008294524.tif 000010