(57)【要約】      （修正有）【課題】露光量を変えて撮影した画像を合成してハイダイナミック画像とする際に、擬似輪郭がなく違和感のない画像を生成する。また、グレースケール画像を濃淡値の高低により領域分割するのに適切な濃淡値の閾値を自動的に設定する。【解決手段】露出値の異なる複数の画像のうち、基準露出値の画像をグレースケール画像に変換し、閾値により濃淡値の高低に応じた複数の領域に分割してこの複数の領域を色分けし、平均化フィルタ処理を行った画像で各画素の色成分を求め、各画素の色成分に応じ露出値の異なる複数の画像の濃淡値を選択し画像合成する。また、グレースケール画像から生成されたエッジから描出した物体境界画像と、濃淡値の高低に応じて分割した領域の境界である露出境界を描出した露出境界画像と、設定された得点ルールを用いて各画素につい重なり得点を求め、所定の濃淡値範囲において重なり得点が最大となる濃淡値を閾値として規定する。【選択図】図４
2009010566.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体について露出値を変えて撮影することにより得られた露出値の異なる複数の画像の画像データを合成して写真画像のダイナミックレンジを拡大する方法であって、
前記露出値の異なる複数の画像のうちの基準とする露出値の画像をグレースケール画像に変換することと、
該変換されたグレースケール画像を設定された濃淡値の閾値により濃淡値の高低に応じた複数の領域に分割することと、
前記グレースケール画像における分割された画像の複数の領域を色分けすることと、
該色分けされた画像に平均化フィルタ処理を行った画像を生成することと、
前記平均化処理を行った画像における各画素の色成分を求めることと、
前記各画素の色成分に応じ前記露出値の異なる複数の画像の濃淡値を選択し画像合成することと、
からなることを特徴とする写真画像のダイナミックレンジを拡大する方法。
【請求項２】
前記グレースケール画像を濃淡値の閾値により複数の領域に分割する際に、前記基準とする露出値の画像を変換したグレースケール画像に対しエッジ検出アルゴリズムを適用してエッジを物体境界として描出した物体境界画像を生成し、前記基準とする露出値の画像を変換したグレースケール画像に対し濃淡値をパラメータとし該濃淡値を閾値として前記グレースケール画像を濃淡値の高低に応じて分割した領域の境界である露出境界を描出した露出境界画像を生成し、前記物体境界画像における物体境界と前記露出境界画像における露出境界とに対し得点ルールを設定し、パラメータとしての各濃淡値ごとに前記基準とする画像における各画素につい前記得点ルールをもとに重なり得点を求め、所定の濃淡値範囲において前記重なり得点が最大となる濃淡値を前記濃淡値範囲における閾値として前記グレースケール画像を濃淡値の高低に応じて複数の領域に分割するようにしたことを特徴とする請求項１に記載の写真画像のダイナミックレンジを拡大する方法。
【請求項３】
オートブラケット機能により露出値をずらして撮影して得られた複数枚の画像を合成してダイナミックレンジを拡大した画像を生成する機能を備えた撮像装置であって、撮影条件と濃淡値の閾値との設定を行うための設定手段と、撮影された露出値の異なる複数枚の画像データとこれから変換された画像データとを記憶する記憶手段と、基準とする露出値の画像をグレースケール画像に変換するグレースケール化処理部と、該変換されたグレースケール画像を前記設定部により設定された濃淡値の閾値に基づいて濃淡値の高低に応じた複数の領域に分け各領域を色分けする領域分割色分け処理部と、該領域分割色分け処理部で生成された領域ごとに色分けされた画像に平均化フィルタ処理を行う平均化フィルタ処理部と、該平均化フィルタ処理部により得られた画像における各画素の色成分を求め該各画素の色成分に応じ前記露出値の異なる複数の画像の濃淡値を選択し画像合成する画像合成部とを備えてなることを特徴とする撮像装置。
【請求項４】
前記設定手段において濃淡値の閾値の設定を自動的に行うように設定した時に前記グレースケール画像を濃淡値の閾値により複数の領域に分割するための適正閾値を自動的に設定する適正閾値自動設定部をさらに備え、該適正閾値自動設定部は、前記基準とする露出値の画像を変換したグレースケール画像に対しエッジ検出アルゴリズムを適用してエッジを物体境界として描出した物体境界画像を生成する物体画像生成部と、前記基準とする露出値の画像を変換したグレースケール画像に対し濃淡値をパラメータとし該濃淡値を閾値として前記グレースケール画像を濃淡値の高低に応じて分割した領域の境界である露出境界を描出した露出境界画像を生成する露出境界画像生成部と、前記物体境界画像における物体境界と前記露出境界画像における露出境界とに対する予め規定された得点ルールの表と、パラメータとしての各濃淡値ごとに前記基準とする露出値の画像における各画素について前記得点ルールの表をもとに重なり得点を求め所定の濃淡値範囲において前記重なり得点が最大となる濃淡値を前記濃淡値範囲における閾値として選択する閾値選択手段とからなることを特徴とする請求項３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像のダイナミックレンジを拡大する方法及び撮像装置に関する。
【背景技術】
【０００２】
フィルムカメラあるいはデジダルカメラで被写体を撮影した写真と、人間が直接その被写体を見た時の視覚イメージには差違がある。その要因のひとつとして、写真におけるダイナミックレンジと、人間の視覚におけるダイナミックレンジとが異なり、人間の視覚におけるダイナミックレンジが写真の場合よりはるかに広い、ということがあげられる。
【０００３】
人間は瞳孔の大きさを変化させることによって網膜への入射光量を調節し、注視領域の像が明るすぎたり、暗すぎたりすることを防いでおり、眼球運動によって変更されたさまざまな注視領域における明暗に応じて瞳孔の大きさを適宜変化させて入射光量を適正に保つことができる。このような調整能力を用いて、脳内に記憶された映像を時間合成し、視細胞本来のダイナミックレンジ以上の擬似ハイダイナミックレンジ映像を生成していると考えられる。
【０００４】
写真で用いられる感光材料や、デジタルカメラの撮像素子（ＣＣＤ、ＣＭＯＳ）のダイナミックレンジは、このような人間の視覚における擬似ハイダナミックレンジに比べて狭いため、撮影された画像においては、人間の視覚では確認されない白とびや黒つぶれが生じるものであり、たとえ人間の視覚以上のダイナミックレンジを有するＣＣＤやＣＭＯＳで画像を記録したとしても、従来の出力装置では人間の視覚に準ずるような画像情報を生成することは困難である。
【０００５】
例えば、図１のような風景を撮影する場合を考える。手前側の手すりに鉢が置かれ、遠景として山が薄く見え、その上は空である。中間には町並みの建物、樹木等が広がる風景であり、陽が右前側から射していて、逆光ぎみになっており、鉢の手前側が陰になり、町並みの様子も陰の部分が多くあって、コントラストが強めの風景になっている。
【０００６】
このような風景で、中央部重点平均測光によるデジタルカメラにより自動露出で撮影すると、中央部分を主体とした部分の明るさを適正にするように露光調整がなされ、空の部分には白とびが生じ、町並みや鉢の陰の部分の暗い部分には黒つぶれが見られるようになる。これはデジタルカメラ内蔵の撮像素子や出力装置のダイナミックレンジの狭さによるものである。
【０００７】
露出補正により露光量を変えることにより、写り方を変えることは可能である。手前側の鉢や、町並みをより明るく写るようにするには、オーバー側に露出補正する。この場合、空と、円形の薄く見える山並みも白くなり、見えなくなるようにもなる。逆に円形の山や、空の雲の様子などが見えるようにするには、アンダー側に露出補正する。この場合、鉢や町並みはより陰が濃くなってくる。
【０００８】
このようにデジタルカメラの撮像素子のダイナミックレンジの範囲では、コントラストの強い画像に対しては、撮影された画像において、特に明るい部分、あるいは特に暗い部分は見えにくくならざるを得ないという制限がある。人間が同じ情景を直接見る場合には、眼による調整能力により、明るい部分と暗い部分とをともに視認できる。カメラで撮影された画像では、このような調整能力が作用することなく記録されるので、コントラストの強い風景を１枚の画像として撮影した場合には、白とびや黒つぶれが生じることになり、画角中の明るい部分または暗い部分を重視して露出補正をした場合には、重視されない方の部分は白とびまたは黒つぶれの傾向は解消されないことになる。
【０００９】
コントラストの強い風景についての一度の撮影による画像では白とびや黒つぶれが生じるため、同じ風景について露光量を変えて複数回撮影を行い、それらを合成して白とびや黒つぶれのない１枚の画像とする手法が知られている。これは露光量オートブラケット機能を有するデジタルカメラにより、同じ風景について露光量を変えて複数回の撮影を連続的に行うことができるオートブラケット機能を有するデジタルカメラを用いてなされる。
【００１０】
複数回の露光で撮影された画像を合成してダイナミックレンジを拡大することについて、以下のような文献に記載されている。
【００１１】
特許文献１には、１個のレンズ系からの光を光分配器で複数の画像に分光し、それぞれの画像入力手段から画像処理手段に入力し、一方の画像入力手段で影の部分を鮮明に入力し、他方の画像入力手段で影でない部分を鮮明に入力し、それらの鮮明の部分を合成手段で１つの画像に合成するダイナミックレンジ拡大装置について記載されている。
【００１２】
特許文献２には、露光量の異なる複数の画像信号を合成して広ダイナミックレンジ合成画像を生成する撮像装置について記載されている。
【００１３】
特許文献３には、異なる露光量で撮影した複数の画像信号を合成する階調拡大処理を行う機能を備えるデジタルカメラにおいて、撮像素子よりダイナミックレンジの広い測光素子で測定対象の輝度を検出し測定対象の中央部と周辺部の輝度差により階調拡大処理を行うか否かを判別することが示されている。
【００１４】
非特許文献１には、シャッタ速度、絞りを変えた複数枚の画像から、広範な輝度信号を復元するＨＤＲ手法について記載されているが、カメラの特性曲線を正確に算出するために、多くの枚数の画像が必要であり、それぞれの画像のシャッタ速度、絞りの情報を取得しておく必要がある。また、そのように算出された輝度情報は必ずしも人間の視覚イメージに近いというわけではなく、生成されたＨＤＲ画像は８ビット以上の輝度情報をもっているため、８ビットに準拠したモニタ上に表示することができない。
【特許文献１】特開平６−１０５２２４号公報
【特許文献２】特開２０００−９２３７８号公報
【特許文献３】特開２００２−２９０８２４号公報
【非特許文献１】Ｐａｕｌ  Ｅ．Ｄｅｂｅｖｅｃ他「Ｒｅｃｏｖｅｒｉｎｇ  Ｈｉｇｈ  ＤｙｎａｍｉｃＲａｎｇｅ  Ｒａｄｉｅｎｃｅ  Ｍａｐｓ  ｆｒｏｍ  Ｐｈｏｔｏｇｒａｐｈｓ，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃ．」Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｓｅｒｉｅｓ（１９９７），ｐｐ．３６９−３７８  オートブラケット機能を用いて擬似ハイダイナミック画像を生成する場合に、自動露出で得られた露出値（ＥＶ）による画像を基準露出画像として、同じ被写体について基準露出値より露出値を下げた画像（露出アンダー画像）、基準露出画像、基準露出値より露出値を上げた画像（露出オーバー画像）の３枚の画像を連続して撮影し、この３枚の露出値の異なる画像を合成してダイナミックレンジを拡大することについて考える。ここで、ダイナミックレンジを拡大するというのは、撮像素子のダイナミックレンジを広くするという意味ではなく、画像合成により撮影対象側の輝度範囲を高くし白とびや黒つぶれがないようにすることであり、このように合成された画像は擬似ハイダイナミックレンジ画像というのがより正確であるが、そのように解した上で、以下では撮影対象側の輝度範囲を高くするように合成された画像についてハイダイナミックレンジ画像と言う。
【００１５】
画像合成に際して、３枚の画像から選択される画像領域を設定する必要がある。そのためには、基準露出画像の画像における濃淡値範囲０〜２５５において、下限値と上限値とにより規定される濃淡値範囲を指定する。例えば下限値を１００、上限値を２２０とした場合、ハイダイナミックレンジ画像の合成に際して、基準露出画像の濃淡値に着目して、画像における画素の濃淡値が指定された範囲内であれば基準露出画像の濃淡値とし、濃淡値が指定された範囲より低い範囲にあるならば露出オーバー画像における濃淡値とし、濃淡値が指定された範囲より高い範囲にあるならば露出アンダー画像における濃淡値とするように各画素の濃淡値を選択する。このようにして、３通りの露出値の画像からハイダイナミックレンジ画像が合成される。
【００１６】
図１のような風景を撮影する場合も同様であり、同じ風景についてオートブラケット機能により露出アンダー画像、基準露出画像、露出オーバー画像の３枚の画像を撮影し、基準露出画像に対して指定された濃淡値の範囲の下限値を１００、上限値を２２０とした時に、この画像は、図２（ａ）に示すように、濃淡値が指定された範囲の領域α、指定された範囲より高い領域β、指定された範囲より低い領域γの３つに分かれる。領域αでは基準露出画像における濃淡値が、領域βでは露出アンダー画像における濃淡値が、領域γではオーバー露出画像における濃淡値がそれぞれ選択される。
【００１７】
ここで、指定された濃淡値範囲を１００〜２２０としているが、基準露出画像における濃淡値の状況、被写体におけるコントラスト等に応じて、濃淡値の範囲を指定する下限値を４０、上限値１２０とすると、濃淡値による領域α、β、γが図２（ｂ）のように異なったものになる。このように濃淡値による領域α、β、γの構成が変わることにより、合成されたハイダイナミックレンジ画像も異なった印象を与える。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
同じ被写体についてデジタルカメラにより露光量を変えて複数回の撮影を行い、それらを合成して得られるハイダイナミックレンジ画像では、露出アンダー画像、基準露出画像、露出オーバー画像を選択的に１枚の画像に合成するのであり、異なる画像から濃度値が選択される画像領域の境界は露光量の異なる画像の境界であって、その不連続性からもとの１枚の画像としては見られない疑似輪郭が発生し、合成された画像は特に露出量の異なる画像から選択された領域の境界について不自然で違和感のあるものとなる。
【００１９】
特許文献１、３、非特許文献１においては、このような画像合成の際に生じる擬似輪郭について特に考慮してはいない。特許文献２においては、複数の画像の露光量比が設定した値になっていない場合につぎ目の部分の階調の不連続が発生し易いため、実際の露光量比を求め、これを露光量が少ない画像データに乗じて合成処理を行うとしているが、合成される画像において一般的に生じ得るつぎ目での不連続性を有効に処理し得る手法は示されていない。
【００２０】
このように、従来のデジタルカメラによって撮影された露出量が異なる複数の画像を合成する場合に、疑似輪郭を目立たないようにして、人間の視覚に近いと言えるハイダイナミックレンジ画像とするのに有効な手段は講じられていなかった。
【００２１】
また、ハイダイナミックレンジ画像として合成するために、露出アンダーの画像、基準露出画像、露出オーバーの画像のいずれの濃淡値を選択するかを規定する濃淡値範囲の閾値（上限値、下限値）をどのように設定するかが、合成された画像に影響を与えることになるが、この濃淡値範囲の閾値を適切に行うための手法が求められていた。
【課題を解決するための手段】
【００２２】
本発明は前述した課題を解決すべくなしたものであり、本発明による写真画像のダイナミックレンジを拡大する方法は、同一被写体について露出値を変えて撮影することにより得られた露出値の異なる複数の画像の画像データを合成して写真画像のダイナミックレンジを拡大する方法であって、前記露出値の異なる複数の画像のうちの基準とする露出値の画像をグレースケール画像に変換することと、該変換されたグレースケール画像を設定された濃淡値の閾値により濃淡値の高低に応じた複数の領域に分割することと、前記グレースケール画像における分割された画像の複数の領域を色分けすることと、該色分けされた画像に平均化フィルタ処理を行った画像を生成することと、前記平均化処理を行った画像における各画素の色成分を求めることと、前記各画素の色成分に応じ前記露出値の異なる複数の画像の濃淡値を選択し画像合成することと、からなるものである。
【００２３】
前記グレースケール画像を濃淡値の閾値により複数の領域に分割する際に、前記基準とする露出値の画像を変換したグレースケール画像に対しエッジ検出アルゴリズムを適用してエッジを物体境界として描出した物体境界画像を生成し、前記基準とする露出値の画像を変換したグレースケール画像に対し濃淡値をパラメータとし該濃淡値を閾値として前記グレースケール画像を濃淡値の高低に応じて分割した領域の境界である露出境界を描出した露出境界画像を生成し、前記物体境界画像における物体境界と前記露出境界画像における露出境界とに対し得点ルールを設定し、パラメータとしての各濃淡値ごとに前記基準とする画像における各画素につい前記得点ルールをもとに重なり得点を求め、所定の濃淡値範囲において前記重なり得点が最大となる濃淡値を前記濃淡値範囲における閾値として前記グレースケール画像を濃淡値の高低に応じて複数の領域に分割するようにしてもよい。
【００２４】
また、本発明による撮像装置は、オートブラケット機能により露出値をずらして撮影して得られた複数枚の画像を合成してダイナミックレンジを拡大した画像を生成する機能を備えた撮像装置であって、撮影条件と濃淡値の閾値との設定を行うための設定手段と、撮影された露出値の異なる複数枚の画像データとこれから変換された画像データとを記憶する記憶手段と、基準とする露出値の画像をグレースケール画像に変換するグレースケール化処理部と、該変換されたグレースケール画像を前記設定部により設定された濃淡値の閾値に基づいて濃淡値の高低に応じた複数の領域に分け各領域を色分けする領域分割色分け処理部と、該領域分割色分け処理部で生成された領域ごとに色分けされた画像に平均化フィルタ処理を行う平均化フィルタ処理部と、該平均化フィルタ処理部により得られた画像における各画素の色成分を求め該各画素の色成分に応じ前記露出値の異なる複数の画像の濃淡値を選択し画像合成する画像合成部とを備えてなるものである。
【００２５】
前記設定手段において濃淡値の閾値の設定を自動的に行うように設定した時に前記グレースケール画像を濃淡値の閾値により複数の領域に分割するための適正閾値を自動的に設定する適正閾値自動設定部をさらに備え、該適正閾値自動設定部は、前記基準とする露出値の画像を変換したグレースケール画像に対しエッジ検出アルゴリズムを適用してエッジを物体境界として描出した物体境界画像を生成する物体画像生成部と、前記基準とする露出値の画像を変換したグレースケール画像に対し濃淡値をパラメータとし該濃淡値を閾値として前記グレースケール画像を濃淡値の高低に応じて分割した領域の境界である露出境界を描出した露出境界画像を生成する露出境界画像生成部と、前記物体境界画像における物体境界と前記露出境界画像における露出境界とに対する予め規定された得点ルールの表と、パラメータとしての各濃淡値ごとに前記基準とする露出値の画像における各画素について前記得点ルールの表をもとに重なり得点を求め所定の濃淡値範囲において前記重なり得点が最大となる濃淡値を前記濃淡値範囲における閾値として選択する閾値選択手段とからなるようにしてもよい。
【発明の効果】
【００２６】
本発明においては、露出値の異なる複数の画像のうちの基準となる露出値の画像をグレースケール化し、濃淡値の閾値により領域分割、色分けしローパスフィルタ処理を行った画像の色成分に応じて元画像を画像合成するようにしたので、露出値の異なる画像から選択される領域の境界において擬似輪郭が生じることを抑制し、違和感のないハイダイナミックレンジ画像を生成することができる。また、このようなハイダイナミックレンジ画像の生成においてグレースケール画像を濃淡値の高低により領域分割するのに適切な濃淡値の閾値を自動的に設定することができる。
【発明を実施するための最良の形態】
【００２７】
［ハイダイナミックレンジ画像の生成］
オートブラケット機能を用いて露出アンダー、基準露出、露出オーバーとなる露出値の異なる３枚の画像を撮影する場合を考える。通常露出アンダーは−１ＥＶ、露出オーバーは＋１ＥＶであるが、デジタルカメラによっては露出値の変動幅を±１／３ＥＶ、±１／２ＥＶというように設定可能なものもあり、１回のオートブラケット撮影で３枚撮影する場合、５枚撮影する場合を選択できるものもある。以下では、−１ＥＶ，０ＥＶ，＋１ＥＶの３枚の撮影を行う場合について説明する。
【００２８】
図１のような風景について、露出アンダー（−１ＥＶ）、基準露出（０ＥＶ）、露出オーバー（＋１ＥＶ）の３枚の画像を撮影し、初めに０ＥＶの画像をグレースケール画像に変換する。ここでは、黄色を明るく、青を暗く知覚する人間の視覚特性を考慮し、グレースケールへの変換式として
Ｉ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０１１４×Ｂ    ・・・・  （１）
（ただし、Ｒ：赤成分、Ｇ：緑成分、Ｂ：青成分）を用いる。
【００２９】
次に、３枚の画像から０ＥＶの画像における濃淡値を選択する領域を設定するため、その濃淡値の範囲の２つの閾値（上限値、下限値）を指定する。ここでは、上限値を２２０、下限値を１００と設定する。そうすると、０ＥＶの画像は濃淡値の上限値２２０、下限値１００を境界として、図２（ａ）のように、濃淡値が指定された範囲の領域α、指定された範囲より高い領域β、指定された範囲より低い領域γの３つの領域に分かれる。領域αでは基準露出画像における濃淡値を、領域βでは露出アンダーの画像における濃淡値を、領域γでは露出オーバーの画像における濃淡値をそれぞれ選択すると、領域の境界においては異なる露出値の画像から選択された画素が隣接することになり、合成された画像においては疑似輪郭が発生し、不自然で違和感のあるものになる。
【００３０】
そこで、本発明においては、この境界近辺における画素同士をブレンドし平滑化する処理を行うことにより、境界において擬似輪郭が生じないようにする。そのために、３つに分けられた領域α、β、γのうち領域αを緑（Ｇ）、領域βを赤（Ｒ）、領域γを青（Ｂ）で色表示すると、これは露出値の異なる画像を合成する際にどの露出値の画像における画素を適用するかを色表示で示すものとなる。−１ＥＶの画像の画素を適用しているところの画素は色成分で表せば（Ｒ，Ｇ，Ｂ）＝（１，０，０）で赤色、０ＥＶの画像の画素を適用しているところの画素は（Ｒ，Ｇ，Ｂ）＝（０，１，０）で緑色、＋１ＥＶの画像の画素を適用しているところの画素は（Ｒ，Ｇ，Ｂ）＝（０，０，１）で青色となっている。
【００３１】
濃淡値を選択するための領域を示す画像である図２のように境界線で３つの領域α、β、γに分けられたＲＧＢの色表示された画像に対し、例えば図３に示すような３×３の平均化フィルタを用いることにより、境界線近辺での濃淡値の平均化がなされる。この画像に３×３の平均化フィルタをかけると、境界近辺においては隣接する画素同士がブレンドされ、画像の境界線近辺では色成分としてＲ、Ｇ、Ｂ単色でなく、それらの成分が混色した色となる。境界線からある程度離れた位置ではこのようなブレンドの作用がなく単色のＲ、Ｇ、Ｂのままである。
【００３２】
このように平均化フィルタにより境界線近辺で色のブレンドがなされた画像における色成分値に応じて３つの露出値が異なる画像から濃淡値をどのように選択するかを規定する。境界線から離れていて単色のＲ、Ｇ、Ｂで表される画素については、それぞれ−１ＥＶ、０ＥＶ、＋１ＥＶの画像の濃淡値を選択するのであるが、境界線近辺でＲ、Ｇ、Ｂの成分がブレンドされている画素については、その成分に応じて３つの露出値の異なる画像の濃淡値の配分を決定する。例えば（Ｒ，Ｇ，Ｂ）＝（０．２，０．７，０．１）のようにＲＧＢ成分をもつ画素では（−１ＥＶの画像の画素の濃淡値）×０．２＋（０ＥＶの画像の画素の濃淡値）×０．７＋（＋１ＥＶの画像の画素の濃淡値）×０．１をその画素の濃淡値とする。このように領域α、β、γの境界近辺においては、平均化フィルタにより平滑化され、濃淡値成分がブレンドされたものとすることにより、濃淡値が領域の境界線で飛躍的に変化するということが和らげられ、不自然な擬似輪郭が見られない画像として合成され、また、ハイダミックレンジ画像として白とびや黒つぶれによる情報欠落がない画像となる。
【００３３】
以上のハイダイナミックレンジ画像の生成の過程をフローで示すと図４のようになる。図４の左側に処理のフローを示し、右側にそれらの処理により生成される画像を示している。この処理は、オートブラケット機能を有するデジタルカメラにより撮影された画像のデータについて、処理に必要なプログラムを備えた汎用コンピュータを用いて行う。
【００３４】
この例では、オートブラケト機能により−１ＥＶ，０ＥＶ，＋１ＥＶの３枚の露出値の異なる画像を撮影し合成するようにしているが、露出値の段階としては、１／２ＥＶあるいは１／３ＥＶの幅で変化させるようにすることもできる。また、風景のコントラストの程度、内容によっては３枚でなく２枚の露出値の異なる画像を撮影して合成することもできる。この場合、濃淡値の範囲は１つの閾値により２つに分けられることになる。３つの濃淡値に分ける場合でも、２つの閾値（上限値、下限値）の設定のし方によっては、結果的に２つの濃淡値の範囲に分かれるということもあり得る。
［適正閾値の算出］
ハイダイナミックレンジ画像の合成を行うにあたって、基準露光画像において濃淡値を選択するための領域を規定する閾値（３段階の場合には上限値、下限値）をどのように設定するかにより、合成された画像は変わってくる。図１のような風景を撮影した場合に、基準露出画像（０ＥＶ）において濃淡値を選択するための領域を規定する下限値を４０、上限値を１２０として画像合成すると、合成された画像は違和感のあるものになるが、下限値を１２０、上限値を２２０とした時の方が違和感の少ない画像として合成される、というような違いがある。どのようにこの上限値、下限値を設定するのがよいか、というのは被写体の風景における濃淡値の構成によることになり、画像ごとに変わってくる。
【００３５】
合成された画像が違和感のあるものか、違和感が少ないものであるかというのは、撮影された元画像におけるエッジ部分と、濃淡値の領域を分けるため色分けされた画像におけるエッジ部分との対応関係に現れてくることがわかる。キャニー（Ｃａｎｎｙ）のエッジ検出により図１の画像のエッジ部分を描出した場合に、図２（ａ）の下限値１２０、上限値２２０とした色分け画像のエッジ部分（境界）とはよく重なるが、図２（ｂ）の下限値４０、上限値１２０とした色分け画像のエッジ部分（境界）とはうまく重ならない。このように合成された画像が違和感の少ないものであることは、元画像（基準露出画像）でエッジ検出により得られたエッジ部分が濃淡値の領域を分けるために色分けされた画像の境界との重なりがよいことに対応することがわかり、このことから、元画像のエッジについての情報と濃淡値の領域を分けるための色分けされた画像のエッジ情報を用いて適正閾値を算出することができる。
【００３６】
カメラによる適正露出の基準露出画像（０ＥＶ）と上下に１ＥＶだけ露出値を変化させた計３枚の画像を用いて画像合成する場合について適正閾値を算出することについて説明する。はじめに、元画像（露出値０ＥＶの画像）をグレースケール画像に変化し、このグレースケール画像について、キャニーのエッジ検出アルゴリズムを適用してエッジを描出し、物体境界の画素を２値化濃度で１、他の画素の濃度を０とした画像（物体境界画像という）を生成する。この物体境界画像におけるエッジを物体境界とする。次に、濃淡値（０〜２５５）をパラメータとして考え、ある濃淡値を閾値とした時に、その閾値をもとに元画像をグレースケール化した画像について濃淡値の領域を分けて領域の境界（露出境界という）を描出し、露出境界の画素を２値化濃度で１、他の画素の濃度を０とした画像（露出境界画像）を生成する。また、表１のように元画像のエッジであるか否か、色分けされた画像のエッジ（境界）であるか否かに応じて点数を規定しておく。その上で、濃淡値の領域を分ける閾値としての下限値は濃淡値０〜１２７の範囲（低明度領域）にあり、上限値は濃淡値１２８〜２５５の範囲（高明度領域）にあると考え、適正閾値を算出する。
（ａ）低明度領域について
濃淡値を１２７から０まで１ずつ変化させながら、各露出境界画像と物体境界画像とから各濃淡値ごとに表１のルールにしたがって元画像（０ＥＶ）の全画素について得点を算出し、全画素についての合計値を重なり得点とする。濃淡値１２７〜０の範囲で算出された各濃淡値の重なり得点において、重なり得点が最大になる濃淡値を低明度領域における適正閾値（３段階の場合には下限値）とする。同じ適性度となる閾値がある場合、より小さい値を閾値として選択する。
（ｂ）高明度領域について
濃淡値を１２７から２５５まで１ずつ変化させながら、（ａ）の場合と同様に表１のルールにしたがって元画像（０ＥＶ）の全画素について重なり得点を算出する。濃淡値１２７〜２５５の範囲で算出された各濃淡値の重なり得点において、重なり得点が最大になる濃淡値を高明度領域における適正閾値（３段階の場合には上限値）とする。同じ適正度となる濃淡値がある場合、より大きい濃淡値を閾値として選択する。
【００３７】
露出境界画像と物体境界画像とから濃淡値ごとに重なり得点を算出し、その結果から適正閾値を求める手順をフローで示すと図５のようになる。図５では、中央における画像データの変換と、それぞれの変換を行う処理とを示している。図４のフローにおいて、濃淡値の閾値を決定することは、画像の濃淡、コントラストの構成等から判断して適宜設定するものとしていたが、図５のフローではこのような適正閾値の設定をより客観的な形で行うことができる。また、濃淡値ごとに算出された重なり得点をグラフとして表すと、例えば図６のような形となり、濃淡値０〜１２７の間での最高得点となる露出値を下限値とし、１２８〜２５５の間で最高得点となる露出値を上限値として選択する。
【００３８】
カメラが設定した適正露出（０ＥＶ）の画像と、上もしくは下に１段階露出を変化させた画像（＋１ＥＶの画像もしくは−１ＥＶの画像）のどちらか一方の２枚の画像からハイダイナミックレンジ画像を生成する場合は、低明度領域における適正閾値もしくは高明度領域における適正閾値のどちらかを算出する。このときの算出アルゴリズムは上に示したものと同じである。
【００３９】
露出の異なる画像を４枚以上用いる場合、まず０ＥＶの画像を用いて低明度領域における適正閾値と高明度領域における適正閾値を算出するところまでは同一である。その後、上に露出を変化させた（＋方向）２つの画像を合成するための適正閾値を算出するときは、２つの中で低い露出の画像を対象に低明度領域における適正閾値算出方法を適用する。逆に、下に露出を変化させた（−方向）２つの画像を合成するための適正閾値を算出するときは、２つの中で高い露出の画像を対象に高明度領域における適正閾値算出方法を適用する。例を示すと、＋１ＥＶの画像と＋２ＥＶの画像を合成するための適正閾値を算出するときは、＋１ＥＶの画像を対象にして上に示した低明度領域における適正閾値算出方法を適用し、−１ＥＶの画像と−２ＥＶの画像を合成するための適正閾値を算出するときは、−１ＥＶの画像を対象として上に示した高明度領域における適正閾値算出方法を適用する。
【００４０】
このように、物体境界画像における物体境界と、露出境界画像における露出境界とに対して表１
【００４１】
【表１】
2009010566.tif 000003
のように得点ルールを設定しておき、パラメータとしての各濃淡値ごとに基準とする画像における各画素につい得点ルールをもとに重なり得点を求め、所定の濃淡値範囲において重なり得点が最大となる濃淡値を濃淡値範囲における閾値として設定し、その閾値により基準とする露出値の画像から変換されたグレースケール画像を濃淡値の高低に応じて複数の領域に分け、さらに色分けした画像をもとに複数の露出値の異なる画像からハイダイナミックレンジ画像を合成するようにすることにより、領域の境界の部分において疑似輪郭が生じることはなく、違和感のないハイダイナミックレンジ画像が得られる。
［ハイダイナミックレンジ画像を生成する撮像装置］
本発明での画像合成によりハイダイナミックレンジ画像を得る機能を備えた撮像装置について説明する。この撮像装置の構成は大略的に、レンズ１、撮像素子（ＣＣＤ）２、撮影動作制御部５を含む撮像部１０と、諸種の設定を行う設定部２０と、画像合成処理を行う画像処理部３０に分けて考えられる。設定部２０では露出値の段数、撮影枚数等の設定を行うとともに、ハイダイナミックレンジ画像の合成の過程でグレースケール画像の領域分割の際に必要な濃淡値の閾値の設定を行う。この設定は撮影者の経験と被写体のコントラストとに応じて手動的に行う場合と、自動的に行う場合とを選択可能にする。撮影動作制御部５は設定部２０において設定された露出値段数、一連の撮影動作における撮影枚数の撮影条件に応じた撮影の動作を制御する。
【００４２】
記憶部３１においては、連続して撮影された露出値の異なる複数枚の画像の画像データを記憶し、画像処理の段階で必要な画像データを用いて処理できるようにする。グレースケール化処理部３３は基準とする露出値の画像をグレースケール化する処理を行う。領域分割色分け処理部３４は設定手段により設定された閾値によりグレースケール画像を濃淡値の高低に応じて複数の領域に分割し、分割された複数の領域を色分けする。平均化フィルタ処理部３５は平均化フィルタによる処理を行い領域が分割され境界部分において色が混色した画像とする。画像合成部３６は平均化フィルタ処理部により得られた画像における各画素の色成分を求め各画素の色成分ら応じ前記露出値の異なる複数の画像の濃淡値を選択し画像合成する。
【００４３】
適正閾値自動設定部３２は閾値設定を自動としたときに適正な閾値を設定するのであり、その際基準とする露出値の画像に対しエッジ検出処理を行って物体境界が描出された物体境界画像を生成し、また各濃淡値をパラメータとしこれを閾値として基準とする露出値の画像を変換して得られたグレースケール画像を濃淡値の高低により分割し露出境界が描出された露出境界画像を生成し、物体境界画像における物体境界と前記露出境界画像における露出境界とに対する予め規定された得点ルールをもとに各濃淡値ごとに基準とする露出値の画像における各画素について重なり得点を求め所定の濃淡値範囲において前記重なり得点が最大となる濃淡値をその範囲における閾値として選択するようにして適正な閾値を設定する。
【００４４】
撮像装置としては、撮像動作制御部５を含む撮像部１０、設定部２０、画像処理部３０を備えるものであり、画像処理部３０はハイダミックレンジ画像の合成を行うに際しグレースケール化処理、領域分割色分け処理、平均化フィルタ処理、画像合成を行い、また適正閾値の設定を自動的に行う上での画像処理、演算処理を行うための回路構成、画像処理の課程において画像データ、演算データを記憶保持する記憶手段を備える。
【図面の簡単な説明】
【００４５】
【図１】風景を撮影した画像を示す図である。
【図２】（ａ）図１の画像を所定の濃淡値の閾値により領域分割した画像である。（ｂ）図１の画像を（ａ）の場合と異なる濃淡値の閾値により領域分割した画像である。
【図３】平均化フィルタを示す図である。
【図４】本発明によりハイダイナミックレンジ画像を生成する過程を示すフロー図である。
【図５】適正な閾値を自動的に設定するフローを画像データの変化を中心に示した図である。
【図６】濃淡値に応じた重なり得点の分布の例を示すグラフである。
【図７】本発明による撮像装置の構成を示す図である。
【符号の説明】
【００４６】
１０  撮像部
２０  設定部
３０  画像処理部
１  レンズ
２  撮像素子（ＣＣＤ）
５  撮影動作制御部
３１  記憶部
３２  適正閾値自動設定部
３３  グレースケール変換部
３４  領域分割色分け処理部
３５  平均化フィルタ処理部
３６  画像合成部
【図１】
2009010566.tif 000004
【図２】
2009010566.tif 000005
【図３】
2009010566.tif 000006
【図４】
2009010566.tif 000007
【図５】
2009010566.tif 000008
【図６】
2009010566.tif 000009
【図７】
2009010566.tif 000010