(57)【特許請求の範囲】
【請求項１】
同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、
上記画像群を構成する複数の画像のそれぞれについて、上記画像を構成する画素ごとに輝度信号を読み出すとともに、その読み出した輝度信号のレベルに基づき適切な露出であると判別された画素からなる適正露光域を抽出する抽出手段と、
上記画像群を構成する各画像の適正露光域を読み込むことで、上記画像群から、最大の面積の適正露光域を有する一の画像を基準画像として選択するとともに、上記画像群から前記基準画像以外の少なくとも一つの画像を基準画像以外の画像として選択する選択手段と、
上記基準画像および上記基準画像以外の画像のそれぞれについて抽出された各適正露光域のうち互いに位置的に重複する領域である重複領域を抽出する重複領域抽出手段と、
上記基準画像以外の画像に含まれる適正露光域内の画像信号に対して階調補正を行う階調補正手段と、
上記基準画像に含まれる上記適正露光域内の重複領域の画像信号である基準画像信号と、上記基準画像以外の画像に含まれる上記適正露光域内の重複領域の上記階調補正された画像信号である基準画像以外の画像信号とを重み付け加算するよう、上記基準画像および上記基準画像以外の画像を合成することによって、一の広ダイナミックレンジ画像を生成する合成手段と、
を具備し、
上記合成手段は、
上記基準画像信号および上記基準画像以外の画像信号のうち上記基準画像信号のみを用いることによって、上記基準画像信号及び上記基準画像以外の画像信号に対して夫々重み付けするものであって、
上記基準画像を走査することで上記基準画像信号の最大値および最小値を求め、
上記走査対象の一位置における上記基準画像信号の値と上記最大値との差分に対して上記基準画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像信号に対して第１の重み付けを行い、
上記走査対象の一位置における上記基準画像信号の値と上記最小値との差分に対して上記基準画像以外の画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像以外の画像信号に対して第２の重み付けを行い、
上記第１の重み付けの結果と、上記第２の重み付けの結果と、を加算する上記重み付け加算処理によって上記基準画像および上記基準画像以外の画像を合成することを特徴とする画像処理装置。
【請求項２】
上記合成手段はさらに、上記基準画像および上記基準画像以外の画像に含まれる上記適正露光域のうち上記重複領域以外の部分の画像信号についてはそのままの画像信号を用いて上記基準画像および上記基準画像以外の画像を合成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記選択手段は、長時間露光画像を上記基準画像として選択することを特徴とする請求項１又は２に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、より詳しくは、異なる露光条件で撮像された複数の画像から一の広ダイナミックレンジ画像を生成する画像処理装置に関する。
【０００２】
【従来の技術】
従来より、異なる露光条件で撮像された複数の画像を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が提案されている。
【０００３】
このようなものの一例として、特願平１１−３３８５５１号には、各画像を適正露光領域と不適正露光領域に分割して、各適正露光領域毎に階調補正を行い、階調補正された各画像毎の適正露光領域を合成して一の広ダイナミックレンジ画像を生成する画像処理装置が記載されており、さらに、この画像処理装置を適用した機器の例として、被写体をより広いダイナミックレンジで撮像することができるスーパーラチチュードデジタルカメラが記載されている。
【０００４】
また、他の例としては特許掲載公報第２７５５３６６号に、例えば長時間露光画像と短時間露光画像の２画像を合成して一枚の広ダイナミックレンジ画像を生成する際には、それぞれの画像を適正露光域と不適正露光域に分割するが、このときに長時間露光の適正露光域と短時間露光の適正領域の両方に属するような中間領域を設けて、この中間領域内で重み付け加算をして画像合成するようにしたデジタルカメラが記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら上記特許掲載公報第２７５５３６６号に記載されたものでは、画像毎に異なる関数を用いて合成処理を行っているために、各関数の算出に時間がかかるという課題がある。
【０００６】
また、長時間露光の適正露光域ｌｏｎｇの端点のデータと、短時間露光の適正露光域ｓｈｏｒｔの端点のデータから、中間領域ｍｉｄにおける２本の直線をそれぞれ求めて、これらの直線から重み係数を求めるようになっている。
【０００７】
このような手段を用いると、画面における中間領域の形状が複雑になった場合に、濃度方向の変化に沿って端点のデータを求めることが困難になる（正確に行うには中間領域ｍｉｄの重心線を求めてこれと直交する向きに走査する必要がある）という課題が生じてしまう。
【０００８】
本発明は上記事情に鑑みてなされたものであり、画像を合成する際の演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備える画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像処理装置は、同一被写体に対して異なる露光条件で撮像された複数の画像からなる画像群を処理して一の広ダイナミックレンジ画像を生成する画像処理装置であって、上記画像群を構成する複数の画像のそれぞれについて、上記画像を構成する画素ごとに輝度信号を読み出すとともに、その読み出した輝度信号のレベルに基づき適切な露出であると判別された画素からなる適正露光域を抽出する抽出手段と、上記画像群を構成する各画像の適正露光域を読み込むことで、上記画像群から、最大の面積の適正露光域を有する一の画像を基準画像として選択するとともに、上記画像群から前記基準画像以外の少なくとも一つの画像を基準画像以外の画像として選択する選択手段と、上記基準画像および上記基準画像以外の画像のそれぞれについて抽出された各適正露光域のうち互いに位置的に重複する領域である重複領域を抽出する重複領域抽出手段と、上記基準画像以外の画像に含まれる適正露光域内の画像信号に対して階調補正を行う階調補正手段と、上記基準画像に含まれる上記適正露光域内の重複領域の画像信号である基準画像信号と、上記基準画像以外の画像に含まれる上記適正露光域内の重複領域の上記階調補正された画像信号である基準画像以外の画像信号とを重み付け加算するよう、上記基準画像および上記基準画像以外の画像を合成することによって、一の広ダイナミックレンジ画像を生成する合成手段と、を具備し、上記合成手段は、上記基準画像信号および上記基準画像以外の画像信号のうち上記基準画像信号のみを用いることによって、上記基準画像信号及び上記基準画像以外の画像信号に対して夫々重み付けするものであって、上記基準画像を走査することで上記基準画像信号の最大値および最小値を求め、上記走査対象の一位置における上記基準画像信号の値と上記最大値との差分に対して上記基準画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像信号に対して第１の重み付けを行い、上記走査対象の一位置における上記基準画像信号の値と上記最小値との差分に対して上記基準画像以外の画像信号の値を乗じて得られた値を、上記最大値と上記最小値との差分により除して上記基準画像以外の画像信号に対して第２の重み付けを行い、上記第１の重み付けの結果と、上記第２の重み付けの結果と、を加算する上記重み付け加算処理によって上記基準画像および上記基準画像以外の画像を合成する。
【００１０】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記合成手段はさらに、上記基準画像および上記基準画像以外の画像に含まれる上記適正露光域のうち上記重複領域以外の部分の画像信号についてはそのままの画像信号を用いて上記基準画像および上記基準画像以外の画像を合成する。
【００１１】
さらに、第３の発明による画像処理装置は、上記第１又は第２の発明による画像処理装置において、上記選択手段は、長時間露光画像を上記基準画像として選択する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図４は本発明の一実施形態を示したものであり、図１は電子カメラの基本的な構成を示すブロック図である。
【００１３】
本実施形態は、本発明の画像処理装置を電子カメラに適用したものであり、簡単のために短時間露光による画像と長時間露光による画像との２画像を合成して一の広ダイナミックレンジ画像を得る場合について説明するが、もちろんより多数の画像を合成する場合に適用することも可能である。
【００１４】
この電子カメラは、電子シャッタ機能を有する単板式のカラーＣＣＤ等でなり、被写体像を光電変換して画像信号として出力するためのＣＣＤ４と、このＣＣＤ４上に被写体像を結像するためのレンズ系１と、このレンズ系１を通過した光束の通過範囲を制御するための絞り２と、この絞り２を通過した光束から不要な高周波成分を除去するための光学フィルタでなるローパスフィルタ３と、上記ＣＣＤ４から出力された後に図示しない相関二重サンプリング回路等でノイズ成分の除去が行われその後に増幅等がなされたアナログの画像信号をデジタル信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変換器５によりデジタル化された一画面分の画像データを各蓄積するものであり長時間露光による画像と短時間露光による画像とをそれぞれ記憶する第１画像用バッファ６ａおよび第２画像用バッファ６ｂと、これらの内の測光用および焦点検出用のデータを蓄積するのにも用いられる第１画像用バッファ６ａから画像データを読み出して輝度分布を求め撮像時に適正露光となるように上記絞り２の開口径や上記ＣＣＤ４の電子シャッタを制御する測光評価部７と、上記第１画像用バッファ６ａから画像データを読み出して合焦位置の検出を行いその検出結果に基づいて後述するＡＦモータ９を制御する合焦点検出部８と、この合焦点検出部８に制御されて上記レンズ系１のＡＦ用レンズを駆動し上記ＣＣＤ４上に被写体像を結像させるようにするＡＦモータ９と、上記第１，第２画像用バッファ６ａ，６ｂから読み出された単板の画像データを補間して３板の画像データに変換する補間部１０と、補間後の画像データを蓄積する作業用バッファ１１と、この作業用バッファ１１から読み出した３板の画像データを輝度信号Ｙと色差信号Ｃｂ，Ｃｒとに分離するＹ／Ｃ分離部１２と、このＹ／Ｃ分離部１２からまず輝度信号Ｙを読み出して、画面全体を構成する各画素について、その画素が適切な露出であるか否かを信号レベルにより判別し、その結果に基づき分割画像情報を抽出して出力する抽出手段たる適正露光抽出部１３と、この適正露光抽出部１３により抽出された分割画像情報に基づいて長時間露光に係る適正露光域と短時間露光に係る適正露光域との重複部分である重複領域を抽出する重複領域抽出手段たる重複領域抽出部１４と、上記適正露光抽出部１３から出力される適正露光域の画像データについて特徴量であるエッジのヒストグラムを求めて変換特性を算出しその変換特性に基づき各画像についての階調変換を行う階調補正手段たる階調補正部１５と、上記適正露光抽出部１３から出力される適正露光域の情報と上記重複領域抽出部１４から出力される重複する領域の情報とを参照しながら上記階調補正部１５から出力される階調変換後の長時間露光に係る画像および短時間露光に係る画像を合成して一の広ダイナミックレンジ画像を生成する合成手段たる画像合成部１６と、この画像合成部１６により合成された広ダイナミックレンジ画像を例えば記録媒体や表示装置などに出力する出力部１７と、上記補間部１０、適正露光抽出部１３、重複領域抽出部１４、階調補正部１５、画像合成部１６、出力部１７を含むこの電子カメラ全体の制御を行う制御部１８と、を有して構成されている。
【００１５】
次に、図２は上記画像合成部の詳細な構成を示すブロック図である。
【００１６】
この画像合成部１６は、上記階調補正部１５により階調補正された後の、長時間露光に係る適正露光域と、短時間露光に係る適正露光域と、を合成する際に、これら長時間露光に係る適正露光域および短時間露光に係る適正露光域の両方に含まれる中間領域（重複領域）については処理速度を重視しながら実用的な画像の連続性を保持するように合成することで、一広ダイナミックレンジ画像を生成するようにしたものであり、例えば長時間露光に係る適正露光域の画像データを記憶する第１作業用バッファ２０と、例えば短時間露光に係る適正露光域の画像データを記憶する第２作業用バッファ２１と、これらの画像の内の適正露光域の面積が大きい方の一画像（３つ以上の画像を合成する場合には、適正露光域の面積が最大となる一画像）を基準画像として選択する選択手段たる基準画像選択部２２と、上記中間領域から上記基準画像との露光差を求めて該基準画像以外の画像の露光補正を行う露光補正手段たる露光補正部２３と、上記露光補正を行った適正露光域に関して、重複しない部分についてはそのまま、重複する部分については基準画像の画像信号レベルの変化に基づく関数（後述する数式１参照）で重み付け加算することにより合成を行う重み付け加算手段たる重み付け加算部２４と、を有して構成されている。
【００１７】
次に、図３は、長時間露光画像と短時間露光画像を中間領域で合成する様子を示す線図であり、図４は、画像合成の処理を示すフローチャートである。上記図２、図３を参照しながら、図４に沿って画像合成部１６の動作を説明する。
【００１８】
上記階調補正部１５により階調補正された画像データは、第１作業用バッファ２０と第２作業用バッファ２１にそれぞれ一旦記憶されるようになっている。
【００１９】
より詳しくは、まず長時間露光画像（図中、画像（１）としている）の輝度信号Ｙに係る画像データが第１作業用バッファ２０に記憶される（ステップＳ１）と共に、短時間露光画像（図中、画像（２）としている）の輝度信号Ｙに係る画像データが第２作業用バッファ２１に記憶され（ステップＳ４）、それらについて後述するような画像合成の処理を行う。このときには、長時間露光に係る中間領域（重複領域）の画像データと短時間露光に係る中間領域（重複領域）の画像データも読み込まれる（ステップＳ３）。
【００２０】
その後には、長時間露光の色差信号Ｃｂに係る画像データが第１作業用バッファ２０に記憶されると共に、短時間露光の色差信号Ｃｂに係る画像データが第２作業用バッファ２１に記憶されて同様に画像合成の処理がなされ、さらにその後に長時間露光の色差信号Ｃｒに係る画像データが第１作業用バッファ２０に記憶されると共に、短時間露光の色差信号Ｃｒに係る画像データが第２作業用バッファ２１に記憶されて画像合成の処理がなされることになる。
【００２１】
このときに、輝度信号Ｙに関する処理は最初に行う必要があるが、色差信号Ｃｂと色差信号Ｃｒの処理順序は上述とは逆であっても構わない。
【００２２】
そして、上記適正露光抽出部１３から入力される適正露光域の情報を読み込んで（ステップＳ２）、上記基準画像選択部２２が、長時間露光に係る適正露光域と短時間露光に係る適正露光域との内の、例えば面積が大きい方を基準画像として設定する（ステップＳ５）。
【００２３】
一方で、上記第１作業用バッファ２０と第２作業用バッファ２１に記憶された画像データは、上記重複領域抽出部１４から出力される重複領域の情報と、基準画像選択部２２から出力される選択画像情報とに基づいて、上記制御部１８により制御された露光補正部２３によって露光量比が算出され（ステップＳ６）、第１作業用バッファ２０に記憶されている長時間露光画像（画像（１））が基準画像として選択されていない場合には（ステップＳ７）、該長時間露光画像について露光補正が行われ（ステップＳ８）、他方、第２作業用バッファ２１に記憶されている短時間露光画像（画像（２））が基準画像として選択されていない場合には（ステップＳ９）、該短時間露光画像について露光補正が行われる（ステップＳ１０）。すなわち、露光補正は、基準画像以外の画像について行うようになっている。
【００２４】
重み付け加算部２４では、上記制御部１８の制御により、上記基準画像選択部２２による選択結果（例えば長時間露光に係る画像データが基準画像として選択されたと仮定して説明する。）と上記適正露光抽出部１３から出力されるデータとに基づいて、中間領域の輝度Ｙmid および色差信号Ｃｂmid ，Ｃｒmid を、次の数式１に示すように重み付け加算して演算処理する（ステップＳ１３）。
【００２５】
【数１】
0004190124.tif 000002
【００２６】
ここに、ｌｏｎｇ＿Ｙ，ｌｏｎｇ＿Ｃｂ，ｌｏｎｇ＿Ｃｒは長時間露光に係る中間領域（重複領域）の輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒをそれぞれ示し、ｓｈｏｒｔ＿Ｙ，ｓｈｏｒｔ＿Ｃｂ，ｓｈｏｒｔ＿Ｃｒは短時間露光に係る中間領域（重複領域）の輝度信号Ｙと２つの色差信号Ｃｂ，Ｃｒをそれぞれ示している。また、ｍａｘ＿Ｙlongとｍｉｎ＿Ｙlongは長時間露光に係る中間領域（重複領域）の最大輝度値と最小輝度値をそれぞれ示している。
【００２７】
このような数式１を用いて画像の合成を行うときの信号の様子を示すのが図３であり、重複領域でない部分については露光補正後の適正露光域（図中の画像（１）および画像（２）の部分）をそのまま用いるとともに、重複領域については上記数式１に示したような処理を行った合成信号を用いるようになっている。
【００２８】
重複領域において合成された信号は、その両端において長時間露光画像や短時間露光画像と連続的に接続されるとは限らないが、基準画像となる長時間画像の情報（基準画像として短時間画像が選択された場合には短時間画像の情報となるし、さらに３枚以上の画像群から選択される場合にはその選択された画像の情報となる）のみを用いて重み付け演算を行っているために、処理回路への負荷を軽減して、処理時間の短縮を行うことができる。
【００２９】
こうして重み付け加算された重複領域の画像データと、長時間露光に係る重複していない適正露光域の画像データ（ステップＳ１１）と、短時間露光に係る重複していない適正露光域の画像データ（ステップＳ１２）と、を画像合成して（ステップＳ１４）、この合成された画像を出力して（ステップＳ１５）、終了する。
【００３０】
なお、上述では数式１に示したように、選択した基準画像（上述では長時間露光画像）の情報を用いて重み付け加算処理を行うようにしているが、より簡潔には、次の数式２に示すように行っても良い。
【００３１】
【数２】
Ｙmid   ＝ｌｏｎｇ＿Ｙ／２  ＋ｓｈｏｒｔ＿Ｙ／２
Ｃｂmid ＝ｌｏｎｇ＿Ｃｂ／２＋ｓｈｏｒｔ＿Ｃｂ／２
Ｃｒmid ＝ｌｏｎｇ＿Ｃｒ／２＋ｓｈｏｒｔ＿Ｃｒ／２
【００３２】
この数式２を用いた場合には、極めて簡単な演算を行うのみで、中間領域においてもほぼ違和感のない実用的な合成画像を得ることが可能となる。
【００３３】
このような実施形態によれば、選択した１つの基準画像の情報のみに基づく関数（単一の関数）で重み付け加算しているために、複数の異なる関数で重み付け加算する場合に比べて、画像を合成する際の演算の負荷を軽減して処理を高速化することができる。また、画像の濃度方向の変化に沿って走査をする必要がないために、この点でも処理が容易となる。さらに、独立変数に依存しない定数を用いることで、更なる処理の高速化を図ることが可能となる。
【００３４】
こうして、演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備える画像処理装置となる。
【００３５】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【００３６】
【発明の効果】
以上説明したように、本発明の画像処理装置によれば、階調補正された適正露光域を、重複する領域の情報に基づき合成しているために、画像を合成する際の演算の高速性と、合成された画像の連続性と、をバランス良く兼ね備えることが可能となる。
【００３７】
また、本発明の画像処理装置によれば、基準画像を選択して、重複する適正露光域について、基準画像との露光差を求めて基準画像以外の露光補正を行い、基準画像の画像信号レベルの変化に基づく関数で重み付け加算をして合成するために、高速性と画像の実用的な連続性とを良好にバランスさせることができる。
【００３８】
さらに、本発明の画像処理装置によれば、適正露光域の面積が最大となる一画像を基準画像として選択するようにしたために、効率的な処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の電子カメラの基本的な構成を示すブロック図。
【図２】上記実施形態の画像合成部の詳細な構成を示すブロック図。
【図３】上記実施形態において、長時間露光画像と短時間露光画像を中間領域で合成する様子を示す線図。
【図４】上記実施形態における画像合成の処理を示すフローチャート。
【符号の説明】
４…ＣＣＤ
６ａ…第１画像用バッファ
６ｂ…第２画像用バッファ
１０…補間部
１１…作業用バッファ
１２…Ｙ／Ｃ分離部
１３…適正露光抽出部（抽出手段）
１４…重複領域抽出部（重複領域抽出手段）
１５…階調補正部（階調補正手段）
１６…画像合成部（合成手段）
１７…出力部
１８…制御部
２０…第１作業用バッファ
２１…第２作業用バッファ
２２…基準画像選択部（選択手段）
２３…露光補正部（露光補正手段）
２４…重み付け加算部（重み付け加算手段）
【図１】
0004190124.tif 000003
【図２】
0004190124.tif 000004
【図３】
0004190124.tif 000005
【図４】
0004190124.tif 000006