(57)【特許請求の範囲】
【請求項１】
異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、当該時点における処理対象である着目画素に関して、当該着目画素およびこれに付随する近傍画素からなる画素群の各画素値に基いて前記着目画素に関するコントラストの程度を表す指標を算出する指標化手段と、
前記指標に基づいて前記着目画素毎に前記複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、
前記選択された画像信号から一つの合成画像信号を生成する画像生成手段と
を備え、
前記指標化手段は、
前記着目画素の画像信号Ｓ、前記近傍画素の画像信号Ｓｉ、所定の値αを用いて、
下記式からコントラストの程度を表す指標Ｃを算出すること
を特徴とする撮像装置。
Ｃ＝Σ｜Ｓ−Ｓｉ｜／｛Σ（Ｓ＋Ｓｉ）＋α｝
【請求項２】
異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、当該時点における処理対象である着目画素に関して、当該着目画素およびこれに付随する近傍画素からなる画素群の各画素値に基いて前記着目画素に関するコントラストの程度を表す指標を算出する指標化手段と、
前記指標に基づいて前記着目画素毎に前記複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、
前記選択された画像信号から一つの合成画像信号を生成する画像生成手段と
を備え、
前記指標化手段は、
前記画素群の画像信号の最大値Ｓｍａｘ、前記画素群の画像信号の最小値Ｓｍｉｎ、前記画素群の画像信号の平均値Ｓａｖを用いて、
下記式からコントラストの程度を表す指標Ｃを算出すること
を特徴とする撮像装置。
Ｃ＝（Ｓｍａｘ−Ｓｍｉｎ）／Ｓａｖ
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置に係り、特にダイナミックレンジの拡大のために複数画像を合成する技術に関する。
【０００２】
【従来の技術】
近年、露光量の異なる複数の画像を合成することによって広ダイナミックレンジの撮像画像を得る試みは、種々提案されている。
【０００３】
その１つは、露出量の異なる２つの原画像データから、一旦１つの広いダイナミックレンジ（以下、「Ｄレンジ」という）の画像を生成し、この画像に対して各種の画像処理を施して記録対象画像を生成するものである。ここで、中間段階で生成される広いＤレンジの画像とは、全てのレンジをカバーできるように原画像のデータのビット数よりも多くのビット数を有した画像である。このように、広いＤレンジの画像を用いて各種の画像処理を行うことにより、最良の処理を施し得る可能性を有している。
【０００４】
また、他の方法の１つは、２つの原画像データを画素毎に加算平均して加重合成した画像を生成するものである。この方法では、画像の演算処理が単純であるため、撮像装置への適用が容易であるという利点を備えている。
【０００５】
さらに、他の方法の１つは、片側の原画像の輝度データの内、Ｄレンジの範囲を逸脱した領域にあるデータを、他の原画像のデータで置き換えるものである。この方法では、上記の方法と同様に画像の演算処理が単純であるため、撮像装置への適用が容易であるという利点を備えている。
【０００６】
【発明が解決しようとする課題】
しかしながら、中間段階で広Ｄレンジ画像を作成する方法では、この作成とその後の演算のための処理が複雑化し、また多くのメモリ領域が必要になるという問題があり、例えば撮像装置に要求されるリアルタイム処理、小型化、コスト低減等のニーズを考えた場合は好ましいものではないと考えられる。
【０００７】
また、一時的に広Ｄレンジの画像情報を得られるとしても、最終的に生成されるレンジの狭い画像において輝度圧縮等の信号処理が施されるとすれば、結局は画質は低下することになる。従って、この観点から充分な画質の得られる信号処理技術は未だ確立しているとは言えなかった。
【０００８】
また、加算平均処理では、Ｄレンジは拡大するが階調が圧縮されてしまい、そのままの画像として見た場合にはコントラストが低下する。これに対して何らかの画像補正を行う場合には、逆に量子化ノイズの増加を生じて画質の低下を生じさせてしまうことがある。
【０００９】
また、逸脱データ置換処理では、輝度情報によって採用する画像を切り替えることになるため、被写体の絵柄などの輝度分布によっては不自然な画像が得られることがある。例えば、解像度チャートの縞模様等の高周波かつ高コントラストの被写体の画像では、反転模様の偽信号的な画像を生じてしまうことになる。
【００１０】
本発明は係る事情に鑑みてなされたものであって、撮像装置への適用が容易であり、Ｄレンジが拡大された自然な撮像画像を得ることのできる撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するための本発明は、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、当該時点における処理対象である着目画素に関して、当該着目画素およびこれに付随する近傍画素からなる画素群の各画素値に基いて前記着目画素に関するコントラストの程度を表す指標を算出する指標化手段と、前記指標に基づいて前記着目画素毎に前記複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、前記選択された画像信号から一つの合成画像信号を生成する画像生成手段とを備え、前記指標化手段は、前記着目画素の画像信号Ｓ、前記近傍画素の画像信号Ｓｉ、所定の値αを用いて、下記式からコントラストの程度を表す指標Ｃを算出する撮像装置である。
Ｃ＝Σ｜Ｓ−Ｓｉ｜／｛Σ（Ｓ＋Ｓｉ）＋α｝
【００１２】
また本発明は、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、当該時点における処理対象である着目画素に関して、当該着目画素およびこれに付随する近傍画素からなる画素群の各画素値に基いて前記着目画素に関するコントラストの程度を表す指標を算出する指標化手段と、前記指標に基づいて前記着目画素毎に前記複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、前記選択された画像信号から一つの合成画像信号を生成する画像生成手段とを備え、前記指標化手段は、前記画素群の画像信号の最大値Ｓｍａｘ、前記画素群の画像信号の最小値Ｓｍｉｎ、前記画素群の画像信号の平均値Ｓａｖを用いて、下記式からコントラストの程度を表す指標Ｃを算出する撮像装置である。
Ｃ＝（Ｓｍａｘ−Ｓｍｉｎ）／Ｓａｖ
【００１７】
【発明の実施の形態】
図１は、本発明が適用される撮像装置の構成を示すブロック図である。
【００１８】
本撮像装置は、各種レンズからなるレンズ系１０１、レンズ系１０１を駆動するためのレンズ駆動機構１０２、レンズ系１０１の絞りを制御するための露出制御機構１０３、メカニカルシャッタ１０４、ＣＣＤ撮像素子１０５、ＣＣＤ撮像素子１０５を駆動するためのＣＣＤドライバ１０６、Ａ／Ｄ変換器などを含むプリプロセス部１０７、マトリックス変換処理その他のデジタル処理を行うためのデジタルプロセス部１０８、カードインターフェース１０９、メモリカード１１０、ＬＣＤ画像表示系１１１を備えている。
【００１９】
更に本撮像装置は、各部を統括的に制御するためのシステムコントローラ１１２、各種ＳＷからなる操作スイッチ系１１３、操作状態及びモード状態等を表示するための操作表示系１１４、レンズ駆動機構を制御するためのレンズドライバ１１５、発光手段としてのストロボ１１６、ストロボ１１６を制御するための露出制御ドライバ１１７、各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を備えている。
【００２０】
本撮像装置においては、システムコントローラ１１２が全ての制御を統括的に行っており、特に露出制御機構１０３及びメカニカルシャッタ１０４とＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読出しを行ない、それをプリプロセス部１０７を介してデジタルプロセス部１０８に取り込み、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２１】
次に、本撮像装置を用いてＤレンジを拡大する処理方法について説明する。
【００２２】
先ず、システムコントローラ１１２は露出制御機構１０３、メカニカルシャッタ１０４、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して第１の露光条件の下で撮影した第１の画像信号をＣＣＤ撮像素子１１５から読出し、続いて第２の露光条件の下で撮影した第２の画像信号をＣＣＤ撮像素子１１５から読出す。
【００２３】
ここで、第１及び第２の画像信号をその時間差を極力少なくするようにして読み出すことは、２画像の撮影の間に被写体が動いた場合に生ずる「処理の破綻」を防止するために必要である。これは、例えば特願２０００−０７７１３６号公報に記載の、プログレシブ走査（フルフレーム読出し）対応型ＣＣＤとメカニカルシャッタを組み合わせた駆動方法を用いて実現することができる。
【００２４】
ところで、ＣＣＤ撮像素子１０５から読み出される画像信号の高輝度側の信号はＣＣＤ撮像素子１０５の飽和レベルが限界になり、低輝度側の信号は撮像装置に組み込まれた状態での撮像素子出力のノイズレベルが限界となるため、少なくともこれらのレベルを超えた撮像レンジを得ることはできない。
【００２５】
図２は、一般的な撮像素子の光電変換特性を模式的に示す図である。
【００２６】
本図において、横軸は入射光量、縦軸は信号レベルをそれぞれ対数表示したものである。図中、高輝度側の信号の限界レベルをＵＬ、低輝度側の信号の限界レベルをＬＬで示している。ＵＬは撮像素子の飽和レベルにほぼ対応する値であり、一方ＬＬはノイズレベルであるＮＬとは異なり、一義的に定められるものではなく、例えば画像が鑑賞に耐えうる所定のＳ／Ｎ比を有するレベルとして定められるものである。尚、ＬＬについては上記基準でなくても、視覚評価を行って「これ以下のレベルは黒つぶれである」レベルを決定して、その限界レベルをＬＬとしても良い。
【００２７】
このようにして定められたＵＬとＬＬの間が有効輝度域となり、対数軸上でのこれらの差ＤＲ（＝ＵＬ−ＬＬ）が撮像レンジとなる。このＤＲは、撮像装置の設計された構造によって異なるが、通常の撮像装置では場合は５〜６ＥＶ（３０〜３６ｄＢ）のものが多く用いられており、本実施形態の撮像装置もこのクラスの撮像レンジをもつものである。
【００２８】
従って、ＣＣＤ撮像素子１０５から読み出された２つの画像信号の光電変換特性は模式的に図３で示される。本図では、第１の画像信号は短い露光時間で撮像され、第２の画像信号は長い露光時間で撮像された信号である。このため、２つの画像信号の光電変換特性は、その露光時間の違いに相当する分だけ横軸方向に移動した関係にある。この結果、これらの２つの画像信号には同じ撮像レンジＤＲを持つ撮像装置であっても拡大輝度域にある被写体の輝度についての画像信号が含まれていることになる。
【００２９】
尚、本発明においては、露光時間のずらし量については任意に選定することができ、また露光レベルは露光時間以外のパラメータ、例えば絞りによって変化させるものであっても良い。
【００３０】
続いて、露出レベルの異なる２つの画像信号から１つの合成画像を得る方法について説明する。ここで、以下の説明では、特に言及しない場合はモノクロ信号を用いた処理とする。
【００３１】
図４は、画像合成に係る撮像装置の構成を示す図である。画像合成処理は、システムコントローラ１１２に設けられた画像生成処理部１２２がデジタルプロセス部１０８との間で信号の授受を行なって実行される。そして、画像生成処理部１２２には、指標化部１２３、画像信号選択部１２４及び画像生成部１２５が設けられている。
【００３２】
本発明に係る第１の実施形態では、画像合成処理部１２２は、デジタルプロセス部１０８を介して、第１原画像の画像信号Ｓ１と、第２原画像の画像信号Ｓ２とを読み込む。そして、この原画像のｉ行ｊ列の位置にある１画素の画像信号をＳｎ（ｉ、ｊ）と表す。尚、ｎは１または２を表すものとし、従って、Ｓｎは第１原画像の画像信号Ｓ１と、第２原画像の画像信号Ｓ２を意味する。
【００３３】
次に、処理しようとする画像信号Ｓｎ（ｉ、ｊ）を含む局所領域を考える。この局所領域とは「座標が（ｉ，ｊ）である着目画素およびこの近傍画素からなる画素群の存在領域」とも言い換えられるものであって、１つの着目画素を単独に考えただけではコントラストが定義できないため、この着目画素に加えてこれに付随する近傍画素を合わせた画素群を考慮し、この画素群に対して所定の演算を適用して得られるコントラスト値をもって、当該着目画素（またはこの画素群）に関するコントラスト値とみなすために設定するものである。図５に示す領域では、当該画素およびその上下左右の５画素を対象としている。
【００３４】
指標化部１２３は、この局所領域内の各データを用いて、式（１）で示す高周波成分Ｈｎ（ｉ、ｊ）と、式（２）で示す低周波成分Ｌｎ（ｉ、ｊ）とを算出する。
【００３５】
Ｈｎ（ｉ、ｊ）＝Σ｜Ｓｎ（ｉ、ｊ）−Ｓｎ（ｋ、ｌ）｜      ・・・（１）
Ｌｎ（ｉ、ｊ）＝Σ｛Ｓｎ（ｉ、ｊ）＋Ｓｎ（ｋ、ｌ）｝      ・・・（２）
ここで、ｋ、ｌは図５に示すｉ行ｊ列の位置の画素の上下左右の４点を表す。
【００３６】
そして、このＨｎ（ｉ、ｊ）とＬｎ（ｉ、ｊ）に基づいて、式（３）で示すコントラスト成分Ｃｎ（ｉ、ｊ）を計算する。
【００３７】
Ｃｎ（ｉ、ｊ）＝Ｈｎ（ｉ、ｊ）／｛Ｌｎ（ｉ、ｊ）＋α｝  ・・・（３）
但し、α：定数
次にこの式（１）〜（３）の意味について説明する。
【００３８】
先ず、高周波成分Ｈｎ（ｉ、ｊ）は画像信号Ｓｎ（ｉ、ｊ）とその周囲点との間の画像信号の差、即ち画素の変化であるコントラストを示していると考えられる。従って、この値が大きい場合は、この局所領域中の画像はコントラストが大きいことを示し、この値が小さい場合は、この局所領域中の画像はコントラストが小さいことを示している。
【００３９】
また、低周波成分Ｌｎ（ｉ、ｊ）を構成している演算｛Ｓｎ（ｉ、ｊ）＋Ｓｎ（ｋ、ｌ）｝は画像信号Ｓｎ（ｉ、ｊ）とその周囲点の画像信号との中間値の２倍の値を与えるものである。従って、Ｌｎ（ｉ、ｊ）の値が大きい場合は、この局所領域中の画像信号が平均的に大きいことを示し、この値が小さい場合は、この局所領域中の画像信号が平均的に小さいことを示している。
【００４０】
そこで、高周波成分Ｈｎ（ｉ、ｊ）を低周波成分Ｌｎ（ｉ、ｊ）で除算して得られるコントラスト成分Ｃｎ（ｉ、ｊ）は、コントラストを基準化した指標値であると考えることができる。ここで、分母に微小オフセット値αを付加しているのは、低周波成分Ｌｎ（ｉ、ｊ）の値が小さい場合に含まれるノイズ成分による誤差の影響を低減し、さらに低周波成分Ｌｎ（ｉ、ｊ）が微小な場合を実質的に除外するためである。
【００４１】
次に画像信号選択部１２４は、このようにして求めた第１原画像のコントラスト成分Ｃ１と、第２原画像のコントラスト成分Ｃ２とを各画素毎に比較する。そして、大きいコントラスト成分をもつ原画像の画像信号を選択して新しく合成する画像の画像信号とする。即ち、Ｃ１＞Ｃ２の場合（またはＣ１≫Ｃ２）にはＳ１を選択し、Ｃ１＜Ｃ２の場合（またはＣ１≪Ｃ２）にはＳ２を選択する。また、Ｃ１＝Ｃ２の場合（またはＣ１≒Ｃ２）には（Ｓ１＋Ｓ２）／２を新たな画像信号とする。
【００４２】
そして、画像生成部１２５がこの選択された画像信号に基づいて１つの合成画像を生成する。こうして得られた画素信号は、従来の撮像信号と同様に後段の回路で処理され、メモリカード１１０に記録あるいはＬＣＤ画像表示系１１１に表示される。このように、原画像の画像信号に基づいて画素毎にコントラストの大きいものを選択するように構成しているため、輝度成分に基いた処理等に比して階調圧縮の影響を受けにくく、偽信号の生じない自然な画像を簡単な処理で得ることができる。
【００４３】
次に、本発明に係る第２の実施の形態では、コントラスト成分Ｃｎ（ｉ、ｊ）を式（３）の代わりに式（４）によって算出する。
【００４４】
Ｃｎ（ｉ、ｊ）＝Ｈｎ（ｉ、ｊ）＊｛Ｌｍ（ｉ、ｊ）＋α）  …（４）
但し、α：定数
ここで、ｍはｎとは異なる数を意味する。即ち、ｎ＝１のときはｍ＝２となり、ｎ＝２のときはｍ＝１を意味する。
【００４５】
いま、Ｃ１＞Ｃ２の関係が成立したとすると、この関係式に式（４）を代入すると式（５）となる。
Ｈ１（ｉ、ｊ）＊｛Ｌ２（ｉ、ｊ）＋α）
＞Ｈ２（ｉ、ｊ）＊｛Ｌ１（ｉ、ｊ）＋α）                …（５）
そして、式（５）を変形すると式（６）となる。
Ｈ１（ｉ、ｊ）／｛Ｌ１（ｉ、ｊ）＋α）
＞Ｈ２（ｉ、ｊ）／｛Ｌ２（ｉ、ｊ）＋α）                …（６）
式（６）は、第１の実施形態のコントラスト成分の大小を比較することと同じである。即ち、２つの値を比較する場合は、式（４）で定義された値を用いて大小を比較しても、式（３）で定義された値の大小を比較するのと同一の結果を得ることになる。
【００４６】
従って、式（４）で定義される値をコントラスト成分として用いることによって、演算機能として除算処理を用いる必要がなくなるため、演算の高速化と簡略化を図ることができる。
【００４７】
次に、本発明に係る第３の実施の形態では、コントラスト成分Ｃｎ（ｉ、ｊ）を式（７）を用いて定義する。
【００４８】
Ｃｎ（＝｜Ｓｍａｘ−Ｓｍｉｎ｜／Ｓａｖ          ・・・（７）
ここで、Ｓｍａｘ：当該局所領域中の画像信号の最大値、Ｓｍｉｎ：当該局所領域中の画像信号の最小値、Ｓａｖ：当該局所領域中の画像信号の平均値。
【００４９】
この式（７）によれば、領域内の全画像信号情報に基づいた誤差の少ない指標を作成することができる。
【００５０】
次に、本発明に係る第４の実施の形態では、標準ＪＰＥＧ処理におけるＤＣＴ（Discrete Cosine Transfer）処理と同様のブロック処理を行う。即ち、ＤＣＴ処理における交流成分をＨｎ（ｉ、ｊ）とし、同じく直流成分をＬｎ（ｉ、ｊ）として式（３）または式（４）によってコントラスト成分Ｃｎ（ｉ、ｊ）を定義するものである。この方式によれば、領域内の全画像信号情報に基づいた誤差の少ない指標を作成することができる。
【００５１】
次に、本発明に係る第５の実施の形態であるカラー信号に基づいて画像を合成する方法について説明する。
【００５２】
図４に示す構成において、先ず、画像合成処理部１２２は、第１、第２の画像信号のカラー信号である点順次信号（Ｒ、Ｇ、Ｂ）をデジタルプロセス部１０８に入力させる。そして、図示しないマトリクス変換処理部１２０を動作させて、同時化されたコンポーネント信号を生成させ、このコンポーネント信号を用いて式（８）に示す輝度信号Ｙを算出する。
【００５３】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ        ・・・（８）
そして、この輝度信号を前述の各実施の形態における画像信号Ｓｎ（ｉ、ｊ）として取り扱う。
【００５４】
以下、指標化部１２３は式（１）乃至式（４）に基づいてコントラスト成分Ｃｎを算出し、画像信号選択部１２４はＣ１とＣ２を比較して前記実施形態と同様手順で選択するべき画像信号を判断する。そして、画像生成部１２５は、この結果抽出されたコンポーネント信号を用いて１つの合成画像を作成する。
【００５５】
本実施の形態によれば、カラー画像においても輝度信号に基づいて画素毎にコントラストの大きいものを選択するように構成しているため、輝度成分に基いた処理等に比して階調圧縮の影響を受けにくく、偽信号の生じない自然な画像を簡単な処理で得ることができる。
【００５６】
尚、上述の第１、第２の実施形態においては図５に示すように処理する画素の上下左右の画素を用いて演算を行っているがこの実施形態に限定されず、図６に示すように処理する画素を囲む、異なる位置の画素を用いて同様の演算を行うように構成しても良い。
【００５７】
また、処理する局所領域は実施の形態に示す３×３に限定されず任意に設定することが可能である。例えば図７に示すように５×５の領域であっても良い。
【００５８】
さらに、本実施の形態では画像合成に使用する画像信号を画素毎に選択しているが、本発明はこの形態に限定されるものではなく、選択された画素を含む局所領域を選択してその局所領域を合成して画像を生成するように構成しても良い。
【００５９】
尚、この２画素の比較、選択は画像信号の全画素に対して行っても良く、図３に示す共通輝度域以外の輝度域にある画素を対象として処理しても良い。
【００６０】
また、上記各実施の形態では２つの画像を合成する場合の処理について説明したが、本発明はこの形態に限定されるものではなく、３つ以上の画像を用いるものであっても良い。例えば、露光レベルが大中小であるＡ、Ｂ、Ｃの３画像を用いて上記と同様の処理を行ってコントラスト成分Ｃｎが最大のものを選択するように構成することができる。
【００６１】
また、本発明は、回路などのハードウェアを用いて構成しても良く、マイクロコンピュータに処理プログラムを組み込んで実現するものであっても良い。
【００６２】
【発明の効果】
以上説明したように本発明を適用すれば、Ｄレンジが拡大された自然な撮像画像を得ることのできる撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明が適用される撮像装置の構成を示すブロック図。
【図２】一般的な撮像素子の光電変換特性を模式的に示す図。
【図３】２つの画像信号の光電変換特性を模式的に示す図。
【図４】画像合成に係る撮像装置の構成を示す図。
【図５】指標値の演算に用いる局所領域の構成を示す図。
【図６】指標値の演算に用いる局所領域の他の構成を示す図。
【図７】指標値の演算に用いる局所領域の他の構成を示す図。
【符号の説明】
１０５…ＣＣＤ撮像素子
１０７…プリプロセス部
１０８…デジタルプロセス部
１１２…システムコントローラ
【図１】
0004014436.tif 000002
【図２】
0004014436.tif 000003
【図３】
0004014436.tif 000004
【図４】
0004014436.tif 000005
【図５】
0004014436.tif 000006
【図６】
0004014436.tif 000007
【図７】
0004014436.tif 000008