(57)【特許請求の範囲】
【請求項１】
異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する指標化手段と、
前記指標に基づいて前記分割領域毎に前記複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、
前記選択された画像信号から一つの合成画像信号を生成する画像生成手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記選択手段は、
前記分割領域毎に前記それぞれの指標を比較して最も絶対値の大きい指標を決定し、該指標を与える前記原画像の画像信号を選択することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記指標化手段は、
輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、所定の値αを用いて、
下記式から色度に相当する指標Ｃを算出すること
を特徴とする請求項１または２に記載の撮像装置。
Ｃ＝｛（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２｝／（Ｙ＋α）２
【請求項４】
前記指標化手段は、
１つの画像の輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ＊、所定の値αを用いて、
下記式から色度に相当する指標Ｃを算出すること
を特徴とする請求項１または２に記載の撮像装置。
Ｃ＝｛（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２｝＊（Ｙ＊＋α）２
【請求項５】
前記指標化手段は、
１つの画像の輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ＊、所定の値αを用いて、
下記式から色度に相当する指標Ｃを算出すること
を特徴とする請求項１または２に記載の撮像装置。
Ｃ＝｛｜Ｒ−Ｙ｜＋｜Ｂ−Ｙ｜｝＊（Ｙ＊＋α）
【請求項６】
異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出し、
前記指標に基づいて前記分割領域毎に前記複数の原画像の画像信号の内から１の画像信号を選択し、
前記選択された画像信号から一つの合成画像信号を生成すること
を特徴とする撮像方法。
【請求項７】
撮像装置の処理プログラムにおいて、
コンピュータに、
異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する手順、
前記指標に基づいて前記分割領域毎に前記複数の原画像の画像信号の内から１の画像信号を選択する手順、
前記選択された画像信号から一つの合成画像信号を生成する手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置に係り、特にダイナミックレンジの拡大のために複数画像を合成する技術に関する。
【０００２】
【従来の技術】
近年、露光量の異なる複数の画像を合成することによって広ダイナミックレンジの撮像画像を得る試みは、種々提案されている。
【０００３】
その１つは、露出量の異なる２つの原画像データから、一旦１つの広いダイナミックレンジ（以下、「Ｄレンジ」という）の画像を生成し、この画像に対して各種の画像処理を施して記録対象画像を生成するものである。ここで、中間段階で生成される広いＤレンジの画像とは、全てのレンジをカバーできるように原画像のデータのビット数よりも多くのビット数を有した画像である。このように、広いＤレンジの画像を用いて各種の画像処理を行うことにより、最良の処理を施し得る可能性を有している。
【０００４】
また、他の方法の１つは、２つの原画像データを画素毎に加算平均して加重合成した画像を生成するものである。この方法では、画像の演算処理が単純であるため、撮像装置への適用が容易であるという利点を備えている。
【０００５】
さらに、他の方法の１つは、片側の原画像の輝度データの内、Ｄレンジの範囲を逸脱した領域にあるデータを、他の原画像のデータで置き換えるものである。この方法では、上記の方法と同様に画像の演算処理が単純であるため、撮像装置への適用が容易であるという利点を備えている。
【０００６】
【発明が解決しようとする課題】
しかしながら、中間段階で広Ｄレンジ画像を作成する方法では、この作成とその後の演算のための処理が複雑化し、また多くのメモリ領域が必要になるという問題があり、例えば撮像装置に要求されるリアルタイム処理、小型化、コスト低減等のニーズを考えた場合は好ましいものではないと考えられる。
【０００７】
また、一時的に広Ｄレンジの画像情報を得られるとしても、最終的に生成されるレンジの狭い画像において輝度圧縮等の信号処理が施されるとすれば、結局は画質は低下することになる。従って、この観点から充分な画質の得られる信号処理技術は未だ確立しているとは言えなかった。
【０００８】
また、加算平均処理では、Ｄレンジは拡大するが階調が圧縮されてしまい、そのままの画像として見た場合にはコントラストが低下する。これに対して何らかの画像補正を行う場合には、逆に量子化ノイズの増加を生じて画質の低下を生じさせてしまうことがある。
【０００９】
また、逸脱データ置換処理では、輝度情報によって採用する画像を切り替えることになるため、被写体の絵柄などの輝度分布によっては不自然な画像が得られることがある。例えば、解像度チャートの縞模様等の高周波かつ高コントラストの被写体の画像では、反転模様の偽信号的な画像を生じてしまうことになる。
【００１０】
本発明は係る事情に鑑みてなされたものであって、撮像装置への適用が容易であり、Ｄレンジが拡大された自然な撮像画像を得ることのできる撮像装置、撮像方法及びそのプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解消するための本発明は、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する指標化手段と、指標に基づいて分割領域毎に複数の原画像の画像信号の内から１の画像信号を選択する選択手段と、選択された画像信号から一つの合成画像信号を生成する画像生成手段とを備えた撮像装置である。
【００１２】
また本発明は、上記記載の発明である撮像装置において、選択手段は、分割領域毎にそれぞれの指標を比較して最も絶対値の大きい指標を決定し、該指標を与える原画像の画像信号を選択する撮像装置である。
【００１３】
また本発明は、上記記載の発明である撮像装置において、指標化手段は、輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、所定の値αを用いて、下記式から色度に相当する指標Ｃを算出する撮像装置である。
【００１４】
Ｃ＝｛（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２｝／（Ｙ＋α）２
また本発明は、上記記載の発明である撮像装置において、指標化手段は、１つの画像の輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ＊、所定の値αを用いて、下記式から色度に相当する指標Ｃを算出する撮像装置である。
【００１５】
Ｃ＝｛（Ｒ−Ｙ）２＋（Ｂ−Ｙ）２｝＊（Ｙ＊＋α）２
また本発明は、上記記載の発明である撮像装置において、指標化手段は、１つの画像の輝度信号Ｙ、色差信号Ｒ−Ｙ及びＢ−Ｙ、比較する他の画像の輝度信号Ｙ＊、所定の値αを用いて、下記式から色度に相当する指標Ｃを算出することを特徴とする撮像装置である。
【００１６】
Ｃ＝｛｜Ｒ−Ｙ｜＋｜Ｂ−Ｙ｜｝＊（Ｙ＊＋α）
また本発明は、異なる露光量を与えて得られる複数の画像信号のそれぞれについて処理して、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出し、指標に基づいて分割領域毎に複数の原画像の画像信号の内から１の画像信号を選択し、選択された画像信号から一つの合成画像信号を生成する撮像方法である。
【００１７】
また本発明は、コンピュータに、異なる露光量を与えて得られる複数の原画像の画像信号のそれぞれについて処理して、少なくとも１の画素で構成される分割領域毎に色度に相当する指標を算出する手順、指標に基づいて分割領域毎に複数の原画像の画像信号の内から１の画像信号を選択する手順、選択された画像信号から一つの合成画像信号を生成する手順、を実行させるためのプログラムである。
【００１８】
【発明の実施の形態】
図１は、本発明が適用される撮像装置の構成を示すブロック図である。
【００１９】
本撮像装置は、各種レンズからなるレンズ系１０１、レンズ系１０１を駆動するためのレンズ駆動機構１０２、レンズ系１０１の絞りを制御するための露出制御機構１０３、メカニカルシャッタ１０４、ＣＣＤ撮像素子１０５、ＣＣＤ撮像素子１０５を駆動するためのＣＣＤドライバ１０６、Ａ／Ｄ変換器などを含むプリプロセス部１０７、マトリックス変換処理その他のデジタル処理を行うためのデジタルプロセス部１０８、カードインターフェース１０９、メモリカード１１０、ＬＣＤ画像表示系１１１を備えている。
【００２０】
更に本撮像装置は、各部を統括的に制御するためのシステムコントローラ１１２、各種ＳＷからなる操作スイッチ系１１３、操作状態及びモード状態等を表示するための操作表示系１１４、レンズ駆動機構を制御するためのレンズドライバ１１５、発光手段としてのストロボ１１６、ストロボ１１６を制御するための露出制御ドライバ１１７、各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を備えている。
【００２１】
本撮像装置においては、システムコントローラ１１２が全ての制御を統括的に行っており、特に露出制御機構１０３及びメカニカルシャッタ１０４とＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読出しを行ない、それをプリプロセス部１０７を介してデジタルプロセス部１０８に取り込み、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２２】
次に、本撮像装置を用いてＤレンジを拡大する処理方法について説明する。
【００２３】
先ず、システムコントローラ１１２は露出制御機構１０３、メカニカルシャッタ１０４、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して第１の露光条件の下で撮影した第１の画像信号をＣＣＤ撮像素子１１５から読出し、続いて第２の露光条件の下で撮影した第２の画像信号をＣＣＤ撮像素子１１５から読出す。
【００２４】
ここで、第１及び第２の画像信号をその時間差を極力少なくするようにして読み出すことは、２画像の撮影の間に被写体が動いた場合に生ずる「処理の破綻」を防止するために必要である。これは、例えば特願２０００−０７７１３６号公報に記載の、プログレシブ走査（フルフレーム読出し）対応型ＣＣＤとメカニカルシャッタを組み合わせた駆動方法を用いて実現することができる。
【００２５】
ところで、ＣＣＤ撮像素子１０５から読み出される画像信号の高輝度側の信号はＣＣＤ撮像素子１０５の飽和レベルが限界になり、低輝度側の信号は撮像装置に組み込まれた状態での撮像素子出力のノイズレベルが限界となるため、少なくともこれらのレベルを超えた撮像レンジを得ることはできない。
【００２６】
図２は、一般的な撮像素子の光電変換特性を模式的に示す図である。
【００２７】
本図において、横軸は入射光量、縦軸は信号レベルをそれぞれ対数表示したものである。図中、高輝度側の信号の限界レベルをＵＬ、低輝度側の信号の限界レベルをＬＬで示している。ＵＬは撮像素子の飽和レベルにほぼ対応する値であり、一方ＬＬはノイズレベルであるＮＬとは異なり、一義的に定められるものではなく、例えば画像が鑑賞に耐えうる所定のＳ／Ｎ比を有するレベルとして定められるものである。尚、ＬＬについては上記基準でなくても、視覚評価を行って「これ以下のレベルは黒つぶれである」レベルを決定して、その限界レベルをＬＬとしても良い。
【００２８】
このようにして定められたＵＬとＬＬの間が有効輝度域となり、対数軸上でのこれらの差ＤＲ（＝ＵＬ−ＬＬ）が撮像レンジとなる。このＤＲは、撮像装置の設計された構造によって異なるが、通常の撮像装置では場合は５〜６ＥＶ（３０〜３６ｄＢ）のものが多く用いられており、本実施形態の撮像装置もこのクラスの撮像レンジをもつものである。
【００２９】
従って、ＣＣＤ撮像素子１０５から読み出された２つの画像信号の光電変換特性は模式的に図３で示される。本図では、第１の画像信号は短い露光時間で撮像され、第２の画像信号は長い露光時間で撮像された信号である。このため、２つの画像信号の光電変換特性は、その露光時間の違いに相当する分だけ横軸方向に移動した関係にある。この結果、これらの２つの画像信号には同じ撮像レンジＤＲを持つ撮像装置であっても拡大輝度域にある被写体の輝度についての画像信号が含まれていることになる。
【００３０】
尚、本発明においては、露光時間のずらし量については任意に選定することができ、また露光レベルは露光時間以外のパラメータ、例えば絞りによって変化させるものであっても良い。
【００３１】
続いて、露出レベルの異なる２つの画像信号から１つの合成画像を得る方法について説明する。
【００３２】
図４は、画像合成に係る撮像装置の構成を示す図である。画像合成処理は、システムコントローラ１１２に設けられた画像生成処理部１２２がデジタルプロセス部１０８に設けられたマトリクス変換処理部１２０との間で信号の授受を行なって実行される。そして、画像生成処理部１２２には、指標化部１２３、画像信号選択部１２４及び画像生成部１２５が設けられている。
【００３３】
先ず、画像合成処理部１２２は、第１、第２の画像信号のカラー信号である点順次信号（Ｒ、Ｇ、Ｂ）をデジタルプロセス部１０８に入力させる。そして、マトリクス変換処理部１２０を動作させて、同時化されたコンポーネント信号を生成させる。ここで、第１原画像のコンポーネント信号をＳ１、第２原画像のコンポーネント信号をＳ２とする。尚、代表的なコンポーネント信号Ｓｎ（ｎ＝１、２を示す）の具体的構成としては、輝度信号（Ｙｎ）と色差信号（Ｒｎ−Ｙｎ、Ｂｎ−Ｙｎ）であり、以下の実施の形態では、この輝度信号（Ｙｎ）と色差信号（Ｒｎ−Ｙｎ、Ｂｎ−Ｙｎ）を用いた実施形態について説明する。
【００３４】
本発明に係る第１の実施の形態では、指標化部１２３は上記手順で得られたコンポーネント信号Ｓｎから各画素ごとに色度に相当する指標である色彩度Ｃｎを式（１）によって算出する。
【００３５】
Ｃｎ＝｛（Ｒｎ−Ｙｎ）２＋（Ｂｎ−Ｙｎ）２｝／（Ｙｎ＋α）２  …（１）
但し、α：定数
ここで、式（１）で定義した色彩度Ｃｎは本発明において導入した概念であり、その物理的な意味を図５の色差座標に基づいて説明する。この色差座標は、横軸を色差信号Ｒ−Ｙとし、縦軸を色差信号Ｂ−Ｙとした座標で、色差信号に対応する点Ｄｎ（Ｒｎ−Ｙｎ、Ｂｎ−Ｙｎ）は原点（０、０）を始点とし偏角をθとする色差ベクトルであらわされる。
【００３６】
本座標系において、偏角θは色相を表し、座標の原点（０，０）は無色の状態を表している。従って、この色差ベクトルの大きさ、即ち点Ｄｎと原点を結ぶ線分の大きさは物理量として色の濃さである彩度と明るさ（明度）を表す輝度との積に相当しているため、この大きさを用いれば色の濃さを識別できるものと考えられる。
【００３７】
しかしながら、上述のようにこの色差ベクトルの大きさには明るさが含まれているため、色の濃さのみをこの指標によって判断することはできない。そこで、式（１）においては、色差ベクトルの大きさを輝度信号Ｙで除して基準化することによって、色の濃さを代表する指標としたものである。一般に、カラー画像を一定明度に正規化する変換を色度変換と呼ぶが、本発明における色彩度も色差を輝度信号によって基準化した値である。そこで、この指標を色度に相当する指標と呼ぶ。
【００３８】
尚、上記指標は本来√Ｃｎとして定義されるべきものであるが、本実施形態で色彩度を２乗した値として定義したのは指標の演算処理が高速にかつ簡便に行えるようにするためである。また、分母は本来の意味からすれば輝度信号Ｙの２乗であるべきものだが、これに微小オフセットα加えているのは、輝度信号Ｙｎの値が小さい場合に、除算に起因して生じるノイズ成分による誤差の相対的増大の影響を低減し、また０除算エラーを回避するためである。このオフセットαの作用により輝度レベルが微小な場合（本来分子分母とも微小の不定に近づく場合）は色彩度が微小と見なされることになる。
【００３９】
次に画像信号選択部１２４は、このようにして求めた第１原画像の色彩度Ｃ１と、第２原画像の色彩度Ｃ２とを各画素毎に比較する。そして、大きい色彩度をもつ原画像のコンポーネント信号を選択して新しく合成する画像のコンポーネント信号とする。即ち、Ｃ１＞Ｃ２の場合（またはＣ１≫Ｃ２）にはＳ１を選択し、Ｃ１＜Ｃ２の場合（またはＣ１≪Ｃ２）にはＳ２を選択する。また、Ｃ１＝Ｃ２の場合（またはＣ１≒Ｃ２）には（Ｓ１＋Ｓ２）／２を新たなコンポーネント信号とする。
【００４０】
そして、画像生成部１２５がこの選択された画像信号に基づいて１つの合成画像を生成する。こうして得られた画素信号は、従来の撮像信号と同様に後段の回路で処理され、メモリカード１１０に記録あるいはＬＣＤ画像表示系１１１に表示される。このように、原画像の色成分に基づいて画素毎に色の濃さの大きい画像を選択するように構成しているため、輝度成分に基いた処理等に比して階調圧縮の影響を受けにくく、偽信号の生じない自然な画像を簡単な処理で得ることができる。
【００４１】
尚、本実施形態では画素毎に色彩度を算出しているが、本発明はこの形態に限定されるものではなく、原画像を少なくとも１つの画素を含む領域に分割してその分割領域毎に指標を算出するように構成しても良い。
【００４２】
次に、本発明に係る第２の実施の形態では、式（１）の代わりに指標化部１２３はコンポーネント信号Ｓｎから各画素毎に色彩度Ｃｎを式（２）によって算出する。
【００４３】
Ｃｎ＝｛（Ｒｎ−Ｙｎ）２＋（Ｂｎ−Ｙｎ）２｝＊（Ｙｍ＋α）２  …（２）
但し、α：定数
ここで、ｍはｎとは異なる数を意味する。即ち、ｎ＝１のときはｍ＝２となり、ｎ＝２のときはｍ＝１を意味する。
【００４４】
いま、Ｃ１＞Ｃ２の関係が成立したとすると、この関係式に式（２）を代入すると式（３）となる。
｛（Ｒ１−Ｙ１）２＋（Ｂ１−Ｙ１）２｝＊（Ｙ２＋α）２
＞｛（Ｒ２−Ｙ２）２＋（Ｂ２−Ｙ２）２｝＊（Ｙ１＋α）２      …（３）
そして、式（３）を変形すると式（４）となる。
｛（Ｒ１−Ｙ１）２＋（Ｂ１−Ｙ１）２｝／（Ｙ１＋α）２
＞｛（Ｒ２−Ｙ２）２＋（Ｂ２−Ｙ２）２｝／（Ｙ２＋α）２      …（４）
式（４）は、第１の実施形態の色彩度の大小を比較することと等価である。即ち、２つの値を比較する場合は、式（２）で定義された値を用いて大小を比較しても、式（１）で定義された値の大小を比較するのと同一の結果を得ることになる。
【００４５】
従って、式（２）で定義される値を色彩度として用いることによって、除算の演算機能を用いる必要がなくなるため、演算の高速化と簡略化を図ることができる。
【００４６】
次に、本発明に係る第３の実施の形態では、式（１）の代わりに指標化部１２３はコンポーネント信号Ｓｎから各画素毎に色彩度Ｃｎを式（５）によって算出する。
【００４７】
Ｃｎ＝｛｜Ｒｎ−Ｙｎ｜＋｜Ｂｎ−Ｙｎ｜｝／（Ｙｎ＋α）  …（５）
但し、α：定数
式（５）で定義した指標は、式（１）と同様の考え方に基づくものであって、分子は上記の色差ベクトルの大きさに関連した値（ただし色差ベクトルの各成分の大きさの和）となり、より簡単な表現となっている。この式（５）を用いることによって、２乗の演算が不要となるため第１の実施形態に比して演算の高速化と簡略化を図ることができる。
【００４８】
次に、本発明に係る第４の実施の形態では、式（１）の代わりに指標化部１２３はコンポーネント信号Ｓｎから各画素毎に色彩度Ｃｎを式（６）によって算出する。
【００４９】
Ｃｎ＝｛｜Ｒｎ−Ｙｎ｜＋｜Ｂｎ−Ｙｎ｜｝＊（Ｙｍ＋α）  …（６）
但し、α：定数、  ｎはｍと異なる数を意味する。
【００５０】
式（６）は、第３の実施形態で用いる指標を、第２の実施形態で述べた考え方に従って変形したものである。従って、この式（６）を用いることによって、二乗の演算と除算が不要となるため更に演算の高速化と簡略化を図ることが可能となる。
【００５１】
尚、この２画素の比較、選択は画像信号の全画素に対して行っても良く、図３に示す共通輝度域以外の輝度域にある画素を対象として処理しても良い。
【００５２】
また、上記各実施の形態では２つの画像を合成する場合の処理について説明したが、本発明はこの形態に限定されるものではなく、３つ以上の画像を用いるものであっても良い。例えば、露光レベルが大中小であるＡ、Ｂ、Ｃの３画像を用いて上記と同様の処理を行って色彩度Ｃｎが最大のものを選択するように構成することができる。
【００５３】
更に、本実施形態では輝度と色差信号を用いて色彩度を定義したが、この形態に限定されず、例えば、Ｌ＊ａ＊ｂ＊空間で定義される所量に基づいて色の濃さを定義するものであっても良い。
【００５４】
また、本発明は、回路などのハードウェアを用いて構成しても良く、マイクロコンピュータに処理プログラムを組み込んで実現するものであっても良い。
【００５５】
【発明の効果】
以上説明したように本発明を適用すれば、Ｄレンジが拡大された自然な撮像画像を得ることのできる撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明が適用される撮像装置の構成を示すブロック図。
【図２】一般的な撮像素子の光電変換特性を模式的に示す図。
【図３】２つの画像信号の光電変換特性を模式的に示す図。
【図４】画像合成に係る撮像装置の構成を示す図。
【図５】色彩度の物理的な意味を表す図。
【符号の説明】
１０５…ＣＣＤ撮像素子
１０７…プリプロセス部
１０８…デジタルプロセス部
１１２…システムコントローラ
【図１】
0003914810.tif 000002
【図２】
0003914810.tif 000003
【図３】
0003914810.tif 000004
【図４】
0003914810.tif 000005
【図５】
0003914810.tif 000006