(57)【要約】【課題】撮像装置について、撮像シーンに応じた適切な再現ダイナミックレンジを、細かく正確に設定可能なダイナミックレンジ設定方法を提供する。【解決手段】撮像装置１０の信号処理部３８に含まれるヒストグラム算出部６６は、画像メモリ５０ａから画像合成部５４を介して主感光部信号電荷を受信する。ヒストグラム算出部６６は、主感光部信号電荷レベルのヒストグラムを作成し、ダイナミックレンジの拡大が必要か否かを判定する。ダイナミックレンジの拡大が必要と判定した場合は、ヒストグラム算出部６６はさらに画像メモリ５０ｂから従感光部信号電荷を受信し、従感光部信号電荷レベルのヒストグラムを作成する。当該ヒストグラムの分布に基づいて主感光部のダイナミックレンジを拡大する倍数αを決定し、従感光部信号電荷とともに画像合成部５４に転送する。画像合成部５４は倍数αから算出した合成パラメータｐによって主／従信号電荷を合成し、ダイナミックレンジの拡大を行う。【選択図】        図１
2004222075.tif 000002
【特許請求の範囲】
【請求項１】
相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、該主感光部と従感光部とから独立に信号電荷を読み出し可能な撮像装置のダイナミックレンジ（Ｄｙｎａｍｉｃ  Ｒａｎｇｅ；  ＤＲ）設定方法において、該方法は、
従感光部から読み出した信号電荷レベルのヒストグラムを作成する工程と、
該ヒストグラムの分布に応じて前記主感光部のダイナミックレンジを拡大するための倍数αを決定する工程と、
前記従感光部の信号電荷のうち、前記倍数αによって拡大した後のダイナミックレンジに属する信号電荷を、前記主感光部の信号電荷に合成する工程とを含むことを特徴とするダイナミックレンジ設定方法。
【請求項２】
請求項１に記載の方法において、前記従感光部の感度は主感光部の感度の１／ａであり、従感光部の飽和量は主感光部の飽和量の１／ｂであり、前記倍数αは１以上ａ／ｂ以下の範囲で決定することを特徴とするダイナミックレンジ設定方法。
【請求項３】
請求項２に記載の方法において、前記合成する工程では、合成後の画像の信号電荷を、計算式「合成パラメータ×（主感光部の信号電荷＋従感光部の信号電荷）」で算出し、該合成パラメータの値はａ／（ａ＋α）であることを特徴とするダイナミックレンジ設定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、感度の異なる２つの撮像素子を用いて得られた２つの画像を合成し、シーンの輝度に応じたダイナミックレンジ（Ｄｙｎａｍｉｃ  Ｒａｎｇｅ；  ＤＲ）を設定して当該シーンの再現性を高めるダイナミックレンジ設定方法に関するものである。
【０００２】
【従来の技術】
従来、電荷結合素子（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ；  ＣＣＤ）などの固体撮像素子のダイナミックレンジを拡大するため、感度の異なる受光素子によって得られる２つの画像を用意する方法がある。高感度の受光素子によって得られる画像は、素子が少ない光量に対しても反応するため、相対的に暗い被写体でも鮮明になるが、所定の輝度を超過する明るい被写体に対しては素子が飽和して、白く「飛んで」しまい、鮮明にならない。一方、低感度の受光素子によって得られる画像では、暗い被写体は暗くつぶれてしまい鮮明にならないが、高感度の受光素子であれば飽和してしまう明るい被写体は鮮明になる。そこで、それら明暗差がある２つの画像の双方の長所を生かすように合成し、輝度分布のバラツキの大きいシーンであっても、すべての被写体を鮮明にするダイナミックレンジ拡大が可能である（例えば非特許文献１を参照）。
【０００３】
従来は、２板式、電子シャッタ単板式またはＣＣＤデバイス式などの方式（非特許文献１を参照）によって２つの画像を用意してダイナミックレンジ拡大を行っていたが、最近、フォトダイオードなどの受光素子を、相対的に広い面積を有する主感光部と、相対的に狭い面積を有する従感光部とに分割した固体撮像素子による方式が提案されている。主感光部はその広い面積のため感度が高く、一方、従感光部はその狭い面積のため感度が低い。したがって、受光素子が分割された固体撮像素子によれば、主／従感光部の感度差を利用し、主／従感光部のいずれからも選択的に画像信号を読み出し、適切に画像を組み合わせることで、ダイナミックレンジ拡大が可能である。
【０００４】
【非特許文献１】
竹村裕夫著、「ＣＣＤカメラ技術入門」、初版、株式会社コロナ社、１９９７年１２月、ｐ．１００−１０２。
【０００５】
【発明が解決しようとする課題】
しかし、主感光部だけでは賄えないような高輝度情報が被写界に存在しない場合、無計画にダイナミックレンジを拡大すれば、メリハリのない画像となってしまう。その一方、ハイライト情報が多いシーンを撮像する際に十分なダイナミックレンジを確保しておかなければ、高輝度の被写体をコントラストを保ったまま再現することができない。
【０００６】
本発明はこのような従来技術の欠点を解消し、シーンに応じた適切な再現ダイナミックレンジを、細かく正確に設定可能なダイナミックレンジ設定方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、相対的に高感度の主感光部と相対的に低感度の従感光部とで構成される受光素子を含み、主感光部と従感光部とから独立に信号電荷を読み出し可能な撮像装置のダイナミックレンジ設定方法において、従感光部から読み出した信号電荷レベルのヒストグラムを作成する工程と、ヒストグラムの分布に応じて主感光部のダイナミックレンジを拡大するための倍数αを決定する工程と、従感光部の信号電荷のうち、倍数αによって拡大した後のダイナミックレンジに属する信号電荷を、主感光部の信号電荷に合成する工程とを含む。
【０００８】
本発明によれば、ハイライト情報の多いシーンも、そうでないシーンも、それぞれ適切なダイナミックレンジを設定することによって、コントラストを保ったまま再現可能である。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による広ダイナミックレンジ撮像装置の実施例を詳細に説明する。各図面において本発明に直接関係のない要素は省略する。また信号はそれが伝達される信号線の符号によって示すものとする。
【００１０】
図２は本発明によるダイナミックレンジ設定方法を使用する撮像装置の一例を示すブロック図である。広ダイナミックレンジ撮像装置１０はデジタルカメラとしてよい。システム制御部１２は、ユーザが扱う操作部１３から与えられる操作信号１３ａに応じて、制御部１２に接続された各種ユニットを制御する。操作部１３は少なくともレリーズシャッタボタンを含み、これは２段階のストロークを有するボタンで、第１段のストローク（以下「Ｓ１」と呼ぶ）で撮像装置１０を予備測光の段階にし、第２段のストローク（以下「Ｓ２」と呼ぶ）で本撮像の段階にするトリガ信号１３ａをシステム制御部１２に出力する。
【００１１】
光学系１４は、図示しないが、レンズ、自動露出（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）を行う絞り機構、自動焦点合わせ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ）を行うフォーカス機構およびメカニカルシャッタを含み、これらは、システム制御部１２からの光学系制御信号１６を受信するドライバ１８によって駆動される。ドライバ１８は、光学系１４に対して、レンズを移動させるモータを駆動する駆動信号１８ａ、入射光量を調節する絞り機構に与える駆動信号１８ｂ、メカニカルシャッタを開閉する駆動信号１８ｃを供給する。
【００１２】
図３は図２に示す撮像部２０の撮像面２０ａに配列されたフォトダイオード２２の概略図である。フォトダイオード２２は主／従感光部２４、２６に分割されている。主感光部２４は相対的に高感度であり、従感光部２６は相対的に低感度である。主感光部と従感光部とからは、独立に信号電荷を読み出し可能である。
【００１３】
主／従感光部２４、２６はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）で構成される転送路２８に沿って電荷を転送する。電荷の転送その他の撮像部２０の動作は、ドライバ１８から供給される駆動信号１８ｄによって制御される。ドライバ１８は、システム制御部１２に制御されるタイミング信号発生器３０から受信した各種タイミングパルス３０ｄに基づき、撮像部２０を制御する駆動信号１８ｄを生成する。駆動信号１８ｄには、水平転送信号、垂直転送信号、電子シャッタ用パルスおよびオーバフロードレーン用の駆動信号が含まれる。撮像部２０からの出力信号３２は、ＣＤＳ・ＧＣＡ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ・Ｇａｉｎ−Ｃｏｎｔｒｏｌｌｅｄ  Ａｍｐｌｉｆｉｅｒ）ユニット３４で相関二重サンプリングおよびゲインアップ処理を受ける。処理後の信号３５はＡ／Ｄ（Ａｎａｌｏｇｕｅ−ｔｏ−Ｄｉｇｉｔａｌ）変換部３６でＡ／Ｄ変換される。ユニット３４、３６における信号処理用の制御信号３０ａ、３０ｂはタイミング信号発生器３０から与えられる。この後、出力信号３７は後述する信号処理部３８で所定の処理を受けた後、それぞれ信号３８ｂ、３８ｃとして出力され、モニタ４０に表示され、ストレージ４２に記録される。
【００１４】
図４は、図３に示した主／従感光部２４、２６の光電変換特性を示すグラフである。ライン２７は主感光部２４の光電変換特性を示し、ライン２９は従感光部２６の光電変換特性を示す。図４に示すように、主感光部２４の感度および飽和レベルｑ１に対して、従感光部２６の感度は１／ａ、飽和量は１／ｂに設定されている。これは、主感光部２４の光電変換特性を示すライン２７に対して、従感光部２６の光電変換特性を示すライン２９の勾配が１／ａであり、主感光部２４の飽和レベルｑ１に対して、従感光部２６の飽和レベルが１／ｂであることを意味する。すると、図４に示すように、従感光部２６によって得られる従感光部情報保持領域３３は、主感光部情報保持領域３１のａ／ｂ倍、すなわち（ａ／ｂ）×ｃになる。例えば主感光部２４の感度に対して従感光部２６の感度を１／１６に設定し、飽和信号レベルを主感光部のそれの１／４に設定すると、１６／４＝４であるから４倍、すなわち設定通りであれば４００％の輝度情報が得られる。これは、従感光部情報保持領域３３が主感光部情報保持領域３１の４倍となることを意味する。
【００１５】
ここで、「主感光部情報保持領域」とは、主感光部単独で、コントラストを保ったまま被写体を再現できる輝度範囲を言う。したがって、主要な被写体が主感光部情報保持領域３１の輝度を有するものであれば、敢えて従感光部の情報３３を使用しなくとも、主感光部の情報だけで主要な被写体を再現できる。
【００１６】
一方、「従感光部情報保持領域」とは、従感光部が被写体を再現できる輝度範囲を言う。従感光部情報保持領域３３のうち、主感光部情報保持領域３１を超える領域の輝度を主要な被写体が有する場合、相対的に感度が高い主感光部２４だけでは、被写体を再現できない。その結果メリハリのない画像になってしまう。そこで相対的に感度の低い従感光部２６の情報を主感光部の情報に合成することにより、かかる高輝度の被写体をもコントラストを保ったまま再現する方法をとる。これを以下「広ダイナミックレンジ処理」、略して「広ＤＲ処理」と呼び、図１について後述する。
【００１７】
図１は図２に示す信号処理部３８の詳細を示すブロック図である。信号処理部３８は、画像メモリ５０ａ、５０ｂ、ホワイトバランス（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）ゲイン部５２ａ、５２ｂ、画像合成部５４、ガンマ変換部５６、同時化処理部５８、補正部６０、圧縮／伸長処理部６２および画像縮小部６４を含む。
【００１８】
これら信号処理部３８内のユニットは、タイミング信号発生器３０から与えられるタイミング信号３０ｃによって制御される。なおタイミング信号３０ｃには水平同期信号、垂直同期信号および各ユニットの動作クロック等が含まれる。
【００１９】
画像メモリ５０ａ、５０ｂはバッファメモリである。これらには画像データ３７が格納され、一時的に記憶される。画像データ３７は、主感光部２４から得られた信号電荷または従感光部２６から得られた信号電荷である。これら画像データ３７はその種類に応じて画像メモリ５０ａ、５０ｂに別々に記憶される。本実施例では、相対的に高感度の主感光部２４から得られたデータはメモリ５０ａに、相対的に低感度の従感光部２６から得られたデータはメモリ５０ｂに記憶される。
【００２０】
画像メモリ５０ａはＷＢゲイン部５２ａ、画像合成部５４、ガンマ変換部５６、同時化処理部５８、補正部６０、圧縮／伸長処理部６２および画像縮小部６４とそれぞれ接続されている。画像メモリ５０ｂは、ＷＢゲイン部５２ｂおよびヒストグラム算出部６６とそれぞれ接続されている。画像メモリ５０ａ、５０ｂは制御信号３０ｃに応じて一時的に格納した画像データをＷＢゲイン部５２ａ、５２ｂにそれぞれ出力する。ＷＢゲイン部５２ａ、５２ｂは供給される画像データに対するホワイトバランス調整・ゲイン補正を行う機能を有する。ＷＢゲイン部５２ａ、５２ｂで処理された画像データは、それぞれ再び画像メモリ５０ａ、５０ｂに一時的に格納される。
【００２１】
本発明の特徴は、画像合成部５４と、これに接続されたヒストグラム算出部６６とによって、広ＤＲ処理を行うか否かを判断することである。また広ＤＲ処理を行なうと決定した場合は、どの程度ダイナミックレンジを拡大するかをシーンに応じて決定することである。なお、ヒストグラム算出部６６の配置は、信号処理部３８内に限定されない。例えばシステム制御部１２内に配設してもよい。この場合、信号処理部３８は、ヒストグラム算出部６６が必要とする画像信号をシステム制御部１２に供給する。
【００２２】
広ＤＲ処理を行うか否かを判断する理由は、被写界にハイライト情報が豊富でないのに不用意に広ＤＲ処理を行うと、軟調な画像が生成されてしまうからである。広ＤＲ処理を行うか否かの判断は、最も単純には、ヒストグラムを作成し、ある設定値以上の輝度を有する画像データが所定の数以上検出されたか否かによって判断すればよい。無論、他の方法によって輝度の分布状況を判断して行ってもよい。
【００２３】
以下、画像合成部５４およびヒストグラム算出部６６が行う広ＤＲ処理について説明する。まず画像メモリ５０ａから主感光部信号電荷が画像合成部５４に書き出される。ヒストグラム算出部６６には、絞り値・シャッタ速度を算出する演算回路が含まれている。ヒストグラム算出部６６は、画像合成部５４から主感光部信号電荷を受信する。そしてこれを基に輝度分布の演算処理により測光の評価値を算出する。ヒストグラム算出部６６は、シーンの特性判別において算出した測光評価値と所定の閾値とを比較し、絞り値・シャッタ速度および被写界のシーンに対して広ＤＲ処理を行うか否かを判断する。
【００２４】
図４から明らかなように、主感光部のみを用いた場合、主感光部情報保持領域３１の最大輝度値ｃまでしかシーンを再現できない。すなわちダイナミックレンジの最大値はｃである。この主感光部情報保持領域３１だけで被写体を再現できるか否かを判断する。主感光部情報保持領域３１だけでは再現できないと判断した場合には、次に、主感光部情報保持領域３１を１００％とした場合に、何％までダイナミックレンジを拡大するかを決定する。なお、以下、従感光部情報保持領域３３は主感光部情報保持領域３１の４倍、すなわち４００％までの輝度情報を再現できるものとして説明する。
【００２５】
図４に示すように、従感光部情報保持領域３３を用いれば、ダイナミックレンジは拡大され、最大で（ａ／ｂ）×ｃの高輝度情報まで再現できることとなる。本発明では一般に、ダイナミックレンジは、α×ｃまで拡大する。ダイナミックレンジを拡大する係数αは、１≦α≦ａ／ｂであり、その大きさは従感光部信号電荷のヒストグラム解析の結果によって決定される。
【００２６】
図５は図２に示す撮像部２０の撮像面２０ａを格子状にブロック分割した概念図である。図１に示すヒストグラム算出部６６は、画像合成部５４から受信した主感光部信号電荷、および画像メモリ５０ｂから受信した従感光部信号電荷を、図５に示すように格子状にＭ×Ｎ個のブロックＢｉｊ（ｉ＝０，  ．．．，  Ｍ−１；  ｊ＝０，  ．．．，  Ｎ−１）に分割し、各ブロックの撮像データをまとめてブロックの測光値を算出している。測光値の算出は、例えばブロック内の各画素の輝度値の平均をとればよい。なお各ブロックは８×８画素としてよい。これにより撮像面２０ａからは、Ｍ×Ｎ個の測光値が求められる。
【００２７】
ヒストグラム算出部６６は、ブロック単位で算出された測光値を１次元データ配列と考えて、ヒストグラムを作成する。図６はこの結果得られたヒストグラムである。ヒストグラム算出部６６では、このヒストグラムの作成にあたり、算出された測光値のレベル範囲を４区間Ｄ１、Ｄ２、Ｄ３、Ｄ４に区分して、測光値がどの区間に入っているかを累積頻度で表している。ヒストグラム算出部６６は、図６に示すように、主感光部信号電荷のヒストグラムを作成する場合は、主感光部情報保持領域３１を４区間に分け、従感光部信号電荷のヒストグラムを作成する場合は、従感光部情報保持領域３３を４区間に分ける。
【００２８】
ヒストグラム算出部６６は、まず、画像合成部５４から主感光部信号電荷を受信してヒストグラムを作成する。この結果、被写体の測光値レベルのすべて、あるいは殆どが主感光部情報保持領域３１に属すれば、広ＤＲ処理を行なう必要はない。主感光部情報保持領域３１だけで被写体を再現できるからである。この場合、ヒストグラム算出部６６は、α＝１と決定してこのαの値とともに、従感光部信号電荷を信号線５５を通じて画像合成部５４に転送する。
【００２９】
一方、被写体の測光値レベルの多くが主感光部情報保持領域３１より高輝度であれば、図６のヒストグラムには、本来Ｍ×Ｎ個あるべき測光値データが累積されず、不足する。あるいは、測光値データの多くが飽和状態となって、区間Ｄ４に集中する。したがって、主感光部情報保持領域３１だけでは被写体を良好に再現できないと判定できる。この場合は、主感光部情報保持領域３１を１００％とした場合に、何％までダイナミックレンジを拡大するかを、以下のように決定する。
【００３０】
すなわち、ヒストグラム算出部６６は画像メモリ５０ｂから信号線５７を通じて従感光部信号電荷を受信してヒストグラムを作成する。そして、このヒストグラムの分布に応じて主感光部のダイナミックレンジを拡大する倍数αを決定する。何％まで広ＤＲ処理をするかの判断基準は、自由に定めてよいが、一般に、被写体の測光値レベルが４区間Ｄ１、Ｄ２、Ｄ３、Ｄ４のうち、どの区間に集中的に分布しているかによって決定するとよい。この判定を行なう時点では、主感光部情報保持領域３１、すなわち１００％以下に相当する区間Ｄ１に測光値レベルが集中することはない。すでに被写体の測光値レベルの多くが主感光部情報保持領域３１より高輝度であることは分かっているからである。残りの区間Ｄ２（１００％以上２００％以下）、Ｄ３（２００％以上３００％以下）、Ｄ４（３００％以上４００％以下）のいずれに測光値レベルが集中するかによって、何％までダイナミックレンジを拡大するかを決定する。
【００３１】
例えば区間Ｄ３までしか測光値レベルが分布せず、区間Ｄ４には測光値レベルが分布しないか、わずかな頻度しか分布していないのであれば、３００％まで広ＤＲ処理をすればよい。すなわちα＝３である。ヒストグラム算出部６６は、このようにして決定したαの値とともに、従感光部信号電荷を画像合成部５４に転送する。
【００３２】
なお、ヒストグラム算出部６６が測光値のレベル範囲を区分する場合、１区間をどのくらいのレベル範囲に設定するか、あるいは得られた測光値の全レベル範囲を何区間に設定するかは任意の選択が可能である。上述の例では１区間を１００％としたが、さらに細かく分割してもよい。また、基本的に、測光値レベルが集中した区間までダイナミックレンジを拡大するという基準を用いればよいが、より詳細な基準は自由に定めてよい。例えば上記の例では、区分Ｄ４にわずかな頻度しか測光値レベルが分布していないときは、区分Ｄ３に相当する３００％までしかダイナミックレンジを拡大しないこととした。しかし、わずかでも区分Ｄ４に分布が認められる場合には、４００％までダイナミックレンジを拡大することとしてもよい。
【００３３】
αの値は、上述のように、ダイナミックレンジを全く拡大しない場合の最小値α＝１から、ダイナミックレンジを最大限に拡大する場合の最大値α＝ａ／ｂまで、信号処理過程において、自由に決定できる。上述の例では、１００％単位の広ＤＲ処理を行ない、α＝３またはα＝４のように、αを離散的な値としたが、さらに細かく決定してよいことは言うまでもない。なおα＝１の場合でも、主感光部信号電荷のみで被写体を再現するわけではなく、主／従感光部信号電荷の合成は行われる。これにより、主感光部信号電荷のみによる画像再現よりＳ／Ｎ比（Ｓｉｇｎａｌ／Ｎｏｉｓｅ  ｒａｔｉｏ）が向上することを狙う。ただし、合成を行なわず、主感光部信号電荷のみで被写体を再現してもよい。
【００３４】
αの値とともに従感光部信号電荷をヒストグラム算出部６６から受信した画像合成部５４は、合成パラメータｐを以下のように選び、主／従感光部の情報を合成する。これにより画像合成パラメータｐにαの値が反映される。
【００３５】
【数１】
ｐ＝ａ／（ａ＋α）
【００３６】
合成後の画像の出力レベルは、計算式「合成後の画像＝ｐ×（主感光部信号電荷＋従感光部信号電荷）」で算出する。α＝１のときは、主感光部のみによるダイナミックレンジの再現が可能であるが、従感光部に発生した信号も用いる。したがって、ｐ＝ａ／（ａ＋１）＜１となり、主感光部信号電荷のみを用いる場合に比べてＳ／Ｎ比を向上させることができる。
【００３７】
α＝ａ／ｂのときは、図４から明らかなように、撮像素子の最大ダイナミックレンジを使用する場合に相当するため、主／従感光部の飽和出力を反映し、ｐ＝ｂ／（ｂ＋１）となる。
【００３８】
画像合成部５４は、決定された合成パラメータｐを用いて主／従感光部の画像データを合成する。すなわち、広ＤＲ処理を行う。図７は広ＤＲ処理後の合成画像の出力レベルを示すグラフである。ライン３９は従来の画像合成処理による最終的な画像の出力レベルであり、ライン４１は本発明により広ＤＲ処理を行なった結果得られる最終的な画像の出力レベルである。
【００３９】
図７から明らかなように、ライン４１は、拡大されたダイナミックレンジ４５を有する。すでに述べた、「合成後の画像＝ｐ×（主感光部信号電荷＋従感光部信号電荷）」という計算式に従って合成画像の出力レベルを求めると、ライン４１から分かるように、ちょうど主感光部２４の飽和レベルｑ１において、拡大されたダイナミックレンジ４５の右端の値、すなわちα×ｃに到達する。言い換えれば、従感光部２６の信号電荷のうち、倍数αによって拡大した後のダイナミックレンジ４５に属する信号電荷を、主感光部２４の信号電荷に合成したことになる。これにより、ハイライト領域４３に属する高輝度の被写体もコントラストを保ったまま再現可能となっている。
【００４０】
なお、従来処理と階調特性の近い主要な被写体の輝度領域までは、ほとんど主感光部のデータだけで作ることが可能である。一方、ハイライト領域４３など、高い輝度領域においてコントラストを保つためには、従感光部２６からのデータが不可欠である。
【００４１】
合成後の画像データは、画像メモリ５０ａに格納し、以下のガンマ変換、同時化処理などを行えばよい。以下、本発明とは直接関係しないものの、各種画像処理について説明する。ガンマ変換部５６には、例えばガンマ補正用のルックアップテーブルが含まれていて、供給される画像データをこのテーブルのデータを用いてガンマ補正する。ガンマ変換部５６はガンマ補正した画像データを同時化処理部５８に出力する。
【００４２】
同時化処理部５８は、供給される合成結果を用いて画素補間処理および色補間処理を行う機能を有する。画素補間処理は、フォトダイオード３２の画素ずらし配列によって生じるフォトダイオードのない空領域、仮想画素の補間を行う。同時化処理部５８は、補間された画像データを補正部６０に出力する。
【００４３】
補正部６０は、プレーンな３色の画像データを基に色差マトリクス処理、輪郭強調処理およびゲイン調整等の補正処理を施す機能を有する。補正部６０は、各種補正を施した画像データを圧縮／伸長処理部６２に出力する。
【００４４】
圧縮／伸長処理部６２は、静止画や動画（ムービー）モードにおいて供給される画像データにＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２等の規格でそれぞれ圧縮処理を施す。圧縮された画像データ１１２は図２に示すストレージ４２に送られ、記録される。また、ストレージ４２に記録された圧縮画像は、圧縮／伸長処理部６２に適宜読み込まれることにより、圧縮処理と逆の伸長処理によって再生される。
【００４５】
画像縮小部６４は供給される画像データのサイズを考慮して間引き処理を行い、モニタ４０に表示サイズ・表示形式データに調整する機能を有する。画像縮小部６４は、調整された画像データをモニタ４０に供給する。
【００４６】
以上のように構成された本発明の実施例について、本発明の特徴である広ＤＲ処理の流れを、以下、説明する。なお、広ＤＲ処理以外の撮像動作については、説明を省略する。
【００４７】
図８は広ＤＲ処理のフローチャートである。電源がオンになると、撮像装置１０はステップＳ１００に示すスタンバイ状態となる。ユーザが操作部１３のレリーズシャッタボタンを押すと、ステップＳ１０２に示すように、第１段のストロークＳ１によって、撮像装置１０はステップＳ１０４に進み、予備測光の段階になる。さらにステップＳ１０６に示す第２段のストロークＳ２によって、撮像装置１０は本撮像の段階になる。まず、撮像によって得られた主／従感光部信号電荷は、信号処理部３８まで転送され、既に説明したように、それぞれの画像メモリ５０ａ、５０ｂに格納される。
【００４８】
画像メモリ５０ａ、５０ｂにそれぞれ格納された主／従感光部信号電荷のうち、まず、ステップＳ１０８に示すように、主感光部信号電荷が画像合成部５４に書き出される。この主感光部信号電荷はヒストグラム算出部６６に転送され、そこでステップＳ１１０に示すように主感光部信号電荷のヒストグラムが作成される。この結果、広ＤＲ処理をする必要がないと判断した場合、ヒストグラム算出部６６はα＝１という値とともに、画像メモリ５０ｂから従感光部信号電荷を読み出して画像合成部５４に転送する。画像合成部５４はステップＳ１１８に示すように、α＝１に基づいて合成パラメータｐを決定し、ステップＳ１２０に示すように画像を合成する。その後、各種処理を経て、最終的に、ステップＳ１２２に示すように、画像はストレージ４２に保存される。
【００４９】
一方、ステップＳ１１２において、主感光部信号電荷のヒストグラムを作成した結果、広ＤＲ処理をする必要があるとヒストグラム算出部６６が判断した場合は、ステップＳ１１４に示すように、従感光部信号電荷がヒストグラム算出部６６に書き出される。そこでステップＳ１１６に示すように従感光部信号電荷のヒストグラムが作成される。その結果、ヒストグラム算出部６６はαの値を決定し、αの値とともに従感光部信号電荷を画像合成部５４に転送する。ステップＳ１１８以降の動作は、上述したものと同様である。
【００５０】
以上、本発明を実施例を用いて説明した。本発明は上述の実施例の構成に限定されるものではない。すなわち、被写体の輝度分布に基づいてダイナミックレンジを拡大するか否か判定し、拡大すると判定した場合にはどれだけ拡大するか決定するという本発明の特徴は、上述の実施例の構成以外のいかなる構成で実現してもよい。
【００５１】
【発明の効果】
このように本発明によれば、被写体の輝度分布に応じた適切なダイナミックレンジを正確に設定可能である。これにより、コントラストを保ったまま高輝度の被写体を再現できる。また、広ＤＲ処理を行わない場合であっても、主／従感光部信号電荷を合成することから、主感光部信号電荷のみによる画像再現よりＳ／Ｎ比が向上する。
【図面の簡単な説明】
【図１】本発明によるダイナミックレンジ設定方法を使用する撮像装置の信号処理部のブロック図である。
【図２】本発明によるダイナミックレンジ設定方法を使用する撮像装置の一例を示すブロック図である。
【図３】図２に示す撮像部の撮像面に配列されたフォトダイオードの概略図である。
【図４】図３に示す主／従感光部の光電変換特性を示すグラフである。
【図５】図２に示す撮像部の撮像面を格子状にブロック分割した概念図である。
【図６】図１に示すヒストグラム算出部によって作成されたヒストグラムである。
【図７】図１に示す画像合成部によって広ＤＲ処理がなされた後の合成画像の出力レベルを示すグラフである。
【図８】図１に示すヒストグラム算出部および画像合成部によって行なわれる広ＤＲ処理のフローチャートである。
【符号の説明】
１０  撮像装置
２２  フォトダイオード
２４  主感光部
２６  従感光部
４１  広ＤＲ処理後の合成画像の出力レベル
４５  拡大されたダイナミックレンジ
５４  画像合成部
６６  ヒストグラム算出部
【図１】
2004222075.tif 000003
【図２】
2004222075.tif 000004
【図３】
2004222075.tif 000005
【図４】
2004222075.tif 000006
【図５】
2004222075.tif 000007
【図６】
2004222075.tif 000008
【図７】
2004222075.tif 000009
【図８】
2004222075.tif 000010