(57)【要約】【課題】  動きの速い被写体にも強く、拡大できるダイナミックレンジに制限の無いデジタルカメラを提示する。【解決手段】  １回のメカシャッター動作による露光で、２種類の露光量の撮影画像を得る手段を設け、その露出量の異なる２枚の画像を合成して、ダイナミックレンジの拡大を行う。１回のメカシャッター動作による露光で、２種類の露光量の撮影画像を得るため、動きの速い被写体にも強く、それぞれの露出のシャッタースピードは各々自由な時間に設定できるので、蓄積時間の自由度が大きく、これら露出量の異なる２枚の画像を撮像素子から読み出し後に合成して、ダイナミックレンジの拡大を行う。【選択図】  図１
2005348301.tif 000002
【特許請求の範囲】
【請求項１】
全画素を読み出すのに、奇数のｎフィールドに分けて読み出す撮像センサを有し、電子シャッターとメカシャッターを有し、上記電子シャッターと上記メカシャッターを制御して、上記複数のフィールドを同時に露光開始して、第1のフィールドの電荷を上記センサの垂直転送部に移動することで第1のフィールドの露光時間を制御し、上記メカシャッターを閉じることで上記第1のフィールド以外のフィールドの露光量を制御する事を特徴とするデジタルカメラ。
【請求項２】
上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像からダイナミックレンジ拡大画像を作る事を特徴とする請求項１記載のデジタルカメラ。
【請求項３】
上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像を作る際に、各画素の重心を一致させる事を特徴とする請求項１乃至２記載のデジタルカメラ。
【請求項４】
上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像を作る際に、各画素の重心を各画素上で一致させる事を特徴とする請求項１乃至２記載のデジタルカメラ。
【請求項５】
上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像を作る際に、各画素の重心を各画素間で一致させる事を特徴とする請求項１乃至２記載のデジタルカメラ。
【請求項６】
上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像を作る際に、各画素の重心を各画素上で一致させた画像を生成し、上記第1のフィールド画像と、上記第1のフィールド画像とは異なる露光量の上記第1のフィールド以外のフィールド画像を作る際に、各画素の重心を各画素間で一致させた画像を生成して、それら生成された画像を合成することで、画素数を増やす事を特徴とする請求項１乃至２記載のデジタルカメラ。
【請求項７】
上記第1のフィールド画像と、上記第1のフィールド画像より露出時間の長い上記第1のフィールド以外のフィールド画像からダイナミックレンジ拡大画像を作る際に、上記２枚の画像の露出時間の比に応じて、上記露出時間の長い画像に合わせて正規化を行って正規化画像を生成し、上記露出時間の長い画像と上記正規化画像の各画素の輝度差を求め、上記輝度差が最小になる最大輝度値を求め、上記露出時間の長い画像の各画素の輝度値が上記最大輝度値より大きい場合には上記正規化画像の画素のデータに置き換える事を特徴とする請求項１乃至６記載のデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに関する。
【背景技術】
【０００２】
従来、露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行っている。その方法として、例えば、特公平6-83400、特公平8-17455、特開平4-168895等、いくつかの提案がされている。特公平6-83400は撮像素子の転送ライン上で、露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行っている。特公平8-17455はブランキング期間と通常フィールド期間で露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行っている。特開平4-168895は飽和電荷レベルを変えることで、撮像素子の電荷蓄積部上で、露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行っている。ただし、これらの方式では蓄積時間の自由度が少なかったり、電荷蓄積部上や転送ライン上で加算する場合には拡大できるダイナミックレンジに撮像素子のハード上の制限があり、それらを解決するには、図３の従来方式に示されるように、2回のメカシャッター動作による露光を行って、露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行っている。ここで、露出量はEXP信号のTa、Tb時間内の積分値になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来は図３の従来方式に示されるように、２回のメカシャッター動作による露光が必要なため、２回の露光の間は被写体が停止している必要が有り、それぞれのシャッタースピードが早い場合でも、動きの速い被写体は苦手であった。本発明は、このような不都合を解消し、動きの速い被写体にも強く、蓄積時間の自由度が大きく、拡大できるダイナミックレンジに制限の無いデジタルカメラを提示する事を目的とする。
【課題を解決するための手段】
【０００４】
そこで本提案では、特開2000-201355に示される撮像素子を用い、１回のメカシャッター動作による露光で、２種類の露光量の撮影画像を得る手段を設け、その露出量の異なる２枚の画像を合成して、ダイナミックレンジの拡大を行う。１回のメカシャッター動作による露光で、２種類の露光量の撮影画像を得るため、動きの速い被写体にも強く、それぞれの露出のシャッタースピードは各々自由な時間に設定できるので、蓄積時間の自由度が大きく、これら露出量の異なる2枚の画像を撮像素子から読み出し後に合成して、ダイナミックレンジの拡大を行うため、拡大できるダイナミックレンジに制限の無いデジタルカメラを提示できる。
【発明の効果】
【０００５】
以上の説明から容易に理解できるように、本発明によれば、１回のメカシャッター動作による露光で、2種類の露光量の撮影画像を得る手段を設け、その露出量の異なる2枚の画像を合成して、ダイナミックレンジの拡大を行うことで、１回のメカシャッター動作による露光で、2種類の露光量の撮影画像を得るため、動きの速い被写体にも強く、それぞれの露出のシャッタースピードは各々自由な時間に設定できるので、蓄積時間の自由度が大きく、これら露出量の異なる2枚の画像を撮像素子から読み出し後に合成して、ダイナミックレンジの拡大を行うため、拡大できるダイナミックレンジに制限の無いデジタルカメラを提示する事が可能となる。
【発明を実施するための最良の形態】
【０００６】
（第１の実施例）
以下、図面を参照して本発明の実施例を説明する。
【０００７】
図１は、本発明の実施例の構成を示す図である。
【０００８】
図1において、１００は画像処理装置である。
【０００９】
１０は撮影レンズ、１２は絞り及びシャッター機能を備える露光制御装置、１４は光学像を電気信号に変換する撮像素子で、システム制御回路５０の制御で感度を変更できるようになっている。ここで、撮像素子１４について、図２（a）を用いて説明する。撮像素子１４は特開2000-201355に示される撮像素子で、垂直２繰り返しの原色ベイヤー配列のカラーフィルタを具備し３：１のインターレースを行うことによって、１フレームを第1、第2、第3フィールドの3フィールドで構成する。
【００１０】
１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１１】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００１２】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１３】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、TTL（スルー・ザ・レンズ）方式のAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００１４】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。
【００１５】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００１６】
Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１７】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はTFT LCD等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００１８】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
【００１９】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００２０】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００２１】
これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００２２】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００２３】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２４】
４０は絞り及びシャッター機能を備える露光制御装置１２を制御する露光制御手段である。
【００２５】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６は振れを補正する手段である光学防振手段１０２の動作を制御する防振制御手段である。防振制御手段には電力消費は大きいが追従特性の良い通常モードと、電力消費は少ないが追従特性がやや劣るエコノミーモードがある。
【００２６】
４８はダミー負荷であり、電池の負荷試験を行う際に用いる。
露光制御手段４０、測距制御手段４２はTTL方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００２７】
５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００２８】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。
【００２９】
また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００３０】
表示部５４の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。
【００３１】
また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
【００３２】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
【００３３】
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３４】
ここで、これらの操作手段の具体的な説明を行う。
【００３５】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ繋ぎ撮り撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定することが出来る。
【００３６】
６２はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００３７】
６４はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ30に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００３８】
６６は画像表示ON/OFFスイッチで、画像表示部２８のON/OFFを設定することが出来る。
【００３９】
この機能により、光学ファインダ１０４を用いて撮影を行う際に、TFT LCD等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００４０】
６８は画質モード設定手段で、記録画像の圧縮率やサイズ等、画質や記録容量にかかわる設定を行う。
【００４１】
７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。
【００４２】
８０は電源制御手段で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４３】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。
【００４４】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。
【００４５】
なお、本実施例では記録媒体を取り付けるインタフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４６】
インタフェース及びコネクタとしては、PCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。
【００４７】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をPCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。
【００４８】
１０２は、画像の振れを防止する光学防振手段であり、防振制御手段４６によって制御される。
【００４９】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
【００５０】
１１０は通信手段で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。
【００５１】
１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００５２】
２００はメモリカードやハードディスク等の記録媒体である。
【００５３】
記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００５４】
２１０はメモリカードやハードディスク等の記録媒体である。
【００５５】
記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００５６】
次に、本発明の実施例の説明を行う。
【００５７】
まず、図２の説明をする。図２（a）は本実施例で使用する撮像素子１４のカラーフィルタ配列で、垂直２繰り返しの原色ベイヤー配列のカラーフィルタを具備し３：１のインターレースを行うことによって、１フレームを第1、第2、第3フィールドの3フィールドで構成されている。例えば、第1フィールドだけを読み出すと図２（ｂ）のようになるが、通常の撮影の際には、第1、第2、第3フィールドと順に読み出したものを、図２（a）の撮像素子配列と同じ配列に並べてから画像処理を行って撮影画像を得る。
【００５８】
次に、図３の説明をする。まず、信号を上から説明する。HDはタイミング発生回路１８から撮像素子１４等に供給される垂平同期用信号。VDはタイミング発生回路１８から撮像素子１４等に供給される垂直同期用信号。SGはタイミング発生回路１８から撮像素子１４等に供給される垂直転送用信号で、撮像素子１４の電荷蓄積部に蓄積された電荷を垂直転送路に移す動作と、垂直転送路に移された電荷を垂直転送する動作を行う。SUBはタイミング発生回路１８から撮像素子１４等に供給される、撮像素子１４の電荷蓄積部に蓄積された電荷を除去する信号。SHOPNは露光制御手段４０から絞り及びシャッター機能を備える露光制御装置１２に供給されるシャッターを開くための信号で、実際には信号を入れてからしばらくしてシャッターが動き出し、しばらくして完全に開く。SHCLSは露光制御手段４０から絞り及びシャッター機能を備える露光制御装置１２に供給されるシャッターを閉じるための信号で、実際には信号を入れてからしばらくしてシャッターが動き出し、しばらくして完全に閉じる。EXPは露光の状態を模式的にあらわし、Ta、Tb、Tc、Td時間内での、開口径とその開口径での露光時間の積分量がそれぞれの露出量になる。
【００５９】
次に、時間を追って従来例の方式の動作を説明する。T1でSG信号を出力して、撮像素子１４の電荷蓄積部に蓄積された電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。その後、SUB信号とSHCLS信号をコーディネイトしてTa時間露光する。そして、T2でTa時間露光した蓄積電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。この際、垂直転送されたライン信号を、不図示の水平転送パルスによって、Ａ／Ｄ変換器１６を通して、画像処理回路２０、メモリ制御回路２２等に送られる。この間にシャッターを開けるとスミアを発生するので閉じておく。そして、T3でSG信号を出力して、撮像素子１４の電荷蓄積部に蓄積された電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。そして、SUB信号とSHCLS信号をコーディネイトしてTｂ時間露光する。そして、T4でTｂ時間露光した蓄積電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。この際、垂直転送されたライン信号を、不図示の水平転送パルスによって、Ａ／Ｄ変換器１６を通して、画像処理回路２０、メモリ制御回路２２等に送られる。この間にシャッターを開けるとスミアを発生するので閉じておく。以上の動作によって、Taおよび、Tb時間露光された画像を得る。
【００６０】
次に、時間を追って本実施例の方式の動作を説明する。T1でSG信号を出力して、撮像素子１４の電荷蓄積部に蓄積された電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。そして、T2までにTc時間経過するように、SUB信号をコーディネイトしてTc時間露光する。ここで、Tc期間での露光量は、上記、Ta期間での露光量と等しくする。そして、T2でSG信号の、電荷蓄積部に蓄積された電荷を垂直転送路に移す信号を出力して、撮像素子１４の電荷蓄積部に蓄積された第1フィールドの電荷を垂直転送路に移す。ただし、ここでは従来例のように、垂直転送路に移された電荷を垂直転送しない。そして、SUB信号とSHCLS信号をコーディネイトしてTd時間露光する。ここで、Td期間での露光量は、上記、Tb期間での露光量と等しくする。そして、T3において、T2ですでに垂直転送路に移された電荷を垂直転送する。この際、垂直転送されたライン信号を、不図示の水平転送パルスによって、Ａ／Ｄ変換器１６を通して、画像処理回路２０、メモリ制御回路２２等に送られる。この間にシャッターを開けるとスミアを発生するので閉じておく。そして、T4でTd時間露光した第2フィールドの蓄積電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。この際、垂直転送されたライン信号を、不図示の水平転送パルスによって、Ａ／Ｄ変換器１６を通して、画像処理回路２０、メモリ制御回路２２等に送られる。この間にシャッターを開けるとスミアを発生するので閉じておく。そして、T5でTd時間露光した第3フィールドの蓄積電荷を垂直転送路に移し、垂直転送路に移された電荷を垂直転送する。この際、垂直転送されたライン信号を、不図示の水平転送パルスによって、Ａ／Ｄ変換器１６を通して、画像処理回路２０、メモリ制御回路２２等に送られる。この間にシャッターを開けるとスミアを発生するので閉じておく。以上の動作によって、Tcおよび、Td時間露光された画像を得る。以上のように、本方式ではTｃおよび、Tdの開始が同時で、メカシャッターの動作は1回のため、2度の露光に露光時間以外の差がないので動きの速い被写体にも強い。
【００６１】
次に、図２を使用して、上記露光画像の第一の処理動作を説明する。まず、Tc期間での露光画像は図２（b）のように第1フィールドからなり、この画像を第１露光画像とする。ここで、最終的な画像では各画素でRGB三色のデータが必要で、例えば、第１露光画像の(4)のGの画素の場合、Gはその画素のデータがあるので、それを使用し、Rは左右、Bは上下の平均値とする。また、第１露光画像の(7)のBの画素の場合、Bはその画素のデータがあるので、それを使用し、Gは左右、Rは斜め右上、左上の平均と斜め右下、左下の平均の平均値とする。また、第１露光画像の(10)のRの画素の場合、Rはその画素のデータがあるので、それを使用し、Gは左右、Bは斜め右上、左上の平均と斜め右下、左下の平均の平均値とする。そして、Td期間の露光画像は図２（c）のように第2フィールドと第3フィールドからなり、この画像を第２露光画像とする。ここで、第１露光画像と合わせてダイナミックレンジ拡大画像を作成するには、露光時間の異なる重心のそろった2枚の画像が必要で、例えば、第１露光画像の(4)のGの画素と同じ重心の画素を作るには、第２露光画像の(3)のBと(5)のBの中間位置にRGB三色のデータが必要で、Bはその画素のデータがあるので、それを使用して(3)と(5)の平均値とし、Gは(3)と(5)の左右平均の平均値、Rは(3)の斜め右上、左上の平均と、(5)の斜め右下、左下の平均の平均値とする。また、第１露光画像の(7)のBの画素と同じ重心の画素を作るには、第２露光画像の(6)のGと(8)のGの中間位置にRGB三色のデータが必要で、Gはその画素のデータがあるので、それを使用して(6)と(8)の平均値とし、Rは(6)と(8)の左右平均の平均値、Bは上と下の平均値とする。また、第１露光画像の(10)のRの画素と同じ重心の画素を作るには、第２露光画像の(9)のGと(11)のGの中間位置にRGB三色のデータが必要で、Gはその画素のデータがあるので、それを使用して(9)と(11)の平均値とし、Bは(9)と(11)の左右平均の平均値、Rは上と下の平均値とする。以上のようにして、全画素にRGB三色のデータを得る。
【００６２】
なお、上記実施例ではRGBフィルターのCCD撮像センサの例を説明したが、補色フィルターのCCD撮像センサを使用した場合の第二の処理動作も同様に説明する。まず、Tc期間での露光画像は図４（b）のように第1フィールドからなり、この画像を第１露光画像とする。ここで、最終的な画像では各画素でRGB三色のデータが必要で、それを算出するため各画素でCMYG四色データを用意する必要がある。例えば、第１露光画像の(4)のCの画素の場合、Cはその画素のデータがあるので、それを使用し、Yは左右、Mは上下、Gは斜め右上、左上の平均と斜め右下、左下の平均の平均値とする。また、第１露光画像の(7)のMの画素の場合、Mはその画素のデータがあるので、それを使用し、Gは左右、Cは上下、Yは斜め右上、左上の平均と斜め右下、左下の平均の平均値とする。また、第１露光画像の(10)のYの画素の場合、Yはその画素のデータがあるので、それを使用し、Cは左右、Gは上下、Mは斜め右上、左上の平均と斜め右下、左下の平均の平均値とする。そして、Td期間の露光画像は図４（c）のように第2フィールドと第3フィールドからなり、この画像を第２露光画像とする。ここで、第１露光画像と合わせてダイナミックレンジ拡大画像を作成するには、露光時間の異なる重心のそろった2枚の画像が必要で、例えば、第１露光画像の(4)のCの画素と同じ重心の画素を作るには、第２露光画像の(3)のMと(5)のMの中間位置にCMYG四色のデータが必要で、Mはその画素のデータがあるので、それを使用して(3)と(5)の平均値とし、Gは(3)と(5)の左右平均の平均値、Cは上と下の平均値、Yは(3)の斜め右上、左上の平均と、(5)の斜め右下、左下の平均の平均値とする。また、第１露光画像の(7)のMの画素と同じ重心の画素を作るには、第２露光画像の(6)のCと(8)のCの中間位置にCMYG四色データが必要で、Cはその画素のデータがあるので、それを使用して(6)と(8)の平均値とし、Yは(6)と(8)の左右平均の平均値、Mは上と下の平均値、Gは(6)の斜め右上、左上の平均と、(8)の斜め右下、左下の平均の平均値とする。また、第１露光画像の(10)のYの画素と同じ重心の画素を作るには、第２露光画像の(9)のGと(11)のGの中間位置にCMYG四色データが必要で、Gはその画素のデータがあるので、それを使用して(9)と(11)の平均値とし、Mは(9)と(11)の左右平均の平均値、Yは上と下の平均値、Cは(9)の斜め右上、左上の平均と、(11)の斜め右下、左下の平均の平均値とする。そして、全画素で得られたCMYG四色データからRGB三色のデータを算出する。
【００６３】
また、補色フィルターのCCD撮像センサを使用した第三の処理動作を、図５を使用して以下に説明する。まず、Tc期間での露光画像は図５（b）のように第1フィールドからなり、この画像を第１露光画像とする。ここで、最終的な画像では各画素でRGB三色のデータが必要で、例えば、第１露光画像の(1)のG、Mと、(2)のY、Cの画素の重心位置に仮想の画素を想定する場合、これら4色の値からRGB三色のデータを算出する事で、上記重心位置のデータが得られる。そして、Td期間の露光画像は図５（c）のように第2フィールドと第3フィールドからなり、この画像を第２露光画像とする。ここで、第１露光画像と合わせてダイナミックレンジ拡大画像を作成するには、露光時間の異なる重心のそろった2枚の画像が必要で、例えば、第１露光画像の(1)のG、Mと、(4)のY、Cの画素の重心と同じ重心の画素を作るには、第２露光画像の(2)のY、Cと(3)のG、Mの4色の値からRGB三色のデータを算出する。また、第１露光画像の(4)のY、Cと、(7)のG、Mの画素の重心と同じ重心の画素を作るには、第２露光画像の(5)のG、Mと(6)のY、Cの4色の値からRGB三色のデータを算出する。また、第１露光画像の(7)のM、Gと、(10)のC、Yの画素の重心と同じ重心の画素を作るには、第２露光画像の(8)のC、Yと(9)のM、Gの4色の値からRGB三色のデータを算出する。そして、全画素で得られたCMYG四色データからRGB三色のデータを算出する。
【００６４】
ここで、上記第二、第三の処理動作を両方行うことで、２倍の画素データを得ることができ、単独動作時には撮像素子の画素数の1/3の画素数の画像しか得られなかったが、両方行うことで2/3の画素数の画像を得ることが可能となる。
【００６５】
上記のようにして、露出時間の異なる２枚の画像を得て、それらを合成することで、ダイナミックレンジ拡大画像を作成する。合成の方法は、まず、２枚の露出時間の比に応じて、露出時間の少ない画像の画素データを正規化する。例えば、２枚の露出時間が、1/60秒と1/30秒だった場合には、露出時間が1/60秒の画像の画素データを全て2倍にする事で、露出時間が1/30秒のデータに正規化される。そして、正規化された２枚の画像の全画素について輝度差を求め、この輝度差が最も小さくなる輝度値の最大値を求める。そして、実際に1/30秒で露光した画像の画素の内で、輝度値が上記最大値より大きくなる画素のデータを、1/30秒に正規化したデータと置き換えることで、ダイナミックレンジ拡大画像を得る。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施例の構成ブロック図である。
【図２】本実施例で使用する撮像素子のカラーフィルタ配列である。
【図３】本実施例の信号のタイミング図である。
【図４】第２の実施例で使用する撮像素子のカラーフィルタ配列である。
【図５】第３の実施例で使用する撮像素子のカラーフィルタ配列である。
【符号の説明】
【００６７】
１０  撮影レンズ
１２  シャッター
１４  撮像素子
１６  Ａ／Ｄ変換器
１８  タイミング発生回路
２０  画像処理回路
２２  メモリ制御回路
２４  画像表示メモリ
２６  Ｄ／Ａ変換器
２８  画像表示部
３０  メモリ
３２  画像圧縮・伸長回路
４０  露光制御手段
４２  測距制御手段
４４  ズーム制御手段
４６  防振制御手段
４８  ダミー負荷
５０  システム制御回路
５２  メモリ
５４  表示部
５６  不揮発性メモリ
６０  モードダイアルスイッチ
６２  シャッタースイッチSW1
６４  シャッタースイッチSW2
６６  画像表示ON/OFFスイッチ
６８  画質モードスイッチ
７０  操作部
８０  電源制御手段
８２  コネクタ
８４  コネクタ
８６  電源手段
９０  インタフェース
９２  コネクタ
９４  インタフェース
９６  コネクタ
９８  記録媒体着脱検知手段
１００  画像処理装置
１０２  光学防振手段
１０４  光学ファインダ
１１０  通信手段
１１２  コネクタ（またはアンテナ）
２００  記録媒体
２０２  記録部
２０４  インタフェース
２０６  コネクタ
２１０  記録媒体
２１２  記録部
２１４  インタフェース
２１６  コネクタ
【図１】
2005348301.tif 000003
【図２】
2005348301.tif 000004
【図３】
2005348301.tif 000005
【図４】
2005348301.tif 000006
【図５】
2005348301.tif 000007