(57)【要約】【課題】撮像素子によって得られた画像データを用いた処理の処理速度を高速化することのできる撮像装置及び撮像装置の画像データ処理方法を得る。【解決手段】被写体を第１の感度で撮像して被写体像を示す高感度のアナログ画像信号Ｈｉｇｈを出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す低感度のアナログ画像信号Ｌｏｗを出力するＣＣＤ１８と、アナログ画像信号Ｈｉｇｈ及びアナログ画像信号Ｌｏｗをデジタルデータに変換して各々に対応する高感度データ及び低感度データを出力するＡ／Ｄ変換器２２と、を備え、ＬＣＤ８２により上記被写体像をスルー表示又はプレビュー表示する場合に高感度データを用いて被写体像を表示すると共に、他の場合には高感度データ及び低感度データの合成データを用いて被写体像を表示する。【選択図】        図１
2004166110.tif 000002
【特許請求の範囲】
【請求項１】
被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、
前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、
前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示する表示手段と、
を備えた撮像装置。
【請求項２】
記録メディアを装着するための装着手段と、
前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、前記装着手段によって装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させる配列手段と、
を更に備えた請求項１記載の撮像装置。
【請求項３】
被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、前記被写体像を表示するための表示手段と、を備えると共に、記録メディアが装着可能に構成された撮像装置の画像データ処理方法であって、
前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示する
画像データ処理方法。
【請求項４】
前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させる
請求項３記載の画像データ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像装置の画像データ処理方法に係り、特に、感度の異なる画像信号を出力することができる撮像素子を備えた撮像装置と、当該撮像装置の画像データ処理方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ、電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルカメラの需要が急増している。
【０００３】
ところで、現在広く普及しているデジタルカメラ等の撮像装置における撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和してしまい、被写体の情報が欠落してしまう。
【０００４】
このような問題を解決するため、従来、撮影により得られた高感度の画像信号と低感度の画像信号とを合成することにより、ダイナミックレンジの拡大を図る技術がある（例えば、特許文献１参照。）。
【０００５】
この技術では、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換えて合成画像を生成している。
【０００６】
【特許文献１】
特開２０００−３０７９６３号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、この技術では、高感度の画像信号と低感度の画像信号とを合成して用いることが前提とされているため、当該合成に時間がかかり、高感度の画像信号と低感度の画像信号とを用いた処理の処理速度が必ずしも速いとは言えない、という問題点があった。
【０００８】
本発明は上記問題点を解決するためになされたものであり、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することのできる撮像装置及び撮像装置の画像データ処理方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の撮像装置は、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示する表示手段と、が備えられている。
【００１０】
請求項１に記載の撮像装置によれば、撮像素子により、被写体が第１の感度で撮像されて被写体像を示すアナログ信号である第１画像信号が出力されると共に、上記被写体が第１の感度より低い第２の感度で撮像されて上記被写体像を示すアナログ信号である第２画像信号が出力され、変換手段により、上記第１画像信号及び上記第２画像信号がデジタルデータに変換されて各々に対応する第１画像データ及び第２画像データが出力される。なお、上記撮像素子には、ＣＣＤ、ＣＭＯＳイメージ・センサ等の固体撮像素子を含めることができる。
【００１１】
ここで、本発明では、表示手段により、被写体像がスルー表示又はプレビュー表示される場合に上記第１画像データが用いられて当該被写体像が表示されると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データが用いられて当該被写体像が表示される。
【００１２】
なお、上記スルー表示は、撮像素子による撮像によって得られた被写体像をリアルタイムで表示手段により表示するものであり、表示手段をファインダとして用いるときに行われる表示である。また、上記プレビュー表示は、撮像素子による撮像によって得られた画像データを記録する際に当該画像データにより示される被写体像を表示手段により表示するものであり、当該被写体像の状態を確認するために行われる表示である。
【００１３】
すなわち、本発明では、一般に、撮像された被写体像をスルー表示又はプレビュー表示する場合には表示画像の画質よりも表示速度が重視されることに着目し、これらの表示を行う場合には高感度側の画像データである第１画像データのみを用いて被写体像を表示するようにしており、これによってスルー表示又はプレビュー表示する場合における、撮像素子によって得られた画像データを用いた処理（この場合は表示処理）の処理速度を高速化できるようにしている。
【００１４】
なお、上記表示手段としては、液晶ディスプレイ、プラズマ・ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等のあらゆるディスプレイを適用することができる。
【００１５】
このように、請求項１に記載の撮像装置によれば、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、上記第１画像信号及び上記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、を備えた撮像装置において、表示手段により上記被写体像をスルー表示又はプレビュー表示する場合に上記第１画像データを用いて被写体像を表示すると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００１６】
また、請求項２記載の撮像装置は、請求項１に記載の発明において、記録メディアを装着するための装着手段と、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、前記装着手段によって装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させる配列手段と、を更に備えたものである。
【００１７】
請求項２に記載の撮像装置によれば、装着手段によって記録メディアが装着される。なお、上記記録メディアには、スマート・メディア（ＳｍａｒｔＭｅｄｉａ（Ｒ））、コンパクト・フラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＡＴＡ（ＡＴ  Ａｔｔａｃｈｍｅｎｔ）カード、フロッピィディスク、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅｃｏｒｄａｂｌｅ）、ＣＤ−ＲＷ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−ＲｅＷｒｉｔａｂｌｅ）、光磁気ディスク等の可搬記録媒体を含めることができる。
【００１８】
ここで、本発明では、配列手段により、表示手段によって被写体像がスルー表示又はプレビュー表示される場合には第１画像データ及び第２画像データが面順次に配列されると共に、装着手段によって装着された記録メディアに第１画像データ及び第２画像データが個別に記録される場合には第１画像データ及び第２画像データが点順次に配列される。
【００１９】
なお、上記面順次の配列とは、一例として図７（Ａ）に示されるように、高感度側の第１画像データ（同図では、‘Ｈ’と表記。）と低感度側の第２画像データ（同図では、‘Ｌ’と表記。）とを各画像データ毎に個別に配列するものであり、上記点順次の配列とは、一例として図７（Ｂ）に示されるように、第１画像データと第２画像データとの同一画素のデータ（同図では、‘ＨＬ’と表記。）を隣接するように配列するものである。
【００２０】
すなわち、本発明では、表示手段により被写体像をスルー表示又はプレビュー表示する場合には第１画像データのみを用いるようにしているので、第１画像データ及び第２画像データを点順次に配列するより、面順次に配列するほうが高速に第１画像データを取得することができ、この結果として被写体像をスルー表示又はプレビュー表示するための処理速度を高速化することができる。
【００２１】
一方、装着可能に構成された記録メディアに対して第１画像データ及び第２画像データを個別に記録する場合、当該記録メディアに記録された第１画像データ及び第２画像データを後から合成して用いることが考えられる。この場合、合成処理を行う際には、第１画像データと第２画像データとの同一画素のデータを抽出する必用があるため、第１画像データ及び第２画像データを面順次に配列するより、点順次に配列するほうが高速に同一画素のデータを取得することができ、この結果として合成処理の処理速度を高速化することができる。
【００２２】
このように、請求項２に記載の撮像装置によれば、表示手段により被写体像をスルー表示又はプレビュー表示する場合に第１画像データ及び第２画像データを面順次に配列させると共に、装着された記録メディアに第１画像データ及び第２画像データを個別に記録する場合には第１画像データ及び第２画像データを点順次に配列させているので、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００２３】
一方、上記目的を達成するために、請求項３記載の画像データ処理方法は、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、前記第１画像信号及び前記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、前記被写体像を表示するための表示手段と、を備えると共に、記録メディアが装着可能に構成された撮像装置の画像データ処理方法であって、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データを用いて前記被写体像を表示すると共に、他の場合には前記第１画像データ及び前記第２画像データの合成データを用いて前記被写体像を表示するものである。
【００２４】
従って、請求項３に記載の画像データ処理方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００２５】
また、請求項４記載の画像データ処理方法は、請求項３に記載の発明において、前記表示手段により前記被写体像をスルー表示又はプレビュー表示する場合に前記第１画像データ及び前記第２画像データを面順次に配列させると共に、装着された前記記録メディアに前記第１画像データ及び前記第２画像データを個別に記録する場合には前記第１画像データ及び前記第２画像データを点順次に配列させるものである。
【００２６】
従って、請求項４に記載の画像データ処理方法によれば、請求項２記載の発明と同様に作用するので、請求項２記載の発明と同様に、撮像素子によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、本発明をデジタルカメラに適用した場合について説明する。
【００２８】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、このデジタルカメラ１０には、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）３色のカラーアナログ画像信号を出力する撮像素子としてのＣＣＤ１８と、が設けられている。
【００２９】
ＣＣＤ１８には、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタルデータに変換する変換手段としてのアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２と、が順に接続されている。ここで、Ａ／Ｄ変換器２２から出力された高感度のデジタルデータ（以下、「高感度データ」という。）が本発明の第１画像データに、低感度のデジタルデータ（以下、「低感度データ」という。）が本発明の第２画像データに、各々相当する。
【００３０】
また、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動するための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、シャッタスイッチ等の各種操作スイッチにより構成されたカメラ操作部７２と、が設けられている。
【００３１】
Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データ（Ｒ、Ｇ、Ｂ信号のデジタルデータ）は、制御回路６０（詳細は後述）に入力されると共に、デジタル信号処理回路３４に入力される。デジタル信号処理回路３４は、前処理回路３６と、配列手段としてのマッピング処理回路３８と、合成処理回路４０と、Ｋｎｅｅ処理回路４２と、ホワイトバランス（ＷＢ）調整処理回路４４と、ガンマ処理回路４６と、メモリ４８と、記録制御部５０と、表示制御部５２と、を含んで構成されている。
【００３２】
前処理回路３６は、Ａ／Ｄ変換器２２から入力されたＲ、Ｇ、Ｂの高感度データ及び低感度データに対して欠陥画素補正及び黒レベルのオフセット補正を施す。また、マッピング処理回路３８は、前処理回路３６による補正後の高感度データ及び低感度データを、後述する制御回路６０からの指示に応じて面順次又は点順次に選択的に配列する。
【００３３】
合成処理回路４０は、制御回路６０から合成指示を受けた場合に、マッピング処理回路３８から入力された高感度データ及び低感度データを後述するように合成して合成データとして出力する。また、合成処理回路４０は、制御回路６０から高感度データのみの通過指示を受けた場合には、合成を行うことなく、マッピング処理回路３８から入力された高感度データのみを出力する。
【００３４】
Ｋｎｅｅ処理回路４２は、入力されたＲ、Ｇ、Ｂのデジタルデータにおける高輝度側の入出力特性を必要に応じて変更する。ＷＢ調整処理回路４４は、入力されたＲ、Ｇ、Ｂのデジタルデータの各々にゲインを乗算して増減するための３つの乗算器（図示省略）を含んで構成されており、Ｒ、Ｇ、Ｂのデジタルデータは、各乗算器にそれぞれ入力される。更に、乗算器には、ホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが制御回路６０より入力され、乗算器の各々はこれら２入力を乗算する。この乗算によりホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’のデジタルデータはガンマ処理回路４６に入力される。
【００３５】
ガンマ処理回路４６は、ホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’のデジタルデータが所定のガンマ特性となるように入出力特性を変更し、また、１０ビットの信号が８ビットの信号となるように変更し、メモリ４８に格納する。
【００３６】
また、記録制御部５０はスマートメディアとして構成された記録メディア８０をデジタルカメラ１０に装着するための役割を有するものであり、マッピング処理回路３８から出力された高感度データ及び低感度データを合成することなく個別に記録メディア８０に記録する処理（以下、「ＲＡＷデータ記録処理」という。）と、合成処理回路４０により合成されてメモリ４８に記憶された合成データを当該メモリ４８から読み出して記録メディア８０に記録する処理（以下、「合成データ記録処理」という。）と、の２種類の処理を選択的に行うことができる。なお、記録制御部５０では、このときの処理の選択を制御回路６０からの指示に応じて行う。
【００３７】
更に、表示制御部５２は、メモリ４８に記憶された合成データ、又は高感度のデジタルデータを読み出し、読み出したデジタルデータを用いた液晶ディスプレイ（以下、「ＬＣＤ」という。）８２への画像表示のための処理を行う。
【００３８】
上記構成に加え、デジタルカメラ１０は、ＣＰＵ（中央演算処理装置）６２と、ＲＯＭ６４と、ＲＡＭ６６と、を備えたマイクロ・コンピュータで構成された制御回路６０を備えている。
【００３９】
制御回路６０は、デジタルカメラ１０全体の動作を制御する。また、ＲＯＭ６４には、ＣＰＵ６２で実行される後述する画像表示処理ルーチン、画像記録処理ルーチン等の各種処理ルーチンのプログラムが記憶されている。
【００４０】
更に、デジタルカメラ１０は、被写体までの距離を検出する測距センサ３２を備えている。測距センサ３２で検出された被写体までの距離を示す信号は、制御回路６０に入力される。シャッタスイッチが半押しされると、制御回路６０により、測距センサ３２で得られた被写体までの距離に基づいてＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ、自動合焦）機能が働いて合焦制御される。
【００４１】
ここで、本実施の形態に係るＣＣＤ１８の構造について説明する。ＣＣＤ１８には、図２に示すようなハニカムＣＣＤを採用することができる。
【００４２】
このＣＣＤ１８の撮像部は、図２に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００４３】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００４４】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００４５】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００４６】
ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比較して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図２に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲ、Ｇ、Ｂ何れかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比較して低感度なＲ、Ｇ、Ｂ信号が得られる。
【００４７】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異なるように設けられている。また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。
【００４８】
以下、このような構成のデジタルカメラ１０の撮影時における作用を、このとき制御回路６０のＣＰＵ６２により実行される画像表示処理ルーチンの処理の流れを示す図３のフローチャートを参照しつつ詳細に説明する。なお、ここでは、ＬＣＤ８２によりスルー表示又はプレビュー表示を行う場合には、当該表示を指示する旨の指示入力がユーザによりカメラ操作部７２を介して行われている場合について説明する。
【００４９】
まず、光学レンズ１２、絞り１４、及びシャッタ１６を通過した被写体像を示す入射光は、ＣＣＤ１８の感度の異なる受光素子ＰＤ１及びＰＤ２の双方により受光され、被写体像を示すアナログ画像信号としてアナログ信号処理部２０に出力される。また、ユーザがデジタルカメラ１０にて被写体を撮影するためにカメラ操作部７２のシャッタスイッチを半押しすると、このとき測距センサ３２から入力された信号に基づいて被写体までの距離Ｔが導出され、駆動部２４の制御の下にＡＦ機能が働いて合焦制御される。
【００５０】
アナログ信号処理部２０は、ＣＣＤ１８から入力された高感度及び低感度の双方のアナログ画像信号に対して所定のアナログ信号処理を施す。これらのアナログ画像信号は、Ａ／Ｄ変換器２２により各々高感度データ及び低感度データに変換される。Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データは、デジタル信号処理回路３４及び制御回路６０に入力される。
【００５１】
一方、図３のステップ１００では、ユーザによりスルー表示又はプレビュー表示を指示する指示入力が行われているか否かが判定され、肯定判定の場合はステップ１０２に移行して、マッピング処理回路３８に対し、前処理回路３６から入力された高感度データ及び低感度データを面順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、一例として図７（Ａ）に示されるように、入力された各デジタルデータを面順次に配列して合成処理回路４０及び記録制御部５０へ出力する。なお、図７（Ａ）における第１画像データが本実施の形態における高感度データに、第２画像データが本実施の形態における低感度データに、各々相当する。
【００５２】
次のステップ１０４では、合成処理回路４０に対し、高感度データのみの通過指示を示す指示信号が出力され、その後に画像表示処理ルーチンが終了される。上記ステップ１０４の処理により、合成処理回路４０では、マッピング処理回路３８から入力された各デジタルデータの合成を行うことなく、高感度データのみをＫｎｅｅ処理回路４２に出力する。
【００５３】
この高感度データは、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００５４】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の高感度データを用いたＬＣＤ８２への画像表示のための処理を実行する。
【００５５】
ここで、表示制御部５２は、ユーザによりスルー表示が指示されている場合にはメモリ４８に記憶されている高感度データを所定のフレームレート（ここでは、３０フレーム／秒）で読み出し、これを用いてＬＣＤ８２に被写体像を動画表示する。
【００５６】
また、ユーザによりプレビュー表示が指示されている場合は、カメラ操作部７２のシャッタスイッチが全押しされたタイミングに同期して、メモリ４８から高感度データを読み出し、これを用いてＬＣＤ８２に被写体像を静止画表示する。ＬＣＤ８２に当該静止画が表示されると、ユーザは、当該静止画の状態を確認し、記録メディア８０に記録したいものである場合には、その旨を示す指示入力をカメラ操作部７２を介して行う。これに応じて制御回路６０では、後述する画像記録処理ルーチンを実行し、当該静止画に対応するデジタルデータを記録メディア８０に記録する。
【００５７】
一方、上記ステップ１００において否定判定された場合には、ＬＣＤ８２に対してスルー表示及びプレビュー表示以外の表示を行うものであると見なしてステップ１０６に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、一例として図７（Ｂ）に示されるように、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。なお、図７（Ｂ）における第１画像データが本実施の形態における高感度データに、第２画像データが本実施の形態における低感度データに、各々相当することは言うまでもない。
【００５８】
次のステップ１０８では、合成処理回路４０に対し、高感度データ及び低感度データの合成指示を示す指示信号が出力され、その後に画像表示処理ルーチンが終了される。
【００５９】
上記ステップ１０８の処理により、合成処理回路４０では、マッピング処理回路３８から入力された高感度データ及び低感度データを、真数加算方式を用いて次の（１）式に示すように合成する。
【００６０】
【数１】
2004166110.tif 000003
【００６１】
ここで、Ｓは、高感度信号と低感度信号の比（感度比）を示すものであり、その値は１以上となる。ｔｈは、画像形成において合成データｄａｔａの合成開始レベルを示す閾値である。また、ｈｉｇｈは、高感度データの値であり、ｗｈは、高感度データの重みを示す値である。ｌｏｗは、低感度データの値であり、ｗｌは、低感度データの重みを示す値である。なお、上記（１）式を簡略化するために、本実施の形態では、重みｗｈと重みｗｌの合計値を１とするものとされている。
【００６２】
なお、上記閾値ｔｈは、高感度データにより示される階調値が当該値未満であれば当該高感度データにより示される被写体像に白とびが発生しないと見なすことのできる値として、実際のＣＣＤ１８を用いた実験や、ＣＣＤ１８の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値等を適用する。
【００６３】
図４は、このとき、合成処理回路４０によって、被写体からの光を受光して得られた高感度データと、その高感度データに低感度データを上述のように合成して得られた合成データとの関係を示した図である。図中の細線が合成前の高感度データであり、太線が合成処理により得られた合成データである。また、被写体輝度において、Ｘ１は合成処理を行わない場合に表現可能な被写体輝度の最大値を示しており、Ｘ２は合成後に表現可能となった被写体輝度の最大値を示している。この場合の撮影対象である被写体の輝度Ｘ２はＸ１のレベルより高い。なお、本図は、Ｒ、Ｇ、Ｂ何れか１色についてのデータを示している。
【００６４】
図から明らかなように、上述した合成処理により表現可能な被写体輝度のレベルはＸ１からＸ２まで拡大されている。このため、被写体がＸ１のレベルより高い輝度を有する場合には、合成処理を施すことにより好適にダイナミックレンジが拡大され、表現可能な領域を拡大することができる。
【００６５】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００６６】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の合成データを用いたＬＣＤ８２への画像表示のための処理を実行する。
【００６７】
次に、デジタルカメラ１０の画像データ記録時における作用を、このとき制御回路６０のＣＰＵ６２により実行される画像記録処理ルーチンの処理の流れを示す図５のフローチャートを参照しつつ詳細に説明する。なお、ここでは、前述のＲＡＷデータ記録処理及び合成データ記録処理の何れの記録処理を行うのかを指示する旨の指示入力がユーザによりカメラ操作部７２を介して行われている場合について説明する。
【００６８】
図５のステップ２００では、ユーザによりＲＡＷデータ記録処理を行う指示入力が行われているか否かが判定され、肯定判定の場合はステップ２０２に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。
【００６９】
次のステップ２０４では、記録制御部５０に対してマッピング処理回路３８から入力された点順次配列とされた高感度データ及び低感度データの記録メディア８０への記録を指示する指示信号が出力され、その後に画像記録処理ルーチンが終了される。
【００７０】
上記ステップ２０４の処理により、記録制御部５０は、マッピング処理回路３８から入力された点順次配列とされた高感度データ及び低感度データの記録メディア８０への記録を行う。
【００７１】
このようにして記録メディア８０に記録された高感度データ及び低感度データは、パーソナル・コンピュータ等の情報処理装置によって読み出され、必要に応じて合成されてダイナミックレンジの拡大が図られることになるが、これらのデジタルデータは点順次の配列とされているので、高感度データと低感度データとの同一画素のデータを高速に取得することができ、この結果として合成処理の処理速度を高速化することができる。
【００７２】
一方、上記ステップ２００において否定判定された場合は、ユーザにより合成データ記録処理を行う指示入力が行われているものと見なしてステップ２０６に移行し、マッピング処理回路３８に対して前処理回路３６から入力された高感度データ及び低感度データを点順次に配列させることを指示する指示信号が出力される。これにより、マッピング処理回路３８では、入力された各デジタルデータを点順次に配列して合成処理回路４０及び記録制御部５０へ出力する。
【００７３】
次のステップ２０８では、合成処理回路４０に対し、高感度データ及び低感度データの合成指示を示す指示信号が出力される。これに応じて合成処理回路４０では、マッピング処理回路３８から入力された高感度データ及び低感度データを、前述したように、真数加算方式を用いて上記（１）式に示すように合成する。
【００７４】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、メモリ４８の所定領域に記憶される。
【００７５】
そこで、次のステップ２１０では、記録制御部５０に対してメモリ４８に記憶された合成データの記録メディア８０への記録を指示する指示信号が出力され、その後に画像記録処理ルーチンが終了される。
【００７６】
上記ステップ２１０の処理により、記録制御部５０は、メモリ４８に記憶された合成データの記録メディア８０への記録を行う。
【００７７】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０は、被写体を第１の感度で撮像して被写体像を示す高感度のアナログ画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す低感度のアナログ画像信号を出力するＣＣＤ１８と、上記高感度のアナログ画像信号及び低感度のアナログ画像信号をデジタルデータに変換して各々に対応する高感度データ及び低感度データを出力するＡ／Ｄ変換器２２と、を備え、ＬＣＤ８２により上記被写体像をスルー表示又はプレビュー表示する場合に高感度データを用いて被写体像を表示すると共に、他の場合には高感度データ及び低感度データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合におけるＣＣＤ１８によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる。
【００７８】
また、本実施の形態に係るデジタルカメラ１０は、ＬＣＤ８２により被写体像をスルー表示又はプレビュー表示する場合に高感度データ及び低感度データを面順次に配列させると共に、装着された記録メディア８０に高感度データ及び低感度データを個別に記録する場合には高感度データ及び低感度データを点順次に配列させているので、ＣＣＤ１８によって得られた画像データを用いた処理の処理速度を高速化することができる。
【００７９】
なお、本実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図６に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【００８０】
また、本実施の形態で説明した画像表示処理ルーチン及び画像記録処理ルーチン（図３及び図５参照）の処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００８１】
また、本実施の形態に係るデジタルカメラ１０の構成（図１参照）も一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００８２】
更に、本発明は上記デジタルカメラに限られるものではなく、様々な撮像装置に適用可能である。
【００８３】
【発明の効果】
以上説明した如く本発明によれば、被写体を第１の感度で撮像して被写体像を示すアナログ信号である第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示すアナログ信号である第２画像信号を出力する撮像素子と、上記第１画像信号及び上記第２画像信号をデジタルデータに変換して各々に対応する第１画像データ及び第２画像データを出力する変換手段と、を備えた撮像装置において、表示手段により上記被写体像をスルー表示又はプレビュー表示する場合に上記第１画像データを用いて被写体像を表示すると共に、他の場合には上記第１画像データ及び上記第２画像データの合成データを用いて被写体像を表示しているので、被写体像をスルー表示又はプレビュー表示する場合における撮像素子によって得られた画像データを用いた処理（表示処理）の処理速度を高速化することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】実施の形態に係るデジタルカメラで適用されているＣＣＤの構成を示す概略図である。
【図３】実施の形態に係る画像表示処理ルーチンの流れを示すフローチャートである。
【図４】合成前の高感度データと、合成処理されて得られた合成データとの関係を示すグラフである。
【図５】実施の形態に係る画像記録処理ルーチンの流れを示すフローチャートである。
【図６】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤの構成を示す概略図である。
【図７】本発明における面順次及び点順次の各配列の説明に供する模式図である。
【符号の説明】
１０    デジタルカメラ（撮像装置）
１４    絞り
１６    シャッタ
１８    ＣＣＤ（撮像素子）
２２    Ａ／Ｄ変換器（変換手段）
３８    マッピング処理回路（配列手段）
５０    記録制御部（装着手段）
８０    記録メディア
８２    液晶ディスプレイ（表示手段）
【図１】
2004166110.tif 000004
【図２】
2004166110.tif 000005
【図３】
2004166110.tif 000006
【図４】
2004166110.tif 000007
【図５】
2004166110.tif 000008
【図６】
2004166110.tif 000009
【図７】
2004166110.tif 000010