(57)【要約】【課題】極端にオーバー露光で撮影された高感度画像及び低感度画像からでも出力画像が破綻しない画像の合成を可能にする。【解決手段】同一被写体を撮像して得られた高感度画像と低感度画像とを合成する際に、合成モードとして低感度モードが設定されているか否かを判別する（ステップＳ１０）。低感度モードが設定されている場合には合成比テーブルとして低感度用のものを選択し、低感度モードが設定されていない場合には合成比テーブルとして通常用のものを選択する（ステップＳ１２、Ｓ１４）。そして、前記選択された合成比テーブルを使用して高感度画像と低感度画像とを合成する（ステップＳ１６）。尚、低感度用の合成比テーブルを使用して合成された画像は、低感度画像の比率が大きくなるように合成され、合成された画像に対する高感度画像の影響が少なく、高感度画像が破綻している場合に有効である。【選択図】      図５
2006180112.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体を撮像して得られた高感度画像と低感度画像とをそれぞれ入力する画像入力手段と、
前記入力した高感度画像及び低感度画像から高感度画像が支配的になる出力用の画像を生成する第１の画像生成手段と、
前記入力した高感度画像及び低感度画像から低感度画像が支配的になる出力用の画像を生成する第２の画像生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の画像生成手段は、少なくとも暗部及び中間調部分で高感度画像が支配的になる出力用の画像を生成し、前記第２の画像生成手段は、全階調にわたって低感度画像が支配的になる出力用の画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
低感度モードを手動操作によって選択するモード選択手段を備え、前記低感度モードが選択されない場合には前記第１の画像生成手段によって生成された画像を出力し、前記低感度モードが選択された場合には前記第２の画像生成手段によって生成された画像を出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
撮影条件又は前記高感度画像及び低感度画像のうちの少なくとも一方に基づいて低感度モードを自動的に選択するモード選択手段を備え、前記低感度モードが選択されない場合には前記第１の画像生成手段によって生成された画像を出力し、前記低感度モードが選択された場合には前記第２の画像生成手段によって生成された画像を出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とをそれぞれ取り出すことが可能な撮像手段と、
請求項１乃至４のいずれかに記載の画像処理装置と、を備え、
前記画像入力手段は、前記撮像手段から前記高感度画像と低感度画像とをそれぞれ入力することを特徴とする撮像装置。
【請求項６】
同一被写体を撮像して得られた高感度画像と低感度画像とをそれぞれ入力する画像入力機能と、
前記入力した高感度画像及び低感度画像から高感度画像が支配的になる出力用の画像を生成する第１の画像生成機能と、
前記入力した高感度画像及び低感度画像から低感度画像が支配的になる出力用の画像を生成する第２の画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び撮像装置並びに画像処理プログラムに係り、特に同一被写体を撮像して得られた高感度画像と低感度画像とを合成する技術に関する。
【背景技術】
【０００２】
従来、高感度画像と低感度画像とを合成し、広ダイナミックレンジ画像を作成する装置が提案されている（特許文献１、２）。
【０００３】
特許文献１には、高感度画像と低感度画像との合成比を、輝度値が０から所定の閾値までは高感度画素の比率を大きくし、かつ前記閾値に近づくにしたがって低感度画素の比率を徐々に増加させ、前記閾値を超えると、１：１にする記載がある。即ち、高感度画像と低感度画像とを合成して１枚の広ダイナミックレンジ画像を作成する場合、特許文献１に記載されているように、暗部や中間調部分はＳ／Ｎを考慮して高感度画像が支配的になるような合成比で合成している。
【０００４】
また、特許文献２には、高感度画像と低感度画像との合成比を、輝度値が０の場合には、１：０とし、輝度値が最大値の場合には、０：１とし、輝度値が０から最大値になるにしたがって、低感度画像の比率を徐々に増加するように決定する記載がある。この特許文献２に記載の撮像装置も暗部では高感度画像が支配的になるような合成比で合成している。
【特許文献１】特開２００４−２２１９２８号公報
【特許文献２】特開２００１−２３８１２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載のように暗部や中間調部分で高感度画像が支配的になるように高感度画像と低感度画像とを合成すると、明るいシーンで開放絞りを使う場合のように極端にオーバー露光で撮影された場合には、高感度画像はほとんどの画素が飽和（白飛び）してしまい、その結果、合成された広ダイナミックレンジ画像は破綻してしまうという問題がある。
【０００６】
一方、上記のようなオーバー露光が行われないようにマニュアル露出できる範囲に制限をかけると、絞り値やシャッタ速度の選択の幅が狭くなるという問題がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、極端にオーバー露光で撮影された高感度画像及び低感度画像からでも出力画像が破綻しないようにすることができる画像処理装置及び撮像装置並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために請求項１に係る画像処理装置は、同一被写体を撮像して得られた高感度画像と低感度画像とをそれぞれ入力する画像入力手段と、前記入力した高感度画像及び低感度画像から高感度画像が支配的になる出力用の画像を生成する第１の画像生成手段と、前記入力した高感度画像及び低感度画像から低感度画像が支配的になる出力用の画像を生成する第２の画像生成手段と、を備えたことを特徴としている。
【０００９】
この画像処理装置は、高感度画像と低感度画像とを合成して出力画像を生成する際に、高感度画像が支配的になる画像を生成する第１の画像生成手段の他に、低感度画像が支配的になる画像を生成する第２の画像生成手段を備えている。尚、第１の画像生成手段は、ダイナミックレンジの狭いシーンでは高感度画像のみを使用して出力用の画像を生成する場合を含み、第２の画像生成手段は、低感度画像のみを使用して出力用の画像を生成する場合を含む。
【００１０】
前記第２の画像生成手段によって生成される画像は、ノイズが若干多くなるが、極端にオーバー露光で撮影され、高感度画像が破綻している場合（高感度画像の大部分が飽和している場合）でも、その合成画像に対する高感度画像の影響が少なく、合成画像が破綻することがない。その結果、マニュアルで露出を設定する際に絞り値やシャッタ速度の選択幅が広がり、あるいは露出補正の範囲を広げることができる。
【００１１】
請求項２に示すように請求項１に記載の画像処理装置において、前記第１の画像生成手段は、少なくとも暗部及び中間調部分で高感度画像が支配的になる出力用の画像を生成し、前記第２の画像生成手段は、全階調にわたって低感度画像が支配的になる出力用の画像を生成することを特徴としている。
【００１２】
請求項３に示すように請求項１又は２に記載の画像処理装置において、低感度モードを手動操作によって選択するモード選択手段を備え、前記低感度モードが選択されない場合には前記第１の画像生成手段によって生成された画像を出力し、前記低感度モードが選択された場合には前記第２の画像生成手段によって生成された画像を出力することを特徴としている。即ち、前記第１の画像生成手段によって生成された画像を出力するか、前記第２の画像生成手段によって生成された画像を出力するかを操作者の判断で選択できるようにしている。
【００１３】
請求項４に示すように請求項１又は２に記載の画像処理装置において、 撮影条件又は前記高感度画像及び低感度画像のうちの少なくとも一方に基づいて低感度モードを自動的に選択するモード選択手段を備え、前記低感度モードが選択されない場合には前記第１の画像生成手段によって生成された画像を出力し、前記低感度モードが選択された場合には前記第２の画像生成手段によって生成された画像を出力することを特徴としている。即ち、前記モード選択手段は、非常に明るい場所で人物を撮影するシーンなどの撮影条件や、画像の白飛びしている割合などを高感度画像信号及び低感度画像信号のうちの少なくとも一方に基づいて判断して低感度モードを自動的に選択するようにしている。
【００１４】
請求項５に係る撮像装置は、ダイナミックレンジの狭い高感度画像とダイナミックレンジの広い低感度画像とをそれぞれ取り出すことが可能な撮像手段と、請求項１乃至４のいずれかに記載の画像処理装置とを備え、前記画像入力手段は、前記撮像手段から前記高感度画像と低感度画像とをそれぞれ入力することを特徴としている。
【００１５】
請求項６に係る画像処理プログラムは、同一被写体を撮像して得られた高感度画像と低感度画像とをそれぞれ入力する画像入力機能と、前記入力した高感度画像及び低感度画像から高感度画像が支配的になる出力用の画像を生成する第１の画像生成機能と、前記入力した高感度画像及び低感度画像から低感度画像が支配的になる出力用の画像を生成する第２の画像生成機能と、をコンピュータに実現させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、高感度画像と低感度画像とを合成して出力画像を生成する際に、高感度画像が支配的になるように合成することで、Ｓ／Ｎのよい画像を得ることができ、また、低感度画像が支配的になる画像も生成することができるようにしたため、極端にオーバー露光で撮影した場合（高感度画像の大部分が飽和している場合）でも、その合成画像に対する高感度画像の影響が少なく、良好な画像を得ることができる。これにより、マニュアルで露出を設定する際に絞り値やシャッタ速度の選択幅が広がり、あるいは露出補正の範囲を広げることができる。
【発明を実施するための最良の形態】
【００１７】
以下添付図面に従って本発明に係る画像処理装置及び撮像装置並びに画像処理プログラムの好ましい実施の形態について詳説する。
【００１８】
〔撮像素子の構造〕
まず、本発明に係る撮像装置に適用される撮像素子の構造について説明する。図１は本発明に係る撮像装置に用いられるＣＣＤ固体撮像素子（以下、ＣＣＤという）の一例を示す平面模式図である。
【００１９】
同図に示すように、ＣＣＤ１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。即ち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００２０】
各受光セル２０は、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、感度の高い主たる感光部（以下、「主画素」という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、感度の低い従たる感光部（以下、「副画素」という）を構成する。
【００２１】
各受光セル２０について、主画素２１と副画素２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの何れか１色の原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。
【００２２】
受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【００２３】
垂直転送路３０上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極３１とφ3 のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極３２とφ4 のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。
【００２４】
図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。
【００２５】
水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。
【００２６】
図２は主画素２１と副画素２２の光電変換特性を示すグラフである。横軸は相対的被写体輝度、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１４ビットデータを例示するが、ビット数はこれに限定されない。また、相対的被写体輝度とは、高感度画像データが飽和する時点のレベルを与える被写体輝度を１００％としたものである。
【００２７】
主画素２１の出力は、相対的被写体輝度に比例して次第に増加し、相対的被写体輝度が１００％（Ｄレンジ１００％）のときに出力が飽和値（ＱＬ値＝16383）に達する。以後、相対的被写体輝度が増加しても主画素２１の出力は一定となる。
【００２８】
一方、本例の副画素２２は、主画素２１に対して感度比１／１６、飽和比１／４となっており、相対的被写体輝度が４００％のときにＱＬ値＝4095で飽和する。
【００２９】
従って、上記主画素２１と副画素２２とを組み合わせることにより、主画素２１のみの構成よりも撮像素子のダイナミックレンジを４倍に拡大することができる。
【００３０】
尚、本例のＣＣＤ１０は、受光セル２０が２つのフォトダイオード領域２１、２２を含み、これらのフォトダイオード領域が主画素２１、及び副画素２２を構成しているが、これに限らず、主画素と副画素とが等間隔に配列されて構成された撮像素子でもよい。
【００３１】
〔撮像装置の構成例〕
次に、本発明に係る撮像装置の実施の形態について説明する。
【００３２】
図３は本発明に係る撮像装置の実施の形態を示すブロック図である。この撮像装置１００は、上述した広ダイナミックレンジ撮像用のＣＣＤ１０が搭載され、撮影時に高感度画素と低感度画素の信号を合成することで、広ダイナミックレンジの画像を撮影することができるようになっている。
【００３３】
撮像装置全体の動作は、中央処理装置（ＣＰＵ）１０２によって統括制御されている。操作部１０４は、電源スイッチ、シャッターボタン、撮影モードと再生モードとを切り換えるためのモード切替えスイッチ、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションの十字キー、及び本発明に係る低感度モード選択スイッチ等を含む。この操作部１０４からの各種の操作信号は、ＣＰＵ１０２に加えられるようになっている。
【００３４】
撮影時には、被写体を示す画像光は、撮影レンズ１０６及び絞り１０８を介して、図１で詳述した広ダイナミックレンジ撮像用のＣＣＤ１０の受光面に結像される。ＣＣＤ１０に蓄積された高感度画素２１に蓄積された信号（高感度画素フレームの信号）と、低感度画素２２に蓄積された信号（低感度画素フレームの信号）とは、ＣＣＤドライバ１１０により電圧信号として読み出される。これらの高感度画素フレームの信号と、低感度画素フレームの信号は、アナログ処理部１１２に加えられる。
【００３５】
アナログ処理部１１２は、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。アナログ処理部１１２から出力された高感度画素フレームのＲ、 Ｇ、 Ｂ信号と、低感度画素フレームのＲ、 Ｇ、 Ｂ信号は、Ａ／Ｄ変換器１１４によりデジタルの画像データ（高感度画像データ、低感度画像データ）に変換された後、メモリ（ＳＲＡＭ(Static RAM)）１１６に一時記憶される。
【００３６】
タイミングジェネレータ（ＴＧ）１１８は、ＣＰＵ１０２の指令に従ってＣＣＤドライバ１１０、アナログ処理部１１２及びＡ／Ｄ変換器１１４に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００３７】
メモリ１１６に一時的に記憶された高感度画像データ及び低感度画像データは、メモリ１１６から読み出され、信号処理部１２２に入力され、ここで高感度画像データと低感度画像データとの合成処理や、ホワイトバランス調整、ガンマ補正、Ｒ、Ｇ、Ｂデータから輝度信号Ｙ及び色差信号Ｃr 、Ｃb の生成処理（ＹＣ変換）等を行う。尚、信号処理部１２２での画像処理の詳細については、後述する。
【００３８】
ＲＯＭ１２０には、予めプログラムや調整値などが記憶されており、これらのプログラムや調整値は適宜読み出される。
【００３９】
信号処理部１２２で処理された画像データは、ビデオ・エンコーダ１２６においてエンコーディングされ、カメラ背面に設けられている液晶モニタ（ＬＣＤ）１２８に出力され、これにより被写体像がＬＣＤ１２８の表示画面上に表示される。
【００４０】
また、信号処理部１２２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、再びメモリ１１６に記憶される。メモリ１２２に記録された輝度信号Ｙ，色差信号Ｃr,Ｃｂは、圧縮伸張部１２４に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、メモリコントローラ１３０を介してメモリカード１３２に記録される。
【００４１】
〔信号処理部１２２の詳細構成例〕
図４は図３に示した信号処理部１２２の詳細な回路構成を示すブロック図である。
【００４２】
前述したようにメモリ１１６に一時記憶された高感度画像データ及び低感度画像データは、それぞれ信号処理部１２２のオフセット処理回路２００及び２０２に加えられる。高感度画像データ及び低感度画像データは、それぞれオフセット処理回路２００及び２０２においてオフセット処理が行われる。オフセット処理回路２００及び２０２からそれぞれ出力された高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データは、リニアマトリクス回路２１０及び２１２に出力され、ここでＣＣＤ１０の分光特性を補正する色調補正処理が行われる。また、高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データをメモリカード１３２に記録することもできる。
【００４３】
リニアマトリクス回路２１０及び２１２から出力された高感度画像データ及び低感度画像データは、ゲイン補正回路２２０及び２２２にそれぞれ出力される。ゲイン補正回路２２０及び２２２は、Ｒ，Ｇ，Ｂの画像データごとにそれぞれホワイトバランス調整用のゲインをかけることによりホワイトバランス調整を行う。ゲイン補正回路２２０及び２２２から出力された高感度画像データ及び低感度画像データは、それぞれ合成処理回路２３０に出力される。
【００４４】
この合成処理回路２３０は、高感度画像データと低感度画像データとを合成する際に、高感度画像が支配的（少なくとも暗部及び中間調部分で支配的）になるように合成する第１の処理回路と、低感度画像が支配的（全階調にわたって支配的）になるように合成する第２の合成処理回路との２系統の回路から構成されており、第１、第２の合成処理回路は、それぞれ高感度画像データを階調変換する高感度画像データ用の諧調変換ルックアップテーブル（ＬＵＴ）と、低感度画像データを階調変換する低感度画像データ用の諧調変換ＬＵＴと、高感度画像データ用の諧調変換ＬＵＴと低感度画像データ用の諧調変換ＬＵＴの各出力データを加算する加算回路とから構成されている。
【００４５】
尚、第１の合成処理回路の高感度画像データ用の諧調変換ＬＵＴと低感度画像データ用の諧調変換ＬＵＴと、第２の合成処理回路の高感度画像データ用の諧調変換ＬＵＴと低感度画像データ用の諧調変換ＬＵＴとは、階調変換特性が異なり、前者は合成画像中において、高感度画像が支配的に（低感度画像よりも高感度画像の合成比が大きく）なるように階調変換し、後者は合成画像中において、低感度画像が支配的に（高感度画像よりも低感度画像の合成比が大きく）なるように階調変換する。従って、後者の合成画像は、その合成画像に対する高感度画像の影響が少なく、特に高感度画像が破綻している場合（高感度画像の大部分が飽和している場合）の合成に有効である。
【００４６】
前記合成処理回路２３０にて合成された画像データの信号レベルは、輝度０から最大輝度にわたって滑らかに変化するように合成される。即ち、前述の高感度画像データ用の諧調変換ＬＵＴと低感度画像データ用の諧調変換ＬＵＴとは、両出力データの加算結果が、輝度０から最大輝度にわたって滑らかに変化するような諧調変換を行っている。
【００４７】
また、合成処理回路２３０は、ＣＰＵ１０２からの感度切替信号に応じて前記第１及び第２の合成処理回路のいずれか一方にて合成された画像データを、ガンマ補正回路２４０に出力する。ガンマ補正回路２４０は、入力された画像データを所要の入出力特性となるようにガンマ補正する。
【００４８】
ガンマ補正回路２４０によってガンマ補正されたＲ，Ｇ，Ｂの点順次の画像データは、同時化処理回路２５０に加えられる。同時化処理回路２５０は、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂ信号の空間的なズレを補間してＲ，Ｇ，Ｂ信号を同時式に変換する処理を行い、同時化したＲ，Ｇ，Ｂ信号をＲＧＢ／ＹＣ変換回路２６０に出力する。
【００４９】
ＲＧＢ／ＹＣ変換回路２６０は、Ｒ，Ｇ，Ｂ信号を輝度信号Ｙ，色差信号Ｃr,Ｃｂに変換し、輝度信号Ｙを輪郭補正回路２７０に出力し、色差信号Ｃr,Ｃｂを色差マトリクス回路２８０に出力する。輪郭補正回路２７０は、輝度信号Ｙの輪郭部（輝度変化の大きい部分）を強調する処理を行い、色差マトリクス回路２８０は、色差信号Ｃr,Ｃｂに対して所要のマトリクス変換を行って良好な色再現性を実現させる。
【００５０】
このようにして輪郭補正された輝度信号Ｙ、及び色差マトリクス変換された色差信号Ｃr,Ｃｂは、一旦メモリ１１６に保存された後、圧縮伸張部１２４によりJPEG方式に従って圧縮され、メディアコントローラ１３０を介してメモリカード１３２に記録される。
【００５１】
図５は前記合成処理の流れを示すフローチャートである。同図において、ＣＰＵ１０２は、操作部１０４において、低感度モード選択スイッチがＯＮされているか否かによって低感度モードか否かを判別し（ステップＳ１０）、その判別結果に応じて感度切替信号を合成処理回路２３０に出力する。即ち、ＣＰＵ１０２は、合成処理回路２３０において、低感度モード選択スイッチがＯＮされている場合には、合成比テーブルとして低感度用の階調変換ＬＵＴ（第２の合成処理回路）を選択させ（ステップＳ１２）、低感度モード選択スイッチがＯＦＦされている場合には、合成比テーブルとして通常使用される高感度用の階調変換ＬＵＴ（第１の合成処理回路）を選択させる（ステップＳ１４）。
【００５２】
合成処理回路２３０は、前記選択された合成比テーブルを使用して（即ち、第１の合成処理回路又は第２の合成処理回路）にて合成し、その合成した画像を出力する（ステップＳ１６）。
【００５３】
尚、合成処理回路２３０の第１の合成処理回路は、複数のダイナミックレンジ（例えば、１００％、２００、３００％、４００％）にそれぞれ対応する一対の諧調変換ＬＵＴ（高感度画像データ用と低感度画像データ用の諧調変換ＬＵＴ）を有し、ＣＰＵ１０２からのダイナミックレンジ選択指令によっていずれか一対の諧調変換ＬＵＴを使用して合成してもよい。また、ダイナミックレンジ１００％の場合には、高感度画像データのみから出力画像データを生成するようにしてもよい。ダイナミックレンジの選択は、撮影者がマニュアル操作で行ってもよいし、撮像装置が低感度画像データのレベルから自動的に判別するようにしてもよい。
【００５４】
一方、合成処理回路２３０の第２の合成処理回路は、低感度画像データのみから出力画像データを生成するようにしてもよい。
【００５５】
尚、この実施の形態では、低感度モード選択スイッチが設けられているが、メニュー画面にて低感度モードのＯＮ／ＯＦＦを選択するようにしてもよい。また、マニュアル操作で低感度モードを設定する場合に限らず、撮影条件や高感度画像等に基づいて撮像装置が低感度モードを自動的に設定するようにしてもよい。例えば、非常に明るい場所で人物を撮影するシーンが被写体輝度情報や人物を撮影するための撮影モードである人物モードから判断された場合、マニュアル露出設定で極端なオーバー露出が設定された場合、露出オーバー側に大きく露出補正された場合など、このような特定の撮影条件下での撮影時には低感度モードに自動的に設定する。また、撮影後の高感度画像データを解析し、飽和している高感度画像データの割合が非常に高い場合などに低感度モードを自動的に設定するようにしてもよい。
【００５６】
また、この実施の形態では、本発明を撮像装置に適用した場合について説明したが、高感度ＲＡＷ画像データ及び低感度ＲＡＷ画像データをメモリカード等を介して入力し、図４に示した画像処理と等価の処理をソフトウエアで行うパーソナルコンピュータにも適用することができる。
【図面の簡単な説明】
【００５７】
【図１】図１は本発明に係る撮像装置に用いられるＣＣＤの一例を示す平面模式図である。
【図２】図２は前記ＣＣＤの主画素と副画素の光電変換特性を示すグラフである。
【図３】図３は本発明に係る撮像装置の実施の形態を示すブロック図である。
【図４】図４は図３に示した信号処理部の詳細な回路構成を示すブロック図である。
【図５】図５は本発明に係る合成処理の流れを示すフローチャートである。
【符号の説明】
【００５８】
１０…ＣＣＤ、２０…受光セル、２１…ＰＤ領域（高感度画素）、２２…ＰＤ領域（低感度画素）、１００…撮像装置、１０２…中央処理装置（ＣＰＵ）、１０４…操作部、１０６…撮影レンズ、１１０…ＣＣＤドライバ、１１２…アナログ処理部、１１４…Ａ／Ｄ変換器、１１６…メモリ（ＳＲＡＭ）、１２２…信号処理部、１２６…ビデオエンコーダ、１２８…液晶モニタ（ＬＣＤ）、１３０…メディアコントローラ、１３２…メモリカード、２３０…合成処理回路
【図１】
2006180112.tif 000003
【図２】
2006180112.tif 000004
【図３】
2006180112.tif 000005
【図４】
2006180112.tif 000006
【図５】
2006180112.tif 000007