(57)【要約】【課題】広ダイナミックレンジ処理を含む信号処理において、画像信号を一時蓄積させるメモリの容量を削減することができる広ダイナミックレンジ撮像装置を提供。【解決手段】広ダイナミック撮像装置１０は、各画素のそれぞれに対応する主感光部および従感光部を含み、それぞれ得られる主感光部データおよび従感光部データに対して信号処理部３０で信号処理を行う。また、測光回路８２における分割測光の結果を用いて、システム制御部１６で被写界画面の各分割領域ごとにハイライトであるか否かを判定し、各分割領域の判定結果をその分割領域に位置する各画素のハイライト情報として適用する。この各画素のハイライト情報を信号処理部３０における信号処理に用いて、ハイライトである画素は従感光部データを画像メモリ７０に蓄積し、そうでない画素は蓄積せずに信号処理を行って、効果的な情報のみを一時蓄積してメモリの使用容量を減少することができる。【選択図】        図１
2004304256.tif 000002
【特許請求の範囲】
【請求項１】
行および列方向に配列され、撮像面を形成する各画素に対応する複数の受光部と、
該複数の受光部から得られる画像信号を信号処理する信号処理手段とを含み、前記複数の受光部は、入射光を光電変換する第１の感光部と、第１の感光部より低い感度を有する第２の感光部とを含み、
前記信号処理手段は、第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する広ダイナミックレンジ撮像装置において、該装置は、
広ダイナミックレンジ処理が必要であるか否かを判定し、各画素ごとの判定結果を得る判定手段を含み、
前記信号処理手段は、第１の画像信号を一時蓄積する第１の記憶手段および第２の画像信号を一時蓄積する第２の記憶手段を含み、
第２の記憶手段は、前記判定手段の判定結果に応じて第２の画像信号を一時蓄積することを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
請求項１に記載の広ダイナミックレンジ撮像装置において、前記信号処理手段は、第１の画像信号と第２の画像信号とを合成する合成処理手段を含むことを特徴とする広ダイナミックレンジ撮像装置。
【請求項３】
請求項２に記載の広ダイナミックレンジ撮像装置において、前記合成処理手段は、前記判定手段の判定結果に応じて、広ダイナミックレンジ処理が必要であると判定された画素では第１の画像信号と第２の画像信号とを合成して第３の画像信号を出力し、広ダイナミックレンジ処理が必要でないと判定された画素では第１の画像信号をそのまま出力することを特徴とする広ダイナミックレンジ撮像装置。
【請求項４】
請求項１ないし３のいずれかに記載の広ダイナミックレンジ撮像装置において、第２の記憶手段は、前記判定手段の判定結果に応じて、広ダイナミックレンジ処理が必要であると判定された画素のみ、第２の画像信号を一時蓄積することを特徴とする広ダイナミックレンジ撮像装置。
【請求項５】
請求項４に記載の広ダイナミックレンジ撮像装置において、前記合成処理手段は、第２の画像信号を第２の記憶手段に一時蓄積した画素では第１の画像信号と第２の画像信号とを合成して第３の画像信号を出力し、一時蓄積しない画素では第１の画像信号をそのまま出力することを特徴とする広ダイナミックレンジ撮像装置。
【請求項６】
請求項１ないし５のいずれかに記載の広ダイナミックレンジ撮像装置において、該装置は、前記撮像面を所定の区分数で複数の分割領域に分割し、被写界からの入射光量を前記複数の分割領域のそれぞれにおいて測光する分割測光手段を含み、該分割測光手段は、前記複数の分割領域ごとに測光結果を得ることを特徴とする広ダイナミックレンジ撮像装置。
【請求項７】
請求項６に記載の広ダイナミックレンジ撮像装置において、該装置は、前記所定の区分数を設定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項８】
請求項６または７に記載の広ダイナミックレンジ撮像装置において、前記分割測光手段は、前記測光結果を第１の画像信号から得ることを特徴とする広ダイナミックレンジ撮像装置。
【請求項９】
請求項６ないし８のいずれかに記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記複数の分割領域のそれぞれにおいて広ダイナミックレンジ処理が必要であるか否かを判定し、該分割領域内に位置する各画素の判定結果として得ることを特徴とする広ダイナミックレンジ撮像装置。
【請求項１０】
請求項９に記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記測光結果に応じて判定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項１１】
請求項１０に記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記測光結果がハイライトであるか否かを判定し、ハイライトである分割領域は広ダイナミックレンジ処理が必要であり、ハイライトでない分割領域は広ダイナミックレンジ処理が必要でないと判定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項１２】
請求項１１に記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記測光結果と所定の閾値とを比較してハイライトであるか否かを判定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項１３】
請求項１２に記載の広ダイナミックレンジ撮像装置において、該装置は、前記所定の閾値を設定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項１４】
請求項１０に記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記複数の分割領域のうちで、前記測光結果の測光値の大きい順に所定の領域数だけ、広ダイナミックレンジ処理が必要であると判定することを特徴とする広ダイナミックレンジ撮像装置。
【請求項１５】
請求項１０に記載の広ダイナミックレンジ撮像装置において、前記判定手段は、前記複数の分割領域のうちで、前記測光結果の測光値の大きい順に全体の３分の１の領域数だけ、広ダイナミックレンジ処理が必要であると判定することを特徴とする広ダイナミックレンジ撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各画素に主感光部および従感光部を配置して広ダイナミックレンジ処理を可能とする広ダイナミックレンジ撮像装置に関するものである。
【０００２】
【従来の技術】
通常、撮像装置は、被写界の中心部を重視して露出を合わせることで、主要被写体に露出が合うように工夫されている。たとえば、主要被写体が人物であるとき、その人物の顔に露出が合うように自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ：ＡＥ）を設計することが好ましい。しかし、広ダイナミックレンジ撮像装置では、人物の顔に合わせた露出条件下においても、主要被写体（人物）の白い服や背景の白い壁などのディテールを失わないように表現することができる。すなわち、主要被写体の明るさは変えずに（主階調を変えずに）、ハイライトディテールを再現することができる。
【０００３】
従来から、広ダイナミックレンジ撮像装置は、入射光に対する感度が異なる主感光部と従感光部とを有する固体撮像素子を用いて広ダイナミックレンジ化を実現している。このとき、主感光部は、入射光に対する感度が高い感光部であり、メリハリのある画像を形成するものである。一方、従感光部は、入射光に対する感度が低い感光部であり、通常の露光条件では白飛びしてしまう画像領域、あるいは主感光部の信号が飽和してしまう画像領域の情報まで正確に取得するものである。特許文献１に記載の固体撮像装置では、これらの２種類の感光部からの出力信号を処理することによって広ダイナミックレンジを実現している。
【０００４】
たとえば、図５において、理想的な撮像をするときの光電変換特性を示し、固体撮像素子で得られる入射光量を横軸に、またこの入射光量に応じて生成される信号電荷の量を縦軸に示す。このとき、従来の撮像装置では、入射光量がハイライト領域に達すると信号電荷の量が飽和レベルに達する曲線５０２のように変化し、ハイライト領域における信号電荷の量を測定することができない。一方、特許文献１に記載の固体撮像装置では、従感光部情報保持領域の範囲で入射光量を検出することができる従感光部を用いて広ダイナミックレンジ処理を行うため、入射光量がハイライト領域に達しても飽和しない曲線５０４のように変化し、広ダイナミックレンジで信号電荷の量を測定することができる。
【０００５】
【特許文献１】
特願２００２−０１６８３５。
【０００６】
【発明が解決しようとする課題】
上述の特許文献１に記載の固体撮像装置は、各画素が主感光部および従感光部を有し、これらの感光部からの画像信号を処理することによって広ダイナミックレンジを実現している。
【０００７】
ところで、固体撮像装置の信号処理では、画像信号を一時蓄積するメモリなどが用いられるが、このメモリの使用容量は、画素数に比例して変化するものである。たとえば、通常の信号処理では、各画素が唯一の感光部を有して画像信号を出力するため、メモリの容量は、画素数×２バイトあれば実用上十分である。
【０００８】
しかし、特許文献１に記載の固体撮像装置では、各画素が主感光部および従感光部の２つの感光部を有し、２種類の画像信号を出力するため、信号処理において、通常の２倍のメモリ容量が必要である。
【０００９】
他方、通常撮影される被写界では、ハイコントラストシーンは少なく、従感光部データが効果的に利用されないことが多い。たとえば、図５に示される範囲５１２の付近の入射光量によって、ほとんどの被写界を理想的に撮像することができるため、主感光部データだけで画像を生成することが可能である。また、ハイコントラストシーンにおいて、ハイライト領域は画枠内のごくわずかであり、全画枠に及ぶ従感光部データの中には不必要なデータが多い。したがって、有利な情報の少ない従感光部データのために主感光部データと同量のメモリを備えると無駄が多くなる。
【００１０】
本発明はこのような従来技術の欠点を解消し、広ダイナミックレンジ処理を含んだ信号処理において、各画素に配置された主感光部および従感光部から得られる画像信号を一時蓄積させるメモリの容量を削減することができる広ダイナミックレンジ撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によれば、行および列方向に配列され、撮像面を形成する各画素に対応する複数の受光部と、この複数の受光部から得られる画像信号を信号処理する信号処理手段とを含み、この複数の受光部は、入射光を光電変換する第１の感光部と、第１の感光部より低い感度を有する第２の感光部とを含み、この信号処理手段は、第１の感光部から得られる第１の画像信号、および第２の感光部から得られる第２の画像信号を信号処理する広ダイナミックレンジ撮像装置は、広ダイナミックレンジ処理が必要であるか否かを判定し、各画素ごとに判定結果を得る判定手段を含み、この信号処理手段は、第１の画像信号を一時蓄積する第１の記憶手段および第２の画像信号を一時蓄積する第２の記憶手段を含み、第２の記憶手段は、この判定手段の判定結果に応じて第２の画像信号を一時蓄積することを特徴とする。
【００１２】
【発明の実施の形態】
次に添付図面を参照して本発明による広ダイナミックレンジ撮像装置の実施例を詳細に説明する。
【００１３】
実施例の広ダイナミックレンジ撮像装置１０は、図１に示すように、光学系１２を介して撮像部２４で撮像した画像を、前処理部２６、アナログ・ディジタル（Ａ／Ｄ）変換器２８および信号処理部３０で信号処理するように、操作部１４を操作してシステム制御部１６、光学系駆動部１８、タイミング発生器２０および撮像駆動部２２で各部を制御する装置である。また、このように処理された画像は、表示部３２で表示され、または記録部３４で記録される。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。
【００１４】
また、本装置１０における測光では、光学系１２を通った入射光を測光するＴＴＬ（Ｔｈｒｏｕｇｈ  Ｔｈｅ  Ｌｅｎｓｅ）測光方式を適用しており、この入射光は撮像部２４に取り込まれ、その光量がシステム制御部１６で測定される。
【００１５】
光学系１２には、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構および自動焦点調節機構が含まれている。このレンズは、図示しない鏡筒のほぼ前面に配設された光学レンズで、複数のレンズを組み合わせて用いてもよい。絞り調節機構は、開口部の径を変化させて撮像部２４への入射光量を調整するものであり、シャッタ機構は、開口部を閉状態として光路を遮断する機械的シャッタである。ズーム機構は、レンズの配置する位置を調節してズームを行うものであり、自動焦点調節機構は、被写界と撮像装置１０との距離に応じてピント調節するものである。
【００１６】
この光学系１２は、駆動信号１１４によって制御されて、絞り調節機構、シャッタ機構、ズーム機構および自動焦点調節機構が駆動して、所望の被写界像を取り込んで撮像部２４の撮像面に入射する光入射機構である。また、測光時には、一度に測光できる幅が限られているため、たとえば、絞りや電子シャッタなどを駆動させて、数回に分けて測光データを得てもよい。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。
【００１７】
操作部１４は、操作者の指示を入力する手操作装置であり、操作者の手操作状態に応じて操作信号１０４を生成し、システム制御部１６に供給する機能を有する。たとえば、レリーズボタン（図示せず）のストローク操作に応じて、操作信号１０４をシステム制御部１６に供給する。
【００１８】
本実施例において、このレリーズボタンは、２段押し機能を備えた押しボタンである。レリーズボタンが押されていない状態では、スタンバイの状態であり、これが初期状態である。操作部１４は、第１段の半押し状態では、測光を指示し、また、第２段の全押し状態では、撮影を指示する操作信号１０４をシステム制御部１６に供給する。
【００１９】
システム制御部１６は、操作部１４から供給される操作信号１０４に応動して、本装置全体の動作を制御、統括する制御機能部である。たとえば、本実施例におけるシステム制御部１６は、操作信号１０４に応じて、制御信号１０６、１０８、１１０および１１２を生成し、それぞれ光学系駆動部１８、タイミング発生器２０、信号処理部３０および記録部３４に供給して制御する。
【００２０】
本実施例において、システム制御部１６は、図２に示すように、読み出し専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ：ＲＯＭ）８０、測光回路８２および中央演算処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：ＣＰＵ）８４を有する。たとえば、このＲＯＭ  ８０は、本装置１０の動作手順が書き込まれるものでよい。システム制御部１６は、ユーザの操作に伴って操作部１４から供給される情報、すなわち操作信号１０４とＲＯＭ  ８０が有する情報とを用いて各部の動作を制御する制御信号１０６、１０８、１１０および１１２を生成する。
【００２１】
この測光回路８２は、ＣＰＵ  ８４に制御されて、Ａ／Ｄ変換器２８より供給される測光信号１３６から被写界の輝度値を求める回路である。本実施例では、この測光信号１３６に表される画像を所定の区分数で複数の分割領域に分割して測光する分割測光方式などが有利に適用される。この所定の区分数は、１以上で画素数以下となり、また、設定可能にしてもよい。
【００２２】
本発明では特に、システム制御部１６は、広ダイナミックレンジ処理が必要であるか否かを判定する機能を有する。たとえば、上記の複数の分割領域のそれぞれにおいて、測光結果がハイライトである領域では、広ダイナミックレンジ処理が必要であり、ハイライトでない領域では当該処理が必要でないと判定する。この判定では、分割領域の測光値を所定の閾値と比較してよく、この閾値を設定可能にしてもよい。本実施例では、各分割領域の判定結果を、その分割領域に位置する各画素のそれぞれの判定結果として適用する。このシステム制御部１６は、制御信号１１０を信号処理部３０に供給して、各画素の判定結果、すなわち各画素がハイライトであるか否かを示すハイライト情報を供給する。また、ハイライト情報は、各分割領域のそれぞれがハイライトであるか否かを示すものでもよい。
【００２３】
たとえば、測光回路８２では、図３に示すように、画枠３００の全領域を、８×８に６４分割して、６４個の被写界輝度積分値が得られるように分割測光を行う。このとき、システム制御部１６において、図４に示すように、斜線で示した領域３０２および３０４で表される１４個の領域がハイライトであると判定され、その他の領域はハイライトでないと判定されるハイライト情報が得られる。
【００２４】
光学系駆動部１８は、光学系１２の駆動を制御する駆動信号１１４を発生する機能を有し、本実施例では、システム制御部１６からの制御信号１０６に応じて駆動信号１１４を生成する。
【００２５】
タイミング発生器２０は、撮像装置１０を動作させる基本クロック（システムクロック）を発生する発信機を有して、たとえば、この基本クロック１１６をシステム制御部１６に供給する。また、図１に示していないが、タイミング発生器２０は、基本クロックをほとんど全てのブロックに供給すると共に、この基本クロックを分周して様々なタイミング信号も生成する。
【００２６】
本実施例において、タイミング発生器２０では、システム制御部１６から供給される制御信号１０８に基づいてタイミング信号を生成する。たとえば、垂直同期信号、水平同期信号および電子シャッタパルスを含んだタイミング信号１１８を生成して撮像駆動部２２に供給する。また、前処理部２６には相関二重サンプリング回路用のサンプリングパルスを含んだタイミング信号１２０を供給し、Ａ／Ｄ変換器２８には変換クロック等のタイミング信号１２２を供給する。
【００２７】
撮像駆動部２２は、撮像部２４の駆動を制御する駆動信号１２４を発生する機能を有し、本実施例では、タイミング発生器２０からのタイミング信号１１８に応じて、水平駆動信号、垂直駆動信号およびオーバーフロードレインを含んだ駆動信号１２４を生成する。
【００２８】
撮像部２４は、具体的な構成は図示しないが、撮影画像の１画面を形成する撮像面および水平転送路を含み、撮像面は、複数の各画素に対応する受光部、および垂直転送路を備えている。撮像部２４は、その撮像面に結像される被写界像を電気信号１２６に光電変換する機能を有し、本実施例では、たとえば、電荷結合素子（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：ＣＣＤ）や金属酸化膜型半導体（Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＭＯＳ）等のいずれのイメージセンサでもよい。
【００２９】
この撮像面において、複数の受光部は、行方向および列方向に１つおきに位置をずらして配列する、ハニカム配列を用いるとよく、また、行方向および列方向に１つおきに位置をずらして配列してもよい。本実施例では特に、これらの受光部のそれぞれが、高感度の受光素子である主感光部、および低感度の受光素子である従感光部を備えている。主感光部および従感光部は、入射光を受光した際に、光を受光光量に応じた電気信号に光電変換する光センサであり、たとえば、フォトダイオードが用いられる。
【００３０】
本実施例の撮像部２４は、駆動信号１２４に制御されて、各感光部で光電変換によって得た信号電荷を垂直転送路に読み出し、この信号電荷を垂直方向にシフトして水平転送路に供給する。さらに、水平転送路における信号電荷を、図示しない出力回路において、アナログ電気信号１２６に変換して前処理部２６に出力する。また、駆動信号１２４が測光指示を含むとき、撮像部２４では、主感光部の信号電荷のみを読み出すようにしてもよい。
【００３１】
前処理部２６は、タイミング信号１２０に制御されて、画像を示すアナログ電気信号１２６に対して、アナログ信号処理を施す機能を有する。また、前処理部２６は、相関二重サンプリング回路（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：ＣＤＳ）および、ゲインコントロールアンプ（Ｇａｉｎ  Ｃｏｎｔｒｏｌｌｅｄ  Ａｍｐｌｉｆｅｒ：ＧＣＡ）を含み、これらの回路等によって処理されたアナログ画像信号１２８をＡ／Ｄ変換器２８に供給する。
【００３２】
Ａ／Ｄ変換器２８は、タイミング発生器２０からのタイミング信号１２２に応じて、前処理部２６から供給されるアナログ画像信号１２８の信号レベルを所定の量子化レベルにより量子化してディジタル画像信号に変換する。このとき、タイミング信号１２２が測光を指示するとき、変換したディジタル画像信号を測光信号１３６としてシステム制御部１６に供給する。一方、タイミング信号１２２が撮影を指示するとき、変換したディジタル画像信号１３０を信号処理部３０に供給する。
【００３３】
信号処理部３０では、入力のディジタル画像信号１３０に対して後述するディジタル信号処理を施す機能を有し、本実施例では、主感光部データと従感光部データとを含むディジタル画像信号１３０がＡ／Ｄ変換器２８から入力される。また、このディジタル信号処理を施されたディジタル画像信号１３２および１３４は、それぞれ表示部３２および記録部３４に供給される。
【００３４】
本実施例では、信号処理部３０は、図２に示すように構成されて、システム制御部１６から供給される制御信号１１０に応じてディジタル信号処理を行う。信号処理部３０は、画像メモリ５０および７０を有して、それぞれ主画像信号および従画像信号を一時蓄積する機能を有する。また、主画像信号を処理するホワイトバランス（ＷＢ）ゲイン部５２およびガンマ（γ）変換部５４、ならびに従画像信号を処理するＷＢゲイン部７２およびγ変換部７４を有する。さらに、主画像信号と従画像信号とを合成する画像加算部５６を有し、また、同時化処理部５８、各種補正部６０、圧縮／伸張部６２および拡大／縮小部６４において、合成後の主画像信号を処理する。なお、ＷＢゲイン部５２およびガンマ変換部５４による処理は、画像加算部５６で主画像信号および従画像信号を合成した後で行ってもよい。
【００３５】
この画像メモリ５０では、主画像信号として主感光部データを蓄積し、一方、画像メモリ７０では、従画像信号として従感光部データを蓄積する。本実施例では、画像メモリ５０は、全画素の主感光部データを蓄積し、画像メモリ７０は、制御信号１１０に含まれるハイライト情報に応じて、ハイライトである画素のみ従感光部データを蓄積するようにしてよい。たとえば、図４に示すように、斜線で示した領域３０２および３０４に位置する画素がハイライトであるとき、主感光部データは、画枠３００の全領域について蓄積されるが、従感光部データは、これらの領域３０２および３０４のみについて蓄積される。また、画像メモリ７０は、画像メモリ５０に比べて少ない記憶容量を有するように設計されてよい。
【００３６】
ＷＢゲイン部５２および７２は、それぞれ主画像信号および従画像信号のホワイトバランスを調節する機能を有し、たとえばこれらの画像信号にホワイトバランスゲインを乗じて、ホワイトバランスのとれた画像信号を出力する。
【００３７】
γ変換部５４および７４では、それぞれ主画像信号および従画像信号を、たとえば撮像部２４の階調特性に応じて補正する機能を有して、補正した画像信号を出力する。
【００３８】
画像加算部５６は、画像メモリ５０に蓄積された主画像信号、および画像メモリ７０に蓄積された従画像信号を合成する機能を有し、合成後の主画像信号を出力して画像メモリ５０に蓄積させる。本実施例では、画像加算部５６は、制御信号１１０に含まれるハイライト情報に応じて、このハイライト情報がハイライトである画素では合成処理を行い、ハイライトでない画素では合成処理を行わずに元の主画像信号をそのまま出力して画像メモリ５０に蓄積させる。また、画像メモリ７０から各画素に対応する従画像信号を取得して、従画像信号がある画素では合成処理を行い、従画像信号がない画素では合成処理を行わないようにしてもよい。
【００３９】
同時化処理部５８は、合成後の主画像信号を同時化処理する機能を有し、各種補正部６０は、この主画像信号を、たとえばシェーディング補正，白黒補正などの処理をする機能を有する。
【００４０】
圧縮／伸張部６２は、主画像信号に対して、たとえば直交変換を用いたＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部６２は、システム制御部１６の制御信号１１２により画像記録を制御されて、圧縮した画像データ１３２をカードＩ／Ｆ９０を介して情報記録媒体９２に記録する。
【００４１】
拡大／縮小部６４は、主画像信号に対して、拡大または縮小処理を施す機能を有し、表示部３２に画像信号１３０を出力する。
【００４２】
表示部３２は、信号処理部３０から供給されるディジタル画像信号１３２に基づいて画像表示する機能を有し、たとえば、液晶表示（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：  ＬＣＤ）パネルなどが用いられる。また、本実施例では、図２に示すように、拡大／縮小部６４からディジタル画像信号１３２が供給される。
【００４３】
記録部３４は、信号処理部３０からディジタル画像信号１３４を読み込んで記録する機能を有する。本実施例では、図２に示すように、カードインターフェース（Ｉ／Ｆ）９０および情報記録媒体９２を有し、圧縮／伸張部６２から供給されるディジタル画像信号１３４をカードＩ／Ｆ９０を介して情報記録媒体９２に書き込む。情報記録媒体９２は、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用い、着脱可能でもよい。
【００４４】
次に、この実施例における広ダイナミックレンジ撮像装置１０の動作を、図６の状態遷移図を参照しながら説明する。この撮像装置１０がスタンバイの状態（ステップ６００）にあるとき、操作者が操作部１４のレリーズボタンを操作すると、ステップ６０２に進み、このボタンが半押しされたかを判定する。このボタンが半押し以上押された場合、分割測光データ評価（ステップ６０４）に進み、押されていない場合、スタンバイ（ステップ６００）に戻る。また、半押しされた場合、測光を指示する操作信号１０４が操作部１４からシステム制御部１６に供給される。
【００４５】
分割測光データ評価（ステップ６０４）では、分割測光および各分割領域のそれぞれの測光値の評価が行われる。このとき、システム制御部１６において、測光指示を含む制御信号１０６および１０８が生成され、それぞれ光学系駆動部１８およびタイミング発生器２０に供給される。光学系駆動部１８では、この制御信号１０６に応じて測光指示を含む駆動信号１１４が生成され、光学系１２に供給される。タイミング発生器２０では、この制御信号１０８に応じて測光指示を含むタイミング信号１１８、１２０および１２２が生成され、それぞれ撮像駆動部２２、前処理部２６およびＡ／Ｄ変換器２８に供給される。撮像駆動部２２では、このタイミング信号１１８に応じて測光指示を含む駆動信号１２４が生成され、撮像部２４に供給される。
【００４６】
光学系１２では、被写界からの入射光１０２が撮像部２４に入射し、被写界像が撮像面に結像される。撮像部２４では、駆動信号１２４によって、撮像面上の測光に用いられる信号電荷が読み出され、これによって生じたアナログ電気信号１２６が前処理部２６に供給される。前処理部２６では、アナログ電気信号１２６は、タイミング信号１２０によって、アナログ信号処理が施され、これによって生じたアナログ画像信号１２８がＡ／Ｄ変換器２８に供給される。Ａ／Ｄ変換器２８において、アナログ画像信号１２８は、タイミング信号１２２によってディジタル画像信号に変換され、このディジタル画像信号は、タイミング信号１２２が測光も指示するので測光信号１３６としてシステム制御部１６に供給される。
【００４７】
この測光信号１３６は、システム制御部１６の測光回路８２において、所定の区分数に分割され、各分割領域の測光結果が求められる。さらに、システム制御部１６において、各分割領域ごとに測光値がハイライトであるか否かが判定され、この判定結果は、ハイライト情報としてシステム制御部１６に保持される。
【００４８】
次にステップ６０６に進み、このレリーズボタンの操作が全押しであるかが判定される。レリーズボタンが全押しである場合、主感光部データ読み出し（ステップ６０８）へと進み、全押しでない場合、スタンバイ（６００）に戻る。また、全押しされた場合、撮影を指示する操作信号１０４が操作部１４からシステム制御部１６に供給される。
【００４９】
主感光部データ読み出し（６０８）では、撮像部２４における撮像面上の全ての主感光部からデータが読み出される。このとき、システム制御部１６において、撮影指示を含む制御信号１０６、１０８および１１０が生成され、それぞれ光学系駆動部１８、タイミング発生器２０および信号処理部３０に供給される。光学系駆動部１８では、この制御信号１０６に応じて撮影指示を含む駆動信号１１４が生成され、光学系１２に供給される。タイミング発生器２０では、この制御信号１０８に応じて撮影指示を含むタイミング信号１１８、１２０および１２２が生成され、それぞれ撮像駆動部２２、前処理部２６およびＡ／Ｄ変換器２８に供給される。撮像駆動部２２では、このタイミング信号１１８に応じて撮影指示を含む駆動信号１２４が生成され、撮像部２４に供給される。
【００５０】
光学系１２では、被写界からの入射光１０２が撮像部２４に入射し、被写界像が撮像面に結像される。撮像部２４では、駆動信号１２４によって、撮像面上の主感光部の信号電荷が読み出され、これによって生じたアナログ電気信号１２６が前処理部２６に供給させる。前処理部２６において、アナログ電気信号１２６は、タイミング信号１２０によって、アナログ信号処理が施され、これによって生じたアナログ画像信号１２８がＡ／Ｄ変換器２８に供給される。Ａ／Ｄ変換器２８において、アナログ画像信号１２８は、タイミング信号１２２によってディジタル画像信号１３０に変換され、ディジタル画像信号１３０は、タイミング信号１２２が撮影も指示するので信号処理部３０に供給される。
【００５１】
次に主感光部データ書き出し（ステップ６１０）に進み、主感光部データの書き出しが行われる。このとき、ディジタル画像信号１３０は、信号処理部３０で画像メモリ５０に書き込まれる。
【００５２】
次に従感光部データ読み出し（ステップ６１２）に進み、撮像部２４における撮像面上の全ての従感光部からデータの読み出しが行われる。このとき、主感光部データ読み出し（ステップ６０８）と同様の処理が行われる。ただし、撮像部２４では、従感光部の信号電荷が読み出される。
【００５３】
次にステップ６１４において、各画素がハイライトであるかが判定される。このとき、システム制御部１６において、各画素がハイライトであるか否かを示すハイライト情報が制御信号１１０によって信号処理部３０に供給される。信号処理部３０では、各画素ごとにハイライト情報を判定し、ハイライトである場合、従感光部データ書き出し（ステップ６１６）に進み、ディジタル画像信号１３０が画像メモリ７０に書き込まれる。一方、ハイライトでない場合、従感光部データ書き出しＯｆｆ（ステップ６１８）に進み、ディジタル画像信号１３０は、画像メモリ７０に書き込まれない。このような判定が全画素に対して行われ、終了したときステップ６２０からステップ６２２に進む。
【００５４】
次のステップ６２２でも、ステップ６１４と同様に、各画素がハイライトであるかが判定される。ステップ６２２では、ハイライトである場合、広ダイナミックレンジ処理（ステップ６２４）に進み、信号処理部３０において、広ダイナミックレンジ信号処理が行われる。一方、ハイライトでない場合、信号処理部３０では、通常処理（ステップ６２６）が行われる。このような判定が全画素に対して行われ、終了したときステップ６２８からステップ６３０に進む。
【００５５】
この広ダイナミックレンジ処理（ステップ６２４）では、画像メモリ５０に含まれる主感光部データが、画像メモリ７０に含まれる従感光部データを用いて広ダイナミックレンジ信号処理される。まず、主感光部データは、ＷＢゲイン部５２およびγ変換部５４で処理され、従感光部データは、ＷＢゲイン部７２およびγ変換部７４で処理される。次に、この主感光部データは、画像加算部５６において、従感光部データと合成し、合成後の主感光部データが画像メモリ５０に蓄積される。さらに、合成後の主感光部データは、同時化処理部５８および各種補正部６０において処理されて、画像メモリ５０に蓄積される。
【００５６】
一方、通常処理（ステップ６２６）では、画像メモリ５０に含まれる主感光部データのみが、通常に信号処理される。まず、主感光部データは、ＷＢゲイン部５２およびγ変換部５４で処理される。次に、主感光部データは、対応する従感光部データがないので画像加算部５６での処理は行われず、同時化処理部５８および各種補正部６０において処理されて、画像メモリ５０に蓄積される。
【００５７】
次に、画像保存（ステップ６３０）において、信号処理を終えた画像信号は、圧縮／伸張部６２で圧縮処理される。また、このように処理された記録用画像信号１３２は、カードＩ／Ｆ９０を介して、情報記録媒体９２に記録される。本実施例では、次にスタンバイ（６００）に戻るが、たとえば、拡大／縮小部６４における処理を行い、表示部３２に表示してもよい。
【００５８】
他の実施例として、広ダイナミックレンジ撮像装置１０は、システム制御部１６における広ダイナミックレンジ処理が必要か否かの判定を、上記の実施例と異なる方法で行うことができる。このとき、システム制御部１６において、各測光結果を相互に比較し、測光値の大きい順に、所定の領域数もしくは画素数、たとえば、全領域もしくは全画素のうちで３分の１だけ広ダイナミックレンジ処理を行うようにする。この実施例では、広ダイナミックレンジ処理を行う画素数が減少するため、画像メモリ７０の記憶容量を画像メモリ５０より小さくしてよい。
【００５９】
また、他の実施例として、広ダイナミックレンジ撮像装置１０は、ステップ６０４の分割測光データ評価において、各分割領域ごとの測光値の評価を行わずに、ステップ６０８の主感光部データ読み出しにおいて、各画素の主感光部データから測光値を評価することができる。このとき、信号処理部３０において、各画素ごとにダイナミックレンジ処理が必要であるか否かを判定することができ、この判定結果に応じて従感光部データを画像メモリ７０に記憶する。また、測光回路８２では、分割測光ではなく通常の測光を行ってよい。
【００６０】
【発明の効果】
このように本発明によれば、広ダイナミックレンジ撮像装置は、広ダイナミックレンジ処理が必要な従感光部画像データのみを蓄積することによって、メモリの使用容量を減少することができる。
【００６１】
さらに、信号処理の際に、必要な従感光部画像データが蓄積された領域では、主感光部画像データおよび従感光部画像データを用いて広ダイナミックレンジ処理を行い、またそれ以外の領域では主感光部画像データのみを用いて通常の信号処理を行うことによって、効果的な情報のみを用いて広ダイナミックレンジ処理をすることができる。
【図面の簡単な説明】
【図１】本発明に係る広ダイナミックレンジ撮像装置の一実施例を示すブロック図である。
【図２】図１に示す実施例の広ダイナミックレンジ撮像装置が有する信号処理部について詳細に示すブロック図である。
【図３】図１に示す実施例の広ダイナミックレンジ撮像装置において、分割された画像の状況を示す模式図である。
【図４】図１に示す実施例の広ダイナミックレンジ撮像装置において、分割された画像の各分割領域がハイライトであるか否かを示す模式図である。
【図５】従来の固体撮像装置において、広ダイナミックレンジ処理を行う場合、および行わない場合の光電変換効率を示した図である。
【図６】図１に示す実施例の広ダイナミックレンジ撮像装置の動作例を示すフローチャートである
【符号の説明】
１０  広ダイナミックレンジ撮像装置
１２  光学系
１４  操作部
１６  システム制御部
１８  光学系駆動部
２０  タイミング発生器
２２  撮像駆動部
２４  撮像部
２６  前処理部
２８  アナログ／ディジタル変換器
３０  信号処理部
３２  表示部
３４  記録部
【図１】
2004304256.tif 000003
【図２】
2004304256.tif 000004
【図３】
2004304256.tif 000005
【図４】
2004304256.tif 000006
【図５】
2004304256.tif 000007
【図６】
2004304256.tif 000008