(57)【要約】【課題】  露光量の異なる複数画面分の画像信号を合成して広ダイナミックレンジ合成画像を生成する機能を備えた撮像装置において、視覚的な方法で合成画像のダイナミックレンジを自由に設定可能にする。【解決手段】  複数の異なる露光量で同一被写体を撮影し、露光量の異なる複数画面分の画像信号を生成可能な撮像手段と、該撮像手段により得られた露光量の異なる複数画面分の画像信号を合成して広ダイナミックレンジ合成画像を生成する手段を備えた撮像装置において、表示した画像の所望の複数の領域を指定する手段と、該指定手段で指定された領域の輝度情報を取得する手段と、取得された複数の輝度情報より最明部輝度情報と最暗部輝度情報とを取得する手段と、取得された最明部輝度情報と最暗部輝度情報が広ダイナミックレンジ合成画像生成時にそれぞれ適正な輝度レベルとなるように前記複数の画像の露光量を調整する手段とを備えて構成する。【選択図】        図23
2008178147.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる露光量で同一被写体を撮影し、露光量の異なる複数画面分の画像信号を生成可能な撮像手段と、該撮像手段により得られた露光量の異なる複数画面分の画像信号を合成して広ダイナミックレンジ合成画像を生成する手段を備えた撮像装置において、表示した画像の所望の複数の領域を指定する手段と、該指定手段で指定された領域の輝度情報を取得する手段と、取得された複数の輝度情報より最明部輝度情報と最暗部輝度情報とを取得する手段と、取得された最明部輝度情報と最暗部輝度情報が広ダイナミックレンジ合成画像生成時にそれぞれ適正な輝度レベルとなるように前記複数の画像の露光量を調整する手段とを備えていることを特徴とする撮像装置。
【請求項２】
前記画像の複数の所望領域の指定手段は、予め設定された狭領域の枠部を画像上の目標被写体にセットしてロックすることによりマーキングする手段で構成されていることを特徴とする請求項１に係る撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像素子から露光量の異なる複数画面分の画像信号を出力させ、合成処理を行うことにより広ダイナミックレンジ合成画像を得る機能を備えた撮像装置に関する。
【背景技術】
【０００２】
一般に、テレビカメラ、ビデオカメラ、デジタルカメラ等の撮像装置においては、ＣＣＤ撮像素子等の固体撮像素子が用いられているが、固体撮像素子のダイナミックレンジは銀塩写真フィルムに比べ極めて狭いという問題点がある。
【０００３】
従来、この問題点を解消するため、単一の撮像素子から露光量の異なる２画面分の画像信号を読み出し、合成を行うことによって拡大されたダイナミックレンジを有する画像を得る手法が提案されており、例えば、特許第２５２２０１５号公報には、次のような構成の撮像装置について開示がなされている。すなわち、被写体像を電気信号に変換する撮像手段と、該撮像手段の蓄積時間を周期的に変化させることにより露光量の異なる画像を連続して周期的に出力させ、前記撮像手段から出力される露光量の異なる複数の画面の各部分の信号レベルをそれぞれ所定の基準値と比較することにより適正レベルの画面部分を合成して前記所定周期の合成画面を形成する第１のモードと、前記撮像手段の蓄積時間を一定にして出力させる第２のモードとを選択的に実行する撮像制御手段と、前記第２のモードにおいて前記撮像手段から得られる信号を所定のレベルと比較することによって画面内に輝度差の大きい被写体が存在することが検出された場合に前記撮像制御手段を第１のモードに切り換える切り換え制御手段とを備え、第１のモードでは画面のどの部分も適正な信号レベルとなった画像を得ることができ、例えば逆光状態のように、画面内に輝度差の大きな被写体が存在する場合であっても、画面内に白とび等が発生せず、実質的にダイナミックレンジを広くすることができ、また、切り換え制御手段により、操作者が被写体の条件等を判断しなくても、第２のモードで画面内に輝度差の大きな被写体が存在する場合には自動的に第１のモードに切り換わり、自動的に逆光等を補正できるようにした撮像装置について開示がなされている。
【特許文献１】特許第２５２２０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許第２５２２０１５号公報開示の撮像装置においては、第２のモードにおいて得られる画面内に輝度差の大きい被写体が存在することが検出された場合、自動的に広ダイナミックレンジ合成画像を生成する第１のモードへ切り換えを行うようになっており、自動的に広ダイナミックレンジ合成画像を生成させない通常の撮影モードとか、あるいは強制的に広ダイナミックレンジ合成画像を生成させる撮影モードが考慮されておらず、操作性がよくないという問題点がある。また、上記公報開示の撮影装置においては、広ダイナミックレンジ合成画像の生成処理のＯＮ／ＯＦＦ状態を表示する手段が設けられておらず、合成画像のＯＮ／ＯＦＦ切換状態の識別が難しいという問題点もある。
【０００５】
本願請求項１に係る発明は、視覚的な方法で合成画像のダイナミックレンジを自由に設定することができる撮像装置を提供することを目的とする。請求項２に係る発明は、合成画像のダイナミックレンジ範囲に入れたい被写体領域を容易に指定できるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に係る発明は、複数の異なる露光量で同一被写体を撮影し、露光量の異なる複数画面分の画像信号を生成可能な撮像手段と、該撮像手段により得られた露光量の異なる複数画面分の画像信号を合成して広ダイナミックレンジ合成画像を生成する手段を備えた撮像装置において、表示した画像の所望の複数の領域を指定する手段と、該指定手段で指定された領域の輝度情報を取得する手段と、取得された複数の輝度情報より最明部輝度情報と最暗部輝度情報とを取得する手段と、取得された最明部輝度情報と最暗部輝度情報が広ダイナミックレンジ合成画像生成時にそれぞれ適正な輝度レベルとなるように前記複数の画像の露光量を調整する手段とを備えていることを特徴とするものである。
【０００７】
請求項２に係る発明は、請求項１に係る撮像装置において、前記画像の複数の所望領域の指定手段は、予め設定された狭領域の枠部を画像上の目標被写体にセットしてロックすることによりマーキングする手段で構成されていることを特徴とするものである。
【発明の効果】
【０００８】
請求項１に係る発明によれば、指定された所望領域の最明部輝度情報と最暗部輝度情報が広ダイナミックレンジ合成画像生成時にそれぞれ適正な輝度レベルとなるように、複数の画像の露光量を調整するようにしているので、視覚的な方法で合成画像のダイナミックレンジを自由に設定することが可能となる。また請求項２に係る発明によれば、指定手段を上記のように構成することにより、合成画像のダイナミックレンジ内に含めたい被写体領域を容易に指定することができる。
【発明を実施するための最良の形態】
【０００９】
次に、本発明を実施するための最良の形態について説明する。
【実施例】
【００１０】
次に、発明の実施の形態について説明する。まず、本発明を適用した撮像装置（デジタルカメラ）の実施例の電気的な全体構成を、図１に示すブロック構成図に基づいて説明する。図１において、１は光信号を電気的な信号に光電変換する単板カラーＣＣＤ撮像素子で、電子シャッタ機能をもつものであり、該ＣＣＤ撮像素子１には、レンズ２及び絞り・シャッタ機構３を通って、被写体が入力されるようになっている。ＣＣＤ撮像素子１の出力は、相関二重サンプリング回路等でノイズを除去されたのちアンプ４で増幅される。５はアナログデータであるアンプ４の出力をデジタルデータに変換するＡ／Ｄ変換器で、６はＣＣＤ撮像素子１からの信号を画像データとして処理するカメラ信号処理回路である。７は、本来の撮影に先立ってＣＣＤ撮像素子１からの撮像信号等を用いて、フォーカスを制御するＡＦ（オートフォーカス）情報を取り出すＡＦ検波回路、露出を制御するＡＥ（オートエクスポージァ）情報を取り出すＡＥ検波回路及びホワイトバランスを設定するＡＷＢ（オートホワイトバランス）情報を取り出すＡＷＢ検波回路であり、このＡＦ，ＡＥ，ＡＷＢ検波回路７からの出力信号はＣＰＵ８を介して、レンズ２へＡＦ情報を、絞り・シャッタ機構３へＡＥ情報を、カメラ信号処理回路６へＡＷＢ情報を与えるようになっている。
【００１１】
９はデータ量を圧縮処理する圧縮回路（ＪＰＥＧ）で、該圧縮回路９で圧縮処理された画像データが、メモリカードＩ／Ｆ14を介してメモリカード15へ記録されるようになっている。10はメモリコントローラで、11はＤＲＡＭであり、これらは画像データの色処理等を行う際に作業用メモリとして用いられるものである。12は表示回路で、13はＬＣＤ表示部であり、これらは例えばメモリカード15に記録されたデータを読み出し表示させたりして、撮影状態の確認などに用いられる。16はメモリカード15に記録されているデータをパソコン17へ転送するために用いるパソコンＩ／Ｆである。なお、図１において、18はＣＣＤ撮像素子１を駆動するタイミングパルスを発生するタイミングジェネレータであり、ＣＰＵ８の制御に従ってＣＣＤ撮像素子１を駆動するものである。19はストロボ機構で、本来の撮影に先立って得られるＡＥ情報により、ＣＰＵ８を介して制御され、ストロボ発光をする／しないの制御及びストロボ発光の光量制御が行われる。20はＣＰＵの入力キーで、各種撮影モードや撮影条件の設定、各種スイッチの駆動等が行えるようになっている。
【００１２】
次に、本実施例に係る撮像装置の外観構成を、図２に示した撮影者方向から見た外観図に基づいて説明する。本実施の形態においては、装置本体が前カバー21と後カバー22の２つの外装部材によって構成されている。そして、前カバー21の前面には、撮影レンズ23，上面には回動式のストロボ24がそれぞれ配設されており、図２においては、ストロボ24は使用しない状態を示している。また前カバー21の上面には、装置の電源をＯＮ／ＯＦＦする電源スイッチボタン25が設けられており、この電源スイッチボタン25を押すことにより、内部に配置された電源スイッチが動作し、これに応じてＣＰＵ８が電源のＯＮ／ＯＦＦを制御するようになっている。
【００１３】
電源スイッチボタン25の周囲には、回動操作される円環状のＲ／Ｐ切換スイッチボタン26が設けられている。このＲ／Ｐ切換スイッチボタン26は記録と再生を切り換えるもので、電源スイッチボタン25を中心にして回動させて、内部に配置されているＲ／Ｐスイッチを動作させることによって、記録再生モードの切り換えの制御を行うようになっている。また前カバー21の上面右端にはレリーズボタン27が設けられており、記録時にこのレリーズボタン27を押すことにより、内部のレリーズスイッチがＯＮになり、被写体像がメモリカード15に記録されるようになっている。レリーズボタン27の周囲にはズームノブ28が設けられており、該ズームノブ28はレリーズボタン27を中心にして回動するように構成されている。ズームノブ28を時計方向、若しくは反時計方向に回動すると、あらかじめ設定された方向に応じて、ズームスイッチにより撮影レンズ23内のズームフォーカス機構が連動制御されて、撮影像が拡大・縮小される。
【００１４】
後カバー22の左端上部に撮影像の確認用の光学ファインダの接眼部29が配置されており、該ファインダ接眼部29の右方向の後カバー22の上面傾斜部に沿って、４つのモード設定ボタン30が並んで配置されている。このモード設定ボタン30は、撮影モード、ストロボのＯＮ／ＯＦＦや強制発光又は記録時の圧縮率あるいはシャッタースピード等を設定するために利用されるもので、内部にそれぞれ対応したモードスイッチが配置されている。ファインダ接眼部29の下方の後カバー背面部には、画像ＬＣＤ表示部（カラー液晶表示部）31が配置されており、この画像ＬＣＤ表示部31には記録された被写体像等が表示され、撮影後の画像等の確認に利用される。また、この画像ＬＣＤ表示部31には、画像以外の画像記録時の付帯情報、例えば撮影モード、各種撮影条件や、更には記録年月日時刻とかコマ番号等の表示のＯＮ／ＯＦＦも可能になっている。そして、画像ＬＣＤ表示部31の右側部には縦方向に４つのメニュー設定ボタン32が配列されており、これらのボタンは上からメニューボタン、＋ボタン、−ボタン、OKボタンとなっている。なお、上記電源スイッチボタン25、Ｒ／Ｐ切換スイッチボタン26、レリーズボタン27、モード設定ボタン30及びメニュー設定ボタン32等は、図１の入力キー20に対応するものである。
【００１５】
図２において、この実施例に係る撮像装置の右側部分が、撮影時に右手で把持する、いわゆるグリップ部に相当する把持部33である。この把持部33の手前側コーナー部にメモリカード用蓋34が配置されており、該メモリカード用蓋34に隣接して電池蓋35が配置されている。また、前カバー21の上面のレリーズボタン27の近傍には各種情報表示用ＬＣＤ36が配置されている。
【００１６】
次に、上記構成の撮像装置の記録動作について、本発明に関連する第１の参照例として説明する。まず、電源スイッチボタン25を押して電源を投入し、Ｒ／Ｐ切換スイッチボタン26で記録モードを設定し、次いで、モード設定ボタン30で撮影モードの設定を行う。本参照例においては、撮影モードとしては、通常のＡＥ情報に基づく１回の撮影で１画面分の撮像信号を得る通常撮影モードと、異なる露光量で同一被写体を２回撮影し、露光量の異なる２画面分の画像信号を生成し、合成処理を行って広ダイナミックレンジ（以下、ＳＬ：Super Latitudeと略称する）合成画像を得るＳＬ撮影のＯＮ／ＯＦＦ制御を、撮影済みの２画面分の画像情報、撮影前に得られる各種情報、撮影前のカメラ設定情報等に基づいて自動的に行う自動ＳＬ撮影モードと、上記ＳＬ撮影を強制的に行わせる強制ＳＬ撮影モードとを、入力キー20すなわちモード設定ボタン30で選択設定できるようになっており、そのモードの入力設定によりＣＰＵ８が撮影モードを切り換えるようになっている。
【００１７】
ＳＬ撮影を行わない通常撮影モードを設定した場合は、通常のＡＥ情報に基づいて１回の撮影で得られた撮像信号をＡ／Ｄ変換器５でディジタル信号に変換し、カメラ信号処理回路６により所定の信号処理を受け、次いで圧縮回路９において圧縮処理されて、メモリカード15へ記録される。
【００１８】
一方、自動ＳＬ撮影モードに設定した時には、撮影済みの異なる露光量の２画面分の画像信号から得られる情報、例えば被写体の動きに基づいて自動的にＳＬ合成画像の生成処理をＯＮ／ＯＦＦさせる場合には、図３に示すような構成のカメラ信号処理回路を用いて、自動ＳＬ合成画像の生成処理を行う。
【００１９】
図３において、６−１は短時間露光画像データを記憶するＳＥメモリ、６−２は長時間露光画像データを記憶するＬＥメモリ、６−３は短時間露光画像と長時間露光画像の露光量比Ａ（＝ＬＥ／ＳＥ）を、ＳＥメモリ６−１より読み出された短時間露光画像データに乗算する乗算器、６−４は乗算処理された短時間露光画像データとＬＥメモリ６−２より読み出された長時間露光画像データとから広ダイナミックレンジ合成画像を合成して形成する合成回路、６−５は合成回路６−４で得られたＳＬ合成画像を圧縮処理する圧縮回路、６−６はＬＥメモリ６−２から読み出された長時間露光画像データに対してγ補正、エッジ強調等の処理を行う信号処理回路、６−７はＣＰＵ８からの制御信号により合成回路６−４からのＳＬ合成画像と、信号処理回路６−６で信号処理された長時間露光画像データとを切り換え出力するセレクタである。また、８ＡはＳＥメモリ６−１及びＬＥメモリ６−２から読み出された短時間露光画像データと長時間露光画像データとに基づいて被写体の動きを検出する、ＣＰＵ８に内蔵されている動き検出部で、該動き検出部８Ａの出力に基づいて、前記セレクタ６−７を切り換え制御するようになっている。
【００２０】
次に、このように構成されているカメラ信号処理回路６の動作について説明する。まず、ＣＣＤ撮像素子１で撮影された同一被写体の短時間露光画像データと長時間露光画像データとをＳＥメモリ６−１とＬＥメモリ６−２に一旦記憶させ、次いで両方のメモリ６−１，６−２よりＣＰＵ８へ画像データを送り込み、露光量の異なる２つの画像データに基づいて動き検出部８Ａで被写体の動きを検出する。動き検出部８Ａで動きが検出されないときは、ＣＰＵ８により制御されるセレクタ６−７を介して、両メモリ６−１，６−２から読み出された画像データに基づいて合成回路６−４で合成処理され圧縮回路６−５で圧縮処理された広ダイナミックレンジ合成画像が出力される。一方、動きが検出された場合は合成画像の出力をＯＦＦとし、ＬＥメモリ６−２から読み出され信号処理回路６−６で信号処理された長時間露光画像データが、セレクタ６−７を介して出力される。これにより、撮影済みの画像データに基づいて動きを検出し、異なる露光量での２枚の画像の撮影時に被写体が動いた場合には、破綻した合成画像が出力されるのを防止することができる。
【００２１】
また、撮影前に得られる情報、例えば外部ＡＦ回路を設け、該外部ＡＦ回路からのＡＦ信号に基づいて被写体の動きを検出し、自動的にＳＬ合成画像の生成処理のＯＮ／ＯＦＦ切り換えを行う場合には、図４に示すような構成のカメラ信号処理回路を用いて、自動ＳＬ合成画像の生成処理を行う。
【００２２】
この場合のカメラ信号処理回路６′は、図４に示すように、フレームメモリとして短時間露光画像データを記憶するＳＥメモリ６−１のみを備え、短時間露光画像データをＳＥメモリ６−１に取り込み、長時間露光画像データとタイミングを合わせて、ＳＥメモリ６−１より短時間露光画像データを読み出し、露光量比に基づく乗算処理を行ったのち合成回路６−４で合成処理を行い圧縮回路６−５で圧縮処理を行うように構成されている。そして、外部ＡＦ回路39からのＡＦ信号に基づいてＣＰＵ内蔵の動き検出部８Ｂで被写体の動きを検出し、動きが検出されない場合は、カメラ信号信号処理回路６′でセレクタ６−７を予め切り換え、合成圧縮処理された広ダイナミックレンジ合成画像を出力し、一方、動きが検出されたときは、セレクタ６−７を予め切り換え、２回目のＡＦ情報で撮影された長時間露光画像データを出力させ、動きにより破綻した合成画像が出力されるのを防止するようにしている。
【００２３】
また、強制ＳＬ撮影モードに設定した場合は、例えば図３に示したカメラ信号処理回路を用い、常にセレクタ６−７からＳＬ合成処理画像が出力されるようにＣＰＵ８で制御することにより、強制ＳＬ撮影モードが実行される。
【００２４】
また、この参照例において、上記各撮影モードが選択設定された場合には、ＬＣＤ表示部31（13）等に各撮影モードによる画像と共に、設定された撮影モードの表示が行われるように構成されている。すなわち、Ｒ／Ｐ切換スイッチボタン26で記録モードが設定されると、撮影モード表示部にはもとの（直前）の撮影モードの表示が行われ、新たにモード設定ボタン30で撮影モードの設定が行われると、新たな設定撮影モードの表示がなされるようになっている。ＬＣＤ表示部31への撮影モードの表示態様としては、ＳＬ撮影を行わない通常撮影モードの設定の場合には、図５の（Ａ）に示すようにＳＬ−ＯＦＦの表示を行い、強制ＳＬ撮影モードの設定時には図５の（Ｂ）に示すようにＳＬ−ＯＮの表示を行い、また自動ＳＬ撮影モードの設定時にはＳＬ−ＡＵＴＯの表示を行う。また、自動ＳＬ撮影モード設定時にはＳＬ撮影が実行される場合と、ＳＬ撮影が実行されず通常撮影が実行される場合とがあるので、その表示を例えばＳＬ−ＡＵＴＯ−ＯＮ，ＳＬ−ＡＵＴＯ−ＯＦＦなどのように表示するとよい。また、図５の（Ａ），（Ｂ）において、41はバーグラフで表したダイナミックレンジ（Ｄレンジ）を示しており、強制ＳＬ撮影モード（ＳＬ−ＯＮ）のときは通常撮影モード（ＳＬ−ＯＦＦ）のときの２倍になっていることを示している。なお、各撮影モードにおける画像上への各撮影モードの表示は、表示又は消去のＯＮ／ＯＦＦ切り換えが行えるようになっている。
【００２５】
なお、上記参照例において、上記各撮影モードはモード設定ボタン30で設定するようにしたものを示したが、例えば図６に示すように、３段階のスライド式のスイッチを入力キーの一つとして設け、各撮影モードを設定するようにしてもよい。図６の（Ａ）は強制ＳＬ撮影モードの設定状態、図６の（Ｂ）は自動ＳＬ撮影モードの設定状態、図６の（Ｃ）は通常撮影モードの設定状態をそれぞれ示している。
【００２６】
また、上記参照例では、通常撮影モード、自動ＳＬ撮影モード、強制ＳＬ撮影モードの３つの撮影モードを設定できるようにしたものを示したが、通常撮影モードと自動ＳＬ撮影モード、自動ＳＬ撮影モードと強制ＳＬ撮影モード、あるいは通常撮影モードと強制ＳＬ撮影モードの組み合わせで設定するように構成することも可能である。
【００２７】
更に、複数のモードのうち１つのモード、例えば通常撮影モード（ＳＬ−ＯＦＦ）の状態を非表示で示し、他のモードをＳＬ−ＯＮ又はＳＬ−ＡＵＴＯなどの表示で示して、選択状態を知らせることも可能である。
【００２８】
次に、本発明に関連する第２の参照例について説明する。本発明はＳＬ撮影機能を備えた撮像装置を前提とするものであるが、ＳＬ撮影を行うには、ＳＬ撮影に関する各種情報に基づいて、ＳＬ撮影に適するか否かを自動的に判断が行われ、あるいはマニュアルで判断を行って、ＳＬ撮影のＯＮ／ＯＦＦ切り換えを決定するようになっており、第２の参照例は、これらのＳＬ撮影に関する情報をＬＣＤ表示部等に表示させるように構成するものである。このように、ＳＬ撮影に関する各情報について、それぞれどの程度であるかを情報パラメータとして表示部に表示してやることにより、自動ＳＬ撮影モードの場合には、各種情報のどのような状態によりＳＬ撮影のＯＮ／ＯＦＦ切り換えがなされているのかを認識することができ、また手動でＳＬ撮影を設定する場合は、それらのＳＬ撮影に関する情報に基づいて適確にＳＬ撮影のＯＮ／ＯＦＦ切換設定を行うことが可能となる。
【００２９】
ＳＬ撮影に関し、その適否の判断情報としては次のようなものがある。まず、撮影済みの画像データに基づくＳＬ撮影に関する情報としては、先に第１の実施の形態において述べた被写体の動き情報がある。被写体に動きがある場合には、ＳＬ合成画像が破綻してしまうので、ＳＬ合成画像のＯＮ／ＯＦＦ切り換えの重要な情報となる。よって、動きの有無をＳＬ撮影に関する適否の判断情報として表示する。また、被写体の動きに関しては、動き量が補正許容範囲内であると補正可能であるので、動きの有無に合わせて動き量を判断情報として表示する。このように、撮影済みの画像データからＳＬ撮影のＯＮ／ＯＦＦ切換情報を得ることにより、精度のよい判断情報が得られる。
【００３０】
次に、撮影前に得られるＳＬ撮影に関する適否の判断情報としては、外部ＡＦ回路あるいは外部ＡＥ回路からのＡＦあるいはＡＥ信号に基づいて得られる被写体の動き情報や、加速度センサなどからなる手ぶれ検出回路からの検出信号に基づく手ぶれ情報などがある。手ぶれが発生した場合に合成処理を行うと不適正な合成画像となるので、撮影の撮り直しを行うよう表示するのが有効である。また撮影前に予めＣＣＤ撮像素子からの画像データに基づいて得られるＡＥ情報、あるいは外部ＡＥ回路から得られるＡＥ情報から被写体が逆光の状態にあることが検出されたとき、逆光状態時には画像データは広ダイナミックレンジであることが多いため、ＳＬ撮影を行ってＳＬ合成画像を生成した方がよい。したがって、逆光情報を表示させることも有効である。また、被写体の明るさに関する情報である、ダイナミックレンジ、輝度差、輝度のヒストグラム等はやはりＳＬ撮影情報として有効なものであるので、表示するようにする。
【００３１】
また、撮影前にカメラへ設定する撮影条件等のＳＬ撮影に関する適否判断情報としてのカメラ設定情報としては、まずストロボ発光モード情報がある。ストロボモードの撮影時には被写体が動いている場合でも、ストロボ発光させて短時間で露光量の異なる２回の撮影を行うことにより、被写体の動きを実質的に止めることができ、破綻のないＳＬ合成画像を得ることが可能となるので、ＳＬ撮影条件としてストロボ発光モードは有効な情報であり、表示するようにする。次に、ＳＬ撮影情報として有効なものには、シャッタ速がある。シャッタ速が遅いと被写体の動きが大となるため、ＳＬ撮影には適さず、シャッタ速が高速であると被写体の動きを低減でき、ＳＬ撮影に適するようになる。したがって、シャッタ速はＳＬ撮影情報として有効な情報であり表示するようにする。また、露出設定に際して、例えばユーザがスポット測光を行う場合、通常は逆光であるためスポット測光を行って撮影をしようとするケースが多いと考えられるので、スポット測光モードを設定したときはＳＬ撮影を行うのが適切である。したがって、スポット測光モードはＳＬ撮影のための有効な情報であり、表示するようにする。
【００３２】
また、連写機能付のカメラにおいては、連写モードではＳＬ撮影はできないので、ＳＬ撮影はＯＦＦに切り換えなければならない。また風景（遠景）撮影モードのときは動きは余りないと考えられるので、このモードを設定したときにはＳＬ撮影をＯＮとした方がよい。またスポーツ撮影モードのときは被写体の動きが大きいと考えられるので、このモード設定時にはＳＬ撮影をＯＦＦとした方がよい。またマクロストロボ撮影モード設定の場合は、ストロボモードと同様にＳＬ撮影が適している。このように、露出設定（スポット測光）、連写、風景、スポーツ、マクロストロボなどの設定情報は、ＳＬ撮影の適否判断に有効な情報なので、表示させる。
【００３３】
ズーム付カメラにおいては、ズーム倍率が高い場合は動きが拡大されるので、ＳＬ撮影には適合せずＳＬ撮影をＯＦＦさせる必要がある。したがって、ズーム倍率もＳＬ撮影のＯＮ／ＯＦＦ切り換えの有効な情報となるので表示する。また、ＳＬ合成画像の生成処理を外部に接続されたパソコン等で行わせるように構成されているとき、ＳＬ撮影時においては露光量の異なる２画面分の画像データをメモリカードに記憶する必要があるので、メモリカードのメモリ残容量を検出する手段を設けて、メモリ残容量を検出し、メモリ残容量が２画面分の画像データを記憶する容量未満になったときは、ＳＬ撮影ができないので、ＳＬ撮影をＯＦＦとして通常の撮影を行わせる。したがって、メモリ残容量もＳＬ撮影の必要な情報となるので表示させる。
【００３４】
以上述べたＳＬ撮影に関連して取得された適否判断情報の表示は、図７に示すようにＬＣＤ表示部31（13）に表示される。この表示を参照することにより、自動ＳＬ撮影モード設定時において、ＳＬ撮影がＯＦＦとなった場合には、何の情報が不適合なのか容易に識別され、また手動でＳＬ撮影を行う場合は、各情報がＳＬ撮影に適合しているか否かを容易に判断することができる。なお、ＳＬ撮影関連情報は図７に示すように画像と共に表示する代わりに、情報表示用ＬＣＤ36に表示させるようにしてもよい。また、これらの表示はＯＮ／ＯＦＦできるように構成してもよい。
【００３５】
次に、本発明に関連する第３の参照例について説明する。上記第２の参照例においては、合成画像の生成に適合するか否かを判定するのに必要な情報を表示手段に表示するようにしたものを示したが、表示手段に表示された情報より直ちに適合、不適合の判断がマニュアルではできにくい場合がある。第３の参照例は、この点を改善し、各段階で取得された情報が合成画像の生成に適合するか否かの判断結果を合わせて表示させるようにしたものである。
【００３６】
具体的な表示手法としては、ＳＬ撮影条件として用いられる各情報パラメータに対する判断結果、及び全体としてのＳＬ撮影の適合又は不適合の判断結果を表示する。例えば、図８の（Ａ）に示すように、全ての情報パラメータがＳＬ撮影に適合する場合は、各情報パラメータ42と共に、ＳＬ適合の表示43を行う。一方、不適合な情報パラメータが存在する場合は、図８の（Ｂ）に示すように、不適合な情報パラメータに対してＮＧマーク44を表示すると共に、全体としてＳＬ撮影が不適合なことを示すためＳＬ不適合の表示45をする。そして、不適合な情報パラメータに対しては、図８の（Ｂ）に示すように、更にどの程度になればＳＬ適合となるかの適合範囲の表示46をするようにしてもよい。
【００３７】
このような表示を行うことにより、ＳＬ撮影の不適合理由を直ちに確認することができ、不適合の原因によっては撮影条件を変更することにより適合条件にすることが可能であり、また適合範囲を表示すると、不適合レベルがわかり、どの程度変更させた場合適合条件とさせることができるかわかる。
【００３８】
次に、ＳＬ撮影の適否判断条件として用いられる各情報パラメータの表示について説明する。まず、被写体の動き情報を表示する場合について説明する。被写体の動きが検出されない場合は、動き無しの表示あるいは非表示と共にＳＬ適合の表示を行い、動きのある場合は、動き有りＮＧの表示と共にＳＬ撮影不適合の表示を行う。また動き量が補正許容範囲内のときは、動き補正ＯＮの表示と共にＳＬ適合の表示を行い、動き量が補正許容範囲を越えている場合は、動き補正ＮＧの表示と共にＳＬ不適合の表示を行う。更に、動き補正に関しては、図９に示すように動き補正許容範囲47をバーグラフで表示し、検出された動き範囲や動き方向なども表示するようにすることもできる。なお、図９において、48は動いた被写体を示している。
【００３９】
次に、ＳＬ撮影の適否判断情報として用いられる手ぶれ情報の表示について説明する。手ぶれが検出されない場合は、手ぶれ無しの表示又は非表示とすると共にＳＬ適合の表示を行う。手ぶれが検出されたときは手ぶれ有りＮＧの表示とＳＬ不適合の表示を行う。手ぶれ補正可能の場合は、手ぶれ補正ＯＮマークの表示と共にＳＬ適合の表示を行う。手ぶれ補正不可の場合は、手ぶれ補正ＮＧ表示とＳＬ不適合の表示をする。
【００４０】
逆光検出情報をＳＬ撮影の適否判断情報とする場合は、逆光状態が検出されたときは逆光有りの表示とＳＬ適合の表示を行い、逆光状態が検出されない場合は逆光無しＮＧの表示とＳＬ不適合の表示を行う。また、被写体の明るさに関する情報（Ｄレンジ、輝度差、輝度のヒストグラム等）をＳＬ撮影の適否判断情報として用いる場合は、Ｄレンジが広い場合は、Ｄレンジ広の表示とＳＬ適合の表示を行い、Ｄレンジが狭い場合は、Ｄレンジ狭ＮＧの表示とＳＬ不適合の表示を行い、また被写体が暗いときや輝度差がないときや輝度の飽和がないときは、いずれもＮＧマークの表示と共にＳＬ不適合の表示を行う。
【００４１】
カメラへの撮影設定情報をＳＬ撮影の適否判断情報として用いる場合、例えばストロボ発光モードとした場合はストロボＯＮ表示と共にＳＬ適合の表示を行い、ストロボ非発光とした場合はストロボＯＦＦＮＧの表示と共にＳＬ不適合の表示を行う。またシャッタ速の場合は、高速の設定時はシャッタ速を表示すると共にＳＬ適合の表示を行い、低速の設定時はシャッタ速とＮＧの表示と共にＳＬ不適合の表示を行う。露出設定に関しては、スポット測光モードあるいはマニュアル露出補正モード設定時には、それらの表示と共にＳＬ適合の表示を行い、それ以外の露出設定時にはその設定表示にＮＧ表示を付すと共にＳＬ不適合の表示を行う。撮影モード（連写、風景、スポーツ、マクロストロボ）の設定に関しては、風景あるいはマクロストロボ設定時にはそれらの表示と共にＳＬ適合の表示を行い、連写、スポーツモードの設定時にはそれらの設定表示にＮＧ表示を付すと共にＳＬ不適合の表示を行う。ズーム倍率情報を設定する場合は、ワイド（低倍率）設定時はその表示と共にＳＬ適合の表示を行い、テレ（高倍率）設定時にはその設定表示にＮＧ表示を付すと共にＳＬ不適合の表示を行う。また、メモリ残容量をＳＬ撮影の適否判断情報として用いる場合には、バーグラフ等で残容量を表示すると共に２画面分以上の容量があるときにはＳＬ適合の表示を行い、２画面分未満のときは残容量表示にＮＧを付すと共に、ＳＬ不適合の表示を行う。
【００４２】
上記説明においては、ＳＬ撮影の全体としての適合か不適合を表示する際に、ＳＬ適合あるいはＳＬ不適合の表示と共に、ＳＬ撮影の適否判断情報として用いられる各情報パラメータの適合、不適合を含めて表示を行うようにしたものを示したが、ＳＬ撮影に適合の各情報パラメータは非表示とし、ＳＬ不適合すなわちＮＧマークの付される情報パラメータのみを表示するようにしてもよい。また、詳細な各情報パラメータに関する表示と共に、全体としてのＳＬ撮影の適合あるいは不適合の表示を行う場合と、詳細な各情報パラメータに関する表示は非表示とし全体としてのＳＬ撮影の適合あるいは不適合のみの表示を行う場合とを、切り換え設定できるように構成することもできる。
【００４３】
また、各情報パラメータに関する表示は、撮像装置の記録時あるいは再生時の各ステップ段階において表示してやることができる。すなわち、カメラへの撮影条件設定後においては、各設定条件に基づく情報パラメータを表示すると共に、ＳＬ撮影の適合性の判断結果を表示し、不適合の場合はＮＧマークを付して警告表示を行う。これにより設定条件の変更などに反映させることができる。また、ＡＥ設定後で撮影前においては、撮影前に得られる各情報パラメータを表示すると共に、ＳＬ撮影の適合性の判断結果を表示し、不適合の場合はＮＧマークを付して警告表示を行う。これにより撮影条件の変更などを行うことができる。また撮影後においては、撮影済みの画像データから得られる各情報パラメータに基づいてＳＬ適合性の判断を行い、不適合の場合は同様にＮＧマークを付して警告表示を行う。これにより撮影の撮り直しなどの判断がなされる。また、ＳＬ合成画像処理後においても、ＳＬ適合性の判断結果を表示させることができ、不適合の場合は警告表示を行ってメモリカード15へ記録するかあるいは消去するかの判断に利用させることができる。更にまた、再生時においても、再生されたＳＬ合成画像に対してＳＬ適合性の判断結果を表示してやることができ、不適合の場合は警告表示して、やはり消去するかなどの判断に利用することができる。
【００４４】
なお、上記各表示はＬＣＤ表示部31に表示するようにしたものを示したが、情報表示用ＬＣＤ36に表示させたり、別個のＬＣＤ表示部を設けて表示させるようにしてもよく、またＮＧを付した警告表示やＳＬ不適合表示は、視覚的な表示ばかりでなくブザー等の音でも警告表示するようにしてもよい。
【００４５】
次に、本発明に関連する第４の参照例について説明する。前記第３の参照例においては、ＳＬ撮影の適否判断条件として用いる各種情報パラメータを取得して、ＳＬ撮影への適合性を判断して適合性を表示すると共に、全体としてのＳＬ適合性の表示をするようにしたものを示したが、このＳＬ適合性の判断結果と、ユーザが設定した撮影モードとが対応しない場合がある。この第４の参照例は、ＳＬ撮影の適否判断条件として用いる各種情報パラメータに基づいて判断された全体としてのＳＬ適合性の判断結果の表示に対して、ユーザにより設定されている撮影モード（通常撮影モード、強制ＳＬ撮影モード、自動ＳＬ撮影モード）が一致しない場合に、不一致であることを表示して、画質劣化等のおそれのある不適切なＳＬ撮影が行われるのを防止するようにしたものである。
【００４６】
すなわち、各種情報パラメータからはＳＬ適合と判断されているが通常撮影モードを設定しているとか、あるいはＳＬ不適合と判断されているときに強制ＳＬ撮影モードが設定されているような場合には、判断結果と設定撮影モードとが一致しておらず、そのままでは適切な画像が得られないので、不一致を表示して警告を与えるようにするものである。
【００４７】
図10の（Ａ）は、ＳＬ適合と判断されているけれども通常撮影モード（ＳＬ−ＯＦＦ）が設定されている場合に、不一致表示４９を行って警告している態様を示しており、図10の（Ｂ）は、ＳＬ不適合と判断されているけれども強制ＳＬ撮影モード（ＳＬ−ＯＮ）が設定されている場合に、不一致表示49を行っている態様を示している。
【００４８】
次に、本発明に関連する第５の参照例について説明する。本発明は、露光量を変えて２回の撮影を行って得られる画像信号を合成処理して広ダイナミックレンジ合成画像を得るＳＬ撮影機能を有する撮像装置に関するものであるが、本参照例は、合成処理する露光量の異なる２画面の画像信号の露光量（露光時間、発光量）比や、合成処理により生成される合成画像のダイナミックレンジを表示したり、またいくつかの露光量比を選択できる場合には、所定の露光量比を選択設定して表示するように構成したものである。
【００４９】
図11の（Ａ）は、露光量比が１：４で、ダイナミックレンジが80dBの場合を文字で表示し、更にバーグラフで露光量比を表示している例を示している。なお、図11の（Ａ）のバーグラフにおいて、黒色部分は短時間露光割合51を、白枠部分は長時間露光割合52を示している。図11の（Ｂ）は、１：２，１：４，１：８，１：16の露光量比を選択できる場合に、１：４の露光量比を選択設定している状態を示している。このように多数の露光量比から特定の露光量比を選択設定できるように構成されている場合は、図２に示したメニュー設定ボタン32で露光量比を選択して表示させ、＋ボタン、−ボタン、OKボタンを操作することにより所定の露光量比を設定するようになっている。
【００５０】
次に、本発明に関連する第６の参照例について説明する。一般に、広ダイナミックレンジ合成画像生成機能付のカメラにおいては、予め露光量比を設定して２回の撮影を行っているが、実際に撮影した２枚の画像の露光量比は必ずしも設定した値になっていない場合があり、その場合に合成処理を行うと、２枚の画像のつぎ目の部分に階調の不連続などが発生しやすいという不具合がある。この参照例は、この点を改善しようとするものである。
【００５１】
すなわち、この参照例は、広ダイナミックレンジ合成画像生成機能付のカメラにおいて、露光量補正手段を備え、露光量補正が必要な撮影モードに設定されたとき露光量の補正を行うと共に、露光量補正手段の補正の有無等の動作状態を表示手段に表示させるようにするものである。
【００５２】
具体的には、ストロボ撮影モードが設定されたときには、露光量補正を行うようにする。すなわち、ストロボ撮影時には露光量はシャッタ速ではなく、ストロボの発光量で左右され、ストロボ発光量はそれほど正確には制御できないので、露光量にはかなりばらつきが生じることがある。したがって、ストロボモード設定時には露光量の補正を行う。
【００５３】
露光量の補正動作は、次のようにして行われる。図３に示したカメラ信号処理回路の２つのＳＥメモリ６−１及びＬＥメモリ６−２に、ストロボ発光による２回の撮影により得られる露光量が少ない画像データ及び露光量が多い画像データを記憶させ、ＣＰＵ８へ送り込んでＳＥ画像データで黒つぶれしていない領域及びＬＥ画像データ白とびしていない領域を抽出し、抽出された各領域の画素データの和ΣＳＥ，ΣＬＥを求め、両者の比ΣＬＥ／ΣＳＥにより実際の露光量比Ａ′を求め、露光量が少ない画像データＳＥに実際の露光量比Ａ′を乗じて合成処理を行う。これにより２つの画像データのつぎ目の階調の不連続は防止される。
【００５４】
このようにして露光量補正手段により露光量が補正されるが、本参照例においては、このような露光量補正手段の動作状態、すなわち露光量の補正を行うか否か、あるいは行ったか否かを補正前あるいは補正後に表示手段に表示させ、更に補正が行われた場合には、補正前後の露光量比や補正の程度などを合わせて表示するようにする。このような表示を行うことにより、露光量比の補正の有無ばかりでなく、露光量比のずれや補正された露光量比によるダイナミックレンジを確認することができる。
【００５５】
図12の（Ａ）は、露光量比を補正する場合の表示態様を示す図で、補正前に“露光量比補正します”、補正後に“露光量比補正しました”の表示53と、補正後の露光量比（１：９）並びに補正比率（1.125 倍）の表示をしている例を示しており、図12の（Ｂ）は、露光量比の補正を行わない場合の表示態様を示す図で、“露光量比補正しません”の表示54をする例を示している。なお、この場合は、表示なしで補正を行わない状態を表示するようにしてもよい。
【００５６】
次に、本発明に関連する第７の参照例について説明する。広ダイナミックレンジ合成画像生成機能付の撮像装置において、異なる露光量での２枚の画像の撮影時に被写体が動いた場合には、破綻した合成画像が出力されるので、動きが検出された場合には、一般的には合成画像の生成処理は行われない。しかしながら検出される動き量が小さく補正許容範囲内のものとＣＰＵ８で判断されたときは、動き補正を行って合成画像の生成処理を行う。本参照例は、このような動き補正を行う場合の前後の動作態様と共に、動き補正量を表示手段に表示するようにするものである。
【００５７】
なお、動き補正の手法としては、例えば水平方向の領域を考えた場合、動き補正を行う領域の両端から補正を行う適正な距離ｄにある動きが生じていない領域の画素Ａ，Ｂの値を用い、Ａ，Ｂ画素を両端として両者間の画素値を均等に変化させるようにして、動き補正領域の補間を行って動き補正をする。
【００５８】
図13の（Ａ）は、動きを補正する場合の表示態様を示す図で、補正前に“動き補正します”、補正後に“動き補正しました”の表示55と、補正量（左右画角の10％）56を合わせて表示している例を示しており、また図13の（Ｂ）は、動き補正を行わない場合の表示態様を示す図で、“動き補正しません”の表示57をする例を示している。なお、この場合は、表示なしで補正を行わない状態を表示させるようにしてもよい。
【００５９】
次に、本発明に関連する第８の参照例について説明する。この参照例は広ダイナミックレンジ合成画像生成機能付の撮像装置において、３つの撮影モード、すなわちＣＣＤ撮像素子より１画面分の撮像信号を生成する通常の撮影モードと、強制的にＳＬ合成画像を生成する強制ＳＬ撮影モードと、被写体情報あるいはカメラへの撮影設定条件に基づいて自動的にＳＬ合成画像を選択的に生成する自動ＳＬ撮影モードを備えていて、それらの撮影モードのいずれかを選択的に設定することによる、現実のＳＬ合成画像の生成処理のＯＮ／ＯＦＦ状態を表示手段に表示するように構成するものである。
【００６０】
このようなＳＬ合成画像の生成処理のＯＮ／ＯＦＦ状態を表示させることにより、実際にＳＬ合成画像の生成処理が行われるか否かあるいは行われたか否かを容易に確認することができるが、この表示は、記録行程時の種々の段階で行うことができる。すなわち、図14のフローチャートに示すように、撮影モード設定後、ＡＥ情報検出時点、撮影前、ＳＬ合成画像の生成処理前、記録前、記録直後などにおいて表示をさせることができる。そして撮影前に表示させた場合は、その表示情報を考慮して撮影条件を変更することができ、またＳＬ合成画像の生成処理前に表示させた場合は、ＳＬ撮影をＯＮ又はＯＦＦに切り換えられるので、通常撮影モードで撮影するか強制ＳＬ撮影モードで撮影するかをユーザが判断する情報として用いることができる。また記録前に表示させた場合は、ＳＬ処理がＯＮなら記録、ＳＬ処理がＯＦＦならば消去するというようなことを選択する情報として用いることができる。また記録後に表示させた場合は、記録した画像がＳＬ処理がＯＮかＯＦＦであったことを表示することにより、保存あるいは消去の判断情報として用いることができる。
【００６１】
図15の（Ａ），（Ｂ）は、ＳＬ合成処理のＯＮ，ＯＦＦの表示状態を示す図で、図15の（Ａ）は自動ＳＬ撮影モードにおいて、ＳＬ合成処理がＯＦＦとなっている状態を表示している状態を示しており、上段に自動ＳＬ撮影モード（ＳＬ−ＡＵＴＯ）であることを示し、下段にＳＬ合成処理がＯＦＦ（ＳＬ−ＯＦＦ）となっていることを示している。図15の（Ｂ）は、自動ＳＬ撮影モード（ＳＬ−ＡＵＴＯ）においてＳＬ合成処理がＯＮ（ＳＬ−ＯＮ）となっている状態を示している。なお、図15の（Ａ），（Ｂ）において、バーグラフはダイナミックレンジ58を表している。
【００６２】
また、ＳＬ合成処理のＯＮ／ＯＦＦ表示は、すでに記録済みの全画像について、それぞれＳＬ合成画像なのかあるいは通常撮影モードで撮影された画像なのかの情報を、ＣＰＵ８内のＲＡＭあるいはＤＲＡＭ11の一部に記憶させておいて、図16に示すように一覧表示できるように構成しておいてもよい。図16において左端欄はコマ番号を示し、それに対応してＳＬ（ＳＬ合成画像）又はＮＯＲ（通常画像）の表示を行うようにしている。また、この記録済みの全画像についての表示については、処理画像はメモリカード15に記録されるようになっているので、メモリカード15に画像を記録する際に、その画像ファイルの付帯情報としてＳＬ合成画像か通常画像かの情報を記憶させるようにしてもよい。
【００６３】
上記のように記憶手段にＳＬ処理のＯＮ／ＯＦＦ、すなわちＳＬ合成画像又は通常画像の情報を記憶しておくことにより、再生時においても、撮影画像がＳＬ合成画像か通常画像かの判別が容易にできる。
【００６４】
次に、本発明に関連する第９の参照例について説明する。この参照例は表示手段にＳＬ合成画像を表示して、実際のＳＬ合成画像を確認することができるようにしたものである。ＳＬ合成画像としては、露光量比を補正したＳＬ合成画像あるいは動きを補正したＳＬ合成画像を表示するようにしてもよく、これにより破綻のない合成画像を表示することができる。また、ＳＬ合成画像を表示する際には、図17に示すように、ＳＬ合成画像を生成するための撮影に関する情報を重ねて表示するようにしてもよい。重ねて表示する情報としては、撮影情報パラメータ（動き、逆光等）、ＳＬ適合性、露光量比、露光量比の補正の有無、動き補正の有無、明るさを表す情報、ダイナミックレンジを表す情報などがある。
【００６５】
また、この参照例の変形例として、表示手段にＳＬ合成画像ばかりでなく、通常撮影画像（長時間露光画像）を表示するようにしてもよい。ＳＬ合成画像と通常撮影画像を表示する際は、図18に示すように通常撮影画像（ＳＬ−ＯＦＦ）61とＳＬ合成画像（ＳＬ−ＯＮ）62とを交互に切り換えて表示させてやるとか、あるいは図19に示すように、通常撮影画像63とＳＬ合成画像64とを同時に表示させるようにしてもよい。これにより、ユーザは両方の画像を観察して、いずれかを記録画として選択することができる。そして、この同時表示の場合は、その時点においてユーザがいずれの画像を選択しているかを表示させるようにしてもよく（この図示例では、網点でＳＬ合成画像を選択していることを表示している）、この場合は更に画像を選択するモードに入っていることの表示（ＳＬ画／通常画選択画面）65を行うようにする。
【００６６】
また、更に別の変形例としては、図20の（Ａ），（Ｂ）に示すように、ＳＬ合成処理前の短時間露光画像（ＳＥ画像）66と長時間露光画像（ＬＥ画像）67とを、交互にあるいは同時に表示するようにしてもよい。このように短時間露光画像と長時間露光画像とを表示することにより、短時間露光画像については取得しようとしている部分（樹木とか家屋部分）が白とびしていないかを確認することができ、また長時間露光画像については取得しようとしている部分（人物）が黒つぶれしていないかを確認することができ、これらの確認の結果として、適正なＳＬ合成画像が得られることを予想することができる。
【００６７】
以上のような画像表示における各画像の表示時点は、ＳＬ合成処理の前後を含め記録前あるいは記録後など、種々の時点において表示させることができるが、記録前に表示させた場合は、撮影の条件の変更、通常撮影画像かＳＬ合成画像かの選択、あるいは記録するか消去するかの選択の際に、画像を確認することができるようになり、また記録後に表示させた場合は、記録画像の保存又は消去の選択を行う際に画像を確認することができる。
【００６８】
また、別の変形例としては、ＳＬ合成画像生成のために撮影した短時間露光画像と長時間露光画像とを、合成処理をせずに２枚の画像データとしてそのままメモリカードへ記録する。そして、再生する際に、上記２枚の画像データを読み出して、それぞれの画像の表示を行い、それらの画像の観察結果に基づいてＳＬ合成画像を生成すべきものと判断した場合は、ＳＬ合成処理を行い、ＳＬ合成画像として再生し表示をするような構成としてもよい。
【００６９】
次に、本発明に関連する第10の参照例について説明する。上記各参照例は、種々のＳＬ情報パラメータや撮影モードを設定して、これらの設定情報を撮影の前後の種々の段階で表示するようにしたものを示したが、種々の段階で撮影モードと情報パラメータの適合性を自動的に判断して、撮影前であれば情報パラメータあるいは設定撮影モードの設定の変更を指示させ、種々の段階で設定の変更を行えるようにし、また撮影後であれば、ＳＬ処理の前後あるいは記録の前後に撮影の撮り直しの指示をさせ、撮り直しを行えるように構成するものである。これにより、ＳＬ適合性は自動的に判断され、画質の向上した撮影を行うことが可能となる。
【００７０】
上記情報パラメータ又は撮影モードの設定変更もしくは撮り直し動作は手動で行われるようにしてもよいし、また自動的に行われるようにしてもよい。そして、情報パラメータの設定を変更する場合、図21の（Ａ）に示すように、設定変更モードにされ、設定を変更する旨の表示71が行われ、変更する項目と変更する前後の値を併記するようにする。また、撮り直しの場合は、図21の（Ｂ）に示すように、再撮影する旨の表示72と、自動的に再撮影が行われるときは自動である旨の表示を行い、ユーザが確認した場合の表示を合わせて表示するようにする。このような自動的な設定変更あるいは再撮影を行う手法は、ＳＬ撮影機能を備えていない通常の撮像装置にも適用することができる。
【００７１】
次に、本発明に関連する第11の参照例について説明する。この参照例は、被写体の所望部分、例えば最も暗い部分と最も明るい部分の明るさ情報を、被写体画像と共に表示手段に表示するようにするものである。すなわち、図22の（Ａ）に示すように、明るさを表示する部分として被写体の最も明るい部分（家屋）(1) と、最も暗い部分（人物の胴体部分）(3) と、中間の明るさ部分（人物の顔部分）(2) とを、被写体の画像上に示すと共に各部(1) ，(2) ，(3) の輝度を、ダイナミックレンジを表すバーグラフ上に対応させて表示する。明るさを表示すべき部分(1) ，(2) ，(3) は所望部分へ適宜移動可能となっている。
【００７２】
また図22の（Ｂ）に示すように、輝度差を合わせて表示するようにしてもよく、また図22の（Ｃ）に示すように、高輝度部分（図示例では点線で囲んだ樹木及び家屋部分）の全体画像における割合を数値とバーグラフで表示するようにしてもよい。なお、高輝度部分の割合が大きい場合は、ＳＬ合成画像の生成処理に適合するものである。全体の輝度の範囲内で閾値を設けて、この閾値以上の値を高輝度部分とするが、この閾値は数値又はバーコード設定により可変可能である。
【００７３】
以上の明るさ表示は、記録時の各段階、すなわち撮影の前後、ＳＬ処理の前後、記録の前後などで表示させることができ、撮影前に表示させた場合は、撮影条件の変更などの判断情報として利用することができ、また撮影後に表示させた場合は、撮影条件を変更して撮り直しを行う場合などの判断情報として利用することができ、またＳＬ処理後に表示させた場合は、ＳＬ合成画像を記録するかあるいは消去するかの判断に利用することができ、また記録後に表示させた場合は、ＳＬ合成画像をやはり消去するか否かの判断に利用されると共に、記録画像の付帯情報として認識できるようにする。
【００７４】
次に、本発明の具体的な実施例１について説明する。一般にＳＬ合成画像を生成するために用いる露光量の異なる２枚の画像の露光量比は予め設定されていて、その露光量比に基づいて合成画像のダイナミックレンジが設定されるようになっているが、本実施例においては、ユーザが実際の画像の取得したい被写体部分を指定して、視覚的な方法でダイナミックレンジを自由に設定できるようにするものである。
【００７５】
すなわち、図23の（Ａ）に示すようにＡＥ時取り込んだ画像又は以前の撮影で得られた画像を表示し、最も暗い狭い領域（人物の胴部）75をスポットロックエリアに指定して、その指定部分の輝度の最低値や平均値より最暗部輝度情報を取得する。同様にして図23の（Ｂ）に示すように、ＡＥ時取り込んだ画像又は以前の撮影で得られた画像を表示し、最も明るい狭い領域（家屋部分）76の輝度の最高値や平均値より最明部輝度情報を取得する。そして、上記のようにして得られた最暗部輝度情報と最明部輝度情報とが、ＳＬ合成画像においてそれぞれ適正なレベルとなるように２枚の画像のシャッタ速を設定し、その設定されたシャッタ速に基づいて合成画像のダイナミックレンジを設定するものである。また変形例として、最暗部又は最明部の一方を予め既定値としてもち、他方のみを設定することで、操作を簡略化してもよい。更に適正露光部を設定して、それをもとにダイナミックレンジの中心となる明るさ情報を設定するようにしてもよい。
【００７６】
なお、画像内で所望の狭い領域を指定するには、例えばメニューボタン等を用いて、予め設定された狭領域の枠部を画像上の所望の領域にセットしてロックすることによりマーキングして指定するように構成する。
【００７７】
次に、この実施例の変形例について説明する。この変形例は、短時間露光画像と長時間露光画像をユーザが直接セットしてやり、それらの画像の露光量比に基づいて合成画像のダイナミックレンジを設定するものである。すなわち、図24の（Ａ）に示すように短時間露光画像ＳＥを表示して、ユーザが白とびしない範囲はどこまでにするかを考慮して露光量をセットする。また図24の（Ｂ）に示すように長時間露光画像ＬＥを表示して、ユーザが黒つぶれしない範囲ばどこまでにするかを考慮して露光量をセットする。そして露光量をセットした２つの画像の露光量に基づいて合成画像のダイナミックレンジを設定する。
【００７８】
次に、本発明に関連する第12の参照例について説明する。一般に、電子カメラ（デジタルカメラ）と呼ばれる撮像装置における露出制御方式には、撮像素子の出力情報を用いて絞りやシャッタ速を変えるいわゆるビデオＡＥ方式がとられている。これは、撮像素子のダイナミックレンジが狭いため、僅かな露出の誤差が画質に大きな影響を与えるためである。このため銀塩カメラ等で使われている外部測光素子による露出制御方式は、外部測光素子の精度が悪いということと共に、撮像素子と外部測光素子のばらつきが露出制御の精度を劣化させるため、殆ど採用されていない。
【００７９】
しかしながら、ビデオＡＥ方式では、撮像素子のダイナミックレンジが狭いため、１画面の出力情報だけでは正確な露出制御ができないので、入射光量を徐々に変えて、フィードバックループ方式で最適な露出に追い込んで行く手法がとられる。このためＡＥの開始から最適値が決定されるまでに数画像〜十数画像が必要とする。特に、最近の多画素カメラにおいては１画面の出力に長時間を要するようになってきているので、シャッタのタイムラグや消費電力が増大するという問題点がある。
【００８０】
この参照例は、この問題点を解消するためのもので、その構成を図25のブロック構成図に基づいて説明する。この参照例では、露出制御手段、露出決定手段、合成手段等の機能はＣＰＵ８の中で実現するようになっている。81は露出制御部で、該露出制御部81はシャッタ・絞り機構３とタイミングジェネレータ（電子シャッタ）18とを制御するもので、ＣＣＤ撮像素子１への露光量を制御するものである。82は異なる露光量で撮影され撮像素子から出力される２つの出力信号を合成する合成部で、83は合成された合成出力信号に基づいて露出を決定する露出決定部である。
【００８１】
次に、このように構成されているＡＥ装置の動作を、図26のフローチャートを参照しながら説明する。まず、露出制御部81を初期値１に設定してタイミングジェネレータ18及びシャッタ・絞り機構３を初期値１に対応した所定値にする（ステップＳ１）。次いで、この初期値１の露光量設定状態において撮影を行って画像１を、ＣＣＤ撮像素子１よりアンプ４，Ａ／Ｄ変換器５，ＡＥ検波回路７を介してＣＰＵ８に取り込む（ステップＳ２）。次いで、露出制御部81を初期値１とは異なる初期値２に設定して、タイミングジェネレータ18及びシャッタ・絞り機構３を初期値２に対応した所定値にする（ステップＳ３）。次いで、この初期値２の露光量設定状態において撮影を行って画像２を、ＣＣＤ撮像素子１よりアンプ４，Ａ／Ｄ変換器５，ＡＥ検波回路７を介してＣＰＵ８に取り込む（ステップＳ４）。次いで、合成部82において、画像１と画像２との画像合成を行う（ステップＳ５）。これにより、ダイナミックレンジの広い、黒つぶれや白とびのない画像情報が得られる。次いで、この合成画像情報を用いてＡＥ演算を行う（ステップＳ６）。これにより、一度の演算で最適な適正値のＡＥ演算が可能となり、フィードバック制御が不要となる。
【００８２】
図27の（Ａ），（Ｂ）は、画像１と画像２の合成態様を示す図で、図27の（Ａ）において、Ｘは露出制御部81を初期値１に設定した際に取り込める入射光量範囲で、この入射光量範囲のダイナミックレンジの画像１が取り込まれる。Ｙは初期値２に設定した際に取り込める入射光量範囲で、この入射光量範囲のダイナミックレンジの画像２が取り込まれる。そして、これらの画像１，２を合成処理することにより、図27の（Ｂ）に示すような広ダイナミックレンジの合成画像が得られる。Ｚは合成処理により取り込まれた入射光量範囲を示す。
【００８３】
この参照例に係るＡＥ装置は、ＳＬ機能を持つ撮像装置に適用する場合は、ＳＬ合成回路をＡＥ装置の合成部に併用することができる。また、本参照例．ＡＥ装置を一般の電子カメラに適用する場合は、合成部はＳＬ合成回路よりラフな合成回路で構成することができる。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る撮像装置の実施例の電気的な全体構成を示すブロック構成図である。
【図２】図１に示した実施例の外観構成を示す図である。
【図３】図１に示した実施例におけるカメラ信号処理回路の構成例を第１の参照例として示すブロック構成図である。
【図４】カメラ信号処理回路の他の構成例を示すブロック構成図である。
【図５】各撮影モード設定時におけるＬＣＤ表示部の表示態様を示す図である。
【図６】撮影モード設定用スイッチの構成例を示す図である。
【図７】ＳＬ撮影に関連して取得された適否判断情報の表示態様を示す図である。
【図８】ＳＬ撮影条件として用いられる各情報パラメータに対する判断結果及び全体としてのＳＬ撮影の適合又は不適合の判断結果を表示する態様を示す図である。
【図９】被写体の動き情報を表示する態様を示す図である。
【図１０】ＳＬ適合性の判断結果と設定撮影モードとの不一致時における表示態様を示す図である。
【図１１】合成処理する２画面の露光量比や合成画像のダイナミックレンジを表示する態様を示す図である。
【図１２】露光量比の補正を表示する態様を示す図である。
【図１３】動き補正を表示する態様を示す図である。
【図１４】ＳＬ合成画像の生成処理のＯＮ／ＯＦＦ状態を表示する段階を示す説明図である。
【図１５】ＳＬ合成処理のＯＮ／ＯＦＦの表示態様を示す図である。
【図１６】記録済みの全画像についての撮影モードの一覧表示態様を示す図である。
【図１７】ＳＬ合成画像生成のための撮影情報をＳＬ合成画像に重ねて表示した態様を示す図である。
【図１８】通常撮影画像とＳＬ合成画像とを切り換え表示する態様を示す図である。
【図１９】通常撮影画像とＳＬ合成画像とを同時表示する態様を示す図である。
【図２０】ＳＬ合成処理前の短時間露光画像と長時間露光画像とを切り換え表示する態様を示す図である。
【図２１】情報パラメータの設定変更又は再撮影時の表示態様を示す図である。
【図２２】被写体の所望部分の明るさ情報を表示する態様を示す図である。
【図２３】本発明に係る撮像装置の具体的な実施例１における、被写体部分を指定して視覚的な方法でダイナミックレンジを設定する場合の態様を示す図である。
【図２４】図23に示した実施例１の変形例として、短時間露光画像と長時間露光画像を表示して両画像の露光量比に基づいて合成画像のダイナミックレンジを設定する態様を示す図である。
【図２５】露光量の異なる複数の出力情報に基づいて露出の適正値を決定するＡＥ装置の構成例を示すブロック構成図である。
【図２６】図25に示したＡＥ装置の動作を説明するためのタイミングチャートである。
【図２７】露出の適正値を求めるための、２つの露光量の異なる画像の合成処理態様を示す図である。
【符号の説明】
【００８５】
１  ＣＣＤ撮像素子
２  レンズ
３  絞り・シャッタ機構
４  アンプ
５  Ａ／Ｄ変換器
６  カメラ信号処理回路
６−１  ＳＥメモリ
６−２  ＬＥメモリ
６−３  乗算器
６−４  合成回路
６−５  圧縮回路
６−６  信号処理回路
６−７  セレクタ
７  ＡＥ，ＡＦ，ＡＷＢ検波回路
８  ＣＰＵ
８Ａ  動き検出部
８Ｂ  動き検出部
９  圧縮回路
10  メモリコントローラ
11  ＤＲＡＭ
12  表示回路
13  ＬＣＤ表示部
14  メモリカードＩ／Ｆ
15  メモリカード
16  パソコンＩ／Ｆ
17  パソコン
18  タイミングジェネレータ
19  ストロボ機構
20  入力キー
21  前カバー
22  後カバー
23  撮影レンズ
24  ストロボ
25  電源スイッチボタン
26  Ｒ／Ｐ切換スイッチボタン
27  レリーズボタン
28  ズームノブ
29  ファインダ接眼部
30  モード設定ボタン
31  画像ＬＣＤ表示部
32  メニュー設定ボタン
33  把持部
34  メモリカード用蓋
35  電池用蓋
36  情報表示用ＬＣＤ
41  ダイナミックレンジ
42  情報パラメータ
43  ＳＬ適合表示
44  ＮＧマーク
45  ＳＬ不適合表示
46  適合範囲表示
47  動き補正許容範囲
48  動き被写体
49  不一致表示
51  短時間露光割合
52  長時間露光割合
53  露光量比補正表示
54  露光量比非補正表示
55  動き補正表示
56  補正量表示
57  動き非補正表示
58  ダイナミックレンジ
61  通常撮影画像
62  ＳＬ合成画像
63  通常撮影画像
64  ＳＬ合成画像
65  選択画面表示
66  短時間露光画像
67  長時間露光画像
71  設定変更表示
72  再撮影表示
75  最暗部領域
76  最明部領域
81  露出制御部
82  合成部
83  露出決定部
【図１】
2008178147.tif 000003
【図２】
2008178147.tif 000004
【図３】
2008178147.tif 000005
【図４】
2008178147.tif 000006
【図５】
2008178147.tif 000007
【図６】
2008178147.tif 000008
【図７】
2008178147.tif 000009
【図８】
2008178147.tif 000010
【図９】
2008178147.tif 000011
【図１０】
2008178147.tif 000012
【図１１】
2008178147.tif 000013
【図１２】
2008178147.tif 000014
【図１３】
2008178147.tif 000015
【図１４】
2008178147.tif 000016
【図１５】
2008178147.tif 000017
【図１６】
2008178147.tif 000018
【図１７】
2008178147.tif 000019
【図１８】
2008178147.tif 000020
【図１９】
2008178147.tif 000021
【図２０】
2008178147.tif 000022
【図２１】
2008178147.tif 000023
【図２２】
2008178147.tif 000024
【図２３】
2008178147.tif 000025
【図２４】
2008178147.tif 000026
【図２５】
2008178147.tif 000027
【図２６】
2008178147.tif 000028
【図２７】
2008178147.tif 000029