(57)【要約】【課題】標準再現域画像と拡張再現域画像との差異を確認できるようにする。【解決手段】相対的にダイナミックレンジが狭い高感度の主感光画素と相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置されたＣＣＤを用いて、一度の露光で主感光画素及び従感光画素から画像信号を取り出し、主感光画素から得られた第１の画像情報から作成された第１の画像を画像表示手段に表示させるとともに、第１の画像に対して前記第２の画像情報によって再現域が拡張される画像部分を第１の画像の表示画面上で強調表示させる。【選択図】  図２３
2008206168.tif 000002
【特許請求の範囲】
【請求項１】
相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、
前記主感光画素から得られた第１の画像情報から作成された第１の画像を前記画像表示手段に表示させるとともに、前記第１の画像に対して前記第２の画像情報によって再現域が拡張される画像部分を前記第１の画像の表示画面上で強調表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の画像情報と前記第２の画像情報とは互いに関連付けされた二つのファイルとして別々に記録されることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の画像情報は前記第１の画像情報との差分データとして前記第１の画像情報のファイルとは別のファイルに記録されることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第１の画像情報と前記第２の画像情報とはそれぞれ異なるビットの深さで記録されることを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記第２の画像情報は、前記第１の画像情報と異なる圧縮方式で圧縮されて記録されることを特徴とする請求項１乃至４の何れか１記載の画像処理装置。
【請求項６】
前記第２の画像情報のダイナミックレンジ情報を前記第１の画像情報及び前記第２の画像情報のうち少なくとも一方の画像情報とともに記録するＤレンジ情報記録手段を備えたことを特徴とする請求項１乃至５の何れか１項記載の画像処理装置。
【請求項７】
前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、
前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更するＤレンジ可変制御手段と、
を備えたことを特徴とする請求項１乃至６の何れか１項記載の画像処理装置。
【請求項８】
前記撮像手段は、各受光セルが少なくとも前記主感光画素及び前記従感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記従感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする請求項１乃至７の何れか１項記載の画像処理装置。
【請求項９】
相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示工程と、
前記主感光画素から得られた第１の画像情報から作成された第１の画像を前記表示装置に表示させるとともに、前記第１の画像に対して前記第２の画像情報によって再現域が拡張される画像部分を前記第１の画像の表示画面上で強調表示させる表示制御工程と、
を含むことを特徴とする画像処理方法。
【請求項１０】
相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示機能と、
前記主感光画素から得られた第１の画像情報から作成された第１の画像を前記表示装置に表示させるとともに、前記第１の画像に対して前記第２の画像情報によって再現域が拡張される画像部分を前記第１の画像の表示画面上で強調表示させる表示制御機能と、
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び方法に係り、特にデジタル入力デバイスにおける画像の保存、再生に関する装置、方法並びにこれを実現するコンピュータプログラムに関する。
【背景技術】
【０００２】
特許文献１に開示された画像処理装置は、同じ被写体を異なる露光量で複数回撮像して得られた複数の画像データから標準画像と非標準画像を作り、非標準画像からダイナミックレンジ拡大に必要な領域を判別し、その部分を圧縮して保存することを特徴としている。
【０００３】
特許文献２乃至４には、ｓＲＧＢに代表される標準的な色空間よりも更に色再現域の広い色空間での画像再現を実現するために、拡張色再現域の情報を記録する方法が提案されている。すなわち、制限された色域を有する色空間の色値を有する制限色域デジタル画像データと、その制限色域の外側の色値を有する拡張色域デジタル画像との差分情報を制限色域デジタル画像データに関連付けて記録している。
【特許文献１】特開平８−２５６３０３号公報
【特許文献２】米国特許第６２８２３１１号明細書
【特許文献３】米国特許第６２８２３１２号明細書
【特許文献４】米国特許第６２８２３１３号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般的なデジタルスチルカメラにおいては、CCIR Rec709 で定められた光電変換特性を基本にして階調設計がなされている。こうすることで、パソコン（ＰＣ）用ディスプレイの実質上の標準色空間であるｓＲＧＢ色空間で再現された場合に良好な画像を提供することを目標にして画像設計がなされている。
【０００５】
一方、実シーンにおいては、晴天の日、曇りの日、夜間などのように、輝度域は 1：100 のときもあれば、 1：10000 を越す場合もある。従来用いられている通常のＣＣＤ撮像素子は、このような広い輝度レンジから情報を一度に取得することができない。そのため、自動露出（ＡＥ）制御によって、最適な輝度の切り出し範囲を決め、先に定めた光電変換特性に応じた電気信号に変換し、ＣＲＴのようなディスプレイに画像を再現させるように構成されている。あるいは特許文献１に開示されているように、露光を変えて複数枚撮影することで広いダイナミックレンジを確保している。しかし、この複数露光の技術は静止している物体の撮影にしか適用できない。
【０００６】
ところで、ブライダル衣裳（白のウエディングドレス）の撮影、自動車のような金属光沢のある被写体の撮影、近接ストロボでの撮影、更には逆光撮影のような特殊な被写体又は撮影状況においては、露出を主要被写体に適切に合わせることが困難であり、広い輝度レンジをカバーした高画質の画像を得ることができない。このようなシーンについては、撮影した画像を後で（プリント工程で）補正するシステムを用い、より広いダイナミックレンジで画像を記録し、その情報をもとにプリント時に最適な画像を作成する方が好都合な画像が得られることが多い。
【０００７】
しかしながら、このような場合でも現状のような限られたダイナミックレンジの画像情報からでは十分な画質が得られないという問題がある。
【０００８】
本発明はこのような事情に鑑みてなされたもので、通常のＰＣ出力などについては定められたダイナミックレンジの画像で表示を行い、デスクトップパブリッシングのプリント用途など特別な用途に対して、必要に応じて更に広ダイナミックレンジ撮像で得られた情報から画像処理により最適な画像を作成できるような画像処理装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために本発明に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、前記主感光画素から得られた第１の画像情報から作成された第１の画像を前記画像表示手段に表示させるとともに、前記第１の画像に対して前記第２の画像情報によって再現域が拡張される画像部分を前記第１の画像の表示画面上で強調表示させる表示制御手段と、を備えたことを特徴とする。
【００１０】
第１の画像情報から作成された第１の画像を画像表示手段に表示し、当該第１の画像情報について第２の画像情報と第１の画像情報の差分があるか否かを判断し、差分がある場合に該当する部分について点滅、枠線による囲い込み表示、明るさ（濃淡）の変更、色調の変更などの強調表示を行う。
【００１１】
本発明の一態様によれば、前記第１の画像情報と前記第２の画像情報とは互いに関連付けされた二つのファイルとして別々に記録されることを特徴とする。
【００１２】
再生時において必要に応じて関連付けファイルの第２の画像情報を利用することにより、拡張された再現域による画像再現が可能となる。
【００１３】
本発明の他の態様によれば、前記第２の画像情報は前記第１の画像情報との差分データとして前記第１の画像情報のファイルとは別のファイルに記録されることを特徴とする。差分情報を記録することによりファイルの容量を小さくすることができる。
【００１４】
前記第１の画像情報と前記第２の画像情報とを記録する場合に、第２の画像情報について第１の画像情報よりも微妙な情報を持たせるために、第２の画像情報を第１の画像情報より深いビットの値で記録する態様もある。
【００１５】
また、前記第２の画像情報を前記第１の画像情報とは異なる圧縮方式で圧縮することによってファイル容量を小さくする態様もある。
【００１６】
本発明の更に他の態様は、上記構成に加えて、前記第２の画像情報のダイナミックレンジ情報を前記第１の画像情報及び前記第２の画像情報のうち少なくとも一方の画像情報とともに記録するＤレンジ情報記録手段を備えたことを特徴とする。
【００１７】
第２の画像情報のダイナミックレンジ情報（例えば、第１の画像情報のダイナミックレンジに対して何倍のダイナミックレンジを記録するかという情報）を第１の画像情報のファイル内に、又は第２の画像情報のファイル内に、或いはこれら両方のファイル内に付加情報として記録しておく態様が好ましい。これにより、画像再生時の情報合成を円滑に行うことができる。
【００１８】
また、他の態様によれば、画像処理装置において更に、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更するＤレンジ可変制御手段と、を備えたことを特徴としている。
【００１９】
撮像シーンや撮影意図などに応じてユーザ自身が記録時のダイナミックレンジを決定できる構成とする態様が好ましい。
【００２０】
本発明の画像処理装置において、前記撮像手段は、各受光セルが少なくとも前記主感光画素及び前記従感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記従感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられている態様が好ましい。
【００２１】
かかる構造の撮像手段は、同一受光セル（画素セル）内の主感光画素と従感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の二つの画像情報を１回の撮像で取得することができる。
【００２２】
本発明の画像処理装置は、デジタルカメラやビデオカメラなどの電子カメラに搭載することも可能であるし、コンピュータによって実現することも可能である。上述した画像処理装置を構成する各手段をコンピュータによって実現させるためのプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供したりすることも可能である。
【発明の効果】
【００２３】
本発明によれば、関連付けされている拡張情報を用いて、より詳細な再現が可能な領域部分を可視化することにより、ユーザは画像再現の拡張性を把握することができる。
【００２４】
更に、第２の画像情報のダイナミックレンジ情報を第１の画像情報のファイル内及び／又は第２の画像情報のファイル内に記録しておくことにより、画像再生時の情報合成を円滑に行うことができる。
【発明を実施するための最良の形態】
【００２５】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２６】
〔撮像素子の構造〕
まず、本発明が適用される電子カメラに用いられる広ダイナミックレンジ撮像用の撮像素子の構造について説明する。図１はＣＣＤ２０の受光面の構造例を示す平面図である。図１では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示すが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００２７】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、従たる感光部（以下、従感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）２３が形成されている。
【００２８】
図１に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側には不図示の画素が横方向に半ピッチずれた位置に配置される。図１上に示した各画素ＰＩＸの左側に示されている垂直転送路２３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００２９】
図１中点線で示すように、四相駆動（φ1,φ2,φ3,φ4)に必要な転送電極２４、２５、２６、２７（まとめてＥＬで示す。）が垂直転送路２３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極２４と、φ3 のパルス電圧が印加される第３の転送電極２６とは第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極２５と、φ4 のパルス電圧が印加される第４の転送電極２７とは第２層ポリシリコン層で形成される。なお、転送電極２４は従感光画素２２から垂直転送路２３への電荷読み出しも制御する。転送電極２５は主感光画素２１から垂直転送路２３への電荷読み出しも制御する。
【００３０】
図２は図１の２−２線に沿う断面図であり、図３は図１の３−３線に沿う断面図である。図２に示したように、ｎ型半導体基板３０の一表面にｐ型ウエル３１が形成されている。ｐ型ウエル３１の表面領域に２つのｎ型領域３３、３４が形成され、フォトダイオードを構成している。符号３３で示したｎ型領域のフォトダイオードが主感光画素２１に相当し、符号３４で示したｎ型領域のフォトダイオードが従感光画素２２に相当している。ｐ+ 型領域３６は、画素ＰＩＸ、垂直転送路２３等の電気的な分離を行うチャネルストップ領域である。
【００３１】
図３に示すように、フォトダイオードを構成するｎ型領域３３の近傍に垂直転送路２３を構成するｎ型領域３７が配置されている。ｎ型領域３３、３７の間のｐ型ウエル３１が読み出しトランジスタを構成する。
【００３２】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路２３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路２３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜３８がタングステン等により形成されている。
【００３３】
遮光膜３８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜３９が形成され、その表面が平坦化されている。層間絶縁膜３９の上にカラーフィルタ層（オンチップカラーフィルタ）４０が形成されている。カラーフィルタ層４０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００３４】
カラーフィルタ層４０の上に各画素ＰＩＸに対応してマイクロレンズ（オンチップマイクロレンズ）４１がレジスト材料等により形成されている。マイクロレンズ４１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜３８が画定する開口内に集光させる機能を有する。
【００３５】
マイクロレンズ４１を介して入射した光は、カラーフィルタ層４０によって色分解され、主感光画素２１及び従感光画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路２３に読み出される。
【００３６】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００３７】
図４は、ＣＣＤ２０の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路２３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００３８】
図４において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路４４が配置される。各画素ＰＩＸは上述のように主感光画素２１と従感光画素２２とを含む。垂直転送路２３は各列に近接して蛇行して配置されている。
【００３９】
また、受光領域ＰＳの下側（垂直転送路２３の下端側）には、垂直転送路２３から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４５が設けられている。
【００４０】
水平転送路４５は、２相駆動の転送ＣＣＤで構成されており、水平転送路４５の最終段（図４上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００４１】
図５にＣＣＤ２０の他の構造例を示す。図５は平面図、図６は図５の６−６線に沿う断面図である。これらの図面中図１及び図２に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【００４２】
図５及び図６に示したように、主感光画素２１と従感光画素２２の間にｐ+ 型分離領域４８が形成されている。この分離領域４８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域４８の上方には分離領域４８に対応した位置に遮光膜４９が形成されている。
【００４３】
遮光膜４９と分離領域４８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素２１及び従感光画素２２に蓄積された電荷がその後混合することを防止する。その他の構成は図１及び図２に示した例と同様である。
【００４４】
また、画素ＰＩＸのセル形状や開口形状は図１や図５に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図１や図５に示した形状に限定されない。
【００４５】
図７にＣＣＤ２０の更に他の構造例を示す。図７中図１及び図５に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図７は、二つの感光部（２１、２２）が斜め方向に分離されている構成を示す。
【００４６】
このように、それぞれの分割感光エリアで蓄積された電荷を別々に垂直転送路に読み出すことができればよく、分割形状や分割数、面積の大小関係などは適宜設計される。ただし、従感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【００４７】
図８は、主感光画素２１と従感光画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００４８】
同図に示すように、主感光画素２１と従感光画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。主感光画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝4095）に達する。以後、入射光量が増加しても主感光画素２１の出力は一定となる。この「ｃ」を主感光画素２１の飽和光量と呼ぶことにする。
【００４９】
一方、従感光画素２２の感度は、主感光画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝4095／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を従感光画素２２の飽和光量と呼ぶ。
【００５０】
このように、異なる感度と飽和を持つ主感光画素２１と従感光画素２２とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ２０のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。主感光画素のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では従感光画素を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００５１】
上述したように、ＣＣＤ等の撮像素子ではＲＧＢ又はＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等のカラーフィルタを通してフォトダイオードで受けた光を前記信号に変える。このうち、どれだけの光の情報に対して信号が得られるかはレンズを含めた光学系、ＣＣＤ感度及び飽和に依存する。相対的に感度は高いが蓄積可能な電荷量が少ない素子と、相対的に感度は低いが蓄積可能な電荷量が大きい素子とでは、後者の方が入射される光の強弱が強い場合に対しても適切な信号を供することが可能であり、ダイナミックレンジが広い。
【００５２】
光の強弱に対してどのように応答可能かを設定する手段としては、（１）フォトダイオードに入る光の量を調整する、（２）光を受けて電圧に変えるソースフォロアのアンプゲインを変える−などの態様がある。（１）の場合は、フォトダイオードに対し、上層部にあるマイクロレンズの光透過特性や相対位置関係によって調整できる。その一方、蓄積できる電荷量としては、フォトダイオードの大きさ等で決定される。図１乃至図７で説明したように、大きさの異なる二つのフォトダイオード（２１、２２）を並べることにより、異なる光のコントラスト比に対して応答可能な信号を得ることができ、更にこれらの二つのフォトダイオード（２１、２２）の感度を調整することで、最終的に広いダイナミックレンジを有する撮像デバイス（ＣＣＤ２０）を実現できる。
【００５３】
〔広ダイナミックレンジ撮像可能なカメラの例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤを搭載した電子カメラについて説明する。
【００５４】
図９は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ５０は、ＣＣＤ２０を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア５２に記録するデジタルカメラである。カメラ５０は表示部５４を備えており、撮像中の映像や記録した画像データの再生画像を表示部５４に表示させることができる。
【００５５】
カメラ５０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）５６によって統括制御される。 ＣＰＵ５６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００５６】
ＣＰＵ５６は不図示のバスを介してＲＯＭ６０及びメモリ（ＲＡＭ）６２と接続されている。ＲＯＭ６０にはＣＰＵ５６が実行するプログラム及び制御に必要な各種データなどが格納されている。メモリ６２はプログラムの展開領域及びＣＰＵ５６の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００５７】
画像データの一時記憶領域として、メモリ６２は主に主感光画素２１から得られる画像データを記憶する第１領域（以下、第１画像メモリという。）６２Ａと、主に従感光画素２２から得られる画像データを記憶する第２領域（以下、第２画像メモリという。）６２Ｂとを備えている。
【００５８】
また、ＣＰＵ５６にはＥＥＰＲＯＭ６４が接続されている。ＥＥＰＲＯＭ６４は、ＣＣＤ２０の欠陥画素情報、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源ＯＦＦ時においても情報内容が保持される。ＣＰＵ５６は必要に応じてＥＥＰＲＯＭ６４のデータを参照して演算等を行う。
【００５９】
カメラ５０にはユーザが各種の指令を入力するための操作部６６が設けられている。操作部６６は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ1 スイッチと、全押し時にＯＮするＳ2 スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ1 オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ2 オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【００６０】
また、操作部６６には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、表示部５４のＯＮ／ＯＦＦや表示方法の切り替え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り替えなどを行うための表示ボタン、ダイナミックレンジ拡大処理（画像合成) を実施するか否かの選択を行うＤレンジ拡大モードスイッチなどの操作手段も含まれる。
【００６１】
なお、操作部６６の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００６２】
操作部６６からの信号はＣＰＵ５６に入力される。ＣＰＵ５６は操作部６６からの入力信号に基づいてカメラ５０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、ＣＣＤ２０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、記録メディア５２内のファイル管理、表示部５４の表示制御などを行う。
【００６３】
表示部５４には、例えば、カラー液晶ディスプレイが用いられている。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部５４は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示部５４は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。
【００６４】
次に、カメラ５０の撮影機能について説明する。
【００６５】
カメラ５０は、光学系ユニット６８とＣＣＤ２０とを備えている。なお、ＣＣＤ２０に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。光学系ユニット６８は、不図示の撮影レンズと、絞り兼用メカシャッター機構を含む。撮影レンズは電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００６６】
撮影者によって操作部６６のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ５６からモータ駆動回路７０に対して光学系制御信号が出力される。モータ駆動回路７０は、ＣＰＵ５６からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ（不図示）に与える。こうして、モータ駆動回路７０から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズの焦点距離（光学ズーム倍率）が変更される。
【００６７】
光学系ユニット６８を通過した光は、ＣＣＤ２０の受光面に入射する。ＣＣＤ２０の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。なお、ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００６８】
ＣＣＤ２０の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ２０は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００６９】
ＣＣＤ２０の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ７２から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ２０から出力された画像信号は、アナログ処理部７４に送られる。アナログ処理部７４は、ＣＤＳ（相関二重サンプリング）回路及びＧＣＡ（ゲインコントロールアンプ）回路を含む処理部であり、このアナログ処理部７４において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【００７０】
アナログ処理部７４から出力された画像信号はＡ／Ｄ変換器７６によってデジタル信号に変換された後、信号処理部８０を介してメモリ６２に格納される。タイミング発生器（ＴＧ）８２は、ＣＰＵ５６の指令に従ってＣＣＤドライバ７２、アナログ処理部７４及びＡ／Ｄ変換器７６に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００７１】
信号処理部８０は、メモリ６２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部８０は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路、圧縮伸張回路、表示用信号生成回路等を含む画像処理手段であり、ＣＰＵ５６からのコマンドに従ってメモリ６２を活用しながら画像信号を処理する。
【００７２】
メモリ６２に格納されたデータ（CCDRAWデータ）は、バスを介して信号処理部８０に送られる。信号処理部８０の詳細については後述するが、信号処理部８０に送られた画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ６２に格納される。
【００７３】
撮影画像を表示部５４にモニタ出力する場合、メモリ６２から画像データが読み出され、信号処理部８０の表示変換回路に送られる。表示変換回路に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、表示部５４に出力される。ＣＣＤ２０から出力される画像信号によってメモリ６２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部５４に供給されることにより、撮像中の映像（スルー画）がリアルタイムに表示部５４に表示される。撮影者は表示部５４に映し出されるスルー画の映像によって画角（構図）を確認できる。
【００７４】
撮影者が画角を決めてシャッターボタンを押下すると、ＣＰＵ５６はこれを検知し、シャッターボタンの半押し（Ｓ1 ＝ＯＮ）に応動してＡＥ処理及びＡＦ処理などの撮影準備動作を行い、シャッターボタンの全押し（Ｓ2 ＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００７５】
すなわち、ＣＰＵ５６は、Ｓ1 ＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてモータ駆動回路７０に制御信号を送り、不図示のＡＦモータを制御して光学系ユニット６８内のフォーカスレンズを合焦位置に移動させる。
【００７６】
また、オート演算部のＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００７７】
ＣＰＵ５６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００７８】
カメラ５０のＡＥは、広い輝度レンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、露出条件を変えながら最大で４回の測光が行われる。
【００７９】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００８０】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【００８１】
ＣＰＵ５６は、上述のＡＥ演算結果に基づいて絞りとシャッタースピードを制御し、Ｓ2 ＝ＯＮに応動して記録用の画像を取得する。本例のカメラ５０は、スルー画中は主感光画素２１のみからデータの読み出しを行い、主感光画素２１の画像信号からスルー画用の画像を作成する。また、シャッターボタンのＳ1 ＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのＳ2 ＝ＯＮに応動してＣＣＤ２０の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素２１の電荷を読み出し、その後、従感光画素２２の電荷の読み出しを行う。
【００８２】
また、このカメラ５０はストロボ装置８４を有している。ストロボ装置８４はは、発光部としての放電管（例えば、キセノン管）、トリガー回路、放電用エネルギーを蓄積するメインコンデンサ及びその充電回路などを含むブロックである。ＣＰＵ５６は必要に応じてストロボ装置８４にコマンドを送り、ストロボ装置８４の発光を制御する。
【００８３】
こうして、シャッターボタンの全押し（Ｓ2 ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部８０においてＹＣ処理その他の所定の信号処理を経た後、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮され、メディアインターフェース部（図９中不図示）を介して記録メディア５２に記録される。圧縮形式はJPEGに限定されず、MPEGその他の方式を採用してもよい。
【００８４】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（登録商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ５０に内蔵された記録媒体（内部メモリ）であってもよい。
【００８５】
操作部６６のモード選択スイッチによって再生モードが選択されると、記録メディア５２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア５２から読み出された画像ファイルのデータは、信号処理部８０の圧縮伸張回路によって伸張処理された後、表示用の信号に変換されて表示部５４に出力される。
【００８６】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア５２から読み出され、表示画像が更新される。
【００８７】
図１０は図９に示した信号処理部８０における信号処理フローを示したブロック図である。
【００８８】
図１０に示すように、Ａ／Ｄ変換器７６によってデジタル信号に変換された主感光画素データ（高感度画像データという。）は、オフセット処理回路９１においてオフセット処理される。オフセット処理回路９１は、ＣＣＤ出力の暗電流成分を補正する処理部であり、ＣＣＤ２０上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の値を画素値から減算する演算を行う。オフセット処理回路９１から出力されたデータ（高感度RAW データ) は、リニアマトリックス回路９２に送られる。
【００８９】
リニアマトリックス回路９２は、ＣＣＤ２０の分光特性を補正する色調補正処理部である。リニアマトリックス回路９２において補正されたデータは、ホワイトバランス（ＷＢ）ゲイン調整回路９３に送られる。ＷＢゲイン調整回路９３は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ５６からの指令に基づいて各色信号のゲイン調整を行う。ＷＢゲイン調整回路９３においてホワイトバランス調整処理された信号は、ガンマ補正回路９４に送られる。
【００９０】
ガンマ補正回路９４は、ＣＰＵ５６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正回路９４においてガンマ補正された画像データは同時化処理回路９５に送られる。
【００９１】
同時化処理回路９５は、単板ＣＣＤ２０のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色（ＲＧＢ）を計算する処理部と、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃr,Ｃb ）を生成するＹＣ変換処理部とを含む。同時化処理回路９５で生成された輝度・色差信号（ＹＣr Ｃb ）は、各種補正回路９６に送られる。
【００９２】
各種補正回路９６には、例えば、輪郭強調（アパーチャ補正）回路や色差マトリックスによる色補正回路などが含まれる。各種補正回路９６において所要の補正処理が施された画像データはJPEG圧縮回路９７に送られる。JPEG圧縮回路９７において圧縮処理された画像データは、画像ファイルとして記録メディア５２に記録される。
【００９３】
同様に、Ａ／Ｄ変換器７６によってデジタル信号に変換された従感光画素データ（低感度画像データという。）は、オフセット処理回路１０１においてオフセット処理される。オフセット処理回路１０１から出力されたデータ（低感度RAW データ) は、リニアマトリックス回路１０２に送られる。
【００９４】
リニアマトリックス回路１０２から出力されたデータはホワイトバランス（ＷＢ）ゲイン調整回路１０３に送られ、ホワイトバランス調整が行われる。ホワイトバランス調整処理された信号は、ガンマ補正回路１０４に送られる。
【００９５】
また、低感度画像データ用のリニアマトリックス回路１０２から出力された低感度画像データは、積算回路１０５にも与えられる。積算回路１０５は、撮像画面を複数のエリア（例えば、１６×１６）に分割し、それぞれのエリアごとにＲ，Ｇ，Ｂの画素値を色別に積算する処理を行い、色別の平均値を算出する。
【００９６】
積算回路１０５において算出された平均値のうち、Ｇ成分の最大値（Ｇmax ）が検出され、その検出されたＧmax を表すデータはＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、図で説明した従感光画素の光電変換特性に基づき、最大値Ｇmax の情報から被写体の最大輝度レベルを算出し、当該被写体の記録に必要な最大のダイナミックレンジを算出する。
【００９７】
また、本例では、再現ダイナミックレンジを何％までにするかという設定情報を所定のユーザインターフェース（後述）を通して入力することができる。ユーザが指定したＤレンジ選択情報１０７は、ＣＰＵ５６からＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、撮像データを解析して求めたダイナミックレンジと、ユーザが指定したＤレンジ選択情報とに基づき、記録時のダイナミックレンジを決定する。
【００９８】
撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報１０７のＤレンジ以下の場合には、撮像データから求めたダイナミックレンジが採用される。撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報のＤレンジを超える場合には、Ｄレンジ選択情報が示すＤレンジが採用される。
【００９９】
Ｄレンジ算出回路１０６で決定されたＤレンジに応じて、低感度画像データ用のガンマ補正回路１０４のガンマ係数が制御される。
【０１００】
ガンマ補正回路１０４から出力された画像データは同時化処理回路１０８において、同時化処理及びＹＣ変換処理が行われる。同時化処理回路１０８で生成された輝度・色差信号（ＹＣr Ｃb ）は、各種補正回路１０９に送られ、輪郭強調、色差マトリックス処理などの補正処理が行われる。各種補正回路１０９において所要の補正処理が施された低感度画像データはJPEG圧縮回路１１０において圧縮処理され、高感度画像データとは別の画像ファイルとして記録メディア５２に記録される。
【０１０１】
高感度画像データについては、民生用ディスプレイの代表的特性であるｓＲＧＢ色規格に対して画像設計がなされている。このｓＲＧＢ色空間を対象とした光電変換特性を図１１に示す。撮像系で図１１のような変換特性を持たせておくことにより、通常のディスプレイを用いた画像再現に際して、輝度に関して好ましい画像を再現することが可能となる。
【０１０２】
その一方で、近時、印刷用途などではｓＲＧＢよりも広い色空間を持つ拡張色空間を対象とした色再現設計が行われることがある。
【０１０３】
図１２には、ｓＲＧＢ空間と拡張色空間の例を示した。同図において、符号１２０で示した馬蹄形の内側は人間が知覚できる色領域を示す。符号１２１で示した三角形の内側はｓＲＧＢ色空間で再現できる色再現域を示し、符号１２２で示した三角形の内側は拡張色空間で再現できる色再現域を示す。リニアマトリックスの値（図１０で説明したリニアマトリックス回路９２、１０２におけるマトリックスの値）を変えることによって再現できる色の領域を変化させることができる。
【０１０４】
本実施形態では、ｓＲＧＢ以外の色空間を対象とした用途、例えば、プリント用途などにおいて、高感度画像データのみならず、同時露光で得られた低感度画像データを画像加工で利用することで色再現域や輝度再現域を拡張し、一層好ましい画像を作成する。再現域に応じて異なるガンマを持たせることにより、異なるダイナミックレンジに対応した別々の画像を作ることができる。
【０１０５】
ｓＲＧＢ色再現域に対するエンコード式と、拡張色再現域に対するエンコード式とを図１３に示す。例えば、同図の下段（Case2)に示すように、エンコード条件を負値や１以上の値にも対応させることによって、再現できる輝度域に応じたファイルを作成することができる。低感度画像データについては、拡張された再現域に対応したエンコード条件に従って信号処理が行われ、ファイルが生成される。
【０１０６】
なお、ハイライト情報は、微妙な情報を持つのでビットの深さが重要である。したがって、ｓＲＧＢに対応するデータを例えば８ビットで記録し、拡張された再現域に対応したデータについてはそれよりもビット数の大きい例えば１６ビットで記録することが好ましい。
【０１０７】
図１４は、記録メディア５２のディレクトリ（フォルダ）構造の一例を示す図である。カメラ５０はＤＣＦ（Design rule for Camera File system: 社団法人日本電子工業振興協会〔JEIDA 〕において規定されたデジタルカメラの統一記録フォーマット) 規格に従って画像ファイルを記録する機能を備えている。
【０１０８】
図１４のようにルートディレクトリ直下にディレクトリ名「DCIM」を持つDCF イメージルートディレクトリが形成され、DCF イメージルートディレクトリの直下に少なくとも１つのDCF ディレクトリが存在する。DCF ディレクトリは、DCF オブジェクトである画像ファイルを格納するためのディレクトリである。DCF ディレクトリ名は、DCF 規格に従い３文字のディレクトリ番号とこれに続く５文字の自由文字（合計８文字）で定義される。DCF ディレクトリ名はカメラ５０によって自動生成されてもよいし、ユーザが指定又は変更できる構成にしてもよい。
【０１０９】
カメラ５０で生成された画像ファイルは、DCＦの命名規則等にしたがって自動生成されるファイル名が付与され、指定された又は自動選択されたDCF ディレクトリに格納される。DCF 命名規則に従うDCF ファイル名は、４文字の自由文字とこれに続く４文字のファイル番号で定義される。
【０１１０】
広ダイナミックレンジ記録モードによって取得された高感度画像データと低感度画像データからそれぞれ作成された二つの画像ファイルは相互に関連付けられて記録される。例えば、高感度画像データから作成された一方のファイル（通常の標準的な再現域に対応したファイル、以下、標準画像ファイルという。）についてはDCF 命名規則に従って「ABCD****.JPG」と命名し（「****」はファイル番号) 、これと同時撮像で得られた低感度画像データから作成された他方のファイル（拡張再現域に対応したファイル、以下、拡張画像ファイルという。）については、標準画像ファイルのファイル名( 「. JPG 」を除いた8 文字列) の末尾に「b 」を付加して「ABCD****b.JPG 」と命名する。このように名前を関連づけて保存しておくことにより、出力時の特性に適したファイルを選択して使うことが可能である。
【０１１１】
なお、ファイル名の関連付け方法の他の例として、標準画像ファイルのファイル名の末尾にも「a 」などの文字を付加してもよい。ファイル番号の後ろに付加する文字列を変えることによって標準画像ファイルと拡張画像ファイルとを区別することができる。また、ファイル番号に先行する自由文字の部分を変更する態様がある。その他、標準画像ファイルと拡張画像ファイルとで拡張子を変更する態様もある。少なくともファイル番号の部分を共通にしておくことで二つのファイルの関連性を確保できる。
【０１１２】
拡張画像ファイルの記録形式は、JPEG形式に限定されない。図１２に示されているように、ｓＲＧＢ色空間と拡張色空間とでは大部分の色は共通である。したがって、撮像された画像をｓＲＧＢ色空間用と拡張色空間用とにそれぞれエンコードし、その差をとると画像の殆どのピクセルは「０」値となる。したがって、この差分に対して例えばハフマン圧縮を行い、一方を標準デバイスのｓＲＧＢ画像ファイル、もう一つのファイルを差分画像とすることで、拡張色空間に対応できると同時に記録容量を減らすことができる。
【０１１３】
図１５には低感度像データを上記のように差分画像として記録する態様のブロック図が示されている。図１５中図１０と同一又は類似の構成については同一の符号を付し、その説明は省略する。
【０１１４】
高感度画像データから生成された画像と低感度画像データから生成された画像とを差分処理回路１３２に送り、こられの画像の差分画像を生成する。差分処理回路１３２で生成された差分画像は圧縮回路１３３に送られ、ここでJPEGとは異なる所定の圧縮方法に従って圧縮処理される。圧縮回路１３３で生成された圧縮画像データのファイルは記録メディア５２に記録される。
【０１１５】
図１６は、再生系の構成を示したブロック図である。記録メディア５２に記録されている情報はメディアインターフェース部１４０を介して読み取られる。メディアインターフェース部１４０は、バスを介してＣＰＵ５６と接続されており、ＣＰＵ５６の指令に従い記録メディア５２の読み書きに必要な信号の受渡しを行うために所要の信号変換を行う。
【０１１６】
記録メディア５２から読み出された標準画像ファイルの圧縮データは伸張処理部１４２において伸張処理され、メモリ６２上の高感度画像データ復元領域６２Ｃに展開される。伸張された高感度画像データは表示変換回路１４６に送られる。表示変換回路１４６は、表示部５４の解像度に合わせて画像サイズを変換する縮小処理部と、縮小処理部で生成された表示用画像を表示用の所定の信号形式に変換する表示信号生成部とを含む。
【０１１７】
表示変換回路１４６において表示用の所定の信号形式に変換された信号は表示部５４に出力される。こうして、表示部に再生画像が表示される。通常は、標準画像ファイルのみを再生して表示部に表示させる。
【０１１８】
また、標準画像ファイルと関連付けられている拡張画像ファイルを利用して再現域の広い画像を作成する場合には、標準画像ファイルを伸張して得たデータからＲＧＢＧの高感度画像データを復元し、これをメモリ６２上の高感度画像データ復元領域６２Ｄに記憶する。
【０１１９】
更に、記録メディア５２から拡張画像ファイルが読み出され、伸張処理部１４８において伸張処理された後、ＲＧＢの低感度画像データに復元され、メモリ６２上の低感度画像データ復元領域６２Ｅに記憶される。こうしてメモリ６２上に記憶された高感度画像データと低感度画像データとが読み出され、合成処理部（画像加算部）１５０に送られる。
【０１２０】
合成処理部１５０は、高感度画像データに係数を乗算する乗算部と、低感度画像データに係数を乗算する乗算部と、係数乗算後の高感度画像データと低感度画像データとを加算（合成）する加算部と、を含む処理部である。高感度画像データ及び低感度画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ５６によって可変設定される。
【０１２１】
合成処理部１５０で生成された信号はガンマ変換部１５２に送られる。ガンマ変換部１５２は、ＣＰＵ５６の制御に従いＲＯＭ６０内のデータを参照して、所望のガンマ特性となるように入出力特性を変換する。ＣＰＵ５６は画像出力時の再現域に合わせてガンマ特性を切り換える制御を行う。ガンマ補正された画像信号はＹＣ変換部１５３に送られ、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃr,Ｃb ）に変換される。
【０１２２】
ＹＣ変換部１５３で生成された輝度・色差信号（ＹＣr Ｃb ）は、各種補正部１５４に送られる。各種補正部１５４において輪郭強調（アパーチャ補正）、色差マトリックスによる色補正など所要の補正処理が施されて最終画像が生成される。こうして生成された最終画像のデータは表示変換回路１４６に送られ、表示用の信号に変換された後、表示部５４に出力される。
【０１２３】
図１６ではカメラ５０に搭載されている表示部５４に画像を再生表示する例を述べたが、外部の画像表示装置に画像を再生表示させることも可能である。また、画像閲覧用のアプリケーションプログラムを組み込んだパソコンや専用の画像再生装置、或いはプリンターなどを用いて図１６と同様の処理フローを実現することにより、標準画像の再現並びに拡張された再現域に対応した画像の再現が可能である。
【０１２４】
図１７は高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフである。
【０１２５】
相対的被写体輝度は、高感度画像データが飽和するときのレベルを与える被写体輝度を100 ％として、これを基準に被写体輝度を表したものである。図１７では、画像データを８ビット（０〜 255）で表現しているが、ビット数はこれに限定されない。
【０１２６】
合成画像のダイナミックレンジは、ユーザインターフェースを通じて設定される。本例では、ダイナミックレンジをＤ0 からＤ5 までの６段階に設定できるものとする。人間の感覚は略ｌｏｇスケールで効いてくるので、ｌｏｇ（対数）の関数をとったときに略リニアになるように、再現ダイナミックレンジを例えば、相対被写体輝度で１００％−１３０％−１７０％−２２０％−３００％−４００％という具合に段階的に切り替えることができるように構成されている。
【０１２７】
もちろん、ダイナミックレンジの設定段数は本例に限定されず、任意の段階数に設計することが可能であるし、連続的な設定（無段階）も可能である。
【０１２８】
ダイナミックレンジの設定に応じて、ガンマ回路のガンマ係数や加算時の合成パラメータ、色差信号マトリックス回路のゲイン係数などが制御される。カメラ５０内の不揮発性メモリ（ＲＯＭ６０又はＥＥＰＲＯＭ６４）には、設定されるダイナミックレンジに対応した各種パラメータ、係数等を規定したテーブルデータが格納されている。
【０１２９】
図１８及び図１９にはダイナミックレンジ選択操作時のユーザインターフェースの例が示されている。図１８に示した例では、メニュー画面から遷移したダイナミックレンジ設定画面においてダイナミックレンジを指定する入力ボックス１６０が表示される。十字ボタンなど所定の操作手段を用いて入力ボックス１６０横のプルダウンメニューボタン１６２を選択すると、図示のように選択可能なダイナミックレンジの値（相対的被写体輝度）を示すプルダウンメニュー１６４が表示される。
【０１３０】
このプルダウンメニュー１６４の中から十字ボタンによって所望のダイナミックレンジを選択し、ＯＫボタンを押すことにより、ダイナミックレンジが設定される。
【０１３１】
図１９に示した他の例では、ダイナミックレンジ設定画面上に入力ボックス１７０とＤレンジパラメータ軸１７２が表示される。十字ボタンなどの操作手段を使用して、Ｄレンジパラメータ軸１７２に沿ってスライダ１７４を移動させることにより、100 ％から最大400 ％までの範囲でダイナミックレンジを任意に指定することができる。スライダ１７４の位置に応じて入力ボックス１７０に示されるダイナミックレンジの設定値が変更される。所望の設定値が得られたら、画面下の操作案内に従ってＯＫボタンを押し、設定処理を確定（実行）させる。なお、キャンセルボタンを押すと、設定処理が取り消され、元の設定状態に戻る。
【０１３２】
図１８及び図１９では表示部５４の画面上でダイナミックレンジの選択操作を行う例を述べたが、ダイヤル式のスイッチやスライドスイッチ、或いはプッシュ式のスイッチなどの操作部材によってダイナミックレンジの選択を行う態様も可能である。
【０１３３】
また、撮影シーンによって必要とされるダイナミックレンジが異なるので、撮像した画像を解析してダイナミックレンジを自動設定する態様もある。更に、ポートレートモード、夜景モードなどの撮影モードに応じて自動的にダイナミックレンジの設定を切り替える態様も可能である。
【０１３４】
何％までの情報を記録したかというダイナミックレンジの情報は画像データとともにファイルのヘッダー等に記録される。ダイナミックレンジ情報は、標準画像ファイル及び拡張画像ファイルの両方に記録してもよいし、何れか一方のファイルに記録してもよい。
【０１３５】
画像ファイル内にダイナミックレンジ情報を付加しておくことにより、プリンター等の画像出力装置においてその情報を読み込み、合成処理、ガンマ変換、色補正などの処理内容を変えて最適な画像を作成することが可能になる。
【０１３６】
プリント用途であっても、ポートレート用には階調の柔らかい、好ましい肌色を再現する画像が好まれるので、写真の用途別に、例えば、商業コマーシャル用写真と、ポートレート、或いは、屋内撮影用と屋外撮影用というように用途に応じて拡張画像を作成することが有用である。これを実現するために、図１８及び図１９で説明したように、カメラ５０において拡張画像の輝度再現域を指定し得るユーザインターフェースを設け、使用用途や撮影状況に応じてユーザに選択させる構成となっている。
【０１３７】
次に、上記の如く構成されたカメラ５０の動作について説明する。
【０１３８】
図２０乃至図２２は、カメラ５０の制御手順を示したフローチャートである。撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は再生モードから撮影モードに切り替えられたときに、図２０の制御フローがスタートする。
【０１３９】
撮影モードの処理がスタートすると（ステップＳ２００）、ＣＰＵ５６はまず、表示部５４にスルー画を表示させるモードが選択されているか否かの判定を行う（ステップＳ２０２）。セットアップ画面等において撮影モード起動時に表示部５４をＯＮするモード（スルー画ＯＮモード）が選択されている場合には、ステップＳ２０４に進み、ＣＣＤ２０を含む撮像系に電源が供給され、撮像可能な状態になる。このとき、ＣＣＤ２０はスルー画表示用の連続撮像を行うために一定の撮像周期で駆動される。
【０１４０】
本例のカメラ５０は表示部５４においてＮＴＳＣ方式のビデオ信号を利用しており、フレームレートが３０フレーム／秒に設定されている（２フィールドで１フレームを構成するため１フィールド＝１／６０秒）。当該カメラ５０の場合、同じ画像を２フィールド表示させる方式を採用しているため１／３０秒ごとに画像内容が更新される。この周期で１画面の画像データを更新するために、スルー画時においてはＣＣＤ２０の垂直駆動（ＶＤ）パルスの周期が１／３０秒に設定される。ＣＰＵ５６はタイミング発生器８２に対してＣＣＤ駆動モードの制御信号を与え、タイミング発生器８２によってＣＣＤ駆動用の信号が生成される。こうして、ＣＣＤ２０による連続撮像が開始され、表示部５４にスルー画が表示される（ステップＳ２０６）。
【０１４１】
スルー画の表示中、ＣＰＵ５６はシャッターボタンからの信号入力を監視し、Ｓ1 スイッチがＯＮしたか否かの判定を行う（ステップＳ２０８）。Ｓ1 スイッチがＯＦＦの状態であれば、ステップＳ２０８の処理がループし、スルー画表示状態が維持される。
【０１４２】
ステップＳ２０２においてスルー画ＯＦＦ（非表示）の設定になっている場合には、ステップＳ２０４〜ステップＳ２０６を省略してステップＳ２０８に進む。
【０１４３】
その後、撮影者によってシャッターボタンが押され、撮影準備の指示が入力されると（ＣＰＵ５６がＳ1 ＝ＯＮを検出すると）、ステップＳ２１０に進み、ＡＥ及びＡＦ処理を行う。なお、このときＣＰＵ５６は、ＣＣＤ駆動モードを１／６０秒に変更する。ＣＣＤ２０からの画像取り込み周期が短くなり、高速にＡＥ・ＡＦ処理を実施することができる。ここで設定されるＣＣＤ駆動周期は、１／６０秒に限らず、１／１２０秒など適宜の値に設定可能である。ＡＥ処理によって撮影条件が決定され、ＡＦ処理によってフォーカス調整が行われる。
【０１４４】
その後、ＣＰＵ５６はシャッターボタンのＳ2 スイッチからの信号入力を判定する（ステップＳ２１２）。ステップＳ２１２でＳ2 スイッチがＯＮしていない場合は、Ｓ1 が解除されたか否かを判定する（ステップＳ２１４）。ステップＳ２１４でＳ1 が解除されていれば、ステップＳ２０８に戻り、撮影指示の入力待ち状態になる。
【０１４５】
一方、ステップＳ２１４でＳ1 が解除されていなければステップＳ２１２に戻り、Ｓ2 ＝ＯＮの入力を待機する。ステップＳ２１２においてＳ2 ＝ＯＮの入力が検出されると、図２１に示すステップＳ２１６に進み、記録用画像を取得するための撮影動作（ＣＣＤ露光）が実行される。
【０１４６】
次いで、広ダイナミックレンジ記録を行うモードであるか否かを判定し、設定モードに応じて処理が制御される。Ｄレンジ拡大モードスイッチなど所定の操作手段によって広ダイナミックレンジ記録モードが選択されている場合には、まず、主感光画素２１から信号の読み出しが行われ（ステップＳ２２０）、その画像データ（主感光部データ）は第１画像メモリ６２Ａに書き込まれる（ステップＳ２２２）。
【０１４７】
次に、従感光画素２２から信号の読み出しが行われ（ステップＳ２２４）、その画像データ（従感光部データ）は第２画像メモリ６２Ｂに書き込まれる（ステップＳ２２６）。
【０１４８】
その後、主感光部データと従感光部データとのそれぞれについて図１０又は図１５で説明したとおり、所要の信号処理が施される（ステップＳ２２８、Ｓ２３０）。主感光部データから生成された標準再現用の画像ファイルと従感光部データから生成された拡張再現用の画像ファイルとがそれぞれ関連付けられて記録メディア５２に記録される（ステップＳ２３２、Ｓ２３４）。
【０１４９】
その一方、ステップＳ２１８において広ダイナミックレンジ記録を行わない通常の記録モードの場合には、主感光画素２１のみから信号の読み出しが行われる（ステップＳ２４０）。主感光部データは第１画像メモリ６２Ａに書き込まれ（ステップＳ２４２）、その後、主感光部データの処理が行われる（ステップＳ２４８）。ここでは、図１０で説明した所要の信号処理を経て、主感光部データのみから画像を作成する通常の処理が行われる。ステップＳ２４８で生成された画像データは、所定のファイルフォーマットに従って記録メディア５２に記録される（ステップＳ２５２）。
【０１５０】
ステップＳ２３４又はステップＳ２５２において画像の記録処理が完了したら、ステップＳ２５６に進み、撮影モードの解除操作が行われたか否かの判定を行う。撮影モードの解除操作が行われた場合には、撮影モードを終了する（ステップＳ２６０）。また、撮影モードの解除操作が行われていなければ撮影モードの状態が維持され、図２０のステップＳ２０２に戻ることになる。
【０１５１】
図２２は、図２１のステップＳ２３０に示した従感光画素データの処理手順に関するサブルーチンのフローチャートである。図２２に示したように、従感光画素データの処理がスタートすると（ステップＳ３００）、まず、画面内を複数の積算エリアに分割する設定処理を行い（ステップＳ３０２）、各エリアについてＧ（緑）成分の平均値を算出し、Ｇ成分の最大値（Ｇmax ）を求める（ステップＳ３０４）。
【０１５２】
こうして得られたエリアの積算情報から被写体の輝度レンジを検出する（ステップＳ３０６）。その一方、所定のユーザインターフェースから設定されたダイナミックレンジ設定情報（何％までダイナミックレンジを広げるかという設定情報）が読み込まれる（ステップＳ３０８）。ステップＳ３０６で検出した被写体の輝度レンジと、ステップＳ３０８で読み込んだダイナミックレンジ設定情報とに基づいて、最終的なダイナミックレンジが決定される（ステップＳ３１０）。例えば、ダイナミックレンジ設定情報が示す設定Ｄレンジを上限として、被写体の輝度レンジに応じてダイナミックレンジが自動決定される。
【０１５３】
その後、ホワイトバランス処理によって各色チャンネルの信号レベルが調整される（ステップＳ３１２）。また、決定されたダイナミックレンジに対応して、ガンマ補正係数や色補正係数などの各種パラメータがテーブルデータに基づいて決定される（ステップＳ３１４）。
【０１５４】
決定されたパラメータに従ってガンマ変換その他の処理が行われ（ステップＳ３１６）、拡張再現用の画像データが生成される（ステップＳ３１８）。ステップＳ３１８の後は図２１のフローチャートに復帰する。
【０１５５】
このようにして記録メディア５２に記録した画像の再生に際しては、再現範囲を切り替え可能な構成とし、必要に応じて標準再現用画像と拡張画像とを切り替えて出力することができるようにすることが好ましい。この場合、拡張画像の再現に際しては、主要被写体の明るさが標準再現用の画像のそれと略同じになるようにガンマを調整し、高輝度部について階調を与える。これにより、主要被写体部分の印象を変えることなく、高輝度部分について標準再現用画像と拡張画像との差異を確認することができる。
【０１５６】
また、標準再現用画像を表示部５４に表示するときに、拡張再現用の情報が記録されているか否かを判断し、拡張情報が記録されている（関連付けのファイルが存在する）場合には、両者の差分に相当する部分について図２３のように、強調表示１８０を行う。
【０１５７】
例えば、高感度画像データと低感度画像データとの差分をとり、差分が正の値の部分（再現域を拡張する拡張情報が含まれている部分）について、その部分だけ特殊な表示（強調表示）を行う。強調表示の態様は、該当部分の点滅、囲い込み表示、明るさの変更、色調の変更、或いはこれらの組み合わせなど、対象領域を他の領域と識別できるようなものであればよく、具体的な表示形態については特に限定されない。
【０１５８】
このように、関連付けされている拡張情報を用いて、より詳細な再現が可能な領域部分を可視化することにより、ユーザは画像再現の拡張性を把握することができる。
【０１５９】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１６０】
また、図１６で説明した画像再生の手段については、プリンターや画像閲覧装置などの出力装置に応用することができる。すなわち、図１６の表示変換回路１４６及び表示部５４に代えて、プリント用画像生成部及びプリント部とするなど、出力用画像を生成する画像生成部と、そこで生成された画像を最終的に出力する出力部とを備えることにより、拡張情報を活用した良好な画像を得ることができる。
【図面の簡単な説明】
【０１６１】
【図１】本発明が適用される電子カメラに用いられるＣＣＤ撮像素子の受光面の構造例を示す平面図
【図２】図１の２−２線に沿う断面図
【図３】図１の３−３線に沿う断面図
【図４】図１に示すＣＣＤの全体構成を示す平面模式図
【図５】ＣＣＤの他の構造例を示す平面図
【図６】図５の６−６線に沿う断面図
【図７】ＣＣＤの更に他の構造例を示す平面図
【図８】主感光画素と従感光画素の光電変換特性を示すグラフ
【図９】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図１０】図９に示した信号処理部の詳細構成を示すブロック図
【図１１】ｓＲＧＢ色空間を対象とした光電変換特性を示すグラフ
【図１２】ｓＲＧＢ色空間と拡張色空間の例を示した図
【図１３】ｓＲＧＢ色再現域に対するエンコード式と拡張色再現域に対するエンコード式とを示す図表
【図１４】記録メディアのディレクトリ（フォルダ）構造の一例を示す図
【図１５】低感度像データを差分画像として記録する態様例を示すブロック図
【図１６】再生系の構成を示したブロック図
【図１７】高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフ
【図１８】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図１９】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図２０】本例のカメラの制御手順を示したフローチャート
【図２１】本例のカメラの制御手順を示したフローチャート
【図２２】本例のカメラの制御手順を示したフローチャート
【図２３】広ダイナミックレンジ撮像により得られた画像の表示例を示す図
【符号の説明】
【０１６２】
２０…ＣＣＤ、２１…フォトダイオード領域（主感光画素）、２２…フォトダイオード領域（従感光画素）、２３…垂直転送路、４０…カラーフィルタ層、４１…マイクロレンズ、５２…記録メディア、５４…表示部、５６…ＣＰＵ、６２…メモリ、９７…JPEG圧縮回路、１０５…積算回路、１０６…Ｄレンジ算出回路、１１０…JPEG圧縮回路、１３２…差分処理回路、１３３…圧縮回路、１８０…強調表示
【図１】
2008206168.tif 000003
【図２】
2008206168.tif 000004
【図３】
2008206168.tif 000005
【図４】
2008206168.tif 000006
【図５】
2008206168.tif 000007
【図６】
2008206168.tif 000008
【図７】
2008206168.tif 000009
【図８】
2008206168.tif 000010
【図９】
2008206168.tif 000011
【図１０】
2008206168.tif 000012
【図１１】
2008206168.tif 000013
【図１２】
2008206168.tif 000014
【図１３】
2008206168.tif 000015
【図１４】
2008206168.tif 000016
【図１５】
2008206168.tif 000017
【図１６】
2008206168.tif 000018
【図１７】
2008206168.tif 000019
【図１８】
2008206168.tif 000020
【図１９】
2008206168.tif 000021
【図２０】
2008206168.tif 000022
【図２１】
2008206168.tif 000023
【図２２】
2008206168.tif 000024
【図２３】
2008206168.tif 000025