(57)【要約】【課題】  撮像装置において、連続撮影したすべての画像データから情報を得て、連続撮影した各コマ間の色調や階調にバラツキのない、高画質画像を実現する。【解決手段】  連写したすべての画像データから情報を得て、平均的な画像データを求め、前記画像データに最適な画像処理を連写したすべての画像データに行う。【選択図】        図５
2006295774.tif 000002
【特許請求の範囲】
【請求項１】
レンズ鏡胴から入射した被写体像を光電変換する撮像素子と、
前記撮像素子から獲得した画像データを、一時記憶する第１の記憶手段と、
前記第１の記憶手段に記憶した画像データに所定の処理を行う画像処理手段と、
前記所定の処理を行った画像データを記憶する第２の記憶手段と、
を有する撮像装置において、
所定の時間内に前記第１の記憶手段に記憶されたすべての画像データに基づいて画像処理手段の設定を変更する制御手段を有することを特徴とする撮像装置。
【請求項２】
前記画像処理手段の設定は、撮像した画像データの階調変換特性であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段の設定は、撮像した画像データのホワイトバランスであることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は画像データを連続して獲得する連写モードを有し、
前記連写モードにおいて獲得したすべての画像データに基づいて、前記制御手段が画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は露光条件を順次変更した画像データを連続して獲得するブラケットモードを有し、
前記ブラケットモードにおいて獲得したすべての画像データに基づいて、前記制御手段が画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は前記第１の記憶手段に記憶された画像データから基準画像を選択する基準画像選択手段を有し、前記制御手段は選択された基準画像の画像データに基づいて、画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項７】
前記画像処理手段は獲得した少なくとも２つの画像データの階調特性の設定を同一にすることを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記画像処理手段は獲得した少なくとも２つの画像データのホワイトバランスの設定を同一にすることを特徴とする請求項１に記載の撮像装置。
【請求項９】
所定時間内に獲得された画像データを一時記憶する第１の記憶工程と、
前記第１の記憶工程において一時記憶した画像データに所定の処理を行う画像処理工程と、
前記所定の処理を行った画像データを記憶する第２の記憶工程と、
前記第１の記憶工程で記憶されたすべての画像データに基づいて、前記画像処理工程の設定を変更する制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項１０】
コンピュータによって撮像装置が獲得した画像データの画像処理を行うプログラムであって、
コンピュータに画像データの撮影情報を判定してグループ化する処理と、
グループ化した画像データのすべてに基づいて、画像処理の設定を決定する処理と、
前記設定に基づいて画像処理を実行させることを特徴とするデジタルカメラ用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法および、プログラムに関する。より詳しくは、撮影した複数の画像データから情報を得て、画像処理手段の設定を行うことを特徴とする撮像装置、撮像装置の制御方法および、プログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置において、撮像した画像の濃度パターンや色の偏りを解析したりして得られた被写体の輝度分布情報や色情報から、より実際の被写体に近い画像を再現できるように、撮影した画像の画像処理設定（たとえばガンマ補正やホワイトバランスなど）を変更することが知られている。
【０００３】
しかしながら、撮影した画像は被写体を取り巻く環境の一部を切り取ったにすぎないので、非常に限られた情報しか得られない。たとえば、空を撮影した時、撮影した画像だけでは青空か、曇り空かを判断するのは難しい。また、撮像素子のダイナミックレンジは狭く、被写体の輝度情報の一部しか得られない。
【０００４】
また、デジタル一眼レフカメラにおいては、撮影前は撮像素子への光路は遮られているので、撮影前は撮像素子から画像情報を得ることはできない。そのため、前記技術は適用できなかった。
【０００５】
撮影した画像以外から被写体の色情報を得る方法としては、撮像素子とは別に広い範囲を測色できるセンサを設けてホワイトバランスの情報を得る方法が知られている。
【０００６】
しかしながら、室内から窓越しに風景を撮影する場合など、センサの測色している範囲と撮影範囲が一致しない場合は正しく測色できなかった。また、別途センサを設けるためコスト高になった。
【０００７】
センサを設けずに撮影した画像以外から被写体の色情報を得る別法としては、撮影前に撮像素子から得られた画像信号を積分し、色情報を得る方法（例えば、特許文献１参照）が提案されている。
【０００８】
また、撮影した画像以外から被写体の輝度分布を測光する方法としては、露光量を変えて複数回撮像し、得られた複数の画像データから被写体の輝度分布を推定する方法が用いられる。
【０００９】
たとえば、ストロボ装置により複数回予備発光を行った際の反射光を測光した結果の輝度分布に応じて、自動的に本発光の回数、露光量を設定し、複数回の露光を行い、その結果得られた画像データをガンマ補正して画像合成する方法（例えば、特許文献２参照）が提案されている。
【特許文献１】特開２００４−１５９１８３号公報
【特許文献２】特開２００３−１９８８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
デジタルカメラ、特に一眼レフデジタルカメラのようにライブビューを行わないカメラでは、撮影した１コマの画像を解析して被写体の輝度分布情報や色情報を推定し、前記画像の画像処理設定（たとえばガンマ補正やホワイトバランスなど）を行っているので、前記画像から得られた情報に偏りがあった場合、最適な画像処理設定ができないことがあった。
【００１１】
そのため、上記特許文献１のように撮影前に撮像素子から得られた画像信号を積分し、色情報を得る方法や上記特許文献２のように撮影前に複数回予備発光を行うことによって、被写体の輝度分布情報を得て、広い再現階調を確保するための技術が提案されている。
【００１２】
しかしながら、上記特許文献１や上記特許文献２の撮像装置では、複数枚連続して撮影する場合において、ガンマ補正やホワイトバランスなどの画像処理が各撮影コマ毎に異なった設定になり、画像の再現がばらつくという問題が解決できなかった。
【００１３】
また、上記特許文献２の撮像装置ではストロボ装置による複数回の予備発光を行う必要があり、さらに本露光時も複数回露光を行う必要があるため、限られた撮影機会や被写体にしか適用できなかった。
【００１４】
本発明は、上記課題に鑑みてなされたものであって、連続撮影した各コマ間の色調や階調にバラツキのない、高画質画像が得られる撮像装置および撮像装置の制御方法およびデジタルカメラ用画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の目的は、下記構成により達成することができる。
【００１６】
（請求項１）
レンズ鏡胴から入射した被写体像を光電変換する撮像素子と、
前記撮像素子から獲得した画像データを、一時記憶する第１の記憶手段と、
前記第１の記憶手段に記憶した画像データに所定の処理を行う画像処理手段と、
前記所定の処理を行った画像データを記憶する第２の記憶手段と、
を有する撮像装置において、
所定の時間内に前記第１の記憶手段に記憶されたすべての画像データに基づいて画像処理手段の設定を変更する制御手段を有することを特徴とする撮像装置。
【００１７】
（請求項２）
前記画像処理手段の設定は、撮像した画像データの階調変換特性であることを特徴とする請求項１に記載の撮像装置。
【００１８】
（請求項３）
前記画像処理手段の設定は、撮像した画像データのホワイトバランスであることを特徴とする請求項１に記載の撮像装置。
【００１９】
（請求項４）
前記制御手段は画像データを連続して獲得する連写モードを有し、
前記連写モードにおいて獲得したすべての画像データに基づいて、前記制御手段が画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【００２０】
（請求項５）
前記制御手段は露光条件を順次変更した画像データを連続して獲得するブラケットモードを有し、
前記ブラケットモードにおいて獲得したすべての画像データに基づいて、前記制御手段が画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【００２１】
（請求項６）
前記制御手段は前記第１の記憶手段に記憶された画像データから基準画像を選択する基準画像選択手段を有し、前記制御手段は選択された基準画像の画像データに基づいて、画像処理手段の設定を変更することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【００２２】
（請求項７）
前記画像処理手段は獲得した少なくとも２つの画像データの階調特性の設定を同一にすることを特徴とする請求項１に記載の撮像装置。
【００２３】
（請求項８）
前記画像処理手段は獲得した少なくとも２つの画像データのホワイトバランスの設定を同一にすることを特徴とする請求項１に記載の撮像装置。
【００２４】
（請求項９）
所定時間内に獲得された画像データを一時記憶する第１の記憶工程と、
前記第１の記憶工程において一時記憶した画像データに所定の処理を行う画像処理工程と、
前記所定の処理を行った画像データを記憶する第２の記憶工程と、
前記第１の記憶工程で記憶されたすべての画像データに基づいて、前記画像処理工程の設定を変更する制御工程と、を有することを特徴とする撮像装置の制御方法。
【００２５】
（請求項１０）
コンピュータによって撮像装置が獲得した画像データの画像処理を行うプログラムであって、
コンピュータに画像データの撮影情報を判定してグループ化する処理と、
グループ化した画像データのすべてに基づいて、画像処理の設定を決定する処理と、
前記設定に基づいて画像処理を実行させることを特徴とするデジタルカメラ用画像処理プログラム。
【発明の効果】
【００２６】
請求項１または９に記載の発明によれば、所定の時間内に撮影したすべての画像データから被写体の情報を得て、撮影したすべての画像データに最適な画像処理ができるので、バラツキの少ない高画質な画像の得られる撮像装置を提供できる。
【００２７】
請求項２に記載の発明によれば、所定の時間内に撮影したすべての画像データから得た被写体の情報から、撮影した画像データの階調変換設定を行うので、階調のバラツキが少なく、すべての画像データに最適な階調を再現できる撮像装置を提供できる。
【００２８】
請求項３に記載の発明によれば、所定の時間内に撮影したすべての画像データから得た被写体の色情報から設定値を求めて、撮影した画像データのホワイトバランス設定を行うので、最適な色を再現した画像の得られる撮像装置を提供できる。
【００２９】
請求項４に記載の発明によれば、画像データを連続して獲得する連写モードにおいて、前記連写モード時に撮影したすべての画像データから被写体の情報を得るので、バラツキの少ない高画質な連続撮影画像の得られる撮像装置を提供できる。
【００３０】
請求項５に記載の発明によれば、露出条件を順次変更した画像データを連続して獲得するブラケットモードにおいて、前記ブラケットモードで撮影したすべての画像データから被写体の情報を得るので、バラツキの少ない高画質なブラケット画像の得られる撮像装置を提供できる。
【００３１】
請求項６に記載の発明によれば、所定の時間内に撮影した画像データの中から選択した画像データを基準として、撮影画像データに最適な画像処理ができるので、バラツキの少ない高画質な画像の得られる撮像装置を提供できる。
【００３２】
請求項７に記載の発明によれば、所定の時間内に撮影したすべての画像データから被写体の情報を得て、少なくとも２つの画像データに同じ設定の階調変換を行うので、階調のバラツキの少ない高画質な画像の得られる撮像装置を提供できる。
【００３３】
請求項８に記載の発明によれば、所定の時間内に撮影したすべての画像データから被写体の情報を得て、少なくとも２つの画像データに同じホワイトバランスの設定を行うので、色のバラツキの少ない高画質な画像の得られる撮像装置を提供できる。
【００３４】
請求項１０に記載の発明によれば、画像データの撮影情報を判定してグループ化し、グループ化した画像データのすべてに基づいて、画像処理の設定を決定し、画像処理を実行するので、バラツキの少ない高画質な画像の得られるプログラムを提供できる。
【発明を実施するための最良の形態】
【００３５】
以下、図面に基づき本発明の実施の形態を説明する。
【００３６】
図１は、本発明に係る撮像装置を適用した一実施形態であるデジタルカメラ１の概略構成を示す外観背面図である。
【００３７】
カメラ本体部２の上面側にはシャッタボタン６１と撮影モードダイアル６４が設けられている。カメラ本体部２の背面側には電源スイッチ１０２、液晶モニタ８１、モードスイッチ６２、表示切り替えボタン６３、十字キー６５、実行ボタン６６、ファインダ１０４、ファインダ接眼部１０５、メモリカード蓋８２が設けられている。
【００３８】
モードスイッチ６２は撮影モードと再生モードとセットアップモードを切り替えるスイッチである。撮影モードは、写真撮影を行うモードであり、再生モードは、メモリカード２５に記録された撮影画像を液晶モニタ８１に再生表示するモードである。セットアップモードは各種設定を行うモードである。セットアップモードでは、記録モードをメモリカード２５に記録する撮影画像を画像処理後圧縮して記録するモードと、撮影画像を画像処理を行わず非圧縮のまま記録するモード、画像処理後圧縮した画像と画像処理を行わず非圧縮のままの画像の両方を記録するモード、のいずれかを設定できる。セットアップモードにおける各種設定は、セットアップモードを選択した後、液晶モニタ８１に表示される設定画面を見ながら、十字キー６５、実行ボタン６６で設定する。
【００３９】
撮影モードダイアル６４は撮影モードを切り替えるダイアルである。撮影モードには一駒撮影モード、連続して撮影を行う連写モード、撮影条件を変えて連続して撮影を行うブラケット撮影モードが選択できる。連写モードにおいて連続して撮影する枚数の設定は、液晶モニタ８１に表示される設定画面を見ながら、十字キー６５、実行ボタン６６で設定する。ブラケット撮影モードでは、露出を少しずつ変えて複数枚連続撮影するＡＥブラケット撮影モードや、露出は一定で絞りとシャッタースピードの組み合わせを変えて連続撮影する絞りブラケット撮影モード、速度ブラケット撮影モードを同様に十字キー６５、実行ボタン６６で設定できる。
【００４０】
図１に示したデジタルカメラ１の内部構成を、図２を用いて説明する。図２（ａ）、図２（ｂ）は図１のデジタルカメラ１の側面から見た断面図である。図２（ａ）は撮影前の状態、図２（ｂ）は撮影中の状態である。
【００４１】
デジタルカメラ１は、レンズ交換可能な、いわゆるデジタル一眼レフカメラであり、主としてカメラ本体部２と、カメラ本体部２と結合する撮影レンズ３とから構成される。
【００４２】
撮影レンズ３は主として、レンズ鏡胴３１、レンズ鏡胴３１の内部に設けられる複数のレンズ群３２、絞り３３等から構成される。複数のレンズ群３２の光軸Ｌに沿って入射した光の大部分は、第１のミラー３４ａにより９０度直角に上部方向（紙面上向き方向）に曲げられ、焦点板３８に結像する。結像した光像はペンタプリズム３５内部で２回反射し、接眼レンズ１０４を通して被写体像を、撮影者が見るように構成されている。ペンタプリズム３５の上部に設けられた測光センサ４１は、前記焦点板３８上に結像した被写体像を測光し、被写体の輝度分布の情報を得て自動露出を行う目的で設けられている。
【００４３】
一方、複数のレンズ群３２の光軸Ｌに沿って入射した光の一部は、半透過鏡である第１のミラー３４ａを透過し、第２のミラー３４ｂに入射する。前記入射光は第２のミラー３４ｂにより９０度直角に下部方向（紙面下向き方向）に曲げられ、光軸Ｌ２となってＡＦセンサ光学ユニット３６に入射し、測距センサ４２上に結像する。
【００４４】
次に撮影中の状態について図２（ｂ）を用いて説明する。
【００４５】
撮影中は図示せぬミラー駆動機構により第１のミラー３４ａ、第２のミラー３４ｂは光軸Ｌ１から退避し、カメラ本体部２の上部に格納される。図２（ａ）は撮影前にシャッタ５１が光路を遮るように完全に閉じた状態である。撮影中に露光を行う時は図２（ｂ）のようにシャッタ５１が上下に開き光路を開放する。
【００４６】
この状態で、複数のレンズ群３２から入射した光は、撮像素子の一例であるＣＣＤ（電荷結合素子）５上に結像する。なお、本発明において撮像素子は、ＣＣＤに代えて、ＣＭＯＳセンサ、ＣＩＤセンサ等の固体撮像素子であってもよい。ＣＣＤ５にて取得された映像信号は図示せぬ回路基板でデジタル信号に変換し、画像処理を行った後、メモリカード２５に記録する。
【００４７】
フラッシュ９４は図２（ａ）ではカメラ本体部２の内部に収納された状態を図示し、図２（ｂ）ではカメラ本体部２から発光部分が飛び出して、被写体に向けて発光できる状態を図示している。
【００４８】
フラッシュ撮影時はフラッシュ撮影に先だって、フラッシュ９４を予備発光し、被写体からの反射光を測光して、本発光時の光量を設定している。
【００４９】
シャッタ５１がまだ閉じている状態で、フラッシュ９４を所定の光量で発光すると、被写体で反射した反射光は複数のレンズ群３２を通って入射し、シャッタ５１の表面で反射し、フラッシュ光量測光センサ４３上に結像するように構成されている。
【００５０】
撮影レンズ３はズームレンズとして構成され、レンズ群３２の配置を変更することにより、焦点距離（撮像倍率）を変更可能としている。
【００５１】
ＣＣＤ５は、カラーフィルタがそれぞれ付された微細な画素群で構成される撮像素子であり、撮影レンズ３によって結像される被写体の光像（被写体像）を、例えばＲＧＢの色成分を有する画像信号に光電変換する。ＣＣＤ５の受光面は結像平面と一致するように配置され、イメージサークルを含む結像平面の一部の領域が画像データ（本明細書中では、適宜単に「画像」ともいう。）として取得されることとなる。
【００５２】
撮影レンズ３はズームレンズとして構成され、レンズ群３２の配置を変更することにより、焦点距離（撮像倍率）を変更可能としている。
【００５３】
ＣＣＤ５は、カラーフィルタがそれぞれ付された微細な画素群で構成される撮像素子であり、撮影レンズ３によって結像される被写体の光像（被写体像）を、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分を有する画像信号に光電変換する。ＣＣＤ５の受光面は結像平面と一致するように配置され、イメージサークルを含む結像平面の一部の領域が画像データ（本明細書中では、適宜単に「画像」ともいう。）として取得されることとなる。
【００５４】
図３は、図１、図２のデジタルカメラ１の主たる機能構成を示すブロック図である。なお、図１、図２に示したものと同じ構成要素には同符号を付して説明を省略する。
【００５５】
デジタルカメラ１は、ＡＤ変換部２１、本発明の画像処理手段である画像処理部２２、操作部６０、メインマイコン部７、本発明の第１の記憶手段であるバッファメモリ２６、画像メモリ２３、本発明の第２の記憶手段であるメモリカード２５等を有する。
【００５６】
制御手段として機能するメインマイコン部７は、マイクロコンピュータを備えて構成される。すなわち、メインマイコン部７は、各種演算処理を行うＣＰＵ７０と、演算を行うための作業領域となるＲＡＭ７５と、制御プログラム等が記憶されるＲＯＭ７６とを備え、デジタルカメラ１の各処理部の動作を統括的に制御する。不揮発性メモリであるＲＯＭ７６としては、例えば、データの電気的な書き換えが可能なＥＥＰＲＯＭが採用される。これにより、ＲＯＭ７６は、データの書き換えが可能で、かつ、電源を落とした場合でもそのデータの内容を保持する。
【００５７】
操作部６０の独立して設けられた複数の操作部材であるシャッタボタン６１、モードスイッチ６２、表示切り替えボタン６３、撮影モードダイアル６４、十字キー６５，実行ボタン６６および電源スイッチ１０２の出力はメインマイコン部７に入力されている。
【００５８】
操作者（ユーザ）は、この操作部６０にて所定の操作を行うことにより、各種の設定操作を行うことができる。
【００５９】
例えば、操作者は、モードスイッチ６２を操作することによって、デジタルカメラ１のモードを再生モードと撮影モードとの間で切り替えることができる。また、電源スイッチ１０２で電源のＯＮ／ＯＦＦ操作も行うことができる。
【００６０】
撮影モードダイアル６４は１コマ撮影モードと連写撮影モード、ブラケット撮影モードを切り替えるダイアルである。
【００６１】
シャッタボタン６１には半押し（Ｓ１）でＯＮになるスイッチと全押し（Ｓ２）でＯＮになるスイッチが連動しており、ＣＰＵ７０がＳ１、Ｓ２のタイミングを検知できるようになっている。
【００６２】
１コマ撮影モードはシャッタボタン６１を全押し（Ｓ２）すると、１コマの撮影が行われるモード、連写撮影モードはシャッタボタン６１を全押し（Ｓ２）している間、所定の時間間隔で連続して撮影が行われるモードである。
【００６３】
ブラケット撮影モードには標準的な露出条件から露光量を少しずつずらして自動的に撮影するＡＥブラケット撮影モードと露光量は一定で絞りまたはシャッタースピードのいずれかを優先して、少しずつずらして撮影する絞りブラケット撮影モード、速度ブラケット撮影モードなどがある。
【００６４】
撮影モードダイアル６４をブラケット撮影モードに設定すると、ＬＣＤ８１にＡＥブラケット撮影モード、絞りブラケット撮影モード、速度ブラケット撮影モードなどを選択し、設定する画面が表示されるので、撮影者は十字キー６５，実行ボタン６６を使っていずれかを選択する。
【００６５】
各モードの設定は、たとえば、ＡＥブラケット撮影モードではＬＣＤ８１に露出のずらし量設定値Ｍ（ＥＶ）と撮影コマ数Ｋを選択する画面が表示されるので、撮影者は十字キー６５，実行ボタン６６を使ってＭを選択する。たとえば、露出のずらし量設定値Ｍは１／２（ＥＶ）と１／３（ＥＶ）を、撮影コマ数Ｋは３コマと５コマを選択できるようになっている。
【００６６】
一例として、露出のずらし量設定値Ｍ（ＥＶ）を１／２（ＥＶ）に、撮影コマ数Ｋを３コマに設定すると−１／２（ＥＶ）、０（ＥＶ）、＋１／２（ＥＶ）というように１／２（ＥＶ）ずつ露光量をずらして自動的に３コマ撮影する。
【００６７】
また、操作者は、表示切替ボタン６３を操作することによって、デジタルカメラ１のＬＣＤ８１の状態を表示状態および非表示状態との間で切り替えることができるようになっている。
【００６８】
ミラー駆動部９１はメインマイコン部７の指令により、ミラー３４を駆動し、撮影レンズ３の光路から退避させる。また、シャッタ駆動部９３はメインマイコン部７の指令によりシャッタ５１を開放する。
【００６９】
Ａ／Ｄ変換部２１、バッファメモリ２６、画像処理部２２および画像メモリ２３は、ＣＣＤ５にて取得された画像を扱う処理部を示している。
【００７０】
ＣＣＤ５にて取得されたアナログ信号の画像は、Ａ／Ｄ変換部２１にてたとえば１４ビットのデジタル信号に逐次変換され、デジタル画像データとしてバッファメモリ２６に一時記憶される。前記画像データを画像処理を行う前の生データ、すなわちＲＡＷデータと呼ぶ。連写モードやブラケットモードでは、設定された所定の撮影枚数のＲＡＷデータがバッファメモリ２６に一時記憶される。
【００７１】
画像処理部２２は、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）補正部２２０、画素補間部２２１、リニアマトリクス処理部２２２、ガンマ補正部２２３、色差マトリクス処理部２２４、輪郭補正部２２５、画像圧縮部２２６などの画像処理機能を有する。ガンマ補正部２２３、輪郭補正部２２５、ＷＢ補正部２２０の補正量の設定値はメインマイコン部７の階調変換制御部７７、周波数応答制御部７８、ＷＢ制御部７３からの指令により設定される。
【００７２】
ＷＢ補正部２２０は、ＷＢ制御部７３が設定する係数を、ＣＣＤ５から得た前記ＲＡＷデータのＲとＢの画像データにそれぞれかけ算し、ホワイトバランスを調整する。
【００７３】
画素補間部２２１は、ホワイトバランス調整後のＲ、Ｇ、Ｂ毎に画素データを分離し、画素補間を行って、面順次のＲ、Ｇ、Ｂ画像データを作る。
【００７４】
リニアマトリクス処理部２２２は、Ｒ、Ｇ、Ｂの画像データに３×３のマトリックス演算によりそれぞれ分光感度に応じた係数をかけて加算し、分光感度による色誤差を補正する。
【００７５】
ガンマ補正部２２３は、入出力特性である階調特性を表すルックアップテーブルを持ち、入力されたデジタル値に対応するデジタル値に変換して出力する機能を持っている。すなわち、Ｒ、Ｇ、Ｂ画像データを、階調変換制御部７７が前記ルックアップテーブルに設定する階調特性で階調変換する。
【００７６】
色差マトリクス処理部２２４は、前記ガンマ補正部２２３で階調変換されたＲ、Ｇ、Ｂ画像データに３×３のマトリックス演算を行い、輝度Ｙ、色差Ｃｒ、Ｃｂ信号に変換する。
【００７７】
輪郭補正部２２５は、周波数応答制御部７８の設定する入出力特性である周波数応答特性で輝度Ｙの輪郭を補正し、画像メモリ２３に一時的に格納する。
【００７８】
画像圧縮部２２６は、画像処理後の画像データをＪＰＥＧ形式などに圧縮する。
【００７９】
測距センサ４２は自動合焦制御に、測光センサ４１とフラッシュ光量測光センサ４３は自動露出制御に用いられるセンサである。メインマイコン部７は、入力された各センサの出力電圧をデジタル値に変換し、メインマイコン部７に入力する、図示せぬＡ／Ｄ変換部を備えて構成されている。
【００８０】
メインマイコン部７は、自動合焦制御部（ＡＦ制御部）７１、自動露出制御部（ＡＥ制御部）７２、階調変換制御部７７、周波数応答制御部７８、本発明の基準画像選択手段である基準画像選択部７４などの各種の制御機能を有する。メインマイコン部７の各種の機能は、予めＲＯＭ７６内に記憶される制御プログラムに従ってＣＰＵ７０が演算処理を行うことにより実現される。
【００８１】
また、圧縮後の画像をメモリカード２５に記録したり、またＬＣＤ８１などに表示出力する制御機能も持っている。このような画像に対する各種の処理もメインマイコン部７の制御に基づいて行われる。
【００８２】
ＡＦ制御部７１は、測距センサ４２より得られた輝度情報により合焦用評価値を得て、撮影レンズ３の焦点位置を調整することによって自動合焦制御を実現する。
【００８３】
基準画像選択部７４は、連続撮影した画像データから所定のアルゴリズムにより画像処理の基準となる基準画像データを選択する。基準画像データ選択のアルゴリズムについては、後で詳しく説明する。
【００８４】
図３の撮影レンズ３は、ズーム・フォーカス駆動部３３２および絞り駆動部３３１を備えている。ズーム・フォーカス駆動部３３２は、ユーザにより設定される焦点距離となるように、また、焦点が合うように（フォーカシング）レンズ群３２に含まれるレンズを適宜光軸方向に駆動する。
【００８５】
ＡＥ制御部７２は、定常光による撮影の場合、被写体像を複数の測光ブロックに分割して光電変換する測光センサ４１により得られた輝度値に基づいて、ＡＥ用評価値を算出し自動露出制御を実現する。
【００８６】
絞り駆動部３３１は、ＡＥ制御部７２により設定される絞り値となるように絞り３３の開口径を調整するものである。ズーム・フォーカス駆動部３３２および絞り駆動部３３１も電気的にメインマイコン部７に接続され、メインマイコン部７の制御下にて動作する。
【００８７】
フラッシュ光による撮影の場合も同様に、ＡＥ制御部７２は、フラッシュ光量測光センサ４３により得られた、測光ブロックの代表輝度値に基づいて、ＡＥ用評価値を算出し、フラッシュ９４の発光量を制御して自動露出制御を実現する。
【００８８】
図４は本発明の撮像装置が行う撮影時の概略の手順を説明するフローチャート、図５は本発明の第１の画像処理ルーチンを説明するフローチャート、図６は本発明の第２の画像処理ルーチンを説明するフローチャートである。なお、図４においては、デジタルカメラ１の電源が投入され、撮影モードが選択されて撮影待機状態になってからの処理について説明する。図４では、撮影画像を画像処理後圧縮して記録するモードが選択されているものとする。
【００８９】
シャッタボタン６１が半押し（Ｓ１）になると（ステップＳ１０２）、ＡＥ制御部７２は測光センサ４１の出力に応じて自動露出制御を、ＡＦ制御部７１は測距センサ４２の出力に応じて自動焦点制御を行う。ＡＥ制御部７２は、自動露出制御で得られた露出値Ｅ（ＥＶ）から絞りとシャッタ速度の組み合わせを求め、露出値Ｅ（ＥＶ）と得られた絞り値、シャッタ速度の値をＲＡＭ７５に記録する（ステップＳ１０３）。
【００９０】
次に、シャッタボタン６１が全押し（Ｓ２）になると（ステップＳ１０４）、次に、メインマイコン部７は撮影のシーケンスを開始し、所定のタイミングでミラー駆動部９１に指令を送り、ミラー３４を撮影レンズ３の光路から退避させる（ステップＳ１０５）。
【００９１】
次に、メインマイコン部７は設定されているモードがＡＥブラケット撮影モードかどうか、判定する（ステップＳ１０６）。設定されたモードがＡＥブラケット撮影モードではない場合（ステップＳ１０６；Ｎｏ）、メインマイコン部７は設定されているモードが絞りブラケット撮影モード、または速度ブラケット撮影モードかどうか、判定する（ステップＳ１０７）。
【００９２】
設定されたモードが絞りブラケット撮影モード、または速度ブラケット撮影モードではない場合（ステップＳ１０７；Ｎｏ）、ＡＥ制御部７１は通常の露光値で１コマ露光する。すなわち、ＡＥ制御部７１は、ステップＳ１０３でＲＡＭ７５に記録した絞り値を、絞り駆動部３３１に指令して絞り３３を設定し、同様に記録されたシャッタ速度により決定される露光時間の間、シャッタ駆動部９３に指令してシャッタ５１を開き、ＣＣＤ５に露光する。所定の露光時間が経過すると、ＡＥ制御部７１はシャッタ駆動部９３に指令を送りシャッタ５１を閉じる。メインマイコン部７はＣＣＤ５から読み出したＲＡＷデータをバッファメモリ２６に一時記憶する（ステップＳ１０８）。
【００９３】
次に、メインマイコン部７は設定されたモードが連写モードで、かつシャッタボタン６１が全押し（Ｓ２）かどうかを判定する（ステップＳ１０９）。メインマイコン部７は、設定されたモードが連写モードで、かつシャッタボタン６１が全押し（Ｓ２）の場合（ステップＳ１０９；Ｙｅｓ）、ステップＳ１０８に戻り、次の１コマを通常の露光量で露光し、ＲＡＷデータをバッファメモリ２６に一時記憶する。
【００９４】
設定されたモードが連写モードではないか、またはシャッタボタン６１が全押し（Ｓ２）でない場合（ステップＳ１０９；Ｎｏ）、ステップＳ１１１に進み、メインマイコン部７はミラー駆動部９１に指令を送り、ミラー３４を所定の状態に復帰させる（ステップＳ１１１）。
【００９５】
設定されたモードが絞りブラケット撮影モード、または速度ブラケット撮影モードの場合（ステップＳ１０７；Ｙｅｓ）、ＡＥ制御部７１はステップＳ１０８と同様に、１コマ目を通常の露光量でＣＣＤ５に露光し、メインマイコン部７は露光終了後ＣＣＤ５から読み出されたＲＡＷデータをコマ番号とともにバッファメモリ２６に一時記憶する。その後、ＡＥ制御部７１は設定された絞りまたは速度のずらし量に基づいて、露光量を変えずに絞り値またはシャッタ速度をずらしてＣＣＤ５に露光する。メインマイコン部７は、ＣＣＤ５から読み出したＲＡＷデータを順次バッファメモリ２６に一時記憶する。設定された撮影コマ数分、メインマイコン部７はＣＣＤ５への露光とＲＡＷデータのバッファメモリ２６への一時記憶を繰り返す。設定された撮影コマ数分、撮影すると、ステップＳ１１１に進み、メインマイコン部７はミラー駆動部９１に指令を送り、ミラー３４を所定の状態に復帰させる（ステップＳ１１１）。
【００９６】
次に、画像処理ルーチン１に進み、画像処理部２２はバッファメモリ２６に一時記憶しているＲＡＷデータに画素補間、マトリクス処理、ＷＢ補正、ガンマ補正、輪郭補正などの画像処理を行う（ステップＳ２００）。画像処理ルーチン１では、すべての撮影コマの画像データを平均して基準コマを決定し、基準コマと同じ設定値ですべてのコマのＷＢ補正、ガンマ補正、輪郭補正を行うのが特徴である。ステップＳ２００で行う画像処理ルーチン１については後で詳述する。
【００９７】
次に、画像圧縮部２２６はステップＳ２００で画像処理を行った画像データを圧縮し、圧縮した画像データは一旦画像メモリ２３に保存する。その後、メインマイコン部７は前記画像データを順次メモリカード２５に記録する（ステップＳ１３０）。撮影はこれで終了である。
【００９８】
設定されたモードがＡＥブラケット撮影モードの場合（ステップＳ１０６；Ｙｅｓ）、ＡＥ制御部７１はステップＳ１０８と同様に、１コマ目を通常の露光値でＣＣＤ５に露光し、メインマイコン部７は露光終了後ＣＣＤ５から読み出されたＲＡＷデータをバッファメモリ２６に一時記憶する。次に、ＡＥ制御部７１は設定された露出のずらし量設定値Ｍ（ＥＶ）と撮影コマ数Ｋに基づいて露光量を決定する。その後、ＡＥ制御部７１は設定された露出のずらし量設定値Ｍに基づいて、絞り値とシャッタ速度の値を変更して露光量を変え、ＣＣＤ５に露光する。メインマイコン部７は、ＣＣＤ５から読み出したＲＡＷデータをコマ番号とともに順次バッファメモリ２６に一時記憶する。設定された撮影コマ数分、メインマイコン部７はＣＣＤ５への露光とＲＡＷデータのバッファメモリ２６への一時記憶を繰り返す。設定された撮影コマ数分、撮影すると、ステップＳ１２１に進み、メインマイコン部７はミラー駆動部９１に指令を送り、ミラー３４を所定の状態に復帰させる（ステップＳ１２１）。
【００９９】
次に、ＡＥブラケット撮影画像処理ルーチンに進み、画像処理部２２はバッファメモリ２６に一時記憶しているＲＡＷデータに画素補間、マトリクス処理、ＷＢ補正、ガンマ補正、輪郭補正などの画像処理を行う（ステップＳ３００）。ＡＥブラケット撮影画像処理ルーチンでは、通常の露光量で撮影した撮影コマを基準コマとし、各コマの露出のずらし量に応じて、ガンマ補正の特性を変更する点が画像処理ルーチン１との大きな違いである。ステップＳ３００で行うＡＥブラケット撮影画像処理ルーチンについては後で詳述する。
【０１００】
次に、画像圧縮部２２６はステップＳ３００で画像処理を行った画像データを圧縮し、圧縮された画像データは一旦画像メモリ２３に保存する。その後、メインマイコン部７は前記画像データを順次メモリカード２５に記録する（ステップＳ３２０）。撮影はこれで終了である。
【０１０１】
次に本発明の第１の実施の形態である画像処理ルーチン１（ステップＳ２００）について図５を用いて説明する。
【０１０２】
図７は撮像装置より得られた画像データ分布の例を説明する説明図、図８は本発明で被写体輝度分布に応じて実施する階調変換特性の例を説明する説明図、図９は本発明で被写体輝度分布に応じて実施する周波数応答特性の例を説明する説明図である。
【０１０３】
以下、図５に示すフローチャートと合わせて図７、図８、図９も説明する。
【０１０４】
画像処理ルーチン１が起動されると、メインマイコン部７はバッファメモリ２６に一時記憶された各コマのＲＡＷデータを順次画像処理部２２に送る。ＷＢ補正部２２０は各コマのＲＡＷデータからＲ、Ｇ、Ｂ各色毎に画素データ分離して加算し、すべてのコマのＲ、Ｇ、Ｂ各色の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを求める。次に、ＷＢ補正部２２０はＲ、Ｇ、Ｂ平均値Ｒａｖ、Ｇａｖ、Ｂａｖから、ＷＢ補正のためにＲ、Ｂの画素データにかけるＷＢ係数Ｒｇ、Ｂｇを式（１）、式（２）で求める。なお、Ｒｇ、Ｂｇの値には上限値、下限値が決められており、必要以上に補正がかからないようにしている（ステップＳ２１１）。
【０１０５】
Ｒｇ＝Ｇａｖ／Ｒａｖ      （１）
Ｂｇ＝Ｇａｖ／Ｂａｖ      （２）
ＷＢ補正部２２０はステップＳ２１１で求めたＷＢ係数Ｒｇ、Ｂｇを、各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データをバッファメモリ２６に一時記憶する（ステップＳ２１２）。
【０１０６】
次に、画素補間部２２１はバッファメモリ２６に一時記憶されたＷＢ補正後の各コマのＲＡＷデータを、画素補間し、Ｒ、Ｇ、Ｂの面順次画像データにする。次にリニアマトリクス処理部２２２では各コマのＲ、Ｇ、Ｂの各画素データに、３×３のマトリクス演算で分光感度を補正する係数をかけてＲ’、Ｇ’、Ｂ’を求め、Ｒ’、Ｇ’、Ｂ’の面順次画像データを得る。画素補間部２２１は得られた各コマの面順次画像データを画像メモリ２３に一時記憶する（ステップＳ２１３）。
【０１０７】
次に、基準画像選択部７４は、ステップＳ２１３で画像メモリ２３に一時記憶されたすべてのコマのＲ’、Ｇ’、Ｂ’面順次画像データから、各コマのＲ’、Ｇ’、Ｂ’各色の平均値Ｒ’ｈ（ｉ）、Ｇ’ｈ（ｉ）、Ｂ’ｈ（ｉ）を求める。ここでｉはコマ番号である。基準画像選択部７４は各コマのＲ’、Ｇ’、Ｂ’各色の平均値Ｒ’ｈ（ｉ）、Ｇ’ｈ（ｉ）、Ｂ’ｈ（ｉ）から全コマの平均値Ｒ’ｔ、Ｇ’ｔ、Ｂ’ｔを求める（ステップＳ２１４）。
【０１０８】
次に、基準画像選択部７４は、得られた全コマの平均値と各コマの平均値から、式（３）により評価値Ｓ（ｉ）を求める。
【０１０９】
Ｓ（ｉ）＝（Ｒ’ｔ−Ｒ’ｈ（ｉ））2＋（Ｇ’ｔ−Ｇ’ｈ（ｉ））2＋（Ｂ’ｔ−Ｂ’ｈ（ｉ））2      （３）
基準画像選択部７４は、式（３）で得られた評価値Ｓ（ｉ）が最も少ないコマを基準コマに選択する（ステップＳ２１５）。ここでは基準コマのコマ番号をｋとする。
【０１１０】
次に、ＷＢ補正部２２０は基準コマに最適なＷＢ補正のための係数Ｒｇ（ｋ）、Ｂｇ（ｋ）をステップＳ２１２と同様の手順で求める。
【０１１１】
ＷＢ補正部２２０は基準コマのＲＡＷデータからＲ、Ｇ、Ｂ各色毎に画素データ分離して加算し、基準コマのＲ、Ｇ、Ｂ各色の平均値Ｒａｖ（ｋ）、Ｇａｖ（ｋ）、Ｂａｖ（ｋ）を求め、ＷＢ補正のためにＲ、Ｂの画素データにかけるＷＢ係数Ｒｇ（ｋ）、Ｂｇ（ｋ）を式（１）、式（２）で求める。
【０１１２】
ＷＢ補正部２２０は基準コマのＷＢ係数Ｒｇ（ｋ）、Ｂｇ（ｋ）を各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データを画像メモリ２３に一時記憶する（ステップＳ２１６）。
【０１１３】
次に、ステップＳ２１３と同様に画素補間とマトリクス処理を行い、Ｒ’’、Ｇ’’、Ｂ’’の面順次画像データを得る。画素補間部２２１は得られた各コマの面順次画像データを画像メモリ２３に一時記憶する（ステップＳ２１７）。
【０１１４】
次に、メインマイコン部７は、画像メモリ２３に一時記憶された基準コマのＲ’’、Ｇ’’、Ｂ’’の面順次画像データから、同じ数値データを持つ画素の数を計数する（ステップＳ２１８）。
【０１１５】
図７はステップＳ２１８で計数した結果を示すグラフである。ここでは各画素が１４ビットすなわち最大１６３８４の数値データを持つものとする。図７（ａ）は被写体のコントラストが低い場合、図７（ｂ）は被写体のコントラストが高い場合に得られた数値データ分布の一例を示す。
【０１１６】
次に、階調変換制御部７７はステップＳ２１８で得られた基準コマの数値データ分布に応じて、ガンマ補正部の階調特性を設定する（ステップＳ２１９）。
【０１１７】
ここで、ステップＳ２１９でガンマ補正部の階調特性を設定する手順について、図７、図８を用いて説明する。
【０１１８】
図８は基準コマの数値データ分布に応じて選択する階調特性の例を説明する説明図である。図８（ａ）、図８（ｂ）は両対数グラフであり、横軸は入力する各画素の数値データ、縦軸は出力の数値データである。図８では入力１４ビット、出力８ビットで図示している。また、図８の階調特性の傾きがガンマ値に相当する。このような階調特性はＲＯＭ７６に記憶されており、階調変換制御部７７は最適な階調特性を選択し、ガンマ補正部２２３に設定する。
【０１１９】
次に、階調変換制御部７７が最適な階調特性を選択する手順を説明する。階調変換制御部７７はステップＳ２１８で得られた基準コマの数値データ分布とコントラストが低い場合または高い場合の標準数値データ分布との相関を評価して、基準コマの数値データ分布のコントラストが高いか、低いかを判定する。
【０１２０】
図８（ａ）は被写体の輝度分布が図７（ａ）に示すようにコントラストが低い場合、適用する階調特性の例である。
【０１２１】
コントラストが低い場合はできるだけ階調を豊かに再現できるように、ガンマ値を大に設定する。すなわち、図８（ａ）の例では、数値データ８２００を中心として狭い範囲に分布しているので、この狭い範囲の数値データを記録する際に、階調を最大限使って再現できるように入出力特性の傾きを立てている。たとえばガンマ値は０．７である。
【０１２２】
図８（ｂ）は被写体の輝度分布が図７（ｂ）に示すようにコントラストが高い場合に、適用する階調特性の例である。
【０１２３】
コントラストが高い場合はできるだけ階調を豊かに再現できるように、ガンマ値を小に設定する。すなわち、図８（ｂ）の例では、数値データ８２００を中心として広い範囲に分布しているので、この広い範囲の数値データを記録する際に、階調を最大限使って再現できるように入出力特性の傾きを寝かせている。たとえばガンマ値は０．４である。
【０１２４】
このようにステップＳ２１９で設定された基準コマに最適な階調特性に基づき、ガンマ補正部２２３は画像メモリ２３に一時記憶されたすべてのコマの画像データを順次ガンマ補正し（ステップＳ２２０）、色差マトリックス部２２４で輝度Ｙと色差Ｃｒ、Ｃｂに変換し、画像メモリ２３に一時記憶する（ステップＳ２２１）。
【０１２５】
次に、メインマイコン部７はステップＳ２１８で得られた数値データ分布から、被写体のコントラスト状況を判定し、基準コマに最適な輪郭補正部の周波数応答特性を設定する（ステップＳ２２２）。
【０１２６】
図９は数値データ分布のコントラストに応じて選択する周波数応答特性の例を説明する説明図である。図９（ａ）、図９（ｂ）の横軸は撮影画像の空間周波数、縦軸は出力応答である。
【０１２７】
図９（ａ）は被写体の輝度分布が図７（ａ）に示すようにコントラストが低い場合、適用する周波数応答特性の例である。
【０１２８】
被写体輝度のコントラストが低い場合は、できるだけ輪郭を強調して再現できるように、周波数応答の高周波応答を上げて設定する。すなわち、図９（ａ）の例のように、低周波領域よりも高周波の応答を上げている。
【０１２９】
図９（ｂ）は被写体の輝度分布が図７（ｂ）に示すようにコントラストが高い場合に、適用する周波数応答特性の例である。
【０１３０】
被写体輝度のコントラストが高い場合は、輪郭をあまり強調すると画面がぎらつくので、周波数応答の高周波応答を下げて設定する。すなわち、図９（ｂ）の例のように、低周波領域よりも高周波の応答を下げている。
【０１３１】
このように設定された基準コマの周波数応答特性に基づき、輪郭補正部２２５はすべてのコマの輪郭補正を順次行い、輪郭補正後の画像データを画像メモリ２３に一時記憶する（ステップＳ２１８）。これで画像処理ルーチン１は終了し、元のルーチンのステップＳ１３０に戻り、画像圧縮後メモリーカードに画像をメモリカード２５に記録する。
【０１３２】
次に本発明の第２の実施形態である画像処理ルーチン２（ステップＳ３００）について図６を用いて説明する。画像処理ルーチン２はＡＥブラケット撮影モードで行う画像処理ルーチンである。図５で説明した処理と基本的な処理内容は同じであるので、図５と同じ処理には同符号を付け説明を省略する。
【０１３３】
画像処理ルーチン２が起動されると、メインマイコン部７はバッファメモリ２６に一時記憶された各コマのＲＡＷデータを順次画像処理部２２に送る。ＷＢ補正部２２０は各コマのＲＡＷデータから、すべてのコマのＲ、Ｇ、Ｂ各色の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを求め、Ｒ、Ｂの画素データにかけるＷＢ係数Ｒｇ、Ｂｇを求める（ステップＳ２１１）。
【０１３４】
ＷＢ補正部２２０はステップＳ２１１で求めたＷＢ係数Ｒｇ、Ｂｇを、各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データをバッファメモリ２６に一時記憶する（ステップＳ２１２）。
【０１３５】
基準コマを選定するにあたって、ＡＥブラケット撮影モードでは通常の露光値で露光されたコマを基準に、露光をずらしたコマを撮影するので、通常の露光値で露光されたコマを基準コマとすれば良い。基準画像選択部７４はバッファメモリ２６に一時記憶された通常の露光値で露光されたコマのＲＡＷデータを画像処理部２２に送る（ステップＳ３１１）。
【０１３６】
ＷＢ補正部２２０は基準コマに最適なＷＢ補正のための係数Ｒｇ（ｋ）、Ｂｇ（ｋ）をステップＳ２１６と同様の手順で求め、基準コマのＷＢ係数Ｒｇ（ｋ）、Ｂｇ（ｋ）を各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データを画像メモリ２３に一時記憶する（ステップＳ２１６）。
【０１３７】
次に、ステップＳ２１３と同様に画素補間とマトリクス処理を行い、Ｒ’’、Ｇ’’、Ｂ’’の面順次画像データを得る。画素補間部２２１は得られた各コマの面順次画像データを画像メモリ２３に一時記憶する（ステップＳ２１７）。
【０１３８】
次に、メインマイコン部７は、画像メモリ２３に一時記憶された基準コマのＲ’’、Ｇ’’、Ｂ’’の面順次画像データから、同じ数値データを持つ画素の数を計数する（ステップＳ２１８）。
【０１３９】
次に、メインマイコン部７はステップＳ２１８で得られた基準コマの数値データ分布から、基準コマに最適な階調特性を設定する（ステップＳ３１９）。
【０１４０】
ＡＥブラケット撮影モードでは、基準コマ以外は通常の露光量に対して露光量をずらして撮影するので、階調変換制御部７７は基準コマに最適な階調特性を基準に、基準コマ以外の階調特性をずらし露光量に合わせて設定する（ステップＳ３２０）。
【０１４１】
図１０はＡＥブラケット撮影モードで用いる階調特性の一例である。たとえば、基準コマの撮影データに適用する階調特性はγ１、−１／２（ＥＶ）ずらした撮影データに適用する階調特性はγ２、＋１／２（ＥＶ）ずらした撮影データに適用する階調特性はγ３である。これらの特性はＲＯＭ７６に記憶されており、階調変換制御部７７はこれらを読み出して、ガンマ補正部２２３に設定する。
【０１４２】
ガンマ補正部２２３は画像メモリ２３に一時記憶されたすべてのコマの画像データを順次ガンマ補正し（ステップＳ２２０）、図示せぬ色差マトリックス部で輝度Ｙと色差Ｃｒ、Ｃｂに変換し、画像メモリ２３に一時記憶する（ステップＳ２２１）。
【０１４３】
次に、メインマイコン部７はステップＳ２１８で得られた数値データ分布から、被写体のコントラスト状況を判定し、基準コマに最適な輪郭補正部の周波数応答特性を設定する（ステップＳ２２２）。
【０１４４】
このように設定された基準コマの周波数応答特性に基づき、輪郭補正部２２５はすべてのコマの輪郭補正を順次行い、輪郭補正後の画像データを画像メモリ２３に一時記憶する（ステップＳ２２３）。これで画像処理ルーチン１は終了し、元のルーチンのステップＳ１３０に戻り、画像圧縮後メモリカード２５に記録する。
【０１４５】
次に、本発明の第３、第４の実施の形態として、デジタルカメラ１で撮影した画像データの画像処理をコンピュータで行う場合について説明する。
【０１４６】
図１１は本発明に係わるデジタルカメラ１と撮影した画像データを記録するメモリカード２５と画像処理を行うコンピュータ５００のブロック図である。図１２は本発明の第３、第４の実施の形態において、撮像装置が行う撮影時の概略の手順を説明するフローチャート、図１３は本発明の第３、第４の実施の形態において、コンピュータ５００が実行するデジタルカメラ用画像処理プログラムの概略の手順を説明するフローチャートである。
【０１４７】
最初に、図１１のブロック図について説明する。
【０１４８】
コンピュータ５００は各種演算処理を行うＣＰＵ５３０と、演算を行うための作業領域となるＲＡＭ５０１と、ＯＳとデジタルカメラ用画像処理プログラムとコンテンツ等の各種データが記憶されるＨＤＤ５０２とを備え、デジタルカメラの記録媒体であるメモリカード２５に記録された各種データを読み込み可能なカードインターフェイス５０４（以下カードＩＦ５０４と記す）を備えている。また、コンピュータ５００にはキーボード、マウスなどで構成される入力部５０５と、液晶モニタなどのモニタ５８０が接続されている。
【０１４９】
次に、ＣＰＵ５３０の機能について説明する。
【０１５０】
画像処理部５２１は、ＷＢ（Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）補正部５２０、画素補間部５２１、リニアマトリクス処理部５２２、ガンマ補正部５２３、色差マトリクス処理部５２４、輪郭補正部５２５、画像圧縮部５２６など画像処理部２２と同等の機能を有し、すべての機能をＣＰＵ５３０のソフトウェア処理で行っている。そのため、ガンマ補正部５２３、輪郭補正部５２５、ＷＢ補正部５２０の補正量の設定値はＣＰＵ５３０が行うソフトウェア処理のなかで設定される。
【０１５１】
ＷＢ補正部５２０は、ＣＰＵ５３０が設定する係数を、メモリカード２５から得たデジタルカメラ１で得られた後述するＲＡＷデータのＲとＢの画像データにそれぞれかけ算し、ホワイトバランスを調整する。
【０１５２】
画素補間部５２１は、ホワイトバランス調整後のＲ、Ｇ、Ｂ毎に画素データを分離し、画素補間を行って、面順次のＲ、Ｇ、Ｂ画像データを作る。
【０１５３】
リニアマトリクス処理部５２２は、Ｒ、Ｇ、Ｂの画像データに３×３のマトリックス演算によりそれぞれ分光感度に応じた係数をかけて加算し、分光感度による色誤差を補正する。
【０１５４】
ガンマ補正部５２３は、入出力特性である階調特性を表すルックアップテーブルを持ち、入力されたデジタル値に対応するデジタル値に変換して出力する機能を持っている。すなわち、Ｒ、Ｇ、Ｂ画像データを、ＣＰＵ５３０が前記ルックアップテーブルに設定する階調特性で階調変換する。
【０１５５】
色差マトリクス処理部５２４は、ＣＰＵ５３０が階調変換したＲ、Ｇ、Ｂ画像データに３×３のマトリックス演算を行い、輝度Ｙ、色差Ｃｒ、Ｃｂ信号に変換する。
【０１５６】
輪郭補正部５２５は、ＣＰＵ５３０の設定する入出力特性である周波数応答特性で輝度Ｙの輪郭を補正し、ＲＡＭ５０１に一時的に格納する。
【０１５７】
画像圧縮部５２６は、画像処理後の画像データをＪＰＥＧ形式などに圧縮する。
【０１５８】
次に、図１２を用いて、本発明の第３の実施の形態において、撮像装置が行う撮影時の概略の手順を説明する。
【０１５９】
図１２においては、デジタルカメラ１の電源が投入され、撮影モードが選択されて撮影待機状態になってからの処理について説明する。また、図１２では撮影画像を画像処理を行わず非圧縮のまま記録するモードが選択されているものとする。
【０１６０】
なお、図４で説明した処理と基本的な処理内容は同じであるので、図５と同じ処理には同符号を付け説明を省略する。すなわち、ステップＳ１０２からステップＳ１１１およびステップ１２１までは、図５と同じ処理なので説明は省略し、ステップＳ４００から説明する。
【０１６１】
ステップＳ１１１またはステップ１２１が終了すると、撮影した枚数分のＲＡＷデータが画像メモリ２３に一時記憶されている。ＣＰＵ７０は各コマのＲＡＷデータファイルの先頭部分に、撮影情報を付加する（ステップＳ４００）。ＣＰＵ７０は本発明の撮影情報を付加する付加手段である。ＲＡＷデータファイルに付加する撮影情報の一例を図１６に示す。
【０１６２】
図１６では、撮影情報の項目はカメラの機種名、カメラのメーカー名、撮影日時、撮影モード、ずらし量、総コマ数、コマ番号である。カメラの機種名、カメラのメーカー名はの項目にはデジタルカメラ１の機種名、メーカー名が、撮影日時に項目には撮影した日付と撮影時刻の時、分、秒が記録される。
【０１６３】
撮影モードは、通常モードは０、連写モードは１、絞りブラケットモードは２、速度ブラケットモードは３、ＡＥブラケットモードは４が記録される。ずらし量の項目にはブラケットモードの最大ずらし量Ｍが記録される。総コマ数は連写モード、ブラケットモードで１回に撮影された総コマ数Ｋであり、コマ番号ＫＭはそのなかで何コマ目に撮影されたか、を記録する
ＣＰＵ７０はステップＳ４００で作成したＲＡＷデータファイルを、順次メモリカード２５に記録して撮影を終了する（ステップＳ４０１）。
【０１６４】
次に図１３を用いて、本発明の第３の実施の形態において、コンピュータが実行するデジタルカメラ用画像処理プログラムの手順を説明する。
【０１６５】
なお、コンピュータ５００は起動状態であり、デジタルカメラ１で撮影された画像の記録されているメモリカード２５がコンピュータ５００のカードＩＦ５０４に挿入され、読みとり可能な状態になっているものとする。
【０１６６】
ＣＰＵ５３０はメモリカード２５に記録されているＲＡＷデータの先頭部分に付加されている撮影情報を読み出し（ステップＳ５０１）、カメラの機種名、カメラのメーカー名がデジタルカメラ１と一致するＲＡＷデータを抽出する。
【０１６７】
次に、ＣＰＵ５３０は同じ撮影モードで撮影され、撮影日時が一定時間以内のＲＡＷデータをグループ化し、グループ毎にフォルダを作成してＲＡＭ５０１に記憶する。ＣＰＵ５３０が作成したフォルダの数Ｆとすると、フォルダはフォルダ１からフォルダＦまで作成される（ステップＳ５０２）。
【０１６８】
フォルダ番号を表すＮを初期化し、１とする（ステップＳ５０３）。
【０１６９】
フォルダＮに分類されたＲＡＷデータの撮影条件がＡＥブラケットモードか、どうか、を判定する（ステップＳ５０４）。
【０１７０】
撮影条件がＡＥブラケットモード以外のとき（ステップＳ５０４；Ｎｏ）、画像処理ルーチン３を実行し、画像処理部５２１はＲＡＭ５０１に一時記憶しているＲＡＷデータに画素補間、マトリクス処理、ＷＢ補正、ガンマ補正、輪郭補正などの画像処理を行う（ステップＳ５０５）。画像処理ルーチン３は画像処理ルーチン１と同様に、すべての撮影コマの画像データを平均して基準コマを決定し、基準コマと同じ設定値ですべてのコマのＷＢ補正、ガンマ補正、輪郭補正を行うのが特徴である。ステップＳ５０５で行う画像処理ルーチン３については後で詳述する。
【０１７１】
撮影条件がＡＥブラケットモードのとき（ステップＳ５０４；Ｙｅｓ）、画像処理ルーチン４を実行する。画像処理部５２１はＲＡＭ５０１に一時記憶しているＲＡＷデータに画素補間、マトリクス処理、ＷＢ補正、ガンマ補正、輪郭補正などの画像処理を行う（ステップＳ５０６）。画像処理ルーチン４では画像処理ルーチン１と同様に、すべての撮影コマの画像データを平均して基準コマを決定し、基準コマと同じ設定値ですべてのコマのＷＢ補正、ガンマ補正、輪郭補正を行うのが特徴である。ステップＳ５０６で行う画像処理ルーチン４については後で詳述する。
【０１７２】
次に、ステップＳ５０７では、画像処理後の画像データをモニタ５８０に表示する（ステップＳ５０７）。
【０１７３】
次に、Ｎ＝Ｆかどうか、判定する（ステップＳ５０９）。Ｎ＝Ｆであればすべてのフォルダ内のＲＡＷデータの画像処理を終えたので、画像処理を終了する（ステップＳ５０９；Ｙｅｓ）。Ｎ≠Ｆであれば（ステップＳ５０９；Ｎｏ）、Ｎ＝Ｎ＋１にして（ステップＳ５１０）ステップＳ５０５を実行する。
【０１７４】
次に本発明の第３の実施の形態である画像処理ルーチン３（ステップＳ５０６）について図１４を用いて説明する。画像処理ルーチン３はＡＥブラケット撮影モード以外で撮影されたＲＡＷデータに対して実行する画像処理ルーチンである。図６で説明した処理と基本的な処理内容は同じであるので、図６と同じ処理には同符号を付け説明を省略する。
【０１７５】
画像処理ルーチン３が起動されると、ＣＰＵ５３０はＲＡＭ５０１のフォルダＮに一時記憶されたすべてのコマのＲＡＷデータに順次画像処理を実行する。ＷＢ補正部５２０は各コマのＲＡＷデータから、すべてのコマのＲ、Ｇ、Ｂ各色の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを求め、Ｒ、Ｂの画素データにかけるＷＢ係数Ｒｇ、Ｂｇを求める（ステップＳ５１１）。
【０１７６】
ＷＢ補正部５２０はステップＳ２１１で求めたＷＢ係数Ｒｇ、Ｂｇを、各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データをＲＡＭ５０１に一時記憶する（ステップＳ５１２）。
【０１７７】
次に、ＷＢ補正部５２０は、ＲＡＭ５０１に一時記憶されたＷＢ補正後の各コマのＲＡＷデータを、画素補間し、Ｒ、Ｇ、Ｂの面順次画像データにする。次にリニアマトリクス処理部５２２では各コマのＲ、Ｇ、Ｂの各画素データに、３×３のマトリクス演算で分光感度を補正する係数をかけてＲ’、Ｇ’、Ｂ’を求め、Ｒ’、Ｇ’、Ｂ’の面順次画像データを得る。画素補間部５２１は得られた各コマの面順次画像データをＲＡＭ５０１に一時記憶する（ステップＳ５１３）。
【０１７８】
次に、基準画像選択部５２７は、ステップＳ５１３でＲＡＭ５０１のフォルダＮに一時記憶された、すべてのコマのＲ’、Ｇ’、Ｂ’面順次画像データから、各コマのＲ’、Ｇ’、Ｂ’各色の平均値Ｒ’ｈ（ｉ）、Ｇ’ｈ（ｉ）、Ｂ’ｈ（ｉ）を求める。ここでｉはコマ番号である。基準画像選択部５２７は各コマのＲ’、Ｇ’、Ｂ’各色の平均値Ｒ’ｈ（ｉ）、Ｇ’ｈ（ｉ）、Ｂ’ｈ（ｉ）から全コマの平均値Ｒ’ｔ、Ｇ’ｔ、Ｂ’ｔを求める（ステップＳ５１４）。
【０１７９】
次に、ＣＰＵ５２０は、ステップＳ２１５のアルゴリズムで、基準コマを選択する（ステップＳ５１５）。ここでは基準コマのコマ番号をｋとする。
【０１８０】
次に、ＷＢ補正部５２０は基準コマに最適なＷＢ補正のための係数Ｒｇ（ｋ）、Ｂｇ（ｋ）をステップＳ２１２と同様の手順で求め、基準コマのＷＢ係数Ｒｇ（ｋ）、Ｂｇ（ｋ）を各コマのＲＡＷデータのＲ、Ｂ画素データにかけてＷＢ補正を行う。その結果得られた各コマの画像データをＲＡＭ５０１に一時記憶する（ステップＳ５１６）。
【０１８１】
次に、ステップＳ５１３と同様に画素補間とマトリクス処理を行い、Ｒ’’、Ｇ’’、Ｂ’’の面順次画像データを得る。画素補間部５２１は得られた各コマの面順次画像データをＲＡＭ５０１に一時記憶する（ステップＳ５１７）。
【０１８２】
次に、ＣＰＵ５２０は、ＲＡＭ５０１に一時記憶された基準コマのＲ’’、Ｇ’’、Ｂ’’の面順次画像データから、同じ数値データを持つ画素の数を計数する（ステップＳ５１８）。
【０１８３】
次に、ＣＰＵ５２０はステップＳ５１８で得られた基準コマの数値データ分布に応じて、ガンマ補正部の階調特性を設定する（ステップＳ５１９）。
【０１８４】
ステップＳ５１９で設定された基準コマに最適な階調特性に基づき、ガンマ補正部５２３はＲＡＭ５０１に一時記憶されたすべてのコマの画像データを順次ガンマ補正し（ステップＳ５２０）、色差マトリックス部５２４で輝度Ｙと色差Ｃｒ、Ｃｂに変換し、ＲＡＭ５０１に一時記憶する（ステップＳ５２１）。
【０１８５】
次に、ＣＰＵ５２０はステップＳ５１８で得られた数値データ分布から、被写体のコントラスト状況を判定し、基準コマに最適な輪郭補正部の周波数応答特性を設定する（ステップＳ５２２）。
【０１８６】
このように設定された基準コマの周波数応答特性に基づき、輪郭補正部５２５はすべてのコマの輪郭補正を順次行い、輪郭補正後の画像データをＲＡＭ５０１に一時記憶する（ステップＳ５２３）。これで画像処理ルーチン３は終了し、元のルーチンのステップＳ５０７に戻り、画像処理後の画像データをモニタ５８０に表示する。
【０１８７】
次に本発明の第４の実施の形態である画像処理ルーチン４（ステップＳ５０６）について図１５を用いて説明する。画像処理ルーチン４はＡＥブラケット撮影モードで撮影されたＲＡＷデータに対して実行する画像処理ルーチンである。図６で説明した処理と基本的な処理内容は同じであるので、図１４と同じ処理には同符号を付け説明を省略する。
【０１８８】
ステップＳ５１１、ステップＳ５１２は図１４と同じなので説明を省略し、ステップＳ６１１から説明する。
【０１８９】
ＣＰＵ５２０はＲＡＭ５０１に一時記憶されたＲＡＷデータに付加されている撮影情報を読みとって、ずらし量０のコマを基準コマに選択する（ステップＳ６１１）。
【０１９０】
ステップＳ５１６からステップＳ５１８で行う、処理は図１４と同じなので説明を省略する。
【０１９１】
次に、ＣＰＵ５２０はステップＳ５１８で得られた基準コマの数値データ分布から、基準コマに最適な階調特性を設定し（ステップＳ６１９）、基準コマに最適な階調特性を基準に、基準コマ以外の階調特性をずらし露光量に合わせて設定する（ステップＳ６２０）。
【０１９２】
ステップＳ５２０からステップＳ５２２までの処理は図１４と同じなので説明を省略する。
【０１９３】
これで画像処理ルーチン４は終了し、元のルーチンのステップＳ５０８に戻り、画像処理後の画像データをモニタ５８０に表示する。
【０１９４】
以上のように本実施の形態によれば、撮影したすべてのコマの画像データに基づいて、画像処理手段の設定を変更するので、連続撮影した各コマ間の色調や階調にバラツキのない、高画質画像が得られる撮像装置およびデジタルカメラ用画像処理プログラムを提供できる。
【０１９５】
また、このような撮像装置を利用すれば、低コストで小型、高画質なデジタルカメラを提供できる。
【０１９６】
なお、本実施の形態としてデジタル一眼レフカメラを例示したが、一眼レフ方式以外のデジタルカメラ、携帯電話やビデオカメラなどにも適用可能である。
【０１９７】
また、基準画像を撮影者が選択できるようにしても良い。このようにすることにより、撮影者の意図に沿った画像処理が可能になる。
【図面の簡単な説明】
【０１９８】
【図１】本発明に係るデジタルカメラ１の外観図である。
【図２】本発明に係るデジタルカメラ１の構成を示す断面図である。
【図３】本発明に係るデジタルカメラ１の機能ブロック図である。
【図４】本発明の撮像装置が行う撮影時の概略の手順の一つを説明するフローチャートである。
【図５】本発明の第１の実施形態である画像処理ルーチン１を説明するフローチャートである。
【図６】本発明の第２の実施形態である画像処理ルーチン２を説明するフローチャートである
【図７】撮影した画像データより得られた数値データの分布の例を説明する説明図である。
【図８】本発明において、撮影画像データに適用する階調変換特性の例を説明する説明図である。
【図９】本発明において、撮影画像データに適用する周波数応答特性の例を説明する説明図である。
【図１０】本発明において、ＡＥブラケット撮影モード撮影した画像データに適用する周波数応答特性の例を説明する説明図である。
【図１１】本発明において、撮影した画像データの画像処理を行うコンピュータの機能ブロック図である。
【図１２】本発明の撮像装置が行う撮影時の概略の別の手順を説明するフローチャートである。
【図１３】本発明において、コンピュータが行う撮影した画像データの画像処理を説明するフローチャートである。
【図１４】本発明の第３の実施形態である画像処理ルーチン３を説明するフローチャートである。
【図１５】本発明の第４の実施形態である画像処理ルーチン４を説明するフローチャートである。
【図１６】本発明において、撮影した画像データに付加する撮影情報を説明する説明図である。
【符号の説明】
【０１９９】
１  デジタルカメラ
２  カメラ本体部
３  撮影レンズ
５  ＣＣＤ
２２  画像処理部
７０  ＣＰＵ
７３  ＷＢ制御部
７４  基準画像選択部
７７  階調変換制御部
７８  周波数応答制御部
２２０  ＷＢ補正部
２２１  画像補間部
２２２  リニアマトリクス処理部
２２３  ガンマ補正部
２２４  色差マトリクス処理部部
２２５  輪郭補正部
２２６  画像圧縮部
Ｌ  撮影レンズの光軸
【図１】
2006295774.tif 000003
【図２】
2006295774.tif 000004
【図３】
2006295774.tif 000005
【図４】
2006295774.tif 000006
【図５】
2006295774.tif 000007
【図６】
2006295774.tif 000008
【図７】
2006295774.tif 000009
【図８】
2006295774.tif 000010
【図９】
2006295774.tif 000011
【図１０】
2006295774.tif 000012
【図１１】
2006295774.tif 000013
【図１２】
2006295774.tif 000014
【図１３】
2006295774.tif 000015
【図１４】
2006295774.tif 000016
【図１５】
2006295774.tif 000017
【図１６】
2006295774.tif 000018