(57)【要約】【課題】白とび領域を含む画像への画像回復処理に有利な画像処理装置を提供すること。【解決手段】第１の露出量で撮像した第１の画像データを出力する撮像手段の撮影条件に基づいて、画像回復フィルタを生成する生成手段（１３２）と、前記第１の画像データの所定の条件を満たす領域を前記画像回復フィルタの形状に基づいて検出する検出手段（１３３）と、前記検出手段により検出した領域の画素の信号値を、前記撮像手段により前記第１の露出量よりも小さい第２の露出量で撮像した第２の画像データの信号値に基づく値で置換するように、合成画像データを生成する合成手段（１３４）と、前記合成画像データに対して前記画像回復フィルタにより画像回復処理を施す処理手段（１３５）と、を有することを特徴とする。【選択図】  図２
2016001782.tif 000002
【特許請求の範囲】
【請求項１】
第１の露出量で撮像した第１の画像データを出力する撮像手段の撮影条件に基づいて、画像回復フィルタを生成する生成手段と、
前記第１の画像データの所定の条件を満たす領域を検出する検出手段と、
前記検出手段により検出した前記領域の画素の信号値を、前記撮像手段により前記第１の露出量よりも小さい第２の露出量で撮像した第２の画像データの信号値に基づく値で置換するように、合成画像データを生成する合成手段と、
前記合成画像データに対して前記画像回復フィルタにより画像回復処理を施す処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第２の露出量は、前記第１の露出量と所定の倍率に基づいて算出される露出量であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体の照度を測る測光手段を有し、
前記第２の露出量は、前記第１の露出量と前記測光手段の測光結果に基づいて算出される露出量であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、前記画像回復フィルタの形状と前記第１の画像データの信号値に基づいて、前記領域を検出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検出手段は、前記第１の画像データの信号値が飽和しているか否かを判定し、該飽和している信号値の画素を中心とした前記画像回復フィルタの面積分の範囲を、前記領域として検出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記第１の画像データにおける飽和している信号値の画素を前記領域に含めることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項７】
前記検出手段は、前記第１の画像データにおける前記飽和している信号値の画素、および、該画素の位置に対応する前記画像回復フィルタの形状に基づいて、前記領域を検出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記検出手段は、信号値が所定の値に達している画素を、前記飽和している信号値の画素と判定することを特徴とする請求項５ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
前記合成手段は、前記第１の露出量と前記第２の露出量との差分に基づいて前記第２の画像データに対してゲイン処理を行うことを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像手段が撮像した画像データと前記画像データを撮像した際の撮影条件とを取得する取得手段を有することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮像手段と、
請求項１ないし１０のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
【請求項１２】
第１の露出量で撮像した第１の画像データを出力する撮像手段の撮影条件に基づいて、画像回復フィルタを生成する生成ステップと、
前記第１の画像データの所定の条件を満たす領域を検出する検出ステップと、
前記検出ステップにより検出した前記領域の画素の信号値を、前記撮像手段により前記第１の露出量よりも小さい第２の露出量で撮像した第２の画像データの信号値に基づく値で置換するように、合成画像データを生成する合成ステップと、
前記合成画像データに対して前記画像回復フィルタにより画像回復処理を施す処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１４】
コンピュータに、請求項１２に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化画像に対し画像回復処理を施す画像処理装置に関する。
【背景技術】
【０００２】
特許文献１には、撮像光学系の特性を予めデータ化して、この特性データに基づき、劣化した画像を補正する方法が提案されている。このような劣化画像を補正する方法として、例えば、撮像光学系の光学伝達関数（ＯＴＦ）から生成された画像回復フィルタを用いて劣化画像を補正する方法（以下、画像回復処理）が知られている。
【０００３】
ＯＴＦを用いる画像回復処理は、サイズの大きな空間フィルタ（画像回復フィルタ）を適用することが多い。画像回復フィルタの適用による画像回復処理では、白とび領域が問題になる。白とび領域とは、撮像センサの飽和によって本来得られるべき信号値が得られず、階調が白色に飛んだ画像領域である。従って、画像回復フィルタを適用しても、白とび領域の周辺では像を正しく復元することはできない。その結果、白とび領域の周辺に画像の折り返しが発生したり、被写体には存在しない色が発生する（以下、色着き）などの現象が生じる。
【０００４】
この問題に対して、特許文献２には、白とび領域付近での補正の度合いを下げ、不具合の発生を抑制する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平４−０８８７６５号公報
【特許文献２】特開２００７−１８１１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献に開示された従来技術では、白とび領域とその周辺領域について補正効果を抑制するなどするため、効果的に像を復元することができない。
【０００７】
本発明は、上記課題を鑑み、白とび領域を含む画像への画像回復処理に有利な画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、第１の露出量で撮像した第１の画像データを出力する撮像手段の撮影条件に基づいて、画像回復フィルタを生成する生成手段と、前記第１の画像データの所定の条件を満たす領域を検出する検出手段と、前記検出手段により検出した前記領域の画素の信号値を、前記撮像手段により前記第１の露出量よりも小さい第２の露出量で撮像した第２の画像データの信号値に基づく値で置換するように、合成画像データを生成する合成手段と、前記合成画像データに対して前記画像回復フィルタにより画像回復処理を施す処理手段と、を有することを特徴とする。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、白とび領域を含む画像への画像回復処理に有利な画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施例に係る画像処理装置の構成を示すブロック図である。
【図３】本発明の第一の実施形態に係る画像処理方法の流れを示すフロー図である。
【図４】本発明の第一の実施形態に係る飽和領域の検出処理の流れを示すフロー図である。
【図５】本発明の第一の実施形態に係る飽和領域の合成処理の流れを示すフロー図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
まず、本発明の撮像装置により得られた画像のボケ（劣化）を撮像光学系の光学伝達関数（ＯＴＦ：Optic Transfer Function）の情報を用いて補正する方法について以下に説明する。この方法は画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系（撮像系）の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。
【００１４】
撮像光学系は、光の波長によって屈折率が異なり、光の波長によって結像にずれ（ボケ）が生じ画像が劣化する。この画像劣化は収差と呼ばれる。この収差は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等である。これらの収差は、点像分布関数（ＰＳＦ：Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）は、被写体の一点が、どのような広がりをもつ像として写像されるかを示す。例えば、暗黒下で体積が非常に小さい発光体を撮影した場合の撮像センサ面における光の二次元分布が、撮像に使用した撮像光学系のＰＳＦに相当する。ＰＳＦを得るには、必ずしも、点光源のような被写体を撮影する必要はなく、例えば白黒のエッジを有するチャートを撮影し、撮影画像からチャートに対応した計算方法によってＰＳＦを求める方法が知られている。また、撮像光学系の設計データからＰＳＦを算出することも可能である。点像分布関数をフーリエ変換することにより得ることができる光学伝達関数（以下、ＯＴＦ）は、収差の周波数空間における情報である。このＯＴＦは複素数で表すことができ、ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。
【００１５】
撮像光学系のＯＴＦは画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。
【００１６】
以下に画像回復処理の概要を示す。
【００１７】
劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）      （式１）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）      （式２）
ここで、Ｈ（ｕ，ｖ）は点像分布関数ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。
【００１８】
劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）      （式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。
【００１９】
式３の両辺を逆フーリエ変換すると式３は式４で表される。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）      （式４）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）と表す。このＲ（ｘ，ｙ）が画像回復フィルタである。
【００２０】
この画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化を補正することができる。
【００２１】
つぎに、本発明の実施例に係る撮像装置の構成について図１を用いて説明する。
【００２２】
図１において、１００はデジタルカメラ（撮像装置）である。４００は撮影レンズ（撮像光学系）、４１０は撮影レンズの絞り、１１０は光学像を電気信号に変換する撮像デバイス、１２０は撮像デバイス１１０のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１３０は画像処理部であり、Ａ／Ｄ変換器１２０からのデータ或いはＲＡＭ１９０に記録されているデータに対して所定のデモザイク処理や色変換処理を行う。
【００２３】
本発明の撮像装置は、このように被写体からの光を撮影レンズなどで構成される撮像光学系によって電荷結合素子(ＣＣＤ)やＣＭＯＳセンサなどの撮像デバイスに導いて、被写体画像に対応する電気信号を取得している。撮像光学系と撮像デバイスとにより撮像手段が構成される。そして、この電気信号をアナログ-ディジタル(ＡＤ)変換し、デモザイキング処理することで被写体の画像データを得ている。
【００２４】
１４０は、撮像デバイス１１０における欠落画素や信頼性の低い画素の信号値に対し、周辺画素の信号値を用いて修復対象の画素の信号値を補間したり、画像データに対してノイズ除去や輪郭強調等の信号処理を施すカメラ信号処理部である。
【００２５】
Ａ／Ｄ変換器１２０のデータが画像処理部１３０、カメラ信号処理部１４０を介して、或いはＡ／Ｄ変換器１２０のデータが直接カメラ信号処理部１４０を介して、ＲＡＭ１９０に書き込まれる。
【００２６】
２２０はTFT LCD等から成る画像表示部であり、ＲＡＭ１９０に書き込まれた表示用の画像データを表示する。
【００２７】
画像表示部２２０を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。
【００２８】
ＲＡＭ１９０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００２９】
これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１９０に対して行うことが可能となる。
【００３０】
また、ＲＡＭ１９０はカメラ信号処理部１４０の作業領域としても使用することが可能である。
【００３１】
１７０は、例えばＣＰＵからなる制御部であり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１８０より読み出し、ＲＡＭ１９０に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１８０は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
【００３２】
２１０はシャッタースイッチなどの操作部材である。不図示のシャッターボタンの操作途中でSW１がONとなり、撮像系制御部２００を介して、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。また、不図示のシャッターボタンの完全な押下でSW２がONとなり、撮像デバイス１１０から読み出した信号をＡ／Ｄ変換器１２０、画像処理部１３０やカメラ信号処理部１４０での演算を用いた現像処理の動作開始を指示する。また、現像処理の後に、ＲＡＭ１９０から画像データを読み出し、圧縮処理を行い、メディアインタフェース１５０によって記録媒体であるコンパクトフラッシュ（登録商標）カードやその他メディア１６０に画像データを書き込む記録処理の動作開始を指示する。
【００３３】
３００は被写体の照度を測る測光部（測光手段）である。測光部３００は、撮影シーンを領域ごとに分割して測光し、全領域についての測光結果の平均あるいは、重みづけ平均などをして被写体を適正な露出で撮影するための露出量を算出する。この適正露出の算出方法は測光モードによって指定できる。
【００３４】
３１０は測光部３００が決定した露出量（適正露出量、第１の露出量）で撮像した場合の画像データに含まれる白とび領域を抑制するための補正露出量を算出するための補正露出算出部である。
【実施例１】
【００３５】
以下、図２を参照して、本発明の第１の実施例による、画像処理部１３０の内部を概略的に示す。
【００３６】
図２は、画像処理部１３０内で処理される本発明の第１の実装形態に係る画像処理装置の構成例を示す構成図である。本実施形態における画像処理装置は、入力部１３１、回復フィルタ生成処理部１３２、飽和領域検出処理部１３３、飽和領域合成処理部１３４、画像回復処理部１３５、出力部１３６を有する。
【００３７】
図３は、本発明の第１の実施形態に係る画像処理方法を示すフローチャートである。図３においてまず、Ｓ３０１で入力部１３１は、撮像デバイス１１０で撮像した被写体像の信号をＡ／Ｄ変換器１２０を介してディジタル信号に変換した撮像データ（画像データ）と撮影時情報（撮影条件）とを入力する。なお、撮影時情報は、画像が撮影された際に撮像装置に装着されていたレンズを識別するレンズ識別情報、ズーム位置を特定するための撮影時焦点距離情報、絞り値などの情報のことである。Ｓ３０１では、入力部（取得手段）は、設定された条件（第１の露出量）で撮像手段が撮像した第１の画像データと該第１の画像データを撮像した際の撮影条件（設定された条件）とを取得する。
【００３８】
Ｓ３０３では、Ｓ３０１で入力した画像データに対して、撮像光学系の特性に起因する画像劣化を復元するための画像回復フィルタを生成する準備として、Ｓ３０１で入力した撮影条件からＯＴＦデータを読み込む。ＯＴＦデータは点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ）に基づいて光学系に起因する画像劣化成分を復元するための画像回復フィルタを生成するためのデータである。
【００３９】
Ｓ３０５では、回復フィルタ生成処理部１３２がＳ３０３で読み込んだＯＴＦデータに基づいて画像回復フィルタを生成する。すなわち、回復フィルタ生成処理部（生成手段）は、Ｓ３０１で取得した撮影条件に基づいてＯＴＦデータから画像回復フィルタを生成する。画像回復フィルタとは、従来のシャープネスやメディアンフィルタ等の一般的なフィルタ処理と同様に、対象画素と、その周囲の画素に適用するフィルタである。画像回復フィルタは、対象画素１つにつき、幅と高さを持つ二次元のデータ配列になっており、対象画素を含む領域に対して、フィルタの各値をそれぞれの画素ごとに求める。フィルタは、画像の領域ごとに異なるパラメータをもち、場合によってはサイズが異なるため、フィルタのサイズも対象画素によって異なる。
【００４０】
Ｓ３０７では、撮像装置１００に設定された条件で撮像された第１の画像データをＲＡＭ１９０から読み出す。本実施例ではこの第１の画像データに含まれる飽和領域の影響を抑制して画像データ全域に対して効果的に回復処理を行うことを目的としている。
【００４１】
Ｓ３０９では、飽和領域検出処理部（検出手段）１３３がＳ３０５で生成した画像回復フィルタの形状に基づいて第１の画像データに含まれる所定の条件を満たす領域（飽和領域）とその影響範囲を検出し、分布情報としてＲＡＭ１９０に記録する。飽和領域検出処理の詳細については後述する。
【００４２】
Ｓ３１１では、補正露出算出部３１０が第１の画像データに含まれる白とびを抑制するために算出した補正露出量で第１の画像データに次いで連続して撮像した第２の画像データを読み込む。この第２の画像データを得る際の露出量（第２の露出量）は補正露出算出部３１０で算出する。補正露出算出部３１０における第２の露出量の算出方法としては、予め設定された補正量で補正露出を決定する方法が考えられる。例えば、第１の画像データを得る際の露出量（第１の露出量）に対して−１段補正した場合、ＲＡＷデータとして得られる画素の信号値は、適正露光時の半分の値になる。すなわち、第２の画像データを得る際の第２の露出量は、第１の画像データを得る際の第１の露出量を所定の倍率で（例えば、１／２に）小さくした露出量にする。言い換えれば、通常の撮影に比べて最大二倍の輝度レンジが記録可能になり、白とびを効果的に抑えることが出来る。なお、第２の露出量は、第１の露出量とは異なり、第１の露出量よりも小さい露出量である。また、補正露出算出部３１０における第２の露出量の算出方法としては、測光部３００の測定結果を用いて動的に補正量を決定する方法が考えられる。デジタルカメラの一般的な測光センサは複数の領域に分割されており、個々の領域で測定した結果を得ることが可能である。このうち被写体の最も明るい部分として測定された結果から算出される露出量と第１の画像データを得る際の露出量との差分露出を補正量としてもいい。すなわち、第２の画像データを得る際の第２の露出量は、第１の画像データを得る際の第１の露出量と測光部３００の測光結果に基づいて算出される露出量である。なお、像を正しく復元するためには白とびを抑えることが重要であり、白とびを抑えるためには常に露出を下げて撮影する方法も考えられるが、その場合は適正露出に戻すためのゲイン調整によるノイズの増加が目立つ等の問題がある。
【００４３】
Ｓ３１３では、飽和領域合成処理部１３４がＳ３０９で生成した第１の画像データに含まれる飽和領域の分布情報に基づいて、第１の画像データに含まれる飽和領域の画素の信号値を白とびが抑制された第２の画像データの画素の信号値で置き換えて合成する。すなわち、飽和領域合成処理部（合成手段）は、検出した飽和領域を、撮像デバイス１１０により第１の露出量よりも小さい第２の露出量で撮像した第２の画像データの信号値に基づく値で置換するように、合成画像データを生成する。そして、第１の画像データの白とびが抑制された合成画像データを出力する。飽和領域合成処理の詳細については後述する。
【００４４】
Ｓ３１５では、画像回復処理部１３５がＳ３１３で出力した合成画像データに対して、撮影光学系に起因する劣化を回復する画像回復処理を施す。すわなち、画像回復処理部（処理手段）は、合成画像データに対してＳ３０５で生成した画像回復フィルタにより画像回復処理を施す。そして、出力部１３６がその結果をカメラ信号処理部１４０に出力する。
【００４５】
次いで、図４を用いてＳ３０９で行われる飽和領域検出処理の流れを説明する。図４においてまず、Ｓ４０１で画像回復処理を行う対象である第１の画像データに含まれる飽和画素とその影響範囲を検出した結果である分布情報を保持するためのメモリ領域をＲＡＭ１９０に確保する。
【００４６】
Ｓ４０３で、分布情報を記録するための準備としてＳ４０１で確保したメモリ領域を０で初期化しておく。
【００４７】
Ｓ４０５で、飽和領域を検出する対象となる第１の画像データをＲＡＭ１９０から読み込む。
【００４８】
Ｓ４０７で、第１の画像データの全画素を走査するための制御変数を初期化する。変数Ｍには、全画素数値を代入し、ループ変数ｍには０を代入しておく。
【００４９】
Ｓ４０９からＳ４１５までが飽和領域を検出するためのループ処理となる。
【００５０】
Ｓ４０９では、画像データのｍ番目の画素を取得する。
【００５１】
Ｓ４１１では、Ｓ４０９で取得した画素の信号値が飽和しているかを判定する。飽和しているか否かは、信号値が所定の値に達しているか否かで判定する。具体的には、飽和の判定は、画像データの量子化ビット精度の最大値と同値が記録されている場合には飽和画素として判定し分布情報の該当画素に１を設定する。Ｓ４１１で注目画素が飽和画素として判定された場合には、Ｓ４１３からＳ４１５まで処理し飽和領域の分布情報を更新する。
【００５２】
Ｓ４１３では、ｍ番目の画素の像高に対応する画像回復フィルタを読み込む。画像回復フィルタは、ＰＳＦに基づくＯＴＦデータから生成されるが、このＰＳＦは一般的には像高が高いほど点広がり量が大きくなる性質があるため、それに基づく画像回復フィルタの形状も像高毎に異なる。
【００５３】
Ｓ４１５では、飽和画素と判定されたｍ番目の画素が原因となって回復結果に折り返しや色つきなどの不具合が生じる影響範囲の分布は、Ｓ４１３で読み込んだ画像回復フィルタのタップの大きさに基づいて検出することができる。そのため、この範囲に含まれる画素ついて１を設定することで飽和領域と記録する。このように、本実施例の飽和領域は、第１の画像データの画素の信号値とＳ４１３で読み込んだ画像回復フィルタの特性（形状）に基づいて、その範囲が検出される。具体的には、Ｓ４１１で第１の画像データの画素の信号値が飽和しているか否かを判定し、Ｓ４１５で飽和している画素を中心とした画像回復フィルタの面積分の範囲を、飽和領域として検出する。ここでは、ｍ番目の画素が飽和画素であるとして、ｍ番目の画素を中心に画像回復フィルタの面積分の画素に１を設定してこれを飽和領域とする。
【００５４】
Ｓ４１１で注目画素が飽和画素ではないと判定された場合には、Ｓ４１７でループ変数ｍと全画素数を表す変数Ｍを比較する。Ｓ４１７の比較結果から、全画素について処理が行われた場合には処理を終了する。残りの画素がある場合にはＳ４１９でループ変数を１増やし、Ｓ４０９からＳ４１５の処理を画像全域において処理するまで繰り返す。
【００５５】
次いで、飽和領域合成処理部１３４が行う合成処理の流れについて図５を用いて説明する。
【００５６】
Ｓ５０１では、飽和領域検出処理部１３３で作成した第１の画像データに含まれる飽和領域の分布情報を読み込む。
【００５７】
Ｓ５０３、Ｓ５０５では、第１の画像データと補正露出量で白とびを抑制して撮影された第２の画像データとを読み込む。
【００５８】
合成処理の準備処理として第２の画像データに対して、第１の画像データとの露出量の差分だけゲイン処理を行う必要がある。
【００５９】
Ｓ５０７では、補正露出算出部３１０が算出した補正露出量を取得する。
【００６０】
Ｓ５０９では、補正露出分のゲイン処理を第２の画像データに適用する。すなわち、第１の露出量と第２の露出量との差分に基づいて第２の画像データに対してゲイン処理を施す。この時、ゲイン処理された第２の画像データのなかに量子化ビット精度の最大値を超える信号値となる画素が生じるが、ここではクリップしない。量子化ビット精度の最大値を超える信号値は、飽和画素の本来の信号値とみなすことができるため、これらの画素の信号値を使用して、第１の画像データで白とびし階調情報が記録されなかった部分の画素の信号値を続く合成処理で補っていく。
【００６１】
Ｓ５１１で、第１の画像データの全画素を走査するための制御変数を初期化する。変数Ｍには、全画素数値を代入し、ループ変数ｍには０を代入しておく。
【００６２】
Ｓ５１３からＳ５１７までが飽和領域を検出するためのループ処理となる。
【００６３】
Ｓ５１３では、飽和領域の分布情報のｍ番目の画素を取得する。
【００６４】
Ｓ５１５では、Ｓ５１３で取得した値が飽和領域を意味する１であった場合には、Ｓ５１７で第１の画像データの該当画素を第２の画像データの画素の信号値で置換する。
【００６５】
Ｓ５１５で、Ｓ５１３で取得した値が飽和領域ではないことを意味する０であった場合には、Ｓ５１９でループ変数ｍと全画素数を表す変数Ｍを比較する。Ｓ５１９の比較結果から、全画素について処理が行われた場合には処理を終了する。残りの画素がある場合にはＳ５２１でループ変数を１増やし、Ｓ５１３からＳ５１７の処理を画像全域について処理するまで繰り返して結果の合成画像データを画像回復処理部１３５に出力する。
【００６６】
画像回復処理部１３５では、飽和領域合成処理部１３４が出力した合成画像データに対して、回復フィルタ生成処理部１３２で生成した画像回復フィルタを適用し、光学系に起因する画質の劣化を復元する。ここで行う復元処理は、画像回復フィルタを用いる一般的な復元処理である。しかし、本実施例では、復元処理の前段において画像データの白とびして真の画素の信号値が得られない飽和画素及びその影響領域において、異なる露出で撮影された画像に対してゲイン処理して画素の信号値を置き換えている。該置き換えた部分については、出力ビットの最大レベルを超えているので画像回復処理後に出力の最大レベルでクリップする。
【００６７】
以上、説明したように本実施形態によれば、従来は白とび画素とその周辺領域に対して画像回復フィルタを適用することによる不具合が生じるために効果を抑制し、劣化したままとなっていた領域についても劣化を復元することが出来る。つまり、白とび領域とその周辺領域についても復元効果を抑制することなく撮像光学系に起因する画質劣化を低減することができる。
【００６８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６９】
上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００７０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。
【００７１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００７２】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【００７３】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００７４】
１３２  回復フィルタ生成処理部
１３３  飽和領域の検出処理部
１３４  飽和領域合成処理部
１３５  画像回復処理部
【図１】
2016001782.tif 000003
【図２】
2016001782.tif 000004
【図３】
2016001782.tif 000005
【図４】
2016001782.tif 000006
【図５】
2016001782.tif 000007