(57)【要約】【課題】画像データの回復処理により、よりノイズが悪化しすぎないようにする。【解決手段】画像処理部２３は、撮像部２１により撮像された画像データの回復処理を実行する。特に画像処理部２３は、撮像部２１による画像データの撮影条件及び当該画像データの画質に係る評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を切り替える。【選択図】図１
2011193276.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮像された画像データの回復処理を実行する回復処理手段を有し、
前記回復処理手段は、前記撮像手段による画像データの撮影条件及び当該画像データの画質に係る評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を切り替えることを特徴とする撮像装置。
【請求項２】
前記回復処理手段は、前記撮像手段による画像データの撮影条件及び当該画像データの評価値のうちの少なくとも何れか一方に基づいて、画像データの回復量を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記回復処理手段は、前記撮像手段による画像データの撮影条件及び当該画像データの評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を実行するか、実行しないかを切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記回復処理手段は、画像データの撮影時の撮影感度を示す情報を取得し、前記撮影感度が所定の値より高い場合、当該画像データの回復処理を実行しないことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記回復処理手段は、画像データの撮影時のシャッタ速度を示す情報を取得し、前記シャッタ速度が所定の値より低い場合、当該画像データの回復処理を実行しないことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記回復処理手段は、画像データの撮影時においてストロボを使用したか否かを示す情報を取得し、前記画像データの撮影時においてストロボを使用していない場合、当該画像データの回復処理を実行しないことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記回復処理手段は、画像データのノイズ量を測定し、前記ノイズ量が所定の値以上である場合、当該画像データの回復処理を実行しないことを特徴とする請求項３に記載の撮像装置。
【請求項８】
前記回復処理手段は、ノイズ量と撮影感度との所定の対応関係に基づいて、回復処理後の画像データのノイズ量が所定の撮影感度に対応するノイズ量以上とならないように、当該画像データの回復量を調整することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記回復処理手段は、回復処理前の画像データのノイズ量を測定し、ノイズ量と撮影感度との所定の対応関係に基づいて、測定したノイズ量に対応する撮影感度を求めるとともに、回復処理後の当該画像データのノイズ量を測定し、測定したノイズ量に対応する撮影感度を前記所定の対応関係に基づいて求め、回復処理前の当該画像データのノイズ量に対応する撮影感度と、回復処理後の当該画像データのノイズ量に対応する撮影感度との比較結果に応じて、以降の画像データに対する回復処理を実行しないことを特徴とする請求項３に記載の撮像装置。
【請求項１０】
前記回復処理手段は、回復処理後の画像データのノイズ量が設定された制限値以上とならないように、当該画像データの回復量を調整することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記設定された制限値が所定の許容量以上である場合に、その旨を警告する警告手段を更に有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮像された画像データの回復処理を実行する回復処理ステップを含み、
前記回復処理ステップは、前記撮像手段による画像データの撮影条件及び当該画像データの画質に係る評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を切り替えることを特徴とする撮像装置の制御方法。
【請求項１３】
撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像手段により撮像された画像データの回復処理を実行する回復処理ステップをコンピュータに実行させ、
前記回復処理ステップは、前記撮像手段による画像データの撮影条件及び当該画像データの画質に係る評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を切り替えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮像された画像データを回復するための技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラで撮影した画像データのぼけを回復する処理がいくつか提案されている。しかし、従来は、撮影時の撮影条件（例えば、設定ＩＳＯ感度、ストロボの有無、シャッタ速度）又は撮影された画像データの評価値（例えば、ノイズ量、画素値の明／暗）に関係なく、ぼけ回復処理を行っていた。そのため、ノイズに厳しい撮影条件で撮影した際にノイズをさらに強調してしまうという不具合が生じていた。
【０００３】
光軸からの位置に応じて収差を補正し、色ずれや歪のない高画質な画像データを、ユーザの望み通りにプリント画像として再現する技術が知られている（例えば、特許文献１参照）。また、撮影された画像データの中から特徴的な部分を抽出し、その部分に対してぼけ補正を行うことにより、ユーザに過大な負荷をかけることなく、画像データのぼけを補正する技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２６１８３２号公報
【特許文献２】特開２００６−０２４１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示される技術は、画像データの中心からの位置に応じて補正量を変化させるものであり、撮影条件や画像データの評価値に応じて補正量を変化させるものではない。また、特許文献２に開示される技術は、画像データの中から特徴的な部分を自動的に抽出してぼけ補正を行うもので、撮影条件や画像データの評価値に応じて補正量を変化させるものではない。
【０００６】
そこで、本発明の目的は、画像データの回復処理により、よりノイズが悪化しすぎないようにすることにある。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段と、前記撮像手段により撮像された画像データの回復処理を実行する回復処理手段を有し、前記回復処理手段は、前記撮像手段による画像データの撮影条件及び当該画像データの画質に係る評価値のうちの少なくとも何れか一方に基づいて、画像データの回復処理を切り替えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像データの回復処理により、よりノイズが悪化しすぎないようにすることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るデジタルカメラシステムの構成を示す図である。
【図２】画像処理部における第１のぼけ回復処理を示すフローチャートである。
【図３】画像処理部における第２のぼけ回復処理を示すフローチャートである。
【図４】画像処理部における第３のぼけ回復処理を示すフローチャートである。
【図５】画像処理部における第４のぼけ回復処理を示すフローチャートである。
【図６】ＩＳＯ感度とノイズ量との関係を示す図である。
【図７】ぼけ回復処理後のノイズ量を指定するためのＵＩの例を示す図である。
【図８】警告表示の例を示す図である。
【図９】図２乃至図５のステップＳ１３におけるぼけ回復処理の詳細を示すフローチャートである。
【図１０】レンズプロファイル生成方法について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の実施形態に係るデジタルカメラシステムの構成を示す図である。図１は、レンズ、カメラ別体式のデジタルカメラシステムを示しており、１はレンズ、２はデジタルカメラ本体である。撮像光学系１１は、不図示の被写体からの光を通し、撮像部２１に結像させる。レンズ情報記憶部１２は、レンズプロファイルを格納する。撮像部２１は、受光面上に結像された像の光信号を、受光画素毎に電気信号に変換する光電変換素子で構成される。Ａ／Ｄ変換部２２は、撮像部２１で変換された電気信号をデジタル信号に変換する。画像処理部２３は、ぼけ回復処理の対象となる画像データに対応するレンズプロファイルをレンズ情報記憶部１２から取得し、レンズプロファイルを用いて画像データのぼけ回復処理を行う。表示部２４は、画像処理部２３によりぼけが回復された画像データを表示する。画像記憶媒体２５は、画像処理部２３によるぼけ回復処理の作業領域となるとともに、ぼけ回復処理後の画像データを記憶する。なお、図１に示すデジタルカメラは、本発明の撮像装置の適用例となる構成であり、画像処理部２３は、本発明における回復処理手段の適用例となる構成である。
【００１２】
図２は、画像処理部２３における第１のぼけ回復処理を示すフローチャートである。ステップＳ１１において、画像処理部２３は、Ａ／Ｄ変換部２２から出力されたデジタル信号の画像データを取得する。ステップＳ１２において、画像処理部２３は、当該画像データ撮影時のＩＳＯ感度（撮影感度）を取得し、ＩＳＯ感度の値が所定の値より低いか否かを判定する。ＩＳＯ感度の値が所定の値以上である場合、処理を終了する。一方、ＩＳＯ感度の値が所定の値より低い場合、処理はステップＳ１３に進む。ステップＳ１３において、画像処理部２３は、取得した画像データに対するぼけ回復処理を実行する。以上の処理により、ＩＳＯ感度が高い場合、ぼけ回復処理によりノイズが悪化しすぎないようにすることが可能となる。
【００１３】
図３は、画像処理部２３における第２のぼけ回復処理を示すフローチャートである。図３のステップＳ１１、Ｓ１３は、図２のステップＳ１１、Ｓ１３と同様の処理である。ステップＳ２２において、画像処理部２３は、ステップＳ１１で取得した画像データの撮影時のシャッタ速度を取得し、シャッタ速度が所定の速度以上であるかを判定する。シャッタ速度が所定の速度より低い場合、処理は終了する。一方、シャッタ速度が所定の値以上である場合、処理はステップＳ１３に進む。以上の処理により、シャッタ速度が低い場合、ぼけ回復処理によりノイズが悪化しすぎないようにすることが可能となる。
【００１４】
図４は、画像処理部２３における第３のぼけ回復処理を示すフローチャートである。図４のステップＳ１１、Ｓ１３は、図２のステップＳ１１、Ｓ１３と同様の処理である。ステップＳ３２において、画像処理部２３は、ステップＳ１１で取得した画像データの撮影時のストロボ使用／未使用を示す情報を取得し、当該画像データ撮影時にストロボが使用されたか未使用であったかを判定する。撮影時にストロボが未使用であった場合、処理は終了する。一方、撮影時にストロボが使用された場合、処理はステップＳ１３に進む。以上の処理により、撮影時にストロボが未使用であった場合、ぼけ回復処理によりノイズが悪化しすぎないようにすることが可能となる。
【００１５】
図５は、画像処理部２３における第４のぼけ回復処理を示すフローチャートである。図５のステップＳ１１、Ｓ１３は、図２のステップＳ１１、Ｓ１３と同様の処理である。ステップＳ４２において、画像処理部２３は、ステップＳ１１で取得した画像データの画質に係る評価値としてノイズ量を測定し、ノイズ量が所定の値より低いか否かを判定する。ノイズ量が所定の値以上である場合、処理を終了する。一方、ノイズ量が所定の値より低い場合、処理はステップＳ１３に進む。ノイズ量は例えばＲＭＳ粒状度等を測定することによって得る方法がある。以上の処理により、ノイズ量が高い場合、ぼけ回復処理によりノイズが悪化しすぎないようにすることが可能となる。
【００１６】
図６は、ＩＳＯ感度とノイズ量との対応関係を示す図である。図６において、横軸がＩＳＯ感度、縦軸がノイズ量を示しており、また、一定の許容ノイズ量を設けていることを示している。ノイズ量の算出には、例えばＲＭＳ粒状度等を用いるとよい。なお、図６の関係を示す情報は、例えば画像処理部２３内に保持されているものとする。
【００１７】
画像処理部２３は、ぼけ回復処理前の画像データのノイズ量を算出し、当該ノイズ量に対応するＩＳＯ感度を図６に示す関係から求める。また、画像処理部２３は、ぼけ回復処理後の画像データのノイズ量を算出し、当該ノイズ量に対応するＩＳＯ感度を図６に示す関係から求める。次に画像処理部２３は、ぼけ回復処理後のＩＳＯ感度が、ぼけ回復処理前のＩＳＯ感度と比較して例えば２倍以上になる（即ち、露出が１段以上悪化する）場合、以降のぼけ回復処理を行わないように制御する。
【００１８】
また、画像処理部２３は、図６に示す関係を用いて、ぼけ回復処理後の画像データのノイズ量がある値のＩＳＯ感度に対応するノイズ量（図６に示す許容ノイズ量）以上とならないように、ぼけ回復量を調整してもよい。さらに、画像処理部２３は、ある画像データに対してぼけ回復処理を実行し、ぼけ回復処理後の画像データのノイズ量が所定の値以上となった場合、以降のぼけ回復処理を実行しないように制御してもよい。
【００１９】
図７は、ぼけ回復処理後における画像データのノイズ量の制限値を設定するためのＵＩの例を示す図である。ユーザは図７に示すＵＩ上でノイズ量の制限値として例えばＩＳＯ感度を設定する。画像処理部２３は、例えば図６に示す関係を用いて、ぼけ回復処理後の画像データのノイズ量が、ユーザによって設定されたＩＳＯ感度に対応するノイズ量の制限値以上とならないようにぼけ回復量を調整する。これにより、ユーザはどのレベルまでノイズ量を許容するか設定することが可能となる。図８は、警告表示の例を示す図である。ユーザが図７に示すＵＩ上で設定したＩＳＯ感度に対応するノイズ量が、図６に示す許容ノイズ量以上である場合、図８に示すような警告表示を表示部２４において表示させ、ユーザにノイズ量の制限値の再設定を促してもよい。図８に示す警告表示を実行する処理は、本発明における警告手段の処理例である。
【００２０】
図９は、図２乃至図５のステップＳ１３におけるぼけ回復処理の詳細を示すフローチャートである。ステップＳ５１において、画像処理部２３は、画像記憶媒体２５に格納されている画像データの補正対象画素の画素値を取得する。ここで、画像記憶媒体２５は画像処理部２３の作業領域であり、画像記憶媒体２５に格納されている画像データは、図２乃至図５のステップＳ１１によって取得された画像データである。また、画像記憶媒体２５は、ぼけ回復処理の前後の画像データのノイズ量を算出する際の作業領域としても使用される。
【００２１】
ステップＳ５２において、画像処理部２３は、ステップＳ５１で取得した画素値及び当該補正対象画素の画素位置に対応するレンズプロファイルをレンズ情報記憶部１２から取得する。ステップＳ５３において、画像処理部２３は、取得したレンズプロファイルを用いて補正対象画素及びその周辺画素に対してコンボリューション演算を行う。この演算が補正対象画素のぼけを回復していることになる。ステップＳ５４において、画像処理部２３は、画像データの全画素に対してぼけ回復処理を行ったか否かを判定する。全画素に対してぼけ回復処理を行っていない場合、処理はステップＳ５１に戻り、まだ対象となっていない画素に対するぼけ回復処理を行う。一方、全画素に対してぼけ回復処理を行った場合、処理は終了する。
【００２２】
次に、図１０を用いて、レンズプロファイル生成方法について説明する。図１０（ａ）は、カラーフィルタ配列を考慮しない場合のレンズのＯＴＦ（光学伝達関数）である。これはカラーフィルタを全て取り払った場合の撮像光学系１１の周波数特性を意味していると考えれば分かりやすい。撮像部２１でサンプリングが行われるため、ナイキスト周波数以上の周波数は存在しない。逆フィルタでは、この図１０（ａ）の逆数をとって図１０（ｂ）に示すような回復フィルタを構成する。一般的には撮像光学系１１のＯＴＦは高周波ほど小さいため、回復フィルタは高周波ほど強調する作用を持つ。しかし、実際にはカラーフィルタ配列によって、例えばＲでは一画素おきにサンプリングがなされるとする。するとサンプリング後の撮像光学系１１のＯＴＦは、Ｒのナイキスト周波数に関して図１０（ｃ）のように撮像光学系１１のＯＴＦが折り返った形になる。単純に考えるとレンズプロファイルの周波数特性は図１０（ｃ）の逆数であるから図１０（ｄ）のようにＲのナイキスト周波数でピークをもつ形になる。ここでカラーフィルタ配列によるサンプリングを考慮せずに、図１０（ｂ）の回復フィルタを実際のぼけ特性である図１０（ｃ）のＯＴＦに適用した場合を考える。すると、得られる画像データは図１０（ｅ）のような高周波が強調されすぎた画像データになってしまう。つまり、デモザイキング前にぼけ補正を行う際には、カラーフィルタ配列から導かれる各色のナイキスト周波数を考慮したレンズプロファイルを用いる必要がある。
【００２３】
以上の処理により、デモザイキング前の画像データに対してぼけ補正を行うことができる。デモザイキング前に補正を行うことで、デモザキングによって画像データのぼけ特性が影響を受ける前に、撮像光学系１１に起因するぼけを小さくするように補正することができる。
【００２４】
上述した実施形態においては、撮影条件や画像データの画質に係る評価値に応じて、画像データの回復量を切り替えたり、画像データの回復処理を実行しないようにしている。従って、撮影条件が厳しいとき等において、画像データの回復処理により、よりノイズが悪化しすぎないようにすることができる。
【００２５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２６】
１：レンズ、２：デジタルカメラ、１１：撮像光学系、１２：レンズ情報記憶部１２、２１：撮像部、２２：Ａ／Ｄ変換部、２３：画像処理部、２４：表示部、２５：画像記憶媒体
【図１】
2011193276.tif 000003
【図２】
2011193276.tif 000004
【図３】
2011193276.tif 000005
【図４】
2011193276.tif 000006
【図５】
2011193276.tif 000007
【図６】
2011193276.tif 000008
【図７】
2011193276.tif 000009
【図８】
2011193276.tif 000010
【図９】
2011193276.tif 000011
【図１０】
2011193276.tif 000012