(57)【要約】【課題】  高精度な画像回復を行いつつ、画像回復フィルタ生成の処理時間の抑制や保存するデータ容量の削減を実現する。【解決手段】  設定された撮影条件で被写体を撮像して画像データを取得し、画像データに対して画像回復処理フィルタを生成して画像回復処理を行う撮像装置に用いる制御装置である。画像回復処理を行うか否かを設定する回復設定部と、画像回復処理を行うか否かの設定に関連付けて、前記撮影条件の設定データを格納する記憶部と、記憶部の設定データに基づいて撮影条件を設定する条件設定部と、を有する。記憶部は、画像回復処理を行うように設定された場合に、画像回復処理を行わないように設定された場合よりも、撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する画像回復用の設定データを、記憶している。【選択図】  図１
2017017384.tif 000002
【特許請求の範囲】
【請求項１】
設定された撮影条件で被写体を撮像して画像データを取得し、前記画像データに対して画像回復処理フィルタを生成して画像回復処理を行う撮像装置に用いる制御装置であって、
前記画像回復処理を行うか否かを設定する回復設定部と、
前記画像回復処理を行うか否かの設定に関連付けて、前記撮影条件の設定データを格納する記憶部と、
前記記憶部の前記設定データに基づいて撮影条件を設定する条件設定部と、を有し、
前記記憶部は、前記画像回復処理を行うように設定された場合に、前記画像回復処理を行わないように設定された場合よりも、前記撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する画像回復用の設定データを、記憶していることを特徴とする制御装置。
【請求項２】
ユーザが選択した撮影モードを設定するモード設定部を更に有し、
前記条件設定部は、設定された前記撮影モードに基づいて前記撮影条件のうち自動で設定する撮影条件を決定し、
前記記憶部は、前記画像回復処理を行うか否かの設定および前記撮影モードに関連付けて、前記撮影条件の設定データを格納することを特徴とする請求項１に記載の制御装置。
【請求項３】
シャッタースピードおよび絞り値を自動で設定する撮影モードに設定され、かつ、前記画像回復処理を行うように設定された場合、
前記条件設定部は、前記画像回復用の設定データを参照して、シャッタースピードと絞り値を設定することを特徴とする請求項２に記載の制御装置。
【請求項４】
シャッタースピードをユーザが指定し絞り値を自動で設定する撮影モードに設定され、かつ、前記画像回復処理を行うように設定された場合、
前記条件設定部は、前記ユーザが指定したシャッタースピードを設定し、前記画像回復用の設定データに応じて前記ユーザが指定したシャッタースピードに対応する絞り値およびＩＳＯ感度を設定することを特徴とする請求項２又は３に記載の制御装置。
【請求項５】
前記画像回復用の設定データは、ＩＳＯ感度を自動で設定できる場合に用いる第１の画像回復用の設定データと、前記ＩＳＯ感度を自動で設定できない場合に用いる第２の画像回復用の設定データと、を含み、
前記第１の画像回復用の設定データは、前記第２の画像回復用の設定データよりも、同一の絞り値に設定する露出値の範囲が広くなるように撮影条件を設定することを特徴とする請求項１から４のうちいずれか１項に記載の制御装置。
【請求項６】
絞り値をユーザが指定しシャッタースピードを自動で設定する撮影モードで設定された場合、
前記条件設定部は、前記画像回復処理を行うように設定された場合と、前記画像回復処理を行わないように設定された場合とで、同一の前記設定データを用いることを特徴とする請求項１から５のうちいずれか１項に記載の制御装置。
【請求項７】
設定された撮影条件で被写体を撮像して画像データを取得し、前記画像データに対して画像回復処理フィルタを生成して画像回復処理を行う、レンズ装置を着脱可能な撮像装置に用いる制御装置であって、
前記画像回復処理を行うか否かを設定する回復設定部と、
ユーザが選択した撮影モードを設定するモード設定部と、を有し、
前記画像回復処理を行うか否かの設定、前記撮影モード、および装着されたレンズ装置に関連付けて、前記撮影条件の設定データを格納する記憶部と、
設定された前記撮影モードに基づいて前記撮影条件のうち自動で設定する撮影条件の種類を決定し、かつ、前記記憶部の前記設定データに基づいて前記撮影条件を設定する条件設定部と、を有し、
前記記憶部は、前記画像回復処理を行うように設定された場合に、前記画像回復処理を行わないように設定された場合よりも前記撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する画像回復用の設定データを、記憶していることを特徴とする制御装置。
【請求項８】
設定された撮影条件で被写体を撮像して画像データを取得する撮像手段と、
前記画像データに対して画像回復処理フィルタを生成し、画像回復処理を行う画像回復処理手段と、
請求項１から７のうちいずれか１項に記載の制御装置と、
を有することを特徴とする撮像装置。
【請求項９】
撮像した画像に対して画像回復フィルタを用いて画像回復処理を行う画像処理部と、前記画像回復処理を行うか否かを設定する回復設定部と、を有する撮像装置に着脱可能なレンズ装置であって、
前記撮像装置に被写体の光を導く撮影光学系と、
前記撮像装置からの指示に応じて前記撮影光学系を駆動する駆動手段と、
前記撮影光学系の設定と前記画像回復処理を行うか否かの設定とを関連付けるデータを格納し、前記撮像装置に当該データを取得させる記憶部と、を有し、
前記記憶部は、前記画像回復処理を行う画像を撮影する場合に、前記画像回復処理を行わない画像を撮影する場合よりも撮影条件として設定可能な絞り値の数が少なくなるように前記撮影光学系を設定するデータを記憶していることを特徴とするレンズ装置。
【請求項１０】
設定された撮影条件で被写体を撮像して画像データを取得し、前記画像データに対して画像回復処理フィルタを生成して画像回復処理を行う撮像装置の制御方法であって、
前記画像回復処理を行うか否かを設定するステップと、
前記画像回復処理を行うか否かの設定に関連付けて前記撮影条件の設定データを格納した記憶部から前記設定データを選択するステップと、
取得した前記設定データに基づいて前記撮影条件を設定するステップと、を有し、
前記設定データを取得するステップは、前記画像回復処理を行うように設定された場合に、前記画像回復処理を行わないように設定された場合よりも前記撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する設定データを、前記記憶部から取得することを特徴とする制御方法。
【請求項１１】
コンピュータに、請求項１０に記載の撮像方法を実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納することを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影条件の設定制御に関し、特に画像回復処理を考慮した撮影条件の設定に関するものである。
【背景技術】
【０００２】
光学伝達関数（ＯＴＦ）は撮影条件（ズーム位置や絞り径の状態等）に応じて変動するため、画像回復フィルタをこれに応じて変更する必要がある。この画像回復フィルタおよびＯＴＦに係るデータ量は膨大であるため、全光学パラメータ（焦点距離、絞り値等）に対応して保持するようにすれば、撮像装置等に大容量のメモリが必要となる。
【０００３】
特許文献１では、ＯＴＦから作成した画像回復フィルタを保持しておいて、撮影時のパラメータに応じて保持していた回復フィルタを再利用するという方法が開示されている。
【０００４】
また、特許文献２では、撮影条件がある範囲内であれば、同じ画像回復フィルタを用いる、または同じＯＴＦを使用して回復フィルタを生成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１６１２７８号公報
【特許文献２】特開２０１２−１５６７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された技術では、光学系に関わる撮影パラメータが変わると、回復フィルタを作り直さなければならない。
【０００７】
上述の特許文献２に開示された技術では、上記撮影パラメータが変化しても、ある範囲まではＯＴＦないし画像回復フィルタを再利用できる。しかしながら、画像に対して最大効果の回復を行えない場合が増加する。
【０００８】
本発明は、高精度な画像回復を行いつつ、画像回復フィルタ生成の処理時間の抑制や保存するデータ容量の削減を実現する撮像装置、それに用いる制御装置等を提供する。
【課題を解決するための手段】
【０００９】
本実施例の一側面としての制御装置は、設定された撮影条件で被写体を撮像して画像データを取得し、前記画像データに対して画像回復処理フィルタを生成して画像回復処理を行う撮像装置の制御装置であり、画像回復処理を行うか否かを設定する回復設定部と、画像回復処理を行うか否かの設定に関連付けて、撮影条件の設定データを格納する記憶部と、記憶部の設定データに基づいて撮影条件を設定する条件設定部と、を有する。記憶部は、画像回復処理を行うように設定された場合に、画像回復処理を行わないように設定された場合よりも、撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する画像回復用の設定データを、記憶していることを特徴とする。
【００１０】
本実施例の別側面としてのレンズ装置は、撮像した画像に対して画像回復フィルタ用いて画像回復処理を行う画像処理部と、画像回復処理を行うか否かを設定する回復設定部と、を有する撮像装置に着脱可能なレンズ装置であり、撮像装置に被写体の光を導く撮影光学系と、撮像装置からの指示に応じて撮影光学系を駆動する駆動手段と、撮影光学系の設定と画像回復処理を行うか否かの設定とを関連付けるデータを格納し、撮像装置に当該データを取得させる記憶部と、を有する。記憶部は、画像回復処理を行う画像を撮影する場合に、画像回復処理を行わない画像を撮影する場合よりも前記撮影条件として設定可能な絞り値の数が少なくなるように撮影光学系を設定するデータを記憶していることを特徴とする。
【００１１】
本実施例の別側面としての制御方法は、設定された撮影条件で被写体を撮像して画像データを取得し、画像データに対して画像回復処理フィルタを生成して画像回復処理を行う撮像装置の制御方法であり、画像回復処理を行うか否かを設定するステップと、画像回復処理を行うか否かの設定に関連付けて撮影条件の設定データを格納した記憶部から設定データを取得するステップと、取得した前記設定データに基づいて撮影条件を設定するステップと、を有する。設定データを取得するステップは、画像回復処理を行うように設定された場合に、画像回復処理を行わないように設定された場合よりも撮影条件として設定可能な絞り値の数が少なくなるように撮影条件を設定する設定データを、記憶部から取得することを特徴とする。
【発明の効果】
【００１２】
本発明は、高精度な画像回復を行いつつ、画像回復フィルタ生成の処理時間の抑制や保存データの削減を実現する。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における撮像装置を示す図である。
【図２】本発明の実施形態におけるＲＡＷデータを示す図である。
【図３】本発明の実施形態における画像処理装置の画像処理部を示す図である。
【図４】本発明の実施形態における色成分、画像回復成分を示す図である。
【図５】本発明の実施形態における色成分別の周波数特性を示す図である。
【図６】本発明の実施形態における画像処理装置の画像回復処理を示すフローチャートである。
【図７】本発明の実施形態における画像回復フィルタの説明図である。
【図８】本発明の実施形態における画像回復フィルタの説明図である。
【図９】本発明の実施例１における画像撮影処理を示すフローチャートである。
【図１０】本発明の実施例１におけるプログラム線図の一例を示した図である。
【図１１】本発明の実施例２におけるプログラム線図の一例を示した図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１５】
図１は、実施例１における撮像装置１００を示す。撮影光学系１０１は、不図示の被写体を撮像素子１０２に導く。撮像素子１０２は受けた光を電気信号に変換し、Ａ／Ｄ変換器１０３は撮像素子１０２からの電気信号をデジタル信号に変換し、画像処理部１０４に出力する。
【００１６】
画像処理部１０４は、画像回復処理部１１１とその他の処理を行うその他画像処理部１１２から構成される。その他画像処理部１１２は、画素補間処理を含んでいる。画像回復処理部１１１の出力画像は、各画素で全ての色成分が揃っていない所謂歯抜け状態である。そのため、その他画像処理部１１２は画像回復処理部１１１の出力画像に対して画素補間処理を行う。
【００１７】
画像処理部１０４は、状態検知部１０７から撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から状態情報を得ても良いし、撮影光学系に関する撮像状態情報を撮影光学系制御部から得てもよい。
【００１８】
画像回復処理部１１１は、撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。記憶部１０８は、画像回復フィルタ以外のデータも保持しており、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報も格納（保存）している。画像回復処理部１１１は、撮影条件に応じたＯＴＦに関する情報を記憶部１０８から選択して撮影条件に応じた画像回復フィルタを生成することで、画像処理部１０４に入力された画像に対して画像回復処理を行ってもよい。
【００１９】
画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５は、画像回復処理後の画像に表示用処理を行った画像を表示してもよいし、画像回復処理を行っていない又は簡易的な回復処理を行った画像を表示してもよい。一連の制御はシステムコントローラ１１０で行われ、撮影光学系の機械的な駆動はシステムコントローラ１１０の指示により撮影光学系制御部１０６で行う。
【００２０】
システムコントローラ１１０は、撮影条件設定部１１３、画像回復設定部１１４、撮影モード設定部１１５を含んでいる。撮影モード設定部１１５は、ユーザから指示された撮影モードへの設定を行う。画像回復設定部１１４は、画像回復を撮影した画像に対して行うか否かを設定する。撮影条件設定部１１３は、撮影モード等に応じて記憶部１２０に格納された後述のプログラム線図を参照して、撮影条件を設定する。記憶部１２０には、画像回復処理を行うか否かに関連付けて撮影条件の設定データ（絞り値やシャッタースピードやＩＳＯ感度等、プログラム線図）が予め格納されている。
【００２１】
撮影光学系制御部１０６は、システムコントローラ１１０からのＦナンバーの撮影条件設定指示により、絞り１０１ａの開口径を制御する。さらに、撮影光学系制御部１０６は、被写体距離に応じたピント調整のために、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりフォーカスレンズ１０１ｂの位置を制御する。これらの撮影光学系１０１にローパスフィルタや赤外線カットフィルタ等の光学素子を入れてもよいが、ローパスフィルタ等のＯＴＦの特性に影響を与える素子を用いる場合にはそれを考慮して画像回復フィルタを作成する必要がある。また、赤外カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、赤外カットフィルタを用いる場合も、それを考慮して画像回復フィルタを作成する必要がある。
【００２２】
撮像装置１００は、撮影光学系１０１を一部として構成するものであっても、一眼レフカメラのようなレンズ交換式撮像装置として撮影光学系を取り付けるものであってもよい。記憶部１１６は、レンズに関するデータ（レンズ交換式撮像装置の場合、レンズＩＤ等）を記憶する。
【００２３】
画像処理部１０４で行われる処理について、図２から図８を用いて詳細に説明する。
【００２４】
画像回復処理部１１１への入力画像は、各画素に１色の色成分をもつＲＡＷデータである。図２は、画像回復処理部１１１へ入力されるＲＡＷデータの例を示しており、これはＲ、Ｇ、Ｂの色成分から構成された一般的なベイヤー配列である。
【００２５】
本実施例では、画像回復処理部１１１においてＧ成分をＧ１とＧ２に分離し、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に対して画像回復フィルタを適用する。これら４つの画像回復成分は、図３に示される回復フィルタ適用部１１１０，１１１１，１１１２，１１１３に入力される。
【００２６】
図４は、ＲＡＷデータにおける各色成分と上述の４つの画像回復成分の例を示している。図４（ａ）はＧ成分、図４（ｂ）はＲ成分、図４（ｃ）はＢ成分を示している。図中の白で示した画素が、それぞれの色成分を表す。本実施例では、図４（ａ）に示したＧ成分を、更に図４（ｄ）（ｅ）に示したＧ１とＧ２に分けて画像回復処理を行う。
【００２７】
図５は、撮像素子における色成分別の画素配列の周波数特性を示した図である。図４（ａ）〜（ｅ）で示した各成分において光を感知できる画素（白）を１、光を感知できない画素（黒）を０とし、それぞれをｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）とおく。図５に示した周波数特性は、このｍ＿Ｇ（ｘ,ｙ）、ｍ＿Ｒ（ｘ,ｙ）、ｍ＿Ｂ（ｘ,ｙ）、ｍ＿Ｇ１（ｘ,ｙ）、ｍ＿Ｇ２（ｘ,ｙ）をフーリエ変換したものに相当する。図５（ａ）はＧ成分、すなわち図４（ａ）の周波数特性を表したものであり、●の位置のみに１が存在するくし型関数である。
【００２８】
図４（ｂ）（ｃ）に示したＲ、Ｂ成分の周波数特性を示したものが図５（ｂ）であり、Ｇ成分の周波数特性を示した図５（ａ）とは異なっている。このＧ成分をＧ１及びＧ２の画像回復成分に分離して考えた場合の周波数特性は、ＲやＢ成分と同様に図５（ｂ）のようになる。
【００２９】
Ｒ、Ｇ、Ｂの３つの色成分に対する画像回復処理は、図５に示したとおりＧ成分とＲやＢ成分で周波数特性が異なることから、前述の通り、画像の高周波成分を含む領域で本来画像には存在しなかった偽色が発生する原因になる。一方、Ｇ成分をＧ１及びＧ２の画像回復成分に分離すれば、４つの画像回復成分Ｒ、Ｇ１、Ｇ２、Ｂの画素配列は同じ周波数特性を示す。そのため、画像回復処理で対象となる周波数帯域が共通になることから、画像回復処理による偽色の発生を抑えることができる。
【００３０】
Ｒ、Ｇ、Ｂの３つの色成分に対し画像回復を行う場合でも、Ｇ成分に適用する画像回復フィルタの作り方を変更することで、補正されるＧ成分の周波数帯域をＲやＢ成分に一致させることができる。しかし、回復される周波数帯域はＧ成分をＧ１及びＧ２の画像回復成分に分離した場合と同等であるため、後述の通り画像回復フィルタのコンボリューション時の処理負荷の観点からＧ１、Ｇ２の画像回復成分に分離した方が有利である。
【００３１】
以下、図６を用いて画像回復処理部１１１における画像回復処理の処理フローを詳細に説明する。
【００３２】
ステップＳ２０１では、画像回復処理部１１１は、状態検知部１０７から撮像条件（例えば、ズーム位置、絞り径、被写体距離等）の情報を取得する。
【００３３】
次に、ステップＳ２０２では、画像回復処理部１１１は、ＲＧＢから構成されるＲＡＷデータを、Ｒ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に分離する。具体的には、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよいし、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意してもよい。
【００３４】
次に、ステップＳ２０３では、画像回復処理部１１１は、実際の撮像状態に適したＲ、Ｇ１、Ｇ２、Ｂの４つの画像回復成分に適した画像回復フィルタを図１の記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。すなわち、離散的な撮像条件のデータを用意しておいて実際に画像回復処理を実行する際に画像回復フィルタを補正する。これにより、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減することができる。また、記憶部１０８では画像回復フィルタではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報を保持する場合、選択したＯＴＦに関する情報から撮像条件に応じた画像回復フィルタを生成する。
【００３５】
画像回復フィルタを説明するための模式図を図７に示す。図７に示す画像回復フィルタは、各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタの例である。
【００３６】
画像回復フィルタは撮影光学系の収差量に応じてタップ数を決めることができ、この例では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応し、画像回復においてコンボリューション処理が行われる。
【００３７】
図７（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮影光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。
【００３８】
図７（ａ）では各タップ内の値を省略しているが、このフィルタの１断面を図７（ｂ）に示す。この画像回復フィルタは、上記のように撮影光学系のＯＴＦを計算若しくは計測し、その逆関数を逆フーリエ変換することで得られる。一般的には、ノイズの影響を考慮する必要があるためウィーナーフィルタや関連する回復フィルタの作成方法等を用いる。
【００３９】
さらに、ＯＴＦには、画像処理部１０４に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタは、ＯＴＦの周波数特性に対して高周波成分を抑制する。撮像素子の画素開口の形状や開口率も周波数特性に影響する。他にも光源の分光特性や各種波長フィルタの分光特性がある。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。
【００４０】
また、画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成する。撮影光学系には色収差があり、色成分毎にぼけ方が異なる。そのため、色成分毎の画像回復フィルタは、特性が色収差に基づいて若干異なる。これは、図７（ａ）の断面図が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮すれば任意に変更することができる。
【００４１】
図８は、上述の各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、各画素に１色の色成分をもつＲＡＷ画像に適用する画像回復フィルタの例を示す。この画像回復フィルタは対象の色成分が存在する画素に対し係数を保持するものであり、係数を保持している箇所を図中の白で表し、それ以外の０を保持する箇所を黒で表している。
【００４２】
Ｒ、Ｇ、Ｂの３つの色成分に対し画像回復を行う場合、Ｒ、Ｂ成分に適用する画像回復フィルタは図８（ａ）のようになり、Ｇ成分に適用する画像回復フィルタは図８（ｂ）のようになる。しかし、本発明の実施例１ではＧ成分をＧ１及びＧ２の画像回復成分に分離して画像回復フィルタを適用するため、Ｒ、Ｇ１、Ｇ２、Ｂのいずれも図８（ａ）のような画像回復フィルタを用いる。
【００４３】
次に、図６のステップＳ２０４では、画像回復処理部１１１は、ステップＳ２０３で選択された画像回復フィルタを用いて、撮像された入力画像の各画像回復成分の各画素に対してコンボリューション処理を行う。これにより、撮影光学系で発生した収差による画像のぼけ成分を除去若しくは低減することができる。上述のように色画像回復成分毎に適した画像回復フィルタを用いることで、色収差も補正することができる。
【００４４】
実施例１におけるコンボリューション処理は、図４の（ｂ）〜（ｅ）で示した各画像回復成分と、図８（ａ）で示した画像回復フィルタのコンボリューション処理である。ステップＳ２０２で分離した各画像回復成分のデータの持たせ方に応じて、画像回復フィルタの保持方法や適用方法を適宜変えればよい。例えば、対象の画像回復成分以外の部分に０を設定した画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合は、コンボリューション処理の対象にする画素を対象の画像回復成分に限定することで、余計な演算を省くことができる。
【００４５】
また、対象の画像回復成分以外の部分を間引いた１／４サイズの画像データをＲ、Ｇ１、Ｇ２、Ｂ成分別に４つ用意した場合、画像回復フィルタ自体も使用される係数以外を間引いた状態で保持することで、１／４サイズの画像データにそのまま適用できる。
【００４６】
どちらの場合も、図７（ａ）の各画素にＲＧＢの各色成分が揃った画像に適用する画像回復フィルタや、図８（ｂ）の分離しないＧ成分に適用する画像回復フィルタに比べ、有効な係数の数が明らかに少ないため、コンボリューション処理の負荷は低減される。
【００４７】
以上、画像回復処理部１１１は、図６の処理フローに沿って画像上の各画素に対して画像回復処理を行う。ＯＴＦは、１つの撮影条件においても撮影光学系の画角（像高）に応じて変化するので、本実施例における画像回復処理を像高に応じた画像の分割された領域毎に変更して行うことが望ましい。例えば、コンボリューション処理を行いながら画像回復フィルタを画像上で走査し、領域毎にフィルタを順次変更する。すなわち、ステップＳ２０３とステップＳ２０４は、各画像回復成分の各対象画素に対して実行される。
【００４８】
本実施例では、画像回復フィルタの適用を画像回復処理として説明するが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本発明のフローの前後や途中に組み合わせたものを画像回復処理としてもよい。
【００４９】
画像回復処理部１１１において画像回復処理が施された画像データは、ベイヤー配列のままである。その他画像処理部１１２は、画像回復処理が施された画像データに対して、撮像素子が保持している３つの色成分毎に補間処理を行う。その他画像処理部１１２は、補間処理の他に、ガンマ補正やカラーバランス調整など、ＲＡＷデータに対する周知の現像処理を行ないＪＰＥＧ等の画像ファイルを生成する。
【００５０】
次に、本実施例の撮像装置１００を用いた撮影および撮影時の画像回復処理について説明する。
【００５１】
本実施例では、自動的にシャッタースピードと絞り値とを決めて撮影するモード（以降、プログラムモードという）で、画像回復処理を行うよう（有効）に設定された場合について説明する。
【００５２】
以下に、本実施例における撮影及び画像処理について図９を用いて詳細に説明する。
【００５３】
ステップＳ３０１は撮影モード・画像回復処理設定ステップである。システムコントローラ１１０のうち、撮影モード設定部１１５が撮像装置１００の撮影モードを設定し、画像回復設定部１１４が画像回復処理設定を行う。本実施例では、画像回復設定部１１４が撮影モードをプログラムモードに設定し、画像回復処理を有効として設定する。
【００５４】
ステップＳ３０２はプログラム線図・撮影条件設定ステップであり、システムコントローラ１１０のうち撮影条件設定部１１３がステップＳ３０１で設定された情報をもとに、記憶部１２０に格納されたプログラム線図の中から１つを選択する。また、このとき、撮影条件設定部１１３は、撮影モードに応じて自動で設定する撮影条件を決定する。各種撮影パラメータ（撮影条件）は、選択されたプログラム線図に従って設定される。本実施例では、撮影条件設定部１１３は、プログラムモードにおいて画像回復処理を有効として設定したときに用いるプログラム線図（画像回復用の設定データ）を選択し、それに基づいて撮影条件を設定する。
【００５５】
ステップＳ３０３は画像撮影処理ステップであり、ユーザによってレリーズボタンが操作されると、システムコントローラ１１０が各モジュールに撮像を行うための制御信号を送る。これにより、撮像素子１０２は撮影光学系１０１からの被写体光を光電変換し、Ａ／Ｄ変換器１０３は撮像素子１０２からの信号をデジタル信号に変換し、画像処理部１０４はＡ／Ｄ変換器１０３からの信号について画像処理を行うことでＲＡＷデータを生成する。
【００５６】
ステップＳ３０４は画像回復処理ステップであり、画像回復処理部１１１が、ステップＳ３０３で生成されたＲＡＷデータに対して画像回復処理を行う。
【００５７】
ステップＳ３０５は画像出力ステップであり、システムコントローラ１１０が、ステップＳ３０４で画像回復処理を施した画像データについて、画像記録媒体１０９への記録や表示部１０５への表示を行う。以上により、撮影及び画像処理の動作を完了する。
【００５８】
次に、本実施例においてステップＳ３０２で設定したプログラム線図ついて、図１０を用いて説明する。上述の様に、本実施例では、プログラムモードにおいて画像回復処理設定が有効とされたときに用いるプログラム線図が設定される。
【００５９】
図１０（ａ）は、本実施例のステップＳ３０２で設定するプログラム線図の一例である。一方、図１０（ｂ）は、画像回復処理設定を無効とした場合に用いるプログラム線図の一例である。これらのプログラム線図では、ＩＳＯ感度を特定の値に固定した場合を想定している。また、どちらの図も縦軸に絞り値を、横軸にシャッタースピードを、斜軸に露出の値を示している。
【００６０】
図１０（ａ）では、絞り値を１．８、２．５、５．０、１０、１４という５つの値に限定し、シャッタースピードの設定幅を広く設けることで、−４から１７までの露出の値を実現している。一方、図１０（ｂ）では、同じ−４から１７までの露出の値を実現する上で、絞り値が図１０（ａ）よりも細かく設定され、その分シャッタースピードの設定幅を狭くなっている。つまり、画像回復処理設定が有効に設定されたときに用いるプログラム線図は、無効に設定されたときに用いるものに比べて、絞り値の設定され得る値が制限されている（設定可能な絞り値の範囲が少ない）。換言すれば、本実施例において、画像回復処理設定が有効に設定されたときに用いるプログラム線図は、できる限り絞り値を変更せず維持しながらも、シャッタースピードを変更することで、様々な撮影シーンに対して適正な露出を取得する。
【００６１】
上述の様に、画像回復フィルタを生成に用いるＯＴＦに関する情報を離散的な撮影条件のデータとともに保持する場合、撮影距離、焦点距離、絞り値という光学系の撮影パラメータ（撮影条件）を用いて画像回復フィルタを生成する。本実施例では、撮影条件の変更により対応できる露出の範囲のうち同一の絞り値を用いる範囲が広いプログラム線図を用いるため、画像回復フィルタの生成に必要とされるＯＴＦに関する情報が限定される。そのため、ＯＴＦから画像回復処理フィルタを生成する回数を減らすことができ、処理時間を抑制できる。また、画像回復処理フィルタを補正する場合においても、絞り値に関する補正を省略できる。さらに、離散的に保存する撮影条件のデータの容量を削減できる。
【実施例２】
【００６２】
実施例２では、ユーザが指定したシャッタースピードを用いて、システムコントローラ１１０が自動的に絞り値とＩＳＯ感度とを決めて撮影するモード（以降、シャッタースピード優先モードという）に設定された場合について説明する。実施例１と重複する部分については説明を省略する。
【００６３】
以下に、本実施例における撮影及び画像処理について実施例１と同様に図９を用いて説明する。
【００６４】
ステップＳ３０１では、撮影モード設定部１１５が撮影モードをシャッタースピード優先モードに設定し、画像回復設定部１１４が画像回復処理を有効に設定する。
【００６５】
ステップ３０２では、撮影条件設定部１１３が、シャッタースピード優先モードにおいて画像回復処理を有効として設定したときに用いるプログラム線図を選択し、それに基づいて撮影条件を設定する。
【００６６】
以降のフローは、実施例１のステップＳ３０３、ステップＳ３０４、ステップＳ３０５と同様である。ステップＳ３０２で設定したプログラム線図に従い撮像パラメータを制御して、撮影処理と画像回復処理を行い画像出力する。
【００６７】
本実施例においてステップＳ３０２で設定されるプログラム線図は、実施例１に示したプログラムモードにおいて画像回復処理を有効として設定されたときに用いるプログラム線図（例えば、図１０（ａ））と同様である。画像回復処理設定が有効に設定されたときに用いるプログラム線図は、無効に設定されたときに用いるものに比べて、絞り値の設定され得る値が制限されている（設定可能な絞り値の範囲が少ない）。
【００６８】
本実施例においては、ユーザがシャッタースピードを設定する。そのため、実施例１のように、シャッタースピードを自動で変更することはできない。そこで、本実施例では、できる限り絞り値を変更せずに維持しつつＩＳＯ感度を変更することによって、適正な露出値を得る。
【００６９】
これにより、本実施例においても実施例１のように、撮影条件の変更により対応できる露出の範囲のうち同一の絞り値を用いる範囲が広いプログラム線図を用いるため、画像回復フィルタの生成に必要とされるＯＴＦに関する情報が限定される。そのため、ＯＴＦから画像回復処理フィルタを生成する回数を減らすことができ、処理時間を抑制できる。また、画像回復処理フィルタを補正する場合においても、絞り値に関する補正を省略できる。さらに、離散的に保存する撮影条件のデータの容量を削減できる。
【実施例３】
【００７０】
実施例３では、ＩＳＯ感度設定がオート設定のときについて説明する。本実施例では、撮像装置側で自動的にシャッタースピード・絞り値・ＩＳＯ感度の全てを設定する場合について説明するが、実施例２のシャッタースピード優先モードについても適用できる。実施例１と重複する部分については説明を省略する。
【００７１】
以下に、本実施例における撮影及び画像処理について実施例１と同様に図９を用いて説明する。
【００７２】
ステップＳ３０１では、撮影モード設定部１１５が、シャッタースピード・絞り値・ＩＳＯ感度のすべてをオートに設定し、画像回復設定部１１４が画像回復処理を有効に設定する。
【００７３】
ステップＳ３０２では、撮影条件設定部１１３が、シャッタースピード・絞り値・ＩＳＯ感度がすべてオートに設定し、かつ、画像回復処理を有効として設定したときに用いるプログラム線図を選択し、それに基づいて撮影条件を設定する。
【００７４】
以降のフローは、実施例１のステップＳ３０３、ステップＳ３０４、ステップＳ３０５と同様である。ステップＳ３０２で設定したプログラム線図に従い撮像パラメータを制御して、撮影処理と画像回復処理を行い画像出力する。
【００７５】
次に、本実施例においてステップＳ３０２で設定したプログラム線図ついて図１０および図１１を用いて説明する。
【００７６】
図１１は、本実施例においてステップＳ３０２で設定するプログラム線図の一例である。本実施例では図１１に示したプログラム線図を設定する。
【００７７】
図１１に示したプログラム線図は、図１０（ａ）および図１０（ｂ）と同様に、縦軸に絞り値を、横軸にシャッタースピードを、斜軸に露出の値を示している。
【００７８】
図１１では、絞り値を１．８、５．０、１４という３つの値に限定し、シャッタースピードの設定幅を広く設けることで、−４から１７までの露出の値を実現している。一方、図１０（ａ）では、同じ−４から１７までの露出の値を実現する上で、絞り値を１．８、２．５、５．０、１０、１４という５つの値にシャッタースピードを設定する。すなわち、本実施例の図１１に示すプログラム線図では、絞り値の設定され得る値がさらに制限され、シャッタースピードはより広い設定幅となっている。これは、シャッタースピードを決める場合に、固定ＩＳＯ感度では許容できなかった露出でも、ＩＳＯ感度を自動的に制御できるモードではＩＳＯ感度を変更することで適した露出に対応させることができるからである。このように、適宜ＩＳＯ感度とシャッタースピードを調節することで、絞り値の設定され得る値をさらに制限する（設定可能な絞り値の範囲が少なくする）ことができるプログラム線図を設定し、撮像パラメータを制御することが可能となる。換言すれば、本実施例では、撮影条件の変更により対応できる露出の範囲のうち同一の絞り値を用いる範囲がさらに広いプログラム線図を設定することができる。
【００７９】
上記の通り、撮像装置が自動的にシャッタースピード・絞り値・ＩＳＯ感度を設定するモードの場合、ＩＳＯ感度の変更できることで実施例１の場合よりも自由度が増すため、絞り値の設定され得る値を制限したプログラム線図を設定可能となる。つまり、画像回復フィルタを生成するために必要なＯＴＦに関する情報が限定される。そのため、ＯＴＦから画像回復処理フィルタを生成する回数を減らすことができ、処理時間を抑制できる。また、画像回復処理フィルタを補正する場合においても、絞り値に関する補正を省略できる。さらに、離散的に保存する撮影条件のデータの容量を削減できる。
【実施例４】
【００８０】
実施例４では、ユーザが指定した絞り値を用いて、システムコントローラ１１０が自動的にシャッタースピードを決めて撮影するモード（以降、絞り優先モードと呼ぶ）に設定された場合について説明する。実施例１と重複する部分については説明を省略する。
【００８１】
以下に、本実施例における撮影および画像処理について実施例１と同様に図９を用いて説明する。
【００８２】
ステップＳ３０１では、撮影モード設定部１１５が撮影モードを絞り優先モードに設定し、画像回復設定部１１４が画像回復処理を有効に設定する。
【００８３】
ステップＳ３０２では、撮影条件設定部１１３が絞り優先モードで用いるプログラム線図を選択し、これに基づいて撮影条件を設定する。ここでは、実施例１から実施例３とは異なり、画像回復処理が有効に設定された場合も無効に設定された場合も、同じ絞り優先モード用のプログラム線図を設定する。絞り優先モードではユーザが任意に絞り値を指定するため、プログラム線図により絞り値の設定値を制限することはできないからである。
【００８４】
なお、画像回復処理が有効として設定されたか否かに関わらず同じ絞り優先モード用のプログラム線図を設定するので、ステップＳ３０１において先に撮影モードが絞り優先モードであると判定された場合は、画像回復処理が有効か否かの判定は省略してもよい。
【００８５】
以降のフローは、実施例１のステップＳ３０３、ステップＳ３０４、ステップＳ３０５と同様である。ステップＳ３０２で設定したプログラム線図に従い撮像パラメータを制御して、撮影処理と画像回復処理を行い画像出力する。
【００８６】
上述の様に、絞り優先モードの場合、ユーザが絞り値を決めるため、プログラム線図では絞り値の設定を制限できない。そこで上記の通り、絞り優先モードのときは画像回復処理が有効に設定された場合も無効に設定された場合も、同じプログラム線図を設定するとすることで、設定の処理を省略することができる。そのため、プログラム線図のデータ自体も削減することができる。
【実施例５】
【００８７】
実施例５では、撮像装置１００がレンズ交換可能（着脱可能）な撮像装置の場合である場合について説明する。
【００８８】
レンズ交換可能な撮像装置において、レンズの種類により設定可能な絞り値が異なる。そのため、絞り値を自動的に撮像装置が設定するオート撮影モード（例えば実施例１のプログラムモード）において画像回復処理設定が有効である場合について、レンズの種類毎にプログラム線図を用意する。
【００８９】
レンズの種類毎のプログラム線図の設定は、レンズ装着側の撮像装置に予め複数のレンズの種類毎のプログラム線図を所持しておき、レンズ装着後の撮影モード設定時または画像回復処理設定時に対応するプログラム線図を設定すればよい。または、レンズの内部の記憶部１１６に当該レンズのプログラム線図データを所持しておき、そのデータをレンズ装着側の撮像装置に送るようにしてもよい。この場合、撮像装置は取得したプログラム線図データを用いて上述の設定を行う。
【００９０】
上記のように、レンズの種類毎にプログラム線図を用意しておき、それを設定することにより、装着されレンズの種類に応じて絞り値を設定でき、絞り値の設定し得る値を有効に制限できる。すなわち、画像回復処理の際にレンズの種類毎に、画像回復処理フィルタを補正する場合においても、絞り値に関する補正を省略でき、処理時間も抑制することができる。
【００９１】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９２】
以上、説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００９３】
１００  撮像装置
１０８  記憶部
１１０  システムコントローラ
１１３  撮影条件設定部
１１４  画像回復設定部
【図５】
2017017384.tif 000003
【図８】
2017017384.tif 000004
【図１０】
2017017384.tif 000005
【図１】
2017017384.tif 000006
【図２】
2017017384.tif 000007
【図３】
2017017384.tif 000008
【図４】
2017017384.tif 000009
【図６】
2017017384.tif 000010
【図７】
2017017384.tif 000011
【図９】
2017017384.tif 000012
【図１１】
2017017384.tif 000013