(57)【特許請求の範囲】
【請求項１】
それぞれが画像復元される対象の領域である複数の復元領域と、それぞれが焦点検出される対象の単位領域である複数の焦点検出領域と、を有する画面において前記複数の焦点検出領域の一つに撮像光学系が合焦されて撮像することによって得られた劣化画像を取得する劣化画像取得部と、
前記複数の焦点検出領域の一つについての被写体距離である合焦被写体距離と、前記複数の焦点検出領域のそれぞれについて得られた被写体距離から得られた前記複数の復元領域のそれぞれの被写体距離を含む、前記劣化画像を撮像した際の撮像状態の情報を取得する撮像状態情報取得部と、
各復元領域毎に前記撮像状態に対応する前記撮像光学系の光学伝達関数に対応する量を取得する光学伝達関数取得部と、
前記劣化画像と前記光学伝達関数に対応する量を使用して各復元領域毎に前記劣化画像を復元する復元処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項３】
それぞれが画像復元される対象の領域である複数の復元領域と、それぞれが焦点検出される対象の単位領域である複数の焦点検出領域と、を有する画面において前記複数の焦点検出領域の一つに撮像光学系が合焦されて撮像することによって得られた劣化画像を取得するステップと、
前記複数の焦点検出領域の一つについての被写体距離である合焦被写体距離と、前記複数の焦点検出領域のそれぞれについて得られた被写体距離から得られた前記複数の復元領域のそれぞれの被写体距離を含む、前記劣化画像を撮像した際の撮像状態の情報を取得するステップと、
各復元領域毎に前記撮像状態に対応する前記撮像光学系の光学伝達関数に対応する量を取得するステップと、
前記劣化画像と前記光学伝達関数に対応する量と原画像を使用して各復元領域毎に前記劣化画像を復元するステップと、
を有することを特徴とする画像処理方法。
【請求項４】
前記複数の復元領域の数と前記複数の焦点検出領域の数は同じであり、各復元領域には一つの焦点検出領域が含まれており、
前記撮像状態の情報を取得するステップは、各復元領域の被写体距離に、対応する焦点検出領域の被写体距離を設定することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記複数の復元領域の数よりも前記複数の焦点検出領域の数は少なく、
前記撮像状態の情報を取得するステップは、各復元領域の被写体距離に、最も近い焦点検出領域または収差特性が最も近い焦点検出領域の被写体距離を設定することを特徴とする請求項３に記載の画像処理方法。
【請求項６】
コンピュータを、
それぞれが画像復元される対象の領域である複数の復元領域と、それぞれが焦点検出される対象の単位領域である複数の焦点検出領域と、を有する画面において前記複数の焦点検出領域の一つに撮像光学系が合焦されて撮像することによって得られた劣化画像を取得する手段と、
前記複数の焦点検出領域の一つについての被写体距離である合焦被写体距離と、前記複数の焦点検出領域のそれぞれに関して得られた被写体距離から得られた前記複数の復元領域のそれぞれの被写体距離を含む、前記劣化画像を撮像した際の撮像状態の情報を取得する手段と、
各復元領域毎に前記撮像状態に対応する前記撮像光学系の光学伝達関数に対応する量を取得する手段と、
前記劣化画像と前記光学伝達関数に対応する量と原画像を使用して各復元領域毎に前記劣化画像を復元する手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１は、撮像光学系の点像分布関数（ＰＳＦ：ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）に基づいて撮像光学系により撮像された画像を復元（回復）する画像処理方法を開示している。また、特許文献２は、複数の復元フィルタの中から画像復元に最適の復元フィルタを選択する画像処理方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６２−１２７９７６号公報
【特許文献２】特開２００８−２１１６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像画面に、フォーカス位置にある第１被写体と被写界深度内にはあるがフォーカス位置から若干ずれたデフォーカス位置にある第２被写体とがある場合を考える。すると、従来の画像復元は、第１被写体の画像回復に使用される復元フィルタを第２被写体の画像復元にも使用していたため、第２被写体の画像を良好に復元することができない場合があった。一般には、復元される対象の領域（以下、「復元領域」という）のＰＳＦと実際に復元領域に使用されたＰＳＦが異なると回復された画像が劣化する場合がある。
【０００５】
これに対して、特許文献２によれば最適フィルタを得ることができるが、特許文献２は最適フィルタを選択するためにフィルタリング処理を複数回行っており、この結果、画像復元時間が長くなるという問題があった。特に、画像回復フィルタのタップが大きくなると画像復元時間が長くなりすぎて特許文献２に開示された画像復元は非現実的となる。
【０００６】
そこで、本発明は、短時間かつ良好に画像復元を行うことが可能な画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、それぞれが画像復元される対象の領域である複数の復元領域と、それぞれが焦点検出される対象の単位領域である複数の焦点検出領域と、を有する画面において前記複数の焦点検出領域の一つに撮像光学系が合焦されて撮像することによって得られた劣化画像を取得する劣化画像取得部と、前記複数の焦点検出領域の一つについての被写体距離である合焦被写体距離と、前記複数の焦点検出領域のそれぞれについて得られた被写体距離から得られた前記複数の復元領域のそれぞれの被写体距離を含む、前記劣化画像を撮像した際の撮像状態の情報を取得する撮像状態情報取得部と、各復元領域毎に前記撮像状態に対応する前記撮像光学系の光学伝達関数に対応する量を取得する光学伝達関数取得部と、前記劣化画像と前記光学伝達関数に対応する量を使用して各復元領域毎に前記劣化画像を復元する復元処理部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、短時間かつ良好に画像復元を行うことが可能な画像処理装置、撮像装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施例の撮像装置のブロック図である。
【図２】図２は、本実施例の複数の復元領域と複数の焦点検出領域を有する画面の図である。
【図３】図３は、図１に示すメモリに格納されている復元フィルタＤＢの一例を示す図である。
【図４】図４は、本実施例の画像処理方法を説明するためのフローチャートである。
【図５】図５は、図２の変形例を示す図である。
【発明を実施するための形態】
【００１０】
図１は本実施例の撮像装置のブロック図である。撮像装置は、撮像光学系（撮影レンズ）１０、システムコントローラ１５、撮像光学系制御手段２０、被写体距離取得手段、撮像素子４１、画像処理部５０、記録媒体６０、その他の手段を有する。
【００１１】
撮像装置は、デジタルカメラ、デジタルビデオカメラなど種類を問わないが、本実施例では撮像装置は不図示のファインダによって被写体を観察可能なデジタル一眼レフカメラである。また、撮像装置は、撮像光学系１０を収納した不図示のレンズ装置と図１の撮像光学系１０以外の構成要素を収納したカメラ本体とから構成され、レンズ装置がカメラ本体と着脱可能に構成されている。
【００１２】
また、本実施例では、画像の各画素がＲ（赤色）、Ｇ（緑色）、Ｂ（青色）として色成分ごとの信号値を有するが、本発明の画像処理方法は二色以上の多色からなる画像を形成するものであれば適用することができる。
【００１３】
撮像光学系１０は、被写体の光学像を形成するが、軸上色収差、色の球面収差、色のコマ収差などの収差を有するため、被写体の光学像は収差によって劣化している。撮像光学系１０は、レンズ１１、焦点調節（合焦）に際して移動するフォーカスレンズ１２、光量調節用の絞り１３を有する。なお、レンズ１１は、変倍に際して移動する変倍レンズ（ズームレンズ）、前側の固定レンズなどフォーカスレンズ以外のレンズを含む。図１において、一点鎖線で示すＯＡは光軸である。
【００１４】
変倍レンズとフォーカスレンズ１２はそれぞれ不図示の駆動手段（ステップモータなど）によって光軸方向に沿って移動可能に構成され、その駆動手段は撮像光学系制御手段２０によって制御される。なお、図１では、レンズ１１とフォーカスレンズ１２は１枚のレンズとして単純化しているが、実際には複数枚のレンズから構成されている。
【００１５】
システムコントローラ１５は、撮像光学系制御手段２０、被写体距離取得手段、画像処理部５０、記録媒体６０などに接続され、撮像装置の各部の動作を制御する制御手段として機能し、マイクロコンピュータ（プロセッサ）から構成される。システムコントローラ１５は、後述する画像処理部５０が実行する画像処理方法を制御する。
【００１６】
撮像光学系制御手段２０は、フォーカスレンズ制御部２１、変倍レンズ制御部２２、絞り制御部２３を有する。
【００１７】
フォーカスレンズ制御部２１は、フォーカスレンズ１２を光軸方向に駆動する不図示の駆動手段の動作（駆動タイミング、駆動量、駆動方向）を制御する。変倍レンズ制御部２２は、変倍レンズを光軸方向に駆動する不図示の駆動手段の動作を制御する。絞り制御部２３は絞り１３の開口径を制御する。
【００１８】
被写体距離取得手段は、画面に設定された複数の焦点検出領域の被写体距離を取得する。被写体距離取得手段は、サブミラー３１、焦点検出部３２、焦点検出情報保持部３４、被写体距離演算部３５を有する。
【００１９】
サブミラー３１は、撮像光学系１０を経た光路上に配置されて光束を反射する。図１は、非撮像時の状態を示しており、撮像時にはサブミラー３１は光路から退避し、光束を撮像素子４１に導く。
【００２０】
本実施例は位相差検出方式を利用して焦点検出を行う。焦点検出部３２は、サブミラー３１からの光束を２つの光束に分離する瞳分割光学系と、分離された２像を取り込む一対のエリアセンサと、２像の位置ずれ量（位相差）を演算する位相差演算部と、を有する。
【００２１】
図２は、本実施例の複数の復元領域と複数の焦点検出領域が配置された画面の図である。複数の復元領域は、それぞれが画像処理部５０によって画像復元（画像回復）される対象の単位領域を示している。本実施例では、一例として画面が５列７行の複数の矩形の復元領域２０１〜２３５に分割されている。
【００２２】
また、複数の焦点検出領域（ＡＦ測距領域）はそれぞれが焦点検出される対象の単位領域であり、複数の焦点検出領域の一つを主被写体に合うように自動又は手動で選択すると、その焦点検出領域が合焦するように焦点調節がなされる。本実施例では、一例として画面に５列７行の複数の矩形の焦点検出領域１０１〜１３５が設定されている。
【００２３】
本実施例では、図２に示すように、各復元領域に一つずつ焦点検出領域が割り当てられ、焦点検出領域１０１〜１３５の数と復元領域２０１〜２３５の数とは等しい。
【００２４】
ＡＦ時には、焦点検出部３２のエリアセンサが複数の焦点検出領域１０１〜１３５の像信号を検出し、焦点検出部３２の位相差演算部が２つの像信号の相関演算を行って複数の焦点検出領域１０１〜１３５の位相差を求める。
【００２５】
次に、複数の焦点検出領域１０１〜１３５のうちで焦点を合わせるべき焦点検出領域が選択される。手動選択モードでは撮影者が選択した焦点検出領域が、自動選択モードでは主被写体と判断された焦点検出領域が選択される。次に、焦点検出部３２は、選択された焦点調節領域の位相差をフォーカスレンズ制御部２１に送る。
【００２６】
これに応答して、フォーカスレンズ制御部２１（またはシステムコントローラ１５）は位相差と焦点検出時のフォーカスレンズ１２の位置から合焦を得るのに必要な移動量を求めてフォーカスレンズ１２を移動して焦点調節を行う。
【００２７】
焦点検出情報保持部３４は、焦点検出部３２から、その検出結果である複数の焦点検出領域１０１〜１３５の位相差（焦点検出情報）を取得して保持する。また、焦点検出情報保持部３４は、フォーカスレンズ制御部２１から焦点検出時および合焦時のフォーカスレンズ１２の位置の情報を取得して保持する。
【００２８】
被写体距離演算部３５は、複数の焦点検出領域１０１〜１３５の位相差と焦点検出時および合焦時のフォーカスレンズ１２の位置から、フォーカス位置（焦平面）にある被写体までの距離（被写体距離）と各焦点検出領域における被写体距離を演算する。なお、フォーカスレンズ制御部２１が移動量を算出した時点で合焦時のフォーカスレンズ１２の位置が分かるのでフォーカスレンズ１２の移動中に被写体距離演算部３５はこの演算を行ってもよい。
【００２９】
ローパスフィルタ（ＬＰＦ）４０は、撮像素子４１の前段に配置され、撮像光学系１０を介した光束を撮像素子４１に導く。ＬＰＦ４０は撮像素子４１の空間サンプリングによる折り返し成分を抑える。
【００３０】
撮像素子４１は、被写体の光学像をアナログ電気信号に光電変換するＣＣＤやＣＭＯＳである。Ａ／Ｄ変換器４２は、撮像素子４１が変換したアナログ信号をデジタル信号に変換する。
【００３１】
撮影時にはサブミラー３１が光路から退避し、被写体からの光束は、撮像光学系１０、ＬＰＦ４０を介して撮像素子４１に結像する。撮像素子４１には、ＲＧＢで構成される色モザイクフィルタが配置され、ＲＧＢの各色成分の信号を取得することができる。
【００３２】
画像処理部５０は、画像復元を含む所定の処理を行い、バッファメモリ５１、撮像状態情報取得部５２、フィルタ選択部５３、メモリ５４、復元フィルタ補間生成部５５、復元処理部５６、後処理部５８を有する。
【００３３】
バッファメモリ５１は、撮像光学系１０の収差によって本来の被写体の画像である原画像（画像復元後の画像）が劣化している画像復元前の劣化画像（ＲＡＷ画像データ）をＡ／Ｄ変換器４２から取得して保持する劣化画像取得部である。
【００３４】
撮像状態情報取得部５２は、劣化画像を取得した際の撮像装置の撮像状態の情報を取得する。撮像状態情報取得部５２は、撮像装置の撮像状態をシステムコントローラ１５やレンズ装置の不図示のレンズコントローラから取得する。
【００３５】
撮像状態は、撮像系の設計データ（製造時の誤差情報もあると好ましい）、変倍位置（焦点距離、ズームレンズの位置）、合焦距離（合焦している被写体までの距離、合焦距離、又はフォーカスレンズの位置）、絞り値（Ｆナンバー、絞りの径）を含む。撮像状態は更に、撮影距離（撮影領域全域の被写体までの距離、勿論合焦している被写体以外の被写体までの距離も含む）、ＩＳＯ感度、ホワイトバランスなどを含む。撮像系の設計データは、撮像光学系１０の設計データ、絞り１３の大きさと形状、ＬＰＦ４０の空間周波数特性、撮像素子４１の画素ピッチと画素開口形状、撮像素子４１上の色モザイクフィルタの配列等である。また、撮像状態は、合焦被写体距離と、複数の焦点検出領域１０１〜１３５から得た複数の復元領域２０１〜２３５のそれぞれの被写体距離を含む。
【００３６】
なお、実際に利用する撮像状態は、必要に応じて選択することができる。一般には、撮像された画像のボケを復元する場合にはより多くの撮像状態の情報を使用し、撮像系の設計データより求まる収差情報に基づいて画像復元を行う場合にはＩＳＯ感度やホワイトバランスは使用しない。
【００３７】
フィルタ選択部５３は、メモリ５４に保持されている複数の復元フィルタの一つをＲＧＢの各波長域の光ごとに選択する。このように、本実施例では、画像復元に復元フィルタを使用している。
【００３８】
但し、本発明は、画像復元において、光学伝達関数（ＯＴＦ：ｏｐｔｉｃａｌｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）、またはこれに対応する量（ＰＳＦ、その他の撮像光学系１０の収差情報、後述する広義のＯＴＦ、その他の関数を使用することを許容する。この場合、フィルタ選択部５３は光学伝達関数取得部として機能し、ＯＴＦなどは撮像状態に対応して光学設計値として復元フィルタＤＢ５４または不図示のメモリに予め格納される。
【００３９】
メモリ５４は画像復元に使用される複数の復元フィルタ（デジタルフィルタ）とその他の情報を記憶している。本実施例では、ＲＧＢ形式のカラー画像に対し、システムコントローラ１５は、ＲＧＢの各色成分に対応した３つの復元フィルタを作成する。撮像光学系１０には色収差があり、色成分ごとにボケ方が異なるからである。このため、各色成分の復元フィルタは色収差に基づいて特性（断面）が異なる。
【００４０】
ＲＧＢの各色成分に対して復元フィルタを作成するために、波長帯域毎の透過率特性が考慮される。これは波長帯域毎のＰＳＦの重み付け係数に相当し、撮像光学系１０の分光透過率特性、撮像素子４１上の色モザイクフィルタの分光透過特性、撮像素子４１の分光感度特性等である。不図示の赤外カットフィルタが使用されている場合は、その分光透過特性も考慮される。
【００４１】
本実施例では、メモリ５４は離散的に複数の復元フィルタを保持し、中間値に対応する復元フィルタを復元フィルタ補間生成部５５が生成する。これによって、メモリ５４の容量を減らすことができる。
【００４２】
本実施例では、メモリ５４は復元フィルタＤＢ５４ａを保持している。図３に復元フィルタＤＢ５４ａの一例を示す。
【００４３】
図３（ａ）において、一列目は交換可能な撮像光学系（撮影レンズ）１０を識別し、二列目は変倍レンズの位置である変倍位置を識別し、三列目は絞り１３のＦナンバーを識別し、四列目は復元フィルタリスト番号を識別している。なお、図３（ａ）では、便宜上、撮像状態の数を減らしており、実際の復元フィルタリストはより多くの撮像状態のパラメータを含んで細分化されている。
【００４４】
図３（ｂ）は、図３（ａ）の四列目のフィルタリスト（ここでは、一例としてフィルタリスト番号が「レンズＡ変倍１絞りＦ２」）に含まれる複数の復元フィルタ表を示す図である。各フィルタリストは複数の復元フィルタ表を含み、複数の復元フィルタ表は合焦被写体距離で分類されている。合焦被写体距離は、フォーカス位置（焦平面）にある被写体までの距離である。
【００４５】
また、各復元フィルタ表は、複数の復元フィルタ（具体的には復元フィルタを構成するフィルタ係数の行列式）を保持し、複数の復元フィルタは像高（復元領域２０１〜２３５）と被写体距離によって分類されている。これは、一つの撮影状態においても撮像光学系１０の画角（像高）に応じてＰＳＦは変化するので、各復元領域２０１〜２３５に対応する復元フィルタを用いるためである。
【００４６】
画像復元においては、劣化画像をｇ（ｘ，ｙ）、原画像をｆ（ｘ、ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると次式の関係が成立する。ここで、＊はコンボリューション（畳み込み）であり、（ｘ，ｙ）は画像上の座標である。
【００４７】
【数１】
0005501069.tif 000002
【００４８】
数式１をフーリエ変換すると次式のように周波数ごとの積の形式になる。ここで、ＨはＯＴＦであり、（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。
【００４９】
【数２】
0005501069.tif 000003
【００５０】
数式２の両辺をＨで除算してＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことによって原画像ｆ（ｘ，ｙ）が回復像として得られる。
【００５１】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると次式が成立する。このため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。
【００５２】
【数３】
0005501069.tif 000004
【００５３】
Ｒ（ｘ，ｙ）が復元フィルタである。実際の画像に含まれるノイズ成分を考慮して復元フィルタはウィーナーフィルタを使用してもよい。画像の色にじみ成分の劣化を補正する方法として、ボケ成分の補正により画像の色成分ごとのボケ量が均一にするものがある。なお、変倍位置や絞り径等の撮影状態に応じてＯＴＦは変動するため、復元フィルタもこれに応じて変更する。
【００５４】
なお、ＯＴＦには画像処理部に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制し、撮像素子４１の画素開口の形状や開口率、光源の分光特性や各種波長フィルタの分光特性も周波数特性に影響する。本実施例では、これらを含めた広義のＯＴＦに基づいて復元フィルタを作成している。
【００５５】
復元フィルタ補間生成部５５は、復元フィルタＤＢ５４が保持していないパラメータ（変倍位置、絞り状態、合焦被写体距離、各領域の被写体距離情報）の復元フィルタを隣接する復元フィルタから補間演算を行って生成する。復元フィルタ補間生成部５５は、復元フィルタＤＢ５４の復元フィルタの容量を低減するのに効果的である。
【００５６】
復元処理部５６は、本実施例では選択された復元フィルタを使用して画像復元を行う。復元フィルタは、ＯＴＦの逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元フィルタであってもよい。この場合、復元処理部５６は、劣化画像に対して復元フィルタをコンボリューションする。
【００５７】
復元フィルタは撮像光学系１０の収差量に応じてタップ数を決めることができ、各タップは画像の１画素に対応して画像復元でコンボリューションされる。実空間での復元フィルタを入力画像に対してコンボリューションすることによって撮像装置中でフーリエ変換を行うことなく画像を回復することができる。なお、復元フィルタの縦横のタップ数は正方配列でなくてもよい。
【００５８】
但し、本発明の画像復元においては復元フィルタが必ずしも使用されない場合があるので、復元処理部５６は、劣化画像とＯＴＦに対応する量と原画像との関係に基づいて各波長域ごとに劣化画像を原画像に回復できれば足りる。なお、ＯＴＦに広義のＯＴＦを使用する場合には数式１〜３に示す関係とは異なる関係になる場合がある。
【００５９】
例えば、復元処理部５６が復元フィルタの代わりにＯＴＦの逆関数に基づいて生成された関数を使用する場合、復元処理部５６は劣化画像のフーリエ変換に対して周波数空間でデコンボリューションすればよい。
【００６０】
復元処理部５６は、画面内に第１被写体と第２被写体とがあり、第１被写体ではＲＧＢの各波長域の光についてフォーカス位置にある画像を取得している場合、第１被写体に関するＲＧＢの各光のＯＴＦを第１被写体と第２被写体の画像復元に使用する。本実施例の効果は、第１被写体と第２被写体の被写体距離が異なる場合に特にその効果が顕著となる。
【００６１】
なお、必要に応じて画像合成部が設けられる。画像合成部は、ＲＧＢの波長域の、回復された複数の原画像を合成してカラー画像を生成する。
【００６２】
後処理部５８は、画像復元されたＲＡＷ画像データに対して、デモザイキング処理、ホワイトバランス処理、ノイズリダクション処理、γ処理などの画像処理（現像処理）を施す。
【００６３】
記録媒体６０は、復元処理した画像を保存するカメラ本体に着脱可能なメモリカードなどである。なお、画像処理装置がＰＣなどである場合には、記憶媒体はハードディスクドライブ（ＨＤＤ）、半導体メモリ、各種記憶用のディスクなどである。
【００６４】
図４は、システムコントローラ１５が実行する画像処理方法を説明するためのフローチャートであり、「Ｓ」はステップ（工程）の略である。本実施例の画像処理方法はコンピュータが実行可能なプログラムとして具現化が可能である。
【００６５】
まず、システムコントローラ１５は、撮像状態取得部５２を利用して被写体距離演算部３５から合焦被写体距離と複数の焦点検出領域１０１〜１３５の被写体距離を取得する。本実施例では、図２に示すように、焦点検出領域と復元領域は一対一で対応しているので、これにより、撮像状態取得部５２は、合焦被写体距離と複数の復元領域２０１〜２３５のそれぞれの被写体距離を含む撮像状態の情報を取得することができる（Ｓ１）。なお、その他の撮像情報は上述した通りである。
【００６６】
次に、システムコントローラ１５はバッファメモリ（劣化画像取得部）５１が劣化画像（ＲＡＷ画像データ）を取得したことを確認する（Ｓ２）。なお、Ｓ１とＳ２の時間的先後は問わない。
【００６７】
次に、システムコントローラ１５は各復元領域の復元フィルタを取得する（Ｓ３）。このため、システムコントローラ１５は、フィルタ選択部５３を利用してメモリ５４に保持されている複数の復元フィルタの一つを撮像状態に従って検索して取得する。あるいは、システムコントローラ１５は、復元フィルタ補間生成部５５を利用して選択された復元フィルタを補正（補間）して復元フィルタを生成する。
【００６８】
ここでは、簡単のため、フィルタ選択部５３が図３に示す復元フィルタＤＢ５４ａを検索して復元フィルタを取得する例について説明する。システムコントローラ１５は、撮像情報に含まれる撮像光学系１０の種類、変倍位置、Ｆナンバーから図３（ａ）に示す復元フィルタリストを選択し、次に、合焦被写体距離に基づいて対応する図３（ｂ）に示す復元フィルタ表を選択する。
【００６９】
次に、システムコントローラ１５は、復元処理部５６を利用して複数の復元領域２０１〜２３５のそれぞれの被写体距離に対応する復元フィルタを、選択された復元フィルタ表より選択し、画像復元を行う（Ｓ４）。
【００７０】
撮像画面に、フォーカス位置にある第１被写体と、被写界深度内にはあるがフォーカス位置から若干ずれたデフォーカス位置にある第２被写体とがある場合を考える。従来の画像復元は、第１被写体の画像回復に使用される復元フィルタを第２被写体の画像復元にも使用していたが、本実施例は復元領域毎にそれに適した復元フィルタを使用する。
【００７１】
そして、本実施例では、復元領域が合焦していれば合焦被写体距離のＰＳＦに基づく復元フィルタで復元され、デフォーカスしていれば対応する被写体距離のＰＳＦに基づく復元フィルタで復元される。この結果、本実施例は良好な画像復元を提供することができる。また、本実施例は焦点検出情報を使用するので回復処理は一度で済み、短時間で画像復元を行うことができる。
【００７２】
その後必要があれば画像合成部が各色毎の画像を合成し、後処理部５８は復元された原画像に現像処理を施し、記録媒体６０は原画像を保存する。
【００７３】
なお、本実施例は、撮像素子４１に色モザイクフィルタを配置して、ＲＧＢの各色成分の信号を取得しているが、色分解光学系でＲＧＢの各色成分に光束を分離し、各光束に対してＲＧＢ用の撮像素子を配置して画像信号を取得して、復元して合成してもよい。
【００７４】
本実施例の画像処理方法は、撮像装置のシステムコントローラ１５が行うものに限定されず、撮像装置が不図示のＵＳＢケーブルなどで接続されるパーソナルコンピュータ（ＰＣ）上で行われてもよい。あるいは、記録媒体６０をＰＣに接続してもよい。即ち、本実施例の画像処理方法を実行する画像処理装置は撮像装置でもよいし、ＰＣでもよい。
【００７５】
画像処理方法と復元フィルタの情報は、ＰＣの不図示のメモリや、ＰＣにネットワーク接続された記憶装置（例えば、インターネットを介して接続されたサーバーのＨＤＤ）に格納されていればよい。なお、画像処理方法は、画像復元処理だけでなく現像やその他の画像処理機能を含んでいる。
【００７６】
例えば、不図示のＰＣは、各波長の画像信号と撮影状態の情報を撮像装置または記憶媒体（あるいは外部の記憶装置）から取得してもよい。撮影状態の情報は画像信号の情報と別の情報でもよいし画像信号に埋め込まれていてもよい。その後、ＰＣが画像処理方法を実行する。
【００７７】
また、本実施例では、復元領域の数と焦点検出領域の数とが一致しているが、両者は一致しなくてもよい。以下、復元領域の数よりも焦点検出領域の数が少ない場合について説明する。
【００７８】
図５は、この場合の複数の復元領域と複数の焦点検出領域との関係を示す図である。図５では、画面は図２と同様の複数の復元領域２０１〜２３５と図２よりも少ない複数の焦点検出領域１０９〜１１３、１１６〜１２０、１２３〜１２７を有する。
【００７９】
この時、図４のＳ１において、システムコントローラ１５は、複数の復元領域２０９〜２１３、２１６〜２２０、２２３〜２２７の被写体距離を、対応する複数の焦点検出領域１０９〜１１３、１１６〜１２０、１２３〜１２７の被写体距離として取得する。
【００８０】
一方、システムコントローラ１５は、複数の復元領域２０１、２０２、２０８の被写体距離を最も近い（または隣接する）焦点検出領域１０９の被写体距離として取得する。また、システムコントローラ１５は、複数の復元領域２０３〜２０５の被写体距離をそれぞれに隣接する焦点検出領域１１０〜１１２の被写体距離として取得する。
【００８１】
同様に、システムコントローラ１５は、複数の復元領域２０６、２０７、２１４の被写体距離を最も近い（または隣接する）焦点検出領域１１３の被写体距離として取得する。また、システムコントローラ１５は、複数の復元領域２１５と２２１の被写体距離をそれぞれに隣接する焦点検出領域１１６と１２０の被写体距離として取得する。
【００８２】
また、システムコントローラ１５は、複数の復元領域２２２、２２９、２３０の被写体距離を最も近い（または隣接する）焦点検出領域１２３の被写体距離として取得する。また、システムコントローラ１５は、複数の復元領域２３１〜２３３の被写体距離をそれぞれに隣接する焦点検出領域１２４〜１２６の被写体距離として取得する。また、システムコントローラ１５は、複数の復元領域２２８、２３４、２３５の被写体距離を最も近い（または隣接する）焦点検出領域１２７の被写体距離として取得する。
【００８３】
このように、焦点検出領域を有しない復元領域の被写体距離は、それに一番近い焦点検出領域の被写体距離情報を設定する。図４のＳ２以降は同様である。なお、焦点検出領域を有しない復元領域の被写体距離に、その復元領域に近い焦点検出領域のなかで当該復元領域に収差特性が一番近い焦点検出領域の被写体距離情報を設定してもよい。例えば、軸対称の撮像光学系１０では光軸ＯＡからの像高が一番近い焦点検出領域が収差特性が一番近い領域となる。
【００８４】
また、復元領域に複数の焦点検出領域が割り当てられてもよい。その場合、その復元領域の被写体距離に、対応する複数の焦点検出領域について得られた被写体距離の単純平均や重み付け平均、あるいは、複数の焦点検出領域の一つを選択してその選択された焦点検出領域の被写体距離を設定すればよい。
【００８５】
なお、焦点検出方式として、コントラスト検出方式や位相差検出方式とコントラスト検出方式のハイブリッド方式など他の焦点検出方式を使用してもよい。また、焦点検出に使用する光束も、撮像光学系１０を経た光束（即ち、内測）ではなく撮像光学系１０を経ない光束でもよい。
【００８６】
例えば、コントラスト検出方式を使用した場合コントラストのピーク位置に対応するフォーカスレンズ１２の位置が合焦位置であり、各焦点検出領域の被写体距離は、コントラストがピークとなるフォーカスレンズ１２の位置から演算で求めることができる。また、実際に撮像する際に焦点調節をするのに選択された焦点検出領域の被写体距離を合焦被写体距離とすればよい。
【００８７】
本実施例では、フォーカスレンズ１２を駆動するが、焦点調節においては撮像素子４１を駆動してもよい。この場合には、焦点検出情報保持部３４はフォーカスレンズ１２の位置の代わりに撮像素子４１の位置（または撮像光学系１０と撮像素子４１の距離）の情報を取得すればよい。
【００８８】
また、本実施例では、撮像された画像（劣化画像）の撮像状態から復元フィルタ（またはＯＴＦに対応する量）を取得しているが、撮像系の設計データから求まる収差情報から復元フィルタ（またはＯＴＦに対応する量）を取得してもよい。
【００８９】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００９０】
撮像装置は被写体を撮像する用途に適用することができる。
【符号の説明】
【００９１】
１０            撮像光学系
５０            画像処理部（画像処理装置）
５１            バッファメモリ（劣化画像取得部）
５２            撮像状態情報取得部
５２            フィルタ選択部（光学伝達関数取得部）
５６            復元処理部
【図１】
0005501069.tif 000005
【図２】
0005501069.tif 000006
【図３】
0005501069.tif 000007
【図４】
0005501069.tif 000008
【図５】
0005501069.tif 000009