(57)【要約】【課題】高品位な画像回復を行う。【解決手段】画像処理装置は、被写体のＲＧＢの各色成分に対応する第１フォーカス位置〜第３フォーカス位置で撮像する際の各色成分ごとの複数の劣化画像を取得し、また、その撮像状態と撮像状態に対応する画像回復フィルタを各色成分ごとに取得し、フォーカス位置の撮像状態で得られた画像回復フィルタを使用して各色成分の劣化画像を回復して合成する。【選択図】図１
2011215707.tif 000002
【特許請求の範囲】
【請求項１】
被写体を、光学系を介した複数の波長域の光のそれぞれのフォーカス位置において撮像することによって得られた各波長域の光ごとの複数の劣化画像を取得する劣化画像取得部と、
前記複数の劣化画像を取得した際のそれぞれの撮像状態を取得する撮像情報取得部と、
前記撮像状態に対応する、前記光学系の光学伝達関数に対応する量を各波長域の光ごとに取得する光学伝達関数取得部と、
前記劣化画像と前記光学伝達関数に対応する量を使用して各波長域ごとに前記劣化画像を回復する画像回復部と、
前記複数の波長域の、回復された複数の画像を合成する画像合成部と、
を有し、
画面内に第１被写体と第２被写体とがある場合、前記画像回復部は、前記第１被写体の各波長域の光に対応するフォーカス位置で撮像する際の各波長域の前記光学伝達関数に対応する量を、前記第１被写体と前記第２被写体の各波長域の劣化画像を回復するのに使用することを特徴とする画像処理装置。
【請求項２】
前記画像処理装置は、幾何変換によって前記光学系の倍率色収差を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項４】
被写体を、光学系を介した複数の波長域の光のそれぞれのフォーカス位置において撮像することによって得られた各波長域の光ごとの複数の劣化画像を取得するステップと、
前記複数の劣化画像を取得した際のそれぞれの撮像状態を取得する撮像情報取得部と、
前記撮像状態に対応する、前記光学系の光学伝達関数に対応する量を各波長域の光ごとに取得するステップと、
前記劣化画像と前記光学伝達関数に対応する量を使用して各波長域ごとに前記劣化画像を回復する回復ステップと、
前記複数の波長域の、回復された複数の画像を合成するステップと、
を有し、
画面内に第１被写体と第２被写体とがある場合、前記回復ステップは、前記第１被写体の各波長域の光に対応するフォーカス位置で撮像する際の各波長域の前記光学伝達関数に対応する量を、前記第１被写体と前記第２被写体の各波長域の劣化画像を回復するのに使用することを有することを特徴とする画像処理方法。
【請求項５】
コンピュータを、
被写体を、光学系を介した複数の波長域の光のそれぞれのフォーカス位置において撮像することによって得られた各波長域の光ごとの複数の劣化画像を取得する手段と、
前記複数の劣化画像を取得した際のそれぞれの撮像状態を取得する手段と、
前記撮像状態に対応する、前記光学系の光学伝達関数に対応する量を各波長域の光ごとに取得する手段と、
前記劣化画像と前記光学伝達関数に対応する量を使用して各波長域ごとに前記劣化画像を回復する回復手段と、
前記複数の波長域の、回復された複数の画像を合成する手段と、
して機能させるためのプログラムであって、
画面内に第１被写体と第２被写体とがある場合、前記回復手段は、前記第１被写体の各波長域の光に対応するフォーカス位置で撮像する際の各波長域の前記光学伝達関数に対応する量を、前記第１被写体と前記第２被写体の各波長域の劣化画像を回復するのに使用することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
撮像光学系の光学伝達関数（ＯＴＦ）や点像分布関数（ＰＳＦ）に基づいて画像回復（画像復元）を行う方法は知られている（特許文献１）。その他の従来技術としては特許文献２及び３がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２１１６７９号公報
【特許文献２】特開２００８−８５７７３号公報
【特許文献３】特開平１０−３１９５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像回復では色収差に起因して偽色が発生する場合がある。例えば、画面内に第１被写体と第２被写体とがあり、第１被写体ではＲＧＢの各波長域の光のうちＧ光がフォーカスしてＲ光が色収差によりデフォーカスし、第２被写体ではＲ光がフォーカスしてＧ光が色収差によりデフォーカスしているものとする。
【０００５】
従来の画像回復では第１被写体の撮像状態のＲＧＢの各光のＯＴＦを第１被写体と第２被写体の画像回復に使用していた。この結果、第１被写体の画像は適切に画像回復されるのに対し、第２被写体の画像は画像回復によって緑色を帯びてしまう可能性があった（偽色が発生する可能性があった）。これは第１被写体においてＧ光がフォーカスしてＲ光がデフォーカスしている関係が第２被写体では逆転しているにも拘らず、第２被写体に対して逆転前の関係を反映したＯＴＦを使用していることによる。
【０００６】
そこで、本発明は、高品位な画像回復を行うことが可能な画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、被写体を、光学系を介した複数の波長域の光のそれぞれのフォーカス位置において撮像することによって得られた各波長域の光ごとの複数の劣化画像を取得する劣化画像取得部と、前記複数の劣化画像を取得した際のそれぞれの撮像状態を取得する撮像情報取得部と、前記撮像状態に対応する、前記光学系の光学伝達関数に対応する量を各波長域の光ごとに取得する光学伝達関数取得部と、前記劣化画像と前記光学伝達関数に対応する量とを使用して各波長域ごとに前記劣化画像を回復する画像回復部と、前記複数の波長域の、回復された複数の画像を合成する画像合成部と、を有し、画面内に第１被写体と第２被写体とがある場合、前記画像回復部は、前記第１被写体の各波長域の光に対応するフォーカス位置で撮像する際の各波長域の前記光学伝達関数に対応する量を、前記第１被写体と前記第２被写体の各波長域の劣化画像を回復するのに使用することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高品位な画像回復を行うことが可能な画像処理装置、撮像装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施例の撮像装置のブロック図である。
【図２】図２は、図１に示すシステムコントローラの動作を説明するためのフローチャートである。
【図３】図３は、各波長域の光の画像信号を取得する際の図１に示すフォーカスレンズのフォーカス位置を示す断面図である。
【図４】図４（ａ）は、図１に示す撮像装置で立体被写体を撮像している状態の斜視図であり、図４（ｂ）は図４（ａ）の状態において撮像装置が撮像した画像である。
【図５】図５（ａ）は、図４（ｂ）に示す被写体１、３、５の矢印部分の画像回復前の断面図であり、図５（ｂ）はその画像回復後の断面図である。
【発明を実施するための形態】
【００１０】
図１は本実施例の撮像装置のブロック図である。撮像装置は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄコンバータ１０３、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、撮像状態検出部１０７、記憶部１０８、記録媒体１０９、システムコントローラ１１０を有する。
【００１１】
撮像装置は、デジタルカメラ、デジタルビデオカメラなど種類を問わず、また、撮像光学系１０１は撮像装置と一体でもよいし、交換式（一眼レフカメラ）でもよい。本実施例では、画像の各画素がＲ（赤色）、Ｇ（緑色）、Ｂ（青色）として色成分ごとの信号値を有するが、本発明の画像処理方法は二色以上の多色からなる画像を形成するものであれば適用することができる。
【００１２】
撮像光学系１０１は、被写体の光学像を形成するが、軸上色収差、色の球面収差、色のコマ収差などの収差を有するため、被写体の光学像は収差によって劣化している。撮像光学系１０１は、変倍用の変倍レンズ（ズームレンズ）、絞り１０１ａ、焦点調節用のフォーカスレンズ１０１ｂを含む。
【００１３】
絞り１０１ａは開口径を変更する。変倍レンズとフォーカスレンズ１０１ｂはそれぞれ不図示の駆動手段によって光軸方向に沿って移動可能に構成され、その駆動手段（ステップモータなど）は撮像光学系制御部１０６によって制御される。なお、図１では、フォーカスレンズ１０１ｂなどを１枚のレンズとして単純化して示している。
【００１４】
撮像素子１０２は、被写体の光学像をアナログ電気信号に光電変換するＣＣＤやＣＭＯＳである。Ａ／Ｄコンバータ１０３は、撮像素子１０２が変換したアナログ信号をデジタル信号に変換する。
【００１５】
画像処理部１０４は、画像回復を含む所定の処理を行い、劣化画像取得部１０４ａ、撮像情報取得部１０４ｂ、フィルタ選択部１０４ｃ、画像回復部（回復手段）１０４ｄ、画像合成部１０４ｅを有する。
【００１６】
劣化画像取得部１０４ａは、被写体を複数の波長域の光のそれぞれでフォーカス位置において撮像光学系１０１を介して撮像することによって得られた各波長域の光ごとの複数の劣化画像をＡ／Ｄコンバータ１０３から取得する。ここで、「劣化画像」は、撮像光学系１０１の収差によって本来の被写体の画像である原画像（画像回復後の画像）が劣化している画像回復前の画像を意味している。
【００１７】
撮像情報取得部１０４ｂは、複数の劣化画像を取得した際のそれぞれの撮像装置の撮像状態の情報を、撮像状態検出部１０７から取得する。撮像状態は、変倍位置、焦点距離、絞り値（Ｆナンバー）、撮影距離、ＩＳＯ感度、ホワイトバランスを含む。
【００１８】
フィルタ選択部１０４ｃは記憶部１０８に保持されている複数の画像回復フィルタの一つを選択する。なお、本実施例では、画像回復に画像回復フィルタを使用しているが、画像回復では光学伝達関数（ＯＴＦ）やその他の関数であってもよい。
【００１９】
このため、フィルタ選択部１０４ｃは、撮像状態に対応する撮像光学系１０１のＯＴＦまたはこれに対応する量（ＰＳＦや収差情報を含む他、後述する広義のＯＴＦであってもよい）を各波長域の光ごとに取得する光学伝達関数取得部の一例として機能する。この場合、ＯＴＦは撮像状態に対応して光学設計値として記憶部１０８に予め格納されている。
【００２０】
画像回復においては、劣化画像をｇ（ｘ，ｙ）、原画像をｆ（ｘ、ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると次式の関係が成立する。ここで、＊はコンボリューション（畳み込み）であり、（ｘ，ｙ）は画像上の座標である。
【００２１】
【数１】
2011215707.tif 000003
【００２２】
数式１をフーリエ変換すると次式のように周波数ごとの積の形式になる。ここで、ＨはＯＴＦであり、（ｕ，ｖ）は２次元周波数面での座標、即ち周波数である。
【００２３】
【数２】
2011215707.tif 000004
【００２４】
数式２の両辺をＨで除算してＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことによって原画像ｆ（ｘ，ｙ）が回復像として得られる。
【００２５】
ここで、Ｈ−１を逆フーリエ変換したものをＲとすると次式が成立する。このため、実面での画像に対するコンボリューションを行うことで同様に原画像を得ることができる。
【００２６】
【数３】
2011215707.tif 000005
【００２７】
Ｒ（ｘ，ｙ）が画像回復フィルタである。実際の画像に含まれるノイズ成分を考慮して画像回復フィルタはウィーナーフィルタを使用してもよい。画像の色にじみ成分の劣化を補正する方法として、ボケ成分の補正により画像の色成分ごとのボケ量が均一にするものがある。なお、変倍位置や絞り径等の撮影状態に応じてＯＴＦは変動するため、画像回復フィルタもこれに応じて変更する。
【００２８】
なお、ＯＴＦには画像処理部１０４に入力される画像に対してＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制し、撮像素子１０２の画素開口の形状や開口率、光源の分光特性や各種波長フィルタの分光特性も周波数特性に影響する。本実施例では、これらを含めた広義のＯＴＦに基づいて画像回復フィルタを作成している。
【００２９】
画像回復部１０４ｄは、本実施例では選択された画像回復フィルタを使用して画像回復を行う。画像回復フィルタは、ＯＴＦの逆関数に基づいて生成された関数を逆フーリエ変換して得られる２次元フィルタであってもよい。この場合、画像回復部１０４ｄは、劣化画像（画像信号）に対して画像回復フィルタをコンボリューションする。
【００３０】
画像回復フィルタは撮像光学系１０１の収差量に応じてタップ数を決めることができ、各タップは画像の１画素に対応して画像回復でコンボリューションされる。画像回復フィルタに縦横に１００以上に分割した２次元フィルタとすると、撮像光学系１０１の結像位置から大きく広がる収差に対しても画像を回復することができる。実空間での画像回復フィルタを入力画像に対してコンボリューションすることによって撮像装置中でフーリエ変換を行うことなく画像を回復することができる。なお、画像回復フィルタの縦横のタップ数は正方配列でなくてもよい。
【００３１】
画像回復は、画像中の収差による劣化成分を補正することであり、ＭＴＦを向上させることに対応する。画像回復フィルタは、実面のコンボリューションフィルタであるが、その周波数面での効果はＭＴＦ、実際にはＯＴＦの振幅成分を向上し、ＯＴＦの位相ズレ成分も補正する。
【００３２】
但し、本発明の画像回復においては画像回復フィルタが必ずしも使用されない場合があるので、画像回復部１０４ｄは、劣化画像とＯＴＦに対応する量と原画像との関係に基づいて各波長域ごとに劣化画像を原画像に回復できれば足りる。なお、ＯＴＦに広義のＯＴＦを使用する場合には数式１〜３に示す関係とは異なる関係になる場合がある。
【００３３】
例えば、画像回復部１０４ｄが画像回復フィルタの代わりにＯＴＦの逆関数に基づいて生成された関数を使用する場合、画像回復部１０４ｄは劣化画像のフーリエ変換に対して周波数空間でデコンボリューションすればよい。
【００３４】
画像回復部１０４ｄは、画面内に第１被写体と第２被写体とがあり、第１被写体ではＲＧＢの各波長域の光についてフォーカス位置にある画像を取得している場合、第１被写体に関するＲＧＢの各光のＯＴＦを第１被写体と第２被写体の画像回復に使用する。本実施例の効果は、第１被写体と第２被写体の被写体距離が異なる場合に特にその効果が顕著となる。
【００３５】
従来の画像回復は、第１被写体にはＧ光がフォーカスしてＲ光がデフォーカスし、第２被写体にはＲ光がフォーカスしてＧ光がデフォーカスしている場合に、第１被写体に関するＲＧＢの各光のＯＴＦを第１被写体と第２被写体の画像回復に使用していた。しかし、これでは第１被写体についてＧ光がフォーカスしてＲ光がデフォーカスしている関係が第２被写体では逆転しているにも拘らず、第２被写体に対して逆転前の関係を反映したＯＴＦを使用しているために偽色が発生してしまう。
【００３６】
これに対して、本実施例の画像回復は、第１被写体ではＲＧＢの各光がフォーカスしており、第２被写体ではＲＧＢの各光がデフォーカスしており、フォーカス（焦点）／デフォーカス（非焦点）の関係が第１被写体と第２被写体で逆転しないので偽色が発生しない。
【００３７】
なお、本実施例は、画像回復において各波長域に対して異なる画像回復フィルタを使用している。しかし、撮像光学系１０１の収差の影響が異なる２つの波長域（例えば、Ｂ光とＲ光）に対してほぼ同じであれば、画像回復においてそれらの２つの波長域に対して共通の画像回復フィルタを使用してもよい。
【００３８】
画像合成部１０４ｅは、ＲＧＢの波長域の、回復された複数の原画像を合成してカラー画像を生成する。
【００３９】
表示部１０５は液晶ディスプレイから構成され、画像（劣化画像、原画像（回復画像）、その他の処理された画像）を表示する。
【００４０】
撮像光学系制御部１０６は、撮像光学系１０１の変倍レンズとフォーカスレンズ１０１ｂを駆動する不図示の駆動手段（ステップモータなど）の動作（駆動タイミング、駆動量、駆動方向）を制御する。
【００４１】
撮像状態検出部１０７は撮像装置の撮像状態を検出する。撮像状態検出部１０７はシステムコントローラ１１０から直接に撮像状態の情報を得てもよいし、撮像光学系１０１に関する情報は撮像光学系制御部１０６から得てもよい。
【００４２】
記憶部１０８は、画像回復に使用される複数の画像回復フィルタ（デジタルフィルタ）とその他の情報を記憶している。記録媒体１０９はメモリカードなどである。なお、画像処理装置がＰＣなどである場合には、記憶媒体はハードディスクドライブ（ＨＤＤ）、半導体メモリ、各種記憶用のディスクなどである。
【００４３】
システムコントローラ１１０は、撮像装置の各部の動作を制御する制御手段として機能し、マイクロコンピュータ（プロセッサ）から構成される。
【００４４】
図２は、システムコントローラ１１０の行う撮影動作を説明するためのフローチャートであり、「Ｓ」はステップ（工程）の略である。本実施例の画像処理方法はコンピュータが実行可能なプログラムとして具現化が可能である。
【００４５】
まず、システムコントローラ１１０は、主被写体の特定面からの第１波長域の光（Ｇ光）が撮像素子１０２の撮像面に結像するように、撮像光学系制御部１０６を介してフォーカスレンズ１０１ｂを第１フォーカス位置に移動させる（Ｓ１０）。なお、フォーカス位置の検出手段はコントラスト検出方式や位相差検出方式などの方法を使用することができる。
【００４６】
次に、システムコントローラ１１０は、画像処理部１０４内の撮像情報取得部１０４ｂを介して撮像状態検出部１０７から撮像状態の情報を取得する（Ｓ１１）。
【００４７】
次に、システムコントローラ１１０は、撮像状態に適した撮影回数と第２波長域の光（Ｒ光）、第３波長域の光（Ｂ光）を撮像素子１０２上に結像させるためのフォーカスレンズ１０１ｂの移動量を取得する（Ｓ１２）。
【００４８】
撮影回数の決定に際しては、色成分の数、ノイズ量やダイナミックレンジなど最終的な画質を最適にする項目を指標とすることができる。また、フォーカスレンズ１０１ｂの移動量は撮像光学系１０１の軸上色収差を補正する量であり、撮像状態に応じて固有の値をとるので記憶部１０８に予めテーブルとして用意されていてもよい。
【００４９】
次に、システムコントローラ１１０は第１波長域の光の画像信号（劣化画像）を取得する（Ｓ１３）。
【００５０】
次に、システムコントローラ１１０は、既に算出されている第２波長域の光に対応する第２フォーカス位置にフォーカスレンズ１０１ｂを移動させ（Ｓ１４）、第２波長域の光の画像信号（劣化画像）を取得する（Ｓ１５）。
【００５１】
同様に、システムコントローラ１１０は、第３波長域の光に対応する第３フォーカス位置にフォーカスレンズ１０１ｂを移動させ、第３波長域の光の画像信号（劣化画像）を取得する。
【００５２】
本実施例ではＲＧＢ構成であるが、４色以上の多色の画像信号の場合にはシステムコントローラ１１０は同様の動作を繰り返す（Ｓ１６、Ｓ１７）。なお、本実施例では、この「複数の波長域の光」はＲＧＢの各波長域の光であるが、撮像光学系１０１の収差の影響がＲ光とＢ光でほぼ同じ場合はＲ光とＢ光の一方についてＳ１６とＳ１７を行えばよい。即ち、Ｓ１６とＳ１７は必ずしも全ての波長域の光に対して行わなくてもよい。
【００５３】
図３は、各波長域の光の画像信号を取得する際のフォーカスレンズ１０１ｂのフォーカス位置（第１フォーカス位置〜第３フォーカス位置）を示す断面図である。撮像光学系１０１は軸上色収差を有するために、図３に示すように、異なる波長域毎に結像位置は光軸方向０において異なっている。本実施例は、フォーカスレンズ１０１ｂを光軸方向に駆動することによって各波長域の光を撮像素子１０２の撮像面に結像させた状態で各波長域の光の画像信号を取得する（Ｓ１３、Ｓ１５、Ｓ１７）。
【００５４】
次に、システムコントローラ１１０は、画像処理部１０４のフィルタ選択部１０４ｃを介して、記憶部１０８が保持している複数の画像回復フィルタの中から、撮像状態に適した各波長域の光に対するフォーカス位置での画像回復フィルタを選択する（Ｓ１８）。
【００５５】
本実施例では、ＲＧＢ形式のカラー画像に対し、システムコントローラ１１０は、ＲＧＢの各色成分に対応した３つの画像回復フィルタを作成する。撮像光学系１０１には色収差があり、色成分ごとにボケ方が異なるため、各色成分の画像回復フィルタは色収差に基づいて特性（断面）が異なる。
【００５６】
なお、システムコントローラ１１０は、選択された画像回復フィルタを必要に応じて補正（補間）してもよい。例えば、システムコントローラ１１０は、記憶部１０８に離散的な撮像状態のデータを保持させて、画像回復時に画像回復フィルタを補完することによって、記憶部１０８が保持する画像回復フィルタの容量を低減することができる。
【００５７】
次に、システムコントローラ１１０は、画像処理部１０４の画像回復部１０４ｄを介してＳ１８で選択した各波長域に対するフォーカス位置での画像回復フィルタを用いて各画像信号に対して画像回復を順次行う（Ｓ１９）。このように、Ｓ１９は回復ステップである。
【００５８】
図４（ａ）は、近点から遠点に配置された黒い棒である被写体１〜５を撮像装置で撮像している斜視図であり、撮像装置は被写体３にフォーカスしている。このため、被写体１、２が近距離、被写体４、５が遠距離である。また、被写体１〜５は横方向の位置がずれている。
【００５９】
図４（ｂ）は、図４（ａ）に示す状態で撮像装置が被写体１〜５を撮像した画像であり、被写体３がＲＧＢの色成分のそれぞれについてフォーカス位置にある時の画像の一つである。
【００６０】
図５（ａ）は、図４（ｂ）に示す被写体１、３、５の矢印部分の画像回復前の断面図である。この画像は、ＲＧＢの各色成分について被写体３をフォーカス位置において撮像した結果得られる３つの画像合成したものである。即ち、図５（ａ）は、図３において、第１フォーカス位置〜第３フォーカス位置で撮像された画像の合成画像であり、ＲＧＢ成分とも撮像素子１０２の撮像面上に結像している。
【００６１】
図５（ａ）において、被写体３の断面はＲＧＢ光がそれぞれフォーカスしているため、各成分のエッジがほぼ同一でボケが最も少ない。一方、被写体１（近距離）と被写体５（遠距離）の場合には、ＲＧＢ成分は撮像素子１０２の撮像面において同程度の広がりを有する。これは、軸上色収差の説明であるが、画角のついた位置においても基本の結像特性に非対称性が発生するものの色の変動については同様の現象が発生する。
【００６２】
一方、従来の画像回復前の被写体３（第１被写体）の断面ではＧ成分のみがフォーカスしているが、Ｒ成分とＢ成分はほぼ同じ量でＧに比べてボケている。これは、図３において、第１フォーカス位置にあるのでＧ成分は撮像素子１０２の撮像面上で結像しているが、ＲＢ成分は撮像素子１０２の撮像面上では広がりをもっている状態に対応する。
【００６３】
また、従来の画像回復前の被写体１（近距離）（第２被写体）の断面では、Ｂ成分が撮像素子１０２の撮像面上で結像状態に近くなり、ＧＲ成分は撮像素子１０２の撮像面上で広がりをもつ。更に、従来の画像回復前の被写体５（遠距離）（第２被写体）の断面では、Ｒ成分が撮像素子１０２の撮像面上で結像状態に近くなり、ＧＢ成分は撮像素子１０２の撮像面で広がりをもつ。
【００６４】
図５（ｂ）は、図４（ｂ）に示す被写体１、３、５の矢印部分の画像回復前の断面図である。本実施例では、画像回復に使用する画像回復フィルタは、各色成分の第１フォーカス位置〜第３フォーカス位置に最適に設計されている。このため、画像回復後は、収差が補正されてエッジのボケが各位置で良好に補正される。
【００６５】
そして、ＲＧＢ各成分の補正量の相対関係がほぼ維持されるように画像回復がされているので、偽色の原因となる各色成分のボケ量の差異が大きくならず、偽色は効果的に抑制されている。
【００６６】
一方、従来の画像回復においては、被写体３については本実施例と同様にエッジのぼけが良好に補正されている。また、被写体１はＢ成分が多少補正されているが、ＧＲ成分には補正効果が現れていない。これは、近距離ではＢ成分は結像状態に近いのに対してＲＧ成分は広がりを持っているため、ＭＴＦはＲＧ成分が劣化した状態となっていることによる。更に、被写体５はＲ成分が多少補正されているが、ＧＢ成分には補正効果が現れていない。遠距離ではＲ成分は結像状態に近いのに対してＢＧ成分は広がりを持っているため、ＭＴＦはＢＧ成分が劣化した状態となっていることによる。
【００６７】
従来の画像回復に使用する画像回復フィルタは被写体３のフォーカス位置におけるＭＴＦの向上に最適に設計されているため、これを近距離や遠距離の非フォーカス距離に適応すると偽色が発生してしまう可能性がある。即ち、被写体３の位置以外では、画像回復後に各色成分のボケ量の差異が大きくなってエッジ部の偽色となる可能性がある。
【００６８】
次に、システムコントローラ１１０は、各色成分の回復された画像信号を画像処理部１０４の画像合成部１０４ｅを介して合成して最終的に鮮明なカラー画像を生成する（Ｓ２０）。
【００６９】
その後、システムコントローラ１１０は、回復された画像を記録媒体１０９に保存する。また、システムコントローラ１１０は、表示部１０５に、処理済の画像を表示してもよいし、処理前の画像あるいは簡易的な画像処理を行った画像を表示してもよい。
【００７０】
本実施例では、図３を参照して説明したように、フォーカスレンズ１０１ｂを駆動するが、焦点調節においては撮像素子１０２を駆動してもよい。この場合には、Ｓ１２ではシステムコントローラ１１０は撮像素子１０２の移動量を決定してもよい。
【００７１】
また、Ｓ１８の代わりにシステムコントローラ１１０は、基準波長の回復フィルタを記憶部１０８において選択してもよい。基準波長は、例えば、第１波長域であるＧ成分となる緑色波長域とする。図５に示すように、本実施例の画像信号においては、軸上色収差が補正され、各色成分の画像信号がぼぼ同様のボケ特性を有しているため、基準波長に対するフォーカス位置での画像回復フィルタを第２波長域と第３波長域の画像信号にも適応させることが可能となる。画像回復フィルタの共通化によりフィルタ数の低減を実現でき、記憶部１０８の容量を低減することができる。そして、Ｓ１９において、システムコントローラ１１０は、基準波長に対するフォーカス位置での画像回復フィルタを用いて各波長域の画像信号の画像回復を順次行う。これにより、図５とほぼ同様の効果が得られる。
【００７２】
また、Ｓ１９とＳ２０の間で、システムコントローラ１１０は、各波長域の回復画像に対して幾何変換処理を実行し、倍率色収差や歪曲収差を補正してもよい。
【００７３】
更に、本実施例の画像処理方法は、撮像装置のシステムコントローラ１１０が行うものに限定されず、撮像装置が不図示のＵＳＢケーブルなどで接続されるパーソナルコンピュータ（ＰＣ）上で行われてもよい。即ち、本実施例の画像処理方法を実行する画像処理装置は撮像装置でもよいし、ＰＣでもよいし、更には、撮像装置に接続されたプリンタなどの出力装置であってもよい。
【００７４】
画像処理方法は、ＰＣの不図示のメモリや、ＰＣにネットワーク接続された記憶装置（例えば、インターネットを介して接続されたサーバーのＨＤＤ）に格納されていればよい。なお、画像処理方法は、画像回復処理だけでなく現像やその他の画像処理機能を含んでいる。
【００７５】
例えば、不図示のＰＣは、各波長の画像信号とその時の撮影条件の情報を撮像装置または記憶媒体（あるいは外部の記憶装置）から取得してもよい。撮影条件の情報は画像信号の情報と別の情報でもよいし画像信号に埋め込まれた情報でもよい。その後、ＰＣにてＳ１８〜Ｓ２０の画像処理方法を実行する。
【００７６】
必要があれば、ＰＣは不図示のディスプレイに画像回復前または後の画像やその他の処理が施された画像を表示したり、不図示のプリンタに印刷したりすることができる。
【００７７】
撮像装置、ＰＣおよび出力装置が接続されたネットワークにおいて、撮像装置、ＰＣおよび出力装置のいずれもが本実施例の画像処理方法を実行することができる画像処理システムを考える。この場合、画像処理方法を実行する装置は補正データを利用する。
【００７８】
補正データは、実行装置の識別情報、撮像装置の識別情報と個別情報、（撮像状態検出部１０７が検出する）撮像状態の情報、（記憶部１０８が保持する）複数の画像回復フィルタの情報、ユーザ設定情報などを含んでいる。
【００７９】
実行装置の識別情報は、撮像装置、ＰＣおよび出力装置のうち画像回復を実行する装置の識別情報と、これに伴い転送すべきデータの情報である。例えば、撮像装置が画像回復を実行する場合は画像回復前の画像と画像回復フィルタを転送する必要はない。ＰＣが画像回復を実行する場合、ＰＣは撮像装置から、画像回復前の画像、画像回復フィルタ、撮像状態の情報などを取得する。この場合、ＰＣは、撮像装置によって予め選択された画像回復フィルタを取得してもよいし、撮像装置から複数の画像回復フィルタを取得してＰＣ内で画像回復に使用する画像回復フィルタを選択してもよい。
【００８０】
撮像装置の識別情報は、画像を撮像した撮像装置の識別情報であり、撮影レンズ（撮像光学系１０１）とカメラ本体が交換可能な場合はその組み合わせを含む。撮像装置の個別情報は、撮像装置の識別情報に対して個別的な情報である。製造誤差のばらつきにより撮像装置のＯＴＦは個体ばらつきがあるため、撮像装置の個別情報は最適な画像回復フィルタを設定するために使用される。
【００８１】
ユーザ設定情報は、ユーザが設定したパラメータである。ユーザ設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から最も好むパラメータを学習機能により更新することもできる。さらに、撮像装置メーカーがいくつかの先鋭度パターンに応じたプリセット値をネットワーク等を介して提供してもよい。
【００８２】
補正データは、個々の画像信号に付帯または関連付けされてもよい。また、補正データの内容は自動または手動で変更が可能である。
【００８３】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００８４】
撮像装置は被写体を撮像する用途に適用することができる。
【符号の説明】
【００８５】
１０１          撮像光学系
１０４          画像処理部（画像処理装置）
１０４ａ        劣化画像取得部
１０４ｂ        撮像情報取得部
１０４ｃ        フィルタ選択部（光学伝達関数取得部）
１０４ｄ        画像回復部（回復手段）
１０４ｅ        画像合成部
【図１】
2011215707.tif 000006
【図２】
2011215707.tif 000007
【図５】
2011215707.tif 000008
【図３】
2011215707.tif 000009
【図４】
2011215707.tif 000010