(57)【特許請求の範囲】
【請求項１】
撮影条件情報に対応する画像回復フィルタを保持する画像回復フィルタ保持部と、
光学伝達関数情報を保持する光学伝達関数保持部と、
撮影画像の撮影条件情報に対応する画像回復フィルタを生成する画像回復フィルタ生成部と、を有し、
前記画像回復フィルタ生成部は、
第１の撮影条件情報に対応する第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを選択し、
前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、前記光学伝達関数情報を用いて該第１の画像回復フィルタを生成し、
前記画像回復フィルタ生成部は、入力手段を介して設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、
前記画像回復フィルタ保持部は、前記期間ごとに前記第２の画像回復フィルタを更新して保持することを特徴とする画像処理装置。
【請求項２】
前記画像回復フィルタ生成部は、前記光学伝達関数情報を用いて、前記第２の撮影条件情報および前記入力手段を介して設定された回復量に対応する前記第２の画像回復フィルタを自動生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像回復処理部を更に有することを特徴とする請求項１または２に記載の画像処理装置。 
【請求項４】
撮像光学系を介して形成された光学像を光電変換して撮影画像を出力する撮像手段と、撮影条件情報に対応する画像回復フィルタを保持する画像回復フィルタ保持部と、
光学伝達関数情報を保持する光学伝達関数保持部と、
前記撮影画像の撮影条件情報に対応する画像回復フィルタを生成する画像回復フィルタ生成部と、を有し、
前記画像回復フィルタ生成部は、
第１の撮影条件情報に対応する第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを選択し、
前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、前記光学伝達関数情報を用いて該第１の画像回復フィルタを生成し、
前記画像回復フィルタ生成部は、入力手段を介して設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、
前記画像回復フィルタ保持部は、前記期間ごとに前記第２の画像回復フィルタを更新して保持することを特徴とする撮像装置。
【請求項５】
撮影画像の第１の撮影条件情報を取得するステップと、
前記第１の撮影条件情報に対応する第１の画像回復フィルタが画像回復フィルタ保持部に保持されているか否かを判定するステップと、
前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを取得するステップと、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、光学伝達関数保持部から光学伝達関数情報を取得し、該光学伝達関数情報を用いて該第１の画像回復フィルタを生成するステップと、を有し、
設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、
前記期間ごとに前記第２の画像回復フィルタを更新して前記画像回復フィルタ保持部に保持させることを特徴とする画像処理方法。
【請求項６】
撮影画像の第１の撮影条件情報を取得するステップと、
前記第１の撮影条件情報に対応する第１の画像回復フィルタが画像回復フィルタ保持部に保持されているか否かを判定するステップと、
前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを取得するステップと、
前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、光学伝達関数保持部から光学伝達関数情報を取得し、該光学伝達関数情報を用いて該第１の画像回復フィルタを生成するステップと、を情報処理装置に実行させ、
設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、
前記期間ごとに前記第２の画像回復フィルタを更新して前記画像回復フィルタ保持部に保持させることを特徴とする画像処理プログラム。
【請求項７】
請求項６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対して画像回復処理を行う画像処理装置に関する。
【背景技術】
【０００２】
撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。このような撮像光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して撮影光学系による画像劣化を補正する方法（画像回復処理）が提案されている。
【０００４】
特許文献１には、撮像光学系に波面変調素子を挿入して焦点深度を拡大するとともに画像上の光学特性を均一化し、画像回復処理を行うことで高画質化するＥＤＯＦ技術が開示されている。特許文献１の方法によれば、種々の撮影条件において光学特性が均一化されるため、画像回復フィルタを生成する過程が簡略化され、処理速度を向上させることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２―６５１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されたＥＤＯＦ技術を用いるには、撮像光学系に波面変調素子を挿入する必要がある。このため、特許文献１の方法では、一般的な撮像装置を用いて画像回復処理を高速化させることはできない。
【０００７】
そこで本発明は、画像回復処理の速度を向上させた画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮影条件情報に対応する画像回復フィルタを保持する画像回復フィルタ保持部と、光学伝達関数情報を保持する光学伝達関数保持部と、撮影画像の撮影条件情報に対応する画像回復フィルタを生成する画像回復フィルタ生成部とを有し、前記画像回復フィルタ生成部は、第１の撮影条件情報に対応する第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを選択し、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、前記光学伝達関数情報を用いて該第１の画像回復フィルタを生成し、前記画像フィルタ生成部は、入力手段を介して設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、前記画像回復フィルタ保持部は、前記期間ごとに前記第２の画像回復フィルタを更新して保持することを特徴としている。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して撮影画像を出力する撮像手段と、撮影条件情報に対応する画像回復フィルタを保持する画像回復フィルタ保持部と、光学伝達関数情報を保持する光学伝達関数保持部と、前記撮影画像の撮影条件情報に対応する画像回復フィルタを生成する画像回復フィルタ生成部とを有し、前記画像回復フィルタ生成部は、第１の撮影条件情報に対応する第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを選択し、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、前記光学伝達関数情報を用いて該第１の画像回復フィルタを生成し、前記画像回復フィルタ生成部は、入力手段を介して設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、前記画像回復フィルタ保持部は、前記期間ごとに前記第２の画像回復フィルタを更新して保持することを特徴としている。
【００１０】
本発明の他の側面としての画像処理方法は、撮影画像の第１の撮影条件情報を取得するステップと、前記第１の撮影条件情報に対応する第１の画像回復フィルタが画像回復フィルタ保持部に保持されているか否かを判定するステップと、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを取得するステップと、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、光学伝達関数保持部から光学伝達関数情報を取得し、該光学伝達関数情報を用いて該第１の画像回復フィルタを生成するステップとを有し、設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、前記期間ごとに前記第２の画像回復フィルタを更新して前記画像回復フィルタ保持部に保持させることを特徴としている。
【００１１】
本発明の他の側面としての画像処理プログラムは、撮影画像の第１の撮影条件情報を取得するステップと、前記第１の撮影条件情報に対応する第１の画像回復フィルタが画像回復フィルタ保持部に保持されているか否かを判定するステップと、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されている場合、該画像回復フィルタ保持部から該第１の画像回復フィルタを取得するステップと、前記第１の画像回復フィルタが前記画像回復フィルタ保持部に保持されていない場合、光学伝達関数保持部から光学伝達関数情報を取得し、該光学伝達関数情報を用いて該画像回復フィルタを生成するステップと、を情報処理装置に実行させ、設定された期間ごとに、前記期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを自動生成し、前記期間ごとに前記第２の画像回復フィルタを更新して前記画像回復フィルタ保持部に保持させることを特徴としている。
【００１２】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１４】
本発明によれば、画像回復処理の速度を向上させた画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１における撮像装置のブロック図である。
【図２】実施例１における画像処理方法のフローチャートである。
【図３】実施例１における画像回復フィルタの生成方法の説明図である。
【図４】実施例１において、画像回復フィルタの第一の生成方法で実行される順位付け方法の一例を示す図である。
【図５】実施例２における画像処理システムの構成図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１７】
まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００１８】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ…  （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
【００１９】
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ）  …  （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
【００２０】
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）  …  （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。
【００２１】
しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、撮像素子によって生じたノイズが増幅し、また画像上にリンギングを発生させる可能性が高くなる。このような画像処理上の弊害により、単純な逆特性で除算する方法では、良好な画像を得ることは困難である。
【００２２】
そこで、ノイズ増幅を抑制するための画像回復方法として、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。
【００２３】
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）２＋Γ）  …  （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）であり、Γはノイズの増幅量を低減するための定数である。
【００２４】
式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系の回折や収差により発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することで、高解像度かつ良好な画像を得ることができる。すなわち、ウィナーフィルタＷ（ｕ，ｖ）を用いた画像回復処理により回復された画像の周波数空間情報Ｒ（ｕ，ｖ）は、以下の式（５）のように表される。
【００２５】
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ）  …  （５）
ウィナーフィルタに準じた画像回復処理は、撮像装置の光学特性を用いて実行されるため、処理後の画像に大きな破綻をきたすことなく高精細化することが可能である。一方、光学特性データをシステム（撮像装置）内に保持しておく必要があり、膨大なデータ量となる。このため、必要最低限の光学特性データのみを保持しておくことが現実的である。必要最低限の光学特性データを保持したシステムの場合、画像回復処理を施したい画像の種々の撮影条件を取得して画像回復フィルタを生成する必要がある。ここで撮影条件とは、撮像光学系の焦点距離、Ｆ値、撮影距離に加えて、撮像素子の画素ピッチや光学ローパスフィルタの情報などである。種々の撮影条件を取得して画像回復フィルタを生成するには、多くの時間を必要とし、撮影時にリアルタイムな処理を行うことは困難である。
【００２６】
そこで、以下の各実施例において、画像回復処理の速度を向上させるための構成および方法について説明する。
【実施例１】
【００２７】
まず、図１を参照して、本実施例における撮像装置の概略構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、後述の画像処理方法を実行可能な画像処理部１０４（画像処理装置）を備えている。
【００２８】
撮像装置１００において、被写体（不図示）は、絞り１０１ａ（または遮光部材）およびフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に結像する。本実施例において、撮像光学系１０１は、撮像素子１０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系１０１とが一体的に構成された撮像装置にも適用可能である。
【００２９】
絞り値（Ｆ値）は、絞り１０１ａまたは遮光部材により決定される。撮像素子１０２は、撮像光学系１０１を介して形成された被写体像（光学像）を光電変換して画像（撮影画像）を出力する。撮像素子１０２から出力された電気信号は、Ａ／Ｄ変換器１０３に出力される。Ａ／Ｄ変換器１０３は、撮像素子１０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像データ）を画像処理部１０４に出力する。なお、撮像素子１０２およびＡ／Ｄ変換器１０３により、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。
【００３０】
画像処理部１０４は、Ａ／Ｄ変換器１０３から出力されたデジタル信号（撮影画像）に対して、状態検知部１０７および記憶部１０８の各情報を用いて所定の画像処理を行う。特に、本実施例の画像処理部１０４は、撮影画像の画像回復処理を行い、補正画像（回復画像）を出力する。本実施例において、画像処理部１０４は、画像回復フィルタ生成部１０４ａおよび画像回復処理部１０４ｂを有する。
【００３１】
記憶部１０８（記憶手段）は、画像回復フィルタを保持する画像回復フィルタ保持部１０８ａ、および、光学伝達関数データ（光学伝達関数に関する情報）を保持する光学伝達関数保持部１０８ｂを有する。また記憶部１０８は、状態検知部１０７にて取得した撮影条件に関しても、同様に保持可能である。本実施例において、画像処理部１０４および記憶部１０８により画像処理装置が構成される。ただし本実施例において、画像回復フィルタ保持部および光学伝達関数保持部を、画像処理部１０４の外部に設けられた記憶部１０８に代えて、画像処理部１０４の内部に含めてもよい。
【００３２】
画像処理部１０４で処理された出力画像（回復画像）は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部１０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部１０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部１０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ１１０は、図１を参照して説明した画像処理方法を実行するように画像処理部１０４を制御する。
【００３３】
システムコントローラ１１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置１００の全体の制御を司る。より具体的には、システムコントローラ１１０は、画像処理部１０４、表示部１０５、撮像光学系制御部１０６、状態検知部１０７、および、画像記録媒体１０９の各部を制御する。撮像光学系制御部１０６は、撮像光学系１０１の動作を制御する。状態検知部１０７は、撮像光学系制御部１０６の情報から撮像光学系１０１の状態を検知する。なお撮像装置１００は、前述の画像処理方法を実現するソフトウエア（画像処理プログラム）を、ネットワークまたは記憶媒体を介してシステムコントローラ１１０に供給し、システムコントローラ１１０がそのプログラムを読み出して実行することもできる。
【００３４】
次に、図２を参照して、本実施例における画像処理方法について説明する。図２は、画像処理方法のフローチャートである。図２の各ステップは、主に、システムコントローラ１１０の指令に基づいて画像処理部１０４により実行される。
【００３５】
まずステップＳ１１において、画像処理部１０４は、処理対象の画像（撮影画像）を選択する。続いてステップＳ１２において、画像処理部１０４は、回復処理対象の画像から撮影条件（撮影条件情報）を取得する。ここで、撮影条件とは、回復処理対象の画像が撮影された際の光学パラメータ、すなわち焦点距離、Ｆ値、および、被写体距離などである。撮像光学系は、焦点距離、Ｆ値、および、被写体距離などの撮影条件に応じて光学特性が変化する。このため、これらの組み合わせに対応した光学特性に基づいた画像回復フィルタを用いる必要がある。
【００３６】
本実施例の撮像装置１００は、画像回復フィルタを保持する画像回復フィルタ保持部１０８ａ、および、光学伝達関数データを保持する光学伝達関数保持部１０８ｂの、少なくとも異なる２種類のデータを保持する記憶部１０８（記憶手段）を有する。画像回復フィルタ保持部１０８ａには、特定の撮影条件に対応する画像回復フィルタが保持されている。また光学伝達関数保持部１０８ｂには、全撮影条件の組み合わせに対応可能な光学伝達関数（光学伝達関数に関する情報）が保持されている。
【００３７】
続いて画像処理部１０４は、ステップＳ１３において、画像回復フィルタ保持部１０８ａ内に、ステップＳ１２にて取得した撮影条件（第１の撮影条件情報）に対応する画像回復フィルタ（第１の画像回復フィルタ）が保持されているか否かを探索（判定）する。撮影条件は、画像（撮影画像）に付加されているＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）などの情報（画像フォーマット）に基づいて取得される。ここで、画像回復フィルタ保持部１０８ａの内部に、対応する画像回復フィルタ（第１の画像回復フィルタ）が保持されている場合、ステップＳ１４において、画像処理部１０４は、画像回復フィルタ保持部１０８ａから、対応する画像回復フィルタを取得する。そして画像処理部１０４は、その取得した画像回復フィルタを用いて画像回復処理を行う。
【００３８】
一方、画像回復フィルタ保持部１０８ａの内部に、対応する画像回復フィルタ（第１の画像回復フィルタ）が保持されていない場合、ステップＳ１５に進む。ステップＳ１５において、画像処理部１０４は、光学伝達関数保持部１０８ｂに保持されている光学伝達関数（光学伝達関数データ）から、対応する画像回復フィルタを生成するための光学伝達関数を探索して決定する。そしてステップＳ１６において、画像処理部１０４（画像回復フィルタ生成部１０４ａ）は、ステップＳ１５にて決定された光学伝達関数に基づいて、画像回復フィルタ（第１の画像回復フィルタ）を生成する。このように画像処理部１０４は、光学伝達関数保持部１０８ｂに保持されている光学伝達関数データから、対応する画像回復フィルタを生成する。なお、光学伝達関数保持部１０８ｂの内部に、取得した撮影条件と合致する光学伝達関数データが存在しない場合、画像処理部１０４は、その撮影条件に近い複数の光学伝達関数データを用いて、撮影条件に対応する光学伝達関数データを補間生成してもよい。
【００３９】
続いてステップＳ１７において、画像処理部１０４（画像回復処理部１０４ｂ）は、ステップＳ１４にて取得した画像回復フィルタまたはステップＳ１６にて生成した画像回復フィルタを用いて、画像回復処理を実行する。そしてステップＳ１８において、画像処理部１０４は、画像回復処理後の画像（回復画像）を得て、その画像を出力する。
【００４０】
本実施例において、画像回復フィルタ保持部１０８ａの内部に、取得した撮影条件に対応する画像回復フィルタが存在する場合、画像回復フィルタを生成するための処理が不要となり、画像回復処理が高速化される。このため本実施例では、光学伝達関数保持部１０８ｂに保持されている光学伝達関数データを用いて、予め撮影条件に対応する画像回復フィルタのセット（組）を複数生成し、画像回復フィルタ保持部１０８ａに保持しておく。また、画像回復フィルタの生成が撮影時の様々な処理（デモザイキング、ノイズリダクションなど）と競合して撮影効率が低下しないように、非撮影時に画像回復フィルタ生成を行うことが好ましい。例えば、撮像装置１００がスリープモードになっている場合などに画像回復フィルタを生成することができる。
【００４１】
次に、図３を参照して、本実施例における撮像装置１００（画像回復フィルタ生成部１０４ａ、画像回復フィルタ保持部１０８ａ、および、光学伝達関数保持部１０８ｂを含む画像処理装置）による画像回復フィルタの生成方法について説明する。図３は、本実施例における画像回復フィルタの生成方法の説明図である。
【００４２】
前述のように、本実施例の撮像装置１００は、画像回復フィルタ保持部１０８ａおよび光学伝達関数保持部１０８ｂの少なくとも２種類の異なるデータを保持するための記憶領域を有する。ここで、光学伝達関数保持部１０８ｂは、全ての撮影条件の画像回復フィルタを精度よく生成するのに十分な容量が必要である。一方、画像回復フィルタ保持部１０８ａは、一部の撮影条件に対応した少数の画像回復フィルタを保持できればよいため、光学伝達関数保持部１０８ｂと比較して、大きな容量を必要としない。
【００４３】
図３（ａ）は、画像回復フィルタ保持部１０８ａに保持されることになる画像回復フィルタの第一の生成方法を示す概略図である。すなわち撮像装置１００（画像処理部１０４または記憶部１０８）は、一定期間（所定の期間）に撮影された画像の撮影条件（撮影条件データ）を蓄積する。そして撮像装置１００（システムコントローラ１１０）は、蓄積された撮影条件を所定の条件に基づいて順位付けし、順位の高い撮影条件を画像回復フィルタ生成部１０４ａに入力する。画像回復フィルタ生成部１０４ａは、入力された各々の撮影条件に対応して、光学伝達関数保持部１０８ｂに保持されている光学伝達関数を用い、それぞれの撮影条件に対応する画像回復フィルタを生成する。そして、画像回復フィルタ生成部１０４ａにより生成された画像回復フィルタは、画像回復フィルタ保持部１０８ａに保持される。
【００４４】
図３（ｂ）は、画像回復フィルタ保持部１０８ａに保持されることになる画像回復フィルタの第二の生成方法を示す概略図である。すなわち撮像装置１００（システムコントローラ１１０）は、ユーザが指定した撮影条件を入力し、指定された撮影条件に対応する画像回復フィルタを、画像回復フィルタ保持部１０８ａに保存する。撮影条件の入力以外の方法に関しては、第一の生成方法と同様である。なお、第一の生成方法において、撮影条件を蓄積する期間は任意に設定可能である。また、画像回復フィルタの更新のタイミングについても任意に設定することができる。これは、例えば１ヶ月に１回画像回復フィルタを更新するように自動設定してもよいし、ユーザが更新のタイミングを手動で決定することも可能である。
【００４５】
図４は、画像回復フィルタの第一の生成方法における順位付け方法の一例を示す図である。システムコントローラ１１０（画像処理部１０４）は、特定の期間（一定の期間またはユーザが設定した任意の期間）内に撮影された撮影条件を保存し、頻度順に順位付けを行う。すなわち、撮影頻度に応じて保存対象の撮影条件を決定する。ここで用いられる撮影条件としては、焦点距離、Ｆ値、および、撮影距離が含まれる。また、これらに加えて、交換レンズに対応する撮像システムの場合にはレンズを特定するためのレンズＩＤなどの情報を含んでもよい。このとき順位付けした撮影条件に対して、上位何位まで画像回復フィルタ保持部に画像回復フィルタを保持しておくかに関しては、画像回復フィルタ保持部１０８ａの記憶容量に応じて設定可能である。
【実施例２】
【００４６】
次に、図５を参照して、本発明の実施例２における画像処理システム（画像処理装置）について説明する。図５は、本実施例における画像処理システム２００の構成図である。画像処理システム２００は、画像処理装置２０１（情報処理装置としてのハードウエア）、表示装置２０２（モニタ）、および、入力装置２０３（キーボードなどの入力手段）を備えて構成される。画像処理装置２０１には、前述の画像回復フィルタ生成部１０４ａ、画像回復フィルタ保持部１０８ａ、および、光学伝達関数保持部１０８ｂが設けられている。本実施例は、実施例１の画像処理方法を画像処理システム２００（パソコンのソフトウエア）上で動作させる場合について説明する。
【００４７】
まず、各実施例の画像処理方法を画像処理装置２０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置２０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。
【００４８】
ソフトウエアは、前述の画像回復フィルタ生成部および画像回復処理部の機能を実行する。光学伝達関数保持部、画像回復フィルタ保持部、および、複数の撮影条件情報を保持するため記憶領域は、画像処理装置２０１内のハードディスクなどの記憶部に設けられている。また、光学伝達関数保持部に保持される光学伝達関数情報は、インターネットを通じて取得することも可能である。
【００４９】
このように各実施例において、画像処理装置は、画像回復フィルタ保持部１０８ａ、光学伝達関数保持部１０８ｂ、および、画像回復フィルタ生成部１０４ａを有する。画像回復フィルタ保持部１０８ａは、撮影条件情報（焦点距離、Ｆ値、被写体距離など）に対応する画像回復フィルタを保持する。光学伝達関数保持部１０８ｂは、光学伝達関数情報（光学伝達関数データ）を保持する。画像回復フィルタ生成部１０４ａは、撮影画像の第１の撮影条件情報（取得した撮影画像の撮影条件情報）に対応する第１の画像回復フィルタを生成する。画像回復フィルタ生成部１０４ａは、第１の画像回復フィルタが画像回復フィルタ保持部１０８ａに保持されている場合、画像回復フィルタ保持部１０８ａから第１の画像回復フィルタを選択する。一方、画像回復フィルタ生成部１０４ａは、第１の画像回復フィルタが画像回復フィルタ保持部１０８ａに保持されていない場合、光学伝達関数情報を用いて第１の画像回復フィルタを生成する。
【００５０】
好ましくは、画像回復フィルタ保持部１０８ａに保持されている画像回復フィルタは、特定の期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタである。より好ましくは、画像回復フィルタ生成部１０４ａは、光学伝達関数情報を用いて、特定の期間に取得された撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを生成する。そして画像回復フィルタ保持部１０８ａは、生成された第２の画像回復フィルタを保持する。また好ましくは、画像回復フィルタ生成部１０４ａは、光学伝達関数情報を用いて、第２の撮影条件情報および入力手段を介してユーザにより設定された回復量に対応する第２の画像回復フィルタを生成する。また好ましくは、画像回復フィルタ生成部１０４ａは、特定の期間における撮影頻度に応じて、撮影画像の第２の撮影条件情報に対応する第２の画像回復フィルタを生成する。また好ましくは、特定の期間は、一定の期間またはユーザにより設定可能な任意の期間である。
【００５１】
好ましくは、画像回復フィルタ保持部１０８ａに保持されている画像回復フィルタは、入力手段を介して設定された第３の撮影条件情報に対応する第３の画像回復フィルタである。より好ましくは、画像回復フィルタ生成部１０４ａは、光学伝達関数情報を用いて、入力手段を介して設定された第３の撮影条件情報および回復量に対応する第３の画像回復フィルタを生成する。そして画像回復フィルタ保持部１０８ａは、生成された第３の画像回復フィルタを保持する。
【００５２】
好ましくは、画像回復フィルタ生成部１０４ａは、入力手段を介して設定された期間ごとに画像回復フィルタを自動生成する。そして画像回復フィルタ保持部１０８ａは、設定された期間ごとに画像回復フィルタを更新して保持する。また好ましくは、画像処理装置は、画像回復フィルタを用いて撮影画像の画像回復処理を行う画像回復処理部１０４ｂを有する。
【００５３】
各実施例によれば、画像回復処理の速度を向上させた画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。各実施例は、例えば連写撮影などの高速撮影が必要な場合により効果的である。
【００５４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５５】
１０４  画像処理部（画像処理装置）
１０４ａ  画像回復フィルタ生成部
１０８ａ  画像回復フィルタ保持部
１０８ｂ  光学伝達関数保持部
【図１】
0006385206.tif 000002
【図２】
0006385206.tif 000003
【図３】
0006385206.tif 000004
【図４】
0006385206.tif 000005
【図５】
0006385206.tif 000006