(57)【要約】【課題】高精度に画像回復処理を行うことが可能な画像処理装置を提供する。【解決手段】画像処理装置（１２）は、光学素子（２０）により分割された第１の光束を受光する第１の撮像素子（２２）から第１の画像データを取得し、光学素子により分割された第２の光束を受光する第２の撮像素子（２６）から第２の画像データを取得する取得手段（１２ａ）と、第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成する作成手段（１２ｂ）と、第１の画像回復フィルタを用いて第１の画像データに対して画像回復処理を行い、第２の画像回復フィルタを用いて第２の画像データに対して画像回復処理を行う補正手段（１２ｃ）とを有する。【選択図】図１
2018195985.tif 000002
【特許請求の範囲】
【請求項１】
光学素子により分割された第１の光束を受光する第１の撮像素子から第１の画像データを取得し、該光学素子により分割された第２の光束を受光する第２の撮像素子から第２の画像データを取得する取得手段と、
前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成する作成手段と、
前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行う補正手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記光学素子は、ハーフミラーであり、
前記第１の光束は、撮像光学系を介して前記ハーフミラーにより反射した反射光であり、
前記第２の光束は、前記撮像光学系を介して前記ハーフミラーを透過した透過光であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記作成手段は、前記光学素子の反射面の形状に応じた収差に基づいて、前記第１の光束の光学伝達関数に関する情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記作成手段は、前記光学素子の透過波面に応じた収差に基づいて、前記第２の光束の光学伝達関数に関する情報を生成することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記取得手段は、前記第１の光束の波面に関する情報と、前記第２の光束の波面に関する情報とを取得し、
前記作成手段は、
前記第１の光束の波面に関する情報から前記第１の光束の光学伝達関数に関する情報を作成し、
前記第２の光束の波面に関する情報から前記第２の光束の光学伝達関数に関する情報を作成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の光束の光学伝達関数に関する情報は、第１の点像分布関数であり、
前記第２の光束の光学伝達関数に関する情報は、第２の点像分布関数であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記作成手段は、
前記第１の点像分布関数をフーリエ変換して前記第１の画像回復フィルタを作成し、
前記第２の点像分布関数をフーリエ変換して前記第２の画像回復フィルタを作成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記補正手段は、前記第１の画像データおよび前記第２の画像データのそれぞれに対して前記画像回復処理を行うことにより、該第１の画像データおよび該第２の画像データのそれぞれに含まれる収差を低減させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１の光束の光学伝達関数に関する情報および前記第２の光束の光学伝達関数に関する情報は、それぞれ、撮像光学系の光学伝達関数に関する情報を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
光学素子により分割された第１の光束を受光して第１の画像データを出力する第１の撮像素子と、
前記光学素子により分割された第２の光束を受光して第２の画像データを出力する第２の撮像素子と、
前記第１の画像データおよび前記第２の画像データを取得する取得手段と、
前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成する作成手段と、
前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行う補正手段と、を有することを特徴とする撮像装置。
【請求項１１】
光学素子により分割された第１の光束を受光する第１の撮像素子から第１の画像データを取得し、該光学素子により分割された第２の光束を受光する第２の撮像素子から第２の画像データを取得するステップと、
前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成するステップと、
前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行うステップと、を有することを特徴とする画像処理方法。
【請求項１２】
光学素子により分割された第１の光束を受光する第１の撮像素子から第１の画像データを取得し、該光学素子により分割された第２の光束を受光する第２の撮像素子から第２の画像データを取得するステップと、
前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成するステップと、
前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行うステップと、コンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を回復する画像処理装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が普及している。このような撮像装置における撮像光学系の光路分割方式として、撮像光学系からの光束（撮像光束）が通過する光路にハーフミラーを配置して光束を分割する方法がある。ハーフミラーとは、分光透過率を実質的に変化させることなく撮像光束を分割する光学素子である。ハーフミラーを用いると、透過光および反射光に関する可視光の波長域における分光透過率は、実質的に同じ値になる。
【０００３】
特許文献１には、ハーフミラーで撮影光束を分割する光学系を備え、少なくともハーフミラーの収差による画像の劣化を規定する伝達関数を用いて画像データを補正する撮像装置が開示されている。特許文献２には、ハーフミラーで撮影光束を分割する光学系を備え、ハーフミラーの内面反射により生じる劣化を補正する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１７２３０４号公報
【特許文献２】特開２０１４−１３２７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された撮像装置は、反射光を撮像する手段を有さず、２つの撮像素子で同時に撮影することができない。また、ハーフミラーの光学伝達関数に関して、透過光を補正対象としているが反射光を補正対象としていない。また、光学伝達関数を補正して撮影画像に反映する方法が明確ではない。また、撮像光学系の光学伝達関数を補正していないため、撮影画像を十分に補正することができない。
【０００６】
特許文献２に開示された撮像装置は、ハーフミラーで発生する内面反射による光学不要光（ゴースト）を補正することができるが、レンズやハーフミラーで発生する収差を補正していない。このように特許文献１および特許文献２に開示された撮像装置では、ハーフミラーを介して取得された画像に対して高精度に画像回復処理を行うことができない。
【０００７】
そこで本発明は、高精度に画像回復処理を行うことが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、光学素子により分割された第１の光束を受光する第１の撮像素子から第１の画像データを取得し、該光学素子により分割された第２の光束を受光する第２の撮像素子から第２の画像データを取得する取得手段と、前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成する作成手段と、前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行う補正手段とを有する。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系を介して、光学素子により分割された第１の光束を受光して第１の画像データを出力する第１の撮像素子と、前記撮像光学系を介して、前記光学素子により分割された第２の光束を受光して第２の画像データを出力する第２の撮像素子と、前記画像処理装置とを有する。
【００１０】
本発明の他の側面としての画像処理方法は、光学素子により分割された第１の光束を受光する第１の撮像素子から第１の画像データを取得し、該光学素子により分割された第２の光束を受光する第２の撮像素子から第２の画像データを取得するステップと、前記第１の光束の光学伝達関数に関する情報に基づいて第１の画像回復フィルタを作成し、前記第２の光束の光学伝達関数に関する情報に基づいて第２の画像回復フィルタを作成するステップと、前記第１の画像回復フィルタを用いて前記第１の画像データに対して画像回復処理を行い、前記第２の画像回復フィルタを用いて前記第２の画像データに対して画像回復処理を行うステップとを有する。
【００１１】
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１２】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１３】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１４】
本発明によれば、高精度に画像回復処理を行うことが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】各実施形態における撮像装置のブロック図である。
【図２】各実施形態におけるハーフミラーの反射面の模式図である。
【図３】各実施形態におけるハーフミラーの透過波面の模式図である。
【図４】第１の実施形態における画像回復処理のフローチャートである。
【図５】第２の実施形態における画像回復処理のフローチャートである。
【図６】各実施形態におけるハーフミラーの透過光の屈折角度の説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１７】
まず、本実施形態における画像回復処理の概要を説明する。情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する種々の補正処理方法が提案されている。デジタルカメラなどの撮像装置により撮像された画像は、ぼけ成分を含み、撮像光学系の収差により少なからず劣化している。
【００１８】
画像のぼけ成分は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差などの各収差が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と呼ばれるが、本実施形態ではぼけ成分と呼ぶ。画像のぼけに関して言えば、例えばピントがずれた画像もぼけているが、本実施形態ではピントが合っていても撮像光学系の収差の影響でぼけてしまう状態を指す。また、カラー画像での色にじみも撮像光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。また、色のメリジオナル方向の色ズレも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。
【００１９】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。本実施形態において、位相成分ＰＴＦは、位相角として、以下の式（１）のように表される。
【００２０】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））  …  （１）
式（１）において、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、ＯＴＦの実部、虚部をそれぞれ示す。このように、撮像光学系のＯＴＦは、画像の振幅成分および位相成分のそれぞれに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【００２１】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。このため、正確には倍率色収差は単なる平行シフトの色ズレではないが、特に説明がない限り色ズレを倍率色収差と同意義として記載する。
【００２２】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のみならず、撮像光路に配置された全ての光学部材のＯＴＦの情報を用いて補正する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以降、撮像光学系のみならず、撮像光路に配置された全ての光学部材のＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理という。
【００２３】
ここで、劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦを逆フーリエ変換した点像分布関数ＰＳＦをｈ（ｘ，ｙ）とするとき、以下の式（２）が成り立つ。
【００２４】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）  …  （２）
式（２）において、ただし、＊はコンボリューション、（ｘ，ｙ）は画像上の座標をそれぞれ示す。
【００２５】
また、式（２）をフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）で表されるように周波数ごとの積の形式になる。
【００２６】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）  …  （３）
式（３）において、Ｈは、ＰＳＦをフーリエ変換したものであり、ＯＴＦを示す。（ｕ，ｖ）は、２次元周波数面での座標、すなわち周波数を示す。
【００２７】
撮影された劣化画像から元の画像を得るには、以下の式（４）で表されるように、式（３）の両辺をＨで除算すればよい。
【００２８】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）  …  （４）
式（４）中のＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。
ここで、式（４）の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）で表されるように、実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
【００２９】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）  …  （５）
式（５）中のＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため、前述のようにＯＴＦの逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅され、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、前述のぼけ成分の補正により画像の成分ごとのぼけ量が均一になれば補正されたことになる。また、ズーム位置の状態や絞り径の状態などの撮影状態（撮影条件）に応じてＯＴＦは変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００３０】
ハーフミラーを撮像光路に配置した撮像装置を用いて画像回復処理を高精度に行うには、ハーフミラーの反射光および透過光のそれぞれに関する収差を考慮する必要がある。すなわち、ハーフミラーの反射光に関する収差としては、ハーフミラーの反射面の面精度に応じて発生する収差が含まれる。また、ハーフミラーの透過光に関する収差としては、球面収差、コマ収差、非点収差、および、ハーフミラーの製造誤差による収差が含まれる。好ましくは、更に撮像光学系の収差を考慮して画像回復フィルタを作成する。
【００３１】
次に、図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、撮像装置１００のブロック図である。撮像装置１００は、カメラ本体（撮像装置本体）１０１と、カメラ本体１０１に着脱可能な交換レンズ（レンズ装置）１０２とを備えて構成される。ただし本実施形態は、これに限定されるものではなく、撮像装置本体とレンズ装置とが一体的に構成された撮像装置にも適用可能である。
【００３２】
本実施形態の撮像装置１００は、第１の撮像素子２２および第２の撮像素子２６を備え、レンズ１５を介して得られた光束をハーフミラー（光学素子）２０により反射光と透過光とに分割して二つの撮像素子にそれぞれ入射させる。すなわち、第１の撮像素子２２は、ハーフミラー２０により分割された第１の光束を受光して第１の画像データを出力する。第２の撮像素子２６は、ハーフミラー２０により分割された第２の光束を受光して第２の画像データを出力する。本実施形態において、第１の光束は、レンズ１５を介してハーフミラー２０により反射した反射光であり、第２の光束は、レンズ１５を介してハーフミラー２０を透過した透過光である。このような構成により、画像（例えば、動画と静止画）を同時に撮影することができる。
【００３３】
撮像装置１００において、マイクロコンピュータ（ＭＰＵ）９は、撮像装置１００の各構成要素に対して種々の処理の実行を指示し、撮像装置１００の動作を制御する。ＭＰＵ９に内蔵される記憶部（メモリ）９ａは、撮像光学系の収差（光学収差）のそれぞれを作用させて生成された複数の光学伝達関数（光学収差伝達関数）の情報を記憶する。また記憶部９ａは、複数の光学伝達関数に基づいて算出された複数の画像補正情報、撮影に関する各種設定値、および、撮像装置１００の動作に必要なパラメータなどのデータを記憶する。
【００３４】
マイクロコンピュータ９には、ミラー駆動部１０、シャッタ制御部１１、画像補正部１２、および、スイッチセンス回路１３が接続されている。これらの要素（ユニット）は、マイクロコンピュータ９の制御に従って、通信、情報の伝達、および、各種動作を行う。マイクロコンピュータ９は、マウント接点１４を介して、交換レンズ（レンズユニット）１０２に設けられたレンズ制御回路１６と通信を行う。レンズ制御回路１６は、マイクロコンピュータ９との間で通信を行うことにより、ＡＦ駆動部１８および絞り制御部１９を介して、レンズユニット１０２のレンズ（撮像光学系）１５および絞り１７をそれぞれ駆動してそれらの駆動情報を取得することができる。
【００３５】
レンズ１５の後方（像側）には、撮像装置１００の内部において、第１の撮像素子２２、第２の撮像素子２６、ハーフミラー２０および、シャッタ２７が配置されている。ハーフミラー２０は、レンズ１５から射出された被写体像（光学像）の光束（撮像光束）中に配置されている。ハーフミラー２０は、マイクロコンピュータ９の指令に基づいて、ミラー駆動部１０により駆動される。ハーフミラー２０は、被写体からレンズ１５を通過した光束の略半分の光量を上方へ折り返し、第１の撮像素子２２に被写体像（光学像）を結像させる。本実施形態において、第１の撮像素子２２は、動画を撮影する二次元型撮像デバイスであるＣＭＯＳセンサなどであり、電子シャッタにより各フレームを撮影する。
【００３６】
シャッタ２７は、撮像素子２６への光路（撮像光束）に対して進退することが可能な遮蔽部材を有する。本実施形態において、シャッタ２７は、メカニカルフォーカルプレーンシャッタである。シャッタ２７は、例えば、撮像の際にレリーズ信号に応じて被写体光束（撮像光束）の光路から待避して露光を開始させる先羽根群と、先羽根群の走行開始後に所定のタイミングで被写体光束を遮光する後羽根群とを有する。シャッタ２７は、マイクロコンピュータ９の指令に基づいて、シャッタ制御部１１により駆動される。本実施形態において、第２の撮像素子２６は、二次元型撮像デバイスであるＣＭＯＳセンサなどであり、シャッタ２７を用いて第２の撮像素子２６へ被写体光束を導光または遮光することにより撮影を行う。
【００３７】
本実施形態において、画像補正部１２は、画像回復処理を行う画像処理装置である。画像補正部１２は、取得手段１２ａ、作成手段１２ｂ、および、補正手段１２ｃを有する。取得手段１２ａは、第１の光束（反射光）を受光する第１の撮像素子２２から第１の画像データを取得し、第２の光束（透過光）を受光する第２の撮像素子２６から第２の画像データを取得する。作成手段１２ｂは、第１の光束の光学伝達関数に関する情報（第１の点像分布関数）に基づいて第１の画像回復フィルタを作成し、第２の光束の光学伝達関数に関する情報（第２の点像分布関数）に基づいて第２の画像回復フィルタを作成する。補正手段１２ｃは、第１の画像回復フィルタを用いて第１の画像データに対して画像回復処理を行い、第２の画像回復フィルタを用いて第２の画像データに対して画像回復処理を行う。すなわち補正手段１２ｃは、第１の画像データおよび第２の画像データのそれぞれに対して画像回復処理を行うことにより、第１の画像データおよび第２の画像データのそれぞれに含まれる収差を低減させる。
【００３８】
次に、図２を参照して、第１の撮像素子２２へ被写体光束を導くハーフミラー２０の反射面の面精度について説明する。図２は、ハーフミラー２０の反射面の模式図であり、干渉計による反射面の干渉縞を示している。ハーフミラー２０の反射面の干渉縞に基づいてハーフミラー２０の面形状（面精度）を求めることができ、反射面を反射する光束に発生する収差（光学収差）を求めることが可能である。また、収差を求めることができれば、収差を補正するＰＳＦ（点像分布関数）を算出することが可能である。好ましくは、撮像光学系の光学収差に関する情報を含むＰＳＦ、および、ハーフミラー２０の反射面による光学収差に関する情報を含むＰＳＦの両方を取得して、両方のＰＳＦ同士をコンボリューションする。これにより、撮像光学系の光学収差とハーフミラーの反射面による光学収差との両方を含むＰＳＦを取得することができる。また、取得したＰＳＦに基づいて、第１の撮像素子２２にて撮像した画像（撮像画像）に対する画像回復フィルタを生成することができる。
【００３９】
次に、図３を参照して、第２の撮像素子２６へ被写体光束を導くハーフミラー２０の透過波面について説明する。図２は、ハーフミラー２０の透過波面の模式図であり、干渉計によるハーフミラー２０の透過波面の干渉縞を示している。この透過波面の干渉縞に基づいて、ハーフミラー２０を透過する光束の波面形状を求めることができ、ハーフミラー２０を透過する光束に発生する収差（光学収差）を求めることが可能である。また、収差が求めることができれば、収差を補正するＰＳＦを算出することが可能である。好ましくは、撮像光学系の光学収差に関する情報を含むＰＳＦ、および、ハーフミラー２０の透過光に発生するＰＳＦの両方を取得して、両方のＰＳＦ同士をコンボリューションすることもできる。これにより、撮像光学系の光学収差とハーフミラーの透過光に発生する光学収差との両方を含むＰＳＦを取得することができる。また、取得したＰＳＦに基づいて、第２の撮像素子２６にて撮像した画像（撮像画像）に対する画像回復フィルタを生成することができる。
【００４０】
なお本実施形態において、ハーフミラー２０の反射面の面精度を干渉計で測定した場合を説明したが、面精度の測定方法は干渉計を用いる方法に限定されるものではない。例えば、接触型測定器を用いて面精度を測定して面形状を測定し、光学収差を求めることができる。また本実施形態において、メカニカルシャッタとしてのシャッタ２７は、ハーフミラー２０からの透過光を撮像する第２の撮像素子２６の前に配置されているが、メカニカルシャッタを第１の撮像素子２２の前に配置してもよい。例えば、メカニカルシャッタをハーフミラー２０と撮像光学系との間に配置すれば、一つのメカニカルシャッタ機構で第１の撮像素子２２および第２の撮像素子２６の両方に対してメカニカルシャッタ機能を持つことができる。また本実施形態において、第１の撮像素子２２は動画、第２の撮像素子２６は静止画像をそれぞれ対象としているが、これに限定されるものではなく、第１の撮像素子２２と第２の撮像素子２６の役割を入れ替えることも可能である。また本実施形態において、第１の撮像素子２２および第２の撮像素子２６のサイズは互いに同じであるが、これに限定されるものではない。例えば、ハーフミラー２０と第１の撮像素子２２または第２の撮像素子２６の間に縮小光学系を配置することにより、第１の撮像素子２２または第２の撮像素子２６のサイズを任意に変更することが可能である。
【００４１】
次に、図６を参照して、ハーフミラー２０の透過光の像面のオフセットについて説明する。図６は、ハーフミラー２０の透過光の屈折角度の説明図である。撮像光学系の透過光については、ハーフミラー２０の屈折率とハーフミラー２０が光軸ＯＡと成す角度と透過する光線の波長によって、被写体からレンズの光軸中心を結んだ線からその波長の画像がオフセットしてしまう。
【００４２】
光の波長をλ１、λ２とする。ハーフミラー２０の材料の屈折率に関して、波長λ１に対する屈折率をＮ１、波長λ２に対する屈折率をＮ２とする。ハーフミラー２０（ハーフミラー２０の法線Ｌ）と撮像光学系の光軸ＯＡとが成す角度をαとする。ハーフミラー２０の厚みをＤ、像面のずれ量をＣとする。このとき、以下の式（６−１）、（６−２）、（６−３）が成立する。
【００４３】
α１＝ａｒｃｓｉｎ（ｓｉｎα／Ｎ１）      …  （６−１）
α２＝ａｒｃｓｉｎ（ｓｉｎα／Ｎ２）      …  （６−２）
Ｃ＝Ｄ（ｔａｎα２−ｔａｎα１）ｃｏｓα  …  （６−３）
このように、像面は波長ごとにずれているため、カラーフィルタの分光特性などを考慮して最終的な出力画像を作成する場合、像面をずらして重ねることが好ましい。また、ＰＳＦに関するデータの利用方法に関しては、ＰＳＦに関するデータを事前に算出してデータベースとして記憶部９ａなどのメモリに記憶しておき、必要なデータを撮影の際に読み出す方法を用いることが好ましい。また、データ容量を削減するため、ＰＳＦに関するデータを波面データとして記憶しておくことが好ましい。以下、各実施形態の画像処理方法について詳述する。
【００４４】
（第１の実施形態）
まず、図４を参照して、本発明の第１の実施形態における画像処理方法について説明する。図４は、本実施形態における画像処理方法（撮影動作）のフローチャートである。図４の各ステップは、主に、マイクロコンピュータ９の指令に基づいて画像補正部１２の各手段により実行される。
【００４５】
撮像装置１００が撮影動作を開始すると、まずステップＳ１１において、画像補正部１２（取得手段１２ａ）は、第１の撮像素子２２および第２の撮像素子２６のそれぞれから撮影画像を取得する。続いてステップＳ１２において、画像補正部１２（作成手段１２ｂ）は、レンズ１５、すなわち撮像光学系に関するＰＳＦを算出する。このとき、レンズ１５の製造誤差に関する情報をＰＳＦに含ませることにより、画像回復処理の精度を更に向上させることができる。
【００４６】
続いてステップＳ１３において、画像補正部１２（作成手段１２ｂ）は、ハーフミラー２０の反射光に関するＰＳＦを算出する。好ましくは、画像補正部１２は、ハーフミラー２０の反射面の面精度を考慮してＰＳＦを算出する。すなわち作成手段１２ｂは、ハーフミラー２０の反射面の形状（面精度）に応じた光学収差に基づいて、反射光に関するＰＳＦを生成する。続いてステップＳ１４において、画像補正部１２（作成手段１２ｂ）は、ハーフミラー２０の透過光に関するＰＳＦを算出する。すなわち画像補正部１２（作成手段１２ｂ）は、ハーフミラー２０の透過波面に応じた光学収差に基づいて、透過光に関するＰＳＦを生成する。ハーフミラー２０に製造誤差がない場合でも、ハーフミラー２０を透過する光束（透過光）には光学収差が発生する。ハーフミラー２０が製造誤差を含む場合には、その製造誤差による光学収差も発生するため、画像補正部１２はこれらの収差に応じたＰＳＦを算出する。
【００４７】
続いてステップＳ１５において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１４にて算出したハーフミラー２０の透過光のＰＳＦと、ステップＳ１２にて算出したレンズ１５に関するＰＳＦとをコンボリューションする（畳み込み積分）。続いてステップＳ１６において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１５にて算出したＰＳＦをフーリエ変換して、画像回復フィルタを作成する。続いてステップＳ１７において、画像補正部１２（補正手段１２ｃ）は、ステップＳ１６にて作成した画像回復フィルタを用いて、第２の撮像素子２６から取得した撮影画像に対して画像回復処理を行う。続いてステップＳ１８において、画像補正部１２（補正手段１２ｃ）は、ステップＳ１７にて画像回復処理を実行して生成された画像を、第２の撮像素子２６で撮影した画像として出力する。
【００４８】
ステップＳ１９において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１３にて算出したハーフミラー２０の反射光に関するＰＳＦと、ステップＳ１２にて算出したレンズ１５に関するＰＳＦとをコンボリューションする（畳み込み積分）。続いてステップＳ２０において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１９にて算出したＰＳＦをフーリエ変換して、画像回復フィルタを作成する。続いてステップＳ２１において、画像補正部１２（補正手段１２ｃ）は、ステップＳ２０にて作成した画像回復フィルタを用いて、第１の撮像素子２２から取得した撮影画像に対して画像回復処理を行う。続いてステップＳ２２において、画像補正部１２（補正手段１２ｃ）は、ステップＳ２１にて画像回復処理を実行して生成された画像を、第１の撮像素子２２で撮影した画像として出力する。
【００４９】
本実施形態において、好ましくは、ステップＳ１５にて作成されたＰＳＦ（透過光に関するＰＳＦ）およびステップＳ１９にて作成されたＰＳＦ（反射光に関するＰＳＦ）は、それぞれ、ステップＳ１２にて取得されたＰＳＦ（レンズ１５に関するＰＳＦ）を含む。なお、図４を参照して説明した本実施形態の画像回復処理は、画像は静止画または動画のいずれにも適用可能である。
【００５０】
（第２の実施形態）
次に、図５を参照して、本発明の第２の実施形態における画像処理方法について説明する。図５は、本実施形態における画像処理方法（撮影動作）のフローチャートである。図５の各ステップは、主に、マイクロコンピュータ９の指令に基づいて画像補正部１２の各手段により実行される。
【００５１】
撮像装置１００が撮影動作を開始すると、まずステップＳ１１１において、画像補正部１２は、第１の撮像素子２２および第２の撮像素子２６のそれぞれから撮影画像を取得する。続いてステップＳ１１２において、画像補正部１２は、レンズ１５、すなわち撮像光学系に関する波面に関する情報（波面データ）を、記憶部９ａに記憶されたデータベースから読み出す。このとき、レンズ１５の製造誤差に関する情報を波面データに含ませることにより、画像回復処理の精度を更に向上させることができる。
【００５２】
続いてステップＳ１１３において、画像補正部１２（取得手段１２ａ）は、ハーフミラー２０の反射光に関する波面データ（反射光の波面に関する情報）を算出（取得）する。好ましくは、画像補正部１２は、ハーフミラー２０の反射面の面精度（形状）を考慮して波面データを算出する。続いてステップＳ１１４において、画像補正部１２（取得手段１２ａ）は、ハーフミラー２０の透過光に関する波面データ（透過光の波面に関する情報）を算出（取得）する。ハーフミラー２０に製造誤差がない場合でも、ハーフミラー２０を透過する光束（透過光）には光学収差が発生する。加えて、ハーフミラー２０が製造誤差を含む場合には、その製造誤差による光学収差も発生するため、画像補正部１２はこれらの収差に応じた波面データを算出する。
【００５３】
続いてステップＳ１１５において、画像補正部１２は、ステップＳ１１４にて算出したハーフミラー２０の透過光の波面データと、ステップＳ１１２にて読み出したレンズ１５に関する波面データとをコンボリューションする（畳み込み積分）。続いてステップＳ１１６において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１１５にて算出した波面データをフーリエ変換して、ＰＳＦを作成する。続いてステップＳ１１７において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１１６にて作成したＰＳＦをフーリエ変換して、画像回復フィルタを作成する。続いてステップＳ１１８において、画像補正部１２（補正手段１２ｃ）は、ステップＳ１１７にて作成した画像回復フィルタを用いて、第２の撮像素子２６から取得した撮影画像に対して画像回復処理を行う。続いてステップＳ１１９において、画像補正部１２は、ステップＳ１１８にて画像回復処理を実行して生成された画像を、第２の撮像素子２６で撮影した画像として出力する。
【００５４】
ステップＳ１２０において、画像補正部１２は、ステップＳ１１４にて算出したハーフミラー２０の反射光に関する波面データと、ステップＳ１１２にてデータベースから読み出したレンズ１５に関する波面データとをコンボリューションする（畳み込み積分）。続いてステップＳ１２１において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１２０にて算出した波面データをフーリエ変換して、ＰＳＦを作成する。続いてステップＳ１２２において、画像補正部１２（作成手段１２ｂ）は、ステップＳ１２１にて作成したＰＳＦをフーリエ変換して、画像回復フィルタを作成する。
【００５５】
続いてステップＳ１２３において、画像補正部１２（補正手段１２ｃ）は、ステップＳ１２２にて作成した画像回復フィルタを用いて、第２の撮像素子２６から取得した撮影画像に対して画像回復処理を行う。続いてステップＳ１２４において、画像補正部１２は、ステップＳ１２３にて画像回復処理を実行して生成された画像を、第２の撮像素子２６で撮影した画像として出力する。なお、図５を参照して説明した本実施形態の画像回復処理は、画像は静止画または動画のいずれにも適用可能である。
【００５６】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
各実施形態の撮像装置は、撮像光路に配置したハーフミラーを１つの光学素子とみなし、１つの光学素子における反射光と透過光とで互いに異なる回復データを用いて画像回復処理を行うとともに、撮像光学系の収差による画像回復処理を行う。このため各実施形態によれば、高精度に画像回復処理を行うことが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
１２    画像補正部（画像処理装置）
１２ａ  取得手段
１２ｂ  作成手段
１２ｃ  補正手段
【図１】
2018195985.tif 000003
【図２】
2018195985.tif 000004
【図３】
2018195985.tif 000005
【図４】
2018195985.tif 000006
【図５】
2018195985.tif 000007
【図６】
2018195985.tif 000008