(57)【要約】【課題】  画像に対して、光学系に起因するぼけを適切に回復するための回復処理を実行する。【解決手段】  光学系に起因する画質劣化を補正する画像処理装置であって、右眼用画像と左眼用画像を取得する取得手段と、前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出する算出手段と、前記位相差量に基づいて、回復フィルタを設定する設定手段と、前記設定手段に設定された回復フィルタを用いて、前記右眼用画像と前記左眼用画像に対して回復処理を実行する回復処理手段と、を有することを特徴とする。【選択図】  図３
2019186905.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置あるいは出力装置に起因する画質劣化を補正する画像処理装置であって、
右眼用画像と左眼用画像を取得する第一の取得手段と、
前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出する算出手段と、
前記位相差量に基づいて、回復フィルタを設定する設定手段と、
前記設定手段に設定された回復フィルタを用いて、前記右眼用画像と前記左眼用画像に対して回復処理を実行する回復処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
撮像装置あるいは出力装置に起因する画質劣化を補正する画像処理装置であって、
右眼用画像と左眼用画像を取得する第一の取得手段と、
前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出する算出手段と、
通常画像を取得する第二の取得手段と、
前記位相差量に基づいて、回復フィルタを設定する設定手段と、
前記設定手段に設定された回復フィルタを用いて、前記通常画像に対して回復処理を実行する回復処理手段と、
を有することを特徴とする画像処理装置。
【請求項３】
前記設定手段は、前記位相差量に基づいて、前記光学系に起因する劣化を補正する回復フィルタの強度を決定し、前記強度に応じた回復フィルタを設定することを特徴とする請求項１乃至２のいずれか一項に記載の画像処理装置。
【請求項４】
前記設定手段は、前記領域の位相差量が大きいほど、該領域に施す回復処理の強度を小さくすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記回復フィルタは、前記撮像装置の光学系の光学伝達関数の逆数であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記回復フィルタは、前記撮像装置あるいは入力装置の空間周波数の特性の逆数であることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項７】
前記回復フィルタは、前記光学伝達関数あるいは空間周波数の特性の逆数を、逆フーリエ変換することで得られるフィルタであることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項８】
前記強度は、前記撮像装置の光学系の光学伝達関数をフーリエ変換した結果の逆数を底とした際の冪指数であることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記強度は、回復フィルタを適用した画像と回復フィルタを適用しない画像の線形和を取る際の係数であることを特徴とする請求項６又は７に記載の画像処理装置。
【請求項１０】
前記算出手段は、前記右眼用画像と前記左眼用画像それぞれにおいて、被写体に対応する輝度分布を検出し、前記輝度分布それぞれのピーク位置のずれ量を位相差量として算出することを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
【請求項１１】
前記算出手段は、前記右眼用画像と前記左眼用画像それぞれに対してハイパスフィルターを用いたフィルタ処理をすることで、被写体に対応するピーク位置を検出し、前記右眼用画像と前記左眼用画像それぞれのピーク位置の差分を位相差量をとして算出することを特徴とする請求項１乃至１０の何れか一項に記載の画像処理装置。
【請求項１２】
さらに、複数の強度に応じた回復フィルタを記憶する記憶手段を有し、
前記設定手段は、前記記憶手段が記憶する回復フィルタから、前記強度に対応する回復フィルタを選択することを特徴とする請求項１乃至１１の何れか一項に記載の画像処理装置。
【請求項１３】
コンピュータを請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【請求項１４】
撮像装置あるいは出力装置に起因する画質劣化を補正する画像処理方法あって、
右眼用画像と左眼用画像を取得し、前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出し、
前記位相差量に基づいて、回復処理の強度を決定し、
前記強度に基づいて回復フィルタを設定し、
前記設定された回復フィルタを用いて、前記右眼用画像と前記左眼用画像に対して回復処理を実行することを特徴とする画像処理方法。
【請求項１５】
撮像装置あるいは出力装置に起因する画質劣化を補正する画像処理方法あって、
右眼用画像と左眼用画像を取得し、前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出し、
通常画像を取得し、
前記位相差量に基づいて、回復処理の強度を決定し、
前記強度に基づいて回復フィルタを設定し、
前記設定された回復フィルタを用いて、前記通常画像に対して回復処理を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置や出力装置などの光学系によって生じる画像のぼけを補正する技術に関する。
【背景技術】
【０００２】
光学系を介して取得される画像において、光学系に起因するぼけを補正する方法として、光学系の点像強度分布を二次元フーリエ変換した光学伝達関数（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：ＯＴＦ）を用いた補正方法が知られている。
【０００３】
この補正方法は「画像回復」や「画像復元」と呼ばれる。画像回復においては一般に、ＯＴＦの逆特性を持つ逆フィルタを回復フィルタとして画像に適用する。
【０００４】
また、光学系に起因するぼけに限定せず、撮像装置あるいはプリンタ等の出力装置の装置全体に起因する画像のぼけ度合いを表した空間周波数特性（Ｓｐａｔｉａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｒｅｓｐｏｎｓｅ：ＳＦＲ）を用いることもある。
【０００５】
ＳＦＲは例えば、縦横それぞれのエッジ画像を撮影あるいは出力した画像の輝度・濃度分布を一次元フーリエ変換した結果として得ることができる。
【０００６】
特許文献１に記載された方法では、画像における被写体までの距離に応じて回復フィルタを設定することで、領域毎に光学系に起因するぼけを回復するための回復フィルタを生成する方法を記載している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−４４８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら被写体の距離が同じであっても、絞り値などの撮影条件によっては画像におけるぼけの度合いが異なる場合がある。そのため従来においては、画像に対して領域ごとに適切な回復フィルタを設定できない場合があった。
【０００９】
そこで本発明は、画像に対して、光学系に起因するぼけを回復するための回復処理を適切に実行することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため本発明は、光学系に起因する画質劣化を補正する画像処理装置であって、右眼用画像と左眼用画像を取得する取得手段と、前記右眼用画像と前記左眼用画像における領域ごとに、被写体の位相差量を算出する算出手段と、前記位相差量に基づいて、回復フィルタを設定する設定手段と、前記設定手段に設定された回復フィルタを用いて、前記右眼用画像と前記左眼用画像に対して回復処理を実行する回復処理手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像に対して、光学系に起因するぼけを回復するための回復処理を適切に実行することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置の構成を示す図。
【図２】第１の実施形態におけるセンサアレイおよびマイクロレンズの構造と光学的な特性を説明するための模式図。
【図３】第１の実施形態における信号処理部の論理的な構成を示すブロック図。
【図４】第１の実施形態における撮像方法の処理の流れを示すフローチャート。
【図５】第１の実施形態における被写体の合焦状態と絞り値、位相差量の関係示す模式図。
【図６】第１の実施形態における画像回復処理の流れを示すフローチャート。
【図７】第１の実施形態における位相差量と画像回復強度の関係を示す図。
【図８】第２の実施形態における画像処理装置の構成を示す図。
【図９】第２の実施形態における画像処理装置の論理的な構成を示すブロック図。
【図１０】第２の実施形態におけるプリンタのＳＦＲを示す図
【図１１】第２の実施形態における画像回復処理および画像出力の流れを示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に必ずしも限定されるものではない。
【００１４】
＜第１の実施形態＞
（撮像装置）
図１は、本実施形態に係る撮像装置の構成の一例を示す図である。撮像装置は、撮像光学系１０４、イメージセンサ１０５、Ａ／Ｄ変換部１０６、信号処理部１０８、エンコーダ１０９、メディアインターフェース（メディアＩ／Ｆ）１１０を有する。また、撮像装置は、撮像系制御部１０７、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１１１、表示部１１２を有する。ＣＰＵ１０１は、各構成における処理を制御する。ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って各種の処理を実行する。また、ＲＯＭ１０２とＲＡＭ１０３は、各処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。
【００１５】
撮像光学系１０４は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、及び絞りなどから構成される。撮像光学系１０４は、被写体から発せられた光束をイメージセンサ１０５に導く。なお撮像光学系１０４は、撮像系制御部１０７の指示に基づいてフォーカスレンズの位置を調整することにより、焦点距離を変化させることができる。
【００１６】
イメージセンサ１０５はシャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、ＣＭＯＳやＣＣＤ等を配列したセンサアレイ、信号読み出し回路から構成される。イメージセンサ１０５は、撮像光学系１０４を通して撮像装置に入射した光束を画素ごとの光量を示す電気信号に変換する。センサアレイおよび信号読み出し回路の詳細については後述する。Ａ／Ｄ変換部１０６は、イメージセンサ１０５より得られた画素ごとの光量を示す電気信号をデジタル値に変換し、ＲＡＷ画像を生成する。
【００１７】
撮像系制御部１０７は、ＣＰＵ１０１からの指示に基づき、フォーカスの調整、シャッターの開閉、絞りの調節など、撮像光学系１０４およびイメージセンサ１０５を制御する。信号処理部１０８は、Ａ／Ｄ変換部１０６から出力されたＲＡＷ画像に対して画像回復処理（以降、回復処理とも呼ぶ）を含む種々の画像処理を施す。画像回復処理の詳細については後述する。また、信号処理部１０８は、生成されたＲＡＷ画像に基づいてデフォーカス量（焦点ずれ量）を算出する。
【００１８】
エンコーダ１０９は、信号処理部１０８が生成した画像データに対してタグ情報を付加したり、画像データを圧縮したりして、画像データを所定のフォーマットのファイルに変換する。メディアＩ／Ｆ１１０は、撮像装置をパーソナルコンピューターや各種のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。操作部１１１は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。表示部１１２は、撮影画像の表示やユーザーへの各種情報の提供を行う。一般的には、液晶ディスプレイが広く表示部１１２として用いられている。また表示部１１２は、タッチスクリーン機能を有していても良い。表示部１１２がタッチスクリーン機能を有している場合は、表示部１１２がユーザー指示を受け付けることもできる。
【００１９】
（センサアレイ）
以下、イメージセンサ１０５の一部であるセンサアレイおよび信号読み出し回路の詳細について説明する。まず、センサアレイの詳細について説明を行う。本実施形態で使用するセンサアレイは二次元の画素配列を持つ。以下、説明のため二次元の画素配列が並んでいる方向をＸ軸およびＹ軸、センサアレイに垂直な方向（すなわち光軸方向）をＺ軸とする。センサアレイの上には、各画素に１色が対応するようにベイヤ配列されたカラーフィルタが積層されている。また、カラーフィルタの上に各画素に１つのマイクロレンズが対応する形でマイクロレンズアレイが積層されている。
【００２０】
図２は、本実施形態におけるセンサアレイおよびマイクロレンズの構造と光学的な特性の一例を説明するための模式図である。図２（ａ）は、撮像光学系の射出瞳面２０１をＺ軸方向から観察した時の瞳領域を示している。図２（ｂ）は、センサアレイの１つの画素２０２および対応するマイクロレンズ２０３をＹ軸方向から観察した時の断面の構造を示している。センサアレイにおける各画素は、Ｘ軸方向に２分割された２０４Ａと２０４Ｂの２つの光電変換素子を持つ。各光電変換素子と撮像光学系の射出瞳面２０１はマイクロレンズ２０３によって共役関係となるように設計されている。瞳領域２０５ａ，ｂはそれぞれ光電変換素子２０４Ａ，Ｂと対応している。すなわち、入射する光束のうち射出瞳面上の瞳領域２０５ａを通過するものは光電変換素子２０４Ａに入射する。また瞳領域２０５ｂを通過する光束は光電変換素子２０４Ｂに入射する。
【００２１】
光電変換素子２０４Ａおよび２０４Ｂは不図示の読み出し回路を通じてＡ／Ｄ変換部１０６に接続されている。読み出し回路は、２つの光電変換素子からの電気信号を、個別にあるいは加算してＡ／Ｄ変換部１０６に出力する。読み出し回路は、イメージセンサ１０５上の画素配列を走査し、各画素からの電気信号を読み出してＡ／Ｄ変換することによりＲＡＷ画像が形成される。ここで、２つの光電変換素子からの電気信号を個別に読み出した場合、同一の被写体に対して位相差のある２つの画像が生成される。撮影者から見て右半分の瞳領域２０５ａを通過し、光電変換素子２０４Ａによって出力された画像を右眼用画像と呼ぶ。また、左半分の瞳領域２０５ｂを通過し、光電変換素子２０４Ｂによって出力された画像を左眼用画像と呼ぶ。一方読み出し回路が２つの光電変換素子からの電気信号を加算して出力した場合は、位相差のない１つの画像が生成される。本実施形態においてＡ／Ｄ変換部１０６は、位相差のある画像ペア（以降、位相差画像ペアと呼ぶ）と、位相差のない通常の画像（以降、通常画像と呼ぶ）を生成し出力する。
【００２２】
（信号処理部）
次に、信号処理部１０８の構成の詳細について説明する。本実施形態において信号処理部１０８の処理は、ＲＯＭ１０２あるいはＲＡＭ１０３に記憶されたプログラムをＣＰＵ１０１が実行することによってソフトウェアとして実装される。図３は、信号処理部１０８の詳細な論理構成を示すブロック図である。位相差量算出部３０１は、Ａ／Ｄ変換部１０６から位相差画像ペアのＲＡＷ画像信号を受け取り、領域ごとの位相差量を算出する。ここで領域とは、１画素あるいは隣接する複数の画素を単位として分割された画像の部分領域を指す。本実施形態においては１６画素×１６画素の矩形領域を１つの領域とする。
【００２３】
デフォーカス量算出部３０２は、位相差量算出部３０１が算出した領域ごとの位相差量と撮像光学系１０４の絞り値等の撮像パラメータに基づいて、主要被写体に対する撮像光学系１０４のデフォーカス量を算出する。デフォーカス量とは、合焦している位置までの距離（合焦距離）と被写体までの距離との差分の絶対値であり、被写体が合焦位置より奥にあるか手前にあるかに関わらず、被写体が合焦位置と離れているほど、デフォーカス量は大きくなる。なお、撮像系制御部１０７は、ピントを合わせたい被写体のデフォーカス量が大きい場合は、被写体のデフォーカス量が小さくなるように合焦位置を制御することでピントを調整する。
【００２４】
画像回復部３０３は、Ａ／Ｄ変換部１０６から通常画像を受け取り、撮像系の光学特性によって生じた画質劣化を補正するための画像回復処理を施す。画像回復処理に際し、画像回復部３０３は、位相差量算出部３０１が算出した領域ごとの位相差量や、撮像光学系１０４の構成、合焦距離等を参照する。回復フィルタ記憶部３０４には画像回復部３０３が使用する回復フィルタが保存されている。回復フィルタは撮像光学系１０４の種類や、後述する回復の強度を示す係数αに応じ複数の種類が格納されている。
【００２５】
画像処理部３０５は、画像回復部３０３から回復処理済みの画像を受け取り、種々の画像処理を施して画素ごとにＲ，Ｇ，Ｂの３色に対応した値を持つＲＧＢ画像データを生成する。ここでいう画像処理には例えばデモザイキング、ノイズリダクション、ホワイトバランス制御、色変換、ガンマ変換などが含まれる。これらの画像処理については既知の手法が適用可能であるため、ここでの説明は省略する。
【００２６】
（回復フィルタ）
以下、本実施形態における画像回復処理に使用する回復フィルタの概要について説明する。まず、撮像光学系１０４を通って光学特性によって劣化した画像ｇ（ｘ，ｙ）と、光学特性による劣化のない理想的な画像をｆ（ｘ，ｙ）とすると、画像ｇ（ｘ，ｙ）と画像ｆ（ｘ，ｙ）には式（１）が成り立つ。
【００２７】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）・・・（１）
式（１）においてｈ（ｘ，ｙ）は、撮像光学系１０４のＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：光学伝達関数）のフーリエ変換ペアである点像分布関数（ＰＳＦ）である。また、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の画素位置を示す。次に、式（１）をフーリエ変換して周波数領域により表現する形式に変換すると、以下の式（２）のように、周波数ごとの積の形式で示される。
【００２８】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（２）
式（２）において、Ｈ（ｕ，ｖ）は式（１）におけるＰＳＦであるｈ（ｘ，ｙ）をフーリエ変換した関数であり、ＯＴＦである。またＧ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ，ｆをフーリエ変換したものである。なお、（ｕ，ｖ）は２次元周波数領域での座標、すなわち周波数を示す。ここで、撮影によって取得される画像ｇ（ｘ，ｙ）から、劣化のない理想的な画像ｆ（ｘ，ｙ）を得るためには、以下の式（３）に示すように、式（２）の両辺をＨ（ｕ，ｖ）により除算すればよい。
【００２９】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・・・（３）
式（３）におけるＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して空間領域に戻すことで、画像ｆ（ｘ，ｙ）が光学特性による劣化を回復した画像として得られる。ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをｒとする。すると式（３）式は、式（４）に変換される。
【００３０】
ｇ（ｘ，ｙ）＊ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・・・（４）
式（４）によれば、空間領域での画像に対するコンボリューション処理を行うことで、画像ｆ（ｘ，ｙ）を取得できることが示されている。このように、ＯＴＦをフーリエ変換した結果の逆数を、さらに逆フーリエ変換することで得られる逆フィルタｒ（ｘ，ｙ）を、回復フィルタとして用いる。
【００３１】
さらに本実施形態では、このような逆フィルタを用いた回復処理、すなわち式（４）に示す演算において、領域ごとの位相差量に基づいてフィルタの強度を調整する。具体的には、周波数領域での回復処理を示した上記式（３）に対して、回復の強度を示す係数αを追加し、式（５）のように演算する。
【００３２】
Ｇ（ｕ，ｖ）／｛αＨ（ｕ，ｖ）＋（１−α）｝＝Ｆ（ｕ，ｖ）・・・（５）
式（５）に示す通り、回復フィルタの強度αは、ＯＴＦをフーリエ変換した結果の逆数に乗算する係数である。式（５）において、α＝０とする場合は、Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）となり、実質的な回復が行われない。また、α＝１と設定すると式（４）と同等の回復が行われることになる。従って、領域毎に０から１の範囲で視差量に応じたαの値を設定することよって、回復の度合いを滑らかに変化させる。
【００３３】
本実施形態では、予め複数の値をαとして回復フィルタｒ（ｘ，ｙ）を算出し、回復フィルタ記憶部３０４に格納しておく。画像回復部３０３は、領域ごとに位相差量に応じてαを導出し、導出したαに対応する回復フィルタを回復フィルタ記憶部３０４から選択する。画像回復部３０３は、αを用いて回復フィルタの強度を制御することで、回復処理の度合いを調整する。
【００３４】
（撮像方法）
次に、撮像装置を使用した撮像方法について説明する。図４は、本実施形態における撮像方法の処理の流れを示すフローチャートである。なお以下の各工程（ステップ）を「Ｓ」を用いて表記することとする。
【００３５】
Ｓ４０１において信号処理部１０８が、位相差画像ペアを取得する。ここでは２つの光電変換素子について電気信号が個別に読みだされ、左眼用画像のＲＡＷ画像データと右眼用画像のＲＡＷ画像データが生成される。
【００３６】
Ｓ４０２において位相差量算出部３０１は、Ｓ４０１で生成した位相差画像ペアのＲＡＷ画像データにおける領域ごとに位相差量を算出する。
【００３７】
図５は、点光源を被写体として仮定した場合のある領域における位相差画像のＸ軸方向の輝度分布を模式的に示した図である。説明の簡便のため、ここではＲＧＢ３色のうちＧのチャンネルについてのみ説明する。横軸はＸ方向における画素位置である。縦軸は、Ｘ座標ごとにＲＧＢのうちＧの画素を抜き出し、Ｙ軸方向に平均した輝度である。前述の通り、デフォーカス量とは、合焦距離と被写体距離との差分の絶対値であり、被写体が合焦位置と離れているほど、デフォーカス量は大きくなる。
【００３８】
また絞り値とは、絞りの開き具合を調整するための値であり、レンズを通る光の量を制御する。絞り値を大きくすると、絞りが絞られてレンズを通る光の量が少なくなるため暗くなり、さらに合焦しているように見える領域が広がる。
【００３９】
図５（ａ）では、絞り値として大きい値を設定して撮像した状態で、被写体が合焦距離より奥側に存在している場合の輝度分布を示している。位相差量算出部３０１は、左眼用画像と右眼用画像それぞれの輝度分布に対してガウスフィッティングを行い、各々のピーク位置のＸ軸座標を取得する。単位は画素数であるが、ピーク位置をサブピクセル単位で検出可能であれば、座標を小数値として取得することが望ましい。ここで、右眼用画像のピーク位置の座標から左眼用画像のピーク位置の座標を減算した結果を位相差量とする。被写体が合焦距離より手前側にある場合、被写体が合焦距離より奥側にある場合と左眼用画像と右眼用画像のＸ軸上での位置関係が反転する。そのため、被写体が合焦距離より手前側にあるか奥側にあるかによって、位相差量の値の正負も反転する。ここでは、被写体が合焦距離より奥側にある場合に位相差量が正の値をとるものして、以降の説明を行う。
【００４０】
図５（ｂ）は、図５（ａ）に対し、被写体が奥側にあり、かつより合焦距離に近い位置にある（デフォーカス量が小さい）場合の輝度分布を示している。図５（ａ）の場合、左眼用画像の輝度分布の位置と右眼用画像の輝度分布の位置は、図５（ｂ）と比べて大きく異なっている。図５（ｂ）の場合、右眼用画像と左眼用画像の輝度分布の間隔が狭まり、図５（ａ）の状態に対し位相差量が低減する。また、右眼用画像と左眼用画像の輝度値を加算した波形（合成波）が、最終的な撮影画像における輝度分布となる。図５（ｂ）では右眼用画像と左眼用画像の合成波が、図５（ａ）の合成波よりシャープな形状となり、被写体が合焦位置に近づくことによって画像のぼけ量が小さくなっていることがわかる。
【００４１】
図５（ｃ）では、図５（ａ）における被写体と合焦距離の関係は同じであり、絞り値を小さくした場合の輝度分布を示している。この場合、絞りの解放によって輝度分布のガウスフィッティング時の半値幅が拡大する。さらに、ピーク位置がずれることで、位相差量も増大する。また、絞りの解放によって錯乱円が拡大するため、撮像画像のぼけ量も増大する。
【００４２】
図５（ｄ）は、図５（ｂ）における被写体と合焦距離の関係は同じであり、絞り値を図５（ｃ）と同様に小さくした場合の輝度分布を示している。この場合も、図５（ｂ）に対して位相差量が増大するとともに、撮影画像のぼけ量も増大する。また、図５（ｃ）に対しては、位相差量が低減するとともに被写体が合焦位置に近づくことによって画像のぼけ量が小さくなる。
【００４３】
ここで、図５（ａ）および（ｄ）のデフォーカス量は互いに異なるが、検出される位相差量はともに図５（ｂ）より大きく、図５（ｃ）より小さい。また、画像のぼけ量も同様に、図５（ａ）および図５（ｄ）ともに図５（ｂ）より大きく、図５（ｃ）より小さい。従来、ピント位置から離れるほど被写体はぼけるため、被写体距離やデフォーカス量を用いて、ぼけを回復する回復フィルタを設定する方法もあった。しかしながらぼけ量は、レンズの絞り値の影響もうけるため、同じデフォーカス量であっても異なるぼけ量である場合もある。そのため、デフォーカス量に基づいて回復処理の強度を制御すると、必ずしも適切な回復フィルタを設定できない。そこで本実施形態では、位相差量に基づいて、回復フィルタを制御する。図５に示すように、位相差量が大きいほど画像のぼけ量も大きく、位相差量は撮像時の画像のぼけ量との相関が高いことがわかる。画像のぼけ量は位相差量が０のときに最小となり、正方向、負方向ともに、位相差量の絶対値の増加に伴い画像のぼけ量も増加する。
【００４４】
なお、図５では説明の簡便のため被写体を点光源と仮定したが、自然画像中の被写体を対象として位相差量を算出する場合は、ハイパスフィルター等を用いて画像のピーク位置を検出することで位相差量を検出できる。
【００４５】
ここで図４に戻り、Ｓ４０３において、Ｓ４０３において算出した領域ごとの位相差量に基づいて、デフォーカス量算出部３０２は主要被写体のデフォーカス量を算出する。上述したように、位相差量の大小はデフォーカス量の大小とは単純には一致しない。そのため、デフォーカス量算出部３０２は撮像系制御部１０７を通じて撮像光学系１０４の現在の合焦距離や絞り値等のパラメータを取得し、合焦距離や絞り値等のパラメータに基づいて、デフォーカス量を算出する。位相差量を用いたデフォーカス量の算出については既知の手法が適用可能であるため、ここでの詳細な説明は省略する。
【００４６】
Ｓ４０４において撮像系制御部１０７は、Ｓ４０３において算出したデフォーカス量に基づき、撮像光学系１０４のフォーカスレンズの位置を調整する。
【００４７】
Ｓ４０５においてＣＰＵ１０１は、ＡＦ（オートフォーカス）処理が終了したか否かを判定する。撮像光学系１０４が主要被写体に合焦していると判断される場合、処理はＳ４０６へ進む。そうでない場合、Ｓ４０１に戻り再度フォーカスの調整を行う。
【００４８】
Ｓ４０６において位相差量算出部３０１は、ＡＦ処理完了時の各領域の位相差量をＲＡＭ１０３に一時保存する。
【００４９】
Ｓ４０７において信号処理部１０８は、通常画像を取得する。前述の通り通常画像とは、各画素について２つの光電変換素子からの加算された電気信号が読みだされることで生成されたＲＡＷ画像である。
【００５０】
Ｓ４０８において画像回復部３０３は、Ｓ４０７において取得されたＲＡＷ画像に対し、回復フィルタを用いてフィルタ処理することで、回復処理を施す。回復処理の詳細については後述する。
【００５１】
Ｓ４０９において画像処理部３０５は、Ｓ４０８において回復処理が施されたＲＡＷ画像に対し、種々の一般的な画像処理を施し、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）それぞれに対応するカラー画像を生成する。
【００５２】
Ｓ４１０においてエンコーダ１０９は、Ｓ４０９において生成されたＲＧＢ画像を所定のフォーマットにエンコードし、メディアＩ／Ｆ  １１０を通じて予め指定されたメディアに保存する。また、必要に応じて、左眼用画像、右眼用画像、Ｓ４０６において算出した位相差量、回復フィルタ強度αの値等を保存してもよい。
【００５３】
（回復処理の詳細）
以下、本実施形態のＳ４０８において画像回復部３０３が実施する回復処理の詳細について、詳細に説明する。図６は、本実施形態における画像回復処理の流れを示すフローチャートである。ＣＰＵ１０１は、図６に示すフローチャートを実現可能なプログラムを読み出し実行することで、各構成が実現される。
【００５４】
Ｓ６０１において画像回復部３０３は、撮像光学系１０４の種類に応じ、回復フィルタ記憶部３０４から回復フィルタテーブルを取得する。回復フィルタテーブルとは、ある撮像光学系の構成と合焦距離に対応した、複数のα値（例えば、α＝０．０からα＝１．０まで０．１刻み）それぞれの回復フィルタのセットである。撮像光学系１０４の構成や合焦距離に関する情報は、撮像系制御部１０７によって提供される。たとえばここでは、ズームレンズであるレンズ１、固定焦点のレンズ２を想定するものとする。この場合回復フィルタ記憶部３０４は、レンズ１のズーム時に対応する回復フィルタについて、上記α＝０．０からα＝１．０まで０．１刻みの１１段階のうち、互いに異なるα値が設定された１１個のフィルタと有する。そして、レンズ１のワイド時に対応する回復フィルタについて、先と同様に互いに異なるα値が設定された１１個のフィルタを有する。また、レンズ２に対応する回復フィルタについても、先と同様に互いに異なるα値が設定された１１個のフィルタを有する。画像回復部３０３は、レンズの型番とズームかワイドか、および位相差量に基づいて、フィルタを選択する。
【００５５】
Ｓ６０２において画像回復部３０３は、一時保存されたＡＦ処理完了時の各領域の位相差量を読み出し、各領域のα値を決定する。図７は、位相差量とα値の関係の一例を示した図である。位相差量がゼロ、すなわち被写体に合焦している状態ではα＝１とし、手前側、奥側ともに、位相差量の増大に伴ってα値が減少する。位相差量が所定値を超えた時点でα＝０となり、所定値より位相差の大きい領域では回復処理は行われない。
【００５６】
続くＳ６０３およびＳ６０４の処理は、全ての領域に対し反復的に実行される。
【００５７】
Ｓ６０３において画像回復部３０３は、Ｓ６０２において算出したα値に応じ、各領域に適用する回復フィルタを回復フィルタテーブルから選択し、設定する。本実施形態においては処理対象とする領域に対して決定されたα値に最も近いα値の回復フィルタを選択するものとする。なお、α値については近傍の画素領域間で補間演算を行い、画素ごとに連続的に変化するようなα値を改めて算出してもよい。また回復フィルタついても、算出されたα値に近いα値を持つ複数の回復フィルタをテーブルから取得し、補間演算等によって所望のα値に対応する回復フィルタを設定してもよい。
【００５８】
Ｓ６０４において画像回復部３０３は、領域に含まれる各画素に対してＳ５０３において取得した回復フィルタを用いたフィルタ処理（畳み込み演算）を行い、回復処理後の画素値を算出する。
【００５９】
以上で、本実施形態における回復処理が完了する。これにより領域ごとに、画像のぼけ量に応じた強度の回復処理を実施することができる。
【００６０】
先述の通り、画像における各領域の位相差量は、画像のぼけ量との相関が高い。そのため、位相差量の大きい領域は被写体がぼけていて回復処理の効果が低いか、撮影者によって意図的にぼけを生じさせている可能性が高い。従って、本実施形態に従い、位相差量の小さい（ぼけていない）領域に集中的に回復処理を行うことで、ノイズ成分の強調を抑制することが可能となる。
【００６１】
＜第２の実施形態＞
第１の実施形態では、撮像装置に起因する画質劣化を補正する例を示したが、本発明はプリンタやモニタなどの出力装置に起因する画質劣化を補正する方法としても実施可能である。第２の実施形態では、一般的なパーソナルコンピューター上で、プリンタ出力に伴う画質劣化を出力前にあらかじめ補正する手法について説明する。
【００６２】
（画像処理装置）
図８は、本発明を構成する画像処理装置の構成を示すブロック図である。８０１は、第１の実施形態で説明したものと同等の撮像装置である。また、８０２はプリンタである。本実施形態では、プリンタ８０２に起因する画質劣化を補正する画像回復処理を行う。
【００６３】
８０４から８０９は画像処理装置８０３の構成要素である。画像処理装置８０３は一般的なパーソナルコンピューターとその周辺機器であり、画像表示部８０４、キーボードやマウス等のＵＩ部８０５を備える。またＣＰＵ８０６、メインメモリ８０７、ＨＤＤやＳＳＤ等のデータ保存部８０８、外部のデバイスやネットワーク等に接続可能なＵＳＢやＷｉ−Ｆｉ等の通信部８０９、メインバス８１０を備える。また、通信部８０９を介して撮像装置８０１およびプリンタ８０２と接続されている。
【００６４】
本実施形態における画像回復処理は、上記ハードウェア構成における汎用ＯＳ上で動作する画像処理アプリケーション上で実現される。尚、本実施例における汎用ＯＳ、並びに画像処理アプリケーションは、公知の技術によって達成可能なソフトウェアプログラムによって実現可能である。よって、画像処理アプリケーションが汎用ＯＳ上で動作する詳細については、説明を省略する。
【００６５】
図９は、本発明を構成する画像処理装置の論理構成を示すブロック図である。データ保存部８０８には、撮像装置８０１から出力された通常画像および、各領域の位相差情報が保存されている。この通常画像および位相差情報は、第一の実施形態のＳ４１０の処理で出力されたものである。また、プリンタ８０２の種々の出力条件における縦および横方向のＳＦＲが保存されている。
【００６６】
９０１は、画像回復処理を行うアプリケーションソフトウェアである。
【００６７】
画像取得部９０２は、データ保存部８０８から画像回復処理の対象となる画像を読みだす。
【００６８】
位相差量取得部９０３は、データ保存部８０８から対象の画像の、領域ごとの位相差量情報を読み出す。
【００６９】
出力条件取得部９０４は、ＵＩ部８０５を通じ、ユーザーの指示に基づき、プリンタ８０２の機種や使用する用紙の種類、印刷品質などの出力条件を取得する。
【００７０】
ＳＦＲ取得部９０５は、出力条件取得部９０４が取得した出力条件に基づき、データ保存部８０８から対応したＳＦＲ情報を読み出す。
【００７１】
回復フィルタ設定部９０６は、ＳＦＲ情報と各領域の位相差量情報に基づき、各領域で使用する回復フィルタを作成する。ＳＦＲ情報と回復フィルタの詳細については後述する。
【００７２】
画像回復部９０７は、回復フィルタ設定部９０６が設定した各領域の回復フィルタを用いて画像の各領域の回復処理を行い、回復処理後の領域を連結して出力用の画像を生成する。
【００７３】
画像出力部９０８は、画像回復部９０７が生成した出力用の画像を所定のフォーマットに変換し、プリンタ８０２を駆動して、出力条件取得部９０４が取得した出力条件での出力を行う。
【００７４】
（プリンタのＳＦＲ）
以下、本実施形態で回復フィルタの設定に使用するＳＦＲ情報の概要について説明する。図１０は、プリンタ８０２のＳＦＲの一例を示した図である。実線は出力画像の縦方向、破線は横方向の周波数ごとの伝達率を示しており、画像の低周波成分は劣化が小さく、より高周波ほど劣化（ぼけ）が大きくなることを示している。
【００７５】
以下、プリンタのある出力条件におけるＳＦＲを取得する方法について説明する。まず、縦横それぞれのエッジ画像（白から黒へ不連続に変化する画像）を該当の出力条件で出力し、出力物をイメージスキャナで輝度画像データとして取り込む。続いて、取り込んだ画像のエッジと平行な方向の輝度平均を取り、エッジと垂直な方向のエッジ断面の輝度分布を得る。続いて、ラインの輝度分布の各画素と隣接画素の差分を算出し、輝度傾き分布を得る。その後、輝度傾き分布の一次元フーリエ変換を行い、各周波数の振幅と位相の二乗和平方根を取ったリニアスペクトルを算出する。各ラインのリニアスペクトルの平均値を算出し、ＤＣ成分で全体を除算して正規化することで、図１０に示すような形状の減衰曲線を得ることができる。
【００７６】
このＳＦＲ特性はプリンタ出力による劣化とスキャナによる劣化の双方を含んでいる。別途、理想的なエッジに近い印刷物をスキャンしてスキャナ単体のＳＦＲ特性を算出し、プリンタ出力物から算出したＳＦＲ特性をスキャナ単体のＳＦＲ特性で除算することで、プリンタ単体のＳＦＲ特性を算出することができる。
【００７７】
（回復フィルタ）
以下、本実施形態で画像回復処理に使用する回復フィルタの概要について説明する。本実施形態における回復フィルタは、対象の画像領域を離散フーリエ変換（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）した周波数空間上で、各周波数成分に乗算される係数群である。回復フィルタの各係数は、プリンタの縦および横方向のＳＦＲと、フィルタ係数αに基づいて算出される。
【００７８】
ある周波数成分の縦方向の周波数をｕ、横方向の周波数をｖとする。縦方向のＳＦＲをＳＦＲＹ（ｖ）、横方向のＳＦＲをＳＦＲＸ（ｕ）とした場合、プリンタへの入力画像をフーリエ変換したものをＦ（ｕ，ｖ）、出力画像をフーリエ変換したものをＧ（ｕ，ｖ）とする。プリンタによる画質の劣化は式（６）のように表現できる
Ｇ（ｕ，ｖ）＝ＳＦＲＸ（ｕ）・ＳＦＲＹ（ｖ）・Ｆ（ｕ，ｖ）・・・（６）
ここで、プリンタによる劣化を回復するための回復フィルタをｋ（ｕ，ｖ）とすると、回復処理は式（８）のように表すことができ、回復フィルタｋ（ｕ，ｖ）の各要素は式（７）のように算出される。
【００７９】
Ｆ（ｕ，ｖ）＝ｋ（ｆｘ，ｆｙ）・Ｇ（ｕ，ｖ）・・・（７）
ｋ（ｆｘ，ｆｙ）＝１／ＳＦＲＸ（ｕ）／ＳＦＲＹ（ｖ）・・・（８）
本実施形態においても、領域ごとの位相差量に基づいて回復処理の強度を調整するため、回復の強度を示す係数αを用いて、回復処理の式（７）を次式（９）のように補正する。
【００８０】
Ｆ（ｕ，ｖ）＝ｋ（ｆｘ，ｆｙ）＾α・Ｇ（ｕ，ｖ）・・・（９）
式（９）において、α＝０とする場合は、Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）となり、実質的な回復が行われない。また、α＝１と設定すると式（７）と同等の回復が行われることになる。従って、領域毎に０から１の範囲で視差量に応じたαの値を設定することよって、回復の度合いを滑らかに変化させる。あるいは、第１の実施形態の式（５）に倣い、式（１０）のようにしてもよい。
【００８１】
Ｇ（ｕ，ｖ）・｛αｋ（ｕ，ｖ）＋（１−α）｝＝Ｆ（ｕ，ｖ）・・・（１０）
回復フィルタの強度は光学系の光学伝達関数をフーリエ変換した結果の逆数を底とした際の冪指数である。その強度は回復フィルタを適用した画像と回復フィルタを適用しない画像との線形和を取る際の係数であっても良い。
【００８２】
（画像回復処理および画像出力）
以下、本実施形態における画像処理の方法について説明する。図１１は、本実施形態における画像回復処理および画像出力の流れを示すフローチャートである。
【００８３】
Ｓ１１０１において、画像取得部９０２はデータ保存部８０８から通常画像を読み出す。
【００８４】
Ｓ１１０２において、ユーザーは出力条件取得部９０４に対し、ＵＩ部８０５を通じて出力条件の指示を行う。ＳＦＲ取得部９０５は出力条件取得部９０４が受け取った出力条件に基づき、データ保存部８０８から該当するＳＦＲ情報を読み出す。
【００８５】
Ｓ１１０３は、入力画像の各領域に対して、以下のＳ１１０４からＳ１１０８の処理を反復して実行するためのループ制御である。ここで各領域は、Ｓ１１０１で読み出した通常画像内の６４画素×６４画素の矩形領域である。各領域は、第一の実施形態で説明した１６画素×１６画素の矩形領域（以下、小領域と呼ぶ）を１６個含んでおり、領域の境界は端部の小領域の境界と一致する。各領域と隣接する領域は１６画素の幅で重なっている。領域のサイズや配置は一例であり、異なるサイズであったり、隣接領域との重複の幅が異なったり、隣接領域と重複しない配置であったりしても良い。
【００８６】
Ｓ１１０４において、位相差量取得部９０３は、領域の位相差量を算出する。具体的には、領域内の小領域のうち内側に位置する４つの小領域の位相差量をデータ保存部８０８から読み出し、平均値を算出する。
【００８７】
Ｓ１１０５において、回復フィルタ設定部９０６は、Ｓ１１０４で算出した位相差量に基づき、Ｓ６０２と同様にα値の算出を行う。
【００８８】
Ｓ１１０６において、画像回復部９０７は、領域の画像のフーリエ変換を行う。
【００８９】
Ｓ１１０７において、画像回復部９０７は、フーリエ変換によって得られた画像の周波数成分に対し、Ｓ１１０５で算出したα値とＳ１１０２で取得したＳＦＲ情報に基づき、式（９）で示した回復処理を行う。回復フィルタの強度は、光学伝達関数をフーリエ変換した結果の逆数を底とした際の冪指数である。
【００９０】
Ｓ１１０８において、画像回復部９０７は、回復処理後の周波数成分の逆フーリエ変換を行い、回復処理後の領域の画像を算出する。
【００９１】
Ｓ１１０９において、画像回復部９０７は、各領域の回復処理後の画像を連結し、入力画像全体の回復処理後の画像を生成する。連結に際し、領域と隣接領域との重複部分については、各領域端からの距離に応じた重みづけで線形結合を行う。これにより、連結後の画像において、領域ごとの回復強度αの差に起因する視覚的な段差が生じないようにする。
【００９２】
Ｓ１１１０において、画像出力部９０８はプリンタ８０２を駆動し、Ｓ１１０９で生成した画像をＳ１１０２で取得した出力条件で出力する。
【００９３】
以上で、本実施形態における画像回復処理および画像の出力が完了する。これにより、画像のプリンタ出力を行う場合においても、領域ごとの画像のぼけ量に応じた強度の回復処理を実施することができる。
【００９４】
なお、上記したＳ１１０４では各小領域の位相差量をデータ保存部８０８から読み出したが、予めデータ保存部８０８に撮像装置８０１が算出した各小領域のα値を保存し、それを位相差量の代わりに読み出しても良い。この場合、領域内の小領域のうち内側に位置する４つの小領域のα値を読み出して平均を取り、その値をＳ１１０７の処理に用いる。
【００９５】
あるいは、アプリケーションソフトウェア９０１がデータ保存部８０８から左眼用画像および右眼用画像を読み出し、撮像装置８０１の代わりに位相差量の算出や通常画像の生成を行っても良い。
【００９６】
本実施形態に従い、位相差量の小さい領域に集中的に回復処理を行うことで、画像を出力する場合においても、ノイズ成分の強調を抑制することが可能となる。
【００９７】
＜その他の実施形態＞
第１の実施形態では射出瞳面をＸ軸方向に２分割した光電変換素子を使用する例について説明した。しかし、画素あるいは領域ごとの像面位相差検出が可能であれば、光電変換素子の構成はこれに限定されない。例えば、より多くの光電変換素子を用いて３つ以上に射出瞳面を分割し、それらを組み合わせて位相差を検出してもよい。また、分割の方向もＸ軸方向に限らない。
【００９８】
また、第１の実施形態では画像生成時、光電変換素子から得た電気信号を加算した後にＡ／Ｄ変換を行っているが、光電変換素子ごとにＡ／Ｄ変換を行い、得られたデジタル値を加算して通常画像を生成してもよい。
【００９９】
また、第１の実施形態ではＲＡＷ画像に対して回復処理を行っているが、処理の順序を変更し、ＲＡＷ画像をデモザイキングした後のＲＧＢ画像それぞれに対して回復処理を行ってもよい。あるいは、他の任意の色空間に変換した上で回復処理を行ってもよい。
【０１００】
また、第１の実施形態および第２の実施形態では、取得した通常画像に対して画像回復処理を行っているが、合成前の位相差画像ペアの左眼用画像および右眼用画像に対して回復処理を行っても良い。また、回復処理後の位相差画像ペアを用いて通常画像を生成しても良い。
【０１０１】
また、第１の実施形態では、信号処理部１０８における各種処理はソフトウェアとして実装されるものとしたが、信号処理の各構成の一部または全部がチップ上に構成された電子回路によって実装されていても良い。
【０１０２】
また、第１の実施形態では撮像装置を例に説明したが、これに限定されない。例えば、信号処理部１０８を撮像装置とは異なる画像処理装置に内蔵してもよい。より具体的には、一般的なパーソナルコンピューター上で第１の実施形態に示す回復処理のコンピュータープログラムを実行し、外部から取得した撮像画像と位相差情報を読み込んで回復処理を実行することもできる。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は少なくとも１つ以上のメモリまたは記憶媒体を介してシステム又は装置に供給する。そのシステム又は装置のコンピュータにおける少なくとも１つ以上のプロセッサがそのプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
３０１  位相差量算出部
３０３  画像回復部
３０４  回復フィルタ記憶部
３０５  画像処理部
【図１】
2019186905.tif 000003
【図２】
2019186905.tif 000004
【図３】
2019186905.tif 000005
【図４】
2019186905.tif 000006
【図５】
2019186905.tif 000007
【図６】
2019186905.tif 000008
【図７】
2019186905.tif 000009
【図８】
2019186905.tif 000010
【図９】
2019186905.tif 000011
【図１０】
2019186905.tif 000012
【図１１】
2019186905.tif 000013