【手続補正書】
【提出日】平成26年5月12日(2014.5.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系を用いた撮像により生成された入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を記憶する記憶部と、
前記撮像時の撮像条件の情報を取得する撮像条件取得部と、
前記撮像時の撮像条件が前記特定の撮像条件に対して一致するときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行う処理部とを有することを特徴とする画像処理装置。
【請求項２】
前記処理部は、前記ぼけ検出処理を、前記撮像時の撮像条件の情報を用いて得られる、前記特定のぼけ成分が発生する特定の物体距離範囲に対応する画像領域で行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理部は、前記ぼけ検出処理を、Ｃ×Ｃ個の画素を含む領域で行い、
ｄｅｆを前記光学系のデフォーカス量とし、Ｐを前記画素のピッチとするとき、
１＜Ｃ＜ｄｅｆ／Ｐ
なる条件を満足することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特定のぼけ成分は、前記入力画像の中心と該特定のぼけ成分の重心とを結ぶメリジオナル方向に延びる対称軸に関して対称なぼけ成分であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記処理部は、前記ぼけ検出処理を、前記入力画像のうち微分フィルタを使用してエッジが検出されない画像領域で行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記処理部は、前記ぼけ検出処理を、前記入力画像のうち輝度飽和画素の周辺の画像領域で行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理部は、前記ぼけ検出処理を、前記入力画像を構成する複数の色成分のうち最も強度が高い色成分に対して行うことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項８】
前記撮像条件として、前記光学系の焦点距離およびＦナンバーと、撮影距離とを用いることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記入力画像における物体距離分布の情報を取得し、
前記撮像条件として、前記物体距離分布の情報から得られるデフォーカス量を用いることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記処理部は、前記特定のぼけ成分の形状に関するデータを用意し、
前記ぼけ検出処理において該データを参照することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記処理部は、前記特定のぼけ成分の形状に関するデータを、それぞれ異なる前記特定の撮像条件ごとに用意し、
前記撮像時の撮像条件に対して一致する前記特定の撮像条件に対応する前記データを参照することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記処理部は、前記ぼけ検出処理により検出された前記特定のぼけ成分を除去または低減するためのぼけ補正処理を行うことを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記処理部は、前記入力画像に対して前記ぼけ補正処理が行われた結果画像に対して、画像回復処理を行うことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
光学系を用いて撮像を行い、入力画像を生成する撮像系と、
請求項１から１３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１５】
コンピュータに、
光学系を用いた撮像により生成された入力画像を取得するステップと、
前記入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するとともに、前記撮像時の撮像条件の情報を取得するステップと、
前記撮像時の撮像条件が前記特定の撮像条件に対して一致するときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。
【請求項１６】
光学系を用いた撮像により生成された入力画像を取得するステップと、
前記入力画像に前記光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、
前記撮像時の撮像条件の情報を取得するステップと、
前記撮像時の撮像条件が前記特定の撮像条件に対して一致するときに、前記入力画像に含まれる前記特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを有することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像を取得する画像取得部と、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を記憶する記憶部と、撮像時の撮像条件の情報を取得する撮像条件取得部と、撮像時の撮像条件が特定の撮像条件に対して一致するときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行う処理部とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮像により生成された入力画像を取得するステップと、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、撮像時の撮像条件の情報を取得するステップと、撮像時の撮像条件が特定の撮像条件に対して一致するときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを含む処理を実行させることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の他の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像を取得するステップと、入力画像に光学系に起因した特定のぼけ成分を発生させる特定の撮像条件の情報を用意するステップと、撮像時の撮像条件の情報を取得するステップと、撮像時の撮像条件が特定の撮像条件に対して一致するときに、入力画像に含まれる特定のぼけ成分を検出するためのぼけ検出処理を行うステップとを有することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
さらに、図１（ａ），（ｄ），（ｇ）に示したぼけ以外の形状を有するぼけ、例えば、図１（ｇ）に示した回折によるぼけに、図１（ａ）や図１（ｄ）に示した収差によるぼけが足されたぼけも、不均一ぼけに含まれる。つまり、不均一ぼけとしての条件を満たせば、その形状にかかわらず不均一ぼけとして扱う。例えば、メリジオナル方向とサジタル方向の長さのうち長いほうを長軸方向とし、短い方向を短軸方向とした場合に、長軸方向が短軸方向の１．３倍以上であることを不均一ぼけとして扱う条件としてもよい。  また、図２に示すように、ぼけの０度方向、４５度方向、９０度方向および１３５度方向の長さを検出し、これら４方向でのぼけの長さの最大値と最小値の比が１．３以上であることを不均一ぼけとして扱う条件としてもよい。
「特定物体距離範囲」
実施例において、不均一ぼけの検出処理を行う物体距離の範囲を、特定物体距離範囲という。図３には、不均一ぼけが発生する物体距離範囲を示している。図３の縦軸は撮像画面（入力画像）中の被写体までの物体距離を示し、横軸は撮像光学系のピントが合っている物体距離（合焦物体距離）を示す。平面ではない被写体を撮像した場合、取得される画像は、物体距離が異なる複数の被写体を内包する。その中でピントが合っている被写体の物体距離が合焦物体距離であり、入力画像中における該合焦物体距離に対応する被写体が含まれる画像領域が合焦画像領域である。図３中の斜線が合焦物体距離を示す。そして、この合焦物体距離から外れた物体距離範囲が非合焦物体距離範囲であり、非合焦物体距離範囲に対応する画像領域が、非合焦画像領域である。非合焦画像領域の中で、撮像条件を示すパラメータ情報（以下、撮像条件パラメータ情報という）から決定される不均一ぼけの発生領域、つまりは特定物体距離範囲において不均一ぼけ検出処理を行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
不均一ぼけを検出する際に、不均一ぼけがメリジオナル方向においてサジタル方向に延びる対称軸に関して対称な形状を有することを利用するとよい。このことについて、図９を用いて説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
なお、図４では、距離マップを取得する場合について説明したが、距離マップは必ずしも取得しなくてもよい。この場合は、入力画像の全体を特定物体距離範囲とし、撮像条件パラメータ情報と特定撮像条件パラメータ情報とが一致した場合に、入力画像全体に対して不均一ぼけ検出処理を行う。この場合、距離マップを用いる場合に比べて検出精度は下がるおそれがあるが、距離マップの取得負荷が削減される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
図１８のフローチャートには、本発明の実施例３である画像処理装置が搭載された撮像装置にて行われる画像処理方法を示している。本実施例では、ステップＳ４０１にてシャッタボタンの全押しの前または後に撮像時の撮像条件パラメータ情報を取得する。そして、ステップＳ４０２にて、シャッタボタンの全押しの後（撮像後）にデータベースから特定撮像条件パラメータ情報を読み出して、距離マップを取得する。この際に、上述した瞳分割による距離マップの取得を行う。また、ステップＳ４０３では、特定撮像条件パラメータ情報と撮像時の撮像条件パラメータ情報と比較する。これらが一致しない（または所定の近接範囲にない）場合は、不均一ぼけの検出を行なわずにそのまま本処理を終了する。不均一ぼけの検出を行わないので、その整形処理も行わない。