(57)【特許請求の範囲】
【請求項１】
画像データのボケ修復を、被写体距離に応じて行うボケ修復手段と、
前記ボケ修復手段によるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正手段とを有し、
前記ボケ修復手段は、前記画像データが撮像された撮像装置の光伝達特性に基づく画像処理によって画像データのボケ修復を行い、
前記ボケ修復距離修正手段は、基準となる被写体距離と他の被写体距離との差に応じて、ボケ修復距離の間隔を設定することを特徴とする画像処理装置。
【請求項２】
前記基準となる被写体距離とは、前回に画像データに対してボケ修復をした際のボケ修復距離であり、前記ボケ修復距離修正手段は、前記基準となる被写体距離から所定被写体距離範囲内に被写体が存在する場合に、当該所定被写体距離範囲内に被写体が存在しない場合に比べてボケ修復距離の間隔を狭くすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像データから対象物を検出する検出手段をさらに備えた画像処理装置であって、前記基準となる被写体距離とは、前記対象物の被写体距離であり、前記ボケ修復距離修正手段は、前記基準となる被写体距離から所定被写体距離範囲内において、当該所定被写体距離範囲外よりもボケ修復距離の間隔を狭くすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像データのボケ修復を被写体距離に応じて行うボケ修復手段と、
前記ボケ修復手段によるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正手段とを有し、
前記ボケ修復距離修正手段は、画面の一部を拡大して表示する拡大表示に関する情報に応じて、ボケ修復距離の間隔を設定することを特徴とする画像処理装置。
【請求項５】
前記画面の一部を拡大して表示する拡大表示に関する情報とは、拡大表示中か否かの情報であり、前記ボケ修復距離修正手段は、当該拡大表示中の場合には、当該拡大表示中以外の場合に比べてボケ修復距離の間隔を狭くすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
撮影レンズを介して入射された被写体像光を光電変換して画像データを得る撮像手段と、
前記画像データを表示器に表示させるように制御する表示制御手段とをさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
画像データのボケ修復を被写体距離に応じて行うボケ修復ステップと、
前記ボケ修復ステップによるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正ステップとを有し、
前記ボケ修復距離修正ステップでは、基準となる被写体距離と他の被写体距離との差に応じて、ボケ修復距離の間隔を設定することを特徴とする画像処理方法。
【請求項８】
画像データのボケ修復を被写体距離に応じて行うボケ修復ステップと、
前記ボケ修復ステップによるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正ステップとを有し、
前記ボケ修復ステップでは、前記画像データが撮像された撮像装置の光伝達特性に基づく画像処理によって画像データのボケ修復を行い、
前記ボケ修復距離修正ステップでは、画面の一部を拡大して表示する拡大表示に関する情報に応じて、ボケ修復距離の間隔を設定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像内の被写体距離に基づいてボケ修復を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、撮像素子の画素群の間に焦点検出用画素を離散的に分布させ、焦点検出用画素からの信号に基づいて被写体距離を算出することが可能な撮像装置が特開２０００−１５６８２３号公報（特許文献１）に開示されている。特許文献１に開示されている構成をとることで、撮影画像内の被写体距離分布を取得することが可能である。
【０００３】
また、ボケ画像を復元して、ボケを修復した画像を生成する手法として、例えば、ウィーナーフィルタ、一般逆フィルタ、射影フィルタ等を適用する手法がある。このような手法を用いてボケ修復する技術が、特開２０００−２０６９１号公報（特許文献２）に開示されている。特許文献２に開示された技術を用いることで、撮影条件等に基づく物理的解析や、撮像装置内の測定装置からの出力に基づく推定等により劣化関数を求め、デコンボリューションと呼ばれる画像復元アルゴリズムによって、ボケ画像を復元することが可能となる。
【０００４】
通常、どの被写体距離にピントを合わせるかは、撮影時のフォーカス状態で決まってしまう。そのため、撮影後にピントが合っている被写体距離を変えることはできない。しかし、特許文献１に開示されている技術で撮影画像内の被写体距離分布を取得し、特許文献２に開示されているボケ修復技術でボケ修復を行えば、どの被写体距離にピントを合わせるかを、撮影後に変えることができる。
【０００５】
そもそも撮影時の画像は、撮影者の意図する被写体にピントが合っている保証がない。それは、焦点検出時の誤差や、撮影者の意図する被写体とは異なる位置で焦点検出を行ってしまったことによる。その結果、例えば、人物の目にピントの合った画像を得たかったのに対して、耳や鼻にピントがあった画像が得られることがある。そのため、撮影後のボケ修復により、画像内のピントが合っている被写体距離を変更できれば、撮影者の意図した被写体距離にピントの合った画像を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２０００−２０６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１と特許文献２に開示されている技術を撮像装置に適用した場合、撮影者が撮影画像のボケ修復やピント位置調整を行いにくいという問題があった。その理由は、次のようなものである。特許文献１と特許文献２に開示されている技術を用いれば、撮影後に、被写体距離に応じてボケ修復を切り替えることで、ピントが合っている被写体距離を変えられる。ボケ修復可能な被写体距離の間隔（以下、ピッチ）は、撮像装置が有する被写体距離に応じたボケ修復フィルタにより限界が設定され、被写体距離範囲を細かいピッチで分割したボケ修復フィルタを有する場合は、より細かいピッチでボケ修復が可能となる。ボケ修復可能な被写体距離の全範囲において、細かいピッチでボケ修復を行うと、必要とされる処理の内容が膨大である。そのため、必要なリソースは大規模になり、高価なハードウェアが必要となったり、ボケ修復処理に時間がかかったりといった問題があった。また、ボケ修復処理の内容を簡略化するために、ボケ修復フィルタを簡略化すると、ボケ修復後の画像の劣化具合が大きくなるという問題があった。
【０００８】
一方で、撮影画像や画像再生時の操作情報から、撮影者が、どの被写体にピントを合わせることを意図しているかが判別できる場合には、ボケ修復可能な被写体距離の範囲全てにおいて細かいピッチでピント位置の微修正を行う必要ない。この場合には、撮影者がピントを合わせたい被写体の被写体距離近傍のみ、ピント位置を細かいピッチで修正できれば、撮影者の意図する修復を行える。また、撮影者が、撮影画像を拡大表示している場合には、その表示範囲内に表示されている被写体にピントのあう位置近傍でのみ、細かいピッチでピント位置の修正が行えればよい。しかしながら、上述のような場合にも、ボケ修復可能な被写体距離の全範囲にわたって、細かいピッチでピント位置の微修正を行うと、撮影者にとって不要なボケ修復処理が必要となり、快適な作業が行えないといった問題があった。
【０００９】
（発明の目的）
本発明の目的は、ボケ修復を短時間で効率よく行うことができる画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の画像処理装置は、画像データのボケ修復を被写体距離に応じて行うボケ修復手段と、前記ボケ修復手段によるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正手段とを有し、前記ボケ修復手段は、前記画像データが撮像された撮像装置の光伝達特性に基づく画像処理によって画像データのボケ修復を行い、前記ボケ修復距離修正手段は、基準となる被写体距離と他の被写体距離との差に応じて、ボケ修復距離の間隔を設定することを特徴とする。
【００１１】
また、本発明の別の画像処理装置は、画像データのボケ修復を被写体距離に応じて行うボケ修復手段と、前記ボケ修復手段によるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正手段とを有し、前記ボケ修復手段は、前記画像データが撮像された撮像装置の光伝達特性に基づく画像処理によって画像データのボケ修復を行い、前記ボケ修復距離修正手段は、画面の一部を拡大して表示する拡大表示に関する情報に応じて、ボケ修復距離の間隔を設定することを特徴とする。また、本発明の画像処理方法は、画像データのボケ修復を被写体距離に応じて行うボケ修復ステップと、前記ボケ修復ステップによるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正ステップとを有し、前記ボケ修復距離修正ステップでは、基準となる被写体距離と他の被写体距離との差に応じて、ボケ修復距離の間隔を設定することを特徴とする。
【００１２】
また、本発明の別の画像処理方法は、画像データのボケ修復を被写体距離に応じて行うボケ修復ステップと、前記ボケ修復ステップによるボケ修復が行われる被写体距離であるボケ修復距離を修正するボケ修復距離修正ステップとを有し、前記ボケ修復距離修正ステップでは、画面の一部を拡大して表示する拡大表示に関する情報に応じて、ボケ修復距離の間隔を設定することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ボケ修復を短時間で効率よく行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例１である画像処理装置の構成を示す図である。
【図２】実施例１における撮像素子の撮像用画素を示す図である。
【図３】実施例１における撮像素子の焦点検出用画素を示す図である。
【図４】実施例１における撮像素子の他の焦点検出用画素を示す図である。
【図５】撮像素子の瞳分割状況を説明する概念図である。
【図６】被写体の距離情報を示す図である。
【図７】被写体距離とボケ修復可能な距離の関係を示す図である。
【図８】撮影画像のボケが修復される様子を示す図である。
【図９】実施例１である画像処理装置のメインフロー図である。
【図１０】実施例１の被写体距離マップ作成サブルーチンのフロー図である。
【図１１】実施例１の撮影サブルーチンのフロー図である。
【図１２】実施例１の撮影画像確認サブルーチンのフロー図である。
【図１３】実施例１のボケ修復サブルーチンのフロー図である。
【図１４】実施例１野ボケ関数生成サブルーチンのフロー図である。
【図１５】実施例１のボケ修復距離微修正サブルーチンのフロー図である。
【図１６】被写体距離とピント位置の微修正を行うボケ修復距離の関係を示す図である。
【図１７】実施例２のボケ修復距離微修正サブルーチンのフロー図である。
【発明を実施するための形態】
【００１５】
本発明を実施するための形態は、以下の実施例１および２に記載される通りである。
【実施例１】
【００１６】
以下、図１〜図１５を参照して、本発明の実施例１である画像処理装置について詳細に説明する。
【００１７】
図１は、実施例１の構成を示す図である。図１において、例えば撮像装置として用いられる画像処理装置は、撮像素子を有するカメラ本体１３８と、別体の撮影レンズ１３７とで構成されており、カメラ本体１３８に対して撮影レンズ１３７が交換可能な電子カメラを示している。
【００１８】
まず、撮影レンズ１３７の構成について説明する。１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行う。１０３は第２レンズ群である。そして絞り１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０５は第３レンズ群（以下フォーカスレンズという）で、光軸方向の進退により、焦点調節を行う。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１乃至第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。１１２は絞りアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節する。１１４はフォーカスアクチュエータで、フォーカスレンズ１０５を光軸方向に進退駆動して焦点調節を行う。
【００１９】
１３６はカメラ通信回路で、レンズに関する情報をカメラ本体１３８に渡したり、カメラ本体１３８に関する情報を受け取ったりする。レンズに関する情報とは、ズーム状態、絞り状態、フォーカス状態、レンズ枠情報、レンズのフォーカス駆動の精度情報等のことである。カメラ通信回路１３６は、カメラ本体１３８側に設けられたレンズ通信回路１３５に、これらの情報を渡す。これらのレンズに関する情報の一部は、カメラ本体１３８内で記録されていても良い。そうすることにより、レンズとカメラ本体間の通信量を減らすことができ、より高速に情報の処理を行うことができる。
【００２０】
次にカメラ本体１３８について説明する。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。
【００２１】
１１５は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。１２１は、カメラ本体の種々の制御を司るカメラ内のＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００２２】
１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のガンマ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。
【００２３】
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、フォーカスレンズ１０５を光軸方向に進退駆動して焦点調節を行う。１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３５はレンズ通信回路で、撮影レンズ１３７内のカメラ通信回路１３６と通信を行う。１３９はシャッターユニットで、静止画撮影時の露光時間制御を行う。１４０はシャッターユニット１３９を動かすためのシャッターアクチュエータである。１４５はシャッター駆動回路で、シャッターアクチュエータ１４０を駆動する。
【００２４】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズスイッチ（撮影準備スイッチ及び撮影開始スイッチ）、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。１４４はカメラ内メモリであり、ＣＰＵ１２１で行う演算に必要な各種データが保存されている。
【００２５】
図２及び図３は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例１においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、焦点検出用画素が所定の規則にて分散配置される。撮像用画素の間に、焦点検出用画素を離散的に配置する技術は、特開２０００−１５６８２３号公報（特許文献１）等で開示されていて公知の技術であるため、説明は省略する。
【００２６】
図２に撮像用画素の配置と構造を示す。図２（Ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。図２（Ａ）の断面ａ−ａを図２（Ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したもの、ＥＰは射出瞳である。
【００２７】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。また、図２（Ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００２８】
図３は、撮影画面の水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。図３（Ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方でＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施例１においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図３（Ａ）においてＳＨＡ及びＳＨＢで示す。
【００２９】
図３（Ａ）の断面ａ−ａを図３（Ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは、図２（Ｂ）に示した撮像用画素と同一構造である。本実施例１においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子１０７で瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、焦点検出用画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、撮影レンズ１３７のピントずれ量（デフォーカス量）が検出できる。ここで、マイクロレンズＭＬは、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを透過した光束からなるＡ像と、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを透過した光束からなるＢ像の、一対の光学像を生成するレンズ要素の機能を果たしている。
【００３０】
なお、上記焦点検出用画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施例１では、後者についても焦点検出できるよう、撮影レンズの垂直方向（縦方向）に瞳分割を行う画素も備えている。
【００３１】
図４は、撮影画面の垂直方向に瞳分割を行うための焦点検出用画素の配置と構造を示す。図４（Ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図３（Ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図４（Ａ）においてＳＶＣ及びＳＶＤで示す。図４（Ａ）の断面ａ−ａを図４（Ｂ）に示すが、図３（Ｂ）の画素が横方向に瞳分離する構造であるのに対して、図４（Ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、焦点検出用画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影レンズＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、焦点検出用画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影レンズＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、焦点検出用画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、焦点検出用画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、撮影画面の垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３２】
図５は、実施例１における撮像素子１０７の瞳分割状況を概念的に説明する図である。ＴＬは撮影レンズ、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。撮像用画素は図２で説明したように、撮影レンズの射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図３及び図４で説明したように、瞳分割機能を有している。具体的には、図３の焦点検出用画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図５の瞳ＥＰＨＡを通過した光束を受光する。同様に焦点検出用画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素を、撮像素子１０７の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能としている。
【００３３】
図６は、ＣＰＵ１２１の距離情報取得機能により得られた距離情報を示した図である。実施例１における撮像素子１０７では、図３及び図４で説明したような焦点検出用画素ＳＨＡ、ＳＨＢ、ＳＶＣ、ＳＶＤが、全領域に渡って分布しているため、撮影画面の任意の位置における被写体距離を取得することが可能となる。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングすることで、撮影画面中に含まれる被写体の輪郭を抽出することが可能となる。Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３は、抽出された被写体領域を示したものであり、ＢａｃｋＧｒｏｕｎｄ１は、背景領域を示したものである。Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４は被写体距離である。Ｄｉｓｔ１は被写体領域Ｔａｒｇｅｔ１における被写体距離の代表値、Ｄｉｓｔ２は被写体領域Ｔａｒｇｅｔ２における被写体距離の代表値、Ｄｉｓｔ３は被写体領域Ｔａｒｇｅｔ３における被写体距離の代表値である。また、Ｄｉｓｔ４は背景領域ＢａｃｋＧｒｏｕｎｄ１における被写体距離である。Ｄｉｓｔ１が最も近く、Ｄｉｓｔ２は２番目に近く、Ｄｉｓｔ３は３番目に近い。そして、Ｄｉｓｔ４は最も遠く位置する。図６に示すような距離情報の取得は、ＣＰＵ１２１が行う。ＣＰＵ１２１は、焦点検出用画素から得られる被写体距離分布から被写体の抽出を行い、各被写体の領域及び距離を取得する。
【００３４】
本実施例１の画像処理装置では、この距離情報と撮影レンズのボケ情報に基づいて、撮影画像（撮影画像データ）のボケ修復を行う。ボケの生成過程は、画像処理装置の特性や撮影レンズの特性から推定することが可能である。このボケの生成過程をモデル化したボケ修復フィルタを定義し、ウィーナーフィルタ等の一般にデコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を復元処理することで、ボケ修復を行う。ボケ修復方法については、特開２０００−２０６９１号公報（特許文献２）に記載されているため、詳細な説明は省略する。
【００３５】
図７は、被写体距離Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４と、ある撮影レンズの状態におけるボケ修復可能な距離の関係を示した図である。ボケ修復可能な距離は、画像処理装置が有する撮影レンズごとの被写体距離に応じたボケ修復フィルタによって異なる。そこで、ＣＰＵ１２１は、撮影レンズ１３７のフォーカスレンズ１０５の状態に応じてボケ修復可能な距離の範囲を算出する。ここで算出されるボケ修復可能な距離の範囲、および、ボケ修復に用いるフィルタは、ボケ修復情報と呼ぶ。ボケ修復可能な最も至近側の距離を第１距離Ｄｉｓｔ１１、最も無限遠側の距離を第２距離Ｄｉｓｔ１２とする。ＣＰＵ１２１のボケ修復機能は、第１距離Ｄｉｓｔ１１と第２距離Ｄｉｓｔ１２の範囲の被写体像に対して、可能となる。図６で説明した被写体距離Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３、Ｄｉｓｔ４のうち、Ｄｉｓｔ１〜３については、第１距離Ｄｉｓｔ１１と第２距離Ｄｉｓｔ１２の範囲に位置しており、Ｄｉｓｔ４は範囲外に位置しているとする。
【００３６】
図８は、ＣＰＵ１２１のボケ修復機能により撮影画像のボケが修復される様子を示した図である。図８における撮像画像は、図６の撮像画像と同じものである。図８（Ａ）は、被写体領域Ｔａｒｇｅｔ１にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ１における被写体距離Ｄｉｓｔ１に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ１に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ１はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ１以外の領域についても、同様に、ボケ修復フィルタを定義して修復処理を行う。こうすることで、図８（Ａ）に示すような、被写体領域Ｔａｒｇｅｔ１にピントがあった画像を取得することが可能となる。
【００３７】
図８（Ｂ）は、被写体領域Ｔａｒｇｅｔ２にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ２における被写体距離Ｄｉｓｔ２に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ２に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ２はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ２以外の領域についても、同様に、ボケ修復フィルタを定義して修復処理を行う。こうすることで、図８（Ｂ）に示すような、被写体領域Ｔａｒｇｅｔ２にピントがあった画像を取得することが可能となる。
【００３８】
図８（Ｃ）は、被写体領域Ｔａｒｇｅｔ３にピントを合わせるボケ修復を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ３における被写体距離Ｄｉｓｔ３に対応した画像処理装置の特性情報及び撮影レンズ情報から、ボケ修復フィルタを定義する。被写体領域Ｔａｒｇｅｔ３に対して、このボケ修復フィルタに基づいた修復処理を行うことで、被写体領域Ｔａｒｇｅｔ３はボケ修復されて、ピントの合った画像となる。その際に、被写体領域Ｔａｒｇｅｔ３以外の領域についても、同様に、ボケ修復フィルタを定義して修復処理を行う。こうすることで、図８（Ｃ）に示すような、被写体領域Ｔａｒｇｅｔ３にピントがあった画像を取得することが可能となる。
【００３９】
以上、図８（Ａ）〜図８（Ｃ）を用いて説明したように、本実施例１の画像処理装置では、各被写体の領域及び距離を含む距離情報に基づいてボケ修復することで、ピントを合わせる被写体を選択することが可能となる。
【００４０】
図９〜図１４は、本発明の実施例１の画像処理装置の焦点調節及び撮影工程を説明するためのフローチャートである。図９は本実施例１の画像処理装置のメインフローである。メインフローの動作はＣＰＵ１２１が制御する。
【００４１】
撮影者がカメラの電源スイッチ（メインスイッチ）をオン操作すると（ステップＳ１０１）、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子１０７の動作確認を行い、メモリ内容や実行プログラムの初期化を行う（ステップＳ１０２）。ステップＳ１０３では、レンズ通信回路１３５を介して撮影レンズ１３７内のカメラ通信回路１３６とレンズ通信を行う。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行うと共に、準備動作を実行させる。また、焦点検出や撮像に必要なレンズの諸特性データを取得し、カメラ内メモリ１４４に保存する。ステップＳ１０４では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０５では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行う。
【００４２】
ステップＳ１０６では、プレビュー用動画像に顔が存在するか否かを認識する。そして、プレビュー用動画像から、顔の数、位置、そして大きさを検出し、カメラ内メモリ１４４に記録しておく。顔を認識する技術は、特開２００４−３１７６９９号公報に開示されているため、ここでは説明を省略する。ステップＳ１０７で撮影領域に顔が存在していると認識された場合には、ステップＳ１０８に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔の位置と後述のステップＳ２００で作成される被写体距離マップの両方を加味して焦点を合わせるＡＦモードを指す。一方、ステップＳ１０７で撮影領域に顔が存在していないと認識された場合は、ステップＳ１０７からステップＳ１０９に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、ステップＳ２００で作成される被写体距離マップから算出される各分割領域での焦点検出結果と、被写体の輝度情報とに基づき、主被写体を類推し、その領域を合焦させるモードを指す。
【００４３】
ステップＳ１０８あるいはステップＳ１０９でＡＦモードを決定したら、ステップＳ１１０で、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１７に進み、メインスイッチがオフされたか否かを判別する。ステップＳ１１０で撮影準備スイッチがオン操作されると、ステップＳ２００に移行し、被写体距離マップ作成サブルーチンを実行する。ステップＳ１１１では、ステップＳ２００で算出した被写体距離マップに基づき、焦点検出位置を決定する。ここで検出位置決定方法は至近側優先とし、ステップＳ２００で得られた被写体の中で、最も至近側に位置する被写体の位置を、焦点検出位置として設定する。
【００４４】
ステップＳ１１２では、ステップＳ１１１で決定した焦点検出位置における焦点ずれ量をステップＳ２００で得られる被写体距離マップから算出し、得られた焦点ずれ量が許容値以下か否かを判断する。そして、焦点ずれ量が許容値より大きい場合は、非合焦と判断し、ステップＳ１１３でフォーカスレンズ１０５を駆動し、その後ステップＳ１１０に戻って撮影準備スイッチが押されたか否かを判別する。そして、ステップＳ１１２にて合焦状態に達したと判定されると、ステップＳ１１４にて合焦表示を行い、ステップＳ１１５に移行する。ステップＳ１１５では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１５にて撮影待機状態を維持する。ステップＳ１１５で撮影開始スイッチがオン操作されるとステップＳ３００に移行し、撮影サブルーチンを実行する。
【００４５】
ステップＳ３００の撮影サブルーチンが終了したら、ステップＳ１１６に進み、撮影開始スイッチがオフか否かを判断する。撮影開始スイッチがオンの状態で維持されている場合には、再びステップＳ３００に進み、撮影サブルーチンを行う。いわゆる連写の動作を行う。ステップＳ１１６で、撮影開始スイッチがオフであると判断されると、ステップＳ４００の撮影画像確認サブルーチンに進む。撮影画像確認サブルーチンを終えると、ステップＳ１１７に進み、メインスイッチがオフされたか否かを判定する。メインスイッチがオフされていない場合には、ステップＳ１０３に戻る。メインスイッチがオフされた場合には、一連の動作を終了する。
【００４６】
図１０は被写体距離マップ作成サブルーチンのフロー図である。被写体距離マップ作成サブルーチンの一連の動作もＣＰＵ１２１が行う。メインフローのステップＳ２００から当サブルーチンのステップＳ２００にジャンプすると、ステップＳ２０１において焦点検出領域の設定を行う。ＡＦモードに基づいて決められた少なくとも１つ以上の焦点検出領域の中から焦点検出領域を決め、ステップＳ２０２以降の処理を行う。ステップＳ２０２では、ステップＳ２０１で設定した焦点検出領域の焦点検出用画素の信号を読み出す。ステップＳ２０３では、相関演算用２像の創生を行う。ステップＳ２０２にて読み出した各焦点検出用画素の信号を並べることで、相関演算用のＡ像、Ｂ像の信号とする。
【００４７】
ステップＳ２０４では、得られたＡ像、Ｂ像に基づいて相関演算を行い、Ａ像、Ｂ像の位相差を算出する。ステップＳ２０５では、相関演算結果の信頼性を判定する。ここで信頼性とは、Ａ像、Ｂ像の一致度を指し、Ａ像、Ｂ像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度が或る閾値を超えているか否かで焦点検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりするなどに用いる。ステップＳ２０６では、ステップＳ２０４で得られたＡ像、Ｂ像の位相差に対して、位相差を焦点ずれ量に変換する変換係数をかけることで、焦点ずれ量を演算する。
【００４８】
ステップＳ２０７では、全焦点検出領域について、焦点ずれ量算出が完了したか否かを判別する。全焦点検出領域が完了していないと判別されたときには、ステップＳ２０１に戻り、残っている焦点検出領域の中から焦点検出領域を選んで設定する。ステップＳ２０７で全焦点検出領域が完了したと判別されたときには、ステップＳ２０８に進む。ステップＳ２０８では、ステップＳ２０１〜２０７を繰り返すことで得られた全焦点検出領域における焦点ずれ量から、焦点ずれ量マップを作成する。ここで焦点ずれ量マップとは、撮影画面上の位置と焦点ずれ量とを対応させた分布データである。
【００４９】
ステップＳ２０９では、ステップＳ２０８で得られた焦点ずれ量マップに対して、ステップＳ１０３のレンズ通信で撮影レンズ１３７から取得したレンズ情報を考慮して、焦点ずれ量を被写体距離に変換する。これにより、撮影画面上の位置と被写体距離とを対応させた分布データを得ることが可能となる。ステップＳ２１０では、被写体距離の分布データに基づき、被写体の抽出を行う。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングし、撮影画面中に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と被写体距離を対応させた被写体距離マップが得られることになる。ステップＳ２１０が終わったら、被写体距離マップ作成サブルーチンを終了し、メインフロー内のステップＳ１１１に進む。
【００５０】
図１１は、撮影サブルーチンのフロー図である。撮影サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ３０１では、光量調節のための絞り１０２を駆動し、露光時間を規定するメカニカルシャッターの開口制御を行う。ステップＳ３０２では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。ステップＳ２００では、ステップＳ３０２で得られた撮影画像の中に含まれる焦点検出用画素の出力を用いて、ステップＳ２００で説明した被写体距離マップ作成サブルーチンを行う。これにより得られる各被写体の領域と被写体距離を対応させた被写体距離マップから、撮影画像の焦点ずれ量が分かる。図９のステップＳ１１０の後に行うステップＳ２００の被写体距離マップ作成サブルーチンと比較すると、得られる画像の画素数が多く、より正確な被写体距離マップを作成することができる。ただし、高画素静止画による被写体距離マップの作成は、処理する画素数が多いため、処理時間がかかったり、コストの高い処理装置が必要となったりする。そのため、ここで、被写体距離マップを作成することは必須ではない。
【００５１】
ステップＳ３０３では読み出した画像信号の欠損画素補間を行う。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。ステップＳ３０４では、画像のガンマ補正、色変換、エッジ強調等の画像処理を行い、ステップＳ３０５において、フラッシュメモリ１３３に撮影画像を記録する。
【００５２】
ステップ３０６では、ステップＳ３０５で記録した撮影画像に対応させて、画像処理装置特性情報（図１１では撮像装置特性情報と記す）をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここでカメラ本体１３８の画像処理装置特性情報とは、撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報、カメラ本体１３８内での撮影光束のケラレ情報、カメラ本体１３８と撮影レンズ１３７との取り付け面から撮像素子１０７までの距離情報、製造誤差情報などが含まれる。撮像素子１０７の撮像用画素及び焦点検出用画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤによって決まるため、これらの情報を記録しても良い。
【００５３】
ステップＳ３０７では、ステップＳ３０５で記録した撮影画像に対応させて、撮影レンズ１３７の撮影レンズ特性情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。ここで撮影レンズ特性情報とは、射出瞳ＥＰの情報、枠情報、撮影時のＦナンバー情報、収差情報、製造誤差情報、などが含まれる。ステップＳ３０８では、撮影した画像に関する画像関連情報をフラッシュメモリ１３３とカメラ内メモリ１４４に記録する。画像関連情報とは、撮影時の焦点検出結果に関する情報や、人の顔の有無を判定する被写体認識情報などが含まれる。
【００５４】
撮影時の焦点検出結果に関する情報には、被写体距離マップや撮影時のフォーカスレンズ１０５の位置情報などが含まれる。また、被写体認識情報には、人や動物など被写体となりうるものが、撮影した画像内に含まれるか否か、含まれる場合には、画像内の位置と範囲についての情報が含まれる。これらの情報は、画像に関連付けられ、記録される。
【００５５】
ステップＳ３０８が終わると、ステップＳ３００の撮影サブルーチンを終了し、メインルーチンのステップＳ１１６に進む。
【００５６】
図１２は、撮影画像確認サブルーチンのフロー図である。撮影画像確認サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ４０１では、ステップＳ２００で作成した被写体距離マップを取得する。ここで取得する被写体距離マップは、プレビュー画像から作成される被写体距離マップでも、高画素静止画撮影により作成される被写体距離マップでもよい。より正確な被写体領域と被写体距離を検出するためには、高画素静止画撮影により作成される被写体距離マップの方が望ましい。
【００５７】
ステップＳ４０２では、ボケ修復が可能な被写体距離の範囲と、被写体距離に応じてボケ修復に用いるボケ修復フィルタを設定する。ステップＳ２００の被写体距離マップ作成サブルーチンで説明したように、被写体距離マップから被写体領域と被写体距離を対応させた情報が得られる。また、図７で説明したように、ボケ修復可能な距離は撮影レンズ１３７の種類により異なり、ボケ修復可能な最も至近側の距離である第１距離Ｄｉｓｔ１１と、最も無限遠側の距離である第２距離Ｄｉｓｔ１２は変わってくる。そこで、撮影レンズ１３７によって決まるボケ修復可能な距離範囲（第１距離Ｄｉｓｔ１１〜第２距離Ｄｉｓｔ１２）内に位置する被写体の画像内における領域を、ボケ修復可能領域として設定する。これにより、各被写体領域と、その領域をボケ修復する際に用いる被写体距離とボケ修復フィルタを設定することができる。図６においては、Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３がボケ修復範囲となり、Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３が、被写体距離範囲となる。これらのボケ修復可能領域、被写体距離範囲、ボケ修復の際に用いるボケ修復フィルタを、ボケ修復情報と呼ぶ。また、ここでは、まずどの被写体距離のボケ修復を行うかを決定する。これは、より至近の被写体にピントが合うようにボケ修復を行ってもよいし、撮影画像に対してデフォーカス量が小さい被写体にピントが合うようにボケ修復を行ってもよい。以下の説明では、ボケ修復を行う際に、ピントが合っているように処理を行う被写体距離を「ボケ修復距離」とする。
【００５８】
ステップＳ４０２でボケ修復情報の設定が終わると、ステップＳ５００のボケ修復サブルーチンに進む。ステップＳ４０４では、ステップＳ５００でボケ修復された画像を、表示器１３１に表示する。ステップＳ４０４が終わるとステップＳ４０５で、ピント位置微修正の指示の有無を判定する。撮影者の動作によって、ピント位置微修正の指示が出された場合には、ステップＳ７００に進み、ステップＳ５００のボケ修復距離に関する情報を微修正する。ボケ修復距離情報の微修正は、ステップＳ４０２で設定される被写体距離範囲内で行う。ボケ修復距離情報の微修正方法について、後ほど、詳細に説明する。
【００５９】
ステップＳ７００でボケ修復距離情報の微修正がなされるとステップＳ５００に戻り、再度ボケ修復処理を行う。
【００６０】
ステップＳ４０５で、ピント位置微修正の指示がなかった場合には、ステップＳ４０７に進み、ボケ修復に使用した情報と共に、ボケ修復画像記録を行う。ステップＳ４０７を終えると、撮影画像確認サブルーチンを終了し、メインフローに戻る。
【００６１】
図１５は、ボケ修復距離情報の微修正サブルーチンのフロー図である。ボケ修復距離情報の微修正サブルーチンの一連の動作も、ＣＰＵ１２１が行う。なお、ボケ修復距離微修正とあるが、必ずしも微修正である必要はなく、ボケ修復距離修正であればよい。ステップＳ７０１では、被写体距離情報として、前回ボケ修復を行った際のボケ修復距離と、撮影画像から得られる被写体距離マップを取得する。これらの情報から、ボケ修復距離を基準として、撮影画像内の被写体の距離を算出する。図１６は被写体距離とピント位置の微修正を行うボケ修復距離の関係を示す図で、前回のボケ修復距離Ｄｉｓｔ＿Ｎを、図７に対して追記したものである。ボケ修復を行う際にピントを合わせる被写体距離Ｄｉｓｔ＿Ｎを基準とした際の被写体距離マップから得られたＤｉｓｔ１〜Ｄｉｓｔ３の距離はＬ１〜Ｌ３として算出される。これらの距離の中で、より小さい値を持つ被写体（図１６では、Ｔａｒｇｅｔ２）は、よりピントがあった状態となるようボケ修復されていることを意味する。撮影者が被写体にピントが合っているかを判別する際には、ボケ修復距離を細かく変化させながら、ボケ修復を行う方が、より精密にピントがあった画像を確認することができる。一方で、ボケ修復距離が被写体距離から離れている場合、すなわち、Ｌ１からＬ３が、いずれもある程度大きな値を取っている場合には、いずれの被写体にもピントが合っていないため、撮影者が、精密にピントが合っているかを判別することは困難である。また、撮影者がピントが合っているか否かを確認することを望む画像である可能性は少ない。そこで、本実施例１では、ボケ修復距離を基準とした被写体距離（Ｌ１〜Ｌ３）が、ある閾値に対して小さいか否かを判別し、その結果に応じて、次回のボケ修復を行うボケ修復距離を設定する。
【００６２】
ステップＳ７０２では、前回のボケ修復距離を基準とした被写体距離（Ｌ１〜Ｌ３）が、ある閾値Ａに対して小さいか否かを判別する。ステップＳ７０２でＹＥＳの場合、すなわち、ボケ修復距離を基準とした被写体距離（Ｌ１〜Ｌ３）が、ある閾値Ａに対して小さい場合には、ステップＳ７０３に進む。一方で、ステップＳ７０２でＮＯの場合、ステップＳ７０４に進む。
【００６３】
ステップＳ７０３、Ｓ７０４では、それぞれ次回のボケ修復時のボケ修復距離の変化量（前回と次回のボケ修復距離の間隔）を設定する。ステップＳ７０３で設定するボケ修復距離の変化量が所定変化量Ｂであった場合、その値より大きな値である所定変化量Ｃを、ステップＳ７０４では設定する。ステップＳ７０３、Ｓ７０４でボケ修復距離の変化量の設定を終えると、ステップＳ７０５に進む。
【００６４】
ステップＳ７０５では、前回のボケ修復を行った際のボケ修復距離に対して、設定されたボケ修復距離変化量を加算し、次回のボケ修復を行う際のボケ修復距離を設定する。
【００６５】
このように、被写体距離マップから得られる被写体の距離と、ボケ修復を行った被写体距離の関係から、次回のボケ修復を行う被写体距離を設定することにより以下のような利点がある。撮影者が、撮影した画像に対して、ピントの修正を行う場合には、撮影者の意図する被写体にある程度、ピントが合っている距離で、ボケ修復をより細かいピッチで行う可能性が高い。画像処理装置にとってボケ修復可能な範囲全域にある被写体距離全域で、細かいピッチでボケ修復を行うと、撮影者にとっては無駄な修復領域が多く、処理時間などもかかるため、快適な操作を行うことができない。本実施例１のように、撮影した画像に関連する情報から、より細かいピッチでボケ修復を行う範囲を限定することによって、撮影者の意図するボケ修復画像を含む、より狭い被写体距離範囲のボケ修復処理を重点的に行えばよい。そのため、ボケ修復処理の計算負荷を低減させることができる。また、処理時間が少ないため、撮影者にとって快適なピント修正処理を行うことができる。
【００６６】
図１３は、ボケ修復サブルーチンのフロー図である。ボケ修復サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ５０１では、ＣＰＵ１２１は、画像処理回路１２５における画像取込時の変換処理の内容（変換方法）を示す変換情報を取得する。ステップＳ５０２では、ＣＰＵ１２１は、画像処理回路１２５から供給される画像情報を変換する際の変換方法を決定する。具体的には、ＣＰＵ１２１は、ステップＳ５０１で取得した変換情報（必要に応じて、変換情報の他、ステップＳ３０６やステップＳ３０７で取得した画像処理装置特性情報や撮影レンズ特性情報）に基づいて、変換方法を決定する。ここで決定される変換方法は、特開２０００−２０６９１号公報（特許文献２）に記載されている画像復元処理のアルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像情報を変換する方法である。
【００６７】
例えば、画像処理回路１２５でガンマ補正を実行する場合には、ステップＳ５０２ではガンマ補正による変換の逆変換を変換方法として決定する。これにより変換前の画像を再生することができ、線形性を有する画像を取得することが可能となる。同様に、画像処理回路１２５で色変換を実行する場合には、ステップＳ５０２では色変換による変換の逆変換を変換方法として決定する。これにより、線形性を有する画像を取得することが可能となる。以上のように、ステップＳ５０２では、画像処理回路１２５による変換処理の逆変換に相当する変換方法を決定する。
【００６８】
ステップＳ５０３では、画像処理回路１２５より撮影画像を取得する。そしてステップＳ５０４では、ステップＳ５０２で決定した変換方法に従って、取得した撮影画像を変換する。ステップＳ５０４で変換処理が終わると、ステップＳ６００に進み、ボケ関数の生成を行う。上述したボケ修復フィルタとボケ関数は同義である。ステップＳ５０５では、ステップＳ６００で生成したボケ関数を用いて演算する。例えば、撮影画像のフーリエ変換にボケ関数のフーリエ変換の逆数を乗算して、その値を逆フーリエ変換する。このような逆変換を行うことで、ステップＳ５０４で変換処理した撮影画像に対してボケ修復処理を行う。ここでは、一般的にデコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修復処理を行う。これにより、所定被写体のボケが修復されたボケ修復画像を得ることができる。ボケ関数の逆変換処理を行うことによるボケ修復の方法は、特開２０００−２０６９１号公報に開示されているため、説明は省略する。ステップＳ５０５が終わるとボケ修復サブルーチンを終了し、撮影画像確認サブルーチン内のステップＳ４０４に進む。
【００６９】
図１４は、ボケ関数生成サブルーチンのフロー図である。ボケ関数生成サブルーチンの一連の動作も、ＣＰＵ１２１が行う。ステップＳ６０１では、撮影時にステップＳ３０５でカメラ内メモリ１４４に記録された画像処理装置特性情報（図１４では撮像装置特性情報と記す）を取得する。ステップＳ６０２では、撮影時にステップＳ３０６でカメラ内メモリ１４４に記録された撮影レンズ特性情報を取得する。
【００７０】
ステップＳ６０３では、ボケ関数を定義する際に用いるパラメータを取得する。ボケ関数は、撮影レンズ１３７と撮像素子１０７との光伝達特性によって決まる。そしてこの光伝達特性は、画像処理装置特性情報、撮影レンズ特性情報、撮影画像における被写体領域の位置、被写体距離などの要因によって変わる。そこで、これらの要因とボケ関数を定義する際に用いるパラメータとを関連付けたテーブルデータを、カメラ内メモリ１４４に記憶しておく。そしてステップＳ６０３が実行されると、ＣＰＵ１２１は、これらの要因に基づいて、カメラ内メモリ１４４からボケ関数定義の際に用いるボケパラメータを取得する。
【００７１】
ステップＳ６０４では、ステップＳ６０３で取得したボケパラメータに基づいて、ボケ関数を定義する。ボケ関数の例としては、ボケ現象が正規分布法則に沿うものとして考えたガウシアン分布などがある。中心画素からの距離をｒ、正規分布法則の任意のパラメータをσ２とすると、ボケ関数ｈ（ｒ）は、下記のように与えられる。
ｈ（ｒ）＝｛１／（σ√（２π））｝・ｅｘｐ（−ｒ２／σ２）
【００７２】
ステップＳ６０４が終わったら、ボケ関数生成サブルーチンを終了し、ボケ修復サブルーチン内のステップＳ５０５に進む。
【００７３】
実施例１の画像処理装置では、撮影直後の再生時に、ピント位置の微修正を行う場合を説明したが、ピント位置の微修正を行う機会は、これに限らない。以前に撮影した画像を再生し、ピント位置微修正を行う場合にも適用可能である。
【００７４】
また、実施例１の画像処理装置では、撮影レンズが交換可能なカメラで説明したが、撮影レンズがカメラに備わっている所謂レンズくくり付けタイプのカメラに適用してもよい。レンズくくり付けタイプのカメラにおいても、従来の課題は存在する。そして本実施例１で説明したように、より細かいピッチでボケ修復を行う被写体距離の範囲の絞込みを行うことで、同様の効果を得ることができる。
【００７５】
また、実施例１の画像処理装置では、焦点検出を撮像素子で行うカメラで説明したが、他の焦点検出手段を有するカメラに適用してもよい。他の焦点検出手段を有するカメラにおいても、従来の課題は存在する。そして本実施例１で説明したように、より細かいピッチでボケ修復を行う被写体距離の範囲の絞込みを行うことで、同様の効果を得ることができる。
【００７６】
また、実施例１の画像処理装置では、焦点検出を行うことにより被写体距離情報を得て、それを用いて、より細かいピッチでボケ修復を行う被写体距離の範囲の絞込みを行ったが、ボケ修復画像内で検出された被写体認識情報により、同様の処理を行ってもよい。例えば、前回のボケ修復を行ったボケ修復画像内に、被写体として人の顔が検出された場合には、撮影者がピントが合っているか否かを確認する可能性があると判定して、より細かいピッチでボケ修復を行うように構成することが可能である。一般に被写体認識情報を、焦点検出時の焦点検出範囲の設定に使用される方法が知られている。焦点検出に用いられる場合には、少しでも広い被写体距離の範囲で被写体の認識ができることが有効である。一方で、本実施例１のようにピントの確認のために被写体認識を行う場合は、被写体を認識できても、大きくぼけた状態でのピントの確認が行われる可能性は低いため、焦点検出の際に用いるよりも狭い被写体距離の範囲で認識ができればよい。
【実施例２】
【００７７】
以下、図１７を参照して、本発明の実施例２に係わる画像処理装置について説明する。実施例１と実施例２の違いは、より細かいピッチでボケ修復を行う被写体距離の範囲の絞込みを行う際に利用する画像関連情報が異なる点である。実施例２の構成によれば、より正確に、撮影者の意図する被写体を認識することができ、より細かいピッチでボケ修復を行う被写体距離の範囲を精度よく設定することができる。
【００７８】
なお、実施例１における画像処理装置の構成を示すブロック図（図１）、焦点検出の実施方法（図２〜図５）、ボケ修復方法（図６〜図８）、撮影に関する動作（図９〜図１１）、ボケ修復処理に関する動作（図１３、図１４）に関しては、実施例２でも同様の構成であり、同様の動作を行うため、説明は省略する。
【００７９】
図１２の撮影画像確認サブルーチンのステップＳ７００にて行われるボケ修復距離微修正サブルーチンについて、図１７のフロー図を用いて詳細に説明する。図１７のフロー図において、実施例１で示したボケ修復距離微修正サブルーチンのフロー図である図１５と同様の処理を行う部分に関しては、同じ番号を付している。なお、ボケ修復距離微修正とあるが、必ずしも微修正である必要はなく、ボケ修復距離修正であればよい。
【００８０】
ステップＳ９０１では、画像再生時の画像の拡大率に関する情報を取得する。本実施例２では、再生画像拡大率の情報から、撮影者がピント確認を行っているかどうかの判定を行う。撮影者が被写体にピントが合っているかを判別する際には、画像を拡大再生して確認を行う方が、より精密なピント確認が行いやすい。そのため、本実施例２では、再生画像拡大時には、撮影者が被写体にピントが合っているか否かを判別していると判断し、ボケ修復距離を細かいピッチで変化させながら、ボケ修復を行う。
【００８１】
ステップＳ９０２では、画像が拡大再生中か否かを判定する。ステップＳ９０２でＹＥＳの場合、すなわち、画像が拡大再生中の場合、ステップＳ７０３に進む。一方で、ステップＳ９０２でＮＯの場合、ステップＳ７０４に進む。
【００８２】
ステップＳ７０３、Ｓ７０４では、それぞれ次回のボケ修復時のボケ修復距離の変化量を設定する。ステップＳ７０３で設定するボケ修復距離の変化量がＢであった場合、その値より大きな値であるＣを、ステップＳ７０４では設定する。ステップＳ７０３、Ｓ７０４でボケ修復距離の変化量の設定を終えると、ステップＳ７０５に進む。
【００８３】
ステップＳ７０５では、前回のボケ修復を行った際のボケ修復距離に対して、設定されたボケ修復距離変化量を合算し、次回のボケ修復を行う際のボケ修復距離を設定する。
【００８４】
このように、画像再生時の拡大率から、次回のボケ修復を行うボケ修復距離を設定することにより以下のような利点がある。撮影者が、撮影した画像に対して、ピント位置の微修正を行う場合には、撮影者の意図する被写体を、拡大再生しながら、ボケ修復をより細かいピッチで行う可能性が高い。画像処理装置にとってボケ修復可能な範囲全域にある被写体距離全域で、細かいピッチでボケ修復を行うと、撮影者にとっては無駄な修復領域が多く、処理時間などもかかるため、快適な操作を行うことができない。本実施例２のように、撮影した画像に関連する情報から、より細かいピッチでボケ修復を行う範囲を限定することによって、撮影者の意図するボケ修復画像を含む、より狭い被写体距離範囲のボケ修復処理を重点的に行えばよい。そのため、ボケ修復処理の計算負荷を低減させることができる。また、処理時間が少ないため、撮影者にとって快適なピント修正処理を行うことができる。
【００８５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８６】
また、実施例２の画像処理装置では、再生画像の拡大をしているか否かで、ボケ修復距離の変化量の大小を設定したが、他の条件を加えて設定を行ってもよい。例えば、実施例１と組み合わせて、再生画像の拡大を実施しており、さらに、拡大されて再生されている範囲の被写体距離近傍であれば、ボケ修復距離の変化量を、更に小さくすることも有効である。その場合、細かいピッチでボケ修復を行う被写体距離の範囲を、更に効率的に絞りこむことができ、同様の効果を得ることができる。
【符号の説明】
【００８７】
１０７  撮像素子
１２１  ＣＰＵ
１２４  撮像素子駆動回路
１３１  表示器
Ｄｉｓｔ１１  ボケ修復可能な最も至近側の第１距離
Ｄｉｓｔ１２  ボケ修復可能な最も無限遠側の第２距離
Ｄｉｓｔ＿Ｎ  前回のボケ修復距離
【図１】
0005183715.tif 000002
【図２】
0005183715.tif 000003
【図３】
0005183715.tif 000004
【図４】
0005183715.tif 000005
【図５】
0005183715.tif 000006
【図６】
0005183715.tif 000007
【図７】
0005183715.tif 000008
【図８】
0005183715.tif 000009
【図９】
0005183715.tif 000010
【図１０】
0005183715.tif 000011
【図１１】
0005183715.tif 000012
【図１２】
0005183715.tif 000013
【図１３】
0005183715.tif 000014
【図１４】
0005183715.tif 000015
【図１５】
0005183715.tif 000016
【図１６】
0005183715.tif 000017
【図１７】
0005183715.tif 000018