(57)【要約】【課題】ライブビュー状態から撮影を行う際、短いレリーズタイムラグで精度よくピントの合った画像を得る。【解決手段】ＡＦユニット２０２は光学像を受光して当該光学像が合焦状態であるか否かを示す焦点状態検出結果を出力する。ＣＰＵ１２１は撮影レンズ１３７からの光学像を撮像素子１０７に導く第１の状態と光学像をＡＦユニットに導く第２の状態とを選択し、撮影指示かあると第１の状態として撮像素子の露光を開始した後、第２の状態として焦点状態検出結果に基づいて撮影画像のボケ修復を行う。【選択図】図１
2014130231.tif 000002
【特許請求の範囲】
【請求項１】
撮像の結果得られた撮影画像のボケを修復する撮像装置であって、
撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、
前記光学像を受光して当該光学像が合焦状態であるか否かを示す第１の焦点状態検出結果を出力する第１の焦点状態検出手段と、
前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記第１の焦点状態検出手段に導く第２の状態とのいずれかを選択する選択手段と、
撮影指示があると、前記選択手段を制御して前記第１の状態として前記撮像素子の露光を開始した後、前記選択手段を制御して前記第２の状態として前記第１の焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第１の焦点状態検出手段は位相差オートフォーカスによって前記第１の焦点状態検出結果を出力し、
前記撮影レンズにはフォーカスレンズが備えられており、
前記フォーカスレンズを光軸に沿って駆動しつつ前記撮像素子で得られた前記画像信号に応じた撮影画像についてそのコントラストを評価して合焦状態であるか否かを示す第２の焦点状態検出結果を出力する第２の焦点状態検出手段と、
前記第２の焦点状態検出結果に応じて前記第１の焦点状態検出手段による検出が可能な撮影条件であるか否かを判定する判定手段とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段によって前記第１の焦点状態検出手段による検出が可能な撮影条件でないと判定されると、前記制御手段は前記第２の状態とすることなく警告を発することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記判定手段によって前記第１の焦点状態検出手段による検出が可能な撮影条件でないと判定されると、前記制御手段は前記第２の状態とすることなく前記第１の状態において第１の画像を得るとともに、前記第２の焦点状態検出結果に応じて焦点調節を行って第２の画像を得ることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記第１の画像および前記第２の画像の少なくとも一方を撮影画像として選択する画像選択手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像素子にはその分割形態が異なる第１の画素群および第２の画素群が備えられており、
前記第１の画素群および前記第２の画素群からの画像信号の位相差に応じて合焦状態であるか否かを検出する撮像面位相差オートフォーカスを行って第３の焦点状態検出結果を出力する第３の焦点状態検出手段を有し、
前記制御手段は、前記判定手段によって前記第１の焦点状態検出手段による検出が可能な撮影条件でないと判定されると、前記第２の状態とすることなく前記第３の焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行うことを特徴とする請求項２に記載の撮像装置。
【請求項７】
撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、前記撮影レンズを介して光学像を受光して当該光学像が合焦状態であるか否かを示す焦点状態検出結果を出力する焦点状態検出手段とを備え、前記画像信号に応じた撮影画像のボケを修復する撮像装置の制御方法であって、
前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記焦点状態検出手段に導く第２の状態とのいずれかを選択する選択ステップと、
撮影指示があると、前記選択ステップによって前記第１の状態として前記撮像素子の露光を開始した後、前記選択ステップによって前記第２の状態として前記焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御ステップと、
を有することを特徴とする制御方法。
【請求項８】
撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、前記撮影レンズを介して光学像を受光して当該光学像が合焦状態であるか否かを示す焦点状態検出結果を出力する焦点状態検出手段とを備え、前記画像信号に応じた撮影画像のボケを修復する撮像装置で用いられる制御プログラムであって、
前記撮像装置に備えられたコンピュータに、
前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記焦点状態検出手段に導く第２の状態とのいずれかを選択する選択ステップと、
撮影指示があると、前記選択ステップによって前記第１の状態として前記撮像素子の露光を開始した後、前記選択ステップによって前記第２の状態として前記焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影の結果得られた画像のボケを修復する機能を備える撮像装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
近年、デジタル一眼レフカメラなどの撮像装置では、筐体の背面に配置された液晶パネルに表示される映像（画像）を目視しつつ撮影を行う所謂ライブビュー撮影が行われている。一般に、ライブビュー撮影の際に焦点調節を行う場合には、ＣＭＯＳイメージセンサなどの撮像素子から得られる画像信号を用いてコントラスト検出が行われる。
【０００３】
一方、ウィーナーフィルタ、一般逆フィルタ、又は射影フィルタなどのボケ修復用のフィルタを用いて、ピントの合っていないボケ画像についてボケ修復が行われている。例えば、撮影条件などに基づく物理的解析又は撮像装置に備えられた測定装置からの出力に基づく推定などによって劣化関数を求めて、デコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を修復することが行われている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２０６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ライブビュー状態から静止画撮影を行う場合、合焦動作の完了を待って撮影を行うと、コントラスト検出による焦点調節には時間が掛かるので、撮影者が意図した瞬間の静止画を得ることができないことがある。逆に、撮影者が意図した瞬間の静止画を得ようとすると、ピントの合っていない静止画が得られてしまうことがある。
【０００６】
そして、ピントの合っていない静止画に対して、特許文献１に記載のようにフィルタを用いてボケ修復を行おうとすると、ボケの修復を行うための最適なフィルタを得るためには膨大な演算が必要となって、ボケ修復処理に長時間を要してしまうことになる。
【０００７】
そこで、本発明の目的は、ライブビュー状態から撮影を行う際、短いレリーズタイムラグで精度よくピントの合った静止画を得ることができる撮像装置、その制御方法、および制御プログラムを得ることにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明による撮像装置は、撮像の結果得られた撮影画像のボケを修復する撮像装置であって、撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、前記光学像を受光して当該光学像が合焦状態であるか否かを示す第１の焦点状態検出結果を出力する第１の焦点状態検出手段と、前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記第１の焦点状態検出手段に導く第２の状態とのいずれかを選択する選択手段と、撮影指示があると、前記選択手段を制御して前記第１の状態として前記撮像素子の露光を開始した後、前記選択手段を制御して前記第２の状態として前記第１の焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御手段と、を有することを特徴とする。
【０００９】
本発明による制御方法は、撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、前記撮影レンズを介して光学像を受光して当該光学像が合焦状態であるか否かを示す焦点状態検出結果を出力する焦点状態検出手段とを備え、前記画像信号に応じた撮影画像のボケを修復する撮像装置の制御方法であって、前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記焦点状態検出手段に導く第２の状態とのいずれかを選択する選択ステップと、撮影指示があると、前記選択ステップによって前記第１の状態として前記撮像素子の露光を開始した後、前記選択ステップによって前記第２の状態として前記焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御ステップと、を有することを特徴とする。
【００１０】
本発明による制御プログラムは、撮影レンズを介して光学像を受けて当該光学像に応じた画像信号を出力する撮像素子と、前記撮影レンズを介して光学像を受光して当該光学像が合焦状態であるか否かを示す焦点状態検出結果を出力する焦点状態検出手段とを備え、前記画像信号に応じた撮影画像のボケを修復する撮像装置で用いられる制御プログラムであって、前記撮像装置に備えられたコンピュータに、前記撮影レンズからの前記光学像を前記撮像素子に導く第１の状態と前記光学像を前記焦点状態検出手段に導く第２の状態とのいずれかを選択する選択ステップと、撮影指示があると、前記選択ステップによって前記第１の状態として前記撮像素子の露光を開始した後、前記選択ステップによって前記第２の状態として前記焦点状態検出結果に基づいて前記画像信号に応じた撮影画像のボケ修復を行う制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、レリーズタイムラグと合焦状態とを両立させて撮影を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示す撮像素子の回路構成を概略的に示す図である。
【図３】図１に示す撮像素子における画素の断面を示す図である。
【図４】図１に示す撮像素子における撮像用画素の構造を説明するための図であり、（ａ）は平面図、（ｂ）は（ａ）に示すＡ−Ａ線に沿った断面図である。
【図５】図１に示す撮像素子における焦点検出用画素の構造を説明するための図であり、（ａ）は平面図、（ｂ）は（ａ）に示すＢ−Ｂ線に沿った断面図である。
【図６】位相差ＡＦにおいて設定可能な焦点検出位置を示す図である。
【図７】コントラストＡＦにおいて設定可能な焦点検出位置を示す図である。
【図８】図１に示すカメラで行われる撮影動作を説明するためのフローチャートである。
【図９】図８に示すボケ修復処理を説明するためのフローチャートである。
【図１０】図９に示すボケ関数生成処理を説明するためのフローチャートである。
【図１１】本発明の第２の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。
【図１２】本発明の第３の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。
【図１３】図１２に示す撮像面位相差ＡＦによる焦点検出位置を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００１５】
図示の撮像装置（以下カメラと呼ぶ）はカメラ本体１３８および撮影レンズユニット（以下単に撮影レンズと呼ぶ）１３７を有しており、撮影レンズ１３７はカメラ本体１３８に対して交換可能である。
【００１６】
撮影レンズ１３７は撮影光学系（結像光学系）を有しており、この撮影光学系は第１レンズ群１０１を備えている。そして、この第１レンズ群１０１は光軸方向に進退可能に保持されている。第１レンズ群１０１の後段には絞り１０２が配置され、絞り１０２の開口径を調節することによって撮影の際の光量調節が行われる。絞り１０２の後段には第２レンズ群１０３が配置され、絞り１０２および第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作と連動して、変倍作用（ズーム機能）が行われる。第２レンズ群１０３の後段には第３レンズ群１０５が配置され、第３レンズ群１０５を光軸方向に進退させて、焦点調節が行われる。
【００１７】
ズームアクチュエータ１１１はカム筒（図示せず）を回動して、第１レンズ群１１１ないし第２レンズ群１０３を光軸方向に進退駆動して、変倍作用を行う。絞りアクチュエータ１１２は、絞り１０２の開口径を制御して撮影光量を調節する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。
【００１８】
撮影レンズ１３７にはカメラ通信回路１３６が備えられており、カメラ通信回路１３６はカメラ本体１３８に備えられたレンズ通信回路１３５と通信を行う。そして、カメラ通信回路１３６によって撮影レンズに関するレンズ情報がカメラ本体１３８に送られる。また、カメラ通信回路１３６はカメラ本体に関するカメラ情報を受領する。ここで、レンズ情報とは、例えば、ズーム状態、絞り状態、フォーカス状態、およびレンズ枠情報などをいう。
【００１９】
カメラ本体１３８には光学的ローパスフィルタ１０６が備えられており、この光学的ローパスフィルタ１６０によって撮影レンズ１３６から入射する光学像の偽色およびモアレが軽減される。光学的ローパスフィルタ１０６の後段には撮像素子１０７が配置されている。この撮像素子１０７は、例えば、ＣＭＯＳセンサとその周辺回路で構成される。
【００２０】
撮像素子１０７は、２次元マトリックス状に複数の画素が配置されている。ここでは、撮像素子１０７として、横方向（行）にｍ画素（ｍは２以上の整数）、縦方向（列）にｎ画素（ｎは２以上の整数）の受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。
【００２１】
光学的ローパスフィルタ１０６の前にはシャッターユニット１３９が配置されており、シャッターユニット１３９は静止画撮影の際に露光時間の調整を行う。このシャッターユニット１３９はシャッターアクチュエータ１４０によって駆動される。
【００２２】
被写体証明用電子フラッシュ１１５は、例えば、キセノン管を用いた閃光照明装置である。なお、電子フラッシュ１１５として連続発光するＬＥＤを備えた照明装置を用いるようにしてもよい。
【００２３】
ＡＦ補助光部１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影して、暗い被写体又は低コントラストの被写体に対する焦点検出を向上させる。
【００２４】
ＣＰＵ１２１はカメラ本体１３８の制御を司る。図示はしないが、ＣＰＵ１２１は演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および通信インターフェイス回路などを有し、ＲＯＭに記憶された所定のプログラムに基づいてカメラを制御して、撮影、画像処理、撮影の結果得られた画像のボケ修復（ボケ復元ともいう）処理、および記録などの一連の処理を実行する。また、ＣＰＵ１２１は、位相差ＡＦ（位相差オートフォーカス）に関する演算処理、コントラストＡＦに関する演算処理、および撮像面における位相差ＡＦ（撮像面位相差オートフォーカス）を行う。
【００２５】
電子フラッシュ制御回路１２２は、ＣＰＵ１２１の制御下で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光駆動回路１２３は、ＣＰＵ１２１の制御下で、焦点検出動作に同期してＡＦ補助光部１１６を点灯制御する。撮像素子駆動回路１２４は、ＣＰＵ１２１の制御下で、撮像素子１０７の撮像動作を制御するとともに、その出力である画像信号をＡ／Ｄ変換して画像データとしてＣＰＵ１２１に送る。画像処理回路１２５は、ＣＰＵ１２１の制御下で、画像データについてγ変換、カラー補間、およびＪＰＥＧ圧縮などの処理を行う。
【００２６】
フォーカス駆動回路１２６は、ＣＰＵ１２１の制御下で焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御して、第３レンズ群１０５を光軸方向に進退して焦点調節を行う。絞り駆動回路１２８は、ＣＰＵ１２１の制御下で絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。ズーム駆動回路１２９は、ＣＰＵ１２１の制御下で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。レンズ通信回路１３５は撮影レンズ１３７のカメラ通信回路１３６と通信を行う。シャッター駆動回路１４５は、ＣＰＵ１２１の制御下でシャッターアクチュエータ１４０を駆動する。
【００２７】
表示部１３１は、例えば、ＬＣＤであり、表示部１３１には、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、および焦点検出時の合焦状態表示画像などが表示される。操作スイッチ１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および撮影モード選択スイッチなどで構成される。フラッシュメモリ１３３はカメラ本体１３８に着脱可能であり、撮影済みの画像が記録される。メモリ１４４にはＣＰＵ１２１で行われる演算に必要な各種データが保存されている。
【００２８】
メインミラー２００は、ハーフミラーによって構成されており、観察状態（プレビュー状態）の際には撮影光路に斜設され（第２の状態）、撮影状態の際には撮影光路から退去される（第１の状態）。メインミラー２００とシャッターユニット１３９との間にはサブミラー２０１が配置されている。サブミラー２０１はメインミラー２００を透過した光束をカメラボディの下方に向けて反射する。なお、撮像レンズ１３７には位相差ＡＦを行うための焦点検出ユニット（位相差ＡＦユニット）２０２が配置されている。
【００２９】
被写体からの光は、撮影レンズ１３７を通過した後、メインミラー２００に入射する。メインミラー２００に入射した光の一部は該メインミラー２００を透過し、サブミラー２０１で反射されてＡＦユニット２０２に入射する。ＡＦユニット２０２は、フィールドレンズおよび二次結像レンズによって焦点検出光学系が構成されている。この二次結像レンズは、入射した２つの光束を焦点検出用センサ上に再結像させる。これによって、焦点検出用センサ上には２つの瞳分割領域からの光束により一対の光学像である被写体像が形成される。焦点検出用センサは一対の被写体像を光電変換して一対の像信号（電気信号：第１の焦点状態検出結果）を出力する。
【００３０】
ここで、図１に示すカメラで行われる位相差ＡＦについて説明する。
【００３１】
ＣＰＵ１２１は、上記の一対の像信号に関して相関演算を行い、像信号の相対的な位置ずれを示す位相差を算出する。そして、ＣＰＵ１２１は当該位相差に基づいて撮影レンズ１の焦点状態（デフォーカス量）を算出（検出）する。さらに、ＣＰＵ１２１は、デフォーカス量に基づいて合焦状態とするためのフォーカスレンズの移動量を算出する。
【００３２】
メインミラー２００によって反射された光は、撮像素子１０７と光学的に共役な位置に配置されたピント板（図示せず）上に結像する。そして、光はピント板において拡散され、ピント板を透過した光（被写体像）はペンタダハプリズム（図示せず）によって正立像に変換される。当該正立像は、接眼レンズ（図示せず）によって拡大されて、撮影者によって観察される。
【００３３】
ここで、図１に示すカメラで行われるコントラストＡＦについて説明する。
【００３４】
コントラストＡＦとは、フォーカスレンズを駆動しつつ撮像素子１０７で撮像された被写体像のコントラスト評価を行うことによって合焦位置を検出する焦点検出である。コントラストＡＦについては、種々の文献に記載されているので、ここでは詳細な説明を省略する。
【００３５】
図２は、図１に示す撮像素子１０７の回路構成を概略的に示す図である。
【００３６】
図２では、撮像素子１０７について２列×４行の画素が示されているが、実際には、多数の画素が２次元マトリックス状に配置されている。ここでは、撮像素子１０７は、例えば、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍである。
【００３７】
図２において、画素の各々は光電変換部１を有し、この光電変換部１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子である。さらに、画素の各々はフォトゲート２、および転送スイッチＭＯＳトランジスタ３を有している。
【００３８】
図示の撮像素子１０７はリセット用ＭＯＳトランジスタ４、ソースフォロワアンプＭＯＳトランジスタ５、水平選択スイッチＭＯＳトランジスタ６、ソースフォロワの負荷ＭＯＳトランジスタ７、暗出力転送ＭＯＳトランジスタ８、明出力転送ＭＯＳトランジスタ９、暗出力蓄積容量（ＣＴＮ）１０、明出力蓄積容量（ＣＴＳ）１１、水平転送ＭＯＳトランジスタ１２、水平出力線リセットＭＯＳトランジスタ１３、差動出力アンプ１４、水平走査回路１５、および垂直走査回路１６を有している。
【００３９】
なお、撮像素子の構成については、例えば、特開平９−４６５９６号報に記載されているので、ここではこれ以上の説明を省略する。
【００４０】
図３は、図１に示す撮像素子１０７における画素の断面を示す図である。
【００４１】
Ｐ型ウェル１７には、ゲート酸化膜１８、一層目ポリＳｉ１９、二層目ポリＳｉ２０、およびｎ＋フローティングディフュージョン部（ＦＤ）２１が形成されている。である。ＦＤ２１は転送ＭＯＳトランジスタを介して光電変換部と接続される。図示の例では、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ２１とを共通化して、微細化するとともにＦＤ２１の容量低減による感度向上を図っているが、Ａｌ配線によってＦＤ２１を接続してもよい。
【００４２】
続いて、図１に示すカメラで行われる撮像面位相差ＡＦについて説明する。
【００４３】
図４は、図１に示す撮像素子１０７における撮像用画素の構造を説明するための図である。そして、図４（ａ）は平面図であり、図４（ｂ）は図４（ａ）に示すＡ−Ａ線に沿った断面図である。また、図５は、図１に示す撮像素子１０７における焦点検出用画素の構造を説明するための図である。そて、図５（ａ）は平面図であり、図５（ｂ）は図５（ａ）に示すＢ−Ｂ線に沿った断面図である。
【００４４】
図示の例では、２行×２列の４画素のうち、対角の２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にそれぞれＲ（赤色）とＢ（青色）の分光感度を有する画素を配置したベイヤー配列が用いられている。そして、ベイヤー配列の間に、後述する構造の複数の焦点検出用画素が所定の規則にて分散配置される。
【００４５】
図４（ｂ）において、各画素の最前面にはオンチップマイクロレンズＭＬが配置されている。そして、マイクロレンズＭＬの後にはＣＦＲはＲ（赤）のカラーフィルタＣＦＲおよびＧ（緑）のカラーフィルタＣＦＧが配置されている。なお、ＰＤは図２で説明した光電変換部１を模式的に示したものであり、ＣＬは撮像素子における各種信号を伝達する信号線を形成するための配線層である。また、ＴＬは撮影光学系を模式的に示したものである。
【００４６】
ここで、撮像用画素のマイクロレンズＭＬと光電変換部ＰＤとは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬによって共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。
【００４７】
また、図４（ｂ）においては、Ｒ画素の入射光束について説明したが、Ｇ画素およびＢ（青）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００４８】
図５（ａ）において、ＳＨＡおよびＳＨＢはその分割形態が異なる第１の画素群および第２の画素群である。これら第１および第２の画素群ＳＨＡおよびＳＨＢはベイヤー配列の間に所定の規則によって分散配置される。そして、第１の画素群ＳＨＡおよび第２の画素群ＳＨＢから得られた被写体像の位相差を応じて、ＣＰＵ１２１はフォーカスずれ量を算出する。
【００４９】
具体的には、画像信号を得る際には、Ｇ画素は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。一方、Ｒ又はＢ画素は色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。
【００５０】
そこで、２行×２列の画素のうちＧ画素は撮像用画素として残し、ＲとＢに相当する位置の一部の画素に所定の割合で焦点検出用画素を配列する。この焦点検出用画素は図５（ａ）においてＳＨＡおよびＳＨＢで示されている。
【００５１】
マイクロレンズＭＬと光電変換部ＰＤとは図４（ｂ）に示す撮像用画素と同一構造である。ここでは、焦点検出用画素の信号は画像生成には用いないので、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（無色）が配置される。また、撮像素子１０７で瞳分割を行うため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏心している。
【００５２】
画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏心しているので、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏心しているので、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。ここで、画素ＳＨＡをｘ方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。同様に、画素ＳＨＢもｘ方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とする。これらＡ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出することができる。
【００５３】
画素ＳＨＡおよびＳＨＢでは、撮影画面のｘ方向に輝度分布を有した被写体、例えば、ｙ方向の線に対しては焦点検出可能である。必要に応じて、撮影画面のｙ方向に輝度分布を有した被写体、例えば、ｘ方向の線に対しても焦点検出できるように、撮影レンズのｙ方向にも瞳分割を行う画素を備えるようにしてもよい。
【００５４】
なお、撮像用画素の間に焦点検出用画素を離散的に配置する技術およびこの焦点検出用画素を用いて焦点検出を行う技術は特許文献１に記載されているので、ここではこれ以上の詳細な説明は省略する。
【００５５】
撮像面位相差ＡＦは位相差ＡＦと比べて、より広範囲で焦点検出が可能である。しかしながら、撮像面位相差ＡＦはレンズケラレの影響を大きく受けるため、焦点検出の精度は位相差ＡＦよりも劣る。
【００５６】
図６は、位相差ＡＦにおいて設定可能な焦点検出位置を示す図である。
【００５７】
位相差ＡＦにおいては、例えば、外枠で示す撮影領域６０５の中に離散的に焦点検出位置６００〜６０４が設けられ、焦点検出の際、これら焦点検出位置６００〜６０４から任意の位置を選択・設定することが可能である。
【００５８】
図７は、コントラストＡＦにおいて設定可能な焦点検出位置を示す図である。
【００５９】
コントラストＡＦにおいては、外枠で示す撮影領域６１９の中に３×３の９箇所の領域６１０〜６１８が設けられ、焦点検出の際には、これら領域６１０〜６１８から任意の領域を選択・設定することが可能である。
【００６０】
図６および図７に示すように、位相差ＡＦとコントラストＡＦにおいては、位相差検出のためのラインセンサが離散的に配置されているため、設定可能な焦点検出位置（領域）が異なる。
【００６１】
図８は、図１に示すカメラで行われる撮影動作を説明するためのフローチャートである。なお、図８に示すフローチャートにおける処理は図１に示すＣＰＵ１２１によって行われる。
【００６２】
いま、撮影者がカメラの電源スイッチをオン操作すると（ステップＳ１０１）、ＣＰＵ１２１はカメラにおけるアクチュエータおよび撮像素子の動作確認を行う。さらに、ＣＰＵ１２１はメモリ内容および実行プログラムの初期化を行って、選択された焦点検出位置など測距に必要な情報をメモリから読み出すとともに、撮影準備動作を行う（ステップＳ１０２）。
【００６３】
続いて、ＣＰＵ１２１はレンズ通信回路１３５を介して撮影レンズ１３７のカメラ通信回路１３６とレンズ通信を行う（ステップＳ１０３）。このレンズ通信によって、ＣＰＵ１２１は撮影レンズ１３７の動作確認を行って、撮影レンズ１３７のメモリ内容および実行プログラムの初期化を行うとともに、準備動作を実行させる。また、ＣＰＵ１２１は焦点検出および撮像に必要な撮影レンズの特性を示す特性データを撮像レンズ１３７から取得して、レンズ特性データとしてメモリ１４４に保存する。
【００６４】
なお、このメモリ１４４には、カメラ本体１３８の特定を示す特性データがカメラ特性データとして記録されている。
【００６５】
次に、ＣＰＵ１２１は撮影者によってライブビュー撮影が指示されたか否かを判定する（ステップＳ１０４）。ライブビュー撮影が指示されていないと（ステップＳ１０４において、ＮＯ）、ＣＰＵ１２１は撮影待機状態となる。一方、ライブビュー撮影が指示されると（ステップＳ１０４において、ＹＥＳ）、ＣＰＵ１２１はメインミラー２００をミラーアップ状態とする。ここでは、ＣＰＵ１２１はメインミラー２００およびサブミラー２０１を退避させた後、シャッターユニット１３９を開いて、撮像素子１０７を受光可能状態とする（ステップＳ１０５）。
【００６６】
続いて、ＣＰＵ１２１は撮像素子駆動回路１２３によって撮像素子１０７を駆動する（ステップＳ１０６）。そして、ＣＰＵ１２１は表示部１３１にプレビュー画像を表示する（ステップＳ１０７）。これによって、撮影者はプレビュー画像を目視して撮影の際の構図決定を行う。
【００６７】
ライブビュー撮影動作中において、ＣＰＵ１２１はステップＳ１０２で読み出された焦点検出位置が常に合焦状態となるように、コントラストＡＦによるコンティニュアスＡＦを行う。
【００６８】
続いて、ＣＰＵ１２１は撮影者によって静止画撮影が指示されたか否かを判定する（ステップＳ１０８）。静止画撮影指示がないと（ステップＳ１０８において、ＮＯ）、ＣＰＵ１２１はコンティニュアスＡＦを行いつつライブビュー撮影状態を維持する。
【００６９】
静止画撮影が指示されると（ステップＳ１０８において、ＹＥＳ）、ＣＰＵ１２１は撮像素子１０７の撮像動作を開始して露光を行う（ステップＳ１０９）。そして、ＣＰＵ１２１は、ステップＳ１０２で読み出された焦点検出位置が位相差ＡＦによって焦点検出可能な焦点検出位置であるか否かを判定する（ステップＳ１１０）。つまり、ＣＰＵ１２１は位相差ＡＦによる検出が可能な撮影条件であるか否かを判定することになる。
【００７０】
ここで、図７に示すコントラストＡＦにおける焦点検出位置（領域）６１１、６１３、６１４、６１５、および６１７はそれぞれ図６に示す位相差ＡＦにおける焦点検出位置６００、６０１、６０２、６０３、および６０４に対応しており、位相差ＡＦによって焦点検出が可能である。
【００７１】
一方、コントラストＡＦにおける焦点検出位置６１０、６１２、６１６、および６１８については、位相差ＡＦに対応する焦点検出位置がないので、位相差ＡＦによる焦点検出は不可能である。つまり、ステップＳ１１０では、ＣＰＵ１２１はコントラストＡＦにおける焦点検出位置が位相差ＡＦで焦点検出可能な位置であるか否かを判定することになる。
【００７２】
コントラストＡＦにおける焦点検出位置が位相差ＡＦで焦点検出可能な位置であると（ステップＳ１１０において、ＹＥＳ）、ＣＰＵ１２１はミラーダウン状態とする。つまり、ＣＰＵ１２１は退避させたメインミラー２００およびサブミラー２０１をダウンさせて、ＡＦユニット（焦点検出用センサ）２０２が受光可能な状態とする（ステップＳ１１１）。
【００７３】
次に、ＣＰＵ１２１は位相差ＡＦによる被写体の位相差に基づいて、フォーカスずれ量を検出する（ステップＳ１１２）。この際、ＣＰＵ１２１は焦点検出位置をコントラストＡＦにおける焦点検出位置と同一又は近傍の位置とする。例えば、コントラストＡＦにおける焦点検出位置６１１が設定されていたとすると、ＣＰＵ１２１は位相差ＡＦにおける焦点検出位置６０１において焦点検出を行う。
【００７４】
続いて、ＣＰＵ１２１はステップＳ１１２で得られたフォーカスずれ量に基づいてボケ修復処理を行う（ステップＳ１１３）。このボケ修復処理については後述する。そして、ボケ修復処理の後、ＣＰＵ１２１は撮影動作を終了する。
【００７５】
コントラストＡＦにおける焦点検出位置が位相差ＡＦで焦点検出可能な位置でないと（ステップＳ１１０において、ＮＯ）、ＣＰＵ１２１は焦点検出位置が位相差ＡＦによって焦点検出可能な範囲外であることを表示部１３１に表示して、撮影者にボケ修復のための位相差ＡＦができない旨を警告する（ステップＳ１１４）。そして、ＣＰＵ１２１は撮影動作を終了する。
【００７６】
なお、ここでは、表示部１３１に警告を表示するようにしたが、例えば、音響を発するなど所望の撮影ができないことを撮影者に伝えることができれば、どのような報知を行ってもよい。
【００７７】
前述したように、ボケ修復処理の際には、ＣＰＵ１２１は設定された測距点（焦点検出位置）で得られたフォーカス量に基づいて画像のボケ修復を行う。ボケの生成過程は、カメラの特性および撮影レンズの特性から推定することが可能である。ここでは、ボケの生成過程をモデル化したボケ関数を定義して、ウィーナーフィルタなどのデコンボリューションと呼ばれる画像復元アルゴリズムを用いてボケ画像を修復処理する。ボケ画像の修復の際に用いられる演算手法については、例えば、特許文献１に記載されているので、ここでは詳細な説明を省略する。
【００７８】
図９は、図８に示すボケ修復処理を説明するためのフローチャートである。
【００７９】
ボケ修復処理を開始すると、ＣＰＵ１２１は、画像処理回路１２５に行われた変換処理（つまり、画像処理）の内容を示す変換情報を取得する（ステップＳ５０１）。そして、ＣＰＵ１２１は、画像処理回路１２５から送られる画像データを変換する際の変換手法を決定する（ステップＳ５０２）。
【００８０】
ここでは、ＣＰＵ１２１は、前述の図８のステップＳ１０３で取得したレンズ情報に基づいて変換手法を決定する。ステップＳ５０２で決定された変換手法では、例えば、特許文献１に記載された画像復元処理のアルゴリズムの前提条件である線形性を確保するために、露光値と画素値とが比例関係になるように画像データを変換する。
【００８１】
例えば、画像処理回路１２５でガンマ補正を実行する際には、ステップＳ５０２で決定された手法ではガンマ補正による変換の逆変換が行われることになる。これによって、ガンマ補正前の画像データを再生することができ、線形性を有する画像データを取得することが可能となる。
【００８２】
同様に、画像処理回路１２５で色補正を実行する際には、ステップＳ５０２では決定された方法では色変換による変換の逆変換が行われることになる。これによって、同様にして線形性を有する画像データを取得することが可能となる。
【００８３】
このように、ステップ５０２では、画像処理回路１２５による変換処理の逆変換に相当する変換手法が決定されることになる。
【００８４】
続いて、ＣＰＵ１２１は画像処理回路１２５から画像データ（撮影画像）を取得する（ステップＳ５０３）。そして、ＣＰＵ１２１はステップＳ５０２で決定した変換手法に従って、画像データの変換を行う（ステップＳ５０４）。その後、ＣＰＵ１２１はボケ関数の生成を行う（ステップＳ６００）。
【００８５】
次に、ＣＰＵ１２１はボケ関数の逆変換を行って、ステップＳ５０４で変換処理した画像データに対してボケ修復処理を行う（ステップＳ５０５）。そして、ＣＰＵ１２１はボケ修復処理を終了する。
【００８６】
なお、ボケ修復処理では、デコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修復処理が行われる。これによって、所定の被写体のボケが修復されたボケ修復画像データを得ることができる。ボケ関数を逆変換してボケ修復を行う手法について、例えば、特許文献１に記載されているので、ここでは詳細な説明を省略する。
【００８７】
図１０は、図９に示すボケ関数生成処理を説明するためのフローチャートである。
【００８８】
ボケ関数生成処理を開始すると、ＣＰＵ１２１はメモリ１４４に記録されたカメラ特性データを取得する（ステップＳ６０１）。続いて、ＣＰＵ１２１はメモリ１４４に記録されたレンズ特性データを取得する（ステップＳ６０２）。次に、ＣＰＵ１２１はボケ関数を定義する際に用いるパラメータをメモリ１４４から取得する（ステップＳ６０３）。
【００８９】
ところで、ボケ関数は、撮影レンズ１３７と撮像素子１０７との間における光伝達特性によって決まる。そして、光伝達特性は、カメラ特性データ、レンズ特性データ、撮影画像における被写体領域の位置、および被写体距離などの要因によって変化する。また、ボケ関数はフォーカスずれ量によっても大きく変化する。
【００９０】
このため、上記の要因とボケ関数を定義する際に用いるパラメータ（ボケパラメータ）とを関連付けたテーブルデータが予めメモリ１４４に記憶されている。また、ボケ関数を定義する際に用いられるフォーカスずれ量として、図８のステップＳ１１２で得られたフォーカスずれ量が用いられる。
【００９１】
次に、ＣＰＵ１２１はボケパラメータに基づいてボケ関数を定義する（ステップＳ６０４）。ここで、ボケ関数として、ボケ現象が正規分布法則に沿うものとするガウシアン分布などがある。中心画素からの距離をｒ、正規分布法則の任意のパラメータをσ２とすると、ボケ関数ｈ（ｒ）は、次の式（１）で表される。
【００９２】
【数１】
2014130231.tif 000003
【００９３】
そして、ボケ関数を定義すると、ＣＰＵ１２１はボケ関数生成処理を終了する。
【００９４】
このように、本発明の第１の実施形態では、ライブビュー撮影（プレビュー状態）から静止画を撮影する際、合焦動作の完了を待つことなく、撮像素子の露光を行うようにしたので、撮影者が意図した瞬間の静止画を得ることができる。
【００９５】
また、位相差ＡＦで検出したデフォーカス量に基づいて、ボケ画像の修復を行うようにしたので、ボケ修復を行うための最適なフィルタを容易に得ることができ、短い処理時間でより精度よくボケ修復を行うことができる。
【００９６】
［第２の実施形態］
次に、本発明の第２の実施形態によるカメラについて説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様である。
【００９７】
図１１は、本発明の第２の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。なお、図１１に示すフローチャートにおける処理は図１に示すＣＰＵ１２１によって行われる。また、図１１において、図８に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
【００９８】
図８で説明したステップＳ１１０において、コントラストＡＦにおける焦点検出位置が位相差ＡＦで焦点検出可能な位置でないと（ステップＳ１１０において、ＮＯ）、ＣＰＵ１２１は予め設定されたコントラストＡＦにおける焦点検出位置でコントラストＡＦによる焦点検出を行って、当該焦点検出結果（第２の焦点状態検出結果）に応じて焦点調節を行う（ステップＳ７１４）。そして、焦点調節が完了すると、ＣＰＵ１２１は撮像素子１０７の撮像動作を開始して露光を行う（ステップＳ７１５）。
【００９９】
続いて、ＣＰＵ１２１は撮影者によってステップＳ１０９で得られた画像（第１の画像）とステップＳ７１５で得られた画像（第２の画像）との両方又は一方を選択するかあるいはいずれも選択しないかの指示があったか否かを判定する（ステップＳ７１６）。ここでは、撮影者はステップＳ１０９で得られたシャッター優先の画像およびステップＳ７１６で得られたピント優先の画像のいずれかを選択することができる。もちろん、撮影者は両画像を選択し、両画像とも選択しないこともできる。
【０１００】
指示がないと（ステップＳ７１６において、ＮＯ）、ＣＰＵ１２１は待機する。一方、指示があると（ステップＳ７１６において、ＹＥＳ）、ＣＰＵ１２１は当該指示に応じた処理を行って撮影動作を終了する。
【０１０１】
このように、本発明の第２の実施形態においてもライブビュー撮影から静止画を撮影する際、合焦動作の完了を待つことなく撮像素子の露光を行うので、撮影者が意図した瞬間の静止画を得ることができる。
【０１０２】
さらに、第２の実施形態では、コントラストＡＦのために設定された焦点検出位置で位相差ＡＦによる焦点検出が行える場合には、位相差ＡＦで検出したデフォーカス量に基づいてボケ画像の修復を行うので、ボケ修復を行うための最適なフィルタを容易に得ることができ、短い処理時間で精度よくボケ修復を行うことができる。そして、コントラストＡＦのために設定された焦点検出位置で、位相差ＡＦによる焦点検出を行うことができない場合には、撮影者が意図した瞬間の静止画とコントラストＡＦによって正確にピントを合わせた静止画の両方を得る。これによって、撮影者は状況に応じてレリーズタイムラグを優先した静止画又はピント状態を優先した静止画を選択することができる。
【０１０３】
［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラについて説明する。なお、第３の実施形態によるカメラの構成は図１に示すカメラと同様である。
【０１０４】
図１２は、本発明の第３の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。なお、図１２に示すフローチャートにおける処理は図１に示すＣＰＵ１２１によって行われる。また、図１２において、図８に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０１０５】
図８で説明したステップＳ１１０において、コントラストＡＦにおける焦点検出位置が位相差ＡＦで焦点検出可能な位置でないと（ステップＳ１１０において、ＮＯ）、ＣＰＵ１２１は予め設定されたコントラストＡＦによる焦点検出位置と同一か又はその近傍で撮像面位相差ＡＦによる焦点検出を行う（ステップＳ８１４）。そして、ＣＰＵ１２１はその焦点検出結果（第３の焦点状態検出結果）に基づいてフォーカスレンズを駆動して焦点調節を行う。
【０１０６】
図１３は、図１２に示す撮像面位相差ＡＦにおける焦点検出位置を示す図である。
【０１０７】
図１３に示すように、撮像面位相差ＡＦにおける焦点検出位置は、撮像面全体である一つの領域１３０１であり、この領域１３０１は、図７に示すコントラストＡＦの焦点検出位置６１０、６１１、６１２、６１３、６１４、６１５、６１７、および６１８に対応している。従って、撮像面位相差ＡＦでは、コントラストＡＦで焦点件検出可能な範囲と同一の範囲での焦点検出を行うことができる。
【０１０８】
続いて、ＣＰＵ１２１は、撮像面位相差ＡＦで得られたフォーカスずれ量に基づいてボケ修復処理を行って（ステップＳ８１５）、撮影を終了する。なお、ステップＳ８１５におけるボケ修復処理は、図８で説明したステップＳ１１３のボケ修復処理と同様にして行われる。
【０１０９】
このように、本発明の第３の実施形態においてもライブビュー撮影から静止画を撮影する際、合焦動作の完了を待つことなく撮像素子の露光を行うので、撮影者が意図した瞬間の静止画を得ることができる。
【０１１０】
さらに、第３の実施形態では、コントラストＡＦのために設定された焦点検出位置で位相差ＡＦによる焦点検出が行える場合には、位相差ＡＦで検出したデフォーカス量に基づいてボケ画像の修復を行うので、ボケ修復を行うための最適なフィルタを容易に得ることができ、短い処理時間で精度よくボケ修復を行うことができる。そして、コントラストＡＦのために設定された焦点検出位置で、位相差ＡＦによる焦点検出を行うことができない場合においても、撮像面位相差ＡＦで得られたデフォーカス量に基づいてボケ画像の修復を行うようにしたので、ボケ修復の際に最適なフィルタを容易に得ることができ、短い処理時間で精度よくボケ修復を行うことができる。
【０１１１】
なお、上述の実施の形態では、撮像装置として撮影レンズが交換可能なカメラについて説明したが、撮影レンズがカメラ本体に備わっている所謂レンズくくり付けタイプのカメラにも適用することができる。
【０１１２】
上述の説明から明らかなように、図１に示す例においては、位相差ＡＦユニット２０２が第１の焦点状態検出手段として機能する。また、メインミラー２００およびサブミラー２０１は選択手段として機能し、ＣＰＵ１２１および画像処理回路１２５は制御手段として機能する。
【０１１３】
さらに、フォーカスアクチュエータ１１４、フォーカス駆動回路１２６、およびＣＰＵ１２１は第２の焦点状態検出手段として機能し、ＣＰＵ１２１は判定手段として機能する。そして、ＣＰＵ１２１は第３の焦点状態検出手段として機能する。なお、ＣＰＵ１２１および操作スイッチ１３２は画像選択手段として機能する。
【０１１４】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１５】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１６】
上記の制御方法および制御プログラムの各々は、少なくとも選択ステップおよび制御ステップを有している。
【０１１７】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１８】
１０７  撮像素子
１２１  ＣＰＵ
１２４  撮像素子駆動回路
１３１  表示部
１３７  撮影レンズユニット
１３８  カメラ本体
２００  メインミラー
２０１  サブミラー
２０２  位相差ＡＦユニット
【図１】
2014130231.tif 000004
【図２】
2014130231.tif 000005
【図３】
2014130231.tif 000006
【図４】
2014130231.tif 000007
【図５】
2014130231.tif 000008
【図６】
2014130231.tif 000009
【図７】
2014130231.tif 000010
【図８】
2014130231.tif 000011
【図９】
2014130231.tif 000012
【図１０】
2014130231.tif 000013
【図１１】
2014130231.tif 000014
【図１２】
2014130231.tif 000015
【図１３】
2014130231.tif 000016