(57)【要約】【課題】従来は撮影レンズが変更されると焦点検出が可能な範囲がわからないという問題があった。【解決手段】カメラボディは、交換レンズが装着される装着部と、交換レンズを通過した光を受光して焦点検出信号を出力する複数の焦点検出用画素を有する撮像素子と、交換レンズから光学特性の情報を受信する受信部と、撮像素子から出力された焦点検出信号により交換レンズの合焦状態を検出する焦点検出部と、交換レンズの光学特性と焦点検出用画素に関する情報とから合焦状態を検出する範囲を設定する設定部と、を備える。【選択図】図１
2018005008.tif 000002
【特許請求の範囲】
【請求項１】
交換レンズが装着される装着部と、
前記交換レンズを通過した光を受光して焦点検出信号を出力する複数の焦点検出用画素を有する撮像素子と、
前記交換レンズから光学特性の情報を受信する受信部と、
前記撮像素子から出力された焦点検出信号により前記交換レンズの合焦状態を検出する焦点検出部と、
前記交換レンズの光学特性と前記焦点検出用画素に関する情報とから合焦状態を検出する範囲を設定する設定部と、を備えるカメラボディ。
【請求項２】
請求項１に記載のカメラボディにおいて、
前記受信部は、前記交換レンズの光学特性の情報として、前記交換レンズの射出瞳に関する情報を受信するカメラボディ。
【請求項３】
請求項１または２に記載のカメラボディにおいて、
前記焦点検出用画素に関する情報は、前記複数の焦点検出用画素の配置と、前記交換レンズを通過した光がマイクロレンズを介して前記焦点検出用画素に入射する位置とであるカメラボディ。
【請求項４】
請求項１から３の何れか一項に記載のカメラボディにおいて、
前記焦点検出用画素毎に複数の光電変換部が設けられているカメラボディ。
【請求項５】
請求項１から４の何れか一項に記載のカメラボディにおいて、
前記焦点検出部は、前記範囲を分割した部分範囲について、デフォーカス量を算出し、
前記部分範囲ごとのデフォーカス量の分布に基づくマップを作成するマップ作成部を備えるカメラボディ。
【請求項６】
請求項５に記載のカメラボディにおいて、
前記マップ作成部によって作成された前記マップを用いて、前記撮像素子で生成された画像信号を用いて生成された画像に対してぼかし処理を施す処理部を備え、
前記処理部によりぼかし処理が施された画像が表示部に表示されるカメラボディ。
【請求項７】
請求項６に記載のカメラボディにおいて、
前記処理部は、前記部分範囲ごとに、前記デフォーカス量の大きさに基づいて決定したぼかし量で前記ぼかし処理を施すカメラボディ。
【請求項８】
請求項６または７に記載のカメラボディにおいて、
前記ぼかし処理が施された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項９】
請求項６または７に記載のカメラボディにおいて、
前記範囲から出力された画像信号から生成された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項１０】
請求項６または７に記載のカメラボディにおいて、
前記範囲から出力された画像信号から生成された画像と、前記ぼかし処理が施された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項１１】
請求項５に記載のカメラボディにおいて、
前記マップ作成部によって作成された前記マップを用いて、前記部分範囲ごとに、前記デフォーカス量の大きさに基づいて決定した強調効果を前記範囲から出力された画像に付加する処理部と、
前記処理部により前記強調効果が付加された画像を表示する表示部と、を備えるカメラボディ。
【請求項１２】
請求項１１に記載のカメラボディにおいて、
前記処理部は、前記決定した強調効果に対して、操作部材への操作に基づいてボケ量の強調度合いを変更するカメラボディ。
【請求項１３】
請求項１１または１２に記載のカメラボディにおいて、
前記強調効果が施された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項１４】
請求項１１または１２に記載のカメラボディにおいて、
前記範囲から出力された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項１５】
請求項１１または１２に記載のカメラボディにおいて、
前記範囲から出力された画像と、前記強調効果が施された画像と、前記作成されたマップとを関連付けて記憶する記憶部をさらに備えるカメラボディ。
【請求項１６】
撮像素子を有するカメラボディが装着される装着部と、
撮像光学系の射出瞳に関する情報を記憶する記憶部と、
前記カメラボディから、前記撮像素子が有する焦点検出用画素に関する情報を受信する受信部と、
前記撮像光学系の射出瞳に関する情報と前記焦点検出用画素に関する情報とから合焦状態を検出する範囲を設定する設定部と、
前記設定部により設定された前記範囲に関する情報を前記カメラボディに送信する送信部と、を備える交換レンズ。
【請求項１７】
請求項１６に記載の交換レンズにおいて、
前記受信部は、複数の前記焦点検出用画素の配置と、前記交換レンズを通過した光がマイクロレンズを介して前記焦点検出用画素に入射する位置とを受信し、
前記設定部は、前記撮像光学系の前記射出瞳の位置の情報と、前記複数の焦点検出用画素の配置と、前記交換レンズを通過した光がマイクロレンズを介して前記焦点検出用画素に入射する位置とに基づいて、前記範囲に関する情報を設定する交換レンズ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラボディおよび交換レンズに関する。
【背景技術】
【０００２】
従来から、焦点検出用の画素を有する撮像素子を用いたカメラが知られている（たとえば特許文献１）。従来は、撮影レンズが変更されると焦点検出が可能な範囲がわからないという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４３０２６号公報
【発明の概要】
【０００４】
第１の態様によると、カメラボディは、交換レンズが装着される装着部と、前記交換レンズを通過した光を受光して焦点検出信号を出力する複数の焦点検出用画素を有する撮像素子と、前記交換レンズから光学特性の情報を受信する受信部と、前記撮像素子から出力された焦点検出信号により前記交換レンズの合焦状態を検出する焦点検出部と、前記交換レンズの光学特性と前記焦点検出用画素に関する情報とから合焦状態を検出する範囲を設定する設定部と、を備える。
第２の態様によると、交換レンズは、撮像素子を有するカメラボディが装着される装着部と、撮像光学系の射出瞳に関する情報を記憶する記憶部と、前記カメラボディから、前記撮像素子が有する焦点検出用画素に関する情報を受信する受信部と、前記撮像光学系の射出瞳に関する情報と前記焦点検出用画素に関する情報とから合焦状態を検出する範囲を設定する設定部と、前記設定部により設定された前記範囲に関する情報を前記カメラボディに送信する送信部と、を備える。
【図面の簡単な説明】
【０００５】
【図１】本発明の実施の形態による撮像装置の構成を説明する横断面図である。
【図２】実施の形態による撮像素子の制御系の要部構成を説明するブロック図である。
【図３】撮像素子を説明する図である。
【図４】撮像画素が設けられた位置とケラレとの関係を説明する模式図である。
【図５】撮像面上に設定される撮像範囲を説明する模式図である。
【図６】被写体と部分範囲ごとのデフォーカス量との関係を説明する模式図である。
【図７】ぼかし効果が施された画像の一例を模式的に示す図である。
【図８】ぼかし効果の一例を説明するための模式図である。
【図９】静止画データを生成する場合における動作を説明するフローチャートである。
【図１０】動画データを生成する場合における動作を説明するフローチャートである。
【図１１】ぼかし効果を施す際の動作を説明するフローチャートである。
【図１２】ぼかし効果を施す際の動作を説明するフローチャートである。
【図１３】第２および第３の実施の形態による交換レンズの制御系の要部構成を説明するブロック図である。
【発明を実施するための形態】
【０００６】
−第１の実施の形態−
図面を参照しながら、本実施の形態による交換レンズと、当該交換レンズを備えるカメラボディについて説明する。
図１は実施の形態による交換レンズ３００を装着したカメラボディ２００からなるデジタルカメラ１００の構成を説明する横断面図である。なお、説明の都合上、ｘ軸、ｙ軸、ｚ軸からなる座標系を図示の通りに設定する。
【０００７】
デジタルカメラ１００は、カメラボディ２００と交換レンズ３００とにより構成され、交換レンズ３００はマウント部（不図示）を介して装着される、いわゆるミラーレスカメラである。カメラボディ２００には、マウント部を介して種々の撮像光学系を有する交換レンズ３００が装着可能である。上記のマウント部には電気接点２０１、２０２が設けられ、カメラボディ２００と交換レンズ３００とが結合された時には、電気接点２０１および２０２を介して電気的な接続が確立される。
【０００８】
交換レンズ３００は、撮像光学系１と、駆動機構３と、レンズデータ部４と、レンズ制御部７とを備えている。撮像光学系１は、被写体像を撮像素子８の撮像面上に結像させるための光学系であり、焦点調節レンズを含む複数のレンズによって構成されている。レンズ制御部７は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、交換レンズ３００の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。レンズ制御部７は、電気接点２０１および２０２を介して、カメラボディ２００との間で種々の情報を送受信する。駆動機構３は、レンズ制御部７により制御され、電気接点２０１を介してカメラボディ２００側から入力したレンズ駆動量に応じて撮像光学系１を構成する焦点調節レンズを光軸Ｌの方向（ｚ軸方向）に沿って合焦位置へ駆動する。レンズデータ部４は、たとえば不揮発性の記録媒体により構成され、交換レンズ３００に関連する各種のレンズ情報、たとえば撮像光学系１の射出瞳の位置や明るさ（開放Ｆ値）等が格納されている。
【０００９】
カメラボディ２００内部には、制御部５と、撮像素子制御回路６と、撮像素子８と、電子ビューファインダ（ＥＶＦ）９と、接眼レンズ１０とが設けられている。カメラボディ２００には操作部１１が設けられている。カメラボディ２００の背面には液晶モニタ１７が設けられている。撮像素子８には、ＣＣＤやＣＭＯＳ等の撮像画素がｘｙ平面上において二次元状（行と列）に配置される。撮像素子８の撮像画素には、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが設けられている。撮像素子８は、撮像光学系１を介して入射される光束を受光して被写体像を撮像して、撮像信号を撮像素子制御回路６に出力する。撮像信号は、画像データ生成用の信号（画像信号）として、また、焦点検出用の信号（焦点検出用信号）として使用される。撮像素子８がカラーフィルタを通して被写体像を撮像するため、撮像素子８の撮像画素から出力される撮像信号はＲＧＢ表色系の色情報を有する。なお、撮像素子８については、詳細を後述する。
【００１０】
電子ビューファインダ９は、制御部５により生成された表示画像データに対応する画像の表示を行う。また、電子ビューファインダ９は、撮像条件に関連する各種情報（シャッタ速度、絞り値、ＩＳＯ感度など）の表示を行う。電子ビューファインダ９に表示された画像や各種情報は、接眼レンズ１０を介してユーザにより観察される。
背面モニタ１７は、たとえば液晶モニタ等の表示部であり、制御部５により生成された表示画像データに対応する画像の表示を行う。また、背面モニタ１７は、撮像条件に関連する各種情報（シャッタ速度、絞り値、ＩＳＯ感度など）の表示を行う。
【００１１】
操作部１１はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御部５へ出力する。操作部材は、たとえばレリーズボタンや、カメラボディ２００の背面に設けられた背面モニタ１７にメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間でデジタルカメラ１００の動作を切替える動作モード切替ボタン、露出モードを設定する露出モード切替ボタン等を含む。
【００１２】
さらに、図２に示すブロック図を用いて、カメラボディ２００の制御系について説明する。図２に示すようにカメラボディ２００は、Ａ／Ｄ変換部１２と、画像処理回路１３と、焦点検出演算回路１４と、ボディ−レンズ通信部１５と、マップ作成部１６と、メモリ１８とを有している。制御部５は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有し、制御プログラムに基づいて、カメラボディ２００と、カメラボディ２００に装着された交換レンズ３００とが有する各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御部５内の不図示の不揮発性メモリに格納されている。制御部５は、算出部（設定部）５１を機能として備える。算出部（設定部）５１は、後述する焦点検出演算回路１４による焦点状態（合焦状態）の検出精度が所定の閾値以上となる撮像素子８の撮像面上の範囲を、撮像範囲として算出（設定）する。なお、算出部５１の詳細については、説明を後述する。
【００１３】
撮像素子制御回路６は、制御部５によって制御され、撮像素子８およびＡ／Ｄ変換部１２の駆動を制御して、撮像素子８に電荷蓄積および撮像信号の読み出し等を行わせる。Ａ／Ｄ変換部１２は、撮像素子８から出力されたアナログの撮像信号をデジタルに変換する。画像処理回路１３は、撮像素子８から出力された撮像信号を画像信号として用い、画像信号に対して種々の画像処理を施して画像データを生成した後、付加情報等を付与して画像ファイルを生成する。画像処理回路１３は、生成した画像ファイルをメモリカード等の記録媒体１９に記録する。画像処理回路１３は、生成した画像データや記録媒体１９に記録されている画像データに基づいて、電子ビューファインダ９や背面モニタ１７に表示するための表示画像データを生成する。
【００１４】
焦点検出演算回路１４は、撮像素子８から出力された撮像信号を焦点検出用信号として使用して、公知の位相差検出方式を用いてデフォーカス量を算出する。ボディ−レンズ通信部１５は、制御部５に制御され、電気接点２０１、２０２を介して交換レンズ３００内のレンズ制御部７と通信を行い、カメラ情報（デフォーカス量や絞り値など）の送信やレンズ情報の受信を行う。マップ作成部１６は、焦点検出演算回路１４による焦点検出演算の結果を用いて、撮影された画像上でのデフォーカ量の分布を示すデフォーカスマップを作成する。メモリ１８は、たとえば不揮発性の記録媒体により構成され、撮像素子８に関連する各種の情報、たとえば撮像素子８の撮像面の大きさや、撮像素子８に設けられた複数の撮像画素８０（図３参照）の位置や、撮像画素８０が有するマイクロレンズ８１（図３参照）の特性等が格納されている。記憶媒体１９は、たとえばメモリカード等の不揮発性の記憶媒体であり、画像処理回路１３により生成された画像ファイルを記憶する。
【００１５】
次に、本実施の形態における撮像素子８について詳細に説明する。
図３（ａ）は撮像素子８の中心部を含む一部の領域を模式的に示す平面図であり、図３（ｂ）は１つの撮像画素８０の断面を模式的に示す図である。なお、図３においても、ｘ軸、ｙ軸、ｚ軸からなる座標系を、図１に示す例と同様にして設定する。撮像素子８は、複数の撮像画素８０が行方向（ｘ方向）と列方向（ｙ方向）とに二次元配列される。撮像画素８０の各画素位置には、たとえばベイヤー配列の規則に従って上述したカラーフィルタ（Ｒ：赤色フィルタ、Ｇ：緑色フィルタ、Ｂ：青色フィルタ）が設けられる。図３（ａ）においては、撮像画素８０に配置されたカラーフィルタの色を、「Ｒ」、「Ｇ」または「Ｂ」と表記して模式的に表す。なお、焦点検出領域に設けられた撮像画素８０はカラーフィルタを備えていなくても良い。
【００１６】
撮像画素８０は、マイクロレンズ８１と、１つのマイクロレンズ８１の下に設けられた第１光電変換部８２および第２光電変換部８３とによって構成される。第１光電変換部８２と第２光電変換部８３とは、ｘ方向に並んで設けられる。図３に示す例では、第１光電変換部８２はｘ方向＋側、第２光電変換部８３はｘ方向−側に設けられる。第１光電変換部８２および第２光電変換部８３には、それぞれ撮像光学系１の異なる領域を介して入射された光が入射する。すなわち、焦点検出演算回路１４が位相差検出演算に用いる一対の被写体光束が入射する。
【００１７】
上述したように、撮像画素８０には、Ｒ、ＧまたはＢの何れかのカラーフィルタが設けられている。このため、撮像画素８０が設けられる位置に応じて、出力される第１撮像信号および第２撮像信号は緑、赤または青の色情報からなる。本実施の形態では、焦点検出演算回路１４は、緑、赤または青のうち何れか一色の色情報からなる、第１光電変換部８２から出力された第１撮像信号を順次並べた第１信号列｛ａｎ｝と、第２光電変換部８３から出力された第２撮像信号を順次並べた第２信号列｛ｂｎ｝との相対的な像ズレ量を検出することによって、撮像光学系１の焦点調節状態、すなわちデフォーカス量を検出する。
なお、画像処理回路１３は、撮像画素８０の第１光電変換部８２からの第１撮像信号と第２光電変換部８３からの第２撮像信号とが加算された信号を画像信号として使用して、画像データを生成する。
【００１８】
図４を用いて、撮像画素８０の配置位置と、撮像光学系１の射出瞳領域を通過する被写体光のケラレとの関係について説明する。図４は、マイクロレンズ８１による第１光電変換部８２、第２光電変換部８３の投影位置とは異なる位置に射出瞳が位置する交換レンズ３００が装着された場合を示す。また、撮像光学系１の光軸近傍に配置された撮像画素８０−１と、撮像素子８の撮像面の周辺部、すなわち光軸からの距離が大きい、いわゆる高い像高の位置に配置された撮像画素８０−２とを代表して示す。
【００１９】
光軸近傍に配置された撮像画素８０−１では、被写体からの光束のうち、撮像光学系１の一対の射出瞳領域８４１を通過した光束８６１が第１光電変換部８２−１に入射する。撮像光学系１の一対の射出瞳領域８５１を通過した光束８７１は、撮像画素８０−１の第２光電変換部８３−１に入射する。図示のように、撮像画素８０−１は撮像光学系１の光軸近傍に配置されているので、光束８６１および８７１は、交換レンズ３００やカメラボディ２００の構造等によりケラレることなく第１光電変換部８２−１および第２光電変換部８３−１に入射する。
【００２０】
高い像高の位置に配置された撮像画素８０−２では、撮像光学系１の一対の射出瞳領域８４１を通過した光束８６２が第１光電変換部８２−２に入射する。撮像光学系１の一対の射出瞳領域８５１を通過した光束８７２は、一部が撮像画素８０−２の第２光電変換部８３−２に入射する。すなわち、高い像高の位置に配置された撮像画素８０−２では、第２光電変換部８３−２に入射する光の量が、第１光電変換部８２−２に入射する光の量よりも少ない。このため、第１光電変換部８２−２から出力された第１撮像信号に基づく第１信号列｛ａｎ｝と、第２光電変換部８３−２から出力された第２撮像信号に基づく第２信号列｛ｂｎ｝とを用いて算出されたデフォーカス量の精度が低下する。すなわち、焦点状態の検出精度が低下する。
【００２１】
本実施の形態では、射出瞳の位置が異なる交換レンズ３００が装着された場合や、ズームレンズのように射出瞳の位置が変化する場合に、焦点状態の検出精度が低下しない領域に含まれる撮像画素８０からの撮像信号を用いて、焦点検出演算および画像データの生成を行う。
制御部５の算出部５１は、撮像素子８の撮像面のうち、ケラレによる影響が少ない光束が入射する範囲を撮像範囲として算出する。算出部５１は、メモリ１８に記憶された撮像画素８０に関する情報と、交換レンズ３００から、ボディ−レンズ通信部１５を介して受信した撮像光学系１に関する情報とに基づいて撮像範囲を算出する。撮像画素８０に関する情報は、マイクロレンズ８１による第１光電変換部８２、第２光電変換部８３の投影位置と、各撮像画素８０の撮像面上での位置の情報とを含む。撮像光学系１に関する情報は、撮像光学系１の射出瞳の位置の情報を含む。
【００２２】
算出部５１は、たとえばマイクロレンズ８１による第１光電変換部８２、第２光電変換部８３の投影位置と、撮像光学系１の射出瞳の位置とが重複していな範囲Δを算出する。算出部５１は、算出した重複していない範囲Δに基づいて、ケラレの影響を受けていない光束が入射する撮像画素８０の撮像面上での範囲（以下、有効範囲９１（図５（ａ）参照））を算出し、有効範囲９１に含まれる所定の範囲を撮像範囲９２（図５（ａ）参照）として設定する。算出部５１は、算出した有効範囲９１の内部に撮像範囲９２を設定する。
【００２３】
図５に、撮像素子８の全撮像範囲９０と、有効範囲９１と、撮像範囲９２との関係を模式的に示す。図５（ａ）に示すように、算出部５１は、有効範囲９１に内接する矩形形状の範囲を撮像範囲９２に設定する。算出部５１は、撮像範囲９２の長辺と短辺との比率を、たとえば３：２に設定する。なお、撮像範囲９２の長辺と短辺との比率は３：２に限定されるものではなく、任意の比率に設定して良い。
【００２４】
算出部５１は、撮像面上における撮像画素８０の位置の情報を参照して、撮像面上の各撮像画素８０が撮像範囲９２内に位置するか否かを判定する。算出部５１は、撮像範囲９２に含まれる撮像画素８０を、焦点検出演算に使用し、画像データを生成するための撮像画素８０として選択する。
【００２５】
撮像範囲９２が算出されると、制御部５は、撮像素子制御回路６を介して、撮像素子８の撮像画素８０から撮像信号を出力させる。出力された撮像信号のうち、撮像範囲９２内の撮像画素８０、すなわち算出部５１により選択された撮像画素８０からの撮像信号が、焦点検出演算や画像データの生成に使用される。焦点検出演算回路１４は、撮像範囲９２内の撮像画素８０から出力された撮像信号を焦点検出信号として使用して、位相差検出方式により撮像光学系１の焦点状態を検出する。画像処理回路１３は、撮像範囲９２内の撮像画素８０の第１光電変換部８２から出力された第１撮像信号と第２光電変換部８３から出力された第２撮像信号とが加算された画像信号に基づいて画像データを生成する。
なお、撮像素子制御回路６は、撮像素子８の撮像画素８０のうち、撮像範囲９２内の撮像画素８０から撮像信号を出力させ、撮像範囲９２の外部の撮像画素８０からの撮像信号を出力させなくても良い。
【００２６】
焦点検出演算回路１４は、図５（ｂ）に示すように、撮像範囲９２を分割して複数の部分範囲９３を設定する。なお、図５（ｂ）では、撮像範囲９２を３×４の部分範囲９３に分割した例を示すが、部分範囲９３の個数はこの例に限定されるものではない。焦点検出演算回路１４は、部分範囲９３に含まれる撮像画素８０のうち緑、赤または青のうち何れか一色の色情報からなる第１光電変換部８２から出力された第１撮像信号を順次並べた第１信号列｛ａｎ｝と、第２光電変換部８３から出力された第２撮像信号を順次並べた第２信号列｛ｂｎ｝との相対的な像ズレ量を検出することによって、部分範囲９３ごとにデフォーカス量を算出する。焦点検出演算回路１４は、デフォーカス量に基づいて算出した撮像光学系１の駆動量を算出し、駆動信号としてボディ−レンズ通信部１５を介して交換レンズ３００に送信する。交換レンズ３００の駆動機構３は、受信した駆動信号に従って、フォーカスレンズを合焦位置に駆動させる。マップ作成部１６は、焦点検出演算回路１４により算出された部分範囲９３ごとのデフォーカス量を用いて、撮像範囲９２におけるデフォーカス量の分布を示すデフォーカスマップを作成する。
【００２７】
画像処理回路１３は、撮像範囲９２内の撮像画素８０から出力され、Ａ／Ｄ変換回路１２によりデジタル変換された撮像信号に対して種々の画像処理を施して、画像データを生成する。さらに、画像処理回路１３は、マップ作成部１６により生成されたデフォーカスマップを用いて、画像データに対して、デフォーカス量に基づいたぼかし処理を施す。
【００２８】
画像処理回路１３は、部分範囲９３ごとに算出されたデフォーカス量の値の絶対値に基づいて、ボケ効果の強調度合いを設定する。この場合、画像処理回路１３は、公知の背景ボケ効果を得るための手法を用いて画像処理を行う際に、デフォーカス量の値の絶対値に基づいて設定された係数を用いてボケ効果の強調度合い、すなわちボケ量を設定する。
【００２９】
本実施の形態においては、画像処理回路１３が異なる種類のぼかし理を行うため、例えば以下のような各モードを備えている。
（１）デフォーカス量の増加に伴ってボケ効果を強調する（第１モード）
（２）ピントが合った被写体の前方と後方のボケ効果の強調度合いを制御する（第２モード）
（３）デフォーカス量に基づいて、特定の領域についてはボケ効果を制限する（第３モード）
（４）ピントを合わせる被写体を選択し、選択された被写体以外の領域にボケ効果を施す（第４モード）
以下、上記の第１〜第４モードごとに説明を行う。なお、各モードの選択は、ユーザにより行うことができる。この場合、ユーザは、たとえば背面モニタ１７に表示されたメニュー画面等から、操作部１１を操作することにより所望するモードを選択する。なお、ユーザは、上記の第１モード〜第４モードのうち１つを選択しても良いし、複数のモードを選択して、異なる種類のボケ効果が施された画像を画像処理回路１３に生成させても良い。
【００３０】
＜第１モード＞
第１モードにおいては、上述したボケ量を設定するための係数は、デフォーカス量の値の絶対値の増加に伴って、ボケ効果がより強調されるように設定される。なお、ボケ効果の増減は、デフォーカス量の値の絶対値の増加に伴って連続的に増加しても良いし、所定の増加量ごとに段階的に増加しても良い。
これにより、デフォーカス量の値の絶対値が大きい部分範囲９３に対応する範囲のボケ量が増加する。すなわち、画像処理回路１３は、撮像光学系１の光学的な特性で得られるボケ効果よりもボケ効果が強調された画像データを生成する。このボケ効果が強調された画像データは、背面モニタ１７によりライブビュー画像として表示される。
【００３１】
図６を用いてぼかし処理を説明する。図６（ａ）は、撮像範囲９２と、撮像範囲９２内における被写体Ｓ１〜Ｓ４とを重畳して模式的に示す。被写体Ｓ１は、他の被写体Ｓ２〜Ｓ４と比較して、デジタルカメラ１００からの距離が最短の場所に位置する。被写体Ｓ４は、他の被写体Ｓ１〜Ｓ３と比較して、デジタルカメラ１００からの距離が最長の場所に位置する。被写体Ｓ２とＳ３とは、デジタルカメラ１００からの距離が被写体Ｓ１とＳ４との間に位置する。すなわち、被写体Ｓ１〜Ｓ４は、この順序でデジタルカメラ１００からの距離が増加するように位置するものとする。
【００３２】
図６（ｂ）は、図６（ａ）の撮像範囲９２を分割した複数の部分範囲９３と被写体Ｓ１〜Ｓ４とを重畳して模式的に示す。図６（ｂ）では、一例として、撮像範囲９２を５×７の部分範囲９３に分割した場合を示す。上述したように、被写体Ｓ１〜Ｓ４は、この順序でデジタルカメラ１００からの距離が増加するように位置している。被写体Ｓ２にピントが合うようにした状態では、焦点検出演算回路１４によって算出される各部分範囲９３ごとのデフォーカス量は、被写体Ｓ１〜Ｓ４のそれぞれに対応する部分範囲９３ごとに異なる。
【００３３】
図６（ｃ）には、各被写体Ｓ１〜Ｓ４にそれぞれ対応する部分範囲９３におけるデフォーカス量の値の一例を示す。なお、図６（ｃ）において、被写体Ｓ１に対応する複数の部分範囲９３を纏めて部分範囲群９５−１、被写体Ｓ２に対応する複数の部分範囲９３を纏めて部分範囲群９５−２、被写体Ｓ３に対応する複数の部分範囲９３を纏めて部分範囲群９５−３、被写体Ｓ４に対応する複数の部分範囲９３を纏めて部分範囲群９５−４と呼ぶ。なお、以下の説明において、部分範囲群を総称する場合には、符号９５を付与する。デジタルカメラ１００から最至近に位置する被写体Ｓ１からの光が入射する部分範囲９３ではデフォーカス量の値は、たとえば−Ｄ１となる。デジタルカメラ１００からの距離が、被写体Ｓ２よりも遠い被写体Ｓ３からの光が入射する部分範囲９３では、デフォーカス量の値は、Ｄ２となる。被写体Ｓ４からの光が入射する部分範囲９３では、被写体Ｓ３の場合と比較して、デフォーカス量の値は、Ｄ３（＞Ｄ２）となる。すなわち、部分範囲群９５−１にはデフォーカス量の値が−Ｄ１の部分範囲９３が含まれ、部分範囲群９５−２にはデフォーカス量の値が０の部分範囲９３が含まれ、部分範囲群９５−３にはデフォーカス量の値がＤ２の部分範囲９３が含まれ、部分範囲群９５−４にはデフォーカス量の値がＤ３の部分範囲９３が含まれる。
【００３４】
図６（ｃ）に示す例では、デフォーカス量の値の絶対値は、被写体Ｓ４に対応する部分範囲群９５−４、被写体Ｓ１に対応する部分範囲群９５−１、被写体Ｓ３に対応する部分範囲群９５−３の順序で小さくなる。画像処理回路１３は、被写体Ｓ４、被写体Ｓ１、被写体Ｓ３のそれぞれに対応する部分範囲群９５−４、９５−１、９５−３ごとに、デフォーカス量の値の絶対値に応じて決まるボケ量でボケ効果を付与する。
【００３５】
図７に、被写体Ｓ１、Ｓ３、Ｓ４のそれぞれに対応する部分範囲群９５−４、９５−１、９５−３にボケ効果が付与されて生成された画像データを模式的に示す。図７では、図示の都合上、ボケ効果の大きさに伴って、粗い斜線にて描く。被写体Ｓ１、Ｓ３、Ｓ４について、デフォーカス量の値の絶対値に基づいてボケ量が強調される。したがって、撮像光学系１の光学特性で得られるボケ効果よりもボケ効果の強調度を大きくすることができる。デフォーカス量の値の絶対値は、被写体Ｓ４で最大であるので、画像処理回路１３によって施されるボケ量は、被写体Ｓ４に対応する部分範囲群９５−４で、他の被写体Ｓ１、Ｓ３に対応する部分範囲群９５−１、９５−３と比較して大きくなる。
【００３６】
＜第２モード＞
第２モードにおいては、上述したボケ量を設定するための係数は、必ずしもデフォーカス量の絶対値の増加に伴って、ボケ効果が強調度が大きくなるようには設定されない。たとえば、図６や図７で示す被写体Ｓ２よりも前方（デジタルカメラ１００側）の被写体Ｓ１に対するボケ効果の強調度と、後方の被写体Ｓ３、Ｓ４に対するボケ効果の強調度とを異ならせる。一例として、撮像光学系１が有する収差の前後方向（光軸方向）の非対称性に類似したボケの度合いとなるように、画像処理回路１３は、ボケ効果の強調度、すなわちボケ量を設定するための係数を設定する。この場合、画像処理回路１３は、前方の被写体Ｓ１に対するボケ量が小さくなるように係数を設定し、後方の被写体Ｓ３、Ｓ４に対するボケ量が大きくなるように係数を設定する。画像処理回路１３は、交換レンズ３００からボディ−レンズ通信部１５を介して受信した撮像光学系１に関する情報に含まれる収差に関する情報に基づいて、前方の被写体Ｓ１に対する係数と、後方の被写体Ｓ３、Ｓ４に対する係数とを設定する。撮像光学系１の収差と、デフォーカス量と、係数との関係は、予め試験等を行った結果に基づいて対応付けされたデータとして、メモリ１８に記憶されている。画像処理回路１３は、このデータを参照して、各被写体Ｓ１、Ｓ３、Ｓ４のそれぞれに対して係数を設定する。なお、ピントが合った被写体Ｓ２の近傍でボケ効果の線形性が崩れることを防ぐために、前方の被写体Ｓ１と後方の被写体Ｓ３、Ｓ４との間のボケ量の差が所定量以下となるように係数が設定されることが好ましい。
【００３７】
画像処理回路１３は、各被写体に対応する部分範囲群９５ごとに、設定した係数に基づいたボケ量にてボケ効果を付与して、画像データを生成する。これにより、第１モードにて生成された被写体Ｓ１に対するボケ効果と比較して、第２モードで生成された被写体Ｓ１のボケ効果は小さくなる。また、第１モードにて生成された被写体Ｓ３、Ｓ４に対するボケ効果と比較して、第２モードで生成された被写体Ｓ３、Ｓ４のボケ効果は大きくなる。
【００３８】
＜第３モード＞
第３モードにおいては、撮像範囲９２のうちの所定のデフォーカス量の領域に対してはボケ効果を付与せず、他のデフォーカス量の領域に対してボケ効果を付与する。たとえば、画像処理回路１３は、撮像範囲９２内で、公知の顔認識処理を用いて検出した人物の顔に対応する領域に対してはボケ効果を付与せず、顔以外の領域（例えば髪の毛や背景）に対してボケ効果を付与するようにする。この場合、画像処理回路１３は、顔の全領域にピントが合った状態となるようにするため、たとえばＦ値が８の場合の深度に相当し、顔以外の領域にはＦ値が２．８の場合の深度に相当するようなボケ量となるように係数を設定する。なお、深度とは、ピントが合っているとみなせる距離範囲である。また、上記のＦ値は一例であり、この値に限定されるものではない。
【００３９】
なお、画像処理回路１３は、検出した顔と同一の距離情報、すなわちデフォーカス量を有する顔以外の被写体（すなわち背景）に対してはボケ効果を付与するが、ピントが合っている顔との間でボケ具合が不自然とならないように、ボケ効果の強調度合いを他の背景の領域よりも小さくするとよい。また、人物の顔に対応する領域に対してボケ効果を付与しないものに限定されず、度合いを弱めたボケ効果を付与してもよい。また、人物の顔が検出されない場合には、画像処理回路１３は、上述した第１モードによるぼかし処理によりボケ効果を付与してよい。
【００４０】
撮像範囲９２内に複数の顔が検出された場合には、画像処理回路１３は、それぞれの顔に対応する部分範囲群９５の距離情報、すなわちデフォーカス量に応じて、ボケ効果を付与するか否かを決定する。複数の顔が深度内に含まれる場合には、画像処理回路１３は、以下の（１）〜（３）の何れかのぼかし処理を行う。（１）〜（３）のぼかし処理のうちどの処理を行うかについては、ユーザが背面モニタ１７に表示されたメニュー画面等から操作部１１を操作することにより選択することができる。
（１）全ての顔に対してボケ効果を付与しない。
（２）最至近の顔に対してはボケ効果を付与せず、他の顔に対してはボケ効果を付与する。
（３）複数の顔に対応する人物のうち、デジタルカメラ１００からの距離が最至近と最遠方との中間に位置する顔に対してボケ効果を付与せず、他の顔に対してはボケ効果を付与する。
【００４１】
上記の（２）または（３）のぼかし処理を行う場合、画像処理回路１３は、検出した顔のそれぞれに対応する部分範囲群９５のデフォーカス量に基づいて、ボケ効果を付与しない顔を特定する。また、画像処理回路１３は、（２）のぼかし処理を行う場合には、ボケ効果を付与する顔に対応する部分範囲群９５のデフォーカス量に基づいて、第１モードと同様にしてボケ量、すなわち係数を設定する。（３）のぼかし処理を行う場合には、画像処理回路１３は、ボケ効果を付与する顔に対応する部分範囲群９５のデフォーカス量に基づいて、第１モードや第２モードと同様にしてボケ量を設定する。
【００４２】
検出された複数の顔の全てが深度内に含まれない場合には、画像処理回路１３は、最至近の顔に対応する部分範囲群９５にピントが合った状態となるように、撮像範囲９２にボケ効果を付与する。すなわち、画像処理回路１３は、最至近の顔と同一の深度内に含まれる顔に対応する部分範囲群９５に対して、上述した（１）〜（３）の何れかのぼかし処理を行う。
【００４３】
＜第４モード＞
第４モードでは、画像処理回路１３は、撮像範囲９２内の選択された複数の被写体に対してピントを合わせ、他の被写体にはボケ効果を施す。なお、以下では、撮像範囲９２内の複数の被写体は深度内に含まれるものとして説明を行う。ユーザは、背面モニタ１７に表示されたライブビュー画像を観察しながら、ピントを合わせたい複数の被写体を操作部１１の操作によって選択する。なお、背面モニタ１７がタッチパネルを備える場合には、ユーザは、表示されたライブビュー画像上で、所望する被写体に触れる操作（タッチ操作）を行うことにより被写体の選択を行うことができる。
【００４４】
画像処理回路１３は、ユーザにより選択された複数の被写体（以後、選択被写体と呼ぶ）のデフォーカス量に基づいて、生成する画像データの像面を設定する。すなわち、画像処理回路１３は、光軸に直交する撮像素子８の撮像面とは異なる像面を画像データ上で擬似的に作り出す。以後、詳細に説明する。
【００４５】
図６に示す被写体Ｓ１〜Ｓ４では、上述したように、被写体Ｓ１、Ｓ２、Ｓ３、Ｓ４の順序でデジタルカメラ１００からの距離が離れる。被写体Ｓ１〜Ｓ４のうち、被写体Ｓ１とＳ２とが選択被写体として選択されたものとする。この場合、画像処理回路１３は、選択被写体である被写体Ｓ１とＳ２とにピントがあるように画像データを生成する。
【００４６】
図８に、この場合の各被写体Ｓ１〜Ｓ４の光軸方向の位置関係と、各被写体Ｓ１〜Ｓ４の結像位置とを模式的に示す。上述したように、被写体Ｓ２にピントが合う状態の場合には、被写体Ｓ２は撮像素子８の撮像面Ｐ１上で像Ｓ２−１を結ぶ。他の被写体Ｓ１、Ｓ３、Ｓ４は、デジタルカメラ１００からの距離に応じて、撮像面Ｐ１とは異なる位置に像Ｓ１−１、Ｓ３−１、Ｓ４−１をそれぞれ結ぶ。
【００４７】
この状態において、被写体Ｓ１とＳ２とが選択被写体として選択されているので、画像処理回路１３は、像Ｓ１−１とＳ２−１とを含む平面を像面Ｐ２となるように画像データを生成する。この場合、画像処理回路１３は、被写体Ｓ１に対応する部分範囲群９５−１にボケ効果を施さず、被写体Ｓ３とＳ４とに対応する部分範囲群９５−３と９５−４とにボケ効果を施す。このとき、画像処理回路１３は、デフォーカスマップを参照して、被写体Ｓ３、Ｓ４に対応する部分範囲群９５−３、９４−４のデフォーカス量を像面Ｐ２を基準としたデフォーカス量に換算し、換算したデフォーカス量に基づいてボケ効果の強調度、すなわち係数を設定する。
【００４８】
なお、図８においては、像面Ｐ２を平面とした例を示したが、これに限定されず、像面Ｐ２は曲面であってもよい。また、ユーザの選択に従って、画像処理回路１３は、像面Ｐ２を平面とするか曲面にするかを決定してもよい。
また、図８における像面Ｐ２に対する深度をユーザにより設定可能にしてもよい。この場合、制御部５は、設定された深度が得られるための絞り（不図示）の値を算出し、ボディ−レンズ通信部１５を介して交換レンズ３００のレンズ制御部７に絞りの駆動を制御させる。
また、ユーザの操作により選択被写体が選択されるものに限定されない。たとえば、画像処理回路１３が、画像データにおいて主要被写体として認識した被写体を選択被写体として選択してもよい。この場合、画像処理回路１３は、公知の顔認識処理を用いて認識した顔を選択被写体として選択してもよいし、認識した顔を有する人物を選択被写体として選択してもよい。
【００４９】
上記のようにして第１モード〜第４モードの少なくとも１つのモードに応じてボケ効果が施された画像データは、背面モニタ１７によりライブビュー画像として表示される。なお、ボケ効果が施された画像データに対応するライブビュー画像と、ボケ効果が施されていない画像データに対応するライブビュー画像とが、所定の時間間隔ごとに交互に背面モニタ１７に表示されてもよい。この場合、ボケ効果が施された画像データに対応するライブビュー画像は、ボケ効果が施されていることを示す指標や色等を重畳して表示されるとよい。または、ボケ効果が施された画像データに対応するライブビュー画像にエンボス処理を施して表示してもよい。
【００５０】
静止画データを生成する場合には、ライブビュー画像が表示されているときに、ユーザによるレリーズボタンの全押し操作が行われると、制御部５は、交換レンズ３００にフォーカスレンズを合焦位置に駆動させる。この状態で、焦点検出演算回路１４によって算出されたデフォーカス量を用いて、マップ作成部１６はデフォーカスマップを作成する。制御部５は、撮像素子制御回路６を介して撮像素子８に撮影動作を行わせる。
【００５１】
撮像動作を行う際に、前処理として、制御部５は、ライブビュー画像を表示する際に生成されたデフォーカスマップに基づいて、複数の被写体Ｓ１〜Ｓ４が深度内に含まれるようにＦ値を算出して、交換レンズ３００に対して絞りを駆動させる。算出したＦ値では全ての被写体Ｓ１〜Ｓ４が深度内に含まれない場合には、制御部５は撮像素子８に対してフォーカスブラケッティングにより撮影動作を行わせる。なお、制御部５は、ライブビュー画像を表示する際に生成されたデフォーカスマップに基づいてＦ値を算出して絞りを駆動させるものに限定されない。たとえば、制御部５は、デフォーカスマップを参照して、各被写体Ｓ１〜Ｓ４の撮影距離、すなわちデフォーカス量に応じた枚数分の画像データをフォーカスブラケッティングにより生成してもよい。この場合、Ｆ値を小さく設定した状態で、フォーカスブラケッティングにより生成する画像データの枚数を増加させることにより、分解能の高い画像データを生成させることが可能になる。
【００５２】
画像処理回路１３は、撮影動作によって撮像素子８の撮像範囲９２内の撮像画素８０から出力された撮像信号を用いて、記録用の静止画データや動画データを生成する。この場合、画像処理回路１３は、記録用の静止画データや動画データに対して、上述したボケ効果を施してもよいし、ボケ効果を施さなくても良い。ボケ効果を施さない場合には、画像処理回路１３は、上述したボケ効果を施さない画像データを、撮影動作の際に生成されたデフォーカスマップと関連付けして記憶媒体１９に記憶する。画像処理回路１３は、静止画データと動画データとを再生する際に、デフォーカスマップを参照して画像データに対してぼかし処理を施して、ボケ効果が付与された静止画データや動画データを生成する。この場合も、ユーザによる設定に応じて、画像処理回路１３は、上述した第１モード〜第４モードにてボケ効果が付与された静止画データや動画データを生成する。なお、再生時においては、第４モードにおいて絞りの制御を伴う深度の設定は行わない。
【００５３】
ボケ効果を施した記録用の静止画データや動画データを生成した場合には、画像処理回路１３は、生成したボケ効果が付与された静止画データや動画データを、デフォーカスマップと関連付けて記憶媒体１９に記憶する。また、撮影動作の際に生成したボケ効果が付与された静止画データや動画データに、デフォーカスマップに加えて、ボケ効果を付与する前の静止画データや動画データを関連付けて記憶媒体１９に記憶してもよい。
なお、ボケ効果の強調度を、記録用の静止画データと、動画データおよびライブビュー画像との間で異ならせても良い。特に、ライブビュー画像の場合に、ボケ効果の強調度を、静止画データの場合と比べて大きくすると良い。背面モニタ１７で観察されるライブビュー画像では、視認できる範囲が狭いので、ボケ効果の強調度を大きくすることにより、ユーザはボケ効果を把握しやすくする。
ボケ効果の強調の程度を、ユーザの操作に基づいて決定してもよい。この場合、ユーザは操作部１１を操作してボケ効果の強調度を決定するパラメータを変更する。操作は背面モニタ１７に表示されたメニュー画面から操作部１１を介して行うようにしても良いし、専用の操作部材を設けてよい。
【００５４】
図９、図１０に示すフローチャートを参照しながら、デジタルカメラ１００の動作を説明する。図９は、静止画データを生成する場合の動作を説明するフローチャートであり、図１０は動画データまたはライブビュー画像を生成する場合の動作を説明するフローチャートである。図９、図１０のフローチャートに示す各処理は、制御部５でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部５により起動されて、実行される。
【００５５】
まず、図９のフローチャートに示す静止画データを生成する場合について説明する。ステップＳ１では、ボディ−レンズ通信部１５を介して、交換レンズ３００から、撮像光学系１に関する情報を受信してステップＳ２へ進む。ステップＳ２では、算出部５１は、受信した撮像光学系１に関する情報の射出瞳の位置の情報と、マイクロレンズ８１により第１光電変換部８２、第２光電変換部８３が投影される位置に関する情報とから、撮像素子８の撮像面上で射出瞳がケラレない撮像範囲９２を算出する。撮像範囲９２が算出されると、処理はステップＳ３へ進む。
【００５６】
ステップＳ３では、撮像素子制御回路６を介して、撮像素子８の撮像画素８０から撮像信号を出力させてステップＳ４へ進む。ステップＳ４では、焦点検出演算回路１４は撮像範囲９２の撮像画素８０から出力された撮像信号を焦点検出信号として使用して焦点検出演算を行い、デフォーカス量を算出する。マップ作成部１６は、焦点検出演算回路１４により算出されたデフォーカス量を用いて、デフォーカスマップを作成し、ステップＳ５へ進む。
【００５７】
ステップＳ５では、画像処理回路１３は、撮像範囲９２の内部の撮像画素８０の第１光電変換部８２からの第１撮像信号と第２光電変換部８３からの第２撮像信号とが加算された画像信号を用いて画像データを生成し、ステップＳ３で作成されたデフォーカスマップを参照して、部分範囲群９５−１、９５−２、９５−３、９５−４ごとにボケ効果を施して、ステップＳ６へ進む。なお、ステップＳ５におけるボケ効果を付与するための動作については、詳細を後述する。ステップＳ６では、ステップＳ５で生成されたボケ効果が施された画像を電子ビューファインダ９や背面モニタ１７にライブビュー画像として表示させてステップＳ７へ進む。
【００５８】
ステップＳ７では、ユーザによりレリーズボタンが全押し操作されたか否かを判定する。ユーザによるレリーズボタンの全押し操作に応じて操作部１１から操作信号が出力されると、ステップＳ７が肯定判定されてステップＳ８へ進む。ユーザによるレリーズボタンの全押し操作が行われず操作部１１からの操作信号の出力が無い場合には、ステップＳ７が否定判定されてステップＳ１へ戻る。
なお、ステップＳ７が否定判定された場合には、ステップＳ１に戻るものに代えて、ステップＳ３に戻るようにしても良い。すなわち、既に算出した撮像範囲９２を用いて、次フレーム以降の処理を行っても良い。ただし、異なる交換レンズ３００が装着された場合や、ズームにより射出瞳の位置が変化した場合に、ステップＳ１に戻り、再度、射出瞳の位置を示す情報を取得して、撮像範囲９２を算出する。
【００５９】
ステップＳ８では、焦点検出演算回路１４は、デフォーカス量に基づいて算出した撮像光学系１の駆動量を算出し、駆動信号としてボディ−レンズ通信部１５を介して交換レンズ３００に送信する。交換レンズ３００の駆動機構３は、受信した駆動信号に従って、フォーカスレンズを合焦位置に駆動させてステップＳ９へ進む。ステップＳ９では、焦点検出演算回路１４は、撮像範囲９２の撮像画素８０から出力された撮像信号を焦点検出信号として使用して焦点検出演算を行い、デフォーカス量を算出する。マップ作成部１６は、焦点検出演算回路１４により算出されたデフォーカス量を用いて、デフォーカスマップを作成し、ステップＳ１０へ進む。
【００６０】
ステップＳ１０では、撮像素子制御回路６を介して、撮像画素８０から撮像信号を出力させて撮影動作を実行してステップＳ１１へ進む。ステップＳ１１では、画像処理回路１３は、ステップＳ１０で出力された撮像信号のうち撮像範囲９２内の撮像画素８０から出力された撮像信号を用いて画像データを生成する。画像処理回路１３は、生成した画像データと、ステップＳ９で作成されたデフォーカスマップとを関連付けて、記憶媒体（不図示）に記憶してステップＳ１２へ進む。ステップＳ１２では、連写撮像中か否かを判定する。連写撮像中の場合には、ステップＳ１２が肯定判定されてステップＳ８へ戻る。連写撮像中ではない場合には、ステップＳ１２が否定判定されて処理を終了する。
【００６１】
次に、図１０のフローチャートに示す動画データまたはライブビュー画像を生成する場合について説明する。このフローチャートに示す処理は、ユーザにより操作部１１が操作され、動画撮像が指示されると開始する。ステップＳ２１（撮像光学系１に関する情報取得）からステップＳ２６（ライブビュー画像表示）までの各処理は、図９のステップＳ１（撮像光学系１に関する情報取得）からステップＳ６（ライブビュー画像表示）までの各処理と同様である。
【００６２】
ステップＳ２７では、画像処理回路１３により生成された画像データと、デフォーカスマップとを関連付けて記憶媒体（不図示）に記憶してステップＳ２８へ進む。ステップＳ２８では、動画撮像を終了するか否かを判定する。動画撮像を終了する場合、すなわちユーザにより動画撮像終了のための操作が行われ、操作部１１から操作信号が出力された場合には、ステップＳ２８が肯定判定されてステップＳ２９へ進む。動画撮像を継続する場合、すなわちユーザにより動画撮像終了のための操作が行われず操作部１１から操作信号が出力されない場合には、ステップＳ２８が否定判定されてステップＳ２１へ戻る。ステップＳ２９では、ライブビュー画像の表示を終了するか否かを判定する。ライブビュー画像の表示を継続する場合、すなわちユーザによりライブビュー画像の表示終了のための操作が行われず、操作部１１から操作信号が出力されない場合には、ステップＳ２８が否定判定されてステップＳ２１へ戻る。ライブビュー画像の表示を終了する場合、すなわちユーザによりライブビュー画像の表示終了のための操作が行われ、操作部１１から操作信号が出力された場合には、ステップＳ２９が肯定判定されて処理を終了する。
なお、ステップＳ２８、Ｓ２９が否定判定された場合に、ステップＳ２１に戻るものに代えて、ステップＳ２３に戻ってもよい。すなわち、既に算出した撮像範囲９２を用いて、次フレーム以降の処理を行っても良い。ただし、異なる交換レンズ３００が装着された場合や、ズームにより射出瞳の位置が変化した場合に、ステップＳ２１に戻り、再度、射出瞳の位置を示す情報を取得して、撮像範囲９２を算出する。
【００６３】
図１１、図１２を参照して、図９のステップＳ５や図１０のステップＳ２５におけるボケ効果を付与する処理の一例について説明する。図１１は、第２モードが設定されている場合の処理を示すフローチャートであり、図１２は、第３モードが設定されている場合の処理を示すフローチャートである。
【００６４】
まず、図１１を参照して、第２モードの場合の処理を説明する。
ステップＳ３１では、交換レンズ３００から撮像光学系１の収差に関する情報を取得してステップＳ３２へ進む。ステップＳ３２では、取得した収差に関する情報に基づいて、前方の被写体Ｓ１に対する係数と、後方の被写体Ｓ３、Ｓ４に対する係数とを設定してステップＳ３３へ進む。ステップＳ３３では、各部分画素群９５ごとに、設定した係数に基づいたボケ量にてボケ効果を付与した画像データを生成して第２モードを終了する。
【００６５】
次に、図１２を参照して、第３モードの場合の処理を説明する。
ステップＳ４１では、生成された画像データに対して顔認識処理を行ってステップＳ４２へ進む。ステップＳ４２では、検出された複数の顔の全てが深度内に含まれるか否かを判定する。全ての顔が深度内の場合、ステップＳ４２が肯定判定されてステップＳ４３へ進む。深度内に含まれない顔がある場合には、ステップＳ４２が否定判定されて後述するステップＳ５０へ進む。
【００６６】
ステップＳ４３では、全ての顔にボケ効果を付与しない設定がなされているか否かを判定する。全ての顔にボケ効果を付与しない設定の場合には、ステップＳ４３が肯定判定されてステップＳ４４へ進む。ステップＳ４４では、検出された顔以外の領域に対応する部分範囲群９５に対するボケ量を決める係数を設定して後述するステップＳ４９へ進む。全ての顔にボケ効果を付与しない設定がなされていない場合には、ステップＳ４３が否定判定されてステップＳ４５へ進む。
【００６７】
ステップＳ４５では、最至近の顔にボケ効果を付与しない設定がなされているか否かを判定する。最至近の顔にボケ効果を付与しない設定の場合には、ステップＳ４５が肯定判定されてステップＳ４６へ進む。ステップＳ４６では、検出した顔に対応する部分範囲群９５のデフォーカス量を比較して、最至近の顔、すなわちボケ効果を付与しない顔を特定して後述するステップＳ４８へ進む。
【００６８】
最至近と最遠方との中間位置の顔にボケ効果を付与しない設定がなされている場合には、ステップＳ４５が否定判定されてステップＳ４７へ進む。ステップＳ４７では、検出した顔に対応する部分範囲群９５のデフォーカス量を比較して、中間位置の顔、すなわちボケ効果を付与しない顔を特定して後述するステップＳ４８へ進む。ステップＳ４８では、ステップＳ４６またはステップＳ４７で特定されていない顔に対応する部分範囲群９５のデフォーカス量に基づいて、各部分範囲群９５に対するボケ量を決める係数を設定してステップＳ４９へ進む。
【００６９】
ステップＳ４９では、部分範囲群９５ごとに、ステップＳ４４またはステップＳ４８で設定された係数に基づくボケ量にてボケ効果を付与した画像データを生成し第３モードを終了する。
ステップＳ４２にて深度内に含まれない顔がある場合には、ステップＳ４２が否定判定されてステップＳ５０へ進み、検出した顔に対応する部分範囲群９５のデフォーカス量を比較して、最至近の顔を特定してステップＳ５１へ進む。ステップＳ５１では、ステップＳ５０にて特定された最至近の顔と同一の深度に含まれる顔を特定してステップＳ４３へ進む。以後、ステップＳ５１にて特定された複数の顔に対して、上述したステップＳ４３〜ステップＳ４９までの処理を行う。
【００７０】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）カメラボディ２００は、撮像素子８と、焦点検出演算回路１４と、制御部５の算出部５１と、背面モニタ１７とを有する。撮像素子８は、撮像光学系１を通過した光束を受光して画像信号を出力する複数の撮像画素８０を有する。焦点検出演算回路１４は、撮像素子８から出力された画像信号を用いて撮像光学系１の焦点状態を検出する。算出部５１は、焦点状態の検出精度が所定の閾値以上となる範囲を、撮像範囲９２として算出する。背面モニタ１７は、算出された撮像範囲９２内の撮像画素８０から出力された画像信号を用いて生成された画像を表示する。したがって、撮像素子８の撮像面のうち、ケラレ等の影響のない、またはケラレ等の影響の少ない光束が入射する範囲に設けられた撮像画素８０からの撮像信号を用いて焦点検出演算と画像データの生成とを行い、焦点検出精度の低下を抑制させることができる。
【００７１】
（２）ボディ−レンズ通信部１５は、撮像光学系１の射出瞳に関する情報を受信し、算出部５１は、受信した撮像光学系１の射出瞳に関する情報と、撮像画素８０における第１光電変換部８２、第２光電変換部８３がマイクロレンズ８１により投影される位置に関する情報とを用いて、撮像範囲９２を算出する。したがって、射出瞳の位置が異なる交換レンズ３００が装着された場合や、ズームレンズのように射出瞳の位置が変化する場合であっても、ケラレ等の影響のない、またはケラレ等の影響の少ない光束が入射する撮像範囲９２内の撮像画素８０からの撮像信号を用いて焦点検出演算と画像データの生成とを行うことができる。
【００７２】
（３）焦点検出演算回路１４は、撮像範囲９２を分割した部分範囲９３について、デフォーカス量を算出する。マップ作成部１６は、部分範囲９３ごとのデフォーカス量の分布を示すデフォーカスマップを作成する。画像処理回路１３は、マップ作成部１６によって作成されたデフォーカスマップを用いて、画像信号を用いて生成された画像に対してぼかし処理を施す。背面モニタ１７は、ぼかし処理が施された画像を表示する。これにより、撮像光学系１の光学的な特性で得られるボケ効果とは異なるボケ効果が施された画像データを生成することができる。
【００７３】
（４）画像処理回路１３は、部分範囲９３ごとに、デフォーカス量の大きさに基づいて決定したボケ量でぼかし処理を施す。これにより、撮像光学系１の光学的な特性で得られるボケ効果よりもボケ効果が強調された画像データを生成することができる。
【００７４】
−第２の実施の形態−
第２の実施の形態について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、交換レンズが有する制御部にて撮像範囲を算出し、算出した撮像範囲をカメラボディ２００へ送信する点で第１の実施の形態と異なる。
【００７５】
図１３は、第２の実施の形態による交換レンズ３００の制御系の構成を示すブロック図である。第２の実施の形態による交換レンズ３００のレンズ制御部７は、算出部７１を有する。算出部７１は、第１の実施の形態における制御部５が有する算出部５１と同様に、焦点検出演算回路１４による焦点状態の検出精度が所定の閾値以上となる撮像素子８の撮像面上の範囲を、撮像範囲９２として算出する。撮像範囲９２を算出するために、レンズ制御部７は、電気接点２０１、２０２（図１参照）を介して交換レンズ３００に撮像素子８に関する情報の送信を依頼し、依頼に応じて送信された撮像素子８に関する情報を受信する。これにより、レンズ制御部７は、撮像素子８の撮像面の大きさや、撮像画素８０のマイクロレンズ８１により第１光電変換部８２および第２光電変換部８３が投影される投影像の位置を示す情報、撮像素子８の撮像面上での各撮像画素８０の位置を示す情報を受信する。
【００７６】
算出部７１は、レンズデータ部４から読み出した撮像光学系１の射出瞳の位置に関する情報と、カメラボディ２００から受信した撮像素子８に関する情報とを用いて、撮像面上における撮像範囲９２を算出する。この場合、算出部７１は、第１の実施の形態におけるカメラボディ２００に設けられた制御部５の算出部５１と同様にして、撮像範囲９２の大きさ、たとえば矩形範囲の各頂点の座標値を算出する。レンズ制御部７は、算出した撮像範囲９２の大きさを示す情報を電気接点２０２を介してカメラボディ２００の制御部５へ送信する。なお、レンズ制御部７は、撮像範囲９２の頂点の座標値を大きさを算出して送信するものに限定されない。たとえば、算出部７１は、撮像素子８の各撮像画素８０が撮像範囲９２内に含まれるか否かに対する判定結果を情報として送信しても良い。
【００７７】
レンズ制御部７から撮像範囲９２の大きさを示す情報を受信したカメラボディ２００では、第１の実施の形態の場合と同様にして、撮像範囲９２からの撮像信号の出力、デフォーカス量の算出およびデフォーカスマップの作成、画像データの生成および表示等の処理を行う。すなわち、第２の実施の形態においては、図９のステップＳ２および図１０のステップＳ２２で行われた処理を交換レンズ３００側で行う。
【００７８】
上述した第２の実施の形態によれば、次の作用効果が得られる。
交換レンズ３００は、レンズデータ部４と、レンズ制御部７とを備える。レンズデータ部４は、撮像光学系１の射出瞳に関する情報を記憶する。レンズ制御部７の算出部７１は、カメラボディ２００から受信した撮像素子８が有する撮像画素８０に関する情報と、撮像光学系１の射出瞳に関する情報とに基づいて、撮像素子８の撮像面上の撮像範囲９２を算出し、レンズ制御部７は撮像範囲９２を示す情報をカメラボディ２００に送信する。したがって、交換レンズ３００側で撮像範囲９２の演算を行うことにより、カメラボディ２００側では他の演算を行うことができる。これにより、デジタルカメラ１００の全体に対する処理負荷をカメラボディ２００のみで負担することを防ぎ、デジタルカメラ１００全体での処理負荷を低減することができる。
【００７９】
なお、上述した第２の実施の形態の交換レンズ３００を以下のように変形しても良い。本変形例では、撮像範囲９２の算出が、交換レンズ３００のレンズ制御部７と、カメラボディ２００の制御部５とによって分担して行われる。
本変形例の交換レンズ３００の制御系の主要部構成は、図１０に示す第２の実施の形態による交換レンズ３００と同様である。レンズ制御部７の算出部７１は、カメラボディ２００の制御部５が撮像範囲９２を決定する際に必要となる情報を算出し、算出した結果をカメラボディ２００へ送信する。算出部７１は、撮像範囲９２の算出に必要となる情報として、撮像光学系１の射出瞳の位置と、撮像画素８０のマイクロレンズ８１により第１光電変換部８２および第２光電変換部８３が投影される投影像の位置とが重複していない範囲Δを算出する。
【００８０】
まず、算出部７１は、電気接点２０１、２０２を介してカメラボディ２００に撮像素子８に関する情報の送信を依頼し、依頼に応じて送信された撮像素子８に関する情報を受信する。これにより、算出部７１は、撮像画素８０の第１光電変換部８２および第２光電変換部８３の投影像の位置を示す情報を受信する。算出部７１は、レンズデータ部４から読み出した撮像光学系１の射出瞳の位置と、カメラボディ２００から受信した投影像の位置とが重複していない範囲Δを算出する。レンズ制御部７は、算出した重複していない範囲Δを示す情報を電気接点２０２を介してカメラボディ２００の制御部５へ送信する。
【００８１】
レンズ制御部７から重複していない範囲Δを示す情報を受信したカメラボディ２００の制御部５の算出部５１は、重複していない範囲Δを用いて、第１の実施の形態の場合と同様にして、撮像範囲９２を算出する。以後、制御部５、撮像素子制御回路６、焦点検出演算回路１４および画像処理回路１３は、第１の実施の形態で説明した処理と同様の処理を行う。
【００８２】
上述した第２の実施の形態の変形例によれば、次の作用効果が得られる。
交換レンズ３００のレンズ制御部７の算出部７１は、カメラボディ２００から受信した撮像画素８０の第１光電変換部８２、第２光電変換部８３のマイクロレンズ８１による投影像の位置の情報と、撮像光学系１の射出瞳の位置の情報とに基づいて、撮像範囲９２の算出の際に必要となる情報を算出する。これにより、カメラボディ２００側で撮像光学系１の射出瞳の位置を示す情報が取得できない場合であっても、撮像範囲９２を設定することが可能になる。
【００８３】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）算出部５１は、撮像範囲９２内のケラレのない撮像画素８０を選択するものに限定されず、撮像範囲９２の外部の所定範囲（以後、外周範囲と呼ぶ）の撮像画素８０についても選択して良い。外周範囲は、ケラレの影響を受けているが、第１光電変換部８２、第２光電変換部８３へ入射する光束の光量が大幅に減じられない範囲である。撮像範囲９２と外周範囲とに含まれる撮像画素８０からの撮像信号を用いて焦点検出を行った場合に、焦点検出精度が所定の閾値以上となるように外周範囲が設定される。すなわち、外周範囲は、焦点検出を行う場合の焦点検出精度の閾値に基づいて設定される範囲である。
【００８４】
焦点検出演算回路１４は、撮像範囲９２と外周範囲との内部の撮像画素８０から出力された撮像信号を焦点検出信号として使用して、撮像光学系１の焦点状態を検出する。画像処理回路１３は、撮像範囲９２と外周範囲との内部の撮像画素８０の第１光電変換部８２からの第１撮像信号と第２光電変換部８３からの第２撮像信号とが加算された画像信号を用いて、画像データを生成する。
【００８５】
（２）撮像範囲９２内の撮像画素８０からの撮像信号を用いてライブビュー画像を表示させるものに限定されない。たとえば、画像処理回路１３は、撮像素子８の全ての撮像画素８０から出力された撮像信号を用いてライブビュー画像を生成し、背面モニタ１７はライブビュー画像に撮像範囲９２を示す枠等を重畳して表示を行っても良い。
【００８６】
（３）撮像範囲９２内の撮像画素８０から出力された撮像信号に基づいて生成された静止画データや動画データを記憶媒体１９に記憶するものに限定されない。撮像素子８の全ての撮像画素８０から出力された撮像信号に基づいて生成された画像データと、撮像範囲９２内の撮像画素８０から出力された撮像信号に基づいて生成された静止画データや動画データとを関連付けて記憶媒体１９に記憶しても良い。または、全ての撮像画素８０からの撮像信号に対応する画像データと、ボケ効果が付与された静止画データや動画データとを関連付けて記憶媒体１９に記憶してもよい。この場合も、静止画データや動画データにはデフォーカスマップが関連付けされて記憶されてよい。
【００８７】
（４）表示中のライブビュー画像に大きなボケが発生している場合には、画像処理回路１３は、生成された画像データをリサイズしてライブビュー画像として背面モニタ１７に表示させてよい。この場合、リサイズした画像のみをライブビュー画像として表示しても良いし、リサイズした画像をライブビュー画像に重畳して表示しても良い。これにより、大きなボケが発生している画像を縮小した画像として表示させることができるので、ユーザは被写体の判別を容易に行うことができる。
【符号の説明】
【００８８】
１…撮像光学系、４…レンズデータ部、５…制御部、
６…撮像素子制御回路、７…レンズ制御部、８…撮像素子、
９…電子ビューファインダ、１１…操作部、１３…画像処理回路、
１４…焦点検出演算回路、１５…ボディ−レンズ通信部、１６…マップ作成部、
５１…算出部、７１…算出部、８０…撮像画素、
１００…デジタルカメラ、２００…カメラボディ、３００…交換レンズ
【図１】
2018005008.tif 000003
【図２】
2018005008.tif 000004
【図３】
2018005008.tif 000005
【図４】
2018005008.tif 000006
【図５】
2018005008.tif 000007
【図６】
2018005008.tif 000008
【図７】
2018005008.tif 000009
【図８】
2018005008.tif 000010
【図９】
2018005008.tif 000011
【図１０】
2018005008.tif 000012
【図１１】
2018005008.tif 000013
【図１２】
2018005008.tif 000014
【図１３】
2018005008.tif 000015