(57)【要約】【課題】焦点検出画素からの出力を用いた被写体検出能力を高める。【解決手段】撮像装置は、光学系により形成された被写体の像を撮像し信号を出力する第１撮像素子と、光学系を透過した被写体からの光束を通過させる複数のマイクロレンズと、マイクロレンズのそれぞれに対して複数の受光素子とを有し、マイクロレンズごとに複数の信号を出力する第２撮像素子と、第１撮像素子による信号に基づいて第１画像を生成する第１画像生成部と、第２撮像素子のマイクロレンズごとに出力される１つ以上の信号に基づいて、第２画像を生成する第２画像生成部と、予め第１撮像素子で撮像された像による画像から選択された画像に基づくテンプレート画像と、第２画像とから、第１画像における、テンプレート画像に対応する被写体の像の位置を検出する検出部と、検出部により検出されたテンプレート画像に対応する被写体の像の位置を示す指標と、第１画像と、重ねて表示する表示部と、を有する。【選択図】図１
2018129822.tif 000002
【特許請求の範囲】
【請求項１】
光学系により形成された被写体の像を撮像し信号を出力する第１撮像素子と、
前記光学系を透過した前記被写体からの光束を通過させる複数のマイクロレンズと、前記マイクロレンズのそれぞれに対して複数の受光素子とを有し、前記マイクロレンズごとに複数の信号を出力する第２撮像素子と、
前記第１撮像素子による信号に基づいて第１画像を生成する第１画像生成部と、
前記第２撮像素子の前記マイクロレンズごとに出力される１つ以上の前記信号に基づいて、第２画像を生成する第２画像生成部と、
予め前記第１撮像素子で撮像された像による画像から選択された画像に基づくテンプレート画像と、前記第２画像とから、前記第１画像における、前記テンプレート画像に対応する被写体の像の位置を検出する検出部と、
前記検出部により検出された前記テンプレート画像に対応する被写体の像の位置を示す指標と、前記第１画像と、重ねて表示する表示部と、
を有する撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記テンプレート画像に対応する被写体とは特定の人物である、撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記表示部による、前記テンプレート画像に対応する被写体の像の位置を示す指標の表示は、前記撮像装置による動画撮影中に行われる撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記検出部により複数の前記テンプレート画像に対応する被写体の像が検出されると、前記表示部は複数の前記指標を表示する撮像装置。
【請求項５】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記検出部により複数の前記テンプレート画像に対応する被写体の像が検出されると、前記表示部は中央近傍に位置する前記テンプレート画像に対応する被写体の像の位置に前記指標を表示する撮像装置。
【請求項６】
請求項１〜３のいずれか一項に記載の撮像装置において、
前記検出部により複数の前記テンプレート画像に対応する被写体の像が検出されると、前記表示部は前記撮像装置から最も近いに位置する前記テンプレート画像に対応する被写体の像の位置に前記指標を表示する撮像装置。
【請求項７】
請求項１〜６のいずれか一項に記載の撮像装置において、
複数の前記マイクロレンズごとに出力される２つ以上の受光信号を用いて結像光学系の焦点状態を検出する焦点検出部を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来から、撮像画素と撮像画素よりも焦点深度が深い構造を有する焦点検出画素とが配列された撮像素子を有し、撮像画素からの出力に基づいて被写体検出ができない場合には、焦点検出画素からの出力に基づいて被写体検出を行うカメラが知られている（たとえば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６８４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献の撮像素子と同一素子上の焦点検出画素は構造上、撮像画素と比べて２倍程度の焦点深度が得られるのみであり、また、焦点検出画素が被写体素子上に離散的に配置されているためサンプリングピッチの粗い画像を用いて被写体検出を行うことになり、十分な検出能力が得られないという問題がある。
【課題を解決するための手段】
【０００５】
請求項１の記載の撮像装置は、光学系により形成された被写体の像を撮像し信号を出力する第１撮像素子と、前記光学系を透過した前記被写体からの光束を通過させる複数のマイクロレンズと、前記マイクロレンズのそれぞれに対して複数の受光素子とを有し、前記マイクロレンズごとに複数の信号を出力する第２撮像素子と、前記第１撮像素子による信号に基づいて第１画像を生成する第１画像生成部と、前記第２撮像素子の前記マイクロレンズごとに出力される１つ以上の前記信号に基づいて、第２画像を生成する第２画像生成部と、予め前記第１撮像素子で撮像された像による画像から選択された画像に基づくテンプレート画像と、前記第２画像とから、前記第１画像における、前記テンプレート画像に対応する被写体の像の位置を検出する検出部と、前記検出部により検出された前記テンプレート画像に対応する被写体の像の位置を示す指標と、前記第１画像と、重ねて表示する表示部と、を有する。
【発明の効果】
【０００６】
本発明によれば、複数のマイクロレンズのそれぞれに対応して設けられた複数の受光素子からの複数の受光信号のうちの一部の第１受光信号に基づいて生成された、結像光学系が撮像素子に形成する被写体像よりも深い被写体深度を有するパンフォーカス画像にて検出された特定の被写体像の位置を観察手段に表示させて、ボケ像上にて被写体の位置を確認することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施の形態によるデジタルカメラの要部構成図
【図２】実施の形態によるデジタルカメラが備える焦点検出ユニットの斜視図
【図３】被写体光がマイクロレンズアレイおよび受光素子アレイに入射する様子を模式的に示した断面図
【図４】実施の形態によるデジタルカメラの特定被写体認識処理が有効に設定されている場合の処理を説明するフローチャート
【図５】本発明の第２の実施の形態によるデジタルカメラの要部構成図
【発明を実施するための形態】
【０００８】
−第１の実施の形態−
図面を参照して本発明による第１の実施の形態に係る撮像装置について説明する。
図１は第１の実施の形態による撮像装置であるデジタルカメラ１の要部構成を説明する図である。なお、説明の都合上、図１に示すように、ｘ軸、ｙ軸、ｚ軸からなる座標系を設定する。デジタルカメラ１は、カメラボディ２０と、レンズマウント９を介してカメラボディ２０に着脱可能なレンズ鏡筒１０とにより構成される、いわゆる一眼レフレックス式のカメラである。
【０００９】
レンズ鏡筒１０は、結像光学系１１と絞り１２とを備えている。結像光学系１１は、被写体像を所定の予定焦点面に結像させるための光学系であり、焦点調節レンズを含む複数のレンズによって構成されている。焦点調節レンズは、レンズ駆動用モータ（不図示）の動作により光軸Ｌ方向、すなわち図１のｘ軸方向に進退駆動する。なお、図１では、図示の都合上、結像光学系１１を１枚のレンズとして模式的に示している。絞り１２は、結像光学系１１を通過する光束、すなわち入射光量を制限する。
【００１０】
カメラボディ２０内部には、クイックリターンミラー２１と、撮像素子２２と、サブミラー２３と、焦点検出ユニット２５と、制御装置２６と、マットスクリーン２７と、ペンタプリズム２８と、接眼レンズ２９と、表示用ハーフミラー３１と、コンデンサレンズ３２と、パターン表示素子３３とが設けられている。カメラボディ２０の背面には、液晶ディスプレイ等の表示デバイスにより構成される背面モニタ３０が設けられている。カメラボディ２０には、操作部４０が設けられている。
【００１１】
クイックリターンミラー２１は、非露光時には図１において実線で示す位置に設けられた部分ハーフミラーであり、結像光学系１１からの入射光（被写体光）の一部を反射面にてカメラボディ２０の上部（図１のｚ軸−方向）に反射させる。クイックリターンミラー２１にて反射された被写体光は、カメラボディ２０内の上部に設けられたマットスクリーン２７上に結像する。デジタルカメラ１のユーザは、ペンタプリズム２８、表示用ハーフミラー３１および接眼レンズ２９を介して、結像光学系１１によりマットスクリーン２７に結像された被写体像を視認することができる。換言すると、マットスクリーン２７、クイックリターンミラー２１および接眼レンズ２９を含んで構成される光学ファインダを介して、ユーザは被写体像を観察することができる。
【００１２】
パターン表示素子３３は、表示用ハーフミラー３１の上方であって、コンデンサレンズ３２の作用により見かけ上はマットスクリーン２７と実質的に同一面に設けられている。パターン表示素子３３は、たとえば小型のバックライト付き液晶表示素子であり、後述する制御装置２６による制御に従って所定のパターンを表示させる。表示されたパターンは、コンデンサレンズ３２を通過して、表示用ハーフミラー３１により反射されて接眼レンズ２９に導かれる。パターン表示素子３３が見かけ上はマットスクリーン２７と実質的に同一面に設けられていることにより、ユーザは表示されたパターンが被写体像に重畳された状態で観察できる。
【００１３】
サブミラー２３は、クイックリターンミラー２１の裏面、すなわち結像光学系１１からの被写体光が入射する面とは反対側の面に配置されている。サブミラー２３は少なくとも撮影画面の幅、すなわち撮像素子２２を全て被覆することが可能な大きさを有している。上述したようにクイックリターンミラー２１は部分ハーフミラーにより構成されているので、結像光学系１１からの被写体光のうちクイックリターンミラー２１の反射面を一部透過した他の一部の被写体光がサブミラー２３で反射されてｚ軸＋方向へ進み、カメラボディ２０の下部に設けられた焦点検出ユニット２５に入射する。なお、焦点検出ユニット２５の構造については説明を後述する。
【００１４】
露光時には、クイックリターンミラー２１およびサブミラー２３は、不図示の駆動機構により図１の破線で示す位置に退避駆動される（ミラーアップ）。ミラーアップされることにより、結像光学系１１からの被写体光は撮像素子２２に入射する。
【００１５】
撮像素子２２は、たとえばＣＣＤやＣＭＯＳ等の固体撮像素子であり、撮像面が結像光学系１１の予定焦点面に位置するように配置されている。撮像素子２２は、結像光学系１１により撮像面に結像された被写体像を撮像し、制御装置２６に撮像信号を出力する。なお、図１では図示を省略しているが、撮像素子２２の撮像面には、赤外カットフィルター等の種々の光学フィルターが設けられている。
【００１６】
制御装置２６はマイクロプロセッサやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、デジタルカメラ１の各部を制御する。制御装置２６は、撮像素子２２から出力された撮像信号に対して種々の画像処理を施して、被写体像の画像データを生成し、不図示の可搬記憶媒体（たとえばメモリカード等）に生成した画像データを記録する。制御装置２６は、焦点検出ユニット２５の出力に基づいて算出したデフォーカス量に応じて結像光学系１１の焦点調節レンズを駆動させることにより焦点調節を行ったり、パターン表示素子３３や背面モニタ３０に前ピンや後ピン等の現在の焦点状態を表示させることにより、ユーザによる手動焦点調節を支援する。さらに、制御装置２６は、撮像素子２２により撮像された画像や、撮影パラメータやデジタルカメラ１の動作モード等の設定を行うための設定メニューを表示させる。なお、制御装置２６は、制御プログラムと同等の機能を有する電子回路により構成してもよい。
【００１７】
制御装置２６は、焦点調節部２６１と、画像生成部２６２と、被写体特定部２６３と、表示制御部２６４とを機能として備えている。焦点調節部２６１は、上述のデフォーカス量の算出および焦点調節レンズを駆動させることによる焦点調節を行う。画像生成部２６２は、焦点検出ユニット２５の出力を用いて、結像光学系１１が撮像素子２２に結ぶ像よりも深い被写体深度を有する画像（以下、パンフォーカス画像と呼ぶ）の生成を行う。被写体特定部２６３は、生成されたパンフォーカス画像を用いて、特定の被写体を認識する。表示制御部２６４は、パターン表示素子３３を制御して、認識された特定の被写体の位置に対応する位置を、たとえば矩形枠等を用いて表示する。なお、焦点調節部２６１、画像生成部２６２、被写体特定部２６３および表示制御部２６４の処理については、説明を後述する。
【００１８】
操作部４０はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御装置２６へ出力する。操作部材は、たとえばレリーズボタンや、背面モニタ３０にメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間でデジタルカメラ１の動作を切替えるモード切替ボタン等を含む。また、操作部４０により、特定被写体識別機能の有効／無効を設定することができる。特定被写体識別機能は、焦点調節が行われる前段階において、被写界内の特定の被写体を認識して、当該認識した被写体の画面上での位置を指標等を介してユーザに認識させる機能である。
【００１９】
図２を参照しながら焦点検出ユニット２５について説明する。なお、図２においても、図１と同様にして、ｘ軸、ｙ軸、ｚ軸からなる座標系を設定する。図２の斜視図に示すように、焦点検出ユニット２５には、サブミラー２３側から見て、マイクロレンズアレイ５２、受光素子アレイ５３の順序で、互いに平行となるように配置されている。マイクロレンズアレイ５２には、サブミラー２３と対向する面に、複数の正レンズであるマイクロレンズ５４が二次元状に配列されている。複数のマイクロレンズ５４のそれぞれの輪郭は矩形形状に形成されている。上述したようにサブミラー２３で反射されｚ軸＋方向へ進む被写体光は、マイクロレンズアレイ５２を介して受光素子アレイ５３に入射する。
【００２０】
受光素子アレイ５３の撮像面（すなわちマイクロレンズアレイ５２に対向する面）には、矩形形状の複数の受光素子（光電変換素子）５５が正方配列されている。受光素子５５はマイクロレンズ５４と比べて小さく形成され、一つのマイクロレンズ５４を受光素子アレイ５３に投影した範囲には複数の受光素子５５が含まれる。すなわち、一つのマイクロレンズ５４に対して複数の受光素子５５が対応付けて配列されている。上記の構成を有する焦点検出ユニット２５は、マイクロレンズアレイ５２の前側主面が予定焦点面、すなわち撮像素子２２の撮像面と共役な面の近傍に配置されている。
【００２１】
なお、図２においては、図示の都合上、マイクロレンズ５４および受光素子５５の個数を実際よりも少なく図示している。すなわち、焦点検出ユニット２５は、図２に示すよりも多くのマイクロレンズ５４および受光素子５５を備えている。また、図２においては図示を省略しているが、各マイクロレンズ５４のそれぞれの境界面には、クロストークの発生を防ぐことを目的として、遮光性のコーティングが施されている。さらに、マイクロレンズアレイ５２と受光素子アレイ５３との間隔は、各マイクロレンズ５４の焦点位置近傍に受光素子アレイ５３の撮像面が位置するように定められている。
【００２２】
図３は、被写体光がマイクロレンズアレイ５２および受光素子アレイ５３に入射する様子を模式的に示した断面図である。マイクロレンズアレイ５２および受光素子アレイ５３は、各受光素子５５のマイクロレンズ５４による像が、素子結像面５６に結ぶように配置されている。この素子結像面５６は、各マイクロレンズ５４の頂点よりも被写体側に位置している。各受光素子５５の像の位置、すなわち素子結像面５６は、結像光学系１１の射出瞳と一致することが理想的であるが、射出瞳面におけるボケ像が十分に小さくなる範囲でのズレは許容される。
【００２３】
上記の焦点検出ユニット２５から出力された受光信号を用いて焦点調節部２６１が行う焦点調節処理について説明する。焦点調節部２６１は、マイクロレンズ５４_Ｌ１〜５４_Ｌｎ（なお、ＬｎはＬｎ＞１）までの（Ｌｎ−Ｌ１＋１）個のマイクロレンズ５４について、各々のマイクロレンズ５４を通過した光束が入射する受光素子５５からの受光信号を用いて、一対の信号列を生成する。すなわち、焦点調節部２６１は、複数のマイクロレンズ５４のそれぞれに対する相対位置関係が同一となる位置関係（第１位置関係）にある受光素子５５から出力された受光信号を第１受光信号列とし、複数のマイクロレンズ５４のそれぞれに対する相対位置関係が第１位置関係とは異なる位置関係にある受光素子５５から出力された受光信号を第２信号列とする。
【００２４】
図３に示す例では、マイクロレンズ５４_Ｌ１に対応する複数の受光素子５５のうち左端から３番目の受光素子５５ａ１が選択される。同様にして、マイクロレンズ５４_Ｌ２〜５４_Ｌｎのそれぞれについて、左端から３番目の受光素子５５ａ２〜５５ａｎが選択される。焦点調節部２６１は、受光素子５５ａ１〜５５ａｎから出力された受光信号を用いて、第１信号列｛ａ（ｉ）｝を生成する。
【００２５】
さらに、マイクロレンズ５４_Ｌ１に対応する複数の受光素子５５のうち右端から３番目（左端から６番目）の受光素子５５ｂ１が選択される。同様にして、マイクロレンズ５４_Ｌ２〜５４_Ｌｎのそれぞれについて、右端から３番目の受光素子５５ｂ２〜５５ｂｎが選択される。焦点調節部２６１は、受光素子５５ｂ１〜５５ｂｎから出力された受光信号を用いて、第２信号列｛ｂ（ｉ）｝を生成する。第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とは、互いに結像光学系１１の異なる瞳を通り、素子結像面５６上の仮想的な画素５６ａ〜５６ｆを通過する被写体からの光束に対応している。
【００２６】
焦点調節部２６１は、第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とを用いて像ずれ演算を行い、公知の方法によってデフォーカス量を算出する。焦点調節部２６１は、算出したデフォーカス量に基づいて焦点調節レンズの駆動量を演算する。ここでは、焦点調節部２６１は、焦点調節レンズの駆動位置の目標となるレンズ目標位置を演算することにより、レンズの駆動量の演算を行う。なお、レンズ目標位置は、デフォーカス量がゼロとなる焦点調節レンズの位置に相当する。
【００２７】
焦点調節部２６１は、算出したレンズの駆動量、すなわち焦点調節レンズに対するレンズ目標位置に基づいて、レンズ駆動モータ（不図示）へ駆動制御信号を出力する。この駆動制御信号に応じてレンズ駆動モータが焦点調節レンズをレンズ目標位置へ駆動させることにより、結像光学系１１の焦点調節が行われる。
【００２８】
以下、本実施の形態によるデジタルカメラ１において特定被写体識別機能が有効に設定されている場合の動作を説明する。ユーザによるレリーズボタンの半押し操作により撮影準備が指示されると、制御装置２６の画像生成部２６２は焦点検出ユニット２５から出力された受光信号を用いて、パンフォーカス画像を生成する。制御装置２６の被写体特定部２６３は、生成したパンフォーカス画像を用いて特定被写体認識処理を行う。表示制御部２６４は、認識された特定被写体の位置が接眼レンズ２９を介してユーザに把握可能となるように、パターン表示素子３３に表示処理を行わせる。以下、パンフォーカス画像生成処理と特定被写体認識処理と表示処理とに分けて説明する。
【００２９】
１．パンフォーカス画像生成処理
画像生成部２６２は、ユーザによるレリーズボタンの半押し操作が行われると、パンフォーカス画像生成処理を開始する。画像生成部２６２は、焦点検出ユニット２５を構成する複数の受光素子５５からそれぞれ出力された受光信号のうち、所定の受光信号を抽出する。本実施の形態においては、画像生成部２６２は、一例として、各マイクロレンズ５４について、マイクロレンズ５４の透過光が入射する範囲のうち実質的に中央に配列されている受光素子５５からの受光信号を抽出する。
【００３０】
図３に示す例では、マイクロレンズ５４_Ｌ１に対応する複数の受光素子５５のうち左端から４番目の受光素子５５ｃ１からの受光信号が抽出される。同様にして、マイクロレンズ５４_Ｌ２〜５４_Ｌｎのそれぞれについて、左端から４番目の受光素子５５ｃ２〜５５ｃｎからの受光信号が抽出される。画像生成部２６２は、マイクロレンズ５４の配列に従って、それぞれのマイクロレンズ５４に対応して抽出された受光信号を配列した画像データをパンフォーカス画像として生成する。
【００３１】
上述したように、焦点検出ユニット２５では、１つのマイクロレンズ５４は、多数の受光素子５５を被覆する構成を有しているので、１つの受光素子５５の受光面の大きさは、１つのマイクロレンズ５４の入射面の大きさと比較して、数分の一となる。このため、ｆナンバーに換算すると、１つの受光素子５５においては、１つのマイクロレンズ５４によって規定されるｆナンバーの数倍となる。図３に示す例では、１つのマイクロレンズ５４のｆナンバーの１０倍以上となる。この結果、結像光学系１１の絞り１２の最少の絞りに対応する、画面内のほぼ全被写体にピントが合った撮影画像がパンフォーカス画像として擬似的に生成される。換言すると、パンフォーカス画像は、結像光学系１１が撮像素子２２に結ぶ像よりも十分に被写界深度が深い画像となる。
【００３２】
なお、１つのマイクロレンズ５４について１つの受光素子５５からの受光信号を用いてパンフォーカス画像が生成されるものに限定されず、受光信号の抽出対象とする範囲を広げて、パンフォーカス画像を生成するための１つのマイクロレンズ５４当たりの受光信号の個数を増やす場合についても、本発明の一態様に含まれる。この場合、撮像素子２２に結ぶ像の被写界深度と比べて、３倍以上の被写界深度が得られるように受光信号の個数を増やすことが好ましい。また、マイクロレンズ５４の透過光が入射する範囲のうち実質的に中央に配列されている受光素子５５からの受光信号を抽出するものに限定されず、透過光が入射する範囲の外縁部近傍に配列されている受光素子５５からの受光信号を抽出してもよい。たとえば、図３に示す受光素子５５ａ１〜５５ａｎまたは受光素子５５ｂ１〜５５ｂｎから出力された受光信号を用いてパンフォーカス画像を生成してもよい。
【００３３】
画像生成部２６２は、ユーザによるレリーズボタンの半押し操作が行われている間は、所定の周期ごと、すなわち焦点検出ユニット２５が受光信号を出力するタイミングごとに、上述したようにしてパンフォーカス画像を生成する。すなわち、ユーザによるレリーズボタンの操作が行われなくなるか、または、ユーザによりレリーズボタンが全押し操作されて撮影指示が行われるまでの間、パンフォーカス画像が生成される。
【００３４】
２．特定被写体認識処理
被写体特定部２６３は、画像生成部２６２により生成されたパンフォーカス画像に対して、テンプレートマッチング等の手法を用いて特定の被写体を認識する。本実施の形態においては、被写体特定部２６３は、予め登録されているテンプレート画像とパンフォーカス画像との類似度を算出し、パンフォーカス画像上で類似度が所定値以上の画像領域を被写体の位置として検出する。テンプレート画像は、デジタルカメラ１の出荷時に所定の記憶領域（不図示）に記憶させておいてもよい。この場合、パンフォーカス画像から人物の顔一般を検出することが可能となる。また、テンプレート画像は、生成された画像データからユーザによる設定操作に応じて設定され、所定の記憶領域（不図示）に記憶されてもよい。この場合、特定の人物や特定の衣装の人物を検出することが可能となる。
なお、被写体特定部２６３による特定被写体認識処理はテンプレートマッチングの手法を用いるものに限定されず、公知の種々の手法を用いることができる。
【００３５】
３．表示処理
表示制御部２６４は、被写体特定部２６３にて検出された画像領域、すなわち認識された被写体の位置を示す指標をパターン表示素子３３に表示させる。本実施の形態においては、指標として、検出された被写体を囲う矩形枠が表示される。表示制御部２６４は、被写体特定部２６３によって検出された画像領域の位置を、パターン表示素子３３上における位置に換算して、当該位置に配列されているパターン表示素子３３の画素に対して指標の表示を行わせる。パターン表示素子３３に表示された指標は、上述したように、コンデンサレンズ３２および表示用ハーフミラー３１を介して接眼レンズ２９に導かれるので、ユーザは、光学ファインダにて被写体が存在する位置を確認することができる。
【００３６】
なお、指標として矩形枠が表示されるものに限定されるものではなく、枠の形状については、多角形や円形等のいずれの形状であってもよい。また、指標として枠が表示されるものに限定されず、マークや矢印など、ユーザが光学ファインダにて被写体の位置を確認することが可能であればよい。
【００３７】
特定被写体認識処理において複数の被写体が認識されている場合には、認識された被写体の位置の全てに指標を表示させてもよいし、何れか１つの被写体の位置に指標を表示させてもよいし、所定個数の被写体の位置に指標を表示させてもよい。この場合、撮影画面の中央近傍に位置する１つ、あるいは所定個数の被写体に対応させて指標を表示させてもよい。または、デジタルカメラ１に対して至近の１つ、あるいは所定個数の被写体に対応させて指標を表示させてもよい。何れの態様にて指標を表示させるかについては、たとえばメニュー画面上からユーザによって設定可能に構成されていることが好ましい。
【００３８】
特定被写体認識処理において特定の被写体が認識されていない場合には、本実施の形態の表示制御部２６４は、パターン表示素子３３に指標の表示を行わせない。なお、表示制御部２６４は、ユーザの操作に応じて設定された焦点検出エリアに対応する位置に特定の被写体の存在を検出した時にのみ指標を表示させるものについても本発明の一態様に含まれる。
【００３９】
図４に示すフローチャートを参照しながら、特定被写体識別機能が有効に設定されている場合におけるデジタルカメラ１の処理を説明する。図４に示す処理は制御装置２６でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザによってレリーズボタンが半押し操作されると制御装置２６により起動され、実行される。
【００４０】
ステップＳ１においては、画像生成部２６２は、焦点検出ユニット２５から出力された受光信号を用いて、上述したパンフォーカス画像生成処理によってパンフォーカス画像を生成してステップＳ２へ進む。ステップＳ２においては、被写体特定部２６３は、生成されたパンフォーカス画像上にて特定の被写体を認識する特定被写体認識処理を行ってステップＳ３へ進む。
【００４１】
ステップＳ３においては、特定被写体認識処理により特定の被写体が認識されたか否かを判定する。特定の被写体が認識されている場合には、ステップＳ３が肯定判定されてステップＳ４へ進む。ステップＳ４では、表示制御部２６４はパターン表示素子３３に指標の表示を行わせてステップＳ６へ進む。特定の被写体が認識されていない場合には、ステップＳ３が否定判定されてステップＳ５へ進む。ステップＳ５においては、表示制御部２６４はパターン表示素子３３に指標の表示を行わせずステップＳ６へ進む。
【００４２】
ステップＳ６では、焦点調節部２６１は焦点検出ユニット２５から出力される受光信号を用いて、上述したようにしてデフォーカス量を算出して、算出したデフォーカス量に応じてフォーカスレンズを駆動させることにより焦点調節を行ってステップＳ７へ進む。なお、特定被写体認識処理により特定の被写体が認識されている場合には、認識された被写体の位置に対応して配列されている受光素子５５からの受光信号を用いてデフォーカス量を算出する。特定被写体認識処理により特定の被写体が認識されていない場合には、ユーザの操作に応じて設定された焦点検出エリアに対応する位置に配列されている受光素子５５からの受光信号を用いてデフォーカス量を算出すればよい。
【００４３】
ステップＳ７においては、ユーザによるレリーズボタンの半押し操作が継続しているか否かを判定する。ユーザによるレリーズボタンの半押し操作が継続している場合には、ステップＳ７が肯定判定されてステップＳ１へ戻る。ユーザによるレリーズボタンの半押し操作が継続されていない場合には、ステップＳ７が否定判定されて処理が終了する。なお、ユーザによってレリーズボタンが全押し操作されることによってレリーズボタンの半押し操作が終了した場合には、制御装置２６は撮像素子２２に撮像信号を出力させ、画像データの生成、記録を行って処理を終了する。
【００４４】
上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）焦点検出ユニット２５は、複数のマイクロレンズ５４を配列したマイクロレンズアレイ５２と、複数のマイクロレンズ５４のそれぞれに対して複数の受光素子５５を有し、結像光学系１１からの光束をマイクロレンズアレイ５２を介して受光してマイクロレンズ５２ごとに複数の受光信号を出力する受光素子アレイ５３とを有している。画像生成部２６２は、複数のマイクロレンズ５４のそれぞれに対応して出力される複数の受光信号のうちの一部の受光信号に基づいて、結像光学系１１が撮像素子２２に形成する被写体像よりも深い被写体深度を有するパンフォーカス画像を生成する。被写体特定部２６３は、生成されたパンフォーカス画像にて特定の被写体を認識し、表示制御部２６４は、認識された特定の被写体の位置を、パターン表示素子３３に表示させるようにした。この過程において、パンフォーカス画像は小さい絞りにて取得された画像に相当するため、画面内でピントが合った被写体が多くなり、特定の被写体を認識する可能性を向上させることができる。
【００４５】
さらに加えて、被写体が移動したり、デジタルカメラ１がふれたり、意図的にパンしたり、最初にデジタルカメラ１を構えたりした場合などのように、所望の被写体像が光学ファインダ上で非常にボケて視認しにくいときであっても、指標がボケ像に重なって表示されることにより、被写体を捉え続けることができる。このため、被写界内の所望の位置に所望の被写体を捉え続けてシャッターチャンスを待つ、すなわち被写体の方向とデジタルカメラ１との相対方向を保ちながらユーザがデジタルカメラ１の位置や姿勢を調節するような場合であっても、シャッターチャンスを逃す機会を低減させることができる。特に、被写体が激しく移動している場合であっても、ユーザは所望の被写体が被写界内で存在している位置を一目で確認して構図を決定することが可能となる。
【００４６】
結像光学系１１として望遠レンズを用い比較的遠方の被写体を撮影する際には、被写界深度が浅く、ピントが合っていない場合の被写体像のボケ量が大きく、かつ、画角が狭くなる。このような場合には、被写体の実際の移動量が微小であっても、光学ファインダを介して観察可能な範囲内での被写体像の移動量は大きくなり、光学ファインダを介したボケ像上で被写体を捉え続けることが困難となるが、指標により被写体像の位置を確認することができるので、被写体を見失いシャッターチャンスを逃す機会を減らすことができる。
【００４７】
（２）画像生成部２６２は、複数のマイクロレンズ５４のそれぞれに対応する複数の受光素子５５のうち、中央部近傍に配列された受光素子５５ｃから出力された受光信号を用いてパンフォーカス画像を生成するようにした。この結果、パンフォーカス画像は絞り最少にて取得された画像、すなわち、画面内のほぼ全被写体にピントが合った状態の画像となるため、特定の被写体を認識するための精度を向上させることができる。
【００４８】
（３）焦点調節部２６１は、複数の受光素子５５から出力された複数の受光信号を用いて結像光学系１１の焦点状態を検出するようにした。焦点状態を検出するための専用センサとパンフォーカス画像を生成するための専用センサとを兼用することが可能となり、それぞれの専用センサをそれぞれ搭載する場合と比較してスペースの占有率を小さくできるので、デジタルカメラ１の小型化に寄与する。
【００４９】
−第２の実施の形態−
本発明の第２の実施の形態によるデジタルカメラについて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、光学ファインダを備えていない点で第１の実施の形態とは異なる。
【００５０】
図５は第２の実施の形態によるデジタルカメラ１００の要部構成を説明するブロック図である。なお、図５においても、図１、図２と同様に、ｘ軸、ｙ軸、ｚ軸からなる座標系を設定する。デジタルカメラ１００のカメラボディ１０１には、レンズマウント９を介してレンズ鏡筒１０が着脱可能に取り付けられる。カメラボディ１０１内部には、撮像素子２２と、焦点検出ユニット２５と、制御装置２６と、ハーフミラー１０２とが設けられている。
【００５１】
ハーフミラー１２１は、たとえばペリクルミラー等により構成され、結像光学系１１からの被写体光束を２つに分割する。被写体光束の一部はハーフミラー１２１によって反射されてカメラボディ１０１の内部上方（図５のｘ軸＋側）に配置された撮像素子２２へ導かれる。撮像素子２２は、第１の実施の形態の場合と同様に、被結像光学系１１により形成された被写体像を撮像して、撮像信号を出力する。被写体光束の他の一部はハーフミラー１２１を透過して、カメラボディ１０１の内部背面側（図５のｚ軸＋側）に配置された焦点検出ユニット２５へ入射する。焦点検出ユニット２５は、図２に示す第１の実施の形態の場合と同様の構造を有し、受光信号を出力する。
【００５２】
静止画撮影が行われる場合には、ユーザによるレリーズボタンの全押し操作に応じて撮影開始が指示されるまでの間、背面モニタ３０にライブビュー画像が表示される。すなわち、制御装置２６は、撮像素子２２から所定の周期（たとえば１／６０秒、１／３０秒等）にて出力される撮像信号を用いて、順次、画像データを生成し、ライブビュー画像として背面モニタ３０に表示させる。換言すると、ユーザは、背面モニタ３０に表示されたライブビュー画像により被写体像を観察することができる。
【００５３】
焦点検出ユニット２５は所定の周期にて受光信号を出力する。なお、焦点検出ユニット２５が受光信号を出力する周期は、撮像素子２２がライブビュー画像の生成のために撮像信号を出力する周期と同一でもよいし、異なっていてもよい。特定被写体識別機能が有効に設定されている場合には、制御装置２６は、第１の実施の形態と同様にして、パンフォーカス画像生成処理、特定被写体認識処理および表示処理を行う。ただし、表示処理の際には、表示制御部２６４は、特定の被写体の位置を示す指標を、背面モニタ３０に表示させる。すなわち、表示制御部２６４は、特定被写体認識処理にて特定された被写体の位置を背面モニタ３０での位置に換算し、ライブビュー画像として表示される画像データに指標を重畳させる。その結果、所望の被写体像が背面モニタ３０上で非常にボケて視認しにくいときであっても、指標がボケ像に重なって表示されることにより、被写体を捉え続けることができ、シャッターチャンスを逃す機会を低減させることができる。
制御装置２６は、ユーザによりレリーズボタンが全押し操作され、撮影開始が指示されるまでの間、上記の動作を継続して行う。
【００５４】
動画撮影の場合には、ユーザにより動画撮影開始が指示されると、制御装置２６は、撮像素子２２から所定の周期（たとえば１／６０秒、１／３０秒等）にて出力される撮像信号を用いて、順次、画像データを生成し、動画として背面モニタ３０に表示させる。焦点検出ユニット２５は、上記のライブビュー画像を表示している場合と同様に、所定の周期にて受光信号を出力し、特定被写体識別機能が有効に設定されている場合には、制御装置２６は、第１の実施の形態と同様にして、パンフォーカス画像生成処理、特定被写体認識処理および表示処理を行う。ただし、表示処理の際には、表示制御部２６４は、特定被写体認識処理にて特定された被写体の位置を背面モニタ３０での位置に換算し、動画像として表示される画像データに指標を重畳させる。
【００５５】
制御装置２６は、ユーザにより動画撮影の停止が指示されるまでの間、上記の動作を継続して行う。なお、動画撮影の開始／停止の指示は、ユーザが専用ボタンを操作することによって行ってもよいし、撮影モードとして動画撮影モードを選択した状態で、レリーズボタンを全押し操作することによって行ってもよい。
【００５６】
以上で説明した第２の実施の形態によれば、光学ファインダを備えていないデジタルカメラ１００であっても、特定した被写体の位置を背面モニタ３０に表示される画像に指標を重畳させることにより示すことができる。その結果、第１の実施の形態によるデジタルカメラ１と同様の作用効果を得ることができる。
【００５７】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）画像生成部２６２は受光信号の一部を用いてパンフォーカス画像を生成するものに限定されず、いわゆるライトフィールドカメラにおける任意焦点面の画像を合成する技術を応用して、画像内の各点ごとに該当する焦点面合成画像から抜き出した画素を連ねてパンフォーカス画像を生成してもよい。この場合、パンフォーカス画像中の一画素を合成するために、複数のマイクロレンズ５４にそれぞれ覆われた受光素子５５を用いることになるので、よりノイズの少ないパンフォーカス画像が生成され、特定の被写体が認識される確率を増加させることができる。
【００５８】
（２）制御装置２６は、特定被写体認識処理の後、被写体特定部２６３により認識された特定の被写体の位置に応じて表示処理および焦点調節処理を行うものに代えて、表示処理のみを行うものについても本発明の一態様に含まれる。すなわち、光学ファインダにて指標に基づいて特定の被写体の位置を確認したユーザによる手動操作に従って、焦点調節を行うようにしても良い。なお、デジタルカメラ１、１００は、特定被写体認識処理の結果に応じて自動的に焦点調節を行うモードと、手動操作に従って焦点調節を行うモードとを備え、何れかをユーザが、たとえば操作部４０を操作することにより選択可能に構成されていても良い。
【００５９】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【００６０】
１、１００…デジタルカメラ、２２…撮像素子、
２５…焦点検出ユニット、２６…制御装置、
２９…接眼レンズ、３０…背面モニタ、
３１…表示用ハーフミラー、３２…コンデンサレンズ、
３３…パターン表示素子、４０…操作部、
５２…マイクロレンズアレイ、５３…受光素子アレイ、
５４…マイクロレンズ、５５…受光素子、
２６１…焦点調節部、２６２…画像生成部、
２６３…被写体特定部、２６４…表示制御部
【図１】
2018129822.tif 000003
【図２】
2018129822.tif 000004
【図３】
2018129822.tif 000005
【図４】
2018129822.tif 000006
【図５】
2018129822.tif 000007