(57)【要約】【課題】より正確なマニュアルフォーカスを行うための拡大画像を表示する。【解決手段】撮像装置は、光学系を通過した光を受光して信号を出力する撮像素子と、撮像素子から出力された信号により生成される画像から特定の被写体を検出して追尾する追尾部と、画像を拡大した、追尾部により追尾される特定の被写体を含む拡大画像を表示する表示部を備える。【選択図】図１
2018006995.tif 000002
【特許請求の範囲】
【請求項１】
光学系を通過した光を受光して信号を出力する撮像素子と、
前記撮像素子から出力された信号により生成される画像から特定の被写体を検出して追尾する追尾部と、
前記画像を拡大した、前記追尾部により追尾される前記特定の被写体を含む拡大画像を表示する表示部を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記表示部は、前記画像における前記特定の被写体の大きさに基づく倍率で前記拡大画像を表示する撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記表示部は、前記画像における前記特定の被写体の大きさが大きくなると、前記倍率を小さくして前記拡大画像を表示する撮像装置。
【請求項４】
請求項１から３までのいずれか一項に記載の撮像装置において、
前記表示部は、前記光学系の合焦位置と前記撮像素子の撮像面とのずれ量に基づく倍率で前記拡大画像を表示する撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記表示部は、前記ずれ量が大きくなると、前記倍率を小さくして前記拡大画像を表示する撮像装置。
【請求項６】
請求項１から５までのいずれか一項に記載の撮像装置において、
前記表示部は、前記特定の被写体までの距離に基づく倍率で前記拡大画像を表示する撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記表示部は、前記特定の被写体までの距離が短くなると、前記倍率を小さくして前記拡大画像を表示する撮像装置。
【請求項８】
請求項１から７までのいずれか一項に記載の撮像装置において、
前記表示部は、前記画像を撮像したときの前記光学系の絞り値に基づく倍率で前記拡大画像を表示する撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記表示部は、前記画像を撮像したときの前記光学系の絞り値が小さくなると、前記倍率を小さくして前記拡大画像を表示する撮像装置。
【請求項１０】
請求項１から３までのいずれか一項に記載の撮像装置において、
前記表示部は、予め定められた倍率で前記拡大画像を表示する撮像装置。
【請求項１１】
請求項１から１０までのいずれか一項に記載の撮像装置において、
前記表示部は、前記画像を、前記拡大画像と同時に表示する撮像装置。
【請求項１２】
請求項１から１１までのいずれか一項に記載の撮像装置において、
前記表示部は、前記光学系の焦点距離を変化させるための操作部が操作されると、前記拡大画像を表示する撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記操作部は、前記光学系の焦点距離と前記撮像素子の撮像面とのずれ量が所定の値以下になると、前記操作の受け付けを制限する撮像装置。
【請求項１４】
請求項１２または１３に記載の撮像装置において、
前記画像から、前記操作部で焦点を合わせる前記特定の被写体を選択可能な選択部を備える撮像装置。
【請求項１５】
請求項１から１４までのいずれか一項に記載の撮像装置において、
前記表示部は、前記特定の被写体が前記画像の輪郭のいずれか一辺から所定の範囲にある場合、警告を表示する撮像装置。
【請求項１６】
請求項２から１０までのいずれか一項に記載の撮像装置において、
前記表示部は、前記特定の被写体が前記画像の輪郭のいずれか一辺から所定の範囲で前記追尾部により検出されると、前記特定の被写体が前記画像の輪郭のいずれか一辺から所定の範囲外で前記追尾部により検出されるときよりも前記倍率を小さくして前記拡大画像を表示する撮像装置。
【請求項１７】
請求項１から１６までのいずれか一項に記載の撮像装置において、
前記表示部は、前記追尾部により前記特定の被写体が検出されなくなると、前記拡大画像を表示せず、前記画像を表示する撮像装置。
【請求項１８】
請求項１７に記載の撮像装置において、
前記表示部は、前記画像が表示された後、再び前記追尾部により前記特定の被写体が追尾されると、前記拡大画像を表示する撮像装置。
【請求項１９】
光学系を通過した光を受光して信号を出力する撮像素子および前記光学系の焦点位置を変化させる操作を受け付ける操作部を有する撮像装置から画像データが入力される入力部と、
前記画像データにより生成される画像から特定の被写体を追尾して、前記画像を拡大した、前記特定の被写体を含む拡大画像を表示する表示部を備える表示装置。
【請求項２０】
光学系を通過した光を受光して信号を出力する撮像素子および前記光学系の焦点位置を変化させる操作を受け付ける操作部を有する撮像装置から入力された画像データにより生成される画像から特定の被写体を追尾する処理と、
前記画像を拡大した、前記特定の被写体を含む拡大画像を表示する処理と、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、表示装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
撮像時に、液晶パネル等の表示機器に被写体の拡大画像を表示する撮像装置が知られている（例えば、特許文献１）。しかしながら、動いている被写体を追尾しながら拡大画像を表示することは困難であった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開第２０１２−８３０７号
【発明の概要】
【０００４】
第１の態様によると、撮像装置は、光学系を通過した光を受光して信号を出力する撮像素子と、前記撮像素子から出力された信号により生成される画像から特定の被写体を検出して追尾する追尾部と、前記画像を拡大した、前記追尾部により追尾される前記特定の被写体を含む拡大画像を表示する表示部を備える。
第２の態様によると、表示装置は、光学系を通過した光を受光して信号を出力する撮像素子および前記光学系の焦点位置を変化させる操作を受け付ける操作部を有する撮像装置から画像データが入力される入力部と、前記画像データにより生成される画像から特定の被写体を追尾して、前記画像を拡大した、前記特定の被写体を含む拡大画像を表示する表示部を備える。
第３の態様によると、画像処理プログラムは、光学系を通過した光を受光して信号を出力する撮像素子および前記光学系の焦点位置を変化させる操作を受け付ける操作部を有する撮像装置から入力された画像データにより生成される画像から特定の被写体を追尾する処理と、前記画像を拡大した、前記特定の被写体を含む拡大画像を表示する処理と、をコンピュータに実行させる。
【図面の簡単な説明】
【０００５】
【図１】一実施形態の撮像装置の外観を模式的に示す図である。
【図２】一実施形態の撮像装置の構成を示す概念図である。
【図３】一実施形態の撮像装置における撮像素子の撮像面の構成を示す図である。
【図４】一実施形態の撮像装置における撮像素子の撮像面の構成を示す図である。
【図５】一実施形態の撮像装置におけるＭＦによる撮像の流れを示すフローチャートである。
【図６】一実施形態の撮像装置におけるＭＦ中の表示画面の一例を示す図である。
【図７】一実施形態の撮像装置におけるＭＦ中の表示画面の一例を示す図である。
【図８】一実施形態の撮像装置におけるＭＦ中の表示画面の一例を示す図である。
【図９】一実施形態の撮像装置におけるＭＦ中の表示画面の一例を示す図である。
【図１０】一実施形態の撮像装置の処理を説明するための図であり、（ａ）は被写体の一例を示す図であり、（ｂ）はＭＦ中の表示画面の一例を示す図である。
【図１１】一実施形態の撮像装置の処理を説明するための図であり、（ａ）は拡大画像の倍率が変化しない場合を想定した表示画面の一例を示す図であり、（ｂ）は拡大画像の倍率が変化した後の表示画面の一例を示す図である。
【図１２】一実施形態の撮像装置におけるＭＦ中の表示画面の一例を示す図である。
【図１３】一実施形態の撮像装置の構成を示す概念図である。
【図１４】一実施形態の撮像装置の処理を行うプログラムに関する説明をするための図である。
【発明を実施するための形態】
【０００６】
以下では、適宜図面を参照しながら、一実施形態の撮像装置、表示装置、画像処理プログラム等について説明する。本実施形態の撮像装置は、デジタルカメラとして説明するが、同様の構成を、携帯に付属のカメラ等、ＭＦを行うことができる撮像装置に幅広く適用することが可能である。
【０００７】
図１は、本実施形態による撮像装置１の外観を概略的に示した図である。撮像装置１は、交換レンズ１０とカメラボディ２０とを備える。撮像装置１の前面には、交換レンズ１０がカメラボディ２０に電気的かつ物理的に接続されており、交換レンズ１０は、フォーカスリング１４および絞り１５を備える。被写体からの光は、交換レンズ１０内部のレンズ系および絞り１５に入射する。交換レンズ１０を通過した光は、被写体像をカメラボディ２０の内部にある撮像素子２１（破線）の撮像面に結像する。撮影者はフォーカスリング１４を操作することにより、不図示のフォーカシングレンズの光軸方向の位置を調整し、交換レンズ１０のレンズ系のフォーカスを調整すること（ＭＦ）ができる。カメラボディ２０には、背面に表示モニタ２５（一点鎖線）が設けられている。
なお、ＭＦの方法は特に限定されず、フォーカスリング１４の操作以外に、撮像装置１の任意の位置に配置されたボタンまたはタッチパネルのタッチ操作等により行うよう構成することができる。
【０００８】
図２は、撮像装置１の概略構成図である。図２の矢印は情報の流れまたは制御する対象を示す。撮像装置１は、レンズ系１１と、撮像素子２１と、制御部２２と、バッファ２３と、駆動部１２と、レンズ側制御部１３と、操作部材２４と、表示モニタ２５とを備える。
【０００９】
レンズ系１１は、レンズ、絞り１５等の光学要素からなり、被写体からの光を結像させる機能を備える。レンズ系１１は、不図示のフォーカシングレンズやズームレンズ等を備え、後述の駆動部１２が該フォーカシングレンズの位置を移動させることにより、レンズ系１１の焦点距離を変化させることができる。
なお、レンズ系１１の焦点距離を制御可能に変化させることができれば、その方法は特に限定されない。
【００１０】
撮像素子２１は、像面位相差方式により測距を行うことができる撮像素子であって、撮像面に撮像画素と、焦点検出画素とを有し、被写体からの光を電気信号に変換して出力する。撮像素子２１は、レンズ系１１により撮像面に結像される被写体像を撮像し、各画素に対応する色情報や輝度情報に応じた画像信号を制御部２２に出力する。
なお、光学ハーフミラーを用いて光路を分岐させ、スルー画像取得のための専用の撮像素子を設けてもよい。また、発明の特徴を損なわない範囲で、撮像面の所望の位置に対応する被写体に対し所望の時間内に測距を行うことができれば、測距の方法は特に限定されない。
【００１１】
図３は、撮像素子２１の撮像面６０の拡大図であって、被写体部分の測距を行う測距エリアに対応する画素位置近傍が図示されている。図３に示されるように、撮像素子２１には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の撮像画素６１がベイヤ配列に従って配置されている。そして、測距エリアに対応する画素位置では、瞳分割型の位相差検出用の焦点検出画素６２ａおよび６２ｂが交互に配置されている。
【００１２】
図４は、撮像素子２１の撮像面６０を模式的に示した図である。撮像面６０には、図中横方向に伸びる焦点検出画素６２の列が縦方向に一定の間隔で全体的に配置されており、焦点検出画素６２の周囲には撮像画素６１が配置されている。焦点検出画素６２の配置の態様は、撮像面６０全体に分散的に配置するのであれば特に限定されない。
【００１３】
撮像画素６１に蓄積された電荷は、Ｒ，Ｇ，Ｂの撮像信号として信号読出される。撮像信号は、制御部２２に出力され、画像データとして保存される他、撮影前のスルー画像等、表示モニタ２５への表示画像が生成される。焦点検出画素６２ａおよび６２ｂに蓄積された電荷は、焦点検出信号として読み出される。隣り合う焦点検出画素６２ａおよび６２ｂは、一対の焦点検出信号を制御部２２に出力し、焦点検出信号に基づいて対応する被写体部分のデフォーカス量の検出が行われる。
【００１４】
制御部２２は、ＣＰＵ等により構成され、撮像装置１を制御する動作の主体として機能し、不図示の不揮発性メモリに搭載されているプログラムを実行することにより、オートフォーカス（以下、ＡＦと呼ぶ）、撮影動作および後述するＭＦアシスト処理等を行う。
なお、制御部２２の機能の一部は、撮像素子２１のそれぞれの画素毎、または画素ブロック毎に、撮像素子２１の光電変換層とは異なる層に配置された処理回路において行ってもよい。
【００１５】
バッファ２３は、不揮発性メモリによって構成され、撮像素子２１が撮像した画像データを、一時的に記憶する。バッファ２３に記憶されたデータは、適宜制御部２２に読み出され、演算処理に用いられると共に、必要に応じて不図示の画像記憶用媒体に保存される。
【００１６】
駆動部１２は、交換レンズ１０に設けられ、ステッピングモータ等のアクチュエータにより構成され、レンズ側制御部１３から入力された信号に応じてレンズ系１１のフォーカシングレンズを駆動する。駆動部１２は、レンズ側制御部１３から入力された信号のパルス数を計数したり、レンズ系１１の距離エンコーダ等を用いたりして、レンズ系１１のフォーカシングレンズの位置を取得し、制御部２２またはレンズ側制御部１３に送ることができる。
【００１７】
レンズ側制御部１３は、交換レンズ１０に設けられ、不図示のマイクロコンピュータおよびその周辺回路等により構成され、レンズ系１１の焦点距離を調整する駆動部１２の動作を制御する。また、レンズ側制御部１３は、フォーカシングレンズの位置についての情報や絞り１５の状態を示す情報等を制御部２２に送信する。
【００１８】
操作部材２４は、上述のフォーカスリング１４、各種ボタン、タッチパネル等により構成され、撮影者からの情報の入力を受け付ける。タッチパネルは表示モニタ２５の画面上に配置される。操作部材２４の要素は、交換レンズ１０およびカメラボディ２０の両方に配置され得る。タッチパネルにおけるタッチする位置と入力情報との対応等は、適宜制御部２２により制御される。
【００１９】
表示モニタ２５は、撮像装置１の背面に設けられたＬＣＤパネル等により構成され、後述のＭＦアシスト処理における拡大画像、ワイプ表示画像等の、撮像素子２１の出力信号に基づく被写体の画像や、撮像条件等を設定するための各種のメニュー画面等が表示される。
【００２０】
（ＭＦアシスト処理の説明）
制御部２２が実行するＭＦアシスト処理について説明する。ＭＦアシスト処理は、撮影者がフォーカスリング１４等の操作部材を用いて手動でレンズ系１１の焦点距離を調節する際に、表示モニタ２５に撮影者が合焦する被写体の拡大画像を追尾して表示する処理である。ＭＦアシスト処理は、正確なＭＦを実現するが、特に、暗所での撮影で、視野を明るくするため絞りを開くと被写界深度が浅くなり、ＡＦのみでは正確にフォーカスを合わせることができない場合等に特に有用である。
【００２１】
図５は、本実施形態の撮像装置１におけるＭＦアシスト処理を含む撮影の流れを示すフローチャートである。ステップＳ１００１において、撮像装置１の電源スイッチが操作され、撮像装置１の電源がオンとなる。撮像装置１の電源がオンとなると、交換レンズ１０およびカメラボディ２０の電気系統に電力が供給され、スルー画像の表示モニタ２５への表示が開始される。ステップＳ１００１が終了すると、ステップＳ１００３に進む。
【００２２】
ステップＳ１００３において、不図示のモード切替スイッチが操作されることにより、撮像装置１がＡＦを行う状態（以下、ＡＦモードと記載）等から、ＭＦを行う状態（以下、ＭＦモードと記載）に切り替えられる。一例をあげると、ＡＦモードで合焦させたい被写体におおよそのフォーカスを合わせた後、より正確な合焦をＭＦで行う場合が考えられる。ステップＳ１００３が終了すると、ステップＳ１００５に進む。
なお、ＡＦを行うモードにおいて、フォーカスリング１４等の操作により手動で焦点距離が調節された場合に、ＭＦモードに切り替わるようにしてもよい。
【００２３】
ステップＳ１００５において、ＭＦモードにおいて、制御部２２は、撮影者が行ったフォーカスリング１４の回転操作、またはタッチパネルを介した焦点調節操作（タッチフォーカス操作）等を検出する。ステップＳ１００５が終了すると、ステップＳ１００７に進む。
【００２４】
ステップＳ１００７において、制御部２２は、撮像素子２１の撮像画素６１から送られた画像データから、ＭＦで合焦させたい特定の被写体（以下、目標被写体と呼ぶ）の拡大画像を生成する画像拡大処理を開始し、追尾対象となるその目標被写体の決定を行う。制御部２２は、撮像素子２１の撮像画素６１から入力された撮像信号から画像を構成し、一時的にバッファ２４に保存する。制御部２２は、ホワイトバランス調整、色補間処理、階調変換処理、輪郭強調処理等の画像処理を適宜行い、再びバッファ２４に保存する。制御部２２は、バッファ２４に保存された画像から、撮像位置の輝度、距離等の任意のパラメータに基づいて画像をかたまりごとに分けるマスク抽出を行い、ＭＦにおいて目標被写体の候補となる画像部分を抽出する。制御部２２は、得られた画像を表示モニタ２５に表示すると共に、マスク抽出した領域をそれぞれ区別して表示する。
【００２５】
図６は、ＭＦで目標被写体の候補となる領域が示された表示画面７０を例示する図である。表示画面７０のうち、目標被写体の候補として、人間７１を破線７２ａで、木７９を破線７２ｂで囲んで表示している。撮影者は、タッチパネルの操作等により目標被写体を選択する。以下の説明では、人間７１が目標被写体７１として選択されたとする。ステップＳ１００７が終了したら、ステップＳ１００９に進む。
なお、目標被写体７１は、制御部２２が、例えば現在の焦点距離等を基に自動で選択してもよい。
【００２６】
ステップＳ１００９において、制御部２２は、ステップＳ１００７で選択された被写体７１の拡大画像における拡大率設定が指定倍率の設定（倍率設定）か否かを判定する。倍率設定とは、撮像装置１の初期値または撮影者の事前の入力等により、入力拡大倍率が２倍、４倍、６倍等の予め決まった値に指定されている場合を指す。倍率設定の場合は、ステップＳ１００９を肯定判定してステップＳ１０１１ａに進む。倍率設定でない場合は、拡大率設定は自動設定であるとして、ステップＳ１００９を否定判定してステップＳ１０１１ｂに進む。
【００２７】
ステップＳ１０１１ａにおいて、制御部２２は、ステップＳ１００７において選択された被写体７１を画像の中央部（例えば画像を横に三分割した場合の中央の部分）や画面の中心等の目立つ所定の位置に配置し、予め定められた倍率で拡大した拡大画像を全画面表示する。この場合、以後のスルー画像においても、拡大倍率等の設定変更が無い限り同様の倍率で拡大画像を生成する設定とする。ステップＳ１０１１ａが終了したら、ステップＳ１０１３に進む。
なお、拡大画像における目標被写体７１の表示位置は、スルー画像における目標被写体７１の位置に基づいて適宜調節してもよい。また、拡大画像は全画面表示に限定されず、撮影者がＭＦを行いやすい態様で表示されればよい。
【００２８】
ステップＳ１０１１ｂにおいて、制御部２２は、ステップＳ１００７において選択された目標被写体７１を画像の中央部等の目立つ所定の位置に配置し、所定の自動倍率で拡大した拡大画像を全画面表示する。自動倍率の場合、目標被写体７１のデフォーカス量等に基づいてＭＦに適した拡大倍率で表示され、後述するように、目標被写体７１の全体画像での大きさ等に基づいて、拡大倍率が自動で変化する。以後のスルー画像においても、同様の構図で拡大画像を生成する設定とする。ステップＳ１０１１ｂが終了したら、ステップＳ１０１３に進む。
【００２９】
ステップＳ１０１３において、制御部２２は、目標被写体７１の特徴点を抽出し、画像サンプリングを行う。制御部２２は、画像中の色や輪郭に基づいて特徴点を抽出する。例えば、制御部２２は、輝度等のパラメータに関する局所最大値を算出して模様中の頂点、エッジ等となる部分を特徴点として抽出する。制御部２２は、目標被写体７１が人間を含む場合、公知の顔検出や瞳検出を行うことができる。制御部２２は、抽出した特徴点の位置、特徴等に関する情報および目標被写体７１の画像（以下、テンプレート画像と呼ぶ）をバッファ２４に記憶させる。
【００３０】
ステップＳ１０１５において、制御部２２は、抽出した特徴点およびサンプリングした合焦する被写体７１の画像を基に、公知のテンプレートマッチングを用いて、撮像素子２２が撮像した画像から目標被写体７１の追尾を行う。制御部２２は、所定周期（例えば１／６０秒）ごとに撮像素子２１から出力される撮像信号から生成されるスルー画像に対して、バッファ２４に記憶されている特徴点の情報やテンプレート画像とのマッチングを行うことにより、目標被写体７１を検出し、ステップＳ１０１１ａまたはステップＳ１０１１ｂにおいて設定された倍率で表示モニタ２５に拡大表示する。
【００３１】
図７は、目標被写体７１を追尾している間の表示画面７０の一例を示す図である。撮像素子２１からの撮像信号から生成したスルー画像の全体は表示画面７０の左下にワイプ表示画像７３としてワイプ表示されている。目標被写体７１は、スルー画像全体から抽出され表示画面７０の中央部に拡大画像７４の一部として表示されている。図７のように、目標被写体７１において顔認識を行い、認識している顔を中心に拡大表示を行ってもよい。
なお、表示画面７０において、ピーキング表示やエッジ強調等のフォーカシングをアシストする公知の機能と組み合わせて表示することもできる。
【００３２】
図８は、目標被写体７１を追尾している間の表示画面７０のさらなる一例を示す図である。図７の時点から比べ、木７９との位置関係で、目標被写体である人間７１は撮像側から見て左に移動していることが、表示画面７０の左下のワイプ表示画像７３で示されている。追尾されている目標被写体７１は、拡大されて画面中央部に拡大画像７４の一部として表示されている。
【００３３】
図９は、目標被写体７１がスルー画像の撮像範囲の外に移動（フレームアウト）した場合の表示画面７０の一例を示す図である。目標被写体７１は表示画面７０に写らないため、図示されていない。表示画面７０には、木７９等の背景が示されたスルー画像の全体が表示され、ワイプ表示画像７３は表示されていない。
【００３４】
制御部２２は、目標被写体７１がスルー画像の撮像範囲の外に移動した後、再びスルー画像の撮像範囲内に移動した場合、目標被写体７１の拡大画像７４と、スルー画像全体を示すワイプ表示画像７３とを再び表示する。この場合の表示画面７０は、図８と同様の構成となる。ステップＳ１０１５が終了したらステップＳ１０１７に進む。
【００３５】
ステップＳ１０１７において、制御部２２は、撮影情報または被写体情報の変化が起きたか否かを判定する。撮影情報とは、明るさ等の目標被写体７１の環境に関する情報であり、被写体情報とは、目標被写体７１の形状、姿勢、距離、デフォーカス量等に関する情報である。制御部２２は、撮影情報または被写体情報が、目標被写体７１の特異点等のテンプレートマッチングが不可能となるか、影響を与え得る所定の程度に変化した場合、ステップＳ１０１７を肯定判定しステップＳ１０１３に戻り、再び特徴点抽出等の処理を行う。制御部２２は、撮影情報または被写体情報が上記所定の程度に変化していない場合、ステップＳ１０１７を否定判定し、ステップＳ１０１９に進む。
【００３６】
ステップＳ１０１９において、制御部２２は、撮影者により、絞り値が変更されたか否かを判定する。絞り値が変更された場合、明るさやデフォーカス量等の変化により撮影情報および／または被写体情報が変化する可能性があるため、制御部２２はステップＳ１０１９を肯定判定して、ステップＳ１０１７に戻る。絞り値が変更されない場合、ステップＳ１０１９を否定判定して、ステップＳ１０２１に進む。
なお、ズーム倍率の変化等に関しても、操作を検出したら、同様にステップＳ１０１７に戻る構成にすることができる。
【００３７】
ステップＳ１０２１において、制御部２２は、撮影者の操作部材２４の操作により、拡大倍率の設定が変更されたか否かを判定する。拡大倍率の設定の変更とは、指定倍率と自動倍率との間の変更や、拡大倍率の数値の変更を指す。拡大倍率の設定が変更された場合、制御部２２はステップＳ１０２１を肯定判定して、ステップＳ１００９に戻る。拡大倍率の設定が変更されない場合、ステップＳ１０２１を否定判定して、ステップＳ１０２３に進む。
【００３８】
ステップＳ１０２３において、制御部２２は、デフォーカス量が被写界深度等に基づいて定まる所定の値以下であるかにより、追尾している目標被写体７１が合焦しているか否かを判定し、合焦している場合、ステップＳ１０２３を肯定判定してステップＳ１０２５に進む。合焦していない場合、ステップＳ１０２３を否定判定してステップＳ１０１５に戻って追尾処理を続ける。
【００３９】
ステップＳ１０２５において、撮影動作が行われる。フォーカスリング１４やタッチパネルにおいて、レンズ系１１の焦点距離を変化させる操作が制限されるフォーカスロックの制御を行う。フォーカスロックの後、シャッターが切られ、撮影動作が行われて処理が終了する。
なお、フォーカスロックは、制御部２２が、フォーカスリング１４やタッチパネルが操作されてもレンズ系１１の焦点距離が変化しないように制御する構成にしてもよい。
【００４０】
（追尾中の拡大率の制御）
以下では、追尾処理において自動倍率と設定された場合における拡大画像７４の拡大倍率の制御を説明する。この拡大倍率の制御は、追尾中に撮影・被写体情報が変化し、ステップＳ１０１７が肯定判定され、ステップＳ１０１３に戻った際等の特徴点抽出等の処理において行うことができる。便宜上、奥行き方向に追尾対象が動く例を用いて説明する。
【００４１】
図１０（ａ）は、撮像素子２１が撮像するスルー画像全体の表示画面７０の一例を示す図である。この例では、表示画面７０には、上部に遠景の山７８、表示画面７０の撮影地点から山７８に向かって伸びる車道７６ならびに車道７６に沿う外側線７７ａおよび中央線７７ｂが示されている。追尾対象となる、撮影者がＭＦで合焦する被写体として、車７１が、山７８に向かって手前から奥行き方向に走行している。
【００４２】
図１０（ｂ）は、図１０（ａ）に示された車７１に対しＭＦのための追尾処理を開始した際の表示画面７０を示す図である。スルー画像から生成した車７１を含む拡大画像７４が表示画面７０の全体に表示され、スルー画像全体が表示画面左下のワイプ表示画像７３としてワイプ表示されている。
【００４３】
図１１（ａ）は、図１０（ｂ）から一定時間が経過し、車７１と撮像装置１との距離が長くなった場合の表示画面７０を想定した図である。ワイプ表示画像７３に示されているように、スルー画像全体に対する目標被写体７１の大きさが所定値（例えば、画素数に対応した面積にして画像全体の１／１００等）の所定値よりも小さくなっている。このとき、図１０（ｂ）と同じままの倍率だと、図１１（ａ）のように、車７１は拡大画像７４でもあまり大きく表示されず、撮影者による目標被写体７１の視認が難しくＭＦをしにくい可能性がある。従って、制御部２２は、スルー画像全体に対する目標被写体７１の大きさが上記所定値よりも大きかったときよりも拡大倍率を高く設定する。
ここで、目標被写体７１の大きさは、抽出した特徴点や生成したテンプレート画像等に基づいて定義し算出することができる。
【００４４】
図１１（ｂ）は、図１１（ａ）と略同一の時点において、拡大画像７４の拡大倍率を高く設定した後の図である。表示画面７０の拡大画像７４に、目標被写体７１が大きく示されている。これにより、撮影者は目標被写体７１をよりはっきりと認識し、正確なＭＦを行うことができる。同様に、制御部２２は、スルー画像における目標被写体７１が所定値より大きくなると、拡大倍率を小さくするようにすることができる。
【００４５】
上述の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の撮像装置１は、撮像素子２１から出力された信号により生成されるスルー画像から目標被写体７１を検出する制御部２２と、制御部２２により検出された目標被写体７１を追尾して、スルー画像を所定倍率で拡大した、目標被写体７１を含む拡大画像７４を表示する表示モニタ２５を備える。これにより、拡大された特定の被写体がスルー画像において移動したとしても、より早く正確なＭＦを行うことができる。
【００４６】
（２）本実施形態の撮像装置１において、表示モニタ２５は、フォーカスリング１４でレンズ系１１の焦点距離を変化させるために拡大画像７４を表示する。これにより、撮影者は、目標被写体７１を拡大して視認することで、より早く正確なＭＦを行うことができる。
【００４７】
（３）本実施形態の撮像装置１において、操作部材２４は、目標被写体７１のデフォーカス量が所定の値以下になると、操作の受け付けを制限する。これにより、目標被写体７１に一旦合焦後、余計な操作により再びフォーカスがずれてしまうことを避けることができる。
【００４８】
（４）本実施形態の撮像装置１において、表示モニタ２５は、スルー画像における目標被写体７１の大きさに基づいて、拡大倍率を変化させた拡大画像７４を表示する。これにより、目標被写体７１の見かけの大きさを調節し、より早く正確なＭＦを行うことができる。
【００４９】
（５）本実施形態の撮像装置１において、表示モニタ２５は、スルー画像における目標被写体７１の大きさが所定値より大きくなると、拡大倍率を小さくして拡大画像７４を表示する。これにより、見やすい大きさで目標被写体７１を拡大して視認することで、より早く正確なＭＦを行うことができる。
【００５０】
（６）本実施形態の撮像装置１において、拡大画像７４の拡大倍率は、予め設定された倍率にできる。これにより、撮影者が好む倍率でより早く正確にＭＦを行うことができる。
【００５１】
（７）本実施形態の撮像装置１において、表示モニタ２５は、スルー画像全体のワイプ表示画像７３を、拡大画像７４と同時に表示する。これにより、撮影者は、追尾中の目標被写体７１がスルー画像内でどの位置にあるかを把握することができる。
【００５２】
（８）本実施形態の撮像装置１において、スルー画像から、フォーカスリング１４で焦点を合わせる目標被写体７１を選択可能なタッチパネルを備える。これにより、撮影者がスルー画像中から目標被写体７１を正確に選択することができる。
【００５３】
（９）本実施形態の撮像装置１において、表示モニタ２５は、制御部２２により目標被写体７１が検出されなくなると、拡大画像７４を表示せず、スルー画像を表示する。これにより、撮影者は、広い視野で合焦する対象を探索することができる。
【００５４】
（１０）本実施形態の撮像装置１において、表示モニタ２５は、追尾対象がフレームアウトしスルー画像が表示された後、再び制御部２２により目標被写体７１が検出されると、拡大画像７４を表示する。これにより、撮影者は、再度追尾対象を設定することなく、目標被写体７１にＭＦを行うことができる。
【００５５】
次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態においては、図１１で示されたように、目標被写体７１のスルー画像での大きさに基づいて拡大倍率を変化させる構成とした。しかし、表示モニタ２５は、スルー画像における目標被写体７１のデフォーカス量に基づいて、拡大倍率を変化させた拡大画像７４を表示する構成としてもよい。これにより、画像のボケ具合に応じて目標被写体７１の見かけの大きさが調節され、より正確なＭＦが可能となる。
【００５６】
表示モニタ２５は、スルー画像における目標被写体７１のデフォーカス量が所定値より大きくなると、拡大倍率を小さくして拡大画像７４を表示する構成にしてもよい。これにより、撮影者は、追尾対象のボケ具合が大きい時に、より広い視野で視認することができ、焦点距離を遠近どちらに向けてずらすか等を把握しやすくなる。
目標被写体７１の拡大倍率をデフォーカス量に基づいて変化させる際の所定値は、デフォーカス量と撮影者が感じるボケ具合とに関するデータ等に基づいて、算出することができる。
なお、表示モニタ２５は、目標被写体７１までの距離に基づく倍率で拡大画像７４を表示する構成にしてもよい。また、表示モニタ２５は、目標被写体７１までの距離が短くなると、上記倍率を小さくして拡大画像７４を表示する構成にしてもよい。これにより、撮影者は追尾対象の距離に応じて適切な拡大画像７４の倍率でフォーカシングを行うことができる。
【００５７】
（変形例２）
上述の実施形態において図１１で示されたような拡大倍率の変化に関し、表示モニタ２５は、スルー画像を撮像したときの交換レンズ１０の絞り値に基づいて、拡大倍率を変化させた拡大画像７４を表示する構成にしてもよい。これにより、スルー画像の明るさ等に応じて目標被写体７１の見かけの大きさが調節され、より正確なＭＦが可能となる。
【００５８】
表示モニタ２５は、スルー画像を撮像したときの交換レンズ１０の絞り値が所定値より小さくなると、拡大倍率を小さくして拡大画像７４を表示する構成にしてもよい。これにより、絞り値を小さくするような暗い環境において、拡大画像７４の明るさを上げることができる。
目標被写体７１の拡大倍率を絞り値に基づいて変化させる際の所定値は、絞り値と撮影者が感じる明るさとに関するデータ等に基づいて、算出することができる。
なお、絞り値を変化させることによる被写界深度およびデフォーカス量の変化に基づいて拡大倍率の変更を行うこともできる。
【００５９】
（変形例３）
表示モニタ２５は、目標被写体７１がスルー画像の輪郭のいずれか一辺から所定の範囲にある場合、警告を表示する構成にしてもよい。
【００６０】
図１２は、上記警告が示された表示画面７０の一例を示す図である。ワイプ表示画像７３において、追尾対象である目標被写体７１はスルー画像全体の左端の辺縁部に写っている。この場合、制御部２２は、検出した目標被写体７１がスルー画像の輪郭から例えば１／４以下、１／８以下等の所定の範囲にある場合、警告８０を表示する。表示モニタ２５には、「被写体が視野の端に差し掛かっています」という記載のある警告８０が表示されている。これにより、拡大画像７４に注目している撮影者に、目標被写体７１がフレームアウトしそうになっていることを認識させることができる。
【００６１】
また、表示モニタ２５は、目標被写体７１がスルー画像の輪郭のいずれか一辺から所定の範囲にあることが制御部２２により検出されると、目標被写体７１がスルー画像の輪郭のいずれか一辺から所定の範囲外で制御部２２により検出されるときよりも拡大倍率を小さくして拡大画像７４を表示する構成にすることができる。これにより、撮影者は目標被写体７１がフレームアウトしそうになっていることをより広い視野で正確に認識することができる。
【００６２】
（変形例４）
上述の実施形態では、図２で示されたように、撮像装置１が表示モニタ２５を含んで構成されている。しかし、撮像装置と表示装置とを別に設け、無線通信または有線接続により撮像装置から表示装置へ上記スルー画像および拡大画像７４を送信し、表示装置において、追尾処理等のＭＦアシスト処理に関連する処理を行い拡大画像７４およびワイプ表示画像７３の表示を行う構成にしてもよい。
【００６３】
図１３は、本変形例の撮像装置２と表示装置２５０との構成を示した概略図である。上述の実施形態と同様の番号が付されたブロックは同様の機能、物理的構成等を有し、記載を省略する。上述の実施形態における撮像装置１とは異なり、撮像装置２は表示モニタ２５を必ずしも含まない。撮像装置２は、レンズ系１１と、駆動部１２と、レンズ側制御部１３と、撮像素子２１と、操作部材２４と、撮像装置側制御部２６と、出力部２７とを備える。撮像装置側制御部２６は、操作部材２４や表示装置２５０から入力された情報を基に、レンズ側制御部１３等の制御を行うと共に、撮像素子２１からの画像データを出力部２７を介し表示装置２５０に送信する。出力部２７は、通信装置等で構成され、表示装置２５０および撮像装置２との情報の授受を行う。
【００６４】
表示装置２５０は、入力部２５１と、制御部２５２と、バッファ２３と、表示モニタ２５とを備える。入力部２５１は通信装置等で構成され、撮像装置２から画像データ等が入力され、制御部２５２との情報の授受を行う。制御部２５２は、ＣＰＵ等により構成され、上述の実施形態の制御部２２における、追尾処理ならびに拡大画像７４およびワイプ表示画像７３の生成等のＭＦアシスト処理に関する処理を行う。表示モニタ２５は、撮像装置２から入力部２５１に入力された画像データにより生成されるスルー画像から目標被写体７１を追尾して、スルー画像を拡大倍率で拡大した、フォーカスリング１４等でレンズ系１１の焦点距離を変化させるための目標被写体７１を含む拡大画像７４を表示する。これにより、撮像装置２と撮影者が視認する表示モニタ２５とを離れた位置に配置することができ、様々な撮影状況に対応できて便利である。
なお、操作部材２４は、表示装置２５０の側に配置して構成してもよい。本変形例の構成のように、上述の実施形態の制御部２２等の機能を、有線および無線を介し複数の物理的実体に適宜分散して配置することができる。
【００６５】
（変形例５）
撮像装置１、表示装置２５０の情報処理機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述した追尾処理、拡大画像７４若しくはワイプ表示画像７３の生成または操作部材２４の制御に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００６６】
また、パーソナルコンピュータ（以下、ＰＣと記載）等に適用する場合、上述した制御に関するプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等のデータ信号を通じて提供することができる。図１４はその様子を示す図である。ＰＣ９５０は、ＣＤ−ＲＯＭ９５３を介してプログラムの提供を受ける。また、ＰＣ９５０は通信回線９５１との接続機能を有する。コンピュータ９５２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線９５１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ９５２はハードディスクを使用してプログラムを読み出し、通信回線９５１を介してプログラムをＰＣ９５０に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線９５１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
【００６７】
上述した情報処理機能を実現するためのプログラムとして、撮像素子２１およびフォーカスリング１４を有する撮像装置２から入力された画像データにより生成されるスルー画像から目標被写体７１を追尾する処理と、スルー画像を所定倍率で拡大した、目標被写体７１を含む拡大画像７４を表示する処理と、をコンピュータに実行させる画像処理プログラムが含まれる。
【００６８】
本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００６９】
１…撮像装置、１０…交換レンズ、１４…フォーカスリング、１５…絞り、２１…撮像素子、２２…制御部、２４…操作部材、２５…表示モニタ、７１…目標被写体、７３…ワイプ表示画像、７４…拡大画像、２５０…表示装置。
【図１】
2018006995.tif 000003
【図２】
2018006995.tif 000004
【図３】
2018006995.tif 000005
【図４】
2018006995.tif 000006
【図５】
2018006995.tif 000007
【図６】
2018006995.tif 000008
【図７】
2018006995.tif 000009
【図８】
2018006995.tif 000010
【図９】
2018006995.tif 000011
【図１０】
2018006995.tif 000012
【図１１】
2018006995.tif 000013
【図１２】
2018006995.tif 000014
【図１３】
2018006995.tif 000015
【図１４】
2018006995.tif 000016