(57)【特許請求の範囲】
【請求項１】
ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、
前記撮像レンズを通過した光学像を撮像する撮像部と、
自装置及び被写体の少なくとも一方が静止しているか否かを判定する静止判定部と、
前記被写体に合焦した合焦状態であるか否かを判定する合焦判定部と、
前記合焦判定部により合焦状態であると判定され、かつ前記静止判定部により自装置及び被写体の少なくとも一方が静止していると判定された場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶する記憶制御部と、
前記記憶部に記憶された複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成する生成部と、
前記生成部により生成されたトラッキングデータを用いてズームトラッキング制御を行うズームトラッキング制御部と、
を備え、
前記静止判定部は、前記合焦判定部により合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
撮像装置。
【請求項２】
前記生成部は、前記静止判定部により自装置及び被写体の少なくとも一方が静止していないと判定された場合に、前記トラッキングデータを生成する
請求項１に記載の撮像装置。
【請求項３】
前記焦点距離に応じてフォーカスエリアのサイズを変更する変更部を更に備えた
請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記変更部は、前記合焦判定部により最初に合焦状態であると判定された際の初期の焦点距離が、次回以降に合焦状態であると判定された際の現在の焦点距離よりも広角側の場合は、前記フォーカスエリアを拡大し、前記初期の焦点距離が、前記現在の焦点距離よりも望遠側の場合は、前記フォーカスエリアを縮小する
請求項３に記載の撮像装置。
【請求項５】
前記生成部は、前記撮像レンズに対応する基準のトラッキングデータを前記生成したトラッキングデータに近似したデータと、前記生成したトラッキングデータとの誤差が所定の範囲外である場合、前記生成したトラッキングデータを破棄する
請求項１から請求項４の何れか１項に記載の撮像装置。
【請求項６】
前記生成部は、前記記憶部に基準となる焦点距離が記憶されていない場合、前記基準となる焦点距離に対応するフォーカスレンズの位置を、前記基準となる焦点距離の所定の範囲内の複数の焦点距離及び前記複数の焦点距離に対応する複数のフォーカスレンズの位置を用いて補間することにより前記基準となる焦点距離に対応するフォーカスレンズの位置を導出することによって前記トラッキングデータを生成する
請求項１から請求項５の何れか１項に記載の撮像装置。
【請求項７】
前記生成部は、前記記憶部に所定数以上の焦点距離と前記フォーカスレンズの位置とが記憶されている場合に、前記トラッキングデータを生成する
請求項１から請求項６の何れか１項に記載の撮像装置。
【請求項８】
前記静止判定部は、前記複数の画像として、前記合焦判定部により最初に合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた初期画像と、次回以降に合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた現在画像とを用いて、前記被写体が静止しているか否かを判定する
請求項１から請求項７の何れか１項に記載の撮像装置。
【請求項９】
前記静止判定部は、前記焦点距離に応じて、前記初期画像又は前記現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、前記被写体が静止しているか否かを判定する
請求項８に記載の撮像装置。
【請求項１０】
前記静止判定部は、前記現在画像を撮像した際の焦点距離が前記初期画像を撮像した際の焦点距離よりも望遠側の場合は、前記初期画像に対してトリミング及びリサイズを行い、前記現在画像を撮像した際の焦点距離が前記初期画像を撮像した際の焦点距離よりも広角側の場合は、前記現在画像に対してトリミング及びリサイズを行う
請求項９に記載の撮像装置。
【請求項１１】
自装置の振動を検出するためのセンサを更に備え、
前記静止判定部は、前記合焦判定部により最初に合焦状態であると判定された際の前記センサからの出力と、次回以降に合焦状態であると判定された際の前記センサからの出力とを用いて、自装置が静止しているか否かを判定する
請求項１から請求項１０の何れか１項に記載の撮像装置。
【請求項１２】
ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと前記撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置が実行する撮像方法であって、
自装置及び被写体の少なくとも一方が静止しているか否かを判定し、
前記被写体に合焦した合焦状態であるか否かを判定し、
合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶し、
前記記憶部に記憶した複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成し、
生成したトラッキングデータを用いてズームトラッキング制御を行い、
前記被写体が静止しているか否かを判定する場合に、合焦状態であると判定した際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
撮像方法。
【請求項１３】
ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと前記撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置を制御するコンピュータに、
自装置及び被写体の少なくとも一方が静止しているか否かを判定し、
前記被写体に合焦した合焦状態であるか否かを判定し、
合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶し、
前記記憶部に記憶した複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成し、
生成したトラッキングデータを用いてズームトラッキング制御を行い、
前記被写体が静止しているか否かを判定する場合に、合焦状態であると判定した際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、光学系の結像位置が焦点深度内になるときの、所定の物体距離におけるズームレンズの位置とフォーカスレンズの位置との関係であるトラッキングデータを算出するレンズ装置が開示されている（特開２０１４−１７４３６２号公報参照）。【０００３】
また、オートフォーカス評価エリア内のコントラスト情報と光学系のレンズ・アイリス情報とに基づいて、ズームレンズの移動中に、合焦状態が維持されるようフォーカスレンズを移動させるレンズ制御装置が開示されている（特開２００５−２５１１８号公報参照）。【０００４】
また、ユーザによる撮影準備動作又は撮影動作の指示を受け付ける操作部と、撮像して得られた画像に基づいて撮像シーンを判別する判別部とを備えた撮像装置が開示されている（再公表２００９／０１３８５０号公報参照）。この撮像装置は、操作部がユーザによって操作される前と後とで、判別部による撮像シーンの判別方法を変える。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成する場合、撮像装置自体及び被写体の少なくとも一方が静止していないと、トラッキングデータが精度良く生成されない場合がある。【０００６】
しかしながら、特開２０１４−１７４３６２号公報、特開２００５−２５１１８号公報、及び再公表２００９／０１３８５０号公報に記載の技術では、撮像装置自体及び被写体の少なくとも一方が静止しているか否かについては考慮されていない。【０００７】
本開示は、以上の事情を鑑みて成されたものであり、トラッキングデータを精度良く生成することができる撮像装置、撮像方法、及びプログラムを提供する。
【課題を解決するための手段】
【０００８】
本開示の撮像装置は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、撮像レンズを通過した光学像を撮像する撮像部と、自装置及び被写体の少なくとも一方が静止しているか否かを判定する静止判定部と、被写体に合焦した合焦状態であるか否かを判定する合焦判定部と、合焦判定部により合焦状態であると判定され、かつ静止判定部により自装置及び被写体の少なくとも一方が静止していると判定された場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶する記憶制御部と、記憶部に記憶された複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成する生成部と、生成部により生成されたトラッキングデータを用いてズームトラッキング制御を行うズームトラッキング制御部と、を備えている。【０００９】
なお、本開示の撮像装置は、生成部は、静止判定部により自装置及び被写体の少なくとも一方が静止していないと判定された場合に、トラッキングデータを生成してもよい。【００１０】
また、本開示の撮像装置は、焦点距離に応じてフォーカスエリアのサイズを変更する変更部を更に備えてもよい。【００１１】
また、本開示の撮像装置は、変更部は、合焦判定部により最初に合焦状態であると判定された際の初期の焦点距離が、次回以降に合焦状態であると判定された際の現在の焦点距離よりも広角側の場合は、フォーカスエリアを拡大し、初期の焦点距離が、現在の焦点距離よりも望遠側の場合は、フォーカスエリアを縮小してもよい。【００１２】
また、本開示の撮像装置は、生成部は、撮像レンズに対応する基準のトラッキングデータを生成したトラッキングデータに近似したデータと、生成したトラッキングデータとの誤差が所定の範囲外である場合、生成したトラッキングデータを破棄してもよい。【００１３】
また、本開示の撮像装置は、生成部は、記憶部に基準となる焦点距離が記憶されていない場合、基準となる焦点距離に対応するフォーカスレンズの位置を、基準となる焦点距離の所定の範囲内の複数の焦点距離及び複数の焦点距離に対応する複数のフォーカスレンズの位置を用いて補間することにより基準となる焦点距離に対応するフォーカスレンズの位置を導出することによってトラッキングデータを生成してもよい。【００１４】
また、本開示の撮像装置は、生成部は、記憶部に所定数以上の焦点距離とフォーカスレンズの位置とが記憶されている場合に、トラッキングデータを生成してもよい。【００１５】
また、本開示の撮像装置は、静止判定部は、合焦判定部により最初に合焦状態であると判定された際に撮像部が被写体を撮像して得られた初期画像と、次回以降に合焦状態であると判定された際に撮像部が被写体を撮像して得られた現在画像とを用いて、被写体が静止しているか否かを判定してもよい。【００１６】
また、本開示の撮像装置は、静止判定部は、焦点距離に応じて、初期画像又は現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、被写体が静止しているか否かを判定してもよい。【００１７】
また、本開示の撮像装置は、静止判定部は、現在画像を撮像した際の焦点距離が初期画像を撮像した際の焦点距離よりも望遠側の場合は、初期画像に対してトリミング及びリサイズを行い、現在画像を撮像した際の焦点距離が初期画像を撮像した際の焦点距離よりも広角側の場合は、現在画像に対してトリミング及びリサイズを行ってもよい。【００１８】
また、本開示の撮像装置は、自装置の振動を検出するためのセンサを更に備え、静止判定部は、合焦判定部により最初に合焦状態であると判定された際のセンサからの出力と、次回以降に合焦状態であると判定された際のセンサからの出力とを用いて、自装置が静止しているか否かを判定してもよい。【００１９】
一方、本開示の撮像方法は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置が実行する撮像方法であって、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行うものである。【００２０】
また、本開示のプログラムは、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置を制御するコンピュータに、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行うものである。【００２１】
また、本開示の撮像装置は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、撮像レンズを通過した光学像を撮像する撮像部と、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサと、を備え、プロセッサは、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行う。
【発明の効果】
【００２２】
本開示によれば、トラッキングデータを精度良く生成することができる。
【図面の簡単な説明】
【００２３】
【図１】各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。
【図２】各実施形態に係る撮像装置に含まれる撮像レンズのハードウェア構成の一例を示すブロック図である。
【図３】各実施形態に係るオートフォーカスを説明するためのグラフである。
【図４】各実施形態に係るオートフォーカスエリアを説明するための図である。
【図５】各実施形態に係る撮像レンズに含まれるレンズ側主制御部の二次記憶部の記憶内容の一例を示す概念図である。
【図６】各実施形態に係る基準トラッキングデータを説明するためのグラフである。
【図７】各実施形態に係る撮像装置本体に含まれる本体側主制御部の二次記憶部の記憶内容の一例を示す概念図である。
【図８】各実施形態に係るトラッキングデータ生成処理の一例を示すフローチャートである。
【図９】各実施形態に係る撮像装置の静止判定処理を説明するためのグラフである。
【図１０】各実施形態に係る被写体静止判定処理の一例を示すフローチャートである。
【図１１】各実施形態に係る被写体静止判定処理を説明するための図である。
【図１２】各実施形態に係る被写体静止判定処理を説明するための図である。
【図１３】各実施形態に係る補間処理を説明するためのグラフである。
【図１４】各実施形態に係る誤差導出処理を説明するためのグラフである。
【図１５】各実施形態に係るズームトラッキング制御処理の一例を示すフローチャートである。
【図１６】第２実施形態に係るエリア変更処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
【００２５】
［第１実施形態］
まず、図１及び図２を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラであり、撮像装置本体１２及び撮像レンズ１４を含む。撮像レンズ１４は、撮像装置本体１２に対して交換可能に装着される。
【００２６】
本実施形態に係る撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、被写体が撮像されて得られた動画像を記録する動作モードである。
【００２７】
撮像装置１０では、ユーザから撮像装置１０に対して与えられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。また、静止画撮像モードでは、ユーザから撮像装置１０に対して与えられた指示に応じて、マニュアルフォーカスモードとオートフォーカスモードとが選択的に設定される。なお、以下では、オートフォーカスを「ＡＦ（AutoFocus）」と表記する。
【００２８】
ＡＦモードでは、撮像装置本体１２に設けられたレリーズボタン（図示省略）を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタンを半押し状態にすることによりＡＥ（AutoExposure：自動露出）機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御が行われ、レリーズボタンを全押し状態にすると撮像が行われる。
【００２９】
撮像装置本体１２はマウント１３を備えており、撮像レンズ１４は、マウント１５を備えている。撮像レンズ１４は、マウント１３にマウント１５が結合されることにより撮像装置本体１２に交換可能に装着される。撮像レンズ１４は、レンズユニット１８、絞り１９、及び制御装置２０を含む。絞り１９は、レンズユニット１８よりも撮像装置本体１２側に設けられており、レンズユニット１８を透過した被写体光の光量を調節し、被写体光を撮像装置本体１２内に導く。制御装置２０は、マウント１３、１５を介して撮像装置本体１２に電気的に接続されており、撮像装置本体１２からの指示に従って撮像レンズ１４の全体を制御する。
【００３０】
撮像装置本体１２は、撮像素子２２、第１ミラー２４、第２ミラー２６、本体側主制御部２８、ミラー駆動部３０、撮像素子ドライバ３２、画像信号処理回路３４、画像メモリ３６、画像処理部３８、表示制御部４０、及びディスプレイ４２を含む。また、撮像装置本体１２は、受付Ｉ／Ｆ（InterFace）４４、受付デバイス４６、メディアＩ／Ｆ４８、メモリカード５０、外部Ｉ／Ｆ５２、ファインダ５４、及びジャイロセンサ５８を更に含む。撮像素子２２が、撮像レンズ１４を通過した光学像を撮像する撮像部の一例である。
【００３１】
本体側主制御部２８は、撮像装置１０を制御するコンピュータの一例であり、ＣＰＵ（Central Processing Unit）６０、一次記憶部６２、及び二次記憶部６４を備えている。ＣＰＵ６０は、撮像装置１０の全体を制御する。一次記憶部６２は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部６２の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部６４は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部６４の一例としては、フラッシュメモリが挙げられる。
【００３２】
ＣＰＵ６０、一次記憶部６２、及び二次記憶部６４は、バスライン５６に接続されている。また、ミラー駆動部３０、撮像素子ドライバ３２、画像信号処理回路３４、画像メモリ３６、画像処理部３８、表示制御部４０、受付Ｉ／Ｆ４４、メディアＩ／Ｆ４８、外部Ｉ／Ｆ５２、及びジャイロセンサ５８も、バスライン５６に接続されている。
【００３３】
第１ミラー２４は、撮像素子２２の受光面２２Ａとレンズユニット１８との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。第１ミラー２４は、ミラー駆動部３０に接続されており、ミラー駆動部３０は、ＣＰＵ６０の制御下で、第１ミラー２４を駆動させ、第１ミラー２４を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第１ミラー２４は、受光面２２Ａに対して被写体光を受光させない場合にミラー駆動部３０によって受光面被覆位置αに配置され、受光面２２Ａに対して被写体光を受光させる場合にミラー駆動部３０によって受光面開放位置βに配置される。
【００３４】
受光面被覆位置αでは、第１ミラー２４が受光面２２Ａを覆い、かつ、レンズユニット１８から導かれた被写体光を反射して第２ミラー２６に導く。第２ミラー２６は、第１ミラー２４から導かれた被写体光を反射することで光学系（図示省略）を介して、ファインダ５４に導く。ファインダ５４は、第２ミラー２６によって導かれた被写体光を透過させる。受光面開放位置βでは、第１ミラー２４によって受光面２２Ａが覆われた状態が解除され、被写体光が第１ミラー２４で反射されることなく、受光面２２Ａによって受光される。
【００３５】
撮像素子ドライバ３２は、撮像素子２２に接続されており、ＣＰＵ６０の制御下で、撮像素子２２に駆動パルスを供給する。撮像素子２２の各画素は、撮像素子ドライバ３２によって供給された駆動パルスに従って駆動する。なお、本実施形態では、撮像素子２２として、ＣＣＤ（Charge Coupled Device）イメージセンサを用いているが、本開示の技術はこれに限定されるものではなく、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の他のイメージセンサを用いてもよい。
【００３６】
画像信号処理回路３４は、ＣＰＵ６０の制御下で、撮像素子２２から１フレーム分の画像信号を画素毎に読み出す。画像信号処理回路３４は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びＡ／Ｄ変換等の各種処理を行う。画像信号処理回路３４は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、ＣＰＵ６０から供給されるクロック信号で規定される所定のフレームレート（例えば、数十フレーム／秒）で１フレーム毎に画像メモリ３６に出力する。画像メモリ３６は、画像信号処理回路３４から入力された画像信号を一時的に保持する。
【００３７】
画像処理部３８は、画像メモリ３６から所定のフレームレートで１フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正と、輝度及び色差変換と、圧縮処理等の各種処理を行う。また、画像処理部３８は、各種処理を行って得た画像信号を所定のフレームレートで１フレーム毎に表示制御部４０に出力する。更に、画像処理部３８は、各種処理を行って得た画像信号を、ＣＰＵ６０の要求に応じて、ＣＰＵ６０に出力する。
【００３８】
表示制御部４０は、ディスプレイ４２に接続されており、ＣＰＵ６０の制御下で、ディスプレイ４２を制御する。また、表示制御部４０は、画像処理部３８から入力された画像信号を１フレーム毎に所定のフレームレートでディスプレイ４２に出力する。ディスプレイ４２は、表示制御部４０から所定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ４２は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ４２には、ライブビュー画像の他に、メニュー画面等も表示される。
【００３９】
受付デバイス４６は、不図示のダイヤル、レリーズボタン、十字キー、ＭＥＮＵキー、及びタッチパネル等を有しており、ユーザからの各種指示を受け付ける。受付デバイス４６は、受付Ｉ／Ｆ４４に接続されており、受け付けた指示の内容を示す指示内容信号を受付Ｉ／Ｆ４４に出力する。受付Ｉ／Ｆ４４は、受付デバイス４６から入力された指示内容信号をＣＰＵ６０に出力する。ＣＰＵ６０は、受付Ｉ／Ｆ４４から入力された指示内容信号に応じた処理を実行する。
【００４０】
メディアＩ／Ｆ４８は、メモリカード５０に接続されており、ＣＰＵ６０の制御下で、メモリカード５０に対する画像ファイルの記録及び読み出しを行う。メディアＩ／Ｆ４８によってメモリカード５０から読み出された画像ファイルは、ＣＰＵ６０の制御下で、画像処理部３８によって伸長処理が施されてディスプレイ４２に再生画像として表示される。
【００４１】
外部Ｉ／Ｆ５２は、マウント１３にマウント１５が接続されることで、撮像レンズ１４の制御装置２０と接続され、ＣＰＵ６０と制御装置２０との間の各種情報の送受信を司る。
【００４２】
ジャイロセンサ５８は、撮像装置１０の振動を検出するためのセンサの一例であり、撮像装置１０の振動に応じた信号を出力する。ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって、撮像装置１０の振れ角を導出する。
【００４３】
一例として図２に示すように、本実施形態に係るレンズユニット１８は、入射レンズ７０、ズームレンズ７２、及びフォーカスレンズ７４を含む。入射レンズ７０、ズームレンズ７２、及びフォーカスレンズ７４は、光軸Ｌ１に沿って設けられており、絞り１９側から光軸Ｌ１に沿ってフォーカスレンズ７４、ズームレンズ７２、及び入射レンズ７０の順に配置されている。
【００４４】
被写体光は、入射レンズ７０に入射される。入射レンズ７０は、被写体光を透過させ、ズームレンズ７２に導く。本実施形態に係るズームレンズ７２は、光軸Ｌ１に沿って移動可能な複数のレンズを含み、ズームレンズ７２の状態を調節することによって撮像レンズ１４の焦点距離（以下、単に「焦点距離」という）を調節する。具体的には、ズームレンズ７２は、撮像レンズ１４に設けられたズームリング（図示省略）が回転されることにより各レンズが光軸Ｌ１に沿って近づいたり、遠ざかったりすることによってレンズ間の光軸Ｌ１に沿った位置関係が調節され、焦点距離が調節される。ズームレンズ７２は、入射レンズ７０から入射された被写体光を透過させ、フォーカスレンズ７４に導く。
【００４５】
フォーカスレンズ７４は、光軸Ｌ１に沿って移動可能なレンズであり、光軸Ｌ１に沿って移動することで撮像素子２２の受光面２２Ａに形成される被写体像のピントを変化させる。なお、以下では、単にフォーカスレンズ７４の位置と記載した場合は、光軸Ｌ１に沿ったフォーカスレンズ７４の位置を表すものとする。フォーカスレンズ７４は、ズームレンズ７２から入射された被写体光を透過させ、絞り１９に導く。絞り１９は、フォーカスレンズ７４から入射された被写体光の光量を調整し、かつ被写体光を透過させて撮像装置本体１２に導く。
【００４６】
撮像レンズ１４の制御装置２０は、レンズ側主制御部７６、焦点距離センサ７８、フォーカスレンズ駆動部８０、レンズ位置センサ８２、絞り駆動部８４、及び外部Ｉ／Ｆ８６を含む。
【００４７】
レンズ側主制御部７６は、ＣＰＵ８８、一次記憶部９０、及び二次記憶部９２を備えている。ＣＰＵ８８は、撮像レンズ１４の全体を制御する。一次記憶部９０は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部９０の一例としては、ＲＡＭが挙げられる。二次記憶部９２は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部９２の一例としては、フラッシュメモリが挙げられる。
【００４８】
ＣＰＵ８８、一次記憶部９０、及び二次記憶部９２は、バスライン９４に接続されている。また、焦点距離センサ７８、フォーカスレンズ駆動部８０、レンズ位置センサ８２、絞り駆動部８４、及び外部Ｉ／Ｆ８６も、バスライン９４に接続されている。
【００４９】
外部Ｉ／Ｆ８６は、マウント１５にマウント１３が接続されることで、撮像装置本体１２の外部Ｉ／Ｆ５２と接続され、外部Ｉ／Ｆ５２と協働して、ＣＰＵ８８と撮像装置本体１２のＣＰＵ６０との間の各種情報の送受信を司る。
【００５０】
焦点距離センサ７８は、ズームリングの回転状態から、ズームレンズ７２の状態を検出し、検出したズームレンズ７２の状態を焦点距離に換算する。そして、焦点距離センサ７８は、換算して得られた焦点距離を示す焦点距離情報をＣＰＵ８８に出力する。
【００５１】
フォーカスレンズ駆動部８０は、フォーカスレンズ駆動用モータ（図示省略）を含む。フォーカスレンズ駆動部８０は、受付デバイス４６によって受け付けられた指示に応じて、ＣＰＵ８８の制御下で、フォーカスレンズ駆動用モータを作動させることで、フォーカスレンズ７４を光軸Ｌ１に沿って移動させる。すなわち、フォーカスレンズ駆動部８０は、ＣＰＵ８８からの指示に従って、フォーカスレンズ駆動用モータを作動させ、フォーカスレンズ駆動用モータの動力をフォーカスレンズ７４に伝達することにより、フォーカスレンズ７４を光軸Ｌ１に沿って移動させる。レンズ位置センサ８２は、例えば、エンコーダを含み、フォーカスレンズ７４の位置を検出し、検出した位置を示すレンズ位置情報をＣＰＵ８８に出力する。
【００５２】
絞り駆動部８４は、絞り駆動用モータ（図示省略）を含む。絞り駆動部８４は、受付デバイス４６によって受け付けられた指示に応じて、ＣＰＵ８８の制御下で、絞り駆動用モータを作動させることで、絞り１９の開口の大きさを調節する。
【００５３】
また、本実施形態に係る撮像装置１０は、所謂コントラストＡＦ方式でオートフォーカスを行う。具体的には、本実施形態に係る撮像装置１０は、一例として図３に示すように、フォーカスレンズ７４を光軸Ｌ１に沿って後側（受光面側）から前側（被写体側）に移動させながら、撮影画角内のエリアにおけるオートフォーカスの評価値（以下、「ＡＦ評価値」という）を導出する。なお、以下では、一例として図４に示すように、このＡＦ評価値の導出に用いる撮影画角内のエリアを「オートフォーカスエリア（ＡＦエリア）」という。ＡＦエリアの撮影画角内における位置は、例えば、ユーザによりディスプレイ４２に表示されたライブビュー画像（所謂スルー画像）に対して指定されたり、撮影画角内の被写体を追尾したりすることによって決定される。また、本実施形態では、ＡＦエリアのサイズ（縦横の長さ）は、デフォルト値が設定されている。
【００５４】
そして、撮像装置１０は、導出したＡＦ評価値がピーク値となる位置にフォーカスレンズ７４を移動させることによって、合焦制御を行う。なお、本実施形態では、ＡＦ評価値として、ＡＦエリアのコントラスト値を適用している。また、以下では、フォーカスレンズ７４の位置を変更しながらＡＦ評価値を導出する際の連続する位置間の距離（図３に示すＤ１）を「距離Ｄ１」という。なお、この距離Ｄ１は、各連続する位置間で同じ距離でもよいし、異なる距離であってもよい。
【００５５】
一例として図５に示すように、レンズ側主制御部７６の二次記憶部９２は、基準トラッキングデータ９６を記憶している。基準トラッキングデータ９６は、撮像レンズ１４に対応する基準のトラッキングデータである。
【００５６】
一例として図６に示すように、基準トラッキングデータ９６は、所定の撮影距離における焦点距離とフォーカスレンズ７４の位置との対応関係を示すデータを含む。なお、ここでいう撮影距離とは、受光面２２Ａから被写体までの距離を表す。
【００５７】
一方、一例として図７に示すように、本体側主制御部２８の二次記憶部６４は、撮像プログラム９８を記憶している。ＣＰＵ６０は、二次記憶部６４から撮像プログラム９８を読み出して一次記憶部６２に展開し、展開した撮像プログラム９８に従って後述するトラッキングデータ生成処理（図８参照）、及びズームトラッキング制御処理（図１５参照）を実行する。換言すると、ＣＰＵ６０は、撮像プログラム９８を実行することで静止判定部、合焦判定部、記憶制御部、生成部、及びズームトラッキング制御部として動作する。
【００５８】
次に、図８〜図１５を参照して、本実施形態に係る撮像装置１０の作用を説明する。なお、図８に示すトラッキングデータ生成処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。
【００５９】
図８のステップＳ１０で、ＣＰＵ６０は、被写体に合焦した合焦状態（以下、単に「合焦状態」という）であるか否かを判定する。例えば、ユーザが、撮像装置１０を用いた撮影を行うにあたり、撮像装置本体１２に設けられたレリーズボタンを半押し状態にした場合、ＡＦ機能が働いて合焦状態となる。このように、合焦状態となると、ステップＳ１０の判定が肯定判定となり、処理はステップＳ１２に移行する。ステップＳ１０の判定が否定判定となった場合は、ステップＳ１０が再度実行される。
【００６０】
ステップＳ１２で、ＣＰＵ６０は、初期処理として、配列の添字に用いる変数ｉに０を格納する。また、ＣＰＵ６０は、初期処理として、フォーカスレンズ７４の位置を記憶するための配列ＴＲＡＣＫ＿Ｆ［］の記憶領域を一次記憶部６２上に確保する。また、ＣＰＵ６０は、初期処理として、焦点距離を記憶するための配列ＴＲＡＣＫ＿Ｚ［］の記憶領域を一次記憶部６２上に確保する。これらの配列の記憶領域が、焦点距離とフォーカスレンズ７４の位置とを記憶する記憶部の一例である。なお、ＣＰＵ６０は、配列ＴＲＡＣＫ＿Ｆ［］及び配列ＴＲＡＣＫ＿Ｚ［］の少なくとも一方の記憶領域を二次記憶部６４上に確保してもよい。また、本明細書では、配列全体を表す場合は、配列ＴＲＡＣＫ＿Ｆ［］（配列ＴＲＡＣＫ＿Ｚ［］）と表記し、配列の個々の要素を表す場合は、ＴＲＡＣＫ＿Ｆ［ｉ］（ＴＲＡＣＫ＿Ｚ［ｉ］）と表記する。
【００６１】
ステップＳ１４で、ＣＰＵ６０は、外部Ｉ／Ｆ５２を介して焦点距離を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、焦点距離を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０から焦点距離を取得する指示が入力されると、焦点距離センサ７８により検出された焦点距離を取得する。ＣＰＵ８８は、取得した焦点距離をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力された焦点距離を取得し、取得した焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納することによって記憶する制御を行う。
【００６２】
また、ＣＰＵ６０は、外部Ｉ／Ｆ５２を介してフォーカスレンズ７４の位置を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、フォーカスレンズ７４の位置を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０からフォーカスレンズ７４の位置を取得する指示が入力されると、レンズ位置センサ８２により検出されたフォーカスレンズ７４の位置を取得する。ＣＰＵ８８は、取得したフォーカスレンズ７４の位置をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力されたフォーカスレンズ７４の位置を取得し、取得したフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納することによって記憶する制御を行う。
【００６３】
また、ＣＰＵ６０は、焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納し、かつフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納した後、変数ｉに１を加算する。
【００６４】
ステップＳ１６で、ＣＰＵ６０は、撮像素子２２により撮像され、画像信号処理回路３４による各種処理を経た画像を示す画像データを取得する。なお、以下では、本ステップＳ１６で取得された画像データを「初期画像データ」といい、初期画像データが示す画像を「初期画像」という。すなわち、ステップＳ１４の処理により取得された焦点距離が、初期画像を撮像した際の焦点距離の一例である。以下では、ステップＳ１４の処理により取得された焦点距離を「初期の焦点距離」という。
【００６５】
ステップＳ１８で、ＣＰＵ６０は、ステップＳ１０と同様に、被写体に合焦した合焦状態であるか否かを判定する。この判定が否定判定となった場合は、ステップＳ１８が再度実行され、肯定判定となった場合は、処理はステップＳ２０に移行する。ステップＳ１０及びステップＳ１８の処理により、ＣＰＵ６０は、合焦判定部として動作する。
【００６６】
ステップＳ２０で、ＣＰＵ６０は、撮像装置１０が静止しているか否かを判定することによって撮像装置１０の静止判定を行う。具体的には、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の振れ角を導出する。そして、ＣＰＵ６０は、導出した振れ角が、所定期間の間、所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する。
【００６７】
一例として図９に示すように、撮像装置１０が三脚に固定されて静止している場合、及び撮像装置１０がユーザにより手で持たれて静止している場合よりも、撮像装置１０を手に持っているユーザがパンニング動作を行っている場合の方が、振れ角の変動量が大きくなる。そこで、本実施形態では、撮像装置１０が三脚に固定された静止している場合、及び撮像装置１０がユーザにより手で持たれて静止している場合の振れ角に所定のマージンを加味した２つの閾値ＴＨ１、ＴＨ２（ＴＨ１＜ＴＨ２）を予め定めておく。そして、ＣＰＵ６０は、導出した振れ角が、所定期間の間、閾値ＴＨ１以上閾値ＴＨ２以下の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する。
【００６８】
ステップＳ２０の処理が終了すると、ステップＳ２２で図１０に示す被写体静止判定処理が実行される。ステップＳ２０及びステップＳ２２の処理により、ＣＰＵ６０は、静止判定部として動作する。
【００６９】
図１０のステップＳ５０で、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。ステップＳ５２で、ＣＰＵ６０は、撮像素子２２により撮像され、画像信号処理回路３４による各種処理を経た画像を示す画像データを取得する。なお、以下では、本ステップＳ５２で取得された画像データを「現在画像データ」といい、現在画像データが示す画像を「現在画像」という。すなわち、ステップＳ５０の処理により取得された焦点距離が、現在画像を撮像した際の焦点距離の一例である。以下では、ステップＳ５０の処理により取得された焦点距離を「現在の焦点距離」という。
【００７０】
ステップＳ５４で、ＣＰＵ６０は、ステップＳ５０の処理により取得された現在の焦点距離が、ステップＳ１４の処理により取得された初期の焦点距離よりも望遠側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ５８に移行し、肯定判定となった場合は、処理はステップＳ５６に移行する。
【００７１】
ステップＳ５６で、ＣＰＵ６０は、一例として図１１に示すように、初期画像に対し、現在画像に対応する領域をトリミングする画像処理を行う。更に、ＣＰＵ６０は、初期画像に対してトリミングを行って得られた画像の画素数が現在画像の画素数に一致するように、初期画像に対してトリミングを行って得られた画像をリサイズ（拡大）する画像処理を行う。なお、ＣＰＵ６０は、現在画像の画像数が初期画像に対してトリミングを行って得られた画像の画素数に一致するように、現在画像をリサイズ（縮小）する画像処理を行ってもよい。
【００７２】
一方、ステップＳ５８で、ＣＰＵ６０は、ステップＳ５０の処理により取得された現在の焦点距離が、ステップＳ１４の処理により取得された初期の焦点距離よりも広角側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ６２に移行し、肯定判定となった場合は、処理はステップＳ６０に移行する。
【００７３】
ステップＳ６０で、ＣＰＵ６０は、一例として図１２に示すように、現在画像に対し、初期画像に対応する領域をトリミングする画像処理を行う。更に、ＣＰＵ６０は、現在画像に対してトリミングを行って得られた画像の画素数が初期画像の画素数に一致するように、現在画像に対してトリミングを行って得られた画像をリサイズ（拡大）する画像処理を行う。なお、ＣＰＵ６０は、初期画像の画像数が現在画像に対してトリミングを行って得られた画像の画素数に一致するように、初期画像をリサイズ（縮小）する画像処理を行ってもよい。
【００７４】
ステップＳ６２で、ＣＰＵ６０は、以上の処理を経た初期画像と現在画像との類似度を導出する。この類似度を導出する手法としては、例えば、画素値の平均値を用いる手法、画素値のヒストグラムを用いる手法、及びディープラーニング技術を用いる手法等が挙げられる。
【００７５】
なお、ステップＳ５４の判定が肯定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ５６の処理により初期画像に対してトリミング及びリサイズを行って得られた画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ５２の処理により取得された現在画像データが示す現在画像である。
【００７６】
一方、ステップＳ５４の判定が否定判定となり、ステップＳ５８の判定が肯定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ１６の処理により取得された初期画像データが示す初期画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ６０の処理により現在画像に対してトリミング及びリサイズを行って得られた画像である。
【００７７】
また、ステップＳ５４及びステップＳ５８の双方が否定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ１６の処理により取得された初期画像データが示す初期画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ５２の処理により取得された現在画像データが示す現在画像である。
【００７８】
ステップＳ６４で、ＣＰＵ６０は、ステップＳ６２の処理により導出された類似度が所定値以上であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ６８に移行し、肯定判定となった場合は、処理はステップＳ６６に移行する。
【００７９】
ステップＳ６６で、ＣＰＵ６０は、被写体が静止していると判定する。一方、ステップＳ６８で、ＣＰＵ６０は、被写体が静止していない、すなわち、動いていると判定する。ステップＳ６６又はステップＳ６８の処理が終了すると、被写体静止判定処理が終了する。被写体静止判定処理が終了すると、処理はトラッキングデータ生成処理のステップＳ２４に移行する。このように、本実施形態では、焦点距離に応じて、初期画像又は現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、被写体が静止しているか否かを判定しているため、被写体が静止しているか否かを精度良く判定することができる。
【００８０】
ステップＳ２４で、ＣＰＵ６０は、ステップＳ２０の処理により撮像装置１０が静止していると判定され、かつステップＳ２２の処理により被写体が静止していると判定されたか否かを判定する。この判定が否定判定となった場合、すなわち、撮像装置１０及び被写体の少なくとも一方が動いていると判定された場合は、処理はステップＳ３０に移行し、肯定判定となった場合は、処理はステップＳ２６に移行する。
【００８１】
ステップＳ２６で、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。そして、ＣＰＵ６０は、取得した焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納することによって記憶する制御を行う。また、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介してフォーカスレンズ７４の位置を取得する。そして、ＣＰＵ６０は、取得したフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納することによって記憶する制御を行う。ステップＳ２６の処理により、ＣＰＵ６０は、記憶制御部として動作する。ステップＳ２８で、ＣＰＵ６０は、変数ｉに１を加算する。ステップＳ２８の処理が終了すると、処理はステップＳ１８に戻る。
【００８２】
すなわち、ユーザが、撮像装置１０を用いて被写体を撮影する際に、撮像装置本体１２に設けられたレリーズボタンを半押し状態にするたびに、ＡＦ機能が働くことによる合焦状態での焦点距離及びフォーカスレンズ７４の位置が取得される。そして、取得された焦点距離及びフォーカスレンズ７４の位置がＴＲＡＣＫ＿Ｚ［ｉ］及びＴＲＡＣＫ＿Ｆ［ｉ］に格納される。
【００８３】
一方、ステップＳ３０で、ＣＰＵ６０は、記憶した焦点距離及びフォーカスレンズ７４の位置の組み合わせの数をカウントするための変数ＴＲＡＣＫ＿ＣＯＵＮＴに、変数ｉの値を格納する。ステップＳ３２で、ＣＰＵ６０は、変数ＴＲＡＣＫ＿ＣＯＵＮＴの値が所定値以上であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ４６に移行し、肯定判定となった場合は、処理はステップＳ３４に移行する。
【００８４】
ステップＳ３４で、ＣＰＵ６０は、配列ＴＲＡＣＫ＿Ｚ［］及び配列ＴＲＡＣＫ＿Ｆ［］に格納された複数の焦点距離及びフォーカスレンズ７４の位置を用いて、焦点距離の変化に応じてフォーカスレンズ７４の位置を変化させるためのトラッキングデータを生成する。具体的には、一例として図１３に示すように、配列ＴＲＡＣＫ＿Ｚ［］に基準となる焦点距離と同じ焦点距離が格納されている場合、ＣＰＵ６０は、その焦点距離と、その焦点距離に対応するフォーカスレンズ７４の位置とをトラッキングデータに含める。図１３の例では、これらの焦点距離及びフォーカスレンズ７４の位置が、破線上に位置する黒丸で示されている。
【００８５】
一方、配列ＴＲＡＣＫ＿Ｚ［］に格納されていない基準となる焦点距離については、ＣＰＵ６０は、その焦点距離の所定の範囲内の複数の焦点距離と、その焦点距離に対応する複数のフォーカスレンズ７４の位置とを用いて補間する。この補間により、ＣＰＵ６０は、基準となる焦点距離に対応するフォーカスレンズ７４の位置を導出し、基準となる焦点距離と、導出したフォーカスレンズ７４の位置とをトラッキングデータに含める。図１３の例では、これらの焦点距離及びフォーカスレンズ７４の位置が、破線上に位置する白丸で示されている。なお、配列ＴＲＡＣＫ＿Ｚ［］に同じ焦点距離が複数格納されている場合は、それぞれの焦点距離に対応するフォーカスレンズ７４の位置の平均値を、その焦点距離に対応するフォーカスレンズ７４の位置としてもよい。ステップＳ３４の処理により、ＣＰＵ６０は、生成部として動作する。
【００８６】
ステップＳ３６で、ＣＰＵ６０は、二次記憶部９２から基準トラッキングデータ９６を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、基準トラッキングデータ９６を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０から基準トラッキングデータ９６を取得する指示が入力されると、二次記憶部９２から基準トラッキングデータ９６を読み出す。ＣＰＵ８８は、読み出した基準トラッキングデータ９６をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力された基準トラッキングデータ９６を取得する。
【００８７】
ステップＳ３８で、ＣＰＵ６０は、一例として図１４に示すように、ステップＳ３６の処理により取得された基準トラッキングデータ９６を、ステップＳ３４の処理により生成されたトラッキングデータに近似したデータ（以下、「近似トラッキングデータ」という）を導出する。なお、図１４の例では、近似トラッキングデータを一点鎖線で示し、ステップＳ３４の処理により生成されたトラッキングデータを白丸で示している。また、図１４の例では、基準トラッキングデータ９６を実線で示している。ここで、近似トラッキングデータを導出する処理の具体的な一例を説明する。
【００８８】
ここでは、基準トラッキングデータ９６をＦｏｒｇ（ｚ）と表し、ステップＳ３４の処理により生成されたトラッキングデータをＦａｃｔ（ｚ）と表し、近似トラッキングデータをＦｃｏｒ（ｚ）と表す。なお、ｚは、基準となる焦点距離各々に対応する０以上ｚｐｍａｘ以下の整数である。また、ｚ＝０は、ＷＩＤＥ端を表し、ｚｐｍａｘは、ＴＥＬＥ端を表す。本実施形態では、ＣＰＵ６０は、Ｆｏｒｇ（ｚ）をＦａｃｔ（ｚ）の近傍に１次関数（例えば、アフィン写像）により変換することによって近似トラッキングデータを生成する。すなわち、近似トラッキングデータは、以下の（１）式で表すことができる。
Ｆｃｏｒ（ｚ）＝Ａ×Ｆｏｒｇ（ｚ）＋Ｂ（Ａ、Ｂは実数）・・・（１）
【００８９】
より具体的には、ＣＰＵ６０は、以下の（２）式により表される０からｚｐｍａｘまでの各ｚについてのＦａｃｔ（ｚ）とＦｏｒｇ（ｚ）との差の二乗の総和が最小となるように（１）式におけるＡとＢとを導出する。そして、ＣＰＵ６０は、導出したＡとＢとを用いて、（１）式に従って、近似トラッキングデータを導出する。
【００９０】
【数１】
0006799711.tif 000002
【００９１】
ステップＳ４０で、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータと、ステップＳ３８の処理により導出された近似トラッキングデータとの誤差を導出する。本実施形態では、ＣＰＵ６０は、上記誤差の一例として、以下の（３）式に従って、決定係数Ｒ２を導出する。この決定係数Ｒ２は、上記誤差が小さくなるほど１に近付く値である。なお、（３）式におけるＦａｃｔＡＶＧは、ステップＳ３４の処理により生成されたトラッキングデータに含まれるフォーカスレンズ７４の位置の平均値である。
【００９２】
【数２】
0006799711.tif 000003
【００９３】
ステップＳ４２で、ＣＰＵ６０は、ステップＳ４０の処理により導出された誤差が所定の範囲内（例えば、０．９以上１．０以下の範囲内）であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ４６に移行し、肯定判定となった場合は、処理はステップＳ４４に移行する。
【００９４】
ステップＳ４４で、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータを、二次記憶部６４に記憶する。なお、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータを、二次記憶部９２に記憶してもよいし、二次記憶部６４及び二次記憶部９２の双方に記憶してもよい。ステップＳ４４の処理が終了すると、処理はステップＳ１０に戻る。一方、ステップＳ４６で、ＣＰＵ６０は、トラッキングデータを破棄する。例えば、ＣＰＵ６０は、一次記憶部６２上に確保された配列ＴＲＡＣＫ＿Ｆ［］の記憶領域及び配列ＴＲＡＣＫ＿Ｚ［］の記憶領域を解放することによってトラッキングデータを破棄する。ステップＳ４６の処理が終了すると、処理はステップＳ１０に戻る。
【００９５】
図８を参照して説明したように、開示の技術における最初に合焦状態であると判定された際というのは、撮像装置１０の電源スイッチがオン状態とされてから最初にステップＳ１０の処理により合焦状態であると判定された際を意味する。更に、開示の技術における最初に合焦状態であると判定された際というのは、ステップＳ２４の処理により撮像装置１０及び被写体が静止していないと判定された後に、最初にステップＳ１０の処理により合焦状態であると判定された際も意味する。
【００９６】
また、開示の技術における次回以降に合焦状態であると判定された際というのは、ステップＳ１０の処理により最初に合焦状態であると判定された後に、ステップＳ２４の処理により撮像装置１０及び被写体が静止していないと判定されるまでの間に、ステップＳ１８の処理により合焦状態であると判定された際を意味する。
【００９７】
次に、図１５を参照して、上記トラッキングデータ生成処理のステップＳ４４の処理により二次記憶部６４に記憶されたトラッキングデータを用いたズームトラッキング制御処理について説明する。なお、図１５に示すズームトラッキング制御処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。
【００９８】
図１５のステップＳ７０で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。ステップＳ７２で、ＣＰＵ６０は、今回（直前）のステップＳ７０の処理により取得された焦点距離が前回のステップＳ７０の処理により取得された焦点距離から変化しているか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ７０に戻り、肯定判定となった場合は、処理はステップＳ７４に移行する。なお、ステップＳ７２で、ＣＰＵ６０は、今回のステップＳ７０の処理により取得された焦点距離が前回のステップＳ７０の処理により取得された焦点距離から変化している場合でも、その変化量が許容誤差の範囲内の場合は、焦点距離が変化していないと判定してもよい。
【００９９】
ステップＳ７４で、ＣＰＵ６０は、二次記憶部６４に記憶されたトラッキングデータを取得する。ステップＳ７６で、ＣＰＵ６０は、ステップＳ７４の処理により取得されたトラッキングデータを用いて、直前のステップＳ７０の処理により取得された焦点距離に対応するフォーカスレンズ７４の位置を導出する。
【０１００】
ステップＳ７８で、ＣＰＵ６０は、ステップＳ７６の処理により導出された位置にフォーカスレンズ７４を移動させる指示をＣＰＵ８８に出力する。ＣＰＵ８８は、ＣＰＵ６０からフォーカスレンズ７４を移動させる指示が入力されると、フォーカスレンズ駆動部８０を制御し、ＣＰＵ６０から入力された位置にフォーカスレンズ７４を移動させる。ステップＳ７８の処理が終了すると、処理はステップＳ７０に戻る。ステップＳ７６及びステップＳ７８の処理により、ＣＰＵ６０は、ズームトラッキング制御部として動作する。
【０１０１】
以上説明したように、本実施形態によれば、撮像装置１０及び被写体が静止していると判定した場合に記憶された複数の焦点距離とフォーカスレンズ７４の位置とを用いてトラッキングデータを生成している。従って、トラッキングデータを精度良く生成することができる。
【０１０２】
［第２実施形態］
開示の技術の第２実施形態を説明する。なお、本実施形態に係る撮像装置１０の構成は、第１実施形態と同様（図１及び図２参照）であるため、説明を省略する。また、本実施形態に係るトラッキングデータ生成処理（図８参照）、被写体静止判定処理（図１０参照）、及びズームトラッキング制御処理（図１５参照）も第１実施形態と同様であるため、説明を省略する。
【０１０３】
ところで、焦点距離が変化すると、ＡＦエリア内に位置する被写体がＡＦエリア外に外れてしまう場合、及びＡＦエリア外に位置する被写体がＡＦエリア内に入ってくる場合がある。これらの場合、ＡＦ機能による合焦の精度が低下することにより、ＡＦ機能により被写体に合焦した状態で撮像して得られた現在画像及び初期画像を用いた被写体の静止判定処理の精度が低下してしまう場合がある。そこで、本実施形態では、焦点距離に応じてＡＦエリアのサイズを変化させる。
【０１０４】
本実施形態に係るＣＰＵ６０は、二次記憶部６４から撮像プログラム９８を読み出して一次記憶部６２に展開し、展開した撮像プログラム９８に従ってエリア変更処理（図１６参照）を更に実行する。換言すると、ＣＰＵ６０は、撮像プログラム９８を実行することで更に変更部として動作する。
【０１０５】
次に、図１６を参照して、本実施形態に係る撮像装置１０の作用を説明する。なお、図１６に示すエリア変更処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。
【０１０６】
図１６のステップＳ８０で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１８からステップＳ２８までの何れかの処理が実行中であるか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ８２に移行し、否定判定となった場合は、ステップＳ８０が再度実行される。ステップＳ８２で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。以下では、ステップＳ８２の処理により取得された焦点距離を「現在の焦点距離」という。
【０１０７】
ステップＳ８４で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４の処理により取得された初期の焦点距離が、ステップＳ８２の処理により取得された現在の焦点距離よりも広角側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ８８に移行し、肯定判定となった場合は、処理はステップＳ８６に移行する。
【０１０８】
ステップＳ８６で、ＣＰＵ６０は、初期の焦点距離に対する現在の焦点距離の変化量に応じて、ＡＦエリアを拡大する。ステップＳ８６の処理が終了すると、処理はステップＳ８０に戻る。
【０１０９】
一方、ステップＳ８８で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４の処理により取得された初期の焦点距離が、ステップＳ８２の処理により取得された現在の焦点距離よりも望遠側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ８０に戻り、肯定判定となった場合は、処理はステップＳ９０に移行する。
【０１１０】
ステップＳ９０で、ＣＰＵ６０は、初期の焦点距離に対する現在の焦点距離の変化量に応じて、ＡＦエリアを縮小する。ステップＳ９０の処理が終了すると、処理はステップＳ８０に戻る。ステップＳ８６及びステップＳ９０の処理により、ＣＰＵ６０は、変更部として動作する。
【０１１１】
以上説明したように、本実施形態によれば、焦点距離に応じてＡＦエリアのサイズを変更しているため、同一の被写体がＡＦエリア内に位置する可能性が高くなる。この結果、ＡＦ機能による合焦の精度の低下が抑制されるため、ＡＦ機能により被写体に合焦した状態で撮像して得られた現在画像及び初期画像を用いた被写体の静止判定処理の精度の低下を抑制することができる。更に、被写体の静止判定処理の精度の低下が抑制されるため、被写体が静止していると判定された場合に得られた焦点距離及びフォーカスレンズ７４の位置を用いて生成されるトラッキングデータの精度の低下も抑制することができる。
【０１１２】
なお、上記各実施形態では、撮像装置１０及び被写体の双方が静止していると判定した場合に、焦点距離及びフォーカスレンズ７４の位置を記憶する場合について説明したが、これに限定されない。例えば、撮像装置１０及び被写体の何れか一方が静止していると判定した場合に、焦点距離及びフォーカスレンズ７４の位置を記憶する形態としてもよい。
【０１１３】
また、上記各実施形態では、撮像装置１０の振れ角が、所定期間の間、所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する場合について説明したが、これに限定されない。例えば、最初に合焦状態であると判定された際のジャイロセンサ５８からの出力と、次回以降に合焦状態であると判定された際のジャイロセンサ５８からの出力とを用いて、撮像装置１０が静止しているか否かを判定する形態としてもよい。
【０１１４】
この場合、上記トラッキングデータ生成処理のステップＳ１４又はステップＳ１６で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の初期の振れ角を導出する。更に、上記トラッキングデータ生成処理のステップＳ２０で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の現在の振れ角を導出する。そして、ＣＰＵ６０は、導出した初期の振れ角と、現在の振れ角との差が所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する形態が例示される。
【０１１５】
また、上記各実施形態では、撮像装置１０の振動を検出するためのセンサとして、ジャイロセンサを適用した場合について説明したが、これに限定されない。例えば、撮像装置１０の振動を検出するためのセンサとして、加速度センサを適用する形態としてもよい。
【０１１６】
また、上記各実施形態において、撮像装置１０が静止している状態で、予めジャイロセンサ５８の出力信号を表す情報を二次記憶部６４に記憶する形態としてよい。この場合、上記トラッキングデータ生成処理のステップＳ２０で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号から、二次記憶部６４に記憶された情報が示すジャイロセンサ５８の出力信号を減算する。そして、ＣＰＵ６０は、減算して得られた信号を積分することによって撮像装置１０の振れ角を導出する形態が例示される。なお、この形態例において、撮像装置１０が静止し、かつズームレンズ７２の状態が変化している（すなわち、焦点距離が変化している）状態で、予めジャイロセンサ５８の出力信号を表す情報を二次記憶部６４に記憶する形態としてよい。
【０１１７】
また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【０１１８】
また、上記各実施形態では、撮像プログラム９８が二次記憶部６４に予め記憶（インストール）されている態様を説明したが、これに限定されない。撮像プログラム９８は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮像プログラム９８は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【０１１９】
２０１８年３月２３日に出願された日本国特許出願２０１８−０５７２２１号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【図１】
0006799711.tif 000004
【図２】
0006799711.tif 000005
【図３】
0006799711.tif 000006
【図４】
0006799711.tif 000007
【図５】
0006799711.tif 000008
【図６】
0006799711.tif 000009
【図７】
0006799711.tif 000010
【図８】
0006799711.tif 000011
【図９】
0006799711.tif 000012
【図１０】
0006799711.tif 000013
【図１１】
0006799711.tif 000014
【図１２】
0006799711.tif 000015
【図１３】
0006799711.tif 000016
【図１４】
0006799711.tif 000017
【図１５】
0006799711.tif 000018
【図１６】
0006799711.tif 000019