(57)【要約】【課題】フォーカス動作によって映像表現を行う撮像装置において、撮影者が所望する効果を得る。【解決手段】フォーカスレンズを含む光学系と、撮像素子と、を含む撮像手段と、前記フォーカスレンズを駆動することで合焦位置の調節を行う焦点調節手段と、デフォーカス量に基づく評価値であって、前記フォーカスレンズを駆動するフォーカス動作の開始時における評価値である第一の評価値と、前記フォーカス動作の終了時における評価値である第二の評価値と、前記フォーカス動作を行う動作時間と、前記第一の評価値から前記第二の評価値に至るまでの前記評価値の時間に対する変化を表すフォーカスパターンと、を取得する設定取得手段と、を有し、前記焦点調節手段は、前記フォーカスパターンと、前記第一の評価値と、前記第二の評価値と、前記動作時間と、に基づいて、前記フォーカスレンズの駆動中における位置を制御する。【選択図】図１
2017003874.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを含む光学系と、撮像素子と、を含む撮像手段と、
前記フォーカスレンズを駆動することで合焦位置の調節を行う焦点調節手段と、
デフォーカス量に基づく評価値であって、前記フォーカスレンズを駆動するフォーカス動作の開始時における評価値である第一の評価値と、前記フォーカス動作の終了時における評価値である第二の評価値と、前記フォーカス動作を行う動作時間と、前記第一の評価値から前記第二の評価値に至るまでの前記評価値の時間に対する変化を表すフォーカスパターンと、を取得する設定取得手段と、
を有し、
前記焦点調節手段は、前記フォーカスパターンと前記第一の評価値と前記第二の評価値と前記動作時間とに基づいて、駆動中における前記フォーカスレンズの位置を制御する
ことを特徴とする、撮像装置。
【請求項２】
前記評価値は、前記フォーカス動作の対象とする被写体の位置と合焦位置との距離、前記被写体が結像する面と前記撮像素子の撮像面との距離、前記撮像素子の撮像面における錯乱円の大きさ、のうちのいずれかに対応する値である
ことを特徴とする、請求項１に記載の撮像装置。
【請求項３】
複数の前記フォーカスパターンを記憶したメモリをさらに有し、
設定取得手段は、前記メモリが記憶している前記複数のフォーカスパターンの中から選択することにより前記フォーカスパターンを取得する
ことを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
前記設定取得手段は、前記評価値の時間に対する変化に関する情報をユーザの入力によって取得し、前記取得した情報に基づいてフォーカスパターンを生成する
ことを特徴とする、請求項１または２に記載の撮像装置。
【請求項５】
前記設定取得手段は、前記評価値の時間に対する変化に関する情報をユーザの入力によって取得し、前記取得した情報に基づいて、評価値の時間に対する変化を表すフォーカスパターンを生成することが可能であり、
生成したフォーカスパターンを、前記複数のフォーカスパターンの１つとして前記メモリに記憶させる
ことを特徴とする、請求項３に記載の撮像装置。
【請求項６】
前記設定取得手段は、複数のフォーカス動作を一連の動作として取得することが可能であり、前記複数のフォーカス動作それぞれの開始時における被写体に関する第一の評価値および終了時における被写体に関する評価値である第二の評価値を取得する
ことを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記フォーカスパターンは、前記複数のフォーカス動作それぞれについて、前記評価値の時間に対する変化を定義するパターンを含む
ことを特徴とする、請求項６に記載の撮像装置。
【請求項８】
評価値の時間に対する変化を表すフォーカスパターンを複数記憶したメモリをさらに有し、
前記設定取得手段は、前記メモリに記憶されている複数のフォーカスパターンの中から前記複数のフォーカス動作それぞれのフォーカスパターンを選択し、
選択したフォーカスパターンを組み合わせて、一連のフォーカス動作における評価値の時間に対する変化を表すフォーカスパターンを生成する
ことを特徴とする、請求項６に記載の撮像装置。
【請求項９】
前記フォーカスパターンは、時間の経過と共に前記評価値が等速で変化する領域を含む
ことを特徴とする、請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記フォーカスパターンは、前記評価値を時間に対して二階微分した値が正となる期間を含む
ことを特徴とする、請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記フォーカスパターンは、前記評価値を時間に対して二階微分した値が負となる期間を含む
ことを特徴とする、請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記フォーカスパターンは、前記評価値を時間に対して二階微分した値の符号が、フォーカスレンズの駆動中に変化するパターンを含む
ことを特徴とする、請求項１から１１のいずれか１項に記載の撮像装置。
【請求項１３】
フォーカスレンズを含む光学系と、撮像素子と、を含む撮像装置の制御方法であって、
前記フォーカスレンズを駆動することで合焦位置の調節を行う焦点調節ステップと、
デフォーカス量に基づく評価値であって、前記フォーカスレンズを駆動するフォーカス動作の開始時における評価値である第一の評価値と、前記フォーカス動作の終了時における評価値である第二の評価値と、前記フォーカス動作の動作開始から動作終了までの動作時間と、前記第一の評価値から前記第二の評価値に至るまでの前記評価値の時間に対する変化を表すフォーカスパターンと、を取得する設定取得ステップと、
を含み、
前記焦点調節ステップでは、前記フォーカスパターンと前記第一の評価値と前記第二の評価値と前記動作時間とに基づいて、駆動中における前記フォーカスレンズの位置を制御する
ことを特徴とする、撮像装置の制御方法。
【請求項１４】
前記評価値は、前記フォーカス動作の対象とする被写体の位置と合焦位置との距離、前記被写体が結像する面と前記撮像素子の撮像面との距離、前記撮像素子の撮像面における錯乱円の大きさ、のうちのいずれかに対応する値である
ことを特徴とする、請求項１３に記載の撮像装置の制御方法。
【請求項１５】
前記焦点調節ステップでは、単位時間あたりの前記フォーカスレンズの駆動量を決定する
ことを特徴とする、請求項１３または１４に記載の撮像装置の制御方法。
【請求項１６】
前記フォーカスパターンは、複数のフォーカス動作それぞれについて、前記評価値の時間に対する変化を定義するパターンを含み、
前記設定取得ステップでは、前記複数のフォーカス動作それぞれの開始時における被写体に関する第一の評価値および終了時における被写体に関する評価値である第二の評価値と、前記フォーカス動作を行う動作時間と、を取得し、
前記焦点調節ステップでは、前記複数のフォーカス動作それぞれについてのフォーカスパターンと、動作時間と、第一の評価値と、第二の評価値と、に基づいて、前記フォーカスレンズの駆動中の位置を制御する
ことを特徴とする、請求項１３から１５のいずれか１項に記載の撮像装置の制御方法。
【請求項１７】
前記設定取得ステップでは、メモリに記憶されている、複数のフォーカスパターンの中
から、前記フォーカス動作におけるフォーカスパターンを選択して取得する
ことを特徴とする、請求項１３から１６のいずれか１項に記載の撮像装置の制御方法。
【請求項１８】
前記設定取得ステップでは、ユーザによって入力された、前記評価値の時間に対する変化に関する情報を取得し、前記取得した情報に基づいてフォーカスパターンを生成する
ことを特徴とする、請求項１３から１７のいずれか１項に記載の撮像装置の制御方法。
【請求項１９】
前記焦点調節ステップは、
前記フォーカスレンズの駆動量と前記評価値との関係を取得するステップと、
取得した前記フォーカスレンズの駆動量と前記評価値との関係に基づいて、前記フォーカス動作中の前記フォーカスレンズの位置を取得するステップと、を含む
ことを特徴とする、請求項１３から１８のいずれか１項に記載の撮像装置の制御方法。
【請求項２０】
請求項１３から１９のいずれか１項に記載の撮像装置の制御方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカス機構を有する撮像装置に関する。
【背景技術】
【０００２】
映像表現の手法として、画面全体がデフォーカスしている（ぼけている）状態から、徐々に被写体に合焦させるという手法や、複数の被写体の間でフォーカスを移動させるという手法がある。このような手法を用いる場合、所望の効果が得られるように、フォーカスレンズの適切な移動速度を決定する必要がある。
【０００３】
フォーカスレンズの移動速度を制御する最も基本的な方法として、撮影者が手動でフォーカスレンズを動かすという方法がある。
また、カメラが、入力された情報に基づいてフォーカスレンズの駆動速度を算出し、自動で駆動を行う技術が知られている。例えば、特許文献１に記載の撮像装置では、撮影者がタッチパネルを通じて、所望の被写体とフォーカス動作にかける時間を設定し、カメラが、入力された情報に基づいてフォーカスレンズの駆動速度を決定し、フォーカス動作を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７３５３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、フォーカスレンズの移動量と、それに伴って画面上で得られる効果の程度は、必ずしも一致するとは限らない。例えば、フォーカスレンズを移動させることで、画面上で得られるぼけの量が変化するが、ぼけの大きさは一般にフォーカスレンズの移動量と正比例しない。すなわち、単に指定された時間内でフォーカスレンズを駆動するだけでは、撮影者が所望する効果（例えば、ぼけの変化）が十分に得られない場合があった。
【０００６】
本発明は、このような従来技術の課題に鑑みてなされたものであり、フォーカス動作によって映像表現を行う撮像装置において、撮影者が所望する効果を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る撮像装置は、
フォーカスレンズを含む光学系と、撮像素子と、を含む撮像手段と、前記フォーカスレンズを駆動することで合焦位置の調節を行う焦点調節手段と、デフォーカス量に基づく評価値であって、前記フォーカスレンズを駆動するフォーカス動作の開始時における評価値である第一の評価値と、前記フォーカス動作の終了時における評価値である第二の評価値と、前記フォーカス動作を行う動作時間と、前記第一の評価値から前記第二の評価値に至るまでの前記評価値の時間に対する変化を表すフォーカスパターンと、を取得する設定取得手段と、を有し、前記焦点調節手段は、前記フォーカスパターンと前記第一の評価値と前記第二の評価値と前記動作時間とに基づいて、駆動中における前記フォーカスレンズの位置を制御することを特徴とする。
【０００８】
また、本発明に係る撮像装置の制御方法は、
フォーカスレンズを含む光学系と、撮像素子と、を含む撮像装置の制御方法であって、
前記フォーカスレンズを駆動することで合焦位置の調節を行う焦点調節ステップと、デフォーカス量に基づく評価値であって、前記フォーカスレンズを駆動するフォーカス動作の開始時における評価値である第一の評価値と、前記フォーカス動作の終了時における評価値である第二の評価値と、前記フォーカス動作の動作開始から動作終了までの動作時間と、前記第一の評価値から前記第二の評価値に至るまでの前記評価値の時間に対する変化を表すフォーカスパターンと、を取得する設定取得ステップと、を含み、前記焦点調節ステップでは、前記フォーカスパターンと前記第一の評価値と前記第二の評価値と前記動作時間とに基づいて、駆動中における前記フォーカスレンズの位置を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、フォーカス動作によって映像表現を行う撮像装置において、撮影者が所望する効果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る撮像装置の構成を示す図。
【図２】デフォーカス量を説明する図。
【図３】フォーカスレンズの駆動と評価値との関係を説明する図。
【図４】実施形態に係る撮像装置の動作を示すフローチャート。
【図５】第一の実施形態におけるフォーカス動作を説明する図。
【図６】第一の実施形態におけるフォーカス動作を説明する図。
【図７】第一の実施形態におけるフォーカスパターンの例を示す図。
【図８】第一の実施形態における具体的なフォーカスパターンを示す図。
【図９】物側デフォーカス量Ａｄとレンズ駆動量Ｌｓの関係の具体例を示す図。
【図１０】図８のフォーカスパターンに対応するレンズ駆動量Ｌｓを示す図。
【図１１】第二の実施形態におけるフォーカス動作を説明する図。
【図１２】第二の実施形態におけるフォーカス動作を説明する図。
【図１３】第二の実施形態におけるフォーカス動作を説明する図。
【図１４】第三の実施形態におけるフォーカス動作を説明する図。
【図１５】第三の実施形態におけるフォーカス動作を説明する図。
【図１６】変形例におけるフォーカス動作を説明する図。
【発明を実施するための形態】
【００１１】
（第一の実施形態）
<装置構成>
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図１は、本実施形態に係る撮像装置１００の構成を示した図である。撮像装置１００は、動画撮影機能を有するデジタルビデオカメラであり、ボディ１０１、撮像レンズ１０２、撮像素子１０３、演算処理部１０４、メモリ１０５、フォーカス制御部１０９を備えている。
【００１２】
撮像レンズ１０２は、交換式のレンズであり、撮影の目的に応じて交換することができる。本実施形態では、撮像レンズ１０２は二群構成の光学系であり、フォーカスレンズ１０６と、変倍レンズ１０７から成るが、撮像レンズ１０２は三群以上の構成であってもよい。少なくとも、位置を移動させることでフォーカスの調節を行うレンズ（フォーカスレンズ）を備えていれば、本発明を適用することができる。また、撮像レンズ１０２は、フォーカスレンズ１０６を駆動するための駆動手段１０８を有している。
【００１３】
撮像レンズ１０２を介して入射された被写体光は、撮像素子１０３に入射する。撮像素子１０３は、被写体光を電気信号に変換して出力する撮像素子であり、ＣＣＤ（電荷結合
素子）やＣＭＯＳ（相補型金属酸化膜半導体）等のイメージセンサで構成される。
演算処理部１０４は、撮像素子１０３から出力されたアナログ信号をデジタル化し、画像化するための回路である。演算処理部１０４は、アナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理回路（いずれも不図示）などを備えていてもよい。演算処理部１０４によって生成された画像は、メモリ１０５に記憶される。また、演算処理部１０４は、後述するフォーカス制御部１０９がフォーカスを実行するための各種設定を取得する手段（設定取得手段）でもある。
【００１４】
駆動手段１０８およびフォーカス制御部１０９は、本発明における焦点調節手段である。
駆動手段１０８は、合焦位置を変更するために、フォーカスレンズ１０６を光軸方向に移動させるステッピングモータであり、フォーカス制御部１０９は、駆動手段１０８に対し制御信号を送信することで、フォーカスレンズ１０６の位置を制御する手段である。以降、フォーカスレンズを移動させることを単に駆動と称する。また、ある初期状態から、フォーカス対象である１つの被写体に対してフォーカスレンズを移動させることを、フォーカス動作と称する。なお、フォーカス動作は、合焦位置を変更するものであれば、必ずしも任意の被写体に合焦するフォーカスレンズの移動でなくてもよい。
【００１５】
フォーカス制御部１０９は、演算処理部１０４から取得した情報に基づいて、公知の技術によってオートフォーカスを実行する手段である。オートフォーカスの方式は、例えば、位相差検出方式や、コントラスト検出方式など、任意の方式を用いることができる。なお、図１では、フォーカス制御部１０９と演算処理部１０４とを区別して記しているが、一体であってもよい。
また、フォーカス制御部１０９は、ユーザの入力に基づいて、映像表現のためのフォーカス動作（フォーカスイン、フォーカスアウト、ラックフォーカス等）を行う。詳細な処理内容については後述する。
なお、本実施形態では、駆動手段１０８がフォーカスレンズ１０６の物理的な位置を移動させるが、フォーカス位置を変更することができれば、これ以外の手段を用いてもよい。例えば、電圧や圧力を印加することで屈折率が変化するレンズ等を用いてもよい。
【００１６】
なお、撮像装置１００は、操作ボタンや、タッチパネル機構を含む表示画面からなる入出力部（不図示）を備える。また、演算処理部１０４は、本実施形態ではコンピュータであるが、演算を行う機能は、ＦＰＧＡやＡＳＩＣなどによって実現されてもよいし、これらの組合せによって実現されてもよい。
【００１７】
本実施形態では、フォーカス制御部１０９が、主となる被写体に対してフォーカスを行う機能以外に、指定された被写体に対して徐々にフォーカスを送る機能を有している。このような機能は、フォーカスインあるいはラックフォーカス等と呼ばれている。また、指定された被写体から徐々にフォーカスを外す機能を有している。このような機能は、フォーカスアウト等と呼ばれている。
【００１８】
ここで、従来技術の問題点について説明する。
まず、フォーカスレンズの駆動と、それによって得られる効果の関係について説明する。
図２は、フォーカスレンズの位置と、デフォーカス量との関係を示した図である。
符号２００は光軸であり、符号２０１は合焦の対象となる被写体である。ここでは、光軸２００上に、被写体２０１、フォーカスレンズ１０６、変倍レンズ１０７が存在する。
【００１９】
図２（Ａ）は、フォーカスレンズを駆動する前の状態である。このとき、フォーカスレンズ１０６と変倍レンズ１０７との間隔はｄ０である。また、被写体２０１はレンズを介
して、結像面２０２上に結像点２０３を形成する（実線で図示）。また、撮像素子がある撮像面２１２上に結像点２１３を結ぶ、物体側の位置を合焦位置２１１とする（一点鎖線で図示）。図示したように、被写体２０１の結像面２０２と、撮像面２１２は一致しない。この変位量が像側デフォーカス量（Ｂｄ０）である。
同様に、被写体２０１と、合焦位置２１１は一致しない。この変位量が物側デフォーカス量（Ａｄ０）である。物側デフォーカス量Ａｄ０は、すなわち、フォーカス対象の被写体に対応する被写体距離と被写体側の焦点距離との差である。
【００２０】
図２（Ｂ）は、フォーカスレンズ１０６を駆動量Ｌｓだけ変位させ、被写体２０１の結像面２０２を撮像面２１２へ近付けるような動作を行った状態を示す図である。
また、図２（Ｃ）は、被写体２０１が撮像面２１２上に結像した状態、すなわち、被写体２０１に対するフォーカスが完了した状態を示す図である。このとき、フォーカスレンズの駆動量はＬｓｎであり、レンズ間隔はｄｎである。
【００２１】
フォーカスレンズの駆動量と、物側デフォーカス量および像側デフォーカス量との関係について説明する。像側のレンズ頂点から被写体２０１の結像面２０２までの距離をＢｏ、合焦位置の結像面である撮像面２１２までの距離がＢｐとすると、その差（Ｂｏ−Ｂｐ）が像側デフォーカス量Ｂｄとなる。同様に、物側は、物側のレンズ頂点から被写体２０１までの距離をＡｏ、合焦位置までの距離をＡｐとすると、その差（Ａｐ−Ａｏ）が物側デフォーカス量Ａｄとなる。
ここで、図２（Ｂ）のように、駆動量がＬｓであるときの、像側デフォーカス量Ｂｄまたは物側デフォーカス量Ａｄの関係を記す。レンズの公式より、被写体３０１の結像を考えると、当該関係は式（１）で表すことができる。
【数１】
2017003874.tif 000003
【００２２】
ここで、Ｆは、フォーカスレンズ１０６および変倍レンズ１０７の合成焦点距離である。Ｆは、フォーカスレンズ１０６の焦点距離ｆ1と、変倍レンズ１０７の焦点距離ｆ2を用いて、式（２）のように表すことができる。式（２）からもわかるように、Ｆは、駆動量Ｌｓに伴って変化する。
【数２】
2017003874.tif 000004
【００２３】
また、δ1およびδ2は、フォーカスレンズ１０６側の主面位置および変倍レンズ１０７側の主面位置を表し、それぞれ、式（３）および式（４）で表される。δ1およびδ2も、駆動量Ｌｓに伴って変化する。
【数３】
2017003874.tif 000005
【数４】
2017003874.tif 000006
【００２４】
以上の式より、像側デフォーカス量Ｂｄは、式（５）で表すことができる。同様に、物側デフォーカス量Ａｄは、式（６）で表すことができる。
【数５】
2017003874.tif 000007
【数６】
2017003874.tif 000008
【００２５】
式（２）から式（６）までの関係から分かるように、フォーカスレンズの駆動量Ｌｓと、像側デフォーカス量Ｂｄおよび物側デフォーカス量Ａｄの関係は比例しない。
従来技術として、ユーザが指定した時間内でフォーカスレンズを移動させる制御が知られていた。しかし、フォーカスレンズの位置のみを用いてフォーカス動作を制御すると、それによって得られる映像上の変化（例えば、ぼけの変化や合焦位置の変化）を制御することができない。例えば、フォーカスレンズを一定の速度で動かしても、ぼけの量や合焦位置は等速で変化しない。従って、従来の手法では、フォーカス動作に伴って得られる効果を、意図した通りに制御することができなかった。
【００２６】
この問題を解決するため、本実施形態に係る撮像装置では、図３に示したような、時間に対する、評価値（デフォーカス量ＡｄまたはＢｄに基づく値）の変化を表すパターンを取得し、当該パターンを用いてフォーカス動作の制御を行う。以下、このようなパターンをフォーカスパターンと称する。
具体的には、フォーカス動作にかける時間と、必要なデフォーカス量を取得し、フォーカスパターンへの当てはめを行い、最適なデフォーカス量が得られるような、フォーカスレンズの駆動量を算出しながらフォーカスレンズを駆動する。駆動量を算出する際には、合焦点距離などの撮像に用いるレンズに関する特性データと、式（２）〜（６）を用いる。
また、本実施形態に係る撮像装置は、フォーカスパターンを複数記憶しており、ユーザの入力に応じて使用するフォーカスパターンを選択することができる。第一の実施形態では、フォーカスパターンの例を一つ挙げ、他のバリエーションについては、他の実施形態において説明する。
【００２７】
<処理フローチャート>
次に、撮像装置１００が行うフォーカス制御の詳細について、フローチャート図である図４を参照しながら説明する。なお、図４は、映像表現のためにフォーカスを制御する処理であり、画像を撮像する処理は、当該フローチャートとは別に実行されるものとする。
【００２８】
まず、ステップＳ１１で、駆動開始から駆動終了までの時間（すなわち、フォーカス動作を行う時間。以下、動作時間）と、フォーカスパターンを取得する。動作時間およびフォーカスパターンは、例えば、撮像装置１００の背面に設けられた入出力部を通して、ユーザから評価値の時間に対する変化に関する情報として取得してもよい。この場合、設定取得手段にて取得した情報に基づいてフォーカスパターンを生成して用いる。なお、生成
したフォーカスパターンをメモリ１０５に記憶可能な構成とし、次回以降のフォーカス動作に用いるフォーカスパターンの選択肢の１つとしてもよい。
なお、ここでは、動作時間とフォーカスパターンを別々に取得するものとするが、フォーカスパターンにデフォルトの動作時間を関連付けてもよい。また、撮影の途中で、フォーカスパターンや動作時間を変更できるようにしてもよい。
【００２９】
次に、ステップＳ１２およびＳ１３で、フォーカス動作を行うデフォーカス量の範囲を、第一の評価値と第二の評価値とを取得することにより決定する。
具体的には、撮像された画像を入出力部に表示し、目的の被写体が存在する領域をユーザに選択させることにより、対象となる被写体を決定する。なお、フォーカス動作を行う対象の被写体は、これ以外の方法によって決定してもよい。例えば、画面上にカーソルを表示し、ボタン入力によって選択させてもよいし、顔認識など、被写体またはシーンを自動的に認識する機能を用いて決定してもよい。
【００３０】
ステップＳ１３では、フォーカス動作を行う対象の被写体に対する、現在のデフォーカス量と、目標となるデフォーカス量を算出する。
本実施形態では、撮像素子１０３は、位相差測距画素によって構成される。位相差測距画素は、ひとつの画素が分割された二つの光電変換領域からなり、各光電変換領域が入射角に対して異なる感度特性を持つ。このため、ひとつの撮像レンズの射出瞳を分割した各像である、視差像の組を取得できる。本ステップでは、演算処理部１０４が、取得した視差像の組から公知の手法を用いて像ずれ量を算出する。そして、算出した像ずれ量から、公知の手法を用いて像側デフォーカス量を算出する。また、像側デフォーカス量から公知の手法を用いて物側デフォーカス量を算出する。
【００３１】
ここでは、現在の物側デフォーカス量Ａｄを第一の評価値として設定する。本実施形態では、第一の評価値は、フォーカス動作を開始する前（駆動開始時）における、対象の被写体に対する物側デフォーカス量である。
次に、フォーカス動作終了時における物側デフォーカス量Ａｄを第二の評価値として決定する。なお、フォーカス動作終了時とは、フォーカスレンズ駆動が完了し、対象の被写体へのフォーカス動作が終了する時（駆動終了時）を言う。
【００３２】
なお、デフォーカス量は、前述した方法以外の方法を用いて算出してもよい。
例えば、ＤＦＤ（Depth From Defocus）方式を用いてもよい。当該方式によると、従来の、一つの光電変換部からなる画素で構成された素子を撮像素子として用いることができるため、コストの観点から好適である。
また、撮像装置の外部に、ＴＯＦ（Time Of Flight）方式の測距装置を付属させてもよい。ＴＯＦ方式で取得できる値は撮像装置から対象までの距離であるため、この距離値をデフォーカス量に換算し、評価値として用いる。この場合、高い分解能で距離情報を得ることができるため、駆動制御の精度向上の観点から好適である。また、撮像装置に別途、ステレオ測距装置を付属させてもよい。この場合、距離情報の分解能を決める基線長の設定自由度が向上するため、精度向上の観点から好適である。他にも、各種の距離情報取得手段を用いることができる。
【００３３】
なお、第二の評価値は、対象の被写体に関する評価値であれば良く、必ずしも、対象の被写体に合焦した際のデフォーカス量（Ａｄ＝０）でなくてもよい。例えば、第二の評価値にＡｄ＝０以外を設定し、あえて合焦直前で駆動を停止させてもよいし、合焦を経過して再びデフォーカス状態としてもよい。第一の評価値および第二の評価値は、映像表現の手法によって、様々な値を取ることができる。この場合、対象の被写体の合焦位置と第二の評価値とのずれ量を、距離やデフォーカス量で設定できるようにしてもよい。また、対象の被写体は、具体的な人物や構造物などに限らず、空間に存在する山や雲などの背景で
あってもよい。
【００３４】
また、本実施形態では、第一の評価値および第二の評価値を物側デフォーカス量としたが、像側デフォーカス量を用いてもよい。像側デフォーカス量Ｂｄは先述した各種オートフォーカス方式に用いるピント評価値を用いて算出してもよいし、物側デフォーカス量Ａｄとレンズ間隔ｄを用いて算出してもよい。
【００３５】
ステップＳ１４では、ステップＳ１１およびＳ１２で取得した情報と、撮像に用いるレンズの特性データと、式（１）〜（６）とを用いて、単位時間ごとのフォーカスレンズの駆動量を算出し、ステップＳ１５で算出結果を用いてフォーカスレンズを駆動させる。
フォーカス動作中のフォーカスレンズの位置は、フォーカスパターンを再現するように制御されればよく、単位時間ごとのフォーカスレンズの駆動量を算出する方法には限定されない。本例では、ステップＳ１１にて、ユーザが、「物側デフォーカス量Ａｄが、時間ｔの経過に応じて等速度で減少する」というフォーカスパターンを選択したものとする。
なお、撮像に用いるレンズの特性データは、レンズ交換式の撮像装置の場合は、レンズの交換に応じて取得すればよく、レンズが固定されている撮像装置の場合は、予め保持しているデータを用いればよい。
【００３６】
フォーカス制御部１０９は、駆動量Ｌｓの単位量あたりの物側デフォーカス量Ａｄの変化量、すなわち、ΔＡｄ／ΔＬｓを算出し、算出結果の値が一定となるΔＬｓを求め、単位時間あたりにΔＬｓずつフォーカスレンズを駆動する。
なお、本例では、動作時間ｔｆおよび単位時間Δｔは、フォーカスパターンごとに定義された値を用いるが、ユーザの入力により取得してもよい。
【００３７】
ステップＳ１６では、続けてフォーカス動作を行うか否かを判定し、行う場合はステップＳ１２に遷移する。例えば、ユーザが新たな被写体を選択した場合、ステップＳ１２に遷移するようにしてもよい。続けての動作を行わない場合、処理は終了する。
【００３８】
上述した方法によってフォーカスレンズを駆動すると、物側デフォーカス量が時間に対して一定の変化となるような映像表現を得ることができる。
このような表現について、具体例を示し、図５〜図１０を参照しながら説明する。図５は、時間の経過に伴う撮影画面上の変化を表した図であり、図６は、カメラと被写体の配置を上部から見た関係を表した図である。なお、実線は合焦している被写体を表し、点線は合焦していない（デフォーカス状態にある）被写体を表す。図７は、物側デフォーカス量Ａｄの時間変化を表す図、即ちフォーカスパターンを表している。
【００３９】
本例では、例えば、ステップＳ１１で、図７に示したフォーカスパターンを取得し、フォーカス動作の開始時刻「ｔ０＝０．５秒」と終了時刻「ｔｎ＝２．５秒」を設定したとする。これにより、フォーカス動作を行う時間は、ｔｆ＝２．０秒と算出される。ここで、設定する開始時刻、終了時刻は、フォーカス動作の開始を指示する時刻（例えば、フォーカス動作のスタートボタンを押す時刻）から、実際にフォーカス動作を開始あるいは終了する時刻としている。
なお、これら時間の設定は、動作開始時刻および終了時刻を設定してもよいし、動作開始時刻または終了時刻と動作時間の組で設定してもよい。また、設定は、ユーザが所望の値を入力してもよいし、あらかじめ本体に記憶されているパターンの値を読み出して用いてもよい。
【００４０】
ステップＳ１２では、図６に示す被写体４０１に合焦している状態からフォーカス動作を行う対象として、被写体４０２を選択する。図６では、撮像装置１００から距離Ａｏ＝２５００ｍｍだけ離れた位置に被写体４０２があり、駆動開始時刻ｔ０における合焦位置
Ａｐ０＝４５００ｍｍに、被写体４０１があるものとする。図６は、動作開始時の合焦位置が被写体４０１に合っている場合を示しているが、フォーカス動作開始時の合焦位置が被写体４０１からずれた位置にあっても構わない。他の実施形態においても同様である。
続くステップＳ１３で、被写体４０２を基準として、フォーカス動作の開始時刻ｔ０における物側デフォーカス量Ａｄ０＝２０００ｍｍを取得し、第一の評価値として設定する。また、被写体４０２に合焦した時に取りうる物側デフォーカス量（Ａｄｎ＝０ｍｍ）を第二の評価値として設定する。
【００４１】
ステップＳ１４では、図７のフォーカスパターンと、ステップＳ１２およびＳ１３で取得した値とから、図８に示したパターンを取得する。すなわち、物側デフォーカス量が、動作開始時刻ｔ０＝０．５秒におけるＡｄ０（２０００ｍｍ）から、動作終了時刻ｔｎ＝２．５秒におけるＡｄｎ（０ｍｍ）へ線形に変化するパターンである。
そして、取得したパターンに従ってＡｄを変化させることができるように、ΔＡｄ／ΔＬｓが、単位時間Δｔに対して一定となるようなフォーカスレンズの位置を算出する。
ここで、用いるカメラ１００のフォーカスレンズ１０６の焦点距離ｆ１が１５０ｍｍ、変倍レンズ１０７の焦点距離ｆ２が７５ｍｍ、駆動開始時の両レンズ間隔ｄ０が５ｍｍ、カメラ１００内の撮像面までの距離Ｂｐが５０ｍｍであるとする。
【００４２】
この場合において、物側デフォーカス量Ａｄとレンズ駆動量Ｌｓの関係について、先述の式（２）〜（６）を用いて算出した結果を図９に示す。図９に示されるように、レンズ駆動量Ｌｓの変化と物側デフォーカス量Ａｄの変化とは、比例しないことがわかる。
そこで、ステップＳ１４では、図９の関係に基づいてΔＡｄ／ΔＬｓを算出し、図８に従って物側デフォーカス量Ａｄが変化するよう、即ち、ΔＡｄが一定値となるよう、単位時間当たりのレンズの駆動速度ΔＬｓ／Δｔを算出し、図１０の関係を得る。
ステップ１４で算出した図１０に従って、ステップＳ１５でフォーカスレンズの位置を制御すれば、図７のフォーカスパターンの通り、ΔＡｄが一定値で、かつ、駆動停止時刻ｔｎにて、被写体４０２に合焦した状態を実現することができる。
以上、具体例を用いて説明したように、本実施形態に係る撮像装置は、物側空間の距離に基づいてフォーカスレンズを駆動させる。このような駆動方法によれば、実空間における合焦位置が等速度で動くという効果を得ることができ、自然な心象を与える映像表現を得ることができる。
【００４３】
なお、第一の実施形態では、第一の評価値および第二の評価値として物側デフォーカス量Ａｄを用いたが、像側デフォーカス量Ｂｄを用いてもよい。Ａｄを用いた場合、被写体の距離間隔と等価な量でデフォーカスを制御することができ、Ｂｄを用いた場合、画像上のぼけの大きさを制御することができる。
【００４４】
（第二の実施形態）
第一の実施形態では、フォーカス動作を行う対象の被写体が１つの場合であった。これに対し、第二の実施形態では、フォーカス動作を行う対象の被写体が複数である場合について説明する。具体的には、複数の被写体に対して複数回のフォーカス動作を行い、かつ、フォーカス動作ごとに、デフォーカス量の変化が異なるようなフォーカスパターンを用いる実施形態である。
なお、本実施形態では、フォーカス動作を行う対象の被写体を、予め複数選択してからフォーカス動作を行う場合について説明するが、フォーカス動作の最中に随時追加してもよい。例えば、フォーカス動作を行う対象の被写体を、予め設定している被写体の後に追加したり、予め設定している被写体の前に挿入したりして、フォーカス動作を追加することができる。また、本実施形態では、フォーカス動作を行う対象の被写体が２つの場合について説明するが、３つ以上の場合も同様にフォーカス動作を行うことができる。
【００４５】
図１１は、第二の実施形態における、時間の経過に伴う撮影画面上の変化を表した図であり、図１２は、撮像装置１００と被写体との位置関係を上から見た図である。本例では、符号５０１，５０２，５０３でそれぞれ示した三つの被写体があり、時間がｔ０，ｔ１，ｔ２と経過するごとに合焦位置が移動し、フォーカスの対象が、被写体５０１，５０２，５０３と順に変化していく。より詳細には、駆動開始時に被写体５０１に合焦している状態から、第一の被写体５０２に合焦させるフォーカス動作の後、続いて第二の被写体５０３に合焦させるフォーカス動作を行う。
【００４６】
第二の実施形態では、ステップＳ１１で、「フォーカス動作を行う被写体が二つあり、フォーカスレンズを二回駆動する」というフォーカスパターンを選択する。
また、ステップＳ１２で、ユーザが、フォーカス動作の対象として第一の被写体５０２および第二の被写体５０３の二つを指定する。そして、ステップＳ１３にて、時刻ｔ０におけるデフォーカス量、時刻ｔ１におけるデフォーカス量と、時刻ｔ２におけるデフォーカス量、即ち、三つの評価値を算出する。
それぞれの時刻におけるデフォーカス量は、第二の被写体５０３を基準としたデフォーカス量である。すなわち、時刻ｔ０におけるデフォーカス量（第一の評価値）は、被写体５０１に対応する物側デフォーカス量であるＡｄ０であり、時刻ｔ１におけるデフォーカス量（第二の評価値）は、第一の被写体５０２に対応する物側デフォーカス量であるＡｄ１である。また、時刻ｔ２におけるデフォーカス量（第三の評価値）は０である。
ただし、それぞれの時刻におけるデフォーカス量は、第二の被写体５０３を基準としたデフォーカス量に限定されるものではなく、各フォーカス動作の開始時と終了時の間のフォーカス量が取得できればよい。例えば、被写体５０１から第二の被写体５０３への第一のフォーカス動作において、第一の評価値を、被写体５０２を基準とする被写体５０１に対応する物側デフォーカス量とし、第二の評価値を、Ａｄ０＝０とする。そして、第一の被写体５０２から第三の被写体５０３へ第二のフォーカス動作において、第一の評価値を、第三の被写体５０３を基準とする第二の被写体５０２に対応する物側デフォーカス量とし、第二の評価値を、Ａｄ０＝０としてもよい。このような評価値の取得方法は、フォーカス動作を行う対象の被写体を、フォーカス動作の最中に随時追加する場合に好適である。
【００４７】
また、第二の実施形態では、被写体５０１から第一の被写体５０２への第一のフォーカス動作にかける時間を動作時間ｔｆ１とし、第一の被写体５０２から第二の被写体５０３への第二のフォーカス動作にかける時間を動作時間ｔｆ２とする。このような動作時間は、フォーカスパターンに関連付けて記憶させてもよいし、ユーザに入力させてもよい。
また、ステップＳ１４およびＳ１５では、図１３に示したように、フォーカス動作ごとに駆動速度（ΔＬｓ／Δｔ）を算出し、フォーカスレンズの駆動を行う。それぞれのフォーカス動作は、第一の実施形態で説明したフォーカス動作と同じであるため、詳細な説明は省略する。
【００４８】
第二の実施形態では、このように、複数の被写体に対してフォーカスが順次遷移する映像表現を得ることができる。なお、フォーカス動作は連続して行わなくてもよい。例えば、被写体５０２に合焦した状態でフォーカス動作を一時停止させてもよい。停止時間は、選択するフォーカスパターンの中に予め停止時間が組み込まれていてもよいし、ユーザが任意に設定できるようにしてもよい。
【００４９】
（第三の実施形態）
第三の実施形態は、第二の実施形態と同様に、複数の被写体に対して複数回のフォーカス動作を行うものであるが、フォーカス動作の動作時間を、実空間における被写体距離に基づいて決定するという点において相違する。
【００５０】
図１４は、図１２における被写体５０１，５０２，５０３の間隔を示した図である。本例では、被写体５０１から被写体５０２までの距離をｘ、被写体５０２から被写体５０３までの距離をｙとする。このとき、物側デフォーカス量であるＡｄ０とＡｄ１の比は、以下の式で表すことができる。
（Ａｄ０−Ａｄ１）：Ａｄ１＝ｘ：ｙ
【００５１】
第三の実施形態では、複数の被写体に対して順にフォーカス動作を行う際に、動作時間ｔｆ１とｔｆ２との比が、ｘとｙとの比と等しくなるように、ｔｆ１およびｔｆ２を決定する。図１５は、第三の実施形態における、経過時間とデフォーカス量との関係を表した図である。
第三の実施形態では、このように、実際の距離間隔と等しい比率の時間によって各被写体へのフォーカス動作を行うため、自然な心象を与える映像表現を提供することができる。
【００５２】
（第四の実施形態）
第四の実施形態は、デフォーカス量ではなく、実際の画像上における被写体のぼけの大きさに基づいてフォーカスレンズの駆動量を制御する実施形態である。本実施形態では、ぼけの大きさとして錯乱円径を用いる。
【００５３】
図２（Ｂ）のように、被写体２０１がデフォーカス状態である場合、撮像面２１２上には、錯乱円２２０が形成される。ここで、像側デフォーカス量をＢｄ、入射光束の径をＤとすると、錯乱円径ｅは、式（７）によって表される。すなわち、像側デフォーカス量Ｂｄから錯乱円径ｅを求めることができる。
【数７】
2017003874.tif 000009
【００５４】
錯乱円径は、画像上では、ぼけの大きさとして認識されるため、式（７）を用いることで、ぼけの大きさの変化を制御することができる。例えば、前述した評価値を、デフォーカス量ではなく錯乱円の大きさとし、式（７）を適用することで、一定の速度で錯乱円径ｅが変化するような制御を行うことができる。
かかる方法によると、ぼけの大きさが一定の速度で変化する効果を得ることができるため、より自然な心象を与える映像表現を提供することができる。
【００５５】
（第五の実施形態）
第五の実施形態は、撮影者が過去に実行したフォーカス動作に関する情報をメモリに保存しておき、次回以降の撮影時に読み出して使用する実施形態である。
具体的には、図４に示した処理を実行する際に算出した、駆動に伴うデフォーカス量の変化をタイムテーブルに記録し、取得した映像ファイルに関連付けたうえで、メモリ１０５に保存する。
そして、以降の撮影時に同様の映像表現を得たい場合に、ステップＳ１１にて、記憶されたタイムテーブルを選択し、読み出しを行う。
このように、デフォーカス量の変化を記録し、読み出し可能にすることで、簡易な構成で撮影者が所望の映像表現を得ることができるようになる。
【００５６】
なお、記憶させる情報は、必ずしもタイムテーブル形式でなくてもよい。例えば、デフォーカス量の変化を関数で近似したものであってもよい。
また、記憶させる情報は、フォーカス動作にかける時間や、デフォーカス量が含まれたものであってもよいし、これらを正規化した情報であってもよい。
【００５７】
（変形例）
なお、実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像装置の制御方法として実施することもできる。また、当該制御方法を撮像装置に実行させるプログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【００５８】
また、本発明に係る撮像装置は、例えば、車や携帯機器に搭載されたカメラや、定点観測カメラ等であってもよいし、その他の撮像装置であってもよい。また、撮像した画像を記憶媒体に記録する機能を有していてもよいし、外部に出力する機能を有していてもよい。
【００５９】
また、実施形態の説明では、フォーカス位置を被写体間で移動させる例を挙げたが、フォーカス動作の形態はこれ以外であってもよい。例えば、特定の被写体に対してフォーカスインやフォーカスアウトを行ってもよい。また、フォーカス位置を移動させるものであれば、必ずしも特定の被写体に合焦した状態で駆動を開始ないし終了させるものでなくてもよい。
【００６０】
また、第二および第三の実施形態では、複数の被写体に対する一連のフォーカス動作を、一つのパターンを用いて行った。これに対し、それぞれの対象の被写体に対するフォーカス動作ごとに異なるパターンを選択し、選択した複数のパターンを組み合わせて、一連のフォーカス動作を行うようにしてもよい。
例えば、ステップＳ１１で、「フォーカス動作を行う対象の被写体が複数ある」というモードで対象の被写体の数を設定する。そして、駆動開始から１つ目の被写体にフォーカスするまでのフォーカスパターン、１つ目の被写体から２つ目の被写体にフォーカスするまでのフォーカスパターンと、フォーカス動作を行う対象の被写体の数に応じてフォーカスパターンを選択し設定してもよい。
【００６１】
また、実施形態の説明では、評価値として、像側デフォーカス量、物側デフォーカス量、錯乱円の大きさの三つを挙げたが、デフォーカス量に関連するものであれば、評価値は、例示したもの以外であってもよい。また、評価値は例示した量そのものである必要はなく、例示した量に対応した値であればよい。
また、評価値の定義は、パターンごとに異なってもよい。例えば、像側デフォーカス量を利用するパターンと、物側デフォーカス量を利用するパターンを記憶させ、選択可能にしてもよい。
【００６２】
また、実施形態の説明では、時間に対する評価値の変化量が等速である例を挙げたが、時間に対する評価値の変化量は、必ずしも等速でなくてもよい。
例えば、図１６（Ａ）のように、等速であってもよいし、図１６（Ｂ）および（Ｃ）のように、評価値の変化速度が徐々に増加ないし減少するものであってもよい。
図１６（Ｂ）の場合、評価値の時間に対する二階微分の値が正となるように、ΔＬｓ／Δｔを決定すればよい。また、図１６（Ｃ）の場合、評価値の時間に対する二階微分の値が負となるように、ΔＬｓ／Δｔを決定すればよい。
【００６３】
また、図１６（Ｄ）のように、駆動中において、評価値の時間に対する二階微分の値の符号がある期間で反転してもよい。さらに、この符号の変化は複数回であってもよい。
【００６４】
また、このような駆動を実現するため、時間に対する評価値の変化を、関数（例えば、
二次関数、指数関数、各種高次関数など）によって表し、当該関数に係数を与えることで、各時刻における評価値を取得するようにしてもよい。また、評価値の時間に対する変化を、動作時間によって規格化したデータを記憶させ、動作時間を与えることで評価値を取得するようにしてもよい。また、例示したデータをタイムテーブル形式で保存しておき、選択に応じて読み出すようにしてもよい。
【００６５】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１０２・・・撮像レンズ、１０３・・・撮像素子、１０４・・・演算処理部、１０６・・・フォーカスレンズ、１０８・・・駆動手段、１０９・・・フォーカス制御部
【図１】
2017003874.tif 000010
【図２】
2017003874.tif 000011
【図３】
2017003874.tif 000012
【図４】
2017003874.tif 000013
【図５】
2017003874.tif 000014
【図６】
2017003874.tif 000015
【図７】
2017003874.tif 000016
【図８】
2017003874.tif 000017
【図９】
2017003874.tif 000018
【図１０】
2017003874.tif 000019
【図１１】
2017003874.tif 000020
【図１２】
2017003874.tif 000021
【図１３】
2017003874.tif 000022
【図１４】
2017003874.tif 000023
【図１５】
2017003874.tif 000024
【図１６】
2017003874.tif 000025