(57)【要約】  撮像制御装置は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部を備える。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量を算出する算出部を備える。撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する制御部を備える。
2018185939.tif 000002
【特許請求の範囲】
【請求項１】
撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部と、
前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する算出部と、
前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する制御部と
を備える撮像制御装置。
【請求項２】
前記取得部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得し、
前記算出部は、前記第３画像のぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第３画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像及び前記第３画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項３】
前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さく、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上の場合、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項４】
前記取得部は、前記第１撮像画像に含まれる前記第１画像に隣接する第４画像及び前記第２撮像画像に含まれる前記第２画像に隣接する第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項５】
前記第１画像のぼけ量と前記第２画像のぼけ量とに基づいて、前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像のぼけ量と前記第５画像のぼけ量とに基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
前記制御部は、前記第１距離及び前記第２距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
【請求項６】
前記取得部は、前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
前記算出部は、前記第６画像のぼけ量をさらに算出し、
前記制御部、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
【請求項７】
前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記撮像制御装置は、
前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
前記制御部は、前記第１距離が予め定められた撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上の場合、前記第１距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項８】
前記取得部は、前記第１距離が前記撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
前記算出部は、前記第６画像のぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像のぼけ量及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項７に記載の撮像制御装置。
【請求項９】
前記第１画像に含まれる特徴点を前記第２撮像画像の特徴点と比較することにより、前記第１画像に対応する前記第２撮像画像の領域を特定する特定部をさらに備え、
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が第２閾値以下である場合、前記第２撮像画像に対して、前記第１撮像画像と前記第１画像との位置関係と同一の位置関係にある前記第２撮像画像の領域の画像を前記第２画像として取得する、請求項１に記載の撮像制御装置。
【請求項１０】
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きい場合、前記領域を前記第２画像として取得する、請求項９に記載の撮像制御装置。
【請求項１１】
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きく、かつ第３閾値以下の場合、前記領域の画像を前記第２画像として取得する、請求項９に記載の撮像制御装置。
【請求項１２】
前記特定部は、前記第１画像の輝度及び前記第２撮像画像の前記領域の輝度に基づいてそれぞれの特徴点を特定する、請求項９に記載の撮像制御装置。
【請求項１３】
前記特定部は、前記第１画像の輝度の重心を前記第１画像に含まれる前記特徴点とし、前記第２撮像画像の前記領域の輝度の重心を前記第２撮像画像の前記特徴点として特定する、請求項１２に記載の撮像制御装置。
【請求項１４】
前記レンズに含まれるフォーカスレンズの位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１に記載の撮像制御装置。
【請求項１５】
前記撮像面の位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１に記載の撮像制御装置。
【請求項１６】
請求項１から１５の何れか１つに記載の撮像制御装置と、
前記撮像面を有するイメージセンサと、
前記レンズと
を備える撮像装置。
【請求項１７】
請求項１６に記載の撮像装置と、
前記撮像装置を支持する支持機構と
を備える撮像システム。
【請求項１８】
請求項１７に記載の撮像システムを搭載して移動する移動体。
【請求項１９】
撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階と、
前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する段階と、
前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する段階と
を備える撮像制御方法。
【請求項２０】
撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階と、
前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する段階と、
前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する段階と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、異なる撮影パラメータで撮影したぼけの異なる複数枚の画像を用いて、画像中の被写体の距離情報を算出する画像処理装置が開示されている。
特許文献１  特許第５９３２４７６号公報
【解決しようとする課題】
【０００３】
複数の画像のぼけ量に基づいて被写体までの距離を算出する場合、複数の画像のぼけ量の差が小さいと、被写体までの距離を正確に算出できない場合がある。
【一般的開示】
【０００４】
本発明の撮像制御装置は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部を備えてよい。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量を算出する算出部を備えてよい。撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する制御部を備えてよい。
【０００５】
取得部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得してよい。算出部は、第３画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第３画像のぼけ量との差が第１閾値以上の場合、第１画像及び第３画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【０００６】
取得部は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さく、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上の場合、第４画像及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【０００７】
取得部は、第１撮像画像に含まれる第１画像に隣接する第４画像及び第２撮像画像に含まれる第２画像に隣接する第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上で、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上である場合、第１画像、第２画像、第４画像、及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【０００８】
撮像制御装置は、第１画像のぼけ量と第２画像のぼけ量とに基づいて、第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出し、第４画像のぼけ量と第５画像のぼけ量とに基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部を備えてよい。制御部は、第１距離及び第２距離に基づいて撮像面とレンズとの位置関係を制御してよい。
【０００９】
取得部は、第４画像のぼけ量と第５画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。算出部は、第６画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上で、かつ第４画像のぼけ量と第６画像のぼけ量との差が第１閾値以上である場合、第１画像、第２画像、第４画像、及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【００１０】
取得部は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。算出部は、第４画像及び第５画像のそれぞれのぼけ量をさらに算出してよい。撮像制御装置は、第１画像及び第２画像のそれぞれのぼけ量に基づいて第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出し、第４画像及び第５画像のそれぞれのぼけ量に基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部を備えてよい。制御部は、第１距離が予め定められた撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１距離に基づいて撮像面とレンズとの位置関係を制御してよい。
【００１１】
取得部は、第１距離が撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。
【００１２】
算出部は、第６画像のぼけ量をさらに算出してよい。制御部は、第１画像のぼけ量と第６画像のぼけ量との差が第１閾値以上の場合、第１画像のぼけ量及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【００１３】
第１画像に含まれる特徴点を第２撮像画像の特徴点と比較することにより、第１画像に対応する第２撮像画像の領域を特定する特定部をさらに備えてよい。取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値以下である場合、第２撮像画像に対して、第１撮像画像と第１画像との位置関係と同一の位置関係にある第２撮像画像の領域の画像を第２画像として取得してよい。
【００１４】
取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きい場合、領域を第２画像として取得してよい。
【００１５】
取得部は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きく、かつ第３閾値以下の場合、領域の画像を第２画像として取得してよい。
【００１６】
特定部は、第１画像の輝度及び第２撮像画像の領域の輝度に基づいてそれぞれの特徴点を特定してよい。
【００１７】
特定部は、第１画像の輝度の重心を第１画像に含まれる特徴点とし、第２撮像画像の領域の輝度の重心を第２撮像画像の特徴点として特定してよい。
【００１８】
レンズに含まれるフォーカスレンズの位置が変更されることで、撮像面とレンズとが第１位置関係にある状態から第２位置関係にある状態に変更されてよい。
【００１９】
撮像面の位置が変更されることで、撮像面とレンズとが第１位置関係にある状態から第２位置関係にある状態に変更されてよい。
【００２０】
本発明の一態様に係る撮像装置は、上記撮像制御装置と、撮像面を有するイメージセンサと、レンズとを備える。
【００２１】
本発明の一態様に係る撮像システムは、上記撮像装置と、撮像装置を支持する支持機構とを備える。
【００２２】
本発明の一態様に係る移動体は、上記撮像システムを搭載して移動する。
【００２３】
本発明の一態様に係る撮像制御方法は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階を備えてよい。撮像制御方法は、第１画像及び第２画像のそれぞれのぼけ量を算出する段階を備えてよい。撮像制御方法は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する段階を備えてよい。
【００２４】
本発明の一態様に係るプログラムは、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階をコンピュータに実行させてよい。プログラムは、第１画像及び第２画像のそれぞれのぼけ量を算出する段階をコンピュータに実行させてよい。プログラムは、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する段階をコンピュータに実行させてよい。
【００２５】
本発明の一態様によれば、複数の画像のぼけ量に基づいて撮像面とレンズとの位置関係をより精度よく調整できる。
【００２６】
上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。
【図面の簡単な説明】
【００２７】
【図１】無人航空機及び遠隔操作装置の外観の一例を示す図である。
【図２】無人航空機の機能ブロックの一例を示す図である。
【図３】ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。
【図４】ぼけ量に基づいてオブジェクトまでの距離を算出する手順の一例を示す図である。
【図５】オブジェクトの位置、レンズの位置、及び焦点距離との関係について説明するための図である。
【図６Ａ】ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。
【図６Ｂ】ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。
【図６Ｃ】ぼけ量の差とレンズ位置の特定の精度との関係について説明するための図である。
【図７】ぼけ量を算出する画像について説明するための図である。
【図８】ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。
【図９】ＢＤＡＦ方式のＡＦ処理の手順の一例を示すフローチャートである。
【図１０】ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。
【図１１】ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。
【図１２】ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。
【図１３】無人航空機の機能ブロックの他の一例を示す図である。
【図１４】オブジェクトの移動量について説明するための図である。
【図１５Ａ】輝度の重心に基づいてオブジェクトの移動量を特定する例について説明するための図である。
【図１５Ｂ】輝度の重心に基づいてオブジェクトの移動量を特定する例について説明するための図である。
【図１６】オブジェクトの移動量に応じてＡＦ処理枠を移動させる手順の一例を示すフローチャートである。
【図１７】ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【００２９】
請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【００３０】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。
【００３１】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【００３２】
コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【００３３】
図１は、無人航空機（ＵＡＶ）１０及び遠隔操作装置３００の外観の一例を示す。ＵＡＶ１０は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備える。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
【００３４】
ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。
【００３５】
撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。
【００３６】
複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。
【００３７】
遠隔操作装置３００は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置３００は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置３００は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置３００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。
【００３８】
図２は、ＵＡＶ１０の機能ブロックの一例を示す。ＵＡＶ１０は、ＵＡＶ制御部３０、メモリ３２、通信インタフェース３４、推進部４０、ＧＰＳ受信機４１、慣性計測装置４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、ジンバル５０、及び撮像装置１００を備える。
【００３９】
通信インタフェース３４は、遠隔操作装置３００などの他の装置と通信する。通信インタフェース３４は、遠隔操作装置３００からＵＡＶ制御部３０に対する各種の命令を含む指示情報を受信してよい。メモリ３２は、ＵＡＶ制御部３０が、推進部４０、ＧＰＳ受信機４１、慣性計測装置（ＩＭＵ）４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、ジンバル５０、撮像装置６０、及び撮像装置１００を制御するのに必要なプログラム等を格納する。メモリ３２は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ３２は、ＵＡＶ本体２０の内部に設けられてよい。ＵＡＶ本体２０から取り外し可能に設けられてよい。
【００４０】
ＵＡＶ制御部３０は、メモリ３２に格納されたプログラムに従ってＵＡＶ１０の飛行及び撮像を制御する。ＵＡＶ制御部３０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部３０は、通信インタフェース３４を介して遠隔操作装置３００から受信した命令に従って、ＵＡＶ１０の飛行及び撮像を制御する。推進部４０は、ＵＡＶ１０を推進させる。推進部４０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部４０は、ＵＡＶ制御部３０からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、ＵＡＶ１０を飛行させる。
【００４１】
ＧＰＳ受信機４１は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機４１は、受信された複数の信号に基づいてＧＰＳ受信機４１の位置、つまりＵＡＶ１０の位置を算出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢を検出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢として、ＵＡＶ１０の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス４３は、ＵＡＶ１０の機首の方位を検出する。気圧高度計４４は、ＵＡＶ１０が飛行する高度を検出する。気圧高度計４４は、ＵＡＶ１０の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ４５は、ＵＡＶ１０の周囲の温度を検出する。
【００４２】
撮像装置１００は、撮像部１０２及びレンズ部２００を備える。レンズ部２００は、レンズ装置の一例である。撮像部１０２は、イメージセンサ１２０、撮像制御部１１０、及びメモリ１３０を有する。イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ２１０を介して結像された光学像の画像データを撮像制御部１１０に出力する。撮像制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部１１０は、ＵＡＶ制御部３０からの撮像装置１００の動作命令に応じて、撮像装置１００を制御してよい。メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１３０は、撮像制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１３０は、撮像装置１００の筐体から取り外し可能に設けられてよい。
【００４３】
レンズ部２００は、複数のレンズ２１０、レンズ移動機構２１２、及びレンズ制御部２２０を有する。複数のレンズ２１０は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ２１０の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部２００は、撮像部１０２に対して着脱可能に設けられる交換レンズでよい。レンズ移動機構２１２は、複数のレンズ２１０の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部２２０は、撮像部１０２からのレンズ制御命令に従って、レンズ移動機構２１２を駆動して、１または複数のレンズ２１０を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
【００４４】
このように構成された撮像装置１００は、オートフォーカス処理（ＡＦ処理）を実行して、所望の被写体を撮像する。
【００４５】
撮像装置１００は、ＡＦ処理を実行するために、レンズから被写体までの距離（被写体距離）を決定する。被写体距離を決定するための方式として、レンズと撮像面との位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて決定する方式がある。ここで、この方式を、ぼけ検出オートフォーカス（Ｂｏｋｅｈ  Ｄｅｔｅｃｔｉｏｎ  Ａｕｔｏ  Ｆｏｕｃｕｓ：ＢＤＡＦ）方式と称する。
【００４６】
例えば、画像のぼけ量（Ｃｏｓｔ）は、ガウシアン関数を用いて次式（１）で表すことができる。式（１）において、ｘは、水平方向における画素位置を示す。σは、標準偏差値を示す。
【数１】
2018185939.tif 000003
【００４７】
図３は、式（１）に表される曲線の一例を示す。曲線５００の極小点５０２に対応するレンズ位置にフォーカスレンズを合わせることで、画像Ｉに含まれるオブジェクトに焦点を合わせることができる。
【００４８】
図４は、ＢＤＡＦ方式の距離算出手順の一例を示すフローチャートである。まず、撮像装置１００で、レンズと撮像面とが第１位置関係にある状態で、１枚目の画像Ｉ１を撮像してメモリ１３０に格納する。次いで、フォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させることで、レンズと撮像面とが第２位置関係にある状態にして、撮像装置１００で２枚目の画像Ｉ２を撮像してメモリ１３０に格納する（Ｓ１０１）。例えば、いわゆる山登りＡＦのように、合焦点を超えないようにフォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させる。フォーカスレンズまたはイメージセンサ１２０の撮像面の移動量は、例えば、１０μｍでよい。
【００４９】
次いで、撮像装置１００は、画像Ｉ１を複数の領域に分割する（Ｓ１０２）。画像Ｉ２内の画素ごとに特徴量を算出して、類似する特徴量を有する画素群を一つの領域として画像Ｉ１を複数の領域に分割してよい。画像Ｉ１のうちＡＦ処理枠に設定されている範囲の画素群を複数の領域に分割してもよい。撮像装置１００は、画像Ｉ１の複数の領域に対応する複数の領域に画像Ｉ２を分割する。撮像装置１００は、画像Ｉ１の複数の領域のそれぞれのぼけ量と、画像Ｉ２の複数の領域のそれぞれのぼけ量とに基づいて、複数の領域ごとに複数の領域のそれぞれに含まれるオブジェクトまでの距離を算出する（Ｓ１０３）。
【００５０】
図５を参照して距離の算出手順についてさらに説明する。レンズＬ（主点）からオブジェクト５１０（物面）までの距離をＡ、レンズＬ（主点）からオブジェクト５１０が撮像面で結像する位置（像面）までの距離をＢ、焦点距離をＦとする。この場合、距離Ａ、離Ｂ、及び焦点距離Ｆの関係は、レンズの公式から次式（２）で表すことができる。
【数２】
2018185939.tif 000004
【００５１】
焦点距離Ｆはレンズ位置で特定される。したがって、オブジェクト５１０が撮像面で結像する距離Ｂが特定できれば、式（２）を用いて、レンズＬからオブジェクト５１０までの距離Ａを特定することができる。
【００５２】
図５に示すように、撮像面上に投影されたオブジェクト５１０のぼけの大きさ（錯乱円５１２及び５１４）からオブジェクト５１０が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することができる。つまり、ぼけの大きさ（ぼけ量）が撮像面と結像位置とに比例することを考慮して、結像位置を特定できる。
【００５３】
ここで、撮像面から近い像Ｉ１からレンズＬまでの距離をＤ１とする。撮像面から遠い像Ｉ２からレンズＬまでの距離をＤ２とする。それぞれの画像はぼけている。このときの点像分布関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をＰＳＦ、Ｄ１及びＤ２における画像をそれぞれ、Ｉｄ１及びＩｄ２とする。この場合、例えば、像Ｉ１は、畳み込み演算により次式（３）で表すことができる。
【数３】
2018185939.tif 000005
【００５４】
さらに、画像データＩｄ１及びＩｄ２のフーリエ変換関数をｆとして、画像Ｉｄ１及びＩｄ２の点像分布関数ＰＳＦ１及びＰＳＦ２をフーリエ変換した光学伝達関数（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）をＯＴＦ１及びＯＴＦ２として、次式（４）のように比をとる。
【数４】
2018185939.tif 000006
【００５５】
式（４）に示す値Ｃは、画像Ｉｄ１及びＩｄ２のそれぞれのぼけ量の変化量、つまり、値Ｃは、画像Ｉｄ１のぼけ量と画像Ｉｄ２ｎのぼけ量との差に相当する。
【００５６】
ところで、ぼけ量の異なる２つの画像から２つの画像に含まれるオブジェクトまでの距離を算出する場合、２つの画像のぼけ量の差が小さいと、図３に示すような曲線５００を正確に特定できず、オブジェクトまでの距離を正確に算出できない場合がある。例えば、図６Ａに示すように、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ１から得られるぼけ量Ｃ（ｔ１）との差が閾値Ｔｈより小さいと、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ１）から特定されるガウシアン関数の曲線５２２は、理想の曲線にはならないことがある。曲線５２２から特定されるレンズ位置５２４は、結像位置に対応する理想のレンズ位置５２０からずれている。図６Ｂも同様であり、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ２から得られるぼけ量Ｃ（ｔ２）との差が閾値Ｔｈより小さい。この場合、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ２）から特定されるガウシアン関数の曲線５２６から特定されるレンズ位置５２８は、理想のレンズ位置５２０からずれている。一方、例えば、図６Ｃに示すように、画像Ｉ０から得られるぼけ量Ｃ（ｔ０）と、画像Ｉ３から得られるぼけ量Ｃ（ｔ３）との差が閾値Ｔｈ以上の場合、ぼけ量Ｃ（ｔ０）及びぼけ量Ｃ（ｔ３）から特定されるガウシアン関数の曲線５３０から特定されるレンズ位置５３２は、理想のレンズ位置５２０と一致する。ｘまたはＸは、フォーカスレンズの位置を示す。
【００５７】
以上の通り、ＢＤＡＦ方式でオブジェクトまでの距離を決定する場合には、比較対象となる画像同士のぼけ量の差が予め定められた閾値以上であることが望ましい。
【００５８】
そこで、本実施形態に係る撮像装置１００が備える撮像制御部１１０は、図２に示すように、取得部１１２、算出部１１４、導出部１１６、及び合焦制御部１４０を有する。
【００５９】
取得部１１２は、撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、撮像面とレンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する。取得部１１２は、例えば、図７に示すように、撮像面とレンズとが第１位置関係にある状態で撮像された撮像画像６００のＡＦ処理枠６１０内の画像６０１〜６０５の中から画像６０１を取得する。さらに、取得部１１２は、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、撮像面とレンズとの位置関係を変更した後、撮像された撮像画像６２０のＡＦ処理枠６３０内の画像６２１〜６２５の中から画像６２１を取得する。取得部１１２は、ＡＦ処理枠内の複数の領域の中から予め定められた条件を満たす特徴量を有する領域の画像を取得する。取得部１１２は、ＡＦ処理枠内の複数の領域のそれぞれの特徴量が予め定められた条件を満たす場合には、それぞれの領域の画像を取得してよい。
【００６０】
算出部１１４は、第１画像及び第２画像のそれぞれのぼけ量を算出する。算出部１１４は、例えば画像６０１及び画像６２１のそれぞれのぼけ量Ｃ（ｔ）を算出する。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第１画像及び第２画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御する。合焦制御部１４０は、撮像面及びレンズの少なくとも一方の位置を制御することで、撮像面とレンズとの位置関係を制御してよい。第１閾値Ｔｈ１は、撮像装置１００の仕様に従って定められてよい。第１閾値Ｔｈ１は、撮像装置１００のレンズ特性に基づいて定められてよい。第１閾値Ｔｈ１は、イメージセンサ１２０の画素ピッチに基づいて定められてよい。合焦制御部１４０は、撮像面とレンズとの位置関係を制御する制御部の一例である。
【００６１】
導出部１１６は、第１画像のぼけ量と第２画像のぼけ量とに基づいて、第１画像及び第２画像に含まれる第１オブジェクトまでの第１距離を導出する。導出部１１６は、例えば、上記の式（２）と図５に示す幾何学的関係に基づいて、画像６０１及び画像６２１に含まれるオブジェクト６５０までの距離を導出してよい。合焦制御部１４０は、導出部１１６により導出されたオブジェクト６５０までの距離に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、ＡＦ処理を実行してよい。
【００６２】
取得部１１２は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得してよい。取得部１１２は、例えば、第３位置関係にある状態で撮像された撮像画像６６０に含まれる画像６６１を取得してよい。算出部１１４は、第３画像のぼけ量をさらに算出してよい。合焦制御部１４０は、第１画像のぼけ量と第３画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第１画像及び第３画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１のぼけ量と画像６６１のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０１及び画像６６１のそれぞれのぼけ量に基づいて、オブジェクト６５０に焦点が合うようにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させてよい。
【００６３】
取得部１１２は、第１撮像画像に含まれる第４画像及び第２撮像画像に含まれる第５画像をさらに取得してよい。取得部１１２は、例えば、撮像画像６００に含まれる画像６０２及び撮像画像６２０に含まれる画像６２２を取得してよい。算出部１１４は、第４画像及び第５画像のそれぞれのぼけ量を算出してよい。算出部１１４は、例えば、画像６０２及び画像６２２のそれぞれのぼけ量を算出してよい。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さく、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値Ｔｈ１以上の場合、第４画像及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。導出部１１６は、第４画像のぼけ量と第５画像のぼけ量とに基づいて、第４画像及び第５画像に含まれる第２オブジェクトまでの第２距離を導出してよい。導出部１１６は、例えば、上記の式（２）と図５に示す幾何学的関係に基づいて、画像６０２及び画像６２２に含まれるオブジェクト６５２までの距離を導出してよい。合焦制御部１４０は、例えば、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１より小さく、かつ画像６０２のぼけ量と画像６２２のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０２及び画像６２２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、導出部１１６により導出された画像６０２及び画像６２２に含まれるオブジェクト６５２までの距離に基づいて、オブジェクト６５２に焦点が合うようにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させてよい。
【００６４】
取得部１１２は、第１撮像画像に含まれる第１画像に隣接する第４画像及び第２撮像画像に含まれる第２画像に隣接する第５画像を取得してよい。取得部１１２は、例えば、撮像画像６００に含まれる画像６０１に隣接する画像６０２及び撮像画像６２０に含まれる画像６２１に隣接する画像６２２を取得してよい。算出部１１４は、第４画像及び第５画像のそれぞれのぼけ量を算出してよい。算出部１１４は、例えば、画像６０２及び画像６２２のそれぞれのぼけ量を算出してよい。
【００６５】
合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上で、かつ第４画像のぼけ量と第５画像のぼけ量との差が第１閾値以上Ｔｈ１である場合、第１画像、第２画像、第４画像、及び第５画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、例えば、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１以上で、かつ画像６０２のぼけ量と画像６２２のぼけ量との差が第１閾値Ｔｈ１以上の場合、画像６０１、画像６２１、画像６０２、及び画像６２２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１及び画像６２１のぼけ量に基づいて特定されたオブジェクト６５０までの距離と、画像６０２及び画像６２２のぼけ量に基づいて特定されたオブジェクト６５２までの距離とに基づいて、像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、ＡＦ処理枠内のそれぞれの領域に予め設定された重み付けに従って、重み付けされたそれぞれの領域のそれぞれの距離に基づいてＡＦ処理枠での被写体の距離を決定してよい。
【００６６】
取得部１１２は、第４画像のぼけ量と第５画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。取得部１１２は、例えば、第２位置関係から第３位置関係に撮像面とレンズとの位置関係をさらに変更した後、撮像された撮像画像６６０に含まれる画像６６２をさらに取得してよい。算出部１１４は、第６画像のぼけ量を算出してよい。算出部１１４は、画像６６２のぼけ量を算出してよい。合焦制御部１４０は、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１以上で、かつ第４画像のぼけ量と第６画像のぼけ量との差が第１閾値Ｔｈ１以上である場合、第１画像、第２画像、第４画像、及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。合焦制御部１４０は、画像６０１のぼけ量と画像６２１のぼけ量との差が第１閾値Ｔｈ１以上で、かつ画像６０２のぼけ量と画像６６２のぼけ量との差が第１閾値Ｔｈ１以上である場合、画像６０１、画像６２１、画像６０２、及び画像６６２のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。
【００６７】
合焦制御部１４０は、導出部１１６により導出された第１距離が予め定められた撮像条件を満たし、導出部１１６に導出された第２距離が予め定められた撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値以上の場合、第１距離に基づいて撮像面とレンズとの位置関係を制御してよい。撮像条件は、ポートレートモード、風景モードなどの撮影モードにより決定される条件でよい。撮像条件は、至近端優先、無限遠端優先などの条件でよい。撮影条件が至近端優先であれば、合焦制御部１４０は、導出部１１６の導出されたＡＦ処理枠内のそれぞれの領域のオブジェクトまでの距離の中から、最もオブジェクトまでの距離が短い領域の画像を撮像条件を満たす画像と判断し、それ以外のＡＦ処理枠内の画像を撮像条件を満たさない画像として判断してよい。ここで、第１距離が撮像条件を満たし、第２距離が撮像条件を満たさず、第１画像のぼけ量と第２画像のぼけ量との差が第１閾値Ｔｈ１より小さい場合には、取得部１１２は、撮像面とレンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得してよい。取得部１１２は、例えば、撮像画像６６０から画像６６１を取得してよい。合焦制御部１４０は、第１画像のぼけ量と第６画像のぼけ量との差が第１閾値以上の場合、第１画像のぼけ量及び第６画像のそれぞれのぼけ量に基づいて、撮像面とレンズとの位置関係を制御してよい。導出部１１６は、画像６０１のぼけ量と画像６６１のぼけ量とに基づいて、画像６０１及び画像６６１に含まれるオブジェクト６５０までの距離を導出してよい。合焦制御部１４０は、導出部１１６により導出されたオブジェクト６５０までの距離に基づいて、オブジェクト６５０に焦点が合うように、フォーカスレンズまたはイメージセンサ１２０の像面を移動してよい。
【００６８】
例えば、図８に示すように、算出部１１４が、画像６０１のぼけ量Ｃ（ｔ０）、画像６２１のぼけ量Ｃ（ｔ１）、画像６０２のぼけ量Ｃ'（ｔ０）、画像６２２のぼけ量Ｃ'（ｔ１）を算出する。このときの画像６０１のぼけ量Ｃ（ｔ０）と画像６２１のぼけ量Ｃ（ｔ１）との差Ｔａは、第１閾値Ｔｈ１より小さい。一方、画像６０２のぼけ量Ｃ'（ｔ０）と画像６２１のぼけ量Ｃ'（ｔ１）との差Ｔｂは、第１閾値Ｔｈ１以上である。この場合における撮像条件が無限遠端優先であれば、合焦制御部１４０は、画像６０２及び画像６２２に含まれるオブジェクト６５２に焦点を合わせると判断してよい。一方、撮像条件が至近端優先であれば、合焦制御部１４０は、画像６０１及び画像６２１に含まれるオブジェクト６５０に焦点を合わせると判断してよい。ここで、差Ｔｂは、第１閾値Ｔｈ１以上なので、画像６０２のぼけ量Ｃ'（ｔ０）と画像６２２のぼけ量Ｃ'（ｔ１）とに基づいて特定された曲線７００の精度は高い。よって、合焦制御部１４０は、曲線７００から特定されたレンズ位置７１２に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、精度よくＡＦ処理を実行できる。一方、差Ｔａは第１閾値Ｔｈ１より小さいので、画像６０１のぼけ量Ｃ（ｔ０）と画像６２１のぼけ量Ｃ（ｔ１）とに基づいて特定された曲線７０２の精度は低い。したがって、至近端優先の場合に、合焦制御部１４０が、曲線７０２に基づいて特定されたレンズ位置７１４に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させると、精度よくＡＦ処理を実行できない。そこで、撮像装置１００は、さらにフォーカスレンズまたはイメージセンサ１２０の撮像面を移動させて、撮像画像６６０を撮像する。そして、算出部１１４は、撮像画像６６０の画像６６１のぼけ量Ｃ（ｔ２）を算出する。画像６０１のぼけ量Ｃ（ｔ０）と画像６６１のぼけ量Ｃ（ｔ２）との差Ｔｃは、第１閾値Ｔｈ１以上である。従って、画像６０１のぼけ量Ｃ（ｔ０）と画像６６１のぼけ量Ｃ（ｔ２）とに基づいて特定された曲線７０４は、曲線７０２より精度は高い。よって、合焦制御部１４０は、曲線７０４から特定されたレンズ位置７１６に基づいて、フォーカスレンズまたはイメージセンサ１２０の撮像面を移動させることで、至近端優先の場合にも、精度よくＡＦ処理を実行できる。
【００６９】
図９は、ＢＤＡＦ方式のＡＦ処理の手順の一例を示すフローチャートである。
【００７０】
撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ２０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像から画像Ｉ（ｔ０）を取得する（Ｓ２０２）。撮像制御部１１０は、カウンタをインクリメントする（Ｓ２０３）。次いで、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ２０４）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像から画像Ｉ（ｔ０）に対応する位置の画像Ｉ（ｔｎ）を取得する（Ｓ２０５）。算出部１１４は、画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ２０６）。ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１より小さければ、撮像制御部１１０は、フォーカスレンズをさらに移動させるべく、ステップＳ２０３以降の処理を繰り返す。
【００７１】
差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であれば、導出部１１６は、ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する。合焦制御部１４０は、その距離に基づいて被写体までの距離を決定する（Ｓ２０８）。合焦制御部１４０は、決定された距離に基づいて予測合焦位置へフォーカスレンズを移動させる（Ｓ２０９）。
【００７２】
以上のように、撮像装置１００は、画像間のぼけ量の差が小さい場合には、画像間のぼけ量の差が第１閾値Ｔｈ１以上になるまでフォーカスレンズを移動させる。よって、撮像装置１００は、ＢＤＡＦ方式によるＡＦ処理をより精度よく、高速に実行することができる。
【００７３】
図１０は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１０に示す手順は、ＡＦ処理の速度を優先した撮影モードの場合に適用されてよい。
【００７４】
撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ３０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ３０２）。取得部１１２は、複数の画像のそれぞれの画素値、輝度値、エッジ検出などに基づいて特徴量を算出してよい。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
【００７５】
一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ３０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ３０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ３０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ３０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ３０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ３０８）。ぼけ量Ｃ（ｔ０）とぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在しなければ、撮像制御部１１０は、ステップＳ３０５以降の処理を繰り返す。
【００７６】
差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在すれば、導出部１１６は、該当する画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）と、画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する。合焦制御部１４０は、導出部１１６により導出された距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ３１１）。
【００７７】
以上の処理によれば、合焦制御部１４０は、ＡＦ処理枠内の複数の画像の中から、ぼけ量の差が第１閾値以上の画像が取得できた段階で、予測合焦位置へフォーカスレンズを即座に移動させることができる。
【００７８】
図１１は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１１に示す手順は、ＡＦ処理枠内のそれぞれの領域に重み付けが設定されたマルチポイントＡＦモードで適用されてよい。
【００７９】
撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ４０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ４０２）。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
【００８０】
一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ４０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ４０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ４０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ４０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ４０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ４０８）。
【００８１】
差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在しなければ、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズを移動させて、レンズと撮像面との位置関係が異なる撮像画像をさらに取得すべく、ステップＳ４０５以降の処理を繰り返す。
【００８２】
差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上の画像が存在すれば、該当する画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）と、画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）とに基づいて、画像Ｉ（ｔ０）及び、画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離を導出する（Ｓ４１０）。
【００８３】
閾値以上の特徴量を有するすべての画像についてオブジェクトまでの距離が導出されていなければ、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズを移動させて、レンズと撮像面との位置関係が異なる撮像画像をさらに取得すべく、ステップＳ４０５以降の処理を繰り返す。
【００８４】
閾値以上の特徴量を有するすべての画像についてオブジェクトまでの距離が導出されると、合焦制御部１４０は、それらの距離に基づいて被写体までの距離を決定する（Ｓ４１０）。例えば、図７に示すＡＦ処理枠６１０の場合、ＡＦ処理枠６１０内のそれぞれの画像の領域に個別に重み付けを行ってよい。ＡＦ処理枠６１０内の中央の画像６０１の領域を「１００」、画像６０１の左右に隣接する画像６０２及び画像６０３に「７０」、画像６０１の上方に隣接する画像６０４に「７０」、画像６０１の下方に隣接する画像６０５に「５０」の重み付けが設定されてよい。そして、合焦制御部１４０は、ＡＦ処理枠６１０内のそれぞれの領域について導出されたオブジェクトまでの距離にそれぞれの領域に対する重み付けを行い、重み付けされたそれぞれの距離に基づいて、被写体までの距離を決定してよい。合焦制御部１４０は、決定された被写体までの距離に基づいて、予測合焦位置へフォーカスレンズを移動させる（Ｓ４１３）。
【００８５】
以上のように、複数の領域について距離を算出する場合に、複数の領域ごとにぼけ量の差が第１閾値以上となる画像を取得する。これにより、複数の領域間で導出される距離の精度にばらつきが生じることを防止できる。
【００８６】
図１２は、ＢＤＡＦ方式のＡＦ処理の手順の他の一例を示すフローチャートである。図１２に示す手順は、無限遠端優先または至近端優先などの撮像モードで適用されてよい。
【００８７】
撮像装置１００は、フォーカスレンズをＸ（ｔ０）位置へ移動させる（Ｓ５０１）。撮像装置１００は、例えば、フォーカスレンズを光軸方向に、１０μｍ移動させる。取得部１１２は、Ｘ（ｔ０）位置で撮像された撮像画像に設定されたＡＦ処理枠内の複数の画像を取得する。取得部１１２は、ＡＦ処理枠を複数の領域に分割して、それぞれの領域ごとに画像を取得する。取得部１１２は、複数の画像のそれぞれの特徴量を算出する（Ｓ５０２）。複数の画像の中に閾値以上の特徴量を有する画像が存在しなければ、ＢＤＡＦ方式によるＡＦ処理を実行せずに処理を終了する。
【００８８】
一方、閾値以上の特徴量を有する画像が存在すれば（Ｓ５０３）、取得部１１２は、それらの画像Ｉ（ｔ０）を取得する（Ｓ５０４）。次いで、撮像制御部１１０は、カウンタをインクリメントする（Ｓ５０５）。撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ５０６）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からそれぞれの画像Ｉ（ｔ０）に対応する位置のそれぞれの画像Ｉ（ｔｎ）を取得する（Ｓ５０７）。算出部１１４は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ５０８）。導出部１１６は、それぞれの画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）に基づいて、それぞれの画像Ｉ（ｔ０）及びそれぞれの画像Ｉ（ｔｎ）に含まれるそれぞれのオブジェクトまでの距離を導出する（Ｓ５０９）。
【００８９】
合焦制御部１４０は、算出された距離の中から撮像条件を満たす画像Ｉ（ｔ０）及び画像（ｔｎ）を選択する（Ｓ５１０）。合焦制御部１４０は、例えば、至近端優先であれば、算出された距離の中から最も近い距離の画像Ｉを選択する。合焦制御部１４０は、無限遠端優先であれば、算出された距離の中から最も遠い距離の画像Ｉを選択する。
【００９０】
合焦制御部１４０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像（ｔｎ）のぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であるか否かを判定する（Ｓ５１１）。差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上であれば、合焦制御部１４０は、導出部１１６により導出された画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ５１６）。
【００９１】
合焦制御部１４０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）及び画像（ｔｎ）のぼけ量Ｃ（ｔｎ）との差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１より小さければ、撮像制御部１１０は、カウンタをインクリメントする（Ｓ５１２）。次いで、撮像制御部１１０は、レンズ制御部２２０を介してフォーカスレンズをＸ（ｔｎ）位置へ移動させる（Ｓ５１３）。取得部１１２は、Ｘ（ｔｎ）位置で撮像された撮像画像からステップＳ５１０で選択された画像Ｉ（ｔ０）に対応する位置の画像Ｉ（ｔｎ）を取得する（Ｓ５１４）。算出部１１４は、取得された画像Ｉ（ｔｎ）のぼけ量Ｃ（ｔｎ）を算出する（Ｓ５１５）。
【００９２】
撮像制御部１１０は、選択された画像Ｉ（ｔ０）のぼけ量Ｃ（ｔ０）とのぼけ量の差が第１閾値Ｔｈ１以上となる画像（ｔｎ）が得られるまで、ステップＳ５１１の処理を繰り返す。その後、差｜Ｃ（ｔｎ）−Ｃ（ｔ０）｜が第１閾値Ｔｈ１以上になる画像（ｔｎ）が得られると、合焦制御部１４０は、導出部１１６により導出された画像Ｉ（ｔ０）及び画像Ｉ（ｔｎ）に含まれるオブジェクトまでの距離に基づいて被写体までの距離を決定し、予測合焦位置へフォーカスレンズを移動させる（Ｓ５１６）。
【００９３】
以上の通り、無限遠端優先または至近端優先などの撮像モードでＡＦ処理が実行される場合でも、精度よくＢＤＡＦ方式のＡＦ処理を実行できる。
【００９４】
ところで、例えば、ＵＡＶ１０などの移動体に搭載された撮像装置１００で撮像すると、撮像画像内のオブジェクトが撮像画像内で移動してしまう場合がある。オブジェクトの移動量が大きいと、撮像制御部１１０は、ＢＤＡＦ方式で精度よくＡＦ処理を実行できない場合がある。
【００９５】
そこで、撮像制御部１１０は、オブジェクトの画像内での移動量を考慮して、ＢＤＡＦ方式のＡＦ処理を実行してよい。
【００９６】
図１３は、他の実施形態に係るＵＡＶ１０の機能ブロックの一例を示す。図１３に示すＵＡＶ１０は、撮像制御部１１０が特定部１１３を有する点で、図２に示すＵＡＶ１０と異なる。
【００９７】
特定部１１３は、レンズと撮像面とが第１位置関係にある状態で撮像された第１撮像画像内の第１画像に含まれる特徴点を、レンズと撮像面とが第２位置関係にある状態で撮像された第２撮像画像の特徴点と比較することにより、第１画像に対応する第２撮像画像の領域を特定する。取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値Ｔｈ２以下である場合、第２撮像画像に対して、第１撮像画像と第１画像との位置関係と同一の位置関係にある第２撮像画像の領域の画像を第２画像として取得する。
【００９８】
取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値より大きい場合、その領域を第２画像として取得してよい。取得部１１２は、第１撮像画像における第１画像の位置と第２撮像画像における領域の位置との差が第２閾値Ｔｈ２より大きく、かつ第３閾値Ｔｈ３以下の場合、その領域の画像を第２画像として取得してよい。第２閾値Ｔｈ２及び第３閾値Ｔｈ３は、イメージセンサ１２０の画素ピッチなどに基づいて定められてよい。特定部１１３は、画像を複数のブロックに分割して、ブロック単位に特徴点を探索してよい。そこで、第２閾値Ｔｈ２及び第３閾値Ｔｈ３は、特徴点を探索するブロックのサイズに基づいて定められてよい。
【００９９】
特定部１１３は、例えば、図１４に示すように第１撮像画像８００内におけるＡＦ処理枠８１０の第１画像８１２から特徴点８２０を特定する。特定部１１３は、画素値、輝度、エッジ検出などに基づいて特徴点８２０を特定してよい。次いで、レンズと撮像面との位置関係が変更された状態で撮像された第２撮像画像８０２内から特徴点８２０に対応する特徴点８２１を特定する。特定部１１３は、第１撮像画像８００の特徴点８２０と、第２撮像画像８０２の特徴点８２１とを比較することにより、第１画像８１２に対応する第２撮像画像８０２の領域８１４を特定する。取得部１１２は、第１撮像画像８００における第１画像８１２の位置と第２撮像画像８０２における領域８１４の位置との差が第２閾値Ｔｈ２以下である場合、第２撮像画像８０２に対して、第１撮像画像８００と第１画像８１２との位置関係と同一の位置関係にある第２撮像画像８０２の領域８１６の画像を第２画像として取得する。すなわち、合焦制御部１４０は、第２撮像画像８０２内のＡＦ処理枠８１１を第１撮像画像８００内のＡＦ処理枠８１０に対して移動させず、ＢＤＡＦ方式のＡＦ処理を実行する。
【０１００】
一方、特定部１１３が、レンズと撮像面との位置関係が変更された状態で撮像された第３撮像画像８０４内から特徴点８２０に対応する特徴点８２２を特定したとする。この場合、特定部１１３は、第１撮像画像８００の特徴点８２０と、第３撮像画像８０４の特徴点８２２とを比較することにより、第１画像８１２に対応する第３撮像画像８０４の領域８１６を特定する。取得部１１２は、第１撮像画像８００における第１画像８１２の位置と第３撮像画像８０４における領域８１６の位置との差が第２閾値Ｔｈ２より大きいと判断して、その領域８１６を第２画像として取得する。すなわち、合焦制御部１４０は、領域８１６に対応して第３撮像画像８０４内のＡＦ処理枠８１３を、第１撮像画像８００のＡＦ処理枠８１０に対して、特徴点の移動量分だけ移動させて、移動させたＡＦ処理枠８１３を用いて、ＢＤＡＦ方式のＡＦ処理を実行する。
【０１０１】
このように比較対象のオブジェクトが画像内で許容範囲以上移動した場合には、比較対象の画像の位置を変更して、算出部１１４が変更後の画像からぼけ量を算出する。よって、画像内でオブジェクトが移動しても精度よくＢＤＡＦ方式でのＡＦ処理を実行できる。
【０１０２】
特定部１１３が特定する特徴点は、画像内の輝度の重心から特定してもよい。例えば、図１５Ａに示すように、第１撮像画像９００内にオブジェクト９０２が含まれている。特定部１１３は、第１撮像画像９００を複数のブロック（例えば、８×８画素）単位に分割し、それぞれのブロックごとに輝度を算出し、ブロック単位で輝度を表したモノクロ画像９０１を生成する。特定部１１３は、モノクロ画像９０１から輝度の重心９０３の位置を特定する。同様に、特定部１１３は、第２撮像画像９１０を複数のブロックごとに分割し、それぞれのブロックごとに輝度を算出し、モノクロ画像９１１を生成する。さらに、特定部１１３は、モノクロ画像９１１から輝度の重心９１３の位置を特定する。特定部１１３は、輝度の重心が重心９０３の位置から重心９１３の位置まで移動したことを特定する。特定部１１３は、輝度の重心の移動量が１ブロックの範囲内、つまり、輝度の重心の移動量が８×８画素以内であれば、特徴点の移動量が第２閾値以内であると判断してよい。一方、特定部１１３は、重心の移動量が２ブロックの範囲内であれば、特徴点の移動量が第３閾値以内であると判断してよい。そして、取得部１１２は、図１５Ｂに示すように、第１撮像画像９００の第１画像９３０に対して、第２撮像画像９１０から取得する第２画像として、領域９３１の画像ではなく、領域９３２の画像を取得する。これにより、画像間でのオブジェクト９０２及び９１２の移動の影響を避けることができる。
【０１０３】
図１６は、オブジェクトの移動量に応じてＡＦ処理枠を移動させる手順の一例を示すフローチャートである。
【０１０４】
取得部１１２が、レンズと撮像面とが第１位置関係にある状態で撮像された第１撮像画像から、画像Ｉ（ｔ０）を取得する（Ｓ６０１）。次いで、取得部１１２は、レンズと撮像面とが第２位置関係にある状態で撮像された第２撮像画像から、画像Ｉ（ｔ０）に対応する位置にある画像Ｉ（ｔ１）を取得する（Ｓ６０２）。特定部１１３は、画像Ｉ（ｔ０）内のオブジェクトＳに対する画像Ｉ（ｔ１）のオブジェクトＳの移動量Ｘを演算する（Ｓ６０３）。特定部１１３は、上記のように、画素値、輝度などに基づいて特徴点を特定して、特徴点同士の位置を比較することで、移動量Ｘを演算してよい。
【０１０５】
次いで、合焦制御部１４０は、移動量Ｘが第２閾値Ｔｈ２以下か否かを判定する（Ｓ６０４）。合焦制御部１４０は、合焦制御部１４０は、第１撮像画像の特徴点の位置に対応するブロック内に第２撮像画像の特徴点が存在するか否かを判定してよい。合焦制御部１４０は、例えば、移動量Ｘが８×８画素以内か否かを判定してよい。合焦制御部１４０は、移動量Ｘが第２閾値Ｔｈ２以下であれば、第２撮像画像に対するＡＦ処理枠を移動せず、ステップＳ６０２で取得した画像Ｉ（ｔ１）を利用して、ぼけ量に基づく距離算出処理を実行する（Ｓ６０５）。すなわち、合焦制御部１４０は、画像Ｉ（ｔ０）のぼけ量と、画像Ｉ（ｔ１）のぼけ量とに基づいてオブジェクトＳまでの距離を決定する。その後、合焦制御部１４０は、オブジェクトＳまでの距離に基づいてフォーカスレンズを移動させる。
【０１０６】
一方、移動量Ｘが第２閾値Ｔｈ２より大きい場合、合焦制御部１４０は、移動量Ｘが第３閾値Ｔｈ３以下か否かを判定する（Ｓ６０６）。合焦制御部１４０は、第１撮像画像の特徴点の位置に対応するブロックに隣接するブロック内に第２撮像画像の特徴点が存在するか否かを判定してよい。合焦制御部１４０は、例えば、移動量が２４×２４画素以内か否かを判定してよい。移動量Ｘが第３閾値Ｔｈ３以下であれば、合焦制御部１４０は、比較対象の画像Ｉ（ｔ１）のＡＦ処理枠を移動量Ｘ分移動させる（Ｓ６０７）。次いで、合焦制御部１４０は、移動後のＡＦ処理枠から取得された画像Ｉ（ｔ１）のぼけ量と、画像Ｉ（ｔ０）のぼけ量とに基づいてオブジェクトＳまでの距離を決定する（Ｓ６０５）。その後、合焦制御部１４０は、オブジェクトＳまでの距離に基づいてフォーカスレンズを移動させる。
【０１０７】
以上の通り、画像内のオブジェクトの移動を考慮して、比較対象の画像の位置を調整することで、より精度よくＢＤＡＦ方式のＡＦ処理を実行できる。
【０１０８】
図１７は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
【０１０９】
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【０１１０】
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【０１１１】
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【０１１２】
また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【０１１３】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０１１４】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
【０１１５】
請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１１６】
１０  ＵＡＶ
２０  ＵＡＶ本体
３０  ＵＡＶ制御部
３２  メモリ
３４  通信インタフェース
４０  推進部
４１  ＧＰＳ受信機
４２  慣性計測装置
４３  磁気コンパス
４４  気圧高度計
４５  温度センサ
５０  ジンバル
６０  撮像装置
１００  撮像装置
１０２  撮像部
１１０  撮像制御部
１１２  取得部
１１３  特定部
１１４  算出部
１１６  導出部
１２０  イメージセンサ
１３０  メモリ
１４０  合焦制御部
２００  レンズ部
２１０  レンズ
２１２  レンズ移動機構
２２０  レンズ制御部
３００  遠隔操作装置
１２００  コンピュータ
１２１０  ホストコントローラ
１２１２  ＣＰＵ
１２１４  ＲＡＭ
１２２０  入力／出力コントローラ
１２２２  通信インタフェース
１２３０  ＲＯＭ
【図１】
2018185939.tif 000007
【図２】
2018185939.tif 000008
【図３】
2018185939.tif 000009
【図４】
2018185939.tif 000010
【図５】
2018185939.tif 000011
【図６Ａ】
2018185939.tif 000012
【図６Ｂ】
2018185939.tif 000013
【図６Ｃ】
2018185939.tif 000014
【図７】
2018185939.tif 000015
【図８】
2018185939.tif 000016
【図９】
2018185939.tif 000017
【図１０】
2018185939.tif 000018
【図１１】
2018185939.tif 000019
【図１２】
2018185939.tif 000020
【図１３】
2018185939.tif 000021
【図１４】
2018185939.tif 000022
【図１５Ａ】
2018185939.tif 000023
【図１５Ｂ】
2018185939.tif 000024
【図１６】
2018185939.tif 000025
【図１７】
2018185939.tif 000026
【手続補正書】
【提出日】平成30年12月27日(2018.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する取得部と、
前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する算出部と、
前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する制御部と
を備える撮像制御装置。
【請求項２】
前記取得部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第３画像をさらに取得し、
前記算出部は、前記第３画像のぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第３画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像及び前記第３画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項３】
前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さく、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上の場合、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項４】
前記取得部は、前記第１撮像画像に含まれる前記第１画像に隣接する第４画像及び前記第２撮像画像に含まれる前記第２画像に隣接する第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第５画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項５】
前記第１画像のぼけ量と前記第２画像のぼけ量とに基づいて、前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像のぼけ量と前記第５画像のぼけ量とに基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
前記制御部は、前記第１距離及び前記第２距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
【請求項６】
前記取得部は、前記第４画像のぼけ量と前記第５画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
前記算出部は、前記第６画像のぼけ量をさらに算出し、
前記制御部、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上で、かつ前記第４画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上である場合、前記第１画像、前記第２画像、前記第４画像、及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項４に記載の撮像制御装置。
【請求項７】
前記取得部は、前記第１撮像画像に含まれる第４画像及び前記第２撮像画像に含まれる第５画像をさらに取得し、
前記算出部は、前記第４画像及び前記第５画像のそれぞれのぼけ量をさらに算出し、
前記撮像制御装置は、
前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて前記第１画像及び前記第２画像に含まれる第１オブジェクトまでの第１距離を導出し、前記第４画像及び前記第５画像のそれぞれのぼけ量に基づいて、前記第４画像及び前記第５画像に含まれる第２オブジェクトまでの第２距離を導出する導出部をさらに備え、
前記制御部は、前記第１距離が予め定められた撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値以上の場合、前記第１距離に基づいて前記撮像面と前記レンズとの位置関係を制御する、請求項１に記載の撮像制御装置。
【請求項８】
前記取得部は、前記第１距離が前記撮像条件を満たし、前記第２距離が前記撮像条件を満たさず、前記第１画像のぼけ量と前記第２画像のぼけ量との差が前記第１閾値より小さい場合、前記撮像面と前記レンズとが第３位置関係にある状態で撮像された第３撮像画像に含まれる第６画像をさらに取得し、
前記算出部は、前記第６画像のぼけ量をさらに算出し、
前記制御部は、前記第１画像のぼけ量と前記第６画像のぼけ量との差が前記第１閾値以上の場合、前記第１画像のぼけ量及び前記第６画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する、請求項７に記載の撮像制御装置。
【請求項９】
前記第１画像に含まれる特徴点を前記第２撮像画像の特徴点と比較することにより、前記第１画像に対応する前記第２撮像画像の領域を特定する特定部をさらに備え、
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が第２閾値以下である場合、前記第２撮像画像に対して、前記第１撮像画像と前記第１画像との位置関係と同一の位置関係にある前記第２撮像画像の領域の画像を前記第２画像として取得する、請求項１から８の何れか１つに記載の撮像制御装置。
【請求項１０】
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きい場合、前記領域を前記第２画像として取得する、請求項９に記載の撮像制御装置。
【請求項１１】
前記取得部は、前記第１撮像画像における前記第１画像の位置と前記第２撮像画像における前記領域の位置との差が前記第２閾値より大きく、かつ第３閾値以下の場合、前記領域の画像を前記第２画像として取得する、請求項９に記載の撮像制御装置。
【請求項１２】
前記特定部は、前記第１画像の輝度及び前記第２撮像画像の前記領域の輝度に基づいてそれぞれの特徴点を特定する、請求項９に記載の撮像制御装置。
【請求項１３】
前記特定部は、前記第１画像の輝度の重心を前記第１画像に含まれる前記特徴点とし、前記第２撮像画像の前記領域の輝度の重心を前記第２撮像画像の前記特徴点として特定する、請求項１２に記載の撮像制御装置。
【請求項１４】
前記レンズに含まれるフォーカスレンズの位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１から１３の何れか１つに記載の撮像制御装置。
【請求項１５】
前記撮像面の位置が変更されることで、前記撮像面と前記レンズとが前記第１位置関係にある状態から前記第２位置関係にある状態に変更される、請求項１から１３の何れか１つに記載の撮像制御装置。
【請求項１６】
前記ぼけ量は、ぼけの大きさを示す、請求項１から１５の何れか１つに記載の撮像制御装置。
【請求項１７】
前記算出部は、点像分布関数に従って前記ぼけ量を算出する、請求項１から１６の何れか１つに記載の撮像制御装置。
【請求項１８】
請求項１から１７の何れか１つに記載の撮像制御装置と、
前記撮像面を有するイメージセンサと、
前記レンズと
を備える撮像装置。
【請求項１９】
請求項１８に記載の撮像装置と、
前記撮像装置を支持する支持機構と
を備える撮像システム。
【請求項２０】
請求項１９に記載の撮像システムを搭載して移動する移動体。
【請求項２１】
撮像面とレンズとが第１位置関係にある状態で撮像された第１撮像画像に含まれる第１画像と、前記撮像面と前記レンズとが第２位置関係にある状態で撮像された第２撮像画像に含まれる第２画像を取得する段階と、
前記第１画像及び前記第２画像のそれぞれのぼけ量を算出する段階と、
前記第１画像のぼけ量と前記第２画像のぼけ量との差が第１閾値以上の場合、前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記撮像面と前記レンズとの位置関係を制御する段階と
を備える撮像制御方法。
【請求項２２】
請求項１から１７の何れか１つに記載の撮像制御装置としてコンピュータを機能させるためのプログラム。
【国際調査報告】
2018185939.tif 000027
2018185939.tif 000028