(57)【特許請求の範囲】
【請求項１】
移動体に搭載された第１撮像部と、
前記移動体に搭載された第２撮像部と、
前記第１撮像部によって撮像された第１の画像に基づいて、前記移動体の移動を制御する第１の制御部と、
前記第１の画像に基づいて、被写体を特定する特定部と、
前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する第２の制御部と
を備え、
前記特定部は、前記第２撮像部の画角が予め定められた値以上の場合、前記第２撮像部のみによって撮像された画像に基づいて、前記被写体を特定する、撮像システム。
【請求項２】
前記第１撮像部は、第１レンズ装置を有し、
前記第２撮像部は、前記第１レンズ装置より望遠である第２レンズ装置を有する、請求項１に記載の撮像システム。
【請求項３】
前記第２レンズ装置は、前記第１レンズ装置より画角が狭い、請求項２に記載の撮像システム。
【請求項４】
前記第２レンズ装置は、前記第１レンズ装置より焦点距離が長い、請求項２又は３に記載の撮像システム。
【請求項５】
移動体に搭載された第１撮像部と、
前記移動体に搭載された第２撮像部と、
前記第１撮像部によって撮像された第１の画像に基づいて、前記第２撮像部が搭載された移動体の移動を制御する第１の制御部と、
前記第１の画像に基づいて、被写体を特定する特定部と、
前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する第２の制御部と
を備え、
前記第１撮像部は、第１レンズ装置を有し、
前記第２撮像部は、前記第１レンズ装置より望遠である第２レンズ装置を有し、
前記第２レンズ装置は、画角を変更可能であり、
前記特定部は、
前記第２レンズ装置の画角が予め定められた値未満の場合、前記第１撮像部によって撮像された画像に基づいて、被写体を特定する、撮像システム。
【請求項６】
前記第１撮像部の撮像範囲は、前記第２撮像部の撮像範囲より広い、請求項１から５のいずれか一項に記載の撮像システム。
【請求項７】
前記第１の画像に基づいて、被写体の立体情報を取得する第１の取得部と、
前記第１の制御部は、前記立体情報に基づいて、前記移動体の移動を制御する、請求項１から６のいずれか一項に記載の撮像システム。
【請求項８】
複数の前記第１撮像部
を備え、
前記特定部は、前記複数の第１撮像部のうちの少なくとも１つによって撮像された画像に基づいて、被写体を特定する、請求項１から７のいずれか一項に記載の撮像システム。
【請求項９】
移動体に搭載された第１撮像部と、
前記移動体に搭載された第２撮像部と、
前記第１撮像部によって撮像された第１の画像に基づいて、前記第２撮像部が搭載された移動体の移動を制御する第１の制御部と、
前記第１の画像に基づいて、被写体を特定する特定部と、
前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する第２の制御部と
を備え、
複数の前記第１撮像部を保持する第１の保持部と、
前記第２撮像部を保持し、前記第２撮像部の撮像方向を変更可能な第２の保持部と、
前記複数の第１撮像部のうち、他の第１撮像部より前記第２撮像部の撮像方向に近い撮像方向の前記第１撮像部を選択する選択部と
をさらに備え、
前記特定部は、前記選択部が選択した前記第１撮像部によって撮像された画像に基づいて、被写体を特定する、撮像システム。
【請求項１０】
移動体に搭載された第１撮像部と、
前記移動体に搭載された第２撮像部と、
前記第１撮像部によって撮像された第１の画像に基づいて、前記第２撮像部が搭載された移動体の移動を制御する第１の制御部と、
前記第１の画像に基づいて、被写体を特定する特定部と、
前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する第２の制御部と
を備え、
前記特定部は、前記第２撮像部によって撮像された第２の画像にさらに基づいて、被写体を特定する、の撮像システム。
【請求項１１】
移動体に搭載された第１撮像部と、
前記移動体に搭載された第２撮像部と、
前記第１撮像部によって撮像された第１の画像に基づいて、前記第２撮像部が搭載された移動体の移動を制御する第１の制御部と、
前記第１の画像に基づいて、被写体を特定する特定部と、
前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する第２の制御部と
を備え、
前記特定部は、前記第１の画像に基づいて特定された被写体と、前記第２撮像部によって撮像された第２の画像に基づいて特定された被写体とのうち一方を、予め定められた基準に従って、被写体として特定する、撮像システム。
【請求項１２】
前記第１の画像に基づいて、前記特定部が特定した被写体までの距離を取得する第２の取得部と、
前記第２の取得部が取得した被写体までの距離に基づいて、前記第２撮像部の焦点距離を調整する調整部と
をさらに備える、請求項１から１１のいずれか一項に記載の撮像システム。
【請求項１３】
前記第２の制御部は、前記第２撮像部の画角を制御することにより、前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する、請求項１から１２のいずれか一項に記載の撮像システム。
【請求項１４】
前記第２の制御部は、前記第２撮像部の向きを制御することにより、前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する、請求項１から１３のいずれか一項に記載の撮像システム。
【請求項１５】
請求項１から１４のいずれか一項に記載の撮像システムを備えて移動する移動体。
【請求項１６】
前記第２の制御部は、前記移動体の位置を制御することにより、前記特定部が特定した被写体が前記第２撮像部の撮像範囲に含まれるように制御する、請求項１５に記載の移動体。
【請求項１７】
移動体に搭載された第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された前記移動体の移動を制御する段階と、
前記第１の画像に基づいて、被写体を特定する段階と、
特定された被写体が前記第２撮像部の撮像範囲に含まれるように制御する段階と
を備え、
前記第１撮像部は、第１レンズ装置を有し、
前記第２撮像部は、第２レンズ装置を有し、
前記被写体を特定する段階は、
前記第２レンズ装置の画角が予め定められた値以上の場合、前記第２撮像部のみによって撮像された画像に基づいて、被写体を特定する段階と、
前記第２レンズ装置の画角が前記予め定められた値未満の場合、前記第１撮像部によって撮像された画像に基づいて、被写体を特定する段階と
を含む、撮像方法。
【請求項１８】
前記第２レンズ装置は、前記第１レンズ装置より望遠である、請求項１７に記載の撮像方法。
【請求項１９】
移動体に搭載された第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された前記移動体の移動を制御する段階と、
前記第１の画像に基づいて、被写体を特定する段階と、
特定された被写体が前記第２撮像部の撮像範囲に含まれるように制御する段階と
を備え、
前記第１撮像部は、第１レンズ装置を有し、
前記第２撮像部は、前記第１レンズ装置より望遠である第２レンズ装置を有し、
前記被写体を特定する段階は、
前記第２レンズ装置の画角が予め定められた値以上の場合、前記第２撮像部によって撮像された画像に基づいて、被写体を特定する段階と、
前記第２レンズ装置の画角が前記予め定められた値未満の場合、前記第１撮像部によって撮像された画像に基づいて、被写体を特定する段階と
を含む、撮像方法。
【請求項２０】
前記第１の画像に基づいて、特定された前記被写体までの距離を取得する段階と、
取得された前記被写体までの距離に基づいて、前記第２撮像部の焦点距離を調整する段階と
をさらに備える、請求項１７から１９のいずれか一項に記載の撮像方法。
【請求項２１】
移動体に搭載された複数の第１撮像部のうちの少なくとも１つによって撮像された第１の画像に基づいて、撮影方向を前記移動体に対して変更可能な第２撮像部が搭載された前記移動体の移動を制御する段階と、
前記複数の第１撮像部のうち、他の第１撮像部より前記第２撮像部の撮像方向に近い撮像方向の第１撮像部を選択する段階と、
選択された前記第１撮像部により撮像された前記第１の画像に基づいて、被写体を特定する段階と、
特定された被写体が前記第２撮像部の撮像範囲に含まれるように制御する段階と
を備える、撮像方法。
【請求項２２】
移動体に搭載された第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された前記移動体の移動を制御する段階と、
前記第１の画像に基づいて、被写体を特定する段階と、
特定された被写体が前記第２撮像部の撮像範囲に含まれるように制御する段階と
を備え、
前記被写体を特定する段階は、前記第２撮像部によって撮像された第２の画像にさらに基づいて、被写体を特定する段階を含む、撮像方法。
【請求項２３】
移動体に搭載された第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された前記移動体の移動を制御する段階と、
前記第１の画像に基づいて、被写体を特定する段階と、
特定された被写体が前記第２撮像部の撮像範囲に含まれるように制御する段階と
を備え、
前記被写体を特定する段階は、前記第１の画像に基づいて特定された被写体と、前記第２撮像部によって撮像された第２の画像に基づいて特定された被写体とのうち一方を、予め定められた基準に従って、被写体として特定する段階を含む、撮像方法。
【請求項２４】
請求項１７から２３のいずれか一項に記載の撮像方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、移動体、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、移動体に搭載されたカメラと、カメラを保持する安定化装置とを備える被写体追尾装置が開示されている。安定化装置は、カメラが被写体を連続的に撮像する間、カメラの向きを制御する。
特許文献１  特開２００８−２４４８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
移動体に搭載された撮像装置の撮像範囲に所望の被写体をより確実に含めることが望まれている。
【課題を解決するための手段】
【０００４】
一態様において、撮像システムは、第１撮像部と、第２撮像部と、第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された移動体の移動を制御する第１の制御部と、第１撮像部によって撮像された画像に基づいて、被写体を特定する特定部と、特定部が特定した被写体が第２撮像部の撮像範囲に含まれるように制御する第２の制御部とを備える。
【０００５】
第１撮像部は、第１レンズ装置を有してよい。第２撮像部は、第１レンズ装置より望遠である第２レンズ装置を有してよい。
【０００６】
第２レンズ装置は、第１レンズ装置より画角が狭くてよい。
【０００７】
第２レンズ装置は、第１レンズ装置より焦点距離が長くてよい。
【０００８】
第２レンズ装置は、画角を変更可能でよい。特定部は、第２レンズ装置の画角が予め定められた値未満の場合、第１撮像部によって撮像された画像に基づいて、被写体を特定してよい。
【０００９】
第１撮像部の撮像範囲は、第２撮像部の撮像範囲より広くてよい。
【００１０】
撮像システムは、第１の画像に基づいて、被写体の立体情報を取得する取得部を備えてよい。第１の制御部は、立体情報に基づいて、移動体の移動を制御してよい。
【００１１】
撮像システムは、複数の第１撮像部を備えてよい。特定部は、複数の第１撮像部のうちの少なくとも１つによって撮像された画像に基づいて、被写体を特定してよい。
【００１２】
撮像システムは、複数の第１撮像部を保持する第１の保持部を備えてよい。撮像システムは、第２撮像部を保持し、第２撮像部の撮像方向を変更可能な第２の保持部を備えてよい。撮像システムは、複数の第１撮像部のうち、第２撮像部の撮像方向により近い撮像方向の第１撮像部を選択する選択部を備えてよい。特定部は、選択部が選択した第１撮像部によって撮像された画像に基づいて、目標となる被写体を特定してよい。
【００１３】
特定部は、第２撮像部によって撮像された画像にさらに基づいて、目標となる被写体を特定してよい。
【００１４】
特定部は、第１の画像に基づいて特定された被写体と、第２の画像に基づいて特定された被写体とのうち一方を、予め定められた基準に従って、被写体として特定してよい。
【００１５】
撮像システムは、第１の画像に基づいて、特定部が特定した被写体までの距離を取得する取得部を備えてよい。撮像システムは、取得部が取得した被写体までの距離に基づいて、第２撮像部の焦点距離を調整する調整部を備えてよい。
【００１６】
制御部は、第２撮像部の画角を制御することにより、特定部が特定した被写体が第２撮像部の撮像範囲に含まれるように制御してよい。
【００１７】
制御部は、第２撮像部の向きを制御することにより、特定部が特定した被写体が第２撮像部の撮像範囲に含まれるように制御してよい。
【００１８】
一態様において、移動体は、撮像システムを備えて移動する。
【００１９】
制御部は、移動体の位置を制御することにより、特定部が特定した被写体が第２撮像部の撮像範囲に含まれるように制御してよい。
【００２０】
一態様において、撮像方法は、第１撮像部によって撮像された第１の画像に基づいて、第２撮像部が搭載された移動体の移動を制御する段階と、第１の画像に基づいて、被写体を特定する段階と、特定された被写体が第２撮像部の撮像範囲に含まれるように制御する段階とを備える。
【００２１】
第１撮像部は、第１レンズ装置を有してよい。第２撮像部は、第１レンズ装置より望遠である第２レンズ装置を有してよい。被写体を特定する段階は、第２レンズ装置の画角が予め定められた値以上の場合、第１撮像部によって撮像された動画に基づいて、被写体を特定する段階を含んでよい。被写体を特定する段階は、第２レンズ装置の画角が予め定められた値未満の場合、第２撮像部によって撮像された動画に基づいて、被写体を特定する段階を含んでよい。
【００２２】
撮像方法は、第１の画像に基づいて、特定された被写体までの距離を取得する段階を備えてよい。撮像方法は、取得された被写体までの距離に基づいて、第２撮像部の焦点距離を調整する段階を備えてよい。
【００２３】
一態様において、プログラムは、撮像方法をコンピュータに実行させる。
【００２４】
上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。
【図面の簡単な説明】
【００２５】
【図１】ＵＡＶの外観の一例を示す図である。
【図２】ＵＡＶの機能ブロックの一例を示す図である。
【図３】ＵＡＶ制御部の機能ブロックの一例を示す図である。
【図４】複数の撮像装置の複数の撮像範囲の位置関係の一例を示す図である。
【図５】複数の撮像装置の複数の撮像範囲の位置関係の一例を示す図である。
【図６】複数の撮像装置の複数の撮像範囲の位置関係の一例を示す図である。
【図７】ＵＡＶによる被写体の追尾の手順の一例を示す図である。
【図８】ＵＡＶによる被写体の追尾の手順の他の例を示す図である。
【発明を実施するための形態】
【００２６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２７】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【００２８】
図１は、無人航空機（ＵＡＶ）１００の外観の一例を示す。ＵＡＶ１００は、ＵＡＶ本体１０２、ジンバル２００、撮像装置２２０、及び複数の撮像装置２３０を備える。ＵＡＶ１００は、撮像システムを備えて移動する移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。
【００２９】
ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することでＵＡＶ１００を飛行させる。ＵＡＶ本体１０２は、例えば、４つの回転翼を用いてＵＡＶ１００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１００は、回転翼を有さない固定翼機でもよい。
【００３０】
撮像装置２２０は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。複数の撮像装置２３０は、ＵＡＶ１００の飛行を制御するためにＵＡＶ１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、ＵＡＶ１００の機首である正面に設けられてよい。さらに他の２つの撮像装置２３０が、ＵＡＶ１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００の周囲の３次元空間データが生成されてよい。ＵＡＶ１００が備える撮像装置２３０の数は４つには限定されない。ＵＡＶ１００は、少なくとも１つの撮像装置２３０を備えていればよい。ＵＡＶ１００は、ＵＡＶ１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてもよい。撮像装置２３０で設定できる画角は、撮像装置２２０で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズ又は魚眼レンズを有してもよい。ＵＡＶ本体１０２は、第１の保持部の一例である。
【００３１】
図２は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ制御部１１０、通信インタフェース１５０、メモリ１６０、ジンバル２００、回転翼機構２１０、撮像装置２２０、及び撮像装置２３０を備える。通信インタフェース１５０は、外部の送信機と通信する。通信インタフェース１５０は、遠隔の送信機からＵＡＶ制御部１１０に対する各種の命令を受信する。メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０、及び撮像装置２３０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ１００の筐体に設けられてよい。ＵＡＶ１００の筐体から取り外し可能に設けられてよい。
【００３２】
ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。ジンバル２００は、第２の保持部の一例である。
【００３３】
撮像装置２２０は、所望の撮像範囲の被写体を撮像して画像データを生成する。撮像装置２２０の画像データは、撮像装置２２０が有するメモリ、又はメモリ１６０に格納される。レンズ装置２２２は、１又は複数のレンズを含む。レンズ装置２２２は、１又は複数のレンズを光軸に沿って移動させることにより、ズーム動作及びフォーカス動作を実行する。レンズ装置２２２は、ズーム動作により画角を変更できる。
【００３４】
撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。撮像装置２２０は、レンズ装置２２２を備える。撮像装置２３０は、レンズ装置２３２を備える。レンズ装置２３２は、１又は複数のレンズを含む。レンズ装置２３２は、１又は複数のレンズを光軸に沿って移動させることにより、ズーム動作及びフォーカス動作を実行してもよい。レンズ装置２２２は、レンズ装置２３２より望遠でよい。レンズ装置２２２は、レンズ装置２３２より画角が狭くてよい。レンズ装置２２２は、レンズ装置２３２より焦点距離が長くてよい。撮像装置２３０の撮像範囲は、撮像装置２２０の撮像範囲より広くてよい。
【００３５】
ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従ってＵＡＶ１００の飛行及び撮像を制御する。ＵＡＶ制御部１１０は、ＣＰＵ又はＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔の送信機から受信した命令に従って、ＵＡＶ１００の飛行及び撮像を制御する。ＵＡＶ制御部１１０は、飛行制御及び撮像制御のためのプログラムをメモリ１６０から読み出して実行することにより、撮像システムとして機能する。ＵＡＶ制御部１１０、撮像装置２２０及び撮像装置２３０は、撮像システムの一例である。撮像システムは、ジンバル２００等の他の構成を含んでもよい。
【００３６】
図３は、ＵＡＶ制御部１１０の機能ブロックの一例を示す。ＵＡＶ制御部１１０は、立体情報取得部１１１、移動制御部１１２、被写体特定部１１４、撮像範囲制御部１１６、撮像選択部１１８、被写体距離取得部１２０、及び焦点距離調整部１２２を備える。ＵＡＶ制御部１１０が備える各部は、ハードウェア、ファームウェア、及びソフトウェアのいずれかで構成されてよい。
【００３７】
立体情報取得部１１１は、複数の撮像装置２３０によって撮像された画像に基づいて、撮像対象の立体情報を取得する。立体情報取得部１１１は、複数の撮像装置２３０により撮像された複数の画像に基づいてＵＡＶ１００の周囲の３次元空間データを生成してよい。立体情報取得部１１１は、第１の取得部の一例である。
【００３８】
移動制御部１１２は、撮像装置２３０によって撮像された画像に基づいて、ＵＡＶ１００の移動を制御する。移動制御部１１２は、立体情報取得部１１１により取得された立体情報に基づいてＵＡＶ１００の移動を制御してよい。移動制御部１１２は、立体情報を解析することで、ＵＡＶ１００の周囲の環境を特定してよい。移動制御部１１２は、ＵＡＶ１００の周囲の環境に基づいて、障害物を回避させるようにＵＡＶ１００の飛行を制御してよい。移動制御部１１２は、立体情報取得部１１１により生成された３次元空間データに基づいて飛行を制御してよい。移動制御部１１２は、第１の制御部の一例である。
【００３９】
被写体特定部１１４は、複数の撮像装置２３０の少なくとも１つによって撮像された画像に基づいて、目標となる被写体を特定する。被写体特定部１１４は、撮像選択部１１８が選択した撮像装置２３０によって撮像された画像に基づいて、目標となる被写体を特定してよい。被写体特定部１１４は、特定部の一例である。撮像選択部１１８は、複数の撮像装置２３０のうち、撮像装置２２０の撮像方向により近い撮像方向の撮像装置２３０を選択してよい。撮像選択部１１８は、選択部の一例である。
【００４０】
被写体特定部１１４は、撮像装置２２０によって撮像された画像にさらに基づいて、目標となる被写体を特定してよい。被写体特定部１１４は、撮像装置２２０の画角が予め定められた値未満の場合、撮像装置２３０によって撮像された画像に基づいて、目標となる被写体を特定してよい。画像とは、静止画又は動画像を含む概念である。被写体特定部１１４は、撮像装置２３０によって撮像された画像に基づいて特定された被写体と、撮像装置２２０によって撮像された画像に基づいて特定された被写体とのうち一方を、予め定められた基準に従って、目標となる被写体として特定してよい。被写体特定部１１４は、撮像装置２３０の画像により特定された被写体の信頼度と、撮像装置２２０の画像により特定された被写体の信頼度とを比較してよい。被写体特定部１１４は、より信頼度の高い被写体を目標の被写体として特定してよい。被写体の信頼度は、被写体の確からしさを示す指標である。被写体特定部１１４は、予め定められた基準画像に含まれる被写体と、撮像された画像に含まれる被写体との類似度を導出することで、信頼度を導出してよい。被写体特定部１１４は、いわゆる顔認証システムを利用して被写体の信頼度を導出してよい。
【００４１】
撮像範囲制御部１１６は、被写体特定部１１４が特定した被写体が撮像装置２２０の撮像範囲に含まれるように制御する。撮像範囲制御部１１６は、撮像装置２２０の画角を制御することにより、被写体特定部１１４が特定した被写体が撮像装置２２０の撮像範囲に含まれるように制御してよい。撮像範囲制御部１１６は、撮像装置２２０の向きを制御することにより、被写体特定部１１４が特定した被写体が撮像装置２２０の撮像範囲に含まれるように制御してよい。撮像範囲制御部１１６は、ジンバル２００を制御して撮像装置２２０の向きを制御してよい。撮像範囲制御部１１６は、ＵＡＶ１００の位置を制御することにより、被写体特定部１１４が特定した被写体が撮像装置２２０の撮像範囲に含まれるように制御してよい。撮像範囲制御部１１６は、第２の制御部の一例である。
【００４２】
被写体距離取得部１２０は、撮像装置２３０によって撮像された画像に基づいて、被写体特定部１１４が特定した被写体までの距離を取得する。被写体距離取得部１２０は、第２の取得部の一例である。移動制御部１１２は、複数の撮像装置２３０によって撮像された複数の画像に基づいて、例えば三角測距方式で被写体までの距離を取得してよい。焦点距離調整部１２２は、被写体距離取得部１２０が取得した被写体までの距離に基づいて、撮像装置２２０の焦点距離を調整する。焦点距離調整部１２２は、被写体距離取得部１２０が取得した被写体までの距離に基づいて、レンズ装置２２２に対してフォーカス調整するよう指示する。焦点距離調整部１２２は、調整部の一例である。
【００４３】
被写体特定部１１４は、撮像装置２２０及び撮像装置２３０の少なくとも一方の画像を利用して被写体を特定する。これにより、例えば、ＵＡＶ１００が特定の被写体を追尾する場合に、特定の被写体を見失いにくくできる。撮像装置２３０は、ＵＡＶ１００の飛行を制御するために利用されるセンシング用のカメラでよい。したがって、被写体の追尾を補強するために、ＵＡＶ１００に新たなカメラを設ける必要がない。
【００４４】
センシング用のカメラは、例えば、ＵＡＶ１００の周囲の障害物を検出するために用いられる。したがって、センシング用のカメラは、ＵＡＶ１００の周囲の比較的広い領域を撮像できることが好ましい。センシング用のカメラの画角は撮像用のカメラの画角より広いほうが好ましい。よって、センシング用のカメラの撮像範囲に目標の被写体が含まれる確率は、撮像用のカメラの撮像範囲に目標の被写体が含まれる確率より高い。撮像装置２２０は、撮像用のカメラであり、例えば、被写体がより大きく写るように画角を狭くする場合がある。画角が狭いと被写体が撮像範囲に含まれにくくなる。そこで、撮像装置２２０の画像による被写体の追尾と並行して、撮像装置２３０の画像による被写体の追尾を実行する。これにより、たとえＵＡＶ１００が撮像装置２２０の画像により被写体を途中で追尾できなくなっても、撮像装置２３０の画像により被写体を継続的に追尾できる。
【００４５】
図４、図５、及び図６は、複数の撮像装置の複数の撮像範囲の位置関係の一例を示す図である。撮像範囲１２、１４、１６、及び１８は、それぞれ撮像装置２３０の撮像範囲である。撮像範囲１２、１４、１６、及び１８の位置関係は、一例であり、任意の位置関係であってよい。
【００４６】
撮像範囲１０は、撮像装置２２０の撮像範囲である。図４に示すように、撮像装置２２０の撮像範囲の外に目標となる被写体３０が存在する。この場合、被写体特定部１１４が、撮像装置２２０の画像のみで被写体３０を特定しようとしても、撮像装置２２０の撮像範囲に被写体３０がいないので、被写体３０を特定できない。被写体特定部１１４は、撮像範囲１２又は撮像範囲１４を有する撮像装置２３０によって撮像された画像から被写体３０を特定できる。被写体特定部１１４が撮像装置２３０の画像により被写体３０を特定した後、撮像範囲制御部１１６が、ジンバル２００を制御することで、撮像装置２２０の撮像方向を調整する。これにより、撮像範囲制御部１１６は、撮像装置２２０の撮像範囲１０を撮像範囲１０'に変更してよい。撮像範囲制御部１１６は、図５に示すように、レンズ装置２２２を制御することで撮像装置２２０の画角を広くしてよい。これにより、撮像範囲制御部１１６は、撮像装置２２０の撮像範囲１０を撮像範囲１０'に変更してよい。撮像範囲制御部１１６は、図６に示すように、回転翼機構２１０を制御してＵＡＶ１００の位置を変更してよい。これにより、撮像範囲制御部１１６は、撮像装置２２０の撮像範囲１０を撮像範囲１０'に変更してよい。これらの制御により、被写体特定部１１４は、再び撮像装置２２０の画像により被写体を特定できる。
【００４７】
図７は、ＵＡＶ１００による被写体の追尾の手順の一例を示す図である。当該手順は、例えば、撮像装置２２０により撮像された動画をＵＡＶ１００を操作するユーザの送信機に提供しているときに実行されてよい。
【００４８】
被写体特定部１１４は、撮像装置２２０により撮像されている画像内で目標となる被写体の指定を受け付ける（Ｓ１００）。被写体特定部１１４は、例えば撮像装置２２０により撮像されている動画を観察しているユーザから、目標となる被写体の指定を送信機を介して受け付けてよい。ユーザは、送信機を介して撮像装置２３０の画角、焦点距離、撮像方向などの撮像条件を随時変更できる。被写体特定部１１４は、指定された被写体を撮像装置２２０により撮像された画像から特定して、被写体を追尾する（Ｓ１０２）。被写体特定部１１４は、撮像装置２２０の画角が予め定められた値未満か否かを判定する（Ｓ１０４）。撮像装置２２０の画角が予め定められた値以上であれば、被写体特定部１１４は、撮像装置２３０による被写体の追尾は不要と判断して、撮像装置２２０による追尾のみを継続する。一方、撮像装置２２０の画角が予め定められた値未満であれば、撮像装置２２０による被写体の追尾が途中でできなくなる可能性があると判断して、被写体特定部１１４は、撮像装置２２０及び２３０による被写体の追尾を並行して試みる。
【００４９】
撮像選択部１１８は、撮像装置２２０の撮像方向に基づいて、複数の撮像装置２３０の中から被写体の追尾に最適な撮像装置２３０を選択する（Ｓ１０６）。撮像選択部１１８は、撮像装置２２０の撮像方向に近い撮像方向の撮像装置２３０を選択する。撮像選択部１１８は、ジンバル２００に対する撮像装置２２０の姿勢に基づいて、撮像装置２２０の撮像方向を特定してよい。撮像選択部１１８は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度に基づいて、撮像装置２２０の撮像方向を特定してよい。被写体特定部１１４は、選択された撮像装置２３０の画像から目標となる被写体を特定して、被写体をさらに追尾する（Ｓ１０８）。
【００５０】
被写体特定部１１４は、撮像装置２２０の画像により被写体の追尾ができているか否かを判定する（Ｓ１１０）。追尾ができていれば、被写体特定部１１４は、撮像装置２２０の画像による被写体の追尾を継続する。被写体特定部１１４が、撮像装置２２０の画像による被写体の追尾をできていない場合、被写体特定部１１４は、選択された撮像装置２３０の画像による被写体の追尾ができているか否かを判定する（Ｓ１１２）。
【００５１】
被写体の追尾ができている場合、撮像範囲制御部１１６は、撮像装置２３０の画像に基づいて、被写体の位置を取得する。被写体距離取得部１２０は、撮像装置２３０の画像に基づいて被写体までの距離を取得する（Ｓ１１４）。撮像範囲制御部１１６及び焦点距離調整部１２２は、被写体の位置及び被写体までの距離に基づいて、撮像装置２２０の撮像条件を調整する（Ｓ１１６）。撮像範囲制御部１１６は、被写体の位置に基づいて、撮像装置２３０の画角、撮像方向、又はＵＡＶ１００の位置を制御して、撮像範囲を調整する。焦点距離調整部１２２は、被写体までの距離に基づいて撮像装置２２０の焦点距離を調整する。撮像装置２２０の撮像条件が調整された後、被写体特定部１１４は、再び撮像装置２２０の画像による被写体の追尾を継続する。
【００５２】
被写体特定部１１４が、撮像装置２２０及び撮像装置２３０による画像により被写体の追尾ができない場合には、被写体の追尾ができないことをユーザに通知する（Ｓ１１８）。ユーザは、その通知を受けて、ＵＡＶ１００を移動したり、撮像装置２３０の撮像範囲を調整したりして、被写体を探す。
【００５３】
以上の通り、撮像装置２２０及び撮像装置２３０の少なくとも一方の画像を用いて被写体を追尾することで、ＵＡＶ１００による被写体の追尾をより確実にできる。また、撮像装置２２０の画角が比較的広い場合、撮像装置２３０による被写体の追尾を実行しないので、ＵＡＶ制御部１１０の処理の負担を低減できる。
【００５４】
図８は、ＵＡＶ１００による被写体の追尾の手順の他の例を示す図である。当該手順は、図７に示す手順と同様に、例えば、撮像装置２２０により撮像された動画をＵＡＶ１００のユーザの送信機に提供しているときに実行されてよい。
【００５５】
被写体特定部１１４は、撮像装置２２０により撮像されている画像内で目標となる被写体の指定を受け付ける（Ｓ２００）。被写体特定部１１４は、指定された被写体を撮像装置２２０により撮像された画像から特定して、被写体を追尾する（Ｓ２０２）。撮像選択部１１８は、撮像装置２２０の撮像方向に基づいて、複数の撮像装置２３０の中から被写体の追尾に最適な撮像装置２３０を選択する（Ｓ２０４）。被写体特定部１１４は、選択された撮像装置２３０の画像から目標となる被写体を特定して、被写体をさらに追尾する（Ｓ２０６）。
【００５６】
被写体特定部１１４は、撮像装置２２０の画像内の被写体、及び撮像装置２３０の画像内の被写体のそれぞれの信頼度を算出する（Ｓ２０８）。被写体特定部１１４は、撮像装置２２０の信頼度が、撮像装置２３０の信頼度以上か否かを判定する（Ｓ２１０）。撮像装置２２０の信頼度がより高ければ、被写体特定部１１４は、撮像装置２２０の画像により被写体の追尾ができているかどうかを判定する（Ｓ２１２）。被写体特定部１１４は、撮像装置２３０の被写体の信頼度が基準値以上か否かにより、撮像装置２２０の画像により被写体の追尾ができているかどうかを判定してよい。撮像装置２２０の画像により被写体の追尾ができていれば、被写体特定部１１４は、撮像装置２２０の画像による被写体の追尾を継続する。
【００５７】
撮像装置２２０の信頼度が撮像装置２３０の信頼度より低い場合、撮像範囲制御部１１６は、撮像装置２３０の画像に基づいて、被写体の位置を取得する。被写体距離取得部１２０は、撮像装置２３０の画像に基づいて被写体までの距離を取得する（Ｓ２１４）。撮像範囲制御部１１６及び焦点距離調整部１２２は、被写体の位置及び被写体までの距離に基づいて、撮像装置２２０の撮像条件を調整する（Ｓ２１６）。撮像範囲制御部１１６は、被写体の位置に基づいて、撮像装置２３０の画角、撮像方向、又はＵＡＶ１００の位置を制御して、撮像範囲を調整する。焦点距離調整部１２２は、被写体までの距離に基づいて撮像装置２２０の焦点距離を調整する。撮像装置２２０の撮像条件が調整された後、被写体特定部１１４は、撮像装置２２０の画像により被写体の追尾ができているかどうかを判定する（Ｓ２１２）。
【００５８】
被写体特定部１１４は、撮像装置２２０の画像により被写体の追尾ができていれば、撮像装置２２０の画像による被写体の追尾を継続する。一方、撮像装置２２０の画像により被写体の追尾ができない場合には、被写体の追尾ができないことをユーザに通知する（Ｓ２１８）。ユーザは、その通知を受けて、ＵＡＶ１００を移動したり、撮像装置２３０の撮像範囲を調整したりして、被写体を探す。
【００５９】
以上の通り、撮像装置２２０の画像により特定された被写体の信頼度が撮像装置２３０の被写体より低い場合に、撮像装置２３０の画像に基づいて撮像装置２２０の撮像条件を調整できる。よって、撮像装置２２０の画像により誤って特定された被写体をＵＡＶ１００が追尾し続けることを抑制できる。
【００６０】
上記の実施形態に示される複数の段階の少なくとも１つの段階は、ハードウェア、又は関連するハードウェアに命令するプログラムによって実装されてよい。プログラムは、コンピュータ可読記録媒体に格納されてよい。記録媒体は、ＲＯＭ、磁気ディスク、及び光ディスクの少なくとも１つを含んでよい。
【００６１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６３】
１００  ＵＡＶ
１０２  ＵＡＶ本体
１１０  ＵＡＶ制御部
１１１  立体情報取得部
１１２  移動制御部
１１４  被写体特定部
１１６  撮像範囲制御部
１１８  撮像選択部
１２０  被写体距離取得部
１２２  焦点距離調整部
１５０  通信インタフェース
１６０  メモリ
２００  ジンバル
２１０  回転翼機構
２２０  撮像装置
２２２  レンズ装置
２３０  撮像装置
２３２  レンズ装置
【図１】
0006260803.tif 000002
【図２】
0006260803.tif 000003
【図３】
0006260803.tif 000004
【図４】
0006260803.tif 000005
【図５】
0006260803.tif 000006
【図６】
0006260803.tif 000007
【図７】
0006260803.tif 000008
【図８】
0006260803.tif 000009