(57)【要約】【課題】移動体に設けられた撮像部のズーム値の調整だけでは望ましい拡大撮像及び縮小撮像ができない場合があること。【解決手段】制御装置は、拡大撮像及び縮小撮像の少なくとも一方の指示を取得する取得部と、取得部が指示を取得した場合に、移動体に設けられた撮像部のズーム値を調整する第１の調整方式と、移動体の移動によって移動体と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する決定部と、決定部による決定に基づいて、撮像部のズーム値及び移動体の移動の少なくとも一方を制御する制御部とを備え、制御部は、移動体が被写体に対する制限距離に到達した場合に、第１の調整方式を用いる。【選択図】図５
2018014702.tif 000002
【特許請求の範囲】
【請求項１】
拡大撮像及び縮小撮像の少なくとも一方の指示を取得する取得部と、
前記取得部が前記指示を取得した場合に、移動体に設けられた撮像部のズーム値を調整する第１の調整方式と、前記移動体の移動によって前記移動体と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する決定部と、
前記決定部による決定に基づいて、前記撮像部のズーム値及び前記移動体の移動の少なくとも一方を制御する制御部と
を備え、
前記制御部は、前記移動体が被写体に対する制限距離に到達した場合に、前記第１の調整方式を用いる制御装置。
【請求項２】
前記制御部は、前記制限距離に到達するまでは前記第２の調整方式を少なくとも用い、前記制限距離に到達すると前記移動体の移動を停止させて前記第１の調整方式を用いる
請求項１に記載の制御装置。
【請求項３】
前記移動体が前記第２の調整方式で前記移動体と被写体との間の経路中に存在する障害物を検出する検出部
をさらに備え、
前記決定部は、前記検出部が前記障害物を検出した場合に、前記第１の調整方式を用いる
請求項１又は２に記載の制御装置。
【請求項４】
前記決定部は、被写体の種別に基づいて、前記第１の調整方式と前記第２の調整方式とのいずれを用いるかを決定する
請求項１から３のいずれか一項に記載の制御装置。
【請求項５】
被写体の種別を示す情報を格納する格納部をさらに備え、
前記決定部は、前記撮像部により前記拡大撮像される被写体の種別が前記格納部に格納されている情報が示す種別に一致する場合に、前記第１の調整方式を用いる
請求項４に記載の制御装置。
【請求項６】
被写体の種別を示す情報に対応づけて、前記制限距離を格納する格納部と、
被写体までの距離を算出する算出部と
をさらに備え、
前記決定部は、前記算出部により算出された距離と、前記拡大撮像する被写体の種別に対応づけて前記格納部に格納されている前記制限距離とに基づいて、被写体に接近することを制限すべきと判断した場合に、前記第１の調整方式を用いる
請求項４に記載の制御装置。
【請求項７】
前記決定部は、前記移動体に供給可能な電力情報に基づいて、前記第１の調整方式と前記第２の調整方式とのいずれを用いるかを決定する
請求項１から６のいずれか一項に記載の制御装置。
【請求項８】
前記決定部は、前記移動体に搭載された電池の残存容量が予め定められた値より小さい場合に、前記第１の調整方式を用いる
請求項７に記載の制御装置。
【請求項９】
前記移動体を省電力モードで動作させる旨を設定する設定部
をさらに備え、
前記決定部は、前記移動体を前記省電力モードで動作させる旨が設定されている場合に、前記第１の調整方式を用いる
請求項８に記載の制御装置。
【請求項１０】
前記決定部は、前記撮像部の撮像範囲に前記移動体の影が含まれないように、前記第１の調整方式におけるズーム値の調整量及び前記第２の調整方式における距離の調整量の少なくとも一方を制御する
請求項１から９のいずれか一項に記載の制御装置。
【請求項１１】
前記決定部は、前記第１の調整方式におけるズーム値の調整量及び前記第２の調整方式における前記移動体と被写体との間の距離の調整量を決定する
請求項１から１０のいずれか一項に記載の制御装置。
【請求項１２】
前記第１の調整方式における前記撮像部のズーム値を調整することは、前記撮像部により撮像される像を結像するレンズ部の焦点距離を調整することを含む
請求項１から１１のいずれか一項に記載の制御装置。
【請求項１３】
前記決定部は、前記撮像部が有するレンズ系の焦点距離により調整可能な最大拡大率を超えて拡大撮影することが指示された場合に、前記第２の調整方式により拡大撮像する旨を決定する
請求項１２に記載の制御装置。
【請求項１４】
前記取得部は、前記撮像部により撮像される被写体の大きさの時間変化の指示を取得し、
前記決定部は、前記第２の調整方式により得られる被写体の大きさの時間変化と、前記取得部が取得した前記時間変化との間の差が小さくなるように、前記第１の調整方式により前記ズーム値を調整する旨を決定する
請求項１から１３のいずれか一項に記載の制御装置。
【請求項１５】
前記取得部は、前記撮像部により撮像される被写体の大きさの時間変化、前記撮像部の被写界深度の時間変化、及び前記撮像部による撮像範囲の時間変化の少なくともいずれかを示す情報を取得する
請求項１から１４のいずれか一項に記載の制御装置。
【請求項１６】
前記取得部は、前記撮像部により撮像される被写体の大きさの時間変化、前記撮像部の被写界深度の時間変化、及び前記撮像部による撮像範囲の時間変化の少なくともいずれかを入力するためのグラフィック情報を通じて入力された、被写体の大きさの時間変化、前記撮像部の被写界深度の時間変化、及び前記撮像部による撮像範囲の時間変化を示す情報を取得する
請求項１から１５のいずれか一項に記載の制御装置。
【請求項１７】
前記第１の調整方式における前記撮像部のズーム値を調整することは、前記撮像部により撮像される像を結像するレンズ部の焦点距離を調整することを含み、
前記取得部は、前記第１の調整方式における前記焦点距離を指示する第１のグラフィック情報、及び、前記第２の調整方式における前記移動体と被写体との間の距離を指示する第２のグラフィック情報を通じて入力された、前記焦点距離及び前記移動体と被写体との間の距離を指示する情報を取得する
請求項１から１６のいずれか一項に記載の制御装置。
【請求項１８】
撮像部により撮像される被写体の大きさの時間変化の指示を取得する取得部と、
前記撮像部を有する移動体の移動によって前記移動体と被写体との間の距離を調整しながら前記撮像部で撮像することにより得られる被写体の大きさの時間変化と、前記取得部が取得した前記時間変化との間の差が小さくなるように、前記撮像部のズーム値を調整する制御部と
を備え、
前記制御部は、前記移動体が被写体に対する制限距離に到達した場合に、前記ズーム値を調整する制御装置。
【請求項１９】
請求項１から１８のいずれか１つに記載の制御装置と、
前記撮像部と
を備える撮像装置。
【請求項２０】
請求項１９に記載の撮像装置を備えて移動する移動体。
【請求項２１】
拡大撮像及び縮小撮像の少なくとも一方の指示を受け付ける段階と、
前記指示を受け付けた場合に、移動体に設けられた撮像部のズーム値を調整する第１の調整方式と、前記移動体の移動によって前記移動体と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する段階と、
前記決定に基づいて、前記撮像部のズーム値及び前記移動体の移動の少なくとも一方を制御する段階と、
前記移動体が被写体に対する制限距離に到達した場合に、前記ズーム値を制御する段階と
を備える制御方法。
【請求項２２】
撮像部により撮像される被写体の大きさの時間変化の指示を受け付ける段階と、
前記時間変化と、前記撮像部を有する移動体の移動によって前記移動体と被写体との間の距離を調整しながら前記撮像部で撮像することにより得られる被写体の大きさの時間変化との間の差が小さくなるように、前記撮像部のズーム値を調整する段階と、
前記移動体が被写体に対する制限距離に到達した場合に、前記ズーム値を調整する段階と
を備える制御方法。
【請求項２３】
請求項２１又は２２に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、撮像装置、移動体、コントローラ、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、遠隔走行撮影カメラ装置が記載されている。遠隔走行撮影カメラ装置においては、自ら姿勢制御を行い走行する二輪走行車両にカメラ撮影装置が載置されている。遠隔走行撮影カメラ装置は、二輪走行車両およびカメラ撮影装置を無線機構により遠隔操作して被写体を撮影する。
特許文献１  特開２００６−３２４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
移動体に設けられた撮像部のズーム値の調整だけでは、望ましい拡大撮像及び縮小撮像ができない場合がある。
【課題を解決するための手段】
【０００４】
一態様において、制御装置は、拡大撮像及び縮小撮像の少なくとも一方の指示を取得する取得部と、取得部が指示を取得した場合に、移動体に設けられた撮像部のズーム値を調整する第１の調整方式と、移動体の移動によって移動体と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する決定部と、決定部による決定に基づいて、撮像部のズーム値及び移動体の移動の少なくとも一方を制御する制御部とを備える。
【０００５】
移動体が第２の調整方式で移動体と被写体との間の経路中に存在する障害物を検出する検出部と、決定部は、検出部が障害物を検出した場合に、第１の調整方式を用いてよい。
【０００６】
決定部は、被写体の種別に基づいて、第１の調整方式と第２の調整方式とのいずれを用いるかを決定してよい。
【０００７】
予め定められた被写体の種別を示す情報を格納する格納部をさらに備え、決定部は、撮像部により拡大撮像される被写体の種別が格納部に格納されている情報が示す種別に一致する場合に、第１の調整方式を用いてよい。
【０００８】
被写体の種別を示す情報に対応づけて、当該被写体に接近することを制限すべき距離を格納する格納部と、被写体までの距離を算出する算出部とを備え、決定部は、算出部により算出された距離と、拡大撮像する被写体の種別に対応づけて格納部に格納されている距離とに基づいて、被写体に接近することを制限すべきと判断した場合に、第１の調整方式を用いてよい。
【０００９】
決定部は、移動体に供給可能な電力情報に基づいて、第１の調整方式と第２の調整方式とのいずれを用いるかを決定してよい。
【００１０】
決定部は、移動体に搭載された電池の残存容量が予め定められた値より小さい場合に、第１の調整方式を用いてよい。
【００１１】
移動体を省電力モードで動作させる旨を設定する設定部をさらに備え、決定部は、移動体を省電力モードで動作させる旨が設定されている場合に、第１の調整方式を用いてよい。
【００１２】
決定部は、撮像部の撮像範囲に移動体の影が含まれないように、第１の調整方式におけるズーム値の調整量及び第２の調整方式における距離の調整量の少なくとも一方を制御してよい。
【００１３】
決定部は、第１の調整方式におけるズーム値の調整量及び第２の調整方式における移動体と被写体との間の距離の調整量を決定してよい。
【００１４】
第１の調整方式における撮像部のズーム値を調整することは、撮像部により撮像される像を結像するレンズ部の焦点距離を調整することを含んでよい。
【００１５】
決定部は、撮像部が有するレンズ系の焦点距離により調整可能な最大拡大率を超えて拡大撮影することが指示された場合に、第２の調整方式により拡大撮像する旨を決定してよい。
【００１６】
取得部は、撮像部により撮像される被写体の大きさの時間変化の指示を取得し、決定部は、第２の調整方式により得られる被写体の大きさの時間変化と、取得部が取得した時間変化との間の差が小さくなるように、第１の調整方式によりズーム値を調整する旨を決定してよい。
【００１７】
取得部は、撮像部により撮像される被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化の少なくともいずれかを示す情報を取得してよい。
【００１８】
取得部は、撮像部により撮像される被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化の少なくともいずれかを入力するためのグラフィック情報を通じて入力された、被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化を示す情報を取得してよい。
【００１９】
第１の調整方式における撮像部のズーム値を調整することは、撮像部により撮像される像を結像するレンズ部の焦点距離を調整することを含み、取得部は、第１の調整方式における焦点距離を指示する第１のグラフィック情報、及び、第２の調整方式における移動体と被写体との間の距離を指示する第２のグラフィック情報を通じて入力された、焦点距離及び移動体と被写体との間の距離を指示する情報を取得してよい。
【００２０】
一態様において、制御装置は、撮像部により撮像される被写体の大きさの時間変化の指示を取得する取得部と、撮像部を有する移動体の移動によって移動体と被写体との間の距離を調整しながら撮像部で撮像することにより得られる被写体の大きさの時間変化と、取得部が取得した時間変化との間の差が小さくなるように、撮像部のズーム値を調整する制御部とを備える。
【００２１】
一態様において、撮像装置は、上記制御装置と、撮像部とを備える。
【００２２】
一態様において、移動体は、上記撮像装置を備えて移動する。
一態様において、撮像装置を有する移動体を制御するコントローラは、撮像装置の焦点距離の調整量の指示を受け付ける第１のグラフィック情報と、移動体の移動による移動体と被写体との間の距離の調整量の指示を受け付ける第２のグラフィック情報とを、隣接して表示する表示部とを備える。
【００２３】
第１のグラフィック情報は、撮像装置の焦点距離の調整量の指示を受け付ける第１のスライドバーであり、第２のグラフィック情報は、移動体と被写体との間の距離の調整量の指示を受け付ける第２のスライドバーであり、表示部は、第１のスライドバー及び第２のスライドバーを並列に表示してよい。
【００２４】
表示部は、撮像装置における電子ズームによる画像拡大率の調節量の指示を受け付ける第３のスライドバーを表示し、表示部は、第１のスライドバー、第２のスライドバー及び第３のスライドバーを並列に表示してよい。
【００２５】
第１のスライドバーによって焦点距離を最長にする指示を受け付けた場合に、第２のスライドバーにより移動体と被写体との間の距離の調整量の指示の受け付けを可能にしてよい。
【００２６】
一態様において、撮像システムは、上記コントローラと、移動体とを備える。
【００２７】
一態様において、制御方法は、拡大撮像及び縮小撮像の少なくとも一方の指示を受け付ける段階と、指示を受け付けた場合に、移動体に設けられた撮像部のズーム値を調整する第１の調整方式と、移動体の移動によって移動体と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する段階と、決定に基づいて、撮像部のズーム値及び移動体の移動の少なくとも一方を制御する段階とを備える。
【００２８】
一態様において、制御方法は、撮像部により撮像される被写体の大きさの時間変化の指示を受け付ける段階と、当該時間変化と、撮像部を有する移動体の移動によって移動体と被写体との間の距離を調整しながら撮像部で撮像することにより得られる被写体の大きさの時間変化との間の差が小さくなるように、撮像部のズーム値を調整する段階とを備える。
【００２９】
一態様において、制御方法は、移動体が有する撮像装置の焦点距離の調整量の指示を受け付ける第１のグラフィック情報と、移動体の移動による移動体と被写体との間の距離の調整量の指示を受け付ける第２のグラフィック情報とを、隣接して表示させる段階を備える。
一態様において、プログラムは、上記制御方法をコンピュータに実行させる。
【００３０】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００３１】
【図１】無人航空機（ＵＡＶ）１００及びコントローラ５０を備える撮像システム１０の一例を概略的に示す。
【図２】ＵＡＶ１００の機能ブロックの一例を示す。
【図３Ａ】ＵＡＶ制御部１１０の機能ブロックの一例を示す。
【図３Ｂ】コントローラ５０の機能ブロックの一例を示す。
【図４】被写体を拡大撮像の制御例を概略的に示す。
【図５】拡大撮像の制御例を示す。
【図６】メモリ１６０に格納される制限距離の一例を示す。
【図７】縮小撮像における制御例を示す。
【図８Ａ】画像の視覚的効果の違いの一例を説明する図である。
【図８Ｂ】画像の視覚的効果の違いの一例を説明する図である。
【図９Ａ】画像の視覚的効果の違いの一例を説明する図である。
【図９Ｂ】画像の視覚的効果の違いの一例を説明する図である。
【図１０】拡大撮像用のパラメータの入力例を示す。
【図１１】拡大撮像用のパラメータの他の入力例を示す。
【発明を実施するための形態】
【００３２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３３】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【００３４】
図１は、無人航空機（ＵＡＶ）１００及びコントローラ５０を備える撮像システム１０の一例を概略的に示す。ＵＡＶ１００は、ＵＡＶ本体１０２、ジンバル２００、撮像装置２２０、及び複数の撮像装置２３０を備える。ＵＡＶ１００は、撮像装置を備えて移動する移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。
【００３５】
ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することでＵＡＶ１００を飛行させる。ＵＡＶ本体１０２は、例えば、４つの回転翼を用いてＵＡＶ１００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１００は、回転翼を有さない固定翼機でもよい。
【００３６】
撮像装置２２０は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。複数の撮像装置２３０は、ＵＡＶ１００の飛行を制御するためにＵＡＶ１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、ＵＡＶ１００の機首である正面に設けられてよい。さらに他の２つの撮像装置２３０が、ＵＡＶ１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像に基づいて、ＵＡＶ１００の周囲の３次元空間データが生成されてよい。ＵＡＶ１００が備える撮像装置２３０の数は４つには限定されない。ＵＡＶ１００は、少なくとも１つの撮像装置２３０を備えていればよい。ＵＡＶ１００は、ＵＡＶ１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてもよい。撮像装置２３０で設定できる画角は、撮像装置２２０で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズ又は魚眼レンズを有してもよい。
【００３７】
図２は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ制御部１１０、通信インタフェース１５０、メモリ１６０、ジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置（ＩＭＵ）２５０、磁気コンパス２６０、及び気圧高度計２７０を備える。
【００３８】
通信インタフェース１５０は、外部のコントローラ５０と通信する。通信インタフェース１５０は、遠隔のコントローラ５０からＵＡＶ制御部１１０に対する各種の命令を受信する。メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、ＩＭＵ２５０、磁気コンパス２６０、及び気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ本体１０２の内部に設けられてよい。ＵＡＶ本体１０２から取り外し可能に設けられてよい。
【００３９】
ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
【００４０】
撮像装置２２０は、所望の撮像範囲の被写体を撮像して画像データを生成する。撮像装置２２０の画像データは、撮像装置２２０が有するメモリ、又はメモリ１６０に格納される。撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０の画像データは、メモリ１６０に格納される。
【００４１】
ＧＰＳ受信機２４０は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいてＧＰＳ受信機２４０の位置、つまりＵＡＶ１００の位置を算出する。慣性計測装置（ＩＭＵ）２５０は、ＵＡＶ１００の姿勢を検出する。ＩＭＵ２５０は、ＵＡＶ１００の姿勢として、ＵＡＶ１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス２６０は、ＵＡＶ１００の機首の方位を検出する。気圧高度計２７０は、ＵＡＶ１００が飛行する高度を検出する。
【００４２】
ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従ってＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１１０は、ＣＰＵ又はＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔のコントローラ５０から受信した命令に従って、ＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１１０は、飛行制御及び撮像制御のためのプログラムをメモリ１６０から読み出して実行することにより、制御装置として機能する。
【００４３】
ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像を解析することで、ＵＡＶ１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、ＵＡＶ１００の周囲の環境に基づいて、例えば、障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像に基づいてＵＡＶ１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。ＵＡＶ制御部１１０及び撮像装置２２０は、撮像システムの一例である。撮像システムは、ジンバル２００等の他の構成を含んでもよい。
【００４４】
図３Ａは、ＵＡＶ制御部１１０の機能ブロックの一例を示す。ＵＡＶ制御部１１０は、取得部３１０、決定部３００、制御部３３０、算出部３５０及び設定部３７０を備える。ＵＡＶ制御部１１０が備える各部は、ハードウェア、ファームウェア、及びソフトウェアのいずれかで構成されてよい。ＵＡＶ制御部１１０の機能は、少なくとも１つの以上の制御部で制御される。
【００４５】
取得部３１０は、拡大撮像及び縮小撮像の少なくとも一方の指示を取得する。決定部３００は、取得部３１０が指示を取得した場合に、ＵＡＶ１００に設けられた撮像装置２２０のズーム値を調整する第１の調整方式と、ＵＡＶ１００の移動によってＵＡＶ１００と被写体との間の距離を調整する第２の調整方式とのいずれを用いるかを決定する。制御部３３０は、決定部３００による決定に基づいて、撮像装置２２０のズーム値及びＵＡＶ１００の移動の少なくとも一方を制御する。第１の調整方式と第２の調整方式とのいずれを用いるかを決定するとは、第１の調整方式及び第２の調整方式のうち用いる一方の調整方式を決定することに限られない。第１の調整方式と第２の調整方式とのいずれを用いるかを決定するとは、第１の調整方式及び第２の調整方式のいずれを主として用いるかを決定することを含む。第１の調整方式及び第２の調整方式のうちの一方を主として用いることを決定した場合、第１の調整方式及び第２の調整方式のうちの他方が副として用いられてよい。第１の調整方式と第２の調整方式とのいずれを用いるかを決定するとは、第１の調整方式及び第２の調整方式のうちのいずれを優先するかを決定することを含む。
【００４６】
検出部３７０は、ＵＡＶ１００が第２の調整方式でＵＡＶ１００と被写体との間の経路中に存在する障害物を検出する。決定部３００は、検出部３７０が障害物を検出した場合に、第１の調整方式を用いてよい。
【００４７】
決定部３００は、被写体の種別に基づいて、第１の調整方式と第２の調整方式とのいずれを用いるかを決定してよい。例えば、メモリ１６０は、被写体の種別を示す情報を格納する。決定部３００は、撮像装置２２０により拡大撮像される被写体の種別がメモリ１６０に格納されている情報が示す種別に一致する場合に、第１の調整方式を用いてよい。メモリ１６０は、騒音を抑制すべき予め定められた被写体の種別を示す情報を格納してよい。メモリ１６０は、被写体の種別を示す情報を格納する格納部の一例である。
【００４８】
メモリ１６０は、被写体の種別を示す情報に対応づけて、当該被写体に接近することを制限すべき距離をデータとして格納する。算出部３５０は、被写体までの距離を算出する。例えば、算出部３５０は、撮像装置２３０から得られた立体情報に基づいて、被写体までの距離を算出する。決定部３００は、算出部３５０により算出された距離と、拡大撮像する被写体の種別に対応づけてメモリ１６０に格納されている距離とに基づいて、被写体に接近することを制限すべきと判断した場合に、第１の調整方式を用いてよい。メモリ１６０は、被写体の種別を示す情報に対応づけて、当該被写体に接近することを制限すべき距離を格納する格納部の一例である。被写体に接近することを制限すべき距離を格納する格納部は、上述した被写体の種別を示す情報を格納する格納部と同じ格納部であってよい。被写体に接近することを制限すべき距離を格納する格納部は、上述した被写体の種別を示す情報を格納する格納部とは異なる格納部であってよい。
【００４９】
決定部３００は、ＵＡＶ１００に供給可能な電力情報に基づいて、第１の調整方式と第２の調整方式とのいずれを用いるかを決定してよい。例えば、決定部３００は、ＵＡＶ１００に搭載された電池の残存容量が予め定められた値より小さい場合に、第１の調整方式を用いてよい。
【００５０】
設定部３２０は、ＵＡＶ１００を省電力モードに設定する。設定部３２０は、ＵＡＶ１００の電池の残存容量が予め定められた値より小さくなった場合に、ＵＡＶ１００の動作モードを省電力モードに設定してよい。また、設定部３２０は、動作モードを省電力モードに設定する旨の指示を取得部３１０が取得した場合に、ＵＡＶ１００の動作モードに設定してよい。決定部３００は、ＵＡＶ１００を省電力モードで動作させる旨が設定されている場合に、第１の調整方式を用いてよい。
【００５１】
決定部３００は、撮像装置２２０の撮像範囲にＵＡＶ１００の影が含まれないように、第１の調整方式におけるズーム値の調整量及び第２の調整方式における距離の調整量の少なくとも一方を制御してよい。
【００５２】
決定部３００は、第１の調整方式におけるズーム値の調整量及び第２の調整方式におけるＵＡＶ１００と被写体との間の距離の調整量を決定してよい。
【００５３】
第１の調整方式における撮像装置２２０のズーム値を調整することは、撮像装置２２０により撮像される像を結像するレンズ部の焦点距離を調整することを含む。決定部３００は、撮像装置２２０が有するレンズ系の焦点距離により調整可能な最大拡大率を超えて拡大撮像することが指示された場合に、第２の調整方式により拡大撮像する旨を決定してよい。
【００５４】
取得部３１０は、撮像装置２２０により撮像される被写体の大きさの時間変化の指示を取得する。決定部３００は、第２の調整方式により得られる被写体の大きさの時間変化と、取得部３１０が取得した時間変化との間の差が小さくなるように、第１の調整方式によりズーム値を調整する旨を決定する。このように、取得部３１０は、撮像装置２２０により撮像される被写体の大きさの時間変化の指示を取得してよい。制御部３３０は、撮像装置２２０を有するＵＡＶ１００の移動によってＵＡＶ１００と被写体との間の距離を調整しながら撮像装置２２０で撮像することにより得られる被写体の大きさの時間変化と、取得部３１０が取得した時間変化との間の差が小さくなるように、撮像装置２２０のズーム値を調整してよい。
【００５５】
取得部３１０は、撮像部により撮像される被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化の少なくともいずれかを示す情報を取得する。取得部３１０は、撮像部により撮像される被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化の少なくともいずれかを入力するためのグラフィック情報を通じて入力された、被写体の大きさの時間変化、撮像部の被写界深度の時間変化、及び撮像部による撮像範囲の時間変化を示す情報を取得する。
【００５６】
第１の調整方式における撮像部のズーム値を調整することは、撮像装置２２０により撮像される像を結像するレンズ部の焦点距離を調整することを含む。取得部３１０は、焦点距離及びＵＡＶ１００と被写体との間の距離を指示する情報を取得する。焦点距離及びＵＡＶ１００と被写体との間の距離を指示する情報は、第１のグラフィック情報と第２のグラフィック情報を通じて入力される。第１のグラフィック情報は、第１の調整方式における焦点距離を指示する。第２のグラフィック情報は、第２の調整方式におけるＵＡＶ１００と被写体との間の距離を指示する。
【００５７】
図３Ｂは、コントローラ５０の機能ブロックの一例を示す。コントローラ５０は、操作部５２、制御部５５、メモリ５８、受付部５６及び表示部５４を有する。
【００５８】
制御部５５は、メモリ５８に格納されたプログラムに従って、コントローラ５０の各部を制御する。制御部５５は、ＣＰＵ又はＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。制御部５５は、通信インタフェース５９を介して、遠隔のＵＡＶ１００に、ＵＡＶ１００の飛行を制御する命令を送信する。制御部５５は、プログラムをメモリ１６０から読み出して実行することにより、コントローラ５０の動作を制御する。制御部５５は、ハードウェア、ファームウェア、及びソフトウェアのいずれかで構成されてよい。制御部５５の機能は、少なくとも１つの以上の制御部で制御される。
【００５９】
操作部５２は、ＵＡＶ１００の姿勢を制御するための入力操作をユーザから受け付ける。制御部５５は、操作部５２から取得した操作信号に基づいてＵＡＶ１００を制御する命令を生成する。制御部５５は、生成した命令を通信インタフェース５９を介してＵＡＶ１００に送信する。
【００６０】
受付部５６は、ユーザからの指示を受け付ける。受付部５６は、拡大撮像及び縮小撮像の少なくとも一方のパラメータの指示を受け付ける。受付部５６は、表示部５４に設けられたタッチパネルであってよい。制御部５５は、受付部５６が受け付けた指示に基づいてＵＡＶ１００を制御する命令を生成する。制御部５５は、生成した命令を通信インタフェース５９を介してＵＡＶ１００に送信する。
【００６１】
表示部５４は、例えばディスプレイである。表示部５４は、拡大撮像及び縮小撮像の少なくとも一方のパラメータに関するユーザインタフェースを提供する。表示部５４は、当該パラメータを入力するためのユーザインタフェースを提供する。表示部５４は、拡大撮像及び縮小撮像の少なくとも一方のパラメータを表示する。通信インタフェース５９は、撮像装置２２０が撮像した画像を受信する。制御部５５は、撮像装置２２０により撮像された画像を、表示部５４に表示させる。
【００６２】
図４は、被写体を拡大撮像する制御例を概略的に示す。取得部３１０は、被写体を拡大撮像する指示を取得する。例えば、コントローラ５０を用いるユーザが、表示部５４に表示された画像上の被写体の位置をタッチすると、画像内の被写体の位置情報がコントローラ５０からＵＡＶ１００に送信される。算出部３５０は、指定された位置の被写体までの距離を算出する。ユーザが指定した被写体が、拡大撮像及び縮小撮像の対象の被写体となる。
【００６３】
決定部３００は、指定された被写体にＵＡＶ１００を近づけることができるか否かを判断する。例えば、決定部３００は、算出部３５０により算出された距離が予め定められた制限距離より短い場合に、ＵＡＶ１００を被写体に近づけることができると判断する。
【００６４】
ＵＡＶ１００を被写体に近づけることができると決定部３００が判断した場合、制御部３３０は、被写体に近づく方向にＵＡＶ１００を移動させる。制御部３３０は、算出部３５０により算出された距離が予め定められた制限距離以上である位置で、ＵＡＶ１００を停止させる。この場合、決定部３００は、ＵＡＶ１００を停止させた後、ズーム値の調整のみで拡大撮像を続ける旨を決定する。
【００６５】
図５は、拡大撮像の制御例を示す。線５５０は、ユーザが指定した被写体の大きさを示す。線５５０は、被写体に対する撮像倍率に対応する。線５５０は、直線である。線５５０は、画像内で撮像される被写体の大きさが一定速度で大きくなるように拡大撮像するよう指示されたことを表す。
【００６６】
曲線５００は、ＵＡＶ１００の移動のみでＵＡＶ１００が被写体に近づくことを示す。ＵＡＶ１００が被写体に近づくと被写体が大きく撮像されることになる。時刻ｔ０でＵＡＶ１００の移動を開始すると、ＵＡＶ１００の速度は徐々に高まる。被写体までの距離が制限距離に到達する前にＵＡＶ１００を停止させる必要がある。そのため、制御部３３０は、時刻ｔ１からＵＡＶ１００を減速させ、時刻ｔ２で停止するよう回転翼機構２１０を制御する。
【００６７】
図５の上段の図に示されるように、ある時刻において、線５００で示される被写体の大きさが線５５０で示される被写体の大きさより小さい期間においては、画像内の被写体の大きさは、ＵＡＶ１００の移動のみでは、ユーザが指定した大きさより小さくなる。決定部３００は、この期間に生じる大きさの不足を、光学ズームによって補う旨を決定する。決定部３００は、線５５０と曲線５００との差に応じて定まるズーム値を決定する。曲線５１０は、線５５０と曲線５００との差に応じて定まるズーム値を示す。制御部３３０は、決定部３００が決定したズーム値に応じて撮像装置２２０のレンズ装置２２２を制御する。これにより、被写体の大きさが、線５５０が示す大きさから乖離しないようにすることができる。
【００６８】
時刻ｔ２において、制御部３３０は、ＵＡＶ１００の移動を停止させる。時刻ｔ２の後、決定部３００は、被写体の大きさが線５５０に従うように、ズーム値を上昇させる。これにより、光学ズームによって一定速度の拡大撮像が行われる。図５に関連して説明した制御例は、決定部３００がＵＡＶ１００の移動によってＵＡＶ１００と被写体との間の距離を調整する第２の調整方式を用いることを決定した場合の制御例である。決定部３００がＵＡＶ１００と被写体との間の距離を調整する第２の調整方式を用いることを決定した場合、当該第２の調整方式の調整方式が主として用いられ、撮像部２２０のズーム値を調整する第１の調整方式が副として用いられる。
【００６９】
図６は、メモリ１６０に格納される制限距離の一例を示す。メモリ１６０は、被写体の複数の種別のそれぞれに対応づけて、それぞれ制限距離を格納する。
【００７０】
図６の制限情報は、被写体が人間である場合、１５ｍ以内にＵＡＶ１００を近づけることができないことを示す。被写体が動物である場合、１０ｍ以内にＵＡＶ１００を近づけることを許容しないことを示す。被写体が車両の場合、５０ｍ以内にＵＡＶ１００を近づけることを許容しないことを示す。これにより、ＵＡＶ１００が被写体に近づき過ぎないようにすることができる。例えば、動物に対して制限距離を設けることで、ＵＡＶ１００の回転翼の音に動物が警戒しないようにすることができる。
【００７１】
ＵＡＶ１００の移動を停止してズーム値により拡大撮像を継続する制御方法は、検出部３７０が障害物を検出した場合にも適用できる。その他に、ＵＡＶ１００の移動による調整より、ズーム値の調整を用いる場合として、ＵＡＶ１００の電池の残存容量が予め定められた値より小さくなった場合を例示できる。その他、ＵＡＶ１００の移動による調整より、ズーム値の調整を用いる場合として、ＵＡＶ１００を省電力モードに設定する指示を取得部３１０が取得した場合を例示できる。
【００７２】
図７は、縮小撮像における制御例を示す。影７００は、ＵＡＶ１００の影である。線７１０は、ＵＡＶ１００の撮像装置２２０による撮像開始時の撮像範囲を示す。線７２０は、ズーム値を変えることにより拡大することが許容される最大の撮像範囲を示す。最大の撮像範囲は、影７００が撮像範囲に入らないように決定される。
【００７３】
決定部３００は、ＵＡＶ１００が存在する位置と、そのときの日時に基づいて、ＵＡＶ１００と影７００の位置関係を特定する。決定部３００は、ＵＡＶ１００の位置を、複数の撮像装置２３０から得られた３次元空間データと、メモリ１６０に格納されている３次元空間データとに基づいて、決定してよい。ＵＡＶ１００が存在する位置は、高度も含む３次元空間上の位置である。決定部３００は、影７００が存在する方向を、ＵＡＶ１００が存在するときの日時から定まる太陽の位置とＵＡＶ１００が存在する位置に基づいて特定してよい。決定部３００は、影７００が存在する方向と、ＵＡＶ１００が存在する位置と、３次元空間データとに基づいて、影７００が存在する範囲を決定できる。
【００７４】
撮像装置２２０のズーム値を小さくすることで、レンズ装置２２２の画角が広がる。これにより、被写体は縮小撮像される。決定部３００は、撮像装置２２０による撮像範囲内に影７００が入らないように、画角の拡大を停止する旨を決定する。決定部３００は、矢印７３０で示されるように、ＵＡＶ１００が被写体から離れる方向に移動を開始させる旨を決定する。決定部３００は、撮像装置２２０による撮像範囲が線７２０の近傍に維持されるように、ズーム値を低減する旨を決定する。ＵＡＶ１００が被写体から離れる方向に移動することで、画像内に写る被写体は小さくなる。これにより、影７００が撮像範囲に入らないように、縮小撮像を継続することができる。
【００７５】
図８Ａ、図８Ｂ、図９Ａ及び図９Ｂは、ＵＡＶ１００の移動により得られる画像の視覚的効果と、ズーム値の調整により得られる画像の視覚的な効果の違いを説明するための図である。図８Ａは、図９Ａと比べて、被写体８００と撮像装置２２０の距離が近く広角で撮影する場合を示す。図８Ｂは、図８Ａの条件で撮像される画像の一例である。図９Ｂは、図９Ａの条件で撮像される画像の一例である。図８Ｂに示す画像８１０における被写体像８２０の大きさは、図９Ｂに示す画像９１０における被写体像９２０の大きさと同等である。
【００７６】
図８Ｂは、比較的に広い画角で撮像された画像の一例を表す。この場合、レンズ装置２２２の被写界深度は比較的に長くなる。そのため、被写体像８２０だけでなく、被写体像８２０の背景も比較的に鮮明に写る。したがって、被写体に近付いて画角を広げて撮像することは、被写体及び背景を鮮明に撮りたい場合に有効である。
【００７７】
図９Ｂは、比較的に狭い画角で撮像された画像の一例を表す。レンズ装置２２２の被写界深度は比較的に短い。被写体像９２０の背景は鮮明に写りにくい。したがって、被写体から離れて画角を狭めて撮像することは、背景は不要で、被写体だけを注目して撮りたいような場合に有効である。
【００７８】
図１０は、拡大撮像用のパラメータの入力例を示す。コントローラ５０において、制御部５５は、被写体の大きさの時間変化を示す情報を入力するための入力領域１０２０を表示する。例えば、ユーザは、タッチ操作により、入力領域１０２０内に線１０００の軌跡を描く。受付部５６は、線１０００の軌跡情報を、被写体の大きさの時間変化を示す情報として受け付ける。ユーザは、タッチ操作により、線１０００に沿って被写界深度を示す線１０１０を複数描く。線１０１０の長さが長いほど、被写界深度が深いことを示す。受付部５６は、線１０１０の軌跡情報を、被写界深度の深さを示す情報として受け付ける。図１０に示されるパラメータは、時間の経過につれて被写界深度を浅くするように指示したものである。
【００７９】
受付部５６が受け付けた情報は、ＵＡＶ１００に送信される。ＵＡＶ１００において、決定部３００は、被写体までの距離、レンズ装置２２２の現在のズーム値、ユーザから入力された被写界深度の情報に基づいて、ＵＡＶ１００の移動速度及びレンズ装置２２２のズーム値の変化速度を決定する。例えば、決定部３００は、時間の経過とともに、ＵＡＶ１００が被写体に接近する速度を下げ、ズーム値を大きくする旨を決定する。
【００８０】
図１１は、拡大撮像用のパラメータの他の入力例を示す。コントローラ５０において、制御部５５は、被写体の大きさの時間変化を提示するための提示領域１１２０を表示する。提示領域１１２０内には、被写体を表すオブジェクト１１３０と、背景のオブジェクト１１４０とが表示される。提示領域１１２０の外には、スライドバー１１０１、スライドバー１１０２及びスライドバー１１０３が表示される。スライドバー１１０１は、レンズ装置２２２の光学ズームのズーム値の時間変化を受け付ける。すなわち、スライドバー１１０１は、レンズ装置２２２の焦点距離の時間変化を受け付ける。
【００８１】
スライドバー１１０２は、ＵＡＶ１００と被写体との間の距離の時間変化を受け付ける。スライドバー１１０３は、撮像装置２２０における電子ズームの時間変化を受け付ける。受付部５６は、ユーザがスライドバー１１０１、スライドバー１１０２及びスライドバー１１０３の操作に基づいて、それぞれの時間変化を受け付ける。スライドバー１１０１によって焦点距離を最長にする指示を受け付けた場合に、スライドバー１１０２によりＵＡＶ１００と被写体との間の距離の調整量の指示の受け付けが可能になるようにしてよい。
【００８２】
制御部５５は、受付部５６が受け付けた情報に基づいて、提示領域１１２０内のオブジェクト１１３０の大きさ及びぼけを変化させてよい。また、制御部５５は、オブジェクト１１４０の大きさ及びぼけを変化させてよい。これにより、ユーザは、どのような視覚効果の画像が得られるかを理解することができる。
【００８３】
撮像開始ボタン１１５０ボタンがタッチされると、受付部５６は、受け付けた時間変化を示す情報をＵＡＶ１００に送信する。ＵＡＶ１００において、決定部３００は、コントローラ５０から送信された情報に基づいて、ＵＡＶ１００の移動量、レンズ装置２２２における光学ズームのズーム値、撮像装置２２０における電子ズームのズーム値の時間変化を決定する。制御部３３０は、決定部３００が決定した時間変化の情報に従って、回転翼機構２１０、撮像装置２２０及びレンズ装置２２２を制御する。
【００８４】
撮像が開始されると、コントローラ５０において、制御部５５は、提示領域１１２０内に、ＵＡＶ１００から受信した画像を表示させる。制御部５５は、スライドバー１１０１上に、レンズ装置２２２の光学ズーム値を反映する。制御部５５は、スライドバー１１０２上に、被写体までの距離を反映する。制御部５５は、スライドバー１１０３上に、撮像装置２２０における電子ズームのズーム値を反映させる。これにより、ユーザは、現在の拡大撮像の状態を認識できる。
【００８５】
このように、表示部５４は、撮像装置２２０の焦点距離の調整量の指示を受け付けるスライドバー１１０１を表示する。スライドバー１１０１は、第１のグラフィック情報の一例である。表示部５４は、ＵＡＶ１００の移動による移動体と被写体との間の距離の調整量の指示を受け付けるスライドバー１１０２を表示する。スライドバー１１０２は、第２のグラフィック情報の一例である。表示部５４は、撮像部における電子ズームによる画像拡大率の調節量の指示を受け付けるスライドバー１１０３を表示する。表示部５４は、スライドバー１１０１、スライドバー１１０２及びスライドバー１１０３を並列に表示する。これにより、コントローラ５０を操作するユーザは、拡大撮像用の３種類の調整方式を比較的容易に指定することができる。
【００８６】
以上に説明したように、撮像システム１０によれば、ＵＡＶ１００の移動、撮像装置２２０におけるズーム値を組み合わせて、拡大撮像及び縮小撮像の少なくとも一方を制御することができる。したがって、表現の幅の広い画像を提供できる。拡大撮像及び縮小撮像の時間的なゆらぎを低減できる。コントローラ５０によれば、操作性の高いユーザインタフェースを提供できる。
【００８７】
上記の実施形態に示される複数の段階の少なくとも１つの段階は、ハードウェア、又は関連するハードウェアに命令するプログラムによって実装されてよい。プログラムは、コンピュータが可読な記録媒体に格納されてよい。記録媒体は、ＲＯＭ、磁気ディスク、及び光ディスクの少なくとも１つを含んでよい。
【００８８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８９】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示していない。前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９０】
１００  ＵＡＶ
１０２  ＵＡＶ本体
１１０  ＵＡＶ制御部
１５０  通信インタフェース
１６０  メモリ
２００  ジンバル
２１０  回転翼機構
２２０  撮像装置
２３０  撮像装置
２４０  ＧＰＳ受信機
２６０  磁気コンパス
２７０  気圧高度計
【図１】
2018014702.tif 000003
【図２】
2018014702.tif 000004
【図３Ａ】
2018014702.tif 000005
【図３Ｂ】
2018014702.tif 000006
【図４】
2018014702.tif 000007
【図５】
2018014702.tif 000008
【図６】
2018014702.tif 000009
【図７】
2018014702.tif 000010
【図８Ａ】
2018014702.tif 000011
【図８Ｂ】
2018014702.tif 000012
【図９Ａ】
2018014702.tif 000013
【図９Ｂ】
2018014702.tif 000014
【図１０】
2018014702.tif 000015
【図１１】
2018014702.tif 000016