(57)【特許請求の範囲】
【請求項１】
フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置であって、
前記画像を処理する画像処理部を備え、
前記画像処理部は、
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定し、
前記フレームの色が前記第１の色の状態で前記撮像部により前記シーンが撮像された第１の画像を取得し、
前記第１の画像と前記第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出する、
画像処理装置。
【請求項２】
前記画像処理部は、
前記第１の画像の前に、前記シーンが撮像された第２の画像を取得し、
前記第２の画像の色全体に含まれる割合が小さい前記第１の色を特定する、
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
前記第２の画像に対して色相検波し、
色相検波により前記第２の画像において各色相の画素の画素数を示す色相ヒストグラムを算出し、
前記色相ヒストグラムにおいて前記画素数が閾値以下の色相に相当する前記第１の色を特定する、
請求項２に記載の画像処理装置。
【請求項４】
前記第２の画像は、前記撮像部により撮像された撮像画像を基に変換されたＲＧＢ画像である、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記第１の色の情報を提示させる第１の制御部、を更に備える、
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記フレーム体は、複数の色に発光可能な発光部を有し、
発光部の発光を制御し、前記フレーム体の前記フレームの色を前記第１の色に変更する第２の制御部、を更に備える、
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像処理部は、
前記第１の画像の高周波成分を抽出した第３の画像を生成し、
前記第３の画像から、前記第１の画像における前記第１の色の成分を減算して第４の画像を生成し、
前記第４の画像に対して前記自動焦点制御に用いられる前記検波値を算出する、
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像処理部は、
前記第１の画像から、前記第１の画像における前記第１の色の成分を減算して第５の画像を生成し、
前記第５の画像に対して前記自動露出制御又は前記自動ホワイトバランス制御に用いられる前記検波値を算出する、
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記検波値に基づいて、前記撮像部による撮像を制御する第３の制御部、を更に備える、
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第３の制御部は、前記検波値に基づいて、前記撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び前記画像処理部による前記第１の画像に対する画像処理の少なくとも１つを制御する、
請求項９に記載の画像処理装置。
【請求項１１】
前記フレーム体は、前記撮像部に対して回転自在である、
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、前記飛行体である、
請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理方法であって、
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、
前記フレームの色が前記第１の色の状態で前記撮像部により前記シーンが撮像された第１の画像を取得するステップと、
前記第１の画像と前記第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、
を有する画像処理方法。
【請求項１４】
前記第１の色を特定するステップは、
前記第１の画像の前に、前記シーンが撮像された第２の画像を取得するステップと、
前記第２の画像の色全体に含まれる割合が小さい前記第１の色を特定するステップと、を含む、
請求項１３に記載の画像処理方法。
【請求項１５】
前記第１の色を特定するステップは、
前記第２の画像に対して色相検波するステップと、
色相検波により前記第２の画像において各色相の画素の画素数を示す色相ヒストグラムを算出するステップと、
前記色相ヒストグラムにおいて前記画素数が閾値以下の色相に相当する前記第１の色を特定するステップと、を含む、
請求項１４に記載の画像処理方法。
【請求項１６】
前記第２の画像は、前記撮像部により撮像された撮像画像を基に変換されたＲＧＢ画像である、
請求項１４又は１５に記載の画像処理方法。
【請求項１７】
前記第１の色の情報を提示させるステップ、を更に含む、
請求項１３〜１６のいずれか１項に記載の画像処理方法。
【請求項１８】
前記フレーム体は、複数の色に発光可能な発光部を有し、
前記発光部の発光を制御し、前記フレーム体の前記フレームの色を前記第１の色に変更するステップ、を更に含む、
請求項１３〜１６のいずれか１項に記載の画像処理方法。
【請求項１９】
前記検波値を算出するステップは、
前記第１の画像の高周波成分を抽出した第３の画像を生成するステップと、
前記第３の画像から、前記第１の画像における前記第１の色の成分を減算して第４の画像を生成するステップと、
前記第４の画像に対して前記自動焦点制御に用いられる前記検波値を算出するステップと、を含む、
請求項１３〜１８のいずれか１項に記載の画像処理方法。
【請求項２０】
前記検波値を算出するステップは、
前記第１の画像から、前記第１の画像における前記第１の色の成分を減算して第５の画像を生成するステップと、
前記第５の画像に対して前記自動露出制御又は前記自動ホワイトバランス制御に用いられる前記検波値を算出するステップと、を含む、
請求項１３〜１９のいずれか１項に記載の画像処理方法。
【請求項２１】
前記検波値に基づいて、前記撮像部による撮像を制御するステップ、を更に含む、
請求項１３〜２０のいずれか１項に記載の画像処理方法。
【請求項２２】
前記撮像部による撮像を制御するステップは、前記検波値に基づいて、前記撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び前記第１の画像に対する画像処理の少なくとも１つを制御するステップを含む、
請求項２１に記載の画像処理方法。
【請求項２３】
前記フレーム体は、前記撮像部に対して回転自在である、
請求項１３〜２２のいずれか１項に記載の画像処理方法。
【請求項２４】
前記画像処理方法は、画像処理装置により実行され、
前記画像処理装置は、前記飛行体である、
請求項１３〜２３のいずれか１項に記載の画像処理方法。
【請求項２５】
フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、
前記フレームの色が前記第１の色の状態で前記撮像部により前記シーンが撮像された第１の画像を取得するステップと、
前記第１の画像と前記第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、
を実行させるためのプログラム。
【請求項２６】
フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、
前記フレーム体のフレームの色が所定の色の状態で前記撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、
前記フレームの色が前記第１の色の状態で前記撮像部により前記シーンが撮像された第１の画像を取得するステップと、
前記第１の画像と前記第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、無人航空機がその周囲の障害物との衝突による影響を低減することが検討されている。例えば、内部フレームと、内部フレームに取り付けられた内部飛行推進システムと、外部フレームと、ジンバルシステムと、制御システムと、電源と、外部フレーム駆動システムと、カメラと、を備える無人航空機が知られている（特許文献１参照）。ジンバルシステムは、内部飛行推進システムと外部フレームとを結合する２つの回転結合部を有する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】欧州特許出願公開第３４５０３１０明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の無人航空機では、カメラは、外部フレームの外側に配置されるか、外部フレームの内側でカメラの撮像範囲に外部フレームが重ならないように配置されている。この場合、カメラの撮像範囲に外部フレームが存在しない状態となり、カメラへの障害物の衝突に対する耐性が不十分となる。また、カメラを含む無人航空機の全体が外部フレームに包囲されることを想定すると、カメラの撮像範囲に外部フレームが重なり、撮像画像に基づく画像の画質が劣化し得る。例えば、画像における意図しない領域に合わせて、焦点位置が決定されたり、明るさが調整されたり、ホワイトバランスが調整されたりする可能性がある。これは、例えば、撮像範囲に外部フレームが存在することで、所望の被写体の他に外部フレームを加味して画像の検波が行われることに起因し得る。よって、人航空機の外部からの衝撃に対してカメラを十分に保護可能であり、無人航空機により撮像される画像の検波精度が向上することが望ましい。
【課題を解決するための手段】
【０００５】
一態様において、画像処理装置は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置であって、画像を処理する画像処理部を備え、画像処理部は、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定し、フレームの色が第１の色の状態で撮像部によりシーンが撮像された第１の画像を取得し、第１の画像と第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出する。
【０００６】
画像処理部は、第１の画像の前に、シーンが撮像された第２の画像を取得し、第２の画像の色全体に含まれる割合が小さい第１の色を特定してよい。
【０００７】
画像処理部は、第２の画像に対して色相検波し、色相検波により第２の画像において各色相の画素の画素数を示す色相ヒストグラムを算出し、色相ヒストグラムにおいて画素数が閾値以下の色相に相当する第１の色を特定してよい。
【０００８】
第２の画像は、撮像部により撮像された撮像画像を基に変換されたＲＧＢ画像でよい。
【０００９】
画像処理装置は、第１の色の情報を提示させる第１の制御部、を更に備えてよい。
【００１０】
フレーム体は、複数の色に発光可能な発光部を有してよい。発光部の発光を制御し、フレーム体のフレームの色を第１の色に変更する第２の制御部、を更に備えてよい。
【００１１】
画像処理部は、第１の画像の高周波成分を抽出した第３の画像を生成し、第３の画像から、第１の画像における第１の色の成分を減算して第４の画像を生成し、第４の画像に対して自動焦点制御に用いられる検波値を算出してよい。
【００１２】
画像処理部は、第１の画像から、第１の画像における第１の色の成分を減算して第５の画像を生成し、第５の画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出してよい。
【００１３】
画像処理装置は、検波値に基づいて、撮像部による撮像を制御する第３の制御部、を更に備えてよい。
【００１４】
第３の制御部は、検波値に基づいて、撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び画像処理部による第１の画像に対する画像処理の少なくとも１つを制御してよい。
【００１５】
フレーム体は、撮像部に対して回転自在でよい。
【００１６】
画像処理装置は、飛行体でよい。
【００１７】
一態様において、画像処理方法は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理方法であって、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、フレームの色が第１の色の状態で撮像部によりシーンが撮像された第１の画像を取得するステップと、第１の画像と第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、を有する。
【００１８】
第１の色を特定するステップは、第１の画像の前に、シーンが撮像された第２の画像を取得するステップと、第２の画像の色全体に含まれる割合が小さい第１の色を特定するステップと、を含んでよい。
【００１９】
第１の色を特定するステップは、第２の画像に対して色相検波するステップと、色相検波により第２の画像において各色相の画素の画素数を示す色相ヒストグラムを算出するステップと、色相ヒストグラムにおいて画素数が閾値以下の色相に相当する第１の色を特定するステップと、を含んでよい。
【００２０】
第２の画像は、撮像部により撮像された撮像画像を基に変換されたＲＧＢ画像でよい。
【００２１】
画像処理方法は、第１の色の情報を提示させるステップ、を更に含んでよい。
【００２２】
フレーム体は、複数の色に発光可能な発光部を有してよい。画像処理方法は、発光部の発光を制御し、フレーム体のフレームの色を第１の色に変更するステップ、を更に含んでよい。
【００２３】
検波値を算出するステップは、第１の画像の高周波成分を抽出した第３の画像を生成するステップと、第３の画像から、第１の画像における第１の色の成分を減算して第４の画像を生成するステップと、第４の画像に対して自動焦点制御に用いられる検波値を算出するステップと、を含んでよい。
【００２４】
検波値を算出するステップは、第１の画像から、第１の画像における第１の色の成分を減算して第５の画像を生成するステップと、第５の画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出するステップと、を含んでよい。
【００２５】
画像処理方法は、検波値に基づいて、撮像部による撮像を制御するステップ、を更に含んでよい。
【００２６】
撮像部による撮像を制御するステップは、検波値に基づいて、撮像部のレンズ、シャッタ、絞り、減光フィルタ、及び第１の画像に対する画像処理の少なくとも１つを制御するステップを含んでよい。
【００２７】
フレーム体は、撮像部に対して回転自在でよい。
【００２８】
画像処理方法は、画像処理装置により実行されてよい。画像処理装置は、飛行体でよい。
【００２９】
一態様において、プログラムは、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、フレームの色が第１の色の状態で撮像部によりシーンが撮像された第１の画像を取得するステップと、第１の画像と第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、を実行させるためのプログラムである。
【００３０】
一態様において、記録媒体は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する画像処理装置に、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定するステップと、フレームの色が第１の色の状態で撮像部によりシーンが撮像された第１の画像を取得するステップと、第１の画像と第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
【００３１】
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００３２】
【図１】実施形態における飛行体システムの構成例を示す模式図
【図２】無人航空機の具体的な外観の一例を示す図
【図３】無人航空機のハードウェア構成の一例を示すブロック図
【図４】撮像部の構成例を示すブロック図
【図５】端末のハードウェア構成の一例を示すブロック図
【図６】無人航空機による動作の概要を説明するための図
【図７】保護フレームのフレーム色の特定例を示す図
【図８】保護フレームを加味した自動焦点制御用の検波例を示す図
【図９】保護フレームを加味した自動露出制御又は自動ホワイトバランス制御用の検波例を示す図
【図１０】無人航空機による動作例を示すフローチャート
【発明を実施するための形態】
【００３３】
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
【００３４】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【００３５】
以下の実施形態では、飛行体として、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を例示する。画像処理装置は、例えば無人航空機であるが、他の装置（例えば端末、送信機、サーバ、その他の画像処理装置）でもよい。画像処理方法は、飛行体の動作が規定されたものである。また、記録媒体は、プログラム（例えば飛行体に各種の処理を実行させるプログラム）が記録されたものである。
【００３６】
以下の実施形態でいう「部」又は「装置」とは、単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラム等のソフトウェアにより実現されるものも含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、又は２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。また、実施形態でいう「取得」は、単に情報や信号などを直接に取得する動作を示すものに限定されず、例えば処理部が、通信部を介して取得、すなわち受信することのほか、記憶部（例えばメモリなど）から取得することのいずれも含む。これらの用語の理解や解釈は、特許請求の範囲の記載についても同様である。
【００３７】
図１は、実施形態における飛行体システム１０の構成例を示す模式図である。飛行体システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１では、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示しているが、その他の端末（例えば、ＰＣ（Personal Computer）、制御棒により無人航空機１００の操縦が可能な送信機（プロポ））でもよい。
【００３８】
図２は、無人航空機１００の具体的な外観の一例を示す図である。図２には、無人航空機１００が移動方向ＳＴＶ０に飛行する場合の斜視図が示される。
【００３９】
図２に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（ｘ軸参照）が設定される。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（ｙ軸参照）が設定され、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が設定される。
【００４０】
無人航空機１００は、ＵＡＶ本体１０２と、ジンバル２００と、撮像部２２０と、保護フレーム体３００と、を含む構成である。なお、保護フレーム体３００は、無人航空機１００に含まれず、無人航空機１００とは別体として扱われてもよい。なお、ジンバル２００で支持された保護フレーム体３００を、ジンバルボールとも称する。ジンバル２００は、少なくとも、撮像部２２０の姿勢を安定化させる。
【００４１】
ＵＡＶ本体１０２は、複数の回転翼２１１（プロペラ）を備える。ＵＡＶ本体１０２は、複数の回転翼２１１の回転を制御することにより無人航空機１００を飛行させる。ＵＡＶ本体１０２は、例えば４つの回転翼２１１を用いて無人航空機１００を飛行させる。回転翼の数は、４つに限定されない。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。ＵＡＶ本体１０２には、プロセッサ、メモリ、アクチュエータ、バッテリ、等が収容されてよい。
【００４２】
ジンバル２００は、ピッチ回転フレーム２０１、ロール回転フレーム２０２、及びヨー回転フレーム２０３を含む。ピッチ回転フレーム２０１は、連結体２０６に挿通される。連結体２０６には、ＵＡＶ本体１０２及び撮像部２２０が連結される。ピッチ回転フレーム２０１は、連結部２０７を介してロール回転フレーム２０２に連結されてよい。ロール回転フレーム２０２は、ここでは円形の形状を有するが、これに限られない。ロール回転フレーム２０２は、連結部２０８を介してヨー回転フレーム２０３に連結されてよい。ヨー回転フレーム２０３は、ここでは円形の形状を有するが、これに限られない。ヨー回転フレーム２０３は、連結部２０９を介して保護フレーム体３００に連結される。ピッチ回転フレーム２０１、ロール回転フレーム２０２、及びヨー回転フレーム２０３は、例えばアクチュエータの駆動力によって回転してよい。
【００４３】
ピッチ回転フレーム２０１は、連結部２０７を基準としてロール回転フレーム２０２に対して回転可能であり、つまりピッチ軸を中心に回転可能である。ロール回転フレーム２０２は、連結部２０８を基準としてヨー回転フレーム２０３に対して回転可能であり、つまりロール軸を中心に回転可能である。ヨー回転フレーム２０３は、連結部２０９を基準として保護フレーム体３００に対して回転可能であり、つまりヨー軸を中心に回転可能である。なお、ピッチ回転フレーム２０１は、連結体２０６に対して回転可能でも連結体２０６と一体的に回転可能でもよい。
【００４４】
また、ロール回転フレーム２０２は、連結部２０７を基準としてピッチ回転フレーム２０１に対して回転可能でよく、つまりピッチ軸を中心に回転可能でよい。ヨー回転フレーム２０３は、連結部２０８を基準としてロール回転フレーム２０２に対して回転可能でよく、つまりロール軸を中心に回転可能でよい。保護フレーム体３００は、連結部２０９を基準としてヨー回転フレーム２０３に対して回転可能でよく、つまりヨー軸を中心に回転可能でよい。なお、保護フレーム体３００は、ヨー回転フレーム２０３に対して回転可能でもヨー回転フレーム２０３と一体的に回転可能でもよい。
【００４５】
したがって、撮像部２２０は、ジンバル２００に回転可能に支持される。撮像部２２０は、ピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として、回転自在である。同様に、保護フレーム体３００は、ジンバル２００に回転可能に支持される。保護フレーム体３００は、ピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として、回転自在である。
【００４６】
撮像部２２０は、図２では直方体の形状に形成されているが、これに限られない。撮像部２２０は、撮像部２２０のレンズが撮像部２２０の筐体の側面（例えば前面）から露出して設けられており、前面の方向（前方）を撮像可能である。前方は、無人航空機１００の機首の方向でよく、例えば図２の移動方向ＳＴＶ０と一致してもよいし、一致しなくてもよい。撮像部２２０は、ジンバル２００によって３軸方向のいずれにも回転可能であるので、ジンバル２００の回転制御により、３次元空間における全方向を撮像可能でよい。
【００４７】
保護フレーム体３００は、ＵＡＶ本体１０２、ジンバル２００、及び撮像部２２０を包囲し、保護フレーム体３００の内部に収容する。これにより、保護フレーム体３００に内包されたＵＡＶ本体１０２、ジンバル２００、及び撮像部２２０は、保護フレーム体３００の外部からの衝撃に対して耐性を有する。よって、例えば無人航空機１００の周囲に障害物が存在しても、無人航空機１００の各部（例えば撮像部２２０）の姿勢を高精度に維持できる。
【００４８】
保護フレーム体３００は、多数の保護フレーム３１０の組み合わせにより形成される。保護フレーム体３００は、例えば略多面体の形状に形成される。図２では、３つの保護フレーム３１０により略正三角形が形成され、略三角形が多数組み合わされて保護フレーム体３００が形成されている。なお、保護フレーム体３００の形状はこれに限られない。
【００４９】
このように、保護フレーム体３００は、ジンバル２００にジンバル２００の外側から連結されてよい。これにより、撮像部２２０の姿勢が安定し、３次元空間における撮像範囲を安定して得やすくなる。
【００５０】
また、保護フレーム体３００は、回転翼２１１を包囲してよい。この場合、無人航空機１００は、回転翼２１１についても外部からの衝撃に対する耐性を向上できる。また、無人航空機１００は、例えば障害物の近傍を飛行する必要がある場合でも、無人航空機１００が障害物に衝突して落下することを抑制できる。
【００５１】
撮像部２２０は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラを含んでよい。無人航空機１００は、任意の場所を飛行可能であり、無人航空機１００の周囲に飛行を阻害し得る障害物が存在する場所（例えば比較的狭い空間、屋内）を飛行してよい。撮像部２２０に撮像される被写体は、任意の被写体を含み得るが、屋内に設置された物体、工事現場や点検現場に存在する物体、等を含んでよい。撮像部２２０により撮像された撮像画像は、静止画像及び動画像の少なくとも一方を含んでよい。動画像は、ライブビュー画像を含んでよい。
【００５２】
なお、図２では、ジンバル２００は、ピッチ軸、ロール軸、及びヨー軸の３軸方向に対して姿勢を安定させる３軸ジンバルであるが、これに限られない。例えば、ピッチ軸及びロール軸の２軸方向に対して姿勢を安定させる２軸ジンバルでもよい。
【００５３】
なお、図２では、撮像部２２０のレンズが筐体の前面に設置されているが、これに限られない。撮像部２２０は、３次元空間における上下前後左右のいずれの方向に向いて設置されてもよい。また、図２では図示していないが、撮像部２２０は、連結体２０６に対してロール軸、ピッチ軸、及びヨー軸の少なくとも１つの方向に回転可能であってよい。
【００５４】
なお、図２では、撮像部２２０が１つであること、撮像部２２０が連結体２０６に連結して設けられること、を例示したが、これに限られない。撮像部２２０は、複数存在してよい。例えば、撮像部２２０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラを含んでもよい。また、撮像部２２０が、ＵＡＶ本体１０２の側面（例えば前面）や底面に設けられてよい。複数の撮像部２２０は、ペアとなり、いわゆるステレオカメラとして機能してよい。撮像部２２０は、単焦点レンズ又は魚眼レンズを有してよい。
【００５５】
なお、連結体２０６は、ＵＡＶ本体１０２又は撮像部２２０の一部でもよい。また、撮像部２２０は、ＵＡＶ本体１０２に組み込まれてもよい。
【００５６】
図３は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信部１５０と、記憶部１６０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、保護フレーム体３００と、を含む構成である。
【００５７】
ＵＡＶ制御部１１０は、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor））を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【００５８】
ＵＡＶ制御部１１０は、記憶部１６０に格納されたプログラムに従って無人航空機１００の飛行を制御してよい。ＵＡＶ制御部１１０は、端末８０による飛行の制御の指示に従って、無人航空機１００の飛行を制御してよい。
【００５９】
ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。ＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
【００６０】
ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。
【００６１】
ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を記憶部１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信部１５０を介して端末８０から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。
【００６２】
ＵＡＶ制御部１１０は、撮像部２２０の撮像範囲を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０の画角を示す画角情報を撮像部２２０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のロール軸、ピッチ軸及びヨー軸の少なくとも１つの基準回転角度からの回転角度を示してよい。
【００６３】
ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定してよい。
【００６４】
ＵＡＶ制御部１１０は、記憶部１６０から撮像範囲の情報を取得してよい。ＵＡＶ制御部１１０は、通信部１５０を介して撮像範囲の情報を取得してよい。
【００６５】
ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、及び撮像部２２０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。
【００６６】
撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でもよい。撮像範囲は、撮像部２２０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０の撮像方向は、撮像部２２０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。
【００６７】
ＵＡＶ制御部１１０は、複数の撮像部２２０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。なお、無人航空機１００は、障害物を回避できない可能性もある。なお、ＵＡＶ制御部１１０は、障害物の回避機能を有していなくてもよい。この場合でも、無人航空機１００は、保護フレーム体３００の存在により衝突等が生じても保護され得る。
【００６８】
ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境の情報として、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。この立体情報は、無人航空機１００の周囲の環境の情報として用いられてよい。オブジェクトは、屋内に配置された物体、建物、等の少なくとも一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２２０から得られたそれぞれの撮像画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、３次元地図や３次元設計図を参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。３次元地図や３次元設計図は、記憶部１６０に格納されていてもよいし、ネットワーク上に存在するサーバに保持されていてもよい。３次元設計図は、工事現場や点検現場で用いられるものであってよい。
【００６９】
ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。
【００７０】
撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。
【００７１】
ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている保護フレーム体３００の向きを制御してよい。この場合、ＵＡＶ制御部１１０は、ピッチ軸、ロール軸、及びヨー軸の少なくとも１つを回転中心として、保護フレーム体３００を回転させてよい。また、ＵＡＶ制御部１１０は、保護フレーム体３００の回転方向、所定時間当たりの回転量（回転速度）、等を制御してよい。つまり、例えば障害物と接触して保護フレーム体３００が回転するだけでなく、ＵＡＶ制御部１１０が、自発的に保護フレーム体３００を回転させてよい。なお、ＵＡＶ制御部１１０は、自発的に回転させなくてもよく、保護フレーム体３００が自発的に回転しなくてもよい。
【００７２】
通信部１５０は、他の通信装置（例えば端末８０）と通信する。通信部１５０は、任意の無線通信方式により無線通信してよい。通信部１５０は、任意の有線通信方式により有線通信してよい。通信部１５０は、撮像部２２０により撮像された撮像画像や撮像画像に基づく画像を、端末８０に送信してよい。通信部１５０は、撮像画像や撮像画像に基づく画像に関する付加情報（メタデータ）を、端末８０に送信してよい。通信部１５０は、端末８０から飛行の制御の指示の情報を取得してよい。飛行の制御の指示の情報は、無人航空機１００が飛行するための飛行経路や飛行位置、撮像部２２０により撮像するための撮像位置の情報を含んでよい。
【００７３】
記憶部１６０は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種画像は、撮像画像や撮像画像に基づく画像を含んでよい。プログラムは、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０、及び保護フレーム体３００を制御するのに必要なプログラムを含んでよい。記憶部１６０は、コンピュータ読み取り可能な記録媒体でよい。記憶部１６０は、メモリを含み、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、等を含んでよい。記憶部１６０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢ（Universal Serial bus）メモリ、その他のストレージの少なくとも１つを含んでよい。記憶部１６０の少なくとも一部が、無人航空機１００から取り外し可能であってよい。
【００７４】
ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。
【００７５】
ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に保護フレーム体３００を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に保護フレーム体３００を回転させることで、保護フレーム体３００の向きを変更してよい。
【００７６】
回転翼機構２１０は、複数の回転翼２１１と、複数の回転翼２１１を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。
【００７７】
撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像画像や撮像画像に基づく画像は、撮像部２２０が有するメモリ又は記憶部１６０に格納されてよい。
【００７８】
ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。
【００７９】
慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。
【００８０】
磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。
【００８１】
気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。
【００８２】
超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。
【００８３】
レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
【００８４】
図４は、無人航空機１００が備える撮像部２２０の構成例を示すブロック図である。
【００８５】
撮像部２２０は、筐体２２０ｚを有する。撮像部２２０は、筐体２２０ｚの内部に、カメラプロセッサ１１、シャッタ１２、撮像素子１３、画像処理部１４、メモリ１５、シャッタ駆動部１９、素子駆動部２０、ゲイン制御部２１、及びフラッシュ１８を有する。また、撮像部２２０は、筐体２２０ｚの内部に、ＮＤフィルタ３２、絞り３３、レンズ群３４、レンズ駆動部３６、ＮＤ駆動部３８、及び絞り駆動部４０を有する。なお、撮像部２２０における各構成の少なくとも一部は、設けられなくてもよい。なお、カメラプロセッサ１１及び画像処理部１４は、異なるプロセッサにより各機能がされてもよいし、同一のプロセッサによりにより各機能が実現されてもよい。
【００８６】
カメラプロセッサ１１は、撮像に関する撮像条件を決定する。撮像条件は、露光時間、露光量、焦点位置、等を含んでよい。撮像条件は、画像を撮像するための撮像モードに応じて決定されてよい。撮像条件は、過去に撮像された画像に基づいて決定されてもよい。カメラプロセッサ１１は、撮像条件に基づいて、各駆動部（例えば素子駆動部２０、シャッタ駆動部１９、絞り駆動部４０、ＮＤ駆動部３８、レンズ駆動部３６）を制御し、各構成部（例えば、撮像素子１３、シャッタ１２、絞り３３、ＮＤフィルタ、レンズ群３４の少なくとも１つ）が動作してよい。
【００８７】
カメラプロセッサ１１は、例えば撮像条件に従って、自動露光（ＡＥ：Automatic Exposure）制御を行ってよい。カメラプロセッサ１１は、自動露光制御では、例えば、シャッタ１２、絞り３３、及びＮＤフィルタ３２の少なくとも１つを制御して、撮像時の露光量を調整してよい。カメラプロセッサ１１は、例えば撮像条件に従って、自動焦点制御（ＡＦ：Automatic Focus）を行ってよい。カメラプロセッサ１１は、自動焦点制御では、例えばレンズ群３４のレンズを制御して、焦点位置を制御してよい。
【００８８】
また、カメラプロセッサ１１は、撮像された画像に関する画像条件を決定する。画像条件は、ホワイトバランス、等を含んでよい。画像条件は、画像を撮像するための撮像モードに応じて決定されてよい。画像条件は、過去に撮像された画像に基づいて決定されてもよい。カメラプロセッサ１１は、画像条件に基づいて、各構成部（例えばゲイン制御部２１、画像処理部１４）を制御してよい。
【００８９】
カメラプロセッサ１１は、例えば画像条件に従って、画像処理部１４と連動して、自動ホワイトバランス制御（ＡＷＢ：Automatic White Balance）を行ってよい。
【００９０】
カメラプロセッサ１１は、撮像素子１３にタイミング信号を供給する素子駆動部２０に、撮像の指示を送出してよい。
【００９１】
シャッタ１２は、例えばフォーカルプレーンシャッタであり、シャッタ駆動部１９により駆動される。シャッタ１２の開放時に入射した光は、撮像素子１３の撮像面上に結像する。撮像素子１３は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子１３には、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型ＭＯＳ）イメージセンサが用いられてよい。
【００９２】
ゲイン制御部２１は、撮像素子１３から入力された画像信号に対してノイズを低減し、画像信号を増幅するゲイン（利得）を制御する。
【００９３】
画像処理部（ＩＳＰ：Image Signal Processor）１４は、ゲイン制御部２１によって増幅された画像信号に対し、アナログデジタル変換を行って画像データを生成する。画像処理部１４は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。画像処理部１４は、ホワイトバランスを調整してよい。画像処理部１４は、ゲイン制御部２１と連動し、ゲインを加味して、ホワイトバランスを調整してよい。
【００９４】
また、画像処理部１４は、ＲＡＷ画像からＲＧＢ画像への変換を行ってよい。画像処理部１４は、ＲＡＷ画像又はＲＧＢ画像に対して色相検波を行ってよい。画像処理部１４は、色相検波の結果に基づいて、３Ａ検波を行い、検波値を算出してよい。３Ａ検波に係る「３Ａ」には、自動露光制御（ＡＥ）、自動焦点制御（ＡＦ）及び自動ホワイトバランス制御（ＡＷＢ）が含まれる。３Ａ検波の検波値は、自動露光制御、自動焦点制御及び自動ホワイトバランス制御に用いられる少なくとも１つの検波値を含む。検波値の算出は、複数の画像に基づいて算出された複数の３Ａ検波の検波値の統計値（例えば平均値）を含んでよい。
【００９５】
メモリ１５は、各種データや画像データや各種プログラムを記憶する記憶媒体である。各種プログラムは、例えば、ＡＥアルゴリズム、ＡＦアルゴリズム、及びＡＷＢアルゴリズムを含んでよい。
【００９６】
シャッタ駆動部１９は、カメラプロセッサ１１から指示されたシャッタスピードでシャッタ１２を開閉する。シャッタスピードによって露光量を調整可能である。
【００９７】
素子駆動部２０は、タイミングジェネレータであり、カメラプロセッサ１１からの撮像の指示に従い、撮像素子１３にタイミング信号を供給し、撮像素子１３の電荷の蓄積動作、読み出し動作、リセット動作等を行う。
【００９８】
フラッシュ１８は、カメラプロセッサ１１の指示に従い、夜間撮像時や逆光時（逆光補正時）に閃光し、被写体を照明する。フラッシュ１８には、例えばＬＥＤ（light Emitting Diode）ライトが用いられる。なお、フラッシュ１８は省かれてもよい。
【００９９】
レンズ群３４は、被写体からの光を集光して撮像素子１３に結像する。レンズ群３４は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ、等を含んでよい。レンズ群３４は、レンズ駆動部３６によって駆動される。レンズ駆動部３６は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、レンズ群３４を光軸ｏｐの方向（光軸方向）に移動させてよい。レンズ駆動部３６は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、筐体２２０ｚの一部でありレンズ群３４を収容する鏡筒を前後方向に伸縮させてよい。レンズを移動させることで、焦点位置を調整可能である。
【０１００】
絞り３３は、絞り駆動部４０によって駆動される。絞り駆動部４０は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、絞り３３の開口を拡縮する。絞り３３の開口具合によって、露出量を調整可能である。
【０１０１】
ＮＤフィルタ３２は、光軸ｏｐの方向（光軸方向）において、例えば絞り３３の近傍に配置され、入射する光の量を制限する減光を行う。ＮＤ駆動部３８は、モータ（図示せず）を有し、カメラプロセッサ１１からの制御信号を入力すると、ＮＤフィルタ３２を光軸ｏｐ上に挿抜してよい。ＮＤフィルタ３２による減光量によって、露出量を調整可能である。
【０１０２】
図５は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、記憶部８７、及び表示部８８を備える。端末８０は、無人航空機１００の飛行制御の指示を希望するユーザに所持され得る。
【０１０３】
端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【０１０４】
端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報を取得してもよい。端末制御部８１は、記憶部８７に保持されたデータや情報を取得してもよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報を送信してもよい。端末制御部８１は、データや情報を表示部８８に送り、このデータや情報に基づく表示情報を表示部８８に表示させてもよい。表示部８８に表示される情報や通信部８５により無人航空機１００へ送信される情報は、無人航空機１００が飛行するための飛行経路や飛行位置、撮像部２２０により撮像するための撮像位置の情報を含んでよい。
【０１０５】
操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチパネル、マイクロホン、等の入力装置を含んでもよい。タッチパネルは、操作部８３と表示部８８とで構成されてよい。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
【０１０６】
通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮや公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してよい。
【０１０７】
記憶部８７は、各種情報、各種データ、各種プログラム、各種画像を保持してよい。各種プログラムは、端末８０で実行されるアプリケーションプログラムを含んでよい。記憶部８７は、コンピュータ読み取り可能な記録媒体でよい。記憶部８７は、ＲＯＭ、ＲＡＭ、等を含んでよい。記憶部８７は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。記憶部８７の少なくとも一部が、端末８０から取り外し可能であってよい。
【０１０８】
記憶部８７は、無人航空機１００から取得された撮像画像や撮像画像に基づく画像を保持してよい。記憶部８７は、撮像画像や撮像画像に基づく画像の付加情報を保持してよい。
【０１０９】
表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータを表示する。表示部８８は、例えば、撮像画像や撮像画像に基づく画像を表示してよい。表示部８８は、アプリケーションプログラムの実行に係る各種データや情報を表示してもよい。
【０１１０】
次に、無人航空機１００の動作について説明する。
図６は、無人航空機１００による動作の概要を説明するための図である。
【０１１１】
ＵＡＶ制御部１１０は、所定の撮像開始トリガに応じて、撮像部２２０による撮像を開始する。撮像開始時には、保護フレーム体３００の保護フレーム３１０の色が初期値となっている。保護フレーム３１０の色の初期値は、任意の色でよく、例えば黒色である。撮像部２２０による撮像は、複数の画像の撮像であり、連続する画像の撮像でも不連続の画像の撮像でもよく、動画の撮像でも静止画の撮像でよい。撮像開始トリガは、通信部１５０を介して端末８０から撮像開始指示を受けたこと、撮像を開始するための所定の時刻となったことを検知したこと、等を含んでよい。動画の撮像の場合、例えば１秒当たり３０枚（３０ｆｐｓに相当）又は６０枚（６０ｆｐｓに相当）の撮像画像が得られてよい。
【０１１２】
無人航空機１００は、飛行中又は非飛行中に、撮像部２２０が、所定のシーンを撮像する。シーンは、撮像範囲を示してもよいし、被写体を示してもよいし、撮像環境を示してもよい。また、シーンは、無人航空機１００に設定された撮像モードに連動してもよい。例えば、撮像モードは、端末８０の操作部８３を介して指定され、撮像モードの情報が通信部８５及び通信部１５０を介して無人航空機１００へ送られてもよい。同じシーンでは、撮像範囲に含まれる色成分が類似し、つまり撮像画像の色成分が類似する。
【０１１３】
画像処理部１４は、撮像素子１３からの画像信号を受け、撮像画像としてＲＡＷ画像Ｇ１１を取得する。画像処理部１４は、ＲＡＷ画像Ｇ１１をＲＧＢ画像Ｇ１２に変換する。画像処理部１４は、ＲＧＢ画像Ｇ１２に対して色相検波を行い、色相検波の結果に応じて、ＲＧＢ画像Ｇ１２の色全体に含まれる割合が小さい色、つまり割合が所定以下の色を特定する。つまり、画像処理部１４は、撮像されるシーンにおいて少ない色を特定する。例えば、風景のシーンが撮像された場合、自然界では紫色の割合が小さいため、紫色が特定の色とされ得る。
【０１１４】
なお、ＲＧＢ画像Ｇ１２への変換は必須ではなく、省略されてもよい。この場合、画像処理部１４は、ＲＡＷ画像Ｇ１１に対して色相検波を行い、色相検波の結果に応じて、ＲＡＷ画像Ｇ１１の色全体に含まれる割合が小さい色を特定する。
【０１１５】
画像処理部１４は、この特定された色を、保護フレーム体３００の保護フレーム３１０の色に指定する。よって、ＲＡＷ画像Ｇ１１及びＲＧＢ画像Ｇ１２の少なくとも１つは、保護フレーム３１０の色を指定するための画像であり、フレーム色指定用画像Ｇ１とも称する。
【０１１６】
保護フレーム体３００の保護フレーム３１０のフレーム色は、上記の特定（指定）された色に変更される。例えば、保護フレーム３１０のフレーム色が紫色に変更される。
【０１１７】
この場合、様々な色の保護フレーム３１０を予め用意しておき、任意の人や装置が、特定された色の保護フレーム３１０に交換してよい。この場合、ＵＡＶ制御部１１０（第１の制御部の一例）は、特定された色（第１の色の一例）の情報を提示部（例えば表示部、音声出力部、振動部）に提示させてよい。提示部は、例えば端末８０が備えていてよい。この場合、端末８０の端末制御部８１が、通信部１５０及び通信部８５を介して無人航空機１００から特定された色の情報を取得し、提示部に提示させてよい。これにより、変更すべき保護フレーム３００体の保護フレーム３１０の色を端末８０のユーザが確認でき、変更すべき色の保護フレーム３１０に手動で容易に交換できる。また、保護フレーム３１０の交換の際には、無人航空機１００は、例えば端末８０を所持するユーザの位置へ帰還するよう飛行制御されてよい。保護フレーム３１０の交換後には、無人航空機１００は、撮像対象のシーンの撮像を再開してよい。
【０１１８】
また、保護フレーム体３００が、複数の色に発光可能な発光部を有してよい。発光部は、例えばＬＥＤを含んで構成されてよい。発光部は、保護フレーム体３００におけるいずれかの位置に配置され、保護フレーム体３００のいずれかの位置を照射して発光させてよい。また、発光部は、各保護フレーム３１０内にＬＥＤに埋め込まれており、ＬＥＤが発光することで埋め込まれた保護フレーム３１０の位置が発光してよい。ＵＡＶ制御部１１０（第２の制御部の一例）は、発光部の発光を制御し、保護フレーム体３００の保護フレーム３１０の色を上記の特定された色に変更してよい。
【０１１９】
これにより、無人航空機１００は、保護フレーム体３００の保護フレーム３１０の色を、自動で簡単に特定された色に変更できる。また、手動による保護フレーム３１０の交換と異なり、無人航空機１００が保護フレーム３１０の交換場所へ移動（例えばユーザの位置へ帰還）することが不要であるので、無人航空機１００が飛行しながら保護フレーム３１０の色を変更できる。よって、無人航空機１００は、動画のように連続的に画像を撮像しながら、保護フレーム３１０の色をシーンに応じて柔軟に変更可能である。
【０１２０】
無人航空機１００は、保護フレーム３１０のフレーム色が変更された状態で、飛行中又は非飛行中に、撮像部２２０が、所定のシーンを撮像する。このシーンは、撮像開始後に既に撮像されたシーン（以前に撮像されたシーン）と同じである。したがって、以前に撮像されたシーンと同様の色分布のシーンの画像が撮像される。
【０１２１】
画像処理部１４は、撮像素子１３からの画像信号を受け、撮像画像としてＲＡＷ画像Ｇ２１を取得する。画像処理部１４は、ＲＡＷ画像Ｇ２１に対して、３Ａ検波を行う。ＲＡＷ画像Ｇ２１は、３Ａ検波を行うための画像であり、３Ａ検波用画像Ｇ２とも称する。この場合、画像処理部１４は、ＲＡＷ画像Ｇ２１に基づく画像における保護フレーム３１０の色（例えば紫色）の領域をマスクし、３Ａ検波の対象外とする。マスクされた領域（マスク領域ＭＲ）は、３Ａ検波に加味されず、３Ａ検波において影響を受けない。マスク領域ＭＲは、ＲＡＷ画像Ｇ２１に基づく画像において保護フレーム３１０が占拠する画素の数や形状を有する。画像処理部１４は、一部領域がマスクされたＲＡＷ画像Ｇ２１に基づく画像に対して、３Ａ検波を行い、検波値を算出する。
【０１２２】
画像処理部１４は、ＲＡＷ画像Ｇ２１の３Ａ検波の結果（つまり検波値）に基づいて、ＲＡＷ画像Ｇ２１をＲＧＢ画像Ｇ２２に変換する。ＲＧＢ画像Ｇ２２は、以降の画像処理の対象とされたり、端末８０の表示部８８等により表示されたりしてよい。
【０１２３】
また、カメラプロセッサ１１は、ＲＡＷ画像Ｇ２１の３Ａ検波の検波値に基づいて、撮像部２２０による撮像を制御する。例えば、カメラプロセッサ１１は、レンズ群３４に含まれる１つ以上のレンズを制御し、自動焦点制御に用いられる検波値を基に、自動焦点制御を行ってよい。カメラプロセッサ１１は、シャッタ１２（例えばシャッタスピード）、ＮＤフィルタ３２、及び絞り３３の少なくとも１つを制御し、自動露光制御に用いられる検波値を基に、自動露光制御を行ってよい。カメラプロセッサ１１は、画像処理部１４を制御し、自動ホワイトバランス制御に用いられる検波値を基に、自動ホワイトバランス制御を行ってよい。なお、レンズ群３４、シャッタ１２、ＮＤフィルタ３２、及び絞り３３の制御では、これらを駆動するための駆動部が、カメラプロセッサ１１により制御されてよい。
【０１２４】
このように、無人航空機１００（画像処理装置の一例）は、保護フレーム体３００（フレーム体の一例）に包囲された無人航空機１００（飛行体の一例）が備える撮像部２２０に撮像された画像を処理する。無人航空機１００は、画像を処理する画像処理部１４を備える。画像処理部１４は、保護フレーム体３００の保護フレーム３１０の色が所定の色の状態で撮像部２２０に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定してよい。画像処理部１４は、保護フレーム３１０の色が第１の色の状態で撮像部２２０によりシーンが撮像された３Ａ検波用画像Ｇ２（第１の画像の一例）を取得してよい。画像処理部１４は、３Ａ検波用画像Ｇ２と第１の色とに基づいて、３Ａ制御に用いられる検波値を算出してよい。３Ａ制御は、自動露出制御（ＡＦ制御）と自動焦点制御（ＡＥ制御）と自動ホワイトバランス制御（ＡＷＢ制御）との少なくとも１つを含む。
【０１２５】
これにより、無人航空機１００は、撮像部２２０により撮像されるシーンに保護フレーム体３００の一部が位置する場合でも、保護フレーム３１０の色をこのシーンにはあまり含まれない第１の色として撮像できる。よって、無人航空機１００は、第１の色を加味して３Ａ検波に用いる検波値を算出することで、所望の被写体ではない保護フレーム体３００の影響を除外した検波値を導出可能である。よって、無人航空機１００は撮像範囲における意図しない一部の領域（例えば保護フレーム３１０がある領域）にフォーカスしたり、この領域を基準として明るさやホワイトバランスを調整したりすることを抑制できる。
【０１２６】
また、無人航空機１００は、撮像部２２０を保護フレーム体３００が包囲することで、撮像部２２０への外部からの衝撃に対する耐性を向上できる。また、無人航空機１００は、高精度な３Ａ検波の検波値を得ることができるので、撮像部２２０による撮像制御を高精度に実施でき、点検作業に支障が出ることを抑制できる。このように、無人航空機１００の外部からの衝撃に対して撮像部２２０を十分に保護可能であり、撮像画像に基づく画像の検波精度を向上でき、画質の低下を抑制できる。
【０１２７】
また、カメラプロセッサ１１（第３の制御部の一例）は、３Ａ検波の検波値に基づいて、撮像部２２０による撮像を制御してよい。これにより、無人航空機１００は、保護フレーム３１０の影響を除外した検波値を用いることで、撮像部２２０の撮像範囲における意図しない一部の領域にフォーカスしたり、この領域を基準として明るさやホワイトバランスを調整したりすることを抑制できる。
【０１２８】
また、カメラプロセッサ１１は、３Ａ検波の検波値に基づいて、撮像部２２０のレンズ群３４のレンズ、シャッタ１２、絞り３３、ＮＤフィルタ３２（減光フィルタの一例）、及び画像処理部１４による３Ａ検波用画像Ｇ２に対する画像処理の少なくとも１つを制御してよい。これにより、無人航空機１００は、撮像部２２０が備える各部を用いて撮像時の露光量を調整したり、焦点位置を調整したり、ホワイトバランスを調整したりできる。
【０１２９】
また、上記の画像処理や撮像制御を、無人航空機１００が主に行ってよい。この場合、３Ａ検波の検波値の導出や検波値に基づく撮像制御を１つの装置で行うことができ、効率的な処理を実施でき、処理時間を短縮できる。また、これらの処理を行うための装置を、無人航空機１００とは別体として用意することが不要となる。なお、上記の画像処理や撮像制御を、他の装置（例えば端末８０、送信機）が主に行ってもよい。
【０１３０】
また、無人航空機１００は、保護フレーム体３００が撮像部２２０に対して回転自在であってよい。この場合、撮像部２２０の撮像範囲において、保護フレーム３１０の位置が変化する。この場合でも、無人航空機１００は、移動可能な保護フレーム３１０の影響を除外して、高精度な３Ａ検波の検波値を導出できる。よって、無人航空機１００は、高精度な３Ａ検波の検波値を用いて３Ａ制御を実施できる。したがって、無人航空機１００は、保護フレーム３１０が動いても、３Ａ制御の制御品質を一定に保つことができ、得られる画像の画質を一定に維持できる。例えば、無人航空機１００は、保護フレーム３１０が回転したことによる焦点位置や露出量やホワイトバランスが急激に変化することを抑制できる。
【０１３１】
図７は、保護フレーム３１０のフレーム色の特定例を示す図である。
【０１３２】
画像処理部１４は、フレーム色指定用画像Ｇ１として取得されたＲＧＢ画像Ｇ１２に対して色相検波を行い、色相検波の結果に応じて、ＲＧＢ画像Ｇ１２の色全体に含まれる割合が小さい色を特定するための処理（フレーム色特定処理ともいう）を行う。この特定された色が、保護フレーム３１０のフレーム色として指定される。なお、ここではフレーム色指定用画像Ｇ１がＲＧＢ画像Ｇ１２であることを例示するが、ＲＡＷ画像Ｇ１１であってもよい。
【０１３３】
フレーム色特定処理では、画像処理部１４は、ＲＧＢ画像Ｇ１２の各画素のＲＧＢ値をＨ（ＨＵＥ）値（色相値）に変換する。つまり、画像処理部１４は、ＲＧＢ画像Ｇ１２の各画素のＲＧＢ値を基に、Ｈ値（色相値）に変換する。この場合、画像処理部１４は、（式１）を用いて、ＲＧＢ値を基にＨ値を算出してよい。
【０１３４】
【数１】
0006803960.tif 000002
【０１３５】
つまり、画像処理部１４は、Ｒ値、Ｇ値、Ｂ値が同一である場合、（式１）の１行目のように示され、Ｈ値は不定（Ｕｎｄｅｆｉｎｅｄ）となる。Ｒ値、Ｇ値、Ｂ値のうちＢ値が最小値である場合、Ｈ値は（式１）の２行目のように示される。Ｒ値、Ｇ値、Ｂ値のうちＲ値が最小値である場合、Ｈ値は（式１）の３行目のように示される。Ｒ値、Ｇ値、Ｂ値のうちＧ値が最小値である場合、Ｈ値は（式１）の４行目のように示される。
【０１３６】
画像処理部１４は、ＲＧＢ画像Ｇ１２のＲＧＢ色空間の値から、ＨＳＶ色空間の値を算出してよい。つまり、画像処理部１４は、Ｈ値だけでなく、Ｓ（Ｓａｔｕｒａｔｉｏｎ）値（彩度値）、Ｖ（Ｖａｌｕｅ）値（明度値）を算出してよい。よって、Ｈ値、Ｓ値、Ｖ値により特定される色は、図７では円柱により示されたＨＳＶ色空間におけるいずれかの位置に分布される。
【０１３７】
画像処理部１４は、算出されたＨ値を蓄積し、Ｈ値のヒストグラムである色相ヒストグラムＨＧを生成する。色相ヒストグラムＨＧは、ＨＳＶ色成分で示されたＲＧＢ画像Ｇ１２における各色相の画素の画素数を示す。色相ヒストグラムＨＧでは、横軸がＨ値（Ｈｕｅ）を示し、縦軸がそのＨ値となる画素の画素数（Ｃｎｔ）を示す。色相ヒストグラムＨＧにより、どの色相の画素数が多く、どの色相の画素数が少ないかが認識可能である。
【０１３８】
画像処理部１４は、色相ヒストグラムＨＧを参照し、画素数が閾値ｔｈ以下の色相を特定する。なお、画素数が閾値ｔｈ以下には、ＲＧＢ画像Ｇ１２の全画素数に依存せずに所定の画素数が閾値ｔｈ以下であることを含んでよいし、ＲＧＢ画像Ｇ１２の全画素数に対する所定の色相の割合が閾値ｔｈ以下であることを含んでよい。よって、ＲＧＢ画像Ｇ１２において絶対的な画素数の少ない色（色相）やＲＧＢ画像Ｇ１２において相対的な画素数の少ない色が特定される。つまり、画像が撮像されたシーンにおいて少ない色が特定される。
【０１３９】
画像処理部１４は、例えば、色相ヒストグラムＨＧ２に示すように、画素数が最小である色相（Ｈ＿ｆｒａｍｅ）を特定する。画像処理部１４は、この特定された色を、保護フレーム体３００の保護フレーム３１０の新たな色に指定する。
【０１４０】
このように、画像処理部１４は、３Ａ検波用画像Ｇ２の前に、３Ａ検波用画像Ｇ２と同じシーンが撮像されたフレーム色指定用画像Ｇ１（第２の画像の一例）を取得してよい。画像処理部１４は、フレーム色指定用画像Ｇ１の色全体に含まれる割合が小さい第１の色（例えばＨ＿ｆｒａｍｅ）を特定してよい。
【０１４１】
これにより、無人航空機１００は、撮像部２２０による３Ａ検波用画像Ｇ２の取得の前に、フレーム色指定用画像Ｇ１を取得するという簡単な動作を追加するだけで、シーンにない新たなフレーム色を容易に特定できる。また、無人航空機１００は、撮像部２２０により動画のような連続的な画像シーケンスを得る場合には、一連の画像シーケンス内において、異なる画像フレームを用いて、保護フレーム３１０の色の指定と保護フレーム３１０の影響を抑制した３Ａ検波とを実施できる。画像シーケンスは、時系列に並ぶ複数の画像フレームを有する。
【０１４２】
また、画像処理部１４は、フレーム色指定用画像Ｇ１に対して色相検波してよい。画像処理部１４は、色相検波によりフレーム色指定用画像Ｇ１において各色相の画素の画素数を示す色相ヒストグラムＨＧを算出してよい。画像処理部１４は、色相ヒストグラムＨＧにおいて画素数が閾値ｔｈ以下の色相に相当する第１の色を特定してよい。
【０１４３】
これにより、無人航空機１００は、色相検波の実施や色相ヒストグラムＨＧの生成という容易な処理により、撮像シーンに少ない色を特定でき、特定された色を保護フレーム３１０の新たな色に指定できる。
【０１４４】
また、フレーム色指定用画像Ｇ１は、撮像部２２０により撮像されたＲＡＷ画像Ｇ１１を基に変換されたＲＧＢ画像Ｇ１２でよい。これにより、ＲＡＷ画像Ｇ１１を用いるよりもより高精度に、撮像シーンに含まれる色成分が少ない色を特定できる。また、ＲＧＢからＨＳＶへの変換は汎用性が高く、実施し易い。なお、フレーム色指定用画像Ｇ１として、ＲＡＷ画像Ｇ１１が用いられてもよい。
【０１４５】
次に、保護フレーム体３００を加味した３Ａ検波について説明する。
図８は、保護フレーム３１０を加味した自動焦点制御用の検波例を示す図である。
【０１４６】
自動焦点制御用の検波は、３Ａ検波用画像Ｇ２を用いて行われる。３Ａ検波用画像Ｇ２は、ＲＡＷ画像Ｇ２１である。
【０１４７】
画像処理部１４は、ＲＡＷ画像Ｇ２１に対して高周波成分を抽出し、エッジ画像Ｇ３を生成する。つまり、画像処理部１４は、ＲＡＷ画像Ｇ２１をＨＰＦ（High Pass Filter）に通し、遮断周波数より高い周波数成分をほぼ減衰させず、遮断周波数より低い周波数成分を低減させる。エッジ画像Ｇ３では、高周波成分（つまりエッジ、輪郭）が強調される。図８では、エッジ画像Ｇ３において、被写体としての〇，△，□、及び保護フレーム３１０の輪郭が示されている。
【０１４８】
画像処理部１４は、ＲＡＷ画像Ｇ２１の各画素から保護フレーム３１０の画素を抽出する。この場合、画像処理部１４は、ＲＡＷ画像Ｇ２１が撮像された際の保護フレーム３１０の色の画素を抽出する。保護フレーム３１０の色の画素の領域が、マスク領域ＭＲとなる。
【０１４９】
画像処理部１４は、エッジ画像Ｇ３からマスク領域ＭＲを減算し、マスク領域ＭＲが除外されたＡＦ検波用画像Ｇ４を生成する。図８では、ＡＦ検波用画像Ｇ４において、被写体としての〇，△，□の輪郭が示されている。画像処理部１４は、ＡＦ検波用画像Ｇ４に対して自動焦点制御を行うための検波（ＡＦ検波）を行い、ＡＦ検波の検波値を算出する。つまり、ＡＦ検波では高周波成分が検波され、フォーカスが合わせやすいようにがされている。
【０１５０】
このように、画像処理部１４は、３Ａ検波用画像Ｇ２の高周波成分を抽出したエッジ画像Ｇ３（第３の画像の一例）を生成してよい。画像処理部１４は、エッジ画像Ｇ３から、３Ａ検波用画像Ｇ２における変更後の保護フレーム３１０の色（第１の色の一例）の成分を減算して、ＡＦ検波用画像Ｇ４（第４の画像の一例）を生成してよい。画像処理部１４は、ＡＦ検波用画像Ｇ４に対して自動焦点制御に用いられる検波値を算出してよい。
【０１５１】
ＡＦ検波のための高周波成分の抽出では、エッジが際立つため、保護フレーム３１０のような線状の部材が抽出され易く、ＡＦ検波の検波値に影響を与えやすい。これに対し、無人航空機１００は、３Ａ検波用画像Ｇ２の高周波成分（画像のエッジ部分）について、色を基準に保護フレーム体３００の影響を抑制でき、自動焦点制御の精度を向上できる。
【０１５２】
図９は、保護フレーム３１０を加味した自動露出制御用又は自動ホワイトバランス制御用の検波例を示す図である。
【０１５３】
自動露出制御用又は自動ホワイトバランス制御用の検波は、３Ａ検波用画像Ｇ２を用いて行われる。３Ａ検波用画像Ｇ２は、ＲＡＷ画像Ｇ２１である。
【０１５４】
画像処理部１４は、ＲＡＷ画像Ｇ２１の各画素から保護フレーム３１０の画素を抽出する。この場合、画像処理部１４は、ＲＡＷ画像Ｇ２１が撮像された際の保護フレーム３１０の色の画素を抽出する。保護フレーム３１０の色の画素の領域が、マスク領域ＭＲとなる。
【０１５５】
画像処理部１４は、ＲＡＷ画像Ｇ２１からマスク領域ＭＲを減算し、マスク領域ＭＲが除外されたＡＥ／ＡＷＢ検波用画像Ｇ５を生成する。図９では、ＡＥ／ＡＷＢ検波用画像Ｇ５において、被写体としての〇，△，□が示されている。画像処理部１４は、ＡＥ／ＡＷＢ検波用画像Ｇ５に対して自動露出制御を行うための検波（ＡＥ検波）を行い、ＡＥ検波の検波値を算出する。画像処理部１４は、ＡＥ／ＡＷＢ検波用画像Ｇ５に対して自動ホワイトバランス制御を行うための検波（ＡＷＢ検波）を行い、ＡＷＢ検波の検波値を算出する。ＡＥ／ＡＷＢ検波は、ＡＥ検波及びＡＷＢ検波の少なくとも１つを示す。
【０１５６】
このように、画像処理部１４は、３Ａ検波用画像Ｇ２から、３Ａ検波用画像Ｇ２における変更後の保護フレーム３１０の色（第１の色の一例）の成分を減算してＡＥ／ＡＷＢ検波用画像Ｇ５（第５の画像の一例）を生成してよい。画像処理部１４は、ＡＥ／ＡＷＢ検波用画像に対して自動露出制御又は自動ホワイトバランス制御に用いられる検波値を算出してよい。
【０１５７】
これにより、無人航空機１００は、３Ａ検波用画像Ｇ２について、色を基準に保護フレーム体３００の影響を抑制でき、自動露出制御及び自動ホワイトバランス制御の少なくとも一方の精度を向上できる。
【０１５８】
図１０は、無人航空機１００による動作例を示すフローチャートである。
【０１５９】
画像処理部１４は、撮像部２２０により所定のシーンが撮像されたＲＡＷ画像Ｇ１１を取得する（Ｓ１１）。画像処理部１４は、ＲＡＷ画像Ｇ１１を基に、ＲＧＢ画像Ｇ１２を生成する（Ｓ１２）。画像処理部１４は、ＲＧＢ画像Ｇ１２に対して色相検波し、シーン中に少ない色を特定する（Ｓ１３）。保護フレーム体３００の保護フレーム３１０を、手動又は自動で、特定された色のフレームに変更する（Ｓ１４）。なお、Ｓ１２は省略可能である。
【０１６０】
画像処理部１４は、次の画像フレームのＲＡＷ画像Ｇ２１を取得する（Ｓ１５）。このＲＡＷ画像Ｇ２１の撮像シーンは、Ｓ１１で得られたＲＡＷ画像Ｇ１１の撮像シーンと同じである。画像処理部１４は、ＲＡＷ画像Ｇ２１における保護フレーム体３００の保護フレーム３１０の領域をマスク領域ＭＲとして除外し、３Ａ検波の検波値を算出する（Ｓ１６）。具体的には、画像処理部１４は、ＡＦ検波の検波値、ＡＥ検波の検波値、及びＡＷＢ検波の検波値の少なくとも１つを算出する。
【０１６１】
カメラプロセッサ１１は、算出された３Ａ検波の検波値に基づいて、撮像部２２０を制御する（Ｓ１７）。例えば、カメラプロセッサ１１は、撮像部２２０のシャッタ１２、絞り３３、及びＮＤフィルタ３２の少なくとも１つを制御して、自動露光制御を行ってよい。カメラプロセッサ１１は、撮像部２２０のレンズ群３４のレンズを制御して、自動焦点制御を行ってよい。カメラプロセッサ１１は、画像処理部１４を介して３Ａ検波用画像Ｇ２に対する画像処理を行い、自動ホワイトバランス制御を行ってよい。
【０１６２】
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
【０１６３】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【０１６４】
上記実施形態では、撮像部２２０が撮像制御及び画像処理の機能を有するが、撮像部２２０の一部の機能を他装置や他部で分散して実施してもよい。例えば、ＵＡＶ制御部１１０が、撮像部２２０が撮像制御及び画像処理の機能の少なくとも一部を行ってもよい。
【符号の説明】
【０１６５】
１０  飛行体システム
８０  端末
８１  端末制御部
８３  操作部
８５  通信部
８７  記憶部
８８  表示部
１００  無人航空機
１１０  ＵＡＶ制御部
１５０  通信部
１６０  記憶部
２００  ジンバル
２１０  回転翼機構
２２０  撮像部
２４０  ＧＰＳ受信機
２５０  慣性計測装置
２６０  磁気コンパス
２７０  気圧高度計
２８０  超音波センサ
２９０  レーザー測定器
３００  保護フレーム体
３１０  保護フレーム
ＨＧ，ＨＧ２  色相ヒストグラム
Ｇ１  フレーム色指定用画像
Ｇ１１  ＲＡＷ画像
Ｇ１２  ＲＧＢ画像
Ｇ２  ３Ａ検波用画像
Ｇ２１  ＲＡＷ画像
Ｇ２２  ＲＧＢ画像
Ｇ３  エッジ画像
Ｇ４  ＡＦ検波用画像
Ｇ５  ＡＥ／ＡＷＢ検波用画像
【要約】
【課題】無人航空機の外部からの衝撃に対してカメラを十分に保護可能であり、無人航空機により撮像される画像の検波精度が向上することが望ましい。
【解決手段】画像処理装置は、フレーム体に包囲された飛行体が備える撮像部に撮像された画像を処理する。画像処理装置の画像処理部は、フレーム体のフレームの色が所定の色の状態で撮像部に撮像されるシーンの色全体に含まれる割合が小さい第１の色を特定し、フレームの色が第１の色の状態で撮像部によりシーンが撮像された第１の画像を取得し、第１の画像と第１の色とに基づいて、自動露出制御と自動焦点制御と自動ホワイトバランス制御との少なくとも１つに用いられる検波値を算出する。
【選択図】図６【図１】
0006803960.tif 000003
【図２】
0006803960.tif 000004
【図３】
0006803960.tif 000005
【図４】
0006803960.tif 000006
【図５】
0006803960.tif 000007
【図６】
0006803960.tif 000008
【図７】
0006803960.tif 000009
【図８】
0006803960.tif 000010
【図９】
0006803960.tif 000011
【図１０】
0006803960.tif 000012