(57)【要約】【課題】無人航空機の進入が禁止された領域への無人航空機の進入を抑制すること。【解決手段】情報処理装置１００は、記憶部を有する。記憶部は、所定の物体が写った教師画像ごとに、所定の物体の教師画像上での位置を特定する情報と、所定の物体を基準とした禁止領域を特定する情報とを対応付けて記憶する。情報処理装置１００は、無人航空機１１０が有する撮像装置が撮像した撮像画像１２０から所定の物体を検出する。情報処理装置１００は、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置に基づいて、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。情報処理装置１００は、進入する可能性があると判定した場合、記憶部を参照し、検出した所定の物体を基準とした禁止領域に関する情報を出力する。【選択図】図１
2019200734.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行させることを特徴とする情報処理プログラム。
【請求項２】
前記コンピュータに、
前記記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置と、前記所定の物体の前記教師画像上での位置を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報を検索する、処理を実行させ、
前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定する、ことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機の飛行を制御する制御指示を前記無人航空機に出力する、ことを特徴とする請求項２に記載の情報処理プログラム。
【請求項４】
前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機を飛行させる操縦指標を出力する、ことを特徴とする請求項２または３に記載の情報処理プログラム。
【請求項５】
前記記憶部は、前記教師画像ごとに、前記所定の物体が写った前記教師画像上の画素を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報とを対応付けて記憶し、
前記検出する処理は、前記撮像画像上の画素ごとに、前記所定の物体が写った画素である確率の大きさを示す確信度を算出し、
前記検索する処理は、前記撮像画像上の画素ごとに算出した前記確信度と、前記所定の物体が写った前記教師画像上の画素を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報を検索する、ことを特徴とする請求項２〜４のいずれか一つに記載の情報処理プログラム。
【請求項６】
前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、前記教師画像上の所定範囲内の画素に、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素が含まれる場合、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があると判定する、ことを特徴とする請求項５に記載の情報処理プログラム。
【請求項７】
前記記憶部は、複数の物体のそれぞれの物体について、前記物体が写った教師画像ごとに、前記物体の前記教師画像上での位置を特定する情報と、前記物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する、ことを特徴とする請求項１〜６のいずれか一つに記載の情報処理プログラム。
【請求項８】
コンピュータが、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行することを特徴とする情報処理方法。
【請求項９】
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
制御部を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
【背景技術】
【０００２】
従来、人が搭乗しなくても飛行することができる無人航空機がある。無人航空機は、例えば、人の無線操縦にしたがって飛行したり、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）座標に基づいて飛行したりする。無人航空機は、具体的には、ドローン（Ｄｒｏｎｅ）と呼ばれるマルチコプターである。
【０００３】
先行技術としては、例えば、撮影したライブ画像と、特定画像とを比較して、ライブ画像から抽出したい対象を認識した際に、検知した現在位置を出力するものがある。また、例えば、無線通信装置から基地局を介して受信される移動体の位置情報に基づいて、移動体が移動体の規制に関連するエリアに存在するかを判定する技術がある。また、例えば、監視対象の移動が検出され、空中移動機により移動しようとしたときに、監視対象が予め設定された侵入禁止領域に移動した場合、水平移動をせずに上昇させる技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１６２７１号公報
【特許文献２】特開２０１７−１３５５０７号公報
【特許文献３】特開２０１５−２５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、無人航空機の進入が好ましくないエリアがあっても、無人航空機の進入が好ましくないエリアへの無人航空機の進入を抑制することが難しい。例えば、人が地図情報を基に無人航空機の進入が好ましくないエリアを無人航空機に設定し、無人航空機がＧＰＳ座標を基に設定されたエリアへの進入を回避することが考えられるが、設定するエリアの数が増加するほど人の作業負担が増加してしまう。
【０００６】
１つの側面では、本発明は、無人航空機の進入が禁止された領域への無人航空機の進入を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する情報処理プログラム、情報処理方法、および情報処理装置が提案される。
【発明の効果】
【０００８】
一態様によれば、無人航空機の進入が禁止された領域への無人航空機の進入を抑制することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。
【図２】図２は、無人航空機管理システム２００の一例を示す説明図である。
【図３】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。
【図４】図４は、無人航空機１１０のハードウェア構成例を示すブロック図である。
【図５】図５は、情報処理装置１００の機能的構成例を示すブロック図である。
【図６】図６は、無人航空機管理システム２００の具体的な機能的構成例を示すブロック図である。
【図７】図７は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図（その１）である。
【図８】図８は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図（その２）である。
【図９】図９は、進入不可エリアの一例を示す説明図である。
【図１０】図１０は、学習モデルを学習する一例を示す説明図（その１）である。
【図１１】図１１は、学習モデルを学習する一例を示す説明図（その２）である。
【図１２】図１２は、学習モデルを学習する一例を示す説明図（その３）である。
【図１３】図１３は、確信度を算出する一例を示す説明図である。
【図１４】図１４は、進入不可エリアデータを取得する一例を示す説明図である。
【図１５】図１５は、進入するか否かを判定する一例を示す説明図である。
【図１６】図１６は、ドローン６００を制御する一例を示す説明図である。
【図１７】図１７は、データセット用意処理手順の一例を示すフローチャートである。
【図１８】図１８は、学習処理手順の一例を示すフローチャートである。
【図１９】図１９は、撮像処理手順の一例を示すフローチャートである。
【図２０】図２０は、飛行制御処理手順の一例を示すフローチャートである。
【図２１】図２１は、全体処理手順の一例を示すフローチャートである。
【図２２】図２２は、ＤＬエンジン処理手順の一例を示すフローチャートである。
【図２３】図２３は、進入不可エリアデータ取得処理手順の一例を示すフローチャートである。
【図２４】図２４は、方角計算処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。
【００１１】
（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。図１において、情報処理装置１００は、無人航空機１１０に関する無人航空機管理システムを制御するコンピュータである。無人航空機１１０は、例えば、ドローンである。
【００１２】
ここで、無人航空機１１０が飛行する際、セキュリティ担保、プライバシー保護、人の安全確保、または、無人航空機１１０の故障防止などの観点から、無人航空機１１０の進入を禁止することが望まれる領域が存在する。無人航空機１１０の進入を禁止することが望まれる領域は、例えば、所定の物体を基準とした領域である。所定の物体を基準とした領域は、例えば、所定の物体の性質に合わせた形状であることが好ましい。所定の物体の性質は、例えば、所定の物体の種類、角度、大きさ、向きなどである。以下の説明では、無人航空機１１０の進入を禁止する領域を「進入不可エリア」と表記する場合がある。
【００１３】
例えば、セキュリティ担保の観点から、国の重要施設や重要文化財や企業の研究施設への進入を禁止することが望まれる。また、例えば、プライバシー保護の観点から、プールの周囲の領域への進入を禁止することが望まれる。また、例えば、人の安全確保の観点から、人の上空への進入を禁止することが望まれる。また、例えば、人の安全確保の観点から、消火栓のホース取り付け箇所の前、または、消火栓の扉の前などの領域への進入を禁止することが望まれる。また、例えば、無人航空機１１０の故障防止の観点から、火の気の周囲の領域への進入を禁止することが望まれる。
【００１４】
これに対し、例えば、人が地図情報を基に、進入不可エリアを無人航空機１１０に設定し、無人航空機１１０がＧＰＳ座標を基に、設定された進入不可エリアに接近したか否かを判定し、設定された進入不可エリアへの進入を回避するようにする場合が考えられる。しかしながら、この場合では、進入不可エリアへの無人航空機１１０の進入を抑制することが難しい。
【００１５】
例えば、進入不可エリアが増加するほど、人の作業負担が増加してしまう。また、例えば、進入不可エリアを設定する際、進入不可エリアの基準とする物体の性質を考慮することが好ましいため、人の作業負担が増加してしまう。具体的には、プールに関する進入不可エリアは、盗撮防止のためにプールの周囲の一定領域も含むことが好ましい。また、具体的には、消火栓に関する進入不可エリアは、消火栓のホース取り付け箇所の前、または、消火栓の扉の前などの一定領域を含むことが好ましい。このように、人の作業負担が増加してしまうため、進入不可エリアへの無人航空機１１０の進入を抑制することが難しくなる。
【００１６】
また、例えば、新しく施設が建造され、新しい進入不可エリアが発生した場合、無人航空機１１０に、新しい進入不可エリアを設定し直さなければ、無人航空機１１０は、新しい進入不可エリアに進入してしまうことがある。一方で、既存の施設が撤去され、進入不可エリアが消滅した場合、無人航空機１１０は、進入不可エリアを設定し直さなければ、進入可能になった領域に進入することができず、効率よく移動することが難しくなることがある。地図情報から屋内の詳細な構造を把握することが難しいと、屋内の領域に進入不可エリアを設定することが難しい。また、電波の到達しにくい屋内では、無人航空機１１０が、ＧＰＳ座標を基に進入不可エリアに接近したか否かを判定し、進入不可エリアへの進入を回避することが難しくなる。
【００１７】
ほかにも、様々な形状の進入不可エリアが写った大量の画像を用意し、無人航空機１１０が撮像した画像を入力すると、無人航空機１１０が撮像した画像の中から進入不可エリアを直接検出することが可能な学習モデルを機械学習しようとする場合が考えられる。しかしながら、この場合では、進入不可エリアの基準となる所定の物体が特徴的であっても、所定の物体の周囲の領域は特徴的ではないことがあり、学習モデルを学習することが難しく、進入不可エリアへの無人航空機１１０の進入を抑制することが難しい。
【００１８】
例えば、プールの周囲の領域を進入不可エリアとして扱う場合、プールごとに周囲の領域における床材が異なり、または、プールごとに併設される施設が異なるため、プールの周囲の領域を直接検出することが可能な学習モデルを機械学習することは難しい。
【００１９】
そこで、本実施の形態では、地図情報がなくても進入不可エリアを設定することができ、無人航空機１１０が撮像した撮像画像に基づいて、進入不可エリアへの無人航空機１１０の進入を抑制することができる情報処理方法について説明する。
【００２０】
図１において、無人航空機１１０は、撮像装置を有する。撮像装置は、例えば、３６０度カメラである。無人航空機１１０は、撮像装置が撮像した撮像画像１２０を情報処理装置１００に送信する。無人航空機１１０は、例えば、ドローンである。図１の例では、無人航空機１１０の近くに消火栓１４０がある状況である。
【００２１】
情報処理装置１００は、記憶部を有する。記憶部は、所定の物体が写った教師画像ごとに、所定の物体の教師画像上での位置を特定する情報と、所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する。所定の物体は、進入不可エリアの基準となる物体である。所定の物体は、例えば、重要施設、研究施設、寺や神社、消火栓、プールや池などの水場、花火や蝋燭などの火の気、照明装置、の作物、人、または、動物などである。情報処理装置１００は、画像に所定の物体が写っているか否かを検出可能な学習モデル１３１を含むＤＬ（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）エンジン１３０を有する。
【００２２】
情報処理装置１００は、無人航空機１１０が有する撮像装置が撮像した撮像画像１２０から所定の物体を検出する。情報処理装置１００は、例えば、ドローンが有する３６０度カメラが撮像した３６０度カメラ画像を取得する。そして、情報処理装置１００は、ＤＬエンジン１３０を用いて、３６０度カメラ画像から消火栓１４０を検出する。
【００２３】
情報処理装置１００は、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。禁止領域は、例えば、進入不可エリアである。情報処理装置１００は、例えば、消火栓１４０のホース取り付け箇所の前の領域を含む進入不可エリア１５０に、ドローンが進入する可能性があるか否かを判定する。
【００２４】
情報処理装置１００は、進入する可能性があると判定した場合、記憶部を参照し、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に関する情報を出力する。例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される制御指示である。情報処理装置１００は、制御情報を用いて、例えば、進入する可能性があると判定した場合、ドローンと通信し、進入不可エリア１５０に進入しないように、ドローンの飛行を制御する。また、例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される通知である。情報処理装置１００は、例えば、進入不可エリア１５０が存在する方向を、ドローンの操縦者に通知してもよい。
【００２５】
これにより、情報処理装置１００は、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、所定の物体の性質に合わせて、所定の物体を基準とした禁止領域の形状を変更可能にすることができる。このため、情報処理装置１００は、利用者によって無人航空機１１０の進入を禁止することが望まれる領域を、正確に禁止領域として特定可能にすることができる。また、情報処理装置１００は、所定の物体の性質に合わせて、所定の物体の周囲であっても進入可能な領域を設定可能にすることができる。このため、情報処理装置１００は、所定の物体の性質を考慮せずに、一律で無人航空機１１０が所定の物体に接近しないようにする場合に比べて、無人航空機１１０が効率的に飛行可能なようにすることができる。
【００２６】
また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体がどの位置に配置されているかを、利用者が予め設定せずに済むようにすることができ、利用者の作業負担の低減化を図ることができる。また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体が複数存在していても、それぞれの物体を基準とした禁止領域を、利用者が予め設定せずに済むようにすることができ、利用者の作業負担の低減化を図ることができる。
【００２７】
また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体が新たに設置され、または、撤去されても、所定の物体を基準とした禁止領域を、利用者が設定し直さずに済むようにすることができる。このため、情報処理装置１００は、利用者の作業負担の低減化を図ることができる。また、情報処理装置１００は、所定の物体の撤去前に禁止領域であった領域に、所定の物体の撤去後は、無人航空機１１０が進入可能なようにすることができ、無人航空機１１０が効率的に飛行可能なようにすることができる。
【００２８】
また、情報処理装置１００は、電波の到達しにくい屋内で、無人航空機１１０を飛行させようとする場合も、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、禁止領域の基準となる所定の物体を検出してから、検出した所定の物体を基準とした禁止領域を特定することができる。このため、情報処理装置１００は、禁止領域を直接検出する場合に比べて、禁止領域を正確に検出可能なようにすることができる。
【００２９】
また、情報処理装置１００は、地図情報からは屋内の構造を把握することが難しくても、屋内に禁止領域があれば、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、無人航空機１１０の操縦者が、無人航空機１１０が何の物体の上空を飛行しているかを目視困難な場所にいても、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、無人航空機１１０が、プライバシー保護の観点から禁止領域に接近した場合、無人航空機１１０が撮像した撮像画像を破棄または加工させ、プライバシー保護を図るようにしてもよい。
【００３０】
また、無人航空機１１０の操縦者が、無人航空機１１０が撮像した３６０度カメラ画像を見ながら、禁止領域への無人航空機１１０の進入を回避するように、無人航空機１１０を操縦する場合が考えられる。しかしながら、この場合では、無人航空機１１０の操縦者は、３６０度カメラ画像が歪曲していると、禁止領域と無人航空機１１０との位置関係が掴みにくいことがあり、禁止領域への無人航空機１１０の進入を回避することが難しいことがある。これに比べ、情報処理装置１００は、無人航空機１１０の操縦者の感覚によらず、３６０度カメラ画像が歪曲していても、禁止領域への無人航空機１１０の進入を抑制することができる。
【００３１】
（無人航空機管理システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、無人航空機管理システム２００の一例について説明する。
【００３２】
図２は、無人航空機管理システム２００の一例を示す説明図である。図２において、無人航空機管理システム２００は、情報処理装置１００と、１以上の無人航空機１１０とを含む。無人航空機管理システム２００において、情報処理装置１００と無人航空機１１０とは、例えば、無線通信により接続される。
【００３３】
情報処理装置１００は、無人航空機管理システム２００を制御するコンピュータである。情報処理装置１００は、無人航空機１１０と無線通信し、無人航空機１１０が有する撮像装置が撮像した撮像画像を取得する。撮像装置は、例えば、３６０度カメラである。情報処理装置１００は、撮像画像に基づいて、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入が抑制されるように、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する。情報処理装置１００は、例えば、サーバ、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などである。
【００３４】
無人航空機１１０は、人の無線操縦にしたがって飛行したり、ＧＰＳ座標に基づいて飛行したりする飛行機械である。無人航空機１１０は、撮像装置を有する。無人航空機１１０は、情報処理装置１００と無線通信し、撮像装置が撮像した撮像画像を情報処理装置１００に送信する。無人航空機１１０は、例えば、情報処理装置１００と無線通信し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入が抑制されるように、無人航空機１１０の飛行を制御する。無人航空機１１０は、例えば、ドローンである。
【００３５】
ここでは、情報処理装置１００と無人航空機１１０とが別の装置である場合について説明したが、これに限らない。例えば、情報処理装置１００と無人航空機１１０とが一体である場合があってもよい。また、情報処理装置１００の処理の一部を、無人航空機１１０が実行する場合があってもよい。
【００３６】
（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。
【００３７】
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１と、メモリ３０２と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
【００３８】
ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
【００３９】
通信Ｉ／Ｆ３０３は、電磁波を用いた無線信号により、他のコンピュータに接続される。他のコンピュータは、例えば、無人航空機１１０である。そして、通信Ｉ／Ｆ３０３は、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ３０３は、例えば、アンテナと無線通信回路とにより実現される。
【００４０】
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御にしたがって記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。
【００４１】
情報処理装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
【００４２】
（無人航空機１１０のハードウェア構成例）
次に、図４を用いて、無人航空機１１０のハードウェア構成例について説明する。
【００４３】
図４は、無人航空機１１０のハードウェア構成例を示すブロック図である。図４において、無人航空機１１０は、ＣＰＵ４０１と、メモリ４０２と、通信Ｉ／Ｆ４０３と、撮像装置４０４と、駆動装置４０５とを有する。また、各構成部は、バス４００によってそれぞれ接続される。
【００４４】
ここで、ＣＰＵ４０１は、無人航空機１１０の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
【００４５】
通信Ｉ／Ｆ４０３は、電磁波を用いた無線信号により、他のコンピュータに接続される。他のコンピュータは、例えば、情報処理装置１００である。そして、通信Ｉ／Ｆ４０３は、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ４０３は、例えば、アンテナと無線通信回路とにより実現される。
【００４６】
撮像装置４０４は、撮像素子を有し、無人航空機１１０の周囲を撮像する。撮像装置４０４は、例えば、半球型または全天球型の３６０度カメラである。駆動装置４０５は、無人航空機１１０を飛行させる動力を発生させる。駆動装置４０５は、例えば、プロペラとモーターとにより実現される。
【００４７】
（情報処理装置１００の機能的構成例）
次に、図５を用いて、情報処理装置１００の機能的構成例について説明する。
【００４８】
図５は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部５００と、取得部５０１と、検出部５０２と、判定部５０３と、出力部５０４とを含む。
【００４９】
記憶部５００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部５００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部５００が、情報処理装置１００とは異なる装置に含まれ、記憶部５００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。
【００５０】
取得部５０１〜出力部５０４は、制御部の一例として機能する。取得部５０１〜出力部５０４は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、通信Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
【００５１】
記憶部５００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部５００は、例えば、無人航空機１１０が有する撮像装置４０４が撮像した撮像画像を記憶する。無人航空機１１０は、例えば、ドローンである。撮像装置４０４は、例えば、３６０度カメラである。撮像画像は、３６０度カメラ画像である。記憶部５００は、例えば、撮像画像に所定の物体が写っているか否かを検出可能な学習モデルを記憶する。学習モデルは、例えば、撮像画像を入力すると撮像画像上の画素ごとに確信度を出力することが可能な学習モデルである。画素は、ピクセルである。確信度は、所定の物体が写った画素である確率の大きさを示す値である。これにより、記憶部５００は、撮像画像から所定の物体を検出可能にすることができる。
【００５２】
記憶部５００は、例えば、所定の物体が写った教師画像ごとに、所定の物体の教師画像上での位置を特定する情報と、教師画像に写った所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する。禁止領域は、例えば、３次元空間である。禁止領域は、例えば、所定の物体の上方向一定距離までの空間であってもよい。所定の物体の教師画像上での位置を特定する情報は、例えば、所定の物体が写った教師画像上の画素を特定する情報である。所定の物体が写った教師画像上の画素を特定する情報は、具体的には、後述する正解データである。
【００５３】
禁止領域を特定する情報は、教師画像に写った所定の物体を基準とした禁止領域を特定する情報である。禁止領域を特定する情報は、例えば、禁止領域が写った教師画像上の画素を特定する情報である。禁止領域が写った教師画像上の画素を特定する情報は、具体的には、後述する進入不可エリアデータである。教師画像に写った所定の物体と、撮像画像に写りうる所定の物体とは、同種の物体であることを意味しており、現実に存在する同一の物体に限らなくてよい。
【００５４】
ここで、記憶部５００は、例えば、複数の教師画像についての情報を記憶しなくてもよい。換言すれば、記憶部５００は、１つの教師画像についての情報を記憶するだけであってもよい。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【００５５】
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を特定する情報を記憶してもよい。記憶部５００は、具体的には、教師画像の撮像時、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０と、教師画像に写った所定の物体を基準とする禁止領域との位置関係を特定する情報を記憶する。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【００５６】
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域が存在する方向を特定する情報を記憶してもよい。方向を特定する情報は、具体的には、教師画像の撮像時、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０を起点にした、教師画像に写った所定の物体を基準とする禁止領域が存在する方向を特定する情報である。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【００５７】
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報を記憶してもよい。可能性があるか否かを示す情報は、具体的には、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０と、教師画像に写った所定の物体を基準とする禁止領域とが一定以上近いか否かを示す情報である。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【００５８】
記憶部５００は、例えば、複数の物体のそれぞれの物体について、物体が写った教師画像ごとに、物体の教師画像上での位置を特定する情報と、物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶してもよい。これにより、記憶部５００は、それぞれの物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【００５９】
取得部５０１は、各機能部の処理に用いられる各種情報を取得する。取得部５０１は、利用者の操作入力に基づき各種情報を取得してもよい。取得部５０１は、情報処理装置１００とは異なる装置から各種情報を取得してもよい。取得部５０１は、取得した各種情報を、各機能部に出力する。取得部５０１は、取得した各種情報を、記憶部５００に格納してもよい。
【００６０】
取得部５０１は、例えば、所定の物体が写った１以上の画像を取得する。そして、取得部５０１は、所定の物体が写った１以上の画像を基に、撮像画像に所定の物体が写っているか否かを検出可能な学習モデルを学習する。取得部５０１は、例えば、自装置で学習モデルを学習しない場合、情報処理装置１００とは異なる装置から学習モデルを受信してもよい。また、取得部５０１は、例えば、自装置で学習モデルを学習しない場合、利用者の操作入力に基づき、学習モデルの入力を受け付けてもよい。これにより、取得部５０１は、撮像画像上の所定の物体を検出可能にすることができる。
【００６１】
取得部５０１は、所定範囲の指定を受け付ける。所定範囲は、無人航空機１１０の近傍範囲を示す。所定範囲は、例えば、所定時間で無人航空機１１０の進入が可能である範囲を示す。所定時間は、例えば、撮像画像の撮像間隔である。所定範囲は、例えば、利用者により設定される。所定範囲は、可変であってもよい。所定範囲は、例えば、無人航空機１１０の速度に合わせて可変であってもよい。所定範囲は、例えば、無人航空機１１０が禁止領域に進入する可能性があるか否かを判定する際に用いられる。
【００６２】
これにより、取得部５０１は、無人航空機１１０が禁止領域に進入する可能性があるか否かを判定可能にすることができる。また、取得部５０１は、例えば、無人航空機１１０の速度に合わせて、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定する精度の向上を図ることができる。また、取得部５０１は、例えば、利用者の指定に応じて、禁止領域に無人航空機１１０が進入する可能性の低減化を優先するか、無人航空機１１０の飛行の自由度を優先するかを変更することができる。
【００６３】
取得部５０１は、無人航空機１１０が有する撮像装置４０４が撮像した撮像画像を取得する。取得部５０１は、例えば、ドローンの３６０度カメラが撮像した３６０度カメラ画像を取得する。これにより、取得部５０１は、検出部５０２に撮像画像を提供することができる。
【００６４】
検出部５０２は、撮像画像から所定の物体を検出する。検出部５０２は、例えば、学習モデルを用いて、撮像画像上の画素ごとに確信度を算出する。これにより、検出部５０２は、現在の無人航空機１１０から撮像した撮像画像上での、所定の物体の写り方を特定する情報を取得することができる。検出部５０２は、撮像画像と教師画像との大きさが異なる場合、撮像画像を縦方向または横方向に伸長または短縮し、教師画像と同じ大きさに加工してから、学習モデルを用いて、撮像画像上の画素ごとに確信度を算出してもよい。これにより、検出部５０２は、撮像画像と教師画像との大きさが異なる場合に対しても適用可能にすることができる。
【００６５】
判定部５０３は、記憶部５００を参照し、検出した所定の物体の撮像画像上での位置に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
【００６６】
判定部５０３は、例えば、記憶部５００を参照し、検出した所定の物体の撮像画像上での位置と、所定の物体の教師画像上での位置を特定する情報とを照合した結果に基づいて、教師画像に写った所定の物体を基準とした禁止領域を特定する情報を検索する。判定部５０３は、検索した結果に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
【００６７】
判定部５０３は、具体的には、撮像画像上の画素ごとに算出した確信度と、所定の物体が写った教師画像上の画素を特定する情報とを照合する。照合の具体例については、図１４を用いて後述する。判定部５０３は、照合した結果に基づいて、禁止領域が写った教師画像上の画素を特定する情報を検索する。判定部５０３は、検索した結果に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
【００６８】
判定部５０３は、より具体的には、検索した情報に基づいて、教師画像上の所定範囲内の画素に、所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域が写った教師画像上の画素があるか否かを判定する。判定部５０３は、画素があれば、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があると判定する。また、判定部５０３は、検索された情報がある場合、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があると判定してもよい。
【００６９】
これにより、判定部５０３は、所定の物体の写り方が撮像画像と同様である教師画像に基づく、教師画像に写った所定の物体を基準とした禁止領域を特定する情報を検索することができる。ここで、無人航空機１１０と撮像画像に写った所定の物体を基準とする禁止領域との位置関係は、所定の物体の写り方が撮像画像と同様である教師画像を撮像した場所と教師画像に写った所定の物体を基準とする禁止領域との位置関係と同様になる類似性がある。この類似性を基に、判定部５０３は、検索した情報を、撮像画像に写った所定の物体を基準とした禁止領域を特定する情報として援用することができる。結果として、判定部５０３は、検索した情報に基づいて、撮像画像に写った所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。
【００７０】
また、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を特定する情報が用いられる場合がある。この場合、判定部５０３は、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を、検出した所定の物体を基準とした禁止領域と無人航空機１１０との位置関係に援用する。そして、判定部５０３は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
【００７１】
また、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報が用いられている場合がある。この場合、判定部５０３は、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性の有無を、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性の有無に援用する。そして、判定部５０３は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
【００７２】
出力部５０４は、各機能部の処理結果の少なくともいずれかを出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、通信Ｉ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。
【００７３】
出力部５０４は、判定部５０３が進入する可能性があると判定した場合、記憶部５００を参照し、検出した所定の物体を基準とした禁止領域に関する情報を出力する。例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される制御指示である。出力部５０４は、例えば、判定部５０３が検索した情報に基づいて、検出部５０２が検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力する。これにより、出力部５０４は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
【００７４】
出力部５０４は、例えば、判定部５０３が検索した情報に基づいて、検出部５０２が検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０を飛行させる操縦指標を出力する。操縦指標は、例えば、禁止領域が存在する方向である。これにより、出力部５０４は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
【００７５】
出力部５０４は、例えば、判定部５０３が進入する可能性がないと判定した場合、進入する可能性がないことを示す情報を出力してもよい。出力部５０４は、具体的には、判定部５０３が進入する可能性がないと判定した場合、無人航空機１１０がいずれの方向にも進行可能なように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力する。
【００７６】
また、無人航空機１１０が、制御指示を受信しなければ、自動でいずれの方向にも進行可能なように飛行するようになっている場合がある。この場合、出力部５０４は、判定部５０３が進入する可能性がないと判定した場合、進入する可能性がないことを示す情報を出力しなくてもよい。これにより、出力部５０４は、無線通信にかかる消費電力を削減することができる。
【００７７】
（無人航空機管理システム２００の具体的な機能的構成例）
次に、図６を用いて、無人航空機管理システム２００の具体的な機能的構成例について説明する。
【００７８】
図６は、無人航空機管理システム２００の具体的な機能的構成例を示すブロック図である。以下の説明では、無人航空機１１０は「ドローン６００」であるとする。図６において、ドローン６００は、ドローン制御部６３１と、撮像制御部６３２とを含む。
【００７９】
ドローン制御部６３１は、ドローン６００の飛行を制御する。ドローン制御部６３１は、例えば、人の無線操縦にしたがってドローン６００の飛行する方向を決定したり、ＧＰＳ座標に基づいてドローン６００の飛行する方向を決定し、駆動装置４０５を制御する。また、ドローン制御部６３１は、撮像制御部６３２から撮像画像を取得し、情報処理装置１００に送信する。ドローン制御部６３１の動作は、具体的には、図２０に後述する飛行制御処理により実現される。
【００８０】
撮像制御部６３２は、撮像装置を制御し、一定時間ごとに撮像装置に撮像させ、撮像画像をドローン制御部６３１に出力する。撮像制御部６３２の動作は、具体的には、図１９に後述する撮像処理により実現される。
【００８１】
図６において、情報処理装置１００は、全体制御部６０１と、ＤＬエンジン部６０２と、進入不可エリアデータ取得部６０３と、方角計算部６０４とを含む。また、情報処理装置１００は、進入不可エリアデータセット６１０を記憶する。進入不可エリアデータセット６１０は、同一の３６０度カメラ画像に基づく正解データ６１１と進入不可エリアデータ６１２とのセットである。
【００８２】
情報処理装置１００は、例えば、正解データ６１１に、正解データファイルの中での行番号を割り当てて、正解データ６１１を、正解データファイルを用いて記憶する。また、情報処理装置１００は、例えば、進入不可エリアデータ６１２に、進入不可エリアデータファイルの中での行番号を割り当てて、進入不可エリアデータ６１２を、進入不可エリアデータファイルを用いて記憶する。この際、情報処理装置１００は、例えば、同一の３６０度カメラ画像に基づく正解データ６１１と進入不可エリアデータ６１２とには、同一の行番号が割り当てられるようにする。
【００８３】
正解データ６１１は、教師画像である３６０度カメラ画像上での所定の物体が写ったピクセルを示す情報であり、教師画像である３６０度カメラ画像上での所定の物体の写り方を示す情報である。正解データ６１１は、例えば、教師画像である３６０度カメラ画像から成形されたピクセル単位の多次元配列データと同じ次元で、所定の物体が写ったピクセルに対応する配列要素に１を設定した多次元配列データである。所定の物体が写ったピクセル以外に対応する配列要素は、０が設定される。
【００８４】
進入不可エリアデータ６１２は、教師画像である３６０度カメラ画像上での所定の物体を基準とした進入不可エリアが写ったピクセルを示す情報であり、教師画像である３６０度カメラ画像上での進入不可エリアの写り方を示す情報である。進入不可エリアデータ６１２は、例えば、教師画像である３６０度カメラ画像から成形されたピクセル単位の多次元配列データと同じ次元で、進入不可エリアが写ったピクセルに対応する配列要素に１を設定した多次元配列データである。進入不可エリアが写ったピクセル以外に対応する配列要素は、０が設定される。
【００８５】
全体制御部６０１は、撮像画像を受信し、ＤＬエンジン部６０２と、進入不可エリアデータ取得部６０３と、方角計算部６０４とを用いて、ドローン６００の飛行を制御し、または、ドローン６００の操縦者に操縦指針を通知する。全体制御部６０１は、例えば、撮像画像をＤＬエンジン部６０２に入力し、撮像画像のピクセル単位の確信度を示す多次元配列データをＤＬエンジン部６０２から取得する。撮像画像のピクセル単位の確信度を示す多次元配列データは、撮像画像のピクセル単位で対応する配列要素を有し、配列要素に確信度が設定された多次元配列データである。全体制御部６０１は、例えば、撮像画像のピクセル単位の確信度を示す多次元配列データを進入不可エリアデータ取得部６０３に入力し、進入不可エリアデータ６１２を進入不可エリアデータ取得部６０３から取得する。
【００８６】
全体制御部６０１は、例えば、進入不可エリアデータ６１２を方角計算部６０４に入力し、ドローン６００を起点にして進入不可エリアが存在する方角を示す方角情報を方角計算部６０４から取得する。進入不可エリアは、例えば、３次元空間である。方角は、例えば、水平面の方角である。方角は、例えば、水平面での方角に限らず、高度を考慮した方角であってもよい。全体制御部６０１は、方角情報が示す方角にドローン６００が進行しないようにドローン６００の飛行を制御し、または、方角情報が示す方角をドローン６００の操縦者に通知する。全体制御部６０１の動作は、具体的には、図２１に後述する全体処理により実現される。
【００８７】
ＤＬエンジン部６０２は、プールや消火栓などの所定の物体が写った１以上の画像に基づいて、学習モデルを学習する。ＤＬエンジン部６０２は、例えば、プールについての学習モデル６２１や消火栓についての学習モデル６２２を学習して記憶しておく。ＤＬエンジン部６０２は、撮像画像を入力されると、学習モデルを用いた推論を実施し、ピクセル単位の確信度を示す多次元配列データを算出する。ＤＬエンジン部６０２の動作は、具体的には、図２２に後述するＤＬエンジン処理により実現される。
【００８８】
進入不可エリアデータ取得部６０３は、ピクセル単位の確信度を示す多次元配列データが入力されると、進入不可エリアデータセット６１０から、入力された多次元配列データに対応する正解データ６１１を含む進入不可エリアデータセット６１０を検索する。進入不可エリアデータ取得部６０３は、検索した進入不可エリアデータセット６１０に含まれる進入不可エリアデータ６１２を出力する。進入不可エリアデータ取得部６０３の動作は、具体的には、図２３に後述する進入不可エリアデータ取得処理により実現される。
【００８９】
方角計算部６０４は、進入不可エリアデータ６１２が入力されると、ドローン６００を起点にして進入不可エリアが存在する方角を特定し、ドローン６００を起点にして進入不可エリアが存在する方角を示す方角情報を出力する。方角計算部６０４の動作は、具体的には、図２４に後述する方角計算処理により実現される。
【００９０】
（ＤＬエンジン部６０２の具体的な機能的構成例）
次に、図７および図８を用いて、ＤＬエンジン部６０２の具体的な機能的構成例について説明する。
【００９１】
図７および図８は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図である。図７は、学習モデル７５０の学習を実現する機能的構成例を示す。図７において、ＤＬエンジン部６０２は、教師画像７１０と、教師画像７１０に対応する正解データ７２０と、ニューラルネットワーク定義７３０と、ハイパーパラメータ７４０を、ＤＬ学習器７００に入力する。そして、ＤＬエンジン部６０２は、ＤＬ学習器７００から出力される学習モデル７５０を取得する。次に、図８の説明に移行する。
【００９２】
図８は、学習モデル７５０を用いた推論を実現する機能的構成例を示す。図８において、ＤＬエンジン部６０２は、テストデータ８１０である撮像画像と、ニューラルネットワーク定義７３０と、学習モデル７５０とを、ＤＬ推論器８００に入力する。そして、ＤＬエンジン部６０２は、ＤＬ推論器８００から推論結果８２０として出力される、テストデータ８１０である撮像画像のピクセル単位の確信度を示す多次元配列データを取得する。
【００９３】
（情報処理装置１００の動作例）
次に、図９〜図１６を用いて、情報処理装置１００の動作例について説明する。まず、図９の説明に移行し、進入不可エリアの一例について説明する。
【００９４】
図９は、進入不可エリアの一例を示す説明図である。図９に示すように、進入不可エリアの基準となる物体は、例えば、プール９１０である。プール９１０を基準とする進入不可エリア９１１は、プライバシーの観点から、プール９１０を含む一定範囲の土地の上空の空間である。また、進入不可エリアの基準となる物体は、例えば、火の気９２０である。火の気９２０を基準とする進入不可エリア９２１は、無人航空機１１０の破損防止の観点から、火の気９２０の周囲の空間である。
【００９５】
また、進入不可エリアの基準となる物体は、例えば、消火栓９３０である。消火栓９３０を基準とする進入不可エリア９３１は、火災発生時の人の安全確保の観点から、消火栓９３０のホース取り付け箇所の前方の土地の上空の空間である。次に、図１０の説明に移行し、進入不可エリアの基準となる物体を検出するための学習モデルを学習する一例について説明する。
【００９６】
図１０〜図１２は、学習モデルを学習する一例を示す説明図である。図１０に示すように、情報処理装置１００は、プールが写った教師画像である３６０度カメラ画像１０００と、３６０度カメラ画像１０００に対応付けられた正解データ１０１０とを取得する。正解データ１０１０は、３６０度カメラ画像１０００と同じ次元の多次元配列データであり、プールが写ったピクセルに対応する配列要素に１が設定された多次元配列データである。
【００９７】
情報処理装置１００は、取得した３６０度カメラ画像１０００と正解データ１０１０とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１０２０を作成する。情報処理装置１００は、例えば、ニューラルネットワークの重み付けデータを、学習モデル１０２０として作成する。情報処理装置１００は、具体的には、学習モデル１０２０により、３６０度カメラ画像１０００のピクセルごとに、プールが写ったピクセルとしての確信度を推論した場合に、推論結果８２０が正解データ１０１０に類似するように、学習モデル１０２０を作成する。推論結果８２０は、正解データ１０１０と同じ次元の多次元配列データであり、ピクセル単位で推論した確信度が、ピクセル単位で対応する配列要素に設定された多次元配列データである。次に、図１１の説明に移行し、学習モデルを学習する際に、教師画像が複数ある場合について説明する。
【００９８】
図１１において、情報処理装置１００は、プールが写った教師画像である３６０度カメラ画像１１００と、３６０度カメラ画像１１００に対応付けられた正解データ１１０１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１１００と正解データ１１０１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１１２０を学習する。
【００９９】
情報処理装置１００は、同様に、プールが写った教師画像である３６０度カメラ画像１１１０と、３６０度カメラ画像１１１０に対応付けられた正解データ１１１１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１１１０と正解データ１１１１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１１２０を修正する。
【０１００】
情報処理装置１００は、同様に、他の３６０度カメラ画像と正解データとにも基づいて学習モデル１１２０を修正する。これにより、情報処理装置１００は、プールが写ったピクセルとしての確信度を推論可能な学習モデルを学習することができ、学習モデルによる確信度の推論精度の向上を図ることができる。次に、図１２の説明に移行する。
【０１０１】
図１２において、情報処理装置１００は、消火栓が写った教師画像である３６０度カメラ画像１２００と、３６０度カメラ画像１２００に対応付けられた正解データ１２０１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１２００と正解データ１２０１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１２２０を学習する。
【０１０２】
情報処理装置１００は、同様に、消火栓が写った教師画像である３６０度カメラ画像１２１０と、３６０度カメラ画像１２１０に対応付けられた正解データ１２１１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１２１０と正解データ１２１１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１２２０を修正する。
【０１０３】
情報処理装置１００は、同様に、消火栓が写った他の３６０度カメラ画像と正解データとにも基づいて学習モデル１２２０を修正する。これにより、情報処理装置１００は、消火栓が写ったピクセルとしての確信度を推論可能な学習モデルを学習することができ、学習モデルによる確信度の推論精度の向上を図ることができる。次に、図１３の説明に移行し、情報処理装置１００が、撮像画像を取得し、撮像画像のピクセルごとに確信度を算出する一例について説明する。
【０１０４】
図１３は、確信度を算出する一例を示す説明図である。図１３において、情報処理装置１００は、ドローン６００が撮像した撮像画像である３６０度カメラ画像１３００を、ドローン６００から受信する。情報処理装置１００は、受信した３６０度カメラ画像１３００を、プールについての学習モデル１１２０を用いたＤＬ推論器に入力し、３６０度カメラ画像１３００のピクセル単位の確信度を示す多次元配列データ１３１０を推論結果８２０として取得する。確信度は、０〜１の範囲で、１に近いほど、プールが写ったピクセルである可能性が大きいことを示す。
【０１０５】
この際、情報処理装置１００は、多次元配列データ１３１０に、確信度が閾値以上の配列要素があれば、３６０度カメラ画像１３００にプールが写っていると判定する。一方で、情報処理装置１００は、多次元配列データ１３１０に、確信度が閾値以上の配列要素がなければ、３６０度カメラ画像１３００にプールが写っていないと判定する。情報処理装置１００は、プールが写っていなければ、他の物体についての学習モデルを用いたＤＬ推論器に、３６０度カメラ画像１３００を入力し、他の物体が写っているか否かを判定する。次に、情報処理装置１００が、プールが写っていると判定したとして図１４の説明に移行し、多次元配列データ１３１０を基に、進入不可エリアデータを取得する一例について説明する。
【０１０６】
図１４は、進入不可エリアデータを取得する一例を示す説明図である。図１４において、情報処理装置１００は、複数の３６０度カメラ画像のそれぞれの３６０度カメラ画像について、正解データと進入不可エリアデータとを対応付けた進入不可エリアデータセットを記憶している。複数の３６０度カメラ画像は、それぞれ、様々な角度、大きさ、位置にプールが写った３６０度カメラ画像であることが好ましい。進入不可エリアデータは、３６０度カメラ画像と同じ次元の多次元配列データであり、プールを基準にする進入不可エリアが写ったピクセルに対応する配列要素に１が設定された多次元配列データである。
【０１０７】
情報処理装置１００は、多次元配列データ１３１０を、正解データファイル１４００に含まれる正解データと照合する。情報処理装置１００は、例えば、多次元配列データ１３１０と正解データとの同一の位置にある配列要素に設定された値の差分を合計し、合計値の逆数を、多次元配列データ１３１０と正解データとの類似度として取得する。そして、情報処理装置１００は、類似度が最も大きくなる正解データを特定する。
【０１０８】
図１４の例では、情報処理装置１００は、正解データ１４１０を特定する。情報処理装置１００は、正解データ１４１０と同一の３６０度カメラ画像に基づく進入不可エリアデータ１４２０を取得する。情報処理装置１００は、具体的には、正解データ１４１０と同一の行番号に対応付けられた進入不可エリアデータ１４２０を取得する。
【０１０９】
これにより、情報処理装置１００は、プールの写り方が撮像画像と同様である教師画像に基づく、進入不可エリアデータを取得することができる。そして、情報処理装置１００は、撮像画像の撮像時と教師画像の撮像時との状況の類似性を基に、取得した進入不可エリアデータを、撮像画像に写ったプールについての進入不可エリアを特定するために援用することができる。次に、図１５の説明に移行する。
【０１１０】
図１５は、進入するか否かを判定する一例を示す説明図である。図１５の例では、情報処理装置１００は、撮像画像である３６０度カメラ画像１５００を取得し、進入不可エリアデータ１５１０を取得したとする。ここで、情報処理装置１００は、撮像画像である３６０度カメラ画像１５００の中心部をドローン６００の位置として、ドローン６００からの８つの方角を設定する。
【０１１１】
情報処理装置１００は、取得した進入不可エリアデータ１５１０の中心部をドローン６００の位置として、中心部から所定範囲内に、確信度１の配列要素が含まれるか否かを判定する。ここで、情報処理装置１００は、確信度１の配列要素が含まれなければ、進入不可エリアにドローン６００が進入する可能性がないと判定する。一方で、情報処理装置１００は、確信度１の配列要素が含まれれば、進入不可エリアにドローン６００が進入する可能性があると判定する。
【０１１２】
情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性があると判定した場合、進入不可エリアデータ１５１０において確信度１が設定された配列要素の集合に対応する、３６０度カメラ画像１５００の領域を特定する。そして、情報処理装置１００は、特定した領域がある方角１５０１〜１５０３を、進行不可能な方角として特定し、特定した領域がある方角１５０１〜１５０３以外を、進行可能な方角として特定する。情報処理装置１００は、具体的には、［北：ＯＫ、北西：ＯＫ、西：ＯＫ、南西：ＯＫ、南：ＯＫ、南東：ＮＧ、東：ＮＧ、北東：ＮＧ］を示す方角情報を特定する。
【０１１３】
ここでは、情報処理装置１００が、ドローン６００からの水平面での８つの方角を設定する場合について説明したが、これに限らない。例えば、３６０度カメラ画像１５００の中心部から見たそれぞれのピクセルの位置は、ドローン６００からの水平面の方角のほかに高度も表している。このため、情報処理装置１００が、高度を考慮した方角を設定する場合があってもよい。次に、図１６の説明に移行する。
【０１１４】
図１６は、ドローン６００を制御する一例を示す説明図である。図１６において、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性がないと判定した結果、および、取得した方角情報に基づいて、ドローン６００を制御する。
【０１１５】
例えば、３６０度カメラ画像１６００が撮像されたような状況であれば、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性があると判定している。このため、情報処理装置１００は、取得した方角情報に基づいて、進入不可エリアにドローン６００が進入しないように、ドローン６００の飛行を制御する制御信号をドローン６００に送信する。また、情報処理装置１００は、ドローン６００の操縦者が有するコントローラに、方角情報を送信し、ドローン６００の操縦者に方角情報を把握させ、進入不可エリアにドローン６００が進入しないように操縦させてもよい。
【０１１６】
一方で、例えば、３６０度カメラ画像１６１０が撮像されたような状況であれば、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性がないと判定している。このため、情報処理装置１００は、ドローン６００の飛行を制御せず、ドローン６００に自動で飛行させる。これにより、情報処理装置１００は、ドローン６００の進入が禁止された領域へのドローン６００の進入を抑制することができる。また、情報処理装置１００は、ドローン６００の進入を禁止する領域の基準となる所定の物体の性質に合わせて、ドローン６００の進入を禁止する領域の形状を変更することができ、ドローン６００の進入を禁止する領域を正確に設定しやすくすることができる。また、情報処理装置１００は、ドローン６００の進入を禁止する領域の基準となる所定の物体の性質に合わせて、所定の物体の周囲であっても進入可能な領域を設定することができる。
【０１１７】
（データセット用意処理手順）
次に、図１７を用いて、利用者が実施する、データセット用意処理手順の一例について説明する。データセット用意処理は、例えば、利用者がコンピュータを利用して実現する。コンピュータは、例えば、情報処理装置１００である。
【０１１８】
図１７は、データセット用意処理手順の一例を示すフローチャートである。図１７において、利用者は、コンピュータ上で、認識対象の物体が写った３６０度カメラ画像を複数用意する（ステップＳ１７０１）。
【０１１９】
次に、利用者は、コンピュータ上で、正解データファイルをオープンする（ステップＳ１７０２）。そして、利用者は、コンピュータ上で、進入不可エリアデータファイルをオープンする（ステップＳ１７０３）。
【０１２０】
次に、利用者は、コンピュータ上で、未処理の３６０度カメラ画像のうち、いずれかの３６０度カメラ画像を処理対象に選択する（ステップＳ１７０４）。そして、利用者は、コンピュータ上で、選択した３６０度カメラ画像をピクセル単位の多次元配列データＡに成形する（ステップＳ１７０５）。
【０１２１】
次に、利用者は、コンピュータ上で、多次元配列データＡと同じ次元で０パディングした多次元配列データＢを作成する（ステップＳ１７０６）。そして、利用者は、コンピュータ上で、多次元配列データＢについて、認識対象の物体が写ったピクセルに対応する配列要素に１を設定する（ステップＳ１７０７）。
【０１２２】
次に、利用者は、コンピュータ上で、多次元配列データＡと同じ次元で０パディングした多次元配列データＣを作成する（ステップＳ１７０８）。そして、利用者は、コンピュータ上で、多次元配列データＣについて、進入不可エリアが写ったピクセルに対応する配列要素に１を設定する（ステップＳ１７０９）。
【０１２３】
次に、利用者は、コンピュータ上で、多次元配列データＢを正解データファイルに格納する（ステップＳ１７１０）。そして、利用者は、コンピュータ上で、多次元配列データＣを進入不可エリアデータファイルに格納する（ステップＳ１７１１）。
【０１２４】
次に、利用者は、コンピュータ上で、すべての３６０度カメラ画像を処理したか否かを判定する（ステップＳ１７１２）。ここで、未処理の３６０度カメラ画像がある場合（ステップＳ１７１２：Ｎｏ）、利用者は、ステップＳ１７０４の処理に戻る。一方で、すべての３６０度カメラ画像を処理している場合（ステップＳ１７１２：Ｙｅｓ）、利用者は、ステップＳ１７１３の処理に移行する。
【０１２５】
ステップＳ１７１３では、利用者は、コンピュータ上で、正解データファイルをクローズする（ステップＳ１７１３）。次に、利用者は、コンピュータ上で、進入不可エリアデータファイルをクローズする（ステップＳ１７１４）。そして、利用者は、データセット用意処理を終了する。これにより、利用者は、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定するために用いられる情報を用意することができる。
【０１２６】
また、データセット用意処理は、例えば、利用者が情報処理装置１００とは異なる装置を利用して実現する場合があってもよい。この場合、情報処理装置１００は、正解データファイル、および、進入不可エリアデータファイルを、情報処理装置１００とは異なる装置から取得する。
【０１２７】
（学習処理手順）
次に、図１８を用いて、情報処理装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１２８】
図１８は、学習処理手順の一例を示すフローチャートである。図１８において、情報処理装置１００は、３６０度カメラ画像を複数取得する（ステップＳ１８０１）。
【０１２９】
次に、情報処理装置１００は、３６０度カメラ画像をピクセル単位の多次元配列データに成形する（ステップＳ１８０２）。そして、情報処理装置１００は、ステップＳ１８０３の処理に移行する。
【０１３０】
ステップＳ１８０３では、情報処理装置１００は、未処理の多次元配列データを選択する（ステップＳ１８０３）。次に、情報処理装置１００は、選択した多次元配列データを入力として、ニューラルネットワークとハイパーパラメータ７４０を用いて推論を実施する（ステップＳ１８０４）。
【０１３１】
そして、情報処理装置１００は、すべての多次元配列データを選択したか否かを判定する（ステップＳ１８０５）。ここで、未選択の多次元配列データがある場合（ステップＳ１８０５：Ｎｏ）、情報処理装置１００は、ステップＳ１８０３の処理に戻る。一方で、すべての多次元配列データを選択している場合（ステップＳ１８０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１８０６の処理に移行する。
【０１３２】
ステップＳ１８０６では、情報処理装置１００は、推論結果８２０として学習モデルを出力する（ステップＳ１８０６）。そして、情報処理装置１００は、学習処理を終了する。これにより、情報処理装置１００は、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定するために用いられる学習モデルを学習することができ、撮像画像のピクセル単位の確信度を推論可能にすることができる。
【０１３３】
また、学習処理は、例えば、情報処理装置１００とは異なる装置により実現される場合があってもよい。この場合、情報処理装置１００は、学習モデルを情報処理装置１００とは異なる装置から取得する。
【０１３４】
（撮像処理手順）
次に、図１９を用いて、ドローン６００の撮像制御部６３２が実行する、撮像処理手順の一例について説明する。撮像処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２の記憶領域と、通信Ｉ／Ｆ４０３とによって実現される。
【０１３５】
図１９は、撮像処理手順の一例を示すフローチャートである。図１９において、撮像制御部６３２は、数秒待機する（ステップＳ１９０１）。
【０１３６】
次に、撮像制御部６３２は、３６０度カメラにより撮像する（ステップＳ１９０２）。そして、撮像制御部６３２は、撮像した３６０度カメラ画像を、ドローン制御部６３１を介して情報処理装置１００に送信する（ステップＳ１９０３）。
【０１３７】
その後、撮像制御部６３２は、ステップＳ１９０１の処理に戻る。これにより、撮像制御部６３２は、情報処理装置１００に、３６０度カメラ画像に基づき、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定させることができる。
【０１３８】
（飛行制御処理手順）
次に、図２０を用いて、ドローン６００のドローン制御部６３１が実行する、飛行制御処理手順の一例について説明する。飛行制御処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２の記憶領域と、通信Ｉ／Ｆ４０３とによって実現される。
【０１３９】
図２０は、飛行制御処理手順の一例を示すフローチャートである。図２０において、ドローン制御部６３１は、情報処理装置１００から方角情報を受信する（ステップＳ２００１）。
【０１４０】
次に、ドローン制御部６３１は、方角情報に基づいて、進入不可エリアが存在する方角にドローン６００が進行しないように、ドローン６００を制御する（ステップＳ２００２）。そして、ドローン制御部６３１は、方角情報に基づいて、ＧＵＩを介して利用者に進入不可エリアが存在する方角を通知する（ステップＳ２００３）。
【０１４１】
その後、ドローン制御部６３１は、飛行制御処理を終了する。これにより、ドローン制御部６３１は、進入不可エリアにドローン６００が進入しないように、ドローン６００の飛行を制御し、かつ、操縦者に操縦指針を与えることができる。
【０１４２】
（全体処理手順）
次に、図２１を用いて、情報処理装置１００の全体制御部６０１が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１４３】
図２１は、全体処理手順の一例を示すフローチャートである。図２１において、全体制御部６０１は、３６０度カメラ画像を受信する（ステップＳ２１０１）。
【０１４４】
次に、全体制御部６０１は、３６０度カメラ画像を引数として、図２２に後述するＤＬエンジン処理をＤＬエンジン部６０２に実行させる（ステップＳ２１０２）。そして、全体制御部６０１は、ＤＬエンジン処理の戻り値である多次元配列データを引数として、図２３に後述する進入不可エリアデータ取得処理を進入不可エリアデータ取得部６０３に実行させる（ステップＳ２１０３）。
【０１４５】
次に、全体制御部６０１は、進入不可エリアデータ取得処理の戻り値である進入不可エリアデータの中心部に確信度１を含むか否かを判定する（ステップＳ２１０４）。ここで、確信度１を含む場合（ステップＳ２１０４：Ｙｅｓ）、全体制御部６０１は、ステップＳ２１０５の処理に移行する。一方で、確信度１を含まない場合（ステップＳ２１０４：Ｎｏ）、全体制御部６０１は、全体処理を終了する。
【０１４６】
ステップＳ２１０５では、全体制御部６０１は、進入不可エリアデータ取得処理の戻り値である進入不可エリアデータを引数として、図２４に後述する方角計算処理を方角計算部６０４に実行させる（ステップＳ２１０５）。
【０１４７】
次に、全体制御部６０１は、方角計算処理の戻り値である方角情報をドローン６００に送信する（ステップＳ２１０６）。そして、全体制御部６０１は、全体処理を終了する。これにより、全体制御部６０１は、進入不可エリアにドローン６００が進入しないように、ドローン６００に方角情報を提供することができる。
【０１４８】
（ＤＬエンジン処理手順）
次に、図２２を用いて、情報処理装置１００のＤＬエンジン部６０２が実行する、ＤＬエンジン処理手順の一例について説明する。ＤＬエンジン処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１４９】
図２２は、ＤＬエンジン処理手順の一例を示すフローチャートである。図２２において、ＤＬエンジン部６０２は、３６０度カメラ画像を取得する（ステップＳ２２０１）。
【０１５０】
次に、ＤＬエンジン部６０２は、取得した３６０度カメラ画像をピクセル単位の多次元配列データに成形する（ステップＳ２２０２）。そして、ＤＬエンジン部６０２は、ステップＳ２２０３の処理に移行する。
【０１５１】
ステップＳ２２０３では、ＤＬエンジン部６０２は、学習モデルを選択する（ステップＳ２２０３）。次に、ＤＬエンジン部６０２は、成形した多次元配列データを入力としてニューラルネットワークと選択した学習モデルを用いて推論を実施する（ステップＳ２２０４）。
【０１５２】
そして、ＤＬエンジン部６０２は、すべての学習モデルを選択したか否かを判定する（ステップＳ２２０５）。ここで、未選択の学習モデルがある場合（ステップＳ２２０５：Ｎｏ）、ＤＬエンジン部６０２は、ステップＳ２２０３の処理に戻る。一方で、すべての学習モデルを選択している場合（ステップＳ２２０５：Ｙｅｓ）、ＤＬエンジン部６０２は、ステップＳ２２０６の処理に移行する。
【０１５３】
ステップＳ２２０６では、ＤＬエンジン部６０２は、推論結果８２０として、ピクセル単位の確信度を示す多次元配列データを出力する（ステップＳ２２０６）。そして、ＤＬエンジン部６０２は、ＤＬエンジン処理を終了する。これにより、ＤＬエンジン部６０２は、３６０度カメラ画像に何の物体が写っているか否かを特定可能にし、３６０度カメラ画像上の物体の写り方を示し、進入不可エリアデータを検索するキーとして利用可能な多次元配列データを出力することができる。
【０１５４】
（進入不可エリアデータ取得処理手順）
次に、図２３を用いて、情報処理装置１００の進入不可エリアデータ取得部６０３が実行する、進入不可エリアデータ取得処理手順の一例について説明する。進入不可エリアデータ取得処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１５５】
図２３は、進入不可エリアデータ取得処理手順の一例を示すフローチャートである。図２３において、進入不可エリアデータ取得部６０３は、ピクセル単位の確信度を示す多次元配列データを取得する（ステップＳ２３０１）。
【０１５６】
次に、進入不可エリアデータ取得部６０３は、正解データファイルを読み込む（ステップＳ２３０２）。そして、進入不可エリアデータ取得部６０３は、最大類似スコアと類似正解データ行番号とを初期化する（ステップＳ２３０３）。
【０１５７】
次に、進入不可エリアデータ取得部６０３は、正解データファイルに含まれる、未処理の正解データを選択する（ステップＳ２３０４）。そして、進入不可エリアデータ取得部６０３は、多次元配列データと、選択した正解データとを比較し、類似スコアを算出する（ステップＳ２３０５）。
【０１５８】
次に、進入不可エリアデータ取得部６０３は、最大類似スコア＜算出した類似スコアであるか否かを判定する（ステップＳ２３０６）。ここで、最大類似スコア＜算出した類似スコアではない場合（ステップＳ２３０６：Ｎｏ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０４の処理に戻る。一方で、最大類似スコア＜算出した類似スコアである場合（ステップＳ２３０６：Ｙｅｓ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０７の処理に移行する。
【０１５９】
ステップＳ２３０７では、進入不可エリアデータ取得部６０３は、算出した類似スコアを最大類似スコアに設定し、選択した正解データの行番号を類似正解データ行番号に設定する（ステップＳ２３０７）。
【０１６０】
次に、進入不可エリアデータ取得部６０３は、すべての正解データを選択したか否かを判定する（ステップＳ２３０８）。ここで、未選択の正解データがある場合（ステップＳ２３０８：Ｎｏ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０４の処理に戻る。一方で、すべての正解データを選択している場合（ステップＳ２３０８：Ｙｅｓ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０９の処理に移行する。
【０１６１】
ステップＳ２３０９では、進入不可エリアデータ取得部６０３は、進入不可エリアデータファイルを読み込み、類似正解データ行番号と同じ行番号の進入不可エリアデータを取得する（ステップＳ２３０９）。次に、進入不可エリアデータ取得部６０３は、進入不可エリアデータを出力する（ステップＳ２３１０）。
【０１６２】
そして、進入不可エリアデータ取得部６０３は、進入不可エリアデータ取得処理を終了する。これにより、進入不可エリアデータ取得部６０３は、ドローン６００が撮像した３６０度カメラ画像に写った所定の物体を基準とした進入不可エリアを特定する情報として援用可能な、進入不可エリアデータを出力することができる。
【０１６３】
（方角計算処理手順）
次に、図２４を用いて、情報処理装置１００の方角計算部６０４が実行する、方角計算処理手順の一例について説明する。方角計算処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
【０１６４】
図２４は、方角計算処理手順の一例を示すフローチャートである。図２４において、方角計算部６０４は、進入不可エリアデータを取得する（ステップＳ２４０１）。
【０１６５】
次に、方角計算部６０４は、３６０度カメラ画像を８分割し、確信度１を含むエリアがある方角を、進入不可方角として特定する（ステップＳ２４０２）。そして、方角計算部６０４は、進入不可方角を示す方角情報を出力する（ステップＳ２４０３）。その後、方角計算部６０４は、方角計算処理を終了する。これにより、方角計算部６０４は、進入不可エリアにドローン６００が進入しないようにするための方角情報を出力することができる。
【０１６６】
以上説明したように、情報処理装置１００によれば、無人航空機１１０が有する撮像装置が撮像した撮像画像１２０から所定の物体を検出することができる。情報処理装置１００によれば、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置に基づいて、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。情報処理装置１００によれば、進入する可能性があると判定した場合、記憶部を参照し、検出した所定の物体を基準とした禁止領域に関する情報を出力することができる。これにより、情報処理装置１００は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
【０１６７】
情報処理装置１００によれば、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置と、所定の物体の教師画像上での位置を特定する情報とを照合することができる。情報処理装置１００によれば、照合した結果に基づいて、所定の物体を基準とした禁止領域を特定する情報を検索することができる。情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。これにより、情報処理装置１００は、所定の物体の写り方が撮像画像１２０と同様である教師画像に基づく、禁止領域を特定する情報を検索し、検出した所定の物体を基準とした禁止領域を特定するために援用することができる。情報処理装置１００は、検索した情報に基づいて、判定精度の向上を図ることができる。
【０１６８】
情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力することができる。これにより、情報処理装置１００は、無人航空機１１０が自動で飛行している場合に対し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
【０１６９】
情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０を飛行させる操縦指標を出力することができる。これにより、情報処理装置１００は、無人航空機１１０が人の無線操縦により飛行している場合に対し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
【０１７０】
情報処理装置１００によれば、撮像画像１２０上の画素ごとに、所定の物体が写った画素である確率の大きさを示す確信度を算出することができる。情報処理装置１００によれば、撮像画像１２０上の画素ごとに算出した確信度と、所定の物体が写った教師画像上の画素を特定する情報とを照合することができる。情報処理装置１００によれば、照合した結果に基づいて、所定の物体を基準とした禁止領域が写った教師画像上の画素を特定する情報を検索することができる。これにより、情報処理装置１００は、撮像画像１２０と教師画像とを直接比較しなくても、撮像画像１２０と所定の物体の写り方が共通する教師画像に基づく禁止領域を特定する情報を検索可能にすることができる。このため、情報処理装置１００は、撮像画像１２０と教師画像とを直接比較する場合に比べて処理量の低減化を図ることができる。また、情報処理装置１００は、教師画像を直接記憶しておかなくてもよいため、記憶領域の使用量の低減化を図ることができる。
【０１７１】
情報処理装置１００によれば、検索した情報に基づいて、教師画像上の所定範囲内の画素に、所定の物体を基準とした禁止領域が写った教師画像上の画素があるか否かを判定することができる。情報処理装置１００によれば、画素があれば、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があると判定することができる。これにより、情報処理装置１００は、無人航空機１１０と禁止領域との距離を算出しなくても、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
【０１７２】
情報処理装置１００によれば、所定範囲の指定を受け付けることができる。これにより、情報処理装置１００は、所定範囲を可変にすることができる。このため、情報処理装置１００は、例えば、無人航空機１１０の速度に合わせて、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定する精度の向上を図ることができる。また、情報処理装置１００は、例えば、利用者の指定に応じて、禁止領域に無人航空機１１０が進入する可能性の低減化を優先するか、無人航空機１１０の飛行の自由度を優先するかを変更することができる。
【０１７３】
情報処理装置１００によれば、所定の物体を基準とした禁止領域を特定する情報に、禁止領域と無人航空機１１０との位置関係を特定する情報を利用することができる。これにより、情報処理装置１００は、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を、検出した所定の物体を基準とした禁止領域と無人航空機１１０との位置関係に援用することができる。そして、情報処理装置１００は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。
【０１７４】
情報処理装置１００によれば、所定の物体を基準とした禁止領域を特定する情報に、禁止領域が存在する方向を特定する情報、および、禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報を利用することができる。これにより、情報処理装置１００は、教師画像に写った所定の物体を基準とした禁止領域への無人航空機１１０の進入の可能性の有無を、検出した所定の物体を基準とした禁止領域への無人航空機１１０の進入の可能性の有無に援用することができる。このため、情報処理装置１００は、判定にかかる処理量の低減化を図ることができる。
【０１７５】
情報処理装置１００によれば、所定の物体が写った１以上の画像を基に、撮像画像１２０を入力すると撮像画像１２０上の画素ごとに確信度を出力することが可能なモデルを学習することができる。これにより、情報処理装置１００は、学習モデルが、撮像画像１２０に所定の物体がどのように写っている場合にも適用可能なようにし、確信度の算出精度の向上を図ることができる。
【０１７６】
情報処理装置１００によれば、記憶部に、複数の物体のそれぞれの物体について、物体が写った教師画像ごとに、物体の教師画像上での位置を特定する情報と、物体を基準とした禁止領域を特定する情報とを対応付けて記憶することができる。これにより、情報処理装置１００は、複数の物体のそれぞれの物体を基準とした禁止領域に、無人航空機１１０が進入しないようにすることができる。
【０１７７】
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１７８】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１７９】
（付記１）コンピュータに、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行させることを特徴とする情報処理プログラム。
【０１８０】
（付記２）前記コンピュータに、
前記記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置と、前記所定の物体の前記教師画像上での位置を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報を検索する、処理を実行させ、
前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定する、ことを特徴とする付記１に記載の情報処理プログラム。
【０１８１】
（付記３）前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機の飛行を制御する制御指示を前記無人航空機に出力する、ことを特徴とする付記２に記載の情報処理プログラム。
【０１８２】
（付記４）前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機を飛行させる操縦指標を出力する、ことを特徴とする付記２または３に記載の情報処理プログラム。
【０１８３】
（付記５）前記記憶部は、前記教師画像ごとに、前記所定の物体が写った前記教師画像上の画素を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報とを対応付けて記憶し、
前記検出する処理は、前記撮像画像上の画素ごとに、前記所定の物体が写った画素である確率の大きさを示す確信度を算出し、
前記検索する処理は、前記撮像画像上の画素ごとに算出した前記確信度と、前記所定の物体が写った前記教師画像上の画素を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報を検索する、ことを特徴とする付記２〜４のいずれか一つに記載の情報処理プログラム。
【０１８４】
（付記６）前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、前記教師画像上の所定範囲内の画素に、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素が含まれる場合、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があると判定する、ことを特徴とする付記５に記載の情報処理プログラム。
【０１８５】
（付記７）前記コンピュータに、
前記所定範囲の指定を受け付ける、処理を実行させることを特徴とする付記６に記載の情報処理プログラム。
【０１８６】
（付記８）前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報は、前記禁止領域と前記無人航空機との位置関係を特定する情報を含む、ことを特徴とする付記１〜４のいずれか一つに記載の情報処理プログラム。
【０１８７】
（付記９）前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報は、前記禁止領域が存在する方向を特定する情報、および、前記禁止領域に前記無人航空機が進入する可能性があるか否かを示す情報を含む、ことを特徴とする付記１〜４のいずれか一つに記載の情報処理プログラム。
【０１８８】
（付記１０）前記コンピュータに、
前記所定の物体が写った１以上の画像を基に、前記撮像画像を入力すると前記撮像画像上の画素ごとに前記確信度を出力することが可能なモデルを学習する、処理を実行させることを特徴とする付記５〜９のいずれか一つに記載の情報処理プログラム。
【０１８９】
（付記１１）前記記憶部は、複数の物体のそれぞれの物体について、前記物体が写った教師画像ごとに、前記物体の前記教師画像上での位置を特定する情報と、前記物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する、ことを特徴とする付記１〜１０のいずれか一つに記載の情報処理プログラム。
【０１９０】
（付記１２）コンピュータが、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行することを特徴とする情報処理方法。
【０１９１】
（付記１３）無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
制御部を有することを特徴とする情報処理装置。
【符号の説明】
【０１９２】
１００  情報処理装置
１１０  無人航空機
１２０  撮像画像
１３０  ＤＬエンジン
１３１，６２１，６２２，７５０，１０２０，１１２０，１２２０  学習モデル
１４０，９３０  消火栓
１５０  進入不可エリア
２００  無人航空機管理システム
３００，４００  バス
３０１，４０１  ＣＰＵ
３０２，４０２  メモリ
３０３，４０３  通信Ｉ／Ｆ
３０４  記録媒体Ｉ／Ｆ
３０５  記録媒体
４０４  撮像装置
４０５  駆動装置
５００  記憶部
５０１  取得部
５０２  検出部
５０３  判定部
５０４  出力部
６００  ドローン
６０１  全体制御部
６０２  ＤＬエンジン部
６０３  進入不可エリアデータ取得部
６０４  方角計算部
６１０  進入不可エリアデータセット
６１１，７２０，１０１０，１１０１，１１１１，１２０１，１２１１，１４１０  正解データ
６１２，１４２０，１５１０  進入不可エリアデータ
６３１  ドローン制御部
６３２  撮像制御部
７００  ＤＬ学習器
７１０  教師画像
７３０  ニューラルネットワーク定義
７４０  ハイパーパラメータ
８００  ＤＬ推論器
８１０  テストデータ
８２０  推論結果
９１０  プール
９２０  火の気
１０００，１１００，１１１０，１２００，１２１０，１３００，１５００，１６００，１６１０  ３６０度カメラ画像
１３１０  多次元配列データ
１４００  正解データファイル
【図１】
2019200734.tif 000003
【図２】
2019200734.tif 000004
【図３】
2019200734.tif 000005
【図４】
2019200734.tif 000006
【図５】
2019200734.tif 000007
【図６】
2019200734.tif 000008
【図７】
2019200734.tif 000009
【図８】
2019200734.tif 000010
【図９】
2019200734.tif 000011
【図１０】
2019200734.tif 000012
【図１１】
2019200734.tif 000013
【図１２】
2019200734.tif 000014
【図１３】
2019200734.tif 000015
【図１４】
2019200734.tif 000016
【図１５】
2019200734.tif 000017
【図１６】
2019200734.tif 000018
【図１７】
2019200734.tif 000019
【図１８】
2019200734.tif 000020
【図１９】
2019200734.tif 000021
【図２０】
2019200734.tif 000022
【図２１】
2019200734.tif 000023
【図２２】
2019200734.tif 000024
【図２３】
2019200734.tif 000025
【図２４】
2019200734.tif 000026