(57)【要約】  より確実に所望の位置でホバリングさせることのできる飛行体であって、その飛行体をホバリングさせるか否かを判定する判定手段と、その飛行体の周囲を撮像するための撮像手段と、その撮像手段により撮影された画像を記録する記録手段と、この飛行体をホバリングさせると判定した場合に、記録手段に記録された画像と飛行中に撮像された画像とを利用して、飛行体を空中で静止させる静止制御手段と、を備えたことを特徴とする飛行体。
2019038927.tif 000002
【特許請求の範囲】
【請求項１】
飛行体をホバリングさせるか否かを判定する判定手段と、
前記飛行体の周囲を撮像するための撮像手段と、
前記撮像手段により撮影された画像を記録する記録手段と、
前記飛行体をホバリングさせると判定した場合に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御手段と、
を備えた飛行体。
【請求項２】
飛行高度情報を取得する高度取得手段をさらに備え、
前記記録手段は、
前記飛行高度情報を、前記画像と対応付けて記録する請求項１に記載の飛行体。
【請求項３】
前記記録手段は、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
前記静止制御手段は、前記飛行高度情報に応じて、利用すべき画像を前記記録手段から選択する請求項２に記載の飛行体。
【請求項４】
前記記録手段は、前記画像から抽出された特徴点を記録し、
前記静止制御手段は、前記記録手段に記録された前記特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、前記飛行体を空中で静止させる請求項１乃至３にいずれか１項に記載の飛行体。
【請求項５】
前記画像は、前記飛行体の下方を撮影した下方画像であって、該下方画像の中に含まれる物体が、時間の経過と共に画像中心から放射方向以外の方向に移動している場合には、該物体を移動体と判断して前記特徴点の抽出対象から排除する移動体除去手段を含む請求項４に記載の飛行体。
【請求項６】
前記記録手段は、前記撮像手段により撮影された前記飛行体の正面画像を記録し、
前記静止制御手段は、前記飛行体をホバリングさせると判定した場合に、前記記録手段に記録された前記正面画像と飛行中に撮像された正面画像とを利用して、前記飛行体を静止させる請求項１乃至５のいずれか１項に記載の飛行体。
【請求項７】
前記静止制御手段は、所定高度ごとに前記記録手段に記録された下方画像とホバリング中に撮影された下方画像とを利用して、高度に応じた移動量の誘導を行なう請求項１乃至６のいずれか１項に記載の飛行体。
【請求項８】
飛行体をホバリングさせるか否かを判定する判定手段と、
前記飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
前記画像受信手段により受信された画像を記録する記録手段と、
前記飛行体をホバリングさせると判定した場合に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を静止させる静止制御手段と、
を備えた飛行体制御装置。
【請求項９】
飛行体をホバリングさせるか否かを判定する判定ステップと、
前記飛行体の周囲を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像を記録する記録ステップと、
前記飛行体をホバリングさせると判定した場合に、前記記録ステップにて記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
を含む飛行体の制御方法。
【請求項１０】
飛行体をホバリングさせるか否かを判定する判定ステップと、
前記飛行体の周囲を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像を記録する記録ステップと、
前記飛行体をホバリングさせると判定した場合に、前記記録ステップにて記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
をコンピュータに実行させる飛行体の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、操縦士の技術および手間を省略するため、着陸時に、地上に載置されたターゲットマークに対して飛行体を自動誘導制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2012-71645号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、飛行高度によっては、ターゲットマークを正確に視認できず飛行体が所望の飛行状態を実現できない場合があった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る飛行体は、
飛行体をホバリングさせるか否かを判定する判定手段と、
前記飛行体の周囲を撮像するための撮像手段と、
前記撮像手段により撮影された画像を記録する記録手段と、
前記飛行体をホバリングさせると判定した場合に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を静止させる静止制御手段と、
を備えた。【０００７】
上記目的を達成するため、本発明に係る飛行体制御装置は、
飛行体をホバリングさせるか否かを判定する判定手段と、
前記飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
前記撮像手段により撮影された画像を記録する記録手段と、
前記飛行体をホバリングさせると判定した場合に、前記記録手段に記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を静止させる静止制御手段と、
を備えた。【０００８】
上記目的を達成するため、本発明に係る飛行体の制御方法は、
飛行体をホバリングさせるか否かを判定する判定ステップと、
前記飛行体の周囲を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像を記録する記録ステップと、
前記飛行体をホバリングさせると判定した場合に、前記記録ステップにて記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を静止させる静止制御ステップと、
を含む。【０００９】
上記目的を達成するため、本発明に係る飛行体の制御プログラムは、
飛行体をホバリングさせるか否かを判定する判定ステップと、
前記飛行体の周囲を撮像する撮像ステップと、
前記撮像ステップにより撮影された画像を記録する記録ステップと、
前記飛行体をホバリングさせると判定した場合に、前記記録ステップにて記録された画像と飛行中に撮像された画像とを利用して、前記飛行体を静止させる静止制御ステップと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、より確実に飛行体を所望の位置でホバリングさせることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る飛行体の構成を示すブロック図である。
【図２Ａ】本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。
【図２Ｂ】本発明の第２実施形態に係る飛行体の飛行条件を説明する図である。
【図３】本発明の第２実施形態に係る飛行体の構成を説明する図である。
【図４】本発明の第２実施形態に係る飛行体の構成を説明する図である。
【図５】本発明の第２実施形態に係る飛行体の構成を説明する図である。
【図６】本発明の第２実施形態に係る飛行体の構成を説明する図である。
【図７】本発明の第２実施形態に係る飛行体の構成を説明する図である。
【図８】本発明の第２実施形態に係る飛行体の処理の流れを説明するフローチャートである。
【図９】本発明の第３実施形態に係る飛行体の構成を説明する図である。
【図１０】本発明の第３実施形態に係る飛行体の構成を説明する図である。
【図１１】本発明の第３実施形態に係る飛行体の処理の流れを説明するフローチャートである。
【図１２】本発明の第４実施形態に係る飛行体の処理の流れを説明するフローチャートである。
【図１３】本発明の第５実施形態に係る飛行体の構成を説明する図である。
【図１４】本発明の第５実施形態に係る飛行体の構成を説明する図である。
【図１５】本発明の第６実施形態に係る飛行体制御装置の構成を説明する図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１３】
［第１実施形態］
本発明の第１実施形態としての飛行体１００について、図１を用いて説明する。図１に示すように、飛行体１００は、ホバリング判定部１０１と撮像部１０２と画像記録部１０３と静止制御部１０４とを含む。
【００１４】
ホバリング判定部１０１は、飛行体をホバリングさせるか否かを判定する。撮像部１０２は、飛行体１００の周囲を撮像する。画像記録部１０３は、撮像部１０２により撮影された画像１３１を記録する。静止制御部１０４は、飛行体１００をホバリングさせると判定した場合に、画像記録部１０３に記録された画像と飛行中に撮像された画像とを利用して、飛行体１００を空中で静止させる。
【００１５】
本実施形態によれば、簡易な方法で、正確な位置において飛行体をホバリングさせることができる。
【００１６】
［第２実施形態］
次に本発明の第２実施形態に係る飛行体について、図２Ａ乃至図５を用いて説明する。図２Ａは、本実施形態に係る飛行体２００の離発着の様子を説明するための図である。飛行体２００を災害現場に派遣するため、例えばビルの谷間に、車両２１０を停車させ、そのルーフに設けられたターゲットマーク２１５から飛行体２００を離発着させる。
【００１７】
ホバリング時、ＧＰＳ（Global Positioning System）に頼った飛行制御では、数ｍのズレが生じる。また、ターゲットマーク２１５を撮像した画像を利用しようとしても、図２Ｂに示すように、高い高度（例えば１００ｍ以上）からは、ターゲットマーク２１５がよく見えなかったり、周辺の建物の模様や形状に紛れて、その誤認識が生じたりする。
【００１８】
そこで、本実施形態では、ターゲットマークに頼らずに、所望の位置において飛行体２００をホバリングさせるための技術を提供する。
【００１９】
図３は、飛行体２００の内部構成を示す図である。飛行体２００の内部には、飛行判定部３０１、画像データベース３０２、静止制御部３０３、撮像部３０４、位置あわせ部３０５、特徴抽出部３０６、及び高度取得部３０７を備える。
【００２０】
飛行判定部３０１は、飛行体２００をホバリングさせるか否かを判定する。具体的には、プロポと呼ばれる操作デバイスを介して、操縦士（Drone Pilot）からホバリングの指示を受けたか否か判定する。飛行判定部３０１は、操縦士からの指示に応じて、飛行体２００をホバリングさせるかを判定してもよい。
【００２１】
図４に示すように、画像データベース３０２は、飛行体２００が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において下方の画像を撮影させて、撮影された下方画像（例えば地上画像や海上画像）を学習画像として記録する。また、静止制御部３０３は、飛行体２００をホバリングさせるべきと判定した場合に、画像データベース３０２に記録された内容と、飛行中に撮影された画像４０１、４０２とのマッチングを行ない、所望の高度で、飛行体２００をホバリングさせる。
【００２２】
撮像部３０４は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行なう。ホバリング時は撮像部３０４を下方に向けて撮像を行ない記録された学習画像とのマッチングを行なうことにより、学習画像の記録位置において静止飛行させる。
【００２３】
位置あわせ部３０５は、図５に示すとおり、離陸上昇中の飛行体２００の位置ずれ５０１を吸収すべく、下方画像の位置あわせを行なった上で画像データベース３０２に記録する。つまり、常に、離陸地点３１５が中央にくるように下方画像を切り取る。こうすることで、どの高度においても離陸地点３１５の上空でのホバリングが可能となる。
【００２４】
高度取得部３０７は、飛行体２００の飛行中の高度に関する飛行高度情報を取得する。画像データベース３０２は、飛行高度情報を、撮影した画像（ここでは下方画像）と対応付けて記録する。また、画像データベース３０２は、異なる撮影高度に対応する複数の下方画像を記録する。
【００２５】
特徴抽出部３０６は、画像データベース３０２に記録された画像から複数の特徴点を抽出し、抽出された特徴点を特徴情報３２１として画像データベース３０２に記録する。マッチングのため、画像から特徴点を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。また、ホバリング中に撮影された画像においては、小さな移動ベクトルを有する物体からのみ特徴点を抽出し、大きな移動ベクトルを有する物体は、特徴点の抽出対象から除外する。
【００２６】
静止制御部３０３は、画像データベース３０２に記録された特徴点と、ホバリング中に撮影された下方画像から抽出された特徴点との比較を行なう。静止制御部３０３は、飛行高度情報に応じて、ホバリング中に撮影された画像とのマッチングを行なうべき内容を画像データベース３０２から選択する。図６に示すとおり、飛行体２００を高度８０ｍの位置でホバリングさせるため、ホバリング中に撮影された画像（または特徴点）と比較すべき画像として、高度９０ｍ、８０ｍ、７０ｍに対応して記録された３つの下方画像６０１〜６０３（または特徴点）を選択する。
【００２７】
このとき、静止制御部３０３は、高度取得部３０７からホバリングすべき高度が取得できる場合には、その高度を参照情報として画像データベース３０２から読出すべき画像または特徴点を選択する。
【００２８】
静止制御部３０３は、特徴点のマッチングを行ない、高度に応じた移動量の誘導を随時行なうことで正確なホバリングを実現する。具体的には、移動量算出部３３１が、移動量データベース３３２を参照して、画像データベース３０２に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点とのずれ、および測定した高度に基づき、飛行体２００の移動量を導き出す。図７に示すとおり、同じ特徴点のずれが同じ画素数であっても、高度が高くなればなるほど大きく移動させる必要が生じる。なお、離陸地点を中心として半径５ｍぐらいの位置に、ＧＰＳにて仮想的に目に見えないジオフェンスを設定して、そのジオフェンスを乗り越えることなくホバリングする制御にしてもよい。また、ホバリング中に撮像された映像において大きく動きのある特徴点を、マッチング対象から排除してもよい。
【００２９】
図８は、本実施形態に係る飛行体２００において行なわれる処理の流れを示すフローチャートである。まず、ステップＳ８０１において、飛行判定部３０１が離陸上昇中か否か判定する。離陸上昇中の場合、ステップＳ８０３に進み、撮像部３０４が、下方の画像を撮影し、同時に高度取得部３０７が高度を取得する。
【００３０】
ステップＳ８０５では、特徴抽出部３０６が、撮像された下方画像から特徴点を抽出し、ステップＳ８０７に進むと、さらに画像データベース３０２に対し、高度情報に対応させて特徴点を記録する。その際、位置あわせ部３０５が、上述した位置あわせ処理を行なう。
【００３１】
次に、ステップＳ８０９では、飛行判定部３０１が、飛行体２００をホバリングさせるか否か判定する。ステップＳ８１１に進み、下方画像を撮影して、画像データベース３０２に記録すると同時に、高度情報を取得する。ステップＳ８１３において特徴抽出部３０６は、ステップＳ８１１で撮影された画像から特徴点を抽出する。その後、ステップＳ８１５で、離陸上昇時に画像データベース３０２に登録された特徴点から、取得した高度情報に基づいて比較すべき特徴点を呼び出し、ステップＳ８１３で抽出された特徴点との比較を行なう。
【００３２】
ステップＳ８１７においては、移動量算出部３３１が、特徴点の位置ずれ量（画素数）から、飛行体２００の移動量を算出する。そして、ステップＳ８１９に進むと、静止制御部３０３は、算出された移動量通りに飛行体２００を小刻みに移動させることにより空中の所定位置にほぼ静止状態で飛行させる。
【００３３】
以上、本実施形態によれば、ビルの間など、ＧＰＳが使いづらい場所でも離着陸を正確に行なうことができる。本実施形態では、下方画像から特徴点を抽出して、特徴点の比較により、ホバリング位置とのずれを検知したが、本発明はこれに限定されるものではなく、下方画像そのものを比較して、ホバリング位置とのずれを検知してもよい。
【００３４】
［第３実施形態］
次に本発明の第３実施形態に係る飛行体９００について、図９を用いて説明する。図９は、本実施形態に係る飛行体９００の内部構成を説明するための図である。本実施形態に係る飛行体９００は、上記第２実施形態と比べると、特徴抽出部９０６において移動体除去部９６１を有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００３５】
移動体除去部９６１は、離陸時に上昇しながら撮影され、画像データベース３０２に記録された複数画像（フレーム）を比較し、フレーム間の特徴点の移動ベクトルを算出する。すなわち、飛行体９００の離陸上昇中に撮影された複数の下方画像の中に含まれる物体が、画像中、時間の経過と共に画像中心からみて放射方向以外の方向に移動している場合には、該物体を移動体と判断して特徴点の抽出対象から排除する。
【００３６】
上昇時には、図１０に示すような、画像中心に向かう上昇移動ベクトル１００１以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、記録すべき特徴点から排除する。
【００３７】
一方、下降時も、画像中心から放射状に外側に向かう下降移動ベクトル１００２以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、比較すべき特徴点から排除する。
【００３８】
図１１は、本実施形態に係る飛行体９００における処理の流れを示すフローチャートである。ステップＳ１１０５およびステップＳ１１１５において、移動体除去処理（ベクトル処理）を行なう以外は、図８のフローチャートと同様であるため、説明を省略する。
【００３９】
以上、本実施形態によれば、移動体を除去することにより、学習およびマッチングを精度良く行なうことができ、ひいては、所定の位置に正確に飛行体をホバリングさせることができる。
【００４０】
［第４実施形態］
次に本発明の第４実施形態に係る飛行体について説明する。上記実施形態では、離陸上昇時に記録された下方画像と、ホバリング中に撮影された下方画像とを用いて飛行位置制御を行なったが、本実施形態では、さらに、他のタイミングで記録手段に記録された事前画像情報を用いて、ホバリング制御を行なう。具体的には、図１２に示すように、操縦士が、ホバリング位置として指定した位置において（Ｓ１２０１）、画像撮影および高度取得を行ない（Ｓ８０３）、そこで撮影された画像および高度を利用して、静止制御を行なってもよい（Ｓ８１９）。
【００４１】
その他、飛行前にあらかじめ画像データベース３０２に登録された画像を用いて、ホバリング制御を行なってもよい。また、インターネット上でアクセスできる画像データから特徴点を抽出し、その特徴点を用いて、ホバリング制御を行なってもよい。さらに、ホバリング高度が低い場合には、あらかじめ登録されたターゲットマーカーの画像を用いてもよい。ホバリングの高度に応じて、マッチングすべき画像を切り替えてもよい。画像を切り替える高さは、カメラの画角とターゲットマーカーの大きさから決定してもよいし、ホバリングの高さから撮影された画像に含まれる特徴点数から決定してもよい。つまり、ホバリングの高さから撮影された下方画像に含まれる特徴点数が少ない場合に、他の特徴点数が多い画像で代替してもよい。
【００４２】
［第５実施形態］
次に本発明の第５実施形態に係る飛行体について説明する。上記実施形態では、離陸上昇時に記録された下方画像と、ホバリング中に撮影された下方画像とを用いて飛行位置制御を行なったが、本実施形態では、さらに、飛行体の前方画像を用いて、ホバリング制御を行なう。具体的には、図１３に示すように、マンション１３０１の窓を撮影した正面画像またはその特徴点を例えば部屋番号に対応付けて画像データベース３０２に記録し、部屋番号の指示に応じて、所定の位置にて飛行体１３００をホバリングさせてもよい。図１４に示すように、鉄塔１４０１を撮影した正面画像を、高度情報に対応付けて画像データベース３０２に記録し、操縦士からの高度の指定に応じて、読出した正面画像または特徴点を利用して飛行体１４００を所定の位置にてホバリングさせてもよい。
【００４３】
［第６実施形態］
次に本発明の第６実施形態に係る飛行体制御装置１５００について、図１５を用いて説明する。図１５は、本実施形態に係る飛行体制御装置１５００（いわゆるプロポ）の内部構成を説明するための図である。
【００４４】
本実施形態に係る飛行体制御装置１５００は、飛行判定部１５０１、画像データベース１５０２、静止制御部１５０３、画像受信部１５０４、位置あわせ部１５０５、特徴抽出部１５０６、高度取得部１５０７を備える。
【００４５】
飛行判定部１５０１は、飛行体２００をホバリングさせるか否かを判定する。具体的には、プロポと呼ばれる操作デバイスを介して、操縦士（Drone Pilot）からホバリングの指示を受けたか否か判定する。飛行判定部１５０１は、操縦士からの指示に応じて、飛行体２００をホバリングさせるかを判定してもよい。
【００４６】
画像データベース１５０２は、飛行体２００が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において画像を撮影させて、撮影された画像（地上画像や海上画像や正面画像）を学習画像として記録する。また、静止制御部１５０３は、飛行体２００をホバリングさせるべきと判定した場合に、照合フェーズに移行し、画像データベース１５０２に記録された内容と、飛行中に撮影された画像とを利用して、所望の高度で、飛行体２００をホバリングさせる。
【００４７】
画像受信部１５０４は、撮像された画像を受信する。位置あわせ部１５０５は、離陸上昇中の飛行体２００の位置ずれを吸収すべく、下方画像の位置あわせを行なった上で画像データベース１５０２に記録する。つまり、常に、離陸地点が中央にくるように下方画像を切り取る。こうすることで、どの高度においても離陸地点の上空でのホバリングが可能となる。
【００４８】
高度取得部１５０７は、飛行体２００の飛行中の高度に関する飛行高度情報を取得する。画像データベース１５０２は、飛行高度情報を、撮影した画像と対応付けて記録する。また、画像データベース１５０２は、異なる撮影高度に対応する複数の画像を記録する。
【００４９】
特徴抽出部１５０６は、画像データベース１５０２に記録された画像から複数の特徴点を抽出し、抽出された特徴点を学習情報として画像データベース１５０２に記録する。
【００５０】
静止制御部１５０３は、画像データベース１５０２に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点との比較を行なう。静止制御部１５０３は、飛行高度情報に応じて、ホバリング中に撮影された画像とのマッチングを行なうべき内容を画像データベース１５０２から選択する。このとき、静止制御部１５０３は、高度取得部１５０７からホバリングすべき高度が取得できる場合には、その高度を参照情報として画像データベース１５０２から読出すべき画像または特徴点を選択する。
【００５１】
静止制御部１５０３は、特徴点のマッチングを行ない、高度に応じた移動量の誘導を随時行なうことで正確なホバリングを実現する。具体的には、移動量算出部１５３１が、移動量データベース１５３２を参照して、画像データベース１５０２に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点とのずれ、および測定した高度に基づき、飛行体２００の移動量を導き出す。
【００５２】
本実施形態によれば、飛行体を所望の位置で正確にホバリングさせることができる。
【００５３】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００５４】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【図１】
2019038927.tif 000003
【図２Ａ】
2019038927.tif 000004
【図２Ｂ】
2019038927.tif 000005
【図３】
2019038927.tif 000006
【図４】
2019038927.tif 000007
【図５】
2019038927.tif 000008
【図６】
2019038927.tif 000009
【図７】
2019038927.tif 000010
【図８】
2019038927.tif 000011
【図９】
2019038927.tif 000012
【図１０】
2019038927.tif 000013
【図１１】
2019038927.tif 000014
【図１２】
2019038927.tif 000015
【図１３】
2019038927.tif 000016
【図１４】
2019038927.tif 000017
【図１５】
2019038927.tif 000018
【国際調査報告】
2019038927.tif 000019
2019038927.tif 000020
2019038927.tif 000021
2019038927.tif 000022