(57)【要約】【課題】ドローンのカメラで撮像された画像を解析して、被写体の不良を判定し、不良と判定された被写体に対してピンポイントにメンテナンスするようにメンテナンス用機器を制御すること。【解決手段】メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、ドローンで撮像された画像を取得する画像取得手段と、前記画像を解析して、被写体の不良を判定する不良判定手段と、前記不良と判定された被写体の位置を推測する位置推測手段と、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システム【選択図】図１
2019064456.tif 000002
【特許請求の範囲】
【請求項１】
メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、
ドローンで撮像された画像を取得する画像取得手段と、
前記画像を解析して、被写体の不良を判定する不良判定手段と、
前記不良と判定された被写体の位置を推測する位置推測手段と、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システム。
【請求項２】
前記不良判定手段は、前記画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項３】
前記不良判定手段は、前記画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項４】
前記不良判定手段は、前記画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項５】
前記位置推測手段は、ドローンのＧＰＳ、撮影高度、撮影角度、撮影向き、から前記不良と判定された被写体の位置を推測する請求項１に記載のメンテナンス用機器制御システム。
【請求項６】
前記推測された位置に、ドローンを再度飛行させて再度撮像するように制御するドローン制御手段を備える請求項１に記載のメンテナンス用機器制御システム。
【請求項７】
メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、
ドローンで撮像された画像を取得する画像取得ステップと、
前記画像を解析して、被写体の不良を判定する不良判定ステップと、
前記不良と判定された被写体の位置を推測する位置推測ステップと、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法。
【請求項８】
コンピュータに、
ドローンで撮像された画像を取得する画像取得ステップと、
前記画像を解析して、被写体の不良を判定する不良判定ステップと、
前記不良と判定された被写体の位置を推測する位置推測ステップと、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を実行させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メンテナンス用機器を制御してメンテナンスさせるメンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、効率化などの観点から、ドローンを利用したメンテナンスの技術が進化している。例えば、作業員が現場に出向かなくても施設内に設置された設備の点検をすることができる無人航空機を用いた施設内点検システムが提供されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１５４５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置では、検出対象の装置の不良を検出し、ピンポイントにメンテナンス出来ない問題がある。すなわち、対象全体に対して網羅的にメンテナンスを行うのではなく、不良部分のみを抽出してメンテナンスを行うことが出来ない。【０００５】
本発明は、上記課題に鑑み、ドローンのカメラで撮像された画像を解析して、被写体の不良を判定し、不良と判定された被写体に対してピンポイントにメンテナンスするようにメンテナンス用機器を制御するメンテナンス用機器制御システム、メンテナンス用機器制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、以下のような解決手段を提供する。【０００７】
第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、ドローンで撮像された画像を取得する画像取得手段と、前記画像を解析して、被写体の不良を判定する不良判定手段と、前記不良と判定された被写体の位置を推測する位置推測手段と、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システムを提供する。【０００８】
第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法を提供する。【０００９】
第１の特徴に係る発明は、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、をさせるためのプログラムを提供する。
【発明の効果】
【００１０】
不良の被写体に対してピンポイントにメンテナンスすることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、メンテナンス用機器制御システムの概要図である。
【図２】図２は、不良と判定された線路の例である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００１３】
本発明のメンテナンス用機器制御システムは、メンテナンス用機器を制御して、対象に対してメンテナンスを行うシステムである。
【００１４】
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるメンテナンス用機器制御システムの概要図である。
【００１５】
図１にあるように、メンテナンス用機器制御システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、不良判定手段、位置推測手段、メンテナンス用機器制御手段を備える。また図示しないが、同様に、ドローン制御手段を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
【００１６】
画像取得手段は、ドローンのカメラで撮像された画像を取得する。画像は動画でも静止画でもよい。カメラは、ドローンに備えられたカメラであれば、デジタルカメラであっても、スマートフォンのカメラであっても、何でもよい。リアルタイムにメンテナンスさせるにはリアルタイムな画像の方が好ましい。
【００１７】
判定手段は、画像を解析して被写体の不良を判定する。機械学習によって画像解析の精度を向上させてもよい。例えば、過去画像を教師データとして機械学習を行う。例えば図２のように、画像解析して線路の不良を判定してもよい。もちろん、線路に限らず、建物、道路、端末、などの不良を判定してもよい。例えば、現場作業員が線路の近くを歩きながら不良を判定するのに比べて、ドローンで撮像された画像を解析して不良を判定することで、大幅な効率化が図れる。
【００１８】
また、不良判定手段は、画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００１９】
また、不良判定手段は、画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路の色が基準値より薄かったり濃かったりすると、錆によって線路が破損したりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００２０】
また、不良判定手段は、画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００２１】
位置推測手段は、不良と判定された被写体の位置を推測する。ドローンに備えられたＧＰＳや、ドローンでの撮影高度、撮影角度、撮影向き、から不良と判定された被写体の位置を推測できる。例えば、撮影高度Ｈ、撮影角度θの場合、育成不良を判定された被写体の位置は、ＧＰＳの緯度経度に撮影向きを考慮してＨｔａｎθを加味した緯度経度となる。
【００２２】
メンテナンス用機器制御手段は、推測された位置にある被写体の不良をメンテナンスするようにメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスするように、線路のメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスさせるようにメンテナンス専用ドローンを制御してもよい。撮像専用ドローンとメンテナンス専用ドローンとを使い分けることで、効率的なメンテナンスが可能となる。
【００２３】
ドローン制御手段は、推測された位置に、ドローンを再度飛行させて再度撮像するように制御する。例えば、不良の判定が誤判定である可能性も無くはないので、誤判定をケアするためにも、ドローンを再度飛行させて再度撮影させる。再度撮像させた画像を解析することで、不良の判定の二重チェックが可能となる。
[動作の説明]
【００２４】
次に、メンテナンス用機器制御方法について説明する。本発明のメンテナンス用機器制御方法は、メンテナンス用機器を制御して不良の被写体にメンテナンスさせる方法である。
【００２５】
メンテナンス用機器制御方法は、画像取得ステップ、不良判定ステップ、位置推測ステップ、メンテナンス用機器制御ステップを備える。また、ドローン制御ステップを備えてもよい。
【００２６】
画像取得ステップは、ドローンのカメラで撮像された画像を取得する。画像は動画でも静止画でもよい。カメラは、ドローンに備えられたカメラであれば、デジタルカメラであっても、スマートフォンのカメラであっても、何でもよい。リアルタイムにメンテナンスさせるにはリアルタイムな画像の方が好ましい。
【００２７】
判定ステップは、画像を解析して被写体の不良を判定する。機械学習によって画像解析の精度を向上させてもよい。例えば、過去画像を教師データとして機械学習を行う。例えば図２のように、画像解析して線路の不良を判定してもよい。もちろん、線路に限らず、建物、道路、端末、などの不良を判定してもよい。例えば、現場作業員が線路の近くを歩きながら不良を判定するのに比べて、ドローンで撮像された画像を解析して不良を判定することで、大幅な効率化が図れる。
【００２８】
また、不良判定ステップは、画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００２９】
また、不良判定ステップは、画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路の色が基準値より薄かったり濃かったりすると、錆によって線路が破損したりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００３０】
また、不良判定ステップは、画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定してもよい。例えば、線路のサイズが基準値よりも小さかったり大きかったりすると脱線の恐れがあって危ない。この場合に、線路が不良であると判定する。
【００３１】
位置推測ステップは、不良と判定された被写体の位置を推測する。ドローンに備えられたＧＰＳや、ドローンでの撮影高度、撮影角度、撮影向き、から不良と判定された被写体の位置を推測できる。例えば、撮影高度Ｈ、撮影角度θの場合、育成不良を判定された被写体の位置は、ＧＰＳの緯度経度に撮影向きを考慮してＨｔａｎθを加味した緯度経度となる。
【００３２】
メンテナンス用機器制御ステップは、推測された位置にある被写体の不良をメンテナンスするようにメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスするように、線路のメンテナンス用機器を制御する。例えば、推測された位置にある線路をメンテナンスさせるようにメンテナンス専用ドローンを制御してもよい。撮像専用ドローンとメンテナンス専用ドローンとを使い分けることで、効率的なメンテナンスが可能となる。
【００３３】
ドローン制御ステップは、推測された位置に、ドローンを再度飛行させて再度撮像するように制御する。例えば、不良の判定が誤判定である可能性もあり得るので、誤判定をケアするためにも、ドローンを再度飛行させて再度撮影させる。再度撮像させた画像を解析することで、不良の判定の二重チェックが可能となる。
【００３４】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００３５】
上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
【００３６】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【図１】
2019064456.tif 000003
【図２】
2019064456.tif 000004
【手続補正書】
【提出日】令和2年3月24日(2020.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、
ドローンで撮像された画像を取得する画像取得手段と、
前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定手段と、
前記不良と判定された被写体の位置を推測する位置推測手段と、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システム。
【請求項２】
前記不良判定手段は、前記画像を解析して、サイズが所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項３】
前記不良判定手段は、前記画像を解析して、色が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項４】
前記不良判定手段は、前記画像を解析して、形状が所定の条件を満たす場合に、被写体が不良であると判定する請求項１に記載のメンテナンス用機器制御システム。
【請求項５】
前記位置推測手段は、ドローンのＧＰＳ、撮影高度、撮影角度、撮影向き、から前記不良と判定された被写体の位置を推測する請求項１に記載のメンテナンス用機器制御システム。
【請求項６】
前記推測された位置に、ドローンを再度飛行させて再度撮像するように制御するドローン制御手段を備える請求項１に記載のメンテナンス用機器制御システム。
【請求項７】
メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、
ドローンで撮像された画像を取得する画像取得ステップと、
前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定ステップと、
前記不良と判定された被写体の位置を推測する位置推測ステップと、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法。
【請求項８】
コンピュータに、
ドローンで撮像された画像を取得する画像取得ステップと、
前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定ステップと、
前記不良と判定された被写体の位置を推測する位置推測ステップと、
前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御システムであって、ドローンで撮像された画像を取得する画像取得手段と、前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定手段と、前記不良と判定された被写体の位置を推測する位置推測手段と、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御手段と、を備えるメンテナンス用機器制御システムを提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
第１の特徴に係る発明は、メンテナンス用機器を制御して、メンテナンスさせるメンテナンス用機器制御方法であって、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、を備えるメンテナンス用機器制御方法を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第１の特徴に係る発明は、ドローンで撮像された画像を取得する画像取得ステップと、前記画像を解析して、被写体の不良を判定するとともに、過去画像を機械学習することよって画像解析の精度を向上する不良判定ステップと、前記不良と判定された被写体の位置を推測する位置推測ステップと、前記推測された位置にある被写体の不良をメンテナンスするように前記メンテナンス用機器を制御する機器制御ステップと、をさせるためのプログラムを提供する。
【国際調査報告】
2019064456.tif 000005
2019064456.tif 000006