(57)【要約】【課題】構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムを提供する。【解決手段】自走装置１００は、第一の点検画像に基づく走行コマンドに基づいて目標位置まで自走して、第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、情報処理装置２００は、第二の点検画像に含まれる撮影対象の中から第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、適合対象と適合した第一の点検画像に含まれる撮影対象を識別可能に特定する特定情報を、当該適合対象に対応付ける、ことを特徴とする。【選択図】図１
2020197454.tif 000002
【特許請求の範囲】
【請求項１】
受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、
前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理手段と、
抽出された撮影対象のそれぞれを識別可能に特定する特定情報を、撮影対象に対応付ける特定情報処理手段と、
前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、
前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、
を備え、
前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、
前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、
前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付ける、
ことを特徴とする点検支援システム。
【請求項２】
前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、
前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から抽出された第二の劣化部分と、前記第一の点検画像に含まれる撮影対象の中から抽出された第一の劣化部分と、を比較して互いに適合する場合、前記第二の点検画像に含まれる撮影対象の中から前記適合対象として前記第二の劣化部分を抽出し、
前記前記特定情報処理手段は、抽出された前記第二の劣化部分に対して、前記第一の劣化部分の前記特定情報を対応付ける、
請求項１に記載の点検支援システム。
【請求項３】
前記画像処理手段は、前記第二の劣化部分と前記第一の劣化部分とを比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理を実行し、前記推定処理が肯定される場合には、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出する、
請求項２に記載の点検支援システム。
【請求項４】
前記画像処理手段による前記推定処理が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
請求項３に記載の点検支援システム。
【請求項５】
前記特定情報処理手段は、
前記点検画像から抽出された撮影対象に、前記構造物における当該撮影対象の位置情報を前記特定情報として対応付け、
前記第二の点検画像に含まれる撮影対象のうち前記適合対象に該当しない非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報を用いて定める、
請求項１から４のいずれか一項に記載の点検支援システム。
【請求項６】
前記特定情報処理手段は、前記第二の点検画像に含まれる撮影対象のうち前記非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報に加えて、前記第二の点検画像を撮影した時における前記目標位置と、前記第二の点検画像を撮影した時における前記撮影手段の撮影方向と、を用いて定める、
請求項５に記載の点検支援システム。
【請求項７】
前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、
前記検索手段は、前記データベースに格納されている前記点検画像に含まれる撮影対象が劣化部分であるものを、前記第一の点検画像として検索可能である、
請求項１から６のいずれか一項に記載の点検支援システム。
【請求項８】
前記画像処理手段による劣化部分の判別が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
請求項７に記載の点検支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点検支援システムに関する。
【背景技術】
【０００２】
我が国の高度成長期において高速道路や鉄道網等の社会インフラ整備に伴い、多くの建造物が建築されたが、近年ではこれらの建造物の経年劣化が社会問題となっている。
経年劣化による事故を避けるためには、対象となる建造物を定期的に点検・メンテナンスすることが必要不可欠である。その一方で、厳しいビジネス環境や少子高齢化等の社会環境を要因として、その膨大な点検を担う作業員が年々減少傾向にある。
【０００３】
このような背景を鑑みて、この種の点検支援システムとして下記の特許文献１に係る発明を、本発明者が既に特許出願している。
特許文献１に係る発明は、構造物の点検に関する種々の点検データを取得するために自律的に走行する点検ロボット、及び当該点検ロボットを用いて点検データを収集する点検支援システム等に関するものである。
この発明により、作業員が移動困難な場所についても点検ロボットが自律的に点検データを収集することができるため、構造物に係る点検の効率化を図ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１１１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に係る点検ロボットの自走制御をするものであるところ、その精度には限界があり、点検対象となる構造物を同じアングルから繰り返し撮影すること（例えば、定期的に行われる定期点検の度に同一の箇所を撮影すること）が困難である。
これによって点検効率を下げる又は点検ミスを誘発させる要因になる可能性があり、特許文献１に係る発明は未だ改善の余地を残していた。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムを提供するものである。
【課題を解決するための手段】
【０００７】
本発明によれば、受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理手段と、抽出された撮影対象のそれぞれを識別可能に特定する特定情報を、撮影対象に対応付ける特定情報処理手段と、前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、を備え、前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付ける、ことを特徴とする点検支援システムが提供される。
【０００８】
上記発明によれば、事前に撮影されてデータベースに格納されている画像（第一の点検画像）と、事後に撮影された画像（第二の点検画像）と、を比べて、互いに適合する撮影対象が撮影されている場合には、事後に撮影された撮影対象に対して、事前に撮影された撮影対象を特定する情報（特定情報）が対応付けられる。
従って、事前に撮影された撮影対象と、事後に撮影された撮影対象と、が異なるアングルから撮影された場合であっても、撮影対象が同じものであるか否かを、点検者が判断する必要がないので、点検に係る作業効率や作業精度を向上させることができる。
【発明の効果】
【０００９】
本発明によれば、構造物の点検に係る作業効率や作業精度を向上させることができる点検支援システムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における点検支援システムの構成図である。
【図２】図２（ａ）は、点検対象の構造物の平面図であり、図２（ｂ）は、構造物Ａを点検する自走装置の移動経路を示す図である。
【図３】図３は、情報処理装置によってマッピングされた三次元データを可視化した模式図である。
【図４】図４は、自走装置が点検画像を取得する処理手順を示すフローチャートである。
【図５】図５は、情報処理装置が点検画像をデータベースに格納する処理手順を示すフローチャートである。
【図６】図６（ａ）は、点検画像の撮影範囲を示す図であり、図６（ｂ）は、点検画像に撮影されている撮影対象を示す図である。
【図７】図７（ａ）は、点検画像の撮影範囲を示す図であり、図７（ｂ）は、点検画像に撮影されている撮影対象を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
【００１２】
＜点検支援システム１０のシステム構成＞
先ず、点検支援システム１０のシステム構成について説明する。
図１は、本発明の実施形態における点検支援システム１０の構成図である。
【００１３】
図１に示すとおり、点検支援システム１０は、自走装置１００と、情報処理装置２００と、データベース３００と、を備える。
点検支援システム１０は、自走装置１００を用いて画像データを取得し、自走装置１００が取得した画像データに対して情報処理装置２００が所定の処理を実行し、所定の処理を実行した画像データをデータベース３００に格納させるものである。
【００１４】
自走装置１００が取得した画像データは、構造物の点検に用いるものである。ここで構造物とは、一般的な建築物の他に、道路、橋梁、工場（プラント）、ダム、堤防などを含む。
以下の説明において、自走装置１００が取得する画像データを、便宜上「点検画像」と呼称する。
【００１５】
自走装置１００は、情報処理装置２００から受信した走行コマンドに基づいて自走可能に構成されている。ここで自走可能とは、作業員を搭載しないで走行可能な機構を有することをいう。
【００１６】
自走装置１００は、撮影手段１０１と、ジャイロセンサ１０２と、距離センサ１０３と、走行制御手段１０４と、送受信手段１０５と、を搭載している。
【００１７】
撮影手段１０１は、自走装置１００の周囲に存在する対象物（以下、撮影対象と称する）を撮影する装置であり、いわゆるカメラである。撮影手段１０１は、静止画像を撮影できるものに限られず、動画を撮影可能であってもよい。
ジャイロセンサ１０２は、撮影手段１０１が向いている方向、すなわち撮影可能な方向を検知する。
距離センサ１０３は、撮影手段１０１から撮影対象までの距離を測定する。
なお、図１において、撮影手段１０１は、ジャイロセンサ１０２及び距離センサ１０３と別の構成として図示したが、これらは一体の装置として実現されてもよい。
【００１８】
走行制御手段１０４は、自走装置１００の走行を制御するものである。
ところで、移動体を自律走行させる技術として、一般的にＳＬＡＭ（Simultaneous Localization and Mapping）が知られている。
ここでＳＬＡＭとは、画像やセンサの検知情報等から周囲の環境に対する自己（自律走行ロボット）の相対的な位置を推定することによって障害物等を回避しながら自律走行を実現する技術であり、さらに周囲環境の地図データ（三次元の点群データ）を自律走行と並行して作成することができる。
本実施形態では、自走装置１００の走行制御（走行制御手段１０４）は、ＳＬＡＭの技術を適用することを前提とするが、それ以外の技術を適用して実現されてもよい。
【００１９】
送受信手段１０５は、情報処理装置２００から種々のデータを受信し、情報処理装置２００に対して種々のデータを送信するものである。例えば、送受信手段１０５は、情報処理装置２００から送信される走行コマンドを受信可能であり、情報処理装置２００に対して点検画像を送信可能である。
【００２０】
情報処理装置２００は、自走装置１００から受信した点検画像をデータベース３００に格納させる。情報処理装置２００は、汎用的に用いられるパーソナルコンピュータによって実現されてもよいし、点検支援システム１０に特化した仕様のコンピュータによって実現されてもよい。
【００２１】
情報処理装置２００は、送受信手段２０１と、画像処理手段２０２と、特定情報処理手段２０３と、検索手段２０４と、コマンド生成手段２０５と、を備える。
【００２２】
送受信手段２０１は、自走装置１００から種々のデータを受信し、自走装置１００に対して種々のデータを送信するものである。
例えば、送受信手段２０１は、自走装置１００から送信される点検画像を受信可能であり、自走装置１００に対して走行コマンドを送信可能である。
【００２３】
画像処理手段２０２は、データベース３００に格納させる点検画像に対して、種々の画像処理を行う。
例えば、画像処理手段２０２は、点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理や、抽出した撮影対象が構造物に生じた劣化部分であるか否かを判別する画像処理などを実行することができる。
【００２４】
特定情報処理手段２０３は、画像処理手段２０２によって抽出された撮影対象のそれぞれを識別可能に特定する情報（以下、特定情報と称する）を、撮影対象に対応付ける。
ここで特定情報とは、例えば、撮影対象ごとに任意に定める識別情報の他に、客観的に撮影対象を特定できるユニークな情報（例えば、撮影対象が存在する位置や範囲を示す情報）も含まれる。
【００２５】
検索手段２０４は、データベース３００に格納されている点検画像の中から、或る検索条件を充足する特定の点検画像を検索する。検索手段２０４の検索に用いられる検索条件は特に制限されず、ユーザが任意に指定した条件であってもよいし、あらかじめ定められている条件であってもよい。
なお、以下の説明において、自走装置１００に送信する走行コマンドの生成のために検索手段２０４によって検索される点検画像を、便宜的に「第一の点検画像」と呼称し、当該走行コマンドに基づいて走行した自走装置１００が取得する点検画像を「第二の点検画像」と呼称して、互いに区別する場合がある。
【００２６】
コマンド生成手段２０５は、検索手段２０４によって検索された第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ自走装置を自走させるための走行コマンド（以下、第一の走行コマンド）を生成する。
ここで「第一の点検画像に含まれる撮影対象を撮影可能な目標位置」とは、例えば、第一の点検画像を撮影した時点において自走装置１００が存在した位置（厳密には、存在したものと推定される位置）であるが、必ずしも当該位置と上記の目標位置が一致しなくてもよい。
【００２７】
以上に説明したように、点検支援システム１０は、受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段１０１が搭載されている自走装置１００を用いて点検画像を取得し、取得した点検画像をデータベース３００に格納させるものと言える。
そして、点検支援システム１０は、本発明の画像処理手段２０２、特定情報処理手段２０３、検索手段２０４と、及びコマンド生成手段２０５を備えるものと言える。
【００２８】
＜自走装置１００による点検画像の収集について＞
次に、自走装置１００による点検画像の収集について説明する。
図２（ａ）は、点検対象の構造物Ａの平面図であり、図２（ｂ）は、構造物Ａを点検する自走装置１００の移動経路Ｃを示す図である。
なお、図２（ｂ）に示す移動経路Ｃは一具体例であり、本発明の実施において、移動経路Ｃとは異なる移動経路で自走装置１００が構造物Ａの点検画像を収集することが許容される。
【００２９】
図２（ａ）に示すとおり、構造物Ａは、複数の柱と、柱の間に設けられる壁と、によって３つの空間（空間Ａ１、空間Ａ２、空間Ａ３）に分けられている。
構造物Ａを点検する際、自走装置１００は壁に沿って移動しながら、その壁を網羅的に撮影し、構造物Ａの壁の全てについて点検画像を収集する。
より詳細には、自走装置１００は、或る位置Ｐ１から撮影可能な領域Ｒ１の壁を撮影した後に、次の位置Ｐ２に移動し、位置Ｐ２から撮影可能な領域Ｒ２の壁を撮影する。このとき、自走装置１００は、領域Ｒ１と領域Ｒ２の端部が連続する又は重複するように自走装置１００が移動する位置Ｐ２と、撮影手段１０１の撮影方向と、を定める。位置Ｐ２から次に位置Ｐ３に移動して位置Ｐ３から領域Ｒ３の壁を撮影する場合にも、位置Ｐ３から次の位置Ｐ４に移動して位置Ｐ４から領域Ｒ４の壁を撮影する場合にも、同様の処理を繰り返していくことによって、自走装置１００は、構造物Ａの壁について漏れなく点検画像を撮影することができる。
【００３０】
自走装置１００は、点検画像を撮影した際に、その時点を示す時刻情報と、その時点で推定される自己の位置を示す位置情報と、ジャイロセンサ１０２によって検知されるその点検画像の撮影方向を示すベクトル情報と、距離センサ１０３によって測定される撮影手段１０１から壁面までの距離を示す距離情報と、を当該点検画像に対応付ける。
情報処理装置２００は、自走装置１００が取得した点検画像と、当該点検画像に対応付けられている上記の情報群に基づく演算処理によって、構造物Ａの壁を三次元の点群データとしてマッピングする。当該演算処理については、既知のＳＬＡＭに係る技術のいずれを適用してもよく、その手法は特に制限されない。
【００３１】
図３は、情報処理装置２００によってマッピングされた三次元点群データ（構造物Ａの地図データ）を可視化した模式図である。
図３に示すように、情報処理装置２００は、上記のように三次元点群データを導出することによって、構造物Ａの構造を立体的に解析することができる。
なお、情報処理装置２００は、不図示の表示手段に対して、図３に示すような立体的な表現で、構造物Ａの構造を表示させてもよい。
【００３２】
図４は、自走装置１００が点検画像を取得する処理手順を示すフローチャートである。
【００３３】
ステップＳ１０２において、自走装置１００は、情報処理装置２００に対して走行コマンドを要求し、情報処理装置２００から走行コマンドを受け付ける。
ステップＳ１０２において受け付ける走行コマンドには、次に移動するべき目標位置を示す情報、またはその目標位置が演算可能な情報が含まれており、自走装置１００は、当該走行コマンドに基づいて次の目標位置を認識することができる。
【００３４】
ステップＳ１０４において、自走装置１００は、初期状態である場合（構造物Ａの地図データを有していない場合）には、構造物Ａの壁面と自己の相対的な位置を計測しながら、自己の位置を推定しつつ、次の目標位置まで自走する。或いは、自走装置１００は、既に構造物Ａの地図データを有している場合には、その地図データに基づいて次の目標位置まで自走する。
ステップＳ１０４の自走制御は、自走装置１００が次の目標位置に到達するまで（ステップＳ１０６がＮＯである間）継続して行われ、自走装置１００が次の目標位置に到達すると（ステップＳ１０６がＹＥＳになると）、ステップＳ１０８の処理に進む。
【００３５】
ステップＳ１０８において、自走装置１００は、撮影手段１０１の撮影方向を決定する。この処理は、上述したように、前の目標位置において撮影した領域と今回撮影する領域とが連続又は重複するように、撮影方向が決定される。
ステップＳ１１０において、自走装置１００は、ステップＳ１０８において決定した撮影方向で撮影手段１０１に撮影させる。
【００３６】
ステップＳ１１２において、自走装置１００は、ステップＳ１１０で撮影した点検画像に環境情報を付与する。ここで、環境情報とは、撮影した時点を示す時刻情報、撮影時点における自走装置１００の自己推定位置を示す位置情報と、撮影方向を示すベクトル情報と、撮影手段１０１から壁面までの距離を示す距離情報と、を含む情報群である。
【００３７】
ステップＳ１１４において、自走装置１００は、環境情報が付与された点検画像を、情報処理装置２００に送信する。
ステップＳ１１４の送信が正常であれば（ステップＳ１１６がＹＥＳの場合）、ステップＳ１１８の処理に進み、ステップＳ１１４の送信が異常（ステップＳ１１６がＮＯの場合）、ステップＳ１１４の送信をリトライする。
ここで、ステップＳ１１４の正常／異常は、例えば、情報処理装置２００からＡＣＫコマンドの応答があること等によって判別してもよい。
【００３８】
ステップＳ１１８の時点で、自走装置１００の自己推定位置が最終の目標位置である場合（ステップＳ１１８がＹＥＳの場合）、自走装置１００による点検画像の収集は終了する。
一方で、ステップＳ１１８の時点で、自走装置１００の自己推定位置が最終の目標位置ではない場合（ステップＳ１１８がＮＯの場合）、ステップＳ１０２に進んで、自走装置１００は、新たな目標位置を定めるための走行コマンドを情報処理装置２００に要求する。
【００３９】
＜情報処理装置２００による点検画像の格納について＞
次に、情報処理装置２００による点検画像の格納について説明する。
図５は、情報処理装置２００が点検画像をデータベース３００に格納する処理手順を示すフローチャートである。
【００４０】
ステップＳ２０２において、情報処理装置２００は、自走装置１００から受信した点検画像が、構造物Ａの地図データにおける何処の範囲を撮影したものであるかを、当該点検画像に付与されている環境情報（特に、撮影時点における自走装置１００の自己推定位置を示す位置情報、撮影方向を示すベクトル情報、及び撮影手段１０１から壁面までの距離を示す距離情報）に基づいて特定する。
【００４１】
ステップＳ２０４において、情報処理装置２００（画像処理手段２０２）は、自走装置１００から受信した点検画像の中から撮影対象を抽出する。ここで抽出される撮影対象とは、具体的には、画像解析において一つのまとまりとして解析される対象物（オブジェクト）であり、背景（壁面や床面）と区別される物体とも換言できる。
ステップＳ２０４において撮影対象が抽出されない場合（ステップＳ２０６がＮＯである場合）、ステップＳ２１２に進む。
一方、ステップＳ２０４において撮影対象が抽出された場合（ステップＳ２０６がＹＥＳである場合）、ステップＳ２０８に進む。
【００４２】
ステップＳ２０８において、情報処理装置２００（画像処理手段２０２）は、ステップＳ２０４において抽出された撮影対象が劣化部分であるか否かを判別する。ここで劣化部分とは、例えば、点検画像に撮影されているものがコンクリート壁であればクラック（ひび割れ）が該当し、点検画像に撮影されているものが金属部材であればサビが該当し、点検画像に撮影されているものが塗装壁（モルタル壁など）であれば塗装の剥がれや浮きが該当しうる。
【００４３】
ステップＳ２１０において、情報処理装置２００（特定情報処理手段２０３）は、ステップＳ２０４において抽出された撮影対象のそれぞれに、互いを識別可能にする特定情報を付与する。
【００４４】
上記のステップＳ２０２〜ステップＳ２１０の処理によって生成された種々の情報（撮影範囲の位置情報、撮影対象の有無、撮影対象が劣化部分であるか否か、撮影対象の特定情報）を点検画像及び当該点検画像に撮影されている撮影対象に対応付けて、情報処理装置２００（特定情報処理手段２０３）は、点検画像をデータベース３００に格納させる。
【００４５】
ここで、具体例に則して、図５を用いて説明した処理を、より詳細に説明する。
図６（ｂ）は、或る点検において位置Ｐ４から撮影された点検画像Ｔ１を示す図である。
点検画像Ｔ１の撮影範囲は、ステップＳ２０２の処理によって、図６（ａ）に図示する撮影範囲Ｒ４１として特定されたものとする。そして、情報処理装置２００（画像処理手段２０２）は、点検画像Ｔ１の中から、ステップＳ２０４の処理によって撮影対象ＯＢ１（消火栓）と、撮影対象ＯＢ２（構造物Ａの柱）と、撮影対象ＯＢ３（クラック）と、を抽出したものとする。
この場合、ステップＳ２０８の処理では、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ１と撮影対象ＯＢ２とは劣化部分ではないものと判別し、撮影対象ＯＢ３は劣化部分であるものと判別する。
また、ステップＳ２１０の処理では、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ１〜ＯＢ３のそれぞれに、別々の識別情報（ＩＤ番号）と、各々の位置情報と、を付与したものとする。なお、ここで付与される撮影対象の位置情報は、一点（単独の点データ）として特定されてもよいし、範囲（複数の点データ）として特定されてもよい。
【００４６】
次に、図６（ｂ）の点検画像Ｔ１が撮影された点検から、ある程度の時間が経過してから行われた点検において、点検画像Ｔ１と比較するための点検画像Ｔ２を撮影することを想定する。
このとき、情報処理装置２００は、自走装置１００に対して、点検画像Ｔ１に撮影されている撮影対象ＯＢ１〜ＯＢ３が撮影可能な目標位置として位置Ｐ４を指定するための走行コマンドを自走装置１００に送信する。
なお、情報処理装置２００が自走装置１００に当該走行コマンドを送信するタイミングは、位置Ｐ３まで自走して撮影を終了した自走装置１００の要求に応じて次の目標位置を指定するタイミングであってもよいし、初期状態（点検の最初の時点）において自走装置１００の要求に応じて次の目標位置を指定するタイミングであってもよい。
【００４７】
自走装置１００は、当該走行コマンドに基づいて位置Ｐ４まで自走して、点検画像Ｔ２を取得する。このとき、点検画像Ｔ２の撮影範囲（ステップＳ２０２で特定される範囲）は、撮影範囲Ｒ４２（図７（ａ）参照）として特定されたものとする。
図６（ａ）と図７（ａ）とを比較すれば分かるとおり、撮影範囲Ｒ４１と撮影範囲Ｒ４２とは僅かに異なる範囲になりがちである。何故ならば、自走装置１００の自走制御の精度誤差は数センチ単位で生じるものであり、自走装置１００の目標位置として指定した位置が同じであっても、実際の撮影位置が異なりうるからである。また、当該目標位置への自走装置１００の進入角度のいかんによって、撮影対象ＯＢ１〜ＯＢ３を収めるための撮影手段１０１の撮影方向も変化しうるからである。
【００４８】
情報処理装置２００（画像処理手段２０２）は、上記のような撮影範囲Ｒ４２を撮影した点検画像Ｔ２の中から、ステップＳ２０４の処理によって撮影対象ＯＢ４（消火栓）と、撮影対象ＯＢ５（構造物Ａの柱）と、撮影対象ＯＢ６（クラック）と、撮影対象ＯＢ７（クラック）と、を抽出したものとする。
【００４９】
ここで、撮影対象ＯＢ４は撮影対象ＯＢ１とほぼ同じ形状であり、撮影対象ＯＢ５は撮影対象ＯＢ２とほぼ同じ形状である為、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ４は撮影対象ＯＢ１に適合する（適合対象である）ものとして抽出し、撮影対象ＯＢ５は撮影対象ＯＢ２に適合する（適合対象である）ものとして抽出する。
従って、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ４には撮影対象ＯＢ１に付与した特定情報を、撮影対象ＯＢ５には撮影対象ＯＢ２に付与した特定情報を、付与する。
【００５０】
言い換えれば、自走装置１００は、受信した第一の走行コマンド（点検画像Ｔ１に基づく走行コマンド）に基づいて目標位置まで自走して、第一の点検画像（点検画像Ｔ１）に含まれる撮影対象を撮影して第二の点検画像（点検画像Ｔ２）を取得するものと言える。
このとき、画像処理手段２０２は、第二の点検画像に含まれる撮影対象の中から第一の点検画像に含まれる撮影対象（撮影対象ＯＢ１及び撮影対象ＯＢ２）に適合する適合対象（撮影対象ＯＢ４及び撮影対象ＯＢ５）を抽出するものと言える。そして、特定情報処理手段２０３は、適合対象と適合した第一の点検画像に含まれる撮影対象の特定情報を、当該適合対象に対応付けるものと言える。
【００５１】
これにより、事後に撮影された点検画像Ｔ２に撮影された撮影対象に対して、その撮影の為の自走制御の元になった点検画像Ｔ１の撮影対象を特定する情報（特定情報）が対応付けられる。
従って、事前に撮影された撮影対象と、事後に撮影された撮影対象と、が異なるアングルから撮影された場合であっても、撮影対象が同じものであるか否かを、点検者が判断する必要がないので、点検に係る作業効率や作業精度を向上させることができる。
【００５２】
また、撮影対象ＯＢ６は撮影対象ＯＢ３と異なる形状であるものの、撮影対象ＯＢ６は撮影対象ＯＢ３と同様にクラックであるものと形状及び色彩等から画像解析可能であり、互いの位置は概ね合致するので、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ６は撮影対象ＯＢ３が進行したものであると推定して、互いに適合する（適合対象である）ものとして、撮影対象ＯＢ６を抽出する。
従って、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ６には撮影対象ＯＢ３に付与した特定情報を付与する。
【００５３】
言い換えれば、画像処理手段２０２は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象の中から抽出された第二の劣化部分（撮影対象ＯＢ６）と、第一の点検画像（点検画像Ｔ１）に含まれる撮影対象の中から抽出された第一の劣化部分（撮影対象ＯＢ３）と、を比較して互いに適合する場合、第二の点検画像に含まれる撮影対象の中から適合対象として第二の劣化部分を抽出するものと言える。そして、特定情報処理手段２０３は、抽出された第二の劣化部分に対して、第一の劣化部分の特定情報を対応付けるものと言える。
このとき、画像処理手段２０２は、第二の劣化部分（撮影対象ＯＢ６）と第一の劣化部分（撮影対象ＯＢ３）とを比較することによって、第一の劣化部分が進行して第二の劣化部分になったものであるか否かを推定する推定処理を実行し、推定処理が肯定される場合には、第一の劣化部分に対する適合対象として第二の劣化部分を抽出するものと言える。
【００５４】
これにより、クラックのように経時的に進行が進む（形状や色彩が変化する）ものであっても、以前の点検時の劣化状況とその後の点検時の劣化状況を高い精度で対応付けることが可能になるので、点検に係る作業効率や作業精度を向上させることができる。
【００５５】
一方、撮影対象ＯＢ７は、撮影対象ＯＢ６とは異なるクラックとして画像解析可能であり、点検画像Ｔ１に撮影されている撮影対象ＯＢ１〜ＯＢ３のいずれとも適合しない。従って、情報処理装置２００（画像処理手段２０２）は、撮影対象ＯＢ７は非適合対象であるものとして抽出する。
このとき、情報処理装置２００（特定情報処理手段２０３）は、撮影対象ＯＢ７には撮影対象ＯＢ１〜ＯＢ３に付与した特定情報とは異なる特定情報を付与する。但し、撮影対象ＯＢ７に特定情報として位置情報を付与する場合、周囲の撮影対象（特に、不動の対象物と見做しうる劣化部分ではない撮影対象（撮影対象ＯＢ４や撮影対象ＯＢ５））の位置情報に基づいて、情報処理装置２００（特定情報処理手段２０３）は撮影対象ＯＢ７に付与する位置情報を定めることが好ましい。なぜならば、同一の点検画像Ｔ２に撮影されている撮影対象の位置情報は、高い精度で整合がとれていることが、点検を適正に行う観点から好ましいからである。
更に好ましくは、情報処理装置２００（特定情報処理手段２０３）は、点検画像Ｔ２の撮影時における自走装置１００の目標位置（自己推定位置の位置情報）と、点検画像Ｔ２の撮影時における撮影手段１０１の撮影方向（ベクトル情報）と、を鑑みて、撮影対象ＯＢ７に付与する位置情報を定めると良い。位置情報の演算精度を上げる為である。
【００５６】
言い換えれば、特定情報処理手段２０３は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象のうち適合対象に該当しない非適合対象（撮影対象ＯＢ７）に対応付ける位置情報を、第二の点検画像に含まれる適合対象（撮影対象ＯＢ４、撮影対象ＯＢ５）に対応付ける位置情報を用いて定めることが好ましい。
更に好ましくは、特定情報処理手段２０３は、第二の点検画像（点検画像Ｔ２）に含まれる撮影対象のうち非適合対象（撮影対象ＯＢ７）に対応付ける位置情報を、第二の点検画像に含まれる適合対象に対応付ける位置情報に加えて、第二の点検画像を撮影した時における目標位置と、第二の点検画像を撮影した時における撮影手段１０１の撮影方向と、を用いて定めると良い。
【００５７】
なお、撮影対象ＯＢ７に特定情報として識別情報（ＩＤ番号）を付与する場合には、撮影対象ＯＢ１〜ＯＢ３のいずれとも異なるものになることについては、特段説明するまでもなく明らかである。
【００５８】
＜変形例＞
以上に説明した本発明の実施形態は、本発明の目的と達成する範囲において、種々の変形が可能である。
以下、未だ説明していない本発明の変形例について、言及する。
【００５９】
図１に図示したシステム構成に含まれる構成要素のうち、一部を省いてもよく、また図示していない構成要素を追加してもよい。
また、自走装置１００が有する構成要素の一部を、情報処理装置２００が備えるように変更してもよいし、情報処理装置２００が有する構成要素の一部を、自走装置１００が備えるように変更してもよい。
【００６０】
図４及び図５のフローチャートに含まれる手順（ステップ）のうち、一部を省いてもよく、図示していない手順を追加してもよい。
また、図示した手順は一具体例であり、支障ない範囲で処理の順序を置換する、直列で処理されるものを並行処理に置換するなどの変更を加えてもよい。
【００６１】
検索手段２０４による検索の検索条件は特に制限されない旨を説明したが、点検の目的が構造物の劣化診断である場合には、劣化部分が撮影されている点検画像であることを検索条件として検索可能であることが好ましい。
言い換えれば、検索手段２０４は、データベース３００に格納されている点検画像に含まれる撮影対象が劣化部分であるものを、第一の点検画像として検索可能であり、自走装置１００は、第一の点検画像に基づく走行コマンド（第一の走行コマンド）に基づいて目標位置まで自走して、第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得できることが好ましい。
【００６２】
画像処理手段２０２による種々の画像処理は、データベース３００に格納されている点検画像を教師データとして用いた機械学習に基づいて実行されてもよい。
特に、事後に撮影された点検画像の劣化部分が、事前に撮影された点検画像の劣化部分が進行したものであるか否かの推定処理については、機械学習による処理が好適である。
他にも、点検画像から抽出した撮影対象が構造物に生じた劣化部分であるか否かを判別する処理についても、機械学習による処理が好適である。
【００６３】
本実施形態は以下の技術思想を包含する。
（１）受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出する画像処理手段と、抽出された撮影対象のそれぞれを識別可能に特定する特定情報を、撮影対象に対応付ける特定情報処理手段と、前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、を備え、前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付ける、ことを特徴とする点検支援システム。
（２）前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から抽出された第二の劣化部分と、前記第一の点検画像に含まれる撮影対象の中から抽出された第一の劣化部分と、を比較して互いに適合する場合、前記第二の点検画像に含まれる撮影対象の中から前記適合対象として前記第二の劣化部分を抽出し、前記前記特定情報処理手段は、抽出された前記第二の劣化部分に対して、前記第一の劣化部分の前記特定情報を対応付ける、（１）に記載の点検支援システム。
（３）前記画像処理手段は、前記第二の劣化部分と前記第一の劣化部分とを比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理を実行し、前記推定処理が肯定される場合には、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出する、（２）に記載の点検支援システム。
（４）前記画像処理手段による前記推定処理が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、（３）に記載の点検支援システム。
（５）前記特定情報処理手段は、前記点検画像から抽出された撮影対象に、前記構造物における当該撮影対象の位置情報を前記特定情報として対応付け、前記第二の点検画像に含まれる撮影対象のうち前記適合対象に該当しない非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報を用いて定める、（１）から（４）のいずれか一つに記載の点検支援システム。
（６）前記特定情報処理手段は、前記第二の点検画像に含まれる撮影対象のうち前記非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報に加えて、前記第二の点検画像を撮影した時における前記目標位置と、前記第二の点検画像を撮影した時における前記撮影手段の撮影方向と、を用いて定める、（５）に記載の点検支援システム。
（７）前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、前記検索手段は、前記データベースに格納されている前記点検画像に含まれる撮影対象が劣化部分であるものを、前記第一の点検画像として検索可能である、（１）から（６）のいずれか一つに記載の点検支援システム。
（８）前記画像処理手段による劣化部分の判別が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、（７）に記載の点検支援システム。
【符号の説明】
【００６４】
１０  点検支援システム
１００  自走装置
１０１  撮影手段
１０２  ジャイロセンサ
１０３  距離センサ
１０４  走行制御手段
１０５  送受信手段
２００  情報処理装置
２０１  送受信手段
２０２  画像処理手段
２０３  特定情報処理手段
２０４  検索手段
２０５  コマンド生成手段
３００  データベース
【図１】
2020197454.tif 000003
【図２】
2020197454.tif 000004
【図３】
2020197454.tif 000005
【図４】
2020197454.tif 000006
【図５】
2020197454.tif 000007
【図６】
2020197454.tif 000008
【図７】
2020197454.tif 000009
【手続補正書】
【提出日】令和2年10月1日(2020.10.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、
前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出し、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能である画像処理手段と、
抽出された撮影対象のそれぞれを識別可能に特定する特定情報として、前記構造物における撮影対象ごとの位置情報を、それぞれの撮影対象に対応付ける特定情報処理手段と、
前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、
前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、
を備え、
前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、
前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、
前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付け、
前記第二の点検画像から抽出された撮影対象の中に第二の劣化部分が含まれる場合、前記第一の点検画像から抽出された撮影対象に含まれる第一の劣化部分と前記第二の劣化部分を、それぞれの形状、色彩及び位置について比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理が前記画像処理手段によって実行され、
前記推定処理が肯定される場合には、前記画像処理手段が、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、前記第一の劣化部分の前記特定情報として与えられていた位置情報を付与し、
前記推定処理が否定される場合には、前記画像処理手段が、前記第一の点検画像に対して非適合対象であるとして前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、劣化部分と判別されていない他の撮影対象の前記特定情報として与えられていた位置情報に基づいて定めた位置情報を付与する、
ことを特徴とする点検支援システム。
【請求項２】
前記画像処理手段による前記推定処理が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
請求項１に記載の点検支援システム。
【請求項３】
前記特定情報処理手段は、前記第二の点検画像に含まれる撮影対象のうち前記非適合対象に対応付ける位置情報を、前記第二の点検画像に含まれる前記適合対象に対応付ける位置情報に加えて、前記第二の点検画像を撮影した時における前記目標位置と、前記第二の点検画像を撮影した時における前記撮影手段の撮影方向と、を用いて定める、
請求項１または２に記載の点検支援システム。
【請求項４】
前記画像処理手段は、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能であり、
前記検索手段は、前記データベースに格納されている前記点検画像に含まれる撮影対象が劣化部分であるものを、前記第一の点検画像として検索可能である、
請求項１から３のいずれか一項に記載の点検支援システム。
【請求項５】
前記画像処理手段による劣化部分の判別が、前記データベースに格納されている前記点検画像を教師データとして用いた機械学習に基づいて実行される、
請求項４に記載の点検支援システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明によれば、受信した走行コマンドに基づいて自走可能に構成され且つ構造物の点検に用いる点検画像を撮影する撮影手段が搭載されている自走装置を用いて前記点検画像を取得し、取得した前記点検画像をデータベースに格納させる点検支援システムであって、前記データベースに格納させる前記点検画像に対して、当該点検画像に撮影されている一又は複数の撮影対象を抽出し、抽出した撮影対象が前記構造物に生じた劣化部分であるか否かを判別可能である画像処理手段と、抽出された撮影対象のそれぞれを識別可能に特定する特定情報として、前記構造物における撮影対象ごとの位置情報を、それぞれの撮影対象に対応付ける特定情報処理手段と、前記データベースに格納されている前記点検画像の中から第一の点検画像を検索する検索手段と、前記検索手段によって検索された前記第一の点検画像に含まれる撮影対象を撮影可能な目標位置へ前記自走装置を自走させるための第一の走行コマンドを生成するコマンド生成手段と、を備え、前記自走装置は、受信した前記第一の走行コマンドに基づいて前記目標位置まで自走して、前記第一の点検画像に含まれる撮影対象を撮影して第二の点検画像を取得し、前記画像処理手段は、前記第二の点検画像に含まれる撮影対象の中から前記第一の点検画像に含まれる撮影対象に適合する適合対象を抽出し、前記特定情報処理手段は、前記適合対象と適合した前記第一の点検画像に含まれる撮影対象の前記特定情報を、当該適合対象に対応付け、前記第二の点検画像から抽出された撮影対象の中に第二の劣化部分が含まれる場合、前記第一の点検画像から抽出された撮影対象に含まれる第一の劣化部分と前記第二の劣化部分を、それぞれの形状、色彩及び位置について比較することによって、前記第一の劣化部分が進行して前記第二の劣化部分になったものであるか否かを推定する推定処理が前記画像処理手段によって実行され、前記推定処理が肯定される場合には、前記画像処理手段が、前記第一の劣化部分に対する前記適合対象として前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、前記第一の劣化部分の前記特定情報として与えられていた位置情報を付与し、前記推定処理が否定される場合には、前記画像処理手段が、前記第一の点検画像に対して非適合対象であるとして前記第二の劣化部分を抽出し、前記特定情報処理手段が、抽出された前記第二の劣化部分の前記特定情報として、劣化部分と判別されていない他の撮影対象の前記特定情報として与えられていた位置情報に基づいて定めた位置情報を付与する、ことを特徴とする点検支援システムが提供される。