(57)【要約】【課題】構造物の変状の検知に要する時間の短縮と検知精度の向上とを実現する。【解決手段】変状検知システムは、構造物２０上で平行移動および回転移動が可能な全方位移動型ロボット１と、全方位移動型ロボット１に搭載され、構造物２０を撮影して３次元画像データを取得する３次元カメラ２と、３次元カメラ２で取得した３次元画像データを解析して構造物２０の変状を検知する変状検知部３とから構成される。全方位移動型ロボット１は、独立四輪型の構造であり、各車輪毎に旋回用モータと移動用モータとを有し、それぞれ独立して旋回、移動に割り振られている。【選択図】  図１
2016217801.tif 000002
【特許請求の範囲】
【請求項１】
構造物上で平行移動および回転移動が可能な全方位移動型ロボットと、
この全方位移動型ロボットに搭載され、前記構造物を撮影して３次元画像データを取得する３次元カメラと、
この３次元カメラで取得した３次元画像データを解析して前記構造物の変状を検知する変状検知手段とを備え、
前記全方位移動型ロボットは、独立四輪型の構造であり、各車輪毎に旋回用モータと移動用モータとを有し、それぞれ独立して旋回、移動に割り振られていることを特徴とする全方位移動型ロボットと３次元カメラシステムによる変状検知システム。
【請求項２】
請求項１記載の全方位移動型ロボットと３次元カメラシステムによる変状検知システムにおいて、
前記変状検知手段は、前記３次元画像データを解析して抽出した変状の候補の深さが所定の深さ閾値以上である場合、前記変状の候補を前記構造物に生じた変状であると判定することを特徴とする全方位移動型ロボットと３次元カメラシステムによる変状検知システム。
【請求項３】
請求項１または２記載の全方位移動型ロボットと３次元カメラシステムによる変状検知システムにおいて、
前記全方位移動型ロボットは、
さらに、前記３次元カメラで取得した３次元画像データを外部のデータ収集サーバへ送信する通信手段と、
全方位移動型ロボットの動きを制御する制御装置とを備え、
前記変状検知手段は、前記データ収集サーバに設けられることを特徴とする全方位移動型ロボットと３次元カメラシステムによる変状検知システム。
【請求項４】
請求項３記載の全方位移動型ロボットと３次元カメラシステムによる変状検知システムにおいて、
前記全方位移動型ロボットは、さらに、全方位移動型ロボットの位置データを取得するセンサを備え、
前記通信手段は、前記３次元画像データに加えて、前記センサが取得した位置データを前記データ収集サーバへ送信することを特徴とする全方位移動型ロボットと３次元カメラシステムによる変状検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空港滑走路、道路、橋梁、トンネル、ダム、ビルなどの構造物の亀裂や腐食等の変状を検知する変状検知システムに関するものである。
【背景技術】
【０００２】
画像を使用して構造物の変状を検知するシステムは多方面で検討され、実用化されてきている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５００５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のシステムでは、構造物を撮影した画像のデータが２次元データであるため、画像データから構造物の変状と汚れとを識別することは困難であり、変状か汚れかの最終的な判断は作業員が行うようにしていた。そのため、作業員の能力によりデータ処理に時間が掛かったり、変状の検知精度が作業員によりバラつくという問題点があった。
また、長大な対象構造物については、撮影する画像の枚数が多くなることと、撮影した画像を重ね合せて解析するため、撮影箇所を正確に移動させて画像を連続的に撮影する仕組みが必要であり、例えばオムニホイルを利用した全方位移動型ロボットや、車輪直上回転方式の全方位移動型ロボットにカメラを搭載することが考えられるが、オムニホイル型の場合は車輪のスリップが多く高精度の位置決めには不向きであり、車輪直情回転方式の場合は、スリップは少ないが、ステアリングを切る際に摩擦で車輪が振れやすいという問題点があった。
【０００５】
本発明は、上記課題を解決するためになされたもので、高精度な位置決めが可能な全方位移動型ロボットを利用し、３次元画像のパノラマ展開のための画像の重なりを小さくすることで、撮影時間の短縮、画像解析時間の短縮を実現すること、また、構造物の変状の検知精度の向上を実現することができ、構造物の変状の検知に要する時間の短縮と検知精度の向上とを実現することができ、作業員の目視確認作業の負担を軽減することができる変状検知システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の全方位移動型ロボットと３次元カメラシステムによる変状検知システムは、構造物上で平行移動および回転移動が可能な全方位移動型ロボットと、この全方位移動型ロボットに搭載され、前記構造物を撮影して３次元画像データを取得する３次元カメラと、この３次元カメラで取得した３次元画像データを解析して前記構造物の変状を検知する変状検知手段とを備え、前記全方位移動型ロボットは、独立四輪型の構造であり、各車輪毎に旋回用モータと移動用モータとを有し、それぞれ独立して旋回、移動に割り振られていることを特徴とするものである。
また、本発明の全方位移動型ロボットと３次元カメラシステムによる変状検知システムの１構成例において、前記変状検知手段は、前記３次元画像データを解析して抽出した変状の候補の深さが所定の深さ閾値以上である場合、前記変状の候補を前記構造物に生じた変状であると判定することを特徴とするものである。
また、本発明の全方位移動型ロボットと３次元カメラシステムによる変状検知システムの１構成例において、前記全方位移動型ロボットは、さらに、前記３次元カメラで取得した３次元画像データを外部のデータ収集サーバへ送信する通信手段と、全方位移動型ロボットの動きを制御する制御装置とを備え、前記変状検知手段は、前記データ収集サーバに設けられることを特徴とするものである。
また、本発明の全方位移動型ロボットと３次元カメラシステムによる変状検知システムの１構成例において、前記全方位移動型ロボットは、さらに、全方位移動型ロボットの位置データを取得するセンサを備え、前記通信手段は、前記３次元画像データに加えて、前記センサが取得した位置データを前記データ収集サーバへ送信することを特徴とするものである。
【発明の効果】
【０００７】
本発明によれば、構造物上で全方位移動型ロボットを移動させながら、構造物を３次元カメラで撮影し、取得した３次元画像データを基に構造物の亀裂や腐食などの変状を検知することができる。本発明では、構造物の３次元画像を高精度な位置決めにより画像のパノラマ展開に必要な重なりを極力少なくすることで撮影、画像処理に要する時間を短縮でき、２次元の画像では判別が困難な変状と汚れとを識別することが可能となり、変状の検知に要する時間の短縮と検知精度の向上とが可能となるので、作業員の目視確認作業の負担を軽減することができる。
【０００８】
また、本発明では、広域な構造物の３次元画像データを全方位移動型ロボットで収集し、全方位移動型ロボットからデータ収集サーバヘ３次元画像データを送信して、データ収集サーバで３次元画像データを解析して構造物の変状を検知することができる。その結果、本発明では、全自動で構造物の変状を検知することができる。
【０００９】
また、本発明では、３次元画像データだけでなく、全方位移動型ロボットの位置を計測することにより、３次元画像データと全方位移動型ロボットの位置とを関連付けることが可能となり、位置データをデータ収集サーバへ送信することにより、構造物における変状の位置データを収集することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る変状検知システムの構成を示す模式図である。
【図２】本発明の第１の実施の形態に係る変状検知システムの電気的な接続関係を示すブロック図である。
【図３】本発明の第１の実施の形態に係る変状検知システムの３次元カメラと変状検知部の動作を説明するフローチャートである。
【図４】本発明の第２の実施の形態に係る変状検知システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態に係る変状検知システムの構成を示す模式図、図２は図１の変状検知システムの電気的な接続関係を示すブロック図である。図１の２１は例えば空港滑走路などの構造物２０に生じた亀裂である。
【００１２】
本実施の形態の変状検知システムは、構造物２０上で平行移動および回転移動が可能な全方位移動型ロボット１と、全方位移動型ロボット１に搭載され、構造物２０を撮影して３次元画像データを取得する３次元カメラ２と、３次元カメラ２で取得した３次元画像データを解析して構造物２０の変状を検知する変状検知部３とから構成される。
【００１３】
全方位移動型ロボット１は、平行移動および回転移動を実現する台車部１０と、全方位移動型ロボット１に必要な電力を供給するバッテリ１１と、台車部１０を制御する制御装置１２と、３次元カメラ２を搭載するためのアーム１３とから構成される。なお、後述のように全方位移動型ロボット１は各種センサを搭載していてもよい。
【００１４】
以下、本実施の形態の変状検知システムの動作について説明する。全方位移動型ロボット１は、構造物２０上を平行移動および回転移動する。全方位移動型ロボット１の台車部１０は、独立四輪型の構造であり、各車輪毎に旋回用モータと移動用モータとを有し、それぞれ独立して旋回、移動に割り振られている。
【００１５】
制御装置１２は、例えば予め設定された制御プログラムに従って台車部１０の動きを制御する。このとき、制御装置１２は、後述のように全方位移動型ロボット１に搭載されたセンサが計測したデータに基づいて、全方位移動型ロボット１の位置や動き、全方位移動型ロボット１の周囲の物体等を検出して、台車部１０の動きを制御するようにしてもよい。
【００１６】
本実施の形態では、上記のように台車部１０の車輪毎に旋回用モータと移動用モータとが独立して旋回、移動に割り振られているため、指定された座標へ姿勢（方向）を変更することなく移動することが可能である。また、旋回時には旋回用モータを回転させ、移動時には移動用モータを回転させるだけで必要な車輪回転が得られ、旋回と移動を同時に実行する場合でも旋回用、移動用の各モータの回転速度を独立に制御することで正確な移動制御が可能であり、制御装置１２による各モータの速度計算が容易となる。
【００１７】
構造物２０の広域のクラック計測には、３次元カメラ２で取得した３次元画像データを画像処理して得られる構造物２０の２次元画像を、パノラマ展開する必要があるが、綺麗に並べて撮影しないと、非効率な撮影（重なりを大きめにとらなければならない等）となり時間がかかってしまう。最小限の重なりで画像を収集していくためには、高精度（ブレの少ない）に高速（目的位置に到達するまでの時間が短い）に移動できる移動装置が必要となる。本実施の形態の台車部１０によれば、目的位置に対して姿勢を変更することなしに移動できるため、重なりの少ない綺麗に並んだ画像を得ることが可能である（高速データ収集）。また、ステアリングを切る際に、ロボットの姿勢がブレにくい機構のため、その後の誤差修正プロセスを短時間で終えることができる（高速移動）。また、並進と旋回を組み合わせた移動が求められる場合でも、計算コストを少なくすることができる（高速計算）。
【００１８】
図３は３次元カメラ２と変状検知部３の動作を説明するフローチャートである。３次元カメラ２は、構造物２０を撮影して３次元画像データを取得する（図３ステップＳ１）。変状検知部３は、３次元カメラ２で取得した３次元画像データを画像処理して構造物２０の変状の候補を探索する（図３ステップＳ２）。この変状の候補の探索処理は、３次元画像データを画像処理して得られる構造物２０の２次元画像（構造物２０を上から見た画像）から変状の候補を抽出する処理であり、周知の技術であるので、詳細な説明は省略する。
【００１９】
変状検知部３は、構造物２０の変状の候補を発見したときに（図３ステップＳ３においてＹＥＳ）、この変状の候補の幅（構造物２０の表面と平行な方向の大きさのうち縦方向の大きさ）が所定の幅閾値未満で、かつ変状の候補の長さ（構造物２０の表面と平行な方向の大きさのうち横方向の大きさ）が所定の長さ閾値未満である場合（図３ステップＳ４においてＮＯ）、変状無しと判定する（図３ステップＳ５）。
【００２０】
また、変状検知部３は、変状の候補の幅が所定の幅閾値以上か、変状の候補の長さが所定の長さ閾値以上という２つの条件のうち少なくとも一方が成立する場合（ステップＳ４においてＹＥＳ）、３次元画像データを画像処理して得られる変状の候補の深さが所定の深さ閾値以上かどうかを判定する（図３ステップＳ６）。変状検知部３は、変状の候補の深さが所定の深さ閾値未満の場合（ステップＳ６においてＮＯ）、変状無しと判定する（ステップＳ５）。
【００２１】
また、変状検知部３は、変状の候補の深さが所定の深さ閾値以上の場合（ステップＳ６においてＹＥＳ）、変状の候補が構造物２０に生じた変状であると判定する（図６ステップＳ７）。
３次元カメラ２と変状検知部３とは、変状検知システムが動作している間は、図３に示した処理を継続して行う。なお、３次元カメラ２と３次元画像データの解析ソフトウェアの例としては、（株）セイコーウェーブ製の３Ｄ−ｓｃａｎｎｅｒがある（http://www.seikowave.jp/Doc/3DToolbox-RevJ6.pdf）。
【００２２】
こうして、本実施の形態では、構造物２０上で全方位移動型ロボット１を移動させながら、構造物２０を３次元カメラ２で撮影し、取得した３次元画像データを基に構造物２０の亀裂や腐食などの変状を検知することができる。本実施の形態では、３次元画像の深さ方向のデータを活用することで、２次元の画像では判別が困難な変状と汚れとを識別することが可能となり、変状の検知に要する時間の短縮と検知精度の向上とが可能となるので、作業員の目視確認作業の負担を軽減することができる。
【００２３】
なお、本実施の形態では、ステップＳ４において変状の候補の幅と長さを判定しているが、これに限るものではなく、変状の候補の面積を所定の面積閾値と比較してもよい。すなわち、変状検知部３は、変状の候補の面積が面積閾値未満の場合、変状無しと判定し（ステップＳ５）、変状の候補の面積が面積閾値以上の場合、ステップＳ６に進むようにしてもよい。
【００２４】
本実施の形態で説明した全方位移動型ロボット１の変状検知部３と制御装置１２の各々は、ＣＰＵ（Central Processing Unit）、メモリおよびインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。各々の装置のＣＰＵは、各々の装置のメモリに格納されたプログラムに従って本実施の形態で説明した処理を実行する。
【００２５】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。図４は本発明の第２の実施の形態に係る変状検知システムの構成を示すブロック図であり、図１、図２と同一の構成には同一の符号を付してある。本実施の形態は、第１の実施の形態の変形例であり、また第１の実施の形態をより具体的に説明する例である。
【００２６】
本実施の形態の全方位移動型ロボット１ａは、第１の実施の形態の全方位移動型ロボット１に、周囲の物体の情報やロボット１ａの情報などを取得するセンサ１４と、ロボット１ａの位置データを取得するＧＰＳ（Global Positioning System）センサ１５、又はトータルステーションの反射ミラー（不図示）と、外部と無線通信するための通信部１６とを追加したものである。また、本実施の形態では、全方位移動型ロボット１に設けていた変状検知部を外部に設けるようにしている。
【００２７】
全方位移動型ロボット１ａの制御装置１２は、センサ１４およびＧＰＳセンサ１５、又はトータルステーションが計測したデータを受信する。センサ１４の例としては、例えば全方位移動型ロボット１ａの移動方向や移動量、角度を計測するエンコーダ、あるいは周囲の物体との距離を計測する超音波センサやＰＳＤ（Position Sensitive Detector）センサなどがある。制御装置１２は、センサ１４およびＧＰＳセンサ１５が計測したデータに基づいて、全方位移動型ロボット１ａの位置や動き、全方位移動型ロボット１ａの周囲の物体等を検出して、台車部１０の動きを制御することになる。これにより、全方位移動型ロボット１ａは、構造物２０上を自走しながら、構造物２０を３次元カメラ２で撮影する。トータルステーションを用いる場合には、トータルステーションから放射されるレーザ光を全方位移動型ロボット１ａの反射ミラーで反射させて、反射した光をトータルステーションが受けることにより、全方位移動型ロボット１ａのトータルステーションからの距離、方位、迎角を計測して、計測したデータを無線通信で全方位移動型ロボット１ａの制御装置１２に送信することが可能である。また、必要に応じて、トータルステーションで誤差修正し、新たな目的地をトータルステーションから無線通信で制御装置１２に設定することも可能である。
【００２８】
制御装置１２は、第１の実施の形態で説明したとおり、予め設定された制御プログラムに従って台車部１０の動きを制御するが、必要に応じて作業員から指示される命令に従って台車部１０の動きを制御してもよい。また、３次元カメラ２を搭載するためのアーム１３に駆動機構（不図示）を設け、制御装置１２が、制御プログラムあるいは作業員からの命令に従って駆動機構を制御し、３次元カメラ２の位置や高さを変更できるようにしてもよい。
【００２９】
全方位移動型ロボット１ａの通信部１６は、３次元カメラ２が取得した３次元画像データとＧＰＳセンサ１５が取得した位置データとを、ネットワーク４を介して端末５およびデータ収集サーバ６へ送信する。
【００３０】
現場にいる作業員が所持している端末５は、全方位移動型ロボット１ａと無線通信するための通信部５０と、情報表示のための表示部５１と、作業員が情報を入力するための入力部５２と、端末全体を制御する制御部５３と、端末５に必要な電力を供給するバッテリ５４とから構成される。
【００３１】
制御部５３は、通信部５０を介して全方位移動型ロボット１ａからの３次元画像データと位置データとを受信すると、これらのデータを基に構造物２０の３次元画像と全方位移動型ロボット１ａの位置情報とを表示部５１に表示させる。こうして、現場にいる作業員は、全方位移動型ロボット１ａによる構造物２０の検査の状況を確認することができる。
【００３２】
また、作業員は、入力部５２を操作して、全方位移動型ロボット１ａに対する命令を入力することも可能である。制御部５３は、入力部５２を介して作業員から受け取った命令を通信部５０に渡す。通信部５０は、制御部５３から受け取った命令を、ネットワーク４を介して全方位移動型ロボット１ａへ送信する。
【００３３】
全方位移動型ロボット１ａの制御装置１２は、通信部１６を介して端末５からの命令を受信すると、この命令に従って台車部１０の動きを制御したり、３次元カメラ２の位置や高さを制御したりする。
【００３４】
次に、データ収集サーバ６は、全方位移動型ロボット１ａと無線通信するための通信部６０と、全方位移動型ロボット１ａから送信されたデータを格納するための記憶部６１と、変状検知部６２と、情報表示のための表示部６３と、データ収集サーバ全体を制御する制御部６４とから構成される。
【００３５】
全方位移動型ロボット１ａから送信された３次元画像データと位置データとは、通信部６０で受信され記憶部６１に格納される。このとき、同時に受信した３次元画像データと位置データとは関連付けて格納される。
記憶部６１に格納された３次元画像データに対する変状検知部６２の処理は、第１の実施の形態の変状検知部３の処理と同じであるので、説明は省略する。
【００３６】
制御部６４は、記憶部６１に格納された３次元画像データを基に構造物２０の３次元画像を表示部６３に表示させると共に、記憶部６１に格納された位置データを基に全方位移動型ロボット１ａの位置情報を表示部６３に表示させ、さらに変状検知部６２の変状検知結果を表示部６３に表示させる。こうして、現場から離れた場所にいる作業員は、全方位移動型ロボット１ａによる構造物２０の検査の状況を確認することができる。なお、制御部６４は、変状検知結果と位置情報とを図示しない空港設備の維持管理システムに通知するようにしてもよい。
【００３７】
本実施の形態では、広域な構造物２０の３次元画像データを全方位移動型ロボット１ａで収集し、ネットワーク４を介して全方位移動型ロボット１ａからデータ収集サーバ６ヘ送信して、データ収集サーバ６で３次元画像データを解析して構造物２０の変状を検知することができる。本実施の形態では、全方位移動型ロボット１ａが自走して３次元画像データを収集するため、全自動で構造物２０の変状を検知することができる。
【００３８】
また、本実施の形態では、３次元画像データだけでなく、全方位移動型ロボット１ａの位置を計測することにより、３次元画像データと全方位移動型ロボット１ａの位置とを関連付けることが可能となり、位置データをデータ収集サーバ６へ送信することにより、構造物２０における変状の位置データを収集することが可能になる。
なお、本実施の形態では、構造物の例として空港滑走路を挙げているが、道路、橋梁、トンネル、ダム、ビルなどの構造物に本発明を適用してもよい。
【００３９】
本実施の形態で説明した制御装置１２と端末５とデータ収集サーバ６の各々は、ＣＰＵ、メモリおよびインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。各々の装置のＣＰＵは、各々の装置のメモリに格納されたプログラムに従って本実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００４０】
本発明は、構造物の亀裂や腐食等の変状を検知する技術に適用することができる。
【符号の説明】
【００４１】
１，１ａ…全方位移動型ロボット、２…３次元カメラ、３，６２…変状検知部、４…ネットワーク、５…端末、６…データ収集サーバ、１０…台車部、１１，５４…バッテリ、１２…制御装置、１３…アーム、１４…センサ、１５…ＧＰＳセンサ、１６，５０，６０…通信部、２０…構造物、２１…亀裂、５１，６３…表示部、５２…入力部、５３，６４…制御部、６１…記憶部。
【図１】
2016217801.tif 000003
【図２】
2016217801.tif 000004
【図３】
2016217801.tif 000005
【図４】
2016217801.tif 000006