(57)【要約】【課題】管内走行装置を配管内で走行させて配管の内部を検査する際に、配管の内部の管壁面を歪みの少ない鮮明な画像で撮像することのできる管内走行装置を提供する。【解決手段】管内走行装置１は、管内走行装置１の前方の領域を撮像する第１の撮像ユニット１３と、管内走行装置１の側方の管壁面を撮像する第２の撮像ユニット１６と、管内走行装置１が配管内部を進行中に第１の撮像ユニット１３で撮像した画像を取得する第１の画像取得部５２と、第１の画像取得部５２で取得した画像に基づいて配管の継ぎ目を検出する継ぎ目検出部５３と、継ぎ目検出部５３で検出した継ぎ目に対する第２の撮像ユニット１６の姿勢を制御する姿勢制御部５４と、姿勢制御部５４によって制御された姿勢で第２の撮像ユニット１６による管壁面の撮像を開始し、継ぎ目を含む管壁面の画像を配管の周方向に渡って取得する第２の画像取得部５５とを備える。【選択図】図２
2019138755.tif 000002
【特許請求の範囲】
【請求項１】
配管の内部を走行する管内走行装置であって、
前記配管の内部の前記管内走行装置の前方の領域を撮像するための第１の撮像ユニットと、
前記配管の内部の前記管内走行装置の側方の管壁面を撮像するための第２の撮像ユニットと、
前記管内走行装置が前記配管の内部を進行中に、前記第１の撮像ユニットで撮像した画像を取得する第１の画像取得部と、
前記第１の画像取得部で取得した画像に基づいて前記配管の継ぎ目を検出する継ぎ目検出部と、
前記継ぎ目検出部で検出した前記継ぎ目に対する前記第２の撮像ユニットの姿勢を制御する姿勢制御部と、
前記姿勢制御部によって制御された姿勢で前記第２の撮像ユニットによる前記管壁面の撮像を開始し、前記継ぎ目を含む前記管壁面の画像を前記配管の周方向に渡って取得する第２の画像取得部と、
を備えることを特徴とする管内走行装置。
【請求項２】
前記継ぎ目検出部は、前記第１の画像取得部で取得した画像から多層ニューラルネットワークの深層学習によって前記配管の前記継ぎ目を検出する
ことを特徴とする請求項１に記載の管内走行装置。
【請求項３】
前記姿勢制御部は、前記管壁面と前記第２の撮像ユニットとが正対するように前記管内走行装置の姿勢を制御する
ことを特徴とする請求項１に記載の管内走行装置。
【請求項４】
前記姿勢制御部は、前記管内走行装置の前進方向に沿った前記第２の撮像ユニットの両側における前記管壁面との距離の差に基づいて、前記管内走行装置の姿勢を制御する
ことを特徴とする請求項３に記載の管内走行装置。
【請求項５】
前記姿勢制御部は、前記第２の撮像ユニットで撮像した画像の輝度分布に基づいて、前記管内走行装置の姿勢を制御する
ことを特徴とする請求項３に記載の管内走行装置。
【請求項６】
前記第２の撮像ユニットは、前記管内走行装置の側部に固定して設けられ、
前記第２の画像取得部は、前記管内走行装置を前記配管の内部で円周方向に回転させることにより、前記継ぎ目を含む前記管壁面の画像を前記配管の周方向に渡って取得する
ことを特徴とする請求項１に記載の管内走行装置。
【請求項７】
前記第２の撮像ユニットは、前記配管の円周方向に回転可能に設けられ、
前記第２の画像取得部は、前記第２の撮像ユニットを回転させることにより、前記継ぎ目を含む前記管壁面の画像を前記配管の周方向に渡って取得する
ことを特徴とする請求項１に記載の管内走行装置。
【請求項８】
前記第２の撮像ユニットは、前記管内走行装置の複数箇所に前記配管の円周方向に沿って設けられ、
前記第２の画像取得部は、前記複数個所の第２の撮像ユニットにより、前記継ぎ目を含む前記管壁面の画像を前記配管の周方向に渡って取得する
ことを特徴とする請求項１に記載の管内走行装置。
【請求項９】
前記第２の画像取得部は、前記配管の周方向に渡って前記継ぎ目を含む前記管壁面の複数枚の画像を互いにオーバーラップさせて取得し、各画像間の位置を合わせて１枚の展開合成画像を生成可能とする
ことを特徴とする請求項１に記載の管内走行装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば水道管やガス管等の配管の内部を走行する管内走行装置に関するものである。
【背景技術】
【０００２】
近年、水道管やガス管等の中空の管状部材（以下、配管という）の敷設状態を調査したり、当該配管の内部状態を観察し検査するための装置として、配管内部を走行する管内走行装置が開発されている。
【０００３】
管内走行装置は、配管の内部を状況に応じて自在に走行し得るように外部制御装置からの駆動制御を受けたり、若しくは自身に内蔵される制御装置によって自律的に配管の内部を走行することができる。
【０００４】
このような管内走行装置によって配管内の検査を行う場合、通常、管内走行装置にカメラを搭載し、カメラで撮像した配管内部の画像を用いる。従って、管内走行装置が配管内を走行中に撮像した多数の画像を用いて効率的且つ高精度の検査を可能とするためには、検査に適した画像を取得することが望まれる。
【０００５】
例えば、特許文献１（特許第４５１５７８７号公報）には、管渠内壁面を撮影したビデオデータに基づいて管渠の展開図を作成し、この展開図を利用して３次元データを求める技術が開示されている。
【０００６】
特許文献１の技術では、管渠の壁面を、全方位センサーを主体とするビデオカメラにて撮影した３次元データの抽出点を含む側方画と前方画を得て、側方画を展開した展開画と前方画を展開した展開画とのそれぞれの同一特徴点の対応付けを行ない、対応付けされた同一特徴点の位置ズレから３次元データを計算している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４５１５７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般に、管と管との溶接部、フランジ式やねじこみ式の継手部、差し込み接着式の継手部等の配管の継ぎ目には、微細な傷や劣化等の欠陥が発生し易い。従って、配管内を走行する管内走行装置を用いて配管の継ぎ目を検査する場合には、歪みの少ない鮮明な画像を取得することが必要となる。
【０００９】
これに対して、特許文献１に開示の技術は、前方を向いた主反射鏡と、この主反射鏡から所定距離をおいて後方を向いた副反射鏡とからなる全方位センサーを用いて、ビデオカメラの光軸に対して最大撮影角が１１５度程度から最小撮影角が３０度程度までを可視範囲としており、１回の走行で管渠の側方画のみならず３０〜７０度程度の範囲内の傾斜した画角の前方画も同時に取り込むようにしている。
【００１０】
このため、特許文献１の技術では、配管の継ぎ目を検査しようとする場合、配管の継ぎ目に発生する微細な傷や劣化等が歪んで撮像される可能性が高く、配管の継ぎ目に生じる傷を見落としたり、劣化の程度を正しく判断できない虞がある。
【００１１】
本発明は上記事情に鑑みてなされたもので、管内走行装置を配管内で走行させて配管の内部を検査する際に、配管の内部の管壁面を歪みの少ない鮮明な画像で撮像することのできる管内走行装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の一態様による管内走行装置は、配管の内部を走行する管内走行装置であって、前記配管の内部の前記管内走行装置の前方の領域を撮像するための第１の撮像ユニットと、前記配管の内部の前記管内走行装置の側方の管壁面を撮像するための第２の撮像ユニットと、前記管内走行装置が前記配管の内部を進行中に、前記第１の撮像ユニットで撮像した画像を取得する第１の画像取得部と、前記第１の画像取得部で取得した画像に基づいて前記配管の継ぎ目を検出する継ぎ目検出部と、前記継ぎ目検出部で検出した前記継ぎ目に対する前記第２の撮像ユニットの姿勢を制御する姿勢制御部と、前記姿勢制御部によって制御された姿勢で前記第２の撮像ユニットによる前記管壁面の撮像を開始し、前記継ぎ目を含む前記管壁面の画像を前記配管の周方向に渡って取得する第２の画像取得部と、を備える。
【発明の効果】
【００１３】
本発明によれば、管内走行装置を配管内で走行させて配管の内部を検査する際に、配管の内部の管壁面を歪みの少ない鮮明な画像で撮像することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の管内走行装置を示す説明図
【図２】管内走行装置の制御系を示すブロック図
【図３】配管内検査処理を示すフローチャート
【図４】継ぎ目検出処理を示すフローチャート
【図５】配管内における管内走行装置の各位置での画像を示す説明図
【図６】配管の継ぎ目の検出結果を示す説明図
【図７】管内走行装置の目標位置への移動を示す説明図
【図８】画像情報による目標位置への移動を示す説明図
【図９】管内走行装置のヨー角方向の姿勢制御を示す説明図
【図１０】管内走行装置のヨー角方向のズレを検出する方法を示す説明図
【図１１】管内走行装置のヨー角方向のズレを検出する他の方法を示す説明図
【図１２】管内走行装置のピッチ角方向の姿勢制御を示す説明図
【図１３】管内走行装置の各回転位置での管壁面の画像を示す説明図
【図１４】展開合成画像の生成を示す説明図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。従って、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
【００１６】
図１に示す管内走行装置１は、例えば水道管やガス管等の配管１００の内部を走行することにより、配管１００の敷設状態を調査したり、配管１００の内部状態を観察し検査するための装置である。
【００１７】
本実施形態においては、管内走行装置１は、配管１００の内部を自律的に走行する構成を例に取って説明するが、図示しない外部装置とケーブルを介して接続され、外部装置との間で各種信号を送受信しながら配管内を走行するものであっても良い。
【００１８】
このため、本実施形態の管内走行装置１は、本体部１０に複数の車輪１１を備えており、これらの複数の車輪１１が配管１００の内部の管壁面に所定の付勢力で押圧された状態で走行する。本実施形態においては、本体部１０の互いに対向する部位に２個ずつ、計４個の車輪１１が同一平面内に含まれるように配置されている。
【００１９】
ここで、管内走行装置１の進行方向を、図１において矢印Ｆで示すとき、本体部１０の進行方向Ｆに沿う前寄りの端部を、「前端部」というものとする。また、進行方向Ｆに沿う方向において、本体部１０の「前端部」とは反対側の端部を「後端部」というものとする。そして、本体部１０の進行方向Ｆに沿う方向に対して側方を「側部」というものとする。
【００２０】
本実施形態においては、管内走行装置１は、４個の車輪１１として、本体部１０の前端部側の両側部に設けられた一対の車輪１１Ｆと、本体部１０の後端部側の両側部に設けられた一対の車輪１１Ｒとを有している。
【００２１】
本体部１０の前端部側の一対の車輪１１Ｆは、モータ等からの駆動力を受ける走行及び操舵輪として設けられ、本体部１０の後端部側の一対の車輪１１Ｒは、駆動力を受けずに回転する従動輪として設けられている。
【００２２】
すなわち、車輪１１Ｆは、回転中心となる回転軸１１ａ周りの矢印Ｒ１方向に走行用モータ２０（図２参照）によって正逆回転され、管内走行装置１を配管１００の長手軸方向（進行方向Ｆに沿う方向）に適宜所定のタイミングで進退移動させることができる。
【００２３】
また、車輪１１Ｆは、ストローク軸１１ｂ周りの矢印Ｒ２方向に操舵用モータ２１（図２参照）によって正逆回転され、配管１００内を進退走行中の管内走行装置１の操舵を行うと共に、管内走行装置１を配管１００の周方向に沿って適宜所定のタイミングで移動させることができる。
【００２４】
更に、車輪１１Ｆ，１１Ｒは、ストローク軸１１ｂの方向に進退自在に支持され、管壁面の方向に進退移動させることができる。この車輪１１Ｆ，１１Ｒの管壁面方向への進退移動は、例えば空気圧シリンダやリニアソレノイド等の車輪ストローク用アクチュエータ２２（図２参照）によって行われ、車輪１１Ｆ，１１Ｒが配管１００の内部の管壁面に所定の付勢力で押圧される。
【００２５】
後述するように、車輪ストローク用アクチュエータ２２により、車輪１１Ｆ，１１Ｒのストローク軸１１ｂ方向の進退量が調整され、配管１００内における管内走行装置１の姿勢（ピッチ角）が制御される。
【００２６】
また、管内走行装置１は、配管内の管内走行装置１の前方を観察するための第１の観察部１２と、配管内の管内走行装置１の側方を観察するための第２の観察部１５とを備えている。
【００２７】
第１の観察部１２は、本体部１０の前端部に設けられ、管内走行装置１の前方の配管内の領域を撮像するための第１の撮像ユニット１３と、本体部１０から前方に向けて照明光を照射するための第１の照明ユニット１４を有している。
【００２８】
また、第２の観察部１５は、本体部１０の側部に固定して設けられている。第２の観察部１５は、管内走行装置１の側方の管壁面を撮像するための第２の撮像ユニット１６と、本体部１０から側方に向けて照明光を照射するための第２の照明ユニット１７を有している。
【００２９】
第１の撮像ユニット１３と第２の撮像ユニット１６は、それぞれ、図示を省略するが被写体の光学像（被写体像）を結像させる複数の対物光学レンズ群と、対物光学レンズ群が形成する光学像を電子的な画像信号に変換する撮像素子と、撮像素子を駆動する撮像駆動回路や当該撮像素子から出力される画像信号に対して種々の画像処理を行う画像処理回路とを有する構成ユニットである。
【００３０】
これらの第１，第２の撮像ユニット１３，１６自体の構成は、従来一般的に実用化されている形態の撮像装置等に適用される撮像ユニットと同様であり、その詳細な図示及び説明は省略する。第１の撮像ユニット１３と第２の撮像ユニット１６は、同様のユニットを用いても良いが、第２の撮像ユニット１６は、第１の撮像ユニット１３と比較して、相対的に画角が狭くなっても解像度を高くすることが望ましい。
【００３１】
第１の照明ユニット１４と第２の照明ユニット１７は、それぞれ、例えばＬＥＤ（light emitting diode:発光ダイオード）等の発光源と、この発光源を駆動する照明駆動回路等を有する構成ユニットであり、一般的な照明ユニットの構成と同様である。従って、その詳細な図示及び説明は省略する。
【００３２】
尚、第１，第２の照明ユニット１４，１７は、必ずしも第１，第２の観察部１２，１５に含めることなく、別の個所に配置して被写体に照明光を照射するようにしても良い。
【００３３】
また、本実施形態においては、第２の撮像ユニット１６を有する第２の観察部１５は、本体部１０の側部の１箇所に固定される構成としている。このため、後述するように、第２の撮像ユニット１６で管壁面の画像を周方向に渡って撮像するためには、本体部１０を管内で周方向に回転させる必要がある。
【００３４】
しかしながら、これに限定されることなく、第２の撮像ユニット１６自体を、図１中に破線の矢印Ｒ３で示すように本体部１０の軸周りに回転可能な構成として、本体部１０を回転させないようにしても良い。
【００３５】
第２の撮像ユニット１６自体を回転可能な構成とする場合、第２の撮像ユニット１６は、本体部１０の側部のみならず、本体部１０の前端部側の第１の撮像ユニット１３と干渉しない部位、或いは本体部１０の後端部側に設けるようにしても良い。
【００３６】
更に、第２の撮像ユニット１６を、本体部１０の側部の複数箇所に周方向に配設するように構成し、本体部１０を回転させることなく配管内の周方向の複数の画像を得るようにしても良い。
【００３７】
次に、管内走行装置１の制御系について説明する。図２に示すように、管内走行装置１の制御系においては、主として制御装置５０により、第１の観察部１２（第１の撮像ユニット１３及び第１の照明ユニット１４）、第２の観察部１５（第２の撮像ユニット１６及び第２の照明ユニット１７）、車輪１１Ｆを回転駆動する走行用モータ２０、車輪１１Ｆを操舵駆動する操舵用モータ２１、車輪１１Ｆ，１１Ｒのストローク軸１１ｂ方向の進退量を可変する車輪ストローク用アクチュエータ２２が制御される。
【００３８】
尚、制御装置５０は、本実施形態においては本体部１０に内蔵されているものとするが、管内走行装置１の外部に別途設けるようにしても良い。また、図２では、本発明に関わる主要となる構成部のみを図示し、その他の本発明に関連しない部分の図示は省略している。
【００３９】
また、本実施形態においては、２つの車輪１１Ｆは、１つの走行用モータ２０で車輪毎に個別に駆動される構成としているが、各車輪に駆動力を分割して伝達する構成としても良い。また、車輪１１Ｒは、駆動力を受けずに回転する従動輪とせず、車輪１１Ｆ，１１Ｒの全輪が個別に駆動される構成としても良い。更に、車輪１１Ｆ，１１Ｒの全輪が操舵される構成としても良い。
【００４０】
制御装置５０は、ＣＰＵ，ＲＯＭ，ＲＡＭを有する単一のコンピュータ或いは複数のコンピュータをネットワーク接続したコンピュータシステムを中心として、その他、入出力インターフェース回路、駆動回路、電源回路等を備えて構成されている。制御装置５０はコンピュータシステムに限らず、ＦＰＧＡやＡＳＩＣ等のハードウエアで構成されても良い。
【００４１】
この制御装置５０によって制御される管内走行装置１は、配管内を第１の撮像ユニット１３及び第２の撮像ユニット１６で撮像し、傷等の欠陥が発生し易い配管の継ぎ目、例えば、管と管との溶接部、フランジ式やねじこみ式の継手部、差し込み接着式の継手部等を、検査対象としてデータを収集する。
【００４２】
この配管の継ぎ目の検査においては、制御装置５０は、第１の撮像ユニット１３によって撮像した進行方向の画像から溶接部や継手部等の配管の継ぎ目を検出し、検出した継ぎ目に対する第２の撮像ユニット１６の撮像時の姿勢を制御しながら、継ぎ目を含む配壁面の画像を周方向に渡って取得する。
【００４３】
このため、制御装置５０は、主機能部として、駆動制御部５１、第１の画像取得部５２、継ぎ目検出部５３、姿勢制御部５４、第２の画像取得部５５を有している。以下、各機能部の詳細について説明する。
【００４４】
駆動制御部５１は、車輪ストローク用アクチュエータ２２を駆動して車輪１１Ｆ，１１Ｒをストローク軸１１ｂの方向に突出させ、車輪１１Ｆ，１１Ｒを所定の付勢力で配管１００の管壁面に押圧する。そして、駆動制御部５１は、車輪１１Ｆ，１１Ｒを配管１００の管壁面に押圧した状態で走行用モータ２０を駆動し、車輪１１Ｆを回転させて管内走行装置１を管路の長手軸方向に沿って走行させる。
【００４５】
また、駆動制御部５１は、必要に応じて操舵用モータ２１を駆動し、車輪１１Ｆをストローク軸１１ｂ周りの矢印Ｒ２方向に回転させる。これにより、進行方向に対して所定の角度で折れ曲がる曲折部等を管内走行装置１がスムースに通過することができ、また、管内走行装置１の管内における周方向の姿勢を制御することができる。
【００４６】
第１の画像取得部５２は、管内走行装置１が配管１００内を走行中に、第１の撮像ユニット１３により管内走行装置１の前方の管内の領域を撮像した画像を取得する。すなわち、第１の画像取得部５２は、第１の照明ユニット１４によって管内走行装置１の前方を照明しながら第１の撮像ユニット１３によって前方の所定領域を撮像し、管内走行装置１が管内を走行中の前方の画像（ライブビュー画像）を取得する。
【００４７】
継ぎ目検出部５３は、第１の撮像ユニット１３で撮像した前方領域のライブビュー画像を解析して配管の溶接部や継手部等の継ぎ目を検出する。本実施形態においては、継ぎ目検出部５３は、機械学習による画像認識やパターンマッチング等により、配管内を撮像した画像から継ぎ目を検出する。
【００４８】
例えば、継ぎ目検出部５３は、多層ニューラルネットワークを用いた教師付きの深層学習（ディープラーニング）によって特徴量を抽出し、配管の継ぎ目の有無を判定する。ネットワークモデルとしては、全結合していない順伝播型ニューラルネットワークの一種である畳み込みニューラルネットワークを用い、この畳み込みニューラルネットワークを用いた学習処理により、配管の継ぎ目の位置、サイズ、検出結果の信頼度等のデータを取得する。
【００４９】
姿勢制御部５４は、継ぎ目検出部５３によって配管の継ぎ目が検出された場合、駆動制御部５１に指示して、管内走行装置１を目標位置に移動させる。目標位置は、第２の撮像ユニット１６の撮像に好適な位置であり、後述するように、配管内の管内走行装置１の位置や第２の撮像ユニット１６の画像データ等から決定することができる。
【００５０】
そして、管内走行装置１が目標位置に移動したとき、姿勢制御部５４は、歪みの少ない鮮明な継ぎ目の画像を得るため、第２の撮像ユニット１６と撮像対象の管壁面とが正対するように管内走行装置１の姿勢を制御する。管内走行装置１の姿勢制御は、本実施形態においては、以下に説明するヨー角及びピッチ角の制御となる。
【００５１】
一般に、管と管とを接合する継ぎ目は、配管の長手軸方向（管内走行装置１の進行方向Ｆに沿った方向）に直交する断面に設けられる。以下では、便宜上、配管の継ぎ目における長手軸方向に直交する断面を、「接合平面」と記載し、第２の撮像ユニット１６と撮像対象の管壁面（曲面）とが正対するとは、配管の接合平面と第２の撮像ユニット１６の撮像面とが略直交することを意味するものとして説明する。
【００５２】
管内走行装置１の姿勢制御は、配管の接合平面と第２の撮像ユニット１６の撮像面とが直交する状態からのズレの角度を「ヨー角」として、このヨー角を修正する制御を主として実行される。ヨー角の制御は、直管の場合、配管の長手軸方向に対して第２の撮像ユニット１６の撮像光学系の光軸が略直交するように管内走行装置１の向きを修正する制御といえる。
【００５３】
更に、本実施形態においては、姿勢制御部５４は、配管の接合平面と第２の撮像ユニット１６の撮像面の垂直走査方向とが平行となる状態からのズレの角度を「ピッチ角」として、このピッチ角を修正する制御を加える。これは、本実施形態では、管内走行装置１を周方向に回転させて配管の継ぎ目を含む画像を周方向に渡って取得するためであり、条件によっては、ピッチ角の制御は省略することが可能である。
【００５４】
第２の画像取得部５５は、姿勢制御部５４によって管内走行装置１の姿勢が制御され、第２の撮像ユニット１６が配管の継ぎ目に正対する姿勢となったとき、第２の撮像ユニット１６による管壁面の撮像を開始する。
【００５５】
そして、第２の画像取得部５５は、駆動制御部５１に指示して管内走行装置１を進行方向に沿った長手軸周りに回転させながら第２の撮像ユニット１６によって管壁面を撮像し、管の継ぎ目を含む画像を配管の周方向に渡って取得する。
【００５６】
次に、以上の管内走行装置１による配管内の検査について、図３及び図４のフローチャートを用いて説明する。図３のフローチャートは、制御装置５０で実行される配管内検査処理を示し、図４のフローチャートは、図３の配管内検査処理における継ぎ目検出処理を示している。
【００５７】
図３の配管内検査処理は、使用者（ユーザ）が検査対象とする配管の内部に管内走行装置１を配置した後に実行される。この処理では、最初のステップＳ１において、制御装置５０は、駆動制御部５１を介して、車輪ストローク用アクチュエータ２２を駆動して車輪１１Ｆ，１１Ｒを配管１００の管壁面に所定の付勢力で接触させ、その状態で走行用モータ２０を駆動して車輪１１Ｆを回転軸１１ａ周りに回転させる。これにより、管内走行装置１が管路の長手軸方向に沿って管内を走行移動する。
【００５８】
次に、ステップＳ２へ進み、制御装置５０は、第１の画像取得部５２を介して、管内走行装置１が管内を走行中の前方領域のライブビュー画像を取得する。具体的には、図５に示すように、管内走行装置１が配管１００内を位置Ｐ１から位置Ｐ２に向かって進行中に、第１の画像取得部５２は、第１の照明ユニット１４を駆動して進行方向を照明しながら第１の撮像ユニット１３を駆動して管内の前方領域を撮像し、走行中のライブビュー画像Ｇ１，Ｇ２を取得する。
【００５９】
続く、ステップＳ３では、制御装置５０の継ぎ目検出部５３は、管内のライブビュー画像を解析して配管の継ぎ目が存在するか否かを判定し、継ぎ目を検出する。図５においては、Ｐ１の位置では画像Ｇ１から配管の継ぎ目ＪＴは検出されず、Ｐ２の位置で画像Ｇ２から継ぎ目ＪＴが検出される例を示している。
【００６０】
配管の継ぎ目の検出は、詳細には、図４の継ぎ目検出処理によって実行される。ここで、図４の継ぎ目検出処理について説明する。図４は、畳み込みニューラルネットワークを用いた継ぎ目検出処理の例を示している。
【００６１】
継ぎ目検出部５３は、最初のステップＳ１１で管内走行装置１の進行方向のライブビュー画像のデータを読み込む。次にステップＳ１２へ進み、予め教師付き学習によって生成された学習データのデータセットを読み込む。
【００６２】
その後、ステップＳ１２からステップＳ１３へ進み、学習データを畳み込みニューラルネットワークに読み込ませて推論演算を行い、配管内のライブビュー画像から継ぎ目の特徴量を抽出して継ぎ目の有無を認識する処理を行う。そして、ステップＳ１４で畳み込みニューラルネットワークによる認識処理で得られたデータを出力する。
【００６３】
例えば、図６に示すように、畳み込みニューラルネットワークを用いた画像認識処理によってライブビュー画像Ｇ２の領域ＧＡ内に配管の継ぎ目ＪＴが検出された場合、継ぎ目検出部５３は、検出サイズ（領域ＧＡの幅、高さ）、検出位置Ｊｃ（領域ＧＡの中心座標）、検出の信頼度（検出結果の確からしさ）等のデータを出力する。
【００６４】
図４の継ぎ目検出処理で出力されたデータは、図３の配管内検査処理で参照される。継ぎ目検出部５３は、配管内検査処理のステップＳ４において、継ぎ目検出処理で出力されたデータから配管の継ぎ目の有無を判断する。
【００６５】
継ぎ目無しの場合、制御装置５０は、画像の記録は不要と判断し、ステップＳ４からステップＳ８へジャンプする。ステップＳ８では、制御装置５０は、検査範囲の終端位置まで到達して検査を終了するか否かを判断し、検査範囲の終端位置まで到達していない場合、ステップＳ８からステップＳ１へ戻って管内の走行移動を継続し、検査範囲の終端位置まで到達した場合、検査を終了する。
【００６６】
一方、ステップＳ４において、例えば図５の位置Ｐ２で取得した画像Ｇ２から継ぎ目ＪＴが検出された場合、ステップＳ４からステップＳ５へ進む。ステップＳ５では、駆動制御部５１は、図７に示すように、管内走行装置１を配管１００の継ぎ目ＪＴの近傍の目標位置Ｐ３まで移動させる。
【００６７】
目標位置Ｐ３は、第２の撮像ユニット１６の撮像に好適な位置であり、第１の撮像ユニット１３によって撮像した配管１００内の管壁面の画像データ、及び継ぎ目のサイズや位置のデータを用いて推定することができる。
【００６８】
例えば、継ぎ目ＪＴの位置が直管部にある場合、配管径のサイズ、第１の撮像ユニット１３の画角、継ぎ目ＪＴのサイズから、継ぎ目ＪＴまでの距離を推定することができ、推定した距離情報に基づいて管内走行装置１を目標位置Ｐ３まで移動させる。
【００６９】
また、図８に示すように、第２の撮像ユニット１６によって撮像した管壁面の画像ＧＨの情報によって継ぎ目ＪＴの位置を確認しながら、管内走行装置１を前方に移動させ、継ぎ目ＪＴが画像ＧＨの中心付近となった位置を目標位置Ｐ３として管内走行装置１を停止させるようにしても良い。更に、敷設配管図面と管内走行装置１の自己位置との関係等に基づいて、目標位置Ｐ３を推定するようにしても良い。
【００７０】
その後、管内走行装置１が目標位置Ｐに移動すると、ステップＳ５からステップＳ６へ進み、制御装置５０は、第２の撮像ユニット１６の撮像時の姿勢が継ぎ目ＪＴに正対する姿勢となるように、姿勢制御部５４を介して管内走行装置１の姿勢を制御する。本実施形態においては、姿勢制御部５４は、管内走行装置１の姿勢制御として、ヨー角の制御とピッチ角の制御を実行する。
【００７１】
姿勢制御部５４は、管内走行装置１のヨー角の制御として、駆動制御部５１を介して操舵用モータ２１及び走行用モータ２０を駆動し、車輪１１Ｆの向きを変えながら管内走行装置１を進退させる。
【００７２】
これにより、図９に示すように、管内走行装置１が矢印Ｒｙの方向に回転して配管１００の長軸方向に対する管内走行装置１の向きが変更され、第２の撮像ユニット１６の撮像面が配管１００の接合平面に略直交するようにヨー角方向のズレが修正される。
【００７３】
管内走行装置１のヨー角方向のズレは、図１０に示すように、管内走行装置１の側部に、第２の撮像ユニット１６を挟んで２つの測距センサ１８，１９を配設し、これらの測距センサ１８，１９を用いて検出することができる。
【００７４】
測距センサ１８，１９は、管内走行装置１の前進方向に沿った第２の撮像ユニット１６の両側における管壁面との距離を測定するものであり、測距センサ１８，１９で測定した距離の差に基づいて、管内走行装置１のヨー角方向の姿勢を制御する。
【００７５】
すなわち、配管１００の継ぎ目ＪＴの接合平面に対して管内走行装置１のヨー角がズレている場合（ヨー角が０でない場合）には、測距センサ１８，１９から管壁面までの距離が異なるため、測距センサ１８，１９の出力比は１．０にならない。従って、測距センサ１８，１９の出力比が１．０相当になるように管内走行装置１の向きを調整することにより、ヨー角のズレを修正することができる。
【００７６】
また、管内走行装置１のヨー角方向のズレは、第２の撮像ユニット１６で撮像した管壁面の画像を利用して検出することもできる。管壁面の画像を利用する場合、画像中の照明の配光による輝度分布の関係からヨー角のズレを検出する。
【００７７】
すなわち、図１１に示すように、管内走行装置１のヨー角がズレている状態で撮像した管壁面の画像Ｇ３は、継ぎ目ＪＴを挟んで水平走査方向に、管壁面に近い側の輝度値が大きくなる一方、管壁面から遠い側の輝度値が相対的に小さくなる。例えば、図１０の姿勢で管壁面を第２の撮像ユニット１６によって撮像した場合、測距センサ１９の側が測距センサ１８の側よりも管壁面に近いため、画像Ｇ３の輝度分布は、図１１中で右にいくほど明るくなる。従って、画像Ｇ３の水平走査方向の輝度分布が画面全体で一定となるように管内走行装置１の向きを調整することにより、ヨー角のズレを修正することができる。
【００７８】
更に、姿勢制御部５４は、管内走行装置１のピッチ角を、第２の撮像ユニット１６で撮像した管壁面の画像中の継ぎ目の傾きに基づいて修正する。図１２に示すように、配管１００の長手軸に対して管内走行装置１が傾いている場合、第２の撮像ユニット１６の撮像画像Ｇ４ｒには、配管１００の継ぎ目ＪＴが垂直走査線に対して傾いた状態で映し出される。
【００７９】
従って、姿勢制御部５４は、管内走行装置１のピッチ角の制御として、駆動制御部５１を介して車輪ストローク用アクチュエータ２２を駆動し、配管１００の継ぎ目ＪＴが垂直走査線に対して略平行な画像Ｇ４が得られるよう、車輪１１Ｆ，１１Ｒの管壁面方向へのストロークを調整する。
【００８０】
尚、本実施形態においては、管内走行装置１の姿勢を制御して第２の撮像ユニット１６が管壁面に正対するように調整しているが、第２の撮像ユニット１６自体を管内走行装置１の本体部１０に対して３次元的に揺動可能な構成として、第２の撮像ユニット１６の姿勢を直接制御するようにしても良い。
【００８１】
管内走行装置１の姿勢制御を実行した後は、ステップＳ６からステップＳ７へ進み、制御装置５０の第２の画像取得部５５は、第２の撮像ユニット１６による管壁面の撮像を開始して、配管の周方向に渡る画像を取得する。
【００８２】
本実施形態においては、図１３に示すように、管内走行装置１を配管１００内で円周方向に回転させながら、第２の撮像ユニット１６で継ぎ目ＪＴを含む管壁面を撮像する。このとき、第２の画像取得部５５は、管内走行装置１の管内の円周方向の回転速度や第２の撮像ユニット１６の画角から、第２の撮像ユニット１６のシャッタ速度やフレームレートを適切に設定し、所定間隔の複数の静止画像群或いは動画像を取得する。
【００８３】
例えば、図１３において、姿勢制御によって第２の撮像ユニット１６が管壁面に正対したときの管内走行装置１の位置をＫ１とする場合、第２の画像取得部５５は、位置Ｋ１で第２の撮像ユニット１６による撮像を開始させ、部分的な継ぎ目ＪＴ１を含む管壁面の画像ＧＫ１を取得する。
【００８４】
次に、第２の画像取得部５５は、駆動制御部５１を介して操舵用モータ２１を駆動し、車輪１１Ｆを位置Ｋ１の状態からストローク軸１１ｂ周りに略９０度回転させた後、走行用モータ２０を駆動して管内走行装置１を配管１００内の円周方向に所定角度だけ回転させ、停止させる（位置Ｋ２）。第２の画像取得部５５は、位置Ｋ２において、第２の撮像ユニット１６で撮像した継ぎ目ＪＴ２を含む画像ＧＫ２を取得する。
【００８５】
更に、第２の画像取得部５５は、管内走行装置１を位置Ｋ２から位置Ｋ３，Ｋ４，…へ回転させて、継ぎ目ＪＴ３，ＪＴ４，…を含む画像ＧＫ３，ＧＫ４，…を取得する。そして、管内走行装置１が初期位置Ｋ１に戻ったとき、第２の画像取得部５５は、管内１周分の画像の取得を完了し、取得したデータを記録・保存する。
【００８６】
このとき、第２の画像取得部５５は、配管１００の内径や第２の撮像ユニット１６の画角等を考慮して管内走行装置１の回転角度を設定し、図１３に破線で示すように各画像ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…の画像間の位置をオーバーラップさせる。これは、後述する検査用の展開合成画像を生成する際に画像間の位置を合わせるためである。
【００８７】
尚、第２の撮像ユニット１６を、管内走行装置１の本体部１０の軸周りに回転可能な構成（図１；破線の矢印Ｒ３参照）とする場合には、管内走行装置１の姿勢を制御して第２の撮像ユニット１６を管壁面に正対させた後、図示しないアクチュエータを介して第２の撮像ユニット１６を回転させ、各位置で管壁面を撮像する。これにより、各位置毎に画像ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…と同様の画像を取得することができる。
【００８８】
一方、第２の撮像ユニット１６を、管内走行装置１の本体部１０側部の複数箇所に周方向に配設する場合には、複数の第２の撮像ユニット１６の配置間隔と各撮像ユニットの画角を適切に設定する。そして、複数の第２の撮像ユニット１６が管壁面と正対した状態で、各ユニットが同時に或いは順次、管壁面を撮像することにより、画像ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…と同様の画像を取得することができる。
【００８９】
その後、制御装置５０は、ステップＳ８で検査終了か否かを判断する。管内走行装置１が検査範囲の終端位置まで到達していない場合、ステップＳ８からステップＳ１へ戻って管内の走行移動を継続し、検査範囲の終端位置まで到達した場合、本処理による検査を終了する。
【００９０】
以上の検査で取得された配管１００内の壁面の画像からは、検査用の画像が生成される。この検査用の画像は、管内走行装置１に搭載される制御装置５０内で生成しても良く、或いは制御装置５０から外部にデータを送信して、外部の装置で生成するようにしても良い。
【００９１】
この場合、検査用の画像としては、歪み等の影響のない目視が容易な画像が望まれる。そこで、図１４に示すように、取得した管壁面の複数枚の画像群ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…から１枚の展開合成画像ＧＫｅを生成する。
【００９２】
この展開合成画像を生成する場合、例えば、管内走行装置１が上下方向の配管を走行する場合等、管内走行装置１自身の姿勢を一定に保つことが難しく、管内走行装置１を回転させながら取得した画像データ間で位置ズレを伴う可能性がある。
【００９３】
従って、各画像ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…の画像間の位置を位置合わせした後に合成し、１枚の展開合成画像ＧＫｅを生成する。この展開合成画像ＧＫｅには、各像ＧＫ１，ＧＫ２，ＧＫ３，ＧＫ４，…内の円周方向の部分的な継ぎ目ＪＴ１，ＪＴ２，ＪＴ３，ＪＴ４，…を繋げて平面に展開した継ぎ目ＪＴｅが表示される。
【００９４】
各画像間の位置合わせは、例えば、所定の領域の相関性を評価して画像間の一致点を探索するブロックマッチングや、画像から抽出した特異点によって画像間の一致点を探索する特異点マッチング等の手法を用いることができる。
【００９５】
生成した展開合成画像は、展開図として出力することにより、作業者による目視検査を容易なものとして、傷等の欠陥を発見し易くすることができる。
【００９６】
また、管内走行装置１を含む検査システムにおいて、例えば、深層学習等の画像認識技術により、自動的に傷等の欠陥の有無を判定するようにしても良い。
【００９７】
その場合、傷の劣化程度をレベル分けして色別に表示したり、傷が有る箇所を、敷設配管図面と対応付けて表示するようにしても良い。
【００９８】
また、劣化程度のレベルに応じて、次工程の作業を適宜検査システム側で判定するようにしても良い。例えば、劣化程度が明らかに大きければ修復作業に移行させ、劣化程度が不明瞭であればＸ線検査等の詳細検査に移行させる。
【００９９】
以上説明したように、本実施形態によれば、管内走行装置１によって配管内の検査を行う際、制御装置５０は、第１の撮像ユニット１３で撮像した管内の画像を解析して配管の継ぎ目の有無を判定する。
【０１００】
配管の継ぎ目を検出した場合、制御装置５０は、管内走行装置１のヨー角及びピッチ角を制御して配管の継ぎ目に第２の撮像ユニット１６の撮像面が正対するように姿勢制御する。そして、管内走行装置１を配管内で円周方向に回転させながら第２の撮像ユニット１６によって管壁面を撮像し、管壁面の画像を配管の周方向に渡って取得する。
【０１０１】
これにより、配管の内部の管壁面を歪みの少ない鮮明な画像で撮像することができ、配管の継ぎ目に生じる微細な傷や劣化等の欠陥を確実に発見することが可能となる。
【０１０２】
尚、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。また、上述の実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。
【０１０３】
従って、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしても良い。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。
【０１０４】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。
【０１０５】
そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク ＣＤ−ＲＯＭ等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。
【０１０６】
また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができる。
【符号の説明】
【０１０７】
１…管内走行装置
１０…本体部
１１，１１Ｆ，１１Ｒ…車輪
１１ａ…回転軸
１１ｂ…ストローク軸
１２…第１の観察部
１３…第１の撮像ユニット
１４…第１の照明ユニット
１５…第２の観察部
１６…第２の撮像ユニット
１７…第２の照明ユニット
１８，１９…測距センサ
２０…走行用モータ
２１…操舵用モータ
２２…車輪ストローク用アクチュエータ
５０…制御装置
５１…駆動制御部
５２…第１の画像取得部
５３…継ぎ目検出部
５４…姿勢制御部
５５…第２の画像取得部
１００…配管
【図１】
2019138755.tif 000003
【図２】
2019138755.tif 000004
【図３】
2019138755.tif 000005
【図４】
2019138755.tif 000006
【図５】
2019138755.tif 000007
【図６】
2019138755.tif 000008
【図７】
2019138755.tif 000009
【図８】
2019138755.tif 000010
【図９】
2019138755.tif 000011
【図１０】
2019138755.tif 000012
【図１１】
2019138755.tif 000013
【図１２】
2019138755.tif 000014
【図１３】
2019138755.tif 000015
【図１４】
2019138755.tif 000016