(57)【要約】【課題】  展開画像を利用して撮影された物体の３次元のデータを取り込むことのできる方法を提供すること。【解決手段】  全方位センサーによって１回の走行で管渠の側面画抽出部から略直角の画角の側方画のみならず、３０〜７０度程度の範囲内の傾斜した画角の前方画もともに取り込むことができるので、これら側方画の展開図と前方画の展開図との対応点を一致させるように側方画展開図と前方画展開図との距離あわせをした上で重ね合わせ、これらの画像の対応点のずれから精度よく３次元データを計算するものである。【選択図】  図１
2005227925.tif 000002
【特許請求の範囲】
【請求項１】
管渠の壁面を、全方位センサーを主体とするビデオカメラにて撮影した３次元データの抽出点を含む側面画抽出部から側方画と前方画を得る工程と、前記側方画を展開して側方画の展開画を得る工程と、前記前方画を展開して前方画の展開画を得る工程と、この前方画の展開画の作成時の使用画角、管渠の半径を元に前記側方画の展開画の基準距離合わせを行なう工程と、基準距離合わせ工程後の側方画の展開画と前方画の展開画のそれぞれの同一特徴点の対応付けを行なう工程と、対応付けされた同一特徴点の位置ずれから３次元データを計算する工程とからなることを特徴とする管渠内画像の処理方法。
【請求項２】
側面画抽出部から側方画と前方画を得る工程は、管渠における側面画抽出部の中の３次元データの抽出点を含む側方画を使用画角が略９０度の位置に取り込んで撮影する工程と、管渠における側面画抽出部の中の３次元データの抽出点を含む前方画を使用画角が３０〜７０度の位置に取り込んで撮影する工程とからなることを特徴とする請求項１記載の管渠内画像の処理方法。
【請求項３】
基準距離合わせを行なう工程は、前方画における３次元データの抽出点とビデオカメラとを結ぶ直線と、ビデオカメラの光軸とのなす画角をθ、管渠の半径をＲとしたとき、側方画と前方画との基準距離のずれｘは、ｘ＝Ｒ／ｔａｎθを演算して求めるようにしたことを特徴とする請求項１又は２記載の管渠内画像の処理方法。
【請求項４】
３次元データを計算する工程は、側方画の展開画と前方画の展開画との同一点を重ね合わせたときの相互の位置ずれ量をｄとしたとき、求める３次元データyは、y＝d×tanθを演算して求めるようにしたことを特徴とする請求項３記載の管渠内画像の処理方法。
【請求項５】
全方位センサーは、ビデオカメラへの入射方向と反対に向いた主反射鏡と、この主反射鏡から所定距離をおいてビデオカメラへの入射方向に向いた副反射鏡とからなり、これら主反射鏡と副反射鏡とは、半球面状の透明な透明カバーで覆われて結合され、この透明カバーを介して壁面の側面画抽出部が主反射鏡に入射すると、この主反射鏡での反射光が副反射鏡で反射され、ビデオカメラに入射するように構成されたものからなることを特徴とする請求項１記載の管渠内画像の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大・小口径の管渠内壁面を撮影したビデオデータに基づいて、管渠の展開図を作成し、この展開図を利用して３次元データを求めるための管渠内画像の処理方法に関するものである。
【背景技術】
【０００２】
従来、管渠壁面の検査は、暗くて長い管渠内を人間が徒歩で巡回しながら目視により変状を描画し、これをもとに展開図を作成する作業が中心であった。この方法では、検査の対象が大型構造物で、また、長大な管渠が多いため、多くの人手と時間を要するだけでなく、すべての変状を正確にとらえるのが困難であった。また、上・下水道用等の口径が小さくて人間が入れないような管渠壁面の検査は、ビデオカメラ等を移動させて行うが、やはり正確な検査ができなかった。
【０００３】
連続的に検査するための管渠内面画像の処理装置は、すでに知られている（特許文献１）。これは、図５に示すように、撮影するカメラの全方位センサー（又はパノラマセンサー）として、先端部に写角(垂直画角)が１８０度かそれ以上の、いわゆる魚眼レンズ６１を使用したものである。この魚眼レンズ６１は、全体が両面凸レンズであるが、その一方面（図５（ａ）における右側面）の中心部分が凹面状で、他方面の中心部分が平面状になるようにカットした形状をなし、一方面の凹面状にカットした部分は、魚眼レンズ６１の内部から見た凸面鏡の反射面６５となし、他方面の平面状にカットした部分は、光線が屈折して出射する透過面６６となし、前記凸面鏡のうち反射面６５側の外周面は、光が入射する入射面６８をなし、前記透過面６６側の外周面は、光が反射する反射面６７を構成している。
このように構成された魚眼レンズ６１は、例えば、図５（ｂ）に示すように、ビデオカメラ３５の光軸Ｓに対して最大撮影角αｍａｘが１１５度、最小撮影角αｍｉｎが４５度までが可視範囲に構成されているものとする。
【０００４】
この魚眼レンズ６１の中心線光軸Ｓと管渠１０の中心線が一致した状態にセットしたときの画像データについて説明する。
壁面１１の可視範囲内における撮影角度αの画像データ(ｘ，ｙ)は、図５(ｃ)に示すように、魚眼レンズ６１の中心を中心とし、半径が撮影角度αに比例する円になる。
【０００５】
図６に示すように、ビデオカメラ３５を管渠１０の内部中央で、かつ、中心線の光軸Ｓに向けてセットしたときの、管渠１０の壁面１１位置と展開図の座標データとの対応を説明する。
ビデオカメラ３５で映した最大撮影角αｍａｘ＝９０度、最小撮影角αｍｉｎ＝４５度としたときの１フレームの画像は、図７(ａ)に示すように、外周がドーナツ状の壁面画像７５で、中心部(斜線部)が非映写部７３となり、このうち壁面画像７５を実画像データ上の座標点(ｘ，ｙ)に対応する展開図上の座標点(ｍ，ｎ)を展開処理によって求め、求めた座標データから展開図を作成すると、図７(ｂ)に示すように、管渠１０の長さ方向に展開した展開図となる。
なお、図６及び図７(ａ)(ｂ)において、光軸方向と円周方向の網目又は格子模様は、模式的なクラックであるとすると、図６の１４ａは、実管渠１０のクラックを示し、図７(ａ)の１４ｂは、ビデオカメラ３５で映した画像のクラックを示し、図７(ｂ)の１４ｃは、展開図のクラックを示している。
【０００６】
魚眼レンズ６１は、略中央部分が反射鏡としてほとんど利用されない領域である。そこで、図８（ａ）に示すように、反射面６５の中央部分を除去して透過部７０を形成する。すると、管渠１０の前方からの直線的な映像信号ｅを取り込むことができ、この映像信号ｅを、図８（ｂ）に示すように、本来、中心部分の非映写部７３であった箇所に、画像ｆとして映し出すことができる。従って、管渠１０の前方監視画像７４として利用できる。
【０００７】
前記非映写部７３には、その全体にできるだけ拡大して監視画像７４を映し出すことが望ましい。そのためには、リレーレンズ６２とイメージセンサ６３との間に、ズームレンズ７１を介在する。すると、図８(ａ)において、映像信号ｅが、映像信号Ｆのように拡大されて映し出される（図８(ｃ)）。
また、前方監視のための映像信号ｅの領域が狭すぎる場合には、魚眼レンズ６１の前方に広角レンズ７２を介在することにより、図８(ｄ)のように映像信号ｅは、拡大されないが監視領域が広げられる。
【０００８】
前記特許文献１における管渠内面画像の処理装置による展開図作成順序を説明する。
ビデオカメラ３５を走行し所定距離毎に撮影し、管渠１０の壁面１１の画像信号を１フレーム毎に入力し、画像データの展開処理を行う。全方位センサーとして魚眼レンズ６１を用いて管渠１０の壁面１１を撮影したので、正確に展開図を作成するため、管渠深さ方向の補正、中心点の補正、傾き補正の各処理をする。画像データの展開処理は、図４（ａ）のように、１フレーム毎に行うので、展開処理後の画像が管渠の奥になればなるほど情報が不足し歪んだ画像となる。この図４（ａ）に示す展開図において、５７は継目、５８はクラック、５９は水面、６０は汚れである。１フレーム毎の展開画像データは、展開データ記憶部に記憶される。
【０００９】
展開処理後、歪み部分を除去するために、図４（ｂ）に示すように、複数フレーム分の展開画像の合成を行う。合成の際、管渠１０の中心点が画像毎に異なることがあるので、データマッチングを行う。
図４（ｃ）に示すように、合成された展開図情報は、展開図記憶部に記憶され、必要にモニターにて表示され、かつ、プリンタでプリントアウトされる。
【特許文献１】特許第３４２０７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
解決しようとする問題点は、図１に示すように、管渠１０に、内部に突出した取付け管１３が取り付けられている場合、画角が略９０度の側方展開図では、３次元データを求めることができないということである。
即ち、図４においては、展開処理後、歪み部分を除去するために、図４（ｂ）に示すように、複数フレーム分の展開画像の合成を行っているが、これらの展開画像は、いずれもビデオカメラ３５の真横の、いわゆる側方展開画像のみである。例えば、図４（ｃ）において、１枚の側方展開画像に突出した取付け管１３が写っていたものとしたとき、この突出した取付け管１３は、管渠１０の壁面１１よりも突き出しているかいないか、突出しているとして、どの程度突出しているかなど、３次元データを求めることは、これらの画像からは不可能である。
【００１１】
さらに詳しくは、図１に示すように、突出した取付け管１３が管渠１０の壁面１１よりも突き出している場合、その突き出し量ｙがどの程度かによって補修の必要性の判断が行なわれている。具体的には、突出した取付け管１３の突き出し量をｙ、突出した取付け管１３の外径（又は内径）をｒとしたとき、ｙ≧（ｒ／２）であるときは、緊急な措置が必要なものとされ、（ｒ／２）＞ｙ≧（ｒ／１０）であるときは、数年のうちに措置が必要なものとされ、（ｒ／１０）＞ｙであるときは、当面措置を必要としないものとされるような判断基準が設けられている。
【００１２】
本発明は、展開画像を利用して撮影された物体の３次元のデータを取り込むことのできる方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１３】
本発明は、全方位センサーによって１回の走行で管渠の側面画抽出部から略直角の画角の側方画のみならず、３０〜７０度程度の範囲内の傾斜した画角の前方画も同時に取り込むことができるので、これらの対応点を一致させるように側方画の展開図と前方画の展開図を距離あわせをした上で重ね合わせ、これらの画像の対応点のずれから精度よく３次元データを計算するものである。
【発明の効果】
【００１４】
請求項１記載の発明によれば、管渠の壁面を、全方位センサーを主体とするビデオカメラにて撮影した３次元データの抽出点を含む側面画抽出部から側方画と前方画を得る工程と、前記側方画を展開して側方画の展開画を得る工程と、前記前方画を展開して前方画の展開画を得る工程と、この前方画の展開画の作成時の使用画角、管渠の半径を元に前記側方画の展開画の基準距離合わせを行なう工程と、基準距離合わせ工程後の側方画の展開画と前方画の展開画のそれぞれの同一特徴点の対応付けを行なう工程と、対応付けされた同一特徴点の位置ずれから３次元データを計算する工程とからなるので、全方位センサーにて側面画抽出部から側方画と前方画を得ることができるという特徴を生かして、複雑な映像処理や複雑な演算をすることなく、単に管渠内画像の処理をすることだけで３次元データを計算することができる。
従って、本発明は、上・下水管、鉄道・車道・歩道などの交通用トンネル、ケーブル埋設管、その他の大・小口径の管渠内壁面を撮影し作成した展開図を利用して３次元データを求める管渠内画像の処理方法に利用できる。
【００１５】
請求項２記載の発明によれば、側面画抽出部から側方画と前方画を得る工程は、管渠における側面画抽出部の中の３次元データの抽出点を含む側方画を使用画角が略９０度の位置に取り込んで撮影する工程と、管渠における側面画抽出部の中の３次元データの抽出点を含む前方画を使用画角が３０〜７０度の位置に取り込んで撮影する工程とからなるので、使用画角が略９０度の側面画と使用画角が３０〜７０度の前方画との関係は、きわめて簡単な演算式を解くだけで３次元のデータを得ることができる。
【００１６】
請求項３記載の発明によれば、基準距離合わせを行なう工程は、前方画における３次元データの抽出点とビデオカメラとを結ぶ直線と、ビデオカメラの光軸とのなす画角をθ、管渠の半径をＲとしたとき、側方画と前方画との基準距離のずれｘは、ｘ＝Ｒ／ｔａｎθを演算して求めるようにしたので、単純な３角関数により基準距離合わせができる。
【００１７】
請求項４記載の発明によれば、３次元データを計算する工程は、側方画の展開画と前方画の展開画との同一点を重ね合わせたときの相互の位置ずれ量をｄとしたとき、求める３次元データyは、y＝d×tanθを演算して求めるようにしたので、単純な３角関数により３次元データを計算することができる。
【００１８】
請求項５記載の発明によれば、全方位センサーは、ビデオカメラへの入射方向と反対に向いた主反射鏡と、この主反射鏡から所定距離をおいてビデオカメラへの入射方向に向いた副反射鏡とからなり、これら主反射鏡と副反射鏡とは、半球面状の透明な透明カバーで覆われて結合され、この透明カバーを介して壁面の側面画抽出部が主反射鏡に入射すると、この主反射鏡での反射光が副反射鏡で反射され、ビデオカメラに入射するように構成されたものからなるので、全方位センサーのもつ光軸Ｓに対して最大撮影角と最小撮影角の可視範囲が極めて広いという特徴を生かして１回の走行で管渠の側面画抽出部から略直角の画角の側方画と、傾斜した画角の前方画とをともに取り込むことで３次元のデータを求めることができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、管渠の壁面を、全方位センサーを主体とするビデオカメラにて撮影した３次元データの抽出点を含む側面画抽出部から側方画と前方画を得る工程と、前記側方画を展開して側方画の展開画を得る工程と、前記前方画を展開して前方画の展開画を得る工程と、この前方画の展開画の作成時の使用画角、管渠の半径を元に前記側方画の展開画の基準距離合わせを行なう工程と、基準距離合わせ工程後の側方画の展開画と前方画の展開画のそれぞれの同一特徴点の対応付けを行なう工程と、対応付けされた同一特徴点の位置ずれから３次元データを計算する工程とからなり、前記側面画抽出部から側方画と前方画を得る工程は、管渠における側面画抽出部の中の３次元データの抽出点を含む側方画を使用画角が略９０度の位置に取り込んで撮影する工程と、管渠における側面画抽出部の中の３次元データの抽出点を含む前方画を使用画角が３０〜７０度の位置に取り込んで撮影する工程とからなることを特徴とする請求項１記載の管渠内画像の処理方法である。
【実施例１】
【００２０】
本発明の実施例について、図１〜図３に基づき説明する。
図１は、円筒形の管渠１０の中心軸で、かつ、ビデオカメラ３５の光軸Ｓを通る水平断面図である。この中心軸Ｓには、中心軸Ｓに沿って所定の速度で走行するビデオカメラ３５が設けられている。また、管渠１０には、両側から壁面１１に開口する正常な取付け管１２と突出した取付け管１３が取り付けられているものとする。前記正常な取付け管１２は、その開口先端が管渠１０の壁面１１と略一致した正常な状態で取り付けられ、また、前記突出した取付け管１３は、その開口先端が距離ｙだけ壁面１１より内側に突き出た異常な状態で取り付けられているものとする。
【００２１】
前記ビデオカメラ３５は、ＣＣＤカメラを内蔵したもので、前面には、図２に示すように、中心に前記ビデオカメラ３５の先端の対物レンズに臨ませる孔の空いた全方位センサー６１が取り付けられている。この全方位センサー６１は、前方を向いた主反射鏡１５と、この主反射鏡１５から所定距離をおいて後方を向いた副反射鏡１６とからなり、これら主反射鏡１５と副反射鏡１６とは、半球面状の透明な透明カバー１８で覆われて結合されている。そしてこの透明カバー１８を介して壁面１１の側面画抽出部２０が主反射鏡１５に入射すると、この主反射鏡１５での反射光が副反射鏡１６で反射され、ビデオカメラ３５に入射する。また、前記副反射鏡１６の中心部には、透過部７０が穿設され、この透過部７０には、凹レンズ１７が取り付けられ、副反射鏡１６の背面のフード１９の内側から壁面１１の正面画抽出部２１が凹レンズ１７に入射し、さらにビデオカメラ３５に入射する。
この全方位センサー６１は、例えば、ビデオカメラ３５の光軸Ｓに対して最大撮影角αｍａｘが１１５度程度から最小撮影角αｍｉｎが３０度程度までが可視範囲に構成されているものとする。
【００２２】
次に、３次元データを計算する方法を説明する。
ビデオカメラ３５は、図１に示すように、管渠１０の内部中央で、かつ、中心軸Ｓに向けてセットする。
（１）側方画像から展開図を作成
図１のＡ点は、側方画像の画角θ≒９０度であるから、ビデオカメラ３５の撮影画像は、図３（ａ−１）に示すように、正常な取付け管１２の側方撮影画１２ａ１と突出した取付け管１３の側方撮影画１３ａ１は、ともに直径ｒ’の真円で表示される。この画像から図６及び図７に示したと同様に、実画像データ上の座標点(ｘ，ｙ)に対応する展開図上の座標点(ｍ，ｎ)を展開処理によって求め、求めた座標データから展開図側方画の展開画２２ａを作成すると、図３（ａ−２）に示すように、正常な取付け管の側方展開画１２ａ２と突出した取付け管の側方展開画１３ａ２は、ともに直径ｒ’の真円で表示される。
【００２３】
（２）前方画像から展開図を作成
図１のＢ点は、前方画像の画角θ＝３０〜７０度などの範囲内の傾斜角であるから、ビデオカメラ３５で撮影した撮影画像は、図３（ｂ−１）に示すように、正常な取付け管１２と突出した取付け管１３は、短径がｐ（＝ｒｔａｎθ）で、長径がｒの楕円形であり、また、突出した取付け管１３は、突き出た部分の長さがｙとして、正常な取付け管の前方撮影画１２ｂ１と突出した取付け管の前方撮影画１３ｂ１のように表示される。この画像から図６及び図７に示したと同様に、実画像データ上の座標点(ｘ，ｙ)に対応する展開図上の座標点(ｍ，ｎ)を展開処理によって求め、求めた座標データから展開図２２ｂを作成すると、図３（ｂ−２）に示すように、正常な取付け管１２と突出した取付け管１３の開口端部が直径ｒの真円で、また、突出した取付け管１３の突き出た部分の長さがｄとして、正常な取付け管の前方展開画１２ｂ２と突出した取付け管の前方展開画１３ｂ２のように表示される。
【００２４】
（３）２種類の展開図の基準距離合わせ
画像の入射角度の関係で、側方画の展開画２２ａと前方画像の展開図２２ｂの基準距離の間には、ずれが生じている。このため、前方画像の展開図２２ｂの作成時の使用画角θ、管渠１０の位置の関係を元にして、側方展開図の基準距離の調整を行なう必要がある。
前方画像の展開図２３ａの使用画角をθ、管渠１０の半径をＲとしたとき、側方画の展開画２２ａと前方画像の展開図２２ｂの基準距離ｘは、次式で表わされる。
ｘ＝Ｒ／ｔａｎθ
この基準距離ｘの調整に基づいて、側方画の展開画２２ａと前方画像の展開図２２ｂにおいて、ともにｒ’＝ｒとなるように調整する。
【００２５】
（４）２種類の展開図からの対応付け
側方画の展開画２２ａを利用し、特徴のある点を求める。この特徴点が突出した取付け管の側方展開画１３ａ２として表示されている外径と内径を表わす円形２重線であるものとする。この特徴点を利用し、基準距離補正後の前方展開画１３ｂ２と側方展開画１３ａ２の中から同一特徴を有する点、すなわち円形２重線の探索を行ない、図３（ｃ）に示すように、側方展開画１３ａ２の円形２重線と前方展開画１３ｂ２の円形２重線を重ね合わせて対応付けを行なう。
【００２６】
（５）突き出し量の計算
図３（ｃ）に示すように側方展開画１３ａ２と前方展開画１３ｂ２の共通する一致点を重ね合わせたときの位置ずれから突き出し量ｙの計算を行なう。
ここで、管渠１０の半径をＲ、側方展開画２２ａの作成画角を９０度、前方展開図２２ｂの作成画角をθ、これらの展開図上の位置ずれ量をｄとすると、実際の突き出し量ｙは、次式を演算することにより求められる。
ｙ＝（Ｒ×ｄ）／ｘ＝ｄ×ｔａｎθ
【００２７】
図３（ｄ）は、正常な取付け管の側方展開画１２ａ２と正常な取付け管の前方展開画１２ｂ２の共通する一致点を重ね合わせたときの例を示すもので、この例では、位置ずれｄがなく、突き出し量ｙ＝０である。
【図面の簡単な説明】
【００２８】
【図１】本発明による管渠内画像の処理方法の一実施例を示す横断平面図である。
【図２】本発明による管渠内画像の処理方法に用いられた全方位センサー６１の断面図である。
【図３】本発明による管渠内画像の処理方法の工程の順序を説明する説明図である。
【図４】管渠内面画像から展開図を作成する順序を示すもので、（ａ）は、１フレーム分の展開図、（ｂ）は、複数フレーム分の展開図、（ｃ）は、損傷情報付加後の展開図である。
【図５】管渠内面画像を処理する装置のビデオカメラ３５を説明するためのもので、（ａ）は、ビデオカメラ３５の先端に全方位センサーとしての魚眼レンズ６１を取り付けた状態の説明図、（ｂ）は、最大撮影角αｍａｘと、最小撮影角αｍｉｎと、可視範囲の説明図、（ｃ）は、ビデオカメラ３５に映し出された画像の投影図である。
【図６】ビデオカメラ３５を管渠１０にセットした状態の斜視図である。
【図７】（ａ）は、実管渠１０の展開前の実画像データ図、（ｂ）は、展開後の展開図である。
【図８】管渠内面画像を処理する装置におけるビデオカメラ３５の他の実施例を示すもので、（ａ）は、魚眼レンズの前方監視画像を映し出すための説明図、（ｂ）は、表示画面６９に壁面画像７５と前方監視画像７４を映し出した状態の説明図、（ｃ）は、前方監視画像７４を拡大して映し出した説明図、（ｄ）は、前方監視画像７４の領域を広げて映し出した説明図である。
【符号の説明】
【００２９】
１０…管渠、１１…壁面、１２…正常な取付け管、１２ａ１…正常な取付け管の側方撮影画、１２ａ２…正常な取付け管の側方展開画、１２ｂ１…正常な取付け管の前方撮影画、１２ｂ２…正常な取付け管の前方展開画、１３…突出した取付け管、１３ａ１…突出した取付け管の側方撮影画、１３ａ２…突出した取付け管の側方展開画、１３ｂ１…突出した取付け管の前方撮影画、１３ｂ２…突出した取付け管の前方展開画、１４…クラック、１４ａ…実管渠のクラック、１４ｂ…ビデオカメラで映した画像のクラック、１４ｃ…展開図のクラック、１５…主反射鏡、１６…副反射鏡、１７…凹レンズ、１８…透明カバー、１９…フード、２０…側面画抽出部、２０ａ…側方画、２０ｂ…前方画、２１…正面画抽出部、
２２ａ…側方画の展開画、２２ｂ…前方画の展開画、３５…ビデオカメラ、５７…継目、５８…クラック、５９…水面、６０…汚れ、６１…全方位センサー（２葉双曲面鏡又は魚眼レンズ）、６２…リレーレンズ、６３…イメージセンサ、６４…照明灯、６５…反射面、６６…透過面、６７…反射面、６８…入射面、６９…画面、７０…透過部、７１…ズームレンズ、７２…広角レンズ、７３…非映写部、７４…監視画像、７５…壁面画像。
【図１】
2005227925.tif 000003
【図２】
2005227925.tif 000004
【図３】
2005227925.tif 000005
【図４】
2005227925.tif 000006
【図５】
2005227925.tif 000007
【図６】
2005227925.tif 000008
【図７】
2005227925.tif 000009
【図８】
2005227925.tif 000010