(57)【特許請求の範囲】
【請求項１】
管渠ビデオデータの異なる画像フレーム番号のついた画像データに基づき動画として再生表示する手段と、
表示画像上でマーク点を付ける手段と、
登録した画像フレーム番号をセットする手段と、
マーク点を付けた表示画像上に画像診断情報を登録する手段と、
画像フレーム番号の基準点からの距離と表示画像上のマーク点の位置座標から登録点の管路距離を求める手段と、
登録した画像フレームの登録点に対応する点を、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示する手段と
を具備し、動画の移動に伴いマーク点も移動するようにしたことを特徴とする管渠内検査診断支援装置。
【請求項２】
表示画像上でマーク点を付ける手段は、複数のマーク点間を結合線で連結する機能を有することを特徴とする請求項１記載の管渠内検査診断支援装置。
【請求項３】
マーク点を付けた表示画像上に画像診断情報を登録する手段は、予め設定された異常分類の選択、予め設定されたランク情報の選択、予め設定された異常状況の選択及び任意に入力可能な詳細情報を登録する機能を有することを特徴とする請求項１記載の管渠内検査診断支援装置。
【請求項４】
管渠ビデオデータの異なる画像フレーム番号のついた画像データに基づき動画として再生表示し、この表示画像上でマーク点を付けて、登録した画像フレーム番号をセットし、マーク点を付けた表示画像上に画像診断情報を登録し、画像フレーム番号の基準点からの距離と表示画像上のマーク点の位置座標から登録点の管路距離を求め、登録した画像フレームの登録点に対応する点を、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示し、動画の移動に伴いマーク点も移動するようにしたことを特徴とする管渠内検査診断支援方法。
【請求項５】
管渠ビデオデータの異なる画像フレーム番号のついた画像フレームは、マーク点その他のイベント情報を有する画像フレームと、イベント情報のない画像フレームのうちの所定間隔毎の画像フレームとを登録し、残りを削除することを特徴とする請求項４記載の管渠内検査診断支援方法。
【請求項６】
コンピュータに、請求項１乃至５のいずれか１つに記載の機能を実現させるための管渠内検査診断支援プログラムを記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、上・下水管、鉄道・車道・歩道などの交通用トンネル、ケーブル埋設管、その他の大・小口径の管渠内壁面を撮影したビデオデータに基づいて、管渠の状態を動画や静止画として表示したり、長手方向展開図を作成したり、動画や静止画で表示しながら、管渠内壁面の異常状態を検査・診断したりする管渠内面画像の処理をパソコン上で行うための管渠内検査診断支援装置、管渠内検査診断支援方法及び管渠内検査診断支援プログラムを記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、管渠壁面の検査は、暗くて長い管渠内を人間が徒歩で巡回しながら目視により変状を描画し、これをもとに展開図を作成する作業が中心であった。この方法では、検査の対象が大型構造物で、また、長大な管渠が多いため、多くの人手と時間を要するだけでなく、すべての変状を正確にとらえるのが困難であった。また、上・下水道用等の口径が小さくて人間が入れないような管渠壁面の検査は、ビデオカメラ等を移動させて行うが、やはり正確な検査ができなかった。
【０００３】
連続的に検査するための管渠内面画像の処理装置は、すでに知られている（特開２０００−３３１１６８号公報、以下公開公報という）。これは、図１１に示すように、撮影するカメラの全方位センサー（又はパノラマセンサー）として、先端部に写角(垂直画角)が１８０度かそれ以上の、いわゆる魚眼レンズ６１を使用したものである。この魚眼レンズ６１は、全体が両面凸レンズであるが、その一方面（図１１（ａ）における右側面）の中心部分が凹面状で、他方面の中心部分が平面状になるようにカットした形状をなし、一方面の凹面状にカットした部分は、魚眼レンズ６１の内部から見た凸面鏡の反射面６５となし、他方面の平面状にカットした部分は、光線が屈折して出射する透過面６６となし、前記凸面鏡のうち反射面６５側の外周面は、光が入射する入射面６８をなし、前記透過面６６側の外周面は、光が反射する反射面６７を構成している。
このように構成された魚眼レンズ６１は、例えば、ビデオカメラ３５の光軸Ｓに対して最大撮影角αｍａｘが１１５度、最小撮影角αｍｉｎが４５度までが可視範囲に構成されているものとする。
【０００４】
この魚眼レンズ６１の中心線Ｓと管渠１０の中心線が一致した状態にセットしたときの画像データについて説明する。
壁面１１の可視範囲内における撮影角度αの画像データ(ｘ，ｙ)は、図１１(ｃ)に示すように、魚眼レンズ６１の中心を中心とし、半径が撮影角度αに比例する円になる。
【０００５】
図１２に示すように、ビデオカメラ３５を管渠１０の内部中央で、かつ、中心線Ｓに向けてセットしたときの、管渠１０の壁面１１位置と展開図の座標データとの対応を説明する。
ビデオカメラ３５で映した最大撮影角αｍａｘ＝９０度、最小撮影角αｍｉｎ＝４５度としたときの１フレームの画像は、図１３(ａ)に示すように、外周がドーナツ状の壁面画像７５で、中心部(斜線部)が非映写部７３となり、このうち壁面画像７５を実画像データ上の座標点(ｘ，ｙ)に対応する展開図上の座標点(ｍ，ｎ)を展開処理によって求め、求めた座標データから展開図を作成すると、図１３(ｂ)に示すように、管渠１０の長さ方向に展開した展開図となる。
なお、図１２及び図１３(ａ)(ｂ)において、光軸方向と円周方向の網目又は格子模様は、模式的なクラックであるとすると、図１２の１４ａは、実管渠１０のクラックを示し、図１３(ａ)の１４ｂは、ビデオカメラ３５で映した画像のクラックを示し、図１３(ｂ)の１４ｃは、展開図のクラックを示している。
【０００６】
魚眼レンズ６１は、略中央部分が反射鏡としてほとんど利用されない領域である。そこで、図１４（ａ）に示すように、反射面６５の中央部分を除去して透過部７０を形成する。すると、管渠１０の前方からの直線的な映像信号ｅを取り込むことができ、この映像信号ｅを、図１４（ｂ）に示すように、本来、中心部分の非映写部７３であった箇所に、画像ｆとして映し出すことができる。従って、管渠１０の前方監視画像７４として利用できる。
【０００７】
前記非映写部７３には、その全体にできるだけ拡大して監視画像７４を映し出すことが望ましい。そのためには、リレーレンズ６２とイメージセンサ６３との間に、ズームレンズ７１を介在する。すると、図１４(ａ)において、映像信号ｅが、映像信号Ｆのように拡大されて映し出される（図１４(ｃ)）。
また、前方監視のための映像信号ｅの領域が狭すぎる場合には、魚眼レンズ６１の前方に広角レンズ７２を介在することにより、図１４(ｄ)のように映像信号ｅは、拡大されないが監視領域が広げられる。
【０００８】
つぎに、以上のような魚眼レンズ６１を使用した前記公開公報記載の管渠内面画像の処理装置のうちの画像データ処理部分を図９により説明する。
この装置は、ビデオデータ入力装置３６と、展開図処理装置３７と、展開図出力装置３９との３つの部分から構成されている。
【０００９】
前記ビデオデータ入力装置３６は、ビデオデッキ４０とビデオキャプチャボード４１からなり、管渠１０の壁面１１の状況を示す画像データを取り込んでいる。
前記展開図処理装置３７は、前記ビデオデータ入力装置３６からの画像データを記憶する画像データ記憶部４２と、この画像データ記憶部４２の画像データから文字を認識し、展開図への文字情報を出力する文字認識処理部５６と、記憶されたデータにおけるビデオデータ入力装置３６のビデオカメラ３５に全方位センサー６１（２葉双曲面鏡、魚眼レンズ等）を使用したり、ビデオカメラ３５が傾いたり、光軸ずれを起こしたりするなどによる歪を補正するとともに、記憶された補正後のデータから１フレーム毎に展開図の作成処理を行う全方位センサー用展開補正処理部４４と、この展開図データを記憶する展開データ記憶部４５と、各１フレーム毎の画像データ間の歪調整のためのデータマッチングを行うデータマッチング部４６と、前記文字認識処理部５６からの文字情報と後述する損傷判定部５１からの文字情報とを付加して前記データマッチング部４６からの歪調整後の複数フレーム分の画像データの合成により展開図を作成する展開図作成部４７と、この展開図作成部４７で作成された展開図を記憶する展開図記憶部４８とからなる。
【００１０】
前記公開公報記載の管渠内面画像の処理装置による展開図作成順序を説明する。
ビデオデータ入力装置３６のビデオデッキ４０に、管渠１０の壁面１１の画像信号を１フレーム毎に入力する。
画像データは、展開図処理装置３７の画像データ記憶部４２に保存される。
【００１１】
画像データ記憶部４２の画像データに基づき文字認識処理部５６にて、移動距離、ビデオカメラ３５の回転角度など、画面上の文字情報の認識処理をする。
【００１２】
展開図用画像の判定をする。展開図用画像として使用をするときは、展開図作成へ進み、取り込まないときは、後述のビデオデータ終了判断へ進む。
展開図用画像として使用をするときは、全方位センサー用展開補正処理部４４で補正処理を行った後、前述の展開処理方法に基づき、画像データの展開処理を行う。全方位センサーとして魚眼レンズ６１を用いて管渠１０の壁面１１を撮影したので、正確に展開図を作成するため、展開補正処理部４４で、管渠深さ方向の補正、中心点の補正、傾き補正の各処理をする。画像データの展開処理は、図１０（ａ）のように、１フレーム毎に行うので、展開処理後の画像が管渠の奥になればなるほど情報が不足し歪んだ画像となる。この図１０（ａ）に示す展開図において、５７は継目、５８はクラック、５９は水面、６０は汚れである。１フレーム毎の展開画像データは、展開データ記憶部４５に記憶される。
【００１３】
展開処理後、歪み部分を除去するために、図１０（ｂ）に示すように、複数フレーム分の展開画像の合成を行う。合成の際、管渠１０の中心点が画像毎に異なることがあるので、データマッチング部４６にてデータマッチングを行う。
展開図作成部４７では、図１０（ｃ）に示すように、合成された画像に、文字認識処理部５６から得た管渠内位置などの文字情報を再入力する。
このようにして得られた展開図情報は、展開図記憶部４８に記憶される。
展開図処理装置３７から得られた展開図情報は、展開図出力装置３９の展開図出力部５３を介してモニター５４にて表示され、かつ、プリンタ５５でプリントアウトされる。
【００１４】
ビデオデータが終了かどうを判断する。取り込む全枚数が設定枚数（例えば、１００枚）に達しない場合、前記画像データ取り込み動作を繰り返す。取り込む全枚数が１００枚に達した場合、処理を終了する。
【００１５】
上記のものは、全方位センサー６１として魚眼レンズを用いているが、その他にも、２葉双曲面鏡を含む円、楕円、放物面、円錐などのｎ次曲線面（ｎは、１以上の正の整数）からなる鏡又場合であってもよい。
【００１６】
【発明が解決しようとする課題】
前記公開公報記載の装置を用いて異常箇所を判断する場合、展開図を作成し、画面上で又はプリントアウトしたもので異常箇所の有無の判断を行っていた。
しかし、異常箇所と思われる場所を判断する場合には、光の反射の仕方によって、傷の有無の判断が難しかったり、亀裂が思っていたよりも長かったりと、予想できない場合があるため、面倒な操作をして展開図をプリントアウトしてからでないと、適切な判断ができず、また、展開図からでは、特定の熟練者でないと、異常個所かどうかの判別がつきにくく、さらに、異常個所の距離と角度が正確に特定できない、という問題があった。
そこで、展開図処理前のカメラによる画像を連続的に動かしながらの動画での異常個所を発見する判断と、展開図での判断をコンピュータ上で並行して行うことができ、また、過去の同一の管渠、又は別の管渠のデータをデータベースとして保存しておき、いつでも取出して比較検討することのできる装置と方法が望まれていた。
【００１７】
本発明は、展開図処理前のカメラによる画像を連続的に動かしながらの動画での異常個所を発見したときに、画像上でチェックすることにより、その点の位置情報が登録でき、かつ、異常個所が連続しているときには、線として認識できるようにした管渠内検査診断支援装置、管渠内検査診断支援方法及び管渠内検査診断支援プログラムを記憶した記憶媒体を提供することを目的とするものである。
【００１８】
【課題を解決するための手段】
本発明は、管渠ビデオデータの異なる画像フレーム番号のついた画像データに基づき動画として再生表示する手段と、表示画像上でマーク点を付ける手段と、登録した画像フレーム番号をセットする手段と、マーク点を付けた表示画像上に画像診断情報を登録する手段と、画像フレーム番号の基準点からの距離と表示画像上のマーク点の位置座標から登録点の管路距離を求める手段と、登録した画像フレームの登録点に対応する点を、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示する手段とを具備し、動画の移動に伴いマーク点も移動するようにしたことを特徴とする管渠内検査診断支援装置である。
【００１９】
このような構成にすることで、動画として再生したときに、マークした点が移動して見えるため、一度診断した異常箇所の認識が容易になり、特別な訓練を受けなくとも確実に異常箇所を発見することができる。
【００２０】
【発明の実施の形態】
本発明の実施の形態について、図１〜図８に基づき説明する。
先ず、本発明による管渠内検査診断支援装置の構成について、図３に基づき説明する。
メモリ８０には、システムプログラム１、画像データ８７、テーブル８８が格納され、ＣＰＵ８１との間で必要なデータのやり取りが行われる。前記画像データ８７は、図１３（ａ）に示すような実際の撮影画像である実画像データや図１３（ｂ）に示すような展開図処理された展開図データなどの管路ビデオデータ８６から、パソコンのメモリ８０に取込んだものであり、これらの画像データ８７を用いて管渠の診断が行われる。前記テーブル８８は、システムプログラム１における各種テーブル構造を表すもので、このテーブル８８のデータ構造によって、取込んだ画像データを管理している。
【００２１】
このデータ構造は、例えば、ビデオヘッダ（１回で取り込んだ画像の共通データを保存・管理する）、管路情報ヘッダ（各管路の固有データを保存・管理する）、調査情報（各管路の調査時の情報を保存・管理する）、人孔（マンホール）情報（各管路の人孔情報を保存・管理する）、画像診断環境設定値（調査診断時の状態を記憶する）、画像フレーム情報（取り込んだ画像データのフレーム情報を管理する）、画像診断情報（取り込んだ画像データの診断情報を管理する）、インデックス情報（調査診断時に登録したインデックス情報を管理する）などである。
【００２２】
前記ＣＰＵ８１には、入出力制御部８２を介して入力装置８３、表示装置８４及び出力装置８５が結合されている。
前記入出力制御部８２は、入力装置８３からの信号をＣＰＵ８１に送り、また、ＣＰＵ８１による演算結果を表示装置８４及び出力装置８５に送る役割を果たしている。前記入力装置８３は、マウス、キーボードなどからなり、前記表示装置８４は、パソコンのディスプレイ、ＴＶ画面などからなり、前記出力装置８５は、プリンタなどからなる。
前記システムプログラム１は、メモリ８０に読込まれ、このメモリ８０からＣＰＵ８１にプログラムの情報が送られて、演算処理を行い、プログラム１を立ち上げる。その後、入力装置８３からの信号によって、画像の再生、画像の診断、診断情報の入力などの様々な処理をＣＰＵ８１にて行い、その都度、結果を表示装置８４及び出力装置８５に出力し、その出力の結果を基に、診断者が管渠の総合的な診断を行う。
【００２３】
前記システムプログラム１には、図５に示す本発明の管渠内検査診断作業支援プログラム１を具備している。この管渠内検査診断作業支援プログラム１は、現地管渠調査の結果（以下、管路ビデオデータと呼ぶ）と、この管路ビデオデータをパソコンに取り込み作成された展開図（以下、診断情報と呼ぶ）とを使用して、事務所内でビデオ検査診断を行い、調査結果（以下、帳票と呼ぶ）を作成するためのものであり、診断データの入力・出力処理部２、診断支援処理部３、診断結果の入力処理部４、帳票の表示・印刷処理部５、帳票管理情報の入力処理部６、診断情報一覧の表示・印刷処理部７からなる。
【００２４】
前記帳票の表示・印刷処理部５は、診断結果に基づき作成される診断情報を元に、帳票の表示及び印刷を行うためのものである。
前記帳票管理情報の入力処理部６は、管渠の調査件名、調査個所、調査者、管路情報、人孔情報などの編集を行うためのものである。
前記診断情報一覧の表示・印刷処理部７は、診断した情報一覧を表示及び印刷を行うためのものである。
【００２５】
前記診断データの入力・出力処理部２は、管路ビデオデータ、展開図、帳票データの入力と出力を行うためのもので、診断を行う管渠のデータ、診断中の管渠データなどの入力・出力処理を行ったり、既存の帳票データの入力・出力を処理したりする機能に関する診断、帳票データの入力・出力処理と、データベース（ＤＢ）に保存されている診断データ、帳票データ、管路ビデオデータ、展開図を、ディスプレイやプリンタに出力する処理する機能に関するＤＢ用診断、帳票データ、管路ビデオデータ、展開図の出力処理とからなる。
【００２６】
前記診断支援処理部３は、診断を行うための管路ビデオデータの動画表示及び画像処理を行うためのもので、つぎのように構成されている。
インデックスの登録は、特定の管路ビデオデータを高速検索／表示できるように、画像にインデックスを付ける機能に関するものである。「インデックスの登録」釦をクリックすると、「画像のインデックス」ウィンドウが表示される。画像、カメラ角度には、現在表示されている画像の情報がセットされる。画像に画像名分類を固定項目から選択して又は手入力によって設定して登録すると、画像名（画像名分類＋距離）が表示され、「コメント」を入力し、「ＯＫ」釦をクリックすると、距離、カメラ角度、コメントが記憶される。
画像名分類で固定項目を選択する場合、次の項目から選択できる。
「破損」「クラック」「継目ずれ」「腐食」「たるみ蛇行」「浸入水」「取付け管突出し」「モルタル付着」「ラード付着樹根進入」「段差」「取付け管右」「取付け管左」「ジョイント」「その他」。
手入力によって設定して登録した項目については、次回登録時に選択項目として選ぶことができる。
【００２７】
インデックスの表示は、前記インデックスの登録で登録した画像を一覧表示し、目的の画像を高速検索して、表示するための機能に関するもので、以下の表示領域に画像の情報を表示する。
（１）「画像名一覧」リストボックス：インデックス画像名を一覧表示する。
（２）ビュー領域：選択されている画像のビュー表示を行う。
（３）画像名表示領域：選択されている画像名を表示する。
（４）距離表示領域：選択されている画像の距離を表示する。
（５）角度表示領域：選択されている画像の角度を表示する。
（６）コメント表示領域：選択されている画像に対するコメントを表示する。
（７）「表示釦」：この釦をクリックすると、選択されている画像が「インデックス画像表示」ウィンドウに表示される。
（８）「一覧から削除」釦：（１）「画像名一覧」で画像名を選択してこの釦をクリックすると、確認メッセージの表示後、インデックス画像から削除される。
（９）「ビデオデータ表示」釦：この釦をクリックすると、一覧を閉じ、管路ビデオデータ画像に現在選択中の画像を表示する。
【００２８】
イメージ図表示は、現在表示されている画像が管路内のどの部分を撮影したものなのかを把握するための機能に関するものである。また、範囲を選択して画像を拡大することができ、管路のどの部分を拡大しているのかを把握し易くするのに役立つ機能である。
【００２９】
重畳データ表示は、画面上に「調査距離表示」ウィンドウが表示される。この「調査距離表示」ウィンドウは、たとえば、「異常分類」「ランク情報」「異常状況」「距離」「カメラ角度」「連続異常状態」などである。
【００３０】
調査距離表示は、前記重畳データ表示におけるメニューを選択することにより、調査距離の表示／非表示を行う。「調査距離表示位置設定」ウィンドウを表示することにより、画面上の「左上」「左下」「右上」「右下」のどの部分に表示させるかを選択することができる。
【００３１】
スケール表示は、管路ビデオデータの画面上に図６に示すようなスケール９０の表示／非表示を行う。「スケール値設定」ウィンドウを表示することにより、スケール間隔は、５〜３０mmの範囲で設定できるようになっている。スケール９０を表示することにより、傷などの異常箇所のサイズを判断することができる。
【００３２】
管底角度表示は、管路ビデオデータの画面上に図６に示すように、管底角度９１の表示／非表示を行う。「管底角度表示」ウィンドウ（図示せず）を表示することにより、管底角度９１は０〜３５９度の範囲で設定できるようになっている。
【００３３】
異常図表示は、登録した異常図（異常箇所に付けたマーク点９２、複数のマーク点９２の結合線９３など）の表示／非表示を行う。画面上の表示／非表示を切り替えながら、マーク点９２の位置が正しいか、異常箇所は正しくマークされているかをチェックすることができる。
【００３４】
動画の表示は、図６に示すデッキコントローラ画面で動画表示に切替えた場合に動画の表示をするための機能に関するもので、「通常動画」の表示、「診断動画」（後述）の表示、「インデックス動画」（後述）の表示を再生する。
【００３５】
画像の拡大・縮小処理は、現在表示されている静止画上で、異常箇所をさらに詳しく見たい場合に画像を拡大したり、全体を把握するために縮小したり、元に戻したりする機能に関するものである。また、静止画上で拡大又は縮小して表示中に、動画表示に切替えると、拡大又は縮小したまま動画表示される。
【００３６】
画像のシャープ／明暗表示は、画像の鮮明さと、画像の明暗を調整するための機能に関するもので、画像が見づらいときには、この機能で調整することができる。「標準」釦を選択すると元の設定に戻る。
【００３７】
図６において、デッキコントローラ操作処理は、動画種別（通常画像、診断画像又はインデックス画像）の選択、選択された表示動画の停止・再生の操作、目的の画像までのジャンプ表示、動画の移動方向・速度、移動距離の設定などの機能に関するものである。
【００３８】
前記診断結果の入力処理部４は、つぎのように構成されている。この診断結果の入力処理部４では、診断情報の登録、インデックスの登録、帳票管理情報の編集を入力するための処理を行う。
【００３９】
編集選択処理は、図６に示す「診断情報登録」ウィンドウを表示し、「編集選択」の中の「新規登録」、「編集」（過去に登録した診断情報の編集）、「削除」（過去に登録した診断情報の削除）のいずれかを選択して検査診断作業を進める。
【００４０】
診断箇所マウス選択処理は、異常箇所にマウスによりマーク点９２を付けるための選択処理機能に関するものである。
【００４１】
異常分類の登録は、予め決められた異常分類の中から、発見した異常箇所の分類を選択し、登録する作業に関するものである。異常分類には、例えば、破損、クラック、継目ずれ、腐食、たるみ蛇行、侵入水、取付管突出し、モルタル付着、ラード付着樹根侵入、段差、取付管右、取付管左、その他、があり、この中から選択し、登録する。
【００４２】
ランク情報の登録は、異常箇所の大きさから、そのランク付けするためのもので、「特Ａ」：特に大きいもの、「Ａ」：例えば、大きさが５mm以上のもの、「Ｂ」：例えば、大きさが２〜５ｍｍのもの、「Ｃ」：例えば、大きさが２mm以下のもの、「その他」：クラック以外の流木など、が付される。
【００４３】
異常状況の登録は、予め決められた異常状況の中から、異常箇所の状況に相応しいものを選択し、登録する。異常状況には、例えば、取付管、取付管右、取付管左、取付管突出し、破損、クラック、継目ずれ、腐食、たるみ蛇行、侵入水、モルタル付着、ラード付着樹根侵入、段差、などがあり、この中から選択し、登録する。
【００４４】
詳細情報の登録は、異常箇所に関する詳細情報を入力するためのもので、「詳細入力」釦をクリックして、「詳細入力」ウィンドウを表示し、異常個所に関して気付いた点をコメントとして登録する。
【００４５】
距離、角度編集処理は、診断情報の登録を行う画像の距離とカメラ角度を、診断結果の入力画面上に表示する機能に関するものである。これは、撮影のときに既に決まっている値なので、変更はできない。
【００４６】
異常図の表示／非表示指定処理は、異常図表示を登録するときに、チェックボックスにチェックを入れることにより、帳票を表示したときにその診断図を拡大図として表示できる。すなわち、管渠の診断結果を帳票としてまとめるときに、現在診断登録しようとしている画像を診断図として表示するかどうかを選択する機能に関するものである。
【００４７】
登録処理は、図６において、画像の異常個所にマーク点９２（例えば×印）を付けて、前記異常分類、ランク情報、異常状況、詳細情報などの診断情報を用いて、登録処理を行うための機能に関するものである。
・単独登録：画面上に、画像と「診断情報登録」ウィンドウを表示する。
手順１．画像の異常箇所にマウスによりクリックしマーク点９２を付ける。
クリア釦で消去することができる。
手順２．「診断情報登録」ウィンドウの「異常分類」「ランク情報」「異常状況」「詳細情報」を下記の要領で入力する。
手順３．「診断情報登録」ウィンドウの「登録」釦をクリックして入力情報を登録する。
・連続登録：画像１枚に２以上の異常個所のマーク点９２、９２、…を付ける。
手順１．２．３．は、前記単独登録と同様であり、マーク点９２が順次結合線９３で結ばれる。
・連続登録：画像複数枚に異常個所のマーク点９２を付ける。
手順１．前記単独登録の手順１．と同様。
手順２．「デッキコントローラ」ウィンドウにて異常個所のある画像に移動させる。
手順３．前記単独登録の手順１．と同様。必要に応じて手順１．と２．を繰り返す。
手順４．前記単独登録の手順２．と同様。
手順５．前記単独登録の手順３．と同様。
【００４８】
診断情報表示処理は、図６において、「診断情報登録」ウィンドウを表示させ、「編集」を選択し、編集を行いたい異常個所のある画像を表示する。その画像の中で、「点移動」釦、「点追加」、「点削除」釦、「センサ駆除」釦により、それぞれの機能が行われる。
【００４９】
前記帳票の表示・印刷処理部５は、つぎのように構成されている。この帳票の表示・印刷処理部５は、管路ビデオデータを診断して作成した帳票をディスプレイに表示する処理と、その帳票を印刷する処理を行う機能に関するものである。帳票には、異常箇所として登録された画像の展開図と、診断情報から異常箇所を描画した図と、指定した異常図が表示される。
【００５０】
帳票の表示処理は、「帳票の表示」ウィンドウを開くと、図７に示すように、画面上に診断情報に基づく各種異常図（展開図、管路図、異常図など）を描画する。
【００５１】
帳票の印刷処理部は、「印刷」ウィンドウを開くと、描画されている帳票を印刷する。
【００５２】
帳票のイメージ保存処理は、「帳票イメージ保存」釦により、帳票に名前を付けて保存する。
【００５３】
帳票の拡大・縮小表示は、帳票を表示している状態で、展開図や異常図を拡大したり・縮小したりする。
【００５４】
マウス位置の距離表示は、展開図上のある一点にマウスを置いてクリックしたときのそのマウスを置いた位置の距離情報を表示する。
【００５５】
診断箇所選択による拡大図表示は、動画上で範囲を選択して拡大図を表示する。
【００５６】
診断図の拡大図表示は、診断画像の拡大図を表示する。
【００５７】
帳票の反転表示は、帳票において、通常は左側から右側に向かって撮影した画像の展開図を連結して表示するが、この向きを反転して表示する。
【００５８】
前記帳票管理情報の入力処理部６は、帳票を作成するときに管渠の詳細情報を記入して、帳票の管理情報を作成する機能に関するもので、つぎのように構成されている。
【００５９】
帳票管理情報の編集は、「帳票管理情報」ウィンドウを表示して、帳票管理に必要な記載事項を登録するためのもので、調査件名、調査場所、調査年度、判定者名、改良工事の有無、調査不能状況、管路情報、帳票イメージ、テレビカメラ情報、人孔情報としての上流人孔と下流人孔、などを登録して管理に役立てる。
【００６０】
帳票イメージ表示指定は、帳票に表示する展開図の表示の方法を決定するためのもので、スタート位置係数、表示距離、展開角度、管路目地位置、管節長、反転表示開始距離、などを記入して、帳票イメージを作成する。
【００６１】
前記診断情報一覧の表示・印刷処理部７は、診断を行った画像について登録した診断情報をもとに、調査した管渠で登録した全ての診断情報を一覧表示できるようにした機能に関するもので、つぎのように構成されている。
【００６２】
診断情報一覧表示は、診断情報を登録した順に番号を付けて、番号、異常図の表示指定欄、距離、カメラ角度、異常分類、ランク、異常状況を表示する。
【００６３】
診断情報集計表示は、異常分類と、その異常分類の具体的各項目毎のランク別の集計表を作成して、どの異常分類が多いのか、どのランクが多いのかを一目でわかるようにしたものである。
【００６４】
帳票への異常図表示指定は、前記診断情報表示で表示する一覧表の中にある異常図の表示指定欄に、チェックを入れると、帳票に異常図として表示する画像を選択し、表示させる。
【００６５】
本発明による管渠内検査診断支援装置管渠内検査診断支援プログラムを用いて診断を行う具体的な流れを、図１ないし図４を用いて説明する。
先ず、図１において、診断情報の登録を行う。そのためには、図３における管路ビデオデータ８６をパソコンのハードディスクなどのメモリ８０に、画像データ８７として読込む。また、システムプログラム１を起動させる。このシステムプログラム１で管路ビデオデータ８６の画像データ８７を開いて、「デッキコントローラ」ウィンドウを表示させる（図１のａ及び図６）。この「デッキコントローラ」を操作して、管路ビデオデータ８６を再生し、表示する（図１のｂ及び図６）。
【００６６】
「デッキコントローラ」では、図２（ａ）に示す管路ビデオデータ８６の画像フレーム情報１、２、…ｍを１フレームずつ再生し、表示することにより、管渠１０内でカメラ３５が前進又は後進して移動しているかのように、連続的に動画として再生することができる。さらに詳しくは、
（１）図２（ａ）に示す画像フレーム情報内の画像名を基に、表示画像を画面に表示させる。
（２）カメラのミラーレンズの特性、調査管路半径、画像フレーム情報内の画像撮影距離を基に、表示中の画像に写っている管路の距離範囲を求める。
（３）求めた管路の距離範囲を図２（ｂ）に示す画像診断情報に記録されている管路距離と比較し、関連のある画像診断情報の内容を画面上に表示させる。
また、動画以外に１フレーム毎に静止画として見ることもできる。
【００６７】
先ず、動画として再生して診断登録したい画像を検索する。異常箇所として可能性のある部分を発見したら（図１のｃ）、静止画に切替えて詳しく診断するような作業を行う。異常箇所をマウスボタンでクリックすると（図１のｄ）、図２（ｂ）に示す画像診断情報を作成し、マウス位置座標を図２（ｂ）の▲１▼の欄に仮登録し、そのときの画像フレーム番号も図２（ａ）の画像フレーム情報から、自動的に図２（ｂ）の欄に記録される。また、画面上にはマーク点９２（×印）が表示される。ここで、異常箇所がある間は、登録継続？がＹＥＳとなり、図１のｂに戻り繰り返す。
【００６８】
次に、登録継続？がＮＯになると、診断情報ウィンドウを開いて診断情報の入力に移り（図１のｆ）、診断情報を設定する。
診断情報の設定では、図６に示すように、１．異常分類の選択、２．ランク情報の選択、３．異常状況の選択、４．詳細情報の入力を行う。
１．異常分類には、前記異常分類の登録で示した通り、破損、クラック、継目ずれ、腐食、たるみ蛇行、侵入水、取付管突出し、モルタル付着、ラード付着樹根侵入、段差、取付管右、取付管左、その他があり、この中から選択する。
２．ランク情報には、前記ランク情報の登録で示した通り、「特Ａ」、「Ａ」、「Ｂ」、「Ｃ」、「その他」として扱う。
３．異常状況は、前記異常状況の登録で示した通り、取付管、取付管右、取付管左、取付管突出し、破損、クラック、継目ずれ、腐食、たるみ蛇行、侵入水、モルタル付着、ラード付着樹根侵入、段差があり、この中から選択する。
４．詳細情報は、異常個所に関して気付いた点をコメントとして登録する。
【００６９】
診断情報の設定内容に変更点がなし、がＮＯの間はこれを繰り返し、ＹＥＳを確認したら（図１のｇ）、登録釦を選択して（図１のｈ）、登録を終了する。登録釦を選択すると、異常個所故障状況と登録状態が、図２（ｂ）の▲３▼と▲５▼に登録される。▲４▼の登録点の管路距離は、画像フレーム番号の距離とマウス位置座標から求められて登録される。
ここで、▲５▼における登録状態において、前記登録処理における単独登録の場合は０がセットされる。また、連続登録であって、連続開始点であれば１、連続登録中であれば２、連続点終了点であれば３がセットされる。
【００７０】
以上のようにして登録されたマーク点９２、結合線９３を含む画像フレームは、帳票に展開図として表示され、また、異常図としてその画像フレームを表示することもできる。また、このマーク点９２と結合線９３は、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示されるようになっている。
例えば、図４（Ａ）において、カメラがａの位置における画像で傷を発見し、上述の登録の手順で、図４（Ｃ）のようにマーク点９２と結合線９３つきの画像を登録したとする。この（Ｃ）の画像のマーク点９２と結合線９３の位置は、管渠での空間座標に変換されて認識されており、この空間座標でのマーク点９２と結合線９３の位置は、隣接する画像フレームにも存在するかどうかを演算により求め、存在する場合は、画像診断情報として登録され、該当する位置にマーク点９２と結合線９３が表示される。
したがって、図４（Ｂ）のように、カメラがｂの位置まで移動したとすると、傷の位置も移動するが、空間座標の位置は、図４（Ａ）でカメラがａの位置のとき登録した傷と同じであるため、この図４（Ｂ）のカメラがｂの位置での画像フレームには、自動的にマーク点９２と結合線９３が表示されることになる。
このような方法をとることで、一度登録したマーク点９２と結合線９３は他の画像フレームにも表示されることになり、動画として見たときにマーク点９２と結合線９３も一緒に移動して見えるようになる。図４（Ｄ）に示すように、カメラの位置がａからｂに移動する間の画像フレームには、全てマーク点９２と結合線９３が表示されるため、傷も図のように移動して見える。
【００７１】
管路ビデオデータを最後まで診断して、診断情報登録が終わったら、帳票を作成する。帳票に表示する展開図の表示距離範囲や展開角度は、前記帳票イメージ表示指定によって指定でき、評価し易いように設定する。また、前記帳票管理情報の編集によって帳票管理情報を作成して、診断結果として全体の評価を行う。例えば、図７に示すように、展開図、管路図、異常図がそれぞれ表示される。
【００７２】
管路ビデオデータと帳票は、データベース（ＤＢ）として保存をする。ここで、管路ビデオデータをすべて保存しようとすると、容量が大きくなりすぎ、ＤＢサイズの非常に大きなもの必要とする。そこで、管路ビデオデータにおける画像フレームの間引きを行って、容量を減らすことが望まれる。
この画像フレーム削減の方法を、図８に示すフローチャートに沿って説明する。
（ａ）先ず、間引き間隔と保存先を指定する。このとき指定間隔カウンタ＝０とする。
（ｂ）１枚目の画像と画像フレーム情報は無条件に保存される。
（ｃ）次に最後の画像フレームでないことを確かめる。
（ｄ）最後の画像フレームでなければ、指定間隔カウンタに＋１を加算する。
（ｅ）＋１加算した後に、次の画像フレーム情報を処理対象とする。
（ｆ）この画像フレーム情報に、画像診断情報との関連があるかどうかをチェックする。
（ｈ）ここで画像診断情報との関連がある場合には、指定間隔カウンタ＝０にする。
（ｉ）その画像、画像フレーム情報を保存して、（ｃ）の処理へもどる。
（ｇ）画像診断情報との関連がない場合には、指定間隔カウンタ＞間引き間隔であるかをチェックする。
（ｈ）指定間隔カウンタの方が大きい場合には、指定間隔カウンタ＝０にする。
（ｉ）その画像、画像フレーム情報を保存して、（ｃ）の処理へもどる。
（ｇ）において、間引き間隔の方が大きい場合には、そのまま（ｃ）の処理へもどる。
以上の処理を続けると、画像フレーム情報に画像診断情報との関連がない画像は、保存されずに処理され、容量は減る。しかし、画像診断情報との関連がない画像を全て保存しないと動画としての連続性を失うので、間引き間隔を設定して、一定間隔が空いたら１枚保存するという処理を行っている。
例えば、３０フレーム／秒の管渠内撮影画像を１フレーム／秒にコマ落としする処理をする場合において、前から順番に１フレーム残して２９フレームを捨てる処理を行うと、イベント情報（異常情報、取付け管情報など）が登録されているフレームが捨てられてしまうので、保存フレームと決定した次のフレームから２９番目までのフレームにおいてイベント情報が登録されているフレームの有無を確認し、イベント情報がない場合は、全てを捨て、ある場合は、イベント情報の登録されているフレームを残し、次のフレームから２９フレームまでについて同様の処理を繰り返す。
【００７３】
【発明の効果】
本発明によれば、管渠ビデオデータに基づき動画として再生表示する手段と、表示画像上でマーク点を付ける手段と、登録した画像フレーム番号を登録する手段と、マーク点の管路距離を求める手段とを具備したので、動画として再生したときに、マークした点が移動して見え、素人でもより確実に異常箇所の認識が容易になる。
【００７４】
マーク点を付けた表示画像上に画像診断情報を登録する手段を具備したので、予め設定された異常分類の選択、予め設定されたランク情報の選択、予め設定された異常状況の選択及び任意に入力可能な詳細情報を登録することができる。また、診断情報を登録した画像フレームを利用して瞬時に帳票を作成できる。
【００７５】
登録した画像フレームの登録点に対応する点を、異なる画像フレームにおける対応する位置に演算により求め、この求められた位置にマーク点を表示する手段を具備したので、動画の移動に伴いマーク点も移動せしむることができる。
【００７６】
複数のマーク点間を結合線で連結する機能を有することにより、クラックの長さ、形状、幅などが一目で認識できる。
【００７７】
イベント情報を有する画像フレームと、イベント情報のない画像フレームのうちの所定間隔毎の画像フレームとを登録し、残りを削除することにより、データベースの記憶容量を削減できる。しかも、イベントの不足による問題もない。
【図面の簡単な説明】
【図１】本発明による管渠内検査診断支援方法を用いて、管路ビデオデータの診断を行うフローチャートである。
【図２】（ａ）は、画像フレーム情報の説明図、（ｂ）は、画像診断情報の説明図である。
【図３】本発明による管渠内検査診断支援装置の一実施例を示すブロック図である。
【図４】本発明による管渠内検査診断支援装置を用いた場合のカメラの位置と管路ビデオデータの対応を示すもので、（Ａ）は、ａ点での撮影状態の一部切り欠いた斜視図、（Ｂ）は、ｂ点での撮影状態の一部切り欠いた斜視図、（Ｃ）は、ａ点でのカメラの画像図、（Ｄ）は、ｂ点でのカメラの画像図である。
【図５】本発明の管渠内検査診断作業支援プログラム１の構成を示す説明図である。
【図６】本発明による管渠内検査診断支援装置を用いて表示したインデックス画像例の正面図である。
【図７】本発明による管渠内検査診断支援装置を用いて表示した帳票例の正面図である。
【図８】本発明による管渠内検査診断支援方法において、画像フレーム数を間引きする方法を説明したフローチャートである。
【図９】公開公報に記載された管渠内面画像の処理装置を示すブロック図である。
【図１０】図９の管渠内面画像の処理装置による展開図作成の順序を示すもので、（ａ）は、１フレーム分の展開図、（ｂ）は、複数フレーム分の展開図、（ｃ）は、損傷情報付加後の展開図である。
【図１１】図９の管渠内面画像の処理装置を説明するためのもので、（ａ）は、ビデオカメラ３５の先端に全方位センサーとしての魚眼レンズ６１を取り付けた状態の説明図、（ｂ）は、最大撮影角αｍａｘと、最小撮影角αｍｉｎと、可視範囲の説明図、（ｃ）は、ビデオカメラ３５に映し出された画像の投影図である。
【図１２】図１１におけるビデオカメラ３５を管渠１０にセットした状態の斜視図である。
【図１３】（ａ）は、実管渠１０の展開前の実画像データ図、（ｂ）は、展開後の展開図である。
【図１４】図９の管渠内面画像の処理装置の要部の他の実施例を示すもので、（ａ）は、魚眼レンズの前方監視画像を映し出すための説明図、（ｂ）は、表示画面６９に壁面画像７５と前方監視画像７４を映し出した状態の説明図、（ｃ）は、前方監視画像７４を拡大して映し出した説明図、（ｄ）は、前方監視画像７４の領域を広げて映し出した説明図である。
【符号の説明】
１…管渠内検査診断作業支援プログラム、２…診断データの入力・出力処理部、３…診断支援処理部、４…診断結果の入力処理部、５…帳票の表示・印刷処理部、６…帳票管理情報の入力処理部、７…診断情報一覧の表示・印刷処理部、１０…管渠、１１…壁面、１４…クラック、１４ａ…実管渠１０のクラック、１４ｂ…ビデオカメラ３５で映した画像のクラック、１４ｃ…展開図のクラック、３５…ビデオカメラ、３６…ビデオデータ入力装置、３７…展開図処理装置、３９…展開図出力装置、４０…ビデオデッキ、４１…ビデオキャプチャボード、４２…画像データ記憶部、４４…展開補正処理部、４５…展開データ記憶部、４６…データマッチング部、４７…展開図作成部、４８…展開図記憶部、５３…展開図出力部、５４…モニター、５５…プリンタ、５６…文字認識処理部、５７…継目、５８…クラック、５９…水面、６０…汚れ、６１…全方位センサー（２葉双曲面鏡又は魚眼レンズ）、６２…リレーレンズ、６３…イメージセンサ、６４…照明灯、６５…反射面、６６…透過面、６７…反射面、６８…入射面、６９…画面、７０…透過部、７１…ズームレンズ、７２…広角レンズ、７３…非映写部、７４…監視画像、７５…壁面画像、８０…メモリ、８１…ＣＰＵ、８２…入出力制御部、８３…入力装置、８４…表示装置、８５…出力装置、８６…管路ビデオデータ、８７…画像データ、８８…テーブル、９０…スケール、９１…管底角度、９２…マーク点、９３…結合線。
【図１】
0004149179.tif 000002
【図２】
0004149179.tif 000003
【図３】
0004149179.tif 000004
【図４】
0004149179.tif 000005
【図５】
0004149179.tif 000006
【図６】
0004149179.tif 000007
【図７】
0004149179.tif 000008
【図８】
0004149179.tif 000009
【図９】
0004149179.tif 000010
【図１０】
0004149179.tif 000011
【図１１】
0004149179.tif 000012
【図１２】
0004149179.tif 000013
【図１３】
0004149179.tif 000014
【図１４】
0004149179.tif 000015