(57)【特許請求の範囲】
【請求項１】
車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニットおよびＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法であって、
トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、
該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影する撮影ステップと、
前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、
前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、
前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと、
を有するコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法。
【請求項２】
車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニット、ＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断をコンピュータに行なわせるプログラムであって、
コンピュータに
トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、
該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影した撮影画像データを取得する撮影画像取得ステップと、
前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、
前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、
前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと
を実行させるコンクリート製のトンネルの内壁の欠陥の有無の診断を行うプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を利用した演算装置、演算方法、およびプログラムに関する。
【背景技術】
【０００２】
ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にＩＭＵで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている（例えば、特許文献１を参照）。また、光学計測により、コンクリートの劣化診断を行う技術が知られている（例えば、特許文献２や３を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４０８８６号公報
【特許文献２】特開２０１２−１８５００２号公報
【特許文献３】特開２０１４−９５５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
光学計測により、コンクリートの劣化診断を行う技術では、診断した場所の特定が困難であるという問題がある。このような背景において、本発明は、欠陥の診断を行った場所の位置を容易に特定できる技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニットおよびＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法であって、トンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影する撮影ステップと、前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップと、を有するコンクリート製のトンネルの内壁の欠陥の有無の診断を行う方法である。
【０００６】
請求項２に記載の発明は、車両に対する外部標定要素が既知のカメラ、ハイパースペクトルカメラ、ＧＮＳＳユニット、ＩＭＵを用いてコンクリート製のトンネルの内壁の欠陥の有無の診断をコンピュータに行なわせるプログラムであって、コンピュータにトンネルの外を走行している状態で前記ＧＮＳＳユニットからの位置情報の取得を行ない前記車両の絶対位置を取得する絶対位置取得ステップと、該絶対位置取得ステップの後に前記カメラおよび前記ハイパースペクトルカメラにより前記トンネルの内壁を連続して撮影した撮影画像データを取得する撮影画像取得ステップと、前記カメラが撮影した複数のフレーム画像における特徴点のトラッキングを行ない、交会法により、前記複数のフレーム画像の撮影時における前記カメラの位置と前記特徴点の位置との相対位置関係を特定する相対位置関係特定ステップと、前記ＧＮＳＳユニットからの前記位置情報、前記ＩＭＵの計測データおよび前記相対位置関係に基づき、前記複数のフレーム画像における前記特徴点の絶対座標系における三次元位置および前記複数のフレーム画像の撮影時における前記カメラの絶対座標系における位置と姿勢を取得する位置姿勢取得ステップと、前記ハイパースペクトルカメラが撮影した前記トンネルの内壁の特定のフレーム画像が指定された場合に、前記位置姿勢取得ステップで得た絶対座標系における前記特徴点の三次元位置、前記カメラの前記位置および前記姿勢に基づき、前記特定のフレーム画像に写った前記トンネルの前記内壁の絶対座標系における三次元位置を取得するトンネル内壁の三次元位置取得ステップとを実行させるコンクリート製のトンネルの内壁の欠陥の有無の診断を行うプログラムである。
【発明の効果】
【００１０】
本発明によれば、欠陥の診断を行った場所の位置を容易に特定できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態の概念図である。
【図２】実施形態のブロック図である。
【図３】演算部のブロック図である。
【図４】相対位置を特定する原理を示す原理図である。
【図５】テンプレートマッチングの原理を示す原理図である。
【図６】前方交会法の原理を示す原理図である。
【図７】後方交会法の原理を示す原理図である。
【図８】処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
１．第１の実施形態
（構成）
図１は、実施形態の概念図が示されている。図１には、車両１００が示されている。車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台（ベース）上に全周カメラ１１１、ＩＭＵ１１２、ＧＮＳＳユニット１１３、ハイパースペクトルカメラ１１４、演算部１１５を備えている。
【００１３】
全周カメラ１１１は、周囲３６０°と上方の動画撮影を行う。全周カメラ１１１の代わりに特定の範囲の撮影を行うカメラを用いることもできる。ＩＭＵ１１２は、慣性計測装置であり、自身に加わる加速度を検出する。ＩＭＵ１１２が計測する自身に加わる加速度の情報から、ＩＭＵ１１２の姿勢の変化を知ることができる。そして、ＩＭＵ１１２の姿勢の変化を知ることで、車両１００、全周カメラ１１１およびハイパースペクトルカメラ１１４の姿勢の変化を知ることができる。ＧＮＳＳユニット１１３は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。全周カメラ１１１、ＩＭＵ１１２およびハイパースペクトルカメラ１１４は、ＧＮＳＳユニット１１３から供給される同期信号に基づいて同期して動作を行う。なお、同期信号を生成する回路を用意し、そこから供給される同期信号に基づき、全周カメラ１１１、ＩＭＵ１１２およびハイパースペクトルカメラ１１４の動作を同期させてもよい。
【００１４】
ハイパースペクトルカメラ１１４は、数十以上といった多数の波長帯域の動画情報を取得するカメラである。例えば、通常のカラーカメラは、ＲＧＢの３波長帯域の画像情報を取得するが、ハイパースペクトルカメラ１１４は、数十波長帯域の画像情報を取得する。ハイパースペクトルカメラ１１４が得た情報を解析すると、撮影対象の物性や温度に関する情報を得ることができる。
【００１５】
物質は、固有な光の反射および吸収の特性を有している。したがって、ハイパースペクトルカメラが撮影したハイパースペクトル画像を解析することで、撮影対象の材質に係る情報を得ることができる。また、例えば、赤外帯域の情報を解析することで、撮影対象物の温度やその分布を知ることができる。例えば、コンクリートで構成されたトンネル内壁に亀裂や劣化があると、材質の変質や漏水の影響により、その部分から反射あるいは放射される紫外〜赤外におけるスペクトル分布が他の正常な部分と異なるものとなる。このことを利用して、コンクリート製のトンネル内壁の欠陥の有無の診断を行うことができる。
【００１６】
全周カメラ１１１、ＩＭＵ１１２、ＧＮＳＳユニット１１３、ハイパースペクトルカメラ１１４の車両１００に対する外部標定要素（位置と姿勢）は予め取得され、既知である。当然、全周カメラ１１１に対するハイパースペクトルカメラ１１４の外部標定要素は予め判っている。これらの情報は、演算部１１５内に記憶されている。
【００１７】
演算部１１５には、ＰＣ（パーソナルコンピュータ）１１６が接続できる。ＰＣ１１６により、ユーザによる各種の操作が行われる。また、ユーザは、ＰＣ１１６のディスプレイ上で全周カメラ１１１やハイパースペクトルカメラ１１４が撮影した画像を見ることができる。なお、ＰＣ１１６に演算部１１５で行われる演算の少なくとも一部を行わせることも可能である。
【００１８】
演算部１１５は、コンピュータとして機能するハードウェアである。図３に示すように、演算部１１５は、データ受付部１２１、データ入出力部１２２、位置関係算出部１２３、ハイパースペクトルカメラの位置姿勢算出部１２４、計測位置算出部１２５、対応点特定部１２６、全周カメラの位置姿勢算出部１２７、時刻同期部１２８、データ記録部１２９を備えている。これら機能部は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
【００１９】
データ受付部１２１は、全周カメラ１１１が撮影した全周画像の画像データ、ＩＭＵ１１２からの加速度に関するデータ、ＧＮＳＳユニットからの位置情報と時刻情報に関するデータ、ハイパースペクトルカメラ１１４が撮影したハイパースペクトル画像の画像データを受け付ける。時刻同期部１２８は各センサーが情報を取得した時刻を記録する。データ記録部１２９は各センサーの値と取得時刻を記録する。データ入出力部１２２は、ＰＣおよび他の装置との間でデータのやり取りを行う。位置関係算出部１２３は、全周カメラ１１１が撮影した対象物における複数の特徴点と全周カメラ１１１の移動経路の位置関係を算出する。以下、位置関係算出部１２３の機能について説明する。
【００２０】
図４には、全周カメラの位置と、全周カメラ１１１が撮影した対象物の特徴点との位置関係が示されている。図４には、Ｐ１〜Ｐ６と全周カメラ１１１が移動しつつ、対象物２０と２１を撮影した場合が示されている。ここで、Ａ１〜Ａ７およびＢ１〜Ｂ８は、対象物の特徴点である。
【００２１】
まず、Ｐ１において撮影した画像から特徴点Ａ１〜Ａ３，Ｂ１〜Ｂ４が抽出される。特徴点としては、周囲から区別できる点であり、例えば、エッジ部分や周囲と色彩が異なっている部分が抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。
【００２２】
また、Ｐ２において撮影した画像から特徴点Ａ１〜Ａ３，Ｂ１〜Ｂ５が抽出される。異なる視点から得られた特徴点同士の対応関係の特定（トラッキング）は、対応点特定部１２６においてソフトウェア処理によって行われる。例えば、この対応関係の特定は、テンプレートマッチングにより行われる。
【００２３】
テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図５は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ１×Ｎ１画素のテンプレート画像を、それよりも大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。
【００２４】
【数１】
0006460700.tif 000002
【００２５】
上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。
【００２６】
テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。
【００２７】
Ｐ１およびＰ２から得た特徴点の対応関係を求めたら、交会法を用いてＰ１，Ｐ２，Ａ１〜Ａ４，Ｂ１〜Ｂ４の相対位置関係を算出する。図６には、前方交会法の原理が示されている。前方交会法とは、既知の複数点（図６の場合は２点（Ｏ１，Ｏ２））から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。
【００２８】
図７には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：2010/4発行）182p,p184に記載されている。また、特開2013―186816号公報には具体的な計算方法の例が示されている。
【００２９】
原理的にいうと、Ｐ１からＡ１，Ａ２に向けての方向線を設定し、更にＰ２からＡ１，Ａ２に向けての方向線を設定することで、Ｐ１，Ｐ２，Ａ１〜Ａ４の相対位置関係が特定される。また、Ａ１〜Ａ４からＰ３に向かう方向性を設定することで、Ｐ３とＡ１〜Ａ４の相対位置関係が特定される。ここで、Ａ１〜Ａ４とＰ２の相対位置関係が特定されていれば、Ｐ１〜Ｐ３とＡ１〜Ａ４の相対位置関係が特定される。この原理により、Ｐ１〜Ｐ６とＡ１〜Ａ７，Ｂ１〜Ｂ９の相対的な位置関係が特定される。この交会法を用いた相対位置関係の特定が位置関係算出部１２３において行われる。なお、Ｐ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９のなかの２点以上の絶対座標値あるいは特定の２点間の距離が与えられていない段階では、図４のモデルの縮尺は決まらず、各点間の距離の絶対値は判らない。
【００３０】
また、この段階でＰ１における全周カメラ１１１の姿勢に対するＰ２における全周カメラの姿勢が求められる。すなわち、図４に例示するようなモデルが決まることで、Ｐ１から見た特定の特徴点の方向とＰ２から見た特定の特徴点の方向との相対的な関係が判るので、Ｐ１における全周カメラ１１１の姿勢とＰ２における全周カメラ１１１の姿勢との相対的な関係が判る。この原理により、各位置間における全周カメラ１１１の姿勢の変化が画像上にある共通した複数の特徴点に基づいて算出される。こうして、Ｐ１〜Ｐ６における全周カメラ１１１の姿勢の相対的な関係が得られる。
【００３１】
以上のＰ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９の相対的な位置関係およびＰ１〜Ｐ６における全周カメラ１１１の姿勢の相対的な関係を特定するための処理が位置関係算出部１２３において行われる。ところで、図４の場合は、Ｐ１，Ｐ２，Ｐ６においてＧＰＳによる絶対位置の特定が行なわれる。よって、上記の相対位置関係において、Ｐ１，Ｐ２，Ｐ６の座標をＧＰＳから得られた絶対位置の座標に置き換えることで、絶対座標系におけるＰ１〜Ｐ６，Ａ１〜Ａ７，Ｂ１〜Ｂ９の座標値が得られる。そして、各位置の絶対座標値が得られることで、Ｐ１〜Ｐ６へと移動する全周カメラ１１１の移動経路が判明する。こうして、各時刻における全周カメラ１１１の絶対座標系における位置と姿勢が算出される。この処理は全周カメラの位置姿勢算出部１２７において行われる。
【００３２】
ハイパースペクトルカメラの位置姿勢算出部１２４は、全周カメラの位置姿勢算出部１２７で算出された全周カメラ１１１の位置と姿勢に関するデータ、およびハイパースペクトルカメラ１１４の全周カメラ１１１に対する外部標定要素から、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢を算出する。
【００３３】
計測位置算出部１２５は、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢から、ハイパースペクトルカメラ１１４が撮影している範囲における対象物の位置を算出する。
【００３４】
例えば、ハイパースペクトルカメラ１１４から得たハイパースペクトル画像の特定のフレーム画像に映った対象物の位置を特定する場合を考える。この場合、まずこのハイパースペクトル画像のフレーム画像が得られた時刻ｔを取得する。なお、フレーム画像というのは、動画を構成する単位画像のこという。特定の間隔で次々に撮像されたフレーム画像により、動画は構成される。これは、全周カメラ１１１が撮影する動画においても、ハイパースペクトルカメラ１１４が撮影する動画においても同じである。
【００３５】
時刻ｔが判れば、その時刻における全周画像（全周カメラ１１１が撮影した画像）のフレーム画像が得られる。ここで、全周カメラ１１１に対するハイパースペクトルカメラ１１４の外部標定要素は既知である。よって、ハイパースペクトルカメラ１１４が撮影している範囲が、全周カメラ１１１により撮影した全周画像中のどの部分かを知ることができる。例えば、車両１００の左９０°を中心にある視野の範囲をハイパースペクトルカメラ１１４が撮影しているといった情報が得られる。
【００３６】
ここで、例えば上記の車両１００の左９０°を中心にある視野の範囲における撮影対象物の特徴点の三次元座標は、位置関係算出部１２３の演算結果から知ることができる。よって、当該範囲に映っている対象物の特徴点の三次元座標（例えば、画面中心に最も近い特徴点の三次元座標）をハイパースペクトルカメラ１１４が計測していた対象物の座標として採用することで、時刻ｔにハイパースペクトルカメラ１１４が計測していた対象物の位置のデータを得ることができる。この特定の時刻にハイパースペクトルカメラ１１４が計測していた対象物の位置を算出する処理が計測位置算出部１２５において行われる。
【００３７】
上記の原理を利用すると、特定の時刻におけるハイパースペクトルカメラ画像のフレーム画像中の特定の位置をユーザが指定した場合に、その位置の三次元座標（またはその近似値）を算出することもできる。例えば、図６において、Ｏ１がハイパースペクトルカメラ１１４の視点であり、Ｏ２が全周カメラ１１１の視点であるとする。そして、ｐ１がユーザが指定した画面上の位置であるとする。この場合、Ｐに全周画像中で抽出した特徴点があれば、ユーザがハイパースペクトルカメラ画面中で指定した画面座標位置ｐ１に対応する位置の測定対象物の三次元座標が判る。なお、Ｐに全周画像中で抽出した特徴点がない場合、Ｐの近くにある特徴点を近似点として採用し、その三次元座標値を近似値として採用すればよい。また、Ｐが特定できれば、ｐ２も判るので、ハイパースペクトル画像中の特定の点に対応する全周画像中の画面座標値も特定できる。
【００３８】
以上の機能を利用すると、例えば、ハイパースペクトル画像中で対象物の欠陥部分を発見した場合に、その時刻にハイパースペクトルカメラ１１４が撮影していた対象物の位置の情報を得ることができる。また、更にユーザが特定の部分を指定することでその位置の三次元座標を知ることができる。
【００３９】
（処理の一例）
図８には、処理の手順の一例が示されている。図８に示す処理を実行するためのプログラムは、適当な記憶領域に記憶され、演算部１１５において実行される。このプログラムは適当な記憶媒体に記憶させることが可能である。
【００４０】
ここでは、車両１００をトンネル１３０（図１参照）内で走行させ、その際に全周画像とハイパースペクトル画像を得、得られたハイパースペクトル画像を解析することでトンネル内壁１３１の欠陥部分を検出する場合の例を説明する。
【００４１】
まず、全周カメラ１１１とハイパースペクトルカメラ１１４を動作させながら、トンネル内で車両１００を走行させ、全周画像のデータとハイパースペクトル画像のデータを取得する（ステップＳ１０１）。この際、最初はトンネルの外を走行させ、ＧＮＳＳからの位置情報の取得を行い、図４のＰ１やＰ２のような複数の位置での絶対位置の取得が行えるようにする。なお、トンネル内に位置情報を発信するＧＣＰ(Ground Control Point)がある場合は、そこからの位置情報を利用し、特定の時刻における車両１００に絶対位置の情報を取得する。
【００４２】
この例では、画像データの取得を行いつつ、ステップＳ１０２〜Ｓ１０６の処理を行う。なお、ステップＳ１０２以下の処理は、画像データを得た後に改めて行ってもよい。ステップＳ１０２では、全周画像の各フレーム画像間における特徴点の追跡を行い、各フレーム画像間における複数の特徴点の間の対応関係の特定が行われる。この処理は、対応点特定部１２６において行われる。
【００４３】
特徴点の追跡が行われ、全周画像のフレーム画像間における特徴点の対応関係が特定されたら、図４に示す原理を用いて測定対象物の複数の特徴点と各時刻における全周カメラ１１１の位置と姿勢の相対的な位置関係が算出される。この処理は、位置関係算出部１２３において行われる。そして、各特徴点と各時刻における全周カメラ１１１の位置の相対的な位置と姿勢の関係が算出されることで、各フレーム（各時刻）における全周カメラ１１１の相対的な位置と姿勢が算出される。こうして、各フレームにおける全周カメラ１１１の相対的な位置と姿勢の情報が得られる（ステップＳ１０３）。
【００４４】
次に、ＧＮＳＳの航法信号等の絶対位置特定情報による絶対位置の特定が行なえた位置についてその位置を算出し、その座標値を当該時刻における全周カメラ１１１の位置とする（ステップＳ１０４）。
【００４５】
次に、ＧＮＳＳの航法信号等の絶対位置特定情報が得られない位置については、ステップＳ１０３で得た各フレーム間（各時刻間）における全周カメラ１１１の相対位置関係とステップＳ１０４で得た特定の時刻における全周カメラ１１１の絶対位置のデータに基づき算出する（ステップＳ１０５）。例えば図４の場合でいうと、Ｐ３の絶対位置は、ＧＰＳで特定されたＰ２の絶対位置とＰ２とＰ３の相対位置関係とから求めることができる。
【００４６】
ステップＳ１０４とＳ１０５の処理の結果、全周カメラ１１１の移動経路に関するデータが得られる。また、この移動経路のデータにＩＭＵ１１２が検出した加速度に基づく全周カメラ１１１の姿勢のデータが関連付けされる。こうして、各時刻の絶対座標系における全周カメラ１１１の位置と姿勢が求められる。この各時刻における全周カメラ１１１の位置と姿勢を求める処理が全周カメラの位置姿勢算出部１２７において行われる。
【００４７】
各時刻における全周カメラの位置が得られたら、全周カメラ１１１とハイパースペクトルカメラ１１４の位置および姿勢の関係から、各時刻におけるハイパースペクトルカメラ１１４の絶対座標系における位置と姿勢を算出する（ステップＳ１０６）。この処理は、ハイパースペクトルカメラの位置姿勢算出部１２４において行われる。
【００４８】
ここで、ハイパースペクトル画像の特定のフレームが指定された場合に、対応する時刻における全周画像からハイパースペクトルカメラ１１４が撮影している範囲の測定対象物の特定の位置（例えば、ハイパースペクトル画像の画像中心に対応する測定対象物の部分）の三次元座標の算出が行われる（ステップＳ１０７）。この処理は、計測位算出部１２５において行われる。
【００４９】
例えば、ユーザがハイパースペクトル画像を観察し、ハイパースペクトルカメラ１１４で撮影したトンネルの内壁の観察を行う場合を考える。この際、色彩やスペクトル情報等から亀裂や変質等の欠陥が疑われる場所が見つかったとする。この場合、ユーザは、欠陥を見出したハイパースペクトル画像のフレーム画像を指定する。すると、このハイパースペクトル画像のフレーム画像が得られた時刻から、当該時刻に全周カメラ１１１が撮影した対象物（トンネル内壁）の特徴点の三次元座標が判る。ここで、ハイパースペクトルカメラ１１４の全周カメラ１１１に対する位置と姿勢の関係から、ハイパースペクトルカメラ１１４が撮影していた領域に対応する全周画像中の領域は特定できるから、当該時刻にハイパースペクトルカメラ１１４が撮影していた領域の位置情報をユーザは知ることができる。つまり、トンネル全体のどの位置に欠陥が疑われる内壁が存在するのかに関する情報をユーザは知ることができる。
【００５０】
（その他）
異なる時刻に取得されたハイパースペクトル画像の複数のフレーム画像を用いて、前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。この場合、各時刻におけるハイパースペクトルカメラ１１４の位置を利用し、前方交会法を用いて、ハイパースペクトル画像中の特定の位置の三次元座標を求める。また、全周画像とハイパースペクトル画像とを用いて前方交会法によりハイパースペクトル画像中の特定の位置の三次元座標を求めることもできる。
【００５１】
また、ハイパースペクトルカメラ１１４が検出する赤外域の情報を利用した場合、あるいはハイパースペクトルカメラ１１４の代わりにサーモグラフィーカメラを用いた場合、配管における液体や気体の漏出個所の検出を行うことができる。この場合も欠陥があった配管の位置を特定することができる。
【産業上の利用可能性】
【００５２】
本発明は、欠陥の診断を行った場所の位置情報を容易に特定できる技術に利用可能である。
【符号の説明】
【００５３】
１００…車両、１１０…計測システム、１１１…全周カメラ、１１２…ＩＭＵ、１１３…ＧＮＳＳユニット、１１４…ハイパースペクトルカメラ、１１５…演算部、１３０…トンネル、１３１…トンネル内壁。
【図１】
0006460700.tif 000003
【図２】
0006460700.tif 000004
【図３】
0006460700.tif 000005
【図４】
0006460700.tif 000006
【図５】
0006460700.tif 000007
【図６】
0006460700.tif 000008
【図７】
0006460700.tif 000009
【図８】
0006460700.tif 000010