(57)【要約】  同定装置(101)にて、第1取得部(111)は、トンネル内の壁面が撮影された複数の写真画像を取得する。第1計算部(112)は、写真画像の特徴点の位置及び局所特徴量を計算する。構築部(113)は、壁面の3次元ポリゴンモデルを構築して壁面マップを生成する。第1マッピング部(114)は、写真画像の各画素と、壁面マップ内の位置と、を対応付ける。第2取得部(121)は、壁面が新たに撮影された検索画像を取得する。第2計算部(122)は、検索画像の特徴点の位置及び局所特徴量を計算する。第2マッピング部(124)は、写真画像及び検索画像の特徴点の位置及び局所特徴量を対比することにより、検索画像の各画素と、写真画像のいずれかの画素と、を対応付ける。出力部(125)は、検索画像の各画素に対応付けられた写真画像の画素が対応付けられた壁面マップ内の位置を出力する。
2018155590.tif 000002
【特許請求の範囲】
【請求項１】
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
を備える同定装置。
【請求項２】
前記第2取得部は、前記検索画像の撮影に引き続き、撮影位置ならびに撮影方向を所定の誤差範囲内で維持したまま、連写されたスキャン画像であって、前記壁面内のスキャン領域をレーザスキャナによりスキャンした様子が撮影されたスキャン画像を取得し、
前記第2マッピング部は、前記スキャン画像と、前記検索画像と、を対比することにより、前記スキャン画像の各画素と、前記検索画像のいずれかの画素と、を対応付け、
前記出力部は、前記スキャン画像に撮影された前記スキャン領域内の各画素に対応付けられた前記検索画像のいずれかの画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
ことを特徴とする請求項1に記載の同定装置。
【請求項３】
前記壁面マップは、前記3次元ポリゴンモデルにより前記壁面の3次元の座標値を表現する3次元マップである
ことを特徴とする請求項1に記載の同定装置。
【請求項４】
前記壁面マップは、前記3次元ポリゴンモデルを展開した展開図により前記壁面の2次元の座標値を表現する2次元マップである
ことを特徴とする請求項1に記載の同定装置。
【請求項５】
前記第1マッピング部は、
前記座標値を色情報に変換し、
前記変換された色情報を前記3次元ポリゴンモデルの前記座標値に対応付けられる点の色として割り当て、
前記複数の写真画像のそれぞれが撮影された撮影位置ならびに撮影方向から、前記色が割り当てられた前記3次元ポリゴンモデルをレンダリングして、前記複数の写真画像のそれぞれと同じサイズの対応画像を生成し、
前記生成された対応画像における各画素に描画された色を座標値に逆変換することにより、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける
ことを特徴とする請求項3または4に記載の同定装置。
【請求項６】
前記レンダリングは、GPU(Graphics Processing Unit)により実行される
ことを特徴とする請求項5に記載の同定装置。
【請求項７】
同定装置が、
トンネル内の壁面が撮影された複数の写真画像を取得し、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
前記トンネル内の壁面が新たに撮影された検索画像を取得し、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
ことを特徴とする同定方法。
【請求項８】
第1コンピュータを、
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部
として機能させる第1プログラムと、
第2コンピュータもしくは前記第1コンピュータを、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
として機能させる第2プログラムと、
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
従来から、トンネルの壁面の状況を把握するための調査装置が提案されている。【０００３】
たとえば、特許文献1には、
壁面と正対させた複数のビデオカメラを、壁面と略垂直な平面上に、壁面までの距離が各々等しく、かつ、隣り合うビデオカメラの視野の端部が重なり合うようにカメラ設置用架台に取り付け、計測車両を壁面と略一定の距離を保ちつつ移動させながら壁面を撮影することで、
ビデオカメラを壁面と正対させ、壁面までの距離を等しくし、かつ撮像視野の端部を重なり合うようにすることにより、縮尺が均一な壁面画像を撮影し、
画像のラップ率が低い場合や、撮像手段と辺面との距離が変化して画像の縮尺が変わるような場合には、INS(Inertial Navigation System)、走行距離計、レーザスキャナによる計測データを利用することで接合を可能とし、縮尺が均一な展開画像を作成する
という技術が提案されている。【０００４】
また、非特許文献1には、3次元の対象を異なる位置から撮影した複数の2次元画像もしくは2次元動画像から、当該対象の3次元情報を取得するSfM(Structure from Motion)技術が開示されている。【０００５】
特許文献1に開示される技術により得られる壁面画像に対して、非特許文献2に開示される技術を適用することにより、トンネル内の壁面の3次元形状の情報を得ることができる。さらに非特許文献3に開示される技術を適用することにより、トンネル内の壁面の2次元展開図を得ることができる。【０００６】
ここで、トンネル内のひび割れ、水漏れ、空洞等の変状を発見するには、定期的な点検を行い、適切に補修をする必要がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2004-12152号公報
【非特許文献】
【０００８】
【非特許文献１】Wikipedia, 「Structure from motion」の項, https://en.wikipedia.org/wiki/Structure_from_motion, 2017年2月11日に取得
【非特許文献２】Calakli F. and Taubin G., "SSD: Smooth Signed Distance Surface Reconstruction", Computer Graphics Forum, Volume 30, Number 7, 2011年9月
【非特許文献３】Michael S. Floater, "Mean value coordinates", Computer Aided Geometric Design, Volume 20, Numer 1, Pages 19-27, ISSN 0167-8396, http://dx.doi.org/10.1016/S0167-8396(03)00002-5, 2003年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、トンネル内では、GPS(Global Positioning System)を利用することができないため、トンネルの壁面に変状が発見された位置を適切に同定する必要がある。特に、点検と補修が異なる日に行われる場合には、以前に点検者が発見した変状の位置と、現在補修者が観察している位置と、が、一致しているか否か、どのような位置関係にあるかを、高速に判定することで、作業の効率化を図ることが求められている。【００１０】
このほか、トンネル壁面全体の観察は低い頻度(たとえば5年あるいは10年毎)で行い、過去に発見された変状の経過観察は高い頻度(たとえば毎年)で行うような点検手法を採用することも多い。変状の経過観察においては、点検者が現在観察している位置を同定して、経過観察すべき変状との位置関係を把握させ、点検者を目的箇所まで導く必要がある。【００１１】
また、トンネルの壁面において変状が発見された場合には、当該変状を撮影した画像と、以前に点検したときのトンネルの情報と、から、当該変状が発見された位置を高速に同定する技術が強く求められている。【００１２】
本発明は、上記の課題を解決するもので、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムに関する。
【課題を解決するための手段】
【００１３】
本発明に係る同定装置は、
トンネル内の壁面が撮影された複数の写真画像を取得し、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
前記トンネル内の壁面が新たに撮影された検索画像を取得し、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する。
【発明の効果】
【００１４】
本発明によれば、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る同定装置の概要構成を示す説明図である。
【図２】初期化処理の制御の流れを示すフローチャートである。
【図３】トンネルの壁面を撮影した複数の写真画像を256階調のグレイスケールで表す図面代用写真である。
【図４】トンネルの壁面を撮影した複数の写真画像を2階調のモノクロで表す図面代用写真である。
【図５】SfMにより得られた点群を256階調のグレイスケールで表す図面代用写真である。
【図６】SfMにより得られた点群を2階調のモノクロで表す図面代用写真である。
【図７】3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。
【図８】3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
【図９】3次元ポリゴンモデルの頂点を256階調のグレイスケールで表す図面代用写真である。
【図１０】3次元ポリゴンモデルの頂点を2階調のモノクロで表す図面代用写真である。
【図１１】3次元ポリゴンモデルの点を2次元の展開図に射影する様子を説明する説明図である。
【図１２】トンネル内の壁面の展開図を256階調のグレイスケールで表す図面代用写真である。
【図１３】トンネル内の壁面の展開図を2階調のモノクロで表す図面代用写真である。
【図１４】同定処理の制御の流れを示すフローチャートである。
【図１５】実験1において、検索画像の例を256階調のグレイスケールで表す図面代用写真である。
【図１６】実験1において、検索画像の例を2階調のモノクロで表す図面代用写真である。
【図１７】実験1において、検索画像にマッチする写真画像を256階調のグレイスケールで表す図面代用写真である。
【図１８】実験1において、検索画像にマッチする写真画像を2階調のモノクロで表す図面代用写真である。
【図１９】実験1において、検索画像が検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。
【図２０】実験1において、検索画像が検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
【図２１Ａ】実験2において、検索したいひび割れの写真画像Aの例を256階調のグレイスケールで表す図面代用写真である。
【図２１Ｂ】実験2において、検索したいひび割れの写真画像Bの例を256階調のグレイスケールで表す図面代用写真である。
【図２１Ｃ】実験2において、検索したいひび割れの写真画像Cの例を256階調のグレイスケールで表す図面代用写真である。
【図２１Ｄ】実験2において、検索したいひび割れの写真画像Dの例を256階調のグレイスケールで表す図面代用写真である。
【図２１Ｅ】実験2において、検索したいひび割れの写真画像Eの例を256階調のグレイスケールで表す図面代用写真である。
【図２２Ａ】実験2において、検索したいひび割れの写真画像Aの例を2階調のモノクロで表す図面代用写真である。
【図２２Ｂ】実験2において、検索したいひび割れの写真画像Bの例を2階調のモノクロで表す図面代用写真である。
【図２２Ｃ】実験2において、検索したいひび割れの写真画像Cの例を2階調のモノクロで表す図面代用写真である。
【図２２Ｄ】実験2において、検索したいひび割れの写真画像Dの例を2階調のモノクロで表す図面代用写真である。
【図２２Ｅ】実験2において、検索したいひび割れの写真画像Eの例を2階調のモノクロで表す図面代用写真である。
【図２３Ａ】実験2において、写真画像Aに対する検索画像を2階調のモノクロで表す図面代用写真である。
【図２３Ｂ】実験2において、写真画像Bに対する検索画像を2階調のモノクロで表す図面代用写真である。
【図２３Ｃ】実験2において、写真画像Cに対する検索画像を2階調のモノクロで表す図面代用写真である。
【図２３Ｄ】実験2において、写真画像Dに対する検索画像を2階調のモノクロで表す図面代用写真である。
【図２３Ｅ】実験2において、写真画像Eに対する検索画像を2階調のモノクロで表す図面代用写真である。
【図２４Ａ】実験2において、検索画像Aにマッチした写真画像Aを2階調のモノクロで表す図面代用写真である。
【図２４Ｂ】実験2において、検索画像Bにマッチした写真画像Bを2階調のモノクロで表す図面代用写真である。
【図２４Ｃ】実験2において、検索画像Cにマッチした写真画像Cを2階調のモノクロで表す図面代用写真である。
【図２４Ｄ】実験2において、検索画像Dにマッチした写真画像Dを2階調のモノクロで表す図面代用写真である。
【図２４Ｅ】実験2において、検索画像Eにマッチした写真画像Eを2階調のモノクロで表す図面代用写真である。
【図２５Ａ】実験2において、検索画像Aにマッチした写真画像Aを256階調のグレイスケールで表す図面代用写真である。
【図２５Ｂ】実験2において、検索画像Bにマッチした写真画像Bを256階調のグレイスケールで表す図面代用写真である。
【図２５Ｃ】実験2において、検索画像Cにマッチした写真画像Cを256階調のグレイスケールで表す図面代用写真である。
【図２５Ｄ】実験2において、検索画像Dにマッチした写真画像Dを256階調のグレイスケールで表す図面代用写真である。
【図２５Ｅ】実験2において、検索画像Eにマッチした写真画像Eを256階調のグレイスケールで表す図面代用写真である。
【図２６】実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、256階調のグレイスケールで表す図面代用写真である。
【図２７】実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、2階調のモノクロで表す図面代用写真である。
【図２８】実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。
【図２９】実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施形態を説明する。なお、本実施形態は、説明のためのものであり、本発明の範囲を制限するものではない。したがって、当業者であれば、本実施形態の各要素もしくは全要素を、これと均等なものに置換した実施形態を採用することが可能である。また、各実施例にて説明する要素は、用途に応じて適宜省略することも可能である。このように、本発明の原理にしたがって構成された実施形態は、いずれも本発明の範囲に含まれる。
【００１７】
(概要構成)
図1は、本発明の実施形態に係る同定装置の概要構成を示す説明図である。以下、本図を参照して概要を説明する。
【００１８】
本図に示すように、本実施形態に係る同定装置101は、コンピュータにおいて所定のプログラムを実行することにより実現され、第1取得部111、第1計算部112、構築部113、第1マッピング部114、第2取得部121、第2計算部122、第2マッピング部124、出力部125を備える。
【００１９】
ここで、第1取得部111は、トンネル内の壁面が撮影された複数の写真画像を取得する。
【００２０】
複数の写真画像は、たとえば特許文献1に開示されるようなビデオカメラやスチルカメラによって撮影される。
【００２１】
一方、第1計算部112は、複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する。
【００２２】
非特許文献1に開示されるSfM技術を適用した態様では、特徴点におけるSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)等の局所特徴量を利用する。
【００２３】
さらに、構築部113は、複数の写真画像のそれぞれについて計算された特徴点の位置ならびに局所特徴量を参照して壁面の3次元ポリゴンモデルを構築し、構築された3次元ポリゴンモデルに基づく壁面マップを生成する。
【００２４】
3次元ポリゴンモデルの構築には、たとえば非特許文献1に開示されるSfM技術を利用する。
【００２５】
SfM技術では、複数の写真画像から、特徴点の3次元的な位置を表す点群データと、各写真画像がどの撮影位置でどの撮影方向に撮影されたものであるかを表す撮影データと、が推定されて、出力される。
【００２６】
ここで点群データに含まれる特徴点の分布には粗密があるため、写真画像の任意の画素に対する3次元的な位置を特定するために、たとえば非特許文献2に開示される曲面再構成を行う。
【００２７】
ここで、壁面マップとしては、当該3次元ポリゴンモデルにより表現された3次元マップを採用することもできるし、当該3次元ポリゴンモデルを展開した展開図により表現された2次元マップを採用することもできる。2次元マップの生成には、たとえば非特許文献3に開示される技術を適用することができる。
【００２８】
そして、第1マッピング部114は、複数の写真画像のそれぞれの各画素と、壁面マップ内の位置と、を対応付ける。この対応付けを、「第1写像」と呼ぶ。
【００２９】
以上説明した第1取得部111、第1計算部112、構築部113、第1マッピング部114による処理は、「初期化」と呼ぶこともあり、トンネル内の壁面の全体を、低い頻度で時間をかけて点検する際に実行される。
【００３０】
初期化の際に計算された複数の写真画像内のそれぞれの特徴点の位置ならびに局所特徴量、および、壁面マップは、後述する処理において検索画像を検索したり位置を同定したりするため、各種記録媒体やハードディスク、データベース等に保存される。
【００３１】
初期化が終わった後、比較的高い頻度で、対象となる箇所を絞り込んだ上で点検を行うための処理は、以下のように、第2取得部121、第2計算部122、第2マッピング部124、出力部125によって、実行される。これらの処理をまとめて「検索」と呼ぶことがある。
【００３２】
すなわち、第2取得部121は、トンネル内の壁面が新たに撮影された検索画像を取得する。
【００３３】
第1取得部111にて取得される複数の写真画像は、トンネル内の壁面を覆うことができるように撮影されるが、第2取得部121にて取得される検索画像は、点検者が現在注目している壁面内の位置を撮影した写真である。
【００３４】
一方、第2計算部122は、取得された検索画像の特徴点の位置ならびに局所特徴量を計算する。
【００３５】
第2計算部122は、第1計算部112と同様のアルゴリズムにより特徴点の位置ならびに局所特徴量を計算する。
【００３６】
さらに、第2マッピング部124は、検索画像について計算された特徴点の位置ならびに局所特徴量と、複数の写真画像のそれぞれについて計算された特徴点の位置ならびに局所特徴量と、を対比することにより、検索画像の各画素と、複数の写真画像のいずれかの画素と、を対応付ける。
【００３７】
具体的には、第2マッピング部124は、検索画像内の各特徴点に対する局所特徴量と類似する局所特徴量を有する複数の写真画像内の特徴点を選び出して、検索画像内の各特徴点を複数の写真画像内のいずれかの特徴点に対応付ける。特徴点以外の位置については、Delaunay三角形分割を利用することによって、対応付けを行う。この対応付けを、「第2写像」と呼ぶ。
【００３８】
そして、出力部125は、検索画像の各画素に対応付けられた複数の写真画像のいずれかの画素が対応付けられた壁面マップ内の位置を出力する。
【００３９】
すなわち、出力部125は、検索画像の各画素の位置に対して第2写像を適用することにより、初期化時に撮影された複数の写真画像における位置を取得する。そして、当該位置に対して、第1写像を適用することにより、検索画像の各画素の壁面マップにおける位置を求めるのである。
【００４０】
初期化処理と同定処理は、異なる時期、頻度に実行することができる。したがって、初期化処理を実行するコンピュータは、同定処理を実行するコンピュータと、同一であっても良いし異なっても良い。したがって、初期化処理を実行するためのプログラムと、同定処理を実行するためのプログラムと、は、まとめて一つのプログラムとして用意しても良いし、独立したプログラムとして用意することも可能である。
【００４１】
典型的には、当該プログラムは、記録媒体に記録され、コンピュータが有するメモリ内にロードされて、コンピュータが有するプロセッサにより実行される。当該プログラムは、同定装置101の各部を実現するためのコードの集合体として表現される。
【００４２】
なお、GPU(Graphics Processing Unit)を効率良く利用することで、計算の高速化を図ることもできる。たとえば、OpenGLのレンダリング機能を用いることで、複数の写真画像の各画素に対する座標を容易に計算することができる。
【００４３】
すなわち、第1マッピング部114は、3次元ポリゴンモデルの各点の3次元座標そのものや、当該各点の展開図における2次元座標を色情報に変換し、得られた色情報を、当該各点の色に割り当てることにより、3次元有色モデルを構築する。
【００４４】
そして、第1マッピング部114は、SfMによって推定された撮影位置、撮影方向から、3次元有色モデルをレンダリングする。レンダリング結果を各写真画像と同じサイズとすると、レンダリング結果において、各写真画像における各画素と同じ位置に配置された画素の色情報を取得し、座標への逆変換を行えば、当該各画素の座標情報を得ることができる。
【００４５】
各画素の色情報は、OpenGLのFBO(Frame Buffer Object)等を用いることで浮動小数点精度で計算することができ、GPUを利用して計算ができるので、高い精度の座標値を高速かつ頑健に計算することが可能となる。
【００４６】
このほか、FPGA(Field Programmable Gate Array)などの技術を適用すれば、当該プログラムを、電子回路の設計図とすることも可能である。この態様においては、当該プログラムに基づいて、初期化処理を行うための電子回路、あるいは、同定処理を行うための電子回路がハードウェアとして実現されることになる。
【００４７】
以下では、理解を容易にするため、コンピュータが初期化用プログラムや同定用プログラムを実行することにより、全体として同定装置101を実現する例について説明する。
【００４８】
(初期化処理)
図2は、初期化処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【００４９】
本処理が開始されると、初期化用プログラムを実行するコンピュータは、まず、トンネル内の壁面を撮影した複数の写真画像を取得する(ステップS201)。
【００５０】
図3は、トンネルの壁面を撮影した複数の写真画像を256階調のグレイスケールで表す図面代用写真である。図4は、トンネルの壁面を撮影した複数の写真画像を2階調のモノクロで表す図面代用写真である。図示された画像は、ステップS201において取得される複数の写真画像の一部である。これらの写真画像は、車載のビデオカメラを回転させながら撮影した動画の各フレームを採用しても良いし、スチルカメラを移動、回転させながら撮影した画像を利用しても良い。
【００５１】
ついで、コンピュータは、SfMにより、複数の写真画像から、これらに含まれる特徴点群を用いて、3次元の点群および各写真画像におけるカメラの撮影位置ならびに撮影方向を、推定する(ステップS202)。図5は、SfMにより得られた点群を256階調のグレイスケールで表す図面代用写真である。図6は、SfMにより得られた点群を2階調のモノクロで表す図面代用写真である。
【００５２】
SfMでは、推定結果として、3次元点群に含まれる各点に対して、当該各点の3次元の座標値と、当該各点が各写真画像において撮影されたときの撮影位置ならびに撮影方向と、が対応付けられて出力される。
【００５３】
次に、コンピュータは、曲面再構成法を用いて、3次元点群を通過するポリゴンを生成して、3次元ポリゴンモデルを構築し、これに基づいて壁面マップを生成する(ステップS203)。点群は、写真画像内の特徴点を3次元的に表現したものであるから、曲面を再構成することによってトンネル内の壁面上の任意の点の3次元座標が推定できるようになる。
【００５４】
曲面再構成では、法線付きの点群データを入力とし、陰関数曲面によって符号付きのスカラ場を定義して、その等値面を抽出する手法が広く用いられている。図7は、3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。図8は、3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。
【００５５】
本図には、非特許文献2に開示されるSmooth Signed Distance Surface Reconstruction法によって、写真画像に撮影されたトンネル内の壁面に対して生成された3次元ポリゴンモデルが示されている。
【００５６】
各ポリゴンは、3次元点群を通過するように構築させているため、3次元点群とポリゴンとは、恒等変換写像によって対応付けられることになる。
【００５７】
生成された3次元ポリゴンモデルは、そのまま、トンネル内の壁面上の各点の3次元座標値を表現する3次元マップである。この3次元マップを、壁面マップとして利用することができる。
【００５８】
さらに、必要に応じて、トンネル内の壁面を展開した展開図を壁面マップとして利用することもできる。展開図には、トンネル内の壁面上の各点の2次元座標値が表現されることになる。
【００５９】
展開図の生成は、3次元ポリゴンを2次元へ埋め込むパラメータ化問題に帰着される。たとえば、非特許文献3に開示されるMean Value Coordinates法では、3次元ポリゴンの各頂点に2次元座標値を付与する。Mean Value Coordinates法では、ポリゴンデータの頂点を、境界頂点と内部頂点に分類してパラメータ化を行う。
【００６０】
まず、境界頂点のうち、角となる頂点を多角形の角となる位置に配置する。それ以外の境界頂点は、境界稜線の長さを用いて直線上に配置する。図9は、3次元ポリゴンモデルの頂点を256階調のグレイスケールで表す図面代用写真である。図10は、3次元ポリゴンモデルの頂点を2階調のモノクロで表す図面代用写真である。本図左側には、ポリゴンPの断面が円弧状に描かれており、その端点が、境界頂点に相当する。
【００６１】
一方、内部頂点viは、その近傍頂点vi,jを用いて、線形結合による局所的なパラメータ化を行う。
【００６２】
パラメータ化後の座標値は、内部頂点の座標値を未定数とした連立方程式となる。これを解くことにより、ポリゴンから展開図への写像が定義できる。
【００６３】
この写像を用いれば、入力された写真画像Mi上のピクセル(画素)mjの2次元座標sjおよび3次元座標pjは、以下のように計算ができる。図11は、3次元ポリゴンモデルの点を2次元の展開図に射影する様子を説明する説明図である。
【００６４】
まず、写真画像Miの撮影位置Ciと、ピクセルmjと、により、視線が定義される。この視線と、ポリゴンPと、の交点の位置が、3次元座標pjである。以下、理解を容易にするため、適宜、座標により当該点そのものを表すこととする。
【００６５】
次に、交点pjを含む三角形tkを取得し、当該三角形tkの頂点の重み付き平均をとることで、当該三角形tkの重心座標を求める。
【００６６】
最後に、求められた重心座標と、展開図上に射影された三角形tkの頂点座標値と、を、組み合わせることで、交点pjに対する展開図上の座標値sjを取得できる。図12は、トンネル内の壁面の展開図を256階調のグレイスケールで表す図面代用写真である。図13は、トンネル内の壁面の展開図を2階調のモノクロで表す図面代用写真である。
【００６７】
このように、コンピュータは、写真画像Mi内の画素mjに対する3次元ポリゴンモデルにおける3次元座標pj、や2次元展開図における2次元座標sjと、を計算して、第1写像を取得する(ステップS204)。
【００６８】
そして、コンピュータは、この計算結果に基く対応付けを各画素から壁面マップを対応付ける第1写像としてメモリやハードディスク等に保存するとともに、複数の写真画像の特徴点の位置や局所特徴量もメモリやハードディスク等に保存して(ステップS205)、本処理を終了する。
【００６９】
(同定処理)
上述の通り、初期化処理と、同定処理と、は、典型的には異なる時期に実行される。同定処理では、トンネル内の壁面を撮影することにより得られた検索画像が、初期化処理によって構成されたい壁面マップ内のいずれの位置に相当するものか、を同定する。図14は、同定処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
【００７０】
同定処理は、コンピュータが、同定処理用のプログラムを実行することによって実現される。同定処理が開始されると、まず、コンピュータは、検索画像を取得する(ステップS301)。
【００７１】
点検者からすると、検索画像を撮影すると、撮影された領域の壁面マップ内における位置が直ちに判明することが望ましい。このためには、検索画像は、コンピュータに直結されたカメラから取得されることとするのが望ましい。
【００７２】
すると、点検者は、カメラで検索画像を撮影するごとに、壁面マップ内のどの地点を現在観察しているのか、を、得ることができる。また、ひび割れなどを発見した場合にも、これを撮影すれば、これが新たに発生した変状であるのか、過去に発見された変状であるのか、を識別することが可能となる。
【００７３】
次に、コンピュータは、取得された検索画像における特徴点の位置ならびに局所特徴量を算定する(ステップS302)。特徴点の位置ならびに局所特徴量の計算は、初期化処理と同定処理で同様のアルゴリズムを用いる。上記のように、SIFTやSURFなどを採用することができる。
【００７４】
そして、コンピュータは、検索画像に対して算定された特徴点の位置ならびに局所特徴量と、初期化処理において複数の写真画像に対して算定された特徴点の位置ならびに局所特徴量と、を対比して、複数の写真画像から、検索画像にマッチする写真画像を検索する(ステップS303)。この処理により、検索画像と、マッチする画像と、の画素同士の対応関係を表す第2写像が得られる。
【００７５】
検索は、以下のように行う。まず、検索画像に対して算定された各特徴点と、複数の写真画像に対して算定されたいずれかの特徴点と、を組み合わせた特徴点ペアを探す。
【００７６】
すなわち、1つの特徴点ペアは、検索画像内の1つの特徴点と、複数の写真画像のいずれかの写真画像内の1つの特徴点と、を対にしたものであり、この2つの特徴点に対して計算された局所特徴量が互いに類似するものである。
【００７７】
そして、特徴点ペアによって得られた特徴点が多く出現する写真画像を、検索画像にマッチする画像であるとみなす。
【００７８】
なお、特徴点ペアの中には、不正なペアが含まれることがあるが、RANSAC法を用いることで、不正なペアを除去することができる。
【００７９】
RANSAC法を用いた座標変換では、まず、一方の画像からランダムに4つの特徴点を選択し、この4つの特徴点と対になる他方の画像の特徴点を取得して、特徴点同士の座標を対比して、一方の画像を他方の画像に変換する座標変換を求める。
【００８０】
次に、一方の画像で残った他の特徴点に対して、この座標変換を適用して、他方の画像で対応する特徴点の近傍に座標が変換される成功度合を求める。
【００８１】
そして、これらのランダム選択ならびに座標変換の成功度合を求める処理を繰り返して実行し、成功度合が最も高い座標変換を選択する。
【００８２】
そして、当該座標変換によって座標が近傍に変換されない特徴点ペアは、不正なものとして除去する。
【００８３】
この処理において求められた座標変換が、検索画像の各画素を、複数の写真画像のいずれかの写真画像のいずれかの画素に対応付ける第2写像に相当する。
【００８４】
なお、検索画像の特徴点を用いてDelaunay三角形分割を構築し、接続関係をマッチした画像の特徴点に適用することで、一層精度の高い第2写像を得ることもできる。
【００８５】
すなわち、特徴点ペアのうち、検索画像に含まれる特徴点に対して、Delaunay三角形分割を用いて三角形メッシュを生成し、特徴点で囲まれる三角形領域のパラメータ化を行う。
【００８６】
得られたメッシュの位相をそのまま、マッチ画像に適用すると同様の三角形がマッチする領域に構築できる。
【００８７】
検索画像の三角形Tを構成する3つの頂点t0, t1, t2を用いれば、三角形T内の点pに対する重心座標(x, y, z)が、
p = x・t0 + y・t1 + z・t2
のように、一意に定義できる。
【００８８】
特徴点ペアにより、検索画像における三角形T(頂点t0, t1, t2)がマッチ画像における三角形T'(頂点t'0, t'1, t'2)に対応付けられているときには、三角形T内の点pは、三角形T'内の点p'へ、
p' = x・t'0 + y・t'1 + z・t'2
のように座標変換されることになる。
【００８９】
このように、特徴点で囲まれる三角形に基づいて第2写像を定義することで、より正確な第2写像を得ることができる。
【００９０】
第2写像が得られたら、コンピュータは、検索画像内の各画素に対して、第2写像および第1写像を適用して、壁面マップ内における座標値を計算する(ステップS304)。上述の通り、ここで得られる座標値は、3次元座標とすることもできるし、2次元座標とすることもできる。
【００９１】
最後に、コンピュータは、検索画像内の各画素に対して計算された座標値を、壁面マップ内における位置を出力して(ステップS305)、本処理を終了する。
【００９２】
なお、各画素に対して計算された位置を出力するのではなく、検索画像内の所望の画素を点検者が指定したり、画像認識によって推定された変状が描画されている画素を与えると、当該画素に対する壁面マップ内の位置が計算、出力されるようにしても良い。この場合には、検索画像内の全画素について第1、第2写像を適用して出力する処理の大半を省略することができるので、処理の高速化を図ることができる。
【００９３】
(GPUの利用)
上記の計算において、たとえば、点pのマッピング先p'を計算するには、点pが含まれる三角形Tを求める必要がある。点pがどの三角形に包含されるかは自明ではない。
【００９４】
すべての三角形に対して包含関係をチェックする単純な手法では、三角形の数に比例した計算時間がかかり、非効率である。
【００９５】
また、任意の頂点からスタートして、pに近い方向の隣接する三角形をたどっていく方法もあるが、隣接関係をグラフ構造で持たせる必要がある。
【００９６】
そこで、本実施形態では、GPUを用いてOpenGLのFBOを描画し、その結果を参照することで、画素単位で簡単かつ高速な写像の計算を頑健に実現する。
【００９７】
たとえば、3次元ポリゴンモデルに含まれる全ポリゴンの表面の各点には、当該各点の3次元座標や、当該各点を展開図に表した場合の2次元座標を、RGB(Red Green Blue)化した値を色として付与する。
【００９８】
そして、当該3次元ポリゴンモデルを、SfMの結果として得られた撮影位置および撮影方向から透視投影する。すると、レンダリングの結果は、元の写真画像と同じ構図で、各画素の色は、壁面マップにおける座標を色に変換した結果で描画された画像が得られる。この画像によって、第1写像を容易に表すことができる。
【００９９】
また、検索画像とマッチ画像を三角形分割した場合には、三角形の頂点に互いに重複しない色を与え、三角形の内部には頂点色を重心座標によって案分した色を与える。たとえば、頂点色として、当該頂点の2次元座標値を色に変換したものを利用することができる。
【０１００】
そして、この三角形を座標変換によって、一方から他方へ変換すると、三角形の内部には頂点色もしくはこれの線形和の色が描かれ、三角形の外部は色が描かれないことになる。
【０１０１】
このように、色の有無によって、三角形の内部か外部かを容易に判定することができるようになる。
【０１０２】
なお、OpenGLでは、色のRGB成分は、それぞれ、0以上1以下の浮動小数点数で表現される。そこで、3次元座標値は、3次元の各要素を0以上1以下の値になるように正規化して、R, G, Bの各要素に割り当てて、色に変換すれば良い。2次元座標値の場合には、最も容易には、R, G, Bのうち2つの成分のみ使うこととすれば良い。
【０１０３】
(レーザスキャナの利用)
たとえば特許文献1に開示されるような、トンネルの壁面検査に従来から利用されているレーザスキャナでは、時速50kmで走行する自動車から1mm以上のオーダーのひび割れを計測できている。しかしながら、トンネル内の壁面のより微細なひび割れや段差、水分の有無の検出をするためには、より高精細、高精度なレーザスキャナを利用する必要がある。たとえば、5m程度離れた箇所から、0.2mm-0.3mm程度のひび割れや、0.1mm程度の段差を検知するには、水平解像度が0.2mm以下、奥行(測距)解像度が0.1mm以下の分解能が必要となる。
【０１０４】
ここで、高精細、高精度なレーザスキャナを用いれば、動画や静止画の撮影に比べて、より詳細な情報を取得できる。しかしながら、高精細、高精度なレーザスキャナを用いた検出には、計測に時間を要するため、高精細、高精度なレーザスキャナを用いてトンネル内の壁面全体を点検することは事実上困難である。
【０１０５】
また、分解能の高低にかかわらず、レーザスキャナによる計測では、動画や静止画を撮影する点検と同様に、撮影位置、撮影方向、撮影対象の位置を取得することが難しい。
【０１０６】
そこで、継続して監視を続ける必要がある変状およびその周辺を計測範囲として、当該計測範囲をレーザスキャナで計測する際に、上記実施形態を応用すれば、レーザスキャナで計測された範囲が壁面マップ内のどこであるか、を、取得できるようになる。以下説明する。
【０１０７】
本手法では、検索画像を撮影する際に、カメラにて、撮影位置および撮影方向を所定の誤差範囲内でほぼ維持して、トンネル内の壁面を連写する。
【０１０８】
この連写の際に、途中から、レーザスキャナによるレーザ光を、計測範囲に照射する。
【０１０９】
すると、連写の前半で得られる写真には、壁面をそのまま撮影した様子が現れ、後半で得られる写真には、壁面の一部がレーザ光で明るくなっている様子が現れる。
【０１１０】
そこで、連写の前半で得られる写真を、上記の検索画像として利用する。連写の後半で得られる写真は、レーザスキャナによるスキャン領域を表すもので、以下ではこれをスキャン画像と呼ぶ。スキャン画像は、検索画像とほぼ重ね合わせることが可能であり、画素同士の対応関係を容易に定めることができる。
【０１１１】
なお、撮影位置や撮影方向のずれがある程度大きい場合であっても、SfMにおける特徴点抽出およびマッチの技術を使うことで、検索画像とスキャン画像との各画素の対応関係を求めることができる。これを第3写像と呼ぶこととする。
【０１１２】
すると、スキャン画像における計測範囲の各点に対して、第3写像、第2写像および第1写像を適用することで、壁面マップ内における位置を容易に得ることができる。
【０１１３】
なお、まず検索画像を撮影し、次にスキャン画像を撮影する、という順序とすることで、カメラにおける残像の影響を避け、連写時間を短縮することができる。
【０１１４】
(実験1)
以下では、静岡県富士市にある施工技術総合研究所内の模擬トンネルの一部に対して、本実施形態を適用した実験の結果について説明する。
【０１１５】
カメラとしてPanasonic社DMC-GF6を利用し、トンネル内の壁面全体を被覆するように、250枚の写真画像を撮影した。各写真画像の解像度は1148×862ピクセルである。この写真画像から、3次元モデルを生成した。
【０１１６】
また、同じカメラを利用して、解像度4592×3598ピクセルの検索画像を撮影した。検索画像は、壁面に対して接写したもので、解像度は初期化で撮影された写真画像よりも高いが、撮影される視野は狭いものである。
【０１１７】
図15は、実験1において、検索画像の例を256階調のグレイスケールで表す図面代用写真である。図16は、実験1において、検索画像の例を2階調のモノクロで表す図面代用写真である。これらの図に示す検索画像においては、横に広いT字型のひび割れを強調して描いてある。
【０１１８】
図17は、実験1において、検索画像にマッチする写真画像を256階調のグレイスケールで表す図面代用写真である。図18は、実験1において、検索画像にマッチする写真画像を2階調のモノクロで表す図面代用写真である。これは、初期化時に使用した写真画像のうち、検索画像にマッチする写真画像(マッチ画像)である。マッチ画像には、横に広いT字型のひび割れが存在するので、これを強調して描いてある。また、T字型のひび割れの周囲に配置された壁面の模様は、検索画像と、マッチ画像と、で一致している。
【０１１９】
図19は、実験1において、検索画像が検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。図20は、実験1において、検索画像が検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。この3次元ポリゴンモデルには、初期化時に参照した写真画像をテクスチャとして貼り付けてあり、トンネル縁のU字型の間には、検索画像と同様の模様を持った位置が検索結果として同定されており、T字型のひび割れがマッピングされている。
【０１２０】
これらの図に示す通り、検索画像にあるひび割れ情報が、該当する3次元ポリゴンモデルのほぼ同じ位置に同定できたことが確認できる。位置の精度はSfMのデータ精度に依存するが、相対的な位置関係は保存されているため、検索画像のトンネル壁面における位置を適切に同定することができる。
【０１２１】
(実験2)
以下では、上記研究所内の模擬トンネル(全長80m)に対して、SfMについてはOpenMVGを採用し、パラメータ化についてはlibiglを採用し、曲面再構成についてはSSDを採用した実験の結果について説明する。
【０１２２】
SfMによる再構成においては、572枚の画像を使用した。各画像のサイズは1124×750ピクセルであり、Nikon(登録商標)社製のカメラD5500にて撮影された。全写真を撮影するのに、約1時間を要した。
【０１２３】
画像検索については、まず、Panasonic(登録商標)社製のカメラDMC-GF6によりひび割れを撮影して、1148×862ピクセルの写真を5枚取得した。図21Aは、実験2において、検索したいひび割れの写真画像Aの例を256階調のグレイスケールで表す図面代用写真である。図21Bは、実験2において、検索したいひび割れの写真画像Bの例を256階調のグレイスケールで表す図面代用写真である。図21Cは、実験2において、検索したいひび割れの写真画像Cの例を256階調のグレイスケールで表す図面代用写真である。図21Dは、実験2において、検索したいひび割れの写真画像Dの例を256階調のグレイスケールで表す図面代用写真である。図21Eは、実験2において、検索したいひび割れの写真画像Eの例を256階調のグレイスケールで表す図面代用写真である。図22Aは、実験2において、検索したいひび割れの写真画像Aの例を2階調のモノクロで表す図面代用写真である。図22Bは、実験2において、検索したいひび割れの写真画像Bの例を2階調のモノクロで表す図面代用写真である。図22Cは、実験2において、検索したいひび割れの写真画像Cの例を2階調のモノクロで表す図面代用写真である。図22Dは、実験2において、検索したいひび割れの写真画像Dの例を2階調のモノクロで表す図面代用写真である。図22Eは、実験2において、検索したいひび割れの写真画像Eの例を2階調のモノクロで表す図面代用写真である。なお、実際に撮影された写真は、カラー画像である。
【０１２４】
次に、各写真から、手作業によってクラック(ひび割れ)を抽出することによって、検索画像とした。図23Aは、実験2において、写真画像Aに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Bは、実験2において、写真画像Bに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Cは、実験2において、写真画像Cに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Dは、実験2において、写真画像Dに対する検索画像を2階調のモノクロで表す図面代用写真である。図23Eは、実験2において、写真画像Eに対する検索画像を2階調のモノクロで表す図面代用写真である。これらの図に示すように、検索画像は、モノクロ画像となっている。
【０１２５】
そして、572枚の写真から、上記の手法により、検索画像にマッチする写真画像を検索した。図25Aは、実験2において、検索画像Aにマッチした写真画像Aを256階調のグレイスケールで表す図面代用写真である。図25Bは、実験2において、検索画像Bにマッチした写真画像Bを256階調のグレイスケールで表す図面代用写真である。図25Cは、実験2において、検索画像Cにマッチした写真画像Cを256階調のグレイスケールで表す図面代用写真である。図25Dは、実験2において、検索画像Dにマッチした写真画像Dを256階調のグレイスケールで表す図面代用写真である。図25Eは、実験2において、検索画像Eにマッチした写真画像Eを256階調のグレイスケールで表す図面代用写真である。図24Aは、実験2において、検索画像Aにマッチした写真画像Aを2階調のモノクロで表す図面代用写真である。図24Bは、実験2において、検索画像Bにマッチした写真画像Bを2階調のモノクロで表す図面代用写真である。図24Cは、実験2において、検索画像Cにマッチした写真画像Cを2階調のモノクロで表す図面代用写真である。図24Dは、実験2において、検索画像Dにマッチした写真画像Dを2階調のモノクロで表す図面代用写真である。図24Eは、実験2において、検索画像Eにマッチした写真画像Eを2階調のモノクロで表す図面代用写真である。なお、実際に撮影された写真は、カラー画像である。
【０１２６】
本実験では、上記の検索手法をコンピュータMacBook(登録商標) Pro (2016, Core i7 2.9GHz, 16GB RAM)上で動作させることとした。図27は、実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、2階調のモノクロで表す図面代用写真である。図26は、実験2において、トンネル内の壁面の展開図において検索画像A-Eが検索された結果を拡大して、256階調のグレイスケールで表す図面代用写真である。これらの図は、トンネル内面の展開図であり、検索結果である写真画像の位置を楕円で囲み、その横にひび割れを拡大した様子を示している。検索においては、データのロードに6.7秒を要し、検索そのもには平均して16.7秒を要した。したがって、1枚に検索画像を検索するのに、平均23.4秒を要し、実用的な時間で検索ができることがわかった。
【０１２７】
また、3次元モデルの再構成には約3時間を要した。図29は、実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを2階調のモノクロで表す図面代用写真である。図28は、実験2において、検索画像A-Eが検索された3次元ポリゴンモデルを256階調のグレイスケールで表す図面代用写真である。これらの図の各点は、展開図の各点と対応付けられているため、ひび割れのある箇所の様子を3次元的に確認することができる。また、3次元モデルの再構成も、合理的な時間でなされていることがわかる。
【０１２８】
(まとめ)
以上説明したように、本実施形態に係る同定装置は、
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
を備える。
【０１２９】
また、本実施形態に係る同定装置において、
前記第2取得部は、前記検索画像の撮影に引き続き、撮影位置ならびに撮影方向を所定の誤差範囲内で維持したまま、連写されたスキャン画像であって、前記壁面内のスキャン領域をレーザスキャナによりスキャンした様子が撮影されたスキャン画像を取得し、
前記第2マッピング部は、前記スキャン画像と、前記検索画像と、を対比することにより、前記スキャン画像の各画素と、前記検索画像のいずれかの画素と、を対応付け、
前記出力部は、前記スキャン画像に撮影された前記スキャン領域内の各画素に対応付けられた前記検索画像のいずれかの画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する
ように構成することができる。
【０１３０】
また、本実施形態に係る同定装置において、
前記壁面マップは、前記3次元ポリゴンモデルにより前記壁面の3次元の座標値を表現する3次元マップである
ように構成することができる。
【０１３１】
また、本実施形態に係る同定装置において、
前記壁面マップは、前記3次元ポリゴンモデルを展開した展開図により前記壁面の2次元の座標値を表現する2次元マップである
ように構成することができる。
【０１３２】
また、本実施形態に係る同定装置において、
前記第1マッピング部は、
前記座標値を色情報に変換し、
前記変換された色情報を前記3次元ポリゴンモデルの前記座標値に対応付けられる点の色として割り当て、
前記複数の写真画像のそれぞれが撮影された撮影位置ならびに撮影方向から、前記色が割り当てられた前記3次元ポリゴンモデルをレンダリングして、前記複数の写真画像のそれぞれと同じサイズの対応画像を生成し、
前記生成された対応画像における各画素に描画された色を座標値に逆変換することにより、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける
ように構成することができる。
【０１３３】
また、本実施形態に係る同定装置において、
前記レンダリングは、GPU(Graphics Processing Unit)により実行される
ように構成することができる。
【０１３４】
本実施形態に係る同定方法では、同定装置が、
トンネル内の壁面が撮影された複数の写真画像を取得し、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算し、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成し、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付け、
前記トンネル内の壁面が新たに撮影された検索画像を取得し、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算し、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付け、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する。
【０１３５】
本実施形態に係るプログラムは、
第1コンピュータを、
トンネル内の壁面が撮影された複数の写真画像を取得する第1取得部、
前記複数の写真画像のそれぞれの特徴点の位置ならびに局所特徴量を計算する第1計算部、
前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量を参照して前記壁面の3次元ポリゴンモデルを構築し、前記構築された3次元ポリゴンモデルに基づく壁面マップを生成する構築部、
前記複数の写真画像のそれぞれの各画素と、前記壁面マップ内の位置と、を対応付ける第1マッピング部
として機能させる第1プログラムと、
第2コンピュータもしくは前記第1コンピュータを、
前記トンネル内の壁面が新たに撮影された検索画像を取得する第2取得部、
前記取得された検索画像の特徴点の位置ならびに局所特徴量を計算する第2計算部、
前記検索画像について前記計算された特徴点の位置ならびに局所特徴量と、前記複数の写真画像のそれぞれについて前記計算された特徴点の位置ならびに局所特徴量と、を対比することにより、前記検索画像の各画素と、前記複数の写真画像のいずれかの画素と、を対応付ける第2マッピング部、
前記検索画像の各画素に対応付けられた前記複数の写真画像のいずれかの画素が対応付けられた前記壁面マップ内の位置を出力する出力部
として機能させる第2プログラムと、
を備える。
【０１３６】
当該プログラムは、非一時的なコンピュータ読取可能な情報記録媒体に記録して配布、販売することができる。また、コンピュータ通信網等の一時的な伝送媒体を介して配布、販売することができる。
【０１３７】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本願においては、日本国に対して平成29年(2017年)2月24日(金)に出願した特許出願特願2017-033771を基礎とする優先権を主張するものとし、指定国の法令が許す限り、当該基礎出願の内容を本願に取り込むものとする。
【産業上の利用可能性】
【０１３８】
本発明によれば、写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３９】
101 同定装置
111 第1取得部
112 第1計算部
113 構築部
114 第1マッピング部
121 第2取得部
122 第2計算部
124 第2マッピング部
125 出力部
【図１】
2018155590.tif 000003
【図２】
2018155590.tif 000004
【図３】
2018155590.tif 000005
【図４】
2018155590.tif 000006
【図５】
2018155590.tif 000007
【図６】
2018155590.tif 000008
【図７】
2018155590.tif 000009
【図８】
2018155590.tif 000010
【図９】
2018155590.tif 000011
【図１０】
2018155590.tif 000012
【図１１】
2018155590.tif 000013
【図１２】
2018155590.tif 000014
【図１３】
2018155590.tif 000015
【図１４】
2018155590.tif 000016
【図１５】
2018155590.tif 000017
【図１６】
2018155590.tif 000018
【図１７】
2018155590.tif 000019
【図１８】
2018155590.tif 000020
【図１９】
2018155590.tif 000021
【図２０】
2018155590.tif 000022
【図２１Ａ】
2018155590.tif 000023
【図２１Ｂ】
2018155590.tif 000024
【図２１Ｃ】
2018155590.tif 000025
【図２１Ｄ】
2018155590.tif 000026
【図２１Ｅ】
2018155590.tif 000027
【図２２Ａ】
2018155590.tif 000028
【図２２Ｂ】
2018155590.tif 000029
【図２２Ｃ】
2018155590.tif 000030
【図２２Ｄ】
2018155590.tif 000031
【図２２Ｅ】
2018155590.tif 000032
【図２３Ａ】
2018155590.tif 000033
【図２３Ｂ】
2018155590.tif 000034
【図２３Ｃ】
2018155590.tif 000035
【図２３Ｄ】
2018155590.tif 000036
【図２３Ｅ】
2018155590.tif 000037
【図２４Ａ】
2018155590.tif 000038
【図２４Ｂ】
2018155590.tif 000039
【図２４Ｃ】
2018155590.tif 000040
【図２４Ｄ】
2018155590.tif 000041
【図２４Ｅ】
2018155590.tif 000042
【図２５Ａ】
2018155590.tif 000043
【図２５Ｂ】
2018155590.tif 000044
【図２５Ｃ】
2018155590.tif 000045
【図２５Ｄ】
2018155590.tif 000046
【図２５Ｅ】
2018155590.tif 000047
【図２６】
2018155590.tif 000048
【図２７】
2018155590.tif 000049
【図２８】
2018155590.tif 000050
【図２９】
2018155590.tif 000051
【国際調査報告】
2018155590.tif 000052
2018155590.tif 000053
2018155590.tif 000054
2018155590.tif 000055