(57)【要約】      （修正有）【課題】空洞である可能性が高い位置候補を提示することができる。【解決手段】平面切り出し部４２が、地中レーダデータを表す３次元データから、複数種類の法線方向の各々に対し、当該法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成する。ＳＩＦＴ特徴検出部４４が、切り出した複数の画像の各々から、ＳＩＦＴ特徴点を検出し、多方向交差部４６が、複数の画像の各々から検出されたＳＩＦＴ特徴点に基づいて、複数種類の法線方向の各々に対する画像の各々で重複して検出されたＳＩＦＴ特徴点を、空洞位置を表す特徴点の候補として絞り込む。【選択図】図１
2018194520.tif 000002
【特許請求の範囲】
【請求項１】
地中レーダデータを表す３次元データから、複数種類の法線方向の各々に対し、前記法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成する平面切り出し部と、
前記平面切り出し部によって切り出した複数の画像の各々から、特徴点を検出する特徴検出部と、
前記複数の画像の各々から検出された特徴点に基づいて、前記複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を、空洞位置を表す特徴点の候補として絞り込む多方向交差部と、
を含む特徴点検出装置。
【請求項２】
前記複数種類の法線方向は、鉛直方向をＺ軸方向としたときのＸ軸方向及びＹ軸方向を含む請求項１記載の特徴点検出装置。
【請求項３】
前記特徴検出部は、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴点を検出する請求項１又は２記載の特徴点検出装置。
【請求項４】
請求項１〜請求項３の何れか１項記載の特徴点検出装置と、
前記地中レーダデータを表す３次元データから、前記空洞位置を表す特徴点の候補を含む平面で画像を各々切り出す周辺画像切り出し部と、
前記周辺画像切り出し部によって切り出された画像から、予め用意された空洞箇所を表す参照空洞画像に類似する画像を検索する画像検索部と、
を含む空洞画像検索装置。
【請求項５】
平面切り出し部が、地中レーダデータを表す３次元データから、複数種類の法線方向の各々に対し、前記法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成し、
特徴検出部が、前記平面切り出し部によって切り出した複数の画像の各々から、特徴点を検出し、
多方向交差部が、前記複数の画像の各々から検出された特徴点に基づいて、前記複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を、空洞位置を表す特徴点の候補として絞り込む
特徴点検出方法。
【請求項６】
請求項５記載の特徴点検出方法を実行し、
周辺画像切り出し部が、前記地中レーダデータを表す３次元データから、前記空洞位置を表す特徴点の候補を含む平面で画像を各々切り出し、
画像検索部が、前記周辺画像切り出し部によって切り出された画像から、予め用意された空洞箇所を表す参照空洞画像に類似する画像を検索する
空洞画像検索方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の特徴点検出装置、又は請求項４に記載の空洞画像検索装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴点検出装置、空洞画像検索装置、方法、及びプログラムに係り、特に、地中レーダデータを入力として地中の空洞位置検出を補助するための特徴点検出装置、空洞画像検索装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
道路の地下に発生する空洞は陥没事故などの危険性があるため、未然に発見し補修を行う必要があるが、道路を掘り起こすことなく空洞を検出する手段として地中レーダを用いた点検が一般的である。取得された地中レーダデータから空洞を見つけ出す方法として、熟練した作業者が目視で確認を行うことが一般的であるが、膨大なデータを目視で確認するためには多大な労力と時間がかかっており目視確認作業の効率化が課題となっている。
【０００３】
非特許文献１では、こうした目視確認作業の効率化を狙って地中レーダデータから双曲線形状の頂点箇所を自動で検出する技術が提案されている。地中レーダデータでは空洞が発生する箇所に双曲線形状が現れることが知られており、こうした自動処理技術によって空洞の位置候補を絞り込むことができる可能性がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】L. Mertens et. al. "Automated Detection of Reflection Hyperbolas in Complex GPR Images With No A Priori Knowledge on the Medium", IEEE Trans. of Geoscience and Remote Sensing, 54(1), 2016
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、非特許文献１はデータの細線化や曲線のパラメータ推定などがうまくいくような比較的ノイズの少ないデータを対象とした手法となっており、ノイズが多く含まれる一般的なデータへの適用には課題が残る。
【０００６】
このように、ノイズを多く含む地中レーダデータに対して効率的な空洞検出を行うために、適切に空洞位置候補を絞り込むことが課題となる。
【０００７】
本発明は、上記事情を鑑みて成されたものであり、空洞である可能性が高い位置候補を提示することができる特徴点検出装置、空洞画像検索装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る特徴点検出装置は、地中レーダデータを表す３次元データから、複数種類の法線方向の各々に対し、前記法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成する平面切り出し部と、前記平面切り出し部によって切り出した複数の画像の各々から、特徴点を検出する特徴検出部と、前記複数の画像の各々から検出された特徴点に基づいて、前記複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を、空洞位置を表す特徴点の候補として絞り込む多方向交差部と、を含んで構成されている。
【０００９】
また、本発明に係る特徴点検出方法は、平面切り出し部が、地中レーダデータを表す３次元データから、複数種類の法線方向の各々に対し、前記法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成し、特徴検出部が、前記平面切り出し部によって切り出した複数の画像の各々から、特徴点を検出し、多方向交差部が、前記複数の画像の各々から検出された特徴点に基づいて、前記複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を、空洞位置を表す特徴点の候補として絞り込む。
【００１０】
また、本発明に係る空洞画像検索装置は、上記の特徴点検出装置と、前記地中レーダデータを表す３次元データから、前記空洞位置を表す特徴点の候補を含む平面で画像を各々切り出す周辺画像切り出し部と、前記周辺画像切り出し部によって切り出された画像から、予め用意された空洞箇所を表す参照空洞画像に類似する画像を検索する画像検索部と、を含んで構成されている。
【００１１】
また、本発明に係る空洞画像検索方法は、上記の特徴点検出方法を実行し、周辺画像切り出し部が、前記地中レーダデータを表す３次元データから、前記空洞位置を表す特徴点の候補を含む平面で画像を各々切り出し、画像検索部が、前記周辺画像切り出し部によって切り出された画像から、予め用意された空洞箇所を表す参照空洞画像に類似する画像を検索する。
【００１２】
本発明に係るプログラムは、コンピュータを、上記の特徴点検出装置、又は上記の空洞画像検索装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の特徴点検出装置、空洞画像検索装置、方法、及びプログラムによれば、地中レーダデータから、複数種類の法線方向の各々を有する複数の平面の各々で切り出した画像を生成し、複数の画像の各々から、特徴点を検出し、複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を、空洞位置を表す特徴点の候補として絞り込むことにより、空洞である可能性が高い位置候補を提示することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る空洞画像検索装置の構成を示すブロック図である。
【図２】地中レーダデータから切り出した画像の一例を示す図である。
【図３】複数種類の法線方向の各々に対する画像の各々で重複して検出された特徴点を説明するための図である。
【図４】本発明の実施の形態に係る空洞画像検索装置における空洞画像検索処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００１７】
本発明の実施の形態では、Scale-Invariant Feature Transform(SIFT)と呼ばれる画像のマッチングに用いられる特徴点検出手法を画像化された地中レーダデータに適用することで空洞候補の抽出を行う。地中レーダデータは3次元データとなるため、画像は3次元データから平面を切り出すことで生成するが、鉛直方向が画像の上下方向となるような多種類の切り出し画像に対してSIFT抽出を行い、複数の切り出し画像から重複して検出される点のみを空洞候補として残すことによって効率的に空洞候補を得る。本発明の実施の形態は、空洞が存在していると画像切り出しの角度に依らず双曲線形状が得られることを活用し、複数の切り出し画像から重複して検出される点を用いることを特徴としている。
【００１８】
また、あらかじめ参照用の空洞画像を用意し、それをクエリとした画像比較を行うことで、得られた空洞候補に対して空洞らしさの優先順位を付与し、空洞らしさの順位に応じた提示を行う。
【００１９】
＜本発明の実施の形態に係る空洞画像検索装置の構成＞
次に、本発明の実施の形態に係る空洞画像検索装置の構成について説明する。図１に示すように、本発明の実施の形態に係る空洞画像検索装置１００は、ＣＰＵと、ＲＡＭと、後述する空洞画像検索処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この空洞画像検索装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００２０】
入力部１０は、地中レーダデータを逆フーリエ変換によって3次元空間座標に対応する値に変換した３次元データを入力として受け付ける。変換された地中レーダデータの例を図２に示す。図２の例は変換された３次元データをある平面で切り出したものである。
【００２１】
演算部２０は、地中レーダデータ３０と、特徴点検出部４０と、空洞画像検索部５０と、参照空洞画像記憶部６０とを含んで構成されている。
【００２２】
地中レーダデータ３０は、入力部１０で受け付けた地中レーダデータを記憶している。
【００２３】
特徴点検出部４０は、地中レーダデータ３０を入力として空洞候補となり得る特徴点を検出する。特徴点検出部４０は、平面切り出し部４２と、ＳＩＦＴ特徴検出部４４と、多方向交差部４６とを備えている。
【００２４】
平面切り出し部４２では、３次元データとして構成される地中レーダデータから、複数種類の法線方向の各々に対し、当該法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成する。
【００２５】
具体的には、３次元データとして構成される地中レーダデータに対して鉛直方向をZ軸、地上平面をX-Y平面となるように3つの座標軸を設定して、Ｙ軸方向を法線方向とする複数のX-Z平面で、画像を切り出し、Ｘ軸方向を法線方向とする複数のY-Z平面で画像を切り出す。このような平面を用いる理由は、空洞が発生する箇所の地中レーダデータにはZ軸を上下とする平面画像において図２のような特徴的な双曲線が現れるためである。X-Z平面及びY-Z平面の画像を多数切り出す。
【００２６】
ＳＩＦＴ特徴検出部４４は、平面切り出し部４２によって切り出した複数の画像の各々から、ＳＩＦＴ特徴点を検出する。
【００２７】
具体的には、ガウシアンフィルタを用いてぼかした画像を用いて、スケール（ガウシアンの標準偏差）の変化に応じた差分画像（Difference of Gaussian）からXY及びスケール方向に極値をとるような特徴点を求める。さらに、得られた特徴点から周辺とのコントラストが低いものを取り除く。例えば、コントラスト情報としてDoGそのものの値を用い、その絶対値が一定値以下であればその特徴点を取り除く。ここで用いる閾値は、対象のデータに応じて適宜調整することが求められる。
【００２８】
複数の画像の各々について、上記のようにＳＩＦＴ特徴点が検出される。
【００２９】
多方向交差部４６は、複数の画像の各々から検出されたＳＩＦＴ特徴点に基づいて、複数種類の法線方向の各々に対する画像の各々で重複して検出されたＳＩＦＴ特徴点を、空洞位置を表す特徴点の候補として絞り込む。
【００３０】
具体的には、平面切り出し部４２において切り出した画像平面をX-Z平面及びY-Z平面として、それぞれ固定された軸の座標を１ずつ変えながら画像を切り出していくと、ある3次元座標が必ず2枚の画像に含まれることになる。多方向交差部４６では、１つの３次元座標を含む平面で切り出された２枚の切り出し画像と特徴点検出結果を用いて、双方の画像から重複して特徴点として検出されている特徴点については残し、そうでない場合は取り除く処理を行う。特徴点検出位置の誤差を許容するため、全く同一の位置でなくとも法線方向が異なる２枚の画像から検出された特徴点が一定の距離以内に存在している場合には、重複して特徴点が検出されていると判断し、当該特徴点を残すようにしてもよい。また、交差に用いる切り出し画像は２方向に限る必要はなく、３種類以上の平面を用いた交差を行っても良い。交差処理のイメージを図３に示す。このようにして得られた、絞り込まれた特徴点の位置を空洞位置候補座標とし、対応する特徴点のスケールを検出特徴スケールとして出力する。
【００３１】
空洞画像検索部５０は、絞り込まれた空洞位置を表す特徴点の候補に対して、参照空洞画像記憶部６０に記憶されている参照空洞画像を用いて優先順位付けを行い、作業者に対して順に提示する処理を行う。
【００３２】
空洞画像検索部５０は、周辺画像切り出し部５２と、画像検索部５４と、周辺画像提示部５６とを備えている。
【００３３】
周辺画像切り出し部５２は、地中レーダデータ３０から、空洞位置を表す特徴点の候補を含む平面で画像を各々切り出す。
【００３４】
具体的には、空洞位置を表す特徴点の候補を含む平面を用いて、特徴点の候補周辺の画像を切り出す。この時切り出す平面については、統一されていればどのような平面で切り出しても良いが、ここではX-Y平面で切り出すことを想定する。切り出す画像サイズとして検出特徴スケールを用いてスケール値に比例する画像サイズを切り出し、切り出した画像を一定サイズに拡縮する。
【００３５】
画像検索部５４は、周辺画像切り出し部５２によって切り出された画像から、参照空洞画像記憶部６０に記憶されている、空洞箇所を表す参照空洞画像に類似する画像を検索する。
【００３６】
具体的には、事前に空洞箇所を示す画像であることが明らかになっている参照空洞画像を用意し、それらに基づいて空洞候補の優先順位付けを行う。参照空洞画像は、周辺画像切り出し部５２において切り出された画像と同様にSIFT特徴のスケールに応じて切り出された画像を用意する。空洞候補として得られている切り出し画像に対して参照空洞画像との距離を算出する。距離算出手法は何を用いても良い。テンプレート比較に用いられるSSDやNCCを用いても良いし、別途検索用の画像特徴抽出を行っても良い。距離計算によって各空洞位置を表す特徴点の候補に対して参照空洞画像との距離が得られる。参照空洞画像には複数の画像を用意することもでき、その場合は各空洞位置を表す特徴点の候補との距離として各参照空洞画像との距離のうち最小のものを用いる。
【００３７】
周辺画像提示部５６は、得られた距離に基づいて距離が近い順に空洞位置候補周辺の画像を出力部９０により提示する。周辺の画像とは、特徴点位置を中心としたX-Z、Y-Z、X-Y平面の3面画像である。
【００３８】
上記のようにして空洞らしさが高い位置候補から順に目視確認作業を進めることによって、短時間で効率的な空洞検出作業を補助することができる。
【００３９】
＜本発明の実施の形態に係る空洞画像検索装置の作用＞
次に、本発明の実施の形態に係る空洞画像検索装置１００の作用について説明する。入力部１０において地中レーダデータを受け付けると、地中レーダデータ３０に格納する。そして、空洞画像検索装置１００は、図４に示す空洞画像検索処理ルーチンを実行する。
【００４０】
まず、ステップＳ１００では、3次元データとして構成される地中レーダデータから、複数種類の法線方向の各々に対し、当該法線方向を有する複数の平面の各々で切り出した複数の２次元データを表す画像を生成する。
【００４１】
次に、ステップＳ１０２では、平面切り出し部４２によって切り出した複数の画像の各々から、ＳＩＦＴ特徴点を検出する。
【００４２】
ステップＳ１０４では、複数の画像の各々から検出されたＳＩＦＴ特徴点に基づいて、複数種類の法線方向の各々に対する画像の各々で重複して検出されたＳＩＦＴ特徴点を、空洞位置を表す特徴点の候補として絞り込む。
【００４３】
ステップＳ１０６では、地中レーダデータ３０から、空洞位置を表す特徴点の候補を含む平面で画像を各々切り出す。
【００４４】
ステップＳ１０８では、周辺画像切り出し部５２によって切り出された画像から、参照空洞画像記憶部６０に記憶されている、空洞箇所を表す参照空洞画像に類似する画像を検索する。
【００４５】
ステップＳ１１０では、参照空洞画像に類似する順に、空洞位置を表す特徴点の候補周辺の画像を出力部９０により提示して、空洞画像検索処理ルーチンを終了する。
【００４６】
以上説明したように、本発明の実施の形態に係る空洞画像検索装置によれば、地中レーダデータから、複数種類の法線方向の各々を有する複数の平面の各々で切り出した画像を生成し、複数の画像の各々から、ＳＩＦＴ特徴点を検出し、複数種類の法線方向の各々に対する画像の各々で重複して検出されたＳＩＦＴ特徴点を、空洞位置を表す特徴点の候補として絞り込むことにより、空洞である可能性が高い位置候補を提示することができる。また、空洞位置を表す特徴点の候補周辺の画像を、参照空洞画像と比較することによって、空洞である可能性が高い位置候補を優先順位付けて提示することができる。
【００４７】
また、地中レーダデータからの空洞位置検出を効率化することができる。特に車載型地中レーダ等を用いて地中探査を行う場合、取得されるデータが大量となる一方でデータ中のノイズは多くなるため、目視による空洞位置検出にかかる人的稼働が非常に高くなってしまうが、本発明の実施の形態によって空洞位置候補を絞り込むことによって作業時間を削減し効率的に空洞位置検出を行うことができるように補助することができる。
【００４８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４９】
例えば、空洞位置を表す特徴点の候補周辺の画像をそのまま提示してもよい。この場合には、空洞画像検索部の処理は省略してもよい。
【符号の説明】
【００５０】
１０   入力部
２０   演算部
３０   地中レーダデータ
４０   特徴点検出部
４２   平面切り出し部
４４   ＳＩＦＴ特徴検出部
４６   多方向交差部
５０   空洞画像検索部
５２   周辺画像切り出し部
５４   画像検索部
５６   周辺画像提示部
６０   参照空洞画像記憶部
９０   出力部
１００ 空洞画像検索装置
【図１】
2018194520.tif 000003
【図２】
2018194520.tif 000004
【図３】
2018194520.tif 000005
【図４】
2018194520.tif 000006