(57)【特許請求の範囲】
【請求項１】
カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する画像取得部と、
前記画像群の各画像を解析して前記構造物の損傷を検出する損傷検出部と、
前記構造物を示す３次元設計データを取得する３次元設計データ取得部と、
前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する合成情報算出部と、
前記合成情報算出部により算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングするマッピング部と、
を備えた構造物管理装置。
【請求項２】
前記マッピング部は、前記点群データの３次元位置を並進補正、回転補正、及び拡縮補正のうち少なくとも一つを行う前記補正係数を算出する請求項１に記載の構造物管理装置。
【請求項３】
前記マッピング部は、前記合成情報算出部により算出された合成情報に基づいて、前記取得した３次元設計データが示す前記構造物の表面に前記画像群の各画像をマッピングし、前記マッピングした画像上に前記検出した損傷をマッピングする請求項１又は２に記載の構造物管理装置。
【請求項４】
前記損傷検出部により検出された前記損傷の程度を評価する損傷評価部と、
前記取得した３次元設計データ及び前記マッピングされた損傷を表示する表示部と、
を備え、
前記表示部は、前記マッピングされた損傷の位置に関連付けて、前記損傷評価部による損傷の評価結果を含む損傷情報を更に表示する請求項１から３のいずれか１項に記載の構造物管理装置。
【請求項５】
前記損傷検出部により検出された前記損傷の程度を評価する損傷評価部と、
前記３次元設計データを記録する記録部と、
を備え、
前記記録部は、前記マッピングされた損傷の位置情報と関連付けて前記損傷評価部による前記損傷の評価結果を含む損傷情報を記録する請求項１から４のいずれか１項に記載の構造物管理装置。
【請求項６】
前記損傷情報は、前記損傷検出部により検出される損傷の種類、前記損傷評価部による損傷の程度を示すランク、及び損傷のサイズを含む請求項４又は５に記載の構造物管理装置。
【請求項７】
前記合成情報算出部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により前記画像群の各画像を撮像したときの前記カメラのカメラ位置及びカメラ姿勢と前記点群データの３次元位置を算出する請求項１から６のいずれか１項に記載の構造物管理装置。
【請求項８】
前記カメラを搭載した移動体と、
前記移動体の移動及び前記カメラの撮像を制御し、前記カメラにより前記画像群を撮像
させる移動体制御部と、を備え、
前記画像取得部は、前記移動体に搭載された前記カメラにより撮像された前記画像群を
取得する請求項１から７のいずれか１項に記載の構造物管理装置。
【請求項９】
前記移動体は、飛行体である請求項８に記載の構造物管理装置。
【請求項１０】
画像取得部が、カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得するステップと、
損傷検出部が、前記画像群の各画像を解析して前記構造物の損傷を検出するステップと、
３次元設計データ取得部が、前記構造物を示す３次元設計データを取得するステップと、
合成情報算出部が、前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出するステップと、
マッピング部が、前記算出された合成情報に基づいて、前記取得した３次元設計データが示す前記構造物の表面に、前記検出した損傷をマッピングするステップと、
を含む構造物管理方法。
【請求項１１】
前記マッピングするステップは、前記点群データの３次元位置を並進補正、回転補正、及び拡縮補正のうち少なくとも一つを行う前記補正係数を算出する請求項１０に記載の構造物管理方法。
【請求項１２】
前記マッピングするステップは、前記合成情報に基づいて前記取得した３次元設計データが示す前記構造物の表面に前記画像群の各画像をマッピングし、前記マッピングした画像上に前記検出した損傷をマッピングする請求項１０又は１１に記載の構造物管理方法。
【請求項１３】
損傷評価部が、前記検出された前記損傷の程度を評価するステップと、
表示部が、前記取得した３次元設計データ及び前記マッピングされた損傷を表示するステップと、を含み、
前記表示するステップは、前記マッピングされた損傷の位置に関連付けて、前記損傷評価部による損傷の評価結果を含む損傷情報を更に表示する請求項１０から１２のいずれか１項に記載の構造物管理方法。
【請求項１４】
カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、
前記画像群の各画像を解析して前記構造物の損傷を検出する機能と、
前記構造物を示す３次元設計データを取得する機能と、
前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する機能と、
前記算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングする機能と、
をコンピュータに実行させる構造物管理プログラム。
【請求項１５】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、
前記画像群の各画像を解析して前記構造物の損傷を検出する機能と、
前記構造物を示す３次元設計データを取得する機能と、
前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する機能と、
前記算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングする機能と、
を含む構造物管理機能をコンピュータに実現させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造物管理装置、構造物管理方法、及び構造物管理プログラムに関し、特に３次元設計データを利用した構造物の管理に関する技術である。
【背景技術】
【０００２】
橋梁などの構造物は時間とともに劣化するため、定期的に点検を行い劣化の状況を把握して管理する必要がある。従来より、構造物の点検及び管理を行う技術が提案されている。【０００３】
例えば特許文献１では、構造物の管理及び点検に用いられる損傷図を迅速かつ容易に作成することを目的とし、ステレオカメラで取得されたステレオ画像における損傷を指定して、その損傷を図面データにマッピングする技術が記載されている。特許文献１に記載された技術では、ＧＰＳ（Global Positioning System）、ロボット装置の移動量、ステレオカメラのパンチルト機構の回転角等により、撮影位置及び撮影方向を検出することが記載されている。【０００４】
また近年では、ドローンに代表される移動体にカメラを搭載し、構造物の撮像画像を取得し、その取得した撮像画像から３次元モデルを生成する技術が提案されている。【０００５】
例えば特許文献２では、カメラを搭載した移動体により、構造物（建造物）の撮像画像が取得され、ＳｆＭ（Structure from Motion）を使用して３次元点群を生成し、３次元点群に基づいてポリゴンが生成されることが記載されている。特許文献２に記載された技術では、生成されたポリゴンに撮像画像がマッピングされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２２７５９５号公報
【特許文献２】特開２０１５−１１４９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、構造物の表面が複数のポリゴンで表された３次元モデルに撮像画像を貼り付ける手法（上述の特許文献２の手法）は、各ポリゴンに撮像画像を貼り付けるので、貼り付けられた撮像画像の画質が劣化してしまう場合があった。この画質劣化は３次元モデルの表面のランダムに生成された各ポリゴンの精度が低く、各ポリゴンにそれぞれ異なる撮像画像が貼り付けられるので、マッピングされた３次元モデルの表面が不均一なものとなってしまうものである。
【０００８】
また構造物の管理を行う場合には、定期的に点検を行い、複数の点検結果を比較することが行われる。【０００９】
特許文献２に記載された技術では、撮像画像からポリゴンを生成し、そのポリゴンに撮像画像をマッピングしているので、撮像画像の取得の度（点検毎）に、異なるポリゴンが生成される。したがって、撮像画像の取得の度に、異なるポリゴンが生成され、そのポリゴンに撮像画像が貼り付けられる。よって、撮像画像の取得の機会（点検）毎に異なるポリゴンに撮像画像がマッピングされるので、過去に生成した撮像画像がマッピングされたポリゴンは形状が異なる可能性があり、相互に比較するのに適していない。【００１０】
本発明はこのような事情に鑑みてなされたもので、その目的は、マッピングされた撮像画像の画質の劣化を抑制することができ、且つ過去の点検結果との比較を簡単に行うことができる構造物管理装置、構造物管理方法、及び構造物管理プログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明の一の態様である構造物管理装置は、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する画像取得部と、画像群の各画像を解析して構造物の損傷を検出する損傷検出部と、構造物を示す３次元設計データを取得する３次元設計データ取得部と、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する合成情報算出部と、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングするマッピング部と、を備える。【００１２】
本態様によれば、マッピング部により、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷がマッピングされるので、マッピングされた損傷の画質の劣化が抑制され、且つ過去の点検結果との比較を簡単に行うことができる。【００１３】
好ましくは、マッピング部は、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷をマッピングする。【００１４】
本態様によれば、マッピング部により、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷がマッピングされる。これにより、マッピングされた画像及び損傷において、画質の劣化が抑制され、且つ過去の点検結果との比較を簡単に行うことができる。【００１５】
好ましくは、構造物管理装置は、損傷検出部により検出された損傷の程度を評価する損傷評価部と、取得した３次元設計データ及びマッピングされた損傷を表示する表示部と、を備え、表示部は、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報を更に表示する。【００１６】
本態様によれば、損傷評価部により、損傷検出部により検出された損傷の程度が評価され、表示部により、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報が更に表示される。これにより、ユーザに簡便に損傷と損傷情報を合わせて視認させることができる。【００１７】
好ましくは、構造物管理装置は、損傷検出部により検出された損傷の程度を評価する損傷評価部と、３次元設計データを記録する記録部と、を備え、記録部は、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報を記録する。【００１８】
本態様によれば、損傷評価部により、損傷検出部により検出された損傷の程度が評価され、記録部により、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報が記録される。これにより、マッピングされた損傷の位置情報と損傷情報とが効率的に記録される。【００１９】
好ましくは、損傷情報は、損傷検出部により検出される損傷の種類、損傷評価部による損傷の程度を示すランク、及び損傷のサイズを含む。【００２０】
好ましくは、合成情報算出部は、Structure from Motion（以下、ＳｆＭという）手法又はSimultaneous Localization And Mapping（以下、ＳＬＡＭ）手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置を算出する。【００２１】
本態様によれば、合成情報算出部により、ＳｆＭ手法又はＳＬＡＭ手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置が算出されるので、精度良くカメラ位置及びカメラ姿勢と点群データの３次元位置を算出することができる。【００２２】
好ましくは、カメラを搭載した移動体と、移動体の移動及びカメラの撮像を制御し、カメラにより画像群を撮像させる移動体制御部と、を備え、画像取得部は、移動体に搭載されたカメラにより撮像された画像群を取得する。好ましくは、移動体は、飛行体である。【００２３】
本発明の他の態様である構造物管理方法は、画像取得部が、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得するステップと、損傷検出部が、画像群の各画像を解析して構造物の損傷を検出するステップと、３次元設計データ取得部が、構造物を示す３次元設計データを取得するステップと、合成情報算出部が、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出するステップと、マッピング部が、算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングするステップと、を含む。【００２４】
好ましくは、マッピングするステップは、合成情報に基づいて取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷をマッピングする。【００２５】
好ましくは、損傷評価部が、検出された損傷の程度を評価するステップと、表示部が、取得した３次元設計データ及びマッピングされた損傷を表示するステップと、を含み、表示するステップは、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報を更に表示する。
【００２６】
本発明の他の態様である構造物管理プログラムは、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、画像群の各画像を解析して構造物の損傷を検出する機能と、構造物を示す３次元設計データを取得する機能と、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する機能と、算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングする機能と、をコンピュータに実行させる。
【発明の効果】
【００２７】
本発明によれば、マッピング部により、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷がマッピングされるので、マッピングされた損傷の画質の劣化が抑制することができ、且つ過去の点検結果との比較を簡単に行うことができる。
【図面の簡単な説明】
【００２８】
【図１】図１は、構造物管理システムを概念的に示す図である。
【図２】図２は、構造物管理システムの主な機能構成を示すブロック図である。
【図３】図３は、装置制御部の機能構成例を示すブロック図である。
【図４】図４は、構造物管理工程（構造物管理方法）のフロー図である。
【図５】図５は、管理対象の橋梁を概念的に示す斜視図である。
【図６】図６は、画像群の一部を示す図である。
【図７】図７は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
【図８】図８は、カメラの位置、カメラの姿勢、及び点群データの３次元位置を示す図である。
【図９】図９は、３次元設計データを示す図である。
【図１０】図１０は、点群データの３次元位置と３次元設計データとのレジストレーションに関して示す概念図である。
【図１１】図１１は、ひびわれが３次元設計データの平面にマッピングされることを示す図である。
【図１２】図１２は、撮像画像及びひびわれが３次元設計データの平面にマッピングされることを示す図である。
【発明を実施するための形態】
【００２９】
以下、添付図面に従って本発明にかかる構造物管理装置、構造物管理方法、及び構造物管理プログラムの好ましい実施の形態について説明する。
【００３０】
図１は、本発明の構造物管理装置３００と移動体１００から構成される構造物管理システム１を概念的に示す図である。移動体１００は、例えば無人飛行体（ドローン）である。また移動体１００は自走型ロボットであってもよい。移動体１００は、搭載されたカメラ２０２により管理対象の構造物の複数枚の撮像画像で構成される撮像画像群を取得する。ここで構造物とは、橋梁、ダム、トンネル、建物などのコンクリート構造物である。
【００３１】
構造物管理装置３００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（read‐only memory）、及びＲＡＭ（Random Access Memory）等を備えコンピュータにより構成され、カメラ２０２により撮像された撮像画像群を取得する。なお、構造物管理装置３００を構成するコンピュータは、ＣＰＵがＲＯＭに格納された構造物管理プログラムを実行することにより、構造物管理装置３００として機能する。
【００３２】
図２は、構造物管理システム１の主な機能構成を示すブロック図である。
【００３３】
構造物管理システム１を構成する移動体１００は、主に移動体入出力部２３０、移動体制御部１３０、移動体駆動部１０８、カメラ２０２、撮像制御部２０４を備える。また、構造物管理システム１を構成する構造物管理装置３００は、装置入出力部３１０、装置制御部３２０、記録部３５０、表示部３４０、及び操作部３３０で構成される。
【００３４】
移動体入出力部２３０は、無線又は有線により接続されて情報の入出力を行う。例えば、移動体入出力部２３０は、カメラ２０２で撮像された構造物の画像群を出力する。
【００３５】
移動体制御部１３０は、移動体１００のコントローラ（不図示）の移動指令に基づいて移動体１００を制御し、移動体１００を移動させる。例えば、移動体１００が無人飛行体のドローンである場合には、プロペラの駆動が移動体制御部１３０により制御される。
【００３６】
撮像制御部２０４は、移動体１００のコントローラからの撮像指令に基づいて、カメラ２０２に撮像画像を取得させる。カメラ２０２は、管理対象である構造物をオーバーラップ領域をもって連続的に撮像し、複数の画像で構成された画像群を取得する。カメラ２０２は、動画を撮像しその動画から静止画を切り出すことにより、画像及び画像群を取得してもよいし、静止画を取得して画像群を取得してもよい。また例えば撮像制御部２０４は、カメラ２０２に、１秒毎に１枚の撮像画像を取得させて画像群を取得する。なお、オーバーラップ領域は、例えば撮像画像の８０％とすることがＳｆＭ手法を適用する上で好ましい。
【００３７】
構造物管理装置３００は、構造物管理システム１を操作するユーザにより操作されるものである。構造物管理装置３００は、装置入出力部３１０、装置制御部３２０、操作部３３０、表示部３４０、及び記録部３５０から構成されている。
【００３８】
装置入出力部３１０は、無線又は有線により接続されて情報の入出力が行われる。例えば、移動体１００が取得した画像群が装置入出力部３１０を介して入力される。
【００３９】
装置制御部３２０は、装置入出力部３１０を介して画像群を取得し、３次元設計データに損傷及び撮像画像のマッピングを行う。なお、３次元設計データへの損傷及び撮像画像のマッピングに関しては後で説明を行う。また装置制御部３２０は、記録部３５０への記録の制御、表示部３４０への表示の制御、及び操作部３３０から入力される指令に応じた制御を行う。
【００４０】
表示部３４０は、装置制御部３２０の制御により表示を行う。例えば、表示部３４０は、損傷がマッピングされた３次元設計データを表示する。また、表示部３４０は、マッピングされた損傷の位置に関連付けて、損傷評価部４０５（図３）による損傷の評価結果を含む損傷情報を表示する。ここで損傷情報は、損傷検出部４０３（図３）により検出される損傷の種類、損傷評価部４０５による損傷の程度を示すランク、及び損傷のサイズを含む。
【００４１】
記録部３５０は、装置制御部３２０の制御により各種情報の記録を行う。例えば記録部３５０は、損傷がマッピングされた３次元設計データを記録する。また記録部３５０は、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報を記録する。
【００４２】
図３は、装置制御部３２０の機能構成例を示すブロック図である。
【００４３】
装置制御部３２０は、画像取得部４０１、損傷検出部４０３、損傷評価部４０５、３次元設計データ取得部４０７、合成情報算出部４０９、及びマッピング部４１１から構成されている。
【００４４】
画像取得部４０１は、装置入出力部３１０を介して、移動体１００を移動させながら、管理対象である構造物をオーバーラップ領域をもって撮像された画像群を取得する。また画像取得部４０１は、一つの構造物に対して単数又は複数の画像群を取得する。
【００４５】
損傷検出部４０３は、画像群の各画像を解析して構造物の損傷を検出する。損傷検出部４０３が行う損傷検出は、公知の技術で行われるため、ここでは詳細な説明は省略する。なお、損傷検出部４０３で検出される損傷は、構造物の一般的な損傷を含む。例えば、ひびわれ、コンクリート剥離、遊離石灰などである。
【００４６】
損傷評価部４０５は、損傷検出部により検出された損傷の程度を評価する。損傷評価部４０５は、自動又は手動により、損傷の評価を行う。損傷評価部４０５が自動で損傷の評価を行う場合には、検出された損傷を画像処理することにより損傷程度を評価する。また、損傷評価部４０５が手動により、損傷を評価する場合には、表示部３４０に表示された損傷をユーザが確認し操作部３３０を介してその損傷の程度を評価する。なお、上述の損傷評価を含む損傷情報は国土交通省作成の「橋梁定期点検要領（平成２６年６月）」に従って入力することが好ましい。
【００４７】
３次元設計データ取得部４０７は、装置入出力部３１０から入力される管理対象の構造物を示す３次元設計データを取得する。３次元設計データは、例えば３次元ＣＡＤデータである。
【００４８】
合成情報算出部４０９は、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラ２０２の各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する。具体的には、合成情報算出部４０９は、ＳｆＭ手法又はＳＬＡＭ手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置を算出する。
【００４９】
マッピング部４１１は、合成情報算出部４０９により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷及び撮像画像をマッピングする。
【００５０】
なお、合成情報算出部４０９で行われる合成情報の算出及びマッピング部４１１のマッピングに関しては後で詳細に説明をする。
【００５１】
図４は、構造物管理装置３００を使用して行われる構造物管理工程（本発明の構造物管理方法に相当）のフロー図である。
【００５２】
≪画像群の取得及び損傷の検出≫
先ず、画像取得部４０１により、管理対象である橋梁Ｂの撮像画像で構成される画像群Ｃを取得する（ステップＳ１０）。
【００５３】
図５は、管理及び点検対象の橋梁Ｂを概念的に示す斜視図である。橋梁Ｂの表面の一つの平面４２１には損傷であるひびわれ４２３が存在する。移動体１００は、橋梁Ｂの周りを飛行しながらこの橋梁Ｂの撮像を連続的に行い、画像群Ｃを取得する。そして、画像取得部４０１は、移動体１００が取得した橋梁Ｂの撮像画像で構成される画像群Ｃを取得する。
【００５４】
次に損傷検出部４０３により、画像群Ｃを構成する撮像画像からひびわれ４２３が検出される（ステップＳ１１：図４）。
【００５５】
図６は、画像取得部４０１が取得した画像群Ｃの一部４２５を示す図である。画像群Ｃの一部４２５は、撮像画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６で構成されている。損傷検出部４０３は、例えば撮像画像Ｃ６に写っているひびわれ４２３を画像解析により検出する。なお、撮像画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６はオーバーラップ領域を有し、撮像画像Ｃ２、Ｃ３、Ｃ４、Ｃ５においてもひびわれ４２３が検出される。したがって、損傷検出部４０３は、複数の撮像画像において同一の損傷が検出される場合には、重複する部分は削除してもよい。
【００５６】
≪合成情報の算出≫
次に合成情報算出部４０９により、画像群Ｃに基づいて、カメラ２０２の位置及び姿勢、画像群Ｃを構成する撮像画像の相互間でのオーバーラップ領域内で共通する特徴点の点群データの３次元位置を算出する（ステップＳ１２：図４）。
【００５７】
合成情報算出部４０９は、画像群Ｃを解析し、合成情報として画像群Ｃの各撮像画像を撮像したときのカメラ２０２の位置及び姿勢をそれぞれ推定する。
【００５８】
具体的には、画像群Ｃの各撮像画像が重複する領域（オーバーラップ領域）に含まれる特徴点を抽出し、各撮像画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を特定する。
【００５９】
撮像画像間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって各撮像画像間の重複領域は大きいことが好ましい。
【００６０】
そして、各撮像画像間の対応する複数の特徴点に基づいてカメラ２０２の位置及び姿勢をそれぞれ推定する。
【００６１】
図７は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
【００６２】
被写体（本例では、橋梁Ｂ）の３次元位置（３次元形状）は、原点Ｏを有するＸＹＺの直交３軸のワールド座標系によって表すことができる。
【００６３】
一方、ｘｙｚの直交３軸のローカル座標系（以下、「カメラ座標系」という）は、ワールド座標系とは独立に移動するカメラ２０２の座標系である。カメラ座標系の原点は、カメラ２０２の焦点位置であり、光軸方向がｚ軸である。
【００６４】
画像座標系は、カメラ２０２のイメージセンサに結像される撮像画像上の点の２次元位置を表す座標系である。撮像画像上の特徴点ｃの座標(u,v)は、カメラ２０２のイメージセンサの基準位置からの画素数と画素ピッチとにより求めることができる。
【００６５】
画像座標系における特徴点ｃの座標(u,v)、ワールド座標系における特徴点ｃの座標（Ｘ，Ｙ，Ｚ）、カメラ内部パラメータを表す行列Ｃ，及びカメラ外部パラメータを表す行列Ｍとの関係は、次式により表すことができる。
【００６６】
【数１】
0006970817.tif 000002
【００６７】
カメラ内部パラメータは、焦点距離、イメージセンサの画像サイズ、画素ピッチ、画像中心位置等を含み、事前にキャリブレーションにより取得できるものである。
【００６８】
カメラ外部パラメータを表す行列Ｍは、ワールド座標からカメラ座標への座標変換行列であり、カメラ２０２の位置を表す並進ベクトル、及びカメラ２０２の姿勢を表す回転行列を含む。
【００６９】
カメラ２０２の位置及び姿勢は、カメラ外部パラメータを表す行列Ｍを求めることで推定することができる。複数の撮像画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、ＳｆＭ手法が知られている。
【００７０】
ＳｆＭ手法は、カメラ２０２を移動させながら撮像される撮像画像上の複数の特徴点を追跡し、これらの特徴点の対応関係を利用してカメラ２０２の位置及び姿勢と特徴点の３次元位置とを算出するものである。但し、ＳｆＭ手法では、カメラ２０２と被写体との間の相対的な位置及びカメラ間の相対的な位置及び姿勢は推定可能であるが、撮像画像のみではスケール情報が得られないため、絶対的な位置を推定することができない。そこで、３次元位置が既知のマーカ等の絶対的な位置情報、あるいは被写体のサイズ情報等を付与することで、絶対的な位置を推定することができる。
【００７１】
合成情報算出部４０９は、入力される画像群Ｃに対して上記ＳｆＭ手法を使用し、合成情報として画像群Ｃの各撮像画像を撮像したときのカメラ２０２の位置及び姿勢をそれぞれ推定する。
【００７２】
尚、合成情報算出部４０９は、ＳｆＭ手法を使用する場合に限らず、例えば、ＳＬＡＭ手法を使用してもよい。ＳＬＡＭ手法では、入力画像の変化に応じて動的に更新される特徴点のセットを用いて、特徴点の位置とカメラ２０２の位置及び姿勢とを同時に推定することができる。ＳＬＡＭ手法の基本的な原理は、文献（Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a Single Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。
【００７３】
図８は、上述したようにＳｆＭの手法を使用して算出されたカメラ２０２の位置（位置情報）Ｐ１、カメラ２０２の姿勢（姿勢情報）Ｑ１、及び点群データの３次元位置Ｒを示す図であり、合成情報算出部４０９で算出される合成情報はこれらの情報を含む。
【００７４】
≪マッピング≫
次に、３次元設計データ取得部４０７により、橋梁Ｂの３次元設計データＤが取得される（ステップＳ１３：図４）。図９は、橋梁Ｂの３次元設計データＤを示す図である。
【００７５】
その後、マッピング部４１１により、撮像画像Ｃ６において検出したひびわれ４２３が３次元設計データＤにマッピングされる（ステップＳ１４：図４）。ここで、３次元設計データＤに撮像画像がマッピングされたものが点検結果となる。
【００７６】
図１０は、点群データの３次元位置Ｒと３次元設計データＤとのレジストレーションに関して示す概念図である。ここでレジストレーションとは、点群データの３次元位置Ｒと３次元設計データＤと形状を一致させることをいう。
【００７７】
３次元設計データＤと点群データの３次元位置Ｒとは、同一座標系上に置かれる。そして、３次元設計データＤにおける平面４２１を基準にして、３次元設計データＤにおける平面４２１と点群データの３次元位置Ｒにおける対応する平面とが一致するように、点群データの３次元位置Ｒを並進補正、回転補正、及び／又は拡縮補正を行う。例えば、３次元設計データＤにおける平面４２１と点群データの３次元位置Ｒにおける平面４２１との差分を最小にするように最小二乗法で計算され、点群データの３次元位置Ｒに対して補正が行われる。このように、３次元設計データＤを基準に、点群データの３次元位置Ｒのレジストレーションが行われることにより、３次元設計データは点検管理毎に異なる３次元モデルとならないので、過去の点検結果と比較を容易に行えるようになる。なお、点群データの３次元位置Ｒに関して上述したようにマーカ等により絶対的な位置が推定されている場合には、点群データの３次元位置Ｒを基準としてもよい。
【００７８】
図１１は、マッピング部４１１により、ひびわれ４２３が３次元設計データＤの平面４２１にマッピングされることを示す図である。マッピング部４１１は、３次元設計データＤを基準に、点群データの３次元位置Ｒのレジストレーションが行われると、点群データの３次元位置Ｒの補正係数Ｗが算出する。マッピング部４１１は、その補正係数Ｗと、ＳｆＭ手法を使用して推定したカメラ２０２の位置Ｐ１及び姿勢Ｑ１から、上述のレジストレーション後のカメラ２０２の位置Ｐ２及び姿勢Ｑ２を算出する。そして、マッピング部４１１は、カメラ２０２の位置Ｐ２及び姿勢Ｑ２に基づいて、新たな行列式を算出し、ひびわれ４２３を３次元設計データＤの平面４２１にマッピングする。なお、カメラ２０２の位置Ｐ２及び姿勢Ｑ２で撮像されたひびわれ４２３のマッピングは、公知の技術が使用されるのでここでは説明を省略する。このように、３次元設計データＤの平面４２１に損傷４２３をマッピングすることにより、マッピングされた撮像画像が均一性を有し、マッピングされた画像の画質劣化が抑制される。また、３次元設計データＤの平面４２１に損傷４２３をマッピングすることにより、過去の点検結果（３次元設計データＤの平面４２１にマッピングされた過去の損傷）と比較することができる。
【００７９】
表示部３４０に、ひびわれ４２３が３次元設計データＤにマッピングされるのに伴い、ひびわれ４２３の損傷情報４３１である、損傷の種類である「ひびわれ」と損傷の程度「ランクＣ」が表示される。
【００８０】
図１２は、マッピング形態の変形例を示す図であり、撮像画像Ｃ６が３次元設計データＤの平面４２１にマッピングされることを示す図である。３次元設計データＤの平面４２１には、ひびわれ４２３だけでなく、画像群Ｃを構成する撮像画像をマッピングすることもできる。この場合、各撮像画像をマッピングし、マッピングした撮像画像上に検出したひびわれ４２３をマッピングする。なお、図１２では撮像画像Ｃ６のマッピングのみ示しているが、３次元設計データＤの平面４２１には、画像群Ｃがマッピングされる。画像群Ｃがマッピングされる場合には、図６で示したように短冊型の連続した撮像画像がマッピングされることになる。
【００８１】
以上で説明したように、本発明では、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングする。これにより、マッピングされた損傷の画質が劣化することが抑制され、且つ過去の点検結果との比較を簡単に行うことができる。
【００８２】
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００８３】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００８４】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００８５】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【００８６】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【００８７】
１      ：構造物管理システム
１００  ：移動体
１０８  ：移動体駆動部
１３０  ：移動体制御部
２０２  ：カメラ
２０４  ：撮像制御部
２３０  ：移動体入出力部
３００  ：構造物管理装置
３１０  ：装置入出力部
３２０  ：装置制御部
３３０  ：操作部
３４０  ：表示部
３５０  ：記録部
４０１  ：画像取得部
４０３  ：損傷検出部
４０５  ：損傷評価部
４０７  ：３次元設計データ取得部
４０９  ：合成情報算出部
４１１  ：マッピング部
【図１】
0006970817.tif 000003
【図２】
0006970817.tif 000004
【図３】
0006970817.tif 000005
【図４】
0006970817.tif 000006
【図５】
0006970817.tif 000007
【図６】
0006970817.tif 000008
【図７】
0006970817.tif 000009
【図８】
0006970817.tif 000010
【図９】
0006970817.tif 000011
【図１０】
0006970817.tif 000012
【図１１】
0006970817.tif 000013
【図１２】
0006970817.tif 000014