(57)【要約】本発明は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することを目的とする。損傷データ編集装置（２０）は、画像取得部（２２）と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部（３２）と、表示部（２６）と、表示部（２６）に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部（３８）と、表示部（２６）に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部（４０）と、図面データ取得部（２４）と、射影関係受付部（３４）と、出力部（４４）と、を備える。
2019021719.tif 000002
【特許請求の範囲】
【請求項１】
点検対象の建造物が撮影された撮影画像を取得する画像取得部と、
前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、
表示部と、
前記表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御部と、
前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集部と、
前記点検対象の建造物の図面データを取得する図面データ取得部と、
前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの射影関係の入力を受け付ける射影関係受付部と、
前記射影関係受付部で受け付けられた前記射影関係に基づいて、前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する射影変換部と、
前記射影変換部で射影変換された前記損傷データを出力する出力部と、
を備える損傷データ編集装置。
【請求項２】
前記表示制御部は、前記表示部に前記図面データを表示させ、
前記射影関係受付部は、前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとの前記射影関係を示す、前記撮影画像の４点および前記図面データの４点を受け付ける請求項１に記載の損傷データ編集装置。
【請求項３】
前記射影変換部は、前記撮影画像の４点を前記図面データの４点に合わせる射影変換行列を算出し、前記算出した射影変換行列により前記損傷データ生成部で生成した前記損傷データまたは前記編集部で編集された前記損傷データを射影変換する請求項１または２に記載の損傷データ編集装置。
【請求項４】
前記表示部に表示された前記撮影画像と前記図面データ取得部で取得された前記図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、
前記ミラーリング関係受付部で受け付けられた前記ミラーリング関係に基づいて、前記損傷データをミラーリングするミラーリング部と、を備え、
前記出力部は、ミラーリングおよび射影変換された前記損傷データを出力する請求項１から３のいずれか１項に記載の損傷データ編集装置。
【請求項５】
前記建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、
前記損傷データ生成部は、前記複数の撮影画像の各々について、前記損傷データを生成する請求項１から４のいずれか１項に記載の損傷データ編集装置。
【請求項６】
前記撮影画像合成部は、前記図面データに表される一区画に対応して撮影された前記複数の撮影画像を、前記一区画毎に合成を行う請求項５に記載の損傷データ編集装置。
【請求項７】
前記撮影画像合成部で合成された前記複数の撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成部を備える請求項６に記載の損傷データ編集装置。
【請求項８】
前記損傷データ合成部は、前記一区画毎に合成を行う請求項７に記載の損傷データ編集装置。
【請求項９】
前記射影変換部で射影変換された前記損傷データと前記損傷データに対応する前記図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、
前記出力部は、前記損傷図面データを出力する請求項１から８のいずれか１項に記載の損傷データ編集装置。
【請求項１０】
前記建造物は、橋梁またはトンネルである請求項１から９のいずれか１項に記載の損傷データ編集装置。
【請求項１１】
点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
を含む損傷データ編集方法。
【請求項１２】
点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、
前記撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、
表示部に前記撮影画像を表示させるとともに、前記損傷データを前記撮影画像にオーバレイ表示させる表示制御ステップと、
前記表示部に表示された前記損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記損傷データを編集する編集ステップと、
前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
前記表示部に表示された前記撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ生成ステップで生成した前記損傷データまたは前記編集ステップで編集された前記損傷データを射影変換する射影変換ステップと、
前記射影変換ステップで射影変換された前記損傷データを出力する出力ステップと、
を含む損傷データ編集工程をコンピュータに実行させるプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、損傷データ編集装置、損傷データ編集方法、およびプログラムに関し、特に点検対象である建造物の撮影画像から生成される損傷データを編集する技術に関する。
【背景技術】
【０００２】
橋梁、トンネル等の建造物は、継時的に損傷の発生する可能性が高くなる。したがって、定期的に損傷の発生および損傷の進行状況の点検を行うことが求められている。【０００３】
建造物を点検する調査員は、点検の結果を示す帳票として所定形式の点検調書を作成する必要がある。その点検調書の一つとして建造物の損傷状態を図示する損傷図がある。実際に点検した調査員とは異なる専門家であっても、所定形式で作成された損傷図を見ることにより、建造物の損傷の発生および進行状況を把握し、その建造物の維持管理計画を策定することが可能になる。【０００４】
また近年において建造物の点検は、撮影画像を利用して行われる場合がある。すなわち、調査員は、点検対象である建造物の撮影画像を取得し、その撮影画像から損傷（例えばひび割れ）を検出することにより、建造物の損傷の点検を行う。【０００５】
特許文献１には、建造物の撮影画像を利用して検査図面（損傷図に相当）の作成を行う技術が記載されている。具体的には、点検対象の建造物の撮影画像における損傷の特徴から線や面や文字の損傷オブジェクトを作成し、スキャナで読み込んだ製図面データ上に配置する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３１８７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、撮影画像から画像処理により損傷を検出する場合には、撮影画像に射影変換等の加工を加える前に損傷の検出処理を行うと、より精度の高い損傷の検出を行うことができる。すなわち、撮影画像に射影変換等の加工が加えられると、加工の影響により撮影画像のデータに影響が及ぼされて、精度の良い損傷の検出が行えない場合が発生する。【０００８】
しかしながら、特許文献１に記載された技術では、射影変換前の撮影画像に基づいて損傷オブジェクトが生成されることに関しては言及されていない。【０００９】
また、撮影画像から画像処理により損傷を検出する場合には、必ずしも精度良く損傷が検出されるとは限らず、画像処理により損傷を検出したのちにユーザが確認し、必要に応じて損傷の検出結果を編集（修正および加工）することが必要になる場合がある。【００１０】
しかしながら、特許文献１に記載された技術では、損傷の検出結果であるオブジェクトデータの生成の際に、撮影画像の損傷とオブジェクトデータとを合わせるような編集機能に関して言及されていない。すなわち、特許文献１に記載された技術では、生成されたオブジェクトデータが精度良く撮影画像の損傷を表現しているかユーザが確認し編集する機能に関しては言及されていない。【００１１】
本発明はこのような事情に鑑みてなされたもので、その目的は、撮影画像に写された損傷が精度良く表現された損傷データを得ることができる損傷データ編集装置、損傷データ編集方法、およびプログラムを提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するための本発明の一の態様である損傷データ編集装置は、点検対象の建造物が撮影された撮影画像を取得する画像取得部と、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成部と、表示部と、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御部と、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集部と、点検対象の建造物の図面データを取得する図面データ取得部と、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係の入力を受け付ける射影関係受付部と、射影関係受付部で受け付けられた射影関係に基づいて、損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する射影変換部と、射影変換部で射影変換された損傷データを出力する出力部と、を備える。【００１３】
本態様によれば、損傷データ生成部で撮影画像を画像解析されることにより損傷データが生成され、そして生成された損傷データは、撮影画像と図面データとの射影関係に基づいて射影変換される。すなわち、本態様の損傷データは、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換される。これにより本態様は、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。【００１４】
また本態様によれば、表示制御部により、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示されるので、ユーザは、そのオーバレイ表示を確認して、生成された損傷データを編集することができる。すなわちユーザは、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認することができる。例えばユーザは、撮影画像に写っている損傷と損傷データとの間に差異がある場合には、撮影画像に写っている損傷を参照して損傷データを編集することができる。これにより、本態様は、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。【００１５】
好ましくは、表示制御部は、表示部に図面データを表示させ、射影関係受付部は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の４点および図面データの４点を受け付ける。【００１６】
本態様によれば、射影関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとの射影関係を示す、撮影画像の４点および図面データの４点が受け付けられる。これにより本態様は、適切に射影関係が受け付けられて、正確な損傷データの射影変換が行われる。【００１７】
好ましくは、射影変換部は、撮影画像の４点を図面データの４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データを射影変換する。【００１８】
本態様によれば、射影変換部により、撮影画像の４点を図面データの４点に合わせる射影変換行列が算出され、算出した射影変換行列により損傷データ生成部で生成した損傷データまたは編集部で編集された損傷データが射影変換される。これにより、本態様は、正確に損傷データの射影変換を行うことができる。【００１９】
好ましくは、損傷データ編集装置は、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングするミラーリング部と、を備え、出力部は、ミラーリングおよび射影変換された損傷データを出力する。【００２０】
本態様によれば、ミラーリング関係受付部により、表示部に表示された撮影画像と図面データ取得部で取得された図面データとのミラーリング関係の入力が受け付けられ、ミラーリング部により、ミラーリング関係受付部で受け付けられたミラーリング関係に基づいて、損傷データがミラーリングされる。これにより本態様は、ミラーリングされた損傷データを得ることができ、建造物の撮影側とは反対側から見た損傷状態を図示する損傷データを得ることができる。【００２１】
好ましくは、損傷データ編集装置は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する撮影画像合成部を備え、損傷データ生成部は、複数の撮影画像の各々について、損傷データを生成する。【００２２】
本態様によれば、撮影画像合成部により、建造物の一区画を分割撮影することにより得られる複数の撮影画像が合成されるので、合成された撮影画像を取得することができ、合成された撮影画像の表示を行うことができる。また、本態様によれば、損傷データ生成部により複数の撮影画像の各々について、損傷データが生成される。すなわち、本態様では、合成される前の各撮影画像において損傷データが生成されるので、損傷データ生成部は、撮影画像の合成の影響を受けずに、精度良く損傷データの生成を行うことができる。【００２３】
好ましくは、撮影画像合成部は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行う。【００２４】
本態様によれば、撮影画像合成部により、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成が行われる。これにより本態様は、一区画毎の合成画像を得ることができ、一区画毎の合成画像を表示することができる。【００２５】
好ましくは、損傷データ編集装置は、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する損傷データ合成部を備える。【００２６】
本態様によれば、損傷データ合成部により、撮影画像合成部で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。これにより本態様は、合成された損傷データを得ることができる。【００２７】
好ましくは、損傷データ合成部は、一区画毎に合成を行う。【００２８】
本態様によれば、損傷データ合成部により、一区画毎に合成が行われる。これにより、本態様は一区画毎に合成された損傷データを得ることができる。【００２９】
好ましくは、損傷データ編集装置は、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、出力部は、損傷図面データを出力する。【００３０】
本態様によれば、損傷図面データ作成部により、射影変換部で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データが作成され、出力部により、損傷図面データが出力される。これにより本態様は、精度良く撮影画像の損傷を表現した損傷データを有する損傷図面データを得ることができる。【００３１】
好ましくは、建造物は、橋梁またはトンネルである。【００３２】
本発明の他の態様である損傷データ編集方法は、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。【００３３】
本発明の他の態様である損傷データ編集工程をコンピュータに実行させるプログラムは、点検対象の建造物が撮影された撮影画像を取得する画像取得ステップと、撮影画像を画像解析することにより、損傷データを生成する損傷データ生成ステップと、表示部に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる表示制御ステップと、表示部に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する編集ステップと、点検対象の建造物の図面データを取得する図面データ取得ステップと、表示部に表示された撮影画像と図面データ取得ステップで取得された図面データとの射影関係の入力を受け付ける射影関係受付ステップと、射影関係受付ステップで受け付けられた射影関係に基づいて、損傷データ生成ステップで生成した損傷データまたは編集ステップで編集された損傷データを射影変換する射影変換ステップと、射影変換ステップで射影変換された損傷データを出力する出力ステップと、を含む。
【発明の効果】
【００３４】
本発明によれば、損傷データが、射影変換前の撮影画像における損傷の検出に基づいて生成され、その後射影変換されるので、損傷の検出を行う撮影画像において射影変換による画質劣化の影響を受けることがなく、撮影画像に写された損傷を精度良く再現した損傷データを生成することができる。また本発明によれば、ユーザに、生成された損傷データが、撮影画像に写っている損傷を精度良く表現しているか否かを確認し編集する機能を提供することができ、撮影画像に写された損傷を精度良く表現した損傷データを生成することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は建造物の一例である橋梁の構造を示す斜視図である。
【図２】図２は損傷データ編集装置の構成例を示すブロック図である。
【図３】図３は記憶部に記憶される損傷図形の例を示す図である。
【図４】図４は損傷データ編集装置の動作フローを示すフローチャートである。
【図５】図５は射影関係受付部で受け付けられる射影関係の具体例を説明する図である。
【図６】図６は損傷データ編集装置の構成例を示すブロック図である。
【図７】図７はミラーリングに関して説明する図である。
【図８】図８はミラーリングに関して説明する図である。
【図９】図９は損傷図面データの例を示す図である。
【図１０】図１０は反転損傷図面データの例を示す図である。
【図１１】図１１は損傷データ編集装置の動作フローを示すフローチャートである。
【図１２】図１２はＣＡＤ図面の一例を示す図である。
【図１３】図１３は射影関係およびミラーリング関係の入力の具体例を説明する図である。
【図１４】図１４はミラーリングに関して説明する図である。
【図１５】図１５はミラーリングして得られた損傷データを示す図である。
【図１６】図１６は損傷図面データの作成に関して説明する図である。
【図１７】図１７は床版の格間に関する編集画面の表示例を示す図である。
【図１８】図１８は床版におけるひび割れの進行モデルの一例を模式的に示す図である。
【図１９】図１９は格間が撮影された撮影画像を示す図である。
【図２０】図２０は撮影装置を備えるロボット装置を概念的に示す図である。
【図２１】図２１はミラーリングのバリエーションの説明のための説明図である。
【発明を実施するための形態】
【００３６】
以下、添付図面にしたがって本発明にかかる損傷データ編集装置、損傷データ編集方法およびプログラムの好ましい実施の形態について説明する。
【００３７】
図１は、本発明が適用される建造物の一例である橋梁の構造を示す斜視図であって、橋梁１を下側から見た場合の斜視図である。本図の橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有する。主桁２の上部には、コンクリート製の部材である床版６が設けられている。主桁２は、橋脚７（または橋台）の間に渡され、床版６上の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支えるため、主桁２を連結する部材である。対傾構４および横構５は、特に横荷重に抵抗するため、主桁２を連結する部材である。橋脚７は、橋梁１の主桁２、横桁３、対傾構４、横構５、および床版６の上部構造を支える柱であり、橋梁１の脚に相当する部材である。
【００３８】
なお、図１に示した橋梁１は本発明の説明に用いるために紹介した建造物の一例であり、本発明における建造物は、このような橋梁１に限定されない。撮影画像により損傷の検出が行えて、点検が行える対象であれば、本発明の建造物に該当する。例えば本発明における建造物は、トンネルでもよい。
【００３９】
＜第１の実施形態＞
図２は、第１の実施形態における損傷データ編集装置２０の構成例を示すブロック図である。損傷データ編集装置２０は、撮影装置１０で撮影された点検対象の建造物の撮影画像を取得する。
【００４０】
撮影装置１０は、点検対象の建造物を撮影する撮影デバイスによって構成される。撮影デバイスの例として、デジタルカメラ、スマートフォンに内蔵されたカメラ、タブレット端末に内蔵されたカメラが挙げられる。撮影装置１０で取得された撮影画像は、損傷データ編集装置２０に入力される。
【００４１】
本形態の損傷データ編集装置２０は、例えばコンピュータに設けられる。損傷データ編集装置２０は、主に、画像取得部２２、図面データ取得部２４、表示部２６、操作部２８、ＣＰＵ３０、および記憶部５０を備える。
【００４２】
画像取得部２２は、点検対象の建造物が撮影された撮影画像を取得する。また画像取得部２２は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得してもよい。ここで建造物の一区画とは例えば、点検を行う際に便宜上区切りを付ける建造物の一区画であり、床版６における格間（図１および図１９を参照）が挙げられる。
【００４３】
図面データ取得部２４は、点検対象の建造物の図面データを取得する。例えば図面データ取得部２４は、点検対象の建造物を示すＣＡＤ（computer aided design）図面を取得する。また、図面データ取得部２４は、スキャナ等で読み込ませた図面データを取得してもよい。
【００４４】
画像取得部２２および図面データ取得部２４は、デジタル信号の入力を行う入力デバイスによって構成することができる。このような入力デバイスとして、例えば、無線通信または有線通信を行う通信デバイスを用いてもよい。メモリカード等の記憶媒体とのインタフェースデバイスを入力デバイスとして用いてもよい。
【００４５】
表示部２６は、液晶表示デバイス等の表示デバイスによって構成される。例えば表示部２６は、コンピュータのモニタにより構成される。
【００４６】
操作部２８は、ユーザの操作を受け付ける。キーボードおよびマウスによって構成することができる。これら以外の操作デバイス、例えば表示部２６に設けられるタッチパネルによって操作部２８を構成してもよい。
【００４７】
ＣＰＵ３０は、プログラムを実行するＣＰＵ(central processing unit)３０であり、単数または複数のＣＰＵにより構成される。
【００４８】
記憶部５０は、プログラムおよびそのプログラムの実行に必要な情報を記憶する。記憶部５０は、メモリデバイスによって構成される。
【００４９】
ＣＰＵ３０は、損傷データ生成部３２、射影関係受付部３４、射影変換部３６、表示制御部３８、編集部４０、および出力部４４を備える。
【００５０】
損傷データ生成部３２は、撮影画像を画像解析することにより、損傷データを生成する。すなわち、損傷データ生成部３２は、画像取得部２２で取得された撮影画像に対して画像解析を実行することにより損傷を検出し、その損傷を表現する損傷データを生成する。ここで、撮影画像に写る損傷としては、ひび割れ、剥離、鉄筋露出、遊離石灰、および漏水が挙げられる。また損傷データとは、撮影画像に写っている損傷を表示部２６において表現するデータである。例えば損傷データとしては、撮影画像に写っている損傷をトレースした画像データであったり、予め損傷の種別毎に記憶部５０に記憶された損傷図形（図３参照）であったりする。なお、損傷データ生成部３２が行う撮影画像における損傷画像を検出するための画像解析、および損傷データを生成する技術は公知の技術が用いられる。
【００５１】
図３は、記憶部５０に記憶される損傷図形の例を示す図である。図３に示すように、記憶部５０には損傷の種類に応じた損傷図形を記憶部５０に記憶させておき、損傷データ生成部３２には検出した損傷に応じて記憶されている損傷図形を損傷データとして使用してもよい。図３には、ひび割れ、剥離、鉄筋露出、遊離石灰、漏水の損傷図形が例示されている。
【００５２】
射影関係受付部３４は、表示部２６に表示された撮影画像と図面データ取得部２４で取得された図面データとの射影関係の入力を受け付ける。射影関係受付部３４で受け付けられる射影関係は、様々な形態で受け付けられる。例えば射影関係受付部３４は、撮影画像と図面データとでそれぞれ対応する４点の指定を受け付けることにより、射影関係を受け付けてもよい。また例えば射影関係受付部３４は、撮影画像における矩形であるべき箇所を公知の画像認識技術により検出し、検出された矩形であるべき箇所に対応する図面データの箇所を指定することにより、射影関係を受け付けてもよい。
【００５３】
射影変換部３６は、射影関係受付部３４で受け付けられた射影関係に基づいて、損傷データ生成部３２で検出した損傷データまたは編集部４０で編集された損傷データを射影変換する。射影変換部３６は、公知の技術によって損傷データまたは編集部４０で編集された損傷データを射影変換する。例えば射影変換部３６は、撮影画像の４点を図面データの４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部３２で生成した損傷データまたは編集部４０で編集された損傷データを射影変換する。
【００５４】
表示制御部３８は、表示部２６に撮影画像を表示させるとともに、損傷データを撮影画像にオーバレイ表示させる。すなわち表示制御部３８は、撮影画像を表示部２６に表示させ、且つ撮影画像における損傷に対応するように損傷データを重畳表示させる。なお、表示制御部３８は、撮影画像、損傷データ、図面データ、および損傷図面データを表示部２６に適宜表示させる機能を有する。
【００５５】
編集部４０は、表示部２６に表示された損傷データの編集の指令を受け付けて、編集の指令に基づいて損傷データを編集する。例えばユーザは、表示部２６に表示された撮影画像と損傷データ生成部３２で自動的に生成された損傷データを見比べて、正確に損傷データが撮影画像の損傷を表現できていない場合には、損傷データを編集（加工）する。この場合、ユーザはコンピュータに取り付けられたマウス（操作部２８）を使用して、損傷データの編集に関する指令を入力する。そして、編集部４０は、その編集の指令に基づいて損傷データを編集する。編集部４０は、追加、削除、および修正といった各種の編集操作も受け付ける。
【００５６】
出力部４４は、射影変換部３６で射影変換された損傷データを出力する。出力部４４の出力形態は特に限定されるものではなく、損傷データまたは損傷図面データ（図９および図１０）を有効に利用できるものであればよい。例えば出力部４４は、ＤＸＦ（Drawing Exchange Format）のファイル形式で出力してもよいし、他の画像データのフォーマットで出力してもよい。
【００５７】
次に、損傷データ編集装置２０の動作フローに関して説明する。図４は、第１の実施形態の損傷データ編集装置２０の動作フローを示すフローチャートである。
【００５８】
先ず、画像取得部２２は、撮影装置１０により撮影された撮影画像を取得する（ステップＳ１０：画像取得ステップ）。そして、損傷データ生成部３２は、取得された撮影画像について画像解析を行って、撮影画像に写っている損傷を検出し、その検出結果に基づいて損傷データを生成する（ステップＳ１１：損傷データ生成ステップ）。その後、表示制御部３８により、撮影画像と検出された損傷データとを表示部２６にオーバレイ表示する（ステップＳ１２：表示制御ステップ）。
【００５９】
ユーザは、表示部２６に表示された撮影画像と損傷データとを確認しながら、表示部２６に表示された損傷データの編集の指令をパソコンに接続されているマウスにより入力し、編集部４０は入力された指令に基づいて損傷データを編集する（ステップＳ１３：編集ステップ）。
【００６０】
次に、図面データ取得部２４により図面データが取得される（ステップＳ１４：図面データ取得ステップ）。なお、図面データの取得は、予め行われていてもよい。例えば、図面データ取得部２４は、点検作業前に点検対象の建造物の図面データを取得し、取得された図面データは記憶部５０に記憶されていてもよい。
【００６１】
その後、射影関係受付部３４により、射影関係の入力が受け付けられる（ステップＳ１５：射影関係受付ステップ）。
【００６２】
図５は、射影関係受付部３４で受け付けられる射影関係の具体例を説明する図である。
【００６３】
表示制御部３８により、表示部２６に点検対象である橋脚７の撮影画像１００が表示され、また建造物のＣＡＤ図面７０（図面データ）が表示されている。具体的には、コンピュータのモニタに撮影画像１００およびＣＡＤ図面７０が表示されている。
【００６４】
損傷データ生成部３２で生成された損傷データＤＤ１およびＤＤ２が、撮影画像における損傷に対応するようにオーバレイ表示されている。
【００６５】
ユーザは、表示部２６に表示された撮影画像１００と橋脚７のＣＡＤ図面７０において、コンピュータのポインティングデバイスにより、矩形の４点に対応する点を入力する。すなわち、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を指定して入力し、ＣＡＤ図面７０において対応するＡ２、Ｂ２、Ｃ２、およびＤ２の４点を指定して入力する。そして、射影関係受付部３４は、ユーザから入力された各４点（撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１と、Ａ２、Ｂ２、Ｃ２、およびＤ２）を射影関係として受け付ける。
【００６６】
図４に戻って、射影変換部３６により、射影関係受付部３４で受け付けられた射影関係に基づいて、撮影画像１００の損傷データＤＤ１およびＤＤ２が射影変換される（ステップＳ１６：射影変換ステップ）。具体的には射影変換部３６は、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を、図面データのＡ２、Ｂ２、Ｃ２、およびＤ２の４点に合わせる射影変換行列を算出し、算出した射影変換行列により損傷データ生成部３２で検出した損傷データまたは編集部４０で編集された損傷データを射影変換する。
【００６７】
その後、出力部４４により射影変換された損傷データが出力される（ステップＳ１７：出力ステップ）。
【００６８】
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００６９】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００７０】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００７１】
上記の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上記の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【００７２】
＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。
【００７３】
図６は、第２の実施形態における損傷データ編集装置２０の構成例を示すブロック図である。なお、図２において既に説明を行った箇所は同じ符号を付して説明は省略する。損傷データ編集装置２０は、主に、画像取得部２２、図面データ取得部２４、表示部２６、操作部２８、ＣＰＵ３０、および記憶部５０を備える。
【００７４】
ＣＰＵ３０は、損傷データ生成部３２、撮影画像合成部４６、損傷データ合成部４８、ミラーリング関係受付部５２、射影関係受付部３４、射影変換部３６、ミラーリング部５４、表示制御部３８、編集部４０、損傷図面データ作成部４２、および出力部４４を備える。
【００７５】
撮影画像合成部４６は、建造物の一区画を分割撮影することにより得られる複数の撮影画像を合成する。すなわち、撮影画像合成部４６は、画像取得部２２により複数の撮影画像が入力された場合に、入力された複数の撮影画像を合成する。撮影画像合成部４６の画像合成は公知の技術を使用することにより行われ、例えば各撮影画像の特徴点を検出することにより撮影画像の合成を行う。また、撮影画像合成部４６は、図面データに表される一区画に対応して撮影された複数の撮影画像を、一区画毎に合成を行ってもよい。例えば撮影画像合成部４６は、一区画として格間が採用された複数の撮影画像が入力された場合には、格間毎に、撮影画像を合成してもよい。
【００７６】
損傷データ生成部３２は、画像取得部２２において複数の撮影画像が取得された場合においても、複数の撮影画像の各々について、損傷を検出し損傷データを生成する。すなわち、損傷データ生成部３２は、画像取得部２２により複数の画像が取得された場合であっても、合成される前の取得された各撮影画像に対して画像処理を行い、損傷データを生成する。これにより、画像合成の影響により、損傷の検出精度の低下を抑制することができる。
【００７７】
損傷データ合成部４８は、撮影画像合成部４６で合成された複数の撮影画像の合成情報に基づいて、損傷データを合成する。すなわち、損傷データ合成部４８は、撮影画像合成部４６において合成される場合の合成情報（例えば合成する際の各撮影画像の重なり、特徴点の座標等）に基づいて、各撮影画像において生成された損傷データを合成する。また損傷データ合成部４８は、一区画毎に複数の撮影画像の合成を行ってもよい。例えば損傷データ合成部４８は、一区画として格間が採用されている場合には、格間毎に損傷データを合成する。
【００７８】
ミラーリング関係受付部５２は、表示部２６に表示された撮影画像と図面データ取得部２４で取得された図面データとのミラーリング関係の入力を受け付ける。ミラーリング関係の入力は、例えばユーザにより、表示部２６に表示された撮影画像と図面データとの対応する各４点がポインティングデバイスにより指定されることにより行われる。
【００７９】
ミラーリング部５４は、ミラーリング関係受付部５２で受け付けられたミラーリング関係に基づいて、損傷データをミラーリングする。なお、ミラーリングは、鏡映反転ともいう。ミラーリングの中心となる軸（以下「ミラーリング軸」という）の方向は、画像の上下方向には限定されない。つまりミラーリングは、いわゆる左右反転には限定されない。ミラーリングは、左右反転以外の反転（例えば上下反転）を含む。本発明におけるミラーリングは、ミラーリング軸を中心として損傷データを反転させる画像処理であるといえる。ミラーリング軸の方向は、ミラーリング部５４により、入力された撮影画像を画像解析して、決定することができる。また、本発明のミラーリングは、ミラーリング軸の方向を固定にした態様と、ミラーリング軸の方向を可変にした態様とがある。本明細書において、後者の方向可変の態様は後に詳説する。
【００８０】
このようなミラーリングについて、図７および図８を用いて説明する。図７に示すように、仮に床版６の上面に描かれた「Ｆ」の文字を床版６の下側から透視したとすると、実際には「Ｆ」を上下反転した形状に見える。これは「Ｆ」が非線対称の形状を有するからである。同様に、一般的な損傷（例えばひび割れ）は、非線対称の形状を有するため、橋梁１の下側から床版６を撮影して得られた画像中の損傷の形状と、橋梁１の上側から床版６を透視して見た場合の損傷の形状とは、互いにミラーリングの関係になることが分かる。そこで、図８に示すように、橋梁１の下側から撮影して得られた撮影画像ＩＭＧ１を、ミラーリングにより、橋梁１の上側から見た画像に相当する鏡映画像ＩＭＧ２に変換する。そうすると、損傷の形状は、橋梁１の下側から見た場合の形状（図８では「Ｆ」を上下反転した形状）から、橋梁１の上側から見た形状（図８では「Ｆ」の形状）に変換される。画像中の損傷の位置も、ミラーリングにより、撮影側から見た場合の位置から、撮影側とは反対側から見た場合の位置に変換できることが分かる。
【００８１】
図８に示した例では、橋梁１を基準とした全体座標系の座標軸Ｇｘの方向と撮影画像ＩＭＧ１の左右方向（ｘ方向）とがマッチングしているため、ミラーリングとして撮影画像ＩＭＧ１を上下反転したが、例えば全体座標系の座標軸Ｇｘの方向と撮影画像ＩＭＧ１の上下方向（ｙ方向）とがマッチングしている場合には、ミラーリングとして撮影画像ＩＭＧ１を左右反転させる。
【００８２】
損傷図面データ作成部４２は、射影変換部３６で射影変換された損傷データと損傷データに対応する図面データとが重畳された損傷図面データ（損傷図）を作成する。また、損傷図面データ作成部４２は、操作部２８により入力された各種の情報を、損傷図面データに追加することができる。
【００８３】
損傷図面データ作成部４２は、入力された点検結果情報を損傷図面データに追加する。例えば、損傷の種類、および損傷程度の評価区分（「ランク情報」ともいう）を、操作部２８を介して入力されると、損傷図面データ作成部４２は、損傷図面データに追加する。なお、点検結果情報の「入力」は、予め決められた候補から選択する形式の入力である「選択入力」でもよい。
【００８４】
また、損傷図面データ作成部４２は、損傷データまたは撮影画像に基づいて損傷の特徴量を計測する特徴量計測機能を有する。損傷図面データ作成部４２は、計測した特徴量を示す情報を損傷図面データに追加する。例えば、橋梁１の床版６の損傷データ中におけるひび割れ画像の幅、長さ、および間隔を局所座標系の寸法として検出し、その局所座標系の寸法を全体座標系の寸法に換算する。表示制御部３８は、計測された損傷の特徴量と鏡映画像とを、表示部２６に表示させる。
【００８５】
出力部４４は、ミラーリングおよび射影変換された損傷データを出力する。また、損傷図面データ作成部４２で損傷図面データが作成された場合には、出力部４４は損傷図面データを出力する。
【００８６】
以下に、損傷図面データ作成部４２で損傷図面データが作成された場合の出力部４４で出力される損傷図面データに関して説明する。なお損傷図面データとは損傷図を表すデータのことである。
【００８７】
図９は、損傷図面データの例を示す図である。この損傷図面データは、点検対象である橋梁１の床版６に生じた各損傷について、格間ごとに、ひび割れ、漏水、遊離石灰といった損傷を示す損傷データと、部材名（本例では「床版」）と、要素番号（Ｄｓ０１０１〜Ｄｓ０１０４、Ｄｓ０２０１〜Ｄｓ０２０４）と、損傷の種類（「ひび割れ」、「漏水」、「遊離石灰」等）と、損傷程度の評価区分（「ランク情報」ともいう）と、損傷の特徴量（例えばひび割れの幅、間隔）とが記載されたものである。本図では、損傷程度として評価区分を、アルファベットの「ａ」〜「ｅ」により、五段階で表している。
【００８８】
さらに、図１０は、図９に示した損傷図面データを反転した反転損傷図面データの例を示す図である。図１０に示した反転損傷図面データは、ミラーリング部５４によりミラーリングされた損傷データにより構成される。また、図面データもミラーリング部５４によりミラーリングされている。本発明では、撮影された側からの損傷図面データ（図９）と、撮影された側の反対側から見た反転損傷図面データ（図１０）を構成する損傷データへの編集（加工）が可能である。
【００８９】
図１０に示した反転損傷図面データは、ＣＡＤ図面、損傷データといった非テキスト成分をミラーリング部５４によりミラーリングされている。また、部材名、要素番号、損傷の種類、ランク情報、損傷の特徴量といったテキスト成分をミラーリングせずに図中の位置を損傷図面データ作成部４２で変更している。
【００９０】
図１１は、第２の実施形態の損傷データ編集装置２０の動作フローを示すフローチャートである。
【００９１】
先ず、画像取得部２２は、撮影装置１０により撮影された複数の撮影画像を取得する（ステップＳ２０）。その後、損傷データ生成部３２は、各撮影画像に対して画像処理を行うことにより、撮影画像に写っている損傷を検出し、その検出に基づいて損傷データを生成する（ステップＳ２１）。
【００９２】
次に、撮影画像合成部４６により取得された複数の各撮影画像が合成される（ステップＳ２２）。そして、撮影画像合成部４６により撮影画像が合成された結果に基づいて、損傷データ合成部４８により、損傷データが合成される（ステップＳ２３）。
【００９３】
その後、表示制御部３８により、撮影画像と検出された損傷データとを表示部２６にオーバレイ表示する（ステップＳ２４）。
【００９４】
ユーザは、表示部２６に表示された撮影画像と損傷データとを確認しながら、表示部２６に表示された損傷データの編集の指令を例えばパソコンに接続されているマウスにより入力し、編集部４０は入力された編集指令に基づいて損傷データを編集する（ステップＳ２５）。
【００９５】
次に、図面データ取得部２４により図面データが取得される（ステップＳ２６）。例えば、図面データ取得部２４により、図面データとして橋梁１を示すＣＡＤ図面が入力される。図１２は、ＣＡＤ図面の一例を示す図である。図中の「ＤｓＸＸＸＸ」（Ｄｓ０１０１〜Ｄｓ０１０５およびＤｓ０２０１〜ＤＳ０２０５）は、橋梁１の床版６の要素である格間を識別する要素番号である。ここで「Ｄｓ」は、「床版」を表わす記号であり、「ＸＸＸＸ」は、床版６のうちの主桁２と横桁３とで囲まれた範囲である格間の格子状配列位置を示す番号である。言い換えると、本例の床版６は、格子状配列の複数の格間によって構成されており、格間毎に要素番号が付与されている。本例のＣＡＤ図面８０は、格間の矩形枠情報を含んでいる。図中の要素番号ＤｓＸＸＸＸは、表示部２６での表示を省略してもよい。
【００９６】
図１１に戻って、射影関係受付部３４により、射影関係の入力が受け付けられて、ミラーリング関係受付部５２により、ミラーリング関係の入力が受け付けられる（ステップＳ２７）。
【００９７】
図１３は、射影関係受付部３４およびミラーリング関係受付部５２で受け付けられる射影関係およびミラーリング関係の入力の具体例を説明する図である。なお、図１３に示す場合では、射影関係とミラーリング関係とが同時に入力される例である。
【００９８】
表示制御部３８により、表示部２６に点検対象である橋脚７の撮影画像１０２が表示され、また建造物のＣＡＤ図面８０が表示されている。撮影画像１０２は、床版６の格間が撮影されており、床版６には損傷（ひび割れ）が発生している。また損傷データ生成部３２が撮影画像１０２を画像解析して、ひび割れを検出し生成した損傷データＤＤ３が重畳的に表示されている。すなわち、損傷データＤＤ３は、撮影画像１０２の損傷にオーバレイ表示されている。
【００９９】
例えばユーザは、表示部２６に表示された撮影画像１００と橋脚７のＣＡＤ図面において、コンピュータのポインティングデバイスにより、矩形の４点に対応する点を入力する。すなわち、撮影画像１００のＡ１、Ｂ１、Ｃ１、およびＤ１の４点を指定して入力し、ＣＡＤ図面において対応するＡ２、Ｂ２、Ｃ２、およびＤ２の４点を指定して入力する。この入力は、射影関係の入力と同時にミラーリング関係の入力である。
【０１００】
次に射影変換部３６により、射影関係受付部３４で受け付けられた射影関係に基づいて、撮影画像１００の損傷データＤＤ３が射影変換およびミラーリングされる（ステップＳ２８）。例えば、損傷データＤＤ３が射影変換されると損傷データＤＤ４のようになる。
【０１０１】
図１４は、ミラーリング部５４により行われる、各損傷データのミラーリングに関して説明する図である。図１４は、ミラーリングされる前の格間の損傷データＤＤ５を示す。この損傷データＤＤ５は、橋梁１の下側から見た損傷状態を示す画像であって、床版６のうちの一つの格間の損傷状態を示す画像である。図１５は、図１４の損傷データＤＤ５をミラーリングして得られた損傷データＤＤ６を示す図である。本例では、橋梁１を基準とした全体座標系の座標軸Ｇｘと損傷データＤＤ５の左右方向（ｘ方向）とがマッチングしているので、損傷データＤＤ５をミラーリングとして上下反転することにより、損傷データＤＤ６が取得される。つまり、本例でのミラーリング軸ＭＡｘの方向は、損傷データＤＤ５の左右方向（ｘ方向）である。
【０１０２】
図１１に戻って、その後、出力部４４により射影変換された損傷データで構成される損傷図面データを出力する（ステップＳ２９）。
【０１０３】
ここで、損傷図面データ作成部４２で行われる損傷図面データの作成に関して具体例を説明する。
【０１０４】
図１６は、損傷図面データ作成部４２で行われる損傷図面データの作成に関して説明する図である。損傷図面データ作成部４２により生成された損傷データＤＤ６をＣＡＤ図面８０に重ね合わせて表示させた損傷図面データが表示部２６に表示される。図１６は、図１２に示したＣＡＤ図面８０に、図１５に示した損傷データＤＤ６を重ね合わせて表示した例を示す。なおＣＡＤ図面８０と損傷データＤＤ６との位置合わせは、公知の技術により行われる。例えば、ＣＡＤ図面８０が有する座標データと損傷データＤＤ６が有する座標データに基づいて、ＣＡＤ図面８０と損傷データＤＤ６との位置合わせが行われる。
【０１０５】
次に、損傷図面データ作成部４２により、損傷データＤＤ６に基づいて、損傷の特徴量を計測する。例えば、ひび割れの幅および間隔が、特徴量として計測される。
【０１０６】
次に、損傷図面データ作成部４２により、損傷図面データの各要素に関する編集が行われる。図１７は、床版６の要素番号Ｄｓ０２０２が付与された格間に関する編集画面の表示例を示す図である。本例では、表示部２６に、ＣＡＤ図面８０および損傷データＤＤ６を表示させると同時に、損傷リスト８２を表示させている。本例では、要素番号Ｄｓ０２０２の格間に、損傷データＤＤ６に基づいてひび割れが検出されているので、その「種別」（損傷の種類）である「ひび割れ」が損傷図面データ作成部４２により損傷リスト８２に自動的に記入される。また、要素番号Ｄｓ０２０２の格間の「ひび割れ」の特徴量として、損傷図面データ作成部４２により「ひび割れ」の幅および間隔が計測されているので、損傷図面データ作成部４２により損傷リスト８２の「寸法」の欄に自動的に記入される。損傷図面データ作成部４２により自動的に記入されなかった項目は、操作部２８によりユーザが入力することができる。例えば、損傷データＤＤ６において漏水および遊離石灰を視認できる場合、その種別である「漏水＋遊離石灰」をユーザが操作部２８を介して入力することができる。
【０１０７】
また、自動的に未検出のひび割れが損傷データＤＤ６中に視認できる場合、そのひび割れの種別および寸法を操作部２８を介してユーザが入力することができる。なお、図１７では図示しなかったが、ひび割れの寸法を計測するためのスケール画像を表示部２６に表示させることができ、そのスケール画像を用いて未検出のひび割れの寸法を計測することが可能である。未検出のひび割れを損傷図面データに反映させるため、損傷データＤＤ６中の損傷画像に対して、操作部２８によりトレース操作を行うことができる。例えば、操作部２８がタッチパネルにより構成されている場合、損傷データＤＤ６中のひび割れ画像を指あるいはペンでトレースすると、そのトレースの軌跡が損傷データとして損傷図面データに追加される。ここで、ＣＡＤ図面８０における損傷データＤＤ６中のひび割れ画像の形状および位置は、橋梁１を上側（撮影側とは反対側である）から見た場合の実際のひび割れの形状および位置に相当するので、容易且つ正確に入力することができる。
【０１０８】
損傷リスト８２の「区分」は、損傷程度の評価区分（「ランク情報」ともいう）を入力するための欄である。図１８は、床版６におけるひび割れの進行モデルの一例を模式的に示す図である。この進行モデルでは、評価区分ＲＡＮＫが「ａ」〜「ｅ」の五段階で表される。各評価区分ＲＡＮＫとひび割れ状態ＳＴＡＴＥとの対応関係は次の通りである。
【０１０９】
ａ：損傷なし。
【０１１０】
ｂ：横方向（車輌の通行方向に直交する短手方向）に沿って複数のひび割れが並列に発生した状態である。乾燥収縮による複数のひび割れが並列の梁状になる段階である。
【０１１１】
ｃ：縦方向（車輌の通行方向に平行な長手方向）のひび割れおよび横方向のひび割れが互いに交差した状態である。活荷重により複数のひび割れが格子状になり、その格子状の領域のひび割れ密度が増加する段階である。後半時期には、ひび割れが床版６の上下方向（床版下面に直交する垂直方向）で貫通する。
【０１１２】
ｄ：格子状の領域のひび割れ密度が規定値を超え、貫通した複数のひび割れの破面同士が平滑化された状態である。摺り磨き作用により床版６がせん断抵抗を失う段階である。
【０１１３】
ｅ：抜け落ちが生じた状態である。低下した押抜きせん断強度を超える輪荷重により抜け落ちが生じる。
【０１１４】
このように損傷図面データ作成部４２により、損傷図面データの全体に関する編集が行われる。また例えば、損傷図面データ作成部４２により、損傷図面データに床版６の全体に関する健全性の判定区分を操作部２８を介して入力されてもよい。
【０１１５】
次に、損傷図面データ作成部４２で編集が完了した損傷図面データを出力部４４が出力する。損傷図面データは、表示制御部３８により表示部２６に表示出力させることができるほか、ネットワークを介してプリンタ（図示を省略）に印刷出力させることができる。例えば、図９に示した損傷図面データがプリンタにより印刷出力される。また、損傷図面データは、ネットワークを介してデータベース（図示を省略）にアップロードすることができる。
【０１１６】
＜ミラーリングのバリエーション＞
前述の第２の実施形態では、本発明の理解を容易にするため、ミラーリング軸の方向が固定である場合を例に説明したが、本発明はそのようなミラーリング軸の方向が固定である場合に限定されない。本発明は、ミラーリング軸の方向を可変にした構成でもよい。
【０１１７】
ミラーリング部５４は、各種の情報に基づいて、ミラーリング軸の方向を決定する機能を有する。ミラーリング部５４は、決定した方向のミラーリング軸を中心としてミラーリングを行う。
【０１１８】
第１に、画像取得部２２により入力された画像（ミラーリング前の画像である）を画像解析して、その画像解析の結果に基づいてミラーリング軸の方向を決定する態様がある。
【０１１９】
図１９は、格間が撮影された撮影画像を示す図である。例えば、図１９に示す、床版６の格間の撮影画像ＩＭＧ２１を取得したとする。この撮影画像ＩＭＧ２１は、格間の縁部の画像ＥＧ（以下「縁部画像」という）を含む。実空間において、格間の縁部の形状は矩形であり、その矩形を構成する互いに直交する二辺は一般に長さが異なる。つまり縁部の矩形は、互いに直交する長辺と短辺とを有する。また、実空間において、縁部の矩形の互いに直交する二辺は、橋梁１を基準とした全体座標系における二つの座標軸Ｇｘ、Ｇｙと方向が一致している。そこで、ミラーリング部５４は、撮影画像ＩＭＧ２１から縁部画像を検出し、その縁部画像を必要に応じて矩形に射影変換した後、その矩形の互いに直交する長辺および短辺のうちいずれか一辺の方向に基づいて、ミラーリング軸の方向を決定することができる。もっとも、本発明の撮影対象（点検対象である）は床版６の格間に限定されず、他の撮影対象の幾何学的特徴に基づいてミラーリング軸の方向を決定してよいことは、言うまでもない。
【０１２０】
第２に、建造物を基準にした全体座標系（「第１の座標系」である）の座標軸と、画像を撮影した撮影装置１０を基準にした局所座標系（「第２の座標系」である）の座標軸とがなす角度に基づいて、ミラーリング軸の方向を決定する態様がある。
【０１２１】
例えば、図２０に示すようにロボット装置９０に搭載された撮影装置１０により撮影して得られた画像が画像取得部２２により入力され、かつロボット装置９０の撮影装置制御に従った撮影装置制御情報が画像取得部２２により入力される。この撮影装置制御情報には、図２１に示すように、橋梁１を基準にした全体座標系の座標軸Ｇｘ、Ｇｙ、Ｇｚと、撮影装置１０を基準にした局所座標系の座標軸Ｌｘ、Ｌｙ、Ｌｚとがなす角度を示す角度情報が含まれる。本例の局所座標系において、互いに直交する三つの座標軸Ｌｘ、Ｌｙ、Ｌｚのうち一つの座標軸Ｌｚは、撮影装置１０の撮影方向（光軸方向ともいう）であり、かつ橋梁１の床版６（被撮影面である）と直交する。つまり、本例では、全体座標系の一つの座標軸Ｇｚの方向と局所座標系の一つの座標軸Ｌｚの方向とが一致している。
【０１２２】
本例のロボット装置９０は、橋梁１に懸垂した懸垂式ロボットであり、図２０ではその撮影に関する要部のみを示した。なお、懸垂式ロボットは、橋梁１に懸垂する代わりに、橋梁上の走行体（車輌）に懸垂する方式のロボットでもよい。また、懸垂式ロボットの代わりに、ドローン（無人飛行体）等の無人飛行式ロボットを用いる場合にも本発明を適用可能である。
【０１２３】
本例のロボット装置９０は、撮影装置１０の移動および回動の制御を行う撮影装置制御機構９２を備える。この撮影装置制御機構９２は、撮影装置１０を互いに直交するＧｘ方向、Ｇｙ方向およびＧｚ方向のそれぞれで移動可能なＸＹＺ移動機構と、撮影装置１０をパン方向Ｐおよびチルト方向Ｔのそれぞれで回動可能なパンチルト機構とを兼ねている。
【０１２４】
ミラーリング部５４は、全体座標系の座標軸Ｇｘ（またはＧｙ）と局所座標系の座標軸Ｌｘ（またはＬｙ）とでなす角度を示す角度情報に基づいて、ミラーリング軸の方向を決定することが可能である。
【０１２５】
また、撮影装置１０をパン方向Ｐに回動させる場合、つまり橋梁１を基準とした全体座標系に対して撮影装置１０の方位角度が可変である場合、ミラーリング部５４は、全体座標系の座標軸ＧｘまたはＧｙに対する撮影装置１０の方位角度に基づいて、ミラーリング軸の方向を決定することが可能である。
【０１２６】
なお、全体座標系の座標軸Ｇｘ、Ｇｙ、Ｇｚに対する局所座標系の座標軸Ｌｘ、Ｌｙ、Ｌｚの設定態様、および撮影装置１０のパンチルトの態様（角度制御態様）には、各種あるため、その局所座標系の座標軸の設定態様および撮影装置１０の角度制御態様に応じた角度情報を取得して、その角度情報に基づいてミラーリング軸の方向を決定すればよい。
【０１２７】
＜クライアントサーバ型＞
クライアントサーバ型のシステムでは、クライアント装置およびサーバ装置の少なくともいずれかにより損傷データ編集装置２０を構成してもよい。言い換えると、本発明の損傷データ編集装置２０は、クライアントサーバ型のシステムのうちの一つまたは複数のコンピュータ装置により構成してよい。
【０１２８】
以上、本発明を実施するための形態に関して説明してきたが、本発明は上記した実施形態および変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【０１２９】
１            橋梁
２            主桁
３            横桁
４            対傾構
５            横構
６            床版
７            橋脚
１０          撮影装置
２０          損傷データ編集装置
２２          画像取得部
２４          図面データ取得部
２６          表示部
２８          操作部
３０          ＣＰＵ
３２          損傷データ生成部
３４          射影関係受付部
３６          射影変換部
３８          表示制御部
４０          編集部
４２          損傷図面データ作成部
４４          出力部
４６          撮影画像合成部
４８          損傷データ合成部
５０          記憶部
５２          ミラーリング関係受付部
５４          ミラーリング部
８２          損傷リスト
９０          ロボット装置
９２          撮影装置制御機構
ステップＳ１０−ステップＳ１７  第１の実施形態の損傷データ編集工程
ステップＳ２０−ステップＳ２９  第２の実施形態の損傷データ編集工程
【図１】
2019021719.tif 000003
【図２】
2019021719.tif 000004
【図３】
2019021719.tif 000005
【図４】
2019021719.tif 000006
【図５】
2019021719.tif 000007
【図６】
2019021719.tif 000008
【図７】
2019021719.tif 000009
【図８】
2019021719.tif 000010
【図９】
2019021719.tif 000011
【図１０】
2019021719.tif 000012
【図１１】
2019021719.tif 000013
【図１２】
2019021719.tif 000014
【図１３】
2019021719.tif 000015
【図１４】
2019021719.tif 000016
【図１５】
2019021719.tif 000017
【図１６】
2019021719.tif 000018
【図１７】
2019021719.tif 000019
【図１８】
2019021719.tif 000020
【図１９】
2019021719.tif 000021
【図２０】
2019021719.tif 000022
【図２１】
2019021719.tif 000023
【手続補正書】
【提出日】平成31年3月7日(2019.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
点検対象の建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得する画像取得部と、
前記複数の撮影画像が合成される前に、前記複数の撮影画像を画像解析することにより、損傷を検出し、前記損傷を表現する損傷データを生成する損傷データ生成部と、
前記複数の撮影画像を合成する撮影画像合成部と、
前記撮影画像合成部で合成された撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成部と、
表示部と、
前記表示部に前記合成された撮影画像を表示させるとともに、前記合成された損傷データを前記合成された撮影画像にオーバレイ表示させる表示制御部と、
前記表示部に表示された前記合成された損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記合成された損傷データを編集する編集部と、
前記点検対象の建造物の図面データを取得する図面データ取得部と、
前記表示部に表示された前記合成された撮影画像と前記図面データ取得部で取得された前記図面データとの射影関係の入力を受け付ける射影関係受付部と、
前記射影関係受付部で受け付けられた前記射影関係に基づいて、前記損傷データ合成部で合成した前記合成された損傷データまたは前記編集部で編集された前記合成された損傷データを射影変換する射影変換部と、
前記射影変換部で射影変換された前記合成された損傷データを出力する出力部と、
を備える損傷データ編集装置。
【請求項２】
前記表示制御部は、前記表示部に前記図面データを表示させ、
前記射影関係受付部は、前記表示部に表示された前記合成された撮影画像と前記図面データ取得部で取得された前記図面データとの前記射影関係を示す、前記合成された撮影画像の４点および前記図面データの４点を受け付ける請求項１に記載の損傷データ編集装置。
【請求項３】
前記射影変換部は、前記合成された撮影画像の４点を前記図面データの４点に合わせる射影変換行列を算出し、前記算出した射影変換行列により前記損傷データ合成部で合成した前記合成された損傷データまたは前記編集部で編集された前記合成された損傷データを射影変換する請求項１または２に記載の損傷データ編集装置。
【請求項４】
前記表示部に表示された前記合成された撮影画像と前記図面データ取得部で取得された前記図面データとのミラーリング関係の入力を受け付けるミラーリング関係受付部と、
前記ミラーリング関係受付部で受け付けられた前記ミラーリング関係に基づいて、前記合成された損傷データをミラーリングするミラーリング部と、を備え、
前記出力部は、ミラーリングおよび射影変換された前記合成された損傷データを出力する請求項１から３のいずれか１項に記載の損傷データ編集装置。
【請求項５】
前記撮影画像合成部は、前記図面データに表される前記一区画に対応して撮影された前記複数の撮影画像を、前記一区画毎に合成を行う請求項１から４のいずれか１項に記載の損傷データ編集装置。
【請求項６】
前記損傷データ合成部は、前記一区画毎に合成を行う請求項１から５のいずれか１項に記載の損傷データ編集装置。
【請求項７】
前記射影変換部で射影変換された前記合成された損傷データと前記合成された損傷データに対応する前記図面データとが重畳された損傷図面データを作成する損傷図面データ作成部を備え、
前記出力部は、前記損傷図面データを出力する請求項１から６のいずれか１項に記載の損傷データ編集装置。
【請求項８】
前記建造物は、橋梁またはトンネルである請求項１から７のいずれか１項に記載の損傷データ編集装置。
【請求項９】
点検対象の建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像が合成される前に、前記複数の撮影画像を画像解析することにより、損傷を検出し、前記損傷を表現する損傷データを生成する損傷データ生成ステップと、
前記複数の撮影画像を合成する撮影画像合成ステップと、
前記撮影画像合成ステップで合成された撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成ステップと、
表示部に前記合成された撮影画像を表示させるとともに、前記合成された損傷データを前記合成された撮影画像にオーバレイ表示させる表示制御ステップと、
前記表示部に表示された前記合成された損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記合成された損傷データを編集する編集ステップと、
前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
前記表示部に表示された前記合成された撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ合成ステップで合成した前記合成された損傷データまたは前記編集ステップで編集された前記合成された損傷データを射影変換する射影変換ステップと、
前記射影変換ステップで射影変換された前記合成された損傷データを出力する出力ステップと、
を含む損傷データ編集方法。
【請求項１０】
点検対象の建造物の一区画を分割撮影することにより得られる複数の撮影画像を取得する画像取得ステップと、
前記複数の撮影画像が合成される前に、前記複数の撮影画像を画像解析することにより、損傷を検出し、前記損傷を表現する損傷データを生成する損傷データ生成ステップと、
前記複数の撮影画像を合成する撮影画像合成ステップと、
前記撮影画像合成ステップで合成された撮影画像の合成情報に基づいて、前記損傷データを合成する損傷データ合成ステップと、
表示部に前記合成された撮影画像を表示させるとともに、前記合成された損傷データを前記合成された撮影画像にオーバレイ表示させる表示制御ステップと、
前記表示部に表示された前記合成された損傷データの編集の指令を受け付けて、前記編集の指令に基づいて前記合成された損傷データを編集する編集ステップと、
前記点検対象の建造物の図面データを取得する図面データ取得ステップと、
前記表示部に表示された前記合成された撮影画像と前記図面データ取得ステップで取得された前記図面データとの射影関係の入力を受け付ける射影関係受付ステップと、
前記射影関係受付ステップで受け付けられた前記射影関係に基づいて、前記損傷データ合成ステップで合成した前記合成された損傷データまたは前記編集ステップで編集された前記合成された損傷データを射影変換する射影変換ステップと、
前記射影変換ステップで射影変換された前記合成された損傷データを出力する出力ステップと、
を含む損傷データ編集工程をコンピュータに実行させるプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【国際調査報告】
2019021719.tif 000024
2019021719.tif 000025
2019021719.tif 000026
2019021719.tif 000027