(57)【要約】本発明は、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体を提供することを目的とする。本発明の一の態様に係る損傷図作成方法では、複数の画像（被写体を分割撮影して取得した複数の画像）を構成する画像（合成をしていない状態の画像）から被写体の損傷を検出するので、重複領域での画質劣化に起因して損傷検出性能が劣化することがない。したがって、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。各画像に対する検出結果は、画像どうしの対応点に基づいて算出した合成パラメータにより合成することができる。
2019021729.tif 000002
【特許請求の範囲】
【請求項１】
被写体を分割撮影して取得した複数の画像を入力するステップと、
前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出するステップと、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行うステップと、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成するステップと、
を有する損傷図作成方法。
【請求項２】
前記合成パラメータを算出するステップでは、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１に記載の損傷図作成方法。
【請求項３】
前記合成パラメータを算出するステップにおいて前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、
前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出するステップと、
前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成するステップと、
を行う請求項１または２に記載の損傷図作成方法。
【請求項４】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させるステップと、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定するステップと、
前記指定された対応点に基づいて、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出するステップと、
前記検出の結果を合成するステップでは、前記画像群を１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項３に記載の損傷図作成方法。
【請求項５】
前記検出の結果を合成するステップでは、複数の画像が重複する領域においては前記重複する複数の画像のうち１つを選択して前記検出の結果を合成する請求項１から４のいずれか１項に記載の損傷図作成方法。
【請求項６】
前記複数の画像を入力するステップではグループに分けられた前記複数の画像を入力し、
前記検出の結果を合成するステップでは前記検出の結果を前記グループごとに合成し、
前記合成された前記検出の結果を前記グループに関連づけて出力するステップを有する請求項１から５のいずれか１項に記載の損傷図作成方法。
【請求項７】
前記複数の画像を入力するステップでは同一のフォルダに格納された画像を同一のグループに属する画像として入力し、
前記検出の結果を合成するステップでは、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記検出の結果を出力するステップでは、前記合成された前記検出の結果を前記同一のグループに属する画像が格納されたフォルダに出力する請求項６に記載の損傷図作成方法。
【請求項８】
前記合成パラメータに基づいて前記複数の画像を合成するステップを有する請求項１から７のいずれか１項に記載の損傷図作成方法。
【請求項９】
前記被写体の形状を示す線図情報を含む図面データと同一のフォーマットで前記検出の結果を出力するステップを有する請求項１から８のいずれか１項に記載の損傷図作成方法。
【請求項１０】
前記検出の結果を表示するステップと、
前記表示した前記検出の結果を出力するステップと、
を有し、
前記検出の結果を出力するステップは前記表示した前記検出の結果に対する出力の指示があった場合にのみ行う請求項１から９のいずれか１項に記載の損傷図作成方法。
【請求項１１】
前記検出の結果に対応する画像のうち前記出力の指示がなかった画像に識別情報を付与するステップを備える請求項１０に記載の損傷図作成方法。
【請求項１２】
被写体を分割撮影して取得した複数の画像を入力する画像入力部と、
前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行う損傷検出部と、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
を有する損傷図作成装置。
【請求項１３】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１２に記載の損傷図作成装置。
【請求項１４】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１２または１３に記載の損傷図作成装置。
【請求項１５】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１４に記載の損傷図作成装置。
【請求項１６】
サーバとクライアントとを備える損傷図作成システムであって、
前記クライアントは、
被写体を分割撮影して取得した複数の画像を入力する画像入力部を備え、
前記サーバは、
前記複数の画像を前記クライアントから取得する画像取得部と、
前記取得した複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行う損傷検出部と、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
前記検出の結果を前記クライアントに出力する検出結果出力部と、
を備える損傷図作成システム。
【請求項１７】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１６に記載の損傷図作成システム。
【請求項１８】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１６または１７に記載の損傷図作成システム。
【請求項１９】
前記サーバは、
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１８に記載の損傷図作成システム。
【請求項２０】
前記サーバの画像取得部はグループに分けられた前記複数の画像を前記クライアントから取得し、
前記サーバの前記検出結果合成部は前記検出の結果を前記グループごとに合成し、
前記サーバの前記検出結果出力部は、前記合成された前記検出の結果を前記グループに関連づけて前記クライアントに出力する請求項１６から１９のいずれか１項に記載の損傷図作成システム。
【請求項２１】
前記サーバの前記画像取得部は、同一のフォルダに格納された画像を前記同一のグループに属する画像として取得し、
前記サーバの前記検出結果合成部は、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記サーバの前記検出結果出力部は、前記同一のフォルダに格納された画像について前記合成された前記検出の結果を前記クライアントの前記同一のフォルダに出力する請求項２０に記載の損傷図作成システム。
【請求項２２】
請求項１から１１のいずれか１項に記載の損傷図作成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体に関し、特に被写体を分割撮影して取得した複数の画像に基づいて損傷を検出する技術に関する。
【背景技術】
【０００２】
被写体の画像を撮影する場合、被写体の種類、大きさ等の条件によっては１つの画像に収まらず複数の画像に分割して撮影される場合があり、この場合、撮影された複数の画像は画像処理で一枚の画像に合成されて観賞、計測等の目的に利用される。例えば、特許文献１では道路を走行しながら取得した撮影画像を変換及び合成して検査領域画像を生成し、検査領域画像からひび割れ等の不良箇所を検出することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１８７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のような合成処理により得られた画像を用いて被写体の損傷を検出及び計測する場合、画像どうしがオーバーラップする部分（重複領域）で画像の位置ズレが生じる場合がある。また、重複領域で画像を重み付け合成すると、損傷がボケてしまう場合がある。このように重複領域で画像が劣化すると、合成画像から微細な損傷が検出できなくなる等、損傷の検出精度が劣化して精度が高い損傷図が作成できなくなる可能性がある。しかしながら、上述した特許文献１では重複領域での画質劣化に起因する損傷検出性能の劣化については考慮されていなかった。【０００５】
このように、従来の技術は、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができるものではなかった。【０００６】
本発明はこのような事情に鑑みてなされたもので、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するため、本発明の第１の態様に係る損傷図作成方法は、被写体を分割撮影して取得した複数の画像を入力するステップと、複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出するステップと、複数の画像を構成する画像から被写体の損傷の検出を行うステップと、複数の画像についての検出の結果を合成パラメータに基づいて合成するステップと、を有する。【０００８】
第１の態様に係る損傷図作成方法では、複数の画像（被写体を分割撮影して取得した複数の画像）を構成する画像（合成をしていない状態の画像）から被写体の損傷を検出するので、重複領域での画質劣化に起因して損傷検出性能が劣化することがない。したがって、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。各画像に対する検出の結果は、画像どうしの対応点に基づいて算出した合成パラメータにより合成することができる。なお、第１の態様及び以下の各態様において、「検出の結果」を「検出結果」と表記することがある。【０００９】
第１の態様において、合成パラメータを検出するステップと、画像から損傷を検出するステップとは、いずれを先に実行してもよいし、これらステップを並行して実行してもよい。また、合成された検出結果が得られれば損傷図が作成できるので、損傷検出の対象となった画像自体は合成してもよいし、合成しなくてもよい。【００１０】
なお第１の態様において、被写体としての建造物（建築物）を分割撮影した複数の画像を入力してもよい。建造物（建築物）が被写体である場合、撮影範囲が広いため撮影範囲を分割撮影して複数の画像を取得することが多いので、本発明に係る損傷図作成方法が有効である。このような建造物の例としては橋梁、ビル、道路等を挙げることができるが、これらの例に限定されるものではない。また、建造物はコンクリート建造物でもよい。【００１１】
第２の態様に係る損傷図作成方法は第１の態様において、合成パラメータを算出するステップでは、複数の画像のうちの基準画像に対する基準画像以外の画像の射影変換行列の情報を合成パラメータとして算出する。第２の態様では、基準画像以外の画像の射影変換行列による移動、回転、変形の情報（量、方向等）を合成パラメータとして算出することができる。また、基準画像は被写体に対する位置（例えばコーナー部分の画像）、撮影順（例えば、一番最初に撮影した画像）、画像の特徴（露出条件、鮮明度、特定の部材が写っている）等に基づいて設定することができる。なお、基準画像の撮影面は撮影方向に正対していることが好ましいが、これに限定されるものではない。基準画像の撮影面が正対していない場合は、合成後に正対補正することができる。【００１２】
第３の態様に係る損傷図作成方法は第１または第２の態様において、合成パラメータを算出するステップにおいて複数の画像を１つの画像に合成する合成パラメータが算出できない場合、複数の画像のうちの合成が可能な画像群ごとに合成パラメータを算出するステップと、画像群ごとに算出した合成パラメータに基づいて検出の結果を画像群ごとに合成するステップと、を行う。第３の態様によれば、全ての画像を１つの画像に合成するパラメータ（すなわち、全ての画像についての検出結果を１つに合成するパラメータ）が算出できない場合でも、合成が可能な画像群ごとに検出結果を合成することができる。なお、「合成パラメータが算出できない」場合にはパラメータの算出精度が低い（信頼性がない）場合も含めてよい。【００１３】
第４の態様に係る損傷図作成方法は第３の態様において、検出の結果をベクトル化した情報を複数の画像と重畳させて画像群ごとに表示させるステップと、表示された画像群のうちの一の画像群と、画像群のうちの他の画像群と、について対応点を指定するステップと、指定された対応点に基づいて、一の画像群と他の画像群とを１つの画像に合成する合成パラメータを算出するステップと、検出の結果を合成するステップでは、画像群を１つの画像に合成する合成パラメータに基づいて、一の画像群についての検出の結果と他の画像群についての検出の結果とを合成する。第４の態様は複数の画像の全てを１つの画像に合成する合成パラメータが算出できない場合の処理を規定するもので、（ユーザの操作に基づいて）対応点を指定し、指定された対応点に基づいて合成パラメータを算出することで、一の画像群についての検出結果と他の画像群についての検出結果とを合成する。合成できなかった画像群について対応点を指定すればよいので、迅速かつ容易に合成パラメータを算出して検出結果を合成することができる。なお、対応点の指定はユーザの操作に基づいて行うことができる。【００１４】
また、第４の態様では、対応点を指定する際に画像を表示するのに加えて検出の結果をベクトル化した情報を表示するので、ユーザは検出結果の視認及びこれに基づく対応点の指定操作を容易に行うことができる。「検出の結果をベクトル化した情報」としては、例えば損傷の始点及び終点を示す線分、あるいはそのような線分により構成される図形（多角形等）を用いることができる。【００１５】
第５の態様に係る損傷図作成方法は第１から第４の態様のいずれか１つにおいて、検出の結果を合成するステップでは、複数の画像が重複する領域においては重複する複数の画像のうち１つを選択して検出の結果を合成する。複数の画像が重複する領域では、本来ならば１つに合成されるべき検出結果が画像のずれにより複数になる等、合成精度が劣化する場合があるが、第５の態様では複数の画像が重複する領域においては重複する複数の画像のうち１つを選択することにより、検出結果を高精度に合成することができる。【００１６】
第６の態様に係る損傷図作成方法は第１から第５の態様のいずれか１つにおいて、複数の画像を入力するステップではグループに分けられた複数の画像を入力し、検出の結果を合成するステップでは検出の結果をグループごとに合成し、合成された検出の結果をグループに関連づけて出力するステップを有する。第６の態様では画像の入力、検出結果の合成、及び検出結果の出力が画像のグループに基づいて行われるので、入力した画像と合成された検出結果との対応が明確であり、画像及び検出結果の管理、利用を容易に行うことができる。【００１７】
第７の態様に係る損傷図作成方法は第６の態様において、複数の画像を入力するステップでは同一のフォルダに格納された画像を同一のグループに属する画像として入力し、検出の結果を合成するステップでは、同一のフォルダに格納された画像ごとに検出の結果を合成し、検出の結果を出力するステップでは、合成された検出の結果を同一のグループに属する画像が格納されたフォルダに出力する。第７の態様は第６の態様をさらに具体的に規定したもので、画像及び検出結果の管理、利用をより容易に行うことができる。なお、同一のフォルダへの画像の格納は、例えば一般的なコンピュータのＯＳ（Operating System）が備えるのと同様のファイル管理ツール（機能）を利用してユーザ操作により容易に実現することができ、第７の態様ではそのようなユーザ操作により同一のフォルダに格納された画像を入力する。フォルダはツリー構造のように階層的に構成されていてもよい。【００１８】
第８の態様に係る損傷図作成方法は第１から第７の態様のいずれか１つにおいて、合成パラメータに基づいて複数の画像を合成するステップを有する。第８の態様によれば、合成された検出結果に加えて、そのような検出結果に対応する合成画像を得ることができる。【００１９】
第９の態様に係る損傷図作成方法は第１から第８の態様のいずれか１つにおいて、被写体の形状を示す線図情報を含む図面データと同一のフォーマットで検出の結果を出力するステップを有する。第９の態様において、「被写体の形状を示す線図情報を含む図面データと同一のフォーマット」として例えばＣＡＤ図面（ＣＡＤ：Computer-Aided Design）と同一のフォーマットを用いることができ、このようなフォーマットで検出結果を出力することにより損傷図を迅速かつ容易に作成することができる。第９の態様により出力した検出結果をＣＡＤ図面に合成（マッピング）してもよい。【００２０】
第１０の態様に係る損傷図作成方法は第１から第９の態様のいずれか１つにおいて、検出の結果を表示するステップと、表示した検出の結果を出力するステップと、を有し、検出の結果を出力するステップは表示した検出の結果に対する出力の指示があった場合にのみ行う。第１０の態様によれば、検出の結果を出力するステップは表示した検出の結果に対する出力の指示があった場合にのみ行うことで、ユーザは表示により検出結果を把握して所望の検出結果のみを出力することができる。なお、検出結果は文字、数字、図形、記号等により表示することができる。また、検出結果をベクトル化して表示してもよいし、画像と共に表示してもよい。【００２１】
第１１の態様に係る損傷図作成方法は第１０の態様において、検出の結果に対応する画像のうち出力の指示がなかった画像に識別情報を付与するステップを備える。これにより出力の指示がなかった画像を識別することができる。【００２２】
上述した目的を達成するため、第１２の態様に係る損傷図作成装置は、被写体を分割撮影して取得した複数の画像を入力する画像入力部と、複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、複数の画像を構成する画像から被写体の損傷の検出を行う損傷検出部と、複数の画像についての検出の結果を合成パラメータに基づいて合成する検出結果合成部と、を有する。第１２の態様によれば、第１の態様と同様に被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。【００２３】
第１３の態様に係る損傷図作成装置は第１２の態様において、合成パラメータ算出部は、複数の画像のうちの基準画像に対する基準画像以外の画像の射影変換行列の情報を合成パラメータとして算出する。第１３の態様では、第２の態様と同様に基準画像以外の画像の射影変換行列による移動、回転、変形の情報（量、方向等）を合成パラメータとして算出することができる。【００２４】
第１４の態様に係る損傷図作成装置は第１２または第１３の態様において、合成パラメータ算出部は、複数の画像を１つの画像に合成する合成パラメータが算出できない場合、複数の画像のうちの合成が可能な画像群ごとに合成パラメータを算出し、検出結果合成部は、画像群ごとに算出した合成パラメータに基づいて検出の結果を画像群ごとに合成する。第１４の態様によれば、第３の態様と同様に、全ての画像を１つの画像に合成するパラメータ（すなわち、全ての画像についての検出結果を１つに合成するパラメータ）が算出できない場合でも、合成が可能な画像群ごとに検出結果を合成することができる。【００２５】
第１５の態様に係る損傷図作成装置は第１４の態様において、検出の結果をベクトル化した情報を複数の画像と重畳させて画像群ごとに表示させる表示制御部と、表示された画像群のうちの一の画像群と、画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、を備え、合成パラメータ算出部は、指定された対応点に基づいて一の画像群と他の画像群とを１つの画像に合成する合成パラメータを算出し、検出結果合成部は、一の画像群と他の画像群とを１つの画像に合成する合成パラメータに基づいて、一の画像群についての検出の結果と他の画像群についての検出の結果とを合成する。第１５の態様によれば、第４の態様と同様に迅速かつ容易に合成パラメータを算出して検出結果を合成することができ、また検出結果の視認及びこれに基づく対応点の指定を容易に行うことができる。【００２６】
上述した目的を達成するため、第１６の態様に係る損傷図作成システムは、サーバとクライアントとを備える損傷図作成システムであって、クライアントは、被写体を分割撮影して取得した複数の画像を入力する画像入力部を備え、サーバは、複数の画像をクライアントから取得する画像取得部と、取得した複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、複数の画像を構成する画像から被写体の損傷の検出を行う損傷検出部と、複数の画像についての検出の結果を合成パラメータに基づいて合成する検出結果合成部と、検出の結果をクライアントに出力する検出結果出力部と、を備える。第１６の態様によれば、第１の態様及び第１２の態様と同様に被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。なお第１６の態様において、画像を入力して結果をサーバから受け取るパーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）をクライアントとして用いることができ、クライアントとネットワーク接続されたコンピュータをサーバとして用いることができる。【００２７】
第１７の態様に係る損傷図作成システムは第１６の態様において、合成パラメータ算出部は、複数の画像のうちの基準画像に対する基準画像以外の画像の射影変換行列の情報を合成パラメータとして算出する。第１７の態様では、第２の態様と同様に基準画像以外の画像の射影変換行列による移動、回転、変形の情報（量、方向等）を合成パラメータとして算出することができる。【００２８】
第１８の態様に係る損傷図作成システムは第１６または第１７の態様において、合成パラメータ算出部は、複数の画像を１つの画像に合成する合成パラメータが算出できない場合、複数の画像のうちの合成が可能な画像群ごとに合成パラメータを算出し、検出結果合成部は、画像群ごとに算出した合成パラメータに基づいて検出の結果を画像群ごとに合成する。第１８の態様によれば、第３の態様と同様に、全ての画像を１つの画像に合成するパラメータ（すなわち、全ての画像についての検出結果を１つに合成するパラメータ）が算出できない場合でも、合成が可能な画像群ごとに検出結果を合成することができる。【００２９】
第１９の態様に係る損傷図作成システムは第１８の態様において、サーバは、検出の結果をベクトル化した情報を複数の画像と重畳させて画像群ごとに表示させる表示制御部と、表示された画像群のうちの一の画像群と、画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、を備え、合成パラメータ算出部は、指定された対応点に基づいて一の画像群と他の画像群とを１つの画像に合成する合成パラメータを算出し、検出結果合成部は、一の画像群と他の画像群とを１つの画像に合成する合成パラメータに基づいて、一の画像群についての検出の結果と他の画像群についての検出の結果とを合成する。第１９の態様によれば、第４の態様と同様に迅速かつ容易に合成パラメータを算出して検出結果を合成することができ、また検出結果の視認及びこれに基づく対応点の指定を容易に行うことができる。なお、ベクトル化した情報及び画像の重畳表示は、例えばクライアントが有する表示装置により行うことができる。【００３０】
第２０の態様に係る損傷図作成システムは第１６から第１９の態様のいずれか１つにおいて、サーバの画像取得部はグループに分けられた複数の画像をクライアントから取得し、サーバの検出結果合成部は検出の結果をグループごとに合成し、サーバの検出結果出力部は、合成された検出の結果をグループに関連づけてクライアントに出力する。第２０の態様によれば、第６の態様と同様に画像及び検出結果の管理、利用を容易に行うことができる。【００３１】
第２１の態様に係る損傷図作成システムは第２０の態様において、サーバの画像取得部は、同一のフォルダに格納された画像を同一のグループに属する画像として取得し、サーバの検出結果合成部は、同一のフォルダに格納された画像ごとに検出の結果を合成し、サーバの検出結果出力部は、同一のフォルダに格納された画像について合成された検出の結果をクライアントの同一のフォルダに出力する。第２１の態様によれば、第７の態様と同様に画像及び検出結果の管理、利用を容易に行うことができる。なお、フォルダへの画像の格納は、例えば一般的なコンピュータのＯＳが有するのと同様のファイル管理ツール（機能）をクライアントに設けることにより、ユーザ操作で容易に実現することができる。【００３２】
上述した目的を達成するため、第２２の態様に係る記録媒体は、第１から第１１の態様のいずれか１つに係る損傷図作成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体である。第２２の態様によれば、第１の態様と同様に被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができ、また第２から第１１の態様と同様の構成を有する場合はそれらの態様と同様の効果を得ることができる。なお、第２２の態様に係る記録媒体として各種光磁気記録媒体、半導体記録媒体等の非一時的記録媒体を用いることができる。
【発明の効果】
【００３３】
以上説明したように、本発明の損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体によれば、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、下面側から見た橋梁の外観図である。
【図２】図２は、第１の実施形態に係る損傷図作成システムの構成を示すブロック図である。
【図３】図３は、処理部の構成を示す図である。
【図４】図４は、記憶部に記憶される情報を示す図である。
【図５】図５は、サーバの構成を示す図である。
【図６】図６は、第１の実施形態に係る損傷図作成方法のフローチャートを示す図である。
【図７】図７は、第１の実施形態に係る損傷図作成方法のフローチャートを示す他の図である。
【図８】図８は、床版の撮影手順の例を示す図である。
【図９】図９は、格間の撮影手順の例を示す図である。
【図１０】図１０は、各画像の撮影範囲を示す図である。
【図１１】図１１は、各撮影画像を示す図である。
【図１２】図１２は、フォルダの階層構造を示す図である。
【図１３】図１３は、撮影画像をフォルダに格納した様子を示す図である。
【図１４】図１４は、画像配置決定の処理を示すフローチャートである。
【図１５】図１５は、基準画像設定の様子を示す図である。
【図１６】図１６は、画像群ごとの画像配置の例を示す図である。
【図１７】図１７は、画像群ごとの画像配置の例を示す他の図である。
【図１８】図１８は、ベクトル化した検出結果を画像に重畳表示した様子を示す図である。
【図１９】図１９は、画像群ごとの相対配置の変更の様子を示す図である。
【図２０】図２０は、画像群に対応点を設定する様子を示す図である。
【図２１】図２１は、検出結果の合成を示す図である。
【図２２】図２２は、検出結果の合成を示す他の図である。
【図２３】図２３は、画像が重複する領域での検出結果の合成を示す図である。
【図２４】図２４は、合成した画像を示す図である。
【図２５】図２５は、合成した画像を示す他の図である。
【図２６】図２６は、検出結果等を画像と同一のフォルダに格納した様子を示す図である。
【図２７】図２７は、第２の実施形態に係る損傷図作成装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、添付図面を参照しつつ、本発明に係る損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体の実施形態について、詳細に説明する。
【００３６】
＜橋梁の構造＞
図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は橋台または橋脚の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、本実施形態では橋梁１を対象（被写体）とする場合について説明するが、対象とする建造物は橋梁に限らずトンネル、ビル等、道路等でもよい。
【００３７】
＜画像の取得＞
橋梁１の画像を撮影して損傷を検出する場合、検査員はデジタルカメラ１００（図２参照）を用いて橋梁１を下方から撮影し、検査範囲について複数の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を分割して取得する。撮影は、橋梁１の延伸方向及びその直交方向に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１００を設けて撮影を行ってもよい。このような移動体には、デジタルカメラ１００の昇降機構、回転機構（パン及び／またはチルトを行う機構）を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体（ドローン等）を挙げることができるが、これらに限定されるものではない。
【００３８】
＜損傷図作成システムの構成＞
図２は、損傷図作成システム１０（損傷図作成システム）の概略構成を示すブロック図である。損傷図作成システム１０はデジタルカメラ１００、クライアント２００、及びサーバ３００を備え、被写体を分割撮影して取得した複数の画像について損傷の検出、検出結果の合成等を行い損傷図の作成をするシステムである。損傷図作成システム１０では、画像を入力して結果をサーバ３００から受け取るパーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）をクライアント２００として用いることができ、クライアント２００とネットワーク接続されたコンピュータをサーバ３００として用いることができる。
【００３９】
＜デジタルカメラの構成＞
デジタルカメラ１００は、図示せぬ撮影レンズ及び撮像素子を備える撮像光学系１１０により画像を取得する。撮像素子の例としてはＣＣＤ（Charge Coupled Device）型の撮像素子及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子を挙げることができる。撮像素子の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。デジタルカメラ１００は、無線通信部１３０及びアンテナ１３２を介してクライアント２００との無線通信を行い、撮影された画像が処理部２１０に入力されて後述する処理が行われる。なお、デジタルカメラ１００はクライアント２００と別々の筐体に組み込んでもよいし、一体化してもよい。
【００４０】
＜クライアントの全体構成＞
クライアント２００は処理部２１０、記憶部２２０、表示部２３０、及び操作部２４０を備え、これら各部は互いに接続されて必要な情報が送受信される。また、クライアント２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行い、デジタルカメラ１００で撮影された撮影画像を取得する。さらに、クライアント２００はネットワークＮＷを介してサーバ３００と接続され、サーバ３００との間で、取得した画像の送信、及び送信された画像に対する処理結果（合成検出結果、合成画像等）、処理要求とその応答等を送受信する。
【００４１】
＜処理部の構成＞
図３は処理部２１０の構成を示す図である。処理部２１０は、画像入力部２１０Ａ（画像入力部）、ファイル管理部２１０Ｂ、表示制御部２１０Ｃ、通信制御部２１０Ｄを備え、デジタルカメラ１００で取得した撮影画像のサーバ３００への送信、処理結果の受信、及び処理結果のモニタ２３２への表示制御等を行う。画像入力部２１０Ａは、デジタルカメラ１００（または記録媒体、ネットワーク等）から橋梁１の撮影画像（橋梁１を分割撮影した複数の画像）を入力する。ファイル管理部２１０Ｂは、キーボード２４２及び／またはマウス２４４を介したユーザ操作に応じてフォルダを作成する。表示制御部２１０Ｃは、取得した画像、受信した処理結果等のモニタ２３２への表示制御を行う。通信制御部２１０Ｄは、アンテナ２１２を介してデジタルカメラ１００との間で画像、情報を送受信し、またネットワークＮＷを介してサーバ３００との間で画像、情報を送受信する。ＲＯＭ２１０Ｅ（ROM：Read Only Memory、非一時的記録媒体）には、画像取得、送受信等の処理に必要なプログラム（本発明に係る損傷図作成方法を実行するためのプログラムまたはその一部を含む）のコンピュータ読み取り可能なコードが記録される。
【００４２】
上述した処理部２１０の各機能は、サーバ３００について詳細を後述するのと同様に、各種のプロセッサあるいは電気回路が記録媒体に記録されたソフトウェアを参照することで実現することができる。
【００４３】
＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、被写体である橋梁１（床版６の部分）をデジタルカメラ１００で分割撮影し画像入力部２１０Ａで入力した複数の画像である。なお、デジタルカメラ１００及び画像入力部２１０Ａにより入力した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。検出結果２２０Ｂは、撮影画像２２０Ａを構成する個々の画像に対する損傷の検出結果、及び個々の画像に対する検出結果を合成した検出結果を含む。合成画像２２０Ｃは、撮影画像を合成した画像（部分的に合成した画像群を含む）である。損傷マッピング画像２２０Ｄは、損傷を示す情報（検出結果等）をマッピングした画像である。これらの画像及び情報は、フォルダに格納することができる（図１０，１１参照）。
【００４４】
＜表示部及び操作部の構成＞
表示部２３０はモニタ２３２（表示装置）を備えており、入力した画像、記憶部２２０に記憶された画像及び情報、サーバ３００による処理の結果等を表示することができる。操作部２４０は入力デバイス及び／またはポインティングデバイスとしてのキーボード２４２及びマウス２４４を含んでおり、ユーザはこれらのデバイス及びモニタ２３２の画面を介して、フォルダの作成、画像のフォルダへの格納、対応点の指定等、本発明に係る損傷図作成方法の実行に必要な操作を行うことができる（後述）。
【００４５】
＜サーバの構成＞
図５はサーバ３００の構成を示す図である。サーバ３００は画像取得部３００Ａ（画像取得部）、合成パラメータ算出部３００Ｂ（合成パラメータ算出部）、画像合成部３００Ｃ、損傷検出部３００Ｄ（損傷検出部）、検出結果合成部３００Ｅ（検出結果合成部）、対応点指定部３００Ｆ（対応点指定部）を備える。サーバ３００は、さらに損傷マッピング部３００Ｇ、検出結果出力部３００Ｈ（検出結果出力部）、表示制御部３００Ｉ（表示制御部）、通信制御部３００Ｊ、及びＲＯＭ３００Ｋ（非一時的記録媒体）を備える。サーバ３００はネットワークＮＷを介してクライアント２００と接続され、クライアント２００から撮影画像（図４の撮影画像２２０Ａ）を取得して損傷の検出、検出結果の合成等を行う。
【００４６】
サーバ３００はクライアント２００と同一の場所に設置してもよいし、別の場所に設置してもよい。例えば、サーバ３００はクライアント２００と同一の室内、構内、敷地内に設置してもよいし、離れた場所（外国を含む）に設置してもよい。すなわち、ネットワークを介してサーバ３００とクライアント２００とが通信可能であれば、サーバ３００及びクライアント２００の設置場所は問題とならない。また、ネットワークＮＷの種類は特に限定されず、ＬＡＮ（Local Area Network），ＷＡＮ（Wide Area Network），インターネット等種々のネットワークを利用できる。
【００４７】
画像取得部３００Ａは、クライアント２００から撮影画像（図４の撮影画像２２０Ａ）を入力する。合成パラメータ算出部３００Ｂは、撮影画像を合成するための合成パラメータを、画像どうしの対応点に基づいて算出する。画像合成部３００Ｃは、合成パラメータに基づいて撮影画像を合成する。損傷検出部３００Ｄは、撮影画像から被写体（橋梁１）の損傷（ひび割れ、剥離、腐食等）を検出（抽出及び計測）する。検出結果合成部３００Ｅは、撮影画像についての損傷の検出結果（検出の結果）を、合成パラメータ算出部３００Ｂが算出した合成パラメータに基づいて合成する。対応点指定部３００Ｆは、ユーザの指示入力に基づいて、表示された画像群のうちの一の画像群と画像群のうちの他の画像群とについて対応点を指定する。損傷マッピング部３００Ｇは、損傷を示す情報を合成画像にマッピングする。検出結果出力部３００Ｈは、損傷の検出結果、合成した検出結果、識別情報、合成画像、損傷マッピング画像等をクライアント２００に出力する。表示制御部３００Ｉは、撮影画像、検出結果等をモニタ２３２（表示装置）に表示させる。通信制御部３００Ｊは、ネットワークＮＷを介してクライアント２００との間で画像、情報を送受信する。ＲＯＭ３００Ｋ（非一時的記録媒体）には、本発明に係る損傷図作成方法を実行するための損傷図作成プログラム等、損傷図作成システム１０が動作するための各種プログラムのコンピュータ読み取り可能なコードが記録される。サーバ３００は、上述の各部の他に図示せぬ記録装置（例えば、ハードディスク等の光磁気記録媒体）を備え、クライアント２００から取得した画像及び情報、またサーバ３００の各部による処理結果（損傷の検出結果等）を記録する。記録された画像等は、要求に応じてクライアント２００に送信することができる。
【００４８】
上述したサーバ３００の各部の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
【００４９】
各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００５０】
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る損傷図作成方法を実行するためのプログラムを含む）のプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ３００Ｋ（図５を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ＲＯＭ３００Ｋではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図５ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。
【００５１】
なお、上述したクライアント２００の各機能も、サーバ３００と同様に各種プロセッサ、電気回路、及びソフトウェアにより実現することができる。
【００５２】
＜画像処理の手順＞
損傷図作成システム１０による画像処理について説明する。図６，７は画像処理（本発明に係る損傷図作成方法の各処理を含む）の手順を示すフローチャートである。これらの図において、ステップＳ１００〜Ｓ１１２はクライアント２００での処理を示し、ステップＳ２００〜Ｓ２３６はサーバ３００での処理を示す。
【００５３】
＜撮影＞
図６，７に示す手順では、デジタルカメラ１００により橋梁１（建造物）を分割撮影して複数の撮影画像を取得する（ステップＳ１００）。
【００５４】
本実施形態では、床版６を撮影する場合について説明する。図８は床版６の撮影手順の例を示す図である。図８では、主桁２（ｘ方向に伸びる部材）及び横桁３（ｙ方向に伸びる部材）で規定される格間ＧＯを含む領域Ａを単位として撮影を行い、撮影領域をｙ方向及びｘ方向に（矢印の方向に）順次移動させながら撮影を繰り返す様子を示している。撮影範囲全体の画像が取得できれば、撮影は他の手順で行ってもよい。なお、図８では橋梁１（床版６）の延伸方向をｘ、床版６の面内でｘと直交する方向をｙ、床版６と直交する方向（垂直下方向）をｚとし、（ｘ，ｙ，ｚ）で右手系の座標を構成している。
【００５５】
図９は１つの格間ＧＯでの撮影手順の例を示す図である。図９の例では、格間ＧＯの＋ｘ側端部の領域Ａ１から開始して−ｘ方向端部の領域Ａｉに至るまで移動しながら撮影し、再度＋ｘ側端部に戻って領域Ａｊから初めて−ｘ方向端部の領域Ａｎに至るまで、合計ｎ枚（ｎは２以上の整数）の画像を撮影する。これと異なるパターン（例えば領域Ａ１〜Ａｉ〜Ａｎ〜Ａｊの順）で撮影してもよい。撮影の際は、１画像を撮影するごとに撮影位置を移動し常に正対した画像を撮影してもよいし、１つの撮影位置で撮影方向を変えながら複数の画像を撮影してもよい（この場合、斜め方向から撮影された画像が含まれることになる）。また撮影においては、撮影位置及び撮影方向を適切に設定することにより隣接する画像で十分な（例えば、３０％程度）重複を生じさせ、対応点の検出及び設定を容易かつ高精度にすることが好ましい。
【００５６】
図１０は撮影画像の例であり、画像ｉ１〜ｉ１０まで１０枚の画像を、重複を確保しつつ撮影した様子を示している。また、図１１は画像ｉ１〜ｉ１０を個別に示す図である。なお図１０，１１では、格間ＧＯの枠Ｆ（主桁２及び横桁３で規定される矩形）を図示しており、その他の部材及び床板に生じた損傷は図示を省略している。
【００５７】
クライアント２００は、デジタルカメラ１００（撮像光学系１１０、無線通信部１３０、アンテナ１３２）及び処理部２１０（通信制御部２１０Ｄ、画像入力部２１０Ａ、アンテナ２１２）を介して、上述した複数の撮影画像を入力する（ステップＳ１０２）。
【００５８】
＜画像及び情報の格納＞
損傷図作成システム１０では、クライアント２００の記憶部２２０にフォルダを作成して撮影画像を格納する。図１２はフォルダ構造の例を示す図である。図１２の例では、橋梁１の全体に対してメインフォルダＭＦを作成し、このメインフォルダの中に撮影領域（検査領域１Ａ，検査領域１Ｂ）ごとにサブフォルダＳＦ１，ＳＦ２を作成している。撮影領域ごとのサブフォルダの中には、主桁２及び横桁３で規定される格間ＧＯごとにさらにサブフォルダＳＳ１〜ＳＳ５を作成して撮影画像を格納している。図１３は格間番号がＡ００１の格間（サブフォルダＳＳ１）について１０枚の撮影画像を格納した様子を示す。図１２，１３に示すフォルダ構造は、ファイル管理部２１０Ｂが操作部２４０（キーボード２４２、マウス２４４）の操作に応じて作成することができる。なおフォルダ構成は図１２，１３の例と異なる態様でもよく、例えば部材番号ごとにサブフォルダを作成してもよい。詳細を後述するように、損傷図作成システム１０では損傷の検出結果（検出の結果）をフォルダ（サブフォルダも「フォルダ」に含む）ごとに合成し、合成した検出結果を撮影画像と同一のフォルダに格納する。
【００５９】
＜画像取得＞
クライアント２００の操作部２４０はキーボード２４２及び／またはマウス２４４を介した損傷検出及び合成の指示操作を受け付け（ステップＳ１０４）、この操作に応じてサーバ３００（画像取得部３００Ａ）が撮影画像を取得する（ステップＳ２００）。画像取得部３００Ａは、クライアント２００（記憶部２２０）の同一のフォルダに格納された画像を同一のグループに属する画像として取得する。例えば、図１２，１３に示すサブフォルダＳＳ１に格納された１０枚の撮像画像を同一のグループに属する画像として取得する。
【００６０】
＜合成パラメータの算出＞
ステップＳ２００で撮影画像が取得されたら、サーバ３００（合成パラメータ算出部３００Ｂ）は、複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する（ステップＳ２０２）。例えば、撮影画像のうちの基準画像に対する他の画像の射影変換行列を合成パラメータとして算出することができる。なお、図６のフローチャートではステップＳ２０２の合成パラメータ算出を先に行う例を記載しているが、ステップＳ２０４の損傷検出を先に行ってもよいし、ステップＳ２０２，Ｓ２０４を並行して行ってもよい。
【００６１】
＜損傷の検出＞
サーバ３００（損傷検出部３００Ｄ）は、取得した撮影画像から損傷を検出（抽出及び計測）する（ステップＳ２０４）。損傷の分類としては剥離、漏水、ひび割れ、錆などを挙げることができるが、具体的に検出する損傷の種類は建造物（被写体）の種類、特徴、検査の目的等の条件に応じて設定してよい。また、検出する項目としては位置、大きさ、方向、範囲、形状等があるが、検出項目についても損傷の分類に応じて、また建造物の種類、特徴、検査の目的等の条件に応じて設定してよい。損傷の検出においては、損傷検出部３００Ｄが検出結果（検出の結果）をベクトル化し、始点及び終点を有する線分またはその集合（ひび割れ等、線状の損傷の場合）、またはそのような線分により構成される多角形等の図形（剥離、腐食のように広がりのある損傷の場合）で表す。
【００６２】
損傷の検出は分類に応じて種々の手法により行うことができるが、ひび割れについては、例えば特許４００６００７号公報に記載されたひび割れ検出方法を用いることができる。この方法は、ウェーブレット画像を作成する工程と、ウェーブレット画像に基づいてひび割れ領域を判定する工程と、を有するひび割れ検出方法である。ウェーブレット画像を作成する工程では、対比される２つの濃度に対応したウェーブレット係数を算定するとともに、その２つの濃度をそれぞれ変化させた場合のそれぞれのウェーブレット係数を算定してウェーブレット係数テーブルを作成し、ひび割れ検出対象であるコンクリート表面を撮影した入力画像をウェーブレット変換する。ひび割れ領域を判定する工程では、ウェーブレット係数テーブル内において、局所領域内の近傍画素の平均濃度と注目画素の濃度に対応するウェーブレット係数を閾値として、注目画素のウェーブレット係数と閾値とを比較することによりひび割れ領域とひび割れでない領域とを判定する。
【００６３】
また、錆及び剥離を検出する方法としては、例えば特表２０１０−５３８２５８号公報に記載された鋼橋の塗膜検査システムの処理方法を用いることができる。この処理方法では、撮影された鋼橋塗膜の画像ファイルからの色情報、映像処理、ウォーターシェッド、パルツェン窓を用いて錆と剥離を検出している。
【００６４】
第１の実施形態に係る損傷図作成システム１０では、このように合成前の撮影画像から損傷を検出する。したがって画像の重複領域での画質劣化に起因して損傷検出性能が劣化することがないので、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。なお、損傷の検出結果は、後述するように画像どうしの合成パラメータを用いて合成する。
【００６５】
＜合成可否の判断＞
サーバ３００（合成パラメータ算出部３００Ｂ）は、ステップＳ２０２で算出した合成パラメータに基づいて全ての撮影画像を１つに合成することができるか否かを判断する（ステップＳ２０６）。合成できるか否かは、対応点の数、対応点の信頼性が十分であるか否か（対応点が特徴的な点であるか否か）、対応点により射影変換行列が算出できるか等に基づいて判断することができる。この際、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズム等により対応点の組合せを変えて射影変換行列とその評価値の算出を繰り返して判断してもよい。全ての画像を１つの画像に合成できる場合（ステップＳ２０６でＹＥＳ）はステップＳ２２２に進んで検出結果（検出の結果）の合成を行う。全ての画像を１つの画像に合成できない場合（ステップＳ２０６でＮＯ）は、以下に説明するようにステップＳ２０８〜Ｓ２２０の処理を行ってからステップＳ２２２に進む。ステップＳ２０８〜Ｓ２２０は全ての画像を１つの画像に合成（自動合成）できない場合の処理であり、これらのステップでは、合成が可能な画像群については画像群ごとに合成パラメータを算出して損傷の検出結果を画像群ごとに合成する。一方、合成ができない画像群の間では、以下に説明するようにユーザ操作に基づき対応点を指定して合成パラメータを算出し、算出した合成パラメータに基づいて検出結果を合成する。例えば、後述する画像群Ｇ１，Ｇ２（図１６〜１９参照）の場合、画像群Ｇ１，Ｇ２を構成する画像については検出結果をそれぞれ合成し、画像群Ｇ１，Ｇ２の間では、ユーザ操作に基づいて算出した合成パラメータに基づいて、画像群Ｇ１，Ｇ２について合成された検出結果を１つに合成する（図２０〜２２参照）。
【００６６】
＜画像の分類＞
ステップＳ２０６で「全ての撮影画像を１つの画像に合成できない」と判断された場合、合成パラメータ算出部３００Ｂは撮影画像を合成が可能な画像群に分け（ステップＳ２０８）、画像群ごとに、画像どうしの対応点に基づいて画像配置を決定（合成パラメータを算出）する（ステップＳ２１０）。画像配置が決定すれば、その配置に基づいて検出結果を合成することができる。
【００６７】
＜画像配置の決定＞
図１４は、図６のステップＳ２１０における画像配置決定の処理の詳細を示すフローチャートである。合成パラメータ算出部３００Ｂは、複数の撮影画像のうちから射影変換の基準となる基準画像を設定する（ステップＳ２１０Ａ）。基準画像は正対度、鮮明度等の画像の特徴により設定（選択）できるが、特定の撮影順の画像（例えば、最初に撮影した画像）を基準画像としてもよい。図１０，１１の例では、図１５の（ａ）部分に示すように、画像ｉ１，ｉ２に対し画像ｉ１を基準画像として設定することができる。
【００６８】
基準画像が設定されたら、合成パラメータ算出部３００Ｂは、基準画像以外の画像の基準画像に対する射影変換行列を、画像どうしの対応点に基づいて算出する（ステップＳ２１０Ｂ）。図１０，１１の例では、図１５の（ａ）部分に示すように、画像ｉ２（基準画像以外の画像）を画像ｉ１（基準画像）と同一平面に射影し、対応点を一致させるための射影変換行列を算出する。画像ｉ２の画像ｉ１（基準画像）に対する射影変換行列が算出されたら、図１５の（ｂ）部分に示すように画像ｉ２を基準画像とし、画像ｉ３の画像ｉ２に対する射影変換行列を算出する。このように、基準画像を替えながら、画像群の全画像について（ステップＳ２１０ＣでＹＥＳになるまで）射影変換行列を算出する。
【００６９】
全画像について射影変換行列を算出したら、合成パラメータ算出部３００Ｂは、算出した射影変換行列に基づいて各画像に対し移動、回転、拡大または縮小、及び変形等を行い、画像群の各画像の配置を決定する（ステップＳ２１０Ｄ）。以下では、画像ｉ１〜ｉ４及び画像ｉ６〜ｉ９が合成可能な画像群Ｇ１を構成し、画像ｉ５及び画像ｉ１０が合成可能な画像群Ｇ２を構成するものとして説明する。なお、上述した画像配置の決定においては各画像を射影変換行列により移動、回転、変形等するが、図示する例は画像の配置等を概念的に示すものであり、画像の移動、回転、変形等を正確に表すものではない。
【００７０】
ステップＳ２１０Ｄで決定する画像配置は、画像どうしで重複する領域が重なる画像配置（図１６参照）でもよいし、画像どうしが重ならない画像配置（図１７参照）でもよい。画像どうしが重ならない画像配置の場合、図１７に示すように画像をｘ方向及びｙ方向に離間させて配置し、画像の向きは射影変換行列により求めた向きと変えない（画像を回転させない）配置とすることができる。
【００７１】
＜画像表示＞
ステップＳ２１０（ステップＳ２１０Ａ〜Ｓ２１０Ｄ）で画像配置が決定すると、サーバ３００（表示制御部３００Ｉ、通信制御部３００Ｊ）は合成可能な画像群を表示するようクライアント２００に指示する（ステップＳ２１２）。クライアント２００への指示には、表示させる画像、画像の配置の情報、及びステップＳ２０４において損傷の検出結果をベクトル化した情報を含める。クライアント２００（表示制御部２１０Ｃ）は、表示の指示に応じて損傷の検出結果をベクトル化した情報を画像と重畳し、合成可能な画像群ごとにモニタ２３２に表示する（ステップＳ１０６）。上述の例では、表示制御部２１０Ｃは画像群Ｇ１，Ｇ２を図１６または図１７のような画像配置により表示させる。図１６の画像配置において画像ｉ４，ｉ５，ｉ９，ｉ１０におけるひび割れをベクトル化して重畳表示した様子を図１８に示す。なお、表示の際に、表示制御部３００Ｉ及び／または表示制御部２１０Ｃが画像群Ｇ１，Ｇ２に対しそれぞれ枠で囲む、画像群ごとに異なる色で表示する、画像群の番号を表示する等の処理を施して、画像群を容易に識別できるようにしてもよい。
【００７２】
ステップＳ１０６での表示の際、画像群の間での配置が不適切な場合がある。例えば、図１９に示すように、画像群Ｇ１の下部（−ｘ方向）に配置されるべき画像群Ｇ２が画像群Ｇ１の横方向に配置される場合がある。そこでサーバ３００（合成パラメータ算出部３００Ｂ）は画像群の配置を変更するか否か判断し（ステップＳ２１４）、変更する場合（ステップＳ２１４でＹＥＳ）はステップＳ２１２に戻って、クライアント２００に対し変更後の配置で画像群Ｇ１，Ｇ２を再度表示させる。ステップＳ２１４の判断は、ユーザの指示入力（例えば、キーボード２４２及び／またはマウス２４４を介した画像群Ｇ２の移動、すなわち相対配置の変更操作）に基づいて行うことができる。図１９の例の場合、ユーザの操作（例えば、マウス２４４でドラッグ）に基づいて合成パラメータ算出部３００Ｂ及び表示制御部３００Ｉが画像群Ｇ２を画像群Ｇ１の下部に移動（矢印の方向に移動）し、図１６のように表示することができる。
【００７３】
画像群どうしの相対配置が不適切な状態で表示すると対応点の指定に時間が掛かる場合があるが、損傷図作成システム１０では、このような配置の変更を行うことで対応点の指定を迅速かつ容易に行うことができる。
【００７４】
＜対応点の指定＞
ステップＳ２１４までの処理により画像群の配置が決定すると、サーバ３００（対応点指定部３００Ｆ）は、表示された画像群のうちの一の画像群と他の画像群とについて対応点を指定する（ステップＳ２１６）。例えば画像群Ｇ１，Ｇ２が図１６のように配置及び表示されている場合、図２０に示すように、画像群Ｇ１におけるマウス２４４のクリック等（ステップＳ１０８の対応点指定操作）に応じて点Ｐ１ａを指定し、画像群Ｇ２において点Ｐ１ａの対応点である点Ｐ１ｂを指定する。対応点としては、例えば「同一」と判断されたひび割れの始点、終点、分岐点、及び／または部材の端部、辺部、接合部等の特徴点を指定することができる。この際、対応点指定部３００Ｆ及び表示制御部３００Ｉが指定された点Ｐ１ａ，Ｐ１ｂを直線でつなぐ等により対応関係を識別表示する（図２０参照）ことで、指定された点が対応することを容易に把握することができる。以下、同様に点Ｐ２ａと点Ｐ２ｂ、点Ｐ３ａと点Ｐ３ｂ、点Ｐ４ａと点Ｐ４ｂ、点Ｐ５ａと点Ｐ５ｂ、点Ｐ６ａと点Ｐ６ｂについても指定する。
【００７５】
なお、図２０では画像群Ｇ１，Ｇ２について対応点を６点ずつ指定する例を示しているが、指定する対応点の数は特に限定されない。また、画像群Ｇ１，Ｇ２が図１７のように配置及び表示されている場合も、同様に画像ｉ４，ｉ５と画像ｉ９，ｉ１０とで対応点を指定することができる。
【００７６】
このように、第１の実施形態に係る損傷図作成システム１０では、合成可能な画像群（画像群Ｇ１，Ｇ２）が画像群ごとに表示されるので、どの画像群について（自動的に）合成できたか、あるいはできなかったかを容易に把握することができる。また、合成できなかった画像群（画像群Ｇ１と画像群Ｇ２）について対応点を指定すれば良いので、全ての画像について対応点を指定する必要がなく、対応点の指定、及び指定された対応点に基づく合成パラメータの算出を迅速かつ容易に行うことができる。
【００７７】
上述のように指定した対応点では合成パラメータを精度良く算出できない場合は、サーバ３００（合成パラメータ算出部３００Ｂ、対応点指定部３００Ｆ、表示制御部３００Ｉ等）及びクライアント２００（表示制御部２１０Ｃ等）によりモニタ２３２に警告メッセージを表示させて、再度対応点指定操作を行うようユーザを促してもよい。
【００７８】
＜指定された対応点に基づく画像配置決定＞
ステップＳ２１６で対応点が指定されたら、サーバ３００（合成パラメータ算出部３００Ｂ）は、指定された対応点に基づいて合成が可能な画像群ごとに合成パラメータを算出する（ステップＳ２１８）。図２０の例では、合成パラメータ算出部３００Ｂは、対応点である点Ｐ１ａ〜Ｐ６ｂに基づいて、画像群Ｇ１を基準とした画像群Ｇ２の射影変換行列（または画像群Ｇ２を基準とした画像群Ｇ１の射影変換行列）を算出する。画像合成部３００Ｃ，合成パラメータ算出部３００Ｂは、このようにして算出した射影変換行列により画像群Ｇ２を構成する画像（画像ｉ５，ｉ１０）を移動、回転、変形等して、画像配置を決定する（ステップＳ２２０）。ステップＳ２２０での画像配置の決定は、ステップＳ２１０と同様の手順に行うことができる。
【００７９】
＜検出結果の合成＞
サーバ３００（検出結果合成部３００Ｅ）は、ステップＳ２０２、Ｓ２２０で算出した合成パラメータ（射影変換行列）に基づいて検出結果（検出の結果）を合成する（ステップＳ２２２）。例えば、図２１の（ａ）部分及び（ｂ）部分に示すように画像ｉ１，ｉ２において損傷ベクトルＶ１，Ｖ２の異なる部分（一部重複）が検出されたとし、損傷ベクトルＶ１，Ｖ２の始点、終点が点Ｐ７〜Ｐ１２であるとする。なお、図２２の（ａ）部分及び（ｂ）部分は、図２１の（ａ）部分及び（ｂ）部分にそれぞれ対応した損傷ベクトルＶ１，Ｖ２の始点、終点を示す表である。この場合、合成後の検出結果は、図２１の（ｃ）部分（画像ｉ２を射影変換行列により移動、回転等して合成）に示すように損傷ベクトルＶ１は始点、終点がそれぞれ点Ｐ７，Ｐ８となり、損傷ベクトルＶ２は始点、終点がそれぞれ点Ｐ８、Ｐ１２となる。図２２の（ｃ）部分は図２１の（ｃ）部分に対応しており、合成後の損傷ベクトルＶ１，Ｖ２の始点、終点を示す。
【００８０】
＜画像の重複領域における検出結果の合成＞
上述のように撮影範囲の一部が重複するように画像を取得する場合、複数の画像が重複する領域では、本来ならば１つに合成されるべき検出結果が画像のずれにより複数になる等、合成精度が劣化する場合がある。そこで、損傷図作成システム１０では、複数の画像が重複する領域においては重複する複数の画像のうち１つを選択して検出結果を合成して、検出結果を高精度に合成することができる。このような合成の様子を図２３に示す。図２３の例では、画像ｉ１，ｉ２が重複している領域ＯＬでは画像ｉ１を選択し、画像ｉ１についての検出結果を用いて合成している。
【００８１】
上述した検出結果の合成は、同一のフォルダに格納された画像（グループに分けられた複数の画像）について行われる。図１３に示す例では、サブフォルダＳＳ１に格納された１０枚の画像について検出結果が合成される（検出結果をグループごとに合成する）。
【００８２】
＜画像の合成＞
サーバ３００（画像合成部３００Ｃ）は、ステップＳ２０２、Ｓ２１８で算出した合成パラメータ（射影変換行列）に基づいて画像を合成する（ステップＳ２２４）。図２４は、合成した画像Ｇ３を示す。図２５は、図２３と同様に画像が重複する領域では１つの画像を選択して合成した画像Ｇ３ａを示す。なお、検出結果が合成されれば損傷図を作成できるので、画像の合成は省略してもよい。
【００８３】
＜合成後の正対補正＞
損傷図作成システム１０では、上述のように基準画像に対する他の画像の射影変換行列を算出して画像配置を決定するが、基準画像が撮影方向に対し正対していない場合、合成後の画像において本来矩形であるべき領域が矩形にならない場合がある。例えば、合成後の画像において格間の枠Ｆが台形状になる場合がある。この場合、サーバ３００（合成パラメータ算出部３００Ｂ、画像合成部３００Ｃ等）はキーボード２４２及び／またはマウス２４４を介したユーザの操作に基づいて矩形を形成する点（例えば、枠Ｆの４隅の点）を指定し、射影変換によりこれら４点に矩形を形成させる。これにより、画像合成後においても被写体が正対した画像（正対画像）を得ることができる。
【００８４】
＜計測結果のマッピング＞
サーバ３００（損傷マッピング部３００Ｇ）は、損傷の検出結果を合成画像にマッピングしてもよい。マッピングは、例えば検出結果と関連づけられた文字、図形、記号等を合成画像に表示することにより行うことができる。表示する文字、図形、記号等は操作部２４０（キーボード２４２及び／またはマウス２４４）を介した操作により選択することができ、選択に応じてサーバ３００（損傷マッピング部３００Ｇ、表示制御部３００Ｉ等）及びクライアント２００（表示制御部２１０Ｃ）がモニタ２３２にマッピングした画像を表示させる。文字、図形、記号等は実際の損傷を簡略化あるいは強調したものでもよいし、損傷の種別、大きさ等に応じて異なる態様で表示してもよい。計測結果がマッピングされた画像は記憶部２２０に記憶され（図４の損傷マッピング画像２２０Ｄ）、表示制御部２１０Ｃの制御によりモニタ２３２に表示される。損傷マッピング画像には損傷情報を入力してもよい。
【００８５】
このような計測結果のマッピングは、橋梁１の形状を示す線図情報を含む図面データ（例えばＣＡＤデータ、ＣＡＤ：Computer-Aided Design）に対して行ってもよい。この際、ＣＡＤデータを規定する座標系が図２４，２５等に示す座標系と異なる場合は、座標系の関係に応じた座標変換（移動、回転、ミラーリング等）を行う。このような変換は、サーバ３００（損傷マッピング部３００Ｇ）により行うことができる。
【００８６】
＜結果表示＞
サーバ３００（検出結果出力部３００Ｈ、表示制御部３００Ｉ、通信制御部３００Ｊ等）はクライアント２００に対し検出結果の表示を指示し（ステップＳ２２６）、この指示に応じてクライアント２００（表示制御部２１０Ｃ等）は検出結果をモニタ２３２に表示させる（ステップＳ１１０）。検出結果は文字、数字、記号等により表示することができ、各撮影画像に対する検出結果を表示してもよいし、合成した検出結果を表示してもよい（図２１，２２を参照）。また、検出結果と合わせて、または検出結果に代えて撮影画像、合成画像、損傷マッピング画像等を表示してもよい。また、検出結果をベクトル化した情報（図２１，２２を参照）を画像と重畳して表示してもよい。表示制御部２１０Ｃは、モニタ２３２に表示する内容及びその態様を操作部２４０の操作に応じて選択することができる。表示制御部２１０Ｃは、結果を表示してからの時間を計測し、また結果表示後の出力指示の有無を判断する。出力指示なしで表示時間が長い、出力指示なしで他の画面に遷移したなどの場合は目視による複写のような不正が行われている可能性があり、表示時間の計測及び出力指示の有無を判断することで、そのような不正を検知しうる。不正を検知した場合、例えば表示を停止する等の対応を取りうる。
【００８７】
＜結果出力＞
サーバ３００（検出結果出力部３００Ｈ等）は、ステップＳ１１０で表示した検出結果に対する出力の指示操作（例えば、操作部２４０を介した出力指示操作）があったか否かを判断する（ステップＳ２２８）。出力指示操作があった場合（ステップＳ２２８でＹＥＳ）のみ、ステップＳ２３０へ進んでクライアント２００に対し検出結果（各画像に対する検出結果、及び合成された検出結果）の出力を指示し、クライアント２００（ファイル管理部２１０Ｂ）は出力指示に応じて検出結果を出力する（ステップＳ１１２）。図１３の例では、サブフォルダＳＳ１に格納された画像に対する検出結果を、画像が格納されているのと同一のサブフォルダＳＳ１に格納する（検出結果をグループに関連づけて出力する；図２６参照）。検出結果は、橋梁１（被写体）の形状を示す線図情報を含む図面データ（例えばＣＡＤデータ）と同一のフォーマットで出力してもよい。また、図示せぬプリンタで検出結果を印刷してもよい。
【００８８】
このように、第１の実施形態では画像が格納されたフォルダと同一のフォルダに検出結果を格納するので、入力した画像と合成された検出結果との対応が明確になり、画像及び検出結果の管理、利用を容易に行うことができる。なお、検出結果の出力は出力操作指示があった場合（ステップＳ２２８でＹＥＳとなった場合）にのみ行い、出力操作指示がなかった場合は画像に対し識別情報を付与して（ステップＳ２３２）、付与した識別情報をクライアント２００に通知して画像が格納されたフォルダと同一のフォルダ（図１３，２６の例ではサブフォルダＳＳ１）に格納する。
【００８９】
検出結果または識別情報が出力されたら、サーバ３００は全フォルダについての処理が終了したか否かを判断する（ステップＳ２３４）。判断が肯定されたら、サーバ３００はステップＳ２３６でクライアント２００に終了を通知して（ステップＳ２３６）、処理を終了する。全フォルダについての処理が終了していない場合は、ステップＳ２０２に戻って他のフォルダについてステップＳ２０２〜Ｓ２３４を繰り返す。
【００９０】
以上説明したように、第１の実施形態に係る損傷図作成システム１０によれば、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。
【００９１】
＜第２の実施形態＞
上述した第１の実施形態ではサーバ３００及びクライアント２００を備える損傷図作成システム１０について説明したが、第２の実施形態では損傷図作成装置２０について説明する。図２７は損傷図作成装置２０の構成を示す図である。損傷図作成装置２０はデジタルカメラ１００と装置本体５００とにより構成される。デジタルカメラ１００の構成は第１の実施形態におけるデジタルカメラ１００の構成と同じであるので、同一の参照符号を付し詳細な説明を省略する。なお、デジタルカメラ１００は装置本体５００と一体に構成されていてもよい。
【００９２】
＜損傷図作成装置の構成＞
第１の実施形態に係る損傷図作成システム１０はサーバ３００及びクライアント２００を備え損傷の検出、合成等、処理の主たる部分をサーバ３００で行うが、第２の実施形態に係る損傷図作成装置２０では、装置本体５００の処理部５１０が処理を行う。具体的には、処理部５１０は図３に示すクライアント２００の機能と図５に示すサーバ３００の機能とを有する。記憶部５２０には、第１の実施形態に係る記憶部２２０と同様の情報（図４参照）が記憶される。操作部５４０（キーボード５４２，マウス５４４）の構成及び機能は第１の実施形態に係る操作部２４０（キーボード２４２，マウス２４４）と同様である。また、表示部５３０（モニタ５３２）の構成及び機能は第１の実施形態に係る表示部２３０（モニタ２３２）と同様である。損傷図作成装置２０では、画像を入力して損傷の検出、合成等の処理を行うパーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を装置本体５００として用いることができる。
【００９３】
＜損傷図作成方法の処理＞
損傷図作成装置２０における処理（本発明に係る損傷図作成方法の処理）は図６，７，１４のフローチャートと同様である。例えば、被写体を分割撮影して取得した複数の画像を入力し、複数の画像を合成するための合成パラメータ（射影変換行列）を画像どうしの対応点に基づいて算出し、複数の画像を構成する画像から被写体の損傷を検出し、複数の画像についての検出結果を合成パラメータに基づいて合成する。このような処理は装置本体５００の処理部５１０が行う。なお、第１の実施形態ではクライアント２００とサーバ３００の通信が行われるが、損傷図作成装置２０では装置本体５００の内部での通信となる。
【００９４】
第２の実施形態に係る損傷図作成装置２０においても、第１の実施形態に係る損傷図作成システム１０と同様に合成前の撮影画像から損傷を検出する。したがって画像の重複領域での画質劣化に起因して損傷検出性能が劣化することがないので、被写体を分割撮影して取得した複数の画像に基づいて損傷を高精度に検出することができる。
【００９５】
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【００９６】
１        橋梁
１Ａ      検査領域
１Ｂ      検査領域
２        主桁
３        横桁
４        対傾構
５        横構
６        床版
１０      損傷図作成システム
２０      損傷図作成装置
１００    デジタルカメラ
１１０    撮像光学系
１３０    無線通信部
１３２    アンテナ
２００    クライアント
２１０    処理部
２１０Ａ  画像入力部
２１０Ｂ  ファイル管理部
２１０Ｃ  表示制御部
２１０Ｄ  通信制御部
２１０Ｅ  ＲＯＭ
２１２    アンテナ
２２０    記憶部
２２０Ａ  撮影画像
２２０Ｂ  検出結果
２２０Ｃ  合成画像
２２０Ｄ  損傷マッピング画像
２３０    表示部
２３２    モニタ
２４０    操作部
２４２    キーボード
２４４    マウス
３００    サーバ
３００Ａ  画像取得部
３００Ｂ  合成パラメータ算出部
３００Ｃ  画像合成部
３００Ｄ  損傷検出部
３００Ｅ  検出結果合成部
３００Ｆ  対応点指定部
３００Ｇ  損傷マッピング部
３００Ｈ  検出結果出力部
３００Ｉ  表示制御部
３００Ｊ  通信制御部
３００Ｋ  ＲＯＭ
５００    装置本体
５１０    処理部
５２０    記憶部
５３０    表示部
５３２    モニタ
５４０    操作部
５４２    キーボード
５４４    マウス
Ａ        領域
Ａ１      領域
Ａｉ      領域
Ａｊ      領域
Ａｎ      領域
Ｆ        枠
Ｇ１      画像群
Ｇ２      画像群
Ｇ３      画像
Ｇ３ａ    画像
ＧＯ      格間
ＭＦ      メインフォルダ
ＮＷ      ネットワーク
ＯＬ      領域
Ｐ１ａ    点
Ｐ１ｂ    点
Ｐ２ａ    点
Ｐ２ｂ    点
Ｐ３ａ    点
Ｐ３ｂ    点
Ｐ４ａ    点
Ｐ４ｂ    点
Ｐ５ａ    点
Ｐ５ｂ    点
Ｐ６ａ    点
Ｐ６ｂ    点
Ｓ１００〜Ｓ２３６  損傷図作成方法の各ステップ
ＳＦ１    サブフォルダ
ＳＦ２    サブフォルダ
ＳＳ１    サブフォルダ
ＳＳ２    サブフォルダ
ＳＳ３    サブフォルダ
ＳＳ４    サブフォルダ
ＳＳ５    サブフォルダ
Ｖ１      損傷ベクトル
Ｖ２      損傷ベクトル
ｉ１      画像
ｉ２      画像
ｉ３      画像
ｉ４      画像
ｉ５      画像
ｉ６      画像
ｉ７      画像
ｉ８      画像
ｉ９      画像
ｉ１０    画像
【図１】
2019021729.tif 000003
【図２】
2019021729.tif 000004
【図３】
2019021729.tif 000005
【図４】
2019021729.tif 000006
【図５】
2019021729.tif 000007
【図６】
2019021729.tif 000008
【図７】
2019021729.tif 000009
【図８】
2019021729.tif 000010
【図９】
2019021729.tif 000011
【図１０】
2019021729.tif 000012
【図１１】
2019021729.tif 000013
【図１２】
2019021729.tif 000014
【図１３】
2019021729.tif 000015
【図１４】
2019021729.tif 000016
【図１５】
2019021729.tif 000017
【図１６】
2019021729.tif 000018
【図１７】
2019021729.tif 000019
【図１８】
2019021729.tif 000020
【図１９】
2019021729.tif 000021
【図２０】
2019021729.tif 000022
【図２１】
2019021729.tif 000023
【図２２】
2019021729.tif 000024
【図２３】
2019021729.tif 000025
【図２４】
2019021729.tif 000026
【図２５】
2019021729.tif 000027
【図２６】
2019021729.tif 000028
【図２７】
2019021729.tif 000029
【手続補正書】
【提出日】平成30年12月27日(2018.12.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を分割撮影して取得した複数の画像をサーバで受信し、
前記サーバで前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出するステップと、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行うステップと、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成するステップと、
を有する損傷図作成方法。
【請求項２】
前記合成パラメータを算出するステップは、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１に記載の損傷図作成方法。
【請求項３】
前記合成パラメータを算出するステップにおいて前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、
前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出するステップと、
前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成するステップと、
を行う請求項１または２に記載の損傷図作成方法。
【請求項４】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させるステップと、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定するステップと、
前記指定された対応点に基づいて、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出するステップと、
前記検出の結果を合成するステップでは、前記画像群を１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項３に記載の損傷図作成方法。
【請求項５】
前記検出の結果を合成するステップでは、複数の画像が重複する領域においては前記重複する複数の画像のうち１つを選択して前記検出の結果を合成する請求項１から４のいずれか１項に記載の損傷図作成方法。
【請求項６】
前記複数の画像を入力するステップではグループに分けられた前記複数の画像を入力し、
前記検出の結果を合成するステップでは前記検出の結果を前記グループごとに合成し、
前記合成された前記検出の結果を前記グループに関連づけて出力するステップを有する請求項１から５のいずれか１項に記載の損傷図作成方法。
【請求項７】
前記複数の画像を入力するステップでは同一のフォルダに格納された画像を同一のグループに属する画像として入力し、
前記検出の結果を合成するステップでは、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記検出の結果を出力するステップでは、前記合成された前記検出の結果を前記同一のグループに属する画像が格納されたフォルダに出力する請求項６に記載の損傷図作成方法。
【請求項８】
前記合成パラメータに基づいて前記複数の画像を合成するステップを有する請求項１から７のいずれか１項に記載の損傷図作成方法。
【請求項９】
前記被写体の形状を示す線図情報を含む図面データと同一のフォーマットで前記検出の結果を出力するステップを有する請求項１から８のいずれか１項に記載の損傷図作成方法。
【請求項１０】
前記検出の結果を表示するステップと、
前記表示した前記検出の結果を出力するステップと、
を有し、
前記検出の結果を出力するステップは前記表示した前記検出の結果に対する出力の指示があった場合にのみ行う請求項１から９のいずれか１項に記載の損傷図作成方法。
【請求項１１】
前記検出の結果に対応する画像のうち前記出力の指示がなかった画像に識別情報を付与するステップを備える請求項１０に記載の損傷図作成方法。
【請求項１２】
サーバにおいて、
被写体を分割撮影して取得した複数の画像をサーバで受信し、
前記サーバ前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行う損傷検出部と、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
を有する損傷図作成サーバ。
【請求項１３】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１２に記載の損傷図作成サーバ。
【請求項１４】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１２または１３に記載の損傷図作成サーバ。
【請求項１５】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１４に記載の損傷図作成サーバ。
【請求項１６】
サーバとクライアントとを備える損傷図作成システムであって、前記クライアントは、
被写体を分割撮影して取得した複数の画像を入力する画像入力部を備え、
前記サーバは、
前記複数の画像を前記クライアントから取得する画像取得部と、
前記取得した複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像から前記被写体の損傷の検出を行う損傷検出部と、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
前記検出の結果を前記クライアントに出力する検出結果出力部と、
を備える損傷図作成システム。
【請求項１７】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１６に記載の損傷図作成システム。
【請求項１８】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１６または１７に記載の損傷図作成システム。
【請求項１９】
前記サーバは、
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１８に記載の損傷図作成システム。
【請求項２０】
前記サーバの画像取得部はグループに分けられた前記複数の画像を前記クライアントから取得し、
前記サーバの前記検出結果合成部は前記検出の結果を前記グループごとに合成し、
前記サーバの前記検出結果出力部は、前記合成された前記検出の結果を前記グループに関連づけて前記クライアントに出力する請求項１６から１９のいずれか１項に記載の損傷図作成システム。
【請求項２１】
前記サーバの前記画像取得部は、同一のフォルダに格納された画像を前記同一のグループに属する画像として取得し、
前記サーバの前記検出結果合成部は、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記サーバの前記検出結果出力部は、前記同一のフォルダに格納された画像について前記合成された前記検出の結果を前記クライアントの前記同一のフォルダに出力する請求項２０に記載の損傷図作成システム。
【請求項２２】
請求項１から１１のいずれか１項に記載の損傷図作成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
【手続補正書】
【提出日】平成31年4月1日(2019.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を分割撮影して取得した複数の画像を入力するステップと、
前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出するステップと、
前記複数の画像を構成する画像ごとに前記被写体の損傷の検出を行うステップと、
前記複数の画像についての前記検出の結果を前記合成パラメータに基づいて合成するステップと、
を有する損傷図作成方法。
【請求項２】
前記合成パラメータを算出するステップでは、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１に記載の損傷図作成方法。
【請求項３】
前記合成パラメータを算出するステップにおいて前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、
前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出するステップと、
前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成するステップと、
を行う請求項１または２に記載の損傷図作成方法。
【請求項４】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させるステップと、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定するステップと、
前記指定された対応点に基づいて、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出するステップと、
前記検出の結果を合成するステップでは、前記画像群を１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項３に記載の損傷図作成方法。
【請求項５】
前記検出の結果を合成するステップでは、複数の画像が重複する領域においては前記重複する複数の画像のうち１つを選択して前記検出の結果を合成する請求項１から４のいずれか１項に記載の損傷図作成方法。
【請求項６】
前記複数の画像を入力するステップではグループに分けられた前記複数の画像を入力し、
前記検出の結果を合成するステップでは前記検出の結果を前記グループごとに合成し、
前記合成された前記検出の結果を前記グループに関連づけて出力するステップを有する請求項１から５のいずれか１項に記載の損傷図作成方法。
【請求項７】
前記複数の画像を入力するステップでは同一のフォルダに格納された画像を同一のグループに属する画像として入力し、
前記検出の結果を合成するステップでは、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記検出の結果を出力するステップでは、前記合成された前記検出の結果を前記同一のグループに属する画像が格納されたフォルダに出力する請求項６に記載の損傷図作成方法。
【請求項８】
前記合成パラメータに基づいて前記複数の画像を合成するステップを有する請求項１から７のいずれか１項に記載の損傷図作成方法。
【請求項９】
前記被写体の形状を示す線図情報を含む図面データと同一のフォーマットで前記検出の結果を出力するステップを有する請求項１から８のいずれか１項に記載の損傷図作成方法。
【請求項１０】
前記検出の結果を表示するステップと、
前記表示した前記検出の結果を出力するステップと、
を有し、
前記検出の結果を出力するステップは前記表示した前記検出の結果に対する出力の指示があった場合にのみ行う請求項１から９のいずれか１項に記載の損傷図作成方法。
【請求項１１】
前記検出の結果に対応する画像のうち前記出力の指示がなかった画像に識別情報を付与するステップを備える請求項１０に記載の損傷図作成方法。
【請求項１２】
被写体を分割撮影して取得した複数の画像を入力する画像入力部と、
前記複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像ごとに前記被写体の損傷の検出を行う損傷検出部と、
前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
を有する損傷図作成装置。
【請求項１３】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１２に記載の損傷図作成装置。
【請求項１４】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１２または１３に記載の損傷図作成装置。
【請求項１５】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１４に記載の損傷図作成装置。
【請求項１６】
サーバとクライアントとを備える損傷図作成システムであって、前記クライアントは、
被写体を分割撮影して取得した複数の画像を入力する画像入力部を備え、
前記サーバは、
前記複数の画像を前記クライアントから取得する画像取得部と、
前記取得した複数の画像を合成するための合成パラメータを画像どうしの対応点に基づいて算出する合成パラメータ算出部と、
前記複数の画像を構成する画像ごとに前記被写体の損傷の検出を行う損傷検出部と、
前記検出の結果を前記合成パラメータに基づいて合成する検出結果合成部と、
前記検出の結果を前記クライアントに出力する検出結果出力部と、
を備える損傷図作成システム。
【請求項１７】
前記合成パラメータ算出部は、前記複数の画像のうちの基準画像に対する前記基準画像以外の画像の射影変換行列の情報を前記合成パラメータとして算出する請求項１６に記載の損傷図作成システム。
【請求項１８】
前記合成パラメータ算出部は、前記複数の画像を１つの画像に合成する合成パラメータが算出できない場合、前記複数の画像のうちの合成が可能な画像群ごとに前記合成パラメータを算出し、
前記検出結果合成部は、前記画像群ごとに算出した前記合成パラメータに基づいて前記検出の結果を前記画像群ごとに合成する請求項１６または１７に記載の損傷図作成システム。
【請求項１９】
前記サーバは、
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させる表示制御部と、
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定する対応点指定部と、
を備え、
前記合成パラメータ算出部は、前記指定された対応点に基づいて前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出し、
前記検出結果合成部は、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項１８に記載の損傷図作成システム。
【請求項２０】
前記サーバの画像取得部はグループに分けられた前記複数の画像を前記クライアントから取得し、
前記サーバの前記検出結果合成部は前記検出の結果を前記グループごとに合成し、
前記サーバの前記検出結果出力部は、前記合成された前記検出の結果を前記グループに関連づけて前記クライアントに出力する請求項１６から１９のいずれか１項に記載の損傷図作成システム。
【請求項２１】
前記サーバの前記画像取得部は、同一のフォルダに格納された画像を前記同一のグループに属する画像として取得し、
前記サーバの前記検出結果合成部は、前記同一のフォルダに格納された画像ごとに前記検出の結果を合成し、
前記サーバの前記検出結果出力部は、前記同一のフォルダに格納された画像について前記合成された前記検出の結果を前記クライアントの前記同一のフォルダに出力する請求項２０に記載の損傷図作成システム。
【請求項２２】
請求項１から１１のいずれか１項に記載の損傷図作成方法をコンピュータに実行させるプログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
【請求項２３】
前記損傷が、ひび割れ、剥離、腐食、漏水、及び錆からなる群のうちのいずれか１種又は２種以上の組合せである、請求項１から１１のいずれか１項に記載の損傷図作成方法。
【手続補正書】
【提出日】令和2年1月29日(2020.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記検出の結果をベクトル化した情報を前記複数の画像と重畳させて前記画像群ごとに表示させるステップと、 
前記表示された前記画像群のうちの一の画像群と、前記画像群のうちの他の画像群と、について対応点を指定するステップと、
前記指定された対応点に基づいて、前記一の画像群と前記他の画像群とを１つの画像に合成する前記合成パラメータを算出するステップと、を有し、
前記検出の結果を合成するステップでは、前記画像群を１つの画像に合成する前記合成パラメータに基づいて、前記一の画像群についての前記検出の結果と前記他の画像群についての前記検出の結果とを合成する請求項３に記載の損傷図作成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
第１の態様において、合成パラメータを算出するステップと、画像から損傷を検出するステップとは、いずれを先に実行してもよいし、これらステップを並行して実行してもよい。また、合成された検出結果が得られれば損傷図が作成できるので、損傷検出の対象となった画像自体は合成してもよいし、合成しなくてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第４の態様に係る損傷図作成方法は第３の態様において、検出の結果をベクトル化した情報を複数の画像と重畳させて画像群ごとに表示させるステップと、表示された画像群のうちの一の画像群と、画像群のうちの他の画像群と、について対応点を指定するステップと、指定された対応点に基づいて、一の画像群と他の画像群とを１つの画像に合成する合成パラメータを算出するステップと、を有し、検出の結果を合成するステップでは、画像群を１つの画像に合成する合成パラメータに基づいて、一の画像群についての検出の結果と他の画像群についての検出の結果とを合成する。第４の態様は複数の画像の全てを１つの画像に合成する合成パラメータが算出できない場合の処理を規定するもので、（ユーザの操作に基づいて）対応点を指定し、指定された対応点に基づいて合成パラメータを算出することで、一の画像群についての検出結果と他の画像群についての検出結果とを合成する。合成できなかった画像群について対応点を指定すればよいので、迅速かつ容易に合成パラメータを算出して検出結果を合成することができる。なお、対応点の指定はユーザの操作に基づいて行うことができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
＜橋梁の構造＞ 
図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は橋台または橋脚の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、本実施形態では橋梁１を対象（被写体）とする場合について説明するが、対象とする建造物は橋梁に限らずトンネル、ビル、道路等でもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
＜クライアントの全体構成＞ 
クライアント２００は処理部２１０、記憶部２２０、表示部２３０、及び操作部２４０を備え、これら各部は互いに接続されて必要な情報が送受信される。また、クライアント２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行い、デジタルカメラ１００で撮影された撮影画像を取得する。さらに、クライアント２００はネットワークＮＷを介してサーバ３００と接続され、サーバ３００との間で、取得した画像の送信、及び送信された画像に対する処理結果（合成検出結果、合成画像等）、処理要求とその応答等の送受信をする。
【国際調査報告】
2019021729.tif 000030
2019021729.tif 000031
2019021729.tif 000032
2019021729.tif 000033