(57)【要約】【課題】付帯設備の点検を効率的に支援することができる付帯設備状態評価装置を得ること。【解決手段】付帯設備状態評価装置１は、情報取得部２２と、付帯設備画像抽出部２３と、状態評価部２５と、表示情報生成部２６とを備える。情報取得部２２は、構造物の付帯設備の画像と構造物の画像とを含む撮像画像の情報を取得する。付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報から付帯設備の画像の情報を抽出する。状態評価部２５は、付帯設備画像抽出部２３によって抽出された付帯設備の画像の情報に基づいて、付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する。表示情報生成部２６は、複数の領域の各々の変状レベルの情報を付帯設備の画像の情報に関連付けた表示情報を生成する。【選択図】図１
2020159969.tif 000002
【特許請求の範囲】
【請求項１】
構造物の付帯設備の画像と前記構造物の画像とを含む撮像画像の情報を取得する情報取得部と、
前記情報取得部によって取得された前記撮像画像の情報から前記付帯設備の画像の情報を抽出する付帯設備画像抽出部と、
前記付帯設備画像抽出部によって抽出された前記付帯設備の画像の情報に基づいて、前記付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する状態評価部と、
前記複数の領域の各々の変状レベルの情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する表示情報生成部と、を備える
ことを特徴とする付帯設備状態評価装置。
【請求項２】
前記状態評価部は、
前記付帯設備の画像を前記複数の領域に分割する分割部と、
前記分割部によって分割された前記複数の領域の各々の画像の情報に基づいて、前記複数の領域の各々の変状レベルを判定する領域変状レベル判定部と、を備える
ことを特徴とする請求項１に記載の付帯設備状態評価装置。
【請求項３】
前記領域変状レベル判定部は、
前記分割部によって分割された前記複数の領域の各々の画像の情報に基づいて、前記複数の領域の各々に異常があるか否かを判定する異常判定部と、
前記異常判定部によって異常であると判定された領域の変状レベルを判定するレベル判定部と、を備える
ことを特徴とする請求項２に記載の付帯設備状態評価装置。
【請求項４】
前記状態評価部は、
前記付帯設備の画像の情報に基づいて、前記付帯設備の異常箇所を判定する異常判定部と、
前記複数の領域のうち前記異常判定部によって異常であると判定された異常箇所を含む領域の変状レベルを判定するレベル判定部と、を備える
ことを特徴とする請求項１に記載の付帯設備状態評価装置。
【請求項５】
前記レベル判定部は、
前記撮像画像に同一種別の前記付帯設備の画像が複数含まれている場合に、前記複数の領域の各々について前記変状レベルの平均値を演算し、
前記表示情報生成部は、
前記複数の領域の各々の変状レベルの情報に加え前記変状レベルの平均値の情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する
ことを特徴とする請求項３または４に記載の付帯設備状態評価装置。
【請求項６】
前記状態評価部は、
前記複数の領域の各々の変状レベルに基づいて、前記複数の領域を含む前記付帯設備単位の変状度合いを判定する総合評価部を備え、
前記表示情報生成部は、
前記複数の領域の各々の変状レベルの情報に加え前記付帯設備単位の変状度合いの情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する
ことを特徴とする請求項１から５のいずれか一つに記載の付帯設備状態評価装置。
【請求項７】
前記構造物における前記付帯設備の位置を特定する位置特定部を備え、
前記撮像画像は、同一種別の付帯設備の画像が複数含まれる画像であり、
前記表示情報生成部は、
前記複数の領域の各々の変状レベルの情報に加え前記付帯設備の位置の情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する
ことを特徴とする請求項６に記載の付帯設備状態評価装置。
【請求項８】
前記撮像画像は、走行型計測装置に搭載された撮像部が前記走行型計測装置の走行時に繰り返し撮像して得られる画像であり、
前記位置特定部は、
前記撮像画像のうち前記付帯設備の領域が前記撮像部によって撮像された時刻に基づいて、複数の前記付帯設備の各々の位置を特定する
ことを特徴とする請求項７に記載の付帯設備状態評価装置。
【請求項９】
前記撮像画像は、走行型計測装置に搭載された撮像部が前記走行型計測装置の走行時に繰り返し撮像して得られる画像であり、
前記位置特定部は、
複数の前記付帯設備の各々に前記撮像部による撮像順に識別情報を付与することで、複数の前記付帯設備の各々の位置を特定する
ことを特徴とする請求項７に記載の付帯設備状態評価装置。
【請求項１０】
コンピュータによって実行される付帯設備状態評価方法であって、
構造物の付帯設備の画像と前記構造物の画像とを含む撮像画像の情報を取得する情報取得ステップと、
前記情報取得ステップによって取得された前記撮像画像の情報から前記付帯設備の画像の情報を抽出する付帯設備画像抽出ステップと、
前記付帯設備画像抽出ステップによって抽出された前記付帯設備の画像の情報に基づいて、前記付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する状態評価ステップと、
前記複数の領域の各々の変状レベルの情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する表示情報生成ステップと、を含む
ことを特徴とする付帯設備状態評価方法。
【請求項１１】
構造物の付帯設備の画像と前記構造物の画像とを含む撮像画像の情報を取得する情報取得ステップと、
前記情報取得ステップによって取得された前記撮像画像の情報から前記付帯設備の画像の情報を抽出する付帯設備画像抽出ステップと、
前記付帯設備画像抽出ステップによって抽出された前記付帯設備の画像の情報に基づいて、前記付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する状態評価ステップと、
前記複数の領域の各々の変状レベルの情報を前記付帯設備の画像の情報に関連付けた表示情報を生成する表示情報生成ステップと、をコンピュータに実行させる
ことを特徴とする付帯設備状態評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造物に付帯する設備である付帯設備の状態を評価する付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラムに関する。
【背景技術】
【０００２】
従来、トンネルまたは橋梁などといった構造物に付帯される照明機器または看板などの付帯設備は、定期的に点検が行われている。付帯設備の点検では、構造物に付帯設備を取り付けるためのボルトまたはネジなどに錆または緩みがないか、または付帯設備そのものに亀裂などの問題がないかなどの作業が行われる。かかる作業は、構造物に付帯する全ての付帯設備を対象に一つ一つ作業者が目視または打音などにより確認することによって行われるため、非常に手間と時間がかかる。
【０００３】
特許文献１には、構造物に付帯設備を取り付けるためのボルトの健全度を評価する技術が開示されており、かかる技術によって作業者による音の聞き分けに依存せずにボルトの健全度を評価することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−９００５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、作業者による音の聞き分けの場合と同様に、付帯設備を構造物に取り付けるためのボルトの一つ一つに打撃を与える必要があり、効率的な点検を行うことが難しい。
【０００６】
本発明は、上記に鑑みてなされたものであって、付帯設備の点検を効率的に支援することができる付帯設備状態評価装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の付帯設備状態評価装置は、情報取得部と、付帯設備画像抽出部と、状態評価部と、表示情報生成部とを備える。情報取得部は、構造物の付帯設備の画像と構造物の画像とを含む撮像画像の情報を取得する。付帯設備画像抽出部は、情報取得部によって取得された撮像画像の情報から付帯設備の画像の情報を抽出する。状態評価部は、付帯設備画像抽出部によって抽出された付帯設備の画像の情報に基づいて、付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する。表示情報生成部は、複数の領域の各々の変状レベルの情報を付帯設備の画像の情報に関連付けた表示情報を生成する。
【発明の効果】
【０００８】
本発明によれば、付帯設備の点検を効率的に支援することができる、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１にかかる付帯設備状態評価装置の構成例を示す図
【図２】実施の形態１にかかる付帯設備状態評価装置による処理方法を説明するための図
【図３】実施の形態１にかかる付帯設備状態評価装置の具体的構成例を示す図
【図４】実施の形態１にかかる撮像画像情報テーブルの一例を示す図
【図５】実施の形態１にかかる関連情報テーブルの一例を示す図
【図６】実施の形態１にかかる走行型計測装置による構造物情報の取得方法の一例を示す図
【図７】実施の形態１にかかる走行型計測装置の走行位置と各部分撮像画像との関係を示す図
【図８】実施の形態１にかかる付帯設備情報テーブルの一例を示す図
【図９】実施の形態１にかかる複数の領域へ分割した付帯設備の画像の一例を示す図
【図１０】実施の形態１にかかる異常判定部によって判定される異常箇所を含む付帯設備の画像の一例を示す図
【図１１】実施の形態１にかかる異常判定部によって判定される異常箇所とレベル判定部で用いられる複数の領域との関係の一例を示す図
【図１２】実施の形態１にかかる表示情報に基づいて表示処理部によって表示部に表示される表示画像の一例を示す図
【図１３】実施の形態１にかかる付帯設備状態評価装置の制御部の処理の一例を示すフローチャート
【図１４】実施の形態１にかかる付帯設備状態評価装置のハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態にかかる付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１にかかる付帯設備状態評価装置の構成例を示す図である。図１に示すように、実施の形態１にかかる付帯設備状態評価装置１は、記憶部１０と、制御部２０とを備える。
【００１２】
記憶部１０は、構造物と構造物に付帯する設備である付帯設備とを撮像して得られる撮像画像の情報である撮像画像情報を記憶する。撮像画像に画像が含まれる構造物は、例えば、トンネル、橋梁、道路、または下水道などの構造物である。撮像画像に画像が含まれる付帯設備は、例えば、照明機器、送風機、または看板などである。以下、構造物の一例としてトンネルを挙げて説明するが、構造物は、トンネルに限定されず、構造物は、橋梁、下水道、または他の構造物であってもよい。
【００１３】
制御部２０は、情報取得部２２と、付帯設備画像抽出部２３と、状態評価部２５と、表示情報生成部２６と、表示処理部２７とを備える。情報取得部２２は、走行型計測装置２によって生成される撮像画像情報を走行型計測装置２から取得し、取得した撮像画像情報を記憶部１０に記憶する。また、情報取得部２２は、記憶部１０に記憶された撮像画像情報を記憶部１０から取得する。
【００１４】
走行型計測装置２は、撮像部を有しており、走行しながら撮像部によって得られる撮像画像の情報を含む撮像画像情報を生成する。例えば、構造物がトンネルである場合、走行型計測装置２は、トンネル内を走行しながらトンネルの内壁を撮像部によって撮像して得られる撮像画像の情報から撮像画像情報を生成する。
【００１５】
付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報から付帯設備の画像の情報を抽出する。状態評価部２５は、付帯設備画像抽出部２３によって抽出された付帯設備の画像の情報に基づいて、付帯設備におけるメッシュ状に区画された複数の領域の各々の変状レベルを判定する。
【００１６】
表示情報生成部２６は、状態評価部２５によって判定された各領域の変状レベルの情報を付帯設備の画像の情報に関連付けた表示情報を生成する。表示処理部２７は、表示情報生成部２６によって生成された表示情報に基づいて、各領域の変状レベルの情報を付帯設備の画像の情報に関連付けた画像を表示部３に表示させる。
【００１７】
図２は、実施の形態１にかかる付帯設備状態評価装置による処理方法を説明するための図である。なお、図２に示す例では、付帯設備として照明機器が示されているが、付帯設備は、送風機または看板などを含んでいてもよい。
【００１８】
図２に示すステップＳ１では、情報取得部２２は、走行型計測装置２によって生成された撮像画像の情報を取得する。そして、付帯設備画像抽出部２３は、図２に示すステップＳ２において、撮像画像の情報から付帯設備の画像の情報を抽出する。図２に示す例では、撮像画像には、トンネルの内壁の画像に加え、付帯設備の画像として４つの照明機器の画像が含まれており、付帯設備画像抽出部２３は、各照明機器の画像の情報を撮像画像の情報から抽出する。
【００１９】
次に、状態評価部２５は、図２に示すステップＳ３において、ステップＳ２で抽出された付帯設備の画像の情報に基づいて、付帯設備の状態を評価する状態評価処理を行う。具体的には、状態評価部２５は、付帯設備画像抽出部２３によって抽出された付帯設備の画像の情報に基づいて、付帯設備におけるメッシュ状に区画された複数の領域Ｒ１〜Ｒ９の各々の変状レベルを判定する。
【００２０】
図２に示す例では、領域Ｒ１の変状レベルが「４」と判定され、領域Ｒ７，Ｒ９の変状レベルが「３」と判定され、領域Ｒ３の変状レベルが「２」と判定され、領域Ｒ８の変状レベルが「１」と判定されている。例えば、状態評価処理では、照明機器をトンネルに固定するための取付具の緩みまたは錆びなどの状態、および照明機器に生じる亀裂または破損などの状態に基づいて変状レベルが判定される。取付具は、例えば、ネジまたはボルトなどの締結具の他、取付金具などを含む。
【００２１】
次に、表示情報生成部２６は、図２に示すステップＳ４において、複数の領域の各々の変状レベルの情報を付帯設備の画像の情報に関連付けた表示情報を生成する。表示処理部２７は、表示情報生成部２６によって生成された表示情報に基づいて、表示部３に画像を表示させる。これにより、図２に示すように、付帯設備の画像に複数の領域の各々の変状レベルの情報が関連付けられた画像が表示部３に表示される。図２に示す例では、複数の領域の各々の変状レベルの情報が付帯設備である照明機器の画像に重畳表示されている。
【００２２】
このように、実施の形態１にかかる付帯設備状態評価装置１は、構造物の画像および付帯設備の画像を含む撮像画像の情報から付帯設備の画像の情報を抽出し、付帯設備の状態を判定する。そのため、点検員が付帯設備に直接触れることなく、付帯設備の点検を効率的に行うことができる。
【００２３】
また、付帯設備状態評価装置１は、付帯設備におけるメッシュ状に区画された複数の領域Ｒ１〜Ｒ９の各々の変状レベルを付帯設備の画像の情報に関連付けて表示する。そのため、付帯設備の点検員は、付帯設備のどの箇所に問題があるかなどを容易に把握することができ、これによっても、点検員は付帯設備の点検を効率的に行うことができる。
【００２４】
以下、実施の形態１にかかる付帯設備状態評価装置１の構成および動作についてさらに具体的に説明する。図３は、実施の形態１にかかる付帯設備状態評価装置の具体的構成例を示す図である。
【００２５】
図３に示すように、実施の形態１にかかる付帯設備状態評価装置１は、ネットワーク５を介して、走行型計測装置２と通信可能に接続されており、走行型計測装置２から構造物情報を取得する。かかる構造物情報には、構造物および付帯設備を撮像して得られる撮像画像の情報および撮像画像の関連情報が含まれる。ネットワーク５は、例えば、ＬＡＮ（Local  Area  Network）またはＷＡＮ（Wide  Area  Network）などのネットワークである。
【００２６】
図３に示すように、実施の形態１にかかる付帯設備状態評価装置１は、記憶部１０と、制御部２０と、通信部３０とを備える。通信部３０は、ネットワーク５に接続される。通信部３０は、ネットワーク５を介して走行型計測装置２から付帯設備状態評価装置１へ送信される情報を受信し、受信した情報を制御部２０へ出力する。また、制御部２０は、通信部３０からネットワーク５に接続された不図示の装置に表示情報を送信することができる。
【００２７】
なお、走行型計測装置２は、例えば、ＣＤ−ＲＯＭ（Compact  Disc−Read  Only  Memory）、ＤＶＤ（Digital  Versatile  Disc）、またはＵＳＢ（Universal  Serial  Bus）メモリなどの可搬型記録媒体に構造物情報を記録することもできる。付帯設備状態評価装置１は、構造物情報を記録した可搬型記録媒体から構造物情報を読み出すことによって、構造物情報を取得することもできる。
【００２８】
記憶部１０は、撮像画像情報記憶部１１と、関連情報記憶部１２と、付帯設備情報記憶部１３とを有する。撮像画像情報記憶部１１は、撮像画像情報テーブル４１を記憶する。図４は、実施の形態１にかかる撮像画像情報テーブルの一例を示す図である。
【００２９】
図４に示す撮像画像情報テーブル４１は、「構造物ＩＤ（Identifier）」、「画像ＩＤ」、「撮像時刻」、および「画像情報」を含む情報を複数含む。「構造物ＩＤ」は、構造物の識別情報である。「画像ＩＤ」は、走行型計測装置２によって得られた部分撮像画像の識別情報である。部分撮像画像の情報は、撮像画像の情報のうち一部の画像の情報である。「撮像時刻」は、部分撮像画像が走行型計測装置２によって得られた時刻である。「画像情報」は、走行型計測装置２によって得られた部分撮像画像の情報である。
【００３０】
図４に示す例では、構造物ＩＤ「Ｃ００１」の構造物の画像情報が示されている。具体的には、図４に示す例では、画像ＩＤ「Ｉ００１」の部分撮像画像の画像情報が「Ｉ００１．ｂｍｐ」であり、かかる部分撮像画像の撮像時刻が「ｔｄ１〜ｔｄ２」である。また、図４に示す例では、画像ＩＤ「Ｉ００２」の部分撮像画像の画像情報が「Ｉ００２．ｂｍｐ」であり、かかる部分撮像画像の撮像時刻が「ｔｄ２〜ｔｄ３」である。
【００３１】
また、図４に示す例では、画像ＩＤ「Ｉ００３」の部分撮像画像の画像情報が「Ｉ００３．ｂｍｐ」であり、かかる部分撮像画像の撮像時刻が「ｔｄ３〜ｔｄ４」である。また、図４に示す例では、画像ＩＤ「Ｉ００４」の部分撮像画像の画像情報が「Ｉ００４．ｂｍｐ」であり、かかる部分撮像画像の撮像時刻が「ｔｄ４〜ｔｄ５」である。
【００３２】
関連情報記憶部１２は、関連情報テーブル４２を記憶する。図５は、実施の形態１にかかる関連情報テーブルの一例を示す図である。図５に示す関連情報テーブル４２は、「構造物ＩＤ」、「撮像場所」、「撮像順序」、「時刻」、および「位置情報」を含む情報を複数含む。「構造物ＩＤ」は、構造物の識別情報である。「撮像場所」は、走行型計測装置２による撮像場所を示し、構造物の名称を示す情報である。図５に示す例では、「撮像場所」は、トンネルＡ、または道路Ｂなどである。
【００３３】
「撮像順序」は、走行型計測装置２による撮像順序を示す情報である。図５に示す例では、撮像場所「トンネルＡ」における撮像順序が東から西への順序であることを示し、撮像場所「道路Ｂ」における撮像順序が南から北への順序であることを示す。
【００３４】
「時刻」は、時刻を示す情報である。「位置情報」は、走行型計測装置２の走行位置を示す情報であり、例えば、緯度、経度、および高度を示す情報である。なお、「位置情報」は、絶対位置を示す情報に限定されず、基準位置に対する相対位置を示す情報であってもよい。図５に示す例では、時刻「ｔ１」において走行型計測装置２の走行位置は「ｘ１，ｙ１，ｚ１」であり、時刻「ｔ２」において走行型計測装置２の走行位置は「ｘ２，ｙ２，ｚ２」である。また、図５に示す例では、時刻「ｔ８」において走行型計測装置２の走行位置は「ｘ８，ｙ８，ｚ８」であり、時刻「ｔ１５」において走行型計測装置２の走行位置は「ｘ１５，ｙ１５，ｚ１５」である。
【００３５】
上述した撮像画像情報テーブル４１および関連情報テーブル４２に含まれる情報は、走行型計測装置２から付帯設備状態評価装置１へ通知される。図６は、実施の形態１にかかる走行型計測装置による構造物情報の取得方法の一例を示す図である。
【００３６】
図６に示すように、走行型計測装置２は、撮像部５１を搭載している。かかる走行型計測装置２は、トンネルである構造物６内を走行しながら撮像部５１によって走行型計測装置２の周囲を繰り返し撮像し、構造物６の内壁の画像および付帯設備７の画像を含む部分撮像画像を複数含む撮像画像の情報を生成する。撮像部５１は、例えば、ラインカメラであり、走行型計測装置２の進行方向と直交または交差する方向に沿って複数の画素が配列される。走行型計測装置２は、ラインカメラから繰り返し出力される画素の情報に基づいて、複数の部分撮像画像を含む撮像画像の情報を生成する。なお、撮像部５１は、マトリクス状に複数の画素が配列されたエリアカメラであってもよい。
【００３７】
図７は、実施の形態１にかかる走行型計測装置の走行位置と各部分撮像画像との関係を示す図である。図７に示すように、走行型計測装置２は、走行型計測装置２の走行位置と時刻とを関連付けた関連情報を生成する。
【００３８】
図７に示す例では、例えば、時刻「ｔ１」において走行型計測装置２の走行位置は「ｘ１，ｙ１，ｚ１」であり、時刻「ｔ２」において走行型計測装置２の走行位置は「ｘ２，ｙ２，ｚ２」である。また、図７に示す例では、時刻「ｔ８」において走行型計測装置２の走行位置は「ｘ８，ｙ８，ｚ８」であり、時刻「ｔ１５」において走行型計測装置２の走行位置は「ｘ１５，ｙ１５，ｚ１５」である。
【００３９】
また、図７に示す例では、時刻「ｔ２２」において走行型計測装置２の走行位置は「ｘ２２，ｙ２２，ｚ２２」であり、時刻「ｔ２９」において走行型計測装置２の走行位置は「ｘ２９，ｙ２９，ｚ２９」である。なお、図７に示す撮像画像には、付帯設備７の画像として、付帯設備７１，７２，７３，７４の画像が含まれており、各付帯設備７１，７２，７３，７４は、互いに異なる部分撮像画像に含まれている。
【００４０】
付帯設備情報記憶部１３は、付帯設備情報テーブル４３を記憶する。図８は、実施の形態１にかかる付帯設備情報テーブルの一例を示す図である。図８に示す付帯設備情報テーブル４３は、「構造物ＩＤ」、「付帯設備ＩＤ」、「設備種別」、「位置情報」、「画像情報」、「変状レベル」、「総合評価値」、および「変状割合」を含む情報を複数含む。
【００４１】
「構造物ＩＤ」は、構造物６の識別情報である。「付帯設備ＩＤ」は、付帯設備７の識別情報である。「設備種別」は、付帯設備７の種別を示す情報であり、例えば、照明機器、送風機、または看板などである。「位置情報」は、付帯設備７の位置を示す情報である。「画像情報」は、付帯設備７の画像の情報である。
【００４２】
「変状レベル」は、付帯設備７におけるメッシュ状に区画された複数の領域の各々の変状レベルを示す情報である。図８に示す例では、付帯設備７におけるメッシュ状に区画された複数の領域は、領域Ｒ１，Ｒ２，・・・，Ｒｍである。ｍは３以上の整数であり、本実施の形態では、ｍ＝９であるものとして説明する。以下、領域Ｒ１，Ｒ２，・・・，Ｒｍの各々を区別せずに示す場合、領域Ｒと記載する場合がある。
【００４３】
「総合評価値」は、付帯設備７単位の変状度合いを示す情報である。「変状割合」は、付帯設備７全体に対する変状が占める割合を示す情報である。かかる総合評価値および変状割合は、領域Ｒ１，Ｒ２，・・・，Ｒｍの変状レベルに基づいて制御部２０によって演算される。
【００４４】
図８に示す例では、構造物ＩＤ「Ｃ００１」の構造物６の付帯設備７に関する情報が示されている。具体的には、図８に示す例では、付帯設備ＩＤ「Ｆ００１」の付帯設備７は、設備種別が「照明機器」であり、位置情報が「ｘｆ１，ｙｆ１，ｚｆ１」であり、画像情報が「Ｆ００１．ｂｍｐ」であり、領域Ｒ１，Ｒ２，・・・，Ｒｍの変状レベルが「４，０，・・・，３」である。また、付帯設備ＩＤ「Ｆ００２」の付帯設備７は、設備種別が「照明機器」であり、位置情報が「ｘｆ２，ｙｆ２，ｚｆ２」であり、画像情報が「Ｆ００２．ｂｍｐ」であり、領域Ｒ１，Ｒ２，・・・，Ｒｍの変状レベルが「２，０，・・・，２」である。
【００４５】
また、図８に示す例では、付帯設備ＩＤ「Ｆ００１」の付帯設備７は、総合評価値が「４」であり、変状割合が「０．３３」であり、付帯設備ＩＤ「Ｆ００２」の付帯設備７は、総合評価値が「２」であり、変状割合が「０．１１」である。
【００４６】
図３に戻って制御部２０について説明する。付帯設備状態評価装置１の制御部２０は、入力受付部２１と、情報取得部２２と、付帯設備画像抽出部２３と、位置特定部２４と、状態評価部２５と、表示情報生成部２６と、表示処理部２７とを備える。
【００４７】
入力受付部２１は、入力部４へ入力されるユーザ操作を受け付ける。入力部４は例えばマウスまたはキーボードである。ユーザ操作には、ユーザによる入力部４へ入力される操作であり、例えば、マウスの移動操作、およびマウスへのクリック操作などが含まれる。また、入力部４は、表示部３上に配置されるタッチパネルであってもよい。以下、入力部４へ入力されるユーザ操作を単にユーザ操作と記載する場合がある。
【００４８】
情報取得部２２は、走行型計測装置２から撮像画像情報をネットワーク５および通信部３０を介して取得し、取得した撮像画像情報を撮像画像情報記憶部１１に追加する。また、情報取得部２２は、走行型計測装置２から関連情報をネットワーク５および通信部３０を介して取得し、取得した関連情報を関連情報記憶部１２に記憶する。なお、情報取得部２２は、撮像画像情報および関連情報を含む構造物情報を記録した可搬型記録媒体から構造物情報を読み出すことによって、撮像画像情報および関連情報を取得することもできる。なお、撮像画像情報と関連情報とは異なる可搬型記録媒体に記録されていてもよい。
【００４９】
また、情報取得部２２は、入力受付部２１によって受け付けられたユーザ操作が付帯設備状態情報の表示要求である場合、記憶部１０から撮像画像情報および関連情報画像を取得する。情報取得部２２は、記憶部１０から取得した撮像画像情報および撮像画像情報を付帯設備画像抽出部２３および位置特定部２４に通知する。
【００５０】
付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像情報に含まれる撮像画像の情報から複数の付帯設備７の画像の情報を抽出する。付帯設備画像抽出部２３は、例えば、事前の機械学習処理によって付帯設備７の画像を検出対象物として入力して生成した学習済みモデルを有する。付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報を学習済みモデルに入力することで、付帯設備７が写っている範囲の画像の情報を抽出する。
【００５１】
付帯設備画像抽出部２３は、例えば、付帯設備７の種別毎に学習済みモデルを有している。かかる付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報を各学習済みモデルに入力し、出力されるスコアが閾値以上且つ最もスコアが高い学習済みモデルに対応する種別の付帯設備７が撮像画像に含まれると判定することができる。
【００５２】
なお、付帯設備画像抽出部２３は、学習済みモデルに代えて、パターンマッチング処理によって付帯設備７の画像を抽出することもできる。例えば、付帯設備画像抽出部２３は、付帯設備７の種別に基準画像の情報を有し、情報取得部２２によって取得された撮像画像の情報に基準画像との類似度が閾値以上である画像の情報が含まれているか否かを判定する。付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報に基準画像との類似度が閾値以上である画像の情報が含まれると判定すると、基準画像との類似度が閾値以上である画像の情報を付帯設備７の画像として抽出する。
【００５３】
位置特定部２４は、付帯設備画像抽出部２３によって画像の情報が抽出された付帯設備７の位置を特定する。例えば、位置特定部２４は、付帯設備画像抽出部２３によって付帯設備７の画像の情報が抽出された撮像画像の情報とかかる撮像画像の関連情報とに基づいて、付帯設備７の位置を特定することができる。
【００５４】
位置特定部２４は、第１位置特定処理および第２位置特定処理のうちユーザ操作によって特定された位置特定処理を実行することによって、付帯設備７の位置を特定することができる。第１位置特定処理は、走行型計測装置２の撮像部５１による撮像順序に従って各付帯設備７に識別情報を各付帯設備７の位置を示す情報として割り当てる処理である。
【００５５】
まず、第１位置特定処理について説明する。第１位置特定処理は、付帯設備画像抽出部２３によって付帯設備７の画像の情報に関連付けられた時刻の情報に基づいて、付帯設備７の位置を特定する処理である。
【００５６】
位置特定部２４は、第１位置特定処理において、付帯設備画像抽出部２３によって付帯設備７の画像の情報に関連付けられた時刻の正順または逆順に連続する複数の付帯設備ＩＤを構造物６に付帯する複数の付帯設備７に割り当てる。時刻の正順に連続する複数の付帯設備ＩＤとは、例えば、時刻が新しいほど含まれる番号が増加するように割り当てられる複数の付帯設備ＩＤである。また、時刻の逆順に連続する複数の付帯設備ＩＤとは、例えば、時刻が新しいほど含まれる番号が減少するように割り当てられる複数の付帯設備ＩＤである。
【００５７】
ここで、撮像画像情報テーブル４１が図４に示す状態であり、撮像画像の情報が図７に示す状態であり、付帯設備７の画像の情報に関連付けられた時刻の正順に連続する複数の付帯設備ＩＤが構造物６に付帯する複数の付帯設備７に割り当てるとする。この場合、位置特定部２４は、付帯設備７１の画像の情報には付帯設備ＩＤ「Ｆ００１」を割り当て、付帯設備７２の画像の情報には付帯設備ＩＤ「Ｆ００２」を割り当てられる。また、位置特定部２４は、付帯設備７３の画像の情報には付帯設備ＩＤ「Ｆ００３」を割り当て、付帯設備７４の画像の情報には付帯設備ＩＤ「Ｆ００４」を割り当てる。
【００５８】
位置特定部２４は、一つの部分撮像画像の情報に複数の付帯設備７が含まれる場合、かかる部分撮像画像のうち図７に示すＸｄＹｄ座標系におけるＸｄ座標位置の昇順に連続する複数の付帯設備ＩＤを構造物６に付帯する複数の付帯設備７に割り当てることができる。例えば、画像ＩＤ「Ｉ００４」の部分撮像画像に２つの付帯設備７の画像の情報が含まれているとする。この場合、位置特定部２４は、２つの付帯設備７の画像のうちＸｄ軸負方向寄りの付帯設備７の画像に付帯設備ＩＤ「Ｉ００４」を割り当て、２つの付帯設備７の画像のうちＸｄ軸正方向寄りの付帯設備７の画像に付帯設備ＩＤ「Ｉ００５」を割り当てる。
【００５９】
また、撮像画像情報テーブル４１が図４に示す状態であり、撮像画像の情報が図７に示す状態であり、付帯設備７の画像の情報に関連付けられた時刻の逆順に連続する複数の付帯設備ＩＤが構造物６に付帯する複数の付帯設備７に割り当てられるとする。この場合、位置特定部２４は、付帯設備７４の画像の情報には付帯設備ＩＤ「Ｆ００１」を割り当て、付帯設備７３の画像の情報には付帯設備ＩＤ「Ｆ００２」を割り当てる。また、位置特定部２４は、付帯設備７２の画像の情報には付帯設備ＩＤ「Ｆ００３」を割り当て、付帯設備７１の画像の情報には付帯設備ＩＤ「Ｆ００４」を割り当てる。
【００６０】
位置特定部２４は、一つの部分撮像画像の情報に複数の付帯設備７が含まれる場合、例えば、かかる部分撮像画像のうち図７に示すＸｄＹｄ座標系におけるＸｄ座標位置の降順に連続する複数の付帯設備ＩＤを構造物６に付帯する複数の付帯設備７に割り当てる。例えば、画像ＩＤ「Ｉ００１」の部分撮像画像に２つの付帯設備７の画像の情報が含まれているとする。この場合、位置特定部２４は、２つの付帯設備７の画像のうちＸｄ軸正方向寄りの付帯設備７の画像に付帯設備ＩＤ「Ｉ００４」を割り当て、２つの付帯設備７の画像のうちＸｄ軸負方向寄りの付帯設備７の画像に付帯設備ＩＤ「Ｉ００５」を割り当てる。
【００６１】
なお、位置特定部２４は、部分撮像画像の取得時刻の情報に代えて、部分撮像画像のファイル名に含まれる連番情報などに基づいて、付帯設備７の画像の情報に付帯設備ＩＤを割り当てることもできる。例えば、図４に示す撮像画像情報テーブル４１では、複数の部分撮像画像のファイル名には、連番情報として、「００１」，「００２」，「００３」，「００４」が含まれている。位置特定部２４は、かかる連番情報の昇順または降順に連続する複数の付帯設備ＩＤを複数の付帯設備７に割り当てることができる。
【００６２】
次に、第２位置特定処理について説明する。第２位置特定処理は、走行型計測装置２の走行位置および走行時刻と、付帯設備画像抽出部２３によって付帯設備７の画像の情報が抽出された撮像画像の撮像時刻とに基づいて、付帯設備７の位置を特定する処理である。
【００６３】
位置特定部２４は、付帯設備画像抽出部２３によって付帯設備７の画像の情報が抽出された撮像画像の撮像時刻の情報を撮像画像情報記憶部１１から取得する。また、位置特定部２４は、撮像画像情報記憶部１１から取得した撮像時刻の情報に対応する走行型計測装置２の走行位置の情報を関連情報記憶部１２から取得する。位置特定部２４は、取得した走行型計測装置２の走行位置の情報に基づいて、付帯設備７の画像の位置を判定する。
【００６４】
例えば、撮像画像情報テーブル４１が図４に示す状態であり、関連情報テーブル４２が図５に示す状態であるとする。また、走行型計測装置２の走行位置と各部分撮像画像との関係が図７に示す状態であり、位置特定部２４が位置を特定する対象が付帯設備７１であるとする。この場合、付帯設備画像抽出部２３によって付帯設備７１の画像の情報が抽出された部分撮像画像の撮像時刻は、時刻ｔｄ１〜ｔｄ２の範囲である。また、時刻ｔｄ１〜ｔｄ２の範囲における走行型計測装置２の走行位置は、「ｘ１，ｙ１，ｚ１」〜「ｘ８，ｙ８，ｚ８」の範囲である。
【００６５】
位置特定部２４は、画像ＩＤ「Ｉ００１」の部分撮像画像のうち付帯設備画像抽出部２３によって画像の情報が抽出された付帯設備７１の範囲に基づいて、「ｘ１，ｙ１，ｚ１」〜「ｘ８，ｙ８，ｚ８」の範囲のうち付帯設備７１に対応する範囲を付帯設備７１の位置として演算する。位置特定部２４は、演算した付帯設備７１の位置の情報を付帯設備７１の画像の情報に関連付けて付帯設備情報記憶部１３の付帯設備情報テーブル４３に追加する。
【００６６】
また、位置特定部２４は、画像ＩＤ「Ｉ００１」の部分撮像画像のうち付帯設備画像抽出部２３によって画像の情報が抽出された付帯設備７１の中心位置に基づいて、「ｘ１，ｙ１，ｚ１」〜「ｘ８，ｙ８，ｚ８」の範囲のうち付帯設備７１の中心位置に対応する位置を付帯設備７１の位置として演算することもできる。
【００６７】
この場合、位置特定部２４は、時刻ｔｄ１〜ｔｄ２のうち付帯設備７１の中心位置に対応する時刻を中心位置時刻として判定する。位置特定部２４は、時刻ｔ１〜ｔ８のうち中心位置時刻に最も近い時刻に関連付けられた走行位置を付帯設備７１の位置として判定することができる。また、位置特定部２４は、時刻ｔ１〜ｔ８のうち中心位置時刻に近い２つの時刻に関連付けられた２つの走行位置を比例配分により線形補間することで中心位置時刻に対応する走行位置を付帯設備７１の位置として判定することができる。
【００６８】
また、図４に示す例では、撮像画像情報テーブル４１において、部分撮像画像の撮像時刻は、時刻の範囲を示しているが、部分撮像画像の撮像時刻は、一つの時刻であってもよい。この場合、位置特定部２４は、２つの部分撮像画像の撮像時刻を比例配分により線形補間することで、付帯設備７１の画像が撮像された時刻の範囲を特定する。位置特定部２４は、特定した時刻の範囲のうち最も古い時刻に最も近い時刻に関連付けられた走行位置と特定した時刻の範囲のうち最も新しい時刻に最も近い時刻に関連付けられた走行位置とにより特定される範囲を付帯設備７１の位置を判定することができる。
【００６９】
例えば、図４において、画像ＩＤ「Ｉ００１」の撮像時刻は「ｔｄ１」であり、画像ＩＤ「Ｉ００２」の撮像時刻は「ｔｄ２」であるとする。この場合、位置特定部２４は、時刻ｔｄ１〜ｔｄ２の範囲を比例配分により線形補間した時刻のうち付帯設備７１の画像の範囲に対応する走行位置を付帯設備７１の位置として特定することができる。なお、位置特定部２４は、２つの部分撮像画像の撮像時刻を比例配分により線形補間することで、中心位置時刻を特定し、かかる中心位置時刻に最も近い時刻に関連付けられた走行位置を付帯設備７１の位置として判定することもできる。
【００７０】
また、付帯設備状態評価装置１は、部分撮像画像の各画素に３次元位置を関連付けて記憶部１０に記憶することもできる。この場合、記憶部１０には、部分撮像画像の各画素に関連付けられた３次元位置に基づいて、付帯設備７の３次元位置を付帯設備７の位置として判定することができる。
【００７１】
部分撮像画像の各画素への３次元位置の関連付けは、例えば、走行型計測装置２によって行うことができる。例えば、走行型計測装置２は、不図示のレーザスキャナ装置を有し、構造物６内を走行しながらレーザスキャナ装置によって走行型計測装置２の周囲を計測し、かかる計測結果に基づいて構造物６の３次元点群と付帯設備７の３次元点群を含む３次元点群の情報を生成する。かかる３次元点群の情報には、各３次元点の３次元座標の情報が含まれる。走行型計測装置２は、例えば、各３次元点を計測した位置と部分撮像画像を撮像した位置とから、部分撮像画像の各画素への３次元位置の関連付けを行うことができる。
【００７２】
このように、位置特定部２４は、各付帯設備７の位置を判定することができ、判定した付帯設備７の位置の情報を付帯設備７の画像の情報に関連付けて付帯設備情報記憶部１３の付帯設備情報テーブル４３に追加することができる。
【００７３】
状態評価部２５は、付帯設備画像抽出部２３によって抽出された付帯設備７の画像の情報に基づいて、付帯設備７におけるメッシュ状に区画された複数の領域Ｒの各々の変状レベルを判定する。状態評価部２５は、分割部３１と、領域変状レベル判定部３２と、総合評価部３３とを備える。
【００７４】
状態評価部２５は、付帯設備７の画像を複数の領域Ｒに分割した後に各領域Ｒの変状レベルを判定する第１判定モードと、付帯設備７の異常箇所を判定した後に各領域Ｒの変状レベルを判定する第２判定モードとを有する。以下、第１判定モードおよび第２判定モードについて具体的に説明する。なお、状態評価部２５が実行する判定モードは、ユーザ操作または外部からの設定要求に基づいて、第１判定モードおよび第２判定モードのいずれかに設定される。
【００７５】
まず、第１判定モードについて説明する。状態評価部２５の分割部３１は、判定モードが第１判定モードに設定されている場合、付帯設備画像抽出部２３で抽出された付帯設備７の画像の情報に基づいて、付帯設備７の画像を複数の領域Ｒに分割する。図９は、実施の形態１にかかる複数の領域へ分割した付帯設備の画像の一例を示す図である。図９に示す例では、付帯設備７の画像が９個の領域Ｒ１〜Ｒ９にメッシュ状に分割されている。なお、領域Ｒの数は、９個に限定されず、８個以下であってもよく、１０個以上であってもよい。また、図９に示す例では、各領域Ｒは互いに同じ大きさおよび形状であるが、かかる例に限定されない。
【００７６】
状態評価部２５の領域変状レベル判定部３２は、分割部３１によって分割された領域Ｒの画像の情報に基づいて、領域Ｒの変状レベルを判定する。領域変状レベル判定部３２は、異常判定部３４と、レベル判定部３５とを備える。
【００７７】
異常判定部３４は、分割部３１によって分割された各領域Ｒの画像の情報を評価モデルに入力して、各領域Ｒに異常があるか否かを判定する。例えば、領域変状レベル判定部３２は、評価モデルから出力されるスコアが閾値以上である場合に、領域Ｒに異常があると判定し、評価モデルから出力されるスコアが閾値未満である場合に、領域Ｒに異常がないと判定することができる。
【００７８】
評価モデルは、機械学習によって生成された学習済みモデルである。かかる評価モデルは、例えば、付帯設備７の取り付け状態または付帯設備７自体の状態が異常であることを示す画像を用いて機械学習によって生成される。例えば、評価モデルは、付帯設備７を構造物６に取り付ける取付具が緩んだ状態の画像、取付具が錆びた状態の画像、または亀裂が入った状態の付帯設備７の画像などを異常ありの画像として機械学習によって生成される。なお、取付具が緩んだ状態は、例えば、ネジまたはボルトなどの締結具の位置合わせマークまたは位置合わせラインと締結具が取り付けられる部材の位置合わせマークまたは位置合わせラインとがずれている状態である。
【００７９】
なお、評価モデルは、付帯設備７の種別毎の評価モデルであってもよく、変状種別毎の評価モデルであってもよく、付帯設備７の種別毎且つ変状種別毎の評価モデルであってもよい。これにより、異常判定部３４は、付帯設備７の種別または変状種別などを特定することができる。変状種別には、例えば、取付具が緩んだ状態、取付具が錆びた状態、および付帯設備７に亀裂が入った状態などの種別が含まれる。また、評価モデルは、領域Ｒ毎の評価モデルであってもよく、付帯設備７の種別毎且つ領域Ｒ毎の評価モデルであってもよく、付帯設備７の種別毎、変状種別毎、且つ領域Ｒ毎の評価モデルであってもよい。
【００８０】
レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの画像の特徴量を分析して、異常判定部３４によって異常であると判定された領域Ｒの変状レベルを判定する。
【００８１】
レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの画像の情報から得られる領域Ｒの画像の特徴量に基づいて、変状レベルを算出する。例えば、レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの画像におけるＲＧＢ相関値、ＲＧＢ分散値、輝度相関値、輝度分散値、およびエッジ成分値の一つまたは二つ以上の組み合わせに基づいて、変状レベルを算出することができる。
【００８２】
変状レベルは、変状がない正常な状態を０とし、変状度合いが高いほど値が大きくなる正の整数であるが、変状がない正常な状態を正の整数とし、変状度合いが高いほど値が０に近づくものであってもよい。また、変状レベルは、変状の度合いが把握できる値であればよく、例えば、変状がない正常な状態を０とし、変状度合いが高いほど値が小さく大きくなる負の整数であってもよい。なお、変状度合いが高いほど、変状レベルが高くなる。
【００８３】
また、レベル判定部３５は、異常判定部３４によって付帯設備７の種別が特定される場合、付帯設備７の種別毎に異なる基準で変状レベルを判定することができる。また、レベル判定部３５は、異常判定部３４によって変状種別が特定される場合、変状種別毎に異なる基準で変状レベルを判定することができる。
【００８４】
また、レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの画像を、機械学習によって生成された評価モデルに入力することで、かかる領域Ｒの変状レベルを判定することもできる。かかる評価モデルは、例えば、付帯設備７の取り付け状態または付帯設備７自体の状態が異常であることを示す画像を用いて変状種別毎に機械学習によって生成される。
【００８５】
レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの画像の情報を変状種別毎の評価モデルに入力する。レベル判定部３５は、変状種別毎の評価モデルから出力されるスコアに基づいて、異常判定部３４によって異常であると判定された領域Ｒの変状レベルを判定する。
【００８６】
例えば、レベル判定部３５は、変状種別毎の評価モデルから出力されるスコアに基づいて、変状種別毎の変状レベルを判定する。レベル判定部３５は、スコアが高いほど変状レベルを高くする。レベル判定部３５は、判定した変状種別毎の変状レベルのうち最も高い変状レベルを、領域Ｒの変状レベルとして判定することができる。
【００８７】
なお、異常判定部３４によって異常であると判定された領域Ｒの変状種別が異常判定部３４で特定される場合、レベル判定部３５は、異常判定部３４から通知される変状種別の評価モデルを用いて領域Ｒの変状レベルを判定することができる。
【００８８】
また、レベル判定部３５は、変状種別毎且つ変状レベル毎の評価モデルを用いて、領域Ｒの変状レベルを判定することもできる。評価モデルは、異常判定部３４によって用いられる評価モデルと同じであってもよく、レベル判定部３５は、評価モデルから出力されるスコアが高いほど変状レベルを高くする。
【００８９】
次に、状態評価部２５の第２判定モードについて説明する。状態評価部２５の異常判定部３４は、判定モードが第２判定モードに設定されている場合、付帯設備画像抽出部２３で抽出された付帯設備７の画像の情報を評価モデルに入力して、付帯設備７の異常箇所を判定する。
【００９０】
第２判定モードで用いられる評価モデルは、付帯設備７の画像のうち異常箇所と正常箇所を区分けする評価モデルである。かかる評価モデルは、例えば、異常が発生する箇所毎の評価モデルを含む。異常が発生する箇所毎の評価モデルは、対応する箇所に異常が発生した状態の画像を用いて機械学習によって生成される。
【００９１】
図１０は、実施の形態１にかかる異常判定部によって判定される異常箇所を含む付帯設備の画像の一例を示す図である。図１０に示す例では、異常判定部３４によって付帯設備７の画像のうち４箇所が異常箇所として判定されていることを示している。
【００９２】
図３に示すレベル判定部３５は、異常判定部３４によって判定された異常箇所を含む領域Ｒの画像の特徴量を分析して、異常判定部３４によって判定された異常箇所を含む領域Ｒの変状レベルを判定する。例えば、レベル判定部３５は、異常判定部３４によって判定された異常箇所を含む領域Ｒの画像におけるＲＧＢ相関値、ＲＧＢ分散値、輝度相関値、輝度分散値、およびエッジ成分値の一つまたは二つ以上の組み合わせに基づいて、領域Ｒの変状レベルを算出することができる。
【００９３】
領域Ｒは、第１モードで分割される領域Ｒと同じである。図１１は、実施の形態１にかかる異常判定部によって判定される異常箇所とレベル判定部で用いられる複数の領域との関係の一例を示す図である。図１１に示す例では、領域Ｒ１，Ｒ３，Ｒ８，Ｒ９に異常判定部３４によって判定された異常箇所が含まれる。この場合、レベル判定部３５は、各領域Ｒ１，Ｒ３，Ｒ８，Ｒ９の画像の特徴量を分析して、各領域Ｒ１，Ｒ３，Ｒ８，Ｒ９の変状レベルを判定する。
【００９４】
なお、レベル判定部３５は、異常判定部３４によって判定された異常箇所を含む領域Ｒの画像を、機械学習によって生成された評価モデルに入力して、かかる領域Ｒの変状レベルを判定することもできる。かかる評価モデルは、第１モードで用いられる評価モデルと同じであってもよく、異なっていてもよい。
【００９５】
上述した評価モデルおよび学習済みモデルとして、例えば、ニューラルネットワークを用いることができる。ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Convolution  Neural  Network）、または再帰型ニューラルネットワーク（ＲＮＮ：Recurrent  Neural  Network）などを含む。
【００９６】
レベル判定部３５は、撮像画像に同一種別の付帯設備７の画像が複数含まれている場合に、複数の領域Ｒ１〜Ｒ９の各々について変状レベルの平均値を演算することができる。付帯設備７の種別は、例えば、照明機器、送風機、または看板などであるが、付帯設備７の型式などであってもよい。
【００９７】
状態評価部２５の総合評価部３３は、領域変状レベル判定部３２によって判定された複数の領域Ｒの変状レベルに基づいて、付帯設備７単位の変状度合いを判定する。総合評価部３３は、判定した付帯設備７単位の変状度合いを付帯設備７の画像の情報に関連付けて付帯設備情報記憶部１３の付帯設備情報テーブル４３に追加することができる。
【００９８】
総合評価部３３は、領域変状レベル判定部３２によって判定された複数の領域Ｒの変状レベルのうち最も高い変状レベルを付帯設備７の変状度合いにすることができる。例えば、図２に示すように、領域Ｒ１の変状レベルが「４」であり、領域Ｒ３の変状レベルが「２」であり、領域Ｒ７の変状レベルが「３」であり、領域Ｒ８の変状レベルが「１」であり、領域Ｒ９の変状レベルが「３」であるとする。また、異常がない領域Ｒの変状レベルは「０」であるとする。この場合、総合評価部３３は、付帯設備７の変状度合いを「４」にする。
【００９９】
また、総合評価部３３は、領域変状レベル判定部３２によって判定された複数の領域Ｒの変状レベルのうち閾値レベル以上の領域Ｒを判定する。そして、総合評価部３３は、付帯設備７の画像のうち閾値レベル以上の領域Ｒが占める割合に基づいて、付帯設備７の変状度合いを判定することができる。
【０１００】
例えば、各領域Ｒの変状レベルが図２に示す状態であり、閾値レベルが「３」であるとする。また、異常がない領域Ｒの変状レベルは０であるとする。この場合、変状レベルが閾値レベル以上である領域Ｒは、領域Ｒ１，Ｒ７，Ｒ９である。したがって、総合評価部３３は、付帯設備７の変状度合いを「０．３３」にする。このように、総合評価部３３は、付帯設備７の変状度合いを５段階の変状レベルとは異なる評価値として得ることができる。
【０１０１】
また、総合評価部３３は、領域変状レベル判定部３２によって判定された複数の領域Ｒの変状レベルを合算した値を変状レベルの最大値を合算した値で除算して得られる値を付帯設備７の変状度合いにすることもできる。例えば、各領域Ｒの変状レベルが図２に示す状態であるとする。また、異常がない領域Ｒの変状レベルは０であるとする。この場合、総合評価部３３は、付帯設備７の変状度合いを１２／４５にする。なお、分母は、各領域Ｒの変状レベルの最大値である「５」を合算した値である。このように、総合評価部３３は、付帯設備７の変状度合いを５段階の変状レベルとは異なる評価値として得ることができる。
【０１０２】
総合評価部３３は、付帯設備７の変状度合いを総合評価値または変状割合などとして表すことができる。例えば、総合評価部３３は、複数の領域Ｒの変状レベルのうち最も高い変状レベルを総合評価値とし、付帯設備７の画像のうち閾値レベル以上の領域Ｒが占める割合または複数の領域Ｒの変状レベルを合算した値を最大値で除算した値を付帯設備７の変状割合とすることもできる。変状割合は、付帯設備７の画像のうち変状が占める割合である。
【０１０３】
表示情報生成部２６は、付帯設備情報記憶部１３に記憶された付帯設備情報テーブル４３の情報に基づいて、表示情報を生成する。例えば、表示情報生成部２６は、各領域Ｒの変状レベルの情報、総合評価レベルの情報、付帯設備７の変状度合いの情報を付帯設備７の画像の情報に関連付けた表示情報を生成することができる。また、表示情報生成部２６は、各領域Ｒの変状レベルの情報に加え位置特定部２４によって判定された付帯設備７の位置を示す情報を付帯設備７の画像の情報に関連付けた表示情報を生成することができる。表示情報生成部２６は、生成した表示情報を制御部２０からネットワーク５に接続された装置へ送信することもできる。
【０１０４】
表示処理部２７は、表示情報生成部２６によって生成された表示情報に基づいて、表示部３に画像を表示する。図１２は、実施の形態１にかかる表示情報に基づいて表示処理部によって表示部に表示される表示画像の一例を示す図である。
【０１０５】
図１２に示す表示画像８０には、構造物６の名称を表示する表示領域８１と、走行型計測装置２による計測方向を表示する表示領域８２と、撮像面を表示する表示領域８３と、表示対象にする付帯設備７の名称を表示する表示領域８４とが含まれる。撮像面は、構造物６のうち撮像部５１によって撮像される領域である。
【０１０６】
図１２に示す例では、構造物６の名称として表示領域８１に「トンネルＡ」の文字が表示され、走行型計測装置２の計測方向として表示領域８２に「東→西」の文字が表示されている。また、図１２に示す例では、表示領域８３に「左側面」の文字が表示され、表示領域８４に「照明機器」の文字が表示されている。
【０１０７】
図１２に示す表示画像８０は、複数の撮像面の中から一つの撮像面を選択するためのリストボックスを表示させるボタン８５と、複数種類の付帯設備７の中から表示させる付帯設備７の種別を選択するためのリストボックスを表示させるボタン８６を含む。付帯設備状態評価装置１のユーザは、ボタン８５へのユーザ操作によって撮像面を選択したり、ボタン８６へのユーザ操作によって表示させる付帯設備７の種別を選択したりすることができる。制御部２０は、ユーザ操作によって選択された撮像面の撮像画像の情報から、ユーザ操作によって選択された種別の付帯設備７の画像の情報を抽出し、抽出した付帯設備７の画像の情報に基づいて、上述した処理によって付帯設備７の変状状態を評価することができる。
【０１０８】
図６に示す走行型計測装置２では、複数の撮像面のうち左側面を撮像する撮像部５１のみ図示しているが、走行型計測装置２には、構造物６の上面を撮像する不図示の撮像部と構造物６の右側面を撮像する不図示の撮像部とが搭載される。付帯設備状態評価装置１の制御部２０は、撮像部５１の撮像画像と同様に、上面を撮像する不図示の撮像部の撮像画像および右側面を撮像する不図示の撮像部の撮像画像を処理して、領域Ｒの変状レベルの判定および付帯設備７の変状度合いの判定などを行うことができる。
【０１０９】
図１２に示す表示画像８０には、付帯設備７の付帯設備状態情報を示す付帯設備状態情報表示領域８７が含まれる。付帯設備状態情報表示領域８７には、付帯設備７の付帯設備ＩＤ、付帯設備７の位置を示す情報、付帯設備７の変状の総合評価値を示す情報、付帯設備７の画像に対する変状が占める割合を示す情報、および付帯設備７の画像を示す情報が付帯設備７毎に含まれる。
【０１１０】
例えば、図１２に示す付帯設備ＩＤ「Ｉ００１」の付帯設備７は、位置が「ｘ４，ｙ４，ｚ４」であり、変状の総合評価値が「４」であり、変状が占める割合が「０．３３」である。また、図１２に示す付帯設備ＩＤ「Ｉ００２」の付帯設備７は、位置が「ｘ１１，ｙ１１，ｚ１１」であり、変状の総合評価値が「２」であり、変状が占める割合が「０．１１」である。これにより、付帯設備状態評価装置１のユーザは、構造物６のどの位置にある付帯設備７がどの程度の変状状態であるかを容易に把握することができる。また、図１２に示す例では、付帯設備７の配列順で付帯設備ＩＤが連番で割り当てられており、これによっても構造物６のどの位置にある付帯設備７がどの程度の変状状態であるかを把握することができる。
【０１１１】
また、付帯設備７の画像には、付帯設備７の画像を９個の領域Ｒに区画するための線と、９個の分割された領域Ｒのうち変状があると判定された領域Ｒに変状レベルが示される。これにより、付帯設備状態評価装置１のユーザは、例えば、付帯設備７のどの領域Ｒに変状が生じているか、およびどの領域Ｒが故障しやすいかなどを容易に把握することができる。
【０１１２】
なお、図１２に示す付帯設備７の画像では、各領域Ｒの変状レベルを文字で示しているが、表示情報生成部２６は、各領域Ｒの変状レベルを、色または記号などで示すこともできる。例えば、表示情報生成部２６は、各領域Ｒの変状レベルを領域Ｒの画像の濃度または領域Ｒの画像の色で表す表示情報を生成することができる。具体的には、表示情報生成部２６は、変状レベルが低い領域Ｒほど元の画像よりも濃くなるように表示情報を生成することができる。これによっても、付帯設備７のどの領域Ｒに変状が生じているか、およびどの領域Ｒが故障しやすいかなどを容易に把握することができる。
【０１１３】
また、表示情報生成部２６は、変状レベルが低い領域Ｒほど元の画像よりも薄くなるように表示情報を生成したり、各領域Ｒの変状レベルを色と文字で表す表示情報を生成したりすることができる。これによっても、付帯設備７のどの領域Ｒに変状が生じているか、およびどの領域Ｒが故障しやすいかなどを容易に把握することができる。
【０１１４】
また、表示情報生成部２６は、レベル判定部３５によって判定された各領域Ｒの変状レベルの平均値を示す文字、色または記号の情報を含む表示情報を生成することができる。表示処理部２７は、各領域Ｒの変状レベルの平均値を示す文字、色または記号の情報を表示部３に表示することができる。これにより付帯設備状態評価装置１のユーザは、付帯設備７の種別毎に、どの領域Ｒに変状が生じやすいかなどを容易に把握することができる。
【０１１５】
つづいて、付帯設備状態評価装置１の動作を、フローチャートを用いて説明する。図１３は、実施の形態１にかかる付帯設備状態評価装置の制御部の処理の一例を示すフローチャートである。かかる処理は、例えば、ユーザ操作が付帯設備状態情報の表示要求である場合に開始される。
【０１１６】
図１３に示すように、付帯設備状態評価装置１の制御部２０は、記憶部１０から撮像画像の情報を取得し（ステップＳ１０）、取得した撮像画像の情報から付帯設備７の画像の情報を抽出する（ステップＳ１１）。また、制御部２０は、記憶部１０から撮像画像の情報および関連情報を取得し、取得した撮像画像の情報および関連情報に基づいて、付帯設備７の位置を判定する（ステップＳ１２）。
【０１１７】
次に、制御部２０は、第１判定モードに設定されているか否かを判定する（ステップＳ１３）。制御部２０は、第１判定モードに設定されていると判定した場合（ステップＳ１３：Ｙｅｓ）、付帯設備７の画像を複数の領域Ｒに分割し（ステップＳ１４）、各領域Ｒが異常であるか否かを判定する（ステップＳ１５）。そして、制御部２０は、異常である領域Ｒの変状レベルを判定する（ステップＳ１６）。
【０１１８】
制御部２０は、第１判定モードに設定されていないと判定した場合（ステップＳ１３：Ｎｏ）、すなわち、第２判定モードに設定されていると判定した場合、付帯設備７の画像の異常箇所を判定し（ステップＳ１７）、かかる異常箇所を含む領域Ｒの変状レベルを判定する（ステップＳ１８）。
【０１１９】
制御部２０は、ステップＳ１６の処理が終了した場合、またはステップＳ１８の処理が終了した場合、付帯設備７の変状度合いを判定する（ステップＳ１９）。制御部２０は、付帯設備状態情報を含む表示情報を生成し（ステップＳ２０）、かかる表示情報に基づいて、付帯設備状態情報を表示部３に表示して（ステップＳ２１）、図１３に示す処理を終了する。
【０１２０】
図１４は、実施の形態１にかかる付帯設備状態評価装置のハードウェア構成の一例を示す図である。図１４に示すように、付帯設備状態評価装置１は、プロセッサ１０１と、メモリ１０２と、入出力回路１０３と、通信装置１０４とを備えるコンピュータを含む。
【０１２１】
プロセッサ１０１、メモリ１０２、入出力回路１０３、および通信装置１０４は、例えば、バス１０５によって互いにデータの送受信が可能である。通信部３０は、通信装置１０４で実現される。記憶部１０は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、入力受付部２１、情報取得部２２、付帯設備画像抽出部２３、位置特定部２４、状態評価部２５、表示情報生成部２６、および表示処理部２７の機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central  Processing  Unit）、ＤＳＰ（Digital  Signal  Processer）、およびシステムＬＳＩ（Large  Scale  Integration）のうち一つ以上を含む。
【０１２２】
メモリ１０２は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read  Only  Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital  Versatile  Disc）のうち一つ以上を含む。なお、付帯設備状態評価装置１は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）およびＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路を含んでいてもよい。
【０１２３】
以上のように、実施の形態１にかかる付帯設備状態評価装置１は、情報取得部２２と、付帯設備画像抽出部２３と、状態評価部２５と、表示情報生成部２６とを備える。情報取得部２２は、構造物６の付帯設備７の画像と構造物６の画像とを含む撮像画像の情報を取得する。付帯設備画像抽出部２３は、情報取得部２２によって取得された撮像画像の情報から付帯設備７の画像の情報を抽出する。状態評価部２５は、付帯設備画像抽出部２３によって抽出された付帯設備７の画像の情報に基づいて、付帯設備７におけるメッシュ状に区画された複数の領域Ｒの各々の変状レベルを判定する。表示情報生成部２６は、複数の領域Ｒの各々の変状レベルの情報を付帯設備７の画像の情報に関連付けた表示情報を生成する。これにより、点検員が付帯設備７に直接触れることなく、付帯設備７の点検を効率的に行うことができる。また、付帯設備７におけるメッシュ状に区画された複数の領域Ｒの各々の変状レベルを付帯設備７の画像の情報に関連付けて表示することができる。そのため、付帯設備７の点検員は、付帯設備７のどの箇所に問題があるかなどを容易に把握することができ、これによっても、点検員は付帯設備７の点検を効率的に行うことができる。
【０１２４】
また、状態評価部２５は、分割部３１と、領域変状レベル判定部３２とを備える。分割部３１は、付帯設備７の画像を複数の領域Ｒに分割する。領域変状レベル判定部３２は、分割部３１によって分割された複数の領域Ｒの各々の画像の情報に基づいて、複数の領域Ｒの各々の変状レベルを判定する。付帯設備７の画像の情報に比べ各領域Ｒの画像の情報は情報量が少ないため、領域Ｒの変状レベルを容易に判定することができる。
【０１２５】
また、領域変状レベル判定部３２は、異常判定部３４と、レベル判定部３５とを備える。異常判定部３４は、分割部３１によって分割された複数の領域Ｒの各々の画像の情報に基づいて、複数の領域Ｒの各々に異常があるか否かを判定する。レベル判定部３５は、異常判定部３４によって異常であると判定された領域Ｒの変状レベルを判定する。これにより、異常があると判定した領域Ｒのみの変状レベルを判定すればよいため、付帯設備状態評価装置１における処理負荷を軽減することができる。
【０１２６】
また、異常判定部３４は、付帯設備７の画像の情報に基づいて、付帯設備７の異常箇所を判定する。レベル判定部３５は、複数の領域Ｒのうち異常判定部３４によって異常であると判定された異常箇所を含む領域Ｒの変状レベルを判定する。これにより、付帯設備７の画像を分割する処理を行うことなく、領域Ｒの変状レベルを判定することができる。
【０１２７】
また、レベル判定部３５は、撮像画像に同一種別の付帯設備７の画像が複数含まれている場合に、複数の領域Ｒの各々について変状レベルの平均値を演算する。表示情報生成部２６は、複数の領域Ｒの各々の変状レベルの情報に加え変状レベルの平均値の情報を付帯設備７の画像の情報に関連付けた表示情報を生成する。これにより、付帯設備７の種別毎に、どの領域Ｒに変状が生じやすいかなどを容易に把握することができる。
【０１２８】
また、状態評価部２５は、複数の領域Ｒの各々の変状レベルに基づいて、付帯設備７単位の変状度合いを判定する総合評価部３３を備える。表示情報生成部２６は、複数の領域Ｒの各々の変状レベルの情報に加え付帯設備７単位の変状度合いの情報を付帯設備７の画像の情報に関連付けた表示情報を生成する。これにより、点検員は、各領域Ｒの変状レベルに加え、各領域Ｒの変状レベルによって求めた付帯設備７単位の変状度合いを把握することができる。
【０１２９】
また、付帯設備状態評価装置１は、構造物６における付帯設備７の位置を特定する位置特定部２４を備える。撮像画像は、同一種別の付帯設備７の画像が複数含まれる画像である。表示情報生成部２６は、複数の領域Ｒの各々の変状レベルの情報に加え付帯設備７の位置の情報を付帯設備７の画像の情報に関連付けた表示情報を生成する。これにより、例えば、同一種別の付帯設備７のうちどの位置の付帯設備７に変状が生じているかなどを容易に把握することができる。
【０１３０】
また、撮像画像は、走行型計測装置２に搭載された撮像部５１が走行型計測装置２の走行時に繰り返し撮像して得られる画像である。位置特定部２４は、撮像画像のうち付帯設備７の領域Ｒが撮像部５１によって撮像された時刻に基づいて、複数の付帯設備７の各々の位置を特定する。これにより、複数の付帯設備７の各々の位置を精度よく特定することができる。
【０１３１】
また、撮像画像は、走行型計測装置２に搭載された撮像部５１が走行型計測装置２の走行時に繰り返し撮像して得られる画像である。位置特定部２４は、撮像部５１による撮像順に付帯設備７に識別情報を付与することで、複数の付帯設備７の各々の位置を特定する。これにより、例えば、同一種別の付帯設備７のうち何番目の位置にある付帯設備７に片場外生じているかなどを容易に把握することができる。
【０１３２】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【０１３３】
１  付帯設備状態評価装置、２  走行型計測装置、３  表示部、４  入力部、５  ネットワーク、６  構造物、７，７１，７２，７３，７４  付帯設備、１０  記憶部、１１  撮像画像情報記憶部、１２  関連情報記憶部、１３  付帯設備情報記憶部、２０  制御部、２１  入力受付部、２２  情報取得部、２３  付帯設備画像抽出部、２４  位置特定部、２５  状態評価部、２６  表示情報生成部、２７  表示処理部、３０  通信部、３１  分割部、３２  領域変状レベル判定部、３３  総合評価部、３４  異常判定部、３５  レベル判定部、４１  撮像画像情報テーブル、４２  関連情報テーブル、４３  付帯設備情報テーブル、５１  撮像部、８０  表示画像、８１，８２，８３，８４  表示領域、８５，８６  ボタン、８７  付帯設備状態情報表示領域、Ｒ，Ｒ１〜Ｒ９  領域。
【図１】
2020159969.tif 000003
【図２】
2020159969.tif 000004
【図３】
2020159969.tif 000005
【図４】
2020159969.tif 000006
【図５】
2020159969.tif 000007
【図６】
2020159969.tif 000008
【図７】
2020159969.tif 000009
【図８】
2020159969.tif 000010
【図９】
2020159969.tif 000011
【図１０】
2020159969.tif 000012
【図１１】
2020159969.tif 000013
【図１２】
2020159969.tif 000014
【図１３】
2020159969.tif 000015
【図１４】
2020159969.tif 000016