(57)【特許請求の範囲】
【請求項１】
構造物に取り付けられた設備の画像を含む前記構造物の画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割部と、
前記画像分割部によって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出部と、
前記画像抽出部で抽出された前記複数の画像のうち前記画像分割部による分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した前記２つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定部と、を備える
ことを特徴とする画像処理システム。
【請求項２】
設備の画像を含む画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割部と、
前記画像分割部によって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出部と、
前記画像抽出部で抽出された前記複数の画像のうち前記画像分割部による分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した前記２つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定部と、を備える
ことを特徴とする画像処理システム。
【請求項３】
前記構造物の画像は、
トンネルの展開画像であり、
前記設備画像特定部による前記設備の画像を特定する処理は、前記トンネルの展開画像における前記連結画像の位置に基づく前記連結画像の回転処理および反転処理のうち少なくとも１つの処理を含み、前記少なくとも１つの処理が行われた連結画像を前記設備の画像として特定する
ことを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記画像抽出部は、
前記設備の一部を示す画像を用いた機械学習によって生成された学習モデルを有し、前記画像分割部によって分割された前記複数の画像の中から前記学習モデルを用いて前記設備の一部を示す画像を複数抽出する
ことを特徴とする請求項１から３のいずれか１つに記載の画像処理システム。
【請求項５】
前記設備画像特定部は、
前記連結画像のサイズが予め設定された範囲内であるか否かを判定し、前記連結画像のサイズが前記予め設定された範囲内であると判定した場合に、前記連結画像を前記設備の画像として特定する
ことを特徴とする請求項１から４のいずれか１つに記載の画像処理システム。
【請求項６】
前記設備画像特定部は、
前記画像分割部によって分割された前記複数の画像のうち、前記画像分割部による分割前の位置が前記２つ以上の画像のうち少なくともいずれか１つと隣接する位置にある複数の画像と前記２つ以上の画像とを連結して前記連結画像を生成する
ことを特徴とする請求項１から５のいずれか１つに記載の画像処理システム。
【請求項７】
前記連結画像における特定領域の画像を抽出する特定領域抽出部と、
前記特定領域抽出部によって抽出された画像から前記設備の異常を判定する異常判定部とを備える
ことを特徴とする請求項１から６のいずれか１つに記載の画像処理システム。
【請求項８】
前記異常判定部は、
前記設備の部品が異常である状態の前記部品の画像を用いて機械学習によって生成された異常判定用の学習モデルを有し、前記特定領域抽出部によって抽出された画像を前記異常判定用の学習モデルへ入力して得られる結果に基づいて、前記設備の異常を判定する
ことを特徴とする請求項７に記載の画像処理システム。
【請求項９】
コンピュータが行う画像処理方法であって、
構造物に取り付けられた設備の画像を含む前記構造物の画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割ステップと、
前記画像分割ステップによって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出ステップと、
前記画像抽出ステップで抽出された前記複数の画像のうち前記画像分割ステップによる分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した前記２つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定ステップと、
を含む
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータが行う画像処理方法であって、
設備の画像を含む画像を、前記設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する画像分割ステップと、
前記画像分割ステップによって分割された前記複数の画像の中から前記設備の一部を示す画像を複数抽出する画像抽出ステップと、
前記画像抽出ステップで抽出された前記複数の画像のうち前記画像分割ステップによる分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した前記２つ以上の画像を含む連結画像を前記設備の画像として特定する設備画像特定ステップと、
を含む
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設備が取り付けられた構造物の画像から設備の画像を特定する画像処理システムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、トンネルまたは橋梁などといった構造物に取り付けられた照明機器または看板などの設備は、定期的に点検が行われている。設備の点検では、構造物に設備を取り付けるための締結具に錆または緩みがないか、または設備そのものに亀裂などの問題がないかなどを確認する作業が行われる。かかる作業を、構造物に取り付けられた全ての設備を対象に一つ一つ作業者が目視などにより確認することによって行うと、非常に手間と時間がかかる。【０００３】
点検作業を目視で行うかわりに、撮像装置によって撮影された画像から設備の画像を特定し、特定した画像を確認する方法がある。画像を特定する技術として、特許文献１には、撮像カメラが周囲を撮像して得られる画像をティーチング設備画像と比較することで、撮像カメラが撮像した画像から設備の画像を特定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１９６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、撮像カメラが撮像した画像とティーチング設備画像とを比較するため、取り扱う画像のサイズが大きく、撮像カメラが撮像した画像から設備の画像を特定する処理において使用するメモリ量が多い。【０００６】
本発明は、上記に鑑みてなされたものであって、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる画像処理システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明の画像処理システムは、画像分割部と、画像抽出部と、設備画像特定部と、を備える。画像分割部は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部は、画像分割部によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部は、画像抽出部で抽出された複数の画像のうち画像分割部による分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した２つ以上の画像を含む連結画像を設備の画像として特定する。
【発明の効果】
【０００８】
本発明によれば、設備が取り付けられた構造物の画像から設備の画像を特定する処理に使用するメモリ量を低減させることができる、という効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１にかかる画像処理システムを説明するための図
【図２】実施の形態１にかかる走行型計測装置による構造物画像の取得方法の一例を示す図
【図３】実施の形態１にかかる走行型計測装置によって計測される構造物画像の一例を示す図
【図４】実施の形態１にかかる画像処理システムの構成例を示す図
【図５】実施の形態１にかかる画像分割部による画像分割処理の一例を説明するための図
【図６】実施の形態１にかかる画像抽出部による画像抽出処理の一例を説明するための図
【図７】実施の形態１にかかる第１学習モデル生成部による学習処理の一例を説明するための図
【図８】実施の形態１にかかる設備画像特定部による設備画像特定処理の一例を説明するための図
【図９】実施の形態１にかかる設備画像特定部による設備画像特定処理の他の例を示す図
【図１０】実施の形態１にかかる設備画像特定部による設備画像特定処理の他の例を示す図
【図１１】実施の形態１にかかる特定領域抽出部による特定領域画像処理の一例を説明するための図
【図１２】実施の形態１にかかる異常判定部による異常判定処理の一例を説明するための図
【図１３】実施の形態１にかかる画像処理システムによる処理手順の一例を示すフローチャート
【図１４】実施の形態１にかかる画像抽出部による画像抽出処理の一例を示すフローチャート
【図１５】実施の形態１にかかる設備画像特定部による設備画像特定処理の一例を示すフローチャート
【図１６】実施の形態１にかかる特定領域抽出部による特定領域画像処理および異常判定部による異常判定処理の各々の一例を示すフローチャート
【図１７】実施の形態１にかかる画像処理システムのハードウェア構成の一例を示す図
【図１８】本発明の実施の形態２にかかる画像処理システムを説明するための図
【図１９】実施の形態２にかかる走行型計測装置による構造物画像の取得方法の一例を示す図
【図２０】実施の形態２にかかる走行型計測装置によって計測される構造物画像の一例を示す図
【図２１】実施の形態２にかかる画像処理システムの構成例を示す図
【図２２】実施の形態２にかかる見上げ図と見下げ図との関係を説明するための図
【図２３】実施の形態２にかかる設備画像特定部による設備画像特定処理手順における一部の手順の一例を示すフローチャート
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態にかかる画像処理システムおよび画像処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１にかかる画像処理システムを説明するための図である。図１に示す画像処理システム１は、設備が取り付けられた構造物の画像から設備の画像である設備画像を特定する。以下においては、走行型計測装置２によって撮像される構造物がトンネル３であり、トンネル３に取り付けられる設備４が照明機器であるものとして説明する。なお、走行型計測装置２によって撮像される構造物は、トンネル３に限定されず、橋梁または建物などであってもよい。また、設備４は、照明機器に限定されず、送風機または看板などであってもよい。
【００１２】
図２は、実施の形態１にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図２に示すように、走行型計測装置２は、撮像部５１を搭載している。走行型計測装置２は、トンネル３内を走行しながら撮像部５１によって走行型計測装置２の周囲を繰り返し撮像し、設備４が取り付けられたトンネル３の内壁３ａの画像である構造物画像を生成する。
【００１３】
撮像部５１は、例えば、ラインカメラであり、走行型計測装置２の進行方向と直交または交差する方向に沿って複数の画素が配列される。走行型計測装置２は、ラインカメラから繰り返し出力される画素の情報に基づいて、構造物画像を生成する。なお、撮像部５１は、マトリクス状に複数の画素が配列されたエリアカメラであってもよい。
【００１４】
図３は、実施の形態１にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図３に示す構造物画像５は、トンネル３の内壁３ａの一部を２次元平面に展開したと仮定した場合におけるトンネル３の展開画像である。図３において、トンネル軸方向がＸ軸方向であり、トンネル周方向がＹ軸方向である。トンネル軸方向は、トンネル３の延伸方向である。また、トンネル周方向は、トンネル軸方向に直交する面でトンネル３を切断した場合の内壁３ａを示す線に沿った方向である。
【００１５】
走行型計測装置２は、レーザスキャナ装置を有しており、レーザスキャナ装置によってトンネル３の内壁３ａの３次元形状を計測する。また、走行型計測装置２は、レーザスキャナ装置によって得られるデータから構造物画像５を構成する各画素の３次元位置を検出する。走行型計測装置２は、構造物画像５を構成する各画素の３次元位置に基づいてトンネル３の展開画像を生成することができる。走行型計測装置２は、構造物画像５を構成する各画素の間隔が、予め設定された間隔になるように構造物画像５を生成する。すなわち、走行型計測装置２は、トンネル３の実際の大きさに対して予め設定された縮尺になるように構造物画像５を生成する。
【００１６】
図３に示す構造物画像５は、設備４が取り付けられたトンネル３の内壁３ａの画像であってトンネル３の入口から出口に亘るまでの画像である。構造物画像５は、撮像部５１から順次出力される複数の領域画像６１〜６５を繋ぎ合わせて生成される。領域画像６１〜６５は、トンネル軸方向の領域が各々異なる。図３に示す構造物画像５には、複数の設備４１〜４７の画像が含まれる。以下、複数の設備４１〜４７の各々を個別に区別せずに示す場合、設備４と記載し、複数の領域画像６１〜６５の各々を個別に区別せずに示す場合、領域画像６と記載する。
【００１７】
図４は、実施の形態１にかかる画像処理システムの構成例を示す図である。図４に示すように、実施の形態１にかかる画像処理システム１は、取得部１０と、画像情報記憶部１１と、画像分割部１２と、画像抽出部１３と、第１学習モデル生成部１４と、設備画像特定部１５と、入力部１６とを備える。また、画像処理システム１は、特定領域抽出部１７と、設備情報記憶部１８と、異常判定部１９と、第２学習モデル生成部２０と、設備異常情報記憶部２１と、表示処理部２２と、表示部２３とを備える。
【００１８】
取得部１０は、不図示の通信ネットワークを介して、走行型計測装置２から構造物画像５の情報である構造物画像情報を取得し、取得した構造物画像情報を画像情報記憶部１１に記憶させる。画像情報記憶部１１に記憶される構造物画像情報は、繋ぎ合わされていない状態の複数の領域画像６１〜６５の情報から構成されてもよい。この場合、トンネル軸方向に沿って隣り合う２つの領域画像６同士を特定できるように、各領域画像６の情報には、識別番号の情報または撮像位置の情報が含まれる。
【００１９】
例えば、走行型計測装置２は、図３に示す領域画像６１，６２，６３，６４，６５の順に連続する複数の識別番号の情報を一つずつ割り当てる。連続する複数の識別番号が例えばＩＤ１，ＩＤ２，ＩＤ３，ＩＤ４，ＩＤ５である場合、領域画像６１には識別番号「ＩＤ１」が割り当てられ、領域画像６２には識別番号「ＩＤ２」が割り当てられ、領域画像６３には識別番号「ＩＤ３」が割り当てられる。また、領域画像６４には識別番号「ＩＤ４」が割り当てられ、領域画像６５には識別番号「ＩＤ５」が割り当てられる。
【００２０】
また、走行型計測装置２は、走行型計測装置２の走行位置を検出する不図示の位置検出部を有しており、位置検出部によって各領域画像６が撮像されたときの走行型計測装置２の走行位置を領域画像６の撮像位置として検出する。走行型計測装置２は、検出した領域画像６の撮像位置の情報と領域画像６の情報とを領域画像６毎に関連付けることで構造物画像情報を生成することもできる。この場合、走行型計測装置２は、位置検出部によって繰り返し検出される走行型計測装置２の走行位置に基づいて、走行型計測装置２の走行軌跡を示す軌跡情報を生成し、生成した軌跡情報を構造物画像情報に含める。
【００２１】
画像分割部１２は、画像情報記憶部１１から構造物画像情報を読み出し、読み出した構造物画像情報に基づいて、構造物画像５を設備４の全体を示す画像である設備全体画像よりも小さなサイズの複数の画像へ分割する画像分割処理を行う。図５は、実施の形態１にかかる画像分割部による画像分割処理の一例を説明するための図である。なお、図５では、構造物画像５のうち一部のみを示している。
【００２２】
図５に示すように、画像分割部１２は、構造物画像５を分割した画像である分割画像７のサイズが規定サイズになるように構造物画像５を複数の分割画像７へ分割する。規定サイズは、設備全体画像のサイズよりも小さい。規定サイズが設備全体画像のサイズよりも小さいため、設備全体画像は、複数の分割画像７に跨って存在することになる。構造物画像５は、上述したようにトンネル３の実際の大きさに対して予め設定された縮尺になるように生成されるため、設備全体画像のサイズは、走行型計測装置２によって生成される設備全体画像のトンネル３に対する縮尺から得られる。
【００２３】
画像分割部１２は、構造物画像５のサイズと設備全体画像のサイズとに基づいて、分割画像７のサイズを決定し、決定したサイズを規定サイズに設定する。画像分割部１２は、構造物画像情報が複数の領域画像６の情報を含む場合、領域画像６を分割した画像である分割画像７のサイズが規定サイズになるように領域画像６を複数の分割画像７へ分割する。この場合、画像分割部１２は、領域画像６のサイズと設備全体画像のサイズに基づいて、分割画像７のサイズを決定し、決定したサイズを規定サイズに設定する。なお、画像分割部１２は、入力部１６へ入力される情報を規定サイズの情報として用いることができる。
【００２４】
図４に示す画像抽出部１３は、画像分割部１２によって分割された複数の分割画像７の中から設備４の一部を示す画像を設備４の部分画像として複数抽出する。画像抽出部１３は、機械学習によって生成された学習モデルを用いて、複数の分割画像７の中から設備４の一部を示す画像を抽出する。以下、画像抽出部１３によって抽出される設備４の一部を示す画像を設備部分画像と記載する場合がある。
【００２５】
図６は、実施の形態１にかかる画像抽出部による画像抽出処理の一例を説明するための図である。図６に示すように、画像抽出部１３は、第１学習モデルを有しており、画像分割部１２によって分割された複数の分割画像７の中から第１学習モデルを用いて設備４の一部を示す画像として特定される設備部分画像８を複数抽出する。
【００２６】
第１学習モデルは、設備４の一部を示す画像を用いた機械学習によって生成される計算モデルである。第１学習モデルに入力される情報は、分割画像７であり、第１学習モデルから出力される情報は、設備４の一部を示す画像であるか否かを示す情報である。第１学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
【００２７】
第１学習モデルは、図４に示す第１学習モデル生成部１４によって生成される。第１学習モデル生成部１４は、学習データを用いた機械学習によって第１学習モデルを生成する。学習用データは、設備４の一部を示す画像および設備４の一部を示す画像以外の画像などである。図７は、実施の形態１にかかる第１学習モデル生成部による学習処理の一例を説明するための図である。図７に示すように、第１学習モデル生成部１４は、設備４の一部を示す画像を正解画像とし、設備４の一部を示す画像以外の画像を不正解画像として用いる学習処理によって、第１学習モデルを生成する。
【００２８】
画像抽出部１３は、分割画像７を第１学習モデルへ入力し、第１学習モデルから出力される情報に基づいて、設備部分画像８を抽出する。例えば、画像抽出部１３は、第１学習モデルから設備４の一部を示す画像であることを示す情報が出力された場合に、第１学習モデルへ入力された分割画像７を設備部分画像８として抽出する。また、画像抽出部１３は、第１学習モデルから設備４の一部を示す画像でないことを示す情報が出力された場合に、第１学習モデルへ入力された分割画像７を設備部分画像８として抽出しない。
【００２９】
なお、画像抽出部１３は、第１学習モデルに代えて、設備４の一部を示す画像を基準画像として、パターンマッチング処理などによって、設備部分画像８を抽出する構成であってもよい。例えば、画像抽出部１３は、設備４の一部を示す画像を基準画像として有し、分割画像７に含まれる画像と基準画像との一致度が予め設定された値以上である場合に、分割画像７を設備部分画像８として抽出することもできる。
【００３０】
設備画像特定部１５は、画像抽出部１３で抽出された複数の設備部分画像８のうち画像分割部１２による分割前の位置が互いに隣接する位置にある２つ以上の設備部分画像８を連結し、連結した２つ以上の設備部分画像８を含む連結画像を設備４の全体を示す画像として特定する。以下、設備画像特定部１５によって特定される設備４の全体を示す画像を設備画像と記載する場合がある。
【００３１】
図８は、実施の形態１にかかる設備画像特定部による設備画像特定処理の一例を説明するための図である。図９は、実施の形態１にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。
【００３２】
図８に示す例では、画像抽出部１３によって設備部分画像８１〜８１２が抽出されている。以下、設備部分画像８１〜８ｋの各々を個別に区別せずに示す場合、設備部分画像８と記載する。図８に示すように、設備部分画像８１〜８１２の各々は、画像分割部１２による分割前の位置が設備部分画像８１〜８１２のうち少なくとも一つと互いに隣接する位置にあるため、設備画像特定部１５は、設備部分画像８１〜８１２を連結する。
【００３３】
設備画像特定部１５は、図８に示すように、設備部分画像８１〜８１２が各々画像分割部１２による分割前の位置になるように設備部分画像８１〜８１２を連結することで、設備部分画像８１〜８１２を含む一つの連結画像９を生成する。
【００３４】
設備画像特定部１５は、連結画像９のサイズが予め設定された範囲内であるか否かを判定し、連結画像９のサイズが予め設定された範囲内であると判定した場合に、連結画像９を設備画像として特定する。例えば、図８において、連結画像９のＸ軸方向の長さＳｘが以下の式（１）を満たし、連結画像９のＹ軸方向の長さＳｙが以下の式（２）を満たす場合に、連結画像９を設備画像として特定する。「αｍｉｎ」および「αｍａｘ」は、Ｘ軸の範囲を特定するためのパラメータであり、「βｍｉｎ」および「βｍａｘ」は、Ｙ軸の範囲を特定するためのパラメータである。
αｍｉｎ＜Ｓｘ＜αｍａｘ      ・・・（１）
βｍｉｎ＜Ｓｙ＜βｍａｘ      ・・・（２）
【００３５】
設備画像特定部１５は、構造物画像５が複数の領域画像６から構成される場合において、トンネル軸方向で複数の領域画像６を繋げたと仮定した場合に隣接する位置にある設備部分画像８同士を連結する。例えば、複数の領域画像６がトンネル軸方向に沿って連続する第１の領域画像と第２の領域画像とを含み、第１の領域画像の一端と第２の領域画像の一端とがトンネル軸方向で互いに対向する位置関係にあるとする。設備画像特定部１５は、第１の領域画像の一端に設備部分画像８がある場合、第１の領域画像の一端にある設備部分画像８とトンネル軸方向で対向する設備部分画像８が第２の領域画像の一端にあるかどうかを判定する。設備画像特定部１５は、第２の領域画像の一端に設備部分画像８があると判定した場合、第２の領域画像の一端にある設備部分画像８を第１の領域画像の一端にある設備部分画像８に連結する。なお、設備画像特定部１５は、構造物画像情報に上述した識別番号の情報が含まれる場合、識別番号の情報に基づいて、複数の領域画像６の位置関係を判定する。また、設備画像特定部１５は、構造物画像情報に上述した撮像位置の情報および軌跡情報が含まれる場合、走行型計測装置２の走行軌跡における走行型計測装置２の撮像位置に基づいて、複数の領域画像６の位置関係を判定する。
【００３６】
図９に示す例では、画像抽出部１３によって設備部分画像８１３，８１４が抽出されている。図９に示すように、設備部分画像８１３，８１４は、画像分割部１２による分割前の位置が互いに隣接する位置にあるため、設備画像特定部１５は、設備部分画像８１３，８１４を連結する。図９に示す連結画像９は、Ｘ軸方向の長さＳｘが最小値αｍｉｎよりも小さく、Ｙ軸方向の長さＳｙが最小値βｍｉｎよりも小さい。そのため、設備画像特定部１５は、図９に示す連結画像９を設備画像として特定しない。
【００３７】
このように、設備画像特定部１５は、サイズが予め設定された範囲内である連結画像９を設備画像として特定する。そのため、設備画像特定部１５は、連結画像９のサイズにかかわらず連結画像９を設備画像として特定する場合に比べて、設備４の画像以外の画像を設備画像として誤って特定してしまう可能性を低減することができる。
【００３８】
また、設備画像特定部１５は、画像分割部１２によって分割された複数の分割画像７のうち、画像分割部１２による分割前の位置が複数の設備部分画像８のうち少なくともいずれか１つと隣接する位置にある複数の分割画像７を抽出する。設備画像特定部１５は、抽出した複数の分割画像７と複数の設備部分画像８とを画像分割部１２による分割前の位置関係になるように連結して連結画像９を生成する。設備画像特定部１５は、例えば、サイズ拡大設定がある場合に、画像分割部１２による分割前の位置が設備部分画像８と隣接する分割画像７を用いて連結画像９を生成する。設備画像特定部１５は、入力部１６への操作がサイズ拡大設定を行うための操作である場合に、サイズ拡大設定フラグをオンにする。設備画像特定部１５は、サイズ拡大設定フラグがオンである場合に、サイズ拡大設定があると判定する。
【００３９】
図１０は、実施の形態１にかかる設備画像特定部による設備画像特定処理の他の例を示す図である。図１０に示す例では、画像抽出部１３によって設備部分画像８２，８３，８５〜８８，８１０，８１１が抽出されている。設備画像特定部１５は、画像分割部１２による分割前の位置が複数の設備部分画像８２，８３，８５〜８８，８１０，８１１のうち少なくともいずれか１つと隣接する位置にある複数の分割画像７１〜７５，７８，７９，７１２，７１３，７１６，７１７，７２０〜７２４を抽出する。
【００４０】
そして、設備画像特定部１５は、複数の設備部分画像８２，８３，８５〜８８，８１０，８１１と複数の分割画像７１〜７５，７８，７９，７１２，７１３，７１６，７１７，７２０〜７２４とを画像分割部１２による分割前の位置関係になるように連結して連結画像９を生成する。
【００４１】
画像抽出部１３が設備４の一部を示す画像ではない分割画像７を設備部分画像８として誤判定する可能性を低減するために、第１学習モデルの学習データとして用いられる画像には、設備４の一部の画像が占める割合が少ない画像が含まれない場合がある。この場合、画像抽出部１３は、設備４の一部の画像が占める割合が少ない分割画像７を設備部分画像８として抽出することが難しい場合がある。設備画像特定部１５は、上述のように、設備部分画像８に加えて、設備部分画像８に隣接する分割画像７を連結画像９の生成に用いる。そのため、画像抽出部１３において設備４の一部の画像が占める割合が少ない分割画像７がある場合であっても、設備画像を精度よく特定することができる。
【００４２】
このように、画像処理システム１は、設備４の画像よりも小さなサイズの分割画像７を用いて設備画像を特定することから、設備画像を特定する際に取り扱う画像のサイズが小さい。そのため、画像処理システム１は、構造物画像５を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
【００４３】
図４に示す特定領域抽出部１７は、設備画像として特定された連結画像９における特定領域の画像を抽出する。特定領域は、例えば、異常判定の対象となる部品である判定対象部品の画像を含む領域であり、設備４の設計図などから設定される。判定対象部品は、例えば、設備４をトンネル３の内壁３ａへ取り付けるためのボルトまたはネジなどの締結具、または設備４を構成する部品などである。
【００４４】
設備情報記憶部１８には、設備４の設計図の情報である設計図情報が記憶されており、設計図情報には判定対象部品の領域を示す情報が含まれる。特定領域抽出部１７は、設備情報記憶部１８に記憶された設計図情報に基づいて、判定対象部品の領域を判定する。特定領域抽出部１７は、判定した判定対象部品の領域に基づいて、判定対象部品の領域を含む領域を上述した特定領域として決定する。なお、特定領域抽出部１７は、入力部１６へ入力される特定領域の情報に基づいて、特定領域を決定することもできる。
【００４５】
図１１は、実施の形態１にかかる特定領域抽出部による特定領域画像処理の一例を説明するための図である。図１１に示す例では、特定領域抽出部１７は、連結画像９における４つの特定領域３０１，３０２，３０３，３０４の画像である特定領域画像３１１，３１２，３１３，３１４を抽出する。以下、特定領域３０１，３０２，３０３，３０４の各々を個別に区別せずに示す場合、特定領域３０と記載する場合がある。また、特定領域画像３１１，３１２，３１３，３１４の各々を個別に区別せずに示す場合、特定領域画像３１と記載する場合がある。
【００４６】
図４に示す異常判定部１９は、特定領域抽出部１７によって抽出された特定領域画像３１から設備４の異常を判定する。設備４の異常は、例えば、設備４のトンネル３の内壁３ａへの取り付け状態の異常、または設備４の亀裂などの異常である。異常判定部１９は、例えば、機械学習によって生成された学習モデルを用いて、特定領域抽出部１７によって抽出された特定領域画像３１から設備４を構成する判定対象部品の異常を判定する。判定対象部品の異常は、判定対象部品が締結具である場合、締結具の緩み、締結具の錆び、締結具の欠損、締結具の欠落、または設備４を構成する部品の亀裂などである。
【００４７】
異常判定部１９は、第２学習モデルの情報を有しており、特定領域抽出部１７によって抽出された画像から第２学習モデルを用いて判定対象部品の異常を判定する。第２学習モデルは、異常がある判定対象部品の画像を用いた機械学習によって生成される計算モデルである。第２学習モデルに入力される情報は、特定領域抽出部１７によって抽出された特定領域画像３１であり、第２学習モデルから出力される情報は、判定対象部品が異常であるか否かを示す情報である。第２学習モデルは、例えば、畳み込みニューラルネットワークであるが、線形回帰またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよい。
【００４８】
第２学習モデルは、図４に示す第２学習モデル生成部２０によって生成される。第２学習モデル生成部２０は、学習用データを用いた機械学習によって第２学習モデルを生成する。学習用データは、例えば、異常がない判定対象部品の画像および異常がある判定対象部品の画像である。第２学習モデル生成部２０は、異常がない判定対象部品の画像を正解画像とし、異常がある判定対象部品の画像を不正解画像とした学習処理によって、第２学習モデルを生成する。
【００４９】
異常判定部１９は、特定領域抽出部１７によって抽出された特定領域画像３１を第２学習モデルへ入力し、第２学習モデルから出力される情報に基づいて、判定対象部品の異常を判定する。具体的には、異常判定部１９は、判定対象部品が異常であることを示す情報が第２学習モデルから出力された場合、判定対象部品が異常であると判定する。また、異常判定部１９は、判定対象部品が異常ではないことを示す情報が第２学習モデルから出力された場合、判定対象部品が異常ではないと判定する。
【００５０】
図１２は、実施の形態１にかかる異常判定部による異常判定処理の一例を説明するための図である。図１２に示す例では、特定領域抽出部１７によって抽出された特定領域画像３１１，３１２，３１３，３１４が第２学習モデルに入力されている。そして、異常判定部１９は、特定領域画像３１２，３１３，３１４に対応する３つの判定対象部品は正常であり、特定領域画像３１１に対応する１つの判定対象部品は異常であると判定している。
【００５１】
このように、画像処理システム１は、連結画像９に対して、設計図面などで事前に設定した特定領域３０１，３０２，３０３，３０４に含まれる特定領域画像３１１，３１２，３１３，３１４を特定し、各特定領域画像３１１，３１２，３１３，３１４を用いて設備４の異常を判定する。そのため、画像処理システム１は、連結画像９をそのまま用いて設備４の異常を判定する場合に比べて、設備４の異常を判定する処理にかかる時間を短縮することができる。また、画像処理システム１は、第２学習モデルを用いて設備４の異常を判定する処理を行うことから、設備４に対する異常判定の精度を高めることができる。
【００５２】
異常判定部１９は、異常であると判定した判定対象部品の情報を示す設備異常情報を図４に示す設備異常情報記憶部２１に記憶する。図４に示す表示処理部２２は、入力部１６への特定操作があった場合に、設備異常情報記憶部２１から設備異常情報を読み出し、読み出した設備異常情報に基づいて、異常であると判定した判定対象部品の情報を表示部２３に表示する。
【００５３】
図１３は、実施の形態１にかかる画像処理システムによる処理手順の一例を示すフローチャートである。図１３に示す処理は、例えば、画像処理システム１によって構造物画像５が取得された場合または入力部１６への特定操作がある場合に開始される。
【００５４】
図１３に示すように、画像処理システム１の画像分割部１２は、構造物画像５を複数の分割画像７へ分割する（ステップＳ１０）。次に、画像処理システム１の画像抽出部１３は、画像抽出処理を行う（ステップＳ１１）。かかる画像抽出処理は、図１４に示すステップＳ２０〜Ｓ２４の処理であり、後述する。
【００５５】
次に、画像処理システム１の設備画像特定部１５は、設備画像特定処理を行う（ステップＳ１２）。かかる設備画像特定処理は、図１５に示すステップＳ３０〜Ｓ３９の処理であり後述する。次に、画像処理システム１の異常判定部１９は、特定領域画像処理および異常判定処理を行う（ステップＳ１３）。特定領域画像処理および異常判定処理は、図１６に示すステップＳ４０〜Ｓ４５の処理であり、後述する。画像処理システム１は、ステップＳ１３の処理を終了すると、図１３に示す処理を終了する。
【００５６】
図１４は、実施の形態１にかかる画像抽出部による画像抽出処理の一例を示すフローチャートである。図１４に示すように、画像抽出部１３は、画像分割部１２によって生成された複数の分割画像７のうち画像抽出部１３による処理が未処理の分割画像７を選択し（ステップＳ２０）、ステップＳ２０で選択した分割画像７を第１学習モデルへ入力する（ステップＳ２１）。画像抽出部１３は、第１学習モデルの出力に基づいて、ステップＳ２０で選択した分割画像７が設備部分画像８であるか否かを判定する（ステップＳ２２）。
【００５７】
画像抽出部１３は、ステップＳ２０で選択した分割画像７が設備部分画像８であると判定した場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２０で選択した分割画像７を設備部分画像８として抽出する（ステップＳ２３）。画像抽出部１３は、ステップＳ２３の処理が終了した場合、または分割画像７が設備部分画像８ではないと判定した場合（ステップＳ２２：Ｎｏ）、画像分割部１２によって生成された複数の分割画像７のうちステップＳ２０において未選択の分割画像７があるか否かを判定する（ステップＳ２４）。
【００５８】
画像抽出部１３は、未選択の分割画像７があると判定した場合（ステップＳ２４：Ｙｅｓ）、処理をステップＳ２０へ移行する。画像抽出部１３は、未選択の分割画像７がないと判定した場合（ステップＳ２４：Ｎｏ）、図１４に示す処理を終了する。
【００５９】
図１５は、実施の形態１にかかる設備画像特定部による設備画像特定処理の一例を示すフローチャートである。図１５に示すように、設備画像特定部１５は、画像抽出部１３によって抽出された複数の設備部分画像８のうち設備画像特定部１５で未処理の設備部分画像８を選択する（ステップＳ３０）。設備画像特定部１５は、ステップＳ３０で選択した設備部分画像８に隣接する設備部分画像８または連結画像９があるか否かを判定する（ステップＳ３１）。
【００６０】
設備画像特定部１５は、隣接する設備部分画像８または連結画像９があると判定した場合（ステップＳ３１：Ｙｅｓ）、ステップＳ３０で選択した設備部分画像８を隣接する設備部分画像８または連結画像９に連結する（ステップＳ３２）。
【００６１】
設備画像特定部１５は、ステップＳ３２の処理が終了した場合、または隣接する設備部分画像８または連結画像９がないと判定した場合（ステップＳ３１：Ｎｏ）、複数の設備部分画像８のうちステップＳ３０において未選択の設備部分画像８があるか否かを判定する（ステップＳ３３）。設備画像特定部１５は、未選択の設備部分画像８があると判定した場合（ステップＳ３３：Ｙｅｓ）、処理をステップＳ３０へ移行する。設備画像特定部１５は、未選択の設備部分画像８がないと判定した場合（ステップＳ３３：Ｎｏ）、ステップＳ３２で生成された連結画像９があるか否かを判定する（ステップＳ３４）。
【００６２】
設備画像特定部１５は、連結画像９があると判定した場合（ステップＳ３４：Ｙｅｓ）、サイズ拡大設定があるか否かを判定する（ステップＳ３５）。設備画像特定部１５は、サイズ拡大設定があると判定した場合（ステップＳ３５：Ｙｅｓ）、連結画像９に隣接する分割画像７を連結画像９に結合して連結画像９を変更する（ステップＳ３６）。
【００６３】
設備画像特定部１５は、ステップＳ３６の処理が終了した場合、またはサイズ拡大設定がないと判定した場合（ステップＳ３５：Ｎｏ）、連結画像９のサイズが予め設定された範囲であるか否かを判定する（ステップＳ３７）。設備画像特定部１５は、連結画像９のサイズは予め設定された範囲であると判定した場合（ステップＳ３７：Ｙｅｓ）、サイズが予め設定された範囲である連結画像９を設備画像として特定する（ステップＳ３８）。
【００６４】
設備画像特定部１５は、ステップＳ３８の処理が終了した場合、または連結画像９のサイズは予め設定された範囲でないと判定した場合（ステップＳ３７：Ｎｏ）、設備画像特定部１５での処理が未処理の連結画像９があるか否かを判定する（ステップＳ３９）。設備画像特定部１５は、未処理の連結画像９があると判定した場合（ステップＳ３９：Ｙｅｓ）、処理をステップＳ３７へ移行する。設備画像特定部１５は、未処理の連結画像９がないと判定した場合（ステップＳ３９：Ｎｏ）、または連結画像９がないと判定した場合（ステップＳ３４：Ｎｏ）、図１５に示す処理を終了する。
【００６５】
図１６は、実施の形態１にかかる特定領域抽出部による特定領域画像処理および異常判定部による異常判定処理の各々の一例を示すフローチャートである。図１６に示すように、特定領域抽出部１７は、設備画像特定部１５によって設備画像として特定された連結画像９のうち異常判定部１９で未処理の連結画像９を選択する（ステップＳ４０）。特定領域抽出部１７は、ステップＳ４０で選択した連結画像９から特定領域画像３１を抽出し（ステップＳ４１）、抽出した特定領域画像３１を第２学習モデルへ入力する（ステップＳ４２）。
【００６６】
異常判定部１９は、第２学習モデルの出力に基づいて、判定対象部品に異常があるか否かを判定する（ステップＳ４３）。異常判定部１９は、判定対象部品に異常があると判定した場合（ステップＳ４３：Ｙｅｓ）、異常であると判定した判定対象部品の情報を示す設備異常情報を設備異常情報記憶部２１に記憶する（ステップＳ４４）。異常判定部１９は、ステップＳ４４の処理が終了した場合、または判定対象部品に異常がないと判定された場合（ステップＳ４３：Ｎｏ）、設備画像特定部１５によって設備画像として特定された連結画像９のうちステップＳ４０において未選択の連結画像９があるか否かを判定する（ステップＳ４５）。
【００６７】
異常判定部１９は、未選択の連結画像９があると判定した場合（ステップＳ４５：Ｙｅｓ）、処理をステップＳ４０へ移行する。異常判定部１９は、未選択の連結画像９がないと判定した場合（ステップＳ４５：Ｎｏ）、図１６に示す処理を終了する。
【００６８】
図１７は、実施の形態１にかかる画像処理システムのハードウェア構成の一例を示す図である。図１７に示すように、画像処理システム１は、プロセッサ１０１と、メモリ１０２と、通信装置１０３と、入出力回路１０４と、表示装置１０５とを備えるコンピュータを含む。
【００６９】
プロセッサ１０１、メモリ１０２、通信装置１０３、入出力回路１０４、および表示装置１０５は、例えば、バス１０６によって互いにデータの送受信が可能である。画像情報記憶部１１、設備情報記憶部１８、および設備異常情報記憶部２１は、メモリ１０２によって実現される。入力部１６は、入出力回路１０４によって実現される。表示部２３は、表示装置１０５によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部１０、画像分割部１２、画像抽出部１３、第１学習モデル生成部１４、設備画像特定部１５、特定領域抽出部１７、異常判定部１９、第２学習モデル生成部２０、および表示処理部２２の機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central  Processing  Unit）、ＤＳＰ（Digital  Signal  Processer）、およびシステムＬＳＩ（Large  Scale  Integration）のうち１つ以上を含む。
【００７０】
メモリ１０２は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read  Only  Memory）のうち１つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital  Versatile  Disc）のうち１つ以上を含む。なお、画像処理システム１は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）およびＦＰＧＡ（Field  Programmable  Gate  Array）などの集積回路を含んでいてもよい。
【００７１】
画像処理システム１は、クライアント装置で構成されてもよく、サーバ装置で構成されてもよく、クライアント装置とサーバ装置とで構成されてもよい。画像処理システム１が２つ以上の装置で構成される場合、２つ以上の装置の各々は、例えば、図１７に示すハードウェア構成を有する。なお、２つ以上の装置間の通信は、通信装置１０３を介して行われる。また、画像処理システム１は、２つ以上のサーバ装置で構成されてもよい。例えば、画像処理システム１は、処理サーバと、データサーバとで構成されてもよい。この場合、処理サーバは、例えば、取得部１０、画像分割部１２、画像抽出部１３、第１学習モデル生成部１４、設備画像特定部１５、特定領域抽出部１７、異常判定部１９、第２学習モデル生成部２０、および表示処理部２２を有する。また、データサーバは、画像情報記憶部１１、第１学習モデル生成部１４、設備情報記憶部１８、および設備異常情報記憶部２１を有する。
【００７２】
以上のように、実施の形態１にかかる画像処理システム１は、画像分割部１２と、画像抽出部１３と、設備画像特定部１５とを備える。画像分割部１２は、構造物に取り付けられた設備４の画像を含む構造物の画像を、設備４の全体を示す画像よりも小さなサイズの複数の分割画像７へ分割する。画像抽出部１３は、画像分割部１２によって分割された複数の分割画像７の中から設備４の一部を示す設備部分画像８を複数抽出する。設備画像特定部１５は、画像抽出部１３で抽出された複数の設備部分画像８のうち画像分割部１２による分割前の位置が互いに隣接する位置にある２つ以上の設備部分画像８を連結し、連結した２つ以上の設備部分画像８を含む連結画像９を設備４の画像として特定する。画像処理システム１は、設備４の全体を示す画像よりも小さなサイズの分割画像７を用いて設備画像を特定することから、構造物画像５を分割しない場合に比べ、設備画像を特定するための処理に使用するメモリ量を低減させることができる。
【００７３】
また、画像抽出部１３は、設備４の一部を示す画像を用いた機械学習によって生成される第１学習モデルを有し、画像分割部１２によって分割された複数の分割画像７の中から第１学習モデルを用いて設備部分画像８を複数抽出する。これにより、画像処理システム１は、設備画像を精度よく特定することができる。
【００７４】
また、設備画像特定部１５は、連結画像９のサイズが予め設定された範囲内であるか否かを判定し、連結画像９のサイズが予め設定された範囲内であると判定した場合に、連結画像９を設備画像として特定する。これにより、画像処理システム１は、設備画像を精度よく特定することができる。
【００７５】
また、設備画像特定部１５は、画像分割部１２によって分割された複数の分割画像７のうち、画像分割部１２による分割前の位置が２つ以上の設備部分画像８のうち少なくともいずれか１つと隣接する位置にある複数の分割画像７と２つ以上の設備部分画像８とを連結して連結画像９を生成する。これにより、画像処理システム１は、設備画像を精度よく特定することができる。
【００７６】
また、画像処理システム１は、連結画像９における特定領域３０の画像である特定領域画像３１を抽出する特定領域抽出部１７と、特定領域抽出部１７によって抽出された特定領域画像３１から設備部分画像８の異常を判定する異常判定部１９とを備える。これにより、画像処理システム１は、連結画像９をそのまま用いて判定対象部品の異常を判定する場合に比べて、異常判定処理の時間を短縮することができる。
【００７７】
また、異常判定部１９は、判定対象部品が異常である状態の判定対象部品の画像を用いて機械学習によって生成された第２学習モデルを有する。第２学習モデルは、異常判定用の学習モデルの一例である。異常判定部１９は、特定領域抽出部１７によって抽出された画像を第２学習モデルへ入力して得られる結果に基づいて、設備４の異常を判定する。これにより、画像処理システム１は、判定対象部品に対する異常判定の精度を高めることができる。
【００７８】
実施の形態２．
実施の形態２にかかる画像処理システムは、走行型計測装置から設備４を含むトンネル３の内壁３ａ全体の画像を構造物画像として走行型計測装置から取得し、構造物画像における連結画像９の位置に基づいて設備画像を特定する処理を行う点で、実施の形態１にかかる画像処理システム１と異なる。以下においては、実施の形態１と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態１の画像処理システム１および走行型計測装置２と異なる点を中心に説明する。
【００７９】
図１８は、本発明の実施の形態２にかかる画像処理システムを説明するための図である。図１８に示す画像処理システム１Ａは、走行型計測装置２Ａによって生成されるトンネル３の画像から、トンネル３に取り付けられた設備４の画像である設備画像を特定し、特定した設備画像から設備４の異常を検出する。
【００８０】
図１９は、実施の形態２にかかる走行型計測装置による構造物画像の取得方法の一例を示す図である。図１９に示すように、走行型計測装置２Ａは、撮像部５１Ａ，５１Ｂを搭載している。かかる走行型計測装置２Ａは、構造物であるトンネル３内を走行し且つ撮像部５１Ａ，５１Ｂの向きを変えながら走行型計測装置２Ａの周囲を繰り返し撮像し、構造物画像を生成する。走行型計測装置２Ａによって生成される構造物画像は、トンネル３の内壁３ａ全体に亘る画像である。
【００８１】
図２０は、実施の形態２にかかる走行型計測装置によって計測される構造物画像の一例を示す図である。図２０において、トンネル軸方向がＸ軸方向であり、トンネル周方向がＹ軸方向である。トンネル軸方向は、トンネル３の延伸方向である。
【００８２】
図２０に示す構造物画像５Ａは、トンネル３の内壁３ａ全体の画像であり、トンネル３の内壁３ａの全体を２次元平面に展開したと仮定した場合におけるトンネル３の展開画像である。走行型計測装置２Ａは、撮像部５１Ａから順次出力される複数の領域画像６Ａ１〜６Ａ５をトンネル軸方向で繋ぎ合わせて領域画像６Ａを生成し、撮像部５１Ｂから順次出力される複数の領域画像６Ｂ１〜６Ｂ５をトンネル軸方向で繋ぎ合わせて領域画像６Ｂを生成する。走行型計測装置２Ａは、領域画像６Ａと領域画像６Ｂとをトンネル周方向で繋ぎ合わせることで、構造物画像５Ａを生成する。領域画像６Ａには複数の設備４１〜４７の画像が含まれ、領域画像６Ｂには複数の設備４８〜４１４の画像が含まれる。なお、構造物画像５Ａは、構造物画像５と同様に、繋ぎ合わされていない状態の複数の領域画像６Ａ１〜６Ａ５，６Ｂ１〜６Ｂ５の情報を含んでいてもよい。
【００８３】
図２１は、実施の形態２にかかる画像処理システムの構成例を示す図である。図２１に示すように、実施の形態２にかかる画像処理システム１Ａは、設備画像特定部１５に代えて設備画像特定部１５Ａを備える。設備画像特定部１５Ａは、構造物画像５Ａにおける連結画像９の位置に基づいて、連結画像９の回転処理および反転処理のうちの少なくとも１つの処理を行い、かかる処理を行った連結画像９を設備画像として特定する。
【００８４】
例えば、設備画像特定部１５Ａは、構造物画像５Ａのうち図２０に示す領域画像６Ａから抽出した複数の分割画像７を連結して得られる連結画像９を１８０度回転し、１８０度回転した連結画像９を設備画像として特定する。また、設備画像特定部１５Ａは、構造物画像５Ａのうち図２０に示す領域画像６Ｂから抽出した複数の分割画像７を連結して得られる連結画像９をそのまま設備画像として特定する。
【００８５】
図２０に示す構造物画像５Ａの種類は、見上げ図であり、トンネル３の内壁３ａをトンネル３内から見た場合のトンネル３の内壁３ａの画像を展開した展開画像であるが、走行型計測装置２Ａは、見下げ図を生成することもできる。見下げ図は、トンネル３の内壁３ａをトンネル外からみたと仮定した場合のトンネル３の内壁３ａの画像を展開した展開画像である。以下、見下げ図の構造物画像を構造物画像５Ａ’と記載する。
【００８６】
ここで、見上げ図と見下げ図について図面を参照して説明する。図２２は、実施の形態２にかかる見上げ図と見下げ図との関係を説明するための図である。図２２に示す例では、説明を分かりやすくするために、トンネル３に取り付けられる２つの設備４を便宜的に「２」の文字と「５」の文字とで表現している。また、図２２に示す例では、トンネル３の入口の右端を「ａ１」とし、トンネル３の入口の左端を「ｂ１」とし、トンネル３の出口の右端を「ａ２」とし、トンネル３の出口の左端を「ｂ２」としている。なお、ここでの左右方向は、トンネル３の入口の手前からトンネル３を見た場合の方向である。
【００８７】
トンネル３の内壁３ａの画像をトンネル３の左端ｂ１，ｂ２を基準として展開することでトンネル３の見上げ図が得られる。かかる見上げ図では、「２」の文字が１８０度回転した状態である。そこで、設備画像特定部１５Ａは、構造物画像５Ａの領域画像６Ａから抽出した複数の分割画像７を連結して得られる連結画像９を１８０度回転し、１８０度回転した連結画像９を設備画像として特定する。すなわち、設備画像特定部１５Ａは、構造物画像５Ａにおける連結画像９の位置が領域画像６Ａに含まれる場合、１８０度回転した連結画像９を設備画像として特定する。
【００８８】
また、トンネル３の内壁３ａの画像をトンネル３の右端ａ１，ａ２を基準として展開することでトンネル３の見下げ図が得られる。見下げ図において、領域画像６Ａ’は、領域画像６Ａを変換して得られる画像であり、領域画像６Ｂ’は、領域画像６Ｂを変換して得られる画像である。かかる見下げ図では、「２」の文字が左右反転した状態であり、また、「５」の文字が上下反転した状態である。
【００８９】
そこで、設備画像特定部１５Ａは、構造物画像５Ａ’の領域画像６Ａ’から抽出した複数の分割画像７を連結して得られる連結画像９を左右反転し、左右反転した連結画像９を設備画像として特定する。すなわち、設備画像特定部１５Ａは、構造物画像５Ａ’における連結画像９の位置が領域画像６Ａ’に含まれる場合、左右反転した連結画像９を設備画像として特定する。
【００９０】
また、設備画像特定部１５Ａは、構造物画像５Ａ’の領域画像６Ｂ’から抽出した複数の分割画像７を連結して得られる連結画像９を上下反転し、上下反転した連結画像９を設備画像として特定する。すなわち、設備画像特定部１５Ａは、構造物画像５Ａ’における連結画像９の位置が領域画像６Ｂ’に含まれる場合、上下反転した連結画像９を設備画像として特定する。
【００９１】
このように、設備画像特定部１５Ａは、構造物画像における連結画像９の位置と、構造物画像の種類とに基づいて、連結画像９を回転する処理または連結画像９を反転する処理を行う。これにより、設備画像特定部１５Ａは、設備画像を適切に特定することができ、設備画像特定部１５Ａによって特定された設備画像から設備４の異常を精度よく判定することができる。
【００９２】
なお、画像処理システム１Ａは、走行型計測装置２Ａから構造物画像５Ａ’を取得することに代えて、構造物画像５Ａを見下げ図へ変換する不図示の装置から見下げ図である構造物画像５Ａ’を取得することもできる。
【００９３】
図２３は、実施の形態２にかかる設備画像特定部による設備画像特定処理手順における一部の手順の一例を示すフローチャートである。図２３に示す処理は、図１５に示すステップＳ３４とステップＳ３５との間に行われる処理である。
【００９４】
図２３に示すように、画像処理システム１Ａの設備画像特定部１５Ａは、構造物画像が見上げ図であるか否かを判定する（ステップＳ５０）。設備画像特定部１５Ａは、構造物画像が見上げ図であると判定した場合（ステップＳ５０：Ｙｅｓ）、構造物画像５Ａにおける連結画像９の位置が特定の位置であるか否かを判定する（ステップＳ５１）。ステップＳ５１において、設備画像特定部１５Ａは、連結画像９が構造物画像５Ａにおける領域画像６Ａに含まれる画像である場合、連結画像９の位置が特定の位置であると判定する。
【００９５】
設備画像特定部１５Ａは、連結画像９の位置が特定の位置であると判定した場合（ステップＳ５１：Ｙｅｓ）、連結画像９を１８０度回転し、１８０度回転した連結画像９を設備画像として特定する（ステップＳ５２）。設備画像特定部１５Ａは、構造物画像が見上げ図ではないと判定した場合（ステップＳ５０：Ｎｏ）、構造物画像５Ａ’における連結画像９の位置が特定の位置であるか否かを判定する（ステップＳ５３）。ステップＳ５３において、設備画像特定部１５Ａは、構造物画像５Ａ’における連結画像９の位置が領域画像６Ｂ’に含まれる画像である場合、連結画像９の位置が特定の位置であると判定する。
【００９６】
設備画像特定部１５Ａは、連結画像９の位置が特定の位置であると判定した場合（ステップＳ５３：Ｙｅｓ）、連結画像９を上下反転し、上下反転した連結画像９を設備画像として特定する（ステップＳ５４）。また、設備画像特定部１５Ａは、連結画像９の位置が特定の位置ではないと判定した場合（ステップＳ５３：Ｎｏ）、連結画像９を左右反転し、左右反転した連結画像９を設備画像として特定する（ステップＳ５５）。
【００９７】
設備画像特定部１５Ａは、ステップＳ５２の処理が終了した場合、連結画像９の位置が特定の位置ではないと判定した場合（ステップＳ５１：Ｎｏ）、ステップＳ５４の処理が終了した場合、またはステップＳ５５の処理が終了した場合、図２３に示す処理を終了する。
【００９８】
図２１に示す画像処理システム１Ａのハードウェア構成は、図１７に示す画像処理システム１のハードウェア構成と同じである。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、設備画像特定部１５Ａの機能を実行することができる。
【００９９】
以上のように、実施の形態２にかかる画像処理システム１Ａの設備画像特定部１５Ａは、構造物画像５Ａ，５Ａ’における連結画像９の位置に基づく連結画像９の回転処理および反転処理のうち少なくとも１つの処理を含み、かかる処理が行われた連結画像９を設備画像として特定する。これにより、異常判定部１９は、設備画像特定部１５Ａによって特定された設備画像から設備４の異常を精度よく判定することができる。
【０１００】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【０１０１】
１，１Ａ  画像処理システム、２，２Ａ  走行型計測装置、３  トンネル、３ａ  内壁、４，４１〜４１４  設備、５，５Ａ，５Ａ’  構造物画像、６，６１〜６５，６Ａ，６Ａ１〜６Ａ５，６Ｂ，６Ｂ１〜６Ｂ５  領域画像、７，７１〜７５，７８，７９，７１２，７１３，７１６，７１７，７２０〜７２４  分割画像、８，８１〜８１４  設備部分画像、９  連結画像、１０  取得部、１１  画像情報記憶部、１２  画像分割部、１３  画像抽出部、１４  第１学習モデル生成部、１５，１５Ａ  設備画像特定部、１６  入力部、１７  特定領域抽出部、１８  設備情報記憶部、１９  異常判定部、２０  第２学習モデル生成部、２１  設備異常情報記憶部、２２  表示処理部、２３  表示部、３０，３０１，３０２，３０３，３０４  特定領域、３１，３１１，３１２，３１３，３１４  特定領域画像、５１，５１Ａ，５１Ｂ  撮像部。
【要約】
画像処理システム（１）は、画像分割部（１２）と、画像抽出部（１３）と、設備画像特定部（１５）と、を備える。画像分割部（１２）は、構造物に取り付けられた設備の画像を含む構造物の画像を、設備の全体を示す画像よりも小さなサイズの複数の画像へ分割する。画像抽出部（１３）は、画像分割部（１２）によって分割された複数の画像の中から設備の一部を示す画像を複数抽出する。設備画像特定部（１５）は、画像抽出部（１３）で抽出された複数の画像のうち画像分割部（１２）による分割前の位置が互いに隣接する位置にある２つ以上の画像を連結し、連結した２つ以上の画像を含む連結画像を設備の画像として特定する。【図１】
0006664574.tif 000002
【図２】
0006664574.tif 000003
【図３】
0006664574.tif 000004
【図４】
0006664574.tif 000005
【図５】
0006664574.tif 000006
【図６】
0006664574.tif 000007
【図７】
0006664574.tif 000008
【図８】
0006664574.tif 000009
【図９】
0006664574.tif 000010
【図１０】
0006664574.tif 000011
【図１１】
0006664574.tif 000012
【図１２】
0006664574.tif 000013
【図１３】
0006664574.tif 000014
【図１４】
0006664574.tif 000015
【図１５】
0006664574.tif 000016
【図１６】
0006664574.tif 000017
【図１７】
0006664574.tif 000018
【図１８】
0006664574.tif 000019
【図１９】
0006664574.tif 000020
【図２０】
0006664574.tif 000021
【図２１】
0006664574.tif 000022
【図２２】
0006664574.tif 000023
【図２３】
0006664574.tif 000024