(57)【要約】【課題】精度よく凹凸模様をもつ物体表面の摩耗を検出することができる。【解決手段】特徴抽出部２２４は、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、エッジ識別部２２８は、抽出された、パッチ画像の各々の特徴と、予め学習されたエッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、スコア算出部２３０は、パッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出する。【選択図】図２
2015197376.tif 000002
【特許請求の範囲】
【請求項１】
入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された、前記パッチ画像の各々の特徴と、予め学習された、パッチ画像が属するクラスとして、エッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、前記パッチ画像の各々について、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率を算出するエッジ識別手段と、
前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率に基づいて、前記検出対象物の摩耗度合いを評価するためのスコアを算出するスコア算出手段と、
を含む、摩耗検出装置。
【請求項２】
前記画像から前記検出対象物を表す画像領域を抽出する凹凸領域抽出手段を更に含み、
前記特徴抽出手段は、前記凹凸領域抽出手段により抽出された前記検出対象物を表す画像領域に含まれる画素の各々を中心とする前記パッチ画像の各々の特徴を抽出し、
前記スコア算出手段は、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率と、前記画像領域の面積とに基づいて、前記スコアを算出する請求項１記載の摩耗検出装置。
【請求項３】
前記画像領域のアスペクト比と、前記スコア算出手段により算出された前記スコアとに基づいて、凹凸検出スコアを算出する凹凸検出スコア手段を更に含む、請求項２記載の摩耗検出装置。
【請求項４】
入力される画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々の特徴に基づいて、局所的なエッジ形状を示すパッチ画像の各々を、エッジ形状が異なる複数のエッジクラスの何れか１つに分類するクラスタリング手段と、
前記画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々及び前記画像の非エッジ部分から得られる非エッジを示すパッチ画像の各々の特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により抽出された、局所的なエッジ形状を示すパッチ画像の各々の特徴、及び前記クラスタリング手段によって分類された、局所的なエッジ形状を示すパッチ画像の各々のエッジクラスと、前記特徴抽出手段により抽出された、非エッジを示すパッチ画像の各々の特徴とに基づいて、前記エッジ識別器のパラメータを学習するエッジ識別パラメータ学習手段と、を更に含む請求項１〜３の何れか１項記載の摩耗検出装置。
【請求項５】
特徴抽出手段と、エッジ識別手段と、スコア算出手段と、を含む摩耗検出装置であって、
前記特徴抽出手段は、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、
前記エッジ識別手段は、前記特徴抽出手段により抽出された、前記パッチ画像の各々の特徴と、予め学習された、パッチ画像が属するクラスとして、エッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、前記パッチ画像の各々について、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率を算出し、
前記スコア算出手段は、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率に基づいて、前記検出対象物の摩耗度合いを評価するためのスコアを算出する
摩耗検出方法。
【請求項６】
凹凸領域抽出手段が、前記画像から前記検出対象物を表す画像領域を抽出することを更に含み、
前記特徴抽出手段は、前記凹凸領域抽出手段により抽出された前記検出対象物を表す画像領域に含まれる画素の各々を中心とする前記パッチ画像の各々の特徴を抽出し、
前記スコア算出手段は、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率と、前記画像領域の面積とに基づいて、前記スコアを算出する請求項５記載の摩耗検出方法。
【請求項７】
凹凸検出スコア手段が、前記画像領域のアスペクト比と、前記スコア算出手段により算出された前記スコアとに基づいて、凹凸検出スコアを算出することを更に含む、請求項６記載の摩耗検出方法。
【請求項８】
コンピュータを、請求項１〜４の何れか１項記載の摩耗検出装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、摩耗検出装置、方法、及びプログラムに係り、特に、画像に写る凹凸模様を持つ物体表面の摩耗を検出するための摩耗検出装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
物体に彫られた凹凸模様の摩耗が問題となるケースとしてマンホール鉄蓋の摩耗があげられる。マンホールの鉄蓋には事故防止のため滑り止めの凹凸模様が彫られているが、経年劣化によってこうした模様が摩耗すると、雨に濡れた際などにスリップ事故を引き起こすことがある。こうした事故を未然に防ぐためには、摩耗したマンホール蓋を検出し、適宜交換する必要がある。
【０００３】
従来、摩耗したマンホール蓋検出を自動化するための効率的な手法は考案されておらず、目視によって参照画像との比較を行うか、凹凸の深さを実際に測定し基準値との比較を行っていた。
【０００４】
また、エッジの鮮明度やエッジ量を評価する手法としては、局所的な明度の勾配強度を用いる手法や画像の周波数解析によって高周波領域を鮮明とする手法などが知られている。
【０００５】
また、一般的なエッジ検出器であるＳｏｂｅｌ Ｆｉｌｔｅｒと既存の画像鮮明度指標であるＳ３（非特許文献１）がある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】C. T. Vu, T. D. Phan, and D. M. Chandler, “S3: A Spectral and Spatial Measure of Local Perceived Sharpness in Natural Images,” IEEE Trans. IP, vol. 21, no. 3, pp. 934−945, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
マンホール蓋の摩耗を効率的に点検することを考えた場合、何らかのセンサ情報によって摩耗度合を半自動的に判別できることが望ましい。特に、車道に設置されたマンホール蓋の場合は車の通行を止めずに遠隔から計測できることがコスト面、安全面から求められる。
【０００８】
また、マンホール蓋に代表されるような屋外における凹凸模様の検査では、照明条件の変動や砂や小石によるノイズなどの影響があるという問題がある。
【０００９】
本発明では、上記問題点を解決するために成されたものであり、検出対象物の摩耗度合いを精度よく評価することができる摩耗検出装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る摩耗検出装置は、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された、前記パッチ画像の各々の特徴と、予め学習された、パッチ画像が属するクラスとして、エッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、前記パッチ画像の各々について、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率を算出するエッジ識別手段と、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率に基づいて、前記検出対象物の摩耗度合いを評価するためのスコアを算出するスコア算出手段と、を含んで構成されている。
【００１１】
第２の発明に係る摩耗検出方法は、特徴抽出手段と、エッジ識別手段と、スコア算出手段と、を含む摩耗検出装置であって、前記特徴抽出手段は、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、前記エッジ識別手段は、前記特徴抽出手段により抽出された、前記パッチ画像の各々の特徴と、予め学習された、エッジ画像が属するクラスとして、エッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、前記パッチ画像の各々について、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率を算出し、前記スコア算出手段は、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率に基づいて、前記検出対象物の摩耗度合いを評価するためのスコアを算出する。
【００１２】
第１及び第２の発明によれば、特徴抽出手段により、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、エッジ識別手段により、抽出された、パッチ画像の各々の特徴と、予め学習された、エッジ画像が属するクラスとして、エッジ形状が異なる複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、スコア算出手段により、エッジ識別手段によりパッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出する。
【００１３】
このように、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、抽出された、パッチ画像の各々の特徴と、学習されたエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、パッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出することにより、検出対象物の摩耗度合いを精度よく評価することができる。
【００１４】
また、第１及び第２の発明において、前記画像から前記検出対象物を表す画像領域を抽出する凹凸領域抽出手段を更に含み、前記特徴抽出手段は、前記凹凸領域抽出手段により抽出された前記検出対象物を表す画像領域に含まれる画素の各々を中心とする前記パッチ画像の各々の特徴を抽出し、前記スコア算出手段は、前記エッジ識別手段により前記パッチ画像の各々について算出された、前記複数のエッジクラスの各々に属する確率、及び前記非エッジクラスに属する確率と、前記画像領域の面積とに基づいて、前記スコアを算出してもよい。
【００１５】
また、第１及び第２の発明において、前記画像領域のアスペクト比と、前記スコア算出手段により算出された前記スコアとに基づいて、凹凸検出スコアを算出する凹凸検出スコア手段を更に含んでもよい。
【００１６】
また、第１の発明において、入力される画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々の特徴に基づいて、局所的なエッジ形状を示すパッチ画像の各々を、エッジ形状が異なる複数のエッジクラスの何れか１つに分類するクラスタリング手段と、前記画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々及び前記画像の非エッジ部分から得られる非エッジを示すパッチ画像の各々の特徴を抽出する特徴抽出手段と、前記特徴抽出手段により抽出された、局所的なエッジ形状を示すパッチ画像の各々の特徴、及び前記クラスタリング手段によって分類された、局所的なエッジ形状を示すパッチ画像の各々のエッジクラスと、前記特徴抽出手段により抽出された、非エッジを示すパッチ画像の各々の特徴とに基づいて、前記エッジ識別器のパラメータを学習するエッジ識別パラメータ学習手段と、を更に含んでもよい。
【００１７】
また、本発明のプログラムは、コンピュータを、上記の摩耗検出装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の摩耗検出装置、方法、及びプログラムによれば、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、抽出された、パッチ画像の各々の特徴と、学習されたエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、パッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出することにより、検出対象物の摩耗度合いを精度よく評価することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係るパラメータ学習装置の機能的構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る摩耗検出装置の機能的構成を示すブロック図である。
【図３】凹凸領域抽出の例を示す図である。
【図４】本発明の第１の実施の形態に係るパラメータ学習装置におけるパラメータ学習処理ルーチンを示すフローチャート図である。
【図５】本発明の第１の実施の形態に係る摩耗検出装置における摩耗検出処理ルーチンを示すフローチャート図である。
【図６】凹凸摩耗度推定の例を示す図である。
【図７】他手法との比較の例を示す図である。
【図８】本発明の第２の実施の形態に係る摩耗検出装置の機能的構成を示すブロック図である。
【図９】本発明の第２の実施の形態に係る摩耗検出装置における摩耗検出処理ルーチンを示すフローチャート図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜本発明の原理＞
まず、本発明の原理について説明する。本発明では、凹凸模様の摩耗が進行すると、凹凸の角が丸くなる・段差が低くなるなど凹凸のエッジ部分に顕著な特徴が現れることから、凹凸模様中のエッジ部分に着目し、画像認識技術によってエッジ部分の変化を捉える。
【００２２】
エッジ部分の画像特徴に基づき、摩耗していないエッジの見た目をあらかじめ学習することによって、学習された識別器の出力に基づいた摩耗度合の評価を実現する。
【００２３】
しかし、単純に画像識別を行った場合、摩耗度合の評価において重要となる画像特徴は、エッジの向きによって大きく異なる。そこで、本発明では、学習に用いる画像に対してエッジに相当する画素の情報を加えることで、局所的なパッチ画像を入力として、パッチ画像内に摩耗していないエッジが存在するかどうかを識別すると同時にそのエッジがどのような形状を持っているかを判定する識別パラメータを学習する。
【００２４】
＜本発明の第１の実施の形態に係るパラメータ学習装置の構成＞
次に、本発明の第１の実施の形態に係るパラメータ学習装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係るパラメータ学習装置１００は、ＣＰＵと、ＲＡＭと、後述するパラメータ学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このパラメータ学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
【００２５】
入力部１０は、凹凸模様を有するマンホールの鉄蓋を撮影した、多数の訓練画像の各々を受け付ける。
【００２６】
演算部２０は、エッジ抽出部２２と、エッジ形状クラスタリング部２４と、パッチ抽出部２６と、特徴抽出部２８と、エッジ識別パラメータ学習部３０と、エッジ識別パラメータ記憶部３２と、を備えている。
【００２７】
エッジ抽出部２２は、入力部１０において受け付けた訓練画像毎に、エッジ部分の各々を抽出する。具体的には、第１の実施の形態においては、摩耗のない凹凸模様画像に対してｃａｒｒｙエッジ検出器などを適用した結果を用いて、訓練画像毎に、エッジ部分の各々を抽出する。
【００２８】
エッジ抽出部２２は、訓練画像の各々の抽出されたエッジ部分毎に、当該訓練画像の抽出された当該エッジ部分に沿って局所的なエッジ形状を示すパッチの各々を抽出する。具体的には、エッジ上にある任意の画素を中心とした任意サイズのパッチを設定し、パッチ内のエッジ画素を１、それ以外を０とするようなパッチ画像を生成し、局所的なエッジ形状を示すパッチ画像（以後、エッジパッチ画像とする。）とする。なお、１つの訓練画像中に大量のエッジ画素が存在するため、全体として抽出されるパッチ数は非常に多くなる。
【００２９】
エッジ形状クラスタリング部２４は、エッジ抽出部２２において抽出された、エッジパッチ画像の各々について、クラスタリングを行う。具体的には、エッジパッチ画像の各々について、パッチの微小な回転に頑健なＤＡＩＳＹ特徴を計算し、全てのエッジパッチ画像について計算された特徴に基づいて、ｋＭｅａｎｓクラスタリングを行うことによって、似た形状のエッジを示すエッジパッチ画像が同一のエッジクラスとなるようにクラスタリングを行う。なお、エッジクラス数は予め任意のクラス数が定められているものとする。
【００３０】
パッチ抽出部２６は、入力部１０において受け付けた訓練画像の各々について、エッジ抽出部２２において抽出したエッジ部分以外の、非エッジ部分上の任意の画素から非エッジを示すパッチ画像（以後、非エッジパッチ画像とする。）を一定数抽出し、当該非エッジパッチ画像の各々を非エッジクラスに属するものとして定義する。
【００３１】
特徴抽出部２８は、エッジ抽出部２２において抽出されたエッジパッチ画像の各々、及びパッチ抽出部２６において抽出された非エッジパッチ画像の各々の画像特徴を抽出する。第１の実施の形態においては、画像特徴としてＬＵＶ色空間での色情報、勾配情報、及びパッチを格子状に区切った自己相似に基づく特徴を抽出する。
【００３２】
エッジ識別パラメータ学習部３０は、エッジ形状クラスタリング部２４においてクラスタリングされたエッジパッチ画像の各々の属するエッジクラスと、特徴抽出部２８において抽出されたエッジパッチ画像の各々及び非エッジパッチ画像の各々の画像特徴とに基づいて、各エッジクラス及び非エッジクラスと対応するパッチ画像の画像特徴との関係性を表すエッジ識別器のパラメータを学習し、エッジ識別パラメータ記憶部３２に記憶すると共に、出力部９０に出力する。具体的には、識別するクラス数が多数となるためＲａｎｄｏｍＦｏｒｅｓｔのような高速に多クラス識別可能なアプローチを用いて、多数のパッチ画像と対応するエッジクラス情報又は非エッジクラス情報を入力としてＲａｎｄｏｍＦｏｒｅｓｔの識別器パラメータを推定する。
【００３３】
エッジ識別パラメータ記憶部３２は、エッジ識別パラメータ学習部３０により学習されたエッジ識別器のパラメータが記憶されている。
【００３４】
＜本発明の第１の実施の形態に係る摩耗検出装置の構成＞
次に、本発明の第１の実施の形態に係る摩耗検出装置の構成について説明する。図２に示すように、本発明の第１の実施の形態に係る摩耗検出装置２００は、ＣＰＵと、ＲＡＭと、後述する摩耗検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この摩耗検出装置２００は、機能的には図２に示すように入力部２１０と、演算部２２０と、出力部２９０とを備えている。
【００３５】
入力部２１０は、ユーザが撮影した凹凸模様を有するマンホールの鉄蓋の画像を受け付ける。
【００３６】
演算部２２０は、凹凸領域抽出部２２２と、特徴抽出部２２４と、エッジ識別パラメータ記憶部２２６と、エッジ識別部２２８と、スコア算出部２３０と、凹凸検出スコア部２３２と、を備えている。
【００３７】
凹凸領域抽出部２２２は、入力部１０において受け付けた画像について、摩耗度合を推定する対象となる画像領域（以後、対象領域とする。）を抽出する。具体的には、第１の実施の形態においては、図３に示すように、画像の周囲を背景領域として指定することで、ＧｒａｂＣｕｔ（非特許文献２：C. Rother, V. Kolmogorov, and A. Blake, “”GrabCut”: Interactive Foreground Extraction Using Iterated Graph Cuts,” ACM Trans. Graph., vol. 23, no. 3, pp. 309−314, 2004.）による前景抽出を適用し、対象領域を抽出する。
【００３８】
特徴抽出部２２４は、凹凸領域抽出部２２２により抽出された対象領域に含まれる画素の各々について、当該画素を中心とする一定サイズのパッチ画像を生成する。また、特徴抽出部２２４は、画素の各々について生成されたパッチ画像毎に、パラメータ学習装置１００の特徴抽出部２８において抽出した画像特徴と同様の画像特徴を抽出する。
【００３９】
エッジ識別パラメータ記憶部２２６は、パラメータ学習装置１００において学習されたエッジ識別器のパラメータが記憶されている。
【００４０】
エッジ識別部２２８は、特徴抽出部２２４において抽出されたパッチ画像の各々について、エッジ識別パラメータ記憶部２２６に記憶されているエッジ識別器のパラメータと、特徴抽出部２２４において抽出されたパッチ画像の各々の画像特徴とに基づいて、摩耗度合いを評価するためのスコアを算出する。第１の実施の形態においては、識別器としてＲａｎｄｏｍ  Ｆｏｒｅｓｔを用い、パッチ画像の各々について、パラメータ学習装置において定義されている各エッジクラスの各々に属する確率値、及び非エッジクラスに属する確率値を算出する。
スコア算出部２３０は、特徴抽出部２２４において抽出されたパッチ画像の各々について、エッジ識別部２２８により算出した各エッジクラスの各々に属する確率値を足し合わせ、摩耗のないエッジである確率値を算出し、摩耗度合いを評価するためのスコアとする。
【００４１】
また、スコア算出部２３０は、算出されたパッチ画像の各々の摩耗度合いを評価するためのスコアと、凹凸領域抽出部２２２により抽出された対象領域の面積とに基づいて、面積あたりのエッジ画素数を算出する。具体的には、第１の実施の形態においては、エッジ識別部２２８において算出されたパッチ画像の各々の摩耗度合いを評価するためのスコアを足し合わせ、足し合わせた結果を、凹凸領域抽出部２２２により抽出された対象領域の面積で割ることにより、面積あたりのエッジ画素数を算出する。
【００４２】
凹凸検出スコア部２３２は、スコア算出部２３０において算出された面積あたりのエッジ画素数ｘと、凹凸領域抽出部２２２により抽出された対象領域のアスペクト比ｒとに基づいて、下記（１）式に従って、凹凸検出スコアを算出する。なお、同様の大きさ・形の凹凸模様を対象とすることを仮定し、カメラの姿勢は対象領域のアスペクト比によって表現する。
【００４３】
【数１】
2015197376.tif 000003
【００４４】
ここで、係数ａ、ｂ、及びｃは予め定められている値であり、摩耗度合が既知のデータを用いて決めることができる。何らかの指標によってあらかじめ決めた摩耗度合をsとして、十分な数の訓練データに対して最小二乗法などの最適化法を適用することで最適な係数を得ることができる。
【００４５】
＜本発明の第１実施の形態に係るパラメータ学習装置の作用＞
次に、本発明の第１の実施の形態に係るパラメータ学習装置１００の作用について説明する。入力部１０において、多数の訓練画像を受け付けると、パラメータ学習装置１００は、図４に示すパラメータ学習処理ルーチンを実行する。
【００４６】
まず、ステップＳ１００では、入力部１０において受け付けた訓練画像毎に、エッジ部分の各々を抽出する。
【００４７】
次に、ステップＳ１０２では、ステップＳ１００において取得したエッジ部分の各々に基づいて、当該エッジ部分に沿って局所的なエッジ形状を示すパッチの各々を抽出し、エッジパッチ画像とする。
【００４８】
次に、ステップＳ１０４では、ステップＳ１０２において取得したエッジパッチ画像の各々について、ＤＡＩＳＹ特徴を計算し、全てのエッジパッチ画像について計算された特徴に基づいて、ｋＭｅａｎｓクラスタリングを行うことによって、似た形状のエッジを示すエッジパッチ画像が同一のエッジクラスとなるようにクラスタリングを行って、エッジパッチ画像の各々について、何れか１つのエッジクラスに分類する。
【００４９】
次に、ステップＳ１０６では、入力部１０において受け付けた訓練画像毎に、非エッジパッチ画像を一定数抽出し、当該非エッジパッチ画像の各々を非エッジクラスに属すると定義する。
【００５０】
次に、ステップＳ１０８では、ステップＳ１０２において取得したエッジパッチ画像の各々と、ステップＳ１０６において取得した非エッジパッチ画像の各々とについて、画像特徴を抽出する。
【００５１】
次に、ステップＳ１１０では、ステップＳ１０４において取得したエッジパッチ画像の各々の属するエッジクラスと、ステップＳ１０８において取得したエッジパッチ画像の各々及び非エッジパッチ画像の各々の画像特徴とに基づいて、エッジ識別器のパラメータを学習すると共に、エッジ識別パラメータ記憶部３２に記憶する。
【００５２】
次に、ステップＳ１１２では、ステップＳ１１０において取得したエッジ識別器のパラメータを出力部９０に出力してパラメータ学習処理ルーチンを終了する。
【００５３】
＜本発明の第１実施の形態に係る摩耗検出装置の作用＞
次に、本発明の第１の実施の形態に係る摩耗検出装置２００の作用について説明する。入力部２１０において、ユーザが撮影した凹凸模様を有するマンホールの鉄蓋の画像を受け付けると、摩耗検出装置２００は、図５に示す摩耗検出処理ルーチンを実行する。
【００５４】
まず、ステップＳ２００では、エッジ識別パラメータ記憶部２２６に記憶されている、パラメータ学習装置１００において上記ステップＳ１１０において学習されたエッジ識別器のパラメータを読み込む。
【００５５】
次に、ステップＳ２０２では、入力部２１０において受け付けた画像から、対象領域を抽出する。
【００５６】
ステップＳ２０４では、ステップＳ２０２において取得した対象領域に含まれる画素の各々についてパッチ画像を生成する。
【００５７】
次に、ステップＳ２０６では、ステップＳ２０４において取得したパッチ画像の各々について、パラメータ学習装置１００において上記ステップＳ１１０と同じ画像特徴を抽出する。
【００５８】
次に、ステップＳ２０８では、ステップＳ２０４において取得したパッチ画像の各々について、ステップＳ２００において取得したエッジ識別器のパラメータと、ステップＳ２０６において取得したパッチ画像の各々の画像特徴とに基づいて、各エッジクラス及び非エッジクラスの各々に属する確率を算出する。
【００５９】
次に、ステップＳ２１０では、ステップＳ２０４において取得したパッチ画像の各々について、ステップＳ２０８において取得したパッチ画像の各々の各エッジクラスの各々に属する確率を足し合わせて、摩耗のないエッジの確率を算出し、摩耗度合いを評価するためのスコアとする。
【００６０】
次に、ステップＳ２１２では、ステップＳ２０２において取得した対象領域の面積と、ステップＳ２１０において取得したパッチ画像の各々についての摩耗度合いを評価するためのスコアとに基づいて、面積あたりのエッジ画素数を算出する。
【００６１】
次に、ステップＳ２１４では、ステップＳ２０２において取得した対象領域のアスペクト比と、ステップＳ２１２において取得した面積あたりのエッジ画素数と、予め定められている定数ａ、ｂ、及びｃとに基づいて、凹凸検出スコアを算出する。
【００６２】
次に、ステップＳ２１６では、ステップＳ２１４において取得した凹凸検出スコアを、入力部２１０において受け付けた画像のスコアとして出力部２９０に出力して、摩耗検出処理ルーチンを終了する。
【００６３】
＜実験結果＞
本実験結果においては、本発明と同様に境界線の形状クラスタに応じて境界識別を行うＬｉｍらの境界検出手法（非特許文献３：J. Lim, C. Zitnick, and P. Dollar, “Sketch Tokens: A Learned Mid-level Representation for Contour and Object Detection,” in CVPR, 2013, pp. 3158−3165）をベースとして、用いる画像特徴や識別器の学習・適用方法などを決定した。
【００６４】
凹凸領域抽出にはGrabCut（非特許文献２）を用いた。図６は、検出対象となるマンホール鉄蓋の画像と凹凸検出スコアを示す画像の組み合わせを健全な例と摩耗した例について示している。マンホール蓋が摩耗することで、凹凸検出スコアが低下していることがわかる。また、図７はマンホール蓋の画像１１９枚に対して識別器出力値とアスペクト比をプロットしたものを示している。目視によって判定したマンホール蓋の摩耗度合を記号で示しており、縦軸に検出スコア、横軸に領域のアスペクト比をとっている。比較対象として、一般的なエッジ検出器であるＳｏｂｅｌ Ｆｉｌｔｅｒと既存の画像鮮明度指標であるＳ３（非特許文献１）を試しているが、各手法に比べて本発明による検出スコアがより目視による判定との相関性が高いことがうかがえる。
【００６５】
以上説明したように、本発明の第１の実施の形態に係るパラメータ学習装置によれば、入力される画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々の特徴に基づいて、局所的なエッジ形状を示すパッチ画像の各々を、エッジ形状が異なる複数のエッジクラスの何れか１つに分類し、抽出された、局所的なエッジ形状を示すパッチ画像の各々の特徴、及び分類された、局所的なエッジ形状を示すパッチ画像の各々のエッジクラスと、抽出された、非エッジを示すパッチ画像の各々の特徴とに基づいて、パッチ画像が属するクラスとして、複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータを学習することによって、精度よく凹凸模様をもつ物体表面の摩耗を検出することができるパラメータを学習することができる。
【００６６】
また、本発明の第１の実施の形態に係る摩耗検出装置によれば、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、抽出された、パッチ画像の各々の特徴と、学習されたエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、パッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出することにより、精度よく凹凸模様をもつ物体表面の摩耗を検出することができる。
【００６７】
また、凹凸模様の摩耗による劣化を画像データに基づいて行い、写真撮影によって遠隔から自動的に摩耗度合を計測することにより、低コストかつ熟練者のノウハウに依らないマンホール蓋の点検をすることができる。
【００６８】
また、画像から凹凸模様の摩耗度合を評価し数値化することができる。これによって、特にマンホール蓋の摩耗による劣化を検出したい検査者は、カメラ撮影によって遠隔から摩耗した物品を検出することができる。また、カメラ撮影手順を固定カメラや車載カメラなどによって自動化できれば、完全に自動化されたマンホール蓋点検をすることができる。
【００６９】
また、面積あたりの識別出力値に加えて凹凸模様を撮影するカメラの姿勢を考慮することで撮影角度によらず精度の高い検出をすることができる。
【００７０】
また、エッジ識別部を有しており、境界線らしさと画像テクスチャとの関係性が学習された識別モデルを用いるため、比較的外乱に強く頑健な摩耗度合の評価を実現することができる。また、識別におけるアプローチに関して、凹凸模様の摩耗は局所的に発生する現象であるため局所的な画像パッチによる識別が有効であるが、本発明では凹凸模様の局所的な形状を考慮し、エッジ形状の識別を同時に行うことで、さらに高精度・頑健な摩耗度合の評価を実現することができる。
【００７１】
また、上述のように識別パラメータを学習することによって、エッジの形状毎にその摩耗度合と画像特徴との関係性が評価され、より精度の高い識別結果を得ることができる。また、機械学習によって識別パラメータを獲得するため、十分に多様な訓練画像を用意することで、照明変動や環境変動に頑健な摩耗度合の指標を得ることができる。
【００７２】
また、凹凸領域検出部を備えることにより、マンホール蓋の凹凸領域部分のみを検出し、凹凸摩耗度を推定することで、ノイズによる精度劣化を低減している。さらに、本発明では、スコア算出部がマンホール鉄蓋領域に対応する凹凸領域のアスペクト比に基づいて凹凸摩耗度を補正することで、撮影角度によらない凹凸摩耗度の算出をすることができる。
【００７３】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７４】
例えば、第１の実施の形態においては、訓練画像は対象の凹凸模様に関する画像を用いる場合について説明したが、これに限定されるものではなく、図６の実施例に示すように、自然画像の境界線画像を訓練画像として用いてもよい。当該訓練画像をもちいても、マンホールの鉄蓋の凹凸を評価することができる。そのため、対象とする凹凸模様に関して個別の学習をする必要はない。
【００７５】
また、第１の実施の形態においては、画像全体についてエッジ確率を足し合わせる場合について説明したが、これに限定されるものではなく。例えば、凹凸領域における面積あたりのエッジ画素数をみることで、部分的な凹凸模様の劣化を検出してもよい。当該方法においても高い精度で部分的な凹凸模様の劣化を検出することができる。
【００７６】
また、第１の実施の形態においては、クラスタリングを行う際に、ＤＡＩＳＹ特徴用いる場合について説明したが、これに限定されるものではなく。例えば、ＧｅｏｍｅｔｒｉｃＢｌｕｒ特徴を用いてもよい。
【００７７】
また、第１の実施の形態においては、画像特徴としてＬＵＶ色空間での色情報、勾配情報、及びパッチを格子状に区切った自己相似に基づく特徴を抽出する場合について説明したが、これに限定されるものではない。例えば、任意の画像特徴を用いてもよい。
【００７８】
また、第１の実施の形態においては、対象領域を抽出する際にＧｒａｂＣｕｔを用いる場合について説明したが、これに限定されるものではない。例えば、ＧＵＩを用いてユーザが対象領域を選択してもよく、また、凹凸模様の形状（円、四角形やロゴといった特徴的な部分）を既知として、凹凸領域を検出することや、各種物体検出手法を応用して、対象領域を抽出してもよい。
【００７９】
また、第１の実施の形態においては、パラメータ学習装置において学習されたエッジ識別器のパラメータを摩耗検出装置において用いる場合について説明したが、これに限定されるものではない。例えば、パラメータ学習装置の各部を、摩耗検出装置が更に含むように構成し、当該摩耗検出装置において、エッジ識別器のパラメータを学習し、当該学習されたエッジ識別器のパラメータを摩耗検出装置において用いてもよい。
【００８０】
次に、第２の実施の形態に係るパラメータ学習装置、及び摩耗検出装置について説明する。
【００８１】
第２の実施の形態に係るパラメータ学習装置、及び摩耗検出装置においては、摩耗のないエッジである確率値について閾値処理を行いエッジ画素を特定している点が第１の実施形態に係るパラメータ学習装置、及び摩耗検出装置と異なる。なお、第１の実施の形態に係るパラメータ学習装置１００、及び摩耗検出装置２００と同様の構成及び作用については、同一の符号を付して説明を省略する。
【００８２】
＜本発明の第２の実施の形態に係る摩耗検出装置の構成＞
次に、本発明の第２の実施の形態に係る摩耗検出装置の構成について説明する。図８に示すように、本発明の第２の実施の形態に係る摩耗検出装置３００は、ＣＰＵと、ＲＡＭと、後述する摩耗検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この摩耗検出装置３００は、機能的には図８に示すように入力部２１０と、演算部３２０と、出力部２９０とを備えている。
【００８３】
演算部３２０は、凹凸領域抽出部２２２と、特徴抽出部２２４と、エッジ識別パラメータ記憶部２２６と、エッジ識別部２２８と、スコア算出部３３０と、凹凸検出スコア部２３２と、を備えている。
【００８４】
スコア算出部３３０は、特徴抽出部２２４において抽出されたパッチ画像の各々について、エッジ識別部２２８により算出した各エッジクラスの各々に属する確率値を足し合わせ、摩耗のないエッジである確率値を算出し、摩耗度合いを評価するためのスコアとする。スコア算出部３３０は、算出されたパッチ画像の各々の摩耗度合いを評価するためのスコアと、凹凸領域抽出部２２２により抽出された対象領域の面積とに基づいて、面積あたりのエッジ画素数を算出する。
【００８５】
具体的には、第２の実施の形態においては、算出されたパッチ画像の各々の摩耗度合いを評価するためのスコアを用いて、Ｎｏｎ−Ｍａｘｉｍａｌ Ｓｕｐｐｒｅｓｓｉｏｎによる細線化を行う。次に、細分化の結果に基づいて、各パッチ画像について閾値処理を行い、パッチ画像の各々の摩耗度合いを評価するためのスコアが予め定められた閾値を超えたパッチ画像についてのみエッジパッチ画像とみなす。
【００８６】
そして、エッジパッチ画像とみなされた数を対象領域の面積で割ることにより、面積あたりのエッジ画素数を算出する。なお、閾値の設定については、データ毎に適応的に決定することもできる。凹凸模様に現れるエッジの量は十分に低解像度の画像においては、摩耗度合によらず一定量であることが期待されることから、低解像度の画像において模様によって決まる一定量のエッジが検出される閾値を探すことで、入力画像毎に適切な閾値を決めることができる。
【００８７】
＜本発明の第２実施の形態に係る摩耗検出装置の作用＞
次に、本発明の第２の実施の形態に係る摩耗検出装置３００の作用について説明する。入力部２１０において、ユーザが撮影した凹凸模様を有するマンホールの鉄蓋の画像を受け付けると、摩耗検出装置３００は、図９に示す摩耗検出処理ルーチンを実行する。
【００８８】
ステップＳ３１２では、ステップＳ２０２において取得した対象領域の面積と、ステップＳ２１０において取得したパッチ画像の各々についての摩耗度合いを評価するためのスコアと、予め定められた閾値とに基づいて、面積あたりのエッジ画素数を算出する。
【００８９】
以上説明したように、本発明の第２の実施の形態に係るパラメータ学習装置によれば、入力される画像のエッジ部分から得られる局所的なエッジ形状を示すパッチ画像の各々の特徴に基づいて、局所的なエッジ形状を示すパッチ画像の各々を、エッジ形状が異なる複数のエッジクラスの何れか１つに分類し、抽出された、局所的なエッジ形状を示すパッチ画像の各々の特徴、及び分類された、局所的なエッジ形状を示すパッチ画像の各々のエッジクラスと、抽出された、非エッジを示すパッチ画像の各々の特徴とに基づいて、パッチ画像が属するクラスとして、複数のエッジクラス及び非エッジクラスの何れか１つを識別するためのエッジ識別器のパラメータを学習することによって、精度よく凹凸模様をもつ物体表面の摩耗を検出することができるパラメータを学習することができる。
【００９０】
また、本発明の第２の実施の形態に係る摩耗検出装置によれば、入力された、検出対象物を表す画像に含まれる画素の各々を中心とする予め定められたサイズのパッチ画像の各々の特徴を抽出し、抽出された、パッチ画像の各々の特徴と、学習されたエッジ識別器のパラメータと、に基づいて、パッチ画像の各々について、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率を算出し、パッチ画像の各々について算出された、複数のエッジクラスの各々に属する確率、及び非エッジクラスに属する確率に基づいて、検出対象物の摩耗度合いを評価するためのスコアを算出することにより、精度よく凹凸模様をもつ物体表面の摩耗を検出することができる。
【００９１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９２】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００９３】
１０   入力部
２０   演算部
２２   エッジ抽出部
２４   エッジ形状クラスタリング部
２６   パッチ抽出部
２８   特徴抽出部
３０   エッジ識別パラメータ学習部
３２   エッジ識別パラメータ記憶部
９０   出力部
１００ パラメータ学習装置
２００ 摩耗検出装置
２１０ 入力部
２２０ 演算部
２２２ 凹凸領域抽出部
２２４ 特徴抽出部
２２６ エッジ識別パラメータ記憶部
２２８ エッジ識別部
２３０ スコア算出部
２３２ 凹凸検出スコア部
２９０ 出力部
３００ 摩耗検出装置
３２０ 演算部
３３０ スコア算出部
【図１】
2015197376.tif 000004
【図２】
2015197376.tif 000005
【図４】
2015197376.tif 000006
【図５】
2015197376.tif 000007
【図８】
2015197376.tif 000008
【図９】
2015197376.tif 000009
【図３】
2015197376.tif 000010
【図６】
2015197376.tif 000011
【図７】
2015197376.tif 000012