(57)【要約】  亀裂を有する構造物を検査する検査装置（１２０）は、構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物の複数の画像を取得する取得部（１２１）と、複数の画像の各々において構造物の表面上の亀裂を検出する亀裂検出部（１２２）と、複数の画像において、検出された亀裂の所定位置を基準として構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部（１２３）と、亀裂に対して対称な位置間における動きベクトルの差異に基づいて、構造物の安全性を判定する検査部（１２４）と、を備える。
2019163556.tif 000002
【特許請求の範囲】
【請求項１】
亀裂を有する構造物を検査する検査装置であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、
前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部と、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える、
検査装置。
【請求項２】
前記検査部は、
前記亀裂の方向を算出し、
算出された前記亀裂の方向に延びる前記亀裂上の線に対して線対称な位置を、前記亀裂に対して対称な位置として決定する、
請求項１に記載の検査装置。
【請求項３】
前記検査部は、前記動きベクトルの差異に基づいて前記亀裂の幅の変化量を推定し、推定された前記幅の変化量に基づいて、前記構造物の安全性を判定する、
請求項１又は２に記載の検査装置。
【請求項４】
さらに、導出された前記複数の動きベクトルの主成分分析を行うことにより、前記複数の動きベクトルから複数の主成分を抽出する抽出部を備え、
前記検査部は、抽出された前記複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、前記構造物の安全性を判定する、
請求項１〜３のいずれか１項に記載の検査装置。
【請求項５】
前記取得部は、さらに、前記複数の画像よりも時間的に前に撮影された参照画像を取得し、
前記亀裂検出部は、さらに、前記参照画像において前記構造物の表面上の亀裂を検出し、
前記検査部は、さらに、前記参照画像と前記複数の画像のいずれかとの間の亀裂の変化量に基づいて、前記構造物の安全性を判定する、
請求項１〜４のいずれか１項に記載の検査装置。
【請求項６】
さらに、前記複数の画像を撮影する撮影部を備える、
請求項１〜５のいずれか１項に記載の検査装置。
【請求項７】
前記所定位置は先端である、
請求項１〜６のいずれか１項に記載の検査装置。
【請求項８】
亀裂を有する構造物を検査する検査方法であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得し、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出し、
前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出し、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する、
検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、外部から付加される荷重が変化する構造物の検査に関する。
【背景技術】
【０００２】
移動体の通過等により荷重が変化する構造物（例えば橋など）は、時間とともに劣化したときに崩落又は崩壊の可能性が増加する。つまり、経年劣化に伴って構造物の安全性が低下する。構造物の劣化による崩落又は崩壊を防ぐためには、構造物を定期的に検査し、必要に応じて補修及び補強を行う必要がある。【０００３】
このような構造物の定期的な検査の１つとして、外観検査がある。外観検査では、構造物の外部の状態が評価され、補修及び補強の必要性あるいは精密検査の必要性などが判断される。【０００４】
一般的に、構造物の外観検査は、検査員の目視により行われることが多い。しかしながら、目視検査では、検査員の主観に依存するため客観的な検査結果を得ることが難しく、長時間の検査が必要となる。【０００５】
特許文献１では、外観検査を自動化し、客観的な検査結果を得るために、カメラを通して得た構造物の原映像から亀裂幅を測定する技術が公開されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１３９２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、亀裂の幅は微小であり、その時間変化も微小である。したがって、亀裂の幅から構造物を検査することは難しい。【０００８】
そこで、本開示は、構造物の検査時間の低減及び検査精度の向上を図ることができる検査装置及び検査方法を提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る検査装置は、亀裂を有する構造物を検査する検査装置であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部と、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える。【００１０】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示の一態様に係る検査装置は、構造物の検査時間の低減及び検査精度の向上を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１に係る検査システムの構成例を示す外観図である。
【図２】図２は、実施の形態１に係る検査装置の機能構成を示すブロック図である。
【図３】図３は、実施の形態１に係る検査装置の処理の全体像を示すフローチャートである。
【図４】図４は、実施の形態１における複数の画像の一例を示す図である。
【図５】図５は、実施の形態１において画像内の亀裂を説明するための図である。
【図６】図６は、実施の形態１において亀裂周辺の動きベクトルを説明するための図である。
【図７】図７は、実施の形態１に係る検査装置の安全性の判定処理を示すフローチャートである。
【図８】図８は、実施の形態１において安全性の判定処理を説明するための拡大図である。
【図９】図９は、実施の形態２に係る検査装置の機能構成を示すブロック図である。
【図１０】図１０は、実施の形態２に係る検査装置の処理の全体像を示すフローチャートである。
【図１１】図１１は、実施の形態３に係る検査装置の機能構成を示すブロック図である。
【図１２】図１２は、実施の形態３に係る検査装置の処理の全体像を示すフローチャートである。
【図１３】図１３は、実施の形態３における参照画像及び複数の画像の一例を示す図である。
【図１４】図１４は、実施の形態３に係る検査装置の安全性の判定処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１３】
（本開示の概要）
本開示の一態様に係る検査装置は、亀裂を有する構造物を検査する検査装置であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部と、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える。
【００１４】
これによれば、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することができる。亀裂の伸展は、亀裂周辺の応力に依存し、特に亀裂に掛かる応力に依存する。したがって、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することで、亀裂の伸展による構造物の安全性の低下をより正確に判定することができ、検査の精度を向上させることができる。さらに、画像から構造物の安全性を判定することができるため、目視検査を省略することもでき、検査時間の低減を図ることもできる。
【００１５】
また、本開示の一態様に係る検査装置において、前記検査部は、前記亀裂の方向を算出し、算出された前記亀裂の方向に延びる前記亀裂上の線に対して線対称な位置を、前記亀裂に対して対称な位置として決定してもよい。
【００１６】
これによれば、算出された亀裂の方向に延びる亀裂上の線に対して線対称な位置を、亀裂に対して対称な位置として決定することができる。したがって、亀裂に垂直な方向に亀裂を挟む位置間の動きベクトルの差異を安全性の判定に用いることができ、亀裂の伸展による構造物の安全性の低下をより正確に判定することができる。
【００１７】
また、本開示の一態様に係る検査装置において、前記検査部は、前記動きベクトルの差異に基づいて前記亀裂の幅の変化量を推定し、推定された前記幅の変化量に基づいて、前記構造物の安全性を判定してもよい。
【００１８】
これによれば、推定された亀裂の幅の変化量に基づいて、構造物の安全性を判定することができる。構造物に掛かる荷重が変化しているときの亀裂の幅の変化量は、亀裂の伸展に対する影響が大きいが、微小であるため画像から直接的に導出することは難しい。そこで、亀裂に対して対称な位置間における動きベクトルの差異に基づいて推定された亀裂の幅の変化量を用いることで、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。
【００１９】
また、本開示の一態様に係る検査装置において、さらに、導出された前記複数の動きベクトルの主成分分析を行うことにより、前記複数の動きベクトルから複数の主成分を抽出する抽出部を備え、前記検査部は、抽出された前記複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、前記構造物の安全性を判定してもよい。
【００２０】
これによれば、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定することができる。したがって、動きベクトルからノイズ成分を除去することができ、さらに、構造物の検査の精度を向上させることができる。
【００２１】
また、本開示の一態様に係る検査装置において、前記取得部は、さらに、前記複数の画像よりも時間的に前に撮影された参照画像を取得し、前記亀裂検出部は、さらに、前記参照画像において前記構造物の表面上の亀裂を検出し、前記検査部は、さらに、前記参照画像と前記複数の画像のいずれかとの間の亀裂の変化量に基づいて、前記構造物の安全性を判定してもよい。
【００２２】
これによれば、動きベクトルの差異に加えて、複数の画像よりも前に撮影された参照画像と複数の画像のいずれかとの亀裂の変化量に基づいて、構造物の安全性を判定することができる。したがって、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。
【００２３】
また、本開示の一態様に係る検査装置において、さらに、前記複数の画像を撮影する撮影部を備えてもよい。
【００２４】
これによれば、検査装置に撮影部を備えることができ、構造物の検査を簡易に行うことができる。
【００２５】
また、本開示の一態様に係る検査装置において、前記所定位置は先端であってもよい。
【００２６】
これによれば、亀裂の先端を基準として構造物の表面の局所的な動き推定を行うことができる。したがって、亀裂に近い特徴的な位置を基準とすることができ、亀裂周辺の動きをより精細に推定することができる。
【００２７】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００２８】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００２９】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００３０】
（実施の形態１）
［検査システムの構成］
まず、実施の形態１に係る検査システムの構成例について図１を参照しながら具体的に説明する。図１は、実施の形態１に係る検査システムの構成例を示す外観図である。検査システム１００は、撮像装置１１０と検査装置１２０とを備える。
【００３１】
撮像装置１１０は、例えばイメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置１１０は、構造物９９の画像を経時的に撮影する。具体的には、撮像装置１１０は、構造物９９に掛かる荷重が変化しているときに、構造物の複数の画像を撮影する。例えば構造物９９が鉄道橋であれば、列車が鉄道橋を走行しているときに複数の画像が撮影される。
【００３２】
複数の画像は、構造物９９の同じ部分の画像であり、互いに異なる時刻に撮影された画像である。具体的には、複数の画像は、例えば映像に含まれる複数のフレームである。また、構造物９９の部分としては、例えば予め表面に亀裂が生じている部分が利用される。
【００３３】
検査装置１２０は、例えばコンピュータであり、プロセッサ（図示せず）と、ソフトウェアプログラム又はインストラクションが格納されたメモリ（図示せず）と、を備える。プロセッサがソフトウェアプログラムを実行することによって、検査装置１２０は、後述する複数の機能を実現する。また、検査装置１２０は、専用の電子回路（図示せず）で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された１つの電子回路で実現されてもよい。
【００３４】
検査装置１２０は、撮像装置１１０と通信可能に接続され、撮像装置１１０によって撮影された複数の画像に基づいて構造物９９の検査を行う。本実施の形態において、構造物９９の検査とは、構造物９９の表面上の亀裂を評価し、構造物９９の安全性又は危険性を判定することを意味する。安全性又は危険性の判定の具体例としては、例えば亀裂周辺の詳細点検の必要性の判定、今後のモニタリングの時期及び間隔の見直し、及び、補修の必要性の判定などがある。
【００３５】
［検査装置の機能構成］
次に、実施の形態１に係る検査装置１２０の機能構成について図２を参照しながら説明する。図２は、実施の形態１に係る検査装置１２０の機能構成を示すブロック図である。図２に示すように、検査装置１２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、検査部１２４と、を備える。
【００３６】
取得部１２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像を取得する。例えば、取得部１２１は、撮像装置１１０から無線通信によって複数の画像を取得する。また例えば、取得部１２１は、着脱可能なメモリ（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ）を介して撮像装置１１０から複数の画像を取得してもよい。
【００３７】
亀裂検出部１２２は、複数の画像の各々において構造物９９の表面上の亀裂を検出する。亀裂の検出方法は、特に限定されないが、例えばエッジ検出を用いることができる。
【００３８】
動き推定部１２３は、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する。動き推定方法は、特に限定されないが、例えばブロックマッチングを用いることができる。
【００３９】
この場合、例えば、動き推定部１２３は、画像毎に、予め定められたサイズのブロック（例えば８ｘ８画素又は１６ｘ１６画素など）に分割する。そして、動き推定部１２３は、ブロック毎に、当該ブロックに類似するブロックを、当該ブロックを含む画像と時間的に隣接する画像内で探索する。以下において、当該ブロックをカレントブロックと呼び、カレントブロックに類似するブロックを類似ブロックと呼ぶ。さらに、カレントブロックを含む画像をカレント画像と呼び、カレント画像に時間的に隣接する画像を隣接画像と呼ぶ。
【００４０】
動き推定部１２３は、カレント画像における亀裂の先端に対するカレントブロックの相対位置と、隣接画像における亀裂の先端に対する類似ブロックの相対位置と、の間の位置関係に基づいて、カレントブロックの動きベクトルを導出する。なお、動きベクトルを算出するための参照画像は、隣接画像に限定される必要はなく、カレント画像に隣接しない画像が参照画像として用いられてもよい。
【００４１】
検査部１２４は、亀裂に対して対称な位置間における動きベクトルの差異に基づいて、構造物の安全性を判定する。亀裂に対して対称な位置とは、亀裂を基準として空間的に対称な位置を意味する。具体例については図面を用いて後述する。
【００４２】
［検査装置の処理］
次に、以上のように構成された検査装置１２０における各種処理について説明する。
【００４３】
［検査処理の全体像］
まず、検査装置の処理の全体像を図３〜図６を参照しながら具体的に説明する。図３は、実施の形態１に係る検査装置１２０の処理の全体像を示すフローチャートである。図４は、実施の形態１における複数の画像の一例を示す図である。図５は、実施の形態１において画像内の亀裂を説明するための図である。図６は、実施の形態１において亀裂周辺の動きベクトルを説明するための図である。
【００４４】
まず、取得部１２１は、撮像装置１１０によって撮影された構造物９９の複数の画像を取得する（Ｓ１０１）。例えば、図４に示すように、取得部１２１は、構造物の同じ部分を含み、互いに異なる時刻に撮影された画像１１〜１４を取得する。
【００４５】
亀裂検出部１２２は、複数の画像の各々において亀裂を検出する（Ｓ１０２）。例えば、図５に示すように、亀裂検出部１２２は、画像１１において亀裂２１を検出する。
【００４６】
動き推定部１２３は、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する（Ｓ１０３）。例えば、動き推定部１２３は、画像１１と画像１２との間でブロックマッチングを行うことにより、図６に示すように、画像１１内の亀裂２１の先端２２を基準とした動きベクトル２３を導出する。具体的には、動き推定部１２３は、亀裂の先端を原点として画像１１及び画像１２の各々の画素の座標を決定し、決定された座標を用いて表現された動きベクトル２３を導出する。
【００４７】
検査部１２４は、亀裂に対して対称な位置間における動きベクトルの差異に基づいて、構造物の安全性を判定する（Ｓ１０４）。この処理の詳細については、図７を用いて後述する。
【００４８】
最後に、検査部１２４は、判定結果を出力する（Ｓ１０５）。例えば、検査部１２４は、ディスプレイ（図示せず）に判定結果を表示する。また例えば、検査部１２４は、他の装置（例えばスマートフォン又はタブレットコンピュータなど）に判定結果を送信してもよい。
【００４９】
［安全性の判定処理の詳細］
次に、構造物９９の安全性の判定処理（図３のステップＳ１０４）の詳細について図７を参照しながら具体的に説明する。図７は、実施の形態１に係る検査装置１２０の安全性の判定処理を示すフローチャートである。図８は、実施の形態１において安全性の判定処理を説明するための拡大図である。
【００５０】
まず、検査部１２４は、取得された複数の画像の中から未選択の画像を選択する（Ｓ１１１）。例えば、検査部１２４は、図４の画像１１〜１４の中から時間順に画像（例えば最初の画像１１）を選択する。
【００５１】
検査部１２４は、亀裂上の複数の画素の中から画素を選択する（Ｓ１１２）。例えば、検査部１２４は、図８において、予め定められた画素間隔で、亀裂２１の先端２２から順番に亀裂２１上の画素を選択する。
【００５２】
検査部１２４は、選択された画素における亀裂の方向を算出する（Ｓ１１３）。検査部１２４は、例えば図８において、選択された画素及びその近傍の亀裂２１上の画素に基づいて、亀裂２１の方向３１を算出する。
【００５３】
検査部１２４は、算出された方向に延びる亀裂上の線に対して線対称な位置にある２つの領域を決定する（Ｓ１１４）。例えば、検査部１２４は、図８において、選択された亀裂２１の先端２２の画素に隣接する所定の大きさの２つの領域３２、３３であって、亀裂２１の方向３１に垂直な方向に隣り合う２つの領域３２、３３を決定する。この２つの領域３２、３３は、亀裂に対して対称な領域（位置）の一例である。
【００５４】
検査部１２４は、決定された領域３２及び領域３３の２つの領域の動きを算出する（Ｓ１１５）。そして、検査部１２４は、２つの領域間の動きベクトルの差異を算出する（Ｓ１１６）。例えば、検査部１２４は、２つの領域３２、３３の各々について、領域に含まれる動きベクトルの算術的な代表動きベクトル（例えば平均動きベクトル、最大動きベクトルなど）を算出する。そして、検査部１２４は、領域３２の代表動きベクトルと、領域３３の代表動きベクトルとの間の差分動きベクトルを算出する。
【００５５】
検査部１２４は、亀裂上の画素の選択が終了したか否かを判定する（Ｓ１１７）。ここで、亀裂上の画素の選択が終了していないと判定された場合（Ｓ１１７のＮｏ）、ステップＳ１１２に戻る。一方、亀裂上の画素の選択が終了したと判定された場合（Ｓ１１７のＹｅｓ）、検査部１２４は、画像の選択が終了したか否かを判定する（Ｓ１１８）。ここで、画像の選択が終了していないと判定された場合（Ｓ１１８のＮｏ）、ステップ１１１に戻る。一方、画像の選択が終了したと判定された場合（Ｓ１１８のＹｅｓ）、検査部１２４は、ステップＳ１１５で算出された動きベクトルの差異に基づいて、構造物９９の安全性を判定する（Ｓ１１９）。例えば、画像１１〜１３における差分動きベクトルの大きさの算術的な代表値（例えば平均値又は中央値など）が予め定められた閾値より大きい場合に、検査部１２４は、構造物９９の安全性が低いと判定し、そうでない場合に構造物９９の安全性が高いと判定する。
【００５６】
［効果等］
以上のように、本実施の形態に係る検査装置１２０によれば、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することができる。亀裂の伸展は、亀裂周辺の応力に依存し、特に亀裂に掛かる応力に依存する。したがって、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することで、亀裂の伸展による構造物の安全性の低下をより正確に判定することができ、検査の精度を向上させることができる。さらに、画像から構造物の安全性を判定することができるため、目視検査を省略することもでき、検査時間の低減を図ることもできる。
【００５７】
また、本実施の形態に係る検査装置１２０によれば、算出された亀裂の方向に延びる亀裂上の線に対して線対称な位置を、亀裂に対して対称な位置として決定することができる。したがって、亀裂に垂直な方向に亀裂を挟む位置間の動きベクトルの差異を安全性の判定に用いることができ、亀裂の伸展による構造物の安全性の低下をより正確に判定することができる。
【００５８】
なお、本実施の形態では、動きベクトルの差異として差分動きベクトルが用いられているが、これに限定されない。例えば、動きベクトルから亀裂の方向に垂直な成分を抽出し、抽出された成分の差分値が動きベクトルの差異として用いられてもよい。
【００５９】
さらに、抽出された成分から亀裂の幅の変化量を推定し、推定された幅の変換量に基づいて、構造物の安全性が判定されてもよい。構造物に掛かる荷重が変化しているときの亀裂の幅の変化量は、亀裂の伸展に対する影響が大きいが、微小であるため画像から直接的に導出することは難しい。そこで、亀裂に対して対称な位置間における動きベクトルの差異に基づいて推定された亀裂の幅の変化量を用いることで、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。
【００６０】
（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、局所動き推定によって得られた動きベクトルがそのまま検査に用いられるのではなく、主成分分析によって抽出された動きベクトルの主成分が検査に用いられる点が上記実施の形態１と異なる。以下に、上記実施の形態１と異なる点を中心に本実施の形態について説明する。
【００６１】
［検査装置の機能構成］
実施の形態２に係る検査装置２２０の機能構成について図９を参照しながら説明する。図９は、実施の形態２に係る検査装置２２０の機能構成を示すブロック図である。図９に示すように、検査装置２２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、抽出部２２１と、検査部２２２と、を備える。
【００６２】
抽出部２２１は、複数の動きベクトルの主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を行うことにより、複数の動きベクトルから複数の主成分を抽出する。
【００６３】
検査部２２２は、抽出された複数の主成分のうち、固有値又は寄与率が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定する。つまり、検査部２２２は、固有値又は寄与率の降順における上位の主成分を用いて、構造物の安全性を判定する。
【００６４】
［検査装置の処理］
次に、以上のように構成された検査装置２２０における各種処理について説明する。図１０は、実施の形態２に係る検査装置２２０の処理の全体像を示すフローチャートである。
【００６５】
実施の形態１と同様にステップＳ１０１〜ステップＳ１０３が行われた後に、抽出部２２１は、複数の動きベクトルの主成分分析を行うことにより、複数の動きベクトルから複数の主成分を抽出する（Ｓ２０１）。
【００６６】
抽出部２２１は、抽出された複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、複数の動きベクトルを再構成する（Ｓ２０２）。具体的には、抽出部２２１は、複数の主成分のうち、予め定められた閾値寄与率よりも大きい累積寄与率を有する上位主成分を抽出する。つまり、抽出部２２１は、複数の主成分から下位主成分を除去する。抽出部２２１は、このようにして得られた主成分を用いて複数の動きベクトルを再構成する。
【００６７】
そして、検査部２２２は、再構成された複数の動きベクトルを用いて、構造物の安全性を判定する（Ｓ２０３）。つまり、検査部２２２は、実施の形態１における複数の動きベクトルの代わりに、再構成された複数の動きベクトルを用いて、構造物の安全性を判定する。
【００６８】
［効果等］
以上のように、本実施の形態に係る検査装置２２０によれば、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定することができる。したがって、動きベクトルからノイズ成分を除去することができ、さらに、構造物の検査の精度を向上させることができる。
【００６９】
（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、亀裂に対して対称な位置にある領域間における短期的な動きを表す動きベクトルの差異に加えて、長期的な亀裂の変化に基づいて、構造物が検査される点が上記各実施の形態と異なる。以下に、上記実施の形態１と異なる点を中心に本実施の形態について説明する。
【００７０】
［検査装置の機能構成］
実施の形態３に係る検査装置３２０の機能構成について図１１を参照しながら説明する。図１１は、実施の形態３に係る検査装置３２０の機能構成を示すブロック図である。図１１に示すように、検査装置３２０は、取得部３２１と、亀裂検出部３２２と、動き推定部１２３と、検査部３２３と、を備える。
【００７１】
取得部３２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像に加えて、さらに、複数の画像よりも時間的に前に撮影された参照画像を取得する。
【００７２】
亀裂検出部３２２は、複数の画像に加えて、参照画像において構造物９９の表面上の亀裂を検出する。
【００７３】
検査部３２３は、亀裂に対して対称な位置にある領域間における動きベクトルの差異に加えて、参照画像と複数の画像のいずれかとの間の亀裂の変化量に基づいて、構造物の安全性を判定する。具体的には、検査部３２３は、参照画像と、複数の画像の中から選択された１つの画像（以下、選択画像という）との間の亀裂の変化量を算出する。
【００７４】
［検査装置の処理］
次に、以上のように構成された検査装置３２０における各種処理について説明する。図１２は、実施の形態３に係る検査装置３２０の処理の全体像を示すフローチャートである。
【００７５】
まず、取得部３２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像と、複数の画像よりも時間的に前に撮影された参照画像とを取得する（Ｓ３０１）。具体的には、取得部３２１は、例えば図１３に示すように、参照画像４１及び複数の画像１１〜１４を取得する。ここで、参照画像４１及び複数の画像１１〜１４のうちの最初の画像１１間の第１時間間隔は、複数の画像間の第２時間間隔よりも大きい。
【００７６】
第１時間間隔は、亀裂の物理的な変化（例えば伸展）を観察するための時間間隔であり、例えば１週間、１か月又は１年などである。一方、第２時間間隔は、荷重の変化に伴う構造物の表面の微小な変動を観察するための時間間隔であり、例えば１／６０秒、１／３０秒又は１／１５秒などである。
【００７７】
亀裂検出部３２２は、複数の画像及び参照画像の各々において亀裂を検出する（Ｓ３０２）。
【００７８】
動き推定部１２３は、実施の形態１と同様に、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する（Ｓ１０３）。
【００７９】
検査部３２３は、亀裂に対して対称な位置にある領域間における動きベクトルの差異に加えて、参照画像と複数の画像のいずれかとの間の亀裂の変化量に基づいて、構造物の安全性を判定する（Ｓ３０３）。
【００８０】
ここで、図１４を参照してステップＳ３０３を具体的に説明する。図１４は、実施の形態３に係る検査装置３２０の安全性の判定処理の詳細を示すフローチャートである。
【００８１】
実施の形態１と同様にステップＳ１１１〜ステップＳ１１８が行われた後に、画像の選択が終了したと判定された場合（Ｓ１１８のＹｅｓ）、検査部３２３は、複数の画像の中から１つの画像を選択する（Ｓ３１１）。例えば、検査部３２３は、複数の画像の中から時間順で最初の画像を選択する。また例えば、検査部３２３は、複数の画像の中から時間順で最後の画像を選択してもよい。
【００８２】
検査部３２３は、選択画像及び参照画像の間で亀裂の変化量を算出する（Ｓ３１２）。具体的には、検査部３２３は、亀裂以外の特徴点を原点として参照画像及び選択画像の各々の画素の座標を決定し、決定された座標を用いて亀裂の変化量を算出する。例えば、参照画像内の亀裂の先端の画素の座標が（１０，１０）であり、選択画像内の亀裂の先端の画素の座標が（１０，２５）である場合、変化量は１５画素と算出される。
【００８３】
検査部３２３は、ステップＳ１１５で算出された動きベクトルの差異と、ステップＳ３１２で算出された亀裂の変化量とに基づいて、構造物９９の安全性を判定する（Ｓ３１３）。例えば、差分動きベクトルの大きさが予め定められた閾値より大きく、かつ、亀裂の変化量が予め定められた閾値変化量よりも大きい場合に、検査部３２３は、構造物９９の安全性が低いと判定し、そうでない場合に構造物９９の安全性が高いと判定する。
【００８４】
［効果等］
以上のように、本実施の形態に係る検査装置３２０によれば、動きベクトルの差異に加えて、複数の画像よりも前に撮影された参照画像と複数の画像のいずれかとの亀裂の変化量に基づいて、構造物の安全性を判定することができる。したがって、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。
【００８５】
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る検査装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
【００８６】
例えば、上記各実施の形態では、二次元画像を例に説明したが、三次元画像を用いることもできる。この場合、三次元の動きベクトルを用いて構造物の安全性を判定することができる。
【００８７】
なお、上記各実施の形態では、検査装置は、撮像装置を含んでいなかったが、撮像装置を含んでもよい。また、検査装置に含まれる複数の機能構成（取得部、亀裂検出部、動き推定部及び検査部など）は、分散コンピューティング又はクラウドコンピューティングによって実現されてもよい。
【００８８】
なお、上記各実施の形態では、動き推定でブロックマッチングを用いる例を説明したが、これに限定されない。例えば、他の局所画像特徴量（例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅｄ  Ｉｎｖａｒｉａｎｃｅ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ））をマッチングすることにより動き推定が行われてもよい。
【００８９】
なお、上記各実施の形態では、亀裂に対して対称な位置間の動きベクトルの差異として、亀裂に対して対称な位置にある領域間の代表動きベクトルの差異を用いる例を説明したが、これに限定されない。例えば、領域を用いずに、個々の位置間の動きベクトルの差異が用いられてもよい。また例えば、亀裂に対して対称な位置間の動きベクトルの時間周波数成分の差異が用いられてもよい。
【００９０】
なお、局所動き推定は、画像全体で行われる必要はなく、限定された領域でのみ行われてもよい。例えば、亀裂の周辺領域でのみ局所動き推定が行われてもよい。周辺領域は、例えば亀裂からの距離に基づいて定義され得る。
【００９１】
なお、上記各実施の形態では、亀裂上の画素毎に亀裂の方向を算出していたが、これに限定されない。亀裂の方向は、亀裂の代表的な画素でのみ算出されてもよい。この場合、１つの亀裂に対して１つの方向が算出され、算出された方向に基づいて亀裂に対して対称な位置にある領域が決定される。
【００９２】
なお、上記各実施の形態では、亀裂の先端を基準として構造物の表面の局所的な動き推定を行っていたが、亀裂の先端に限定される必要はない。亀裂の先端の代わりに、亀裂上の他の特徴的な位置（所定位置）が基準点として用いられてもよい。例えば、亀裂の分岐点又は屈曲点などが動き推定のための基準点として用いられてもよい。
【００９３】
また、上記各実施の形態における検査装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、検査装置１２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、検査部１２４と、を有するシステムＬＳＩから構成されてもよい。
【００９４】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【００９５】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００９６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００９７】
また、本開示の一態様は、このような検査装置だけではなく、検査装置に含まれる特徴的な構成部をステップとする検査方法であってもよい。また、本開示の一態様は、検査方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
【００９８】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の検査装置などを実現するソフトウェアは、次のようなプログラムである。
【００９９】
すなわち、このプログラムは、コンピュータに、亀裂を有する構造物を検査する検査方法であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得し、前記複数の画像の各々において前記構造物の表面上の亀裂を検出し、前記複数の画像において、検出された前記亀裂の先端を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出し、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定することを実行させる。
【産業上の利用可能性】
【０１００】
本開示は、亀裂による安全性の低下を防ぐために構造物を検査する検査装置に利用可能である。
【符号の説明】
【０１０１】
１１、１２、１３、１４  画像
２１  亀裂
２２  先端
２３  動きベクトル
３１  亀裂の方向
３２、３３  領域
４１  参照画像
９９  構造物
１００  検査システム
１１０  撮像装置
１２０、２２０、３２０  検査装置
１２１、３２１  取得部
１２２、３２２  亀裂検出部
１２３  動き推定部
１２４、２２２、３２３  検査部
２２１  抽出部
【図１】
2019163556.tif 000003
【図２】
2019163556.tif 000004
【図３】
2019163556.tif 000005
【図４】
2019163556.tif 000006
【図５】
2019163556.tif 000007
【図６】
2019163556.tif 000008
【図７】
2019163556.tif 000009
【図８】
2019163556.tif 000010
【図９】
2019163556.tif 000011
【図１０】
2019163556.tif 000012
【図１１】
2019163556.tif 000013
【図１２】
2019163556.tif 000014
【図１３】
2019163556.tif 000015
【図１４】
2019163556.tif 000016
【手続補正書】
【提出日】令和1年11月5日(2019.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
亀裂を有する構造物を検査する検査装置であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、
前記複数の画像の各々において、予め定められたサイズの複数のブロックに分割し、検出された前記亀裂の先端を基準として、前記複数の画像の第１画像における前記基準に対する前記複数のブロックの相対位置と、前記複数の画像の第２画像における前記基準に対する前記複数のブロックの相対位置との位置関係に基づいて前記複数のブロックの動きベクトルを導出する動き推定部と、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える、
検査装置。
【請求項２】
前記検査部は、
前記基準を含む前記亀裂上の複数の点を選択し、
前記複数の点の各々において、
前記亀裂の方向を算出し、
算出された前記亀裂の方向に延びる前記亀裂上の線に対して線対称な位置を、前記亀裂に対して対称な位置として決定する、
請求項１に記載の検査装置。
【請求項３】
前記検査部は、前記動きベクトルの差異に基づいて前記亀裂の幅の変化量を推定し、推定された前記幅の変化量に基づいて、前記構造物の安全性を判定する、
請求項１又は２に記載の検査装置。
【請求項４】
さらに、導出された前記複数のブロックの動きベクトルの主成分分析を行うことにより、前記複数の動きベクトルから複数の主成分を抽出する抽出部を備え、
前記検査部は、抽出された前記複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、前記構造物の安全性を判定する、
請求項１〜３のいずれか１項に記載の検査装置。
【請求項５】
前記取得部は、さらに、前記複数の画像よりも時間的に前に撮影された参照画像を取得し、
前記亀裂検出部は、さらに、前記参照画像において前記構造物の表面上の亀裂を検出し、
前記検査部は、さらに、前記参照画像と前記複数の画像のいずれかとの間の亀裂の変化量に基づいて、前記構造物の安全性を判定する、
請求項１〜４のいずれか１項に記載の検査装置。
【請求項６】
さらに、前記複数の画像を撮影する撮影部を備える、
請求項１〜５のいずれか１項に記載の検査装置。
【請求項７】
前記検査部は、前記複数の画像の各々において前記亀裂以外の特徴点を原点とした座標を決定し、前記第１画像の前記基準の座標と、前記第２画像の前記基準の座標とに基づいて、亀裂の変化量を算出し、前記亀裂の変化量に基づいて、前記構造物の安全性を判定する、
請求項１〜６のいずれか１項に記載の検査装置。
【請求項８】
亀裂を有する構造物を検査する検査方法であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得し、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出し、
前記複数の画像の各々において、予め定められたサイズの複数のブロックに分割し、検出された前記亀裂の先端を基準として、前記複数の画像の第１画像における前記基準に対する前記複数のブロックの相対位置と、前記複数の画像の第２画像における前記基準に対する前記複数のブロックの相対位置との位置関係に基づいて前記複数のブロックの動きベクトルを導出し、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する、
検査方法。
【国際調査報告】
2019163556.tif 000017
2019163556.tif 000018
2019163556.tif 000019
2019163556.tif 000020