(57)【要約】構造物を支える支持部材の健全性を判断可能な情報を、低コストで提供することを可能とする。情報処理装置（１０）は、変位算出手段（１１）と動き推定手段（１２）とを有する。変位算出手段（１１）は、支持部材で支持される構造物の計測対象領域を撮影した時系列画像を取得する。変位算出手段（１１）は、取得した時系列画像から、計測対象領域の３次元変位を算出する。動き推定手段（１２）は、計測対象領域の３次元変位に基づいて、構造物における、支持部材の動きを推定する。
2020021778.tif 000002
【特許請求の範囲】
【請求項１】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出する変位算出手段と、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する動き推定手段とを備える情報処理装置。
【請求項２】
前記動き推定手段が推定する動きは、前記支持部材を中心とする前記構造物の回転を含む請求項１に記載の情報処理装置。
【請求項３】
前記変位算出手段は、前記構造物の鉛直方向の変位と、前記鉛直方向に垂直な平面において互いに直交する２つの方向の変位とを算出し、
前記動き推定手段は、前記計測対象領域と支点との間の距離を用いて、前記支点を中心とする前記構造物の回転を推定する請求項２に記載の情報処理装置。
【請求項４】
前記動き推定手段は、前記支持部材のタイプに応じて、前記構造物における、前記支持部材により支持される部分の動きを推定する請求項１から３何れか１項に記載の情報処理装置。
【請求項５】
前記構造物は、他の構造物との接続部分に配置される接続部材を含み、
前記動き推定手段は、前記構造物における、前記接続部材を介して他の構造物に接続される端部の動きを推定する請求項１に記載の情報処理装置。
【請求項６】
前記動き推定手段が推定した動きに基づいて、前記構造物の支持部材若しくは接続部材、又はそれら双方の状態を判定する状態判定手段を更に有する請求項１から５何れか１項に記載の情報処理装置。
【請求項７】
前記動き推定手段が推定した動きに基づいて、前記構造物の状態を判定する状態判定手段を更に有する請求項１から５何れか１項に記載の情報処理装置。
【請求項８】
前記状態判定手段は、前記動き推定手段が推定した動きの対象性、連続性、及び相関の少なくとも１項が許容範囲以内であるか否かを判断することで、前記構造物の状態を判定する請求項７に記載の情報処理装置。
【請求項９】
前記状態判定手段は、前記動き推定手段が推定した動きの振幅、位相、及び周波数に基づいて、前記構造物の状態を判定する請求項７に記載の情報処理装置。
【請求項１０】
前記変位算出手段は、撮影情報を用いて、前記時系列画像から前記計測対象領域の３次元変位を算出する請求項１から９何れか１項に記載の情報処理装置。
【請求項１１】
前記撮影情報は、撮影距離、撮影角度、及び被写体上での１画素あたりのサイズを含む請求項１０に記載の情報処理装置。
【請求項１２】
前記構造物は、橋梁の主桁を含む請求項１から１１何れか１項に記載の情報処理装置。
【請求項１３】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、算出した前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理装置と、
前記情報処理装置から前記推定された前記構造物の動きを取得し、記憶する情報蓄積装置と、
前記情報蓄積装置から前記推定された前記構造物の動きを取得して表示する情報表示装置とを備える情報処理システム。
【請求項１４】
前記情報処理装置は、更に推定した前記構造物の動きに基づいて、前記構造物の状態を判定し、
前記情報蓄積装置は、前記情報処理装置から前記構造物の状態の判定結果を更に取得して記憶し、
前記情報表示装置は、前記情報蓄積装置から前記構造物の状態の判定結果を更に取得して表示する請求項１３に記載の情報処理システム。
【請求項１５】
前記情報処理装置は、ネットワークを介して、計測対象領域を撮影する撮像装置から、前記時系列画像を取得する請求項１３又は１４に記載の情報処理システム。
【請求項１６】
前記情報処理装置と前記情報蓄積装置とはネットワークを介して接続される請求項１３から１５何れか１項に記載の情報処理システム。
【請求項１７】
前記情報蓄積装置と前記情報表示装置とはネットワークを介して接続される請求項１３から１６何れか１項に記載の情報処理システム。
【請求項１８】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理方法。
【請求項１９】
更に、前記推定した動きに基づいて、前記構造物の状態を判定する請求項１８に記載の情報処理方法。
【請求項２０】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する処理をコンピュータに実行させるためのプログラムを格納するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、方法、及びコンピュータ可読媒体に関し、更に詳しくは、撮影画像を用いて対象物の状態を把握する用途に用いられ得る情報処理装置、システム、方法、及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
橋梁において、支承、ジョイント（伸縮装置）、又は固定端部などで構成される桁端部部材は、損傷が集中しやすい場所であるため、適切な維持管理を行う必要がある。点検要領に従えば、目視点検を行い、支承やジョイントなどの機能が維持されているか否かを判断する必要がある。【０００３】
目視点検を行う場合、作業者が桁端部に近接する必要があり、作業者が桁端部に近接するためには、高架作業車や橋梁点検車が必要となる場合がある。このため、桁端部の維持管理には、車両及びオペレータの手配コスト、車線規制にかかわる書類作成、車線規制費用、収益機会減などの費用面の課題があった。また、桁端部の維持管理には、作業員の安全性などの安全面の課題があった。【０００４】
ここで、特許文献１は、接触式センサを用いて支承の健全性を判定する方法を開示する。特許文献１では、支承の所定の複数個所に接触式センサが設置され、接触式センサで測定された移動量が収集される。具体的には、４つのひずみ計を用いて、ローラー支承における上側プレートの橋軸方向移動量、ローラー軸の橋軸方向移動量、下側プレートの橋軸方向移動量、及び上下プレートの任意間の変動距離が収集される。特許文献１では、それら測定移動量相互の差、及び各差の比率を求めることで、支承の健全性が判断される。【０００５】
また、特許文献２は、構造物の状態判定装置を開示する。特許文献２に記載の状態判定装置において、変位算出部は、構造物表面の荷重印加前後の時系列画像から、時系列画像の変位の２次元空間分布を算出する。補正量算出部は、時系列画像の変位の２次元空間分布から、荷重印加に起因する構造物表面の法線方向への移動量に基づく補正量を算出する。変位補正部は、時系列画像の２次元空間分布から補正量を差し引いて、構造物表面の変位の２次元空間分布を抽出する。異常判定部は、構造物表面の変位の２次元空間分布と、あらかじめ与えられた変位の空間分布との比較に基づいて、構造物の欠陥を特定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２８９３０１８号公報
【特許文献２】国際公開第２０１６／１５２０７５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、目視点検をしなくても、支承の健全性を判定することができる。しかしながら、特許文献１では支承に接触式センサが取り付けられるために、一度は支承に近接する必要がある。このため、特許文献１では、高架作業車などが必要な場合があり、費用面や安全性の面での課題が残る。【０００８】
特許文献２では、撮像装置で撮影された時系列画像を用いているため、高架作業車などを使用する必要はない。しかしながら、特許文献２では構造物内部に生じた空洞や表面に生じたひび割れなどの欠陥を特定することはできるが、構造物を支持する支承などの支持部材を直接撮影することは難しく、支持部材の健全性を判定することはできない。【０００９】
本開示は、上記に鑑み、構造物を支える支持部材の健全性を判断可能な情報を、低コストで提供できる情報処理装置、システム、方法、及びコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本開示は、支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出する変位算出手段と、前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する動き推定手段とを備える情報処理装置を提供する。【００１１】
また、本開示は、支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、算出した前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理装置と、前記情報処理装置から前記推定された前記構造物の動きを取得し、記憶する情報蓄積装置と、前記情報蓄積装置から前記推定された前記構造物の動きを取得して表示する情報表示装置とを備える情報処理システムを提供する。【００１２】
本開示は、支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理方法を提供する。【００１３】
本開示は、支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する処理をコンピュータに実行させるためのプログラムを格納するコンピュータ可読媒体を提供する。
【発明の効果】
【００１４】
本開示に係る情報処理装置、システム、方法、及びコンピュータ可読媒体は、構造物を支える支持部材の健全性を判断可能な情報を、低コストで提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本開示に係る情報処理装置を概略的に示すブロック図。
【図２】本開示の第１実施形態に係る情報処理装置を示すブロック図。
【図３】構造物と撮像装置との位置関係を示す図。
【図４】橋梁と２つの撮像装置との位置関係を示す図。
【図５】時系列画像から算出される各時刻の変位を示す図。
【図６】時系列画像から算出される各時刻の変位を示す図。
【図７】橋梁が回転している状態を示す図。
【図８】情報処理装置における動作手順を示すフローチャート。
【図９】本開示の第２実施形態に係る情報処理システムを示すブロック図。
【図１０】変形例に係る情報処理システムを示すブロック図。
【図１１】コンピュータ装置を示すブロック図。
【発明を実施するための形態】
【００１６】
本開示の実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示に係る情報処理装置を概略的に示す。情報処理装置１０は、変位算出手段１１と動き推定手段１２とを有する。
【００１７】
変位算出手段１１には、支持部材で支持される構造物の計測対象領域を撮影した時系列画像が入力される。変位算出手段１１は、時系列画像から、計測対象領域の３次元変位を算出する。動き推定手段１２は、変位算出手段１１にて算出された計測対象領域の３次元変位に基づいて、構造物における、支持部材の動きを推定する。
【００１８】
本開示では、時系列画像から算出された３次元変位に基づいて、構造物における、支持部材の動きが推定される。推定された支持部材の動きは、構造物を支える支持部材の健全性を判断可能な情報として提供され得る。本開示では、構造物の支持部材の動きを、時系列画像を用いて推定しており、特許文献１とは異なり、支持部材に接触式センサを取り付ける必要がない。このため、本開示に係る情報処理装置は、低コストで、構造物を支える部分の健全性を判断可能な情報を提供できる。
【００１９】
以下、図面を参照して本発明の実施の形態について説明する。図２は、本開示の第１実施形態に係る情報処理装置を示す。情報処理装置１００は、変位算出部１０１、動き推定部１０４、及び状態判定部１０５を有する。情報処理装置１００は、撮像装置２００と接続されている。情報処理装置１００は、撮像装置２００から、構造物２５０の計測対象領域を撮影した時系列画像を取得する。本実施形態において、構造物２５０は、例えば、橋梁を代表とする梁構造物、道路、建築物、又は設備などのインフラ構造物である。
【００２０】
図３は、構造物２５０と撮像装置２００との位置関係を示す。構造物２５０は、例えば橋梁の主桁を含む。構造物（橋梁）２５０は、支持部材２７１〜２７３により、下部構造（橋台又は橋脚）２６１〜２６３に支持される。また、橋梁２５０の上面側は、ジョイント（伸縮装置）２８１及び２８２を介して両端の下部構造（橋台）２６１及び２６３に接続される。支持部材２７１〜２７３は、例えば線支承、支承板支承、ピン支承、ピボット支承、又はゴム支承などの支承である。支持部材２７１〜２７３の少なくとも１つは、橋梁の下部構造に固定するものであってもよい。
【００２１】
本実施形態において、撮像装置２００は、橋梁２５０の下に設置され、橋梁の桁、又は床版などの下面の所定の領域（計測対象領域）を撮影する。撮像装置２００は、例えば橋台２６１の端部から距離ａ１だけ離れた位置に設置される。距離ａ１は、例えば撮像装置２００の設置後に計測される。あるいは、治具を用いて、撮像装置２００が橋台２６１の端部からあらかじめ定められた距離ａ１だけ離れた位置に設置されるようにしてもよい。橋台２６１の端部から支持部材（支承）２７１の中心位置までの距離をａ２とした場合、撮像装置２００から支承２７１の中心までの橋軸方向の距離は、ａ１＋ａ２となる。距離ａ２は、例えば設計図面などから計算される。あるいは、支承２７１が設置される橋台又は橋脚の幅に応じて、距離ａ２を設定してもよい。例えば、連続桁の場合は距離ａ２を橋脚などの幅の１／２に設定してもよい。桁端部の場合は、距離ａ２を橋脚などの幅の１／３に設定してもよい。
【００２２】
また、撮像装置２００のレンズの主点から計測対象領域までは、距離Ｌだけ離れているものとする。橋梁２５０に何らかの外力が加わった場合、或いは橋梁２５０上の車両が通過した場合、橋梁２５０にはたわみなどが生じる。橋梁２５０は被写界深度の範囲に存在しており、橋梁２５０が鉛直方向に変位した場合でも、撮像装置２００の撮像素子には橋梁２５０の像が結像しているものとする。
【００２３】
撮像装置２００は、例えば三脚などの固定治具を用いて地面上に設置される。あるいは、撮像装置２００は、固定治具を用いて橋台２６１に設置されてもよい。撮像装置２００の設置方法、及び撮影方向などは、撮像装置２００から地面又は橋脚までの距離、及び地面又は橋脚に対する角度を把握できれば、特に限定されない。
【００２４】
以下では、撮像装置２００は、撮影方向が鉛直方向に平行であり、かつ、受光面が計測対象領域と平行になるように設置されているものとする。この場合、撮像装置２００に含まれる撮像素子の受光面の法線は計測対象領域の法線と平行となり、かつ、撮影された時系列画像内における２次元の方向（時系列画像の水平方向及び時系列画像の垂直方向）は、計測対象領域の面方向に平行となる。ここでの計測対象領域の面方向とは、橋梁２５０上の計測対象領域を構成する面に対して平行な方向を意味する。以下の説明では、時系列画像の水平方向をＸ方向、時系列画像の垂直方向をＹ方向、計測対象領域の法線方向（鉛直方向）をＺ方向とする。Ｘ方向は橋軸方向と平行であり、Ｙ方向は橋軸方向に垂直な方向（橋軸垂直方向）と平行であり、Ｚ方向は鉛直方向と平行である。
【００２５】
なお、本実施形態において、構造物２５０は、３次元方向の動きを伴うものであればよく、インフラ構造物に限定されない。また、図２及び図３では、撮像装置２００が撮像する計測対象領域が、鉛直方向に垂直な領域である例が示されているが、これには限定されない。撮像装置２００は、例えば橋梁の高欄など、鉛直方向に平行な領域を撮影してもよい。
【００２６】
変位算出部１０１は、撮像装置２００から時系列画像を取得し、取得した時系列画像に基づいて、橋梁２５０の計測対象領域の３次元変位を算出する。変位算出部１０１は、橋梁２５０の法線方向（Ｚ方向）の変位と、法線方向に垂直な平面において互いに直交する２つの方向（Ｘ方向及びＹ方向）の変位とを算出する。変位算出部１０１は、図１の変位算出手段１１に対応する。
【００２７】
変位算出部１０１は、面内変位算出部１０２と法線方向変位算出部１０３とを有する。面内変位算出部１０２は、計測対象領域のＸ方向の変位、及びＹ方向の変位を算出する。法線方向変位算出部１０３は、計測対象領域のＺ方向の変位を算出する。
【００２８】
本実施形態において、面内変位算出部１０２は、取得した時系列画像のうち、任意の時刻の画像を基準画像とし、残りの画像を処理画像とする。基準画像は、例えば橋梁２５０に外力が印加されず、主桁などにたわみが生じていない時刻の画像であることが好ましい。面内変位算出部１０２は、基準画像において注目領域、すなわち計測対象領域に含まれる特定の領域（以下、特定領域とも呼ぶ）を設定する。特定領域には、例えば模様や表面の凹凸などが含まれる。特定領域の数は、１つであってもよく、複数あってもよい。面内変位算出部１０２は、処理画像ごとに、基準画像の特定領域に対応する領域を探索する。面内変位算出部１０２は、処理画像ごとに、基準画像における特定領域の座標と、処理画像における特定領域の座標との差を、面内方向における変位（ｄ１ｘ、ｄ１ｙ）として算出する。
【００２９】
より詳細には、面内変位算出部１０２は、まず、処理画像と基準画像とを対比して領域ベースのマッチングを行い、処理画像ごとに、基準画像における特定領域と最も照合度合が高い領域の位置を特定する。面内変位算出部１０２は、特定した位置と、基準画像における特定領域の位置との差を、Ｘ方向における変位ｄ１ｘ、及びＹ方向における変位ｄ１ｙとして算出する。面内変位算出部１０２は、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、又はＺＮＣＣ（Zero-means Normalized Cross-Correlation）などの類似度相関関数を用いて、特定領域と最も相関が高い領域の座標を探索する。特定領域が複数ある場合は、複数の特定領域の中で、処理画像内の対応領域との照合度合いが最も高い特定領域を選定し、選定した特定領域の位置と、処理画像内の対応領域の位置との差を、面内方向における変位（ｄ１ｘ、ｄ１ｙ）として算出すればよい。
【００３０】
面内変位算出部１０２は、フィッティングを用いて、特定領域と最も照合度合いが高い領域の位置を探索してもよい。具体的には、面内変位算出部１０２は、各処理画像において、特定領域と最も照合度合いが高い領域の箇所（座標）を探索し、その後、その箇所（座標）の前後左右の位置（座標）における類似度を算出して、類似度相関関数を算出する。面内変位算出部１０２は、算出した類似度相関関数に対して、直線フィッティング、曲線フィッティング、又はパラボラフィッティングなどの手法を適用し、座標間で、特定領域と最も照合度合いが高い領域の位置を探索する。このようにする場合、サブピクセル精度で、特定領域に類似している処理画像内の領域の位置（座標）を算出できる。 
【００３１】
法線方向変位算出部１０３は、特定領域の法線方向の変位ｄ１ｚを算出するために、基準画像を複数の倍率で拡大及び縮小した画像群（以下、基準画像群とも呼ぶ）を作成する。このとき、法線方向変位算出部１０３は、基準画像の中心から、面内変位算出部１０２が算出した面内方向の変位（ｄ１ｘ、ｄ１ｙ）だけずれた位置を中心位置として基準画像を拡大又は縮小し、基準画像群を作成する。 
【００３２】
法線方向変位算出部１０３は、各処理画像と拡大画像及び縮小画像とを照合し、処理画像ごとに、最も照合度合が高い拡大画像又は縮小画像を特定する。法線方向変位算出部１０３は、例えば、ＳＡＤ、ＳＳＤ、ＮＣＣ、又はＺＮＣＣなどの先に述べた類似度相関関数を用いて、照合度合が高い拡大画像又は縮小画像を特定する。法線方向変位算出部１０３は、基準画像群を構成する画像の中から最も類似度が高い画像、すなわち、相関が高い画像を特定し、特定した画像の拡大率又は縮小率（以下、倍率とも呼ぶ）を、特定領域の法線方向の変位を示す量（ｄ１ｚ）とする。
【００３３】
法線方向変位算出部１０３は、最も照合度合が高い画像を特定した後、基準画像群の中から、特定した画像の前後の倍率の画像を選択し、特定した画像と選択した画像との類似度相関関数を算出してもよい。法線方向変位算出部１０３は、算出した類似度相関関数を用いて、直線フィッティング、又は曲線フィッティングなどの手法を適用し、法線方向の変位を示す量（ｄ１ｚ）となる倍率を算出してもよい。その場合、より精度良く、法線方向の変位を示す倍率（ｄ１ｚ）を算出することができる。
【００３４】
なお、面内変位算出部１０２及び法線方向変位算出部１０３は、算出された変位の精度を高めるために、上述の処理を複数回実行してもよい。具体的には、面内変位算出部１０２は、法線方向変位算出部１０３が算出した倍率ｄ１ｚの影響を考慮して、基準画像群を構成する画像の中から、倍率ｄ１ｚに対応する画像を選択し、選択した画像を新たな基準画像としてもよい。上記フィッティングを行った場合、面内変位算出部１０２は、基準画像を、フィッティングを適用して得られた倍率で拡大又は縮小し、新たな基準画像を生成してもよい。面内変位算出部１０２は、処理画像と新たな基準画像とを対比し、処理画像において、新たな基準画像に最も類似している類似箇所を特定し、類似箇所の変位（ｄ２ｘ、ｄ２ｙ）を検出してもよい。
【００３５】
また、法線方向変位算出部１０３は、面内変位算出部１０２で新たに検出された変位（ｄ２ｘ、ｄ２ｙ）に基づいて、基準画像群を構成する各画像の拡大又は縮小の中心位置を設定し、新たな基準画像群を作成してもよい。法線方向変位算出部１０３は、処理画像と新たな基準画像群を構成する各画像との類似度を算出し、新たな基準画像群を構成する画像の中から最も類似度が高い画像を特定してもよい。法線方向変位算出部１０３は、特定した画像の倍率を、特定領域の法線方向の変位を示す量（ｄ２ｚ）としてもよい。
【００３６】
面内変位算出部１０２は、１回目の処理において、法線方向の変位を示す倍率であるｄ１ｚが考慮されていない状態で、変位（ｄ１ｘ、ｄ１ｙ）を算出する。これに対し、面内変位算出部１０２は、２回目の処理では、倍率ｄ１ｚが考慮された状態で、変位（ｄ２ｘ、ｄ２ｙ）を算出する。この場合、面内変位算出部１０２は、２回目の処理において、１回目の処理に比べて、より正確に、面内方向の変位（ｄ２ｘ、ｄ２ｙ）を算出できる。
【００３７】
なお、上述の繰り返しの回数は、特に２回には限定されない。上述の処理を複数回繰り返して実行する場合は、変位の精度をより向上させることが可能である。繰り返しの回数は、あらかじめ設定された回数であってもよいし、結果に応じて適宜設定されてもよい。また、面内変位算出部１０２は、前回算出された変位の値と今回算出された変位の値との差を計算し、その差が所定のしきい値以下となるまで、上述の処理を繰り返してもよい。
である
【００３８】
以下の説明では、複数の繰り返し処理で面内変位算出部１０２が最終的に算出した面内変位をｄｎｘ、及びｄｎｙで表す。また、法線方向変位算出部１０３が最終的に算出した法線方向の変位の量を示す倍率をｄｎｚで表す。面内変位算出部１０２は、各時刻ｔの処理画像に対して面内変位ｄｎｘ、及びｄｎｙを算出する。また、法線方向変位算出部１０３は、各時刻ｔの処理画像に対して倍率ｄｎｚを算出する。以下の説明では、時刻ｔにおける面内変位をｄｎｘ（ｔ）、及びｄｎｙ（ｔ）で表し、時刻ｔにおける倍率をｄｎｚ（ｔ）で表すものとする。
【００３９】
面内変位算出部１０２は、撮影情報を用いて、算出した面内変位ｄｎｘ（ｔ）、及びｄｎｙ（ｔ）を、橋梁２５０のＸ方向の変位（移動量）Δｘ（ｔ）及びＹ方向の変位（移動量）Δｙ（ｔ）に変換する。撮影情報は、撮影距離、撮影角度、及び被写体上での１画素あたりのサイズの情報を含む。また、法線方向変位算出部１０３は、撮影情報に含まれる撮影距離を用いて、算出した倍率ｄｎｚ（ｔ）を、橋梁２５０のｚ方向の変位（移動量）Δｚ（ｔ）に変換する。
【００４０】
具体的に、特定領域の面方向における変位ｄｎｘ（ｔ）、及びｄｎｙ（ｔ）は、ピクセル単位で算出されている。Ｘ方向及びＹ方向それぞれにおける撮像装置２００の撮像素子の１ピクセル当たりの長さをＤｘ及びＤｙ［ｍｍ／ｐｉｘｅｌ］としたとき、Ｘ方向及びＹ方向それぞれにおける移動量△ｘ（ｔ）及び△ｙ（ｔ）［ｍｍ］は、下記式１及び２で表すことができる。
△ｘ（ｔ）＝Ｄｘ・ｄｎｘ（ｔ）    （１）
△ｙ（ｔ）＝Ｄｙ・ｄｎｙ（ｔ）    （２）
撮像装置２００の撮像素子の１ピクセル当たりの長さＤｘ及びＤｙ［ｍｍ／ｐｉｘｅｌ］は、撮像素子の画素ピッチをｐｘ及びｐｙ［ｍｍ］とし、レンズの焦点距離をｆ［ｍｍ］とし、レンズの主点から計測対象領域までの距離をＬ［ｍｍ］として、下記式３及び式４で計算できる。
Ｄｘ＝ｐｘ・（Ｌ／ｆ）      （３）
Ｄｙ＝ｐｙ・（Ｌ／ｆ）      （４）
撮像素子の１ピクセル当たりの長さＤｘ及びＤｙは、撮像素子の画素数と、撮像装置２００の画角とに基づいて計算することもできる。具体的には、撮像素子の１ピクセル当たりの長さＤｘ及びＤｙは、撮像素子の画素数をｐｎｘ及びｐｎｙとし、撮像装置２００の画角をＦＯＶｘ及びＦＯＶｙとして、下記式５及び式６で計算することができる。
Ｄｘ＝Ｌ／ｐｎｘ×ｔａｎ−１（ＦＯＶｘ／２）      （５）
Ｄｙ＝Ｌ／ｐｎｙ×ｔａｎ−１（ＦＯＶｙ／２）      （６）
【００４１】
また、特定領域の法線方向における変位は、倍率として算出されている。Ｚ方向の移動量ｚ（ｔ）［ｍｍ］は、レンズの主点から特定領域までの距離Ｌ［ｍｍ］を用いて、下記式７で表すことができる。
Δｚ（ｔ）＝Ｌ・ｄｎｚ（ｔ）      （７）
【００４２】
上記で得られた計測対象領域の３次元移動量（３次元変位）△ｘ（ｔ）、△ｙ（ｔ）、及び△ｚ（ｔ）は、時系列画像を撮影したフレームごとに得ることができる。従って、時系列画像ごとに得られた各移動量は、撮影フレームレートの逆数をサンプリング間隔とした計測対象領域の振動成分を表している。このため、時系列画像ごとに得られた各移動量は、Ｘ方向、Ｙ方向、及びＺ方向それぞれについての計測対象領域の振動情報（振動波形）として扱うことができる。
【００４３】
なお、上記ではＺ方向が鉛直方向と平行であるとして各変位を算出したが、Ｚ方向は鉛直方向と平行でない場合もある。すなわち、撮像素子の受光面の法線が計測対象領域の法線と平行となっておらず、撮影角度がついている場合も考えられる。その場合は、撮影角度分を三角関数の演算を用いて補正し、鉛直方向と、鉛直方向に垂直な２方向の変位とを算出して、支持構造の動きの推定を行えばよい。三角関数の演算の特性上、撮影角度が微小である場合には、特に補正前のＺ方向の移動量と補正後のＺ方向の移動量については、おおむね等しいとみなしてもよい。
【００４４】
ここで、車両通行に伴う活荷重による上部構造（橋梁２５０）の変位は、支点となる支持部材（支承）２７１の種類に応じて、負担する機能が異なるため、動き方が異なることになる。本発明者は、支承２７１がゴム支承である橋梁と、支承板支承（可動式）である橋梁において、支承２７１に接触式センサを取り付けた場合に接触式センサで計測される変位と、変位算出部１０１で算出された橋梁２５０の計測対象領域の変位とを比較した。その結果、撮像装置２００を用いて支承２７１で支持される橋梁２５０の端部付近を撮影し、３軸方向の橋梁２５０の移動量を観察することで、接触式センサを用いた場合と同様に、支承２７１の変位（動き成分）を計測できることが分かった。
【００４５】
図４は、橋梁と２つの撮像装置との位置関係を示す。図４において、撮像装置２００Ａは支承２７１の付近を撮影し、撮像装置２００Ｂは橋台２６１と橋脚２６２の中間付近（支間中央付近）を撮影する。図５は、支承２７１がゴム支承である場合に、時系列画像から算出される各時刻の変位を示す。図５の（ａ）〜（ｃ）は、撮像装置２００Ａで撮影された時系列画像から算出される各時刻の変位を示す。図５の（ｄ）〜（ｆ）は、撮像装置２００Ｂで撮影された時系列画像から算出される各時刻の変位を示す。図５の（ａ）及び（ｄ）はＺ方向の変位を示し、図５の（ｂ）及び（ｅ）はＸ方向の変位を示し、図５の（ｃ）及び（ｆ）はＹ方向の変位を示している。
【００４６】
支承２７１がゴム支承である場合、支承２７１では、車両通行に伴う活荷重によってゴムが変形し、下沓を基準とした上沓の位置が鉛直方向及び水平方向に動くと考えられる。支承２７１における鉛直方向の変位、及び水平方向の変位は、支承２７１に接触式センサが設置される場合に、その接触式センサを用いて計測することが可能である。本発明者は、接触式センサを用いて取得された鉛直方向及び水平方向の変位と、撮像装置２００Ａで支承２７１付近の計測対象領域を撮影した時系列画像から算出されるＸ方向、Ｙ方法、及びＺ方向の変位（図５の（ａ）〜（ｃ）を参照）とを比較した。その結果、本発明者は、接触式センサで計測される変位の時間変化と、時系列画像から算出される計測対象領域の変位の時間変化とが相関することを見出した。従って、支承２７１に直接に接触式センサを取り付けなくても、撮像装置２００Ａで撮影された時系列画像から、支承２７１の動き成分を計測できる。
【００４７】
図６は、支承２７１が支承板支承（可動）である場合に、時系列画像から算出される各時刻の変位を示す。図６の（ａ）〜（ｃ）は、撮像装置２００Ａで撮影された時系列画像から算出される各時刻の変位を示す。図６の（ｄ）〜（ｆ）は、撮像装置２００Ｂで撮影された時系列画像から算出される各時刻の変位を示す。図６の（ａ）及び（ｄ）はＺ方向の変位を示し、図６の（ｂ）及び（ｅ）はＸ方向の変位を示し、図６の（ｃ）及び（ｆ）はＹ方向の変位を示している。
【００４８】
支承２７１が支承板支承である場合、支承２７１は、車両通行に伴う活荷重により回転する。また、支承２７１は、可動式のため橋軸方向（Ｘ方向）にも変位する。本発明者は、支承板支承についても、上記と同様に、接触式センサが用いられる場合に取得される変位と、撮像装置２００Ａ用いて撮影される時系列画像から算出されるＸ方向、Ｙ方法、及びＺ方向の変位（図６の（ａ）〜（ｃ）を参照）とを比較した。その結果、本発明者は、支承板支承の場合も、接触式センサで計測される変位の時間変化と、時系列画像から算出される計測対象領域の変位の時間変化とが相関することを見出した。従って、支承２７１に直接に接触式センサを取り付けなくても、撮像装置２００Ａで撮影された時系列画像から、支承２７１の動き成分を計測できる。
【００４９】
本実施形態において、動き推定部１０４は、変位算出部１０１で算出された計測対象領域の３次元変位に基づいて、橋梁２５０における、支承２７１の部分の動きを推定する。動き推定部１０４が推定する動きは、橋梁２５０の支点（支持部材（支承）２７１の位置）を中心とする橋梁２５０の回転を含む。動き推定部１０４は、計測対象領域と支承２７１との間の距離を用いて、支承２７１の位置を中心とする橋梁２５０の回転を推定する。
【００５０】
図７は、橋梁２５０が回転している状態を示す。変位算出部１０１は、計測対象領域の中心において、橋梁２５０のＺ方向の変位Δｚを算出する。変位前の橋軸方向における計測対象領域の中心から支承２７１までの距離Ａは、橋台２６１の端部から撮像装置２００までの距離ａ１（図３を参照）と、橋台２６１の端部から支承２７１までの距離ａ２の和とほぼ等しい。ここで、橋梁２５０の回転角度θは微小であるため、ｓｉｎθ≒ｔａｎθ≒θ［ｒａｄ］である。回転角度θは、上記近似を利用して、θ＝Δｚ／Ａ［ｒａｄ］で表すことができる。すなわち、θ＝Δｚ／Ａ×１８０／π［度］である。
【００５１】
動き推定部１０４は、橋梁２５０を支持する支持部材のタイプに応じて、橋梁２５０における支持部材により支持される部分の動きを推定してもよい。例えば、ユーザは、情報処理装置１００に、支持部材のタイプを特定する情報を入力する。例えば支持部材が支承である場合、用いられる支承のタイプに応じて、支承の可動方向及び回転方向が異なる。動き推定部１０４は、入力された支承のタイプを示す情報と、変位算出部１０１が算出した３次元変位（３次元変位情報）とに基づいて、橋梁２５０の水平移動成分（ＸＹ平面における移動の成分）、及び回転成分などを推定する。
【００５２】
具体的に、支承２７１がゴム支承である場合、動き推定部１０４は、３次元変位情報から、せん断方向移動量成分（鉛直移動成分＋水平移動成分）を計算する。なお、ゴム支承の場合、実質的には回転成分も含まれる。しかしながら、１か所の計測だけでは鉛直移動成分と回転成分とを切り分けることは難しい。このため、ゴム支承の場合、動き推定部１０４は、鉛直移動成分と回転成分との切り分けは特に行わずに、変位算出部１０１で算出された３次元変位を、せん断方向移動量成分としてもよい。
【００５３】
支承２７１がピン支承又はピボット支承である場合、動き推定部１０４は、３次元変位情報から回転成分を算出する。ピン支承及びピボット支承は、構造的に水平方向の変位は発生しない。このため、動き推定部１０４は、Ｚ方向の変位量Δｚと、撮像装置２００から支承２７１までの水平方向の距離Ａ（図７を参照）とに基づいて、支承２７１の位置を中心とする橋梁２５０の回転角度を計算すればよい。
【００５４】
支承２７１がローラー支承、ピンローラー支承、線支承(可動)、又は支承板支承(可動)である場合、動き推定部１０４は、３次元変位情報から、水平方向移動量成分と回転成分とを算出する。この場合、動き推定部１０４は、Ｘ方向及びＹ方向の変位量Δｘ及びΔｙを、橋梁２５０の水平方向の変位量とする。また、Ｚ方向の変位量Δｚと、撮像装置２００から支承２７１までの水平方向の距離Ａとに基づいて、支承２７１の位置を中心とする橋梁２５０の回転角度を計算する。
【００５５】
支承は、その構造に従って、有している機能（可動／拘束、回転する／回転しない）が異なる。動き推定部１０４は、例えば上記したように、支承の構造ごとに、３次元変位情報から支承２７１の位置の橋梁２５０の動きを推定する。このようにすることで、種々の構造の支承について、動き推定部１０４が推定した動きに基づいて、荷重支持機能、移動機能、及び回転機能などが正常に機能しているか否かを判断できる。
【００５６】
動き推定部１０４は、上記した支承２７１の位置における橋梁２５０の動きを推定するのに代えて、又はこれに加えて、橋梁２５０における、伸縮装置２８１又は２８２を介して橋台２６１又は２６３に接続される端部の動きを推定してもよい。その場合、動き推定部１０４は、伸縮装置の種類に応じた方向の動きを推定すればよい。
【００５７】
ここで、橋梁の支承、伸縮装置、及び固定端部は、それらの種類や加振方向に依存して、発生する変位の量、方向、及び周波数が異なる。また、故障モードも異なる。それらを定量的に計測することで、機能の低下度合いの判断が可能である。
【００５８】
支承は、車両通過や風などに起因する上部工への外力印加の成分を、減衰させながら橋脚に伝える機能を有しており、この機能により上部工が保護される。また、支承は、地震などの地面から伝わる振動を減衰させて上部工に伝える役割も持つ。支承に関しては、種類に応じて可動方向が定められている。動き推定部１０４が推定した動きが、可動方向に沿った許容範囲内の大きさの動きであれば、支承は正常であると判断できる。これに対し、動き推定部１０４が推定した動きが、可動方向への許容範囲外の大きさの動きである場合や、可動方向以外への動きである場合、或いは回転方向の動きがしきい値よりも大きい場合は、異常と判定できる。動き推定部１０４において、外力が印加されているのにまったく動きが計測できない場合は、固着等の懸念があり、支承が機能を失っていると判断できる。支承が故障すると、力が逃げていかないため、他の部材などにひずみが生じ、異常な変形や故障の発生につながる。
【００５９】
他の構造物との接続部分に配置される接続部材である伸縮装置は、橋梁の継ぎ目を通過する車両が、スムーズに橋梁と地面、橋梁と他の橋梁との間を通過することを可能とする機能を有する。また、伸縮装置は、桁端部への衝撃を和らげ、橋梁へのダメージを軽減することを可能とする機能を有する。伸縮装置は、種類に応じて可動方向が定められている。動き推定部１０４が推定した可動方向に沿った動きが、許容範囲内の大きさである場合、又は許容範囲内の振動を示す場合、伸縮装置が正常であると判断できる。これに対し、動き推定部１０４が推定する動きが、可動方向への許容範囲外の大きな動きや振動を示す場合、伸縮装置の振動を減衰させる機能が低下していると判断できる。また、可動方向外への動きや回転方向の動きがしきい値以上の場合も、伸縮装置が異常であると判断できる。動き推定部１０４において、外力が印加されているのにまったく動きが計測できない場合は、固着等の懸念があり、伸縮装置の清掃作業などが必要になると判断できる。
【００６０】
なお、固定端部は動かない。従って、動き推定部１０４で推定される動きはきわめて小さい。動き推定部１０４にて、許容範囲外の大きさの動きや振動、回転方向の動きが推定された場合、固定端部は正常に機能していないと判断できる。
【００６１】
状態判定部１０５は、動き推定部１０４が推定した動きに基づいて、橋梁２５０の状態を判定する。橋梁２５０における支承２７１の位置の動きは、支承２７１の機能に依存するため、状態判定部１０５は、主に支承２７１の状態を判定する。状態判定部１０５は、動き推定部１０４が推定した動きの対象性、連続性、及び相関の少なくとも１つが許容範囲以内であるか否かを判断することで、支承２７１の状態を判定する。あるいは、状態判定部１０５は、動き推定部１０４が推定した動きの振幅、位相、及び周波数に基づいて、支承２７１の状態を判定してもよい。
【００６２】
例えば、橋軸方向又は橋軸垂直方向を横軸に取り、鉛直方向を縦軸に取った変位のグラフを考える。そのグラフにおいて、時系列変位量変化の形状／軌跡を描いたとき、支承が正常に機能していない場合は、支承が正常に機能している場合には観察されないような傾きの急激な変化や、ヒステリシスの形状が現れる。あるいは、残留成分が発生し、支承が正常に機能する場合に対して、グラフにおける対象性、連続性、及び相関の少なくとも１つが変化する。従って、それらがあらかじめ定められた許容範囲内かを判断することで、支承が正常な機能を有しているか否かを判定することができる。
【００６３】
例えば、状態判定部１０５は、動き推定部１０４で推定された動きが、あらかじめ保持される、支承の変位と外力との関係図に示される動きから逸脱している場合、支承が健全な状態ではないと判定してもよい。つまり、状態判定部１０５は、支承が劣化しているか、又は支承に異常が発生していると判定してもよい。あるいは、状態判定部１０５は、動き推定部で推定された動きに、橋軸方向及び鉛直方向の変位量が制限されている様子が観察される場合に、支承が健全な状態ではないと判定してもよい。状態判定部１０５は、初期衝撃や衝撃の減衰などを、振動成分（振幅、位相、及び周波数）や、それらの時間変化を用いることで判定してもよい。これらの指標も、支承が正常な機能を有しているか否かの判定に用いることができる。状態判定部１０５は、伸縮装置については、振動振幅の大きさ（衝撃の大きさ）と、鉛直方向変位との相関値、及び可動範囲（鉛直方向・水平方向変位）が拘束されていないかどうかを判断することで、伸縮装置の状態判定をすればよい。
【００６４】
続いて、動作手順を説明する。図８は、情報処理装置１００における動作手順を示す。変位算出部１０１は、撮像装置２００から、橋梁２５０の計測対象領域を撮影した時系列画像を取得する（ステップＳ１）。変位算出部１０１の面内変位算出部１０２は、時系列画像の画像データを用いて、画像データ中の計測対象領域に含まれる特定領域の面方向における変位ｄ１ｘ及びｄ１ｙを算出する（ステップＳ２）。面内変位算出部１０２は、時系列画像の画像データと、算出した面方向における変位とを、法線方向変位算出部１０３に渡す。
【００６５】
法線方向変位算出部１０３は、時系列画像の画像データと、ステップＳ２で算出された面方向における変位とに基づいて、特定領域の法線方向における変位ｄ１ｚを算出する（ステップＳ３）。法線方向変位算出部１０３は、ステップＳ２の実行回数が所定の実行回数に到達したか否かを判断する（ステップＳ４）。所定の実行回数は、あらかじめ実施される実験などの結果に基づいて、適宜設定されている。所定の実行回数は「１回」であってもよい。
【００６６】
法線方向変位算出部１０３は、ステップＳ４で実行回数が所定の実行回数に到達していないと判断した場合、面内変位算出部１０２に、ステップＳ２の実行を指示する。このとき、法線方向変位算出部１０３は、ステップＳ３で算出した法線方向における変位ｄ１ｚを面内変位算出部１０２に通知する。面内変位算出部１０２は、ステップＳ２において、新たに面方向の変位ｄ２ｘ、ｄ２ｙを算出する。その後、法線方向変位算出部１０３は、ステップＳ３において、新たに算出された面方向の変位を用いて、法線方向の変位ｄ２ｚを算出する。
【００６７】
ステップＳ２及びステップＳ３は、ステップＳ４において実行回数が所定の実行回数に到達したと判断されるまで繰り返し実施される。所定の実行回数が２回以上の場合、最後の繰り返しにおいては、ステップＳ３を省略してもよい。
【００６８】
法線方向変位算出部１０３は、ステップＳ４で実行回数が所定の実行回数に到達したと判断すると、変位の算出が行われた処理画像の枚数が所定の枚数ｍより少ないか否かを判断する（ステップＳ４）。別の言い方をすると、法線方向変位算出部１０３は、所定の枚数ｍだけ処理画像を処理したか否かを判断する。所定の枚数ｍの値は、あらかじめ実施される実験など結果に基づいて、適宜設定されている。ステップＳ４で処理画像が所定の枚数ｍだけ処理されていないと判断されると、処理はステップＳ１に戻り、新たに取得された時系列画像に対してステップＳ１からステップＳ５の処理が実施される。
【００６９】
変位算出部１０１は、ステップＳ５で処理画像を所定の枚数だけ処理したと判断されると、ステップＳ２で算出した面方向の変位、及びステップＳ３で算出した法線方向の変位を、橋梁２５０の３軸方向の移動量（３次元変位情報）に変換する。変位算出部１０１は、３次元変位量を動き推定部１０４に出力する。動き推定部１０４は、３次元変位情報に基づいて、橋梁２５０における、支承２７１の位置の動きを推定する（ステップＳ６）。状態判定部１０５は、ステップＳ６で推定された動きに基づいて、支承２７１の状態を判定する（ステップＳ７）。
【００７０】
本実施形態では、情報処理装置１００は、橋梁２５０の下や橋梁２５０の下部構造などに配置された撮像装置２００から、桁端部付近の主桁を撮影した時系列画像を取得する。情報処理装置１００は、時系列画像に対して画像処理を行い、桁端部に配置される支承２７１などの位置における橋梁２５０の３次元変位や回転などの動きを推定する。本実施形態では、画像から支承２７１などの位置における橋梁２５０の動きが推定されるため、あらかじめ橋梁２５０にマーカーなどを取り付けておく必要がない。このため、作業者が高架作業車など使用して橋梁２５０に近づく必要はなく、支承などの部材の機能の低下度合いを、現実的なコストで定量的に評価することができる。
【００７１】
情報処理装置１００は、上記推定した動きを利用し、支承２７１などの劣化や健全度などの状態を判定する。例えば、橋梁２５０が地震などの巨大な外力を受けた場合、ダメージを受けやすいのは支承付近であると考えられる。本実施形態では、支承部分の劣化や健全度などを判定することで、橋梁全体の健全度を判定することもできる。例えば、大地震発生時に、複数の橋梁において支承部分の位置の動きを推定することで各橋梁の健全度を判定し、どの橋梁が最もダメージを受けているかを判断することで、緊急度の優先順位をつけることもできる。
【００７２】
本実施形態では、動き推定部１０４は、使用される支持部材に応じて、３次元変位情報から、橋梁２５０における支持部材の位置の動きを推定する。このようにすることで、支持部材（主に支承）の構造がどのような構造であっても、同じ計測手法を用いて計測された３次元変位情報に基づいて、支持部材の動きを推定できる。接触式センサを用いる場合、支持部材の構造が変わると、計測したい支持部材の動きの項目が変化する。例えば、ある構造の支持部材が用いられる場合は回転成分を検出するためのセンサを用いる必要があり、別の構造の支持部材が用いられる場合は、水平方向の変位を検出するためのセンサを用いる必要がある。本実施形態では、支持部材の構造が変わっても、同じ計測装置で、同じ計測位置（計測対象領域）の３次元変位を時系列画像から算出することで、支持部材の動きを推定できるため、計測作業が容易となり、効率化を図ることができる。
【００７３】
また、本実施形態では、動き推定部１０４は、支承２７１の位置を中心とした橋梁２５０の回転を推定する。支承２７１を軸とした回転を推定することで、支承が持つ重要な機能のうちの１つを、直接的に評価することができる。回転成分の計測には、本来であれば、傾斜センサなどの特殊なセンサが必要である。しかしながら、傾斜センサは振動などに弱く、平行移動などの変位成分を計測することはできない。また、傾斜センサは、微小な回転を計測する用途には向かず、荷重時の支承を軸とした回転を、傾斜センサを用いて計測することは困難である。本実施形態では、画像を用いて支承を軸とした回転を推定できるため、傾斜センサを使用する必要がないという利点がある。
【００７４】
なお、本実施形態において、情報処理装置１００は、必ずしも単一の装置で構成されている必要はない。例えば、変位算出部１０１、動き推定部１０４、及び状態判定部１０５は、別々の装置として構成されていてもよい。情報処理装置１００において、状態判定部１０５は必須ではない。情報処理装置１００の表示装置などに、動き推定部１０４が推定した動きをグラフなどとして表示し、そのグラフを見た人間が、橋梁２５０の状態を判断してもよい。
【００７５】
また、図３では、撮像装置２００を用いて、橋梁２５０の橋台２６１側の端部に近い部分を撮影する例が示されているが、これには限定されない。例えば、橋脚２６２の付近に撮像装置２００を設置し、撮像装置２００を用いて、橋梁２５０の中央付近を撮影してもよい。その場合、動き推定部１０４は、橋梁２５０における、橋脚２６２上の支承２７２を中心とした回転方向の動きを推定してもよい。撮像装置２００を用いて撮影する橋梁２５０の位置を変えることで、撮影した時系列画像を用いて、任意の位置の支承の状態を判断することが可能となる。
【００７６】
次いで、本開示の第２実施形態を説明する。図９は、本開示の第２実施形態に係る情報処理システムを示す。情報処理システム１５０は、情報処理装置１５１、情報蓄積装置１５２、及び情報表示装置１５３を有する。情報処理装置１５１の構成は、図２に示される第１実施形態に係る情報処理装置１００と同様でよい。情報処理装置１５１及び情報表示装置１５３には、例えばノートＰＣ（Personal Computer）やタブレット型のコンピュータ装置などの持ち運び可能な装置が使用できる。
【００７７】
本実施形態では、撮像装置２００、情報処理装置１５１、及び情報表示装置１５３は、例えば橋梁２５０（図３を参照）などがある現場に設置される。情報蓄積装置１５２は、現場から離れた遠隔サーバ又はクラウドサーバとして構成される。情報処理装置１５１と情報蓄積装置１５２とは、インターネットなどのネットワークを介して接続される。また、情報蓄積装置１５２と情報表示装置１５３とは、インターネットなどのネットワークを介して接続される。情報処理装置１５１と情報表示装置１５３とは、必ずしも物理的に分離されている必要はなく、同一の装置が情報処理装置１５１及び情報表示装置１５３として機能してもよい。
【００７８】
情報処理装置１５１は、撮像装置２００から、橋台２６１などに支持される橋梁２５０の計測対象領域を撮影した時系列画像を取得する。情報処理装置１５１は、時系列画像から、計測対象領域の３次元変位を算出し、算出した計測対象領域の３次元変位に基づいて、橋梁２５０における、支承２７１の部分の動きを推定する。情報処理装置１５１は、更に推定した橋梁２５０の動きに基づいて、橋梁２５０（支承２７１）の状態を判定してもよい。
【００７９】
情報処理装置１５１は、推定した橋梁２５０の動きや状態判定の結果を、ネットワークを通じて情報蓄積装置１５２に送信する。情報蓄積装置１５２は、例えばデータベースサーバとして構成されており、情報処理装置１５１から受信した情報を蓄積する。情報処理装置１５１は、撮像装置２００から取得した時系列画像を情報蓄積装置１５２に送信してもよい。その場合、情報蓄積装置１５２は、情報処理装置１５１から受信した時系列画像を更に蓄積してもよい。
【００８０】
情報表示装置１５３は、情報蓄積装置１５２に対して、情報処理装置１５１において推定された橋梁２５０の動きや、橋梁２５０の状態判定の結果を要求する。情報表示装置１５３は、任意の時点での橋梁２５０の動きや橋梁２５０の状態判定の結果を要求できる。情報蓄積装置１５２は、要求に従って、推定された橋梁２５０の動きや橋梁２５０の状態判定の結果を情報表示装置１５３に送信する。情報表示装置１５３は、情報蓄積装置１５２から受信した情報を、自身の表示装置に表示する。現場のユーザは、情報表示装置１５３を使用して、橋梁２５０の動きに異変や異常がないか、橋梁２５０の状態判定の結果を確認できる。
【００８１】
本実施形態では、情報処理装置１５１にて推定された橋梁２５０の動きや橋梁２５０の状態判定の結果を情報蓄積装置１５２に蓄積する。情報表示装置１５３は、情報蓄積装置１５２から、過去の任意の時点での橋梁２５０の動きなどを受信して、表示することができる。このようにすることで、ユーザは、過去の任意の時点における橋梁２５０の動きなどと、現在の橋梁２５０の動きなどとを、比較することができる。
【００８２】
図１０は、変形例に係る情報処理システムを示す。本変形例に係る情報処理システム１５０ａでは、情報処理装置１５１は、ネットワークを介して撮像装置２００に接続される。本変形例において、情報処理装置１５１は、例えば遠隔サーバ又はクラウドサーバとして構成される。撮像装置２００は、時系列画像の画像データを、ネットワークを介して情報処理装置１５１に送信する。情報処理装置１５１は、遠隔の撮像装置２００から、時系列画像を取得する。このように、情報処理装置１５１が遠隔に配置される場合も、第２実施形態に係る情報処理システム１５０と同様な効果が得られる。本変形例において、情報処理装置１５１と情報蓄積装置１５２とは、必ずしも物理的に分離されている必要はなく、同一の装置が情報処理装置１５１及び情報蓄積装置１５２として機能してもよい。
【００８３】
以下、情報処理装置１００などとして機能し得るコンピュータ装置を説明する。図１１は、プログラムを実行することで情報処理装置１００として機能することができるコンピュータ装置を示す。コンピュータ装置１１０は、ＣＰＵ（Central Processing Unit）１１１、メインメモリ１１２、記憶装置１１３、入力インターフェイス１１４、表示コントローラ１１５、データリーダ／ライタ１１６、及び通信インターフェイス１１７を備える。コンピュータ装置１１０において、これら要素は、バス１２１を介して、互いにデータ通信可能に接続される。 
【００８４】
ＣＰＵ１１１は、記憶装置１１３に格納された、プログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。コンピュータ装置１１０を情報処理装置１００として機能させるためのプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。プログラムは、通信インターフェイス１１７を介して接続されたインターネットなどのネットワークを通じて提供されてもよい。
【００８５】
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、ＣＤ（compact disc）、又はＤＶＤ（digital versatile disk）などの光ディスク媒体、及び、マスクＲＯＭ（read only memory）、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、又はＲＡＭ（random access memory）などの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００８６】
記憶装置１１３、例えばハードディスクドライブなどディスク装置、或いはフラッシュメモリなどの半導体記憶装置として構成される。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 
【００８７】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ装置１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 
【００８８】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８９】
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００９０】
［付記１］
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出する変位算出手段と、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する動き推定手段とを備える情報処理装置。
【００９１】
［付記２］
前記動き推定手段が推定する動きは、前記支持部材を中心とする前記構造物の回転を含む付記１に記載の情報処理装置。
【００９２】
［付記３］
前記変位算出手段は、前記構造物の鉛直方向の変位と、前記鉛直方向に垂直な平面において互いに直交する２つの方向の変位とを算出し、
前記動き推定手段は、前記計測対象領域と支点との間の距離を用いて、前記支点を中心とする前記構造物の回転を推定する付記２に記載の情報処理装置。
【００９３】
［付記４］
前記動き推定手段は、前記支持部材のタイプに応じて、前記構造物における、前記支持部材により支持される部分の動きを推定する付記１から３何れか１つに記載の情報処理装置。
【００９４】
［付記５］
前記構造物は、他の構造物との接続部分に配置される接続部材を含み、
前記動き推定手段は、前記構造物における、前記接続部材を介して他の構造物に接続される端部の動きを推定する付記１に記載の情報処理装置。
【００９５】
［付記６］
前記動き推定手段が推定した動きに基づいて、前記構造物の支持部材若しくは接続部材、又はそれら双方の状態を判定する状態判定手段を更に有する付記１から５何れか１つに記載の情報処理装置。
【００９６】
［付記７］
前記動き推定手段が推定した動きに基づいて、前記構造物の状態を判定する状態判定手段を更に有する付記１から５何れか１つに記載の情報処理装置。
【００９７】
［付記８］
前記状態判定手段は、前記動き推定手段が推定した動きの対象性、連続性、及び相関の少なくとも１つが許容範囲以内であるか否かを判断することで、前記構造物の状態を判定する付記７に記載の情報処理装置。
【００９８】
［付記９］
前記状態判定手段は、前記動き推定手段が推定した動きの振幅、位相、及び周波数に基づいて、前記構造物の状態を判定する付記７に記載の情報処理装置。
【００９９】
［付記１０］
前記変位算出手段は、撮影情報を用いて、前記時系列画像から前記計測対象領域の３次元変位を算出する付記１から９何れか１つに記載の情報処理装置。
【０１００】
［付記１１］
前記撮影情報は、撮影距離、撮影角度、及び被写体上での１画素あたりのサイズを含む付記１０に記載の情報処理装置。
【０１０１】
［付記１２］
前記構造物は、橋梁の主桁を含む付記１から１１何れか１つに記載の情報処理装置。
【０１０２】
［付記１３］
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、算出した前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理装置と、
前記情報処理装置から前記推定された前記構造物の動きを取得し、記憶する情報蓄積装置と、
前記情報蓄積装置から前記推定された前記構造物の動きを取得して表示する情報表示装置とを備える情報処理システム。
【０１０３】
［付記１４］
前記情報処理装置は、更に推定した前記構造物の動きに基づいて、前記構造物の状態を判定し、
前記情報蓄積装置は、前記情報処理装置から前記構造物の状態の判定結果を更に取得して記憶し、
前記情報表示装置は、前記情報蓄積装置から前記構造物の状態の判定結果を更に取得して表示する付記１３に記載の情報処理システム。
【０１０４】
［付記１５］
前記情報処理装置は、ネットワークを介して、計測対象領域を撮影する撮像装置から、前記時系列画像を取得する付記１３又は１４に記載の情報処理システム。
【０１０５】
［付記１６］
前記情報処理装置と前記情報蓄積装置とはネットワークを介して接続される付記１３から１５何れか１つに記載の情報処理システム。
【０１０６】
［付記１７］
前記情報蓄積装置と前記情報表示装置とはネットワークを介して接続される付記１３から１６何れか１項に記載の情報処理システム。
【０１０７】
［付記１８］
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理方法。
【０１０８】
［付記１９］
更に、前記推定した動きに基づいて、前記構造物の状態を判定する付記１８に記載の情報処理方法。
【０１０９】
［付記２０］
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する処理をコンピュータに実行させるためのプログラムを格納するコンピュータ可読媒体。
【０１１０】
この出願は、２０１８年７月２７日に出願された日本出願特願２０１８−１４１２３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１１】
１０：情報処理装置
１１：変位算出手段
１２：動き推定手段
１００：情報処理装置
１０１：変位算出部
１０２：面内変位算出部
１０３：法線方向変位算出部
１０４：動き推定部
１０５：状態判定部
１５０：情報処理システム
１５１：情報処理装置
１５２：情報蓄積装置
１５３：情報表示装置
２００：撮像装置
２５０：構造物（橋梁）
２６１〜２６３：下部構造（橋台又は橋脚）
２７１〜２７３：支持部材（支承）
２８１、２８２：ジョイント（伸縮装置）
【図１】
2020021778.tif 000003
【図２】
2020021778.tif 000004
【図３】
2020021778.tif 000005
【図４】
2020021778.tif 000006
【図５】
2020021778.tif 000007
【図６】
2020021778.tif 000008
【図７】
2020021778.tif 000009
【図８】
2020021778.tif 000010
【図９】
2020021778.tif 000011
【図１０】
2020021778.tif 000012
【図１１】
2020021778.tif 000013
【手続補正書】
【提出日】令和3年1月13日(2021.1.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出する変位算出手段と、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する動き推定手段とを備える情報処理装置。
【請求項２】
前記動き推定手段が推定する動きは、前記支持部材を中心とする前記構造物の回転を含む請求項１に記載の情報処理装置。
【請求項３】
前記変位算出手段は、前記構造物の鉛直方向の変位と、前記鉛直方向に垂直な平面において互いに直交する２つの方向の変位とを算出し、
前記動き推定手段は、前記計測対象領域と支点との間の距離を用いて、前記支点を中心とする前記構造物の回転を推定する請求項２に記載の情報処理装置。
【請求項４】
前記動き推定手段は、前記支持部材のタイプに応じて、前記構造物における、前記支持部材により支持される部分の動きを推定する請求項１から３何れか１項に記載の情報処理装置。
【請求項５】
前記構造物は、他の構造物との接続部分に配置される接続部材を含み、
前記動き推定手段は、前記構造物における、前記接続部材を介して他の構造物に接続される端部の動きを推定する請求項１に記載の情報処理装置。
【請求項６】
前記動き推定手段が推定した動きに基づいて、前記構造物の支持部材若しくは接続部材、又はそれら双方の状態を判定する状態判定手段を更に有する請求項１から５何れか１項に記載の情報処理装置。
【請求項７】
前記構造物は、橋梁の主桁を含む請求項１から６何れか１項に記載の情報処理装置。
【請求項８】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、算出した前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理装置と、
前記情報処理装置から前記推定された前記構造物の動きを取得し、記憶する情報蓄積装置と、
前記情報蓄積装置から前記推定された前記構造物の動きを取得して表示する情報表示装置とを備える情報処理システム。
【請求項９】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する情報処理方法。
【請求項１０】
支持部材で支持される構造物の計測対象領域を撮影した時系列画像から、前記計測対象領域の３次元変位を算出し、
前記計測対象領域の３次元変位に基づいて、前記構造物における、前記支持部材の動きを推定する処理をコンピュータに実行させるためのプログラム。
【国際調査報告】
2020021778.tif 000014
2020021778.tif 000015
2020021778.tif 000016
2020021778.tif 000017