(57)【要約】  一実施形態に係る画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む。
2019130391.tif 000002
【特許請求の範囲】
【請求項１】
構造物の撮像画像を解析して損傷部分を特定し、
前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
予測した前記範囲を出力する、
処理をコンピュータに実行させることを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
異なる時点で撮像された前記構造物の撮像画像の一部又は全部について圧縮処理を施す際に、予測した前記範囲に含まれる画像部分よりも、予測した前記範囲に含まれない範囲について、より高い圧縮率を適用する、
ことを特徴とする請求項１記載の画像処理プログラム。
【請求項４】
前記損傷が拡大する範囲を、前記損傷部分と前記設計データに含まれる前記構造物を構成する部材との重なり度合いに応じて予測する、
処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
【請求項５】
前記損傷が拡大する範囲を、前記損傷部分の延びる方向と前記設計データに含まれる前記構造物を構成する部材の延びる方向とに応じて予測する、
処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
【請求項６】
コンピュータにより実行される画像処理方法であって、
構造物の撮像画像を解析して損傷部分を特定し、
前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
ことを特徴とする画像処理方法。
【請求項７】
構造物の撮像画像を解析して損傷部分を特定する特定部と、
前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、
を含む、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。
【背景技術】
【０００２】
構造物等のインフラストラクチャー（以下、インフラと呼ぶことがある）を点検し、異常を検出した場合には修理等の作業を行うことでインフラを維持及び管理することが行われている。こうした、インフラの維持管理分野では人員不足や費用不足といった問題が起きている。そのため、例えば、ＩＣＴ（Information  and  Communication  Technology）技術を利用して、維持管理の効率化するための種々の試みが行われている。【０００３】
ＩＣＴ技術を利用するものとして、例えば、撮像装置、ドローン、ロボット等を用いて構造物の画像を撮影し、撮影した画像（撮像画像）を用いて点検の効率化や精度を向上させる技術がある。例えば、測定車両やセンサによって撮影した画像データをデータベースに格納し、データベースに格納した画像データを解析することにより、異常検知や経年変化を予測し、構造物の点検作業等を効率化することが行われている。なお、画像データを用いて、構造物の異常を精度よく検知するためには、高解像度の画像データを用いることが好ましい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２９５９４号公報
【特許文献２】特開２０１２−２２５８１１号公報
【特許文献３】特開昭６２−２８１５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、点検のために画像データを撮りためて行った場合に、画像データのデータ量が多くなり記憶領域を圧迫することがある。【０００６】
１つの側面では、本発明は、画像データを効率良く保存することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一つの態様の画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む
【発明の効果】
【０００８】
画像データを効率良く保存することができる。
【図面の簡単な説明】
【０００９】
【図１】例示的な画像圧縮処理を説明する図である。
【図２】例示的な画像圧縮処理を説明する別の図である。
【図３】損傷が画像データ内の圧縮されたセルの領域に拡がる例を述べる図である。
【図４】実施形態に係る画像処理装置のブロック構成を例示する図である。
【図５】例示的な損傷の進行について説明する図である。
【図６】実施形態に係る損傷を表す線分を例示する図である。
【図７】構造物の３次元モデルを例示する図である。
【図８】線分と部材との距離の関係を説明する図である。
【図９】線分と部材の中心線との角度について説明する図である。
【図１０】損傷が拡がる可能性があるセルの予測を例示する図である。
【図１１】実施形態に係る画像圧縮処理の一例を示す図である。
【図１２】実施形態に係る画像データ情報の一例を示す図である。
【図１３】実施形態に係る設計データ情報の一例を示す図である。
【図１４】実施形態に係る損傷進行の予測処理の動作フローを例示する図である。
【図１５】実施形態に係る損傷部分データを例示する図である。
【図１６】実施形態に係る或る識別情報で識別される画像データに対する予測情報を例示する図である。
【図１７】実施形態に係る画像圧縮処理の動作フローを例示する図である。
【図１８】実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
【００１１】
図１は、例示的な画像圧縮処理を説明する図である。例えば、カメラなどの撮像装置で、点検対象の構造物を撮影することで、画像データ１０（例えば、画像データ１０ａ〜画像データ１０ｆ）は生成されてよい。画像データ１０は、一例ではラスタ画像のデータであってよい。画像データ１０は、例えば、画像データ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆの順に撮影されていてよい。なお、点検対象の構造物は、例えば、道路の舗装面、橋梁、トンネルなど、異常や経年劣化などを監視して、補修などを行う対象となる構造物であってよい。
【００１２】
また、関連データ１１ａ〜１１ｆは、それぞれ、画像データ１０ａ〜１０ｆに対応するデータである。関連データ１１は、例えば、対応する画像データ１０から検出されたひび割れや亀裂などの構造物に含まれる損傷の形状を示すベクター画像のデータであってよい。
【００１３】
画像データ１０ａ〜１０ｆは、異なる時期に同一箇所を撮影した画像であってよい。例えば、或る時期に、或る箇所の画像データ１０ａが撮影され、その画像データ１０ａから関連データ１１ａが生成されてよく、数年後に、同一箇所の画像データ１０ｂが撮影され、画像データ１０ｂから関連データ１１ｂが生成されてよい。
【００１４】
画像処理装置は、例えば、画像データ１０ａ〜１０ｆを複製および画像解析することで、ひび割れや亀裂などの構造物に含まれる損傷の形状を検出し、関連データ１１ａ〜１１ｆを生成してよい。例えば、画像処理装置は、物理量センサ等の装置によって取得した損傷箇所の位置情報を、ベクター画像として生成してもよい。損傷がひび割れであれば、ひび割れの線がベクター画像となってよい。
【００１５】
続いて、例示的な画像データ１０のデータ量削減処理について説明する。例えば、画像データ１０ａの撮影時刻をＴ１とし、画像データ１０ｄの撮影時刻をＴ２とする。ここで、撮影時刻Ｔ１は、撮影時刻Ｔ２よりも過去の時刻である。
【００１６】
まず、画像処理装置は、画像データ１０ａを複数の領域に区切り、複数のセル２０ａ〜セル２０ｆを生成する（図１の（１））。
【００１７】
画像処理装置は、時刻Ｔ１に撮像された画像データ１０ａと、時刻Ｔ２に撮像された画像データ１０ｄから生成された関連データ１１ｄとを比較して、損傷を含むセル２０を特定する（図１の（２））。損傷を含むセル２０は、例えば、関連データ１１ｄで形状が定義されている損傷部分を含むセル２０である。続いて、画像処理装置は、損傷部分を含まないセル２０をセル２０ａ〜２０ｆのうちから特定し、特定したセル２０を圧縮する（図１の（３））。例えば、画像処理装置は、セル２０ｃ，２０ｄ，２０ｆを圧縮する。
【００１８】
画像処理装置は、圧縮したセル２０ｃ，２０ｄ，２０ｆと、圧縮していないセル２０ａ，２０ｂ，２０ｅを結合することで、元の画像データ１０ａと対応する圧縮された画像データ３０を生成する（図１の（４））。画像処理装置は、圧縮した画像データ３０を、圧縮前の画像データ１０ａの代わりに、データベースで保存する。そのため、画像データにおいて時刻Ｔ２の時点で損傷が含まれる領域のデータの劣化を抑えつつ、画像データのデータ量を削減することができる。
【００１９】
図２は、以上で述べた、例示的な画像圧縮処理を更に説明する図である。上段は、時刻Ｔ２に撮像された画像データから得られた関連データ１１を用いて圧縮箇所を特定する処理を例示している。また、下段は、時刻Ｔ１に撮像された画像データ１０の圧縮処理を例示している。なお、一実施形態において、時刻Ｔ２は、時刻Ｔ１よりも後の時刻であってよい。図２に示すように、画像処理装置は、例えば、時刻Ｔ１の画像データ１０を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得する。そして、画像処理装置は、取得した関連データ１１を複数のセル２０に分割する（図２の（１））。例えば、画像処理装置は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、図２の下段に示すように、画像処理装置は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図２の（２））。例えば、画像処理装置は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ内での配置を示すアドレス情報を付与してよい。
【００２０】
画像処理装置４００は、分割した各セル２０のうちで、時刻Ｔ１の関連データ１１で示される損傷が含まれる領域に配置されているセル２０を特定する。そして、画像処理装置４００は、損傷が含まれるセル２０に圧縮対象としないことを示す「Ｆａｌｓｅ」を設定し、損傷が含まれていないセル２０には、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図２の（３））。そして、画像処理装置４００は、時刻Ｔ１で撮像された画像データ１０を分割して得られた複数のセル２０のうち、圧縮対象である「Ｔｒｕｅ」が設定されている位置に配置されたセル２０のデータを圧縮する（図２の（４））。
【００２１】
続いて、画像処理装置４００は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データ１０と対応する圧縮された画像データ３０を生成する（図２の（５））。そのため、例えば、時刻Ｔ２の時点で損傷が含まれるセル２０の領域については、点検などに用いる画像として十分な品質を有する画像でありつつ、その他のセル２０の領域のデータが圧縮された画像データ３０を生成することができる。従って、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。しかしながら、圧縮した画像領域にひび割れ等の損傷が拡がってしまうことがある。
【００２２】
図３は、損傷が画像データ１０内の圧縮されたセル２０の領域に拡がる例を述べる図である。例えば、図３（ａ）は、或る時刻で撮像された画像データ１０を圧縮して得た圧縮画像データ３０を例示する図である。この時点では、損傷は未圧縮の領域３０１内に収まっており、損傷は、圧縮された領域３０２には含まれていない。しかしながら、損傷が未圧縮の領域３０１を越えて拡がることがある。図３（ｂ）は、図３（ａ）の画像データが撮像された時刻から後の時刻に損傷が拡がった状態を示す図であり、図３（ｃ）は、図３（ａ）と、図３（ｂ）との重ね合わせを示す図である。図３（ｃ）に示す様に、損傷は圧縮されたセルの領域３０２にも含まれている。圧縮により劣化した領域に損傷が含まれているため、これらの画像を用いて異常検知や経年変化の検出を行った場合に、支障がでることがある。
【００２３】
そこで、以下で述べる実施形態では、画像処理装置は、損傷が拡がる可能性の高い領域を予測する。そのため、実施形態によれば、損傷が拡がる可能性の高い領域を圧縮せずに残すことができ、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。以下、実施形態を説明する。
【００２４】
図４は、実施形態に係る画像処理装置４００のブロック構成を例示する図である。画像処理装置４００は、例えば、制御部４０１及び記憶部４０２を含んでいる。制御部４０１は、例えば特定部４１１、及び予測部４１２などを含む。画像処理装置４００の記憶部４０２は、例えば、後述する画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００などの情報を記憶している。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。 
【００２５】
上述のように、実施形態においては、画像処理装置４００の制御部４０１は、損傷部分が拡がる可能性のある領域を予測する。以下、損傷部分が拡がる可能性のある領域の予測について説明する。
【００２６】
例えば、道路の舗装面、橋梁、トンネルなど、経年劣化などを監視し、補修などを行う対象となる構造物においてコンクリートなどの損傷や経年変化の点検対象となる点検対象部材にひび割れや亀裂などの損傷が発生したとする。この場合、損傷から構造物の内部に雨水などが侵入することがある。そして、損傷が、例えば、部材に沿っていると、損傷から構造物内部に侵入した水が部材に接触してしまい、部材が水で腐食や劣化を起こして形状が変化し、損傷が部材に沿った方向に進行してしまうことがある。なお、部材は、例えば、鉄筋や鉄骨など、水や風雨に晒されると劣化や腐食を起こしやすく、腐食により形状が変化し得る材質でできていてよい。
【００２７】
図５は、例示的な損傷の進行について説明する図である。図５（ａ）は、構造物の設計データから得られた３次元モデルを例示する図であり、鉄筋、鉄骨などの部材５０１の構造が示されている。ここで、枠５０２に示す領域にある点検対象部材に損傷５０３が起きており、その損傷を示す関連データ１１が図５（ｂ）である。この場合に、図５（ｂ）の関連データ１１上に部材５０１の構造を重ね合わせて表示すると、図５（ｃ）となる。そして、図５（ｃ）において、関連データ１１で示される損傷５０３と、内部の部材５０１との重なりの度合いが大きく、延びる方向も一致している。この場合、損傷５０３は、矢印５０４で示す点線のように、部材に沿った方向に進行する可能性が高い。そのため、画像処理装置４００は、構造物の設計データを参照することで、図５（ｃ）に示す様に、部材の構造に沿った方向に損傷が進むと予測することができる。一方、矢印５０５で示す損傷５０３は、部材５０１との重なり度合いが低く、延びる方向も部材５０１の延びる方向と一致していないため、損傷５０３の進行は部材の影響を受けないと推定されてよい。
【００２８】
以下、損傷の進行の予測について更に詳細に説明する。まず、制御部４０１は、関連データ１１で示される損傷の線分を、所定の長さの線分で表して良い。
【００２９】
図６は、実施形態に係る損傷を所定の長さの線分で表す例を示す図である。画像処理装置４００の制御部４０１は、例えば、関連データ１１の損傷を所定の長さ：ｃ（ｃｍ）毎の線分に区切り、それぞれの始点と終点に所定の２次元直交座標を付与する。なお、所定の長さ：ｃ（ｃｍ）は、例えば、５ｃｍ〜１０ｃｍの範囲の長さであってよい。制御部４０１は、始点から所定の距離にある損傷の線分上の点を終点として特定してよい。また、特定した終点は、次の線分の始点として用いられてよい。そして、制御部４０１は、それぞれの線分の始点にＰ１からＰｎまで識別情報を付与してよい。また、例えば、１つめの始点の位置は任意に選択されてよい。図６（ｂ）は、以上のように区切った線分を例示する図であり、損傷を所定の長さの線分で表現することができる。なお、区切った際に損傷の終点までの距離がｃ（ｃｍ）未満となれば、制御部４０１は、その損傷の線分の終点にｃ（ｃｍ）よりも短いｃ’（ｃｍ）で座標を付与してよい。
【００３０】
続いて、制御部４０１は、構造物の設計図である設計データから構造物を形作る部材の３次元モデルを取得し、部材５０１と損傷部分との重なりの度合いを判定する。
【００３１】
図７は、構造物の３次元モデルを例示する図である。図７（ａ）には、部材７０１と、損傷等を点検する対象の点検対象部材の例としてコンクリート７０２が示された点検対象部材の断面図である。なお、図７（ａ）では、図面下部の側面にあるコンクリート７０２に損傷があるものとする。図７（ｂ）は、損傷を含む側面のコンクリート７０２を、損傷のベクター画像の元となった画像データ１０の撮像方向から透視した際、コンクリート７０２の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材をベクター画像上に重ね合わせて表示した図である。この様に重ね合わせて表示することで、図７（ｂ）に示すように、損傷部分と、部材との重なり度合いを評価することが可能である。以下では、損傷部分と、部材との重なり度合いを距離で評価する例を述べる。
【００３２】
例えば、制御部４０１は、ベクター画像の平面上で損傷部分を表す線分のうち、線分と部材との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材との組みを抽出する。なお、一例では、線分と部材との距離には、線分の始点および終点と、部材の長手方向の中心線との距離が用いられてよい。また、別の例では、線分と部材との距離には、線分と部材の長手方向の中心線との最短距離が用いられてよい。所定の距離：ｅ（ｃｍ）は、例えば、設計データ情報１３００に含まれる部材の平均的な幅等から、損傷から侵入した水が部材の劣化に影響を与え得ることが推定される距離に設定されてよい。
【００３３】
図８は、線分と部材との距離を例示する図である。図８に示す例では、鉄筋２に対して線分Ｐ２−Ｐ３と線分Ｐ３−Ｐ４が条件を満たすため、制御部４０１は、鉄筋２に対して線分Ｐ２−Ｐ３と線分Ｐ３−Ｐ４を抽出してよい。
【００３４】
続いて、制御部４０１は、損傷部分の延びる方向と、部材の延びる方向とが所定の角度範囲内で一致しているか否かを判定する。例えば、制御部４０１は、ベクター画像の平面において抽出した線分と、部材の中心線とが成す鋭角の角度が所定の角度：ｆ（度）以下であるか否かを判定してよい。
【００３５】
図９は、抽出した線分と、部材の中心線との角度の判定を例示する図である。図９（ａ）は、例えば、抽出した線分と、部材の中心線との延びる向きがある程度一致しており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）以下の場合の例である。一方、図９（ｂ）は、例えば、抽出した線分と、部材の中心線とが大きく異なる方向に延びており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）よりも大きい場合の例である。上述のように、発生した損傷から内部に侵入した水など部材に接触し、部材を腐食させたり劣化させたりして形状が変化すると、その形状変化に伴い損傷が部材に沿った方向に進行してしまうことがある。これは、例えば、部材の延びる方向と損傷の延びる方向とが近しい方向である場合、より起こりやすい。そのため、例えば、図９（ａ）に示すように、部材の延びる方向と、損傷の延びる方向とが成す鋭角の角度がｆ度以下であり、部材と損傷とが近しい方向に延びている場合、その損傷は、部材が延びる方向に進行すると予測することができる。一方、例えば、図９（ｂ）に示すように、部材の方向と、損傷の方向とが成す鋭角の角度がｆ度より大きい場合、損傷の拡大に部材があまり影響しないと推定できるため、損傷の進行は部材の影響を受けないと推定されてよい。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。そして、以上のようにして抽出した線分は、今後、部材が延びる方向に沿って損傷が進行する可能性があると予測することができる。
【００３６】
続いて、制御部４０１は、例えば、圧縮対象の画像データをｍ×ｎ個のセル領域に分割し、各セル２０にアドレス情報を付与してよい。そして、制御部４０１は、線分との重なり度合いが高く、また、延びる方向も所定の角度範囲内で一致していた鉄筋２を含むセル２０を、今後、損傷が拡がる可能性があるセルとして特定する。制御部４０１は、特定したセルのアドレス情報を後述する予測情報１６００に登録し、記憶部４０２に記憶してよい。
【００３７】
図１０は、損傷が拡がる可能性があるセル２０の予測を例示する図である。図１０において点線の枠１００１で囲われているセル２０が、鉄筋２を含むセル２０であり、損傷が拡がる可能性があると予測されたセル２０である。
【００３８】
なお、１枚の画像データは、一例では、コンクリートの１つの床版と対応づけられていてよい。これは、例えば、床版の一部に亀裂等の損傷が発生した場合、その損傷は床版の端まで拡がる可能性があるためである。そのため、損傷の予測は、例えば、床版単位で行われてよい。例えば、損傷の下に部材があり、損傷が部材に沿って延びることが予測された場合に、制御部４０１は、床板の端と対応する画像データの端まで、その部材を含むセル２０を損傷が拡がる可能性があるセル２０として特定してよい。また、別の実施形態では、例えば、腐食や劣化が進行する部材が、別の床版の下にも延びている場合、別の床版にも部材の腐食や劣化の影響で損傷が拡がることがある。そのため、別の実施形態では、例えば、時刻Ｔ１から時刻Ｔ２にかけての損傷の進行度合いから、別の画像において所定の年数後までの損傷の進行を予測して、損傷が拡がる可能性があると予測されるセル２０を特定してもよい。なお、実施形態に係る画像データは必ずしも床版単位でなくてもよく、別の実施形態では、床版の一部や、いくつか床版をまたがっていてもよい。
【００３９】
以上のように、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材との重なり度合いに基づいて予測する。また、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材とが延びる方向に基づいて予測する。それにより、制御部４０１は、損傷が拡がる可能性のあるセル２０を特定することができる。そのため、制御部４０１は、損傷が拡がる可能性のあるセル２０の領域を避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
【００４０】
図１１は、以上で述べた、実施形態に係る画像圧縮処理の一例を示す図である。図１１において、上段は、時刻Ｔ２において撮像された画像データと対応付けられている関連データに対する処理を示す。また、下段は、時刻Ｔ１における画像データに対する圧縮処理を示す。なお、時刻Ｔ２は、時刻Ｔ１よりも後の時刻である。制御部４０１は、例えば、時刻Ｔ１の画像を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得してよい。そして、制御部４０１は、取得した関連データ１１を複数のセル２０に分割する（図１１の（１））。例えば、制御部４０１は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、制御部４０１は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図１１の（２））。例えば、制御部４０１は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ１０内での配置を示すアドレス情報を付与してよい。
【００４１】
続いて、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷が含まれるセル２０（図１１の１１０１）を特定し、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷と、記憶部４０２に記憶された設計データとから、損傷が拡がる可能性のあるセル２０（図１１の１１０２）を特定する。そして、制御部４０１は、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、その他のセルには、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図１１の（３））。
【００４２】
そして、制御部４０１は、時刻Ｔ１に撮像された画像データ１０を分割したセル２０のうち、時刻Ｔ２の関連データ１１から特定された圧縮対象である「Ｔｒｕｅ」が設定されているセル２０の画像データを圧縮する（図１１の（４））。
【００４３】
続いて、制御部４０１は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データと対応する圧縮された画像データ３０を生成する（図１１の（５））。そのため、例えば、時刻Ｔ１の時点で損傷が含まれるセル２０と、設計データとから予測された損傷が拡がる可能性のある領域については、点検作業などに用いる画像として十分な品質を保つことができる。一方で、その他の領域のデータが圧縮することで、画像データのデータ量が削減された画像データ３０を生成することができる。従って、構造物の異常等の検出や監視の精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
【００４４】
以上で述べた、実施形態に係る画像圧縮処理について更なる詳細を以下に説明する。
【００４５】
図１２は、実施形態に係る画像データ情報１２００の一例を示す図である。画像データ情報１２００には、例えば、点検対象となっている構造物において損傷等の異常を監視及び検出する対象の点検領域を写した画像に関するエントリが登録されていてよい。画像は、例えば、ドローンに撮像装置を取り付けて構造物の点検領域を撮像して得られた画像であってもよいし、高解像度望遠カメラを使用して点検領域を撮像して得られた画像であってもよい。画像データ情報１２００のエントリは、識別番号と、位置情報と、時刻情報と、画像データとを含んでいてよく、これらの情報は対応づけられている。識別番号は、画像データを一意に識別する情報である。位置情報は、画像データに写る点検領域の位置を示す情報である。時刻情報は、画像データを撮影した時刻を示す情報である。画像データは、エントリの位置情報で示される位置の点検領域を、時刻情報の時刻に撮像装置で撮像した画像データ１０である。画像データは、上述のように、一例では、コンクリートの１つの床版と対応づけられていてよい。また、別の例では画像データは、床版の一部や、いくつか床版をまたがった画像であってもよい。画像処理装置４００の記憶部４０２には、例えば、画像データ情報１２００が記憶されていてよい。
【００４６】
図１３は、設計データ情報１３００を例示する図である。設計データ情報１３００は、例えば、道路の舗装面、橋梁、トンネルなどの点検対象の構造物の設計図に関するデータが登録されている。設計データ情報１３００には、例えば、部材識別情報、及び構造情報を含むエントリが登録されている。部材識別情報は、例えば、構造物に使用されている鉄筋、鉄骨、コンクリートなどの部材を識別するための識別情報である。構造情報は、エントリの部材識別情報で識別される部材の構造物における位置や配置を示す情報であり、一例では、３次元空間上での部材の各頂点の位置座標や辺の情報など部材の輪郭を示す情報であってよい。例えば、部材が円柱状の鉄筋である場合には、部材の中心線の端部の位置座標と、中心線からの半径の情報が構造情報に登録されていてよい。画像処理装置４００の記憶部４０２には、例えば、以上のような設計データ情報１３００が記憶されていてよい。
【００４７】
図１４は、実施形態に係る損傷進行予測処理９００１の動作フローを例示する図である。制御部４０１は、例えば、損傷進行予測処理９００１の実行指示が入力されると、図１４の動作フローを実行してよい。
【００４８】
ステップ１４０１（なお、以降、ステップを“Ｓ”と記載し、例えば、Ｓ１４０１と表記する）において制御部４０１は、画像データ情報１２００から画像データを読み出す。制御部４０１は、例えば、ユーザから損傷の拡がりの予測に用いる画像データとして指定されている時刻Ｔ２に撮像された画像データを読み出してよい。Ｓ１４０２において制御部４０１は、読み出した画像データを解析し、読み出した画像データに写る構造物の領域に損傷が含まれているか否かを判定する。画像データに損傷が含まれている場合（Ｓ１４０２がＹｅｓ）、フローはＳ１４０３に進む。
【００４９】
Ｓ１４０３において制御部４０１は、損傷が含まれている画像データを解析して損傷部分を特定し、損傷部分の形状を表すベクターデータを生成して、画像データと対応付けて記憶部４０２に記憶する。例えば、制御部４０１は、画像データ情報１２００の対応する画像データが含まれるエントリに、ベクターデータを追加し、損傷部分データ１５００を生成してよい。
【００５０】
図１５は、実施形態に係る損傷部分データ１５００を例示する図である。損傷部分データ１５００では、画像データ情報１２００の各エントリのうち損傷が検出されたエントリには、その損傷の形状を表すベクターデータが追加されている。損傷部分データ１５００には、例えば、識別番号と、位置情報と、時刻情報と、画像データと、その画像データと対応づけられるベクターデータとを含むエントリが登録されている。識別番号、位置情報、時刻情報、及び画像データについては、図１２で述べたのと同様のデータであってよい。画像データと対応するベクターデータは、エントリの位置情報に示される位置で、時刻情報に示される時刻に撮像装置で撮像された画像のデータから検出された損傷のベクターデータであってよい。
【００５１】
また、Ｓ１４０４において制御部４０１は、ベクターデータで表される損傷を所定の長さの線分で表す。制御部４０１は、例えば、上述の図６で述べた様に、損傷データ上の任意の点から、所定の長さの位置にある損傷データ上の点までの線分で損傷のデータを区切り、損傷を線分で表してよい。
【００５２】
Ｓ１４０５において制御部４０１は、設計データ情報１３００から構造物の設計データを読み出す。そして、制御部４０１は、設計データ情報１３００で規定された構造物を３次元にモデリングし、その構造物に画像データを位置合わせする。例えば、制御部４０１は、構造物の３次元構造モデルと、画像データ上の所定の点とを位置合わせし、テクスチャマッピングの技術を用いて、３次元構造モデルに画像を張り付けてよい。
【００５３】
Ｓ１４０６において制御部４０１は、張り付けた画像データを透過させた際に、画像データ上のコンクリートなどの損傷を有する点検対象部材から所定の距離以内にある部材を特定する。制御部４０１は、例えば、上述の図７で述べた様に、点検対象部材の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材を特定してよい。
【００５４】
Ｓ１４０７において制御部４０１は、特定した部材と、所定の条件を満たす重なり度合いで重なる線分を特定する。例えば、制御部４０１は、特定した部材と、所定の距離以内にある線分を特定してよい。制御部４０１は、例えば、図８を参照して述べた様に、ベクターデータの平面上で線分の始点および終点と部材の中心線との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材の組みを抽出してよい。なお、所定の距離：ｅ（ｃｍ）は、例えば、その距離で部材から離れた位置にある損傷から水などが侵入した場合に、水が部材を劣化させ得ると推定される距離に設定されてよい。
【００５５】
Ｓ１４０８において制御部４０１は、例えば、抽出した線分と部材の組みが成す角度を特定する。例えば、制御部４０１は、線分と、部材の中心線とがベクターデータの平面上でなす角度のうち鋭角を特定してよい。そして、Ｓ１４０９において制御部４０１は、特定した角度が所定の角度以下か否かを判定する。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。なお、鋭角を用いるのは例示であり、実施形態はこれに限定されるものではく、別の実施形態では、鈍角を用いて別な閾値で判定が行われてもよい。
【００５６】
Ｓ１４０９において特定した角度が所定の角度よりも大きい場合（Ｓ１４０９がＮｏ）、その線分に対する処理は終了する。一方、Ｓ１４０９において特定した角度が所定の角度以下である場合（Ｓ１４０９がＹｅｓ）、フローはＳ１４１０に進む。
【００５７】
Ｓ１４１０において制御部４０１は、重なり度合いがＳ１４０７の所定の条件を満たす重なり度合いであり、角度がＳ１４０９の所定の角度以下で線分と同じ方向に延びると判定された部材を特定する。Ｓ１４１１において制御部４０１は、ベクターデータを所定サイズのセルに分割する。例えば、制御部４０１は、所定サイズのベクターデータを、横軸でｍ個のセルに分割してｍの値で区別し、縦軸でｎ個のセルに分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。
【００５８】
Ｓ１４１２において制御部４０１は、ベクターデータを分割して得た複数のセル２０のうちで、ベクターデータを透過して見た場合に、Ｓ１４１０で特定した部材を含むセル２０を特定する。なお、このセル２０は、例えば、損傷に起因する構造物の劣化で損傷が拡がる可能性のあると予測されたセルである。
【００５９】
Ｓ１４１３において制御部４０１は、Ｓ１４１２で特定したセルには損傷が拡がる可能性があり、圧縮しないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、損傷を含むセルにも「Ｆａｌｓｅ」を設定してよい。制御部４０１は、その他のセルには、損傷が拡がる可能性が少なく、圧縮することを示す「Ｔｒｕｅ」を設定する。そして、各セルに対する「Ｔｒｕｅ」又は「Ｆａｌｓｅ」の設定が登録された予測情報１６００を出力し、本動作フローは終了する。
【００６０】
図１６は、実施形態に係る或る識別情報で識別される画像データに対する予測情報１６００を例示する図である。予測情報１６００には、画像データと対応付けてセル２０の配置を示すアドレス情報と、損傷及び損傷の予測と対応している圧縮対象か否かを示す圧縮情報を対応付けたエントリが登録されている。例えば、制御部４０１は、Ｓ１４１３で、以上の予測情報１６００を出力してよい。従って、制御部４０１は、損傷が拡がる可能性があると予測されたセルの範囲を示す情報を出力することができる。なお、上述の実施形態では、損傷を含むセルと、損傷が拡がる可能性のあるセルとの両方に、同じ値「Ｆａｌｓｅ」を設定しているが、別の実施形態では、制御部４０１は、異なる値を設定してもよい。例えば、制御部４０１は、損傷が予測されたセルを特定可能な予測情報１６００を出力してもよい。
【００６１】
また、Ｓ１４０２において画像データに損傷が含まれていない場合（Ｓ１４０２がＮｏ）、フローはＳ１４１３に進み、制御部４０１は、予測情報１６００を出力して、本動作フローは終了する。この場合、予測情報１６００のエントリの損傷予測は、全て「Ｔｒｕｅ」に設定されてよい。出力された予測情報１６００は、例えば、記憶部４０２に記憶されてよい。
【００６２】
以上で述べた様に、図１４の動作フローによれば、制御部４０１は、設計データに基づき損傷が拡大する範囲を予測することができる。そして、制御部４０１は、予測した範囲を出力することができる。そのため、制御部４０１は、予測された損傷が拡大する範囲の情報を用いて、損傷が拡がる可能性のあるセルを避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
【００６３】
また、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との重なり度合いに応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。同様に、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との延びる方向に応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。
【００６４】
続いて、実施形態に係る画像圧縮処理を説明する。図１７は、実施形態に係る画像圧縮処理の動作フローを例示する図である。制御部４０１は、例えば、画像圧縮処理の実行指示が入力されると、図１７の動作フローを開始してよい。
【００６５】
Ｓ１７０１において制御部４０１は、圧縮対象の画像データを画像データ情報１２００から読み出す。例えば、制御部４０１は、ユーザから圧縮対象の画像データとして指定されている時刻Ｔ１に撮像された画像データを読み出してよい。Ｓ１７０２において制御部４０１は、読み出した画像データをｍ×ｎ個のセル領域に分割して保存し、各セルにアドレス情報を付与する。一例では、制御部４０１は、横軸にｍ個のセルを分割してｍの値で区別し、縦軸にｎ個のセルを分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。なお、Ｓ１７０２でセル２０に付与されるアドレス情報は、図１４のＳ１４１１でベクターデータのセルに付与されるアドレス情報と対応していてよい。換言すると、画像データは、対応するベクターデータと同じように分割されてよい。
【００６６】
Ｓ１７０３において制御部４０１は、画像データを分割して得られた複数のセルのうち、未処理のセルを１つ選択する。Ｓ１７０４において制御部４０１は、選択したセルのアドレス情報と予測情報１６００において対応づけられる圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」か否かを判定する。セルの圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」に設定されている場合（Ｓ１７０４がＹｅｓ）、フローはＳ１７０６に進む。一方、圧縮情報が、損傷を含む又は損傷が拡がる可能性のない「Ｔｒｕｅ」に、設定されている場合（Ｓ１７０４がＮｏ）、フローはＳ１７０５に進む。
【００６７】
Ｓ１７０５において制御部４０１は、選択したセルの画像を圧縮する。例えば、制御部４０１は、圧縮情報が「Ｔｒｕｅ」に設定されたセルの画像の解像度をより低く変更することで、データ量を削減してよい。なお、別な実施形態では、損傷を含む、又は損傷が拡がる可能性のあると予測された「Ｆａｌｓｅ」に設定されているセルよりも、「Ｔｒｕｅ」に設定されたその他のセルに、より高い圧縮率を適用してもよい。この場合にも、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
【００６８】
Ｓ１７０６において制御部４０１は、画像データ内のすべてのセルに処理を実行したか否かを判定する。未処理のセルがある場合、フローはＳ１７０３に戻り、未処理のセルを選択して処理を繰り返す。一方、全てのセルの処理が完了している場合、フローはＳ１７０７に進む。
【００６９】
Ｓ１７０７において制御部４０１は、処理後の複数のセルを、アドレス情報に従って結合し、それにより、元の画像データと対応する圧縮された画像データを生成し、本動作フローは終了する。
【００７０】
以上で述べた様に、実施形態によれば、制御部４０１は、構造物に発生している損傷と、構造物の設計データとから、損傷が拡がる可能性のある領域を予測する。そして、制御部４０１は、損傷が拡がる可能性のある領域を出力する。そのため、制御部４０１は、例えば、画像データ内で損傷が拡がる可能性の低い領域を特定し、その領域のデータを圧縮するなどして画像データのデータサイズを低減することができる。従って、実施形態によれば、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
【００７１】
上述の実施形態において、図１４のＳ１４０２の処理で、制御部４０１は、例えば、特定部４１１として動作する。また、図１４のＳ１４１２の処理で、制御部４０１は、例えば、予測部４１２として動作する。
【００７２】
以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、図１４のＳ１４１１の処理はＳ１４０３の処理の前など、Ｓ１４１１よりも前の段階で実行されてもよい。
【００７３】
図１８は、実施形態に係る画像処理装置４００を実現するための画像処理装置４００のハードウェア構成を例示する図である。図１８の画像処理装置４００を実現するためのハードウェア構成は、例えば、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、及び入出力インタフェース１８０７を備える。なお、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７は、例えば、バス１８０８を介して互いに接続されている。
【００７４】
プロセッサ１８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１８０１は、メモリ１８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、例えば、特定部４１１及び予測部４１２など、上述した制御部４０１の一部または全部の機能を提供する。
【００７５】
メモリ１８０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置１８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
【００７６】
読取装置１８０４は、プロセッサ１８０１の指示に従って着脱可能記憶媒体１８０５にアクセスする。着脱可能記憶媒体１８０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。
【００７７】
記憶部４０２は、例えばメモリ１８０２、記憶装置１８０３、及び着脱可能記憶媒体１８０５を含んでいる。画像処理装置４００の記憶装置１８０３には、例えば、画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００が格納されている。
【００７８】
通信インタフェース１８０６は、例えば、プロセッサ１８０１の指示に従ってネットワークを介してデータを送受信する。入出力インタフェース１８０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、及びスピーカなどの音声装置である。
【００７９】
実施形態に係る各プログラムは、例えば、下記の形態で画像処理装置４００に提供される。
（１）記憶装置１８０３に予めインストールされている。
（２）着脱可能記憶媒体１８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。 
【００８０】
なお、図１８を参照して述べた画像処理装置４００を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。
【００８１】
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
【符号の説明】
【００８２】
４００      ：画像処理装置
４０１      ：制御部
４０２      ：記憶部
４１１      ：特定部
４１２      ：予測部
１８００    ：コンピュータ
１８０１    ：プロセッサ
１８０２    ：メモリ
１８０３    ：記憶装置
１８０４    ：読取装置
１８０５    ：着脱可能記憶媒体
１８０６    ：通信インタフェース
１８０７    ：入出力インタフェース
１８０８    ：バス
【図１】
2019130391.tif 000003
【図２】
2019130391.tif 000004
【図３】
2019130391.tif 000005
【図４】
2019130391.tif 000006
【図５】
2019130391.tif 000007
【図６】
2019130391.tif 000008
【図７】
2019130391.tif 000009
【図８】
2019130391.tif 000010
【図９】
2019130391.tif 000011
【図１０】
2019130391.tif 000012
【図１１】
2019130391.tif 000013
【図１２】
2019130391.tif 000014
【図１３】
2019130391.tif 000015
【図１４】
2019130391.tif 000016
【図１５】
2019130391.tif 000017
【図１６】
2019130391.tif 000018
【図１７】
2019130391.tif 000019
【図１８】
2019130391.tif 000020
【国際調査報告】
2019130391.tif 000021
2019130391.tif 000022