(57)【要約】【課題】漏水が生じた箇所の画像から、発生した漏水の程度を識別する。【解決手段】情報処理システムは、建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示する表示制御部と、前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化する定量化部と、を備える。【選択図】図１
2019080206.tif 000002
【特許請求の範囲】
【請求項１】
建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示する表示制御部と、
前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化する定量化部と、
を備える情報処理システム。
【請求項２】
前記定量化部は、
前記漏水範囲の変化を、前記双方の画像に共通する範囲内の漏水範囲内外の面積の比から算出する
請求項１に記載の情報処理システム。
【請求項３】
前記定量化部は、
前記双方の画像に共通する範囲内に複数の基準の位置が定められ、漏水範囲内外の前記基準の位置の明るさの分布に基づいて、前記漏水範囲の変化を算出する
請求項１又は請求項２に記載の情報処理システム。
【請求項４】
前記定量化部は、
前記双方の画像に共通する範囲内において、漏水範囲内外の前記基準の位置の明るさの比に基づいて前記漏水範囲の変化を算出する
請求項３に記載の情報処理システム。
【請求項５】
前記算出された漏水範囲の変化を前記双方の画像における変化率で示す状況変化判定部
を備える請求項３又は請求項４に記載の情報処理システム。
【請求項６】
前記建物内の漏水箇所が、前記建物の内装部材により隠蔽される前記建物の躯体側にあり、
前記建物内の漏水状況を示す画像は、前記建物内の漏水箇所の像を含まない前記建物の内装部材の表面の画像である
請求項３に記載の情報処理システム。
【請求項７】
前記状況変化判定部は、
前記建物内の漏水箇所に対応付けて、前記複数の画像のそれぞれと、その特徴点と撮影段階の条件の組情報とを記憶部に格納する
請求項５に記載の情報処理システム。
【請求項８】
前記第１画像と前記第２画像は、前記漏水状況を示す像の他に、前記漏水状況によって変化しない被写体の像を含み、
前記表示制御部は、前記漏水状況によって変化しない被写体の像に基づいて、前記第１画像と前記第２画像が重なるように調整する
請求項１から請求項７の何れか１項に記載の情報処理システム。
【請求項９】
コンピュータが、
建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示し、
前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化するステップと、
を含む情報処理方法。
【請求項１０】
コンピュータに、
建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示させ、
前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化するステップ、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
建物の壁等にひび割れが生じて、雨等によって建物の内部に漏水することがある。このような漏水に対する対策を講じるため、漏水が生じた箇所における漏水の程度を識別できることが望まれる。
【０００３】
また、各種点検作業で、点検を行うべき点検ポイントの画像を残して、その点検ポイントの経年変化を、残した画像を目視で見比べて検出する運用が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１４３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、漏水が生じている状態で立ち会えばその漏水の程度を特定することは容易であるが、漏水が生じた箇所の漏水が止まっている状況で、発生した漏水の程度を識別することは困難である。
【０００６】
本発明が解決しようとする課題は、漏水が生じた箇所の画像から、発生した漏水の程度を識別する情報処理システム、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
（１）本発明の一態様の情報処理システムは、建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示する表示制御部と、前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化する定量化部と、を備える情報処理システムである。
【０００８】
（２）また、上記の情報処理システムにおいて、前記定量化部は、前記漏水範囲の変化を、前記双方の画像に共通する範囲内の漏水範囲内外の面積の比から算出する。
【０００９】
（３）また、上記の情報処理システムにおいて、前記定量化部は、前記双方の画像に共通する範囲内に複数の基準の位置が定められ、漏水範囲内外の前記基準の位置の明るさの分布に基づいて、前記漏水範囲の変化を算出する。
【００１０】
（４）また、上記の情報処理システムにおいて、前記定量化部は、前記双方の画像に共通する範囲内において、漏水範囲内外の前記基準の位置の明るさの比に基づいて前記漏水範囲の変化を算出する。
【００１１】
（５）また、上記の情報処理システムは、前記算出された漏水範囲の変化を前記双方の画像における変化率で示す状況変化判定部を備える。
【００１２】
（６）また、上記の情報処理システムにおいて、前記建物内の漏水箇所が、前記建物の内装部材により隠蔽される前記建物の躯体側にあり、前記建物内の漏水状況を示す画像は、前記建物内の漏水箇所の像を含まない前記建物の内装部材の表面の画像である。
【００１３】
（７）また、上記の情報処理システムにおいて、前記状況変化判定部は、前記建物内の漏水箇所に対応付けて、前記複数の画像のそれぞれと、その特徴点と撮影段階の条件の組情報とを記憶部に格納する。
【００１４】
（８）また、上記の情報処理システムにおいて、前記第１画像と前記第２画像は、前記漏水状況を示す像の他に、前記漏水状況によって変化しない被写体の像を含み、前記表示制御部は、前記漏水状況によって変化しない被写体の像に基づいて、前記第１画像と前記第２画像が重なるように調整する。
【００１５】
（９）また、本発明の一態様の情報処理方法において、コンピュータが、建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示し、前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化するステップと、を含む情報処理方法である。
【００１６】
（１０）また、本発明の一態様のプログラムは、コンピュータに、建物内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、前記第１画像の特徴点と前記第２画像の特徴点とを対応させて、前記第１画像と前記第２画像に共通する漏水範囲が重なるように、前記第１画像と前記第２画像を重ねて表示させ、前記第１画像と前記第２画像の双方の画像に示された漏水の跡に基づいて、前記双方の画像における漏水範囲の変化を定量化するステップ、を実行させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれば、漏水が生じた箇所の画像から、発生した漏水の程度を識別する情報処理システム、情報処理方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る情報処理システムの概要を説明するための図である。
【図２】図１の情報処理システムを適用して画像を取得する処理を説明するための図である。
【図３】実施形態の履歴管理ＤＢを説明するための図である。
【図４】実施形態の携帯端末装置１０の操作により画像を記録する処理を説明するための図である。
【図５】実施形態の携帯端末装置１０の操作により画像を記録する処理の手順を示すフローチャートである。
【図６】実施形態の情報端末装置３０の操作により画像を記録する処理を説明するための図である。
【図７】実施形態の情報端末装置３０の操作により画像を記録する処理の手順を示すフローチャートである。
【図８】実施形態の輪郭の識別機能について説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態の情報処理システム及び情報処理方法について、添付図面を参照して説明する。
【００２０】
（第１の実施形態）
図１は、本発明の実施形態に係る情報処理システムの概要を説明するための図である。
【００２１】
図１に示す情報処理システム１は、携帯端末装置１０と、管理装置２０と、操作端末装置３０とを含む。携帯端末装置１０と、管理装置２０と、操作端末装置３０とは、無線通信によりネットワークＮＷを介して接続される。
【００２２】
建物ＢＬを形成する外壁等にひび割れが生じると、建物ＢＬの防水性の低下を招く。その結果、雨水がひび割れを伝わって建物ＢＬの内部に侵入し漏水が生じることがある。ひび割れが生じた個所が、建物ＢＬの内装等に覆われたふかし壁の位置にあると、漏水が生じたか否か、或いはその漏水の程度を直接的に視認することが困難である。
【００２３】
ところで、漏水が生じたことにより建物ＢＬの内装材が濡れることがある。このような場合、雨が上がり漏水が止まって建物ＢＬの内装材が乾いても、漏水時に濡れた範囲が染みとなって残る。また、ひび割れが生じた個所の漏水状況が悪化すると、内装材が濡れる範囲が広くなり、それに伴い内装材の染みの範囲も大きくなる。
【００２４】
そこで、実施形態の情報処理システム１は、内装材に生じた染みの範囲を検出することにより漏水の発生状況を間接的に識別する。例えば、このような識別方法をとることにより、建物ＢＬの外壁などに生じたひび割れが、建物ＢＬの内装材に覆われた個所に発生していても、情報処理システム１は、漏水個所が存在することや、その程度を識別可能にする。以下、情報処理システム１について一例を示して説明する。
【００２５】
図２は、図１の情報処理システムを適用して画像を取得する処理を説明するための図である。
【００２６】
（携帯端末装置）
図２に示す携帯端末装置１０は、通信部１１と、記憶部１２と、制御部１３と、表示操作部１４と、撮像部１５を備える。携帯端末装置１０は、通信部１１と、記憶部１２と、制御部１３と、表示操作部１４と、撮像部１５が、１つの筐体内に設けられていてもよく、その一部が異なる筐体に設けられていてもよい。例えば、携帯端末装置１０の通信部１１と、記憶部１２と、制御部１３とが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、不揮発性記憶装置，可搬型記録媒体ドライブ装置、撮像部１５などを含むコンピュータとして構成されていてもよい。
【００２７】
通信部１１は、無線通信によりネットワークＮＷに接続され、制御部１３の制御により管理装置２０と通信する。
【００２８】
記憶部１２は、撮像部１５により撮像された画像データ、管理装置２０から受信した情報、表示操作部１４に表示する情報、表示操作部１４により検出した操作に関する情報、等の他、制御部１３を機能させるためのプログラム（ＯＳ（operating system）、アプリケーションプログラム）等を格納する。
【００２９】
制御部１３は、通信部１１を制御して管理装置２０と通信する。その場合、制御部１３は、予め定められた管理装置２０のＵＲＩ等を含む通信の相手先（宛先）情報を用いて、管理装置２０と通信する。
【００３０】
例えば、携帯端末装置１０は、ＯＳ、又は、アプリケーションプログラムの実行により、管理装置２０と通信する。携帯端末装置１０は、ＨＴＴＰ（Hypertext Transfer Protocol）等のプロトコルを利用して、管理装置２０等に格納されたコンテンツを閲覧すること等ができる。例えば、そのコンテンツは、ＨＴＭＬ（HyperText Markup Language）等で記述されたもの、画像データ等である。携帯端末装置１０がコンテンツ等を取得する手法は、上記の他、一般的な手法を適用してもよい。
【００３１】
また、制御部１３は、ユーザの操作によって撮像部１５を制御して、撮像部１５によって撮像された画像を取得する。制御部１３は、管理装置２０から得たコンテンツ、画像データ等の情報を、表示操作部１４に表示するように制御する。制御部１３は、管理装置２０から得た画像データを、単独で表示操作部１４に表示することの他、撮像部１５により撮像された画像に重ね合わせて表示するように制御してもよい。
【００３２】
表示操作部１４は、表示部としての液晶ディスプレイ、エレクトロルミネッセンスディスプレイなどを備えており、併せて、操作を受け付けるタッチパネルとして形成されていている。
【００３３】
撮像部１５は、図示しない光学系と撮像デバイスとを含み、その撮像デバイスからの信号に基づいた画像データを生成する。
【００３４】
（管理装置）
次に、管理装置２０について説明する。
図２に示す管理装置２０は、記憶部２１と、要求処理部２２と、データ取得部２３と、表示制御部２４と、定量化部２５と、状況変化判定部２６と、通信部２７と、表示部２８を備える。管理装置２０は、記憶部２１と、要求処理部２２と、データ取得部２３と、表示制御部２４と、定量化部２５と、状況変化判定部２６と、通信部２７と、表示部２８と、が、１つの筐体内に設けられていてもよく、その一部が異なる筐体に設けられていてもよい。例えば、管理装置２０の記憶部２１と、要求処理部２２と、データ取得部２３と、表示制御部２４と、定量化部２５と、状況変化判定部２６と、通信部２７とが、ＣＰＵ、ＲＡＭ、不揮発性記憶装置，可搬型記録媒体ドライブ装置などを含むコンピュータとして構成されていてもよい。
【００３５】
記憶部２１は、履歴情報ＤＢ２１１などを格納する。
図３は、実施形態の履歴管理ＤＢを説明するための図である。
【００３６】
履歴管理ＤＢ２１１には、建物ＩＤと、階と、平面図ＩＤと、部屋ＩＤと、内装面ＩＤと、位置データと、原画像ＩＤと、撮影日データと、撮影条件データと、範囲特定画像ＩＤと、範囲データと、変化データ等のデータが含まれる。
【００３７】
建物ＩＤには、対象の建物ＢＬ（対象建物）を識別するためのデータ（ＢＬ０１等）が格納される。階には、建物ＢＬにおける各階を特定するためのデータ（Ｆ１，Ｆ２等）が格納される。平面図ＩＤには、対象建物における各階ごとの平面図のデータが格納される。例えば、平面図ＩＤをＢＬ０１１とする図面は、建物ＩＤがＢＬ０１で識別される建物ＢＬのＦ１階の図面（平面図）を示し、ＢＬ０１１とする図面は建物ＢＬのＦ２階の図面を示す。部屋ＩＤには、建物ＢＬにおける対象の部屋を特定するための情報が格納される。ＲＭ０１は部屋ＩＤの一例である。
【００３８】
内装面ＩＤには、天井（Ｃ）、壁、床（Ｆ）などを特定するためのデータが格納される。例えば、壁の特定は、その部屋の略中心からその壁を見込む方位（Ｎ／Ｅ／Ｗ／Ｓ）を適用してもよい。
【００３９】
位置データには、平面図上の位置を示すデータが格納される。Ｐ０１，Ｐ０２，Ｐ０３などは、位置データの一例である。
【００４０】
原画像ＩＤには、建物において撮影した画像データのファイル名が格納される。例えば、画像データのファイルは、このファイル名から一意に識別される。なお、建物において撮影された画像の画像データは、原画像ＩＤにファイル名とともに格納されていてもよく、他の記憶領域に格納されていてもよい。撮影日データには、建物において画像を撮影した年月を特定するデータが含まれる。撮影条件データは、画像を撮影した当日又はその前日などにおける対象建物の周囲の環境などを示すデータが格納される。例えば、その撮影条件データには、画像を撮影した当日又はその前日などの天気に係る情報や、室内の照明の点灯状態などが含まれる。
【００４１】
範囲特定画像ＩＤには、上記の画像データに基づいて漏水範囲を特定した結果が追加された画像データのファイル名が格納される。例えば、漏水範囲を特定した結果が追加された画像データのファイルは、ファイル名から一意に識別される。なお、漏水範囲を特定した結果が追加された画像データは、範囲特定画像ＩＤにファイル名とともに格納されていてもよく、他の記憶領域に格納されていてもよい。
【００４２】
範囲データには、画像データに基づいて特定した漏水範囲に関するデータが格納される。例えば、特定した漏水範囲に関するデータは、画像データによる画像内における漏水個所の位置と範囲を示すデータである。
【００４３】
変化データには、過去の画像データに基づいて検出された漏水範囲に対して、本画像データに基づいて検出された漏水範囲の変化に関する情報が格納される。
【００４４】
例えば、建物ＩＤがＢＬ０１で識別される建物ＢＬのＦ１階に位置する部屋であって、部屋ＩＤがＲＭ０１で特定される部屋において、Ｐ０１，Ｐ０２，Ｐ０３などによって特定される位置があると仮定する。
現在までに、Ｐ０１とＰ０２で識別される位置の画像（ＩＭ１７０１とＩＭ１７０２）のファイル名が原画像ＩＤに格納されている。これらの画像を撮影した日の環境は、撮影条件データの項目から「晴」であったことが識別できる。
なお、この履歴管理ＤＢ２１１には、当年分のＰ０３で識別される位置の画像のファイル名はまだ格納されていない状態（ＮＡ）にある。
【００４５】
上記は、当年分の画像データに関する一例を説明したものであるが、過年度の画像データも履歴管理ＤＢ２１１に同様に格納されている。例えば、撮影日データが、２０１６Ｍ１、２０１６Ｍ２などの画像データは過年度のものである。
【００４６】
図２に戻り、要求処理部２２とデータ取得部２３は、通信部２７を制御して携帯端末装置１０又は操作端末装置３０と通信する。その場合、要求処理部２２とデータ取得部２３は、予め定められた携帯端末装置１０又は操作端末装置３０の相手先（宛先）情報を用いて通信する。
【００４７】
例えば、管理装置２０は、ＯＳ、又は、アプリケーションプログラムの実行により、携帯端末装置１０又は操作端末装置３０と通信する。管理装置２０は、ＨＴＴＰ（Hypertext Transfer Protocol）等のプロトコルを利用して、管理装置２０等に格納されたコンテンツや画像データを、携帯端末装置１０又は操作端末装置３０から閲覧可能に提供すること等ができる。例えば、そのコンテンツは、ＨＴＭＬ（HyperText Markup Language）等で記述されたもの、画像データ等である。管理装置２０がコンテンツ等を提供する手法は、上記の他、一般的な手法を適用してもよい。
【００４８】
要求処理部２２は、携帯端末装置１０又は操作端末装置３０からの各種要求を受け、その要求に応じた処理を各部に実行させるとともに、その要求に対する応答を各端末装置に返す。
【００４９】
データ取得部２３は、携帯端末装置１０から、漏水個所の画像データを取得して、関連する各種情報を付与して履歴情報ＤＢ２１１に書き込み、格納する。
【００５０】
表示制御部２４は、携帯端末装置１０又は操作端末装置３０からの各種要求に応じて、建物、階、部屋、位置などにより指定された位置の図面、画像などを、履歴情報ＤＢ２１１等から読み出して、要求元の各端末装置に提供する。
【００５１】
定量化部２５は、漏水箇所の画像に基づいて、漏水の跡から特定される漏水範囲を定量化する。その詳細については後述する。
【００５２】
状況変化判定部２６は、漏水範囲の変化の比率（変化率）に基づいて、状況の変化を判定する。
【００５３】
通信部２７は、通信によりネットワークＮＷに接続され、要求処理部２２とデータ取得部２３の制御により携帯端末装置１０又は操作端末装置３０と通信する。
【００５４】
表示部２８は、液晶ディスプレイ、エレクトロルミネッセンスディスプレイなどを備えており、併せて、操作を受け付けるタッチパネルとして形成されていている。
【００５５】
（操作端末装置）
図２に示す操作端末装置３０は、通信部３１と、記憶部３２と、制御部３３と、表示部３４とを備える。操作端末装置３０の上記各部の構成は、携帯端末装置１０の構成に準じる。
【００５６】
図４は、実施形態の携帯端末装置１０の操作により画像を記録する処理を説明するための図である。図５は、実施形態の携帯端末装置１０の操作により画像を記録する処理の手順を示すフローチャートである。
【００５７】
携帯端末装置１０は、ユーザの操作を受け付けて、ユーザの操作により選択された建物に関する情報を管理装置２０に通知して、建物に関する図面情報を要求する（ステップＳＡ１１）。管理装置２０は、携帯端末装置１０からの要求を受け付けて（ステップＳＡ２１）、その要求に応じて、ユーザの操作により選択された建物に関する図面情報を、携帯端末装置１０に提供する（ステップＳＡ２２）。
【００５８】
携帯端末装置１０は、ユーザの操作により選択された建物に関する図面情報を、管理装置２０から受信して、それを表示操作部１４に表示する（ステップＳＡ１２）。例えば、図４（ａ）に、表示部に表示される図面（平面図ＢＬ０１Ｆ１）の一例を示す。この平面図ＢＬ０１Ｆ１には、過去に漏水が検出された位置にそれを示すマーカー（Ｐ０１，Ｐ０２，Ｐ０３等）が示されている。
【００５９】
ユーザは、表示部に表示された平面図ＢＬ０１Ｆ１を参照して、平面図ＢＬ０１Ｆ１に記された所望の位置に対応するマーカー（Ｐ０１，Ｐ０２，Ｐ０３等）を選択する。例えば、ユーザは、Ｐ０３のマーカーを選択するための操作をしたものとする。
【００６０】
携帯端末装置１０は、ユーザの操作を受け付けて、選択された所望の位置の過去の画像データを、管理装置２０に要求する(ステップＳＡ１３)。管理装置２０は、携帯端末装置１０からの要求を受け付けて（ステップＳＡ２３）、その要求に応じて、ユーザにより選択された所望の位置の過去の画像データを携帯端末装置１０に提供する(ステップＳＡ２４)。
【００６１】
携帯端末装置１０は、ユーザにより選択された所望の位置の過去の画像データを、管理装置２０から受信して、それを表示部に表示する(ステップＳＡ１４)。例えば、図４（ｂ）に、表示操作部１４に表示される画像（ＩＭ１６０１等）の一例を示す。この画像ＩＭ１６０１には、過去に漏水が検出された位置で漏水状況を撮影した画像（ＩＭ１６０１ＰＡ）が示されている。
【００６２】
携帯端末装置１０は、図４（ｃ）に示すように上記の過去の画像データを表示操作部１４に表示しつつ、撮影処理を実行して、撮像部１５により画像を撮像する（ステップＳＡ１５）。
携帯端末装置１０は、撮像部１５により撮像した画像の画像データをアップロードする（ステップＳＡ１６）。管理装置２０は、アップロードされた画像データを取得して、履歴情報ＤＢ２１１に格納する（ステップＳＡ２６）。
【００６３】
なお、上記のステップＳＡ１５における撮影処理を実行する際に、携帯端末装置１０は、上記の過去の画像と、撮像部１５により撮像された現在の画像ＩＭＮＯＷとについて、何れか一方が透過するように調整して、２つの画像が重なった１つの画像を表示操作部１４に表示する。符号ＳＩ１６０１が過去の画像における漏水箇所を示し、符号ＳＩ１７０１が当年の画像における漏水箇所を示す。図４（ｃ）では、現在の画像ＩＭＮＯＷを実線で示し、過去の画像を点線で示す。これにより、画像を撮像する位置、撮像系等の条件が一致していることにより、被写体の像が重なった状態で表示される。このような状態で撮影された画像は、撮影対象の漏水箇所の状況の画像を含むものになる。
【００６４】
ただし、携帯端末装置１０は、定点設置されたものではなく、ユーザによって携行される。そのため、ユーザが、画像を撮像する位置を、過去に画像を撮影した位置に合わせることを試みたとしても、２つの画像を完全に一致させることは困難なことがある。
【００６５】
そこで、本実施形態では、上記のように、画像を撮像する位置の不一致などにより、被写体の像が完全に重ならない場合の補正について説明する。
【００６６】
（漏水範囲の検出）
図６は、実施形態の情報端末装置３０の操作により画像を記録する処理を説明するための図である。図７は、実施形態の情報端末装置３０の操作により画像を記録する処理の手順を示すフローチャートである。
【００６７】
まず、操作端末装置３０は、ユーザの操作により選択された建物に関する情報を管理装置２０に通知して、建物に関する図面情報を要求する（ステップＳＢ３１）。管理装置２０は、操作端末装置３０からの要求を受け付けて（ステップＳＢ２１）、その要求に応じて、ユーザの操作により選択された建物に関する図面情報を、操作端末装置３０に提供する（ステップＳＢ２２）。
【００６８】
操作端末装置３０は、ユーザの操作により選択された建物に関する図面情報を、管理装置２０から受信して、それを表示部３４に表示する（ステップＳＢ３２）。例えば、図６（ａ）に、表示部に表示される図面（平面図ＢＬ０１Ｆ１）の一例を示す。この平面図ＢＬ０１Ｆ１には、過去に漏水が検出された位置にそれを示すマーカー（Ｐ０１，Ｐ０２，Ｐ０３等）が示されている。
【００６９】
ユーザは、表示部に表示された平面図ＢＬ０１Ｆ１を参照して、平面図ＢＬ０１Ｆ１に記された所望の位置に対応するマーカー（Ｐ０１，Ｐ０２，Ｐ０３等）を選択する。例えば、ユーザは、Ｐ０３のマーカーを選択するための操作をしたものとする。
【００７０】
操作端末装置３０は、ユーザの操作を受け付けて、選択された所望の位置の画像データを、管理装置２０に要求する(ステップＳＢ３３)。管理装置２０は、操作端末装置３０からの要求を受け付けて（ステップＳＢ２３）、その要求に応じて、ユーザにより選択された所望の位置の互いに異なる時に撮影された少なくとも２つ以上の画像データを、操作端末装置３０に提供する(ステップＳＢ２４)。
【００７１】
操作端末装置３０は、ユーザにより選択された所望の位置の互いに異なる時に撮影された少なくとも２つ以上の画像データを、管理装置２０から受信して、それらを表示部３４に表示する(ステップＳＢ３４)。
【００７２】
例えば、図６（ｂ）に、表示部３４に表示される画像（ＩＭ１６０１とＩＭ１７０１等）の一例を示す。上記の２つ以上の画像には、過去に検出された漏水の発生状況を示す画像ＩＭ１６０１（以下、第１画像という。）と、上記の過去（画像ＩＭ１６０１を撮影した時点）より後に検出された漏水の発生状況を示す画像ＩＭ１７０１（以下、第２画像という。）とが含まれている。管理装置２０は、操作端末装置３０に表示された画面上に上記の第１画像と第２画像とのそれぞれを、領域を分けて並べて配置するようなデータを生成して送信する。その結果、操作端末装置３０が、上記の第１画像と第２画像の画像データとを、領域を分けて並べて配置して表示させたことで、ユーザは、表示部３４に表示された第１画像と第２画像を参照することが可能になる。
【００７３】
ここで、ユーザは、両方の画像に含まれる像の中から共通する像の特徴点を選択し、選択した特徴点の位置を指定する。例えば、ユーザは、選択した特徴点の位置を各画像上に登録するように、表示部３４の画面上でその特徴点の位置をタッチする。ユーザが指定する特徴点は、照明器具の筐体上の点、天井や壁などに張りつめたパネル材同士の境界上の点、点検口などに設けたフレーム上の点などを選択してもよい。例えば、符号ＴＰは、ユーザが指定した特徴点を示す。なお、特徴点ＴＰの個数を下記のように定めてもよい。管理装置２０は、ユーザの要求により受け付ける特徴点ＴＰの個数を、画像毎に同数にする。その個数は、例えば少なくとも２個以上である。図に示す例では、４つの特徴点ＴＰを登録したものである。
【００７４】
この場合、操作端末装置３０は、ユーザの操作により指定された位置を検出し、指定された位置を第１画像と第２画像とに関連付けることを、要求する位置合わせ要求に関する情報を管理装置２０宛に送信する（ステップＳＢ３５）。なお、上記は、アイコンＥＣ３１（「位置合わせ」）の操作が検出された後に実施される。
【００７５】
上記の要求を受けた管理装置２０は、位置合わせ要求に応じて、各画像のそれぞれにその特徴点ＴＰを関連付ける位置合わせ処理を実施する（ステップＳＢ２５）。なお、管理装置２０は、上記の位置合わせ処理を次のように実施してもよい。管理装置２０は、画像上の特定の位置に特徴点ＴＰを関連付けるように、その特定の位置を示す位置座標を、画像データと特徴点ＴＰの識別情報とに対応付けて履歴情報ＤＢ２１１に格納する。また、操作端末装置３０は、並べて表示された２つの画像（第１画像と第２画像）が同じ尺度で見えるように調整することを、管理装置２０に要求してもよい。管理装置２０は、操作端末装置３０からの上記の要求を受け付けて、上記の複数の特徴点ＴＰを用いて第１画像と第２画像の少なくとも何れか一方の尺度を調整する。なお、管理装置２０は、この調整に当たり、尺度の調整の他、任意の点を基準にした画像の回転、台形変換等を合わせて実施してもよい。符号ＩＭ１６０１Ｃの画像は、画像ＩＭ１６０１（第１画像）に基づいて、上記の調整がなされたものである。上記のように調整された２つの画像は、その尺度や方向等が揃い、表示部上の平行移動で互いに対応する各特徴点ＴＰが重なるような画像になる。
【００７６】
なお、操作端末装置３０は、上記の２つの画像を並べて表示するか、或いは、重ねて表示するかを管理装置２０に対して要求し、管理装置２０がその要求を処理することにより、上記の要求に応じた画像データの応答を受ける。この表示形態の切り替えについては、操作端末装置３０は、適宜要求することができる。
【００７７】
次に、操作端末装置３０は、図６（ｃ）に示すアイコンＥＣ３２（「漏水跡検出」）の操作を検出した後に、管理装置２０宛に、上記の２つの画像のそれぞれに、染みが生じた範囲を明確化させた画像を表示するように要求する（ステップＳＢ３６）。
【００７８】
上記の要求を受けた管理装置２０は、図６（ｄ）に示すような染みが生じた範囲を示す表示を、上記の２つの画像のそれぞれに追加して表示するような画像データを生成する。管理装置２０は、生成された画像データを、操作端末装置３０宛に送信する。管理装置２０は、上記の漏水跡検出処理を実施する（ステップＳＢ２６）。
【００７９】
次に、操作端末装置３０は、管理装置２０からの応答を受け、上記の２つの画像のそれぞれに染みが生じた範囲を明示した画像を表示する。
【００８０】
次に、操作端末装置３０は、管理装置２０宛に、上記の２つの画像のそれぞれにおいて、染みが生じた範囲を定量化することを、管理装置２０に要求する（ステップＳＢ３７）。
【００８１】
上記の要求を受けた管理装置２０は、上記の２つの画像のそれぞれにおいて、染みが生じた範囲を計数し、その結果を操作端末装置３０宛に送信する定量評価処理を実施する（ＳＢ２７）。
【００８２】
例えば、操作端末装置３０は、その定量評価処理の結果を受けて、その結果を表示する。例えば、操作端末装置３０に表示される結果には、図６（ｅ）に示すように、各画像における染みが生じた範囲の面積拡大率と、染みの明度変化率とが含まれていてもよい。
【００８３】
（漏水範囲の定量化の手法）
ここで、漏水範囲の定量化の手法について説明する。定量化部２５は、画像に示された漏水の跡に基づいて、その画像における漏水範囲を識別し、識別した範囲の大きさを定量化する。
【００８４】
さらに、定量化部２５は、２つの画像に示された、共通する漏水の跡に基づいて、双方の画像における漏水範囲の大きさの変化を定量化する。このように、２つの画像に示された共通する漏水の跡を評価の対象にすることにより、２つの画像がそれぞれ示す状態の違いが容易になる。
【００８５】
なお、状況変化判定部２６は、算出された漏水範囲の変化を双方の画像における変化率で示すことにより、変化の程度を定量化する。例えば、定量化部２５は、双方の画像に共通する範囲内の漏水範囲内外の面積の比を算出し、その面積比を対比することにより、漏水範囲の変化の程度を算出する。この場合、定量化部２５は、双方の画像に共通する範囲内に複数の基準の位置が定められ、漏水範囲内外の前記基準の位置の明るさの分布に基づいて、前記漏水範囲の変化を算出してもよい。
【００８６】
例えば、所定の大きさを範囲にもつ画像において、複数の基準の位置を格子状に定める。格子の間隔は、要求する検出精度に合わせて決定してよい。格子は、撮像部の撮像デバイスにおいて、所定の間隔に配置された撮像素子に対応付けられていてもよい。
【００８７】
以下、定量化部２５の処理を、被写体の輪郭を推定する識別機能を深層学習の手法で実施する事例について説明する。図８は、実施形態の輪郭の識別機能について説明するための図である。上記の識別機能は、セマンティックセグメンテーションとして知られている。セマンティックセグメンテーションを実現する手法として、エンコーダ・デコーダネットワーク、フルコンボリュ―ションネットワーク（ＦＣＮ）等が知られている。
【００８８】
図８（ａ）に示すエンコーダ・デコーダネットワークは、要求解像度に応じて決定される入力層と、出力層とを有する。入力層の後段に設けられるエンコーダは、複数の畳み込み層と複数のプーリング層とを含み、入力画像を入力層によって取得し、入力画像を低解像度化する。出力層の前段に設けられるデコーダは、複数の逆プーリング層と複数の転置畳み込み層とを含む。エンコーダとデコーダは、低解像度化された階層で接続され、エンコーダによって入力画像から低解像度化された情報（プーリングの位置情報）等を組み合わせて、出力層の解像度まで高精細化した画像を生成する。この過程で、エンコーダ・デコーダネットワークは、所望の条件を満たす領域を、所望の領域として推定する。
【００８９】
また、図８（ｂ）に示すフルコンボリュ―ションネットワークは、要求解像度に応じて決定される入力層と、出力層とを有する。フルコンボリュ―ションネットワークは、入力層より後段の中間層が複数の畳み込み層を含む。入力層が入力画像を取得し、中間層が入力画像を低解像度化する。フルコンボリュ―ションネットワークは、各畳み込み層からのデータに基づいて、要求解像度の出力層のデータを逆畳み込み演算により生成する。この過程で、フルコンボリュ―ションネットワークは、所望の条件を満たす領域を、所望の領域として推定する。
【００９０】
上記のエンコーダ・デコーダネットワークとフルコンボリュ―ションネットワークのそれぞれは、教師データを用いて予め学習することにより、その識別能力を高めることができる。その教師データは、過去に発生した漏水が記録された画像を利用してもよい。例えば、ユーザが、その画像の中の漏水個所を識別して、正しく識別した場合の模範データを作成して、それを教師データにするとよい。このように、過去の画像データを教師データに利用することで、推定精度を高めることが可能になる。
【００９１】
実施形態の定量化部２５は、被写体の輪郭を推定する識別機能を有することにより、検出対象の漏水の跡（輪郭）の形状がまちまちであっても、輪郭の形状の特徴とは異なる特徴を利用してその範囲を抽出する。
なお、漏水が記録された画像を教師データにして学習した定量化部２５であれば、形状がまちまちな漏水の跡（輪郭）であっても、抽出することを可能にする。この点、パターンマッチング等の手法とは異なった推定精度を得ることができる。
【００９２】
以上の実施形態によれば、表示制御部は、建物ＢＬ内の漏水箇所における漏水状況を示す画像であって互いに撮影時点が異なる第１画像と第２画像とを含む複数の画像を取得して、第１画像の特徴点と第２画像の特徴点とを対応させて、第１画像と第２画像に共通する漏水範囲が重なるように、第１画像と第２画像を重ねて表示する。定量化部２５は、第１画像と第２画像の双方の画像に示された漏水の跡に基づいて、双方の画像における漏水範囲の変化を定量化することにより、漏水が生じた箇所の画像から、発生した漏水の程度を識別することができる。
【００９３】
また、定量化部２５は、漏水範囲の変化の程度を、漏水範囲の変化を、双方の画像に共通する範囲内の漏水範囲内外の面積の比から算出する。これにより、２つの画像に共通する範囲内における漏水範囲内外の面積の比から、漏水範囲の変化を検出することができる。
【００９４】
また、定量化部２５は、双方の画像に共通する範囲内に複数の基準の位置が定められ、漏水範囲内外の前記基準の位置の明るさの分布に基づいて、前記漏水範囲の変化を算出する。これにより、双方の画像に共通する範囲内に定めた複数の基準の位置の明るさの分布に基づいて、前記漏水範囲の変化を算出することができる。また、基準の位置を配置する密度により、検出精度を決定することができる。
【００９５】
また、状況変化判定部２６は、算出された漏水範囲の変化を上記の双方の画像における変化率で示してもよい。これにより、双方の画像に対応する漏水の大きさを優先とする識別で見落とされがちな規模の小さな漏水であっても、変化率に着目することにより、急に状態が変化している個所を、変化の少ない箇所と識別することができる。
【００９６】
また、建物ＢＬ内の漏水箇所が、建物ＢＬの内装部材により隠蔽される建物ＢＬの躯体側にある場合であっても、建物ＢＬ内の漏水状況を示す画像が、建物ＢＬ内の漏水箇所の像を含まない建物ＢＬの内装部材の表面の画像にすることにより、当該位置の内装部材を撤去すること無く漏水の状況を判定することができる。
【００９７】
なお、第１画像と第２画像は、漏水状況を示す像の他に、漏水状況によって変化しない被写体の像を含む。表示制御部は、漏水状況によって変化しない被写体の像に基づいて、第１画像と前記第２画像が重なるように調整するようにしたことにより、漏水状況によって変化しない被写体の像に基づいて、２つの画像の対比を容易にする。
【００９８】
（第２の実施形態）
第２の実施形態の状況変化判定部２６は、建物ＢＬ内の漏水箇所に対応付けて、複数の画像のそれぞれと、その特徴点と撮影段階の条件の組情報とを記憶部に格納する。例えば、撮影日の前日又は当日の天気は、撮影段階の条件の一例である。
【００９９】
例えば、定量化部２５は、撮影日の前日又は当日の天気に合わせた判定条件を利用するようにしてもよい。撮影日の前日又は当日の天気が雨などで、それによる漏水が生じる場合がある。撮影段階で、内装材が乾いていないと、乾燥時の状態と異なる画像になることがある。
【０１００】
そこで、定量化部２５は、天候などを特定する撮影段階の条件の情報を判定に利用して、判定基準を調整してもよい。
【０１０１】
第２の実施形態によれば、第１の実施形態と同様の効果を奏することの他に、定量化部２５は、状況変化判定部２６は、撮影段階の条件を含めて、状況変化の判定に利用可能にした。
【０１０２】
（第３の実施形態）
第３の実施形態の定量化部２５は、双方の画像に共通する範囲内において、漏水範囲内外の基準の位置の明るさの比に基づいて漏水範囲の変化を算出する。
【０１０３】
定量化部２５は、第１の画像における漏水箇所の近傍に基準点を定め、第１画像に対応する第２画像における上記の基準点の明るさの比を算出する。例えば、漏水の状況が悪化して、漏水の範囲が広がると、その輪郭（跡）の位置が外側に移動する。このとき、基準点に輪郭が掛かることにより、基準点の明るさが変化する。定量化部２５は、この明るさの変化を検出するようにしてもよい。
【０１０４】
第３の実施形態によれば、第１の実施形態と同様の効果を奏することの他に、定量化部２５は、基準の位置の明るさの比を算出するという比較的計算処理の負荷の少ない方法で漏水状態の悪化を検出することができる。
【０１０５】
なお、情報処理システム１を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより管理装置２０が指定する対象のコンテンツに、共有情報を追加するなどの処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１０６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１０８】
１…情報処理システム、ＢＬ…建物、１０…携帯端末装置、２０…管理装置、２１…記憶部、２２…要求処理部、２３…データ取得部、２４…表示制御部、２５…定量化部、２６…状況変化判定部、２７通信部、２８表示部、３０…操作端末装置
【図１】
2019080206.tif 000003
【図２】
2019080206.tif 000004
【図３】
2019080206.tif 000005
【図４】
2019080206.tif 000006
【図５】
2019080206.tif 000007
【図６】
2019080206.tif 000008
【図７】
2019080206.tif 000009
【図８】
2019080206.tif 000010