(57)【要約】【課題】  撮影機能と測位機能とを備える端末装置によって取得した時間的に異なる２枚の撮影画像から、対象物そのものの経時変化（錆、亀裂、変色等）と、対象物と背景との相対的な変化（電柱の傾斜等）の２種類の経時変化を自動で検出する。【解決手段】計算機は、前記端末装置で撮影された対象物の画像と、記憶装置に保持されている前記対象物の過去の画像から、画像における対象物部分とから算出される特徴点と背景部分から算出される特徴点との重みを変えて前記過去と現在の対象物の画像の位置合せを行うことで、対象物そのものの経時変化と、対象物の背景と相対的な経時変化を両方検出する変化検出部を有し、前記端末装置は、さらに、前記検出された対象物の経時変化の情報を表示する表示部を有する。【選択図】図１１
2016018463.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続される計算機と、
前記ネットワークに接続される端末装置と、を有し、
前記端末装置は、背景を含んで対象物を撮影する撮影部、を有し、
前記計算機は、前記撮影部によって撮影された対象物の画像の撮影条件を算出する撮影条件取得部と、
前記撮影条件取得部によって取得された撮影条件を備える対象物の複数の撮影画像を保持する記憶装置を有し、
前記計算機は、さらに、前記端末装置で撮影された対象物の現在の画像と、前記記憶装置に保持されている前記対象物の過去の画像から、画像における対象物部分から抽出される特徴点と背景部分から抽出される特徴点との重みを変えて前記過去の画像と前記現在の画像との位置合せを行うことで、前記対象物そのものの経時変化と、前記対象物と前記背景との相対的な経時変化を両方検出する変化検出部を有し、
前記端末装置は、さらに、前記検出された対象物の経時変化の情報を表示する表示部を有することを特徴とする状態変化管理システム。
【請求項２】
前記記憶装置は、さらに、複数の対象物の位置情報を保持し、
前記端末装置は、さらに、対象物の画像を撮影した位置の情報を取得する位置情報取得部と、対象物の画像を撮影した端末装置の姿勢角度の情報を取得する姿勢情報取得部と、対象物の画像を撮影した日時を取得する日時取得部と、を有し、
前記撮影条件取得部は、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した端末装置の姿勢角度の情報と、前記対象物の画像を撮影した日時の情報と、前期複数対象物の位置情報から、前記撮影部によって撮影された対象物の画像の撮影位置と、撮影距離と、撮影時の端末装置の姿勢角度と、対象物の識別ＩＤと、撮影日時と、を含む撮影条件を算出することを特徴とする請求項１に記載の状態変化管理システム。
【請求項３】
前記計算機は、さらに、前記端末装置で撮影された対象物の画像に対する経時変化の検出対象画像として、前記端末装置で撮影された対象物の画像と近い撮影位置、姿勢角度で撮影された対象物の過去の画像を前記記憶装置から検索することを特徴とする請求項１に記載の状態変化管理システム
【請求項４】
前記変化検出部は、まず前記対象物の前記過去の画像と前記現在の画像におけるそれぞれの対象物部分の特徴点に重みを置いて対応付けを行うことで前記過去の画像と前記現在の画像との位置合せを行い、対象物そのものの経時変化を検出し、位置合せ後の両画像の背景部分の特徴点に重みを置いて対応付けを行って前記位置合せ後の両画像間の背景部分の回転量と移動量とを算出することで、前記対象物と前記背景との相対的な経時変化を検出することを特徴とする請求項１に記載の状態変化管理システム。
【請求項５】
前記変化検出部は、前記対象物と背景との相対的な経時変化を検出する際に、前記位置合せ後の両画像の背景部分の特徴点の対応関係から画像形状変換パラメータを算出し、該画像形状変換パラメータから前記位置合せ後の両画像間の背景部分の回転量と移動量とを算出することを特徴とする請求項４に記載の状態変化管理システム。
【請求項６】
前記表示部は、前記変化検出部が画像に経時変化有りと検出した場合には、変化があった箇所を撮影画像に重畳して強調表示し、さらに、経時変化の検出対象となった対象物の過去の画像を参照できるように表示することで、経時変化を提示することを特徴とする請求項１に記載の状態変化管理システム。
【請求項７】
端末装置により対象物の画像を撮影する第１ステップと、
前記端末装置から前記対象物の撮影画像と、撮影時の撮影条件を取得する第２ステップと、
前記撮影画像と、保持されていた前記対象物の過去の画像とから、前記対象物の経時変化を検出する第３ステップと、
前記検出された前記対象物の経時変化の情報を表示する第４ステップとを有し、
前記第３ステップでは、前記撮影画像と前記対象物の過去の画像とから、画像における対象物部分から抽出される特徴点と背景部分から抽出される特徴点との重みを変えて前記過去の画像と前記現在の画像との位置合せを行い、もって前記対象物そのものの経時変化と、前記対象物と前記背景との相対的な経時変化を検出することを特徴とする状態変化管理方法。
【請求項８】
前記第２ステップでは、さらに、複数の対象物の撮影画像と、撮影時の撮影条件を取得して保持し、
前記端末装置は、前記対象物の画像を撮影した位置の情報と、前記対象物の画像を撮影した端末装置の姿勢角度の情報と、前記対象物の画像を撮影した日時の情報と、前期複数対象物の位置情報から、前記撮影部によって撮影された対象物の画像の撮影位置と、撮影距離と、撮影時の端末装置の姿勢角度と、対象物の識別ＩＤと、撮影日時と、を含む撮影条件を算出することを特徴とする請求項７に記載の状態変化管理方法。
【請求項９】
前記第３ステップは、さらに、前記端末装置で撮影された対象物の画像に対する経時変化の検出対象画像として、前記端末装置で撮影された対象物の画像と近い撮影位置、姿勢角度で撮影された対象物の過去の画像を前記記憶装置から検索することを特徴とする請求項７に記載の状態変化管理方法。
【請求項１０】
前記第３ステップは、まず前記対象物の前記過去の画像と前記現在画像におけるそれぞれの対象物部分の特徴点に重みを置いて対応付けを行うことで前記過去の画像と前記現在の画像との位置合せを行い、対象物そのものの経時変化を検出し、その状態から背景部分の特徴点に重みを置いて対応付けを行って前記位置合せ後の両画像の背景部分の回転量と移動量とを算出することで、前記対象物と前記背景との相対的な経時変化を検出することを特徴とする請求項７に記載の状態変化管理方法。
【請求項１１】
前記対象物と前記背景との相対的な経時変化を検出する際に、前記位置合せ後の両画像の背景部分の特徴点の対応関係から画像経常変換パラメータを算出し、該画像形状変換パラメータから、前記位置合せ後の両画像の回転量と移動量とを算出することを特徴とする請求項１０に記載の状態変化管理方法。
【請求項１２】
前記第４ステップは、前記第３ステップが画像に経時変化有りと検出した場合には、変化があった箇所を撮影画像に重畳して強調表示し、さらに、経時変化の検出対象となった対象物の過去の画像を参照できるように表示することで、経時変化を提示することを特徴とする請求項７に記載の状態変化管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置により取得する対象設備の映像により対象設備の経時変化を自動検知する技術に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開平０８−１７１６８９（特許文献１）がある。特許文献１にはカメラによって設備を監視し、異常事象を自動的に検出する設備異常監視装置などにおいて、時間的に変化する複数枚の画像から変化領域を検出する変化領域検出方法が記載されており、特に、時間的に異なる２枚の画像間で起こる変化のうち、誤検出の起きやすい背景特徴部分での変化を除去する構成をとることにより、複数枚の画像中より本来検出すべき変化領域のみを正確、かつ安定して検出し、誤検出のない信頼性の高い変化領域検出方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０８−１７１６８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、時間的に異なる２枚の画像間で起こる変化のうち、検出対象は対象物そのものの経時変化であり、背景部分の変化を除去することで対象物の経時変化を確実に検出するための方法が開示されている。しかし、例えば、電力配電設備における電柱等を巡視点検する際には、対象設備そのものの変化（錆、亀裂、変色等）の他に、背景と相対的な変化（電柱の傾斜等）も発見する必要がある。また、時間的に異なる２枚の画像は全く同じ撮影条件（位置、方角等）で撮影されるとは限らず、特許文献１では、完全に一致しない撮影条件の時間的に異なる２枚の画像から前記２種類の経時変化を正確に検出することができない。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、撮影機能と測位機能とを備える携帯端末によって取得した時間的に異なる複数の撮影画像から、前記２種類の対象物の経時変化を自動で検出する状態変化管理システム及び状態変化管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本願は上記課題を解決する手段を複数含んでいるが、その代表的な構成は以下とおりである。すなわちその構成は、ネットワークに接続される計算機と、前記ネットワークに接続される端末装置と、を有し、前記端末装置は、対象物の画像を撮影する撮影部、を有し、前記計算機は、前記撮影部によって撮影された対象物の画像の撮影条件を算出する撮影条件取得部と、前記撮影条件取得部によって取得された撮影条件を備える対象物の複数の撮影画像を保持する記憶装置を有し、前記計算機は、さらに、前記端末装置で撮影された対象物の画像と、前記記憶装置に保持されている対象物の過去の画像から、画像における対象物部分と背景部分から算出される特徴点の重みを変えて前記過去と現在の対象物の画像の位置合せを行うことで、対象物そのものの経時変化と、対象物の背景と相対的な経時変化を両方検出する変化検出部を有し、前記端末装置は、さらに、前記検出された対象物の経時変化の情報を表示する表示部を有する。
【発明の効果】
【０００７】
本発明の代表的な実施の形態によれば、前記２種類の経時変化（対象設備そのものの変化、背景と相対的な変化）を自動で検出し、提示することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例１の巡視作業支援システムの全体構成を示すブロック図である。
【図２】本発明の実施例１の巡視作業支援システムにおける携帯情報端末の構成を示すブロック図である。
【図３】本発明の実施例１の巡視作業支援システムにおけるサーバシステムの構成を示すブロック図である。
【図４】本発明の実施例１のサーバシステムが保持するデータベースの構成を示すブロック図である。
【図５】本発明の実施例１のデータベースに含まれる設備情報データの構成を示す説明図である。
【図６】本発明の実施例１のデータベースに含まれる履歴データの構成を示す説明図である。
【図７】本発明の実施例１のデータベースに含まれる設備画像データの構成の一例を示す説明図である。
【図８】本発明の実施例１の設備画像データに含まれる画像データの詳細形式を示す説明図である。
【図９】本発明の実施例１のデータベースに含まれる設備画像データの構成の別の例を示す説明図である。
【図１０】本発明の実施例１の巡視作業支援システムの検出対象となる対象物の経時変化の種類を示す説明図である。
【図１１】本発明の実施例１の巡視作業支援システム全体の処理を示すフローチャートである。
【図１２】本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートである。
【図１３】本発明の実施例１の撮影条件付加プログラムの詳細な処理フローチャートである。
【図１４】本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートである。
【図１５】本発明の実施例１の経時変化検出プログラムの詳細な処理フローチャートである。
【図１６】本発明の実施例１の巡視作業支援システムにおいて現在の撮影画像の撮影条件と似た撮影条件を持つ過去画像の検索方法の一例を示す説明図である。
【図１７】本発明の実施例１の経時変化検出プログラムの処理の一例を示す説明図である。
【図１８】本発明の実施例１の巡視作業支援システムによる経時変化の検出結果の表示の一例を示す説明図である。
【図１９】本発明の実施例１の巡視作業支援システムによる過去の巡視報告書閲覧画面の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施例を、図面を用いて説明する。
【実施例１】
【００１０】
本実施例では、電力配電設備における電柱等の巡視、点検の際に、対象設備を撮影した画像データを保持し、対象設備を撮影した画像データと対象設備の過去の画像データとの経時変化を自動検出し、その結果を提示することで巡視作業を支援する巡視作業支援システムの一例を説明する。
【００１１】
図１は、本発明の実施例１の巡視作業支援システムの全体構成を示すブロック図である。
【００１２】
実施例１の巡視作業支援システムは、サーバシステム１００と、複数の携帯情報端末１０１と、それらを接続するネットワーク１０２と、を有する。図１では携帯情報端末は３台示されているが、接続台数はこれに限定されない。以下、本システムの構成要素について説明する。
【００１３】
図２は、本発明の実施例１の巡視作業支援システムにおける携帯情報端末１０１の構成を示すブロック図である。
【００１４】
携帯情報端末１０１は、無線通信部２００、撮影画像及び設備情報等をユーザに提示するディスプレイ等の表示部２０１、時計等の日時を取得する日時取得部２０２、ＧＰＳ衛星２１０から位置情報を取得する位置情報取得部２０３、対象設備２１１を撮影するデジタルスチルカメラ等の撮影部２０９、全体の処理を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０４、ユーザが入力操作を行うボタン又はタッチパネル等の操作部２０５、画像データ及び設備情報等を保存するフラッシュメモリ等の不揮発性記憶装置であるメモリ２０６、端末の加速度のｘ、ｙ、ｚ軸成分を取得するための３軸加速度センサ２０７、及び、地磁気のｘ、ｙ、ｚ軸成分を取得する３軸地磁気センサ２０８から構成される。
【００１５】
携帯情報端末１０１は、具体的には、デジタルカメラ、携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、タブレット端末等の携帯端末が該当する。位置情報取得部２０３は、受信回路等から構成され、ＧＰＳ衛星２１０からの電波を受信し、受信した電波から距離を測定することで、携帯情報端末１０１の（すなわち撮影部２０９の）位置情報、具体的には緯度及び経度を取得する。また、後述するように、３軸加速度センサ２０７が測定した加速度及び３軸地磁気センサ２０８が測定した地磁気に基づいて、携帯情報端末１０１の（すなわち撮影部２０９の）姿勢情報が取得される。
【００１６】
対象設備２１１は、巡視点検の対象となる設備であり、巡視点検の際には撮影部２０９による撮影対象となる。本実施例では対象設備２１１が電柱である場合を例として説明するが、対象設備２１１は電柱以外の設備であってもよい。図２には一つの対象設備２１１のみを示すが、実際にはそれぞれが固有の設備ＩＤによって識別される多数の対象設備２１１が存在する。
【００１７】
図３は、本発明の実施例１の巡視作業支援システムにおけるサーバシステム１００の構成を示すブロック図である。
【００１８】
サーバシステム１００は、全体を制御するＣＰＵ３００、他の機器と接続するためのネットワークインタフェース３０１、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等の規格に準拠した外部機器と接続するためのＩ／Ｏ３０２、設備に関する情報、地図情報、及び設備画像等が保存されているデータベース３０３、ユーザが入力するためのキーボード及びマウス等の操作部３０４、処理の結果及びログ等を表示するための表示部３０５、不揮発性記憶装置であるメモリ３０６、及びデータバス３０８から構成され、上記の各部３００〜３０６がそれぞれデータバス３０８と接続されている。メモリ３０６には撮影条件付加プログラム３０９、経時変化検出プログラム３１０が格納されており、これらのプログラムはＣＰＵ３００によって実行される。以下、各プログラムに基づいてＣＰＵ３００が実行する処理を、便宜上、各プログラムが実行する処理として説明する場合がある。
【００１９】
本実施例では、携帯情報端末１０１を携帯して巡視している巡視員が、対象設備２１１を撮影部２０９によって撮影し、それと同時に位置情報取得部２０３がＧＰＳ衛星２１０から位置情報を取得し、３軸加速度センサ２０７がｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサがｘ、ｙ、ｚ軸方向の地磁気を取得し、日時取得部２０２が撮影した日時を取得し、ＣＰＵ２０４はこれらの情報を無線通信部２００、ネットワーク１０２を介して図１におけるサーバシステム１００に送信する。
【００２０】
サーバシステム１００では、ＣＰＵ３００がメモリ３０６に格納されている撮影条件付加プログラム３０９を実行することによって、取得した情報から撮影条件（撮影位置、撮影方角、撮影角度、撮影距離等）を算出し、それらを撮影画像データに付加してデータベース３０３に蓄積する。それと同時に、経時変化検出プログラム３１０は、携帯情報端末１０１から送信されてきた撮影画像の撮影条件を参照し、その撮影条件と近い撮影条件を持つ過去の設備画像をデータベースから検索し、現在の撮影画像と検索した過去の撮影画像との経時変化を検出し、検出結果を携帯情報端末１０１に送信する。携帯情報端末１０１は、サーバシステム１００から受信した検出結果を表示部２０１に表示することで巡視員に提示する。詳細な処理内容については後述する。
【００２１】
次に、図４、図５、図６を参照して、図３のサーバシステム１００におけるデータベース３０３の構成を説明する。
【００２２】
図４は、本発明の実施例１のサーバシステム１００が保持するデータベース３０３の構成を示すブロック図である。データベース３０３は、設備情報データ４００、設備画像データ４０１、地図データ４０２、及び履歴データ４０３から構成される。
【００２３】
設備情報データ４００は、対象設備を識別する設備ＩＤと、その設置位置を示す情報とを含む。図５は、設備情報データ４００の構成を示す説明図である。設備情報データ４００には、電力配電設備における巡視、点検の対象となる電柱等に関するデータが格納されており、具体的には、設備ＩＤ５００と設備の設置位置５０１とが対応付けられて格納されている。設備の設置位置５０１は、緯度５０２及び経度５０３を含んでいる。図５に示す設備情報データ４００の構成は上記の通りであるが、設備情報データ４００の構成はこれに限られず、巡視、点検の際に必要となる設備に関する情報を含む構成であればよい。
【００２４】
レコード５０４、５０５及び５０６は設備情報データ４００の格納データの一例を示している。例えば、レコード５０４は設備ＩＤ５００の値「１０４」によって識別される設備に関するデータであり、この設備は、緯度３５．６５８２、経度１３９．７４５６に設置されている。レコード５０５、５０６も同様に、それぞれの設備に関する設備ＩＤ５００、緯度５０２及び経度５０３の値の例を含む。
【００２５】
履歴データ４０３は、対象設備の設備ＩＤ、過去の巡視実施年月日、巡視の報告書、改修要否、及び改修年月日を含む。図６は、履歴データ４０３の構成を示す説明図である。履歴データ４０４には、電力配電設備における過去の巡視、点検の履歴情報が格納されており、設備ＩＤ６００、巡視実施年月日６０１、報告書６０２、改修要否６０３、及び改修年月日６０４が対応付けられて格納されている。図６に例示する履歴データ４０４の構成は上記の通りであるが、履歴データ４０３の構成はこれに限られず、その他に過去の巡視、点検時に記録した様々な情報を必要に応じて含んでもよい。
【００２６】
レコード６０５、６０６、６０７及び６０８は履歴データ４０３の格納データの一例を示している。例えば、レコード６０７及び６０８は設備ＩＤ６００の値「１０５」によって識別される設備に関するデータであり、レコード６０７によると当該設備の巡視点検が２００４／０４／１２に実施され、そのときに改修が必要だと判断され、実際に２００４／０６／１９に改修が実施されている。レコード６０５及び６０６にも同様にそれぞれの設備の巡視点検に関するデータが格納される。
【００２７】
設備画像データ４０１は、対象設備の設備ＩＤ、及び設備を撮影した画像データを含む。図７は、設備画像データ４０１の構成の一例を示す説明図である。設備画像データ４０１には、電力配電設備における巡視、点検の際に撮影された設備の画像データが格納されており、設備ＩＤ７００と設備画像７０１が対応付けられて格納されている。
【００２８】
レコード７０２、７０３及び７０４は設備画像データ４０１の格納データの一例を示している。例えば、レコード７０２は設備ＩＤ７００の値「１０４」によって識別される設備に関するデータであり、画像データ７０４等の複数の画像データが格納されている。レコード７０３、７０４についても同様である。
【００２９】
図８は、画像データ７０４の詳細形式の一例を示す説明図である。本実施例では、画像データ７０４のフォーマットとしてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）（登録商標、以下同じ）が採用されている。Ｅｘｉｆフォーマットは、写真用のメタデータを含む画像フォーマットであり、写真に様々なメタデータを付加することができる。図８を用いて具体例を説明する。
【００３０】
本実施例における設備画像データ７０４のヘッダ８０１には、撮影条件付加プログラム３０９によって算出され付加される撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、及び撮影位置情報、画像中の対象物位置等）が格納されている。このヘッダ８０１、実際の画像データ８０３及びサムネイル画像８０２から設備画像データ７０４が構成される。姿勢角度Ａは、Ｒｏｌｌ角とも呼び、携帯情報端末１０１の向く方位角を意味する。姿勢角度Ｂは、Ｐｉｔｃｈ角とも呼び、巡視員が携帯情報端末１０１を持ったときの仰角を意味する。姿勢角度Ｃは、Ｙａｗ角とも呼び、巡視員が携帯情報端末１０１を持ったときの左右方向の傾き度合いを意味する。これらの姿勢角度Ａ、Ｂ、Ｃは携帯情報端末１０１の３軸加速度センサ２０７から得られるｘ、ｙ、ｚ軸方向の加速度成分と、３軸地磁気センサ２０８から得られるｘ、ｙ、ｚ軸方向の地磁気成分から算出される。撮影された、また格納された撮影画像は対象物、ここでは電柱と、その背景を含んでいる。画像中の対象物位置は、撮影画像において、どの部分に対象物が写っているかを表しており、例えば、画像の複数の座標点が記録され、その順序によって対象物領域を指定する。画像中の対象物位置は、画像の撮影時に、携帯情報端末１０１が例えば表示部がタッチパネルによって構成されている場合には、撮影者が撮影画像を見ながら、タッチパネル上をなぞることで対象物領域を指定してもよいし、撮影画像がサーバシステムに送信された後に、色情報などに基づいて背景と対象物領域を分離し、対象物領域を指定してもよい。
【００３１】
本実施例では図７及び図８の形式で画像データを扱うが、設備画像データ４０１の形式はこれに限られず、図９のような形式であってもよい。図９は、設備画像データ４０１の構成の別の例を示す説明図である。図９では、図８で画像のヘッダに格納されていた撮影条件が画像データのヘッダに含まれず、それぞれの撮影条件を画像データに対応させて格納している。
【００３２】
具体的には、図９の例では、設備ＩＤ９００、撮影距離９０１、撮影日時９０２、撮影位置９０３、撮影方角９０４、端末の姿勢角９０５及び画像データ９０６が対応付けられて格納されている。レコード９０７、９０８及び９０９は設備画像データ４０１の格納データの一例を示している。例えば、レコード９０７は設備ＩＤ９００の値「１０４」によって識別される設備を撮影した画像に関するデータであり、撮影距離１０ｍ、撮影日時１９９８／０１／２８／１２：４５、撮影位置（３５．６５８、１３９．７４５５）、撮影方角２５４°（北を０°として）、姿勢角（２５４°、１０°、０°）となっている。レコード９０８、９０９についても同様に撮影された画像及び撮影条件のデータが格納される。
【００３３】
地図データ４０２には、一般的なＧＩＳ（Ｇｒａｐｈｉｃａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）データベースと同様に、道路や建物等の位置情報が格納されており、詳細な説明は割愛する。
【００３４】
以上の構成に基づいて、本実施の形態における巡視作業支援システム全体の処理について説明する。本実施例における巡視作業支援システムでは、電力配電設備における電柱等の巡視、点検の際に、対象設備を撮影した画像データを保持し、対象設備を撮影した画像データと対象設備の過去の画像データとの経時変化を自動検出し、その結果を提示することで巡視作業を支援するが、まず本実施例で検出対象とする経時変化の種類について図１０を用いて説明する。図１０は、本実施例の、検出対象となる対象物の経時変化の種類を示す説明図であり、１００１は過去の撮影画像の一例、１００２は現在の撮影画像の一例である。これら２枚の時間的に異なる画像から経時変化を検出する。過去の撮影画像１００１における対象設備１００３は、現在の撮影画像１００２において１００５の状態に変化している。図１０の例では、対象設備に関する経時変化として、対象設備の亀裂１００７、対象設備の傾斜１００６が生じている。この一例のように、電力配電設備の巡視点検では、対象設備そのものの変化（錆、亀裂、変色等）と、背景と相対的な変化（電柱の傾斜等）の２種類の経時変化を発見する必要がある。また、時間的に異なる２枚の画像は全く同じ撮影条件（位置、方角等）で撮影されるとは限らず、本実施例における巡視作業支援システムでは、完全に一致しない撮影条件の時間的に異なる２枚の画像から前記２種類の経時変化を正確に検出する。
【００３５】
図１１は、本発明の実施例１の巡視作業支援システム全体の処理の一例を示すフローチャートである。
【００３６】
具体的には、図１１は、本実施例における巡視作業支援システム全体の処理フローを示すフローチャートである。ステップ１１００、１１０１及び１１０４が携帯情報端末１０１による処理ステップであり、ステップ１１０２、１１０３、１１０５がサーバシステム１００による処理ステップである。以下、携帯情報端末１０１における各処理はＣＰＵ２０４が実行、制御し、サーバシステム１００における各処理はＣＰＵ３００が実行、制御するものとする。
【００３７】
まずは、巡視点検を担当するユーザ（巡視員）が携帯情報端末１０１を持って現場に行き、巡視点検作業を開始する（ステップ１１００）。
【００３８】
巡視員は対象設備の付近まで行き、携帯情報端末１０１を用いて対象設備２１１の写真を撮影する。携帯情報端末１０１は、撮影時の位置情報、日時、３軸加速度センサ及び３軸地磁気センサの値を取得し、撮影画像と上記の取得情報をサーバシステム１００に送信する（ステップ１１０１）。
【００３９】
撮影条件付加プログラム３０９は、携帯情報端末１０１から送信されてきた取得情報から、撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末１０１の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時及び撮影位置情報等）を算出し、それらをメタデータとして撮影画像のＥｘｉｆ情報に付加する（ステップ１１０２）。撮影条件付加プログラム３０９の詳細処理については後述する。
【００４０】
経時変化検出プログラム３１０は、ステップ１３０２で撮影画像に付加された撮影条件を参照し、その撮影条件に近い撮影条件を持つ該当する設備の過去の撮影画像をデータベース３０３の設備画像データ４０１から検索し、撮影した画像と検索した対象設備の過去の撮影画像の経時変化を検出し、検出結果を携帯情報端末に送信する（ステップ１１０３）。変化検出プログラムの詳細処理は後述する。
【００４１】
ステップ１１０３と並行して、サーバシステム１００は、ステップ１１０２で撮影条件を付加した撮影画像を、その設備ＩＤに基づいてデータベース３０３の設備画像データ４０１に格納する（ステップ１１０５）。
【００４２】
携帯情報端末１０１は、サーバシステム１００から送信された変化の検出結果を表示部２０１に表示する（ステップ１１０４）。
【００４３】
該当日（すなわち巡視点検等の作業を行う日）の巡視が全て終了した場合は処理は終了である。まだ巡視対象が残っている場合にはステップ１１０１へ戻り、ステップ１１０１〜ステップ１１０５の処理を、全ての巡視対象を巡視し終えるまで繰り返す（ステップ１１０６）。
【００４４】
次に、図１１の処理フローチャートにおける処理ステップ１１０１、１１０２（撮影条件付加プログラム３０９）、１１０５の詳細について図１２、図１３を用いて説明する。
【００４５】
図１２は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１１のフローチャートにおける処理ステップ１１０１、１１０２（撮影条件付加プログラム３０９）及び１１０５の詳細を示す。図１２において、ステップ１２００、１２０１、１２０２、１２０３及び１２０４が携帯情報端末１０１による処理を示し、ステップ１２０５、１２０６及び１２０７はサーバシステム１００による処理を示す。特に、ステップ１２０６は撮影条件付加プログラム３０９の処理を示す。
【００４６】
まず、巡視、点検を行っている巡視員が対象設備２１１の付近で携帯情報端末１０１の操作部２０５を操作することで撮影部２０９に対象設備２１１の撮影を指示する（ステップ１２００）。
【００４７】
巡視員の撮影指示を受けた撮影部２０９が対象設備２１１を撮影し、撮影によって取得された画像データをメモリ２０６に格納する（ステップ１２０１）。
【００４８】
巡視員からの撮影指示をトリガとして、日時取得部２０２は撮影を実行した日時を取得し、メモリに格納する（ステップ１２０２）。
【００４９】
巡視員からの撮影指示をトリガとして、位置情報取得部２０３がＧＰＳ衛星２１０から携帯情報端末の位置情報を取得し、３軸加速度センサ２０７は端末のｘ、ｙ、ｚ軸方向の加速度を取得し、３軸地磁気センサ２０８は端末のｘ、ｙ、ｚ軸方向の地磁気を取得し、それらをメモリ２０６に格納する（ステップ１２０３）。
【００５０】
ステップ１２０１〜１２０３によってメモリ２０６に格納された情報（撮影画像、携帯情報端末の位置情報、撮影日時、加速度、地磁気）を無線通信部２００がネットワーク１０２を介してサーバシステム１００に送信する（ステップ１２０４）。
【００５１】
サーバシステム１００は、ステップ１２０４で携帯情報端末１０１から送信された撮影画像と情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）をメモリ３０６に格納する（ステップ１２０５）。
【００５２】
撮影条件付加プログラム３０９は、撮影画像データと情報（携帯情報端末の位置情報、撮影日時、加速度、地磁気）とデータベース３０３に含まれる設備情報データ４００とを用いて撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を算出し、撮影画像にメタデータとして付加する（ステップ１２０６）。
【００５３】
サーバシステム１００は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像を、対応する設備ＩＤが示す設備画像データ４０１に格納する（ステップ１２０７）。
【００５４】
次に撮影条件付加プログラム３０９の詳細処理について図１３を用いて説明する。図１３は、本発明の実施例１の撮影条件付加プログラム３０９の詳細な処理フローチャートである。
【００５５】
まず、撮影条件付加プログラム３０９は、３軸加速度センサ２０７から取得したｘ、ｙ、ｚ軸方向の加速度と、３軸地磁気センサ２０８から取得した端末のｘ、ｙ、ｚ軸方向の地磁気のセンサ値から、前記携帯情報端末１０１の姿勢角Ａ、Ｂ、Ｃを算出する（ステップ１３００）。加速度センサ値と地磁気センサ値から端末の姿勢角を算出する方法は一般に知られているので、ここでは説明を割愛する。
【００５６】
次に撮影条件付加プログラム３０９は、ステップ１２０６で算出した角度Ａ（＝端末の向く方位角）とＧＰＳから取得した携帯情報端末１０１の位置情報とデータベース３０３における設備情報データ４００に格納されている設備位置情報から、撮影画像に写っている対象設備２１１の設備ＩＤを特定する（ステップ１３０１）。具体的には、撮影条件付加プログラム３０９は、撮影位置の周辺に設置されている設備のなかで、撮影位置からステップ１３００で算出した方位角で撮影した場合に撮影可能な設備を設備情報データ４００から検索することで、撮影された対象設備２１１の設備ＩＤを特定する。
【００５７】
なお、上記の設備ＩＤの特定方法は一例であり、撮影条件付加プログラム３０９は撮影した対象設備２１１の設備ＩＤをいかなる方法で特定してもよい。例えば、巡視員が撮影した対象設備２１１の設備ＩＤをあらかじめ知っていた場合には、巡視員がその設備ＩＤを手動で携帯情報端末１０１に入力してもよい。あるいは、対象設備２１１の外観に当該対象設備２１１の設備ＩＤを示す表示が含まれる場合には、巡視員が目視でその情報を読み取って携帯情報端末１０１に入力してもよいし、携帯情報端末１０１が撮影画像からその情報を読み取ってもよい。あるいは、巡視員が対象設備２１１の位置を示す情報を入力し、それに従って携帯情報端末１０１又はサーバシステム１００が対象設備２１１の設備ＩＤを特定してもよい。
【００５８】
撮影条件付加プログラム３０９は、携帯情報端末１０１の位置情報とステップ１３０１で特定した対象設備２１１の位置情報から、両者の距離（すなわち撮影距離）を算出する（ステップ１３０２）。
【００５９】
最後に撮影条件付加プログラム３０９は、算出した撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）を図８に示すようにメタデータとして撮影画像のヘッダ部分に書き込む（ステップ１３０３）。
【００６０】
次に、図１１の処理フローチャートにおける処理ステップ１１０３（経時変化検出プログラム３１０）及び１１０４の詳細について図１４、図１５、図１６、図１７、図１８及び図１９を用いて説明する。
【００６１】
図１４は、本発明の実施例１の巡視作業支援システムの処理の詳細を示すフローチャートであり、具体的には、図１１のフローチャートにおける処理ステップ１１０３（経時変化検出プログラム３１０）及び１１０４の詳細を示す。図１４において、ステップ１４００、１４０１、１４０２、１４０３及び１４０４がサーバシステム１００による処理を示し、ステップ１４０５は携帯情報端末１０１による処理を示す。特に、ステップ１４００、１４０１、１４０２、１４０３及び１４０４は変化検出プログラム３１の処理を示す。
【００６２】
まず、変化検出プログラム３１０によって実行される処理ステップ１４００、１４０１、１４０２、１４０３及び１４０４について説明する。
【００６３】
変化検出プログラム３１０は、撮影条件付加プログラム３０９によって撮影条件が付加された撮影画像から設備ＩＤを読み取り、その設備ＩＤに該当する過去の設備画像をデータベース３０３の設備画像データ４０１から検索する（ステップ１４００）。
【００６４】
次に、変化検出プログラム３１１は、ステップ１４００で検索した対象設備の画像群から、撮影画像に付加されている撮影条件（撮影方角、姿勢角、位置）と近い条件を持つ画像を検索し、読み込む（ステップ１４０１）。図１６は、現在の撮影画像の撮影条件と似た撮影条件を持つ過去画像の検索する処理（ステップ１４０１）の一例を示す説明図である。撮影画像１６００には撮影条件付加プログラム３０９で付加された撮影条件（設備ＩＤ、撮影距離、撮影方角、携帯情報端末の撮影時の姿勢角（Ａ、Ｂ、Ｃ）、撮影日時、撮影位置情報等）が記録されている。これらの撮影条件のうち、主に携帯情報端末の位置情報、撮影距離、撮影方角、端末の姿勢角を用いて、空間上で対象設備をどの位置からどのような角度で撮影したかを判断する。図１６の例では、現在、ユーザ（巡視員）１６０４が携帯情報端末１０１の撮影部２０９を対象設備１６０２に向けて撮影した。このときステップ１４０１では、撮影画像に付加された撮影条件から、例えば、撮影位置のある程度近い範囲１６０５（予め決めておいた閾値による範囲）で撮影された同設備の過去の撮影画像を検索する。図１６の例では、撮影条件の近い範囲１６０５内に１６０３があるので、この撮影写真を経時変化検出対象とする。図１６の例では撮影位置のある程度近い範囲を示しているが、その他、端末の姿勢角（Ａ、Ｂ、Ｃ）もある程度近いものを対象とするとしてもよい。
【００６５】
次に、経時変化検出プログラム３１０は、ステップ１４０１で検索した過去の撮影画像と現在の撮影画像の経時差分を検出する（ステップ１４０２）。ステップ１４０２の処理の詳細を図１５、図１７を用いて説明する。図１５は経時変化検出プログラム３１０（ステップ１４０１）の処理の詳細を示すフローチャートであり、図１７は経時変化検出プログラム３１０の処理の一例を示す説明図である。
【００６６】
まず、現在と過去の画像中で、対象物部分と背景部分を分離し、画像のそれぞれの部分から特徴点を算出する（ステップ１５００）。対象物部分と背景部分の分離については、撮影画像に付加されている撮影条件における画像中の対象物位置情報に基づいて実行される。この撮影条件における画像中の対象物位置情報は、画像の撮影時に、携帯情報端末１０１が例えば表示部がタッチパネルによって構成されている場合には、撮影者が撮影画像を見ながら、タッチパネル上をなぞることで対象物領域を指定してもよいし、撮影画像がサーバシステムに送信された後に撮影条件付加プログラム３０９で、色情報などに基づいて背景と対象物領域を分離し、対象物領域を指定してもよい。上記の処理によって、例えば、図１７の過去画像１７０１の場合は、対象物部分１７０８と背景部分１７０９が分離される。その後、画像の対象物部分、背景部分それぞれから特徴点を算出する。特徴点とは、画像においてエッジ等のコントラストが明確になっている点のことである。この特徴点算出処理には、例えば、水平垂直斜め方向の輝度変化に反応する３×３の微分フィルタを用いる。このようなフィルタ処理では、画像のエッジ等、例えば図１７における対象設備１７０８の場合、外形の辺や角等のコントラストが明確になっている場所に対応する画素において、得られる特徴量が最大となる。すなわち、平面形状の特徴点を抽出することができる。図１７の例においては、現在画像１７０２、過去画像１７０８の対象物部分と背景部分それぞれに対して、特徴点１７０３、１７０４等が算出されている。
【００６７】
次に、経時変化検出プログラム３１０は、画像の対象物部分の特徴点に重みを付けて、２枚の画像の特徴点の対応関係に基づいて画像形状変換パラメータを算出する（ステップ１５０１）。典型的には対象物部分の特徴点の重みを１、背景部分の特徴点の重みを０として画像形状変換パラメータを算出する。すなわち、過去の画像を基準画像とし、現在の画像を変換画像とすると、ステップ１５０１では、基準画像と変換画像における対象物部分の特徴点のみを用いて、それらの特徴点の対応付けを行い、基準画像に対する変換画像の形状変換パラメータを算出する。変換変化前の座標を（ｘ、ｙ）、変化後の座標を（Ｘ，Ｙ）とすると画像形状変換パラメータＨによる座標変換は（数１）で表すことができる。画像形状変換パラメータＨは遮蔽変換を表すパラメータである。
【００６８】
【数１】
2016018463.tif 000003
【００６９】
ここで、ｓはスケーリングパラメータである。未知のパラメータが８個あり、１つの対応点から得られる方程式は２本である。よって４つの対応点（ｘ１、ｙ１）−（Ｘ１，Ｙ１）、（ｘ２、ｙ２）−（Ｘ２，Ｙ２）、（ｘ３、ｙ３）−（Ｘ３，Ｙ３）、（ｘ４、ｙ４）−（Ｘ４，Ｙ４）について方程式を作れば、パラメータＨが算出できる。４組の対応点を導入すると、（数２）のように書き換えられる。
【００７０】
【数２】
2016018463.tif 000004
【００７１】
（数２）を解くことで得られた変換パラメータＨによって、変換画像から基準画像への画像の変換は、変換画像の変換前の座標（ｘ、ｙ）、変換後の座標（Ｘ，Ｙ）とすると、式（数３）、（数４）で表すことができる。
【００７２】
【数３】
2016018463.tif 000005
【００７３】
【数４】
2016018463.tif 000006
【００７４】
具体的な２枚の画像の特徴点の対応付けについては、ＲＡＮＳＡＣ（Ｒａｍｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）と呼ばれる手法がよく用いられ、この方法によると、変換画像にてランダムに選択した４点の特徴点に対して変換パラメータＨを適用し、（数３）（数４）により基準画像の座標に変換する。そして、その近傍の基準画像の特徴点において最も位置の誤差が小さくなる特徴点を選択し対応座標とし、対応関係を決めた４点の特徴点に対し、再び変換パラメータを計算する。これらの処理を繰り返し行うことで、最小の位置誤差となる特徴点の組合せを求める。そして、最終的に決まった特徴点の対応関係における変換パラメータＨが変換画像から基準画像への変換パラメータＨとなる。
【００７５】
算出された画像形状変換パラメータに基づいて、現在の画像を形状変換し、過去の画像に位置合せする（ステップ１５０２）。ステップ１５０１で求められた形状変換パラメータＨを現在の画像（変換画像）に適用し、過去の画像（基準画像）に形状変換することで位置合せする図１７の例によると、形状変換後の現在画像は１７０５となり、過去画像と現在画像の対象物部分に関して位置合せが行われている。
【００７６】
次に、対象物部分について過去の画像と位置合せ後の現在画像との比較を行い、閾値以上の画素値の変化がある程度まとまって検出されたら経時変化ありと判定する（ステップ１５０３）。ステップ１５０３で検出される経時変化は、対象物そのものの経時変化（錆、亀裂、変色等）である。図１７の例では、形状変換後の現在画像１７０５と過去画像１７０１の対象物部分の比較、つまり差分をとった結果、予め設定された閾値以上の画素値の変化がある程度まとまって検出され、対象物そのものの経時変化１７０７が検出されている。
【００７７】
次に、２枚の画像中の対象物が位置合せされた状態で、背景部分の特徴点に重みを付けて、２枚の画像の特徴点の対応関係に基づいて画像形状変換パラメータを算出する（ステップ１５０４）。典型的には、背景部分の特徴点の重みを１、対象物部分の特徴点の重みを０として画像変換パラメータの算出を行う。具体的には、ステップ１５０２で形状変換された現在の画像、すなわち図１７の変換画像１７０５をそのまま用い、過去画像１７０１を基準画像とし、基準画像と変換画像１７０５における背景部分の特徴点のみを用いて、それらの特徴点の対応付けを行い、基準画像に対する変換画像１７０５の形状変換パラメータを算出する。具体的な処理内容はステップ１５０１と同様であるので割愛する。
【００７８】
算出された画像形状変換パラメータから、回転量、移動量を算出し、閾値以上であれば経時差分ありと判定する（ステップ１５０５）。 ステップ１５０４では、２枚の画像の対象物部分の位置合せが行われている状態で背景部分の形状変換パラメータを算出した。つまり、ステップ１５０４で算出された変換パラメータは、対象物を基準とした背景の回転量と移動量を示しており、すなわち対象物と背景との相対的な経時変化の度合いを表していることになる。ステップ１５０４で算出された変換パラメータは射影変換を表しており、射影変換は平行移動、拡大、縮小、回転を含んだ変換であるので、このパラメータから回転の度合い、移動の度合いを算出できる。もし、算出した回転度合い、移動度合いが予め決めておいた閾値以上であったら、経時変化ありと判定される。例えば図１７では、変換パラメータから回転成分が算出された場合を示しており、つまり対象物の傾斜に関する経時変化が検出されている。
【００７９】
変化検出プログラム３１０は、ステップ１４０２の検出結果と、データベース３０３における対象設備の経時変化検出に用いた過去画像とそれに対応する巡視報告書を履歴データ４０３から検索し、それらを携帯情報端末１０１に送信する（ステップ１３０３）。
【００８０】
ステップ１３０４は携帯情報端末１０１での処理である。携帯情報端末１０１は、サーバシステム１００から送信されてきた経時変化の検出結果を端末の表示部２０１に表示する。変化を検出した場合には、変化を検出した箇所を撮影画像に重畳して強調表示することで、巡視員に注意を促す（ステップ１３０４）。ステップ１３０４における携帯情報端末１０１の表示部２０１を用いた変化検出結果の提示の具体例について、図１８を参照して説明する。
【００８１】
図１８は、本発明の実施例１の巡視作業支援システムによる現在の撮影画像と過去の撮影画像の経時変化の検出結果の表示の一例を示す説明図である。具体的には携帯情報端末１０１の表示部２０１に現在の撮影画像１８００が表示されており、さらに追加表示１８０１と１８０２は、撮影画像に重畳して変化が検出された部分を強調、もしくはマーク付けしている。追加表示１８０１は設備そのものの経時変化、この例では設備の亀裂を示しており、追加表示１８０２は背景との相対的な経時変化、この例では設備の傾斜を示している。さらに、それぞれの経時変化部分に吹き出しでアノテーション１８０３が付加されている。この実施例では、表示部２０１がタッチパネルによって構成されている。このアノテーション１８０３の部分をタッチすることで、表示部２０１の表示が図１９に示す巡視報告書閲覧画面に遷移する。この巡視報告書は、経時変化検出に用いられた対象設備の過去画像が撮影されたときに作成された巡視報告書であり、データベース３０３の履歴データ４０３から検索し、変化の検出結果とともにサーバシステム１００から送信されてくるものである。過去の撮影画像１８０５や巡視報告書１８０４を参照可能とすることによって、巡視の参考とすることができる。以上のような経時変化部分の強調表示によって、巡視員が容易に経年変化に容易に気付くことができ、判断支援をすることができるため、巡視点検の精度が向上する。
【００８２】
以上、本発明の実施形態について、添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
【００８３】
例えば、上記の実施例は、電柱等の電力配電設備の巡視作業を支援するために本発明を適用する実施形態であるが、本発明は、巡視作業の支援に限らず、対象物の状態の変化（例えば経時変化）を管理するためのシステム、サーバ及び端末に幅広く適用することができる。
【００８４】
また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００８５】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【００８６】
また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００８７】
１００  サーバシステム
１０１  携帯情報端末
１０２  ネットワーク
２００  無線通信部
２０１、３０５  表示部
２０２  日時取得部
２０３  位置情報取得部
２０４、３００  ＣＰＵ
２０５、３０４  操作部
２０６、３０６  メモリ
２０７  ３軸加速度センサ
２０８  ３軸地磁気センサ
２０９  撮影部
２１０  ＧＰＳ衛星
２１１  対象設備
３０１  ネットワークインタフェース
３０２  Ｉ／Ｏ
３０３  データベース
３０７  データバス
【図１】
2016018463.tif 000007
【図２】
2016018463.tif 000008
【図３】
2016018463.tif 000009
【図４】
2016018463.tif 000010
【図５】
2016018463.tif 000011
【図６】
2016018463.tif 000012
【図７】
2016018463.tif 000013
【図８】
2016018463.tif 000014
【図９】
2016018463.tif 000015
【図１０】
2016018463.tif 000016
【図１１】
2016018463.tif 000017
【図１２】
2016018463.tif 000018
【図１３】
2016018463.tif 000019
【図１４】
2016018463.tif 000020
【図１５】
2016018463.tif 000021
【図１６】
2016018463.tif 000022
【図１７】
2016018463.tif 000023
【図１８】
2016018463.tif 000024
【図１９】
2016018463.tif 000025