(57)【要約】【課題】撮影した画像中のアノテーションを付与する箇所の経年変化をユーザが直感的に確認可能な仕組みを提供すること。【解決手段】被写体を撮影する撮影し、撮影した被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する。そして、撮影した画像を表示する際に、表示する画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションを、当該他の画像における位置と同じ位置となるように、当該表示した画像に表示する。【選択図】図１１
2016143983.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段により撮影された前記被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する記憶手段と、
前記撮影手段により撮影した画像を表示する表示手段と、
前記表示手段により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションと、当該他の画像における当該アノテーションの位置の情報を前記記憶手段から取得する取得手段と
を備え、
前記表示手段は、前記取得手段で取得した前記他の画像における前記アノテーションを、当該他の画像における位置と同じ位置となるように、当該表示手段で表示した画像に表示すること
を特徴とする情報処理システム。
【請求項２】
前記表示手段に表示された画像中のアノテーションを付与する箇所の指定を受け付ける受付手段と、
当該画像中の前記受付手段により指定を受け付けた箇所にアノテーションを付与する付与手段と、
当該画像と、当該画像に対して前記付与手段により付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、前記他の画像におけるアノテーションと、当該アノテーションの前記表示手段で表示された画像における位置の情報とを関連づけて登録する登録手段と
を備えることを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記表示手段は、前記取得手段により他の画像に対して付与されたアノテーションを複数取得した場合に、前記複数のアノテーションをそれぞれ識別可能となるように当該表示手段で表示した画像に表示することを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記撮影手段により撮影する際に、当該撮影手段により撮影する被写体と同一被写体が撮影された画像を透過表示する透過表示手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記記憶手段は、前記撮影手段により撮影した画像の位置情報を更に記憶し、
前記表示手段により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像とは、前記記憶手段により記憶される位置情報が、当該表示手段により表示された画像の位置情報と同じである画像であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項６】
前記表示手段は、前記撮影手段により撮影した画像をタッチパネル式の表示部に表示し、
前記受付手段は、ユーザのタッチ操作により前記表示手段に表示された画像中のアノテーションを付与する箇所の指定を受け付けることを特徴とする請求項２に記載の情報処理システム。
【請求項７】
前記取得手段により取得するアノテーションは、前記撮影手段により画像を撮影した時刻よりも前の時刻に撮影された画像に付与されたアノテーションであることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
【請求項８】
撮影手段により撮影された被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する記憶手段を備える情報処理システムの制御方法であって、
前記情報処理システムの撮影手段が、被写体を撮影する撮影工程と、
前記情報処理システムの表示手段が、前記撮影工程により撮影した画像を表示する表示工程と、
前記情報処理システムの取得手段が、前記表示工程により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションと、当該他の画像における当該アノテーションの位置の情報を前記記憶手段から取得する取得工程と
を備え、
前記情報処理システムの前記表示工程は、前記取得工程で取得した前記他の画像における前記アノテーションを、当該他の画像における位置と同じ位置となるように、当該表示工程で表示した画像に表示すること
を特徴とする情報処理システムの制御方法。
【請求項９】
コンピュータを請求項１乃至７のいずれか１項に記載の情報処理システムの各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法、およびコンピュータプログラムに関し、特に、撮影した画像中のアノテーションを付与する箇所の経年変化をユーザが直感的に確認可能な仕組みに関する。
【背景技術】
【０００２】
工場などにおける点検作業では、点検を行うべきポイント（例えば、壁がひび割れている場所など）の画像を点検作業者（以下、作業員と呼ぶ）が定期的に撮影機能を備える端末（デジタルカメラやタブレット端末）で撮影し、撮影した画像同士を作業者が目視で見比べ、その点検ポイントの経年変化を監視することが行われている。
しかしながら、目視による画像比較では、点検ポイントの経年変化がわかりにくい場合がある。
【０００３】
上記課題の解決策として、特許文献１には、撮影機能を備える端末で点検ポイントを撮影する際に、当該点検ポイントを前回撮影した画像を透過して表示し、作業員が透過表示された画像を見ながら、今回の撮影位置を前回と同じになるように位置を合わせて撮影することで、画像の撮影条件が同一である画像を撮影可能とすることや、点検ポイント撮影後に、今回の画像と前回の画像を重ね合わせて表示することで、画像同士の差分を作業員が把握しやすくする仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１１２９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術を用いた場合、実質前回撮影時からの差分がすべて表示されることになるため、点検する必要のないもの、例えば、軽微な汚れなども差分として表示される恐れがあり、作業者が経年変化を監視したいポイントの差分だけを直感的に確認することはできない可能性がある。
【０００６】
本発明は、撮影した画像中のアノテーションを付与する箇所の経年変化をユーザが直感的に確認可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、被写体を撮影する撮影手段と、前記撮影手段により撮影された前記被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する記憶手段と、前記撮影手段により撮影した画像を表示する表示手段と、前記表示手段により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションと、当該他の画像における当該アノテーションの位置の情報を前記記憶手段から取得する取得手段とを備え、前記表示手段は、前記取得手段で取得した前記他の画像における前記アノテーションを、当該他の画像における位置と同じ位置となるように、当該表示手段で表示した画像に表示することを特徴とする。
【０００８】
また、本発明は、撮影手段により撮影された被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する記憶手段を備える情報処理システムの制御方法であって、前記情報処理システムの撮影手段が、被写体を撮影する撮影工程と、前記情報処理システムの表示手段が、前記撮影工程により撮影した画像を表示する表示工程と、前記情報処理システムの取得手段が、前記表示工程により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションと、当該他の画像における当該アノテーションの位置の情報を前記記憶手段から取得する取得工程とを備え、前記情報処理システムの前記表示工程は、前記取得工程で取得した前記他の画像における前記アノテーションを、当該他の画像における位置と同じ位置となるように、当該表示工程で表示した画像に表示することを特徴とする。
【発明の効果】
【０００９】
本発明によると、撮影した画像中のアノテーションを付与する箇所の経年変化をユーザが直感的に確認することが出来る。
【図面の簡単な説明】
【００１０】
【図１】本願発明の誘導型点検ナビゲーションシステムの一例を示すシステム構成図である。
【図２】本願発明のハードウェア構成の一例を示すブロック図である。
【図３】タブレット端末のタッチパネル２１３によって行われる点検処理を示すフローチャートである。
【図４】図３のステップＳ３０１の点検エリア抽出処理の詳細を示すフローチャートである。
【図５】図３のステップＳ３０２の点検処理の詳細を示すフローチャートである。
【図６】図５のステップＳ５０６の新規点検ポイント追加処理の詳細を示すフローチャートである。
【図７】図３のステップＳ３０３の点検終了処理の詳細を示すフローチャートである。
【図８】図４のステップＳ４１１でタブレット端末のタッチパネル２１３に表示される画面の一例を示す模式図である。
【図９】図５のステップＳ５０７でタブレット端末のタッチパネル２１３に表示される画面の一例を示す模式図である。
【図１０】タブレット端末１００のタッチパネル２１３に表示される撮影ポイントへ作業者を誘導する際の画面模式図である。
【図１１】図５のステップＳ５１６でタブレット端末のタッチパネル２１３に表示される画面の一例を示す模式図である。
【図１２】サーバ１０１の外部メモリ２１１に記憶される点検結果の情報を管理するデータテーブルの一例を示す図である
【図１３】サーバ１０１の外部メモリ２１１に記憶される点検エリアの情報を管理するデータテーブルの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜図１の説明＞
【００１２】
図１は、本発明の実施形態における誘導型点検ナビゲーションシステム（情報処理システムともいう）の構成を示す図である。
尚、図１のネットワーク１上に接続されている各種端末の構成は一例であり、用途や目的に応じて様々な構成例があることは言うまでもない。
【００１３】
タブレット端末１００は、点検作業を行う担当者（以下、作業員と呼ぶ）が使用する端末である。タブレット端末１００はネットワーク１を介して、誘導型点検ナビゲーションシステムの情報管理サーバ（以下、サーバ１０１と呼ぶ）とデータの送受信が可能である。
次に、図１のタブレット端末１００、サーバ１０１のハードウェア構成について、図２を用いて説明する。
＜図２の説明＞
【００１４】
図２（ａ）は、本発明の実施形態におけるタブレット端末１００のハードウェア構成を示す図である。
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００１５】
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーションシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００１６】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００１７】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウェア、各種アプリケーション、各種データ等を記憶するハードディスク（ＨＤ）等の外部メモリ２１１へのアクセスを制御する。
【００１８】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００１９】
表示コントローラ２１２は、ブラウザソフトウェア、撮影カメラ、各種アプリケーション等、タッチパネル２１３へ表示する内容を制御する。
【００２０】
入力コントローラ２１４は、カメラ２１５からの入力を制御する。カメラ２１５からは撮影された静止画や動画の入力を制御する。
【００２１】
センサコントローラ２１６は、タブレット端末１００が備えるセンサ２１７からの入力を制御する。タブレット端末１００のセンサ２１７には様々なセンサが存在し、例えば方位センサ、加速度センサ等である。
【００２２】
図２（ｂ）は、本発明の実施形態におけるサーバ１０１のハードウェア構成を示す図である。
なお、図２（ａ）と説明が同じとなるものについては、図２（ａ）と同じ番号を振り、説明は省略する。
【００２３】
２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ２１０への表示を制御する。なお、２１０のディスプレイは、タッチパネルになっており、ディスプレイ上の画面を押下されることにより操作することが可能な入力装置としても機能する。
【００２４】
次に、図３を用いて、本発明の実施形態における誘導型点検ナビゲーションシステムの基本的な処理フローについて説明する。
＜図３の説明＞
【００２５】
図３は、本発明の実施形態における誘導型点検ナビゲーションシステムの基本的な処理フローを示す図である。
【００２６】
図３のフローチャートに示す各ステップの処理は、タブレット端末１００、またはサーバ１０１のＣＰＵ２０１が、それぞれの外部メモリ２１１に格納されるプログラムをＲＡＭ２０３にロードして実行することにより実現される。
【００２７】
ステップＳ３０１において、タブレット端末１００、またはサーバ１０１は、今回作業員が点検する点検エリアの情報を抽出する点検エリア抽出処理を行う。ステップＳ３０１の詳細は、図４を用いて後ほど説明する。
【００２８】
ステップＳ３０２において、タブレット端末１００、またはサーバ１０１は、点検ポイントに作業員を誘導したり、点検結果の入力を作業員から受け付けたりする点検処理を行う。ステップＳ３０２の詳細は、図５を用いて後ほど説明する。
【００２９】
ステップＳ３０３において、タブレット端末１００、またはサーバ１０１は、作業員から点検を終了する指示を受け付けて、点検を終了する点検終了処理を行う。ステップＳ３０３の詳細は、図７を用いて後ほど説明する。
＜図４の説明＞
【００３０】
図４は、本発明の実施形態における点検エリア抽出処理フローを示す図であり、図３のステップＳ３０１の詳細フローである。
【００３１】
図４のフローチャートに示す各ステップの処理は、タブレット端末１００、またはサーバ１０１のＣＰＵ２０１が、それぞれの外部メモリ２１１に格納されるプログラムをＲＡＭ２０３にロードして実行することにより実現される。
【００３２】
ステップＳ４０１において、タブレット端末１００は、タブレット端末１００のタッチパネル２１３に表示されている点検開始ボタン（図８の８０４と同じボタン）が作業員により押下されることにより、タブレット端末に備えられているＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）機能を利用して現在位置情報を取得する。
【００３３】
ステップＳ４０２において、タブレット端末１００は、取得した現在位置情報を元に、ネットワークを介して、サーバ１０１に点検エリア情報の取得要求を行う。
【００３４】
ステップＳ４０３において、サーバ１０１は、サーバ１０１の外部メモリ２１１に記憶する、後述する図１３のデータテーブルに登録されているデータの緯度１３０３、および経度１３０４が、当該位置情報と一致する点検エリアが存在するかを判定し、存在する場合には、その点検エリア情報（図１３の１３０２〜１３１１）を抽出し（ステップＳ４０９）、タブレット端末へ情報を転送する（ステップＳ４１０）。当該位置情報と該当する点検エリアが存在しない場合には、点検エリアが存在しない旨の情報をタブレット端末１００に送信し、点検エリアが存在しない旨の情報を受信（ステップＳ４０７）したタブレット端末１００は、エラーメッセージをタッチパネル２１３に表示し、本処理を終了する（ステップＳ４０８）。
【００３５】
ステップＳ４１１において、タブレット端末１００は、サーバ１０１から受信した情報を元に、タッチパネル２１３上に、点検エリアの地図情報を表示する（図８の画面模式図を参照）。
以上で、図４の説明を終了する。次に図５を用いて、図３のステップＳ３０２の詳細フローについて説明する。
＜図５の説明＞
【００３６】
図５は、本発明の実施形態における点検ポイントへの誘導、および点検結果の入力を作業員から受け付ける処理フローを示す図であり、図３のステップＳ３０２の詳細フローである。
【００３７】
図５のフローチャートに示す各ステップの処理は、タブレット端末１００、またはサーバ１０１のＣＰＵ２０１が、それぞれの外部メモリ２１１に格納されるプログラムをＲＡＭ２０３にロードして実行することにより実現される。
【００３８】
ステップＳ５０１において、タブレット端末１００は、図４の処理でタッチパネル２１３に表示される地図情報とともに表示される「点検開始ボタン８０４」が作業員により押下されることにより、点検ポイントまでの誘導指示を受け付けると、図４の処理によりタブレット端末１００のタッチパネル２１３上に表示された各点検ポイントの位置情報（後述する図１３の緯度１３０８、経度１３０９）と現在位置情報を比較し、現在位置から一番近い点検ポイントまでのルートを描画した後（ステップＳ５０２）、作業員を点検ポイントへ誘導する（ステップＳ５０３）。
【００３９】
ステップＳ５０４において、タブレット端末１００は、点検ポイントの位置情報と現在位置情報が合致するか否かを随時判定し、点検ポイントの位置情報と作業員の現在位置情報が合致していれば、ステップＳ５０７に進み、点検ポイントの位置情報と現在位置情報が合致しなければステップＳ５０５に進む。具体的には、図１３のデータテーブル中の、現在の点検エリアの直近の点検ポイントの緯度１３０８、経度１３０９と現在位置情報が一致している場合に、ステップＳ５０７に進む。
【００４０】
ステップＳ５０５において、タブレット端末１００は、点検ポイントに到着するまで、タブレット端末１００のタッチパネル２１３に表示される新規点検ポイント追加ボタン８０５が作業員により押下されたかを随時判定する。新規点検ポイント追加ボタン８０５が押下されたならば、ステップＳ５０６に進み、新規点検ポイント追加ボタン８０５が押下されなければ、そのまま点検ポイントまで誘導する。
【００４１】
ステップＳ５０６において、タブレット端末１００は、新しい点検ポイントを追加する処理を行う。ステップＳ５０６の処理の詳細は、後述する図６で説明する。
【００４２】
ステップＳ５０７において、タブレット端末１００は、点検開始ポイントの位置情報と現在位置情報が合致すると、タッチパネル２１３上に該当する点検ポイントの点検項目を表示し作業員への点検作業を促す。（図９の画面模式図を参照）
【００４３】
点検項目の各種点検が終了し、ステップＳ５０８において、作業員からタッチパネル２１３上に表示されている「カメラボタン９０１」が押下されたと判定されると（ステップＳ５０８でＹＥＳ）、サーバ１０１に対して当該点検ポイントにおける過去撮影情報の取得要求を行い（ステップＳ５０９）、点検完了ボタン９０３が押下されると（ステップＳ５０８でＮＯ）、図５の処理を終了する。
【００４４】
過去撮影情報とは、前回撮影画像（前回同じ点検ポイントの同じ点検箇所を撮影した画像のこと）、および画像撮影位置情報、および当該点検ポイントの撮影画像に対して作業員の指示に従って付けられたアノテーション（図１１の１１０３や１１０４）の情報等である。
【００４５】
ステップＳ５１０において、サーバ１０１は、タブレット端末１００からの過去撮影情報の取得要求を受信すると、図１２のデータテーブルを参照し、点検エリアＩＤ１２０１、点検ポイントＩＤ１２０２をキーに、点検画像情報（図１２の１２０５〜１２１２）を取得し、過去撮影情報を送信する（ステップＳ５１１）。なお、サーバ１０１は、過去に当該点検ポイントで撮影した画像が無ければ、画像は送信せず、過去に当該点検ポイントで撮影した画像が無い旨の情報をタブレット端末１００に送信する。
【００４６】
ステップＳ５１２において、タブレット端末１００は、サーバ１０１から受信した過去撮影情報を受信し、過去撮影情報のうち前回撮影画像（図１２の１２０５）をタブレット端末に透過表示すると共に、前回撮影画像位置情報と現在位置情報を比較し、タブレット端末に備えられているＧＰＳ機能とジャイロセンサー機能を利用し、取得した［経度］・［緯度］・［Ｘ軸］・［Ｙ軸］・［Ｚ軸］ポイント（図１２の１２０６〜１２１０）へ誘導する画面メッセージ（矢印ハイライト）を表示して前回撮影画像位置まで誘導（図１０の画面模式図を参照）する（ステップＳ５１３）。このときアノテーションは表示してもしなくても良い。前回画像を透過表示することにより、作業員は前回撮影したときと撮影位置が同じ位置となるように点検ポイントを撮影することが出来る。
【００４７】
ステップＳ５１２は、本発明における、表示手段により表示された画像に含まれる被写体と同じ被写体を撮影した他の画像に対して付与されたアノテーションと、当該他の画像における当該アノテーションの位置の情報を記憶手段から取得する取得手段の一例である。
【００４８】
ステップＳ５１４において、タブレット端末１００は、作業員から点検ポイントの写真の撮影指示（図１０の１００４）を受け付けたかを判断する。タブレット端末１００は、作業員から点検ポイントの写真の撮影指示を受け付けたならば、ステップＳ５１５において写真を撮影し、作業員から点検ポイントの写真の撮影指示を受け付けなければそのまま待機する。
ステップＳ５１５は、本発明における被写体を撮影する撮影手段の一例である。
【００４９】
なお、本実施例では、ステップＳ５１４で、作業員から撮影指示を受け付けるとしたが、他の実施例として、現在位置情報が前回撮影画像位置情報と合致すると、タブレット端末に備えられている画像撮影機能により点検ポイントの画像を自動撮影するとしてもよい。
【００５０】
ステップＳ５１６において、タブレット端末１００は、履歴情報（具体的には、図１２の１２１２のアノテーション）を、図１２の１２１３に記憶された位置情報を基に、ステップＳ５１５で撮影した画像に重ね合わせて表示する（図１１を参照）。
【００５１】
ステップＳ５１６は、本発明における撮影手段により撮影した画像を表示する表示手段であって、取得手段で取得した他の画像におけるアノテーションを、当該他の画像における位置と同じ位置となるように、当該表示手段で表示した画像に表示する表示手段の一例である。
【００５２】
ステップＳ５１７において、タブレット端末１００は、作業員から前回撮影画像からの差分を指でなぞる操作を受け付ける。具体的には、例えば、アノテーションが重ね合わせて表示されている部分からはみ出している部分が、前回点検したときからの差分であるため、その部分を作業員はなぞる（タッチ操作）ことになる。また、ステップＳ５１７では、タブレット端末１００は、前回点検時からの差分、例えば、ひび割れであれば、ひび割れの長さの入力等（図１１の１１０２）を作業員から受け付ける。なお、本実施例では差分を指でなぞるとしたが、他の実施例として、タブレット端末１００に接続されたマウス等でなぞっても良い。
【００５３】
図５のステップＳ５１６において過去に点検したときに作業員が作成したアノテーションを画像に重ね合わせて表示することにより、ユーザは、点検箇所の前回からの差分を容易に知ることができ、点検作業を効率的に行うことが可能となる。
【００５４】
ステップＳ５１８において、タブレット端末１００は、作業員から現在の点検ポイントにおける点検終了指示を受け付けたか否かを判定する。具体的には、図１１の登録ボタン１１０１が押下された場合には（ステップＳ５１８でＹＥＳ）、ステップＳ５１９において、ステップＳ５１７で入力された情報をサーバ１０１に送信し、登録ボタン１１０１が押下されない場合には（ステップＳ５１８でＮＯ）、ステップＳ５１７に戻る。
【００５５】
ステップＳ５２０において、サーバ１０１は、ステップＳ５１９でタブレット端末１００から送信された情報を図１２のデータテーブルに登録する。
以上で図５の説明を終了する。
＜図６の説明＞
【００５６】
図６は、本発明の実施形態における新規点検ポイント追加処理フローを示す図であり、図３のステップＳ５０６の詳細フローである。
【００５７】
図６のフローチャートに示す各ステップの処理は、タブレット端末１００、またはサーバ１０１のＣＰＵ２０１が、それぞれの外部メモリ２１１に格納されるプログラムをＲＡＭ２０３にロードして実行することにより実現される。
ステップＳ６０１において、タブレット端末１００は、点検ポイントの追加要求をサーバ１０１に行う。
【００５８】
ステップＳ６０２において、サーバ１０１は、点検ポイントの追加要求をタブレット端末１００から受け付けると、点検ポイントを追加するための点検ポイント追加画面を生成し、タブレット端末１００に送信する。
【００５９】
ステップＳ６０４において、タブレット端末１００は、サーバ１０１から点検ポイント追加画面を受信し、タッチパネル２１３に表示する。ステップＳ６０４でタブレット端末１００のタッチパネル２１３に表示される点検ポイント追加画面は、例えば、後述する図９と同じ画面である。ただし、ステップＳ５０７で図９の画面を表示する場合と異なる点としては、ステップＳ６０４かた図９の画面を表示する場合は、最初、点検項目は表示されず、９０４が点検分類の選択式となっており、９０４を作業員がタッチして点検分類一覧を表示させ、点検分類を作業員が選択することで、選択された点検分類に紐付く点検項目が表示される。
【００６０】
ステップＳ６０５において、タブレット端末１００は、タッチパネル２１３に表示される点検ポイント追加画面に含まれる撮影ボタン（図９の９０１）が押下されたか否かを判定する。撮影ボタンが押下されたならば、ステップＳ６０５−１へ進み、撮影ボタンが押下されずに、点検項目（図９の９０２）の入力がされたならば、ステップＳ６０７へ進む。
【００６１】
ステップＳ６０５−１において、タブレット端末１００は、図１０の画面を表示し、撮影ボタン１００４が作業員により押下されたか否かを判断する。撮影ボタン１００４が作業員により押下されたならば、ステップＳ６０６に進み、撮影ボタン１００４が作業員により押下されなければ押下されるまで待機する。なお、ステップＳ６０５−１で図１０の画面を表示する場合、点検ポイントへの誘導は無い。
【００６２】
ステップＳ６０６において、タブレット端末１００は、画像を撮影し、撮影した画像をタッチパネル２１３に表示し、要点検箇所をなぞる操作を作業員から受け付ける画面を表示する（図１１の画面と同様であるが、ここでは、前回点検時のアノテーションや点検結果は表示されない）。点検箇所を作業員がなぞった後、１１０２の点検結果の入力を作業員から受け付け、登録ボタン（図１１の１１０１）が押下されることにより、ステップＳ６０８に進む。
【００６３】
ステップＳ６０６は、本発明における被写体を撮影する撮影手段と、撮影手段により撮影した画像を表示する表示手段の一例である。
【００６４】
ステップＳ６０７において、タブレット端末１００は、点検結果の入力（図９の９０２）を作業員から受け付ける。
【００６５】
ステップＳ６０８において、タブレット端末１００は、撮影した画像と、当該画像の位置情報と、ステップＳ６０６やステップＳ６０７で作業員から入力を受け付けた情報をサーバ１０１に送信する。
【００６６】
ステップＳ６０９において、サーバ１０１は、ステップＳ６０８でタブレット端末１００から送信された情報を受信し、図１２のデータテーブルに登録し、本処理を終了する。
＜図７の説明＞
【００６７】
図７は、本発明の実施形態における点検終了処理フローを示す図であり、図３のステップＳ３０３の詳細フローである。
【００６８】
図７のフローチャートに示す各ステップの処理は、タブレット端末１００、またはサーバ１０１のＣＰＵ２０１が、それぞれの外部メモリ２１１に格納されるプログラムをＲＡＭ２０３にロードして実行することにより実現される。
【００６９】
ステップＳ７０１において、ユーザが点検を行っているエリアにおいて、次の点検ポイントがあるか否かを判断する。次の点検ポイントがある場合には、タブレット端末１００は、次の点検ポイントを特定し（ステップＳ７０２）、図５のステップＳ５０３へ進み、次の点検ポイントが無い場合には、点検終了要求をサーバ１０１に行う（ステップＳ７０３）。
【００７０】
ステップＳ７０４において、サーバ１０１は、点検終了要求をタブレット端末１００から受信し、今回の点検が完了した日時等を図１２の１２１３に登録する（ステップＳ７０５）。正常に登録処理が完了すると、サーバ１０１は、タブレット端末１００へその旨を通知し（ステップＳ７０６）、タブレット端末１００は、タッチパネル２１３上に正常に登録処理が完了した旨のメッセージを表示し、本処理を終了する。
以上で、図７の説明を終了する。
【００７１】
次に図８を用いて、図４のステップＳ４１１で、タブレット端末１００のタッチパネル２１３に表示される画面について説明する。
＜図８の説明＞
【００７２】
図８は、本発明の実施形態におけるタブレット端末１００のタッチパネル２１３に表示される点検ポイントマップの画面模式図である。現在地情報を元に、図１３のデータテーブルから抽出した点検エリアの地図情報、および点検ポイント情報より、タブレット端末のタッチパネル上に地図を表示し、点検ポイントと点検ポイントへの誘導ルートを描画する。
【００７３】
８０１は、作業員の現在地を示し、８０１は、タブレット端末１００のＧＰＳを利用して特定する。
８０２は、点検ポイントを示し、図１３の１３１０、および１３１１の情報を基づいて表示される。
８０３は、点検ルートを示し、図１３の１３０７、１３１０、および１３１１の情報を基づいて表示される。
【００７４】
８０４は、点検開始ボタンであり、点検開始ボタン８０４が作業員により押下されると、図５のステップＳ５０２以降の処理を実行する。なお、点検開始ボタン８０４が作業員により押下されると、点検ポイントへ作業員を誘導中は、当該ボタンは、新規点検ポイント追加ボタン８０５に変わる。
＜図９の説明＞
【００７５】
図９は、本発明の実施形態において、タブレット端末１００のタッチパネル２１３に表示される点検項目表示の図面模式図である。本システムのナビゲーション機能により点検ポイントへ到着すると、図５のステップＳ５０７において、サーバ１０１の外部メモリ２１１に予め記憶された点検ポイントごとの点検項目を抽出し、該当する点検項目をタッチパネル上に表示する。
【００７６】
９０１は、カメラボタンであり、カメラボタン９０１が作業員により押下されると、図１０の画面を表示する。
【００７７】
９０２は、ラジオボタンであり、作業員は、各点検項目について、問題なければＯＫのラジオボタン９０２を、問題があればＮＧのラジオボタン９０２を選択する。
【００７８】
９０３は、点検完了ボタンであり、作業員は、当該点検ポイントにおける点検を終了したら、点検完了ボタン９０３を押下することで、当該点検ポイントにおける点検を終了し、タブレット端末１００は、図８の画面を再度タッチパネル２１３に表示して、次の点検ポイントへの作業員の誘導を行う。
＜図１０の説明＞
【００７９】
図１０は、本発明の実施形態において、タブレット端末１００のタッチパネル２１３に表示される撮影ポイントへ誘導する際の画面模式図である。
【００８０】
タブレット端末に備えられているＧＰＳ、およびジャイロセンサーより位置情報、傾きを前回撮影画像の位置情報と比較することで、撮影ポイントへの誘導を行う。
【００８１】
タッチパネル２１３の１００１には、タブレット端末１００のカメラ２１５で現在撮影している画像の上に、前回撮影画像が透過表示されている。さらに、１００１の上下左右に方向指示用の矢印記号１００２を配置し、その矢印を反転表示させると共に指示メッセージ１００３を画面上に表示させることで誘導を行う。
【００８２】
具体的には、図１２のデータテーブルから、［点検エリアＩＤ］［点検ポイントＩＤ］をキーに直近の点検画像情報を取得し、取得した画像を画面中央に透過表示し、同じエリア上にタブレットのカメラ映像を表示する。そして、タブレットのＧＰＳ機能、ジャイロセンサーを利用し取得した［経度］［緯度］［Ｘ軸］［Ｙ軸］［Ｚ軸］ポイント（図１２の１２０６〜１２１０）へ誘導する画面メッセージ（矢印ハイライト）を表示し、タブレットが該当ポイントに合致した時に、自動でカメラ撮影を実施する。もしくは、１００４の撮影ボタンが作業員により押下されると、撮影する。
本画面により、差分比較要求が可能である。
＜図１１の説明＞
【００８３】
図１１は、本発明の実施形態において、タブレット端末１００のタッチパネル２１３に表示される撮影した画像に対して作業員からアノテーションの入力を受け付ける図である。
【００８４】
１１０１は、登録ボタンであり、登録ボタン１１０１が作業員により押下されると、撮影した画像や当該画面を介して作業員から入力を受け付けた点検結果や、アノテーションの情報をサーバ１０１に送信する。
１１０６には、今回撮影した画像が表示される。図１１の例では、壁にひびが入っている画像が撮影されている。
【００８５】
図１２の１２１２、１２１３の情報に基づき、１１０３には前々回点検時のアノテーションが表示され、１１０４には、前回点検時のアノテーションが表示される。なお、１１０３と１１０４は、それぞれ検査日時が異なることが分かるように、異なる色のアノテーションが表示される。
【００８６】
アノテーションは、作業員が点検ポイントの画像の中で注意すべきポイント（図１１の場合は壁のひび）をなぞることで、表示される。
【００８７】
１１０５は、前回点検時から広がった壁のひびである。そのため、今回点検する際は、１１０５の部分を作業員はなぞることになる。１１０５を作業員がなぞると、１１０３や１１０４とは異なる色でアノテーションが表示される。
【００８８】
図１１に示すように、点検日時ごとにアノテーションの色を変えることにより、作業員が視覚的に点検ポイントの注意すべき箇所の経年変化を知ることが可能となり、点検作業がしやすくなる。
【００８９】
なお、図１１では、壁のひびを例としたが、他の実施例として、例えば、工場設備に出来た穴や錆等であってもよい。その場合、穴や錆ができている箇所をユーザが塗りつぶすようになぞると、塗りつぶした箇所にアノテーションが表示される。
＜図１２の説明＞
【００９０】
図１２は、サーバ１０１の外部メモリ２１１に記憶されるデータテーブルであり、点検結果の情報を管理するデータテーブルの一例を示す図である。図１２のデータテーブルは、作業員により作成され、予めサーバ１０１に登録されているものとする。
【００９１】
図１２のデータテーブルを記憶するサーバ１０１の外部メモリ２１１は、本発明における前記撮影手段により撮影された前記被写体の画像に対して付与されたアノテーションと、当該アノテーションの当該画像における位置の情報と、を記憶する記憶手段の一例である。
１２０１には、点検エリアを識別するためのＩＤが記憶され、図１３の１３０１に対応する。
【００９２】
１２０２には、点検エリアに含まれる点検ポイント（作業員が点検をすべきポイント）を識別するためのＩＤが記憶され、１２０３には、当該点検ポイントの分類、例えば、ひび割れや、さび等の情報が記憶され、１２０４には、当該点検ポイントにおける点検結果が記憶され、１２０５には、図５や図６の処理中に作業員の指示により撮影された点検ポイントの画像が管理されているサーバのフォルダパス、またはコード変換した画像データそのものが記憶される。
【００９３】
１２０６には、当該点検ポイントの緯度が記憶され、１２０７には、当該点検ポイントの経度が記憶され、Ｘ軸１２０８、Ｙ軸１２０９、Ｚ軸１２１０には、撮影した際のタブレットの状態（ジャイロセンサー機能にて取得）が記憶される。
【００９４】
１２１１には、図５のステップＳ５１７や図６のステップＳ６０６で作業員から入力を受け付けたアノテーションの画像が管理されているサーバのフォルダパス、またはコード変換した画像データそのものが記憶される。
【００９５】
１２１２には、アノテーションを合成する画像の一番左上を座標（０，０）とした場合のアノテーションの矩形の座標（矩形の左上隅のＸＹ座標、矩形の右下隅のＸＹ座標）が記憶され、１２１３には、点検を行った日時が記憶される。
以上で図１２の説明を終了する。
＜図１３の説明＞
【００９６】
図１３は、サーバ１０１の外部メモリ２１１に記憶されるデータテーブルであり、点検エリアの情報を管理するデータテーブルの一例を示す図である。図１３のデータテーブルは、点検エリアを管理するユーザにより作成され、予めサーバ１０１に登録されているものとする。
【００９７】
１３０１には、点検エリアを識別するための点検エリアＩＤが記憶され、１３０２には、点検エリアの名前が記憶され、１３０３には、点検エリアの緯度が記憶され、１３０４には、点検エリアの経度が記憶され、１３０５には、点検エリアのマップの画像が管理されているサーバのフォルダパス、またはコード変換した画像データそのものが記憶される。
【００９８】
１３０６には、点検エリアに含まれる点検ポイント（作業員が点検をすべきポイント）の名前が記憶され、１３０７には、当該点検ポイントが属する点検エリアにおける、当該点検ポイントの点検する順番が記憶され、１３０８には、当該点検ポイントの緯度が記憶され、１３０９には、当該点検ポイントの経度が記憶され、１３１０には、１３０５に記憶される点検エリアのマップ画像における当該点検ポイントのＸ座標（マップ画像の一番左上を０とした座標）が記憶され、１３１１には、１３０５に記憶される点検エリアのマップ画像における当該点検ポイントのＹ座標（マップ画像の一番左上を０とした座標）が記憶される。
【００９９】
１３１２には、当該点検エリアを登録した日付が記憶され、１３１３には、当該点検エリアの情報を更新した日付が記憶される。
以上で図１３の説明を終了する。
【０１００】
なお、本実施例では、図１２と図１３のデータテーブルをサーバ１０１の外部メモリ２１１に記憶するとしたが、他の実施例として、タブレット端末１００の外部メモリ２１１に記憶しても良い。
以上で、実施例の説明を終了する。
【０１０１】
以上、本発明によると、撮影した画像中のアノテーションを付与する箇所の経年変化をユーザが直感的に確認することができる。
【０１０２】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１０３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１０４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１０６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１０７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１１１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１１２】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１３】
１００  タブレット端末
１０１  サーバ
【図１】
2016143983.tif 000003
【図２】
2016143983.tif 000004
【図３】
2016143983.tif 000005
【図４】
2016143983.tif 000006
【図５】
2016143983.tif 000007
【図６】
2016143983.tif 000008
【図７】
2016143983.tif 000009
【図８】
2016143983.tif 000010
【図９】
2016143983.tif 000011
【図１０】
2016143983.tif 000012
【図１１】
2016143983.tif 000013
【図１２】
2016143983.tif 000014
【図１３】
2016143983.tif 000015