(57)【要約】【課題】作業現場の過去の画像に関して支援者が注目している部分を作業者に円滑に伝達可能とすること。【解決手段】作業者によって利用される第１の情報処理装置と、前記作業者による作業を支援する支援者が利用する第２の情報処理装置とを含む作業支援システムにおいて、前記第１の情報処理装置は、作業の対象物の画像を入力する画像入力部と、前記画像入力部によって入力される画像を、前記第２の情報処理装置に送信する送信部と、前記第２の情報処理装置に過去に送信された第１の画像に関して、前記第２の情報処理装置において指定された部分に関する特徴量を受信する受信部と、前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、を有する。【選択図】図３
2016224889.tif 000002
【特許請求の範囲】
【請求項１】
作業者によって利用される第１の情報処理装置と、前記作業者による作業を支援する支援者が利用する第２の情報処理装置とを含む作業支援システムであって、
前記第１の情報処理装置は、
作業の対象物の画像を入力する画像入力部と、
前記画像入力部によって入力される画像を、前記第２の情報処理装置に送信する送信部と、
前記第２の情報処理装置に過去に送信された第１の画像に関して、前記第２の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、
前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、
を有することを特徴とする作業支援システム。
【請求項２】
前記受信部は、前記第２の情報処理装置に過去に送信された第１の画像に関する特徴量と、前記第１の画像が送信された時点を示す情報とを受信し、
前記第１の情報処理装置は、
当該第１の情報処理装置の位置を時系列に特定可能な情報を記憶部に記憶する記憶処理部と、
前記記憶部に記憶されている情報に基づいて、当該第１の情報処理装置の現在位置に対する、前記受信部によって受信された情報が示す時点における当該第１の情報処理装置の相対位置を特定する特定部と、
前記相対位置の方向を示す情報を出力する第２の出力部と、
を有することを特徴とする請求項１記載の作業支援システム。
【請求項３】
前記記憶処理部は、当該第１の情報処理装置の加速度及び角速度の履歴を前記記憶部に記憶する、
ことを特徴とする請求項２記載の作業支援システム。
【請求項４】
前記第１の出力部は、当該第１の情報処理装置の現在位置と前記相対位置との距離が第２の閾値以下である場合に、前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する、
ことを特徴とする請求項２又は３記載の作業支援システム。
【請求項５】
前記受信部は、前記第１の画像の一部の範囲に関する特徴点ごとの特徴量を受信し、
前記算出部は、前記画像入力部によって入力される画像に関する特徴点ごとの特徴量を算出し、
前記第１の出力部は、算出された特徴量の中で、受信されたいずれかの特徴量との類似度が前記第１の閾値以上である特徴量を所定数以上含む一定範囲が前記画像入力部によって入力される画像に含まれる場合に、当該一定範囲内において、前記類似度が前記第１の閾値以上である特徴量のそれぞれに係る特徴点を囲む範囲を示す記号を、当該画像に重畳する、
ことを特徴とする請求項１乃至４いずれか一項記載の作業支援システム。
【請求項６】
作業者によって利用される情報処理装置であって、
作業の対象物の画像を入力する画像入力部と、
前記画像入力部によって入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信する送信部と、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、
前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、
を有することを特徴とする情報処理装置。
【請求項７】
作業者によって利用される情報処理装置が、
作業の対象物の画像を入力し、
入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信し、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出し、
前記類似度が第１の閾値以上である場合に、所定の出力を行う、
処理を実行することを特徴とする作業支援方法。
【請求項８】
作業者によって利用される情報処理装置に、
作業の対象物の画像を入力し、
入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信し、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出し、
前記類似度が第１の閾値以上である場合に、所定の出力を行う、
処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援システム、情報処理装置、作業支援方法、及びプログラムに関する。
【背景技術】
【０００２】
現場で作業を行う作業者を支援するために、熟練者等の支援者が、作業現場の動画像を遠隔地において閲覧しながら、作業者に対して音声による指示を送信可能なシステムが有る。
【０００３】
このようなシステムにおいて、支援者側に表示されている動画像において、支援者が注目している部分を円滑に作業者に伝えられることは、作業の効率化の観点からも重要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２１５０５２号公報
【特許文献２】特開２０１０−２１６８１５号公報
【特許文献３】特開２０１１−２０６２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、作業者側の端末（以下「作業者端末」という。）と支援者側の端末（以下「支援者端末」という。）との間で、作業現場の動画像を共有し、支援者が動画像の注目部分に対してマーキングを行うと、当該マーキングの結果が作業者端末の動画像に反映されることで、支援者が注目している部分を作業者に円滑に伝達することができる。
【０００６】
しかしながら、支援者は、作業の対象物が少しずつ移動する状況において、支援者端末に過去に表示されていた対象物について、確認を行いたい場合が有る。このような場合、現時点において表示されている動画像には、当該対象物は含まれていないため、上記の方法では、支援者の注目部分を伝達することができない。
【０００７】
そうすると、支援者は、当該対象物を、口頭で作業者に伝達する必要が有るが、当該対象物を口頭で明確に特定するのが困難な場合が有る。
【０００８】
そこで、一側面では、作業現場の過去の画像に関して支援者が注目している部分を作業者に円滑に伝達可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
一つの案では、作業者によって利用される第１の情報処理装置と、前記作業者による作業を支援する支援者が利用する第２の情報処理装置とを含む作業支援システムにおいて、前記第１の情報処理装置は、作業の対象物の画像を入力する画像入力部と、前記画像入力部によって入力される画像を、前記第２の情報処理装置に送信する送信部と、前記第２の情報処理装置に過去に送信された第１の画像に関して、前記第２の情報処理装置において指定された部分に関する特徴量を受信する受信部と、前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、
を有する。
【発明の効果】
【００１０】
一側面によれば、作業現場の過去の画像に関して支援者が注目している部分を作業者に円滑に伝達可能とすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における作業支援システムの構成例を示す図である。
【図２】本発明の実施の形態における作業者端末のハードウェア構成例を示す図である。
【図３】本発明の実施の形態における各装置の機能構成例を示す図である。
【図４】支援者端末が実行する処理手順の一例を説明するためのフローチャートである。
【図５】各端末における動画像の出力例を示す図である。
【図６】過去の場面の画像に対するマーカの入力例を示す図である。
【図７】作業者端末が実行する処理手順の一例を説明するためのフローチャートである。
【図８】センサ値記憶部の構成例を示す図である。
【図９】時刻ｔｘにおける位置ｐｘの現在位置に対する方向及び距離を示すベクトルを説明するための図である。
【図１０】ナビゲーションの表示例を示す図である。
【図１１】作業者端末におけるマーカの表示例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における作業支援システムの構成例を示す図である。図１において、作業支援システム１は、作業者端末１０、サーバ３０、及び支援者端末２０等を含む。サーバ３０は、作業者端末１０及び支援者端末２０と、ネットワークを介して通信可能に接続される。
【００１３】
作業者端末１０は、作業者によって所持及び利用される端末である。作業者とは、作業現場において作業を行う者をいう。作業者端末１０は、作業の対象物等を含む動画像を撮像し、当該動画像を、支援者端末２０宛に送信する。
【００１４】
サーバ３０は、作業者端末１０によって撮像される動画像を支援者端末２０に中継する１以上のコンピュータである。
【００１５】
支援者端末２０は、支援者が利用する端末である。支援者とは、サーバ３０から転送される動画像を閲覧しつつ、作業者による作業を遠隔から支援する者をいう。支援者端末２０は、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等でもよい。
【００１６】
なお、作業者支援システム１には、複数の作業者端末１０と複数の支援者端末２０とが含まれてもよい。また、各支援者端末２０が、サーバ３０の機能を有していてもよい。
【００１７】
図２は、本発明の実施の形態における作業者端末のハードウェア構成例を示す図である。図２の作業者端末１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、入力装置１０７、撮像部１０８、加速度センサ１０９、及びジャイロセンサ１１０等を有する。
【００１８】
作業者端末１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１９】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って作業者端末１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７は、例えば、タッチパネル又はボタン等であり、様々な操作指示を入力させるために用いられる。
【００２０】
撮像部１０８は、例えば、デジタルビデオカメラであり、作業の対象物等の画像を撮像（入力）する。加速度センサ１０９は、作業者端末１０の加速度を検出する。ジャイロセンサ１１０は、作業者端末１０の角速度を検出する。
【００２１】
なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、ＵＳＢメモリ、又はメモリカード等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
【００２２】
なお、サーバ３０及び支援者端末２０も、図２に示されるようなハードウェア構成を有していてもよい。但し、サーバ３０及び支援者端末２０は、撮像部１０８、加速度センサ１０９、及びジャイロセンサ１１０を有していなくてもよい。更に、サーバ３０は、表示装置１０６及び入力装置１０７を有していなくてもよい。
【００２３】
図３は、本発明の実施の形態における各装置の機能構成例を示す図である。図３において、作業者端末１０は、センサ値取得部１１、画像入力部１２、画像出力部１３、画像送信部１４、特徴量受信部１５、移動経路計算部１６、ナビゲーション表示部１７、特徴点抽出部１８、及び注目部分探索部１９等を有する。これら各部は、作業者端末１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。作業者端末１０は、また、センサ値記憶部１２１を有する。センサ値記憶部１２１は、例えば、補助記憶装置１０２を利用して実現可能である。
【００２４】
センサ値取得部１１は、例えば、一定時間ごとに、加速度センサ１０９から加速度を取得し、ジャイロセンサ１１０から角速度を取得する。センサ値取得部１１は、取得された加速度及び角速度（以下、加速度及び角速度をまとめて「センサ値」という。）センサ値記憶部１２１に記憶する。センサ値記憶部１２１には、センサ値の履歴が時系列に記憶される。
【００２５】
画像入力部１２は、撮像部１０８によって撮像される動画像を継続的に入力する。画像出力部１３は、画像入力部１２によって入力される動画像を、表示装置１０６に表示する。画像送信部１４は、画像入力部１２によって入力される動画像を、サーバ３０を介して支援者端末２０に送信する。
【００２６】
特徴量受信部１５は、画像送信部１４によって送信された動画像のいずれかの時点における画像に関する特徴量と当該時点を示す情報である時刻ｔｘとを受信する。いずれかの時点における画像とは、支援者が注目する部分を含む、過去の時点における画像である。支援者は、当該画像における注目部分に対して、マーカを付加する。特徴量は、マーカが付加された注目部分に関する特徴点ごとの特徴量であり、支援者端末２０によって算出される。以下、支援者端末２０によって算出される特徴量を、「特徴量ｆｒ」という。
【００２７】
移動経路計算部１６は、時刻ｔｘから現時点までの期間に関してセンサ値記憶部１２１に記憶されたセンサ値に基づいて、当該期間における作業者端末１０の移動経路を算出し、時刻ｔｘにおける作業者端末１０の位置ｐｘを特定する。ナビゲーション表示部１７は、現時点における作業者端末１０の位置に対する位置ｐｘの方向を示す情報（以下、「ナビゲーション」という。）を、表示装置１０６に表示する。
【００２８】
特徴点抽出部１８は、画像入力部１２によって入力される動画像の特徴点を抽出する。注目部分探索部１９は、特徴点抽出部１８によって検出された各特徴点について特徴量を算出する。以下、注目部分探索部１９によって算出される特徴量を、特徴量ｆｒと区別するために、「特徴量ｆｌ」という。但し、特徴量ｆｒと特徴量ｆｌとの算出方法は同じでよい。注目部分探索部１９は、特徴量ｆｌと、特徴量受信部１５によって受信された特徴量ｆｒとの比較に基づいて、現時点において画像入力部１２によって入力される動画像の中から、支援者によってマーカが付加された注目部分を探索する。注目部分が探索された場合、注目部分探索部１９は、注目部分を示す情報を画像出力部１３に通知する。注目部分を示す情報が通知された場合、画像出力部１３は、出力対象の動画像に対して、注目部分を示すマーカを重畳する。
【００２９】
サーバ３０は、画像受信部３１、画像送信部３２、及び特徴量中継部３３等を有する。これら各部は、サーバ３０にインストールされた１以上のプログラムが、サーバ３０のＣＰＵに実行させる処理により実現される。サーバ３０は、また、画像記憶部３４を利用する。画像記憶部３４は、サーバ３０の補助記憶装置、又はネットワークを介してサーバ３０に接続可能な記憶装置等を用いて実現可能である。
【００３０】
画像受信部３１は、作業者端末１０の画像送信部１４によって送信される動画像を受信する。画像受信部３１は、受信された動画像を画像送信部３２に入力すると共に、当該動画像を、画像記憶部３４に記憶する。画像送信部３２は、画像受信部３１から入力される動画像を、支援者端末２０に送信する。したがって、画像受信部３１及び画像送信部３２によって、作業者端末１０からの動画像が、支援者端末２０に中継される。画像送信部３２は、また、画像記憶部３４に記憶されている過去の動画像を、支援者端末２０からの要求に応じて支援者端末２０に送信する。
【００３１】
特徴量中継部３３は、支援者端末２０から送信される、時刻ｔｘを示す情報と特徴量ｆｒとを作業者端末１０に転送する。
【００３２】
支援者端末２０は、画像受信部２１、操作受付部２２、画像再生部２３、画像出力部２４、特徴量計算部２５、及び特徴量送信部２６等を有する。これら各部は、支援者端末２０にインストールされた１以上のプログラムが、支援者端末２０のＣＰＵに実行させる処理により実現される。支援者端末２０は、また、画像キャッシュ部２７を利用する。画像キャッシュ部２７は、支援者端末２０の補助記憶装置、又はネットワークを介して支援者端末２０に接続可能な記憶装置等を用いて実現可能である。
【００３３】
画像受信部２１は、画像送信部３２から送信される動画像を受信する。画像受信部２１は、受信された動画像を画像キャッシュ部２７に記憶すると共に、当該動画像を画像再生部２３に入力する。画像キャッシュ部２７には、例えば、現時点から過去に遡って数分間分の動画像が記憶される。すなわち、画像キャッシュ部２７には、画像記憶部３４に記憶されている動画像のうちの、最新の一部分が記憶される。
【００３４】
操作受付部２２は、支援者から操作指示を受け付ける。画像再生部２３は、支援者からの操作に応じて、画像受信部２１から入力される現在の動画像と、画像キャッシュ部２７又は画像記憶部３４に記憶されている過去の動画像との中から再生対象の動画像を選択する。すなわち、支援者端末２０では、現在の動画像のみではなく、支援者によって指示された時点における過去の動画像をも再生可能である。支援者によって指示された時点における動画像が、画像キャッシュ部２７に記憶されていない場合、画像再生部２３は、画像受信部３１を介して、画像記憶部３４に記憶されている当該時点以降の動画像を取得し、当該動画像を再生対象として選択する。画像出力部２４は、画像再生部２３によって選択された動画像を、支援者端末２０の表示装置に表示する。
【００３５】
特徴量計算部２５は、画像再生部２３によって過去の動画像が再生対象として選択されている状況において、支援者によって注目部分が指示（マーキング）された場合に、当該注目部分に関する特徴点ごとに特徴量ｆｒを算出する。特徴量送信部２６は、特徴量ｆｒと、特徴量ｆｒの計算対象とされた画像に係る時刻ｔｘとを、サーバ３０に送信する。
【００３６】
なお、図３においては、支援者端末２０から作業者端末１０への音声を中継するための機構は省略されているが、支援者による作業者への指示は、音声によって作業者端末１０に伝達される。音声の伝達は、サーバ３０によって中継されてもよいし、電話通信網によって中継されてもよい。
【００３７】
以下、作業支援システム１において実行される処理手順について説明する。図４は、支援者端末が実行する処理手順の一例を説明するためのフローチャートである。
【００３８】
支援者端末２０に対して、支援者によって特段の指示が入力されない場合、画像再生部２３は、サーバ３０によって中継される現在の動画像を再生対象として選択する。したがって、画像出力部２４は、現在の動画像を出力する（Ｓ１０１）。現在の動画像とは、作業者端末１０の画像入力部１２によって入力されている動画像である。
【００３９】
図５は、各端末における動画像の出力例を示す図である。図５において、（１）は、作業現場における、撮像範囲の遷移を示す。すなわち、（１）において、実線の矩形ｒ１で示される範囲が、現在の撮像範囲である。破線の矩形ｒ２は、現時点よりも前の時刻ｔｘにおける撮像範囲を示す。
【００４０】
（２）は、作業者端末１０における、現在の動画像の出力例を示す。また、（３）は、支援者端末２０における、現在の動画像の出力例を示す。（２）及び（３）のいずれにおいても、（１）における矩形ｒ１の範囲の画像が出力されている。
【００４１】
なお、（３）において、現在の動画像は、遠隔支援画面５１０の画像表示領域５１１に表示されている。遠隔支援画面５１０は、再生ボタン５１２，一時停止ボタン５１３、及び再生バー５１４等を含む。再生ボタン５１２は、動画像の再生指示を受け付けるためのボタンである。一時停止ボタン５１３は、動画像の再生の一時停止を受け付けるためのボタンである。再生バー５１４は、再生時点の変更指示（巻き戻し指示）を受け付けるため表示部品である。
【００４２】
支援者は、画像表示領域５１１に表示されている現在の動画像を参照しながら、作業者に対して作業のアドバイス又は指示を行う。
【００４３】
その後、支援者が、過去において画像表示領域５１１に表示されていた場面に関して、作業者に対して指示を行いたい場合、支援者は、再生バー５１４を操作して、過去の動画像の再生指示（巻き戻し指示）を入力する。
【００４４】
画像再生部２３は、当該巻き戻し指示に応じ（Ｓ１０２でＹｅｓ）、再生バー５１４のつまみの位置に応じた時点以降の動画像を再生対象とする（Ｓ１０３）。すなわち、画像再生部２３は、当該時点以降の過去の動画像を画像キャッシュ部２７又は画像記憶部３４から取得する。画像出力部２４は、当該動画像を出力する。なお、作業者端末１０の画像出力部１３は、現在の動画像の出力を継続する。
【００４５】
遠隔支援画面５１０の画像表示領域５１１において、過去の動画像が再生されている状態において、支援者は、目的としていた場面を見つけると、例えば、一時停止ボタン５１３を押下する。
【００４６】
一時停止ボタン５１３の押下に応じ（Ｓ１０４でＹｅｓ）、画像再生部２３は、動画像の再生を停止する（Ｓ１０５）。その結果、画像表示領域５１１は、当該場面の静止画像が表示された状態となる。この状態において、支援者は、当該静止画像内において注目部分を指定する。例えば、支援者は、当該静止画像内における注目部分を示すためのマーカを、所定の操作によって入力する。マーカの入力は、操作受付部２２によって検知される。
【００４７】
図６は、過去の場面の画像に対するマーカの入力例を示す図である。図６では、遠隔支援画面５１０の画像表示領域５１１において、図５の（１）における時刻ｔｘの時点における撮像範囲の画像が表示されている状態が示されている。また、当該画像に対して、マーカＭ１が入力された例が示されている。図６では、注目部分を囲むようにマーカＭ１が入力されている。
【００４８】
マーカＭ１が入力されると（Ｓ１０６でＹｅｓ）、特徴量計算部２５は、一時停止されている場面の時刻の値（時刻ｔｘ）を、動画像から取得する（Ｓ１０７）。続いて、特徴量計算部２５は、一時停止されている場面の画像（すなわち、画像表示領域５１１に表示されている画像）を取得する（Ｓ１０８）。続いて、特徴量計算部２５は、当該画像において、マーカＭ１の周辺（マーカＭ１から所定の範囲内）における１以上の特徴点を抽出する（Ｓ１０９）。特徴点とは、例えば、画像中の色や明るさの変化が大きい箇所をいう。続いて、特徴量計算部２５は、特徴点ごとに、特徴量ｆｒを算出する（Ｓ１１０）。その結果、各特徴点の特徴量を要素の値とする、以下のような配列ａｒ１が得られる。
【００４９】
配列ａｒ１＝［ｆｒ１，ｆｒ２，・・・］
なお、或る特徴点の特徴量ｆｒは、例えば、当該特徴点を表すために用いられる多次元のベクトルである。例えば、ＳＩＦＴ特徴量が用いられてもよい。但し、ＳＩＦＴ特徴量以外の特徴量が用いられてもよい。
【００５０】
続いて、特徴量送信部２６は、特徴量ｆｒの配列ａｒ１と時刻ｔｘを示す情報とを、サーバ３０の特徴量中継部３３に送信する（Ｓ１１１）。配列ａｒ１及び時刻ｔｘを示す情報は、特徴量中継部３３によって、作業者端末１０に転送される。
【００５１】
続いて、作業者端末１０が実行する処理手順について説明する。図７は、作業者端末が実行する処理手順の一例を説明するためのフローチャートである。
【００５２】
支援者端末２０から送信され、サーバ３０の特徴量中継部３３によって転送された特徴量ｆｒの配列ａｒ１と時刻ｔｘを示す情報とが特徴量受信部１５によって受信されると（Ｓ２０１でＹｅｓ）、移動経路計算部１６は、時刻ｔｘから現時点までの期間（以下、「対象期間」という。）におけるセンサ値の履歴をセンサ値記憶部１２１から取得する（Ｓ２０２）。
【００５３】
図８は、センサ値記憶部の構成例を示す図である。図８に示されるように、センサ値記憶部１２１には、センサ値が取得された時刻ごとに、当該時刻と、加速度及び角速度とが記憶されている。センサ値は、図７の処理とは非同期に（並列的に）、センサ値取得部１１によって、センサ値記憶部１２１に記憶される。なお、加速度及び角速度は、ｘ軸、ｙ軸、及びｚ軸に関して記憶されている。作業者端末１０とｘ軸、ｙ軸、及びｚ軸との関係は、例えば、図８の下側に示されている。ステップＳ２０２では、対象期間における加速度及び角速度の履歴が取得される。
【００５４】
続いて、移動経路計算部１６は、加速度及び角速度の履歴に基づいて、対象期間における作業者端末１０の移動経路を算出する（Ｓ２０３）。加速度及び角速度の履歴に基づく移動経路の算出は、公知の方法を用いて行われればよい。例えば、各軸方向成分の加速度を二階積分することで距離を得ることができ、各軸方向に対する角速度を積分することで方角を得ることができるので、これらを利用して移動経路が算出されてもよい。
【００５５】
移動経路計算部１６は、算出された移動経路に基づいて、時刻ｔｘにおける作業者端末１０の位置ｐｘ及び向き（姿勢）について、作業者端末１０の現時位置及び現在の向き（姿勢）に対する相対値（相対位置及び相対的な向き）を特定する。
【００５６】
なお、移動経路の算出は、時刻ｔｘにおける作業者端末１０の位置ｐｘを求めるために行われる。したがって、時刻ｔｘにおける作業者端末１０の位置ｐｘを他の方法で特定可能であれば、移動経路以外に基づいて位置ｐｘが特定されてもよい。例えば、作業現場の床と壁とに一定間隔でＲＦタグが配置されており、作業者端末１０が当該ＲＦタグに記録されている情報を一定時間ごとに読み取ることで、作業現場における作業者端末１０の位置の履歴が記憶されるようにしてもよい。この場合、時刻ｔｘにおける作業者端末１０の位置は、当該履歴に基づいて特定されてもよい。また、ＧＰＳ（Global Positioning System）を利用可能であれば、ＧＰＳを利用して、作業者端末１０の位置の履歴が記録されてもよい。すなわち、センサ値記憶部１２１には、作業者端末１０の位置を時系列に特定可能な情報が記憶されればよい。
【００５７】
続いて、移動経路計算部１６は、時刻ｔｘにおける位置ｐｘについて、現在位置に対する方向及び距離を示すベクトルを算出する（Ｓ２０４）。
【００５８】
図９は、時刻ｔｘにおける位置ｐｘの現在位置に対する方向及び距離を示すベクトルを説明するための図である。図９には、作業者端末１０の現在位置と、ステップＳ２０３において算出された移動経路ｒ１と、現在位置及び移動経路ｒ１に基づいて特定される、時刻ｔｘにおける位置ｐｘとが示されている。ここで、現在位置を始点とし、位置ｐｘを終点とするベクトルｖ１が、ステップＳ２０４において算出される。ベクトルｖ１の方向は、現在位置に対する位置ｐｘの方向を示し、ベクトルｖ１の大きさは、現在位置と位置ｐｘとの距離を示す。
【００５９】
続いて、ナビゲーション表示部１７は、ベクトルｖ１に基づいて、支援者の注目部分の方向を示すナビゲーションを表示装置１０６に表示する（Ｓ２０５）。
【００６０】
図１０は、ナビゲーションの表示例を示す図である。図１０には、作業者端末１０の表示装置１０６に、ナビゲーションＮ１が表示されている例が示されている。ナビゲーションＮ１は、右上の方向に０．５ｍ移動した位置に、支援者の注目部分が有ることを示している。
【００６１】
続いて、特徴点抽出部１８は、現在位置と位置ｐｘとの距離が閾値α以下であるか否かを判定する（Ｓ２０６）。当該距離が閾値αを超える場合（Ｓ２０６でＮｏ）、ステップＳ２０１以降が繰り返される。すなわち、作業者端末１０が、支援者の注目部分の近辺に移動する過程において、作業者端末１０の現在位置に対する位置ｐｘの方向及び距離が算出され、ナビゲーションの表示が更新される。なお、閾値αは、数ｃｍ〜数十ｃｍ等、作業者端末１０の現在位置が、位置ｐｘの近辺であるとみなせるような値でよい。作業者端末１０の現在位置と位置ｐｘとの距離が閾値α以下である場合にステップＳ２０７以降が実行されるようにすることで、作業者端末１０の処理負荷を軽減することができる。
【００６２】
当該距離が閾値α以下である場合（Ｓ２０６でＹｅｓ）、特徴点抽出部１８は、画像入力部１２によって入力される現在の画像（以下、「対象画像」という。）について、特徴点を抽出する（Ｓ２０７）。ここで、各特徴点について、対象画像上における座標値（ｘ，ｙ）が特定される。なお、特徴点抽出部１８による特徴点の抽出方法は、支援者端末２０の特徴量計算部２５による特徴点の抽出方法と同じでよい。続いて、注目部分探索部１９は、特徴点抽出部１８によって抽出された各特徴点について、特徴量ｆｌを算出する（Ｓ２０８）。その結果、特徴点ごとに、当該特徴点の座標値と、当該特徴点の特徴量ｆｌとを要素の値とする以下のような配列ａｒ２が得られる。
【００６３】
配列ａｒ２＝［（ｘ１，ｘ２、ｆｌ１），（ｘ２，ｙ２，ｆｌ２），・・・・］
なお、配列ａｒ２の長さ（要素数）は、配列ａｒ１の長さ（要素数）と同じでなくてもよい。
【００６４】
続いて、注目部分探索部１９は、配列ａｒ２に含まれている各特徴量ｆｌについて、配列ａｒ１に含まれている各特徴量ｆｒとの類似度を算出する（Ｓ２０８）。類似度は、特徴量ｆｌと特徴量ｆｒとの全ての組み合わせについて算出される。例えば、配列ａｒ２に含まれている特徴量ｆｌの数がＮであり、配列ａｒ１に含まれている特徴量ｆｒの数がＭである場合、Ｎ×Ｍ個の類似度が算出される。なお、類似度の算出方法は、特徴量としてどのような指標を採用するかに応じて、適宜選択されればよい。
【００６５】
続いて、注目部分探索部１９は、いずれかの特徴量ｆｒとの類似度が閾値β以上である特徴点ｆｌを、閾値γ個以上含む一定範囲が、対象画像に有るか否かを判定する（Ｓ２１０）。つまり、配列ａｒ２に含まれている特徴量ｆｌの数がＮであり、配列ａｒ１に含まれている特徴量ｆｒの数がＭである場合、各特徴量ｆｌについてＭ個の類似度が算出される。Ｍ個のうちの少なくとも１つの類似度が閾値β以上である特徴量ｆｌが、いずれかの特徴量ｆｒとの類似度が閾値β以上である特徴点ｆｌに該当する。また、一定範囲とは、例えば、半径ｒ画素の円内や、１辺がｅ画素の矩形内等である。すなわち、ステップＳ２１０では、類似度が閾値β以上である特徴点ｆｌが、対象画像上において局所的に閾値γ個以上存在するか否かが判定される。なお、一定範囲内に存在する特徴点ｆｌの個数は、各特徴点ｆｌに関連付けられている座標値に基づいて特定可能である。
【００６６】
該当する一定範囲が無い場合（Ｓ２１０でＮｏ）、ステップＳ２０７以降が繰り返されて、注目部分の再探索が行われる。該当する一定範囲が有る場合（Ｓ２１０でＹｅｓ）、注目部分探索部１９は、当該一定範囲内において、類似度が閾値β以上である特徴点ｆｌが分布する部分を、注目部分として判定する（Ｓ２１１）。そこで、画像出力部１３は、当該一定範囲内において、類似度が閾値β以上である全ての特徴点ｆｌを囲む範囲を示す記号を、対象画像に重畳して表示する（Ｓ２１２）。
【００６７】
図１１は、作業者端末におけるマーカの表示例を示す図である。図１１には、マーカＭ２が表示されている。図７の処理により、マーカＭ２は、支援者によって付加されたマーカＭ１とほぼ同様の位置に表示される。その結果、作業者は、支援者が言及している注目部分を、音声のみではなく、視覚的にも把握することができる。作業者が、支援者の注目部分を把握すると、支援者は、注目部分に関して作業指示を行うことができる。
【００６８】
なお、マーカＭ２の表示ではなく、音声出力等の他の方法によって、対象画像に注目部分が含まれていることが作業者に通知されてもよい。
【００６９】
ところで、作業者が注目部分を把握するまで、支援者が当該注目部分に関して作業指示を行えないのは、支援者にとって不便である場合も考えられる。そこで、図４のステップＳ１０６において、支援者端末２０の操作受付部２２は、マーカの入力と共に、注目部分に関する作業指示を示す音声の入力を、支援者から受け付けるようにしてもよい。この場合、支援者端末２０から作業者端末１０に送信されるデータには、配列ａｒ１と時刻ｔｘを示す情報とに加え、作業指示を示す音声データが含まれてもよい。図７のステップＳ２１２において、画像出力部１３は、当該音声データを再生してもよい。そうすることで、支援者は、作業者が注目部分を見つけ出すまで作業指示を待機する必要性を低減することができる。
【００７０】
また、上記では、作業者端末１０が、配列ａｒ１及び時刻ｔｘを示す情報を受信後、直ちにナビゲーションを表示する例を示した。但し、作業者の作業状況によっては、ナビゲーションの表示は、作業効率を低下させる可能性も有る。例えば、作業者が現在作業している地点と、支援者の注目部分に係る地点とが離れている場合、又は二つの地点に係る作業が、一連の作業ではない場合、作業者は、現在の作業を中断して、注目部分の地点に戻る必要が有る。
【００７１】
そこで、作業者端末１０は、図７のステップＳ２０４において算出されるベクトルに基づく距離が、一定以上であれば、ステップＳ２０５以降の処理を保留するようにしてもよい。この場合、作業者による現在の作業が終了した時点で、作業者端末１０は、ステップＳ２０２以降を再開してもよい。そうすることで、作業者による作業を中断することなく、作業者を注目部分に移動させることができる。なお、作業者による現在の作業の完了は、例えば、作業者による作業者端末１０に対する入力によって検知されてもよいし、作業者の移動を作業者端末１０が検知することで判定されてもよい。
【００７２】
上述したように、本実施の形態によれば、作業者端末１０は、支援者端末２０から送信される、注目部分に係る特徴量と、現在の入力画像の特徴量との類似度を算出し、当該類似度が閾値β以上であれば、所定の出力（マーカの表示等）を行う。したがって、作業現場の過去の画像に関して支援者が注目している部分を作業者に円滑に伝達可能とすることができる。
【００７３】
また、作業者端末１０は、センサ値の履歴に基づいて当該作業者端末１０の移動軌跡を算出し、当該移動軌跡に基づいて、注目部分に係る時点おける作業者端末１０について、現在時点における相対的な位置を特定する。作業者端末１０は、特定された位置の方向を示すナビゲーションを表示する。その結果、作業者は、注目部分が現在位置に対してどの方向に位置するのかを知ることができ、注目部分の伝達を更に円滑化することができる。
【００７４】
なお、本実施の形態において、作業者端末１０は、第１の情報処理装置の一例である。支援者端末２０は、第２の情報処理装置の一例である。画像送信部１４は、送信部の一例である。特徴量受信部１５は、受信部の一例である。注目部分探索部１９は、算出部の一例である。画像出力部１３は、第１の出力部の一例である。センサ値取得部１１は、記憶処理部の一例である。移動経路計算部１６は、特定部の一例である。ナビゲーション表示部１７は、第２の出力部の一例である。加速度及び角速度の履歴は、第１の情報処理装置の位置を時系列に特定可能な情報の一例である。
【００７５】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００７６】
以上の説明に関し、更に以下の項を開示する。
（付記１）
作業者によって利用される第１の情報処理装置と、前記作業者による作業を支援する支援者が利用する第２の情報処理装置とを含む作業支援システムであって、
前記第１の情報処理装置は、
作業の対象物の画像を入力する画像入力部と、
前記画像入力部によって入力される画像を、前記第２の情報処理装置に送信する送信部と、
前記第２の情報処理装置に過去に送信された第１の画像に関して、前記第２の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、
前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、
を有することを特徴とする作業支援システム。
（付記２）
前記受信部は、前記第２の情報処理装置に過去に送信された第１の画像に関する特徴量と、前記第１の画像が送信された時点を示す情報とを受信し、
前記第１の情報処理装置は、
当該第１の情報処理装置の位置を時系列に特定可能な情報を記憶部に記憶する記憶処理部と、
前記記憶部に記憶されている情報に基づいて、当該第１の情報処理装置の現在位置に対する、前記受信部によって受信された情報が示す時点における当該第１の情報処理装置の相対位置を特定する特定部と、
前記相対位置の方向を示す情報を出力する第２の出力部と、
を有することを特徴とする付記１記載の作業支援システム。
（付記３）
前記記憶処理部は、当該第１の情報処理装置の加速度及び角速度の履歴を前記記憶部に記憶する、
ことを特徴とする付記２記載の作業支援システム。
（付記４）
前記第１の出力部は、当該第１の情報処理装置の現在位置と前記相対位置との距離が第２の閾値以下である場合に、前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する、
ことを特徴とする付記２又は３記載の作業支援システム。
（付記５）
前記受信部は、前記第１の画像の一部の範囲に関する特徴点ごとの特徴量を受信し、
前記算出部は、前記画像入力部によって入力される画像に関する特徴点ごとの特徴量を算出し、
前記第１の出力部は、算出された特徴量の中で、受信されたいずれかの特徴量との類似度が前記第１の閾値以上である特徴量を所定数以上含む一定範囲が前記画像入力部によって入力される画像に含まれる場合に、当該一定範囲内において、前記類似度が前記第１の閾値以上である特徴量のそれぞれに係る特徴点を囲む範囲を示す記号を、当該画像に重畳する、
ことを特徴とする付記１乃至４いずれか一項記載の作業支援システム。
（付記６）
作業者によって利用される情報処理装置であって、
作業の対象物の画像を入力する画像入力部と、
前記画像入力部によって入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信する送信部と、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する算出部と、
前記類似度が第１の閾値以上である場合に、所定の出力を行う第１の出力部と、
を有することを特徴とする情報処理装置。
（付記７）
前記受信部は、前記他の情報処理装置に過去に送信された第１の画像に関する特徴量と、前記第１の画像が送信された時点を示す情報とを受信し、
当該情報処理装置の位置を時系列に特定可能な情報を記憶部に記憶する記憶処理部と、
前記記憶部に記憶されている情報に基づいて、当該情報処理装置の現在位置に対する、前記受信部によって受信された情報が示す時点における当該情報処理装置の相対位置を特定する特定部と、
前記相対位置の方向を示す情報を出力する第２の出力部と、
を有することを特徴とする付記６記載の情報処理装置。
（付記８）
前記記憶処理部は、当該情報処理装置の加速度及び角速度の履歴を前記記憶部に記憶する、
ことを特徴とする付記７記載の情報処理装置。
（付記９）
前記第１の出力部は、当該情報処理装置の現在位置と前記相対位置との距離が第２の閾値以下である場合に、前記画像入力部によって入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する、
ことを特徴とする付記７又は８記載の情報処理装置。
（付記１０）
前記受信部は、前記第１の画像の一部の範囲に関する特徴点ごとの特徴量を受信し、
前記算出部は、前記画像入力部によって入力される画像に関する特徴点ごとの特徴量を算出し、
前記第１の出力部は、算出された特徴量の中で、受信されたいずれかの特徴量との類似度が前記第１の閾値以上である特徴量を所定数以上含む一定範囲が前記画像入力部によって入力される画像に含まれる場合に、当該一定範囲内において、前記類似度が前記第１の閾値以上である特徴量のそれぞれに係る特徴点を囲む範囲を示す記号を、当該画像に重畳する、
ことを特徴とする付記６乃至９いずれか一項記載の情報処理装置。
（付記１１）
作業者によって利用される情報処理装置が、
作業の対象物の画像を入力し、
入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信し、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出し、
前記類似度が第１の閾値以上である場合に、所定の出力を行う、
処理を実行することを特徴とする作業支援方法。
（付記１２）
前記受信する処理は、前記他の情報処理装置に過去に送信された第１の画像に関する特徴量と、前記第１の画像が送信された時点を示す情報とを受信し、
前記情報処理装置が、
当該情報処理装置の位置を時系列に特定可能な情報を記憶部に記憶し、
前記記憶部に記憶されている情報に基づいて、当該情報処理装置の現在位置に対する、前記受信する処理において受信された情報が示す時点における当該情報処理装置の相対位置を特定し、
前記相対位置の方向を示す情報を出力する、
を処理を実行することを特徴とする付記１１記載の作業支援方法。
（付記１３）
前記記憶する処理は、当該情報処理装置の加速度及び角速度の履歴を前記記憶部に記憶する、
ことを特徴とする付記１２記載の作業支援方法。
（付記１４）
前記所定の出力を行う処理は、当該情報処理装置の現在位置と前記相対位置との距離が第２の閾値以下である場合に、前記入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する、
ことを特徴とする付記１２又は１３記載の作業支援方法。
（付記１５）
前記受信する処理は、前記第１の画像の一部の範囲に関する特徴点ごとの特徴量を受信し、
前記算出する処理は、前記画像入力部によって入力される画像に関する特徴点ごとの特徴量を算出し、
前記所定の出力を行う処理は、算出された特徴量の中で、受信されたいずれかの特徴量との類似度が前記第１の閾値以上である特徴量を所定数以上含む一定範囲が前記入力される画像に含まれる場合に、当該一定範囲内において、前記類似度が前記第１の閾値以上である特徴量のそれぞれに係る特徴点を囲む範囲を示す記号を、当該画像に重畳する、
ことを特徴とする付記１１乃至１４いずれか一項記載の作業支援方法。
（付記１６）
作業者によって利用される情報処理装置に、
作業の対象物の画像を入力し、
入力される画像を、前記作業者による作業を支援する支援者が利用する他の情報処理装置に送信し、
前記他の情報処理装置に過去に送信された第１の画像に関して、前記他の情報処理装置において指定された部分に関する特徴量を受信する受信部と、
入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出し、
前記類似度が第１の閾値以上である場合に、所定の出力を行う、
処理を実行させることを特徴とするプログラム。
（付記１７）
前記受信する処理は、前記他の情報処理装置に過去に送信された第１の画像に関する特徴量と、前記第１の画像が送信された時点を示す情報とを受信し、
前記情報処理装置に、
当該情報処理装置の位置を時系列に特定可能な情報を記憶部に記憶し、
前記記憶部に記憶されている情報に基づいて、当該情報処理装置の現在位置に対する、前記受信する処理において受信された情報が示す時点における当該情報処理装置の相対位置を特定し、
前記相対位置の方向を示す情報を出力する、
を処理を実行させることを特徴とする付記１６記載のプログラム。
（付記１８）
前記記憶する処理は、当該情報処理装置の加速度及び角速度の履歴を前記記憶部に記憶する、
ことを特徴とする付記１７記載のプログラム。
（付記１９）
前記所定の出力を行う処理は、当該情報処理装置の現在位置と前記相対位置との距離が第２の閾値以下である場合に、前記入力される画像に関する特徴量と、前記受信部によって受信された特徴量との類似度を算出する、
ことを特徴とする付記１７又は１８記載のプログラム。
（付記２０）
前記受信する処理は、前記第１の画像の一部の範囲に関する特徴点ごとの特徴量を受信し、
前記算出する処理は、前記画像入力部によって入力される画像に関する特徴点ごとの特徴量を算出し、
前記所定の出力を行う処理は、算出された特徴量の中で、受信されたいずれかの特徴量との類似度が前記第１の閾値以上である特徴量を所定数以上含む一定範囲が前記入力される画像に含まれる場合に、当該一定範囲内において、前記類似度が前記第１の閾値以上である特徴量のそれぞれに係る特徴点を囲む範囲を示す記号を、当該画像に重畳する、
ことを特徴とする付記１６乃至１９いずれか一項記載のプログラム。
【符号の説明】
【００７７】
１            作業支援システム
１０          作業者端末
１１          センサ値取得部
１２          画像入力部
１３          画像出力部
１４          画像送信部
１５          特徴量受信部
１６          移動経路計算部
１７          ナビゲーション表示部
１８          特徴点抽出部
１９          注目部分探索部
２０          支援者端末
２１          画像受信部
２２          操作受付部
２３          画像再生部
２４          画像出力部
２５          特徴量計算部
２６          特徴量送信部
２７          画像キャッシュ部
３０          サーバ
３１          画像受信部
３２          画像送信部
３３          特徴量中継部
３４          画像記憶部
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１０６        表示装置
１０７        入力装置
１０８        撮像部
１０９        加速度センサ
１１０        ジャイロセンサ
１２１        センサ値記憶部
Ｂ            バス
【図１】
2016224889.tif 000003
【図２】
2016224889.tif 000004
【図３】
2016224889.tif 000005
【図４】
2016224889.tif 000006
【図７】
2016224889.tif 000007
【図８】
2016224889.tif 000008
【図９】
2016224889.tif 000009
【図５】
2016224889.tif 000010
【図６】
2016224889.tif 000011
【図１０】
2016224889.tif 000012
【図１１】
2016224889.tif 000013