(57)【要約】  指示用端末（２）は、撮影部（１０４）により撮影された映像から、作業者の位置及び向きを推定する位置方向推定部（２０４）と、位置方向推定部（２０４）による推定結果から、作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部（２０５）と、現場状況画像生成部（２０５）により生成された画像を含む画面を表示する表示部（２０６）と、表示部（２０６）により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部（２０７）と、位置方向推定部（２０４）による推定結果及び作業指示受付部（２０７）による受付け結果から、次の作業位置への方向を計算する方向計算部（２０８）とを備え、現場用端末（１）は、方向計算部（２０８）による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部（１０５）と、案内画像生成部（１０５）により生成された画像を含む画面を表示する表示部（１０６）とを備えた。
2017158718.tif 000002
【特許請求の範囲】
【請求項１】
作業者から見た映像を撮影する撮影部を有する現場用端末と、前記現場用端末との間で情報を送受信する指示用端末とを備え、
前記指示用端末は、
前記撮影部により撮影された映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部とを備え、
前記現場用端末は、
前記方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部とを備えた
ことを特徴とする遠隔作業支援装置。
【請求項２】
前記作業指示受付部は、前記次の作業位置を示す情報を当該作業位置へ至る経路を示す情報とともに受付け、
前記方向計算部は、前記次の作業位置への方向を、前記経路に沿って計算する
ことを特徴とする請求項１記載の遠隔作業支援装置。
【請求項３】
前記方向計算部は、前記次の作業位置への方向を３次元空間上で計算し、
前記案内画像生成部は、前記次の作業位置への方向を示す画像として、３次元画像を生成する
ことを特徴とする請求項１記載の遠隔作業支援装置。
【請求項４】
現場用端末の撮影部により撮影された作業者から見た映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部と
を備えたことを特徴とする指示用端末。
【請求項５】
作業者から見た映像を撮影する撮影部と、
指示用端末の、位置方向推定部により、前記撮影部により撮影された映像から、前記作業者の位置及び向きが推定され、現場状況画像生成部により、前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像が生成され、指示側表示部により、前記現場状況画像生成部により生成された画像を含む画面が表示され、作業指示受付部により、前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報が受付けられ、方向計算部により、前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向が計算された結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部と
を備えたことを特徴とする現場用端末。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備えた遠隔作業支援装置、指示用端末及び現場用端末に関するものである。
【背景技術】
【０００２】
水処理設備、プラント設備、発電設備等の機械設備では、運用時に保守点検作業が欠かせない。この保守点検作業では、多数の機器を定期的に点検し、点検結果を正確に記録するとともに、点検結果に不備があれば必要に応じて機器調整等の対策を行う必要がある。これらの作業には、非熟練の作業者であっても可能な単純作業と、熟練作業者でないと難しい複雑な作業がある。しかしながら、熟練作業者が遠隔地から現場作業を支援することで、非熟練作業者でも複雑な作業を行うことができる。【０００３】
上記のような遠隔作業支援に関する技術の一例として特許文献１に開示された技術がある。この技術では、現場作業者が装着したヘッドマウントディスプレイ（以下、ＨＭＤ）の撮影部で撮影した映像を、遠隔地にある作業指示者用の画面に表示することで、現場作業者と作業指示者との間で情報を共有することができる。また、同技術では、作業指示者用のサブ画面に、作業対象の全体像を映した全体画像及び当該全体画像中に上記映像の撮影範囲を表示している。これにより、現場作業者が作業対象に近づき、上記映像に作業対象の一部分しか映らない場合でも、全体画像をみて上記映像の撮影範囲を把握することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０６８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来技術では、撮影部の撮影画角外にある現場の情報を取得することができないという課題がある。そのため、現場作業者から離れた位置にある作業対象に対する作業指示を行う場合には、例えば、音声で「もっと右の下の方をみせてください」といった指示や、ＨＭＤ上に作業対象への方向を示す案内画像を表示するために作業指示者が随時指示を行う必要があり、円滑な指示ができない。【０００６】
この発明は、上記のような課題を解決するためになされたもので、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示を可能とする遠隔作業支援装置、指示用端末及び現場用端末を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る遠隔作業支援装置は、作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備え、指示用端末は、撮影部により撮影された映像から、作業者の位置及び向きを推定する位置方向推定部と、位置方向推定部による推定結果から、作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、位置方向推定部による推定結果及び作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部とを備え、現場用端末は、方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、案内画像生成部により生成された画像を含む画面を表示する現場側表示部とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、上記のように構成したので、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示が可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１に係る遠隔作業支援装置の全体構成例を示す図である。
【図２】図２Ａは、この発明の実施の形態１に係る現場用端末及び指示用端末のハードウェア構成例を示す図であり、図２Ｂは、現場用端末のハードウェア構成例の詳細を示す図である。
【図３】この発明の実施の形態１に係る現場用端末及び指示用端末のハードウェア構成例を示すブロック図である。
【図４】この発明の実施の形態１に係る現場用端末及び指示用端末の別のハードウェア構成例をブロック示す図である。
【図５】この発明の実施の形態１に係る現場用端末の別のハードウェア構成例を示す図である。
【図６】この発明の実施の形態１に係る遠隔作業支援装置による全体処理の一例を示すフローチャートである。
【図７】この発明の実施の形態１に係る指示用端末による現場状況表示処理の一例を示すフローチャートである。
【図８】この発明の実施の形態１に係る指示用端末に記憶されている作業場所データの一例を示す図である。
【図９】この発明の実施の形態１に係る指示用端末に表示された現場状況画面の一例を示す図である。
【図１０】この発明の実施の形態１に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。
【図１１】この発明の実施の形態１に係る指示用端末による作業指示画面の一例を示す図である。
【図１２】この発明の実施の形態１における方向計算部による処理の一例を示すフローチャートである。
【図１３】この発明の実施の形態１に係る現場用端末による情報提示処理の一例を示すフローチャートである。
【図１４】この発明の実施の形態１における案内画像生成部による処理の一例を示すフローチャートである。
【図１５】この発明の実施の形態１に係る現場用端末に表示された情報提示画面の一例を示す図である。
【図１６】この発明の実施の形態１に係る現場用端末に表示された情報提示画面の別の例を示す図である。
【図１７】この発明の実施の形態２に係る遠隔作業支援装置の全体構成例を示す図である。
【図１８】この発明の実施の形態２に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。
【図１９】この発明の実施の形態２に係る指示用端末による指示入力画面の一例を示す図である。
【図２０】この発明の実施の形態２における方向計算部による処理の一例を示すフローチャートである。
【図２１】この発明の実施の形態３に係る遠隔作業支援装置の全体構成例を示す図である。
【図２２】この発明の実施の形態３に係る指示用端末による作業指示受付け処理の一例を示すフローチャートである。
【図２３】この発明の実施の形態３における方向計算部による処理の一例を示すフローチャートである。
【図２４】この発明の実施の形態３に係る現場用端末による情報提示処理の一例を示すフローチャートである。
【図２５】この発明の実施の形態３における案内画像生成部による処理の一例を示すフローチャートである。
【図２６】この発明の実施の形態３に係る現場用端末に表示された情報提示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る遠隔作業支援装置の全体構成例を示す図である。
遠隔作業支援装置は、現場の作業者（以下、現場作業者）が非熟練作業者であっても、機械設備の保守点検作業、修正作業又は設置作業等を行うことができるように、熟練作業者である作業指示者が遠隔地から現場の作業を支援するための装置である。この遠隔作業支援装置は、図１に示すように、実際に現場で作業を行う現場作業者が用いる現場用端末１と、作業指示者が遠隔地から現場作業者に対して指示を与えて作業を支援するための指示用端末２とを備えている。
【００１１】
現場用端末１は、図１に示すように、制御部１０１、記憶部１０２、通信部１０３、撮影部１０４、案内画像生成部１０５、表示部（現場側表示部）１０６、音声入力部１０７及び音声出力部１０８を備えている。
【００１２】
制御部１０１は、現場用端末１内の各部の動作を制御するものである。
記憶部１０２は、現場用端末１で用いる情報を記憶するものである。この記憶部１０２では、例えば、表示部１０６により後述するディスプレイ３３に表示を行うための事前登録情報や、通信部１０３により送受信される情報等を記憶する。
【００１３】
通信部１０３は、指示用端末２の通信部２０３との間で情報の送受信を行うものである。ここで、通信部１０３は、撮影部１０４により撮影された映像を示す情報（映像データ）、及び、音声入力部１０７に入力された音声を示す情報（音声データ）を、通信部２０３に送信する。また、通信部１０３は、通信部２０３から、作業指示データ、テキスト情報及び音声データを受信する。なお、作業指示データは、現場作業者の現在位置から次の作業位置への方向を示す情報である。
【００１４】
撮影部１０４は、現場作業者から見た現場の映像を撮影するものである。
【００１５】
案内画像生成部１０５は、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への方向を示す画像（案内画像）を生成するものである。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
【００１６】
表示部１０６は、ディスプレイ３３に各種画面を表示するものである。ここで、表示部１０６は、案内画像生成部１０５により案内画像が生成された場合には、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する。また、表示部１０６は、通信部１０３によりテキスト情報が受信された場合には、当該テキスト情報が示すテキストを含む画面（情報提示画面）をディスプレイ３３に表示する。なお、案内画像及びテキスト情報を同じ画面上に表示してもよい。
【００１７】
音声入力部１０７は、現場作業者による音声が入力されるものである。
音声出力部１０８は、通信部１０３により音声データが受信された場合に、当該音声データを再生するものである。
【００１８】
指示用端末２は、図１に示すように、制御部２０１、記憶部２０２、通信部２０３、位置方向推定部２０４、現場状況画像生成部２０５、表示部（指示用表示部）２０６、作業指示受付部２０７、方向計算部２０８、テキスト受付部２０９、入力部２１０、音声入力部２１１及び音声出力部２１２を備えている。
【００１９】
制御部２０１は、指示用端末２内の各部の動作を制御するものである。
記憶部２０２は、指示用端末２で用いる情報を記憶するものである。この記憶部２０２では、例えば、位置方向推定部２０４及び現場状況画像生成部２０５で用いる作業場所データや、通信部２０３により送受信される情報を記憶する。なお、作業場所データとは、作業現場に存在する各種機器を３次元座標値の集合である点群データとして定義し、更に、同現場を撮影した映像から得られる画像特徴点を上記点群データと対応付けたデータである。
【００２０】
通信部２０３は、現場用端末１の通信部１０３との間で情報の送受信を行うものである。ここで、通信部２０３は、実施の形態１では、方向計算部２０８により計算された現場作業者の現在位置から次の作業位置への方向を示す情報（作業指示データ）、テキスト受付部２０９により受付けられたテキストを示す情報（テキスト情報）、音声入力部２１１に入力された音声を示す情報（音声データ）を、通信部１０３に送信する。また、通信部２０３は、通信部１０３から映像データ及び音声データを受信する。
【００２１】
位置方向推定部２０４は、通信部２０３により受信された映像データに基づいて、現場作業者の現在位置及び当該現場作業者が向いている方向を推定するものである。この際、位置方向推定部２０４は、上記映像データが示す映像を、記憶部２０２に予め記憶されている作業場所データと照らし合わせることで、現場作業者の現在位置及び向いている方向を推定する。
【００２２】
現場状況画像生成部２０５は、位置方向推定部２０４による推定結果に基づいて、現場作業者の現在位置を含む現場状況を示す画像（現場状況画像）を生成するものである。
【００２３】
表示部２０６は、後述するディスプレイ６に各種画面を表示するものである。ここで、表示部２０６は、現場状況画像生成部２０５により現場状況画像が生成された場合には、当該現場状況画像を含む画面（現場状況画面）をディスプレイ６に表示する。また、入力部２１０を介して作業指示者により作業指示の開始が要求された場合には、現場状況画像生成部２０５により生成された現場状況画像を用いて、作業指示を行うための画面（作業指示画面）をディスプレイ６に表示する。
【００２４】
作業指示受付部２０７は、入力部２１０を介して作業指示者により入力された次の作業位置を示す情報を受付けるものである。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置を指定する。
【００２５】
方向計算部２０８は、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を計算するものである。
【００２６】
テキスト受付部２０９は、入力部２１０を介して作業指示者により入力されたテキストを示す情報を受付けるものである。
【００２７】
入力部２１０は、作業指示者が指示用端末２に対して各種情報を入力する際に用いるものである。
【００２８】
音声入力部２１１は、作業指示者による音声が入力されるものである。
音声出力部２１２は、通信部２０３により音声データが受信された場合に、当該音声データを再生するものである。
【００２９】
次に、現場用端末１及び指示用端末２のハードウェア構成例について、図２〜４を参照しながら説明する。
まず、現場用端末１のハードウェア構成例について説明する。
現場用端末１の各機能は、図２に示すように、ＨＭＤ３及びヘッドセット４により実現される。そして、現場作業者は、このＨＭＤ３及びヘッドセット４を装着した状態で、作業対象に対して各種作業を行う。なお図２の例では、配電盤１１に対して点検作業等を行う場合を示している。
【００３０】
ＨＭＤ３は、図２〜４に示すように、端末部３１、撮影装置３２及びディスプレイ３３を備えている。また、端末部３１は、処理回路３１１、記憶装置３１２及び通信装置３１３を備えている。また、ヘッドセット４は、図２〜４に示すように、マイク４１及びスピーカ４２を備えている。
【００３１】
処理回路３１１は、制御部１０１、案内画像生成部１０５及び表示部１０６の各機能を実現するものであり、ＨＭＤ３上での各種処理を実行する。処理回路３１１は、図３に示すように、専用のハードウェアであってもよいし、図４に示すように、メモリ３１５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）ともいう）３１４であってもよい。
【００３２】
処理回路３１１が専用のハードウェアである場合、処理回路３１１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。制御部１０１、案内画像生成部１０５及び表示部１０６の各部の機能それぞれを処理回路３１１で実現してもよいし、各部の機能をまとめて処理回路３１１で実現してもよい。
【００３３】
処理回路３１１がＣＰＵ３１４の場合、制御部１０１、案内画像生成部１０５及び表示部１０６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ３１５に格納される。処理回路３１１は、メモリ３１５に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、現場用端末１は、処理回路３１１により実行されるときに、例えば後述する図６，１３に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ３１５を備える。また、これらのプログラムは、制御部１０１、案内画像生成部１０５及び表示部１０６の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ３１５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００３４】
なお、制御部１０１、案内画像生成部１０５及び表示部１０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、制御部１０１については専用のハードウェアとしての処理回路３１１でその機能を実現し、案内画像生成部１０５及び表示部１０６については処理回路３１１がメモリ３１５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００３５】
このように、処理回路３１１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【００３６】
記憶装置３１２は、記憶部１０２の機能を実現するものである。ここで、記憶装置３１２とは、例えば、ＲＡＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【００３７】
通信装置３１３は、通信部１０３の機能を実現するものである。この通信装置３１３の通信方式及び形状は問われるものではない。
【００３８】
撮影装置３２は、撮影部１０４の機能を実現するものである。なお、撮影装置３２は、ＨＭＤ３上に搭載可能であればよく、撮像方式及び形状は問わない。
【００３９】
ディスプレイ３３は、表示部１０６により各種画面を表示するものである。このディスプレイ３３は、ＨＭＤ３に搭載可能であればよく、表示方式及び形状は問わない。このディスプレイ３３の表示方式としては、例えば、ハーフミラーを利用してグラス上にプロジェクタ映像を投影する方式、レーザー光の干渉を利用した投影方式、又は、小型の液晶ディスプレイを用いる方式等がある。
【００４０】
マイク４１は、音声入力部１０７の機能を実現するものである。また、スピーカ４２は、音声出力部１０８の機能を実現するものである。このマイク４１及びスピーカ４２の形状は問われるものではなく、例えば、マイク４１及びスピーカ４２が一体となったヘッドセット４（図２参照）、又は、イヤホンのケーブル上にマイク４１が装着されたイヤホンマイク４ｂ（図５参照）等でもよい。
【００４１】
次に、指示用端末２のハードウェア構成例について説明する。
指示用端末２の各機能は、図２〜４に示すように、制御演算装置５、ディスプレイ６、入力装置７、マイク８及びスピーカ９により実現される。また、制御演算装置５は、処理回路５１、記憶装置５２及び通信装置５３を備えている。また図２では、マイク８及びスピーカ９の図示は省略されている。
【００４２】
処理回路５１は、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各機能を実現するものであり、指示用端末２上での各種処理を実行する。処理回路５１は、図３に示すように、専用のハードウェアであってもよいし、図４に示すように、メモリ５５に格納されるプログラムを実行するＣＰＵ（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）５４であってもよい。
【００４３】
処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらを組み合わせたものが該当する。制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
【００４４】
処理回路５１がＣＰＵ５４の場合、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５５に格納される。処理回路５１は、メモリ５５に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、指示用端末２は、処理回路５１により実行されるときに、例えば後述する図６，７，１０に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５５を備える。また、これらのプログラムは、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５５とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【００４５】
なお、制御部２０１、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、制御部２０１については専用のハードウェアとしての処理回路５１でその機能を実現し、位置方向推定部２０４、現場状況画像生成部２０５、表示部２０６、作業指示受付部２０７、方向計算部２０８及びテキスト受付部２０９については処理回路５１がメモリ５５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００４６】
このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
【００４７】
記憶装置５２は、記憶部２０２の機能を実現するものである。ここで、記憶装置５２とは、例えば、ＲＡＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等が該当する。
【００４８】
通信装置５３は、通信部２０３の機能を実現するものである。この通信装置５３の通信方式及び形状は問われるものではない。
【００４９】
ディスプレイ６は、表示部２０６により各種画面を表示するものである。このディスプレイ６は、作業指示者が参照可能なモニタ装置であればよく、液晶モニタ装置又はタブレット装置等でもよく、表示方式及び形状は問わない。
【００５０】
入力装置７は、入力部２１０の機能を実現するものである。この入力装置７としては、キーボード、マウス又はタッチペン等、文字及び座標値を入力できる機器であればどのようなデバイスであってもよい。
【００５１】
マイク８は、音声入力部２１１の機能を実現するものである。また、スピーカ９は、音声出力部２１２の機能を実現するものである。このマイク８及びスピーカ９の形状は問われるものではなく、例えば、マイク８及びスピーカ９が一体となったヘッドセット、又は、イヤホンのケーブル上にマイク８が装着されたイヤホンマイク等でもよい。
【００５２】
また、図３，４に示す構成では、通信中継装置１０が設けられている。この通信中継装置１０は、現場用端末１から遠隔地にある指示用端末２までの通信経路を確保するための装置である。この通信中継装置１０は、広域通信網を経由して接続できる機器であればよく、無線ＬＡＮ、有線ＬＡＮ又は赤外線通信等、その通信方式及び形状は問わない。
【００５３】
また、現場用端末１及び指示用端末２の一方を図３に示すハードウェア構成とし、もう一方を図４に示すハードウェア構成としてもよい。
更に、制御演算装置５を複数に分割し、大規模な計算処理が可能な制御演算装置５上で負荷のより高い処理を行うようにしてもよい。
【００５４】
また、現場用端末１は、図２に示す構成に限るものではなく、例えば、図５に示すような単眼型のＨＭＤ３ｂを用いてもよい。なお図５に示す構成では、マイク４１及びスピーカ４２の構成として、イヤホンマイク４ｂを用いた場合を示している。
【００５５】
次に、実施の形態１に係る遠隔作業支援装置の動作例について、図１〜１６を参照しながら説明する。
まず、遠隔作業支援装置による全体処理例について、図６を参照しながら説明する。
遠隔作業支援装置による全体処理例では、図６に示すように、まず、通信部１０３及び通信部２０３は、現場用端末１と指示用端末２との間の通信を確立する（ステップＳＴ６０１）。なお、上記通信の確立処理は、ＧＰＳ、撮影部１０４による映像又は無線ＬＡＮ通信等により現場作業者が作業現場に位置したと判定した場合、又は、作業現場のセキュリティシステムに連動した現場作業者の入室通知等に伴って、自動で行うようにしてもよい。
【００５６】
次いで、現場用端末１は、現場作業者から見た現場の映像を撮影し、指示用端末２に送信する（ステップＳＴ６０２）。すなわち、まず、撮影部１０４は、ＨＭＤ３に搭載された撮影装置３２により、現場作業者から見た現場の映像を撮影する。なお、撮影部１０４が撮影する映像は、動画（１５ｆｐｓ以上）が望ましいが、ハードウェアのリソース又は通信帯域が不十分な場合には、一定周期（４〜５ｆｐｓ）で撮影した一連の静止画であっても構わない。そして、通信部１０３は、撮影部１０４により撮影された映像を示す情報（映像データ）を通信部２０３に送信する。なお、この映像送信処理は、現場用端末１と指示用端末２との間の通信が確立している間は継続して行われる。
【００５７】
次いで、指示用端末２は、現場用端末１からの映像データを用いて、現場作業者の現在位置を含む現場状況を示す画像を生成し、当該画像を表示する（ステップＳＴ６０３）。このステップＳＴ６０３における現場状況表示処理の詳細については後述する。なお、この現場状況表示処理は、現場用端末１と指示用端末２との間の通信が確立している間は継続して行われる。
【００５８】
次いで、指示用端末２は、作業指示者により入力された現場作業者に対する作業指示を受付け、現場用端末１に通知する（ステップＳＴ６０４）。このステップＳＴ６０４における作業指示受付け処理の詳細については後述する。
【００５９】
次いで、現場用端末１は、指示用端末２からの作業指示を示す情報を用いて、当該作業指示を示す画面を表示する（ステップＳＴ６０５）。このステップＳＴ６０５における情報提示処理の詳細については後述する。
その後、現場作業者は、現場用端末１のディスプレイ３３に表示された画面に従って、作業位置へ移動して作業を行う。そして、全ての作業が完了するまで上記処理を繰り返す。
【００６０】
次いで、通信部１０３及び通信部２０３は、現場用端末１と指示用端末２との間の通信を切断する（ステップＳＴ６０６）。これにより、現場作業者に対する作業支援を終了する。
【００６１】
次に、ステップＳＴ６０３における現場状況表示処理の詳細について、図７を参照しながら説明する。
指示用端末２による現場状況表示処理では、図７に示すように、まず、通信部２０３は、通信部１０３から映像データを受信する（ステップＳＴ７０１）。
【００６２】
次いで、位置方向推定部２０４は、通信部２０３により受信された映像データに基づいて、現場作業者の現在位置及び当該現場作業者が向いている方向を推定する（ステップＳＴ７０２）。この際、位置方向推定部２０４は、上記映像データが示す映像を、記憶部２０２に予め記憶されている作業場所データと照らし合わせることで、現場作業者が作業現場のどの位置にいて、どちらの方向を向いているかを推定する。
【００６３】
図８は、記憶部２０２に記憶されている作業場所データの一例を示す図である。
この図８に示す作業場所データでは、定義された点毎に、機器ＩＤ８０１、座標値８０２、ＲＧＢデータ８０３及び画像特徴点データ８０４が対応付けて登録されている。なお、機器ＩＤ８０１は、定義された点が作業現場のどの機器に属するかを識別するＩＤである。また、座標値８０２は、定義された点が作業現場のどの位置であるかを示す３次元空間上での座標値である。なお、座標系の原点は、例えば、作業現場の出入り口の中心又は部屋の隅等、作業現場毎に適宜定義するものとする。また、ＲＧＢデータ８０３は、定義された点の色情報であり、事前に撮影した映像から得られる。また、画像特徴点データ８０４は、定義された点に対する画像特徴量を示すデータであり、定義された点の周辺にある別の点のＲＧＢデータ８０３等を元に計算される。例えば、点Ａの周囲にある所定距離内の別の点の集合Ｂｉについて、点Ａと集合Ｂｉとの輝度の差異の分布を点Ａの画像特徴量として定義することができる。
【００６４】
なお、位置方向推定部２０４による推定処理としては、例えば特許文献２に開示されている方法を用いることができる。ここでは、位置方向推定部２０４は、推定結果として、現場作業者の現在位置を示す座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０）と、現場作業者が向いている方向（撮影装置３２の向き）を表す方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）、水平方向における傾きθＨ及び垂直方向における傾きθＶとを得るものとする。
【特許文献２】特開２０１３−０５４６６１号公報
【００６５】
次いで、現場状況画像生成部２０５は、位置方向推定部２０４による推定結果に基づいて、現場作業者の現在位置を含む現場状況を示す画像を生成する（ステップＳＴ７０３）。すなわち、現場状況画像生成部２０５は、上記推定結果及び作業場所データを用いて、作業現場周辺の機器を仮想空間内に再現し、且つ、現場作業者の現在位置を当該仮想空間内に示した画像を生成する。
【００６６】
次いで、表示部２０６は、現場状況画像生成部２０５により生成された現場状況を示す画像に基づいて、当該画像を含む画面（現場状況画面）をディスプレイ６に表示する（ステップＳＴ７０４）。
【００６７】
図９は、表示部２０６により表示された現場状況画面の一例を示す図である。
この図９に示す現場状況画面では、現場映像９０１、仮想現場画像９０２及び操作ボタン９０３が表示されている。なお、現場映像９０１は、通信部２０３により受信された映像データが示す映像である。また、仮想現場画像９０２は、現場状況画像生成部２０５により生成された作業現場周辺の機器を仮想空間内に再現した画像である。また、この仮想現場画像９０２には、現場映像９０１がどの部分に対応するのかを示す枠線９０４が示されている。この枠線９０４により現場作業者の現在位置を把握することができる。また、操作ボタン９０３は、仮想現場画像９０２内の視点を移動するためのボタン画像である。図９に示す操作ボタン９０３では、仮想現場画像９０２に対し、軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスと各軸の回転及び反回転とを操作可能としている。また、図９に示すような操作ボタン９０３を用いたボタン操作に代えて、仮想現場画像９０２上の１点をマウスでドラッグ操作することにより仮想現場画像９０２内の視点を移動するようにしてもよい。
【００６８】
次に、ステップＳＴ６０４における作業指示受付け処理の詳細について、図１０を参照しながら説明する。
指示用端末２による作業指示受付け処理では、図１０に示すように、まず、表示部２０６は、入力部２１０を介して作業指示者により作業指示の開始が要求されることで、現場状況画像生成部２０５により生成された現場状況を示す画像を用いて、作業指示を行うための画面（作業指示画面）をディスプレイ６に表示する（ステップＳＴ１００１）。
【００６９】
次いで、作業指示受付部２０７は、入力部２１０を介して作業指示者により入力された次の作業位置を示す情報を受付ける（ステップＳＴ１００２）。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置を指定する。
【００７０】
図１１は、表示部２０６により表示された作業指示画面の一例を示す図である。
この図１１に示す作業指示画面では、仮想現場画像１１０１及び操作ボタン１１０２が表示されている。なお、仮想現場画像１１０１は、作業指示者が次の作業位置を指定するための画像であり、図９の仮想現場画像９０２と同様の画像である。なお、符号１１０３は、現場映像９０１がどの部分に対応するのかを示す（現場作業者の現在位置を把握するための）枠線である。また、仮想現場画像１１０１では、次の作業位置を示す作業位置マーカ１１０４が付加されている。また、操作ボタン１１０２は、作業位置マーカ１１０４を移動するためのボタン画像である。図１１に示す操作ボタン１１０２では、作業位置マーカ１１０４に対して、軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスを操作可能としている。そして、作業指示者は、操作ボタン１１０２を操作することにより、作業位置マーカ１１０４を移動し、現場作業者が次に注目すべき作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））を指定する。また、図１１に示すような操作ボタン１１０２を用いたボタン操作に代えて、作業位置マーカ１１０４をマウスでドラッグ操作することにより作業位置マーカ１１０４を移動するようにしてもよい。
【００７１】
このように、現場状況画像生成部２０５により生成された画像を用いて、作業指示画面をディスプレイ６に表示することで、現場の映像を撮影する撮影部１０４の撮影画角外に位置する作業対象に関する指示が可能となる。
【００７２】
次いで、方向計算部２０８は、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を計算する（ステップＳＴ１００３）。以下、方向計算部２０８による計算処理の詳細について、図１２を参照しながら説明する。
【００７３】
方向計算部２０８による計算処理では、図１２に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰ１（Ｘ１，Ｙ１，Ｚ１）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ１２０１）。
【００７４】
次いで、方向計算部２０８は、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の作業位置への方向を計算する（ステップＳＴ１２０２）。具体的には、方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）を法線ベクトルとする平面に対して方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を射影し、現場映像（撮影部１０４により撮影された映像）の中心点からの方向θｄを求める。また、この際に、現場作業者の頭の傾きを考慮し、位置方向推定部２０４により推定された撮影装置３２の水平方向の傾きθＨ及び垂直方向の傾きθＶを修整してもよい。
【００７５】
再び図１０に示す作業指示受付け処理の説明に戻り、テキスト受付部２０９は、入力部２１０を介して作業指示者により入力されたテキストを示す情報を受付ける（ステップＳＴ１００４）。この際、作業指示者は、表示部２０６により表示された現場状況画面又は作業指示画面を見ながら、テキストの入力を行う。このテキストは、作業指示者がキーボードを用いて入力した文字列でもよいし、タッチペンを用いて入力したインクデータでもよい。また、事前に登録された定型文章を選択メニューからマウス操作により選択するようにしてもよい。なお、作業指示者によりテキストによる指示が不要であると判断された場合には、テキスト受付部２０９による処理は行われない。
【００７６】
また、音声入力部２１１は、作業指示者による音声が入力される（ステップＳＴ１００５）。この際、作業指示者は、表示部２０６により表示された現場状況画面又は作業指示画面を見ながら、音声を入力する。なお、作業指示者により音声による指示が不要であると判断された場合には、音声入力部２１１による処理は行われない。
【００７７】
次いで、通信部２０３は、作業指示に関する情報を通信部１０３に送信する（ステップＳＴ１００６）。この際、通信部２０３は、方向計算部２０８による計算結果を示す情報（指示データ）を通信部１０３に送信する。また、テキスト受付部２０９にテキストが入力された場合には、当該テキストを示す情報（テキスト情報）も通信部１０３に送信する。また、音声入力部２１１に音声が入力された場合には、当該音声を示す情報（音声データ）も通信部１０３に送信する。
その後、作業指示者により作業指示が不要であると判定されるまで、上記処理が繰り返される。
【００７８】
次に、ステップＳＴ６０５における情報提示処理について、図１３を参照しながら説明する。
現場用端末１による情報提示処理では、図１３に示すように、まず、通信部１０３は、通信部２０３から作業指示に関する情報を受信する（ステップＳＴ１３０１）。この際、通信部１０３は、通信部２０３から指示データを受信する。また、通信部１０３は、通信部２０３からテキスト情報が送信された場合には、当該テキスト情報も受信する。また、通信部１０３は、通信部２０３から音声データが送信された場合には、当該音声データも受信する。
【００７９】
次いで、案内画像生成部１０５は、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への方向を示す案内画像を生成する（ステップＳＴ１３０２）。以下、案内画像生成部１０５による案内画像生成処理の詳細について、図１４を参照しながら説明する。
【００８０】
案内画像生成部１０５による案内画像生成処理では、図１４に示すように、まず、作業指示データに基づいて、方向ベクトルＶｄが予め定められた閾値ＴＨｄ以上であるかを判定する（ステップＳＴ１４０１）。すなわち、案内画像生成部１０５は、方向ベクトルＶｄが閾値Ｔｈｄ以上であるかを判定することで、現場作業者が次の作業位置に到達しているか否かを判定する。このステップＳＴ１４０１において、案内画像生成部１０５は、方向ベクトルＶｄが閾値ＴＨｄ未満であると判定した場合には、現場作業者が次の作業位置に到達しており案内画像の表示は不要と判断し、処理を終了する。
【００８１】
一方、ステップＳＴ１４０１において、案内画像生成部１０５は、方向ベクトルＶｄが閾値ＴＨｄ以上であると判定した場合には、現場作業者の現在位置から次の作業位置への方向を示す案内画像を生成する（ステップＳＴ１４０２）。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
【００８２】
再び、図１３に示す情報提示処理の説明に戻り、表示部１０６は、案内画像生成部１０５により生成された案内画像に基づいて、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０３）。
【００８３】
また、表示部１０６は、通信部１０３によりテキスト情報が受信された場合には、当該テキスト情報が示すテキストを含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０４）。
【００８４】
図１５は、表示部１０６により表示された情報提示画面の一例を示す図である。
この図１５に示す情報提示画面では、案内画像１５０１及びテキスト１５０２が表示されている。図１５に示す案内画像１５０１では、現場作業者の現在位置から次の作業位置への方向を示す矢印を表示している。そして、現場作業者は、この案内画像１５０１及びテキスト１５０２を見ることで、次の作業へ移行することができる。
なお、作業指示者は、作業位置を指定するだけで、現場作業者の現在位置から次の作業位置への方向が自動的に計算されるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。
【００８５】
なお、図１２に示すステップＳＴ１２０２における計算処理で、俯瞰図の表示方向θｄ２もあわせて計算することにより、図１６に示すような俯瞰図１６０１を表示することができる。なお、この表示方向θｄ２は、床平面に対して方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を射影することで、方向θｄと同様の計算により求めることができる。
【００８６】
また、音声出力部１０８は、通信部１０３により音声データが入力された場合には、当該音声データを再生する（ステップＳＴ１３０５）。そして、現場作業者は、作業指示者からの音声指示を聞き、質問事項や確認の応答等を同じく音声により行う。現場作業者の音声は音声入力部１０７により入力され、上記の作業指示者の指示音声とは逆の経路で指示用端末２に送信される。作業指示者は指示用端末２の音声出力部２１２により再生される現場作業者の音声を聞き、先ほどの指示が正しく理解されているか、更に次の指示を与えるべきかどうか等を判断する。
【００８７】
以上のように、この実施の形態１によれば、指示用端末２は、現場用端末１の撮影部１０４により撮影された映像から、現場作業者の位置及び向きを推定する位置方向推定部２０４と、位置方向推定部２０４による推定結果から、現場作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部２０５と、現場状況画像生成部２０５により生成された画像を含む画面を表示する表示部２０６と、表示部２０６により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部２０７と、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果から、次の作業位置への方向を計算する方向計算部２０８とを備え、現場用端末１は、方向計算部２０８による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部１０５と、案内画像生成部１０５により生成された画像を含む画面を表示する表示部１０６とを備えたので、現場の映像を撮影する撮影部１０４の撮影画角外に位置する作業対象に関する指示が可能となる。また、現場作業者の現在位置及び向いている方向の推定結果から、現在位置から次の作業位置への方向を自動的に計算することができるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。これにより現場作業者と作業指示者との間の意思疎通を容易にし、作業を効率化できる。
【００８８】
実施の形態２．
図１７はこの発明の実施の形態２に係る遠隔作業支援装置の全体構成例を示す図である。この図１７に示す実施の形態２に係る遠隔作業支援装置は、図１に示す実施の形態１に係る遠隔作業支援装置の作業指示受付部２０７を作業指示受付部２０７ｂに変更し、方向計算部２０８を方向計算部２０８ｂに変更したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
【００８９】
作業指示受付部２０７ｂは、入力部２１０を介して作業指示者により入力された次の作業位置及び当該作業位置へ至る経路を示す情報を受付けるものである。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置及び当該作業位置へ至る経路を指定する。
【００９０】
方向計算部２０８ｂは、位置方向推定部２０４による推定結果及び作業指示受付部２０７ｂによる受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を、経路に沿って計算するものである。
【００９１】
次に、実施の形態２に係る遠隔作業支援装置による動作例について説明する。なお、遠隔作業支援装置による全体処理については実施の形態１に係る遠隔作業支援装置による全体処理と同一であるためその説明を省略する。また、現場状況表示処理及び情報提示処理についても実施の形態１に係る遠隔作業支援装置による現場状況表示処理と同一であるためその説明を省略する。
【００９２】
次に、実施の形態２における指示用端末２による作業指示受付け処理の詳細について、図１８を参照しながら説明する。この図１８に示す実施の形態２における指示用端末２による作業指示受付け処理は、図１０に示す実施の形態１における指示用端末２による作業指示受付け処理のステップＳＴ１００２，ＳＴ１００３をステップＳＴ１８０１，ＳＴ１８０２に変更したものである。その他の処理は同様であり、その説明を省略する。
【００９３】
ステップＳＴ１８０１では、作業指示受付部２０７ｂは、入力部２１０を介して作業指示者により入力された次の作業位置及び当該作業位置へ至る経路を示す情報を受付ける。この際、作業指示者は、表示部２０６によりディスプレイ６に表示された作業指示画面を用いて、次の作業位置及び当該作業位置へ至る経路を指定する。
【００９４】
図１９は、表示部２０６により表示された作業指示画面の一例を示す図である。
この図１９に示す作業指示画面では、仮想現場画像１９０１及び操作ボタン１９０２が表示されている。なお、仮想現場画像１９０１は、作業指示者が次の作業位置を当該作業位置への経路とともに指定するための画像であり、図１１の仮想現場画像１１０１と同様の画像である。また、仮想現場画像１９０１では、複数の作業経路マーカ１９０３が付加されている。この作業経路マーカ１９０３は、次の作業位置に至る経路を示すマーカである。また、操作ボタン１９０２は、作業経路マーカ１９０３の追加、削除と、作業位置マーカ１１０４及び作業経路マーカ１９０３の移動を行うためのボタン画像である。図１９に示す操作ボタン１９０２では、作業経路マーカ１９０３の追加及び削除と、作業位置マーカ１１０４及び作業経路マーカ１９０３に対する軸（Ｘ，Ｙ，Ｚ）方向のプラスマイナスを操作可能としている。そして、作業指示者は、操作ボタン１９０２を操作することにより、作業経路マーカ１９０３を追加又は削除し、作業位置マーカ１１０４及び作業経路マーカ１９０３を移動し、次の作業位置及び当該作業位置へ至る経路（座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ），ｉ＝１，２，・・・，ｋ）を指定する。また、図１９に示すような操作ボタン１９０２を用いたボタン操作に代えて、作業位置マーカ１１０４及び作業経路マーカ１９０３をマウスでドラッグ操作すること位置を移動するようにしてもよい。なお図１９では、ｋ＝３の場合を示しており、現場作業者が配電盤Ａの前（枠線１１０３の位置）にいる状態で、次の作業位置である配電盤Ｅの位置（作業位置マーカ１１０４）へ至る経路を、作業経路マーカ１９０３ａ，１９０３ｂにより示している。
【００９５】
次いで、方向計算部２０８ｂは、位置方向推定部２０４による推定結果及び作業指示受付部２０７ｂによる受付け結果に基づいて、現場作業者の現在位置から次の作業位置への方向を、経路に沿って計算する（ステップＳＴ１８０２）。以下、方向計算部２０８ｂによる計算処理の詳細について、図２０を参照しながら説明する。
【００９６】
方向計算部２０８ｂによる計算処理では、図２０に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置及び当該作業位置へ至る経路（座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ））に基づいて、計算対象とする座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）を選択する（ステップＳＴ２００１）。すなわち、Ｐ０（Ｘ０，Ｙ０，Ｚ０）とＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）との位置関係から、次の作業位置への移動方向に向かって、Ｐ０（Ｘ０，Ｙ０，Ｚ０）から最も近いＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）を計算対象として選択する。
【００９７】
例えば、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が、図１９に示す枠線１１０３の位置から作業経路マーカ１９０３ａの位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））までの間である場合には、Ｐ１（Ｘ１，Ｙ１，Ｚ１）を計算対象として選択する。その後、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）がＰ１（Ｘ１，Ｙ１，Ｚ１）に対して閾値内となった場合には、現場作業者が作業経路マーカ１９０３ａの位置に到達したと判断する。そして、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が作業経路マーカ１９０３ａの位置から作業経路マーカ１９０３ｂの位置（Ｐ２（Ｘ２，Ｙ２，Ｚ２））までの間である場合には、Ｐ２（Ｘ２，Ｙ２，Ｚ２）を計算対象として選択する。その後、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）がＰ２（Ｘ2，Ｙ2，Ｚ2）に対して閾値内となった場合には、現場作業者が作業経路マーカ１９０３ｂの位置に到達したと判断する。そして、方向計算部２０８ｂは、現場作業者の現在位置Ｐ０（Ｘ０，Ｙ０，Ｚ０）が作業経路マーカ１９０３ｂの位置から作業位置マーカ１１０４の位置（Ｐ３（Ｘ３，Ｙ３，Ｚ３））までの間である場合には、Ｐ３（Ｘ３，Ｙ３，Ｚ３）を計算対象として選択する。
【００９８】
次いで、方向計算部２０８ｂは、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び選択した座標値Ｐｉ（Ｘｉ，Ｙｉ，Ｚｉ）に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰｉ（Ｘｉ，Ｙｉ，Ｚｉ）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ２００２）。この処理は、図１２のステップＳＴ１２０１における処理と同様である。
【００９９】
次いで、方向計算部２０８ｂは、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の経路又は作業位置への方向を計算する（ステップＳＴ２００３）。この処理は、図１２のステップＳＴ１２０２における処理と同様である。
【０１００】
次いで、方向計算部２０８ｂは、次の作業位置（座標値Ｐｋ（Ｘｋ，Ｙｋ，Ｚｋ））まで計算処理が完了したかを判定する（ステップＳＴ２００４）。このステップＳＴ２００４において、方向計算部２０８ｂは、次の作業位置まで計算処理が完了したと判定した場合には、シーケンスは終了する。
【０１０１】
一方、ステップＳＴ２００４において、方向計算部２０８ｂが、次の作業位置までは計算処理が完了していないと判定した場合には、シーケンスはステップＳＴ２００１に戻り、上記の処理を繰り返す。
【０１０２】
以上のように、この実施の形態２によれば、作業指示受付部２０７ｂは、次の作業位置を示す情報を当該作業位置へ至る経路を示す情報とともに受付け、方向計算部２０８ｂは、次の作業位置への方向を、上記経路に沿って計算するように構成したので、実施の形態１における効果に加え、作業位置への移動を、既定の経路に沿って移動する必要がある場合にも、円滑に指示を行うことが可能となる。
【０１０３】
実施の形態３．
図２１はこの発明の実施の形態３に係る遠隔作業支援装置の全体構成例を示す図である。この図２１に示す実施の形態３に係る遠隔作業支援装置は、図１に示す実施の形態１に係る遠隔作業支援装置の方向計算部２０８を方向計算部２０８ｃに変更し、案内画像生成部１０５を案内画像生成部１０５ｃに変更したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
【０１０４】
方向計算部２０８ｃは、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を計算するものである。
【０１０５】
案内画像生成部１０５ｃは、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を示す画像（案内画像）を生成するものである。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
【０１０６】
次に、実施の形態３に係る遠隔作業支援装置による動作例について説明する。なお、遠隔作業支援装置による全体処理については実施の形態１に係る遠隔作業支援装置による全体処理と同一であるためその説明を省略する。また、現場状況表示処理についても実施の形態１における指示用端末２による現場状況表示処理と同一であるためその説明を省略する。
【０１０７】
次に、実施の形態３における指示用端末２による作業指示受付け処理の詳細について、図２２を参照しながら説明する。この図２２に示す実施の形態３に係る指示用端末２による作業指示受付け処理は、図１０に示す実施の形態１に係る指示用端末２による作業指示受付け処理のステップＳＴ１００３をステップＳＴ２２０１に変更したものである。その他の処理は同様であり、その説明を省略する。
【０１０８】
ステップＳＴ２２０１では、方向計算部２０８ｃは、位置方向推定部２０４による推定結果及び作業指示受付部２０７による受付け結果に基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を計算する。以下、方向計算部２０８ｃによる計算処理の詳細について、図２３を参照しながら説明する。
【０１０９】
方向計算部２０８ｃによる計算処理では、図２３に示すように、まず、現場作業者の現在位置（座標値Ｐ０（Ｘ０，Ｙ０，Ｚ０））及び次の作業位置（座標値Ｐ１（Ｘ１，Ｙ１，Ｚ１））に基づいて、Ｐ０（Ｘ０，Ｙ０，Ｚ０）からＰ１（Ｘ１，Ｙ１，Ｚ１）への方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を計算する（ステップＳＴ２３０１）。
【０１１０】
次いで、方向計算部２０８ｃは、計算した方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）及び現場作業者の向いている方向（方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ））に基づいて、次の作業位置の３次元空間上での方向を計算する（ステップＳＴ２３０２）。具体的には、方向ベクトルＶｃ（Ｘｃ，Ｙｃ，Ｚｃ）を法線ベクトルとする平面に対して、方向ベクトルＶｄ（Ｘｄ，Ｙｄ，Ｚｄ）を右目投影用の方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）と左目投影用の方向ベクトルＶｄｌ（Ｘｄｌ，Ｙｄｌ，Ｚｄｌ）に分けて射影し、現場映像（撮影部１０４により撮影された映像）の中心点からの方向θｄを求める。また、この際に、現場作業者の頭の傾きを考慮し、位置方向推定部２０４により推定された撮影装置３２の水平方向の傾きθＨ及び垂直方向の傾きθＶを修整してもよい。
【０１１１】
次に、実施の形態３における現場用端末１による情報提示処理の詳細について、図２４を参照しながら説明する。この図２４に示す実施の形態３における現場用端末１による情報提示処理は、図１３に示す実施の形態１における指示用端末２による作業指示受付け処理のステップＳＴ１３０２をステップＳＴ２４０１に変更したものである。その他の処理は同様であり、その説明を省略する。
【０１１２】
ステップＳＴ２４０１では、案内画像生成部１０５ｃは、通信部１０３により受信された作業指示データに基づいて、現場作業者の現在位置から次の作業位置への３次元空間上での方向を指す案内画像を生成する。以下、案内画像生成部１０５ｃによる案内画像生成処理の詳細について、図２５を参照しながら説明する。なお図２５に示す案内画像生成処理では、右目投影用の方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）に対する処理のみを示している。
【０１１３】
案内画像生成部１０５ｃによる案内画像生成処理では、図２５に示すように、まず、作業指示データに基づいて、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が予め定められた閾値ＴＨｄ以上であるかを判定する（ステップＳＴ２５０１）。このステップＳＴ２５０１において、案内画像生成部１０５ｃは、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が閾値ＴＨｄ未満である判定した場合には、案内画像の表示は不要と判断し、処理を終了する。
【０１１４】
一方、ステップＳＴ２５０１において、案内画像生成部１０５ｃは、方向ベクトルＶｄｒ（Ｘｄｒ，Ｙｄｒ，Ｚｄｒ）が閾値ＴＨｄ以上であると判定した場合には、現場作業者の現在位置から次の作業位置への３次元空間上での方向を指す案内画像を生成する（ステップＳＴ２５０２）。なお、案内画像としては、例えば、矢印のようなマークが挙げられる。
また、左目投影用の方向ベクトルＶｄｌ（Ｘｄｌ，Ｙｄｌ，Ｚｄｌ）に対しても上記と同様に処理される。
【０１１５】
その後、表示部１０６は、案内画像生成部１０５により生成された案内画像に基づいて、当該案内画像を含む画面（情報提示画面）をディスプレイ３３に表示する（ステップＳＴ１３０３）。これにより、ディスプレイ３３に３次元画像である案内画像が表示される。
【０１１６】
図２６は、表示部１０６により表示された情報提示画面の一例を示す図である。
この図２６に示す情報提示画面では、案内画像２６０１及びテキスト２６０２が表示されている。図２６に示す案内画像２６０１では、現場作業者の現在位置から次の作業位置への方向を指す矢印を３次元表示している。なお、テキスト２６０２は、図１５に示すテキスト１５０２と同一のものである。そして、現場作業者は、この案内画像２６０１及びテキスト２６０２を見ることで、次の作業へ移行することができる。
なお、作業指示者は、作業位置を指定するだけで、現場作業者の現在位置から次の作業位置への３次元上での方向が自動的に計算されるため、作業指示者が次の作業位置について逐次指示する必要はなく、円滑なコミュニケーションが可能となる。
【０１１７】
以上のように、この実施の形態２によれば、方向計算部２０８ｃは、次の作業位置への方向を３次元空間上で計算し、案内画像生成部１０５ｃは、次の作業位置への方向を示す画像として、３次元画像を生成するように構成したので、実施の形態１における効果に加え、現場作業者に対して３次元表示で案内画像を表示することができ、より円滑なコミュニケーションが可能となる。
【０１１８】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１１９】
この発明に係る遠隔作業支援装置は、現場の映像を撮影する撮影部の撮影画角外に位置する作業対象に関する指示が可能となり、現場作業者から見た映像を撮影する撮影部を有する現場用端末と、現場用端末との間で情報を送受信する指示用端末とを備えた遠隔作業支援装置等に用いるのに適している。
【符号の説明】
【０１２０】
１  現場用端末、２  指示用端末、３，３ｂ  ＨＭＤ、４  ヘッドセット、４ｂ  イヤホンマイク、５  制御演算装置、６  ディスプレイ、７  入力装置、８  マイク、９  スピーカ、１０  通信中継装置、３１  端末部、３２  撮影装置、３３  ディスプレイ、４１  マイク、４２  スピーカ、５１  処理回路、５２  記憶装置、５３  通信装置、５４  ＣＰＵ、５５  メモリ、１０１  制御部、１０２  記憶部、１０３  通信部、１０４  撮影部、１０５，１０５ｃ  案内画像生成部、１０６  表示部（現場側表示部）、１０７  音声入力部、１０８  音声出力部、２０１  制御部、２０２  記憶部、２０３  通信部、２０４  位置方向推定部、２０５  現場状況画像生成部、２０６  表示部（指示側表示部）、２０７，２０７ｂ  作業指示受付部、２０８，２０８ｂ，２０８ｃ  方向計算部、２０９  テキスト受付部、２１０  入力部、２１１  音声入力部、２１２  音声出力部、３１１  処理回路、３１２  記憶装置、３１３  通信装置、３１４  ＣＰＵ、３１５  メモリ。
【図１】
2017158718.tif 000003
【図２】
2017158718.tif 000004
【図３】
2017158718.tif 000005
【図４】
2017158718.tif 000006
【図５】
2017158718.tif 000007
【図６】
2017158718.tif 000008
【図７】
2017158718.tif 000009
【図８】
2017158718.tif 000010
【図９】
2017158718.tif 000011
【図１０】
2017158718.tif 000012
【図１１】
2017158718.tif 000013
【図１２】
2017158718.tif 000014
【図１３】
2017158718.tif 000015
【図１４】
2017158718.tif 000016
【図１５】
2017158718.tif 000017
【図１６】
2017158718.tif 000018
【図１７】
2017158718.tif 000019
【図１８】
2017158718.tif 000020
【図１９】
2017158718.tif 000021
【図２０】
2017158718.tif 000022
【図２１】
2017158718.tif 000023
【図２２】
2017158718.tif 000024
【図２３】
2017158718.tif 000025
【図２４】
2017158718.tif 000026
【図２５】
2017158718.tif 000027
【図２６】
2017158718.tif 000028
【手続補正書】
【提出日】平成29年12月5日(2017.12.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作業者から見た映像を撮影する撮影部を有する現場用端末と、前記現場用端末との間で情報を送受信する指示用端末とを備え、
前記指示用端末は、
前記撮影部により撮影された映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部とを備え、
前記現場用端末は、
前記方向計算部による計算結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部とを備えた
ことを特徴とする遠隔作業支援装置。
【請求項２】
前記作業指示受付部は、前記次の作業位置を示す情報を当該作業位置へ至る経路を示す情報とともに受付け、
前記方向計算部は、前記次の作業位置への方向を、前記経路に沿って計算する
ことを特徴とする請求項１記載の遠隔作業支援装置。
【請求項３】
前記方向計算部は、前記次の作業位置への方向を３次元空間上で計算し、
前記案内画像生成部は、前記次の作業位置への方向を示す画像として、３次元画像を生成する
ことを特徴とする請求項１記載の遠隔作業支援装置。
【請求項４】
現場用端末の撮影部により撮影された作業者から見た映像から、前記作業者の位置及び向きを推定する位置方向推定部と、
前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像を生成する現場状況画像生成部と、
前記現場状況画像生成部により生成された画像を含む画面を表示する指示側表示部と、
前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報を受付ける作業指示受付部と、
前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向を計算する方向計算部と、
前記方向計算部による計算結果を示す情報を前記現場用端末に送信する通信部と
を備えたことを特徴とする指示用端末。
【請求項５】
作業者から見た映像を撮影する撮影部と、
指示用端末の、位置方向推定部により、前記撮影部により撮影された映像から、前記作業者の位置及び向きが推定され、現場状況画像生成部により、前記位置方向推定部による推定結果から、前記作業者の位置を含む現場状況を示す画像が生成され、指示側表示部により、前記現場状況画像生成部により生成された画像を含む画面が表示され、作業指示受付部により、前記指示側表示部により表示された画面上で作業指示者により入力された次の作業位置を示す情報が受付けられ、方向計算部により、前記位置方向推定部による推定結果及び前記作業指示受付部による受付け結果から、次の作業位置への方向が計算された結果から、次の作業位置への方向を示す画像を生成する案内画像生成部と、
前記案内画像生成部により生成された画像を含む画面を表示する現場側表示部と
を備えたことを特徴とする現場用端末。
【国際調査報告】
2017158718.tif 000029
2017158718.tif 000030
2017158718.tif 000031