(57)【要約】【課題】遠隔地にいる作業者に対して円滑に指示をすることができる作業指示システムを提供する。【解決手段】管理者端末１０は、作業者端末２０で撮影された画像を受信するとともに、管理者から作業者端末２０に対して撮影を一時停止させる指示が入力された場合は一時停止情報を作業者端末２０に送信し、その後、一時停止情報により一時停止した時点の画像に基づいて管理者から入力された作業指示情報を作業者端末２０に送信する。【選択図】図１
2018092477.tif 000002
【特許請求の範囲】
【請求項１】
管理者が遠隔地にいる作業者に指示を行う管理者端末と、前記作業者が装着する作業者端末と、を有する作業指示システムであって、
前記作業者端末は、前記作業者の視線方向の画像を連続的に撮影する撮影手段と、前記撮影手段で撮影された撮影画像を再生するとともに前記作業者に対する指示を表示する作業者表示手段と、前記管理者端末に前記撮影画像を送信する作業者通信手段と、を備え、
前記管理者端末は、前記撮影画像を受信する管理者通信手段と、前記撮影画像を再生、表示する管理者表示手段と、前記指示を入力する入力手段と、を備え、
前記管理者端末は、前記管理者が前記撮影画像の再生を一時停止させる指示が前記入力手段から入力された場合は前記管理者表示手段に表示されている前記撮影画像を一時停止させるとともに一時停止情報を前記管理者通信手段から前記作業者端末に送信し、その後、一時停止した時点の前記撮影画像に基づいて前記管理者が前記指示を前記入力手段から入力した場合は作業指示情報を前記管理者通信手段から前記作業者端末に送信し、
前記作業者端末は、前記管理者端末から前記一時停止情報を前記作業者通信手段が受信した場合は前記作業者表示手段での前記撮影画像の再生を一時停止し、前記管理者端末から前記作業指示情報を前記作業者通信手段が受信した場合は前記作業者表示手段に前記一時停止した時点の画像に前記作業指示情報を重畳して表示する、
ことを特徴とする作業指示システム。
【請求項２】
前記作業指示情報は、前記管理者表示手段に表示された、前記一時停止した時点の前記撮影画像に重畳して入力されることを特徴とする請求項１に記載の作業指示システム。
【請求項３】
前記管理者端末は、前記管理者から前記作業者端末に対して撮影を再開させる指示が前記入力手段から入力された場合は前記管理者表示手段に表示されている前記撮影画像の再生を再開させるとともに再開情報を前記管理者通信手段から前記作業者端末に送信し、
前記作業者端末は、前記管理者端末から前記再開情報を前記作業者通信手段が受信した場合は前記作業者表示手段での前記撮影画像の再生を再開させる、
ことを特徴とする請求項１または２に記載の作業指示システム。
【請求項４】
前記作業者端末は、前記作業者の顔面に装着する眼鏡型端末であることを特徴とする請求項１乃至３のうちいずれか一項に記載の作業指示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理者が遠隔地にいる作業者に指示を行う作業指示システムに関する。
【背景技術】
【０００２】
従来より、遠隔地にいる作業者やユーザ等に対して、通信回線を介して管理者やサポート担当者等がリモート操作をすることで電子機器等の障害の診断や各種設定等が行われている。
【０００３】
例えば特許文献１には、ケーブル接続等のソフトウェアの内部で制御できない作業の指示をするために、携帯電話機でサポート対象を撮影した動画データをオペレータ端末に送信し、その動画に対してオペレータがユーザに指示するための矢印等のアイコン、図形、文字を含むマーク、指示文章等を表示させることが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３４３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された発明の場合、携帯電話機を利用するので、実際に作業するユーザ等は作業対象と携帯電話機との間で視線移動が多くなり作業効率が低下する。また、工場等において両手で作業を行うような場合には、作業対象を撮影しながら作業することができず、実際上適用が困難となる。
【０００６】
そこで、本発明は、上記のような問題点に鑑み、遠隔地にいる作業者に対して円滑に指示をすることができる作業指示システムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するためになされた請求項１記載の発明は、管理者が遠隔地にいる作業者に指示を行う管理者端末と、前記作業者が装着する作業者端末と、を有する作業指示システムであって、前記作業者端末は、前記作業者の視線方向の画像を連続的に撮影する撮影手段と、前記撮影手段で撮影された撮影画像を再生するとともに前記作業者に対する指示を表示する作業者表示手段と、前記管理者端末に前記撮影画像を送信する作業者通信手段と、を備え、前記管理者端末は、前記撮影画像を受信する管理者通信手段と、前記撮影画像を再生、表示する管理者表示手段と、前記指示を入力する入力手段と、を備え、前記管理者端末は、前記管理者が前記撮影画像の再生を一時停止させる指示が前記入力手段から入力された場合は前記管理者表示手段に表示されている前記撮影画像を一時停止させるとともに一時停止情報を前記管理者通信手段から前記作業者端末に送信し、その後、一時停止した時点の前記撮影画像に基づいて前記管理者が前記指示を前記入力手段から入力した場合は作業指示情報を前記管理者通信手段から前記作業者端末に送信し、前記作業者端末は、前記管理者端末から前記一時停止情報を前記作業者通信手段が受信した場合は前記作業者表示手段での前記撮影画像の再生を一時停止し、前記管理者端末から前記作業指示情報を前記作業者通信手段が受信した場合は前記作業者表示手段に前記一時停止した時点の画像に前記作業指示情報を重畳して表示する、ことを特徴とする作業指示システムである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記作業指示情報は、前記管理者表示手段に表示された、前記一時停止した時点の前記撮影画像に重畳して入力されることを特徴とするものである。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記管理者端末は、前記管理者から前記作業者端末に対して撮影を再開させる指示が前記入力手段から入力された場合は前記管理者表示手段に表示されている前記撮影画像の再生を再開させるとともに再開情報を前記管理者通信手段から前記作業者端末に送信し、前記作業者端末は、前記管理者端末から前記再開情報を前記作業者通信手段が受信した場合は前記作業者表示手段での前記撮影画像の再生を再開させる、ことを特徴とするものである。
【００１０】
請求項４に記載の発明は、請求項１乃至３のうちいずれか一項に記載の発明において、前記作業者端末は、前記作業者の顔面に装着する眼鏡型端末であることを特徴とするものである。
【発明の効果】
【００１１】
以上説明したように請求項１記載の発明によれば、作業者が視認している画像に基づいて管理者が指示をすることができるので、作業者の視認している情報を共有して指示をすることができる。また、一時停止した画像に基づいて指示をするので、的確な場面を指定して指示をすることができる。さらには、作業者に一時停止した画像に重畳して作業指示情報が表示されるので、作業者は自身の視認している画像に基づく指示を得ることができ、指示が理解しやすくなる。したがって、遠隔地にいる作業者に対して円滑に指示をすることができる。
【００１２】
請求項２記載の発明によれば、作業者の視認している画像に基づいて指示を入力できるので、作業者の目線に基づいて的確な指示を与えることができる。
【００１３】
請求項３記載の発明によれば、一時停止を解除して作業者端末からの画像の送信を再開させることで、次の指示対象となる作業の画像を得ることができる。また、管理者が与えた指示による作業の確認をすることができる。
【００１４】
請求項４記載の発明によれば、眼鏡型端末とすることで、作業者の視線にできるだけ近い画像を取得することができるとともに、作業者の視界に作業指示情報を表示することができる。また、携帯電話機等の端末を持つ必要が無いので作業をしながら指示を受けることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態にかかる作業指示システムの構成図である。
【図２】図１に示された管理者端末の機能構成図である。
【図３】図１に示された作業者端末の機能構成図である。
【図４】図１に示された管理者端末と作業者端末の動作のフローチャートである。
【図５】図１に示された管理者端末の設定画面例である。
【図６】図１に示された管理者端末の画像サイズ設定のよる表示例である。
【図７】図１に示された管理者端末の画像表示画面例である。
【図８】図１に示された管理者端末のテキスト入力画面例である。
【図９】自由描画、円弧描画、矢印描画による入力例である。
【図１０】テキスト表示の例である。
【図１１】管理者端末と作業者端末でアスペクト比が異なる場合の表示例である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の一実施形態にかかる作業指示システムを示す概略図である。
【００１７】
図１は、作業指示システム１は、作業者に指示をする管理者端末１０と、作業者が装着する作業者端末２０と、を有している。
【００１８】
管理者端末１０と作業者端末２０とはインターネット等のネットワーク３０を介して互いに通信可能となっている。なお、図１では、管理者端末１０をノート型ＰＣで記載しているが、デスクトップ型ＰＣやタブレット型端末等、後述する表示部１３と入力部１４とを有し通信可能な端末機器であればよい。
【００１９】
作業者端末２０は、本実施形態では作業者が顔面に装着する眼鏡型端末（スマートグラスとも呼ばれる）となっている。作業者端末２０は、鼻当て部を有するフレーム２０ａと、フレーム右側（図１上では左側）に設けられた本体部２０ｂと、を有している。本体部２０ｂには、表示部２３、カメラ２４が設けられているとともに、図３に示す通信部２１、制御部２２として機能するネットワークインターフェースやＣＰＵ等が実装された電子回路基板等が内蔵されている。
【００２０】
なお、作業者端末２０は眼鏡型端末に限らず、表示部２３とカメラ２４とを有し通信可能な端末機器であればよい。例えば表示部２３とカメラ２４が別体であってもよいが作業者が装着するウェアラブル機器であることが望ましい。但し、装着時において、カメラ２４は作業者の視線方向の画像が撮影可能であり、表示部２３は作業者が視認できる必要がある。
【００２１】
また、本実施形態において、管理者とは、管理者端末１０を操作して作業者に対して指示をする者をいい、作業者とは、作業者端末２０を装着して管理者から指示を受けて作業する者をいう。
【００２２】
また、本実施形態において、作業者端末２０を装着して作業する作業者は、管理者が管理者端末１０を操作する場所から離れた場所（遠隔地）にいるものとする。遠隔地とは、例えば日本と海外、東京と地方等の地理的に離れた場所に限らない。例えば、同じ敷地内にある別の建物や同じ建物内の別フロア等、管理者が作業者に対して直接指示できない場所にいる状態であればよい。
【００２３】
図２に管理者端末１０の機能的構成を示す。管理者端末１０は、通信部１１と、制御部１２と、表示部１３と、入力部１４と、を有している。
【００２４】
管理者通信手段としての通信部１１は、作業者端末２０へ作業指示情報や一時停止情報及び再開情報等の情報を送信したり、作業者端末２０から画像情報（撮影画像）等を受信したりする。通信部１１は、例えばノート型ＰＣであればネットワークインターフェースが機能し、有線通信（例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３等）又は無線通信（ＩＥＥＥ８０２．１１等）のいずれの方式により通信してもよい。
【００２５】
制御部１２は、画像処理部１２ａと、テキスト処理部１２ｂと、を有している。制御部１２は、例えばノート型ＰＣであればＣＰＵが機能する。また、制御部１２は、入力部１４から入力された指示に基づいて、後述する一時停止情報や再開情報及び作業指示情報を生成して通信部１１から作業者端末２０へ送信させる。
【００２６】
画像処理部１２ａは、通信部１１が受信した画像情報を再生して表示部１３に表示させる。また、画像処理部１２ａは、入力部１４から入力された図形情報を表示部１３に表示させている画像情報に重畳させて表示部１３に表示させる。この図形情報は作業指示情報として通信部１１から作業者端末２０へ送信させる。
【００２７】
テキスト処理部１２ｂは、入力部１４から入力されたテキスト情報を表示部１３に表示させる。このテキスト情報は作業指示情報として通信部１１から作業者端末２０へ送信させる。
【００２８】
管理者表示手段としての表示部１３は、通信部１１が受信した画像情報や、上述した図形情報及びテキスト情報等が表示される。表示部１３は、例えばノート型ＰＣであれば液晶ディスプレイ等の表示手段が機能する。
【００２９】
入力手段としての入力部１４は、管理者が作業指示や一時停止及び再開等の指示を入力する。入力部１４は、例えばノート型ＰＣであればキーボード、マウス等が機能する。また、表示部１３にタッチパネルを設け、手指やスタイラスペン等を使用してタッチ入力により作業指示を行ってもよい。
【００３０】
図３に作業者端末２０の機能的構成を示す。作業者端末２０は、通信部２１と、制御部２２と、表示部２３と、カメラ２４と、を有している。
【００３１】
作業者通信手段としての通信部２１は、管理者端末１０へ画像情報等を送信したり、管理者端末１０から作業指示情報や一時停止情報及び再開情報等の情報を受信したりする。通信部２１は、作業者端末２０が内蔵するネットワークインターフェースが機能する。なお、作業者端末は、原則として作業者が装着するウェアラブル機器であるので、無線通信するものが好ましい。
【００３２】
制御部２２は、一時停止情報や再開情報に基づいてカメラ２４の撮影の一時停止や再開の制御を行う。また、制御部２２は、カメラ２４が撮影した撮影画像を通信部２１に画像情報として管理者端末１０へ送信させたり、通信部２１が受信した作業指示情報を表示部２３に表示させたりする。制御部２２は、作業者端末２０が内蔵するＣＰＵが機能する。
【００３３】
作業者表示手段としての表示部２３は、カメラ２４が撮影した画像の再生画像や通信部２１が受信した作業指示情報を表示する。表示部２３は、図１に示したように、作業者が視認できる位置に配置され、作業者の視界の一部から表示部２３に表示された情報を得ることができる。
【００３４】
撮影手段としてのカメラ２４は、図１に示したように、本体部２０ｂの前方に配置され、作業者の視線方向の画像を連続的に撮影する。連続的にとは、所謂動画像に限らず、所定時間間隔で静止画を撮影することも含む。カメラ２４は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）のイメージセンサ等で構成されている。
【００３５】
次に、上述した構成の作業指示システム１の動作について図４のフローチャートを参照して説明する。
【００３６】
まず、管理者端末１０について説明する。管理者端末１０についての動作は、制御部１２で実行される。ステップＳ１０１において、送受信設定をしてステップＳ１０２に進む。送受信設定とは、例えばＩＰ（Internet Protocol）アドレスや通信ポート等の通信全般に関する設定、画像通信用の設定等である。これらの設定は、入力部１４から管理者が行い、設定された情報は管理者端末１０内のメモリ等の記憶手段（不図示）に記憶される。
【００３７】
図５に管理者端末の設定画面例を示す。設定画面１００は、受信用ＩＰアドレス１０１と、送信先ＩＰアドレス１０２と、画像通信用Ｐｏｒｔ１０３と、音声通信用Ｐｏｒｔ１０４と、画像サイズ指定１０５と、倍率設定１０６と、画像サイズ設定１０７と、縦横比を維持するか設定１０８と、ＯＫボタン１０９と、Ｃａｎｃｅｌボタン１１０と、を有している。
【００３８】
受信用ＩＰアドレス１０１は、管理者端末１０のＩＰアドレスを設定する。送信先ＩＰアドレスは作業者端末のＩＰアドレスを設定する。画像通信用Ｐｏｒｔ１０３は画像通信用のポート番号を設定する。音声通信用Ｐｏｒｔ１０４は音声通信用のポート番号を設定する。ここまでが、通信全般に関する設定である。
【００３９】
画像サイズ指定１０５は、受信した画像情報を作業者端末２０から送信されてきたサイズに合わせて表示するか、指定したサイズに合わせて表示するか、を選択する。倍率設定１０６は、受信した画像情報を作業者端末２０から送信されてきたサイズに合わせて表示する際に、何倍に拡大して表示するか設定する。
【００４０】
画像サイズ設定１０７は、受信した画像情報を指定したサイズに合わせて表示する際の縦と横のサイズを設定する。縦横比を維持するか設定１０８は、受信した画像情報の縦横比（アスペクト比）を維持するか設定する。ここまでが、画像通信用の設定であり表示設定情報となる。
【００４１】
ＯＫボタン１０９は、設定した内容を確定する。Ｃａｎｃｅｌボタン１１０は、設定した内容を破棄する。
【００４２】
ここで、作業者端末２０から送信される画像情報の最適化について説明する。本実施例では、作業者端末２０から送信される画像情報は、カメラ２４で撮影した画像がそのままのサイズやアスペクト比（カメラ２４の仕様に沿ったサイズやアスペクト比）で送信される。
【００４３】
管理者端末１０では、受信した画像情報を、上述した画像サイズ指定１０５、倍率設定１０６、画像サイズ設定１０７、縦横比を維持するか設定１０８に合わせて表示部１３に表示するサイズやアスペクト比を調整する。即ち、表示設定情報に基づいて撮影画像を表示する。
【００４４】
例えば図６上段のように、上述した画像サイズ指定１０５で受信サイズに合わせるとした場合、作業者端末２０から送信された画像情報は、管理者端末１０の表示部１３にそのままのサイズ（アスペクト比）で表示される（図７に示す画像表示画面２００が受信した画像サイズに合わせてリサイズされる）。
【００４５】
また、図６中段のように、上述した画像サイズ指定１０５でサイズを指定するとし、縦横比を維持するか設定１０８のチェックを入れない場合、作業者端末２０から送信された画像情報は、管理者端末１０の表示部１３に画像サイズ設定１０７で指定されたサイズに合わせて表示される。即ち、表示設定情報に画像のアスペクト比を維持しないと設定されている場合には、表示部１３（管理者表示手段）に予め指定された表示領域（画像表示画面２００）内の全面に表示されるように画像情報（撮影画像）のサイズを変更して表示部１３（管理者表示手段）に表示する。
【００４６】
また、図６下段のように、上述した画像サイズ指定１０５でサイズを指定するとし、縦横比を維持するか設定１０８のチェックを入れた場合、作業者端末２０から送信された画像情報は、管理者端末１０の表示部１３に画像サイズ設定１０７で指定されたサイズ内にアスペクト比を維持して表示される。即ち、表示設定情報に画像のアスペクト比を維持し、かつ、画像表示画面２００（表示領域）内に表示すると設定されている場合は、画像表示画面２００（表示領域）内に画像のアスペクト比を維持して表示されるように撮影画像のサイズを変更して表示部１３（管理者表示手段）に表示する。
【００４７】
図４のフローチャートの説明に戻って、ステップＳ１０２において、管理者が入力部１４から通信開始を示す操作を行った等の通信開始トリガーがあったか否かを判断し、通信開始トリガーがあった場合はステップＳ１０３に進み、通信開始トリガーが無い場合は本ステップで待機する。
【００４８】
次に、ステップＳ１０３において、作業者端末２０から送信される画像情報を受信してステップＳ１０４に進む。通信部１１が受信した画像情報は、上述したように、表示部１３（画像表示画面２００）に表示させる。
【００４９】
次に、ステップＳ１０４において、入力部１４から一時停止を示す入力があったか否かを判断し、一時停止を示す入力があった場合はステップＳ１０５に進み、一時停止を示す入力が無い場合はステップＳ１０８に進む。一時停止は、管理者が作業者端末２０から送信される撮影画像のうち、作業者に指示を与えたい場面で入力される。一時停止を示す入力があると、表示部１３に表示されている画像情報（撮影画像）は一時停止する（静止画となる）。
【００５０】
次に、ステップＳ１０５において、一時停止情報を生成して通信部１１を介して作業者端末２０に送信してステップ１０６に進む。
【００５１】
次に、ステップＳ１０６において、管理者が入力部１４から入力した作業指示情報を通信部１１を介して作業者端末２０に送信してステップＳ１０７に進む。作業指示情報の入力ついて図７及び図８を参照して説明する。この作業指示情報は、上記静止画（一時停止した時点の画像）を管理者が参照して（静止画に基づいて）入力される。
【００５２】
図７は、作業者端末２０から受信した画像情報が表示される表示画面例である。画像表示画面２００は、画像情報以外に左上部に設定や操作及び動作状態等を表示するアイコン部２１０が表示される。
【００５３】
アイコン部２１０は、設定呼び出しアイコン２１１と、一時停止／再開アイコン２１２と、画像通信状態アイコン２１３と、音声通信状態アイコン２１４と、作業指示入力アイコン２１５と、を有している。
【００５４】
設定呼び出しアイコン２１１は、操作すると図５に示したような設定画面が表示される。一時停止／再開アイコン２１２は、操作すると作業者端末２０に対して一時停止情報を送信する。一時停止時に一時停止／再開アイコン２１２を操作すると、作業者端末２０に対して再開情報を送信する。
【００５５】
画像通信状態アイコン２１３は、画像通信を行っているか否かの状態を表示する。音声通信状態アイコン２１４は、音声通信を行っているか否かの状態を表示する。作業指示入力アイコン２１５は、操作すると画像表示画面２００の右上部に指示入力アイコン部２２０が表示されるとともに、図８に示したテキスト入力画面３００が表示される。
【００５６】
指示入力アイコン部２２０は、ペンアイコン２２１と、円弧アイコン２２２と、矢印アイコン２２３と、消しゴムアイコン２２４と、を有している。
【００５７】
ペンアイコン２２１が選択されると、画像表示画面２００に表示されている画像の任意の位置に任意の形状の図形を描画することができる（図９上段のａ１）。円弧アイコン２２２が選択されると、画像表示画面２００に表示されている画像の任意の位置に円弧を描画することができる（図９中段のａ２）。矢印アイコン２２３が選択されると、画像表示画面２００に表示されている画像の任意の位置に矢印を描画することができる（図９下段のａ３）。消しゴムアイコン２２４が選択されると、上記した描画内容を消去（破棄）することができる。これらのアイコンに基づいて描画（消去）された画像（図形情報）は、表示部１３に表示されている画像情報（静止画）に重畳して表示される。即ち、作業指示情報は、表示部１３（管理者表示手段）に表示された撮影画像に重畳して入力される。また、図形情報は、作業者端末２０にも作業指示情報として送信され、作業者端末２０の表示部２３にも表示される。
【００５８】
テキスト入力画面３００は、図８に示したように、送信言語に設定３０１と、送信するテキスト分類の設定３０２と、該当分類内の文章・単語の選択３０３と、該当単語内の関連語句の選択３０４と、送信テキスト３０５と、フォント名３０６と、サイズ３０７と、色３０８と、プレビュー３０９と、表示位置指定３１０と、古いメッセージ自動削除３１１と、描画ボタン３１２と、クリアボタン３１３と、を有している。
【００５９】
送信言語に設定３０１は、作業者端末２０に送信するテキスト情報の言語を設定する。例えば日本語と英語が選択可能となっており、作業者の理解できる言語に合わせて設定することができる。送信するテキスト分類の設定３０２は、例えば基本指示、操作系、部品系、工具等の分類が設定されており、送信する指示に合わせて選択する。
【００６０】
該当分類内の文章・単語の選択３０３は、送信するテキスト分類の設定３０２で選択した分類に合わせて文言が設定されており、送信する指示に合わせて選択する。例えば、テキスト分類の設定３０２で部品系を選択した場合は、「ボルト」、「カバー」等の文言が選択可能となる。該当単語内の関連語句の選択３０４は、該当分類内の文章・単語の選択３０３で選択した分類に合わせて文言が設定されており、送信する指示に合わせて選択する。例えば、該当分類内の文章・単語の選択３０３で「ボルト」を選択した場合は、「締める」、「緩める」等の文言が選択可能となっている。
【００６１】
送信テキスト３０５は、該当分類内の文章・単語の選択３０３や該当単語内の関連語句の選択３０４で選択した文言が送信言語に設定３０１で設定した言語に翻訳された状態で表示される。例えば、送信言語に設定３０１を英語に設定し、該当分類内の文章・単語の選択３０３で「ボルト」、該当単語内の関連語句の選択３０４で「締める」を選択した場合は、“Ｂｏｌｔ  Ｔｉｇｈｔｅｎ”と表示される。このようにすることで、管理者と作業者の理解する言語が異なっていても、的確な指示をすることが容易にできる。なお、送信テキスト３０５は、直接入力を可能としてもよい。
【００６２】
フォント名３０６は、送信するテキスト情報のフォント名を設定する。サイズ３０７は、送信するテキスト情報のサイズを設定する。色３０８は、送信するテキスト情報の色を設定する。プレビュー３０９は、フォント名３０６、サイズ３０７、色３０８で設定した内容のプレビューが表示される。
【００６３】
表示位置指定３１０は、テキスト情報の表示する位置を指定するか否かを設定する。テキスト情報を表示する位置は、例えば管理者端末１０がタッチパネルを備えている場合は、表示する位置をタッチすることで指定する。古いメッセージ自動削除３１１は、古いメッセージ（テキスト情報）を削除して最新のメッセージのみを表示するか否かを設定する。即ち、既に表示されているメッセージを表示部２３から削除する。なお、フォント名３０６〜古いメッセージ自動削除３１１までの設定情報は、指示表示設定情報として作業指示情報に含めて作業者端末２０に送信される。
【００６４】
ここで、表示位置指定３１０と、古いメッセージ自動削除３１１と、について具体例を図１０を参照して説明する。表示位置指定３１０及び古いメッセージ自動削除３１１は、それぞれの設定の組み合わせによって、画像表示画面２００におけるテキスト情報の表示態様を変化させることができる。
【００６５】
図１０左上は、表示位置指定３１０のチェック無し（ＯＦＦ）、古いメッセージ自動削除３１１のチェック無し（ＯＦＦ）の場合である。この場合、表示位置の指定が無いのでデフォルトの位置（図では画面下中央）に表示し、古いメッセージ（テキスト情報）を自動的に削除しないので古いメッセージはデフォルト位置から１行分上にずれて新規メッセージとともに表示される。デフォルトの位置の情報は、予め管理者端末１０や作業者端末２０に設定されている。この場合、作業者から見ると、例えば、まずボルトを取り付ける、次にボルトを締める、といった作業の順序が画面の上から下に向かって順に表示されることになる。したがって一連の作業の流れが掴み易くなる。なお、図１０の例では、メッセージのデフォルト表示位置は画面の下側であったが上側であってもよい。その場合、図１０左上のパターンでは、古いメッセージが順次１行下にずれる。
【００６６】
図１０右上は、表示位置指定３１０のチェック有り（ＯＮ）、古いメッセージ自動削除３１１のチェック無し（ＯＦＦ）の場合である。この場合、表示位置の指定が有るので指定された位置（図では画面上側）に表示し、古いメッセージを自動的に削除しないので古いメッセージは元の位置（図１０では画面下中央）に新規メッセージとともに表示される。この場合、作業者から見ると各作業に関連する位置にそれぞれのメッセージが表示されるので、メッセージに関連する作業位置を把握し易くなる。
【００６７】
図１０左下は、表示位置指定３１０のチェック無し（ＯＦＦ）、古いメッセージ自動削除３１１のチェック有り（ＯＮ）の場合である。この場合、表示位置の指定が無いのでデフォルトの位置（図では画面下中央）に表示し、古いメッセージを自動的に削除するので新規メッセージのみが表示される。この場合、作業者から見ると最新のメッセージのみが表示されるので、作業者が現在やるべき内容が把握し易くなる。
【００６８】
図１０右下は、表示位置指定３１０のチェック有り（ＯＮ）、古いメッセージ自動削除３１１のチェック有り（ＯＮ）の場合である。この場合、表示位置の指定が有るので指定された位置（図では画面上側）に表示し、古いメッセージを自動的に削除するので新規メッセージのみが表示される。この場合、作業者から見ると最新のメッセージのみが作業に関連する位置に表示されるので、作業者が現在やるべき内容が作業位置とともに把握し易くなる。
【００６９】
描画ボタン３１２は、設定したテキスト情報を表示部１３に描画する。また、同時に作業者端末２０に当該テキスト情報と指示表示設定情報を作業指示情報として送信する。作業者端末２０では、受信したテキスト情報が表示部２３に表示する位置が指定されている場合は指定位置に、指定されていない場合はデフォルトの位置に表示される。したがって、テキスト情報の位置情報も作業指示情報に含めて作業者端末に送信される。クリアボタン３１３は、設定したテキスト情報の内容がクリア（破棄）される。
【００７０】
以上説明したように、本実施形態では、作業指示情報としては、図形情報やテキスト情報等の管理者端末１０で追加した情報のみが送信され、一時停止している画像自体は作業者端末２０へ送信されない。そのため、作業者端末２０へ送信するデータ量を削減することができる。
【００７１】
図４のフローチャートの説明に戻って、ステップＳ１０７において、管理者から再開指示が入力された場合は再開情報を生成し、通信部１１を介して作業者端末２０に送信してステップＳ１０８に進む。また、本ステップでは、一時停止を解除して表示部１３における画像情報の表示を再開する。再開情報とは、ステップＳ１０５で一時停止させた作業者端末２０の表示部２３における撮影画像（再生画像）の表示及び管理者端末１０への画像情報の送信の再開を指示するために作業者端末２０へ送信する情報である。
【００７２】
次に、ステップＳ１０８において、管理者が入力部１４から通信終了を示す操作を行った等の通信終了トリガーがあったか否かを判断し、通信終了トリガーがあった場合はフローチャートを終了し、通信終了トリガーが無い場合はステップＳ１０４に戻る。
【００７３】
次に、作業者端末２０について説明する。作業者端末２０についての操作は、制御部２２で実行される。ステップＳ２０１において、送受信設定をしてステップＳ２０２に進む。送受信設定とは、例えばＩＰ（Internet Protocol）アドレスや通信ポート等の通信全般に関する設定である。この設定は、作業者端末２０が入力部等を有する場合は、入力部から作業者等が行い、作業者端末２０が入力部等を有しない場合は、他の端末（ＰＣ等）から設定情報を転送すればよい。設定された情報は作業者端末２０内のメモリ等の記憶手段（不図示）に記憶される。
【００７４】
次に、ステップＳ２０２において、作業者が通信開始を示す操作を行った等の通信開始トリガーがあったか否かを判断し、通信開始トリガーがあった場合はステップＳ２０３に進み、通信開始トリガーが無い場合は本ステップで待機する。
【００７５】
次に、ステップＳ２０３において、カメラ２４で撮影した撮影画像を画像情報として管理者端末１０に送信してステップＳ２０４に進む。また、撮影画像は、表示部２３にも再生画像として表示される。表示部２３に表示される再生画像は、撮影画像と少なくともアスペクト比は一致しているものとする。表示サイズは、表示部２３の仕様等に合わせて適宜拡大・縮小等変更してもよい。
【００７６】
次に、ステップＳ２０４において、管理者端末１０から一時停止情報を通信部２１を介して受信したか否かを判断し、一時停止情報を受信した場合はステップＳ２０５に進み、受信しない場合はステップＳ２０７に進む。一時停止情報を受信した場合は、表示部２３に表示する再生画像を一時停止させるとともに、管理者端末１０への画像送信も停止させる。したがって、表示部２３に表示されている画像は静止画となる。
【００７７】
次に、ステップＳ２０５において、管理者端末１０から作業指示情報を通信部２１を介して受信する。受信した作業指示情報は、上記した作業表示設定情報や後述するアスペクト比の情報等に基づいて表示部２３に表示されている画像（静止画）に重畳させて表示させる。したがって、作業者には、ステップＳ２０４で静止させた画像に、作業指示情報である図形情報やテキスト情報が重ねて見える。
【００７８】
ところで、画像表示画面２００に表示されている画像情報は、図６で説明したように、作業者端末２０で作業者が視認している再生画像とアスペクト比が必ずしも一致しない。そこで、作業指示情報には、画像表示画面２００のアスペクト比の情報（管理者表示手段におけるアスペクト比情報）と、図形情報やテキスト情報（表示位置を指定した場合）の画像表示画面２００における相対位置情報（描画位置情報）と、を含ませる。このようにすることで、これらの情報と作業者端末２０のアスペクト比に基づいて、図形情報が、作業者端末２０のアスペクト比に合わせて必要に応じて変形されて表示部２３に表示される。なお、アスペクト比情報は、所謂画面の縦横の比に限らず画像表示画面２００の縦方向及び横方向のサイズ（画素数）としてもよい。
【００７９】
図１１に、管理者端末１０と作業者端末２０とにおける作業指示情報の表示例を示す。図１１のｂで示した円弧（図形情報）が作業指示情報とする。管理者端末１０と作業者端末２０とではアスペクト比が異なるので、円弧の形状が異なるが、アスペクト比の情報と相対位置情報に基づいて、円弧を変形させて管理者端末１０で管理者が指示した位置に表示させることができる。
【００８０】
図４のフローチャートの説明に戻って、ステップＳ２０６において、管理者端末１０から再開情報を通信部２１を介して受信する。再開情報を受信したら、一時停止を解除して表示部２３の再生画像の表示を再開させ、通信部２１を介して画像情報の送信を再開させる。
【００８１】
次に、ステップＳ２０７において、作業者が通信終了を示す操作を行った等の通信終了トリガーがあったか否かを判断し、通信終了トリガーがあった場合はフローチャートを終了し、通信終了トリガーが無い場合はステップＳ２０４に戻る。
【００８２】
なお、テキスト情報は、一時停止をしない場合であっても、管理者端末１０から作業者端末２０へ送信してもよい。例えば「左を向いてください」など作業者に撮影範囲を移動させるような指示をする場合は、一時停止させる必要がない。そのため、テキスト入力画面３００から入力されるテキスト情報は一時停止／再開アイコン２１２の操作に関わらず、作業者端末２０へ送信できるようにしてもよい。
【００８３】
また、一時停止情報により停止させ、再開情報により再開させるのは、表示部２３の表示や管理者端末１０への撮影画像の送信に限らず、カメラ２４の撮影自体であってもよい。また、表示部１３及び表示部２３の表示が一時停止すればよいので、作業者端末２０から管理者端末１０への撮影画像の送信自体は停止しなくてもよい。
【００８４】
また、上述した説明から明らかなように、一時停止した時点の画像は、管理者端末１０と作業者端末２０とで同じ画像であることが望ましい。そのため、管理者端末１０の一時停止情報送信処理時間、ネットワーク３０の遅延時間、作業者端末２０の一時停止処理時間等を考慮して、一時停止のタイミングを合わせるようにしてもよい。
【００８５】
以上の説明した作業指示システム１によれば、管理者端末１０は、作業者端末２０で撮影された撮影画像を画像情報として受信する。そして、管理者から作業者端末２０に対して画像情報を一時停止させる指示が入力された場合は、表示部１３に表示されている画像情報を一時停止させるとともに一時停止情報を作業者端末２０に送信する。その後、一時停止情報により一時停止した時点の画像情報に基づいて管理者から入力された作業指示情報を作業者端末２０に送信する。このようにすることにより、作業者が視認している画像に基づいて管理者が指示をすることができるので、作業者の視認している情報を共有して指示をすることができる。また、一時停止した画像に基づいて指示をするので、的確な場面で指示をすることができる。
【００８６】
また、作業者端末２０は、管理者端末１０から一時停止情報を受信して、表示部２３に表示されている再生画像を一時停止させる。そして、管理者端末１０から作業指示情報を受信して、表示部２３に一時停止した時点の画像に重畳して作業指示情報を表示する。このようにすることにより、作業者に一時停止した再生画像に重畳して指示情報が表示されるので、作業者は自身の視認している画像に基づく指示を得ることができ、指示が理解しやすくなる。
【００８７】
また、作業指示情報は、表示部１３に表示された一時停止した時点の画像に重畳して入力されるので、作業者の視認している画像に基づいて指示を入力できるため、作業者の目線に基づいて的確な指示を与えることができる。
【００８８】
また、管理者端末１０は、管理者から作業者端末２０に対して撮影を再開させる指示が入力された場合は、一時停止を解除して表示部１３における表示を再開するとともに、再開情報を作業者端末２０に送信する。作業者端末２０は、管理者端末１０から再開情報を受信した場合は、表示部２３の一時停止を解除して再生画像の表示を再開させる。このようにすることにより、一時停止を解除して作業者端末２０からの画像の送信を再開させることで、次の指示対象となる作業の画像を得ることができる。また、管理者が与えた指示による作業の確認をすることができる。
【００８９】
また、作業者端末２０は、作業者の顔面に装着する眼鏡型端末であるので、作業者の視線にできるだけ近い画像を取得することができるとともに、作業者の視界に作業指示情報を表示することができる。また、携帯電話機等の端末を持つ必要が無いので作業をしながら指示を受けることができる。
【００９０】
また、作業者端末２０は、図形情報及び画像表示画面２００におけるアスペクト比情報を通信部２１が受信し、そのアスペクト比情報に基づいて図形情報を必要に応じて変形して表示する。このようにすることにより、管理者端末１０と作業者端末２０とで表示画面のアスペクト比が異なっても管理者端末１０の設定に縛られることなく作業者端末２０の表示環境に合わせた表示をすることができる。
【００９１】
また、管理者端末１０には、通信部１１が受信した画像情報のアスペクト比を維持して表示するか否かが設定画面１００（表示設定情報）に設定されており、表示部１３は、設定画面１００の設定に基づいて画像情報を表示する。このようにすることにより、管理者端末１０と作業者端末２０とで表示画面のアスペクト比が異なっても作業者端末２０の設定に縛られることなく管理者端末１０の表示環境に合わせた表示をすることができる。
【００９２】
また、設定画面１００（表示設定情報）に画像情報のアスペクト比を維持しないと設定されている場合には、画像表示画面２００の全面に表示されるように画像情報のサイズを変更して画像表示画面２００に表示する。このようにすることにより、画像表示画面２００の大きさに合わせた表示をすることができる。
【００９３】
また、設定画面１００（表示設定情報）に画像情報のアスペクト比を維持し、かつ、画像表示画面２００の表示領域内に表示すると設定されている場合は、画像表示画面２００内に画像情報のアスペクト比を維持して表示されるように画像情報のサイズを変更して画像表示画面２００に表示する。このようにすることにより、作業者端末２０のアスペクト比を維持して管理者端末１０に表示することができる。したがって、作業者端末２０の表示環境に近づけた表示をすることができる。
【００９４】
また、管理者端末には、作業者端末２０への指示（テキスト情報）を作業者端末２０に表示する態様についてテキスト入力画面３００（指示表示設定情報）に設定されており、管理者がテキスト情報を入力部１４から入力した場合は、テキスト入力画面３００の設定情報を作業指示情報に含めて通信部１１から作業者端末２０に送信し、作業者端末２０は、作業指示情報を通信部２１が受信し、表示部２３は、テキスト入力画面３００の設定情報に基づいてテキスト情報を表示する。このようにすることにより、管理者の表示したい態様に従って作業者端末２０に指示を表示することができる。
【００９５】
また、テキスト入力画面３００には、表示位置指定３１０が含まれているので、管理者の指定した位置に指示を表示するか否かを選択することができる。
【００９６】
また、テキスト入力画面３００には、既に表示されているメッセージ自動削除３１１が含まれているので、既に表示されている古い指示（メッセージ）を削除して最新の指示のみを表示する態様や、古い指示を残して最新の指示を表示する態様を選択することができる。
【００９７】
なお、本発明は上記実施形態に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の作業指示システムの構成を具備する限り、勿論、本発明の範疇に含まれるものである。
【符号の説明】
【００９８】
１            作業指示システム
１０          管理者端末
１１          通信部（管理者通信手段）
１３          表示部（管理者表示手段）
１４          入力部（入力手段）
２０          作業者端末（眼鏡型端末）
２１          通信部（作業者通信手段）
２３          表示部（作業者表示手段）
２４          カメラ（撮影手段）
【図１】
2018092477.tif 000003
【図２】
2018092477.tif 000004
【図３】
2018092477.tif 000005
【図４】
2018092477.tif 000006
【図５】
2018092477.tif 000007
【図６】
2018092477.tif 000008
【図７】
2018092477.tif 000009
【図８】
2018092477.tif 000010
【図９】
2018092477.tif 000011
【図１０】
2018092477.tif 000012
【図１１】
2018092477.tif 000013