(57)【要約】【課題】通信遅延の大小に関係なく、同じ画像に対する指示情報を２つの端末間で共有して、各端末の使用者が指示を正確に認識できるようにする。【解決手段】通信回線を介して互いに通信可能に接続される複数の端末は、第１端末１０と、第２端末２０とを含む。第１端末１０において、出力制御部としての全体制御部１２ｃは、第２端末２０から送信される第２送信情報に含まれる撮像タイミング情報に対応する撮像データを記憶部１３から読み出し、読み出した撮像データに基づく画像を第１表示部１５に表示させるとともに、上記第２送信情報に含まれる指示情報を指示情報出力部から出力させる。【選択図】図２
2019075684.tif 000002
【特許請求の範囲】
【請求項１】
通信回線を介して互いに通信可能に接続される複数の端末を有する通信システムであって、
前記複数の端末は、第１端末と、第２端末とを含み、
前記第１端末は、
前記第１端末を使用する使用者の視界を、異なる撮像タイミングで撮像する撮像部と、
前記撮像タイミングに応じた撮像タイミング情報を生成する撮像タイミング情報生成部と、
前記撮像部が各撮像タイミングで取得した各撮像データを、前記撮像タイミング情報とそれぞれ対応付けて記憶する記憶部と、
前記各撮像データの少なくとも一部、および、前記各撮像データの少なくとも一部に対応する前記撮像タイミング情報を含む第１送信情報を、前記第２端末に送信する一方、前記第２端末から送信される第２送信情報を受信する第１送受信部と、
画像を表示する第１表示部と、
前記第１端末の前記使用者に対する指示を示す指示情報を出力する指示情報出力部と、
前記第１表示部および前記指示情報出力部を制御する出力制御部とを備え、
前記第２端末は、
前記第１端末から送信される前記第１送信情報を受信する一方、前記指示情報、および前記指示情報を付加する撮像データに対応する撮像タイミング情報を含む前記第２送信情報を、前記第１端末に送信する第２送受信部と、
前記第２送受信部で受信した前記第１端末からの前記第１送信情報に基づいて、画像を表示する第２表示部と、
前記指示情報の入力を受け付ける指示情報入力部とを備え、
前記出力制御部は、前記第２端末からの前記第２送信情報に含まれる前記撮像タイミング情報に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させることを特徴とする通信システム。
【請求項２】
前記記憶部から読み出した前記撮像データに前記指示情報を合成して指示画像を生成する指示画像生成部をさらに備え、
前記第１表示部は、前記指示情報出力部を兼ねており、
前記出力制御部は、前記指示画像を前記第１表示部に表示させることを特徴とする請求項１に記載の通信システム。
【請求項３】
前記撮像タイミング情報は、時間的に異なるフレームごとに前記撮像データが取得されるときのフレーム番号であることを特徴とする請求項１または２に記載の通信システム。
【請求項４】
前記撮像タイミング情報は、前記各撮像データが取得された時刻、または任意の時点から前記各撮像データが取得された時刻までの経過時間を示す時間情報であることを特徴とする請求項１または２に記載の通信システム。
【請求項５】
前記第１端末は、前記撮像部で取得された前記撮像データのデータ量を削減する処理を行う画像処理部をさらに備え、
前記第１送受信部は、前記画像処理部によってデータ量が削減された前記撮像データを前記第１送信情報に含ませて前記第２端末に送信することを特徴とする請求項１から４のいずれかに記載の通信システム。
【請求項６】
前記画像処理部は、前記撮像部にて時間的に異なるフレームごとに前記撮像データが取得されるときに、少なくとも１フレームの前記撮像データを間引くことによって、前記データ量を削減することを特徴とする請求項５に記載の通信システム。
【請求項７】
前記画像処理部は、前記撮像部にて取得される前記撮像データを圧縮することによって、前記データ量を削減することを特徴とする請求項５に記載の通信システム。
【請求項８】
前記第１端末は、頭部装着型の映像表示装置であることを特徴とする請求項１から７のいずれかに記載の通信システム。
【請求項９】
前記第１端末は、
前記第１端末の前記使用者の音声の入力を受ける第１端末側音声入力部と、
前記撮像部の撮像タイミングに応じた音声タイミング情報を生成する音声タイミング情報生成部とをさらに備え、
前記第１送信情報は、前記第１端末側音声入力部にて入力された前記音声のデータ、および前記音声タイミング情報生成部にて生成された前記音声タイミング情報をさらに含み、
前記記憶部は、前記各撮像データを前記撮像タイミング情報および前記音声タイミング情報と対応付けて記憶しており、
前記第２端末は、
前記第１送信情報に含まれる前記音声のデータに基づいて、前記音声を出力する第２端末側音声出力部をさらに備え、
前記第２送信情報は、前記指示情報を付加する撮像データに対応する前記撮像タイミング情報のみを含むか、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記指示情報を付加する撮像データに対応する前記音声タイミング情報を含み、
前記第１端末の前記出力制御部は、前記撮像タイミング情報および前記音声タイミング情報の少なくとも一方に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させることを特徴とする請求項１から８のいずれかに記載の通信システム。
【請求項１０】
前記第２送信情報は、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記音声タイミング情報を含み、
前記第２端末は、前記第２端末の使用者による、前記音声タイミング情報に対応する音声指示の入力を受ける第２端末側音声入力部をさらに備え、
前記第２送信情報に含まれる前記指示情報は、前記第２端末側音声入力部に入力される前記音声指示の情報を含み、
前記第１端末は、前記音声指示の情報に基づいて、前記音声指示を出力する第１端末側音声出力部を前記指示情報出力部としてさらに含み、
前記出力制御部は、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記音声指示を前記第１端末側音声出力部から出力させることを特徴とする請求項９に記載の通信システム。
【請求項１１】
通信回線を介して互いに通信可能に接続される複数の端末を有し、前記複数の端末が第１端末と第２端末とを含む通信システムにおける通信方法であって、
前記第１端末を使用する使用者の視界を、撮像部によって異なる撮像タイミングで撮像する撮像工程と、
前記撮像タイミングに応じた撮像タイミング情報を生成する撮像タイミング情報生成工程と、
前記撮像部が前記各撮像タイミングで取得した各撮像データを、前記撮像タイミング情報とそれぞれ対応付けて記憶部に記憶する記憶工程と、
前記各撮像データの少なくとも一部、および、前記各撮像データの少なくとも一部に対応する前記撮像タイミング情報を含む第１送信情報を、前記第２端末に送信する第１送信工程と、
前記第１端末から送信された前記第１送信情報に基づいて、前記第２端末の第２表示部に画像を表示する第２端末側表示工程と、
前記第２端末において、前記第１端末の前記使用者に伝えるべき指示を示す指示情報の入力を受け付ける指示情報入力工程と、
入力された前記指示情報、および前記指示情報を付加する撮像データに対応する撮像タイミング情報を含む第２送信情報を、前記第１端末に送信する第２送信工程と、
前記第２端末からの前記第２送信情報に含まれる前記撮像タイミング情報に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を第１表示部に表示させるとともに、前記指示情報を指示情報出力部から出力させる出力工程とを含むことを特徴とする通信方法。
【請求項１２】
前記出力工程では、前記記憶部から読み出した前記撮像データに基づく前記画像と、前記指示情報とを合成して指示画像を生成し、前記指示情報出力部を兼ねる前記第１表示部に前記指示画像を表示させることを特徴とする請求項１１に記載の通信方法。
【請求項１３】
前記撮像タイミング情報は、時間的に異なるフレームごとに前記撮像データが取得されるときのフレーム番号であることを特徴とする請求項１１または１２に記載の通信方法。
【請求項１４】
前記撮像タイミング情報は、前記各撮像データが取得された時刻、または任意の時点から前記各撮像データが取得された時刻までの経過時間を示す時間情報であることを特徴とする請求項１１または１２に記載の通信方法。
【請求項１５】
前記第１端末において、前記撮像部で取得された前記撮像データのデータ量を削減する処理を行う画像処理工程をさらに含み、
前記第１送信工程では、前記画像処理工程によってデータ量が削減された前記撮像データを前記第１送信情報に含ませて前記第２端末に送信することを特徴とする請求項１１から１４のいずれかに記載の通信方法。
【請求項１６】
前記画像処理工程では、前記撮像部にて時間的に異なるフレームごとに前記撮像データが取得されるときに、少なくとも１フレームの前記撮像データを間引くことによって、前記データ量を削減することを特徴とする請求項１５に記載の通信方法。
【請求項１７】
前記画像処理工程では、前記撮像部にて取得される前記撮像データを圧縮することによって、前記データ量を削減することを特徴とする請求項１５に記載の通信方法。
【請求項１８】
前記第１端末として、頭部装着型の映像表示装置を用いることを特徴とする請求項１１から１７のいずれかに記載の通信方法。
【請求項１９】
前記第１端末において、前記第１端末の前記使用者の音声の入力を受ける第１端末側音声入力工程と、
前記撮像タイミングに応じた音声タイミング情報を生成する音声タイミング情報生成工程とをさらに含み、
前記第１送信情報は、前記第１端末側音声入力工程にて入力された前記音声のデータ、および前記音声タイミング情報生成工程にて生成された前記音声タイミング情報をさらに含み、
前記記憶工程では、前記各撮像データを前記撮像タイミング情報および前記音声タイミング情報と対応付けて前記記憶部に記憶し、
該通信方法は、
前記第２端末において、前記第１送信情報に含まれる前記音声のデータに基づいて、前記音声を出力する第２端末側音声出力工程をさらに含み、
前記第２送信情報は、前記指示情報を付加する撮像データに対応する前記撮像タイミング情報のみを含むか、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記指示情報を付加する撮像データに対応する前記音声タイミング情報を含み、
前記出力工程では、前記撮像タイミング情報および前記音声タイミング情報の少なくとも一方に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させることを特徴とする請求項１０から１８のいずれかに記載の通信方法。
【請求項２０】
前記第２送信情報は、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記音声タイミング情報を含み、
該通信方法は、
前記第２端末において、前記第２端末の使用者による、前記音声タイミング情報に対応する音声指示の入力を受ける第２端末側音声入力工程をさらに含み、
前記第２送信情報に含まれる前記指示情報は、前記第２端末側音声入力部に入力される前記音声指示の情報を含み、
前記出力工程では、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記音声指示の情報に基づいて、前記指示情報出力部としての第１端末側音声出力部から前記音声指示を出力させることを特徴とする請求項１９に記載の通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信回線を介して互いに通信可能に接続される複数の端末を有する通信システムと、その通信システムを用いた通信方法とに関する。
【背景技術】
【０００２】
従来から、相互に離れて位置する各端末で情報を共有するシステムが提案されている。例えば特許文献１のシステムでは、各ＴＶ受信機でストリーミングコンテンツを再生するにあたって、再生開始のタイミングを一致させることにより、各視聴者が、カメラやマイクを用いてリアルタイムに対話しながら、ストリーミングコンテンツを同時に視聴（共有）することが可能となっている。
【０００３】
一方、端末を外部から遠隔操作するシステムとして、例えば特許文献２に開示されたシステムがある。上記システムでは、カメラが、遠隔操作端末に対して、撮像によって取得した画像データだけでなく、画像データの送信時刻情報を送信する。遠隔操作端末は、該画像データに基づいて画像を表示するごとに、上記送信時刻情報をカメラにそのまま送り返す。カメラは、遠隔操作端末から送信時刻情報を受信した時点の時刻情報と、受信した送信時刻情報との差分から通信遅延時間を算出する。遠隔操作端末からの追従指示をカメラが受信すると、カメラは、上記通信遅延時間だけ遡った画像を、保持している画像から選択して、追従する被写体を同定する。これにより、カメラでは、通信遅延に依らず、遠隔操作によって指定された被写体をより正確に追従することが可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−４９９４４号公報（請求項１、段落〔０００１〕、〔０００８〕、〔００１１〕、図１等参照）
【特許文献２】特開２０１４−１４３６１９号公報（請求項１、段落〔０００７〕、〔００１０〕、〔０１１３〕、〔０１１５〕、図８等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、作業者側の第１端末に対して、指示者側の第２端末から作業に関する指示情報を送信することにより、作業者の作業を支援する通信システムの開発が盛んに行われている。このような通信システムでは、指示情報に基づく作業の効率化の観点から、第１端末と第２端末との間の通信遅延の大小に関係なく（通信状態が良くても悪くても）、同じ画像に対する指示情報を第１端末と第２端末とで共有して、どの画像（場面）に対する指示かを、作業者および指示者の両方が正確に認識できるようにすることが必要である。しかし、このような要求を満足する通信システムおよび通信方法は、未だ提案されていない。
【０００６】
なお、上述した特許文献１では、同じストリーミングコンテンツを各ＴＶ受信機で共有しているが、指示情報の共有についての開示は一切ない。このため、特許文献１のシステムを、作業支援を行う通信システムに適用しても、指示情報を共有する思想は得られない。また、特許文献２のシステムでは、一方の端末（例えば遠隔操作端末）で指示情報（例えば追従対象の被写体を指定する情報）を入力し、その指示情報を他方の端末（例えばカメラ）に送信し、他方の端末では、上記指示情報に基づいて被写体を追従する。しかし、特許文献２には、他方の端末で上記指示情報を使用者に提示することの開示は一切なく、他方の端末の使用者が上記指示情報を認識すること自体が困難である。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、その目的は、通信遅延の大小に関係なく、同じ画像に対する指示情報を２つの端末間で共有して、各端末の使用者が指示を正確に認識することができる通信システムおよび通信方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一側面に係る通信システムは、通信回線を介して互いに通信可能に接続される複数の端末を有する通信システムであって、前記複数の端末は、第１端末と、第２端末とを含み、前記第１端末は、前記第１端末を使用する使用者の視界を、異なる撮像タイミングで撮像する撮像部と、前記撮像タイミングに応じた撮像タイミング情報を生成する撮像タイミング情報生成部と、前記撮像部が各撮像タイミングで取得した各撮像データを、前記撮像タイミング情報とそれぞれ対応付けて記憶する記憶部と、前記各撮像データの少なくとも一部、および、前記各撮像データの少なくとも一部に対応する前記撮像タイミング情報を含む第１送信情報を、前記第２端末に送信する一方、前記第２端末から送信される第２送信情報を受信する第１送受信部と、画像を表示する第１表示部と、前記第１端末の前記使用者に対する指示を示す指示情報を出力する指示情報出力部と、前記第１表示部および前記指示情報出力部を制御する出力制御部とを備え、前記第２端末は、前記第１端末から送信される前記第１送信情報を受信する一方、前記指示情報、および前記指示情報を付加する撮像データに対応する撮像タイミング情報を含む前記第２送信情報を、前記第１端末に送信する第２送受信部と、前記第２送受信部で受信した前記第１端末からの前記第１送信情報に基づいて、画像を表示する第２表示部と、前記指示情報の入力を受け付ける指示情報入力部とを備え、前記出力制御部は、前記第２端末からの前記第２送信情報に含まれる前記撮像タイミング情報に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させる。
【０００９】
上記の通信システムは、前記記憶部から読み出した前記撮像データに前記指示情報を合成して指示画像を生成する指示画像生成部をさらに備え、前記第１表示部は、前記指示情報出力部を兼ねており、前記出力制御部は、前記指示画像を前記第１表示部に表示させてもよい。
【００１０】
上記の通信システムにおいて、前記撮像タイミング情報は、時間的に異なるフレームごとに前記撮像データが取得されるときのフレーム番号であってもよい。
【００１１】
上記の通信システムにおいて、前記撮像タイミング情報は、前記各撮像データが取得された時刻、または任意の時点から前記各撮像データが取得された時刻までの経過時間を示す時間情報であってもよい。
【００１２】
上記の通信システムにおいて、前記第１端末は、前記撮像部で取得された前記撮像データのデータ量を削減する処理を行う画像処理部をさらに備え、前記第１送受信部は、前記画像処理部によってデータ量が削減された前記撮像データを前記第１送信情報に含ませて前記第２端末に送信してもよい。
【００１３】
上記の通信システムにおいて、前記画像処理部は、前記撮像部にて時間的に異なるフレームごとに前記撮像データが取得されるときに、少なくとも１フレームの前記撮像データを間引くことによって、前記データ量を削減してもよい。
【００１４】
上記の通信システムにおいて、前記画像処理部は、前記撮像部にて取得される前記撮像データを圧縮することによって、前記データ量を削減してもよい。
【００１５】
上記の通信システムにおいて、前記第１端末は、頭部装着型の映像表示装置であってもよい。
【００１６】
上記の通信システムにおいて、前記第１端末は、前記第１端末の前記使用者の音声の入力を受ける第１端末側音声入力部と、前記撮像部の撮像タイミングに応じた音声タイミング情報を生成する音声タイミング情報生成部とをさらに備え、前記第１送信情報は、前記第１端末側音声入力部にて入力された前記音声のデータ、および前記音声タイミング情報生成部にて生成された前記音声タイミング情報をさらに含み、前記記憶部は、前記各撮像データを前記撮像タイミング情報および前記音声タイミング情報と対応付けて記憶しており、前記第２端末は、前記第１送信情報に含まれる前記音声のデータに基づいて、前記音声を出力する第２端末側音声出力部をさらに備え、前記第２送信情報は、前記指示情報を付加する撮像データに対応する前記撮像タイミング情報のみを含むか、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記指示情報を付加する撮像データに対応する前記音声タイミング情報を含み、前記第１端末の前記出力制御部は、前記撮像タイミング情報および前記音声タイミング情報の少なくとも一方に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させてもよい。
【００１７】
上記の通信システムにおいて、前記第２送信情報は、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記音声タイミング情報を含み、前記第２端末は、前記第２端末の使用者による、前記音声タイミング情報に対応する音声指示の入力を受ける第２端末側音声入力部をさらに備え、前記第２送信情報に含まれる前記指示情報は、前記第２端末側音声入力部に入力される前記音声指示の情報を含み、前記第１端末は、前記音声指示の情報に基づいて、前記音声指示を出力する第１端末側音声出力部を前記指示情報出力部としてさらに含み、前記出力制御部は、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記音声指示を前記第１端末側音声出力部から出力させてもよい。
【００１８】
本発明の他の側面に係る通信方法は、通信回線を介して互いに通信可能に接続される複数の端末を有し、前記複数の端末が第１端末と第２端末とを含む通信システムにおける通信方法であって、前記第１端末を使用する使用者の視界を、撮像部によって異なる撮像タイミングで撮像する撮像工程と、前記撮像タイミングに応じた撮像タイミング情報を生成する撮像タイミング情報生成工程と、前記撮像部が前記各撮像タイミングで取得した各撮像データを、前記撮像タイミング情報とそれぞれ対応付けて記憶部に記憶する記憶工程と、前記各撮像データの少なくとも一部、および、前記各撮像データの少なくとも一部に対応する前記撮像タイミング情報を含む第１送信情報を、前記第２端末に送信する第１送信工程と、前記第１端末から送信された前記第１送信情報に基づいて、前記第２端末の第２表示部に画像を表示する第２端末側表示工程と、前記第２端末において、前記第１端末の前記使用者に伝えるべき指示を示す指示情報の入力を受け付ける指示情報入力工程と、入力された前記指示情報、および前記指示情報を付加する撮像データに対応する撮像タイミング情報を含む第２送信情報を、前記第１端末に送信する第２送信工程と、前記第２端末からの前記第２送信情報に含まれる前記撮像タイミング情報に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を第１表示部に表示させるとともに、前記指示情報を指示情報出力部から出力させる出力工程とを含む。
【００１９】
上記の通信方法において、前記出力工程では、前記記憶部から読み出した前記撮像データに基づく前記画像と、前記指示情報とを合成して指示画像を生成し、前記指示情報出力部を兼ねる前記第１表示部に前記指示画像を表示させてもよい。
【００２０】
上記の通信方法において、前記撮像タイミング情報は、時間的に異なるフレームごとに前記撮像データが取得されるときのフレーム番号であってもよい。
【００２１】
上記の通信方法において、前記撮像タイミング情報は、前記各撮像データが取得された時刻、または任意の時点から前記各撮像データが取得された時刻までの経過時間を示す時間情報であってもよい。
【００２２】
上記の通信方法は、前記第１端末において、前記撮像部で取得された前記撮像データのデータ量を削減する処理を行う画像処理工程をさらに含み、前記第１送信工程では、前記画像処理工程によってデータ量が削減された前記撮像データを前記第１送信情報に含ませて前記第２端末に送信してもよい。
【００２３】
上記の通信方法において、前記画像処理工程では、前記撮像部にて時間的に異なるフレームごとに前記撮像データが取得されるときに、少なくとも１フレームの前記撮像データを間引くことによって、前記データ量を削減してもよい。
【００２４】
上記の通信方法において、前記画像処理工程では、前記撮像部にて取得される前記撮像データを圧縮することによって、前記データ量を削減してもよい。
【００２５】
上記の通信方法において、前記第１端末として、頭部装着型の映像表示装置を用いてもよい。
【００２６】
上記の通信方法は、前記第１端末において、前記第１端末の前記使用者の音声の入力を受ける第１端末側音声入力工程と、前記撮像タイミングに応じた音声タイミング情報を生成する音声タイミング情報生成工程とをさらに含み、前記第１送信情報は、前記第１端末側音声入力工程にて入力された前記音声のデータ、および前記音声タイミング情報生成工程にて生成された前記音声タイミング情報をさらに含み、前記記憶工程では、前記各撮像データを前記撮像タイミング情報および前記音声タイミング情報と対応付けて前記記憶部に記憶し、該通信方法は、前記第２端末において、前記第１送信情報に含まれる前記音声のデータに基づいて、前記音声を出力する第２端末側音声出力工程をさらに含み、前記第２送信情報は、前記指示情報を付加する撮像データに対応する前記撮像タイミング情報のみを含むか、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記指示情報を付加する撮像データに対応する前記音声タイミング情報を含み、前記出力工程では、前記撮像タイミング情報および前記音声タイミング情報の少なくとも一方に対応する撮像データを前記記憶部から読み出し、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記指示情報を前記指示情報出力部から出力させてもよい。
【００２７】
上記の通信方法において、前記第２送信情報は、前記撮像タイミング情報に代えて、または、前記撮像タイミング情報に加えて、前記音声タイミング情報を含み、該通信方法は、前記第２端末において、前記第２端末の使用者による、前記音声タイミング情報に対応する音声指示の入力を受ける第２端末側音声入力工程をさらに含み、前記第２送信情報に含まれる前記指示情報は、前記第２端末側音声入力部に入力される前記音声指示の情報を含み、前記出力工程では、読み出した前記撮像データに基づく画像を前記第１表示部に表示させるとともに、前記音声指示の情報に基づいて、前記指示情報出力部としての第１端末側音声出力部から前記音声指示を出力させてもよい。
【発明の効果】
【００２８】
第２端末から第１端末へは、指示情報を付加する撮像タイミングを示す撮像タイミング情報が送信されるため、通信遅延の大小に関係なく、第１端末側では、上記撮像タイミングに応じた撮像データを記憶部から的確に読み出し、読み出した撮像データに基づいて画像を表示することができる。また、第２端末から第１端末へは、指示情報も送信されるため、第１端末にて上記指示情報を出力させることができる。一方、第２端末では、第１端末から送信される第１送信情報に基づいて画像が表示されるため、第２端末の使用者は、上記画像を見て、指示情報を付加すべき画像（撮像データ）を特定して、上記指示情報を入力することができる。したがって、通信遅延の大小に関係なく、同じ画像に対する指示情報を、第１端末と第２端末とで共有することができる。その結果、第１端末および第２端末の各使用者が、どの画像に対する指示かを正確に把握し、認識することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の一形態に係る通信システムの全体構成を模式的に示す説明図である。
【図２】上記通信システムの詳細な構成を示すブロック図である。
【図３】上記通信システムを用いた通信方法による処理の流れを模式的に示す説明図である。
【図４】上記通信システムの第１端末の使用者が視認する視界を模式的に示す説明図である。
【図５】所定のフレームの撮像データに対して指示情報を付加した指示画像の一例を示す説明図である。
【図６】識別番号と指示情報との対応関係を示す説明図である。
【図７】指示画像を表示させたときの、第１端末の使用者が視認する視界を模式的に示す説明図である。
【図８】所定のフレームの撮像データに対して指示情報を付加した指示画像の他の例を示す説明図である。
【図９】識別番号と指示情報との対応関係を示す説明図である。
【図１０】ステータス番号と指示情報のステータスとの対応関係を示す説明図である。
【図１１】指示情報が変化する指示画像を表示させたときの、第１端末の使用者が視認する視界を模式的に示す説明図である。
【図１２】撮像タイミング情報として時間情報を用いる場合の一例を示す説明図である。
【図１３】撮像タイミング情報として時間情報を用いる場合の他の例を示す説明図である。
【図１４】上記通信システムの他の構成を模式的に示すブロック図である。
【図１５】図１４の構成の通信システムを用いた通信方法による処理の流れを模式的に示す説明図である。
【図１６】上記通信方法による他の処理の流れを模式的に示す説明図である。
【図１７】上記通信システムのさらに他の構成を模式的に示すブロック図である。
【図１８】図１７の構成の通信システムを用いた通信方法による処理の流れを模式的に示す説明図である。
【図１９】上記通信システムにおいて、第１端末の使用者が視認する視界を模式的に示す説明図である。
【図２０】上記通信方法の他の例を模式的に示す説明図である。
【図２１】上記通信方法のさらに他の例を模式的に示す説明図である。
【図２２】上記第１端末を構成する頭部搭載型の映像表示装置が有する映像表示部の概略の構成を示す断面図である。
【発明を実施するための形態】
【００３０】
本発明の実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本明細書において、「撮像」とは、前方の視界を撮影して画像または画像データ（撮像データ）を取得することを指す。
【００３１】
（通信システムの全体構成）
図１は、本実施形態の通信システム１の全体構成を模式的に示す説明図である。通信システム１は、通信回線であるネットワークＮＷを介して互いに通信可能に接続される複数の端末を有する。ネットワークＮＷは、例えばＬＡＮ（Local Area Network）やインターネットなどの有線または無線のネットワークで構成される。なお、個々の端末は、多機能携帯端末（例えばスマートフォン、タブレット端末）やルーターを介して、ネットワークＮＷと通信可能に接続されてもよい。
【００３２】
通信システム１を構成する複数の端末は、第１端末１０と、第２端末２０とを含む。通信システム１が、作業者の作業支援を目的として構築されるシステムである場合、第１端末１０は、作業者によって使用され、第２端末２０は、作業者に対して各種の指示を出す指示者によって使用される。
【００３３】
なお、通信システム１は、３台以上の端末を含んで構成されていてもよい。例えば作業者が複数人いる場合、作業者の一人一人に第１端末１０を用意し、指示者が第２端末２０を使用して、各作業者の第１端末１０に指示を出す構成とすることも可能である。以下では、説明を簡略化するため、通信システム１を構成する複数の端末は、第１端末１０と第２端末２０との２台とする。
【００３４】
第１端末１０は、例えばＨＭＤ（Head-Mounted Display）と呼ばれる頭部装着型の映像表示装置１０ａで構成されている。この映像表示装置１０ａは、映像を表示して使用者に提供するとともに、外界をシースルーで観察させる表示装置である。本実施形態では、映像表示装置１０ａは、光学シースルー型（外界を光学的にシースルーで観察させるタイプ）で構成されているが、ビデオシースルー型（前方が遮蔽され、外界を撮像して映像として観察させるタイプ）で構成されていてもよい。なお、映像表示装置１０ａの詳細な構成については後述する。
【００３５】
第１端末１０を映像表示装置１０ａで構成することにより、使用者は、映像表示装置１０ａを頭部に装着して表示映像を見ながら両手で作業を行うことができるため、作業効率を向上させることができる。
【００３６】
第２端末２０は、例えばパーソナルコンピュータで構成されているが、第１端末１０と同様にＨＭＤで構成することも可能である。以下、第１端末１０および第２端末２０の詳細な構成について説明する。
【００３７】
（第１端末）
図２は、通信システム１の詳細な構成を示すブロック図である。通信システム１の第１端末１０は、撮像部１１と、第１制御部１２と、記憶部１３と、第１送受信部１４と、第１表示部１５とを備えている。
【００３８】
撮像部１１は、第１端末１０を使用する使用者（作業者）の視界を、異なる撮像タイミングで撮像し、撮像データを取得するカメラである。撮像部１１は、撮像レンズ、撮像素子（例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor））、フォーカス機構、絞り機構、駆動回路およびＡ／Ｄ（Analog/Digital）変換回路などを含んで構成されている。また、撮像部１１は、計時部（タイマー）を内蔵しており、これによって撮像データの取得時刻や、基準時刻から撮像データの取得時刻までの経過時間に関する時間情報を取得することができる。
【００３９】
第１制御部１２は、例えばＣＰＵ（Central Processing Unit；中央演算処理装置）で構成されている。この第１制御部１２は、撮像タイミング情報生成部１２ａと、指示画像生成部１２ｂと、全体制御部１２ｃとを含む。撮像タイミング情報生成部１２ａは、撮像部１１の撮像タイミングに応じた撮像タイミング情報を生成する。上記撮像タイミング情報は、フレーム番号であってもよいし、時間情報であってもよいが、その具体的な説明については後述する。
【００４０】
全体制御部１２ｃは、第１端末１０の各部の動作を制御する。特に、全体制御部１２ｃは、第１表示部１５および指示情報出力部を制御する出力制御部として機能している。上記の指示情報出力部は、第１端末１０の使用者に対する指示を示す指示情報を出力するブロックであるが、本実施形態では、第１表示部１５が、指示情報出力部を兼ねている。つまり、第１表示部１５が上記指示情報を出力（表示）する。指示画像生成部１２ｂは、第１端末１０の使用者に提示すべき指示画像を画像処理（撮像データと指示情報との合成処理）によって生成する。
【００４１】
記憶部１３は、第１制御部１２の動作プログラムのほか、撮像部１１が各撮像タイミングで取得した各撮像データを、撮像タイミング情報とそれぞれ対応付けて記憶するメモリであり、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性メモリなどを含んで構成されている。
【００４２】
第１送受信部１４は、第１送信情報を第２端末２０に送信する一方、第２端末２０から送信される第２送信情報を受信する通信インターフェースであり、送信回路、受信回路、変調回路、復調回路、アンテナなどを含んで構成されている。ここで、上記第１送信情報には、各撮像データの少なくとも一部、および、各撮像データの少なくとも一部に対応する撮像タイミング情報が含まれる。一方、第２送信情報には、第２端末２０で入力される指示情報、および指示情報を付加する撮像データに対応する撮像タイミング情報が含まれる。
【００４３】
なお、上記した各撮像データの少なくとも一部とは、各撮像データの全部および一部を両方含む概念である。ここで、各撮像データの全部とは、各撮像データが複数のフレームごとに得られる場合の全フレームの撮像データを指す。一方、各撮像データの一部とは、一部のフレームの撮像データを指す。
【００４４】
第１表示部１５は、画像を表示する表示部であり、本実施形態では、映像表示装置１０ａの映像表示部６１（詳細は後述する）で構成されている。
【００４５】
（第２端末）
第２端末２０は、指示入力部２１と、第２制御部２２と、第２表示部２３と、第２送受信部２４とを備えている。
【００４６】
指示入力部２１は、上記指示情報の入力を受け付ける入力部（操作部）であり、キーボード、マウス、タッチパッドなどで構成される。第２制御部２２は、例えばＣＰＵで構成されており、第２端末２０の各部の動作を制御する。第２表示部２３は、画像を表示するディスプレイ（例えば液晶表示装置）である。第２送受信部２４は、第１端末１０から送信される第１送信情報を受信する一方、上記した第２送信情報を第１端末１０に送信する通信インターフェースであり、送信回路、受信回路、変調回路、復調回路、アンテナなどを含んで構成されている。
【００４７】
（通信方法について）
次に、上記構成の通信システム１による通信方法について、図３に基づいて説明する。図３は、本実施形態の通信方法による処理の流れを模式的に示す説明図である。
【００４８】
まず、第１端末１０を使用する使用者（作業者）の視界を、撮像部１１によって異なる撮像タイミングで撮像する（Ｓ１；撮像工程）。図３では、例えば、異なる撮像タイミングで４つの撮像データＤ１〜Ｄ４が、時間的に早いほうから順に取得された場合を示している。
【００４９】
次に、撮像タイミング情報生成部１２ａにより、上記撮像タイミングに応じた撮像タイミング情報を生成する（Ｓ２；撮像タイミング情報生成工程）。ここでは、撮像タイミング情報として、時間的に異なるフレームごとに撮像データが取得されるときのフレーム番号を考える。図３では、フレーム番号として、時間的に早いほうから順に、フレーム１、フレーム２、フレーム３、フレーム４を例示している。
【００５０】
続いて、撮像部１１が各撮像タイミングで取得した各撮像データを、撮像タイミング情報とそれぞれ対応付けて記憶部１３に記憶する（Ｓ３；記憶工程）。例えば、撮像データＤ１〜Ｄ４の各々は、フレーム１〜４とそれぞれ対応付けられて記憶部１３に記憶される。そして、全体制御部１２ｃの制御により、各撮像データＤ１〜Ｄ４の少なくとも一部（ここでは全フレームの撮像データＤ１〜Ｄ４とする）、および、それらに対応する撮像タイミング情報（フレーム１〜４）を含む第１送信情報を、第１送受信部１４を介して第２端末２０に送信する（Ｓ４；第１送信工程）。なお、Ｓ４の工程は、Ｓ３の工程の後に行われてもよいし、Ｓ３の工程と並行して行われてもよい。例えば、撮像データをフレームごとに記憶部１３や図示しない一時メモリ（例えばバッファ）に記憶しながら、撮像データをフレームごとに送信してもよい。
【００５１】
第２端末２０の第２送受信部２４にて、第１端末１０から送信された第１送信情報を受信すると（Ｓ５）、第２表示部２３は、上記第１送信情報に基づいて画像を表示する（Ｓ６；第２端末側表示工程）。つまり、Ｓ６では、第１送信情報に含まれる各撮像データＤ１〜Ｄ４によって形成される画像が第２表示部２３に表示（再生）される。これにより、第２端末２０の使用者（指示者）は、第２表示部２３の表示画像を見て、作業者の作業状況を把握することができる。
【００５２】
次に、指示者が指示入力部２１を操作することにより、第１端末１０の使用者に伝えるべき指示を示す指示情報が入力される（Ｓ７；指示情報入力工程）。つまり、Ｓ７では、指示者による指示入力部２１の操作により、指示情報の入力を受け付ける。ここでは、上記指示情報として、例えば接触禁止を示す情報（マーク）を入力し、上記指示情報を所定の撮像タイミング（例えばフレーム３の撮像タイミング）のときに提示する場合を考える。
【００５３】
Ｓ７にて、指示情報の入力を受け付けると、第２制御部２２の制御により、入力された指示情報、および上記指示情報を付加する撮像データに対応する撮像タイミング情報を含む第２送信情報を、第２送受信部２４を介して第１端末１０に送信する（Ｓ８；第２送信工程）。ここでは、Ｓ７で入力された指示情報と、撮像タイミング情報としてのフレーム番号（「フレーム３」）を含む第２送信情報が、第１端末１０に送信される。なお、第２送信情報には、上記指示情報を付加する撮像データＤ３は含まれず、撮像データＤ３は第２端末２０から第１端末１０には送信されない。
【００５４】
第１端末１０の第１送受信部１４にて、第２端末２０からの第２送信情報（指示情報、撮像タイミング情報）を受信すると（Ｓ９）、第１端末１０の全体制御部１２ｃは、第２送信情報に含まれる撮像タイミング情報（「フレーム３」）に対応する撮像データＤ３を記憶部１３から読み出し、読み出した撮像データＤ３に基づく画像を第１表示部１５に表示させるとともに、上記指示情報を指示情報出力部から出力させる（Ｓ１０、Ｓ１１；出力工程）。
【００５５】
ここで、本実施形態では、第１表示部１５が指示情報出力部を兼ねているため、第１表示部１５は、上記画像と、上記指示情報とを併せて表示する。より詳しくは、上記の出力工程では、指示画像生成部１２ｂが、記憶部１３から読み出した撮像データＤ３に基づく画像（フレーム３の画像）と、指示情報とを合成して指示画像Ｍを生成し、全体制御部１２ｃが、指示情報出力部を兼ねる第１表示部１５に上記の指示画像Ｍを表示させる。
【００５６】
図４は、第１端末１０の使用者（作業者）が視認する視界を模式的に示している。第１表示部１５は、上述のように頭部装着型の映像表示装置１０ａで構成されるため、作業者は、現在の視界中に、映像表示装置１０ａによって提示される指示画像Ｍ（フレーム３の画像＋指示情報）を、現在のシースルー画像Ｎと同時に観察することができる。これにより、作業者は、過去の時点ではあるが、フレーム３の撮像タイミングにおいて、外部と接触禁止である旨の指示を、指示者から受けたことを認識できる。したがって、作業者は、フレーム３の撮像タイミングの時点で、自分の行った作業や行動が正しかったかどうかを判断することができ、間違っていれば作業を修正するなどの適切な措置をとることができる。
【００５７】
以上のように、本実施形態では、第２端末２０から第１端末１０へは、指示情報を付加する撮像タイミングを示す撮像タイミング情報が送信されるため、通信遅延時間が短くても、何らかの原因で通信遅延が長くなっても、第１端末１０側では、上記撮像タイミングに応じた撮像データを記憶部１３から的確に読み出し、読み出した撮像データに基づいて第１表示部１５にて画像（指示情報を付加すべき画像）を表示させることができる。また、第２端末２０から第１端末１０へは、指示情報も送信されるため、通信遅延時間が短くても長くても、第１端末１０にて上記指示情報を出力させることができる。一方、第２端末２０では、第１端末１０から送信される第１送信情報に基づいて画像が表示されるため、第２端末２０の使用者（指示者）は、上記画像を見て、指示情報を付加すべき画像（撮像データ）を特定して、上記指示情報を入力することができる。したがって、通信遅延の大小に関係なく、同じ画像（上記の例ではフレーム２の画像）に対する指示情報を、第１端末１０と第２端末２０とで共有することができる。その結果、第１端末１０および第２端末２０の各使用者（作業者、指示者）が両方とも、どの画像に対する指示かを正確に把握（認識）することが可能となる。
【００５８】
また、撮像データの送信は、第１端末１０から第２端末２０への一方向のみであるため（Ｓ４、Ｓ８参照）、双方向に撮像データを送信する場合に比べて（例えば第１端末１０から第２端末２０に撮像データを送信し、第２端末２０から第１端末１０に、指示情報を付加した撮像データを送信する場合に比べて）、通信遅延の低減を図ることもできる。
【００５９】
また、Ｓ１０およびＳ１１の出力工程では、指示画像生成部１２ｂが、記憶部１３から読み出した撮像データに基づく画像と、指示情報とを合成して指示画像Ｍを生成し、出力制御部としての全体制御部１２ｃが、第１表示部１５に上記の指示画像Ｍを表示させる。このように、所定の撮像データに基づく画像と指示情報とを紐付けて指示画像Ｍとして表示することにより、第１端末１０の使用者は、指示画像Ｍ１に基づいて、どの場面（撮像タイミング）での指示かを容易に認識することができる。
【００６０】
また、撮像データの撮像タイミング情報は、時間的に異なるフレームごとに撮像データが取得されるときのフレーム番号であるため、フレーム番号を用いて、指示情報を付加する撮像データを容易に特定することができる。
【００６１】
（変形例１）
上記したＳ７の工程では、第２端末２０において、指示入力部２１により、１つのフレームの撮像データに対してのみ、付加する指示情報を入力する例について説明したが、上記指示情報の入力を、複数のフレームの撮像データに対して行ってもよい。また、撮像データに付加できる指示情報の候補を予め複数用意しておき、第２端末２０の使用者が、指示入力部２１により、複数の指示情報の候補の中からいずれかを選択して入力するようにしてもよい。さらに、指示入力部２１により、撮像データに対して付加する指示情報の表示位置を別途指定できるようにしてもよい。
【００６２】
例えば、図５に示すように、第２端末２０において、フレーム２の撮像データＤ２およびフレーム３の撮像データＤ３に対して指示情報を付加（入力）する場合を考える。また、図６に示すように、複数の指示情報の候補が、ＩＤ（識別）番号と対応付けられて第２端末２０内のメモリ（図示せず）に記憶されているとする。この場合、第２端末２０の使用者は、第１送信情報に含まれる撮像データに基づいて第２表示部２３に表示される画像を見て、指示入力部２１により、情報（２、３、Ｘ１、Ｙ１）を順に入力する。なお、情報（Ａ，Ｂ，Ｃ，Ｄ）において、Ａは、フレーム番号を示し、Ｂは、ＩＤ番号を示し、Ｃは、指示情報の中心の表示位置のＸ座標を示し、Ｄは、指示情報の中心の表示位置のＹ座標を示す。したがって、上記の例では、第２端末２０の使用者は、フレーム２の撮像データに対して、ＩＤ番号３の指示情報を、該指示情報の中心が座標（Ｘ１，Ｙ１）の位置となるように表示させる指示入力を行うことができる。また、第２端末２０の使用者は、指示入力部２１によって、（３、３、Ｘ１、Ｙ１）を順に入力することにより、フレーム３の撮像データに対して、ＩＤ番号３の指示情報を、該指示情報の中心が座標（Ｘ１，Ｙ１）の位置に表示させる指示入力を行うことができる。なお、フレーム２とフレーム３とで、入力する指示情報の表示座標を異ならせて、異なる位置に指示情報を表示させるようにしてもよい。
【００６３】
このようにして入力された情報が、第２送信情報として第２端末２０から第１端末１０に送信されると、第１端末１０の全体制御部１２ｃは、第２送信情報に含まれるフレーム番号（フレーム２）に対応する撮像データＤ２を記憶部１３から読み出し、読み出した撮像データＤ２に基づく画像に対して所定の位置（座標（Ｘ１，Ｙ１））に指示情報（ＩＤ番号３）を合成して、指示画像Ｍ１を生成する。そして、図７に示すように、全体制御部１２ｃは、第１表示部１５を制御して指示画像Ｍ１を表示させ、指示画像Ｍ１と現在のシースルー画像Ｎ１とを同時に使用者に観察させる。また、全体制御部１２ｃは、第２送信情報に含まれるフレーム番号（フレーム３）に対応する撮像データＤ３を記憶部１３から読み出し、読み出した撮像データＤ３に基づく画像に対して所定の位置（座標（Ｘ１，Ｙ１））に指示情報（ＩＤ番号３）を合成して、指示画像Ｍ２を生成する。そして、図７に示すように、全体制御部１２ｃは、第１表示部１５を制御して、指示画像Ｍ１に代えて指示画像Ｍ２を表示させ、指示画像Ｍ２と現在のシースルー画像Ｎ２とを同時に使用者に観察させる。第１端末１０の使用者は、指示画像Ｍ１およびＭ２を時間的に連続して観察することにより、第２の端末１０の使用者から複数のフレームにわたって指示を受けたことを認識することができる。
【００６４】
なお、図７では、シースルー画像Ｎ１およびＮ２として視認される被写体が静止して示されているが、被写体が動いている場合も当然あり得る。
【００６５】
（変形例２）
複数のフレームの撮像データに付加する指示情報を入力する場合、複数のフレーム間で、付加する指示情報に変化をつけてもよい。例えば、図８に示すように、第２端末２０において、フレーム２の撮像データＤ２およびフレーム３の撮像データＤ３に対して指示情報を付加（入力）するとともに、これらの指示情報に変化をつける場合を考える。また、図９に示すように、複数の指示情報の候補が、ＩＤ（識別）番号と対応付けられて第２端末２０内のメモリ（図示せず）に記憶されており、図１０に示すように、指示情報の描画状態（ステータス）の候補が、ＳＴ（ステータス）番号と対応付けられて上記メモリに記憶されているとする。
【００６６】
この場合、第２端末２０の使用者は、第１送信情報に含まれる撮像データに基づいて第２表示部２３に表示される画像を見て、指示入力部２１により、情報（２、１、１、Ｘ１、Ｙ１）を順に入力する。なお、情報（ａ，ｂ，ｃ，ｄ，ｅ）において、ａは、フレーム番号を示し、ｂは、指示情報のＩＤ番号を示し、ｃは、指示情報のＳＴ番号を示し、ｄは、指示情報のＳＴ番号に応じた表示位置のＸ座標を示し、ｅは、指示情報のＳＴ番号に応じた表示位置のＹ座標を示す。したがって、上記の例では、第２端末２０の使用者は、フレーム２の撮像データに対して、ＩＤ番号１の指示情報（矢印）を、ＳＴ番号１の状態で（描画開始の状態で）、矢印の始点の位置が座標（Ｘ１，Ｙ１）となるように表示させる指示入力を行うことができる。また、第２端末２０の使用者は、指示入力部２１によって、（３、１、４、Ｘ２、Ｙ２）を順に入力することにより、フレーム３の撮像データに対して、ＩＤ番号１の指示情報（矢印）を、ＳＴ番号４の状態で（描画終了の状態で）、矢印の終点の位置が座標（Ｘ２，Ｙ２）となるように表示させる指示入力を行うことができる。
【００６７】
このようにして入力された情報が、第２送信情報として第２端末２０から第１端末１０に送信されると、第１端末１０の全体制御部１２ｃは、第２送信情報に含まれるフレーム番号（フレーム２）に対応する撮像データＤ２を記憶部１３から読み出し、読み出した撮像データＤ２に基づく画像に対して、矢印の始点が所定の位置（座標（Ｘ１，Ｙ１））となるように、描画開始状態の指示情報（矢印の始点側の一部）を合成して指示画像Ｍ３を生成する。そして、図１１に示すように、全体制御部１２ｃは、第１表示部１５を制御して上記の指示画像Ｍ３を表示させ、指示画像Ｍ３と現在のシースルー画像Ｎ３とを同時に使用者に観察させる。また、全体制御部１２ｃは、第２送信情報に含まれるフレーム番号（フレーム３）に対応する撮像データＤ３を記憶部１３から読み出し、読み出した撮像データＤ３に基づく画像に対して、矢印の終点が所定の位置（座標（Ｘ２，Ｙ２））となるように、描画終了状態の指示情報（矢印の全体）を合成して指示画像Ｍ２を生成する。そして、図１１に示すように、全体制御部１２ｃは、第１表示部１５を制御して、指示画像Ｍ３に代えて指示画像Ｍ４を表示させ、指示画像Ｍ４と現在のシースルー画像Ｎ４とを同時に使用者に観察させる。第１端末１０の使用者は、指示画像Ｍ３およびＭ４を時間的に連続して観察することにより、第２の端末１０の使用者から複数のフレームにわたって指示を受けたことを認識することができる。
【００６８】
特に、第１端末１０の使用者は、複数のフレームにわたって指示情報の変化（上記の例では、始点から終点に向かって矢印が伸びていく様子）を観察することができるため、その指示情報に基づいて、第２端末２０の使用者からの指示をさらに認識しやすくなる。なお、図１１では、シースルー画像Ｎ３およびＮ４として視認される被写体が静止して示されているが、被写体が動いている場合も当然あり得る。
【００６９】
（撮像タイミング情報の他の例）
以上では、撮像タイミング情報として、フレーム番号を例に挙げて説明したが、これに限定されるわけではない。例えば、図１２は、上記撮像タイミング情報の他の例を模式的に示している。同図のように、撮像タイミング情報は、第１端末１０の撮像部１１によって各撮像データが取得された時刻を示す時間情報であってもよい。同図では、各フレーム１〜４の撮像データが例えば１秒おきに取得された場合に、そのときの撮像データの取得時刻を撮像タイミング情報として設定した場合を示している。なお、撮像データを取得する周期は、上記の１秒には限定されず、１秒よりも短い周期で撮像データが取得されてもよい。
【００７０】
また、図１３は、上記撮像タイミング情報のさらに他の例を模式的に示している。同図のように、撮像タイミング情報は、任意の時点（基準時刻）から各撮像データが取得された時刻までの経過時間を示す時間情報であってもよい。同図では、基準時刻を例えば１０時２５分３０秒とし、各フレーム１〜４の撮像データが例えば１秒おきに取得された場合において、上記基準時刻から撮像データ取得時までの経過時間（１〜４秒）を撮像タイミング情報として設定した場合を示している。
【００７１】
なお、撮像部１１は、上述のように計時部を内蔵しているため、撮像データの取得時刻や、基準時刻から撮像データ取得時までの経過時間の情報を容易に取得することが可能である。また、上記の基準時刻に関する情報が、別途基準時刻（標準時間）を管理する標準管理部（例えばサーバー）から第１端末１０に送られ、上記計時部にて上記基準時刻をもとに上記経過時間が算出される構成であってもよい。
【００７２】
このように、撮像タイミング情報が、各撮像データの取得時刻を示す時間情報であるか、基準時刻から各撮像データの取得時までの経過時間を示す時間情報であっても、それらの時間情報を用いることで、各フレーム１〜４に相当する撮像データを特定することができる。したがって、フレーム番号の代わりに、上記時間情報を撮像タイミング情報として用いても、指示情報を付加する撮像データを特定して、上述した本実施形態の通信方法を実現することが可能となる。
【００７３】
特に、撮像タイミング情報が各撮像データの取得時刻である場合、上記取得時刻が第１端末１０の使用者の作業時刻を直接示す。このため、上記取得時刻を撮像タイミング情報として含む第１送信情報を、第１端末１０から第２端末２０に送信することにより、第２端末２０の使用者は、上記撮像タイミング情報に基づいて、第１端末１０の使用者の作業がマニュアル通りに（またはスケジュール通りに）行われているかどうかを把握しやすくなり、その結果に応じてより適切な指示を出すことが可能となる。また、撮像タイミング情報として、基準時刻からの上記経過時間を示す時間情報を用いると、例えば３台以上の端末を用いて通信システム１を構築する場合でも、各端末間で共通の時刻を基準に作業を管理でき、管理がしやすい点で有効である。
【００７４】
（通信システムの他の構成）
図１４は、本実施形態の通信システム１の他の構成を模式的に示すブロック図である。図１４の通信システム１は、第１制御部１２が画像処理部１２ｄをさらに含んでいる点以外は、図２の通信システム１と全く同様の構成である。なお、第１制御部１２は、例えばＣＰＵで構成されるため、画像処理部１２ｄもＣＰＵで構成されるが、画像処理専用の回路（例えばＡＳＩＣ；Application Specific Integrated Circuit）を画像処理部として第１制御部１２とは別に設ける構成であってもよい。
【００７５】
画像処理部１２ｄは、撮像部１１で取得された撮像データのデータ量を削減する画像処理を行う。例えば、画像処理部１２ｄは、撮像部１１にて時間的に異なるフレームごとに撮像データが取得されるときに、少なくとも１フレームの撮像データを間引くことによって、データ量を削減する処理を行う。
【００７６】
図１５は、図１４の構成の通信システム１を用いた通信方法による処理の流れを模式的に示す説明図である。図１５で示した通信方法による処理は、Ｓ３の記憶工程とＳ４の第１送信工程との間にＳ３−１の画像処理工程が行われる以外は、図３の通信方法による処理と同じである。図１５では、Ｓ３−１において、画像処理部１２ｄが、フレーム１〜４のうち、フレーム２および４の撮像データを間引くことによってデータ量を削減する場合を示している。Ｓ４では、全体制御部１２ｃの制御により、第１送受信部１４が、画像処理部１２ｄによってデータ量が削減された撮像データ（撮像データＤ１およびＤ３）を第１送信情報に含ませて第２端末２０に送信する。
【００７７】
また、画像処理部１２ｄは、撮像部１１にて取得される撮像データを圧縮することによって、データ量を削減する処理を行ってもよい。
【００７８】
図１６は、図１４の構成の通信システム１を用いた通信方法による他の処理の流れを模式的に示す説明図である。図１６で示した通信方法による処理は、Ｓ３の記憶工程とＳ４の第１送信工程との間にＳ３−２の画像処理工程が行われる以外は、図３の通信方法による処理と同じである。図１６では、Ｓ３−２において、画像処理部１２ｄが、フレーム１〜４の全撮像データを圧縮することによってデータ量を削減する場合を示している。Ｓ４では、全体制御部１２ｃの制御により、第１送受信部１４が、画像処理部１２ｄによってデータ量が削減された撮像データ（圧縮された撮像データＤ１〜Ｄ４）を第１送信情報に含ませて第２端末２０に送信する。
【００７９】
以上のように、画像処理部１２ｃが、撮像部１１で取得された撮像データのデータ量を削減する画像処理を行うことにより、第１端末１０から第２端末２０に送信される第１送信情報のデータ量が減るため、データ送信の遅延（情報送信時間）を短縮することが可能となる。特に、画像処理部１２ｃは、撮像データを間引く、または圧縮することによってデータ量を削減するため、そのようなデータ量を削減する処理を確実に実現できる。なお、画像処理部１２ｃは、各フレームの撮像データの解像度（画素数）を低下させることによって、撮像データ全体のデータ量を削減してもよい。
【００８０】
（通信システムのさらに他の構成）
図１７は、本実施形態の通信システム１のさらに他の構成を模式的に示すブロック図である。図１７の通信システム１は、第１端末１０が、第１音声入力部１６と、第１音声出力部１７とをさらに備え、第１端末１０の第１制御部１２が、音声タイミング情報生成部１２ｅをさらに備えている。一方、第２端末２０は、第２音声入力部２５と、第２音声出力部２６とをさらに備えている。それ以外は、図１４で示した通信システム１の構成と全く同様である。以下、図１４の通信システム１と異なる部分について説明する。
【００８１】
第１音声入力部１６は、第１端末１０の使用者の音声の入力を受ける第１端末側音声入力部であり、例えばマイクで構成される。第１音声出力部１７は、第２端末２０からの第２送信情報に含まれる情報、すなわち、第２端末２０の使用者による音声指示の情報に基づいて、上記音声指示を出力する第１端末側音声出力部および指示情報出力部であり、例えばスピーカーで構成される。
【００８２】
音声タイミング情報生成部１２ｅは、第１制御部１２のＣＰＵの一部で構成され、撮像部１１の撮像タイミングに応じた音声タイミング情報を生成する。このような音声タイミング情報は、前述の撮像タイミング情報と同様に、撮像データのフレーム番号、または、撮像データ取得時の時間情報（撮像データの取得時刻、または基準時刻からの取得時までの経過時間）で構成することができる。なお、上述した撮像タイミング情報生成部１２ａは、音声タイミング情報生成部１２ｅを兼ねる構成であってもよい。
【００８３】
第２端末２０の第２音声入力部２５は、第２端末２０の使用者による音声指示の入力を受ける第２端末側音声入力部であり、例えばマイクで構成される。第２音声出力部２６は、第１端末１０から送信される第１送信情報に含まれる音声のデータに基づいて、上記の音声を出力する第２端末側音声出力部であり、例えばスピーカーで構成される。
【００８４】
図１８は、図１７の構成の通信システム１を用いた通信方法による処理の流れを模式的に示す説明図である。以下、上記通信方法について説明する。
【００８５】
まず、第１端末１０を使用する使用者の視界を、撮像部１１によって異なる撮像タイミングで撮像する（Ｓ１；撮像工程）。この結果、４つの撮像データＤ１〜Ｄ４が、時間的に早いほうから順に取得される。また、Ｓ１と並行して、第１音声入力部１６にて、上記使用者の音声の入力を受ける（Ｓ１−１；第１端末側音声入力工程）。
【００８６】
次に、撮像タイミング情報生成部１２ａにより、上記撮像タイミングに応じた撮像タイミング情報を生成する（Ｓ２；撮像タイミング情報生成工程）。続いて、音声タイミング情報生成部１２ｅにより、上記撮像タイミングに応じた音声タイミング情報を生成する（Ｓ２−１；音声タイミング情報生成工程）。ここでは、例として、撮像タイミング情報および音声タイミング情報として両方とも、時間的に異なるフレームごとに撮像データが取得されるときのフレーム番号（フレーム１〜４）を考える。
【００８７】
続いて、撮像部１１が各撮像タイミングで取得した各撮像データを、撮像タイミング情報および音声タイミング情報と対応付けて記憶部１３に記憶する（Ｓ３’；記憶工程）。例えば、撮像データＤ１〜Ｄ４の各々は、フレーム１〜４とそれぞれ対応付けられて記憶部１３に記憶される。そして、全体制御部１２ｃの制御により、各撮像データＤ１〜Ｄ４の少なくとも一部（ここでは全フレームの撮像データＤ１〜Ｄ４とする）と、それらに対応する撮像タイミング情報および音声タイミング情報（「フレーム１」〜「フレーム４」）と、第１音声入力部１６によって入力される第１端末１０の使用者の各フレームの音声のデータとを含む第１送信情報を、第１送受信部１４を介して第２端末２０に送信する（Ｓ４’；第１送信工程）。
【００８８】
上記のように、第１端末１０の使用者の音声のデータを、第１送信情報に含めて第２端末２０に送信することにより、第１端末１０と第２端末２０との間で、音声データをやりとりするライブコミュニケーションを実現することが可能となる。なお、Ｓ４’の工程は、Ｓ３’の工程の後に行われてもよいし、Ｓ３’の工程と並行して行われてもよい。
【００８９】
第２端末２０の第２送受信部２４にて、第１端末１０から送信された第１送信情報を受信すると（Ｓ５）、第２表示部２３は、上記第１送信情報に基づいて画像を表示する（Ｓ６；第２端末側表示工程）。つまり、Ｓ６では、第１送信情報に含まれる各撮像データＤ１〜Ｄ４によって形成される画像が第２表示部２３に表示（再生）される。また、Ｓ６と並行して、第１送信情報に含まれる音声のデータに基づいて、第２音声出力部２６から上記音声が出力される（Ｓ６−１；第２端末側音声出力工程）。これにより、第２端末２０の使用者（指示者）は、出力される音声に基づいて、第１端末１０の使用者（作業者）の現在の作業状況を把握することができるとともに、作業者からの音声による問い掛けに対して、次のＳ７’にて適切な指示を送ることが可能となる。
【００９０】
次に、第２端末２０において、指示者による指示情報の入力を受け付ける（Ｓ７’；指示情報入力工程）。上記指示情報としては、指示を示すマークおよび音声の少なくとも一方を考えることができる。例えば、指示者は、第２表示部２３に表示された画像を見ながら、指示入力部２１を操作することにより、所定のフレーム番号（撮像タイミング情報）の撮像データに対して、付加すべきマークを指示情報として入力することができる。また、指示者は、指示入力部２１および第２音声入力部２５によって、所定のフレーム番号（音声タイミング情報）の撮像データに対して、音声による指示を指示情報として入力することもできる。
【００９１】
ここでは、例として、フレーム２および３の撮像データに対して、音声による指示のみを入力する場合を考える。この場合、第２音声入力部２５によって音声を入力するとともに、指示入力部２１によって、音声による指示を付加すべき音声タイミング情報を入力する。例えば、第２音声入力部２５によって入力された音声指示の情報を“ｖｄａｔａ１．ｍｐ３”（ｍｐ３形式のデータを示す）とした場合、フレーム２〜３にわたって上記の音声指示を出す場合は、指示入力部２１によって、（ｖｄａｔａ１．ｍｐ３，２，３）を入力すればよい。このように、音声による指示情報を入力する場合、上記したＳ７’の指示情報入力工程は、第２端末２０において、第２端末２０の使用者による、音声タイミング情報に対応する音声指示（音声による指示情報）の入力を受ける第２端末側音声入力工程として扱うこともできる。
【００９２】
第２音声入力部２５にて、音声による指示情報の入力を受けると、第２制御部２２の制御により、入力された指示情報、および上記指示情報を付加すべき撮像データの撮像タイミングに応じた音声タイミング情報を含む第２送信情報を、第２送受信部２４を介して第１端末１０に送信する（Ｓ８’；第２送信工程）。ここでは、Ｓ７’で入力された音声による指示情報と、音声タイミング情報としてのフレーム番号（「フレーム２」、「フレーム３」）を含む第２送信情報が、第１端末１０に送信される。なお、第２送信情報には、上記指示情報を付加すべき撮像データＤ２およびＤ３は含まれず、撮像データＤ２および撮像データＤ３は第２端末２０から第１端末１０には送信されない。
【００９３】
第１端末１０の第１送受信部１４にて、第２端末２０からの第２送信情報（指示情報、音声タイミング情報）を受信すると（Ｓ９）、第１端末１０の全体制御部１２ｃは、第２送信情報に含まれる音声タイミング情報（「フレーム２」、「フレーム３」）に対応する撮像データＤ２およびＤ３を記憶部１３から読み出し、読み出した撮像データＤ２およびＤ３に基づく画像を第１表示部１５に表示させるとともに、上記指示情報を指示情報出力部から出力させる（Ｓ１０’、Ｓ１１’；出力工程）。特に、Ｓ１１’では、第２送信情報に含まれる音声指示の情報に基づいて、指示情報出力部としての第１音声出力部１７から、上記指示情報として上記音声指示が出力される。
【００９４】
図１９は、第１端末１０の使用者（作業者）が視認する視界を模式的に示している。第１表示部１５は、頭部装着型の映像表示装置１０ａで構成されており、撮像データＤ２およびＤ３に基づく画像Ｍ５およびＭ６が、映像表示装置１０ａによって順に表示される。しかも、これらの画像Ｍ５およびＭ６が表示される間に（フレーム２〜３の画像表示にわたって）、第１音声出力部１７によって音声指示が出力される。
【００９５】
このように、第２端末２０から第１端末１０に送信される第２送信情報が、音声タイミング情報を含み、第２送信情報に含まれる指示情報が、第２音声入力部２５に入力される音声指示の情報を含む場合において、全体制御部１２ｃは、記憶部１３から読み出した撮像データに基づく画像を第１表示部１５に表示させるとともに、上記音声指示を第１音声出力部１７から出力させる。これにより、作業者は、第１表示部１５に表示された画像に基づいて、指示を受ける撮像タイミング（上記の例では、フレーム２〜３）を的確に把握することができるとともに、第１音声出力部１７から出力される音声指示に基づいて、上記撮像タイミングにおける作業の適否を判断することが可能となる。
【００９６】
以上では、第２端末２０から第１端末１０に送信される第２送信情報に含まれる指示情報が、音声指示の情報のみである場合について説明したが、視覚的な指示情報（マーク）と音声との両方の情報を含んでいてもよい。
【００９７】
例えば、図２０は、上記通信方法の他の例を模式的に示す説明図である。図２０において、Ｓ６−１までの工程は、図１８と全く同様である。Ｓ７’では、指示者は、第２表示部２３に表示された画像を見ながら、指示入力部２１を操作することにより、フレーム２（撮像タイミング情報）の撮像データに対して、付加すべきマークを指示情報として入力するとともに、指示入力部２１および第２音声入力部２５により、フレーム２および３（音声タイミング情報）の撮像データに対して、音声による指示を指示情報として入力する。
【００９８】
上記のようにマークおよび音声が指示情報として入力されると、第２制御部２２の制御により、入力された指示情報と、上記指示情報を付加すべき撮像データの撮像タイミングに応じた撮像タイミング情報（「フレーム２」）および音声タイミング情報（「フレーム２」、「フレーム３」）とを含む第２送信情報が、第２送受信部２４を介して第１端末１０に送信される（Ｓ８’−１；第２送信工程）。
【００９９】
第１端末１０の第１送受信部１４にて、第２端末２０からの第２送信情報（指示情報、撮像タイミング情報、音声タイミング情報）を受信すると（Ｓ９）、第１端末１０の全体制御部１２ｃは、第２送信情報に含まれる撮像タイミング情報（「フレーム２」）および音声タイミング情報（「フレーム２」、「フレーム３」）に対応する撮像データＤ２およびＤ３を記憶部１３から読み出し（Ｓ１０）、読み出した撮像データＤ２およびＤ３に基づく画像を第１表示部１５に順に表示させるとともに、上記指示情報を指示情報出力部から出力させる（Ｓ１１’−１）。特に、Ｓ１１’−１では、指示画像生成部１２ｂが、撮像データＤ２に基づく画像（フレーム２の画像）と、指示情報（マーク）とを合成して指示画像を生成し、全体制御部１２ｃの制御により、第１表示部１５が上記の指示画像を表示する。また、第１表示部１５が、上記の指示画像（撮像データＤ２に基づく画像＋マーク）と、撮像データＤ３に基づく画像（フレーム３の画像）とを順に表示するのと併せて、第１音声出力部１７から、指示情報としての音声指示が出力される。
【０１００】
図２１は、上記通信方法のさらに他の例を模式的に示す説明図である。図２１において、Ｓ６−１までの工程は、図１８と全く同様である。Ｓ７’では、指示者は、第２表示部２３に表示された画像を見ながら、指示入力部２１を操作することにより、例えばフレーム２（撮像タイミング情報）の撮像データに対して、付加すべきマークを指示情報として入力してもよい。つまり、第１端末１０から第２端末２０に送信される第１送信情報に、音声タイミング情報および音声データが含まれる場合でも、第２端末２０から第１端末１０に送信される第２送信情報には、音声タイミング情報および音声指示を含ませず、撮像タイミング情報および視覚的な指示情報（マーク）のみを含ませるようにしてもよい（Ｓ８’−２；第２送信工程）。なお、Ｓ９以降の工程は、図３の場合と同様である。
【０１０１】
以上のことから、第２端末２０から第１端末１０に送信される第２送信情報は、指示情報を付加する撮像データに対応する撮像タイミング情報のみを含んでいてもよいし（図２１参照）、撮像タイミング情報に代えて、指示情報を付加する撮像データに対応する音声タイミング情報を含んでいてもよいし（図１８参照）、撮像タイミング情報に加えて、指示情報を付加する撮像データに対応する音声タイミング情報を含んでいてもよい（図２０参照）、と言える。
【０１０２】
このように、第１端末１０の全体制御部１２ｃは、撮像タイミング情報および音声タイミング情報の少なくとも一方に対応する撮像データを記憶部１３から読み出し、読み出した撮像データに基づく画像を第１表示部１５に表示させるとともに、指示情報を指示情報出力部から出力させる。これにより、視覚的な指示情報（マーク）については、撮像タイミング情報を利用して、第２端末２０から第１端末１０に指示を伝達し、音声については、音声タイミング情報を利用して、第２端末２０から第１端末１０に指示を伝達することが可能となる。したがって、視覚的な指示情報のみならず、音声による指示も、第１端末１０と第２端末２０とで共有することが可能となる。また、音声指示が可能となることで、マークに基づく指示のみを行う場合に比べて、第２端末２０での指示入力の選択肢が増えるため、作業環境（シーン）ごとにより適した指示を入力することが可能となる。
【０１０３】
（頭部搭載型の映像表示装置の構成）
次に、上述した第１端末１０を構成する映像表示装置１０ａの詳細について説明する。図１で示したように、映像表示装置１０ａは、第１端末１０の使用者（以下では、観察者とも称する）に提示する映像を表示する映像表示部６１と、保持部材６２とを有して構成される表示ユニットである。保持部材６２は、眼鏡のフレームおよびテンプルに相当し、映像表示部６１を観察者の眼前（例えば右眼の前）で保持するとともに、観察者の両眼の前に位置するバイザー６２ａを一体的に保持している。映像表示部６１は、クリップ留めによって保持部材６２に保持されており、いわゆるクリップオンタイプである。なお、映像表示装置１０ａは、映像表示部６１の一部が眼鏡のレンズを兼ねたレンズ一体型の構成であってもよい。また、映像表示装置１０ａは、映像表示部６１を２つ配置して両眼で映像を観察させるタイプであってもよい。
【０１０４】
図２２は、映像表示部６１の概略の構成を示す断面図である。映像表示部６１は、外界からの光を観察者の瞳に導くことにより、観察者に外界を観察させるとともに、観察者の視野の一部に映像を虚像として表示して観察者に提供する表示光学系６１ａを含む。上記表示光学系６１ａは、例えば、照明光学系６２と、偏光板６３と、偏光ビームスプリッタ（ＰＢＳ）６４と、表示素子６５と、接眼光学系６６とを有して構成されるが、この構成には限定されない。
【０１０５】
なお、説明の便宜上、方向を以下のように定義しておく。接眼光学系６６によって形成される光学瞳Ｐの中心と表示素子６５の表示面の中心とを光学的に結ぶ軸およびその軸の延長線を光軸とする。そして、接眼光学系６６のＨＯＥ（Holographic Optical Element；ホログラフィック光学素子）８３の光軸平面に垂直な方向をＸ方向とする。なお、ＨＯＥ８３の光軸平面とは、光軸と一致する光線がＨＯＥ８３に入射するときの、入射光線と反射光線とを含む平面を指す。また、各光学部材の光軸との交点における、面法線と垂直な面内で、Ｘ方向に垂直な方向をＹ方向とする。そして、Ｘ方向およびＹ方向に垂直な方向をＺ方向とする。このような定義を用いると、例えば、表示素子６５の法線と接眼光学系６６の後述する２つの平行な面８１ｂ・８１ｃの法線とを含み、かつ、表示素子６５の表示面の中心を含む断面は、ＹＺ断面となる。
【０１０６】
照明光学系６２は、表示素子６５を照明するものであり、光源７１と、照明ミラー７２と、拡散板７３とを有している。
【０１０７】
光源７１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源７１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源７１は、レーザ光源であってもよい。
【０１０８】
照明ミラー７２は、光源７１から出射された光（照明光）を拡散板７３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源７１とが略共役となるように、照明光を曲げる光学素子である。
【０１０９】
拡散板７３は、光源７１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板７３は、偏光板６３の表面に保持されている。
【０１１０】
偏光板６３は、拡散板７３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ６４に導く。
【０１１１】
ＰＢＳ６４は、偏光板６３を透過した光を反射型の表示素子６５の方向に反射させる一方、表示素子６５にて反射された光のうち、画像信号オンに対応する光（偏光板６３を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系６６の後述する接眼プリズム８１の光入射面８１ａに貼り付けられている。
【０１１２】
表示素子６５は、照明光学系６２からの光を変調して映像を表示する表示素子であり、例えば反射型のＬＣＤで構成されている。なお、表示素子６５はカラーフィルタを有する構成であってもよいし、光源７１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。表示素子６５は、長方形の表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。
【０１１３】
接眼光学系６６は、表示素子６５からの映像光を観察者の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系６６は、接眼プリズム８１と、偏向プリズム８２と、ＨＯＥ８３とを有している。
【０１１４】
接眼プリズム８１は、表示素子６５からＰＢＳ６４を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。
【０１１５】
接眼プリズム８１において、ＰＢＳ６４が貼り付けられる面は、表示素子６５からの映像光が入射する光入射面８１ａであり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面８１ｂ・８１ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面８１ｂは、ＨＯＥ８３で回折反射される映像光の出射面を兼ねている。
【０１１６】
接眼プリズム８１は、その下端部に配置されるＨＯＥ８３を挟むように偏向プリズム８２と接着剤で接合されている。本実施形態では、接眼プリズム８１を構成する面のうち、ＨＯＥ８３が接する面８１ｄ以外で映像光が透過する面（光入射面８１ａ、面８１ｂ）は、平面となっているが、曲面であってもよいし、平面と曲面とを組み合わせた面であってもよい。
【０１１７】
偏向プリズム８２は、接眼プリズム８１とＨＯＥ８３を介して貼り合わされて略平行平板を形成している。偏向プリズム８２を接眼プリズム８１と貼り合わせることで、外光が接眼プリズム８１の楔状の下端部を透過するときの屈折を偏向プリズム８２でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。
【０１１８】
ＨＯＥ８３は、接眼プリズム８１に接して設けられ、接眼プリズム８１内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ８３は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ８３のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源７１の発光波長）とほぼ対応している。
【０１１９】
上記の構成において、照明光学系６２の光源７１から出射された光は、照明ミラー７２で反射され、拡散板７３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板６３を透過する。そして、偏光板６３を透過した光は、ＰＢＳ６４で反射され、表示素子６５に入射する。
【０１２０】
表示素子６５では、入射光が画像信号に応じて変調される。このとき、画像信号オンに対応する映像光は、表示素子６５にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ６４を透過して接眼プリズム８１の内部に光入射面８１ａから入射する。一方、画像信号オフに対応する映像光は、表示素子６５にて偏光方向が変換されずに出射されるため、ＰＢＳ６４で遮断され、接眼プリズム８１の内部に入射しない。
【０１２１】
接眼プリズム８１では、入射した映像光が接眼プリズム８１の対向する２つの面８１ｃ・８１ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ８３に入射し、そこで回折反射されて面８１ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、観察者は、表示素子６５に表示された映像を虚像として観察することができる。つまり、観察者は、映像で提示される作業内容を視認しながら作業を行うことができる。
【０１２２】
一方、接眼プリズム８１、偏向プリズム８２およびＨＯＥ８３は、外光をほとんど全て透過させるので、観察者は外界をシースルーで観察することができる。したがって、表示素子６５に表示された映像の虚像は、観察者の視野（視界）内で、外界の一部に重なって観察されることになる。
【０１２３】
なお、本実施形態では、表示素子６５として、反射型のＬＣＤを用いているが、透過型のＬＣＤを用い、それに応じて映像表示部６１の光学的な設計を変更してもよい。
【０１２４】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【０１２５】
本発明は、例えば互いに通信可能に接続される複数の端末を有する通信システムに利用可能である。
【符号の説明】
【０１２６】
１      通信システム
１０      第１端末
１０ａ    映像表示装置
１１      撮像部
１２ａ    撮像タイミング情報生成部
１２ｂ    指示画像生成部
１２ｃ    全体制御部（出力制御部）
１２ｄ    画像処理部
１２ｅ    音声タイミング情報生成部
１３      記憶部
１４      第１送受信部
１５      第１表示部（指示情報出力部）
１６      第１音声入力部（第１端末側音声入力部）
１７      第１音声出力部（第１端末側音声出力部、指示情報出力部）
２０      第２端末
２１      指示入力部（指示情報入力部）
２３      第２表示部
２４      第２送受信部
２５      第２音声入力部（第２端末側音声入力部）
２６      第２音声出力部（第２端末側音声出力部）
ＮＷ      ネットワーク（通信回線）
【図１】
2019075684.tif 000003
【図２】
2019075684.tif 000004
【図３】
2019075684.tif 000005
【図４】
2019075684.tif 000006
【図５】
2019075684.tif 000007
【図６】
2019075684.tif 000008
【図７】
2019075684.tif 000009
【図８】
2019075684.tif 000010
【図９】
2019075684.tif 000011
【図１０】
2019075684.tif 000012
【図１１】
2019075684.tif 000013
【図１２】
2019075684.tif 000014
【図１３】
2019075684.tif 000015
【図１４】
2019075684.tif 000016
【図１５】
2019075684.tif 000017
【図１６】
2019075684.tif 000018
【図１７】
2019075684.tif 000019
【図１８】
2019075684.tif 000020
【図１９】
2019075684.tif 000021
【図２０】
2019075684.tif 000022
【図２１】
2019075684.tif 000023
【図２２】
2019075684.tif 000024