(57)【要約】      （修正有）【課題】インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム及び方法を提供する。【解決手段】相互コミュニケーションシステム１は、装着者に装着され装着者の視界と同様の視野映像信号を撮像し、装着者の音声信号を出力すると共にリモートユーサ端末からの音声信号を入出力する眼鏡型コミュニケーション装置２ａと、少なくとも１つのリモートユーザ端末４ａとネットワーク５を介して眼鏡型コミュニケーション装置２ａ及びリモートユーザ端末４ａと通信可能に接続される管理サーバ３とを備える。管理サーバ３は、眼鏡型コミュニケーション装置２ａとリモートユーザ端末４ａとの相互通信を確立する。【選択図】図１
2017079385.tif 000002
【特許請求の範囲】
【請求項１】
現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムであって、
前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
前記リモート情報端末は、前記現場情報端末から送信される情報を入出力する現場情報入出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする相互コミュニケーションシステム。
【請求項２】
請求項１に記載の相互コミュニケーションシステムにおいて、
前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーションシステム。
【請求項３】
請求項２に記載の相互コミュニケーションシステムにおいて、
前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーションシステム。
【請求項４】
請求項３に記載の相互コミュニケーションシステムにおいて、現場の店舗内には複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする相互コミュニケーションシステム。
【請求項５】
請求項３又は請求項４に記載の相互コミュニケーションシステムにおいて、
前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データデータベースを有することを特徴とする相互コミュニケーションシステム。
【請求項６】
請求項３乃至請求項５の内の一つに記載の相互コミュニケーションシステムにおいて、
前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする相互コミュニケーションシステム。
【請求項７】
現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムを用いた相互コミュニケーション方法であって、
前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする相互コミュニケーション方法。
【請求項８】
請求項７に記載の相互コミュニケーション方法において、
前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から前記現場の前記現場情報端末にアクセスして当該現場とコミュニケーションをする際に、
前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする相互コミュニケーション方法。
【請求項９】
請求項８に記載の相互コミュニケーション方法において、前記現場に複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現場に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする相互コミュニケーション方法。
【請求項１０】
実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と前記管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおいて、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
前記画像処理部は、前記入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
前記音声処理部は、前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記音声の出力部に供給し、
前記動作認識部は、前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記合成処理部は、前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部に供給し、
前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
前記コミュニケーション制御部は、さらに
前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート／フレームレート調整処理部、の何れか１つ以上を含み、
前記モニター表示処理部は、前記入力部により撮影した視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記通信品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示し、
前記ビットレート／フレームレート調整処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び／又は画素数を変更する
ことを特徴とする相互コミュニケーションシステム。
【請求項１１】
実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおける相互コミュニケーション方法において、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部から入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
前記入力部から入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部に供給し、
前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記視野映像信号及び前記音声信号を前記出力部と前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
さらに
撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
前記ユーザ端末との間で通信する映像のコマ数、及び／又は画素数を変更する
ことを特徴とする相互コミュニケーション方法。
【請求項１２】
現場側のカメラの映像信号、マイクの音声信号、姿勢センサーの姿勢データを受け、映像信号及び音声信号をユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションプログラムであって、
前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給するステップ、
前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給するステップ、
前記視野映像信号及び前記音声信号を前記スピーカーと通信インターフェース、ネットワークを介して対応する前記ユーザ端末へ送信するステップ、
撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示するステップ、
前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示するステップ、
前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び／又は画素数を変更するステップ
をコンピュータに実行させる相互コミュニケーションプログラム。
【請求項１３】
現場側のカメラの映像信号、マイクの音声信号、を受け、映像信号及び音声信号を遠隔地のユーザ端末との間で通信する相互コミュニケーション装置に搭載される相互コミュニケーションシステムにおいて、
前記コミュニケーション装置は、
遠隔地のユーザに説明する対象物をユーザに説明する説明者が装着して使用できる眼鏡型とし、
当該コミュニケーション装置の姿勢を示す姿勢センサーと、
前記カメラ及び前記姿勢センサーから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給する手段と、
前記マイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給する手段と、
前記合成処理部により合成した前記対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を前記ユーザ端末に送信する手段と、
を設けたことを特徴とする相互コミュニケーションシステム。
【請求項１４】
請求項１３に記載された相互コミュニケーションシステムは、さらに、
前記カメラで撮影した前記視野映像信号に基づく映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示する手段と、
前記視野映像信号の通信速度の目安を示す品質情報を前記ユーザ端末の表示部に表示する手段と、
前記ユーザ端末と相互コミュニケーション装置の間で通信する映像のコマ数、及び／又は画素数を変更する手段と、
を有することを特徴とする相互コミュニケーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラムに関するものであって、特に、現場の映像及び音声を送信可能な装置を装着する実店舗内の店員又は作業現場の作業員等と、ネットワークを介して店舗外の顧客又は作業現場以外の作業指導員等との相互にコミュニケーションが可能なシステム及び方法に係り、特に、装着可能な小型の眼鏡型コミュニケーション装置を用いた相互コミュニケーションシステム及び相互コミュニケーション方法、並びに相互コミュニケーションプログラムに関する。
【背景技術】
【０００２】
現在、インターネットを介して各種の商品を販売するネットショップ（仮想店舗）と、商品の購入申込を行う顧客側のユーザ端末との間でインターネットを介して双方向通信を行なう電子商取引は、自宅等のユーザ端末から何時でも自由に所望する商品を購入することができ、購入商品に対する決済も銀行口座からの自動引き落としが可能な為に、仮想店舗の集合である仮想的な商店街に相当するショッピングモール等が益々普及している。
このようなネットショップにおいては、例えば、商品売場にいない顧客が仮想店舗の係員のアドバイスを受け、商品のイメージを確認しながら商品を購入するような販売システムも提案されている。
【０００３】
しかしながら、上述の販売システムでは、その取引対象が既製品及び量産品である同一の物として取り扱うことができないような商品（例えば、生鮮食料品や手作り品など）の取引に適用することができないという課題が存在する。
【０００４】
そこで、例えば、特許文献１に記載されるネット販売システムが提案されている。特許文献１では、ネットショップの実店舗運営手段が、入店が許可されたユーザが所有するユーザ端末から送信される購入意志を含む情報に対して、実店舗側で実際に商品販売を行う画像及び音声を上記ユーザ端末へ送信し、販売する現実の商品に対するユーザからの購入決定の意志を含む情報を受信した際に店舗用端末から取得したその商品を包装封止する画像を購入決定の意志を含む情報を送信してきたユーザ端末に対して送信する構成を備える。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０２６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の構成では、実店舗側が商品を包装する様子を撮影機器により撮影し、その商品包装画像を店舗用端末からユーザ端末へネットワークを介して送信しているにすぎない。
すなわち、実店舗側より一方的に商品包装画像を送信するものであり、実店舗側とユーザとの間での双方向のコミュニケーションの観点からは十分ではない。例えば、ユーザが実店舗に展示される様々な商品を確認したい場合には、仮想店舗（ネットショップ）に掲載される画像により判断しなければならず、インタラクティブ性については、何ら考慮されていない。
そこで、本発明の目的は、小型の眼鏡型コミュニケーション装置を装着する実店舗の店員（装着者）又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の相互コミュニケーションシステムは、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムであって、
前記現場情報端末は、特定の装着者に装着され、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力する現場情報入出力手段を備え、
前記リモート情報端末は、前記現場情報端末から送信される情報を出力する現場情報出力手段と、少なくとも当該リモート情報端末利用者の音声を入出力する音声入出力手段を備えており、
前記管理サーバは、前記ネットワークを介して、前記現場情報端末及び前記リモート情報端末とを通信可能に接続しており、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立する機能を有することを特徴とする。
【０００８】
さらに本発明の相互コミュニケーションシステムにおいては、前記現場情報端末は、現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場の前記現場情報端末にアクセスして当該現場である現実の店舗内でのショッピングをする、あるいは、作業現場とのコミュニケーションをする際に、
前記管理サーバが、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理する予約登録手段と、前記相互通信を可能とする相互通信用の日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
【０００９】
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記管理サーバは、前記眼鏡型コミュニケーション装置を特定する前記日時限定パスワードを認証する認証処理手段を備え、認証処理手段による認証結果に応じて、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信を確立することを特徴とする。
【００１０】
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、前記現場には複数の眼鏡型コミュニケーション装置が設置されており、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置が予約されることを特徴とする。
【００１１】
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記管理サーバは、前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信期間中における前記装着者の前記視野映像信号及び音声信号並びに前記リモート情報端末からの音声信号を格納する実績データのデータベースを有することを特徴とする。
【００１２】
さらに本発明の眼鏡型コミュニケーション装置を備えた相互コミュニケーションシステムにおいては、
前記予約登録手段により登録される前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約情報を複数格納するスケジュール管理データベースを備えることを特徴とする。
【００１３】
本発明の相互コミュニケーション方法は、現場情報端末とリモート情報端末と管理サーバがネットワークを介して接続されて、前記現場情報端末とリモート情報端末との間で相互にコミュニケーションが達成される相互コミュニケーションシステムを用いた相互コミュニケーション方法であって、
前記現場情報端末は、特定の装着者に装着されており、現場情報入出力手段により、前記装着者の視界と同様の視野映像情報と前記装着者の音声信号を入出力し、
前記リモート情報端末は、現場情報入出力手段により前記現場情報端末から送信される情報を出力し、かつ、音声入出力手段により、少なくとも当該リモート情報端末利用者の音声を入出力し、
前記管理サーバは、当該管理サーバを経由し、前記現場情報端末と前記リモート情報端末との相互通信を確立することを特徴とする。
【００１４】
さらに本発明の相互コミュニケーション方法においては、
前記現場情報端末は現場に配設され、前記現場情報端末の前記現場情報入出力手段は、現場にいる装着者が装着する眼鏡型コミュニケーション装置であり、
前記リモート情報端末の利用者は、遠隔地から現場に配設する前記現場情報端末にアクセスしてコニュニケーションをとるに際して、
前記管理サーバが、予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約を管理しており、前記相互通信を可能とする日時限定パスワードを発行するパスワード発行手段を有することによって、前記眼鏡型コミュニケーション装置と前記リモート情報端末との間の相互コミュニケーションの予約を事前に確立することを特徴とする。
【００１５】
さらに本発明の相互コミュニケーション方法においては、前記現場に複数の眼鏡型コミュニケーション装置が設置されている場合、
前記管理サーバの前記予約登録手段により、前記現場情報入出力手段である前記眼鏡型コミュニケーション装置と前記リモート情報端末との相互通信日時の予約をする際には、前記現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約することを特徴とする。
【００１６】
実店舗側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムであって、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
入力部、表示部、出力部、通信インターフェース部、画像処理部、音声処理部、合成処理部、動作認識部、を含み、
前記画像処理部は、前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、前記合成処理部に供給し、
前記音声処理部は、前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を前記出力装置のスピーカーに供給し、
前記動作認識部は、前記入力データを受け、当該データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記合成処理部は、前記視野映像信号及び前記音声信号を前記表示部及び前記出力部の通信インターフェース部に供給し、
前記通信インターフェース部は、前記視野映像信号及び前記音声信号を、前記ネットワークを介して対応するユーザ端末へ送信するものであって、
前記コミュニケーション制御部は、さらに
前記表示部のモニターへの表示機能を処理するモニター表示処理部、通信品質表示処理部、ビットレート／フレームレート調整機能処理部、の何れか１つ以上を含み、
前記モニター表示処理部は、
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記品質表示機能処理部は、前記コミュニケーション装置と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、同様にユーザ端末と管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をユーザ端末側の表示部にも表示し、
前記ビットレート／フレームレート調整機能処理部は、前記ユーザ端末との間で通信する映像のコマ数、及び／又は画素数を変更する
ことを特徴とする。
【００１７】
実店舗・現場側のコミュニケーション装置、ユーザ側のユーザ端末、前記コミュニケーション装置と前記ユーザ端末間のデータを管理する管理サーバ、前記コミュニケーション装置と前記ユーザ端末と管理サーバを接続するネットワーク、を備えた相互コミュニケーションシステムにおける相互コミュニケーション方法は、
前記コミュニケーション装置は、コミュニケーション制御部を有し、
前記コミュニケーション制御部は、
前記入力部のカメラから入力される視野映像信号及び視線方向を含むデータを受け、前記コミュニケーション装置を装着する装着者の視界に対応する視野映像信号を求め、合成処理部に供給し、
前記入力部のマイクから入力される音声信号を前記合成処理部に供給し、また、前記ユーザ端末から送信された音声信号を出力部のスピーカーに供給し、
前記入力部の姿勢データを受け、当該姿勢データに基づき前記視線方向を含むデータを算出して前記合成処理部に供給し、
前記視野映像信号及び前記音声信号を前記出力部のスピーカーと前記通信インターフェース部、ネットワークを介して対応するユーザ端末へ送信し、
さらに
前記合成処理部により生成された前記視野映像信号及び前記音声信号を前記カメラにより撮影した映像表示に、視聴中マーク、予約残時間、水平確認用グリッド、の何れか１つ以上をオーバーレイして表示、あるいは前記コミュニケーション装置の操作により非表示メニュー画を表示し、
前記コミュニケーション装置と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報をインジケーターとして表示し、前記ユーザ端末と前記管理サーバとの定期的な信号のやりとりの結果から算出される通信速度の目安を示す品質情報を前記ユーザ端末の表示部にも表示し、
前記ユーザ端末との間で通信する映像のコマ数、及び／又は画素数を変更する
ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステムを提供することが可能となる。
例えば、眼鏡型コミュニケーション装置を介して実店舗の装着者が、遠隔地にいるユーザからの希望に応じて商品を手に取り説明することで、遠隔地にいるユーザは実店舗内に居るかの如きリアル感で行動することができ、より一層現実に近いバーチャル来店を実現できる。
また、眼鏡型コミュニケーション装置を介して建築現場等の作業現場で作業する作業員の視線のままの映像（作業員の視野内の映像）が、遠隔地の建設会社の端末に送信されることから、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施例に係る相互コミュニケーションシステムの全体概略構成図である。
【図２】図１に示す眼鏡型コミュニケーション装置の外観斜視図である。
【図３】図２に示す眼鏡型コミュニケーション装置を構成するコミュニケーション制御部の機能ブロック図である。
【図４】図１に示す眼鏡型コミュニケーション装置の他の外観斜視図である。
【図５】図４に示す眼鏡型コミュニケーション装置を構成するコミュニケーション制御部の機能ブロック図である。
【図６】図４に示す骨伝導マイクの構成図である。
【図７】図４に示す骨伝導スピーカーの構成図である。
【図８】図１に示す実店舗端末の機能ブロック図である。
【図９】図１に示す管理サーバの機能ブロック図である。
【図１０】相互コミュニケーションシステムの概略シーケンス図である。
【図１１】図９に示す管理サーバの処理フローを示すフローチャートである。
【図１２】図８に示す実店舗端末及びコミュニケーション制御部の処理フローを示すフローチャートである。
【図１３】図１に示すユーザ端末の処理フローを示すフローチャートである。
【図１４】管理サーバによる予約画面の表示例である。
【図１５】管理サーバによる予約画面の表示例である。
【図１６】管理サーバによる予約画面の表示例である。
【図１７】予約登録時の画面表示例である。
【図１８】予約登録完了及び日時限定パスワード送信時の表示画面例である。
【図１９】予約検索時の画面表示例である。
【図２０】予約検索時の画面表示例である。
【図２１】予約変更時の画面表示例である。
【図２２】予約変更完了時の画面表示例である。
【図２３】予約削除時の画面表示例である。
【図２４】予約削除時の画面表示例である。
【図２５】予約削除完了時の画面表示例である。
【図２６】相互通信時におけるユーザ端末の画面表示例である。
【図２７】本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。
【図２８】相互通信時におけるユーザ端末の画面表示例である。
【図２９】本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。
【図３０】表示部のモニター画面の一例を示す図である。
【図３１】図２９に示すコミュニケーション制御部の処理フローを示すフローチャートである。
【発明を実施するための形態】
【００２０】
本明細書において、実店舗で眼鏡型コミュニケーション装置を装着する装着者及び作業現場で眼鏡型コミュニケーション装置を装着する作業者を総称して装着者と称する場合もある。また、本明細書において、「実店舗」とは、商取引される商品を扱う店舗はもとより、ショールーム等の商取引の対象となる商品を展示する展示場や同一のものとして取り扱うことが難しい商品（例えば中古車や中古物件など）のオークションや販売場所も含むものとする。さらに、コールセンター等実際の画面を参照しながら、操作説明を行う場合などの作業現場も含めて「現場」と称する場合もある。
【００２１】
また、以下の実施例では、実店舗内に配置される小型のコミュニケーション装置の具体例としては眼鏡型コミュニケーション装置を例にとって説明するが、小型カメラと音声マイクを備えた小型コミュニケーション装置を用いても良い。
以下、図面を用いて本発明の実施例について説明する。
【実施例１】
【００２２】
図１は、本発明の一実施例に係る相互コミュニケーションシステムの全体概略構成図である。
図１に示すように、相互コミュニケーションシステム１は、実店舗２、管理サーバ３、ユーザＡが所有するパーソナルコンピュータ（以下、ＰＣと称する）であるユーザ端末４ａ、ユーザＢが所有するタブレットであるユーザ端末４ｂ、ユーザＣが所有するスマートフォン（携帯電話）であるユーザ端末４ｃ、及びこれらを双方向通信可能に接続するネットワーク５から構成される。
実店舗２は、眼鏡型コミュニケーション装置２ａ、ルーター２ｂ、及びＰＣである実店舗端末２ｃを備える。
眼鏡型コミュニケーション装置２ａ及び実店舗端末２ｃは、ルーター２ｂを介してネットワーク５に接続される。
眼鏡型コミュニケーション装置２ａ及びルーター２ｂとの間は、例えば、Ｗｉ−Ｆｉ（ソフトバンクＢＢ株式会社の登録商標）又は、Ｂｌｕｅｔｏｏｔｈ（Ｂｌｕｅｔｏｏｔｈ  ＳＩＧ,Ｉｎｃ.：ブルートゥース  エスアイジー，インコーポレイテッドの登録商標）により通信接続されている。
なお、ネットワーク５に接続されるユーザ端末は、図１に示す３台に限られるものではなく複数台接続可能であり、またユーザ端末が全てスマートフォン或はタブレットの場合もあり得る。また、実店舗２内に設置される実店舗端末２ｃは、ＰＣに代えてスマートフォン又はタブレットであっても良い。
【００２３】
（眼鏡型コミュニケーション装置）
図２は、図１に示す眼鏡型コミュニケーション装置の外観斜視図である。
図２に示すように、装着者に装着され、携帯可能な小型の眼鏡型コミュニケーション装置２ａは、眼鏡本体２４及びコミュニケーション制御部２０から構成される。眼鏡本体２４は、主として、左テンプル２４ａ、右テンプル２４ｂ、レンズ枠２４ｃ、レンズ又はガラス２４ｄとで構成される。コミュニケーション制御部２０は、右テンプル２４ｂに着脱自在に取り付けられている。図２では、一般的に右目が効き目の場合が多いことから、右テンプル２４ｂにコミュニケーション制御部２０を取り付けた例を示しているが、勿論、コミュニケーション制御部２０を左テンプル２４ａに取り付けても良い。
【００２４】
コミュニケーション制御部２０は、撮像部２１、音声入出力部２２、及びこれらを支持する支持部２３から構成される。
支持部２３は、その長さが調整可能であり、眼鏡型コミュニケーション装置２ａを装着する店員毎に、レンズ又はガラス２４ｄと撮像部２１との間隙及び、レンズ又はガラス２４ｄと撮像部２１との相対的な位置決めが可能となっている。
撮像部２１は、前面（レンズ又はガラス２４ｄと反対側の面）にカメラ２１ａを有すると共に、側面に姿勢センサー２１ｂを有する。
また撮像部２１は、後面（レンズ又はガラス２４ｄと対向する側の面）に薄型の小型ディスプレイ２１ｃを備える。
ここで、小型ディスプレイ２１ｃとして、例えば、液晶ディスプレイ（ＬＣＤ）或は有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。また、カメラ２１ａとして、例えば、ＣＣＤ又は動画フルＨＤカメラ等が用いられる。
音声入出力部２２は、右テンプル２４ｂと対向する側の面に、マイク２２ａ及びスピーカー２２ｂを有する。また、音声入出力部２２は、図示しない、音量調整ボタン、メニュー選択ボタン、及び決定ボタンを備える。
【００２５】
図３に、眼鏡型コミュニケーション装置２ａを構成するコミュニケーション制御部２０の機能ブロック図を示す。
コミュニケーション制御部２０は、入力Ｉ／Ｆ２０１、出力Ｉ／Ｆ２０２、映像取得部２０３、音声取得部２０４、画像処理部２０５、音声処理部２０６、合成処理部２０７、動作認識部２０８、通信Ｉ／Ｆ２０９、ＧＰＳ装置２１１、及びこれらを相互に接続する内部バス２１０を備える。
ここで、画像処理部２０５、音声処理部２０６、合成処理部２０７、動作認識部２０８、及びＧＰＳ装置２１１は、例えば、図示しない各種プログラムを格納するＲＯＭ及び演算過程のデータ等を一時的に格納するＲＡＭ等のメモリと、上記ＲＯＭに格納されるプロフラムを読み出し実行するＣＰＵ等のプロセッサにより実現される。
【００２６】
入力Ｉ／Ｆ２０１は、カメラ２１ａから入力される映像信号を、内部バス２１０を介して映像取得部２０３へ出力すると共に、マイク２２ａから入力される装着者の音声信号（会話）を、内部バス２１０を介して音声取得部２０４へ出力する。
また、入力Ｉ／Ｆ２０１は、姿勢センサー２１ｂから入力される姿勢データ（眼鏡型コミュニケーション装置２ａの姿勢を示すデータ）を、内部バス２１０を介して動作認識部２０８へ出力する。
【００２７】
映像取得部２０３は、取得された映像信号を、内部バス２１０を介して画像処理部２０５へ転送する。
また、音声取得部２０４は、取得された音声信号を、内部バス２１０を介して音声処理部２０６へ転送する。
動作認識部２０８は、入力された姿勢データに基づき、眼鏡型コミュニケーション装置２ａを装着する店員の少なくとも視線方向を含むデータを算出し、内部バス２１０を介して画像処理部２０５へ出力する。
画像処理部２０５は、入力される映像信号及び視線方向を含むデータに基づき、眼鏡型コミュニケーション装置２ａを装着する店員の視界（視野内）に対応する視野映像信号を求め、内部バス２１０を介して合成処理部２０７へ出力する。
音声処理部２０６は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス２１０を介して合成処理部２０７へ出力する。合成処理部２０７は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス２１０及び通信Ｉ／Ｆ２０９を介してルーター２ｂへ送信する。
これにより、合成処理部２０７にて処理された上記音声信号及び視野映像信号は、ルーター２ｂ及びネットワーク５を介して対応するユーザ端末へ送信される。また、音声処理部２０６は、ユーザ端末から受信されるユーザの音声信号（会話）からノイズを除去しノイズ除去後の音声信号を、内部バス２１０及び出力Ｉ／Ｆ２０２を介して、スピーカー２２ｂへ出力する。
ＧＰＳ装置２１１は、４つ以上のＧＰＳ衛星からの距離を同時に取得することにより自身の位置情報を取得する。換言すれば、ＧＰＳ装置２１１は、眼鏡型コミュニケーション装置２ａを測位し、必要に応じて内部バス２１０及び通信Ｉ／Ｆ２０９を介してルーター２ｂへ出力する。これにより眼鏡型コミュニケーション装置２ａを装着する店員の位置情報を知ることが可能となると共に、特に、１つの眼鏡型コミュニケーション装置２ａを複数の店員にて共用する場合において、現在、眼鏡型コミュニケーション装置２ａがどこで使用されているか、又は、どこに保管されているか容易に把握することが可能となる。
ここで、コミュニケーション制御部２０は、さらに、モニター表示処理部、通信品質表示機能制御部、ビットレート／フレームレート調整機能処理部、を設けてもよい。係る構成を含む実施例については後述する。
【００２８】
図４は、眼鏡型コミュニケーション装置の変形例の外観斜視図である。
図４に示すように、眼鏡型コミュニケーション装置２ａ’は、眼鏡本体２４、カメラ２１ａ’、マイク２２ａ’，スピーカー２２ｂ’及びコミュニケーション制御部２０’から構成される。カメラ２１ａ’は、左右のレンズ枠２４ｃを連結する連結部に設けられている。また、左テンプル２４ａに設けられるスピーカー２２ｂ’は、例えば、骨伝導スピーカーが用いられる。また、右テンプル２４ｂに設けられるマイク２２ａ’は、例えば、骨伝導マイクが用いられる。
【００２９】
図５に、眼鏡型コミュニケーション装置２ａ’を構成するコミュニケーション制御部２０’の機能ブロック図を示す。
コミュニケーション制御部２０’は、入力Ｉ／Ｆ２０１、出力Ｉ／Ｆ２０２、映像取得部２０３、音声取得部２０４、画像処理部２０５、音声処理部２０６、合成処理部２０７、通信Ｉ／Ｆ２０９、及びこれらを相互に接続する内部バス２１０を備える。
ここで、画像処理部２０５、音声処理部２０６、及び合成処理部２０７は、例えば、図示しない各種プログラムを格納するＲＯＭ及び演算過程のデータ等を一時的に格納するＲＡＭ等のメモリと、上記ＲＯＭに格納されるプロフラムを読み出し実行するＣＰＵ等のプロセッサにより実現される。
【００３０】
入力Ｉ／Ｆ２０１は、カメラ２１ａ’から入力される映像信号を、内部バス２１０を介して映像取得部２０３へ出力すると共に、マイク２２ａ’から入力される装着者の音声信号（会話）を、内部バス２１０を介して音声取得部２０４へ出力する。
【００３１】
映像取得部２０３は、取得された映像信号を、内部バス２１０を介して画像処理部２０５へ転送する。
また、音声取得部２０４は、取得された音声信号を、内部バス２１０を介して音声処理部２０６へ転送する。
画像処理部２０５は、入力される映像信号を、眼鏡型コミュニケーション装置２ａを装着する店員の視界（視野内）に対応する視野映像信号として、内部バス２１０を介して合成処理部２０７へ出力する。
音声処理部２０６は、入力される音声信号からノイズを除去しノイズ除去後の音声信号を、内部バス２１０を介して合成処理部２０７へ出力する。
合成処理部２０７は、入力されるノイズ除去後の音声信号と上記視野映像信号を重畳或は同期させ通信用に圧縮等の処理を実行し、内部バス２１０及び通信Ｉ／Ｆ２０９を介してルーター２ｂへ送信する。
これにより、合成処理部２０７にて処理された上記音声信号及び視野映像信号は、ルーター２ｂ及びネットワーク５を介して対応するユーザ端末へ送信される。また、音声処理部２０６は、ユーザ端末から受信されるユーザの音声信号（会話）からノイズを除去しノイズ除去後の音声信号を、内部バス２１０及び出力Ｉ／Ｆ２０２を介して、スピーカー２２ｂ’へ出力する。
【００３２】
以下に、マイク２２ａ’及びスピーカー２２ｂ’として用いられる、骨伝導マイク及び骨伝導スピーカーについて説明する。
図６は、骨伝導マイク２２ａ’の構成図である。
図６に示すように、骨伝導マイク２２ａ’は、振動センサー２２１、増幅器２２２、及びＡ／Ｄ変換器２２３から構成される。
振動センサー２２１は、骨を伝達する声帯の振動を取得し、増幅器２２２へ出力する。
Ａ／Ｄ変換器２２３は、増幅器２２２にて増幅された眼鏡型コミュニケーション装置２ａ’を装着する店員の音声信号を、コミュニケーション制御部２０’を構成する入力Ｉ／Ｆ２０１へ出力する。
また、図７に骨伝導スピーカー２２ｂ’の構成図を示す。
骨伝導スピーカー２２ｂ’は、骨導スピーカー２２４、増幅器２２５、及びＤ／Ａ変換器２２６から構成される。
Ｄ／Ａ変換器２２６は、コミュニケーション制御部２０’を構成する出力Ｉ／Ｆ２０２から入力されるユーザ端末を所有するユーザの音声信号を、アナログ信号に変換し増幅器２２５に出力する。増幅器２２５にて増幅されたユーザの音声信号を骨導スピーカー２２４へ出力する。
ここで、骨導スピーカー２２４は、例えば、振動板、マグネット、ヨーク、及びボイスコイルを備え、音声信号に応じて振動板を振動させ、当該振動を骨に伝達する。
【００３３】
（実店舗端末）
図８は、実店舗端末２ｃの機能ブロック図である。
図８に示すように、実店舗端末２ｃは、入力部２３１、表示部２３２、入力Ｉ／Ｆ２３３、出力Ｉ／Ｆ２３４、演算部２３５、ログイン認証部２３６、通信Ｉ／Ｆ２３９、及びこれらを相互に接続する内部バス２４０を備える。
また、実店舗端末２ｃは、電源及び電池からなるバッテリー部２３８を有する。
ここで、演算部２３５及びログイン認証部２３６は、例えば、図示しない各種プログラムを格納するＲＯＭ及び演算過程のデータ等を一時的に格納するＲＡＭ等のメモリと、上記ＲＯＭに格納されるプロフラムを読み出し実行するＣＰＵ等のプロセッサにより実現される。
【００３４】
入力部２３１は、例えば、キーボード及びマウスから構成され、実店舗端末２ｃへのログイン時に入力するユーザ名及びパスワード、その他パラメータ等の入力情報を入力Ｉ／Ｆ２３３へ出力する。
演算部２３５は、入力部２３１より入力される入力情報に対し、所望のアプリケーションプログラムをＲＯＭ（図示せず）より読み出し実行し、演算結果を内部バス２４０及び出力Ｉ／Ｆ２３４を介して表示部２３２へ出力する機能を有する。
また、演算部２３５は、後述する管理サーバ３へアクセスする機能も有している。ログイン認証部２３６は、入力部２３１より入力されたユーザ名及びパスワードが予め登録されたものか否かを判定し、ログイン認証の結果が「可」の場合には、その後のユーザによる実店舗端末２ｃの利用を許可する。
一方、ログイン認証の結果が「非」の場合には、ユーザによるその後の実店舗端末２ｃへのアクセスを禁止する。
通信Ｉ／Ｆ２３９は、入力部２３１から入力された上記入力情報及び演算部２３５による演算結果をルーター２ｂへ送信する。
【００３５】
なお、ユーザ端末４ａ、ユーザ端末４ｂ、及びユーザ端末４ｃの機能ブロック構成も、図８に示す実店舗端末２ｃの構成と同様のため、ここでは説明を省略する。
【００３６】
（管理サーバ）
図９は、管理サーバ３の機能ブロック図である。
図９に示すように、管理サーバ３は、入力部３１、表示部３２、入力Ｉ／Ｆ３３、出力Ｉ／Ｆ３４、予約登録・変更部３５、予約検索部３６、予約削除部３７、パスワード発行部３８、認証処理部３９、スケジュール管理ＤＢ（データベース）４０、パスワード管理ＤＢ４１、実績データＤＢ４２、通信Ｉ／Ｆ４３、及びこれらを相互に接続する内部バス４４を備える。
ここで、予約登録・変更部３５、予約検索部３６、予約削除部３７、パスワード発行部３８、及び認証処理部３９は、例えば、図示しない各種プログラムを格納するＲＯＭ及び演算過程のデータ等を一時的に格納するＲＡＭ等のメモリと、上記ＲＯＭに格納されるプロフラムを読み出し実行するＣＰＵ等のプロセッサにより実現される。
【００３７】
スケジュール管理ＤＢ４０は、後述する相互コミュニケーションシステム１の利用スケジュールを、例えば、カレンダー形式にて格納し、予約情報を記憶している。
パスワード管理ＤＢは、後述する店舗端末２ｃからの相互コミュニケーションシステム１の利用予約登録可能な場合に発行される相互通信を実行する際の日時限定パスワードを格納する。
ここで、格納される日時限定パスワードは、相互コミュニケーションシステム１を利用する実店舗毎にそれぞれ対応付けて格納される。
また、日時限定パスワードは、例えば、予約登録された日時限定のパスワードであって、当該予約登録日時経過後に、仮に店舗端末２ｃより日時限定パスワードが送信されたとしても、受け付けることは無い。換言すれば、そのような日時限定パスワードは、予約登録日時を経過した時点で無効化される。また、実績データＤＢ４２には、後述する眼鏡型コミュニケーション装置２ａから送信される、上述の眼鏡型コミュニケーション装置２ａを装着する店員の音声信号と視野映像信号及び、ユーザ端末から受信されるユーザの音声信号音声信号を実績データとして格納する。
【００３８】
予約登録・変更部３５は、通信Ｉ／Ｆ４３を介して受信される実店舗端末２ｃからの予約登録及び予約変更に応じて、内部バス４４を介してスケジュール管理ＤＢ４０へ予約登録情報を格納又は既に登録された予約情報を変更し更新する。
予約検索部３６は、内部バス４４を介してスケジュール管理ＤＢ４０にアクセスし、指定された予約情報を検索する。
予約削除部３７は、内部バス４４を介してスケジュール管理ＤＢ４０にアクセスし、指定された予約情報を削除する。
パスワード発行部３８は、相互コミュニケーションシステム１の利用予約が登録された実店舗端末２ｃへ、上述の日時限定パスワードを、内部バス４４、通信Ｉ／Ｆ４３及びネットワーク５を介して送信する。
認証処理部３９は、通信Ｉ／Ｆ４３を介して受信される実店舗端末２ｃからの日時限定パスワードの認証処理を実行する。
【００３９】
次に、相互コミュニケーションシステム１全体の動作について説明する。なお、以下では、一例としてユーザ端末４ａを所有するユーザＡと実店舗２とが、相互コミュニケーションシステム１を利用する場合を想定し説明する。
図１０は、相互コミュニケーションシステム１の概略シーケンス図である。
先ず、準備段階として、実店舗２とユーザ端末４ａを所有するユーザＡとの間で、相互コミュニケーションシステム１を利用し中継する時間を予め決定する（ステップＳ１０１）。なお、仮に、実店舗２内の眼鏡型コミュニケーション装置２ａが空き状態の場合には、直後に利用又は予約をすることが可能である。
実店舗２内の実店舗端末２ｃは、ルーター２ｂ及びネットワーク５を介して管理サーバへ、眼鏡型コミュニケーション装置２ａの利用日時、すなわち、相互コミュニケーションシステム１の利用日時の予約要求を送信する。そして、管理サーバ３の管理画面にアクセスし所望の利用日時を入力する（ステップＳ１０２）。当該入力された利用日時が登録可能である場合、管理サーバ３は、パスワード発行部３８より通信Ｉ／Ｆ４３及びネットワーク５を経由し、実店舗端末２ｃへ日時を限定するパスワードである上述の「日時限定パスワード」を送信する（ステップＳ１０３）。
【００４０】
次に、実店舗端末２ｃは、ルーター２ｂ及びネットワーク５を経由し、ユーザ端末４ａへ「中継相互通信画面ＵＲＬ」及び「日時限定パスワード」を送信する（ステップＳ１０４）。
予約利用日時になると、実店舗２側では店員が眼鏡型コミュニケーション装置２ａを装着し起動の上、待機状態に入る。
一方、ユーザ端末４ａ側では、ＷＥＢブラウザにより相互通信画面にアクセスし、「日時限定パスワード」を入力する。
管理サーバ３は、ユーザ端末４ａより入力された「日時限定パスワード」を認証処理し、認証結果が「可」の場合に、管理サーバ３を介して眼鏡型コミュニケーション装置２ａとユーザ端末４ａ間で中継、中継映像の視聴と通話を行う（ステップＳ１０５）。
ここで、中継期間中の視野映像信号及び通話による音声信号は、全て管理サーバ３内の実績データＤＢ４２に格納される。
実店舗端末２ｃより管理サーバ３へ、中継した視野映像信号及び会話（音声信号）の再生要求があると、管理サーバ３の管理画面にアクセスし、対応する実績データＤＢ４２に格納される、視野映像信号及び会話（音声信号）が再生される（ステップＳ１０６）。
【００４１】
（管理サーバの処理フロー）
図１１は、管理サーバ３の処理フローを示すフローチャートである。
先ず、ここで管理サーバ３の処理フローを説明する前に、実店舗端末２ｃがネットワーク５を経由し管理サーバ３の管理画面にアクセスする際の、管理画面の表示形態について説明する。
図１４〜図１６は管理サーバ３による予約画面の表示例、すなわち、管理画面の表示形態を示している。
図１４に示すように、管理サーバの管理画面は、予約管理システム画面と称され、カレンダー表示される第１の表示領域、予約ＩＤ及び日時限定パスワードが表示され、「予約開示日時」及び「予約終了日時」を受け付ける第２の表示領域、「予約登録」ボタン、「予約変更」ボタン、「予約検索」ボタン、及び「予約削除」ボタンが表示される第３の表示領域から構成される。
第１の表示領域の右上欄には、それぞれ「月」、「週」、及び「日」単位での表示範囲の切り替えを指定可能とする領域を有する。図１４に示す例では、「月」単位が指定され、「月」の領域のみが、ハイライト表示されている。また、第１の表示領域の左上覧には、表示月の切り替えを指定可能とするボタンが設けられている。図１４に示す第１の表示領域中のカレンダー表示において、２０１５年１０月１日〜２０１５年１０月７日までの期間内の予約状況が「予約」アイコンにて表示されている。１０月２日（金）及び１０月４日（日）にそれぞれ予約登録されていることを示している。
【００４２】
また、図１５は、「週」単位の表示が選択された表示状態を示しており、第１の表示領域の右上欄の「週」のみがハイライト表示されている。第１の表示領域中のカレンダー表示において、２０１５年１０月１日〜２０１５年１０月７日までの期間内で、１０月２日（金）１２：００〜１３：００及び１０月４日（日）１５：００〜１６：００にそれぞれ予約登録されていることを示している。
また、図１６は、「日」単位の表示が選択された表示状態を示しており、第１の表示領域の右上欄の「日」のみがハイライト表示されている。第１の表示領域中のカレンダー表示において、２０１５年１０月２日（金）１２：００〜１３：００に予約登録されていることを示している。
【００４３】
図１１に示すように、ステップＳ１１１では、実店舗端末２ｃから眼鏡型コミュニケーション装置２ａの利用日時の予約要求を受け付けると、管理サーバ３を構成する予約登録・変更部３５は、当該予約が新規登録か否かを判定する。新規登録の場合にはステップＳ１１２へ進み、新規登録でない場合にはステップＳ１１３へ進む。
続いて、ステップＳ１１２では、実店舗端末２ｃは、管理サーバ３の管理画面にアクセスし、予約開始日時及び予約終了日時を登録（開始終了日時を登録）する。ここで、図１７に予約登録時の画面表示例、すなわち、管理画面を示す。
実店舗２の装着者は、図１７に示す第１の表示領域を「週」単位表示に切り替え、第１の表示領域内のカレンダー表示において、所望の予約日時である「１０月６日１８：００〜１９：００」（図中のハッチング領域）の欄にカーソルを移動しクリックする。
すると、第２表示領域中の「予約開始日時」の欄に「２０１５／１０／６  １８：００」が、また、「予約終了日時」の欄に「２０１５／１０／６  １９：００」が自動的に入力される。その後、第３の表示領域中の「予約登録」ボタンにカーソルを移動しクリックする。予約登録・変更部３５は、この登録された開始終了日時を受け付ける。
【００４４】
ステップＳ１１４では、予約登録・変更部３５は、スケジュール管理ＤＢ４０にアクセスし、ステップＳ１１２で受け付けた開始終了日時と重複する登録の有無を確認する。確認の結果、重複する登録が既に存在する場合には、ステップＳ１１２へ戻り、実店舗端末２ｃによる開始終了日時の登録を促す。一方、確認の結果、重複する登録がなければ、ステップＳ１１５へ進む。
【００４５】
ステップＳ１１５では、パスワード発行部３８は、ネットワーク５を経由して実店舗端末２ｃへ日時を限定するパスワード（日時限定パスワード）を送信すると共に、当該日時限定パスワードと送信先の実店舗端末２ｃを特定させて（紐付けて）パスワード管理ＤＢ４１に格納する。このときの管理画面の表示形態を図１８に示す。図１８に示すように、「予約を登録しました。日時限定パスワードをお客様へお伝えください。１２３４５６」とのダイアログボックスが画面上に表示される。それと共に、管理画面中の第２の表示領域の「予約ＩＤ」欄に「９９９９９９９９９９」が表示され、また、当然ながら「日時限定パスワード」欄に「１２３４５６」が表示される。なお、ここで、「予約ＩＤ」は管理サーバ３が自動的に生成する。
【００４６】
ステップＳ１１３では、予約検索部３６は、管理画面上に予約ＩＤの入力を促すダイアログボックスを表示する。このダイアログボックスが表示された状態を図１９に示す。図１９に示すように、ダイアログボックスには、「予約検索  予約ＩＤから検索を行います。」とのメッセージと、その下に予約ＩＤの入力を受け付ける領域、「検索」ボタン及び「キャンセル」ボタンが含まれる。予約ＩＤの入力を受け付ける領域に「９９９９９９９９９９」が入力され、「検索」ボタンにカーソルが移動されクリックされると、予約検索部３６は、スケジュール管理ＤＢ４０にアクセスし、対応する予約情報を抽出する。予約検索部３６は、抽出後の予約情報を図２１に示すように管理画面中に表示する。具体的には、第１の表示領域のカレンダー表示中に、１０月１２（月）１０：００〜１１：００の欄にハッチングされた「予約」アイコンを表示すると共に、第２の表示領域において、「予約ＩＤ」欄に先に入力された「９９９９９９９９９９」が表示され、「予約開始日時」の欄にハッチングされた「２０１５／１０／１２  １０：００」及び「予約終了日時」の欄にハッチングされた「２０１５／１０／１２  １１：００」が表示される。
【００４７】
ステップＳ１１６では、予約登録・変更部３５は、ステップＳ１１３にて抽出された予約情報に対し変更又は削除指示が入力されたか否かを判定する。予約変更が指示入力された場合にはステップＳ１１７へ進み、予約削除が指示入力された場合にはステップＳ１１９へ進む。
【００４８】
ステップＳ１１７では、予約登録・変更部３５は、図２１に示すように、管理画面において第１の表示領域中のカレンダー表示において、予約変更の対象となる予約情報がクリックにより指定されると、当該指定された予約情報に対応する「予約」アイコンがハッチング表示される。この状態にて、第２の表示領域中の「予約開始日時」及び「予約終了日時」の欄に、それぞれ変更後の日時が入力され、第３の表示領域中の「予約変更」ボタンへの指示入力（クリック）を受け付けると、予約登録・変更部３５は、当該変更後の予約開始終了日時を取り込む。
【００４９】
ステップＳ１１８では、予約登録・変更部３６は、スケジュール管理ＤＢ４０へアクセスし、ステップＳ１１７にて取り込んだ変更後の予約開始終了日時と重複する予約情報の有無を確認する。確認の結果、重複する予約情報が既に格納されている場合には、ステップＳ１１７へ戻り、再度、変更後の予約開始終了日時の入力を促す。一方、重複する予約情報が無い場合には、図２２に示すように、管理画面上に「予約を変更しました。」とのメッセージを含むダイアログボックスを表示し、ステップＳ１２０へ進む。
【００５０】
ステップＳ１１９では、予約削除部３７は、図２３に示す管理画面において、第１の表示領域のカレンダー表示中の削除対象「予約」アイコンがクリックにより指定され、第３の表示領域の「予約削除」ボタンへの指示入力を受け付けると、スケジュール管理ＤＢ４０にアクセスし上記削除対象予約情報を抽出すると共に、図２４に示すように管理画面上に予約情報の削除の実行を確認する旨のダイアログボックスを表示する。当該ダイアログボクスにて削除指示を受け付けると、上記抽出された削除対象予約情報をスケジュール管理ＤＢ４０より削除し、図２５に示すように、予約を削除した旨を知らせるダイアログボックスを管理画面上に表示し、次のステップＳ１２０へ進む。
【００５１】
以上のステップＳ１１１〜ステップＳ１１９までの処理が、管理サーバ３が実行する予約登録、予約変更、及び予約削除機能の処理フローである。
【００５２】
次に、ユーザ端末４ａよりネットワーク５を経由して管理サーバ３が日時限定パスワードを受信する（ステップＳ１２０）と、受信された日時限定パスワードは、管理サーバ３を構成する通信Ｉ／Ｆ４３及び内部バス４４を介して認証処理部３９に入力される。
【００５３】
ステップＳ１２１では、認証処理部３９は、パスワード管理ＤＢ４１へアクセスし、入力された日時限定パスワードがパスワード管理ＤＢ４１内に格納されているか否かを判定することで認証処理を実行する。認証処理の結果が「可」の場合、すなわち、入力された日時限定パスワードと一致する日時限定パスワードがパスワード管理ＤＢ４１内に格納されている場合、ステップＳ１２２へ進み、管理サーバ３を介してユーザ端末４ａと眼鏡型コミュニケーション装置２ａとの間の中継が確立する。中継が終了後、次のステップＳ１２４へ進む。一方、認証処理の結果が「非」の場合、すなわち、入力された日時限定パスワードと一致する日時限定パスワードがパスワード管理ＤＢ４１内に格納されていない場合、認証処理部３９は、通信Ｉ／Ｆ４３及びネットワーク５を経由して、ユーザ端末４ａへ無効メッセージ又はリトライ要求を送信し（ステップＳ１２３）、処理を終了する。
【００５４】
ステップＳ１２４では、管理サーバ３は、実店舗端末２ｃからネットワーク５を経由して、中継期間中における視野映像信号及び音声信号のダウンロード要求の有無を監視する。当該ダウンロード要求が無い場合には処理を終了する。一方、上記ダウンロード要求があった場合には、管理サーバ３は、実績データＤＢ４２を参照し、ダウンロード要求に対応する視野映像信号及び音声信号を、ネットワーク５を経由し実店舗端末２ｃへ送信し（ステップＳ１２５）、処理を終了する。
【００５５】
（実店舗端末及びコミュニケーション制御部の処理フロー）
図１２に、実店舗端末２ｃ及び眼鏡型コミュニケーション装置２ａを構成するコミュニケーション制御部２０の処理フローを示す。
以下では、図２及び図３に示した眼鏡型コミュニケーション装置２ａを用いた場合を例に説明する。
【００５６】
ステップＳ１３１では、実店舗端末２ｃを構成する入力部２３１を介して、表示部２３２に表示されるログイン画面にログインパスワードを入力する。ログイン画面は、「ユーザ名」と「パスワード」の入力を受け付ける領域を有する。「パスワード」入力欄にログインパスワードの入力を受け付けると、入力されたログインパスワードは、入力Ｉ／Ｆ２３３及び内部バス２４０を介してログイン認証部２３６に入力される。ログイン認証部２３６は入力されたログインパスワードが正規のものか否か判定、すなわち、ログイン認証処理を実行する（ステップＳ１３２）。ログイン認証処理の結果が「非」の場合にはステップＳ１３１へ戻り、ログイン認証処理の結果が「可」の場合には、ステップＳ１３３へ進む。
【００５７】
ステップＳ１３３では、実店舗端末２ｃは、通信Ｉ／Ｆ２３９、ルーター２ｂ及びネットワーク５を経由し、管理サーバ３の管理画面にアクセスする。ステップＳ１３４では、実店舗端末２ｃは、上述の管理サーバ３の処理フローにて説明した管理画面にて、眼鏡型コミュニケーション装置２ａの利用、すなわち、相互コミュニケーションシステム１の利用日時の予約を実行する。
【００５８】
ステップＳ１３５にて、管理サーバ３よりネットワーク５を経由し日時限定パスワードを受信すると、実店舗端末２ｃは、ルーター２ｂ及びネットワーク５を経由し、ユーザ端末４ａへ「日時限定パスワード」及び「相互通信画面ＵＲＬ」を送信する（ステップＳ１３６）。
その後、予約された利用日時になると、眼鏡型コミュニケーション装置２ａが起動され、待機状態となる（ステップＳ１３７）。
管理サーバ３を介してユーザ端末４ａと眼鏡型コミュニケーション装置２ａとの間での中継が確立される（ステップＳ１３８）とステップＳ１３９に進む。
【００５９】
ステップ１３９では、眼鏡型コミュニケーション装置２ａを装着する店員の視界と同様の視野映像信号が、コミュニケーション制御部２０を構成する画像処理部２０５にて生成されると共に、眼鏡型コミュニケーション装置２ａを装着する店員による商品の説明等の音声信号が音声処理部２０６にて生成される。
合成処理部２０７にて視野映像信号と音声信号が重畳され、圧縮された視野映像信号及び音声信号がルーター２ｂ及びネットワーク５を経由し、ユーザ端末４ａへ送信される。また、ユーザ端末４ａの所有者であるユーザＡからの他の商品の紹介を要求する音声信号を、通信Ｉ／Ｆ２０９、音声処理部２０６及びスピーカー２２ｂを介して受信する。眼鏡型コミュニケーション装置２ａを装着する店員は、ユーザＡの要求に対応して他の商品を手に取り、その視野映像信号及び当該商品の説明に係る音声信号を、上記と同様にネットワーク５を経由し、ユーザ端末４ａへ送信する。このように、眼鏡型コミュニケーション装置２ａを介して実店舗２の店員が、ユーザＡからの希望に応じて商品を手に取り説明することで、より一層現実に近いバーチャル来店を実現できる。
【００６０】
ステップＳ１４０では、眼鏡型コミュニケーション装置２ａは停止状態となる。
ステップＳ１４１では、実店舗端末２ｃは、中継期間中における視野映像信号及び眼鏡型コミュニケーション装置２ａを装着する店員の音声信号並びにユーザ端末４ａの所有者であるユーザＡの音声信号のダウンロード要求を、ネットワーク５を経由して管理サーバ３へ送信する。
ステップＳ１４２では、管理サーバ３より実績データＤＢ４２に格納されるダウンロード要求に対応する、視野映像信号及び音声信号を、ネットワーク５を経由し実店舗端２ｃが受信し処理を終了する。
【００６１】
（ユーザ端末の処理フロー）
図１３は、ユーザ端末の処理フローを示す。なお、ここではユーザ端末４ａの処理フローを説明するが、遠隔地に存在するリモートユーザ端末４ｂ及びユーザ端末４ｃも同様である。また、上述の通り、ユーザ端末４ａの機能ブロック構成は、図８に示した実店舗端末２ｃの機能ブロック構成と同様である。従って、以下では、図８に示した各機能ブロックを用いて説明する。
【００６２】
図１３に示すように、ステップＳ１５３では、ユーザ端末４ａは、ネットワーク５を経由し、実店舗端末２ｃから「日時限定パスワード」及び「相互通信画面ＵＲＬ」を通信Ｉ／Ｆ２３９にて受信する。
【００６３】
ステップＳ１５４では、ＷＥＢブラウザを用いて、入力部２３１より「相互通信画面ＵＲＬ」を入力し、相互通信画面にアクセスすると共に、入力部２３１より「日時限定パスワード」を入力する。
【００６４】
ステップＳ１５７にて、ネットワーク５を経由し受信される管理サーバ３（認証処理部３９）による認証処理の結果が「非」の場合、ユーザ端末４ａは、管理サーバ３より無効メッセージを受信又はリトライ要求を受信し（ステップＳ１５６）、ステップＳ１５４へ戻る。一方、管理サーバ３による認証処理の結果が「可」の場合、管理サーバ３を介してユーザ端末４ａと眼鏡型コミュニケーション装置２ａとの間での中継が確立される（ステップＳ１５７）とステップＳ１５８に進む。
【００６５】
ステップＳ１５８では、ユーザ端末４ａの相互通信画面に、眼鏡型コミュニケーション装置２ａを装着する店員の視界と同様の視野映像信号が表示されると共に、眼鏡型コミュニケーション装置２ａを装着する店員による商品の説明等の音声信号がユーザ端末４ａの図示しないスピーカーから出力される。なお、図２６に相互通信時におけるユーザ端末４ａの画面表示例を示す。
図２６に示すように、眼鏡型コミュニケーション装置２ａを装着する店員により手に取られたブラウスが画面のほぼ中央に表示される。ユーザ端末４ａの所有者であるユーザＡは、相互通信画面及び店員の音声信号により、仮に、他の商品の確認及びその説明を得たい場合には、その旨、図示しないマイクを介し、ネットワーク５経由で眼鏡型コミュニケーション装置２ａを装着する店員へ送信する。例えば、図２６において棚に陳列された他の衣服についても同様に視聴でき、その商品の説明を聞くこともできる。これにより、ユーザ端末４ａの所有者であるユーザＡは、あたかも自身が実店舗２に来店しているかのような感覚にて、商品の確認及び購入が可能となる。
【００６６】
ステップＳ１５９では、ユーザ端末４ａからの視聴終了動作により、中継が終了し処理が完了する。
【００６７】
なお、本実施例において、管理サーバ３を所有し、眼鏡型コミュニケーション装置２ａを有する相互コミュニケーションシステム１を運営する事業者が、予め実店舗２の経営者と利用契約を締結し、初期設定費用及び月額使用料金を対価として受け取る契約とし、相互コミュニケーションシステム１を月額固定費用で月間の利用回数に拠らず使用できる契約あるいは、基本料金に加えて月間の使用日数に応じた料金を課金する契約を取り交わしても良い。この場合、管理サーバ３は、実績データＤＢ４２を有することから、容易に従量制における料金を算出でき適正に課金することができる。
【００６８】
以上のとおり、本実施例によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の店員である装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム提供することが可能となる。
【００６９】
また、本実施例によれば、眼鏡型コミュニケーション装置を介して実店舗の装着者が、ユーザからの希望に応じて商品を手に取り説明することで、より一層現実に近いバーチャル来店を実現できる。
【実施例２】
【００７０】
図２７は、本発明の他の実施例に係る相互コミュニケーションシステムの全体概略構成図である。
実施例１では、実店舗２が眼鏡型コミュニケーション装置２ａ、ルーター２ｂ、及びＰＣである実店舗端末２ｃを備える構成としたのに対し、本実施例では、建築会社の端末２ｃ’、作業現場の作業員が装着する眼鏡型コミュニケーション装置２ａ、及び眼鏡型コミュニケーション装置２ａにより得られる視野映像信及び音声信号をスマートフォン等の携帯端末２ｂ’を備え、上記視野映像信号及び音声信号を、ネットワーク５及び管理サーバ３を経由し建設会社端末２ｃ’又は、リモートユーザ端末へ送信する構成とした点が異なる。その他の点又は構成は実施例１と同様であり、以下では重複する説明を省略する。
【００７１】
図２７に示すように、本実施例の相互コミュニケーションシステム１は、建設会社端末２ｃ’、管理サーバ３、ユーザＡが所有するＰＣであるユーザ端末４ａ、ユーザＢが所有すルーターブレットであるユーザ端末４ｂ、ユーザＣが所有するスマートフォン（携帯電話）であるユーザ端末４ｃ、作業現場における作業員が装着可能な眼鏡型コミュニケーション装置２ａ、作業員が所持するスマートフォン等の端末２ｂ’、及びこれらを双方向通信可能に接続するネットワーク５から構成される。
【００７２】
管理サーバ３は、実施例１と同様に図９に示す機能ブロック構成を備え、管理サーバ３の処理フローは、実施例１と同様に図１１に示す処理フローとなる。
また、建設会社端末２ｃ’、ユーザ端末４ａ、ユーザ端末４ｂ、及びユーザ端末４ｃの機能ブロック構成は、上述の図８に示す機能ブロック構成と同様である。なお、これらの処理フローは図１３におけるステップＳ１５８において、例えば、ユーザ端末４ａを所有するユーザＡが建築中の建物のオーナーである場合、ユーザ端末４ａの相互通信画面、又は、建設会社端末２ｃ’の相互通信画面に、眼鏡型コミュニケーション装置２ａを装着する作業員の視界と同様の視野映像信号が表示されると共に、眼鏡型コミュニケーション装置２ａを装着する作業員による工期の進捗状況の説明等の音声信号がユーザ端末４ａ又は建設会社端末２ｃ’の図示しないスピーカーから出力される。
なお、図２８に相互通信時におけるユーザ端末４ａ又は建設会社端末２ｃ’の画面表示例を示す。図２８に示すように、眼鏡型コミュニケーション装置２ａを装着する作業員により、建設現場等の作業現場の状況が画面のほぼ中央に表示される。例えば、建設会社端末２ｃ’を操作する熟練社員は、相互通信画面及び作業員の音声信号により、仮に、作業手順の確認及び工期進捗状況についての相談等、図示しないマイクを介し、ネットワーク５経由で眼鏡型コミュニケーション装置２ａを装着する作業員へ送信する。
これにより、遠隔地の建設会社の熟練社員は、あたかも自身が作業現場にいるかのような感覚にて、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。商品の確認及び購入が可能となる。
【００７３】
また、スマートフォン等の携帯端末２ｂ’及び眼鏡型コミュニケーション装置２ａを構成するコミュニケーション制御部２０の処理フローは、上述の図１２において、実施例１ではルーター２ｂ及びネットワーク５を経由して管理サーバ３又はユーザ端末４ａへ送信される情報は、本実施例では、携帯端末２ｂ’よりネットワーク５を経由しユーザ端末４ａ又は建設会社端末２ｃ’に送信される。
本実施例によれば、小型の眼鏡型コミュニケーション装置を装着する実店舗の装着者又は作業現場の作業員等が、自身の視野内の映像及び音声を遠隔地のユーザ端末に送信すると共に、ユーザからの要求に応じて視野の変更等をリアルタイムで実行することにより、インタラクティブ性を向上し得る眼鏡型コミュニケーション装置を有する相互コミュニケーションシステム提供することが可能となる。
【００７４】
また、本実施例によれば、眼鏡型コミュニケーション装置を介して建築現場等の作業現場で作業する作業員の視線のままの映像（作業員の視野内の映像）が、遠隔地の建設会社の端末に送信されることから、作業手順の確認及び工期進捗状況を容易に把握することが可能となる。
【００７５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施例では現場と眼鏡型コミュニケーション装置が１対１として説明しているが、現場には複数の眼鏡型コミュニケーション装置が設置される場合においては、管理サーバの予約登録手段により、現場情報入出力手段である眼鏡型コミュニケーション装置とリモート情報端末との相互通信日時の予約をする際には、現実の店舗内に設置された複数の眼鏡型コミュニケーション装置の内の一つの眼鏡型コミュニケーション装置を予約する構成としている。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
【実施例３】
【００７６】
図２９は、さらに、本発明の他の実施例に係る相互コミュニケーションシステム１におけるコミュニケーション制御部の構成例を示す図である。本実施例は、図３に示す実施例にモニター表示処理部２１２、通信品質表示処理部２１３、ビットレート／フレームレート調整処理部２１４、を追加したものであり、図３と同一部分には、同一符号を付し、その説明は省略する。
【００７７】
コミュニケーション制御部２０は、モニター表示を行うためのモニター表示処理部２１２、通信品質表示を行うための通信品質表示処理部２１３、通信する映像のコマ数／画素数の変更を行うためのビットレート／フレームレート調整処理部２１４、を有する。
モニター表示処理部２１２は、入力部のカメラ１ａで撮影した映像を表示部のモニター２１ｃに表示する。カメラ１ｃにて撮影された映像は、視野映像（画角）であり、中継を視聴する側において、カメラ１ｃによる中継がどの範囲を中継しているかを確認することができる視野映像（画角）である。表示部のモニター１ｃには、映像表示にオーバーレイ（重ね合せ）して、次の情報の表示／非表示を行う。
（１）視聴中マーク
（２）予約残時間
（３）水平確認用グリッド（カメラ撮影時に表示される十字線のようなもの）
情報の表示／非表示の切り替えは、例えば、眼鏡型コミュニケーション装置２ａに取り付けた操作ボタン（スイッチ）の操作により行う。
通信品質表示処理部２１３は、中継を視聴するリモート情報端末（ユーザ端末４）の表示画面に、通信速度の目安が分かるインジケーターを表示する。例えば、眼鏡型コミュニケーション装置２ａから管理サーバ３側に定期的にインジケーターを示す信号を送信し、管理サーバ３側にて通信速度を計算し、ある一定期間の平均的な通信速度（上り速度）をもとに通信品質を３段階で表示する（図３０参照）。
ビットレート／フレームレート調整処理部２１４は、通信する映像のコマ数／画素数の変更を行う。
図３０Ａ、Ｂ、Ｃは、表示部２ｃのモニター画面の一例を示す図である。図３０Ａは、モニター画面２１ｃ０に、撮影中の視野映像の上に視聴中マーク２１ｃ１、予約残時間２１ｃ２、品質確認インジケーター２１ｃ３及びグリッド線２１ｃ４、などをオーバーレイして表示した例である。
これらの項目の表示・非表示の切り替えは、図３０Ｂに示す如く、モニター画面２１ｃ０上に表示される視聴中マークのＯＮ／ＯＦＦボタン２１ｃ１１、予約残時間のＯＮ／ＯＦＦボタン２１ｃ２１、インジケーターのＯＮ／ＯＦＦボタン２１ｃ３、及びグリッド線２１ｃ４予約残時間２１ｃ２、品質確認インジケーター２１ｃ３１、及びグリッド線のＯＮ／ＯＦＦボタン２１ｃ４１、を操作により行う。ボタン操作は、コミュニケーション装置の利用者により行われる。
【００７８】
図３１は、コミュニケーション制御部２０の処理フローを示すフローチャートである。
ステップＳ２０２では、映像取得部２０３は、入力部のカメラ２１ａから入力される映像信号（ステップＳ２０１）を取得し、画像処理部２０５に供給する。
ステップＳ２０３では、音声取得部２０４は、入力Ｉ／Ｆ２０１にて、入力部のマイク２２ａから入力される音声信号（ステップＳ２０１）を取得し、音声処理部２０６に供給する。
ステップＳ２０４では、画像処理部２０５は、入力Ｉ／Ｆ２０１から供給された映像信号を所定の画像処理を施して動作認識部２０８に供給する。
ステップＳ２０５では、音声処理部２０６は、入力Ｉ／Ｆ２０１から供給された音声信号を所定の音声処理を施して動作認識部２０８に供給する。
ステップＳ２０６では、動作認識部２０８は、前記入力部の姿勢センサーの姿勢データを受け、眼鏡型コミュニケーション装置２ａの利用する装着者の少なくとも視線方向を含む動作認識データを算出し、合成処理部２０７に供給する。
ステップＳ２０７では、合成処理部２０７は、画像処理部２０５、音声処理部２０６から供給された映像信号、音声信号、及び動作認識部２０８から供給されたデータを合成処理し、モニター表示処理部２１２、通信品質表示処理部２１３、ビットレート／フレームレート調整処理部２１４に供給する。
【００７９】
ステップＳ２０８では、モニター表示処理部２１２は、カメラ１ａから入力される視野映像信号を表示部のモニター２１ｃに表示する場合、カメラ１ａで撮影した映像表示に加えて、例えば、映像を視聴していることを示す視聴中マーク２１ｃ１、予約の残時間を示す予約残時間２１ｃ２、水平確認用のグリッド２１ｃ４、の何れか１つ以上をオーバーレイ（重ね合せる）可能とする処理を実行する。
ステップＳ２０９では、通信品質表示処理部２１３は、カメラ１ａによる中継を視聴するリモート情報端末の表示画面に、通信速度の目安となるインジケーター２１ｃ３を表示可能とする処理を実行する。インジケーター２１ｃ３は、例えば、品質を３段階で表示する。
ステップＳ２１０では、出力Ｉ／Ｆ２０２は、ステップＳ２０８、Ｓ２０９にて処理された映像信号及び音声信号を表示部２１ｃ及びスピーカー２２ｂに出力する。
ステップＳ２１１では、表示部２１ｃは、出力Ｉ／Ｆ２０２から出力された映像信号をモニターする。
ステップＳ２１２では、ビットレート／フレームレート調整処理部２１４、合成処理部２０７から受けた映像信号をユーザ端末に通信するに際して、映像のコマ数／画像数を変更（ビットレート／フレームレート調整）して通信Ｉ／Ｆ２０９に出力する。
ステップＳ２１３では、通信Ｉ／Ｆ２０９は、ステップＳ２１２にてビットレート／フレームレート調整された映像信号を、ネットワークを介してユーザ端末４ａ〜４ｃへ通信する。
【００８０】
これにより、ユーザ端末は、コミュニケーション装置２ａ側にて撮影して得られた映像信号をコミュニケーション装置２ａ側と同一視点で捉えることができる。
また、本実施例によれば、説明者が説明する対象物のカメラによる映像と対象物のマイクによる説明の音声との相関関係を図り、当該対象物の映像と音声を遠隔地のユーザ端末に送信することにより、例えば、コミュニケーション装置の説明者が自由に移動して、説明する対象物を代えても、説明者が捉えた対象物の視野映像と音声とを遠隔地のユーザ側に誤解なく正確に伝えることができる。
【符号の説明】
【００８１】
１…相互コミュニケーションシステム、２…実店舗、２ａ，２ａ’…眼鏡型コミュニケーション装置、２ｂ…ルーター、２ｂ’…携帯端末（スマートフォン）、２ｃ…実店舗端末、２ｃ’…建設会社端末、３…管理サーバ、４ａ…ユーザ端末a、４ｂ…ユーザ端末ｂ、４ｃ…ユーザ端末ｃ、５…ネットワーク、２０，２０’…コミュニケーション制御部、２１…撮像部、２１ａ，２１ａ’…カメラ、２１ｂ…姿勢センサー、２１ｃ…小型ディスプレイ、２２…音声入出力部、２２ａ，２２ａ’…マイク、２２ｂ，２２ｂ’…スピーカー、２３…支持部、２４…眼鏡本体、２４ａ…左テンプル、２４ｂ…右テンプル、２４ｃ…レンズ枠、２４ｄ…レンズ又はガラス、２０１…入力Ｉ／Ｆ、２０２…出力Ｉ／Ｆ、２０３…映像取得部、２０４…音声取得部、２０５…画像処理部、２０６…音声処理部、２０７…合成処理部、２０８…動作認識部、２０９…通信Ｉ／Ｆ、２１０…内部バス、２１１…ＧＰＳ装置、２１２…モニター表示処理部、２１３…通信品質表示処理部、２１４…ビットレート／フレームレート調整処理部、２２１…振動センサー、２２２…増幅器、２２３…Ａ／Ｄ変換器、２２４…骨導スピーカー、２２５…増幅器、２２６…Ｄ／Ａ変換器、２３１…入力部、２３２…表示部、２３３…入力Ｉ／Ｆ、２３４…出力Ｉ／Ｆ、２３５…演算部、２３８…バッテリー部、２３９…通信Ｉ／Ｆ、２４０…内部バス、３１…入力部、３２…表示部、３３…入力Ｉ／Ｆ、３４…出力Ｉ／Ｆ、３５…予約登録・変更部、３６…予約検索部、３７…予約削除部、３８…パスワード発行部、３９…認証処理部、４０…スケジュール管理ＤＢ、４１…パスワード管理ＤＢ、４２…実績データＤＢ、４３…通信Ｉ／Ｆ、４４…内部バス
【図１】
2017079385.tif 000003
【図２】
2017079385.tif 000004
【図３】
2017079385.tif 000005
【図４】
2017079385.tif 000006
【図５】
2017079385.tif 000007
【図６】
2017079385.tif 000008
【図７】
2017079385.tif 000009
【図８】
2017079385.tif 000010
【図９】
2017079385.tif 000011
【図１０】
2017079385.tif 000012
【図１１】
2017079385.tif 000013
【図１２】
2017079385.tif 000014
【図１３】
2017079385.tif 000015
【図１４】
2017079385.tif 000016
【図１５】
2017079385.tif 000017
【図１６】
2017079385.tif 000018
【図１７】
2017079385.tif 000019
【図１８】
2017079385.tif 000020
【図１９】
2017079385.tif 000021
【図２０】
2017079385.tif 000022
【図２１】
2017079385.tif 000023
【図２２】
2017079385.tif 000024
【図２３】
2017079385.tif 000025
【図２４】
2017079385.tif 000026
【図２５】
2017079385.tif 000027
【図２７】
2017079385.tif 000028
【図２９】
2017079385.tif 000029
【図３１】
2017079385.tif 000030
【図２６】
2017079385.tif 000031
【図２８】
2017079385.tif 000032
【図３０】
2017079385.tif 000033