(57)【要約】【課題】利用者に対し、視線情報を提示する技術を提供する。【解決手段】利用者が存在する第一の地点に設けられ、前記第一の地点から離れた第二の地点に存在する協力者によって操作される遠隔装置と通信するコミュニケーション装置であって、第一の地点を撮影する撮影部と、前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、前記遠隔装置にて表示させた前記撮影画像を見る前記協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部とを備える。【選択図】図１
2019110535.tif 000002
【特許請求の範囲】
【請求項１】
利用者が存在する第一の地点に設けられ、前記第一の地点から離れた第二の地点に設けられた遠隔装置と通信するコミュニケーション装置であって、
前記第一の地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、
を備えるコミュニケーション装置。
【請求項２】
前記表示制御部が、複数の前記遠隔装置からそれぞれ前記視線情報を受信し、当該視線情報に基づいて前記表示部に複数の視線を示す表示を行わせる請求項１に記載のコミュニケーション装置。
【請求項３】
前記コミュニケーション装置の少なくとも一部の位置を変えるように駆動する駆動部を備え、
前記出力制御部が、前記遠隔装置から受信した動作指示情報に基づいて前記駆動部を動作させることによって、前記利用者に対する動作を行わせる請求項１又は２に記載のコミュニケーション装置。
【請求項４】
前記表示制御部が、前記遠隔装置から、前記視線情報と共に当該視線情報を生成した時刻を示す生成時刻情報を取得し、当該生成時刻情報が示す時刻から前記視線の表示を行う時刻までに変化した前記表示部の向きの変化量に基づいて、前記表示部に表示させる視線の向きを補正する請求項１〜３の何れか一項に記載のコミュニケーション装置。
【請求項５】
前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と重複するように前記撮影部が配置され、
複数の前記撮影部で撮影した前記撮影画像の重複部分を合成し、前記撮影画像よりも解像度の高い合成画像とする画像合成部を備え、
前記画像送信部が、前記合成画像を前記遠隔装置へ送信する
請求項１〜４の何れか一項に記載のコミュニケーション装置。
【請求項６】
前記遠隔装置から前記協力者の感情の種別を示す感情信号を受信した場合に、前記表示制御部が、前記感情信号が示す感情の種別に応じた発光パターンで前記光源を発光させて、前記協力者の感情を提示する請求項１〜５の何れか一項に記載のコミュニケーション装置。
【請求項７】
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられ、前記コミュニケーション装置と通信する遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
前記第一の地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記表示装置に表示された前記撮影画像を見る前記協力者から前記利用者に対するメッセージを取得するメッセージ取得部と、
前記表示装置に表示された前記撮影画像を見る前記協力者の視線を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、
を備える遠隔コミュニケーションシステム。
【請求項８】
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられ、前記コミュニケーション装置と通信する遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
前記第一の地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記利用者の音声を示す音信号を前記遠隔装置へ送信する音信号送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記光源のうち、前記遠隔装置から受信した視線情報に応じて前記光源を発光させる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記音信号を受信する音信号受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記音信号に基づき、前記利用者の音声を認識し、文字列に変換する音声認識部と、
前記文字列に基づいて前記利用者の要求を判定する要求判定部と、
前記文字列に基づいて前記要求の対象を判定する要求対象判定部と、
前記要求に対応するメッセージを生成するメッセージ生成部と、
前記要求の対象を示す画像を前記撮影画像から抽出する対象抽出部と、
前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、
を備える遠隔コミュニケーションシステム。
【請求項９】
前記コミュニケーション装置が、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と一部重複するように前記撮影部が配置され、
前記遠隔装置が、
複数の前記撮影部で撮影した撮影画像の重複部分を合成して、前記撮影画像よりも解像度の高い合成画像とする画像合成部を更に備え、
前記表示制御部が、前記合成画像を前記表示装置へ表示させる
請求項７又は８に記載の遠隔コミュニケーションシステム。
【請求項１０】
前記遠隔装置が、前記コミュニケーション装置の撮影方向を指示する指示情報を前記コ
ミュニケーション装置へ送信する送信制御部を備え、
前記コミュニケーション装置が、前記遠隔装置から受信した指示情報に応じて、少なくとも前記撮影部の向きを変える駆動部を備える、
請求項９に記載の遠隔コミュニケーションシステム。
【請求項１１】
複数の協力者に関する属性情報を記憶した記憶部と、
前記利用者による入力情報、前記第一の地点における音情報、又は前記撮影部による前記撮影画像を選択用情報として取得する取得部と、
前記協力者の前記属性情報と前記選択用情報とに基づいて前記協力者を選択する選択部と、
前記選択部によって選択された前記協力者の連絡先に選択されたことを通知する通知部と、
を備える請求項７〜１０の何れか一項に記載の遠隔コミュニケーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、  コミュニケーション装置及び遠隔コミュニケーションシステムに関する。
【背景技術】
【０００２】
遠隔地に存在する人同士のコミュニケーションを実現するシステムとして、映像や音声を双方向に通信させてコミュニケーションを行う遠隔会議システムやテレプレゼンスシステム等が存在する。
【０００３】
特許文献１では、現場において実際の作業を行う作業者と遠隔地でこの作業者を監督する監督者との間の意思の疎通を図るための遠隔通信システムが提案されている。
【０００４】
また、人や機械が持つ能力をネットワークを介して提供し、人ができることを拡張するＩｏＡ（Internet of Abilities）という構想も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２５７４７５号公報
【特許文献２】特開２０１１−０７７６５２号公報
【特許文献３】特開２０１７−０３３５７５号公報
【非特許文献】
【０００６】
【非特許文献１】「共同外出の感覚を作る遠隔コミュニケーションシステム」筑波大学大学院博士課程システム情報工学研究科修士論文、張 慶椿、２０１１年３月、http://www.iplab.cs.tsukuba.ac.jp/paper/master/tsubaki_master.pdf、検索日：平成２９年１０月１０日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
通信装置等を介して遠隔地にいる人とコミュニケーションをとる場合、「あの車」、「そこの棚」などのように指示語を使って話をすると、何を対象として話をしているのかが分からなくなることがあった。人同士のコミュニケーションであれば、話している人の視線によって何について話しているのかが分かるが、遠隔地にいる人とのコミュニケーションでは、相手の視線が見えないため、指示語を使わず、「右前方を走っている赤い車」や「電話の横にある一番上の棚」などのように具体的に話す必要があり、円滑なコミュニケーションが図れないという問題があった。
【０００８】
また、初心者が熟練者のアドバイスを受けながら作業を行う場合、熟練者が何に注目しながら作業を進めるのかが重要な情報となるが、通信装置を介したコミュニケーションでは、この視線の情報が読み取れないという問題があった。
【０００９】
そこで、本発明は、利用者に対し、視線情報を提示する技術の提供を目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明のコミュニケーション装置は、
利用者が存在する第一の地点に設けられ、前記第一の地点から離れた第二の地点に存在する協力者によって操作される遠隔装置と通信するコミュニケーション装置であって、
第１地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る前記協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部とを備える。
【００１１】
上記課題を解決するため、本発明のコミュニケーションシステムは、
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に設けられた遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
第１地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記光源のうち、前記遠隔装置から受信した視線情報に応じた前記光源を発光させる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記表示装置に表示された前記撮影画像を見る協力者から前記利用者に対するメッセージを取得するメッセージ取得部と、
前記協力者が注視している前記撮影画像内の位置を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、を備える。
【００１２】
前記コミュニケーション装置は、前記表示制御部が、前記遠隔装置から、前記視線情報と共に当該視線情報を生成した時刻を示す生成時刻情報を取得し、当該生成時刻情報が示す時刻から前記視線の表示を行う時刻までに変化した前記表示部の向きの変化量に基づいて、前記表示部に表示させる視線の向きを補正してもよい。
【００１３】
また、上記課題を解決するため、本発明のコミュニケーションシステムは、
利用者が存在する第一の地点に設けられたコミュニケーション装置と、前記第一の地点から離れた第二の地点に存在する協力者によって操作される遠隔装置とを有する遠隔コミュニケーションシステムであって、
前記コミュニケーション装置が、
第１地点を撮影する撮影部と、
前記撮影部で撮影した撮影画像を前記遠隔装置へ送信する画像送信部と、
前記利用者の音声を示す音信号を前記遠隔装置へ送信する音信号送信部と、
前記遠隔装置から受信したメッセージを前記利用者に対して出力する出力制御部と、
前記コミュニケーション装置の外面において複数方向に配列された複数の光源を有する表示部と、
前記遠隔装置にて表示させた前記撮影画像を見る前記協力者の視線を示す視線情報を受信し、前記光源のうち、前記視線情報に応じた前記光源を発光させて、前記協力者の視線を示す表示を行わせる表示制御部と、を備え、
前記遠隔装置が、
前記撮影画像を受信する画像受信部と、
前記音信号を受信する音信号受信部と、
前記撮影画像を表示装置に表示させる表示制御部と、
前記音信号に基づき、前記利用者の音声を認識し、文字列に変換する音声認識部と、
前記文字列に基づいて前記利用者の要求を判定する要求判定部と、
前記文字列に基づいて前記要求の対象を判定する要求対象判定部と、
前記要求に対応するメッセージを生成するメッセージ生成部と、
前記要求の対象を示す画像を前記撮影画像から抽出する対象抽出部と、
前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する視線情報取得部と、
前記メッセージ及び前記視線情報を前記コミュニケーション装置へ送信する送信制御部と、を備える。
【００１４】
前記コミュニケーション装置は、前記表示制御部が、複数の前記遠隔装置からそれぞれ前記視線情報を受信し、当該視線情報に基づいて前記表示部に複数の視線を示す表示を行わせてもよい。
【００１５】
前記コミュニケーション装置は、前記コミュニケーション装置の少なくとも一部の位置を変えるように駆動する駆動部を備え、前記出力制御部が、前記遠隔装置から受信した動作指示情報に基づいて前記駆動部を動作させることによって、前記利用者に対する動作を行わせてもよい。
前記コミュニケーション装置は、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と重複するように前記撮影部が配置され、
複数の前記撮影部で撮影した前記撮影画像の重複部分を合成し、前記撮影画像よりも解像度の高い合成画像とする画像合成部を備え、
前記画像送信部が、前記合成画像を前記遠隔装置へ送信してもよい。
前記コミュニケーション装置は、前記遠隔装置から前記協力者の感情の種別を示す感情信号を受信した場合に、前記表示制御部が、前記感情信号が示す感情の種別に応じた発光パターンで前記光源を発光させて、前記協力者の感情を提示してもよい。
前記遠隔コミュニケーションシステムは、前記コミュニケーション装置が、前記撮影部を複数有し、前記撮影部によって撮影する撮影範囲が他の前記撮影部の撮影範囲と一部重複するように前記撮影部が配置され、
前記遠隔装置が、
複数の前記撮影部で撮影した撮影画像の重複部分を合成して、前記撮影画像よりも解像度の高い合成画像とする画像合成部を更に備え、
前記表示制御部が、前記合成画像を前記表示装置へ表示させてもよい。
前記遠隔コミュニケーションシステムは、前記遠隔装置が、前記コミュニケーション装置の撮影方向を指示する指示情報を前記コミュニケーション装置へ送信する送信制御部を備え、
前記コミュニケーション装置が、前記遠隔装置から受信した指示情報に応じて、少なくとも前記撮影部の向きを変える駆動部を備えてもよい。
前記遠隔コミュニケーションシステムは、複数の協力者に関する属性情報を記憶した記憶部と、
前記利用者による入力情報、前記第一の地点における音情報、又は前記撮影部による前記撮影画像を選択用情報として取得する取得部と、
前記協力者の前記属性情報と前記選択用情報とに基づいて前記協力者を選択する選択部と、
前記選択部によって選択された前記協力者の連絡先に選択されたことを通知する通知部と、
を備えるてもよい。
【発明の効果】
【００１６】
本発明は、利用者に対し、視線情報を提示する技術を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、第一実施形態に係る遠隔コミュニケーションシステムの概略構成図である。
【図２】図２は、アバターの側面図である。
【図３】図３は、アバターにおいて表示部のカバーを外した状態を示す斜視図である。
【図４】図４は、表示部の部分断面図である。
【図５】図５は、遠隔装置の表示部を備えたゴーグルの構成を示す図である。
【図６】図６は、ゴーグルをゴーストが装着した状態を示す図である。
【図７】図７は、ゴーグルの向きと注視位置との関係を示す図である。
【図８】図８は、アバターが画像や音声のデータを送信する処理を示す図である。
【図９】図９は、遠隔装置が画像や音声のデータを受信する処理を示す図である。
【図１０】図１０は、遠隔装置からアバターへメッセージ及び視線情報を送信する処理を示す図である。
【図１１】図１１は、アバターが視線情報を表示する処理を示す図である。
【図１２】図１２は、アバターが、視線情報に基づいて点灯させる光源を補正する処理を示す図である。
【図１３】図１３は、視線の方向を表示する例を示す図である。
【図１４】図１４は、本実施形態に係る遠隔コミュニケーションシステムの利用シーンを示す図である。
【図１５】図１５は、変形例１に係るアバターを示す図である。
【図１６】図１６は、遠隔装置から動作指示情報をアバターへ送信する処理を示す図である。
【図１７】図１７は、遠隔装置から受信した動作指示情報に基づいてアバターが行う処理を示す図である。
【図１８】図１８は、第二実施形態に係る遠隔コミュニケーションシステムの概略構成図である。
【図１９】図１９は、要求パターンの一例を示す図である。
【図２０】図２０は、第二実施形態に係る遠隔装置が、アバターから受信したデータに基づいて、メッセージ及び視線情報を生成して、アバターへ送信する処理を示す図である。
【図２１】図２１は、アバターの変形例２を示す図である。
【図２２】図２２は、変形例２の光源を示す図である。
【図２３】図２３は、第三実施形態に係る撮影部の構成を示す図である。
【図２４】図２４は、撮影範囲を模式的に示すアバターの側面図である。
【図２５】図２５は、撮影範囲を模式的に示すアバターの平面図である。
【図２６】図２６は、第三実施形態に係る遠隔コミュニケーションシステムの概略構成図である。
【図２７】図２７は、アバターが画像や音声のデータを送信する処理を示す図である。
【図２８】図２８は、合成ステップにて合成される画像の説明図である。
【図２９】図２９は、合成処理の対象とする被写体の一例を示す図である。
【図３０】図３０は、撮影レンズの収差によって歪んだ画像の一例を示す図である。
【図３１】図３１は、撮影レンズの収差によって歪んだ画像の一例を示す図である。
【図３２】図３２は、撮影画像における画像の歪みを補正した例を示す図である。
【図３３】図３３は、変形例３−１に係る遠隔コミュニケーションシステムの概略構成図である。
【図３４】図３４は、遠隔装置が画像や音声のデータを送信する処理を示す図である。
【図３５】図３５は、変形例３−２に係るアバターの正面図である。
【図３６】図３６は、変形例３−２に係るアバターの側面図である。
【図３７】図３７は、変形例３−２に係るアバターの平面図である。
【図３８】図３８は、第四実施形態に係る遠隔コミュニケーションシステムの概略構成図である。
【図３９】図３９は、ゴーストＤＢの一例を示す図である。
【図４０】図４０は、アバターが画像や音声のデータを送信する処理を示す図である。
【図４１】図４１は、管理サーバが、ゴーストを特定する処理を示す図である。
【図４２】図４２は、第五実施形態に係る遠隔コミュニケーションシステムの概略構成図である。
【図４３】図４３は、第五実施形態に係るアバターが視線情報及び感情信号に基づく表示処理を示す図である。
【発明を実施するための形態】
【００１８】
〈第一実施形態〉
《装置構成》
以下本発明の一実施形態を図面を用いて説明する。図１は本実施形態に係る遠隔コミュニケーションシステム１００の概略構成図である。遠隔コミュニケーションシステム１００は、利用者が存在する第一の地点に設けられるコミュニケーション装置１と、第一の地点から離れた第二の地点に設けられる遠隔装置２とを備える。コミュニケーション装置１は、利用者の周囲を撮影し、この撮影画像と音をインターネット等の通信回線を介して遠隔装置２へ送信する。遠隔装置２は、受信した画像や音を協力者に対して出力し、協力者からのメッセージを遠隔装置２へ送信する。これにより例えば利用者が質問し、協力者が回答するといったコミュニケーションをとることができる。この場合、コミュニケーション装置１は、協力者の分身として利用者とのコミュニケーションをとるので、以下本実施形態ではアバター１とも称する。また、アバター１を介して利用者とコミュニケーションをとる協力者は、以下ゴーストとも称する。
【００１９】
アバター１は、表示部１０や、撮影部２１、スピーカ２２、マイク２３、検出部２４、制御部４０を備えている。
【００２０】
表示部１０は、アバター１の外面において複数方向に配列された複数の光源を有し、協力者の視線の方向を示す。なお、表示部の具体的な構成は後述する。
【００２１】
撮影部２１は、利用者が存在する第一の地点を撮影するカメラである。ここで第一の地点とは、例えば利用者が存在する位置から見える範囲である。なお、利用者の視界と、撮影部２１による撮影範囲とが完全に一致する必要はなく、撮影部２１が撮影する範囲は、例えば利用者から視角となる範囲を含んでもよい。また、撮影部２１は、複数備えられてもよい。
【００２２】
スピーカ２２は、制御部４０から出力される音声メッセージや音楽等の信号を音として出力する。マイク２３は、利用者の周囲の音や利用者の音声を電気信号（音信号）に変換して制御部４０へ入力する。検出部２４は、アバター１の状態を検出するセンサーであり、例えば、ＧＰＳ信号を受信して、アバター１の現在地を取得する位置検出部や、アバター１の移動方向や回転方向を検出する加速度センサー、地磁気を検出して方位を求める地磁気センサー等である。
【００２３】
制御部４０は、ＣＰＵやメモリを有するコンピュータであり、画像送信部４１や、出力制御部４２、表示制御部４３、音信号送信部４４の処理を行う。
【００２４】
画像送信部４１は、撮影部２１で撮影した撮影画像を遠隔装置２の仕様に応じて変換すると共に、データサイズを圧縮して遠隔装置２へ送信する。ここで画像送信部４１は、アバター１の前方や後方等の基準とする方位で撮影された画像の位置が、撮影画像中の何処の位置であるかが分かるように送信する。例えば、撮影部２１Ａで撮影した全方位画像の中心がアバター１の前方で撮影された画像の位置、撮影部２１Ｂで撮影した全方位画像の中心がアバター１の後方で撮影された画像の位置等のように特定のフォーマットで遠隔装置２へ送信する。なお、撮影画像の変換や圧縮の処理は、必須ではなく、撮影画像をそのまま遠隔装置２へ送信してもよい。また、画像送信部４１は、撮影画像の撮影位置や撮影方向等の撮影情報を撮影画像と共に遠隔装置２へ送信してもよい。
【００２５】
音信号送信部４４は、マイク２３を介して取得した、利用者の周囲の音や利用者の音声を示す音信号を遠隔装置２へ送信する。
【００２６】
出力制御部４２は、遠隔装置２から受信したメッセージを利用者に対して出力する。本実施形態では、協力者の音声によるメッセージを遠隔装置２から受信し、スピーカ２２から音声メッセージとして利用者へ出力する。なお、アバター１が、文字や画像を表示可能な表示装置を出力手段として備えている場合、出力制御部４２は、遠隔装置２から協力者による文字や画像をメッセージとして受信し、この文字や画像を表示装置に表示させてもよい。また、アバター１が、バイブレータを出力手段として備えている場合、出力制御部４２は、遠隔装置２から協力者による振動を指示する命令をメッセージとして受信し、この命令に従ってバイブレータを振動させてもよい。
【００２７】
表示制御部４３は、遠隔装置２から協力者の視線に係る視線情報を受信し、表示部１０に備えられた複数の光源のうち、視線情報に応じた光源を発光させて、協力者の視線の方向を利用者に提示する。このため表示制御部４３は、視線情報が示す視線の方向（角度）等の値と、発光させる光源とを対応付けて、マッピング情報として記憶しておく。そして、視線情報を受信した場合に、このマッピング情報を参照し、視線情報と対応する光源を特定して発光させる。
【００２８】
図２は、アバター１の側面図、図３は、アバター１において表示部１０のカバー１４を外した状態を示す斜視図、図４は、表示部１０の部分断面図である。
【００２９】
本実施形態のアバター１は、概ね正十二面体の外形を成す本体３１と、本体３１を支持する支持体３２を備えている。本体３１は、外形を成す十二面のうち、平行な二面に撮影部２１を備え、その他の面に表示部１０を備えている。
【００３０】
本実施形態では、利用者から前へ向かう方向を前方、この反対方向を後方とし、利用者の右手側へ向かう方向を右方、この反対方向を左方とし、利用者から上へ向かう方向を上方、この反対方向を下方とする。これらの方向は、説明の便宜のために示したものであり、アバター１の構成が、これらの方向に限定されるものではない。
【００３１】
図２の例では、撮影部２１のうち、前方を撮影するように配置されたものを撮影部２１Ａとし、後方を撮影するように配置されたものを撮影部２１Ｂとしている。撮影部２１Ａ、２１Ｂは、それぞれ１９０°程度の撮影画角を有しており、それぞれで撮影した画像をつなぎ合わせることで、いわゆる全天球画像が得られる。
【００３２】
表示部１０は、略正十二面体のカバー１４と、カバー１４に囲まれた略正十二面体状の基台１５を有する。カバー１４は、正十二面体のうち、平行な２面に撮影部２１を露出させる開口が設けられている。表示部１０の基台１５は、五角形の基板１３上に、光源としてチップ状のＬＥＤ（light emitting diode）１２が複数方向に配列され、このＬＥＤ１２の外側に乳白色のカバー１４が設けられている。各ＬＥＤ１２は、個別或は所定の単位で点灯できるように制御部４０と接続されている。なお、本実施形態の表示部１０は、多数のＬＥＤ１２を備えているため、図３では便宜上一部のＬＥＤ１２にのみ符号を付して、その他のＬＥＤ１２については、符号を省略して示している。また、以降の図についても同様である。表示部１０は、液晶表示素子やＥＬパネル等の表示素子でもよく、この場合、表示素子の各画素が光源に相当する。カバー１４は、ＬＥＤ１２から出力される光を拡散することで、この光による表示を見ることができる範囲（視野角）を広げている。
【００３３】
次に図１に戻って遠隔装置２について説明する。遠隔装置２は、表示部５１や、スピーカ５２、マイク５３、検出部５４、制御部６０を備えている。
【００３４】
表示部５１は、アバター１から受信した撮影画像を表示して協力者へ提示する表示装置である。
【００３５】
スピーカ５２は、制御部６０から出力される第一の地点の音や利用者の音声等の信号を音として出力する。マイク５３は、協力者の音声を電気信号に変換して制御部６０へ入力する。検出部５４は、例えばゴーストが注視している撮影画像内の位置を検出するセンサーである。
【００３６】
制御部６０は、ＣＰＵやメモリを有するコンピュータであり、画像受信部６１や、表示制御部６２、メッセージ取得部６３、視線情報取得部６４、送信制御部６５、音信号受信部６６の処理を行う。
【００３７】
画像受信部６１は、アバター１から撮影画像を受信する。表示制御部６２は、この撮影画像を表示部５１に表示させる。表示制御部６２は、アバター１で圧縮されたデータの伸長や、表示部５１に応じて撮影画像を変換する処理を行ってもよい。
【００３８】
メッセージ取得部６３は、表示部５１に表示された撮影画像を見ているゴーストから前記利用者に対するメッセージを取得する。メッセージ取得部６３は、例えば、マイク５３により、ゴーストの音声をメッセージとして取得する。
【００３９】
視線情報取得部６４は、ゴーストが注視している撮影画像内の位置を示す情報を視線情報として取得する。なお、視線情報を取得する具体的な手法については後述する。送信制御部６５は、前記メッセージや視線情報等の情報をアバター１へ送信する。音信号受信部６６は、アバター１から利用者の音声等を示す音信号を受信する。
【００４０】
図５は、遠隔装置２の表示部５１を備えたゴーグル７０の構成を示す図、図６は、ゴーグル７０をゴーストが装着した状態を示す図、図７は、ゴーグル７０の向きと注視位置との関係を示す図である。
【００４１】
図５の例では、ゴーグル７０が、筐体内に表示部５１や、マイク５３、検出部５４、レンズ５５を備えている。レンズ５５は、表示部５１の表示面から射出する光束をゴーストの眼３９へ導光し、網膜上に結像させる接眼レンズ系である。これによりゴーストが、当該映像を拡大された虚像として観察できるようにしている。
【００４２】
検出部５４は、例えば角速度センサや地磁気センサであり、ゴーグル７０の向き、即ち
図６のようにゴーグル７０を装着したゴーストの視線の向きを検出する。制御部６０は、検出部５４で検出した向きに対応した映像を表示部５１に表示させる。図７では、ゴーグル７０を俯瞰し、水平面内において基準方向に対する右回りの角度θでゴーグル７０の向きを示している。例えば、アバター１の前方に相当する方向を基準方向（０°）とした場合、右方を９０°、後方を１８０°、左方を２７０°として示す。なお、アバター１において、撮影方向や表示する視線の方向を示す場合にも、図７と同様に、アバター１を俯瞰し、水平面内において基準方向に対する右回りの角度θで示す。
アバター１の撮影部２１Ａは、撮影レンズ（不図示）の光軸を前方（図７における０°）に向け、略１９０°の撮影画角で、撮影を行っている。また、アバター１の撮影部２１Ｂは、撮影レンズ（不図示）の光軸を後方（図７における１８０°）に向け、略１９０°の撮影画角で、撮影を行っている。アバター１は、撮影部２１Ａ、２１Ｂでそれぞれ撮影した画像をスティッチ処理して全天球画像とし、全方位（３６０°）の画像を記録する。そして、アバター１は、この全方位の画像を遠隔装置２へ送信する。
アバター１から撮影画像を受信した遠隔装置２は、アバター１で撮影した全方位（３６０°）の撮影画像のうち、ゴーグル７０の向きに応じ、このゴーグルの向きを中心とした所定範囲の画像を切り出して表示部５１に表示させる。例えば、表示する範囲を±３０°とした場合、ゴーグル７０の向きが図７に示した０°であれば、全方位（３６０°）の撮影画像から３３０°〜３０°の範囲の撮影画像を切り出して表示部５１に表示させる。同様に、ゴーグル７０の向きが９０°であれば、全方位（３６０°）の撮影画像から６０°〜１２０°の範囲の撮影画像を切り出して表示部５１に表示させる。このため、ゴーグル７０を装着したゴーストは、頭部の向きを変えることで、あたかも第一の地点で周囲を見回しているかのように、周囲の状況を観察できる。制御部６０は、このようにゴーストが周囲を観察しているときのゴーグル７０の向きを視線情報として取得する。図７では、水平面内におけるゴーグルの向きを定義したが、垂直面内におけるゴーグルの向きについても同様に定義できる。例えば、垂直面内において基準方向に対する右回りの角度でゴーグル７０の向きを示す。同じくアバター１における、撮影方向や表示する視線の方向についても、垂直面内において基準方向に対する右回りの角度で示す。制御部６０は、垂直面内のゴーグル７０の向きについても上記水平方向と同様に視線情報として取得し、アバター１へ送信して表示部１０に表示させる。
【００４３】
なお、上記の例では、ゴーグル７０の向きをゴーストの視線情報として取得したが、これに限らず、アバター１から受信した撮影画像を表示装置に表示させ、ゴーストが撮影画像中の注視位置をポインティングデバイスで指定し、この注視位置を視線情報としてもよい。この場合、視線情報を受信したアバター１は、例えば撮影画像上で指定された注視位置と対応する第一の地点上の注視位置を求め、アバター１の位置から当該注視位置へ向かう方向を視線の方向として表示部１０に表示させる。
【００４４】
《遠隔コミュニケーション方法》
図８は、アバター１が画像や音声のデータを送信する処理を示す図である。アバター１が起動された場合や通信の開始が指示された場合に、アバター１は、図８の処理を開始する。ステップＳ１０にて、アバター１は、マイク２３を介して利用者の音声や周囲の音を取得し、音信号とする。
【００４５】
ステップＳ２０にて、アバター１は、撮影部２１から撮影画像を取得する。また、ステップＳ３０にて、アバター１は、撮影画像を遠隔装置２の仕様に応じて変換する。例えば、広角レンズで撮影した際の歪みを補正する処理や、複数の撮影部２１Ａ，２１Ｂで撮影した撮影画像をつなぎ合わせる処理を行う。また、ゴーストが撮影画像をゴーグル７０で観察する場合、視線の方向に応じて一部の撮影画像しか表示されないため、視線方向に応じて表示範囲となる撮影画像を抽出してもよい。
【００４６】
アバター１は、ステップＳ４０にて、取得した音と撮影画像のデータを圧縮し、ステップＳ５０にて、音と撮影画像のデータを遠隔装置２へ送信する。なお、アバター１は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図８の処理を繰り返し実行する。また、アバター１は、複数の遠隔装置と通信する場合、図８の処理を並列して実行しても良いし、ステップＳ５０にて、音と撮影画像のデータを複数の遠隔装置２へマルチキャストしてもよい。
【００４７】
図９は、遠隔装置２が画像や音声のデータを受信する処理を示す図である。遠隔装置２が起動された場合や通信の開始が指示された場合に、遠隔装置２は、図９の処理を開始する。遠隔装置２は、ステップＳ１１０にて、音と撮影画像のデータをアバター１から受信し、ステップＳ１２０にて、圧縮されているデータを伸長する。
【００４８】
ステップＳ１３０にて、遠隔装置２は、受信した音信号をスピーカ５２から音として出力する。
【００４９】
遠隔装置２は、ステップＳ１４０にて、表示部５１の仕様に応じて撮影画像を変換し、ステップＳ１５０にて、撮影画像を表示部５１に表示させる。なお、遠隔装置２は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図９の処理を繰り返し実行する。
【００５０】
図１０は、遠隔装置２からアバター１へメッセージ及び視線情報を送信する処理を示す図である。遠隔装置２が起動された場合や通信の開始が指示された場合に、遠隔装置２は、図１０の処理を開始する。
【００５１】
ステップＳ２１０にて、表示部５１に表示された撮影画像を見るゴーストの視線を示す情報を視線情報として取得する。例えば、ゴーストがゴーグル７０を用いて撮影画像を観察している場合には、ゴーグル７０の向きを検出し、視線情報とする。
【００５２】
また、遠隔装置２は、ステップＳ２２０にて、マイク５３を介してゴーストの音声メッセージを取得し、ステップＳ２３０にて、音声メッセージを圧縮する。
【００５３】
ステップＳ２４０にて、遠隔装置２は、視線情報及び音声メッセージをアバター１へ送信する。なお、遠隔装置２は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図１０の処理を繰り返し実行する。
【００５４】
図１１は、アバター１が視線情報を表示する処理を示す図である。アバター１が起動された場合や通信の開始が指示された場合に、アバター１は、図１１の処理を開始する。ステップＳ３１０にて、アバター１は、遠隔装置２から視線情報及び音声メッセージを受信する。
【００５５】
アバター１は、ステップＳ３２０にて、視線情報に基づいて点灯させるＬＥＤ（光源）１２を特定し、ステップＳ３３０にて、特定のＬＥＤ１２を点灯させることで、視線の方向を利用者へ提示する。
【００５６】
また、アバター１は、ステップＳ３４０にて、圧縮されている音声メッセージを伸張し、ステップＳ３５０にて音声メッセージをスピーカ２２から出力させる。なお、アバター１は、電源がオフにされるまで、或は通信の終了が指示されるまでは、図１１の処理を繰り返し実行する。また、アバター１は、複数の遠隔装置２と通信する場合、図１１の処理を並列して実行しても良い。この場合、複数の遠隔装置２からそれぞれ視線情報を取得し、当該視線情報に基づいて、表示部１０に複数の視線を示す表示を行わせる。遠隔装置２
毎に、ＬＥＤ１２の発光色や輝度、点滅パターン等を異ならせて、各視線を区別できるように表示させる。
【００５７】
図１２は、アバター１が、視線情報に基づいて点灯させる光源を補正する処理を示す図である。アバター１は、図１１に示すように、遠隔装置２から受信した視線情報に基づいて点灯させるＬＥＤ１２を決定しているが、例えば遠隔装置２が、視線情報を取得した時点と、この視線情報に基づいてＬＥＤ１２を点灯させる時点とで、アバター１の位置や姿勢が異なると、表示部１０の向きが異なり、表示部１０に表示させた視線に誤差が生じてしまう。このためアバター１の位置や姿勢の変化に応じて点灯させる光源を補正する。この場合、アバター１は、姿勢の変化を検出するために、例えばアバター１の向き（表示部１０の向き）や撮影位置を周期的に測定し、測定時刻と共に履歴情報として記憶しておく。また、遠隔装置は、視線情報を生成した時刻を示す生成時刻情報を視線情報と共にアバター１へ送信する。そして、アバター１が起動された場合や通信の開始が指示された場合に、アバター１は、図１２の処理を周期的に実行する。例えば、図１１よりも短い周期で実行する。
【００５８】
図１２を開始すると、アバター１は、ステップＳ４０５にて、遠隔装置２から受信した視線情報と生成時刻情報を取得する。また、ステップＳ４１０にて、アバター１は、現時点の位置（撮影位置）と撮影方向を取得する。
【００５９】
ステップＳ４２０にて、アバター１は、前記履歴情報を参照し、ステップＳ４０５で取得した生成時刻情報が示す時刻の撮影位置及び撮影方向と、ステップＳ４１０で取得した現時点の撮影位置及び撮影方向とを比較して、差分を求める。
【００６０】
ステップＳ４３０にて、アバター１は、視線情報に基づいて発光させる光源をステップＳ４２０で求めた差分に基づいて補正する。例えば、視線情報が示す視線の方向から、差分として求めた撮影方向の変化量を減算する。具体的には、視線情報が示す視線の方向が図７に示した基準とする方向に対して２０°であって、この時点と比べて現時点の撮影方向が５°ズレた場合、これを減算して、視線の方向を１５°に補正する。
【００６１】
ステップＳ４４０にて、アバター１は、補正した視線情報に基づいて視線の方向を表示させる。
【００６２】
なお、図１２の例では、遠隔装置２側で生成した視線情報が示す視線の方向と、アバター１が表示する視線の方向の差を補正する例を示したが、これに限らず、例えばアバター１が、第一の地点において基準とする方位で撮影された画像の位置が、撮影画像中の何処の位置であるかが分かるように送信し、遠隔装置が、第一の地点において基準とする方位に対する方向（角度）で、視線の方向を示す視線情報を生成してアバター１へ送信する構成としてもよい。例えば、アバター１が、撮影画像を撮影したときの撮影方向を第一の地点において基準とする方位（例えば北）に対する角度（方位角）で示し、これを撮影情報として撮影画像と共に遠隔装置２へ送信する。そして、遠隔装置２は、表示させた撮影画像を見るゴーストの視線の方向を第一の地点において基準とする方位（例えば北）に対する角度（方位角）で示して視線情報を生成しアバター１へ送信する。これにより、アバター１は、視線を表示する際の姿勢が変化しても補正せずに、視線の方向を示すことができる。なお、垂直面内の向きについても水平方向や鉛直方向等の基準とする方向に対する角度で視線の方向を示して視線情報を生成する構成とすれば、アバターは、上記と同様に補正なく視線の方向を示すことができる。
【００６３】
図１３は、視線の方向を表示する例を示す図である。図１３では、点灯しているＬＥＤ１２を網掛けを付して示している。図１３（Ａ）〜図１３（Ｃ）では点灯させたＬＥＤ１
２の配列方向で視線の方向を示している。
【００６４】
図１４は、本実施形態に係る遠隔コミュニケーションシステム１００の利用シーンを示す図である。図１４では、利用者の肩にアバター１を装着した例を示している。図１４の例では、利用者が、買い物をする際、遠隔コミュニケーションシステム１００を介してゴーストと、以下のような会話をしながら商品を選んでいる。
利用者：「これかな？」
ゴースト：「いや違うよ。こっちが良いね」
このように遠隔コミュニケーションシステム１００を用いることで、利用者は遠隔地にいるゴーストとコミュニケーションをとることができる。このため、利用者に商品の知識がなくても、ゴーストの知識を利用して適切に商品を選ぶことができる。
【００６５】
また、ゴーストの視線の方向を利用者に提示できるので、ゴーストが何を見ながら話しているのかがわかり、円滑にコミュニケーションをとることができる。
【００６６】
また、海外旅行等で、利用者が現地の言葉を話せず、店の人に質問できなくても、現地の言葉が話せるゴーストがアバターを介して店の人に質問し、質問の回答をゴーストが利用者へ伝えることができる。
【００６７】
このように、利用者が一人では解決できない問題があっても、遠隔地にいるゴーストの能力を借りて、この問題を解決することができる。一方、ゴーストにとっても、外出せずにショッピングや海外旅行を楽しむことができる。
【００６８】
また、ストリーミング配信を行うような場合に、遠隔コミュニケーションシステム１００を用いて、他の人とコミュニケーションをとることで、他の人の客観的な意見をストリーミング内容に反映させることができる。
【００６９】
〈変形例１〉
図１５は、変形例１に係るアバター１Ａを示す図である。図１５のアバター１Ａは、垂直な回転軸ＶＡを中心に本体３１を回転させる回転機構３３と、水平な回転軸ＨＡを中心に本体３１を回転させる回転機構３４とを有している。回転機構３３、３４は、駆動部の一形態である。
【００７０】
本変形例では、ゴーストが、回転機構３３、３４を動作させ、この動作によって、利用者へメッセージを伝える構成としている。なお、この他の構成は、前述の実施形態と同じであるので、同一の要素には同符号を付す等して再度の説明を省略している。
【００７１】
遠隔装置２は、送信制御部６５の機能により、アバター１Ａの動作を指示する動作指示情報をアバター１Ａへ送信する。図１６は、遠隔装置から動作指示情報をアバター１へ送信する処理を示す図である。遠隔装置２は、ゴーストがキーボードやポインティングデバイス等の入力手段を用いて回転機構３３，３４を動作させる指示を入力した場合に図１６の処理を開始する。
【００７２】
ステップＳ５１０にて、遠隔装置２は、ゴーストの操作によって入力された回転機構３３，３４に対する指示を動作指示情報として取得する。
【００７３】
ステップＳ５２０にて、遠隔装置２は、動作指示情報を圧縮する。なお、動作指示情報を圧縮する処理は、必須ではなく、データ量が少ない場合には、省略してもよい。
【００７４】
ステップＳ５３０にて、遠隔装置２は、ネットワークを介して動作指示情報をアバター
１へ送信する。
【００７５】
図１７は、遠隔装置から受信した動作指示情報に基づいてアバター１が行う処理を示す図である。ステップＳ５７０にて、アバター１は、遠隔装置２から動作指示情報を受信する。
【００７６】
アバター１は、ステップＳ５８０にて、圧縮されている動作指示情報を伸張し、ステップＳ５９０にて、動作指示情報に基づく動作を行う。例えば、回転機構３４を動作させることで、アバター１がうなずくような動作を行わせることができる。また、回転機構３３を動作させることで、アバター１が首を振るような動作を行わせることができる。このように、アバター１の動作によって、肯定や否定を示すメッセージを利用者に伝えることができる。
【００７７】
なお、前述の実施形態では、撮影部２１が広角レンズを用いて全方位の画像を撮影するように構成したが、撮影部２１が限られた範囲を撮影する構成の場合、この撮影範囲を変えるために、回転機構３３，３４を動作させてもよい。
【００７８】
また、アバター１にバイブレータを備え、ゴーストの操作によって指示された動作指示情報に基づいてアバター１を振動させる構成としてもよい。
【００７９】
〈第二実施形態〉
前述の実施形態では、人（協力者）がゴーストとしてメッセージを入力し、この協力者の視線を検出して視線情報としたが、本実施形態では、コンピュータが仮想のゴーストとして動作し、このコンピュータが視線情報を生成する構成としている。なお、この他の構成は同じであるため、同一の要素には同符号を付して再度の説明を省略する。
【００８０】
図１８は本実施形態に係る遠隔コミュニケーションシステム１００の概略構成図である。本実施形態の遠隔装置２Ａは、ＣＰＵやメモリを有するコンピュータであり、画像受信部６１や、表示制御部６２、メッセージ取得部６３、視線情報取得部６４、送信制御部６５、音信号受信部６６、音声認識部６７、要求判定部６８、要求対象判定部６９、メッセージ生成部７１、対象抽出部７２、視線情報取得部７３の処理を行う。
【００８１】
音声認識部６７は、アバター１から受信した音信号に基づいて利用者の音声を認識し、文字列に変換する。要求判定部６８は、音声認識部６７で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判定する。
【００８２】
例えば、図１９に示す所定の要求パターンに該当するものを利用者の要求と判定する。図１９の例では、〈施設名〉へ行く、〈物品〉は何処（ですか）？、〈食品名〉を食べる、等のように要求パターンを有し、この要求パターンに合致した場合に、この文字列を利用者の要求と判定し、当該文字列に基づいて、要求の内容を特定する。
【００８３】
要求対象判定部６９は、前記文字列に基づいて前記要求の対象を判定する。例えば、前記要求パターンに含まれる〈施設名〉、〈物品〉、〈食品名〉等、目的語や主語、主題となる名詞を要求対象として判定する。この場合、要求パターンに合致した文字列に構文解析によって求めた述語が「行く」であれば、その目的語を〈施設名〉とする。また、述語が「食べる」であれば、その目的語を〈食品名〉とする。述語が「何処？」であれば、その主語を〈物品〉とする。更に、要求の対象とする語を予め辞書に登録しておき、要求パターンに合致した文字列のうち、施設名の辞書に該当した語を〈施設名〉、物品の辞書に該当した語を〈物品〉と判定してもよい。例えば、財布や、スマートフォン、鍵など、対象とすべき〈物品〉を予め辞書に登録しておく。
【００８４】
メッセージ生成部７１は、図１９に示すように前記要求と対応付けたメッセージの生成処理を行って、メッセージを生成する。例えば、前記要求パターンが「〈施設名〉へ行く」であった場合には、当該〈施設名〉までの経路案内をメッセージとして出力する。また、前記要求パターンが「〈物品〉は何処？」であった場合には、当該〈物品〉を過去の撮影画像から検索し、当該物品の位置を示す音声をメッセージとして出力する。更に前記要求パターンが「〈食品名〉を食べる、」であった場合には、当該〈食品名〉を食べることができる店舗をデータベース或はインターネット上の検索エンジンで当該店舗の位置を求めて目的地とし、現在地から目的地までの経路案内をメッセージとして出力する。ここで、経路案内は、例えば、交差点（ノード）や、この交差点間の道路（リンク）、目標物の位置等を示すデータを有する地図情報を検索して、現在地から目的地までの経路を求め、この経路上の交差点や交差点間の道路、目標物を示す情報を音声メッセージとして出力する。例えば、「こちらの方向へ１００ｍ進み、次の交差点を右折です。」「あのビルの右の道を直進です。」等のように、アバター１の現在地から次の交差点や目的地までの距離や方向を音声で出力する。
【００８５】
対象抽出部７２は、要求の対象を示す画像を撮影画像から抽出する。例えば、財布や、スマートフォン、鍵など、要求の対象とすべき〈物品〉の画像を対象パターンとして予め記憶部に登録しておき、撮影画像から、この対象パターンと合致する部分をパターンマッチングによって抽出する。そして、メッセージ生成部７１は、「〈物品〉は何処？」といった要求に対して、対象抽出部７２で求めた〈物品〉の画像に対応する被写体が存在する位置を求め、この位置を示す音声メッセージを出力する。例えば「あっちの方向に在ったよ」「むこうの方向に置いたよ」のように出力する。また、対象抽出部７２で抽出した画像から〈物品〉が存在する位置の情報として、棚の上、電話の横などのように認識できる場合には、これを音声メッセージに含め、「あっちの棚の上に在ったよ」「むこうの電話の横に置いたよ」のように出力してもよい。また、対象抽出部７２は、メッセージ生成部７１で、「あのビル・・・」「こちらの川に沿って直進・・・」などのように、目標物を示すメッセージを生成した場合、この目標物「ビル」「川」を要求（経路案内）の対象とし、この画像を撮影画像から抽出する。
【００８６】
視線情報取得部７３は、前記対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する。例えば、〈物品〉や目標物の画像に対応する被写体が存在する位置を求め、この位置（例えば緯度・経度）やアバター１から見た方向（例えば図７のようにアバター１を中心として前方から右回りの角度）を示す情報を視線情報とする。そして、この視線情報を送信制御部６５が、アバター１へ送信する。視線情報を受信したアバター１は、この視線情報に基づいて表示部１０に視線の方向を表示する。なお、視線情報がアバター１から見た方向を示す場合には、前述と同様に、この方向を示すＬＥＤ１２を点灯させる。また、視線情報が被写体の位置を示す場合、アバター１は、アバター１の位置から視線情報が示す被写体の位置へ向かう方向を示すようにＬＥＤ１２を点灯させ、これを視線の方向として表示部１０に表示させる。
【００８７】
遠隔装置２は、上記のように要求パターンに基づいて利用者の要求を判定し、この要求と対応するメッセージ生成処理を行ってメッセージを作成し、アバター１へ送信する。これにより、遠隔装置２は、利用者の要求に応じてメッセージを返信する所謂チャッターボットとして機能する。なお、本実施形態の遠隔装置２は、要求パターンやメッセージの生成処理を固定的に用意するのではなく、ＡＩによって、利用者の要求の判定と、当該要求に対するメッセージの生成を行ってもよい。例えば、利用者の要求と、当該要求に対するメッセージを求める多層のモデルを設定し、音声認識部６７で認識した利用者の音声とアバター１から取得した撮影画像について学習を繰り返しすことにより、利用者の要求として判定すべきパターンと、当該要求に対するメッセージを求める。
【００８８】
図２０は、本実施形態の遠隔装置２が、アバター１から受信したデータに基づいて、メッセージ及び視線情報を生成して、アバター１へ送信する処理を示す図である。なお、アバター１から遠隔装置２へデータを送信する処理は、図８と同じである。遠隔装置２が起動された場合や通信の開始が指示された場合に、遠隔装置２は、図２０の処理を開始する。
【００８９】
遠隔装置２は、ステップＳ６１０にて、音と撮影画像のデータをアバター１から受信し、ステップＳ６２０にて、圧縮されているデータを伸長する。
【００９０】
ステップＳ６３０にて、遠隔装置２は、アバター１から受信した音信号に基づいて利用者の音声を認識し、文字列に変換する。
【００９１】
ステップＳ６４０にて、遠隔装置２は、ステップＳ６３０で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判定する。また、ステップＳ６５０にて、遠隔装置２は、ステップＳ６３０で取得した文字列に基づいて要求の対象を判定する。
【００９２】
ステップＳ６６０にて、遠隔装置２は、ステップＳ６３０で求めた利用者の要求に対応するメッセージを生成する。また、遠隔装置２は、ステップＳ６７０にて、要求の対象を示す画像を過去の撮影画像から抽出し、ステップ６８０にて、対象を示す画像に対応する被写体が存在する位置を示す情報を視線情報として取得する。
【００９３】
そして、ステップＳ６９０にて、遠隔装置２は、前記メッセージ及び前記視線情報をアバター１へ送信する。なお、前記メッセージ及び前記視線情報をアバター１が受信して、利用者に対して出力する処理は、前記図１１の処理と同じである。
【００９４】
このように本実施形態によれば、利用者がアバター１を介してコンピュータとコミュニケーションをとることができる。また、ゴーストであるコンピュータが、アバター１の視線を模擬して、表示させることで、円滑にコミュニケーションを図ることができるようにしている。
【００９５】
〈変形例２〉
図２１は、アバター１の変形例２を示す図、図２２は、本変形例の光源を示す図である。前述の実施形態では、アバター１の外形を略正十二面体としたが、アバター１の外形は、これに限定されるものではない。本変形例では、図２１のように、アバター１の外形を略球形としている。本変形例では、円弧状のフィルム基板１Ｆ１〜１Ｆ５，１Ｒ１〜１Ｒ５に光源１２を配設し、これをアバター１の略球形の筐体の外面に貼り付けている。円弧状のフィルム基板１Ｆ１〜１Ｆ５，１Ｒ１〜１Ｒ５は、ケーブルＩＣ及びコネクタＩＴを介して、筐体内の制御部６０に接続されている。そして、表示制御部４３が、各光源１２の配置に応じたマッピング情報を参照し、視線情報と対応する光源を特定して発光させることによって、視線の方向を表示する。更に、アバター１は、六面体や、二十面体など、他の外形であってもよい。
【００９６】
〈第三実施形態〉
第三実施形態は、前述の第一実施形態と比べて、複数の撮影部２１による撮影範囲の所定部分が重複するように撮影部２１を配置し、重複部分の撮影画像を合成して高解像度の合成画像を得る構成が異なっている。なお、その他の構成は同じであるため、同一の要素には、同符号を付す等して、再度の説明を省略する。
【００９７】
図２３は、撮影部２１の構成を示す図、図２４は、撮影範囲を模式的に示すアバター１Ｂの側面図、図２５は、撮影範囲を模式的に示すアバター１Ｂの平面図である。
【００９８】
図２３に示すように、撮影部２１は、撮影レンズ２１１と、撮像素子２１２を有している。撮影レンズ２１１は、被写体の像を撮像素子２１２の撮像面上に形成する。撮影レンズ２１１の画角は、特に限定されるものではないが、広い範囲の被写体を撮影できるように、広画角のレンズであることが望ましく、本実施形態では所謂魚眼レンズを採用している。撮影レンズ２１１は、光軸Ａ０が、撮像素子２１２における撮像面の中心に位置するように配置されている。
【００９９】
撮像素子２１２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサといった撮像デバイスであり、受光面（撮像面）上に形成された光の像をその光の強さに応じた電気信号に変換して、所定形式の画像情報（撮影画像）とする。
【０１００】
図２４に示すように、本実施形態のアバター１Ｂは、撮影部２１Ａと撮影部２１Ｂを有し、側面視において、一方の撮影部２１Ａによって撮影する撮影範囲が他方の撮影部２１Ｂによって撮影する撮影範囲と重複するように、各撮影部２１Ａ，２１Ｂが配置されている。なお、本実施形態の表示部１０は、多数のＬＥＤ１２を備えているため、図２４では便宜上一部のＬＥＤ１２にのみ符号を付して、その他のＬＥＤ１２については、符号を省略して示している。
【０１０１】
前述の第一の実施形態では、撮影部２１Ａ，２１Ｂが背合わせに配置され、各撮影部２１Ａ，２１Ｂが水平方向へ向けられて全天球画像を得る構成である。この場合、アバター１Ｂの下方を撮影した画像は、必ず支持体３２を撮影したものとなり、第一の地点の状況を知る上では価値の低い領域となってしまう。このため、本実施形態では、支持体３２が存在する下方を撮影範囲から外すように、撮影部２１Ａ，２１Ｂが水平方向よりも上向きに配置され、上方の撮影範囲が重複されている。
【０１０２】
撮影部２１Ａは、撮影レンズ２１１の光軸Ａ１を中心とした１９０°の範囲を撮影範囲としている。同じく撮影部２１Ｂは、光軸Ａ２を中心とした１９０°の範囲を撮影範囲としている。そして、側面視において光軸Ａ１を像面以降へ延伸した直線と光軸Ａ２を像面以降へ延伸した直線とが交わる点Ｖ０を頂点として、光軸Ａ１と光軸Ａ２とが成す劣角θが１２０°となっている。即ち、撮影部２１Ａ，２１Ｂの撮影範囲が、点Ｖ０を頂点とする５０°の範囲で重複している。
【０１０３】
一方、平面視においてアバター１Ｂは、図２５に示すように、撮影部２１Ａを前方、撮影部２１Ｂを後方に向け、光軸Ａ１，Ａ２を一直線状としている。即ち、撮影部２１Ａの光軸Ａ１と撮影部２１Ｂの光軸Ａ２とが点Ｖ０を中心として１８０°異なる方向へ向けられるように撮影部２１Ａ，２１Ｂが配置されている。このため、撮影部２１Ａ，２１Ｂの撮影画角が１９０°の場合、第一実施形態と同様に撮影範囲のうち周辺部が重複する。なお、図２３，図２４の配置は、一例であり、撮影部２１Ａ，２１Ｂの配置は、これに限定されるものではない。例えば平面視においても、点Ｖ０を頂点とした光軸Ａ１，Ａ２の角度を１８０°未満として撮影領域を重複させてもよい。アバター１Ｂを利用者の肩や腕に装着した場合、平面視において特定の方向に利用者が写ることになるので、この方向をさけるように撮影部２１Ａ，２１Ｂの向きを定め、利用者と反対側の撮影領域を重複させるようにしてもよい。また、カメラを三台以上配置して、少なくとも一部のカメラの撮影領域を重複させるようにしてもよい。
【０１０４】
図２６は、本実施形態に係る遠隔コミュニケーションシステム１００の概略構成図である。本実施形態のアバター１Ｂは、図１のアバター１と比べ、画像合成部４５を更に備え
ている。
【０１０５】
画像合成部４５は、複数の撮影部２１Ａ，２１Ｂで撮影した撮影画像の重複部分を合成し、撮影画像よりも解像度の高い合成画像を生成する。
【０１０６】
図２７は、アバター１Ｂが画像や音声のデータを送信する処理を示す図である。アバター１Ｂが起動された場合や通信の開始が指示された場合に、アバター１Ｂは、図２７の処理を開始する。ステップＳ１０〜Ｓ３０については、前述した図８の処理と同じである。
【０１０７】
ステップＳ３５にて、アバター１Ｂは、画像合成部４５の機能により、撮影部２１Ａ，２１Ｂで撮影した撮影画像の重複部分を合成する。この場合、アバター１Ｂは、撮影部２１Ａで撮影した画像の情報と撮影部２１Ｂで撮影した画像の情報の両方を用いて合成画像を得ることにより、ステップＳ３０でつなぎ合わせた撮影画像よりも高い解像度の合成画像を得ることができる。そして、アバター１Ｂは、ステップＳ３０で得た撮影画像及びステップＳ３５で得た合成画像や音のデータをステップＳ４０にて圧縮し、ステップＳ５０にて遠隔装置２へ送信する。なお、アバター１Ｂは、電源がオフにされるまで、或は通信の終了が指示されるまでは、図２７の処理を繰り返し実行する。
【０１０８】
図２８は、前述の合成ステップＳ３５にて合成される画像の説明図である。撮影部２１Ａの撮影レンズ２１１は、撮像面上にほぼ円形の像を形成し、撮像素子２１２がこの像を電気信号に変換して、撮影画像５１Ａとする。同様に、撮影部２１Ｂは、撮像面上にほぼ円形の像を形成し、撮像センサがこの像を電気信号に変換して、撮影画像５１Ｂとする。前述のように撮影部２１Ａ，２１Ｂは、撮影範囲が一部重複するように設けられており、図２８において網掛けした部分が、撮影画像５１Ａ，５１Ｂの重複部分５１Ｃである。
【０１０９】
重複部分５１Ｃで得られる画像は、同じ被写体を撮影したものであるが、撮影レンズの収差によって、それぞれ異なる歪みを有している。例えば、図２９に示す矩形状の被写体９２を撮影した場合、撮影部２１Ａによる撮影画像５１Ａでは、図３０の画像９２Ａのように歪曲して撮影される。この場合、撮影画像５１Ａの中心側よりも周辺側の方が、歪みが大きいため、画像９２Ａは円の外側に向けて膨張したように撮影される。また、撮影部２１Ｂによる撮影画像５１Ｂにおいても、被写体９２の画像９２Ｂは、図３１に示すように周辺側へ向けて膨張したように撮影される。このように画像９２Ａと画像９２Ｂとでは、歪み方が異なるため、同じ被写体９２を撮影したものであっても形状が一致しない。
【０１１０】
但し、画像９２Ａ，９２Ｂに生じる歪みは、撮影画像５１Ａ，５１Ｂの中心からの距離等によって定まる。このため、アバター１Ｂは、撮影画像５１Ａ，５１Ｂにおける重複部分の歪みを中心からの距離等に基づいて補正する。図３２は、撮影画像５１Ａ，５１Ｂにおける画像９２Ａ，９２Ｂの歪みを補正した例を示す図である。
【０１１１】
図２９に示す被写体９２は、左右の辺９２Ｌ，９２Ｒが同じ長さであるが、例えば図３０に示す画像９２Ａは、歪みの影響によって、周辺側の左辺９２ＡＬよりも中心側の右辺９２ＡＲが小さく変形している。即ち、左辺９２ＡＬを成す画素数よりも右辺９２ＡＲを成す画素数の方が少ない。このため画像９２Ａを図３２に示すように補正するためには、右辺９２ＡＲに合わせて左辺９２ＡＬを縮小するか、左辺９２ＡＬに合わせて右辺９２ＡＲを拡大することになる。
【０１１２】
左辺９２ＡＬを縮小する場合、左辺９２ＡＬを撮像した画素の情報を間引くことになるため、画像９２Ａ全体が右辺９２ＡＲに合わせた低い解像度となる。一方、右辺９２ＡＲを拡大する場合、画像９２Ａのうち、左辺９２ＡＬ付近は解像度を高く維持できるが、右辺９２ＡＲ付近は少ない画素の情報に基づいて拡大処理を行うことになるので、左辺９２
ＡＬ付近と比べて解像度が低くなる。
【０１１３】
また、図３１に示す画像９２Ｂは、画像３２Ａと反対に、歪みの影響によって、周辺側の右辺９２ＢＲよりも中心側の左辺９２ＢＬが小さく変形している。このため画像９２Ｂを図３２に示すように補正するためには、左辺９２ＢＬに合わせて右辺９２ＢＲを縮小するか、右辺９２ＢＲに合わせて左辺９２ＢＬを拡大することになる。
【０１１４】
そこで、画像９２Ａについて、右辺９２ＡＲの画素間を広げるように拡大する際、広げた画素間の情報として、他方の画像９２Ｂにおける右辺９２ＢＲの画素の情報を採用し、合成画像を生成する。なお、図３０、図３１では、画像９２Ａ，９２Ｂの左辺９２ＡＬ，ＢＬと右辺９２ＡＲ，ＢＲについて示したが、この中間部についても同様である。
【０１１５】
このように、本実施形態のアバター１Ｂは、重複して撮影した画像９２Ａ，９２Ｂの一方、例えば画像９２Ａについて、撮影レンズの収差による歪みを補正する際、周辺側を基準として中心側の画素間を広げるように拡大し、この広げた間の画素として、他方の画像９２Ｂにおいて対応する位置の画素（周辺側の画素）を用い、合成画像とする。即ち、アバター１Ｂは、重複して撮影した画像９２Ａ，９２Ｂの解像度の高い部分を合わせて合成画像とすることにより、単体の撮影部２１で撮影した撮影画像よりも高い解像度の合成画像が得られる。なお、本実施形態において、解像度とは、単に画素の密度ではなく、撮影画像や合成画像等において、被写体をどれだけ詳しく描写できるかを示す程度である。例えば、平行線を等間隔に並べたテストチャートを撮影し、画像上に再現される前記平行線の１mmあたりの本数や、分離した二点の被写体を撮影し、画像上で分離して再現できる最小の幅の逆数が挙げられる。
【０１１６】
前記撮影画像や合成画像を受信した遠隔装置２は、前述の図９や図１０と同様に撮影画像や合成画像を表示させる。例えば、ゴーグル７０に表示させる場合、ゴーグル７０の向きに応じ、このゴーグルの向きを中心とした所定範囲の画像を切り出して表示部５１に表示させる。図２４，図２５の例では、アバター１Ｂの上方を重複して撮影するので、ゴーグル７０を装着したゴーストが上を向いた場合に合成画像を表示部５１に表示させ、重複範囲以外を向いた場合に撮影画像を表示させる。また、遠隔装置２は、ゴーストの操作に応じて、撮影画像や合成画像の拡大表示又は縮小表示が可能である。
【０１１７】
本実施形態によれば、アバター１Ｂが、一部の領域を複数の撮影部２１で重複して撮影し、当該重複領域の画像を高い解像度で提供することができる。このため、ゴーストは、重複領域の画像を詳細に観察することができる。また、重複領域の画像は、解像度が高いため、ゴーストが、重複領域の画像を拡大表示した場合でも画質が荒くなりにくく、観察視し易い。
【０１１８】
〈変形例３−１〉
図３３は、変形例３−１に係る遠隔コミュニケーションシステム１００の概略構成図である。前述の第三実施形態では、アバター１が重複領域の合成画像を生成したが、本変形例では、遠隔装置２Ｂが重複領域の合成画像を生成する構成としている。なお、この他の構成は第三実施形態と同じであるため、同一の要素には同符号を付して再度の説明を省略している。
【０１１９】
本変形例のアバター１Ｂは、前述の第三実施形態のアバター１Ｂと同様に複数の撮影部２１で一部の領域を重複して撮影する構成とし、この複数の撮影部２１で撮影した撮影画像を合成せずに遠隔装置２Ｂへ送信する。この場合、アバター１Ｂは、画像合成部４５を備えなくてもよい。また、ユーザの選択操作に応じて、アバター１Ｂで合成画像を生成するモードと、遠隔装置２Ｂで合成画像を生成するモードとを切り替えられるようにアバタ
ー１Ｂと遠隔装置２Ｂの両方が画像合成部を有してもよい。
【０１２０】
遠隔装置２Ｂは、図２６の遠隔装置２と比べ、画像合成部７５を更に備えている。画像合成部７５は、アバター１Ｂから複数の撮影部２１Ａ，２１Ｂでそれぞれ撮影した撮影画像を受信し、重複部分を合成して、撮影画像よりも解像度の高い合成画像を生成する。
【０１２１】
図３４は、遠隔装置２Ｂが画像や音声のデータを送信する処理を示す図である。遠隔装置２Ｂが起動された場合や通信の開始が指示された場合に、遠隔装置２Ｂは、図３４の処理を開始する。ステップＳ１１０〜Ｓ１３０については、前述した図９の処理と略同じである。
【０１２２】
ステップＳ１３３にて、遠隔装置２Ｂは、表示部５１の仕様に応じて重複部分の撮影画像を変換する。なお、本変形例では、アバター１Ｂで変換処理する前の撮影画像をアバター１Ｂから取得するので、前述のステップＳ３０と同様に、広角レンズで撮影した際の歪みを補正する処理や、複数の撮影部２１Ａ，２１Ｂで撮影した撮影画像をつなぎ合わせる処理を行う。
【０１２３】
ステップＳ１３５にて、遠隔装置２Ｂは、画像合成部７５の機能により、撮影部２１Ａ，２１Ｂで撮影した撮影画像の重複部分を合成する。なお、ステップＳ１３５の処理は、前述のステップＳ３５と同様である。
【０１２４】
ステップＳ１４０Ａにて、遠隔装置２Ｂは、ステップＳ１３３で変換した撮影画像や、ステップ１３５で生成した合成画像から、表示部５１の仕様に応じて表示する画像を抽出する。
【０１２５】
ステップＳ１５０にて、遠隔装置２Ｂは、ステップＳ１４０Ａで抽出した画像を表示部５１に表示させる。
【０１２６】
本変形例によれば、遠隔装置２Ｂが複数の撮影部２１で重複して撮影した撮影画像を合成するので、アバター１Ｂの処理負荷が軽減される。
【０１２７】
〈変形例３−２〉
図３５は、変形例３−２に係るアバター１Ｃの正面図、図３６は、変形例３−２に係るアバター１Ｃの側面図、図３７は、変形例３−２に係るアバター１Ｃの平面図である。本変形例のアバター１Ｃは、前述の第三実施形態のアバター１Ｂと同様に複数の撮影部２１で一部の領域を重複して撮影する構成とし、この重複して撮影する領域の方向を変えるように本体３１を回転させる回転機構を有している。なお、この他の構成は前述の第三実施形態と同じであるため、同一の要素には同符号を付す等して再度の説明を省略している。
【０１２８】
図３５に示すように、アバター１Ｃは、垂直な回転軸ＶＡを中心に本体３１を回転させる回転機構１３１と、水平な回転軸ＨＡを中心に本体３１を回転させる回転機構１３２とを有している。回転機構１３１、１３２は、駆動部の一形態である。
【０１２９】
回転機構１３１は、支持体３２上に設置され、支持体３２に対して回転可能に支柱１３３を保持している。支柱１３３の上端に円弧状のアーム１３４の一端が接続され、アーム１３４の他端に回転機構１３２が接続されている。
【０１３０】
回転機構１３２は、アーム１３４の上端に支持されると共に、アバター１Ｃの本体表面に接続され、アーム１３４に対して本体３１を回転させる。
【０１３１】
回転機構１３１は、回転軸ＶＡが垂直方向に本体３１の中心を通る構成であり、支柱１３３及びアーム１３４を介して本体３１を垂直軸回りに回転させる、即ち本体３１をヨーイングさせる。
【０１３２】
回転機構１３２は、図３５に示す面をアバター１Ｃの正面とし、紙面と垂直方向を前後方向とた場合に、回転軸ＨＡがアバター１Ｃの左右方向であって、本体３１の中心を水平方向に渡るように設けられた構成であり、本体３１を左右軸回りに回転させる、即ち本体３１をピッチングさせる。
【０１３３】
回転機構１３１，１３２が、アバター１Ｃの本体３１をピッチング及びヨーイングさせることにより、撮影部２１が重複して撮影する領域の方向を任意の方向に向けることができる。例えば、ゴーストが遠隔装置２Ｂを操作し、重複して撮影する方向を指定した場合、遠隔装置２Ｂが、この方向を指定する動作指示情報をアバター１Ｃへ送信する。そして、この動作指示情報を受信したアバター１Ｃが、この動作指示情報に基づいて回転機構１３１，１３２を動作させて本体３１を回転させ、重複して撮影する領域を指定の方向へ向ける。
【０１３４】
例えば、ゴーストは、アバター１Ｃの正面を０°とし、真上を９０°、真後ろ（背面）を１８０°、真下を２７０°として、０°から３６０°未満の範囲で回転機構１３２の回転角を指定する。また、アバター１Ｃの正面を０°とし、左方を９０°、真後ろ（背面）を１８０°、右方を２７０°として、０°から３６０°未満の範囲で回転機構１３１の回転角を指定する。これによりアバター１Ｃが重複して撮影する領域を任意の方向へ向けさせることができる。なお、動作指示情報を送受信する構成は、図１６，図１７と同じである。
【０１３５】
このように本変形例によれば、アバター１Ｃが重複して撮影し、高解像度の合成画像を生成する領域の方向を任意に指定することができ、当該方向の状況を詳細に観察することや、当該方向の画像を拡大して表示させることができる。
【０１３６】
〈第四実施形態〉
第四実施形態の遠隔コミュニケーションシステム１００Ａは、前述の第一実施形態や第二実施形態と比べ、第一の地点の状況に応じてゴースト（協力者）を選択する管理サーバ８を備えた構成が異なっている。なお、その他の構成は同じであるため、同一の要素に同符号を付す等して、再度の説明を省略する。
【０１３７】
図３８は、第四実施形態に係る遠隔コミュニケーションシステム１００Ａの概略構成図である。本実施形態のアバター１Ｄは、図１のアバター１と比べ、選択用情報取得部４６や選択用情報送信部４７を更に備えている。
【０１３８】
選択用情報取得部４６は、マイク２３から入力された音信号や、撮影部２１で撮影した撮影画像から、協力者を選択するための情報を取得する。例えば、選択用情報取得部４６は、利用者の音声や、撮影部２１で撮影した撮影画像を取得して、これらを選択用情報とする。また、選択用情報取得部４６は、利用者の音声を取得し、音声認識によって利用者の要求を特定し、この要求がどの分野の要求かを判定して、当該分野を示す選択用情報を生成してもよい。また、選択用情報取得部４６は、撮影部２１で撮影した撮影画像を取得し、撮影画像から看板や人の顔、車両、交通標識など、所定のパターンと一致する画像を抽出し、この画像を含む選択用情報を生成してもよい。更に、選択用情報取得部４６は、撮影部２１で撮影した撮影画像から、利用者のジェスチャを認識し、利用者が特定のジェスチャを行った場合に選択用情報を取得するようにしてもよい。
【０１３９】
選択用情報送信部４７は、選択用情報取得部４６で取得した選択用情報を管理サーバ８へ送信する。
【０１４０】
本実施形態の遠隔コミュニケーションシステム１００Ａは、図１の遠隔コミュニケーションシステム１００と比べ、管理サーバ８を更に備えている。管理サーバ８は、ＣＰＵやメモリ（記憶部）を有するコンピュータであり、選択用情報受信部８１と、選択部８２と、通知部８３の処理を行う。また、管理サーバ８は、複数のゴーストに関する属性情報を記憶したデータベース（以下、ゴーストＤＢと称す）をメモリに格納している。
【０１４１】
選択用情報受信部８１は、利用者による入力情報や、前記第一の地点における音情報、前記撮影部による前記撮影画像を選択用情報として取得する。例えば、利用者の音声を認識し利用者の質問や要望を選択用情報として取得する。また、撮影画像中の被写体を認識し、この被写体に関するジャンルを選択用情報として取得する。
【０１４２】
選択部８２は、ゴーストＤＢを参照し、各ゴーストの属性情報と選択用情報とに基づいてゴーストを選択する。図３９は、ゴーストＤＢの一例を示す図である。図３９のゴーストＤＢは、ゴーストの識別情報（ゴーストＩＤ）や、属性情報、連絡先等が記憶されている。ゴーストＩＤは、ゴーストを一意に識別するための情報であり、番号や氏名、愛称などである。属性情報は、ゴーストの性質を示す情報であり、選択部８２による選択の要素となる情報である。通知先は、選択されたことをゴーストに知らせるための宛先であり、例えば遠隔装置２のネットワークアドレスである。通知部８３は、選択部によって選択されたゴーストの通知先に、選択されたことを通知する。
【０１４３】
図４０は、アバター１Ｄが画像や音声のデータを送信する処理を示す図である。アバター１Ｄが起動された場合や通信の開始が指示された場合に、アバター１Ｄは、図４０の処理を開始し、図８等の処理と並行して実行する。
【０１４４】
ステップＳ７１０にて、アバター１Ｄは、所定期間（例えば、直近の数秒間）に撮影部２１で撮影された撮影画像を取得する。
【０１４５】
ステップＳ７２０にて、アバター１Ｄは、ステップＳ７１０で取得した画像を解析し、特定のジェスチャが行われたか否かを判定する。特定のジェスチャとは、例えば、手を振る、掌や顔などの部位をアバター１Ｄに向ける、サムズアップやコルナ（メロイックサイン）のように特定の指を立てて手をアバター１Ｄに近づける等の動作が挙げられる。
【０１４６】
ステップＳ７２０で否定判定であれば、アバター１Ｄは、図４０の処理を終了する。一方、ステップＳ７２０で肯定判定であれば、アバター１Ｄは、ステップ７３０へ移行し、マイク２３を介して入力された利用者の音声や周囲の音を音信号として取得する。
【０１４７】
ステップＳ７４０にて、アバター１Ｄは、音信号について音声認識を行い、利用者の音声を文字列に変換する。
【０１４８】
ステップＳ７５０にて、アバター１Ｄは、ステップＳ７４０で取得した文字列を形態素解析及び構文解析を行って、当該文字列から利用者の要求を判別する。例えば、取得した文字列を一文毎に区切り、述語とその目的語が、図１９に示す所定の要求パターンに該当するものを利用者の要求と判定する。図１９の例では、〈施設名〉へ行く、〈物品〉は何処（にありますか）？、〈物品〉は何ですか？、〈食品名〉を食べる、〈言語〉を教えて等のように要求パターンを有し、このうち「行く」「何処？」「何ですか？」「食べる」「教えて」などが述語の部分であり、〈施設名〉〈物品〉〈食品名〉〈言語〉が主語又は目的語の部分（以下、要求対象とも称す）である。
【０１４９】
取得した文が、「この花の名前は何ですか？」であれば、要求パターンの「〈物品〉は何ですか？」に合致し、「花の名前」が〈物品〉となる。
【０１５０】
また、取得した文が、「侘び寂びにあたるフランス語を教えて？」であれば、要求パターンの「〈言語〉を教えて」に合致し、「フランス語」が〈言語〉となる。
【０１５１】
ステップＳ７６０にて、アバター１Ｄは、ステップＳ７５０で求めた要求対象の分野を判定する。例えば、アバター１Ｄは、「動物」「植物」「車両」「英語」「フランス語」「歴史」「地理」などの分野毎に対応する要求対象を定めた対象分野テーブルを備えておき、ステップＳ７５０で求めた要求対象と対応する分野を判定する。例えば、要求対象が「花の名前」であれば分野を「植物」と判定する。また、上記の例では、要求対象が「フランス語」であれば分野も「フランス語」と判定する。
【０１５２】
ステップＳ７７０にて、アバター１Ｄは、撮影部２１で撮影された撮影画像を取得する。ステップＳ７８０にて、アバター１Ｄは、ステップＳ７７０で取得した画像を解析し、特定のパターンと類似する画像を抽出する。ここで特定のパターンとは、要求対象になると想定された画像であり、例えば、看板や書類、人の顔、車両、犬、猫、交通標識などが挙げられる。なお、ステップＳ７５０で要求対象が求められている場合には、取得した撮影画像から「花」や「車」など当該要求対象のパターンと類似する画像を抽出してもよい。また、利用者の要求が「これは何？」のように、要求対象に「これ」等、近くを示す代名詞を含む場合、利用者が手にしている物体や、利用者の近くにある物体の画像を抽出してもよい。また、要求対象に「あれ」等、遠くを示す代名詞を含む場合、利用者が指をさしている場所や顔を向けている場所にある物体の画像を抽出してもよい。
【０１５３】
ステップＳ７９０にて、アバター１Ｄは、ステップＳ７８０で抽出した画像の分野を判定する。例えば、抽出した画像が類似すると判定されたパターンの名称に対応する分野をステップＳ７６０と同様に対象分野テーブルから求める。即ち、抽出した画像が「犬」や「猫」のパターンと類似していた場合、対応する分野を「動物」とする。
【０１５４】
また、抽出した画像に文字が含まれている場合、文字認識し、施設名や所在地、見出し、タイトルなどを抽出し、対応する分野を対象分野テーブルから求める。例えば、抽出した画像が店舗の看板であり、看板から読み取った店舗名や取扱い商品が「パスタ」「ランチ」「リストランテ○○」であった場合、対象分野テーブルを参照して、「グルメ」「イタリア料理」等、対応する分野を求める。
【０１５５】
ステップＳ７９５にて、アバター１Ｄは、ネットワークを介して管理サーバ８と接続し、ステップＳ７６０，Ｓ７９０で判定した分野を示す選択用情報を管理サーバへ送信する。なお、選択用情報は、分野を示す情報の他、年齢（年代）や性別、スキルレベル等を指定する情報を含んでもよい。例えば、予め利用者が、「ファッション」であれば１０代、「グルメ」であれば同性の２０代以下、「スポーツ」であれば初心者（スキルレベル）などのように、ゴーストの属性を指定する情報をアバター１Ｄに入力しておき、これらの情報をアバター１Ｄが選択用情報に含めて送信するようにしてもよい。更に、分野等の属性を指定する情報だけでなく、ステップＳ７５０で判別した「侘び寂びにあたるフランス語を教えて？」といった利用者の要求や、ステップＳ７８０で抽出した画像を選択用情報に含めてもよい。
【０１５６】
なお、図４０の例では、音信号と画像の両方から選択用情報に用いる分野を求める例を示したが、これに限らず、音信号と画像の一方から分野を求める構成としてよい。また、音信号に基づきステップＳ７６０で分野が求められた場合に、ステップＳ７７０〜Ｓ７９
０を省略し、ステップＳ７５０で抽出した要求対象が「これ」「あれ」といった代名詞であるなど、ステップＳ７６０で分野が特定できない場合に、ステップＳ７７０〜Ｓ７９０を行って、画像から分野を特定してもよい。
【０１５７】
アバター１Ｄは、電源が切断された場合や、通信の開始が指示さるまで図４０の処理を繰り返し実行する。
【０１５８】
図４１は、管理サーバ８が、ゴーストを特定する処理を示す図である。管理サーバ８は、ネットワークを介してアバター１Ｄと接続した場合に図４１の処理を開始する。
【０１５９】
ステップＳ８１０にて、管理サーバ８は、アバター１Ｄから選択用情報を取得する。なお、本例では、アバター１Ｄが分野を特定する処理を行ったが、アバター１Ｄが音信号や撮影画像等を選択用情報として管理サーバ８へ送信し、管理サーバ８が前述のステップＳ７３０〜Ｓ７９０と同様に分野を特定してもよい。
【０１６０】
ステップＳ８２０にて、管理サーバ８は、ゴーストＤＢを参照し、ステップＳ８１０で取得した選択用情報と対応するゴーストを求める。例えば、選択用情報に示される分野と、属性情報の分野とが一致するゴーストを特定する。なお、選択用情報に、年代や性別、スキルレベル等、分野以外の情報が含まれている場合には、これらの情報と一致する属性を有するゴーストを特定する。選択用情報と一致した属性情報を有するゴーストが複数存在した場合、各ゴーストの優先度や順番等に基づいて所定数のゴーストを選択する。
【０１６１】
ステップＳ８３０にて、管理サーバ８は、ゴーストＤＢに基づいて、ステップＳ８２０で選択したゴーストの連絡先に、選択されたことを示す通知情報を送信する。ここで、ゴーストの連絡先は、例えば、当該ゴーストが用いる遠隔装置２のネットワークアドレスである。これに限らずゴーストの連絡先は、ゴーストが用いるスマートフォン等、他の装置のアドレスであってもよい。なお、管理サーバ８は、通知情報に、アバター１Ｄのアドレスや、利用者の要求等の情報を含めて送信してもよい。
【０１６２】
通知情報を受信したゴーストは、利用者との通信を了承する場合、受信した装置を操作して承認情報を返信する。なお、利用者との通信を了承しない場合、非承認を示す情報を返信してもよい。
【０１６３】
ステップＳ８４０にて、管理サーバ８は、承認情報を受信したか否かを判定する。ステップＳ８４０で、管理サーバ８は、所定時間以内に承認情報を受信しない場合や、非承認を示す情報を受信した場合に、否定判定とし、図４１の処理を終了する。
【０１６４】
ステップＳ８４０で肯定判定の場合、管理サーバ８は、ステップＳ８５０へ移行し、選択されたゴーストが用いる遠隔装置２のアドレスやゴーストＩＤをアバター１Ｄに通知して、遠隔装置２との通信を促す。なお、ゴーストが承認した場合に、通知情報が示すアバター１Ｄのアドレスに基づいて、遠隔装置２がアバター１Ｄとの通信を行うこととし、ステップＳ８４０、Ｓ８５０を省略してもよい。
【０１６５】
このように本実施形態によれば、第一の地点の音信号や撮影画像に基づいて利用者の要求を判定し、利用者の要求に応じた適切なゴーストを選択することができる。これにより利用者は、要求に適したゴーストの協力を受けることができる。
【０１６６】
なお、選択するゴーストは、人に限らず、第二実施形態に示す遠隔装置２Ａの処理によって実現される仮想のゴーストであってもよい。例えば、経路案内や、交通機関の乗換案内、インターネット上の検索、計算など、コンピュータ（遠隔装置２Ａ）が得意とする分
野を属性情報としてゴーストＤＢに登録しておき、当該分野と一致する選択要求情報を受けた場合に仮想のゴーストを選択する。具体的には、利用者が複数人で食事をした際、伝票をアバター１Ｄにかざし、「５人で割り勘すると一人いくら？」のように音声を発すると、アバター１Ｄは「〈割り勘〉いくら？」のように利用者の要求を認識する。この場合、アバター１Ｄは、要求対象が〈割り勘〉であるので、分野を「計算」とし、選択用情報に含めて管理サーバ８に送信する。管理サーバ８は、受信した選択用情報が示す分野が「計算」の場合、ゴーストＤＢを参照して対応する仮想のゴーストを選択し、連絡先である遠隔装置２Ａのアドレスへ通知情報を送信する。通知情報を受信した遠隔装置２Ａは、通知情報に基づいてアバター１Ｄと接続して、伝票の画像を取得し、合計欄の金額を読み取って５で割り、一人当たりの金額を求め、第二実施形態と同様にメッセージを作成してアバター１Ｄへ送信する。
【０１６７】
このようにコンピュータが得意とする分野であれば仮想のゴーストを選択し、その他の分野であれば実在の人をゴーストとして選択することで、人の感性等が必要な場合にのみ実在の人をゴーストとして選択することができ、人的資源を有効に活用できる。
【０１６８】
〈第五実施形態〉
第五実施形態の遠隔コミュニケーションシステム１００Ｂは、前述の第四実施形態と比べ、遠隔装置２Ｃが、ゴーストの感情を示す感情信号をアバター１Ｅへ送信し、アバター１Ｅが感情信号に応じて光源を発光させる構成が異なっている。なお、その他の構成は同じであるため、同一の要素に同符号を付す等して、再度の説明を省略する。
【０１６９】
図４２は、第五実施形態に係る遠隔コミュニケーションシステム１００Ａの概略構成図である。本実施形態の遠隔装置２Ｃは、図１の遠隔装置２と比べ、感情検出部７６や感情信号送信部７７を更に備えている。
【０１７０】
感情検出部７６は、ゴーストが発する音声や、ゴーストの顔の表情等から、ゴーストの感情を検出し、感情の種類を示す感情信号を生成する。例えば、感情検出部７６は、マイク５３を介してゴーストの音声を取得し、音声認識を行って利用者の音声を文字列に変換する。そして、感情検出部７６は、変換した文字列から「嬉しい」「ありがとう」「悲しい」「寂しい」「酷い」「ダメ」「止めなさい」等、感情に関わる所定の語を検出すると共に、発話スピードや声の高さ、声の大きさを検出する。また、感情検出部７６は、笑い声や、ため息、嗚咽などの非言語音声を検出するようにしてもよい。
【０１７１】
感情検出部７６は、文字列等の検出結果に基づき、喜び、心配、驚き、悲しみ、怒りといった感情の種類を判別し、この感情の種類や強さを示す感情信号を生成する。例えば、「嬉しい」「ありがとう」といった語や笑い声が検出された場合には、感情の種類を「喜び」と判別し、「大丈夫？」「危ないよ」「心配だ」といった語が検出された場合には、感情の種類を「心配」と判別する。また、「悲しい」「寂しい」といった語や嗚咽、泣き声が検出された場合には、感情の種類を「悲しみ」と判別し、「ダメ」「止めなさい」といった語が検出された場合には、感情の種類を「怒り」と判別する。また、検出した発話スピードや声の高さ、声の大きさを、予め測定した平常時のものと比べ、この変化量に応じて感情の強さを求めてもよい。例えば、発話スピードが速い、声が高い、声が大きいほど、「喜び」「心配」「驚き」「怒り」の感情の強さを強い値とする。なお、ネガティブな感情（例えば「悲しみ」）は、発話スピードが遅い、声が低い、声が小さいほど、感情の強さを強い値としてもよい。
【０１７２】
また、遠隔装置２Ｃは、カメラ（撮影部）でゴーストの顔を撮影し、顔の表情から感情の種類や強さを検出する。なお、顔の表情から感情を検出する技術は、公知の技術が利用できるので、詳しい説明は省略する。
【０１７３】
感情信号送信部７７は、感情検出部７６で生成した感情信号をアバター１へ送信する。このように、本実施形態の遠隔装置２Ｃでは、ゴーストが「怒り」や「喜び」といった感情の種類を選択するといった特段の操作を行わなくても、感情検出部７６がゴーストの音声や顔の表情から感情を検出して、アバター１Ｅへ送り、利用者に提示することができる。このため、本実施形態のアバター１Ｅは、図３８のアバター１Ｄと比べ、感情信号受信部４８を更に備えている。
【０１７４】
感情信号受信部４８は、遠隔装置２Ｃから感情信号を受信する。また、本実施形態の表示制御部４３は、感情信号を受信した場合に、当該感情信号が示す感情の種別に応じた発光パターンでＬＥＤ（光源）１２を発光させて、ゴーストの感情を利用者に提示する。
【０１７５】
表示制御部４３は、例えば、「喜び」はピンク、「心配」は緑、「驚き」はオレンジ、「悲しみ」は青、「怒り」は赤など、感情信号が示す感情の種類毎に所定の色でＬＥＤ１２を発光させる。なお、淡色に限らず、「怒り」は赤と紫、「喜び」はピンクと緑などのように複数色を組み合わせて発光させてもよい。また、表示制御部４３は、感情の強さが強いほど、ＬＥＤ１２の輝度を高くする。更に、表示制御部４３は、ＬＥＤ１２を点滅させ、感情の強さが強いほど、点滅の速度を速くしてもよい。
【０１７６】
図４３は、第五実施形態に係るアバター１Ｅが視線情報及び感情信号に基づいて表示する処理を示す図である。アバター１Ｅが起動された場合や通信の開始が指示された場合に、アバター１Ｅは、図４３の処理を開始する。ステップＳ３１０Ａにて、アバター１Ｅは、遠隔装置２から視線情報、感情情報及び音声メッセージを受信する。
【０１７７】
ステップＳ３２０にて、アバター１Ｅは、視線情報に基づいて点灯させるＬＥＤ（光源）１２を特定し、ステップＳ３３０にて、特定のＬＥＤ１２を点灯させることで、視線の方向を利用者へ提示する。
【０１７８】
ステップＳ３３５にて、アバター１Ｅは、ステップＳ３２０で特定した以外のＬＥＤ１２を感情情報が示す感情の種別に応じて、色や輝度、点滅速度等を所定のパターンで点灯させる。なお、ステップＳ３３０で視線情報に基づいて点灯させるＬＥＤ１２と、感情信号に応じて発光させるＬＥＤ１２とは、色を異ならせることが望ましい。例えば、表示制御部４３は、視線情報に基づいて点灯させるＬＥＤ１２を特定の色（例えば白）で発光させ、感情信号に応じて発光させるＬＥＤ１２の色が当該特定の色以外となるように、感情の種類毎に割り当てる色を当該特定の色以外（例えば白以外）とする。
【０１７９】
なお、ステップＳ３４０，ステップＳ３５０については、前述の図１１と同じである。アバター１Ｅは、電源がオフにされるまで、或は通信の終了が指示されるまでは、図４３の処理を繰り返し実行する。図４３の例では、感情信号に応じて発光させるＬＥＤ１２は、ステップＳ３２０で特定した視線方向を提示するＬＥＤ１２以外としたが、これに限らず、視線方向を提示するＬＥＤ１２の色や輝度を感情信号に応じたパターンで発光させてもよい。
【０１８０】
本実施形態によれば、遠隔装置２Ｃがゴーストの感情を検出してアバター１Ｅに提示させるので、ゴーストが感情を提示するための手間をかける必要がなく、利用者へのアドバイス等の作業に集中できる。
【０１８１】
なお、上記の実施形態や変形例は、一例であり、上記構成に限定されるものではなく、発明の趣旨に反しない範囲で変更してもよい。例えば上記の実施形態や変形例の要素を組み合わせたり、一部の要素を省略してもよい。
【符号の説明】
【０１８２】
１        ：コミュニケーション装置（アバター）
２，２Ａ  ：遠隔装置
１０      ：表示部
１２      ：ＬＥＤ
１３      ：基板
１４      ：カバー
１５      ：基台
２１      ：撮影部
３１      ：本体
３２      ：支持体
４０      ：制御部
６０      ：制御部
７０      ：ゴーグル
１００    ：遠隔コミュニケーションシステム
【図１】
2019110535.tif 000003
【図２】
2019110535.tif 000004
【図３】
2019110535.tif 000005
【図４】
2019110535.tif 000006
【図５】
2019110535.tif 000007
【図６】
2019110535.tif 000008
【図７】
2019110535.tif 000009
【図８】
2019110535.tif 000010
【図９】
2019110535.tif 000011
【図１０】
2019110535.tif 000012
【図１１】
2019110535.tif 000013
【図１２】
2019110535.tif 000014
【図１３】
2019110535.tif 000015
【図１４】
2019110535.tif 000016
【図１５】
2019110535.tif 000017
【図１６】
2019110535.tif 000018
【図１７】
2019110535.tif 000019
【図１８】
2019110535.tif 000020
【図１９】
2019110535.tif 000021
【図２０】
2019110535.tif 000022
【図２１】
2019110535.tif 000023
【図２２】
2019110535.tif 000024
【図２３】
2019110535.tif 000025
【図２４】
2019110535.tif 000026
【図２５】
2019110535.tif 000027
【図２６】
2019110535.tif 000028
【図２７】
2019110535.tif 000029
【図２８】
2019110535.tif 000030
【図２９】
2019110535.tif 000031
【図３０】
2019110535.tif 000032
【図３１】
2019110535.tif 000033
【図３２】
2019110535.tif 000034
【図３３】
2019110535.tif 000035
【図３４】
2019110535.tif 000036
【図３５】
2019110535.tif 000037
【図３６】
2019110535.tif 000038
【図３７】
2019110535.tif 000039
【図３８】
2019110535.tif 000040
【図３９】
2019110535.tif 000041
【図４０】
2019110535.tif 000042
【図４１】
2019110535.tif 000043
【図４２】
2019110535.tif 000044
【図４３】
2019110535.tif 000045