(57)【要約】【課題】複数の通話相手と通信を行う場合であっても、発話相手の特定が容易に行える情報出力装置、及び情報出力方法を提供することを目的とする。【解決手段】端末から前記端末の位置情報を取得する位置取得部と、端末から音声情報を取得する音声取得部と、位置取得部が取得した位置情報に基づいて、音声取得部が取得した音声信号を、左右の音声信号に振り分ける音声調整部と、を備える。【選択図】図８
2013175929.tif 000002
【特許請求の範囲】
【請求項１】
端末から前記端末の位置情報を取得する位置取得部と、
前記端末から音声情報を取得する音声取得部と、
前記位置取得部が取得した位置情報に基づいて、前記音声取得部が取得した音声信号を、左右の音声信号に振り分ける音声調整部と、
を備えることを特徴とする情報出力装置。
【請求項２】
画像を表示する表示部と、
前記端末の利用者の分身であるアバターを生成するアバター生成部と、
を備え、
前記アバター生成部は、
前記位置取得部が取得した位置情報に基づいて、前記生成したアバターの配置を決定し、決定した前記アバターの配置に基づいて前記アバターを前記表示部に表示し、
前記音声調整部は、
前記アバター生成部が生成したアバターの配置に基づいて、前記左右の音声信号に振り分ける音量を調整する
ことを特徴とする請求項１に記載の情報出力装置。
【請求項３】
前記音声調整部は、
複数の前記端末から取得した各位置情報に基づいて、複数の前記端末から取得した各音声信号の左右の振り分け音量を調整する
ことを特徴とする請求項１または請求項２に記載の情報出力装置。
【請求項４】
前記アバター生成部は、
前記位置取得部が複数の前記端末から取得した各位置情報に基づいて、前記生成した複数のアバターの配置を決定し、
前記音声調整部は、
前記アバター生成部が生成した複数のアバターの左右の配置に基づいて、複数の前記端末から取得した各音声信号の左右の振り分け音量を調整する
ことを特徴とする請求項２に記載の情報出力装置。
【請求項５】
前記アバター生成部は、
前記端末からの通話への参加状態に基づいて、前記生成したアバターの表示と配置を調整し、
前記音声調整部は、
前記アバター生成部が調整したアバターの表示と配置に基づいて、前記端末から取得した各音声信号の左右の振り分け音量を調整する
ことを特徴とする請求項２に記載の情報出力装置。
【請求項６】
前記アバター生成部は、
前記端末から前記位置情報を取得できない場合、前記アバターを、通話に参加した順番に、予め定められている位置へ配置して前記表示部に表示する
ことを特徴とする請求項２に記載の情報出力装置。
【請求項７】
前記音声調整部は、
前記位置取得部が他の前記端末から取得した位置情報と、自端末の位置情報に基づいて、前記音声取得部が取得した音声信号を、左右の音声信号に振り分ける
ことを特徴とする請求項１から請求項６のいずれか１項に記載の情報出力装置。
【請求項８】
前記アバター生成部は、
前記位置取得部が他の前記端末から取得した位置情報と、自端末の位置情報に基づいて、前記生成したアバターを配置して前記表示部に表示する
ことを特徴とする請求項２に記載の情報出力装置。
【請求項９】
情報出力装置における情報出力方法であって、
位置取得部が、端末から前記端末の位置情報を取得する位置取得手順と、
音声取得部が、前記端末から音声情報を取得する音声取得手順と、
音声調整部が、前記位置取得手順が取得した位置情報に基づいて、前記音声取得手順が取得した音声信号を、左右の音声信号に振り分ける音声調整手順と、
を含むことを特徴とする情報出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報出力装置、及び情報出力方法に関する。
【背景技術】
【０００２】
ＴＶ（テレビジョン）電話やＴＶ会議等で、通信相手のアバターを表示するシステム技術が開示されている（例えば、特許文献１参照）。なお、アバターとは、例えば、チャットやＷｅｂ（ウェブ）上で、ユーザーの分身を表す画像である。特許文献１に記載の技術では、例えば、通話相手に対応するアバターの配置を、まず、発信元の現実世界の人物配置に基づいて配置する。そして、受信者に対応するアバターを、受信者が使用している端末の位置情報に基づいて配置していた。このため、例えば、発信元に複数の発話者がいる場合、受信者の端末には、発信元にいる複数の発話者に対応するアバターが表示される。このため、受信者が端末に表示されているアバターを見ていても、発信元のどの発話者が発話しているのかを特定しにくいという問題点があった。
【０００３】
このため、特許文献２に記載の技術では、通話相手の表情をカメラで撮影して、撮影した画像に基づいて、アバターの表情を変化させることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−５５２５７号公報
【特許文献２】特開２００５−２９３３３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献２の技術では、１対１のコミュニケーションが主な用途であったため、発話者に対するアバターは、必ず特定されていた。しかしながら、特許文献１の技術のように１対多のコミュニケーションにおいては、どのアバターに対応する発話者が発話しているのかを特定できないという課題があった。
【０００６】
本発明は、上記の事情に鑑み成されたものであって、複数の通話相手と通信を行う場合であっても、発話相手の特定が容易に行える情報出力装置、及び情報出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様に係る情報出力装置は、端末から前記端末の位置情報を取得する位置取得部と、前記端末から音声情報を取得する音声取得部と、前記位置取得部が取得した位置情報に基づいて、前記音声取得部が取得した音声信号を、左右の音声信号に振り分ける音声調整部と、を備えることを特徴としている。
【０００８】
上記目的を達成するため、本発明の一態様に係る情報出力方法は、情報出力装置における情報出力方法であって、位置取得部が、端末から前記端末の位置情報を取得する位置取得手順と、音声取得部が、前記端末から音声情報を取得する音声取得手順と、音声調整部が、前記位置取得手順が取得した位置情報に基づいて、前記音声取得手順が取得した音声信号を、左右の音声信号に振り分ける音声調整手順と、を含むことを特徴としている。
【発明の効果】
【０００９】
通信相手の端末の位置情報に基づいた位置に応じて左右の音声のバランスを切り替えるようにしたので、複数の通話相手と通信を行う場合であっても、発話相手の特定が容易に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係るヘッドマウントディスプレイの斜視図である。
【図２】本実施形態に係るヘッドマウントディスプレイを背面側から見た斜視図である。
【図３】本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。
【図４】本実施形態に係るディスプレイ本体の水平断面図である。
【図５】本実施形態に係るリモコンを示す斜視図である。
【図６】本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
【図７】本実施形態に係るヘッドマウントディスプレイ１の機能ブロック図である。
【図８】本実施形態に係る処理部の機能ブロック図である。
【図９】本実施形態に係るＨＭＤ１を含む通信システムのシステム構成図である。
【図１０】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１１】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１２】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１３】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１４】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１５】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１６】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１７】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１８】本実施形態に係る処理手順の一例を示すフローチャートである。
【図１９】本実施形態に係る処理手順の一例を示すフローチャートである。
【図２０】本実施形態に係る処理手順の一例を示すフローチャートである。
【図２１】本実施形態に係るＬＣＤまたは表示部に表示される画像の構成の一例を説明する図である。
【図２２】本実施形態に係るカーソルが表示された画像の一例である。
【図２３】本実施形態に係る線画の一例である。
【図２４】本実施形態に係るグリッドの一例を示す図である。
【図２５】本実施形態に係るグリッドの他の例を示す図である。
【図２６】本実施形態に係るアバターの表示手順のフローチャートである。
【図２７】本実施形態に係る通話相手を呼び出し中に表示される画像の一例を説明する図である。
【図２８】本実施形態に係る通話相手が通話に参加したときの表示の一例の図である。
【図２９】本実施形態に係るアバターを再配置した後の表示の一例の図である。
【図３０】本実施形態に係るアバターの口元び目線をアニメーションで表示する例の図である。
【図３１】実施形態に係る通話相手が１人、抜けた場合の表示の例を説明する図である。
【図３２】本実施形態に係る音声調整部が行う左右の音量バランスの調整のフローチャートである。
【図３３】本実施形態に係る他のアバター表示における表示手順のフローチャートである。
【図３４】本実施形態に係るアバターを２次元的に配置した表示画像の一例を説明する図である。
【図３５】図３４の表示において、ＨＭＤ１の表示部６０が９０度ほど左に回転した場合のアバター表示の例を説明する図である。
【発明を実施するための形態】
【００１１】
本実施形態の情報出力装置は、通話相手が通話を行っている場所の位置等に基づいて、通話を行う通話相手の分身である複数のアバターを、表示部に各々配置して表示する。本情報出力装置は、このように配置したアバターの位置関係に基づいて、通話相手の音声の左右のバランスを変更する。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
【００１２】
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。
【００１３】
図１は、本実施形態のヘッドマウントディスプレイの斜視図である。図２は、本実施形態のヘッドマウントディスプレイ（頭部装着装置、以下、ＨＭＤともいう）を背面側から見た斜視図である。図３は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。
【００１４】
ＨＭＤ１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のＨＭＤ１は、図３に示すように、両眼どちらでも使用可能である。図３（Ａ）には、ユーザーが右眼で表示部６０を見ている状態、図３（Ｂ）には左眼で見ている状態が示されている。また図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。
なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。
【００１５】
以下、ＨＭＤ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インターフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。
【００１６】
装置本体部２１は、図４に示す概略板状の筐体２１Ａを有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。
【００１７】
装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりＨＭＤ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。
【００１８】
装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。
【００１９】
耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。
【００２０】
心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
【００２１】
装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Universal Serial Bus）デバイスの接続端子である。本実施形態では、例えば図５に示すリモコン（リモートコントローラー）１４０が接続される。
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。
【００２２】
図４は、本実施形態のディスプレイ本体２０の水平断面図である。
図４に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。
【００２３】
装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。
【００２４】
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。
【００２５】
ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図３（Ａ）に示す右眼で画像を観察する形態と、図３（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。
【００２６】
またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの目や耳に対する位置を調整することができる。
【００２７】
ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ＨＭＤ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。
【００２８】
表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。
【００２９】
図４に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
【００３０】
装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向（図４のＹ’軸方向）に突出するようにして設けられている。
【００３１】
表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の上記傾斜面に設けられており、表示部６０が内側に湾曲した形状を有している。
【００３２】
また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向（概ねＸ’軸に沿う方向）の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。
すなわち、本実施形態によれば、保持部であるディスプレイヒンジ６１は、表示部６０を、少なくとも１つ以上の軸周りに揺動が可能である。
【００３３】
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。
【００３４】
表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とが設けられている。
【００３５】
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。
【００３６】
第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。
【００３７】
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ているユーザーの目元は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。撮像素子７２を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。バックライト６２は、撮像素子７２による目元撮影の照明装置としても利用される。
【００３８】
カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ６４の撮影方向は、ユーザーの視線方向と一致するように設定される。撮影方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ６４を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル６３に表示させる。これにより、カメラ６４に調整機構を設けることなくユーザー正面の映像の撮影、表示が可能となる。
【００３９】
前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
【００４０】
また、図４では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。
【００４１】
次に、ヘッドバンド４０について、図２を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。
【００４２】
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。
【００４３】
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。
【００４４】
また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。
【００４５】
ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。
【００４６】
ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。
【００４７】
この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。
【００４８】
図５は、本実施形態のリモコンを示す斜視図である。
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ、１４３ｂ、１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０と、を備えている。
【００４９】
リモコン１４０は、ＵＳＢケーブル１４８の一方の端子をＵＳＢコネクター１４２に接続し、他方の端子を装置本体部２１のＵＳＢコネクター２５に接続することで、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８としては市販のＵＳＢケーブルを用いることができる。本実施形態の場合、ＵＳＢケーブル１４８の途中に複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えばＵＳＢケーブル１４８を第２ヘッドバンド４４に沿わせた状態で固定するために用いることができる。
【００５０】
リモコン１４０には、ディスプレイ本体２０や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ultra Wide Band）、Transfer Jetなどを用いることができる。かかる通信回路により、ＵＳＢケーブル１４８を接続していなくてもディスプレイ本体２０との通信が可能である。
【００５１】
リモコン１４０には、Ｇセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体２０へ通信可能である。
【００５２】
タッチパッド１４１は筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることによりディスプレイ本体２０を操作するための操作部である。タッチパッド１４１の背面側の筐体１４０Ａ内部には、装置本体部２１のタッチスイッチ３４と同様に表示パネルやバックライトが設けられていてもよい。
【００５３】
操作スイッチ１４７は、リモコン１４０やディスプレイ本体２０を手動操作するためのスイッチである。操作スイッチ１４７は、必要に応じて設けられていればよい。筐体１４０Ａの側面に設けられたインジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作を行わせるためのスイッチである。
【００５４】
ＵＳＢコネクター１４２は、装置本体部２１との接続のほか、リモコン１４０が充電式のバッテリーを内蔵している場合にはリモコン１４０の充電端子や、ＰＣとの接続にも用いられる。
またリモコン１４０がバッテリーを内蔵している場合には、装置本体部２１への給電端子として用いることもできる。リモコン１４０のバッテリーを補助電源として使用可能にすることで、装置本体部２１のバッテリー容量を小さくでき、装置本体部２１を小型軽量化することができる。
【００５５】
インジケーター１４３ａ、１４３ｂ、１４３ｃは、タッチパッド１４１の周囲に配置されている。本実施形態では、タッチパッド１４１の一辺に沿う位置にインジケーター１４３ａが配置され、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側にインジケーター１４３ｂとインジケーター１４３ｃとが配置されている。
【００５６】
インジケーター１４３ａ〜１４３ｃはＬＥＤ等の発光素子を備えている。本実施形態では、インジケーター１４３ａは緑色の発光素子、インジケーター１４３ｂはオレンジ色の発光素子、インジケーター１４３ｃは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター１４３ａ〜１４３ｃの上記パターン発光は、筐体１４０Ａ側面のインジケータースイッチ１５０を操作することでオンオフすることができる。
【００５７】
インジケーター１４３ａ〜１４３ｃのパターン発光は、例えばリモコン１４０の状態（例えばリモコン１４０の上下左右の傾き状態）を示すものである。かかるパターン発光を装置本体部２１のカメラ６４で撮影し、取得した画像を解析することにより、リモコン１４０の状態を装置本体部２１に伝達することが可能である。インジケーター１４３ａ〜１４３ｃを利用した情報伝達方式は、Bluetooth（登録商標）などの無線通信を用いた場合と比較して電力消費を抑えることができる。
【００５８】
取付クリップ１４４は、筐体１４０Ａのタッチパッド１４１と反対側の面に設けられている。本実施形態の場合、取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４により、リモコン１４０をユーザーの衣服やベルト等に装着することができる。
【００５９】
図６は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
【００６０】
コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。
【００６１】
ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。
【００６２】
ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。
【００６３】
また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図３（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。なお、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。
【００６４】
一方、図３（Ｂ）に示すように左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。
【００６５】
本実施形態の場合、集音マイク２４、１０５はいずれもユーザーの耳の近傍に配置されるため、バイノーラル録音のような臨場感のある録音が可能である。また集音マイク２４と集音マイク１０５に同じ特性のマイクを用いることで、左右の音の特性の差異を小さくすることができる。
【００６６】
図７は、本実施形態のヘッドマウントディスプレイ１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（Central Processing Unit）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。
【００６７】
バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりヘッドマウントディスプレイ１の各部に供給する。
【００６８】
本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、ＢＬドライバ１２６、操作スイッチ３０、フラッシュメモリー１２２、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４が接続されている。
【００６９】
エンコーダー１２９は音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。
【００７０】
エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される映像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される映像信号、及び、ユーザーの目元を撮影する撮像素子７２の映像信号が入力される。エンコーダー１２９に入力された音声信号及び映像信号は音声データ及び映像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び映像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。
【００７１】
デコーダー１２１は、音声データ及び映像データを音声信号及び映像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。
【００７２】
映像データを再生する場合、フラッシュメモリー１２２に記録された映像データ、あるいはエンコーダー１２９から入力される映像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された映像データは、映像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される映像信号は、ビデオコネクター２７を介して外部機器に出力される。
【００７３】
また映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。
【００７４】
音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。
【００７５】
本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。
【００７６】
一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のＨＭＤ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。
【００７７】
メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーに操作されると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
【００７８】
ＢＴ通信回路１３０は、他の機器とのBluetooth（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（IEEE 802.11）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
【００７９】
加速度センサー１３２はＨＭＤ１の傾き検出に用いられる。地磁気センサー１３３はＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４はＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Global Positioning System）を利用した測位検出に用いられる。温湿度センサー１３６は環境の温度、湿度の検出に用いられる。心拍数センサー１３７はユーザーの頬に接触し、ユーザーの心拍数を検出する。
【００８０】
図８は、本実施形態の処理部１２３の機能ブロック図である。
図８に示すように、処理部１２３は、入力検出部３０１、画像切替部３０２、送受信部３０３、線画生成部３０４、カーソル生成部３０５、アバター生成部３０６、アバター記憶部３０７、画像合成部３０８、位置算出部３０９（位置取得部）、及び音声調整部３１０（音声取得部、音声調整部）を備えている。なお、図８において、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路を総称して、通信インタフェース（１３１、１３８）を称する。
【００８１】
入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、画像切替部３０２、送受信部３０３、及びアバター生成部３０６に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、受信の指示、カーソル表示の指示、線画表示の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。また、入力検出部３０１は、カーソル表示時、または線画表示時には、タッチスイッチ３４上での指の動きを検出する。
入力検出部３０１は、カーソル表示の場合、指の動きに応じた位置を示す情報を、カーソル生成部３０５に出力する。入力検出部３０１は、線画表示の場合、指の動きに応じた位置を示す情報を、線画生成部３０４に出力する。
【００８２】
画像切替部３０２は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを画像合成部３０８に出力する。画像切替部３０２は、送受信部３０３が出力した受信信号から画像切替信号を抽出する。画像切替部３０２は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを画像合成部３０８に出力する。また、画像切替部３０２は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像合成部３０８に出力する。
【００８３】
送受信部３０３は、入力検出部３０１が出力した制御信号に基づき、画像合成部３０８が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０３は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０２、線画生成部３０４、及びカーソル生成部３０５に出力する。
【００８４】
線画生成部３０４は、入力検出部３０１が出力した指の動きに応じた位置を示す情報に基づき、指の動きに応じた軌跡を伴う線画データを生成する。線画生成部３０４は、生成した線画データを、画像合成部３０８に出力する。線画生成部３０４は、送受信部３０３が出力した受信信号から線画データを抽出し、抽出した線画データを、画像合成部３０８に出力する。
【００８５】
カーソル生成部３０５は、入力検出部３０１が出力した指の動きに応じた位置を示す情報に基づき、指の動きに応じた軌跡を伴わないカーソル画像データを生成する。カーソル生成部３０５は、生成したカーソル画像データを、画像合成部３０８に出力する。カーソル生成部３０５は、送受信部３０３が出力した受信信号から位置情報を伴うカーソル画像データを抽出し、抽出したカーソル画像データを、画像合成部３０８に出力する。
【００８６】
アバター生成部３０６は、入力検出部３０１が出力した制御信号に基づき、ＨＭＤ１のユーザーに対して予め設定されているアバター画像データを、アバター記憶部３０７から読み出す。アバター生成部３０６は、読み出したアバター画像データを、送受信部３０３に出力する。
アバター生成部３０６は、送受信部３０３が出力する受信信号から他のユーザーのアバターを示す情報を抽出する。アバター生成部３０６は、抽出した他のユーザーのアバターを示す情報に基づき、そのユーザーに対応するアバター画像データを、アバター記憶部３０７から読み出す。
なお、アバターとは、ＨＭＤ１のユーザー、及びＨＭＤ１と送受信を行っているユーザーの顔等をイラスト化したものである。また、アバター画像データは、例えば、顔の外観、髪の毛、目、眉毛、鼻、口、耳等のパーツにより構成されているようにしてもよい。
【００８７】
アバター生成部３０６は、撮像素子７２が撮像した画像、及び読み出したアバター画像データに基づいて、ＨＭＤ１のユーザーに対するアバター（以下、ＨＭＤ１のアバターという）の表情を生成する。なお、撮像素子７２が撮像した画像とは、ＨＭＤ１のユーザーの目、口を含んで撮像された画像である。例えば、アバター生成部３０６は、撮像素子７２が撮像した画像を、周知の画像認識の技術を用いて、口が動いているか、目線が左右のどちらに向いているか等を抽出する。アバター生成部３０６は、アバター画像データの中から、例えば、目と口のパーツを、抽出した情報に基づいて、初期状態のパーツから変更する。なお、初期状態のパーツとは、例えば、目は、目線が正面を向いていて、口は閉じている。変更するパーツは、目線が左を向いているもの、目線が右を向いているもの、口元が開いているもの、等である。
なお、送受信部３０３から出力された受信信号に含まれている他の端末に対するアバター画像データには、他の端末により生成されたアバターの表情情報が含まれているようにしてもよい。あるいは、アバター生成部３０６は、送受信部３０３から出力された受信信号から、他の端末のユーザーの顔（含む目元、口元）を撮像した画像を抽出し、抽出した画像に基づいて、他の端末のユーザーに対するアバターの表情を示す情報を生成するようにしてもよい。
アバター生成部３０６は、生成したＨＭＤ１のアバター画像データ（アバターの表情を示す情報を含む）を、送受信部３０３に出力する。すなわち、ＨＭＤ１のアバター画像データは、送受信部３０３、及び通信インタフェース（１３１、１３８）を介して、通話を行うユーザーの各端末に送信される。
【００８８】
アバター生成部３０６は、位置算出部３０９から出力された位置情報に基づいて、ＨＭＤ１、及び他の端末のアバターの配置を算出する。例えば、アバター生成部３０６は、位置情報から経度に関する情報を抽出し、抽出した経度に関する情報に基づいて、ＨＭＤ１に対して相対的に東にいるユーザーに対応するアバターを、表示パネル６３の一番右に配置する。アバター生成部３０６は、このように、順次、経度を比較して、表示パネル６３上に、右から順番に配置する。アバター生成部３０６は、このように配置した各アバターの位置情報、他の端末のアバター画像データを、画像合成部３０８に出力する。
また、アバター生成部３０６は、生成した各アバターの位置情報を音声調整部３１０に出力する。
【００８９】
アバター生成部３０６は、位置算出部３０９から出力された位置情報に基づいて、後述するように、ＨＭＤ１のユーザーがいる環境を示す付加情報アイコンを生成する。また、アバター生成部３０６は、送受信部３０３から出力された位置情報に基づいて、後述するように、各端末のユーザーがいる環境を示す付加情報アイコンを生成する。なお、各端末のユーザーがいる環境とは、例えば、自宅、会社、海上、電車の中、等である。アバター生成部３０６は、生成したＨＭＤ１に対する付加情報アイコンを示す画像データを、送受信部３０３に出力する。すなわち、処理部１２３は、ＨＭＤ１に対応する付加情報アイコンを示す画像データを、送受信部３０３、及び通信インタフェース（１３１、１３８）を介して、通話を行うユーザーの端末に送信する。
アバター生成部３０６は、各端末のユーザーに対応する付加情報アイコンを示す画像データを、画像合成部３０８に出力する。
また、アバター生成部３０６は、送受信部３０３から出力された受信信号から、他の端末を呼び出し中であるのか、他の端末が通話に参加しているのかを判別する。アバター生成部３０６は、判別した結果、他の端末を呼び出し中である場合、呼び出し中を示す画像情報を生成し、生成した呼び出し中を示す画像情報を、画像合成部３０８に出力する。
【００９０】
アバター記憶部３０７には、例えば、予め複数のアバター画像データが記憶されている。
【００９１】
画像合成部３０８には、画像切替部３０２が出力した画像データと、線画生成部３０４が出力した線画データが入力される。また、画像合成部３０８には、カーソル生成部３０５が出力した位置情報を伴うカーソル画像情報と、アバター生成部３０６が出力したアバター画像データ、及びアバター生成部３０６が出力したアバター付加情報が入力される。
画像合成部３０８は、入力されたこれらの画像データに基づき、画像を合成する。画像合成部３０８は、合成した画像を、送受信部３０３、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。
【００９２】
位置算出部３０９は、各種センサー（加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７など）の出力に基づいて、ＨＭＤ１が使用されている環境に関する情報である環境情報を生成する。位置算出部３０９は、生成した環境情報に基づいて、ＨＭＤ１が使用されている位置情報を生成する。位置算出部３０９は、生成したＨＭＤ１の位置情報を、送受信部３０３、及びアバター生成部３０６に出力する。
位置算出部３０９は、送受信部３０３から出力された受信信号から、他の端末の環境情報を抽出し、抽出した環境情報に基づいて、他の端末が使用されている位置情報を生成する。
位置算出部３０９は、生成した他の端末が使用されている位置情報を、アバター生成部３０６に出力する。
【００９３】
音声調整部３１０には、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ、以下、ＨＭＤ１の音声データともいう）、送受信部３０３が出力する受信信号、及びアバター生成部３０６が出力する各アバターの位置情報が入力される。音声調整部３１０は、送受信部３０３が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音声調整部３１０は、アバター生成部３０６が出力する各アバターの位置情報に基づいて、ＨＭＤ１の音声データ、他端末の音声データに基づく音声を、左右どちらのスピーカーに出力するのか、左右のスピーカーの各音量等を調整する。例えば、２人で通話している場合、一方のユーザー（ＨＭＤ１のユーザー）の方が、東に位置している場合、音声調整部３１０は、右のスピーカーから、ＨＭＤ１の音声を再生するように音声信号を調整する。他方のユーザー（他の端末のユーザー）の方が、西に位置している場合、音声調整部３１０は、左のスピーカーから、他端末のユーザーの音声を再生するように音声信号を調整する。すなわち、本実施形態においては、アバターの表示位置のみではなく、音声の再生も、ユーザーの位置関係に基づいて調整している。
また、音声調整部３１０は、各端末の位置関係に応じて、音量を調整するようにしてもよい。例えば、３人で通話していて、１人のみ遠方にいる場合、音声調整部３１０は、遠方にいるユーザーの音声信号を、近くにいるユーザーの音声信号より小さい音量で再生する。この結果、ステレオイヤホン１００で音声を聞いているユーザーには、通話している各ユーザーの位置関係が、音声によっても知覚することが可能になる。
【００９４】
次に、ＨＭＤ１が、他のユーザーが使用しているヘッドマウントディスプレイ５００（以下、ＨＭＤ５００という）、ＰＣ２１０、及びＰＣ２２０と通信を行う場合の手順について説明する。
図９は、本実施形態に係るＨＭＤ１を含む通信システムのシステム構成図である。図１０から図２０は、本実施形態に係る処理手順の一例を示すフローチャートである。
【００９５】
図９に示すように、通信システムは、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００から構成される。ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００は、ネットワーク２３０に接続されている。ネットワーク２３０は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、３Ｇ回線、ＬＴＥ回線等を介して接続されているインターネットなどのネットワークである。
【００９６】
図９において、ＨＭＤ１は、図７で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、ＨＭＤ１の表示パネル６３を、以後、ＬＣＤ６３という。
ＨＭＤ５００は、図９に示すように、主にフラッシュメモリー５２２、処理部５２３、通信インタフェース（５３１、５３８）、地磁気センサー５３３、タッチスイッチ５３４、表示パネル（表示部）５６３（以後、ＬＣＤ５６３という）、カメラ５６４を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。
【００９７】
次に、サーバー２００の構成について説明する。
図９に示すように、サーバー２００は、処理部２０１、記憶部２０２、及び通信インタフェース２０３を備えている。
【００９８】
サーバー２００の処理部２０１は、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）から通信インタフェース２０３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２０２に記録する。処理部２０１は、各端末の要求に応じて、記憶部２０２に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。
【００９９】
記憶部２０２には、各端末から受信した画像データ（動画、静止画）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録されている。
通信インタフェース２０３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。
【０１００】
次に、ＰＣ２１０及びＰＣ２２０の構成について説明する。ＰＣ２１０及びＰＣ２２０は、例えば、パーソナルコンピュータである。
ＰＣ２１０は、処理部２１１、記憶部２１２、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を備えている。
ＰＣ２２０は、処理部２２１、記憶部２２２、通信インタフェース２２３、入力部２２４、表示部２２５、及びカメラ２２６を備えている。ＰＣ２２０の各機能部は、ＰＣ２１０の各機能部と同等である。
【０１０１】
ＰＣ２１０の処理部２１１は、ＣＰＵ（中央演算装置）及びＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等である。処理部２１１は、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を制御する。処理部２１１は、記憶部２１２に記憶されている画像データ、通信インタフェース２１３を介して取得した画像データ、カメラ２１６で撮像された画像データを、後述するように通信インタフェース２１３介して取得した画像切替信号に基づいて切り替える。処理部２１１は、切り替えた画像データを通信インタフェース２１３及びネットワーク２３０に出力する。処理部２１１は、記憶部２１２に記憶されているＰＣ２１０に対応付けて記憶されているアバター画像データと、通信インタフェース２２３を介して取得した他の装置のアバター画像データ、および画像切替信号に基づいて切り替えた画像データを合成する。処理部２１１は、合成した画像データを表示部２１５に出力する。処理部２１１は、入力部２１４の操作に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。処理部２１１は、通信インタフェース２１３を介して取得した受信情報に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。
なお、以下、各装置に対応したアバターを、例えば、ＰＣ２１０のアバターという。
【０１０２】
記憶部２１２は、例えば、メモリー、ＨＤＤ（ハードディスク）である。記憶部２１２には、ＰＣ２１０のＯＳ（オペレーション・システム）、ＨＭＤ１、ＨＭＤ５００及びＰＣ２２０と通話を行うためのアプリケーション、ＰＣ２１０のユーザーに対して予め設定されているアバター画像データ等が記憶されている。
【０１０３】
通信インタフェース２１３は、例えば、無線ＬＡＮ、または有線ＬＡＮ、３Ｇ回線、ＬＴＥ回線等の通信を行うインタフェースである。通信インタフェース２１３は、ネットワーク２３０を介して受信した情報を処理部２１１に出力する。通信インタフェース２１３は、処理部２１１が出力した情報を、ネットワーク２３０を介して、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。
【０１０４】
入力部２１４は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部２１４は、入力された情報を、処理部２１１に出力する。なお、表示部２１５がタッチパネル機能を有する場合、表示部２１５は入力部２１４の機能を兼ねるようにしてもよい。
【０１０５】
表示部２１５は、処理部２１１が出力した画像データに基づく画像を表示する。
一例として、表示部２１５には、ＨＭＤ１が撮像した画像、ＨＭＤ１のアバター、ＨＭＤ５００のアバター、ＰＣ２２０のアバター、ＰＣ２１０の入力部２１４の操作に応じた線画画像が合成されて表示される。
【０１０６】
カメラ２１６は、例えば５００万画素〜１０００万画素の撮像素子を有するＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）である。
【０１０７】
次にＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０間で行う通話手順について説明する。なお、図９〜図１９の処理において、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００）は、各々の通信インタフェース（１３１、１３８、５３１、５３８、２１３、２２３、及び２０３）とネットワーク２３０を介して、通話を行う。
【０１０８】
まず、ＨＭＤ１から他の端末に発信する手順について説明する。
（ステップＳ１）図１０に示すように、ＨＭＤ１のユーザーは、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０と通話を行うため、ＨＭＤ１のタッチスイッチ３４を操作する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４が出力した制御信号に基づき、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０に通話を開始することを示す発信操作を行う。
【０１０９】
（ステップＳ２）ＨＭＤ１の処理部１２３は、ＨＭＤ１のアバター、ＨＭＤ５００のアバター、ＰＣ２１０のアバター、及びＰＣ２２０のアバターに、アバター付加情報を付加して、ＬＣＤ６３に表示する。
なお、ＨＭＤ１のＬＣＤ６３に表示される画像は、受信した映像と、アバター（含むアバター付加情報）とが、別のレイヤー（層）に表示される。
【０１１０】
具体的には、処理部１２３のアバター生成部３０６は、ＨＭＤ１のアバター画像データ、ＨＭＤ５００のアバター画像データ、ＰＣ２１０のアバター画像データ、及びＰＣ２２０のアバター画像データを、アバター記憶部３０７から読み出す。次に、アバター生成部３０６は、送受信部３０３が出力する受信信号に基づき、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０の各端末に対する呼び出し中の画像情報を生成する。次に、アバター生成部３０６は、読み出した各アバター画像データ、及び生成した呼び出し中の画像情報を関連付けて画像合成部３０８に出力する。次に、画像合成部３０８は、アバター生成部３０６が出力した画像データを、ＬＣＤドライバ１２５を介して、ＬＣＤ６３に表示する。すなわち、ＨＭＤ１のＬＣＤ６３には、ＨＭＤ１のアバター、ＨＭＤ５００のアバターと呼び出し中の画像、ＰＣ２１０のアバターと呼び出し中の画像（呼び出しマーク）、及びＰＣ２２０のアバターと呼び出し中の画像が表示される。
なお、表示されるアバターは、予めＨＭＤ１のユーザーが設定されたもの、もしくはデフォルトであらかじめ設定されたものである。
以下の処理においても、アバター及び、アバター付加情報の表示を処理部１２３の各部が行う。
【０１１１】
次に、ＨＭＤ５００の処理部５２３は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部５２３は、抽出した呼び出し情報に基づき、処理部５２３の記憶部からＨＭＤ１のアバター画像データを読み出す。次に、処理部２２１は、抽出した呼び出し情報に基づき、呼び出し中の画像情報を生成する。次に、処理部５２３は、読み出したＨＭＤ１のアバター画像データ、及び生成した呼び出し中の画像情報に基づく画像を、ＬＣＤ５６３に表示する。
【０１１２】
次に、ＰＣ２１０の処理部２１１は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部２１１は、抽出した呼び出し情報に基づき、記憶部２１２からＨＭＤ１のアバター画像データを読み出す。次に、処理部２１１は、抽出した呼び出し情報に基づき、呼び出し中を示す画像情報を生成する。次に、処理部２１１は、読み出したＨＭＤ１のアバター画像データ、及び生成した呼び出し中を示す画像情報に基づく画像を、表示部２１５に表示する。
次に、ＰＣ２２０の処理部２２１は、ＰＣ２１０と同様の処理を行い、記憶部２２２から読み出たＨＭＤ１のアバター画像データ、及び生成した呼び出し中を示す画像情報に基づく画像を、表示部２２５に表示する。
【０１１３】
次に、サーバー２００の処理部２０１は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部２０１は、抽出した呼び出し情報に基づき、ＨＭＤ１からの呼び出しがあったことを示す呼び出し情報を、例えば時刻情報と関連付けて、記憶部２０２に記録する。
【０１１４】
（ステップＳ３）ＨＭＤ１の処理部１２３は、カメラ６４が撮像した映像（動画）をＬＣＤ６３に表示するように制御する。
【０１１５】
（ステップＳ４）ＰＣ２１０のユーザーは、表示部２１５に表示された呼び出し中を示す画像を確認し、入力部２１４を操作して、通話に参加する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、通話に参加することを示す情報（以下、通話参加情報という）を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。次に、処理部２１１は、表示部２１５上に、ＨＭＤ１のアバター、及びＰＣ２１０のアバターを表示する。
【０１１６】
（ステップＳ５）ＨＭＤ１の処理部１２３は、ＰＣ２１０から受信した通話参加情報に基づき、ＰＣ２１０に対する呼び出し中であることを示す画像情報を、ＬＣＤ６３から消去する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した通話参加情報に基づき、ＰＣ２１０が通話に参加していることを示す情報を記憶部２０２に記録する。
【０１１７】
（ステップＳ６）ＨＭＤ５００のユーザーは、ＬＣＤ５６３に表示された呼び出し中を示す画像を確認し、タッチスイッチ５３４を操作して、通話に参加する。なお、この状態において、ＬＣＤ５６３上には、ＨＭＤ１のアバター、及びＨＭＤ５００のアバターが表示されている。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から出力された制御信号に基づき、通話参加情報を、ＨＭＤ１、ＰＣ２１０、及びサーバー２００に送信する。
【０１１８】
（ステップＳ７）ＨＭＤ５００の処理部５２３は、ＬＣＤ５６３にＰＣ２１０のアバターを追加して表示する。
次に、ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００に対する呼び出し中であることを示す画像情報を、ＬＣＤ６３から消去する。
次に、ＰＣ２１０の処理部２１１は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００のアバターを表示部２１５に表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００が通話に参加していることを示す情報を記憶部２０２に記録する。
なお、アバターの表示、及び、音声信号の再生については、後述する。
【０１１９】
次に、ＨＭＤ１によって撮影された映像を、他の端末に送信する手順を説明する。
（ステップＳ８）ＨＭＤ１のユーザーは、カメラ６４が撮像した映像を他の端末に送信するために、タッチスイッチ３４の所定の領域をタッチする。なお、送信される映像は、初期状態において低解像度に予め設定されている。低解像度とは、例えば、横が３２０画素、縦が２４０画素、１秒あたり３０フレームである。なお、低解像度の映像を送信する理由は、限られた、通信インフラの整わない、転送速度の遅いネットワーク環境においても、ＨＭＤ１のユーザーの首の動きによる映像のブレ等があっても、ある程度追従する画像を送信するためである。
【０１２０】
（ステップＳ９）図１１に移って、ＨＭＤ１の処理部１２３の画像切替部３０２は、タッチスイッチ３４から入力された制御信号に基づき、カメラ６４が撮像した画像を低解像度に変換する。処理部１２３は、変換した低解像度の映像信号、及びＨＭＤ１の環境情報を、通話に参加しているＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。
【０１２１】
（ステップＳ１０）各端末（ＨＭＤ５００、及びＰＣ２１０）の各処理部（５２３、及び２１１）は、ＨＭＤ１から受信した環境情報に基づき、ＨＭＤ１のカメラ６４が向いている方向（方位）を算出する。各処理部は、算出した方位と、ＨＭＤ１から受信した映像信号を、ＬＣＤ５６３、表示部２１５に表示する。
サーバー２００の処理部２０１は、ＨＭＤ１から受信した環境情報に基づき、ＨＭＤ１のカメラ６４が向いている方向（方位）を算出する。処理部２０１は、算出した方位と、ＨＭＤ１から受信した映像データを記憶部２０２に記録する。
【０１２２】
（ステップＳ１１）端末ＨＭＤ１の処理部１２３は、ステップＳ４及びＳ６の通話参加情報に基づき、ＰＣ２１０、及びＨＭＤ５００との３者通話を開始する。
次に、ＨＭＤ５００の処理部５２３は、ステップＳ１、及びＳ４に基づき、ＨＭＤ１、及びＰＣ２１０との３者通話を開始する。
次に、ＰＣ２１０の処理部２１１は、ステップＳ１、及びＳ６に基づき、ＨＭＤ１、及びＨＭＤ５００との３者通話を開始する。
次に、サーバー２００の処理部２０１は、ステップＳ１、Ｓ４、及びＳ６に基づき、３者通話の内容（音声データ、映像データ）の記録を開始する。
【０１２３】
（ステップＳ１２）ＨＭＤ１のユーザーは、カメラ６４で撮像された映像の特定の箇所を、通話に参加しているユーザーに示すために、タッチスイッチ３４上で予め定められている指の動作（第３操作）を行う。なお、タッチスイッチ３４を操作する代わりに、ＨＭＤ１のユーザーは、例えば２回続けて瞬ききをしても良い。このことはＨＭＤ１の撮像素子７２によって検出され、タッチスイッチ３４への操作と同等として処理される。
【０１２４】
（ステップＳ１３）ＨＭＤ１の処理部１２３の画像切替部３０２は、タッチスイッチ３４から入力された制御信号に基づき、カメラ６４が撮像した映像信号を中解像度に変換する。
次に、処理部１２３は、変換した中解像度の映像データ、及び環境情報を通話に参加しているＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。なお、中解像度の映像とは、例えば、横が８００画素、縦が６００画素である。中解像度の映像を送信する場合、ＨＭＤ１のユーザーは、他の端末のユーザーに対して、映像を送信することを目的としているため、ＨＭＤを装着しているユーザーの首の動きが少なく、すなわち、カメラ６４のブレが少ない。このため、処理部１２３は、ステップＳ９で設定した低解像度から解像度を中解像度に上げて、他のユーザーが見やすい映像を送信することを目的として、中解像度の映像に切り替える。
【０１２５】
なお、通信インフラの環境が悪く、解像度を横が８００画素、縦が６００画素、３０フレーム／秒で送信するだけの通信速度の確保が難しい場合、処理部１２３は、カメラのブレが少ないと判断されるこの状況において、フレームレートを落とし、例えば８フレーム／秒としてもよい。
また、ＨＭＤ１の角速度センサー１３４によって使用者の首の回転が大きいと判断される場合、処理部１２３は、首の回転による映像の流れに追従するためにフレームレートを３０フレーム／秒に保持すると共に、解像度を横が３２０画素、縦が２４０画素として送信するようにしてもよい。
【０１２６】
（ステップＳ１４）ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、ユーザーの指の動きに合わせて、図２２に示すような水色のカーソル４１０の画像を、ＬＣＤ６３に表示する。なお、各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０）のＬＣＤ（６３、５６３）、表示部２１５に表示される画像は、受信した映像と、カーソル画像とが、別のレイヤー（層）に表示、及び記録される。
【０１２７】
具体的には、処理部１２３のカーソル生成部３０５は、入力検出部３０１から出力された制御信号に基づいて、カーソル画像データ、及びカーソル位置情報を生成する。カーソル生成部３０５は、生成したカーソル画像データ、及びカーソル位置情報を、画像合成部３０８に出力する。画像合成部３０８は、入力されたカーソル画像データ、及びカーソル位置情報に基づいて、カメラ６４が撮像した画像、または通信インタフェース（１３１、１３８）を介して他の端末から受信した画像に、カーソルの画像を重畳して、重畳した画像をＬＣＤ６３に表示する。
以下の処理においても、カーソル画像の表示を処理部１２３の各部が行う。
【０１２８】
図２１は、本実施形態に係るＬＣＤまたは表示部に表示される画像の構成の一例を説明する図である。図２１に示した例では、レイヤー１（８００Ａ）には、受信または送信している画像（映像、または静止画）が表示される。レイヤー２（８００Ｂ）には、アバターが表示される。レイヤー３（８００Ｃ）には、ＨＭＤ１によるカーソル画像が表示され、レイヤー４（８００Ｄ）には、ＨＭＤ５００による線画が表示され、レイヤー５（８００Ｅ）には、ＰＣ２１０による線画が表示される。また、各端末（含むサーバー）のフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２１、及び２０２）にも、画像は、図２１に示したレイヤー構成の画像が、記録される。なお、図２１に示したレイヤーの例は一例であり、レイヤーの順番は、この順でなくてもよく、例えば、操作された順にレイヤーに表示するようにしてもよい。
【０１２９】
図２２は、本実施形態に係るカーソルが表示された画像の一例である。図２２に示すように、例えば、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、画像４００ａにおいて、指が指し示している形状のカーソル４１０が表示される。なお、カーソルの形状は、一例であり、他の形状であってもよい。図２２に示した例では、ＨＭＤ１のユーザーは、画像４００ａ中、値札４１１を、カーソル４１０で、指し示している状態である。
なお、ＨＭＤ１から送信されている画像が動画であるため、ＨＭＤ１のユーザーが首を動かしてしまうと、送信している映像もずれる。このため、ＨＭＤ１のユーザーは、カーソルの指し示す位置を変えるために、カーソルの位置を変える場合もある。このため、各装置のＬＣＤ、及び表示部に、軌跡の残らないカーソルを表示する。
なお、カーソルの色は、端末毎に、予め定めておくようにしてもよい。本実施例では、ＨＭＤ１のカーソルが水色、ＰＣ２１０のカーソルが緑、ＨＭＤ５００のカーソルが青に定められている。このように各端末に応じて、カーソルが色分けされるので、コミュニケーションにおけるミスが発生しにくいようになっている。
【０１３０】
次に、処理部１２３は、カーソルを表示する位置情報、カーソルの色情報を、ＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。
次に、ＨＭＤ５００の処理部５２３は、受信したカーソルを表示する位置情報、カーソルの色情報に基づき、ＬＣＤ５６３上に水色のカーソルの画像を表示する。なお、処理部５２３は、予め端末毎にカーソルの表示色を定めておくようにしてもよい。この場合、処理部５２３は、カーソルを表示する位置情報のみを取得し、送信元がＨＭＤ１であるため水色のカーソルを表示するようにしてもよい。
次に、ＰＣ２１０の処理部２１１は、受信したカーソルを表示する位置情報、カーソルの色情報に基づき、表示部２２５上に水色のカーソルの画像を表示する。
次に、サーバー２００の処理部２０１は、受信したカーソルを表示する位置情報に基づき、ＨＭＤ１のカーソルの位置情報を記憶部２０２に記録する。
【０１３１】
次に、ＰＣ２１０が、受信した映像を一時停止させ、一時停止させた画像上に線画を描く手順について説明する。
（ステップＳ１５）図１２に移って、ＰＣ２１０ユーザーは、表示部２１５上にＰＣ２１０のカーソル画像が表示されるように、入力部２１４のマウスを操作する。次に、ＰＣ２１０のユーザーは、静止画を見たいとき、マウスをクリックする。
【０１３２】
（ステップＳ１６）ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、受信している映像を一時停止する。次に、処理部２１１は、一時停止した静止画を、記憶部２１２に記録し、さらにＨＭＤ１、ＨＭＤ５００、及びサーバー２００に送信する。
映像を一時停止する理由は、通信環境によってはＨＭＤ１から配信される映像が特定の端末では遅延して表示されていることも想定されるためである。このため、静止画を重畳するには、すべての端末で同じ静止画が表示される必要がある。一時停止した画像を送信することにより、全ての端末で同じ静止画を観察することが可能となる。また、各端末は、静止画に各々線画を重畳しても、線画と静止画との関係が全ての端末で同じになるので、コミュニケーションのミスを減らすことが可能である。
通信速度が十分に早いことが判っている環境においては、ステップＳ１５におけるＰＣ２１０の操作に対応して、各端末が映像を、一時停止して静止画として表示してもよい。
また、一時停止の操作は、ＰＣ２１０によって行われている例を示しているが、映像の発信元であるＨＭＤ１からでも、ＨＭＤ１と同じ構成要素を有し受信を行っているＨＭＤ５００からでも可能である。例えば、ＨＭＤ１から静止画が配信される場合、ＨＭＤ１のＬＣＤ６３に表示されている映像の一コマが配信される。
【０１３３】
（ステップＳ１７）ＨＭＤ１の処理部１２３は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データをＨＭＤ１のフラッシュメモリー１２２に記録する。
次に、ＨＭＤ５００の処理部５２３は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データをＨＭＤ５００のフラッシュメモリー５２２に記録する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データを記憶部２０２に記録する。
【０１３４】
（ステップＳ１８）ＰＣ２１０のユーザーは、静止画上に線画を表示させるために、例えば、マウスをクリックしたまま、カーソルを表示部２２５内で移動させることで線画を描く。このとき、表示部２２５には、例えば、鉛筆のような形状のカーソルが表示されているようにしてもよい。
次に、ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、緑色の軌跡を伴った線画を、表示部２２５上に表示する。次に、処理部２１１は、カーソルの位置情報を、順次、記憶部２１２に記録する。次に、処理部２１１は、カーソルの位置情報を、順次、ＨＭＤ１、ＨＭＤ５００、及びサーバー２００に送信する。
なお、ＰＣ２１０による線画の色は、端末毎に予め定めておいてもよく、あるいは、色情報をＰＣ２１０から他の端末へ送信するようにしてもよい。
【０１３５】
具体的には、処理部１２３の線画生成部３０４は、入力検出部３０１から出力された制御信号に基づいて、線画データを生成する。線画生成部３０４は、生成した線画データを、画像合成部３０８に出力する。画像合成部３０８は、カメラ６４が撮像した画像データ、または通信インタフェース（１３１、１３８）を介して他の端末から受信した画像データに、入力された線画データを重畳して、重畳した画像データに基づく画像を、ＬＣＤ６３に表示する。
以下の処理においても、線画の表示を処理部１２３の各部が行う。
【０１３６】
（ステップＳ１９）ＨＭＤ１の処理部１２３は、受信したカーソルの位置情報に基づき、ＬＣＤ６３上に、緑色の線画を表示する。次に、処理部１２３は、カーソルの位置情報に基づき線画データを生成し、生成した線画データを、フラッシュメモリー１２２に記録する。
次に、ＨＭＤ５００の処理部５２３は、通受信したカーソルの位置情報に基づき、ＬＣＤ５６３上に、緑色の線画を表示する。次に、処理部５２３は、カーソルの位置情報に基づき線画データを生成し、生成した線画データを、フラッシュメモリー５２２に記録する。
次に、サーバー２００の処理部２０１は、受信したカーソルの位置情報に基づき、線画データを生成し、生成した線画データを、記憶部２０２に記録する。
【０１３７】
図２３は、本実施形態に係る線画の一例である。図２３に示した例では、画像４００ｂに、矢印４２１ａ、及び文字「ＯＫ！」４２１ｂが表示されている。この矢印４２１ａ、及び文字４２１ｂは、ＰＣ２１０のユーザーが、マウスを用いて描写した線画である。また、図２３は、例えば、図２２において、ＨＭＤ１のユーザーが、他の端末のユーザーに対して値札４１１をカーソル４１０で指し示したが、ＰＣ２１０のユーザーが話題にしたいのは、矢印４２１ａが指し示す先の値札４２２であることを示している。
このように、線画をカメラ映像に重畳して描画する際には、カメラ映像は静止画であることが望ましい。すなわち、ＰＣ２１０のユーザーの意図に反して、ＨＭＤ１のユーザーが首を動かしてしまうと、画像が動いてしまい、線画で指し示す被写体の位置が画面上で相対的にずれてしまうからである。しかしながら、静止画が表示されていれば、画像に線画を重畳していっても画像と線画が相対的にずれることはない。このため、ＨＭＤ１のユーザーが首を動かないように、静止している必要はなく、使いやすいシステムが提供できる。
なお、線画と静止画とは別のレイヤーに記録されており、いつでも線画のみ消去することは可能である。
また、ＰＣ２１０のみではなく、全ての端末は、線画の描画と同時に動画が静止画することが可能である。
【０１３８】
次に、画像に重畳されるグリッドを変更する手順を説明する。
（ステップＳ２０）図１２に戻って、ＰＣ２１０のユーザーは、入力部２１４を用いてグリッドの種類を選択する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された信号に基づき、選択されたグリッドの種類を示す情報を、ＨＭＤ１、ＨＭＤ５、及びサーバー２００に送信する。グリッドを表示している理由は、例えば、ＰＣ２１０のユーザーは、画像中の特定の領域について説明を行うためである。
図２４は、本実施形態に係るグリッドの一例を示す図である。図２５は、本実施形態に係るグリッドの他の例を示す図である。
図２４に示した例では、画像４００ｃにおいて、縦線と横線による升目状のグリッド４３１が表示されている例である。図２５に示した例では、画像４００ｄにおいて、縦線と横線、及び同心円によるグリッド４４１が表示されている例である。なお、図２４及び図２５において、グリッドを実線で示したが、グリッドは、点線、破線等であってもよい。
このように、ＰＣ２１０のユーザーが、グリッドを変更した場合、他の端末に変更したグリッドの情報を送信する理由は、ユーザーの端末毎にグリッドが異なってしまうとコミュニケーションミスを防ぐためである。
なお、図２４、及び図２５に示したグリッドは１例であって、他のグリッドを表示するようにしてもよい。また、各端末のＬＣＤ、または表示部に表示されるグリッドは、動画や静止画とは別のレイヤーに表示される。
【０１３９】
（ステップＳ２１）ＰＣ２１０の処理部２１１は、選択されたグリッドに表示を変更する。
次に、ＨＭＤ１の処理部１２３は、受信した信号に基づいて、選択されたグリッドに表示を変更する。
次に、ＨＭＤ５の処理部５２３は、受信した信号に基づいて、選択されたグリッドに表示を変更する。
次に、サーバー２００の処理部２０１は、受信した信号に基づいて、グリッドの変更を記録する。
【０１４０】
次に、途中からＰＣ２２０が通話に参加した場合の処理手順について説明する。
（ステップＳ２２）図１３に移って、ＰＣ２２０のユーザーは、表示部２２５に表示された呼び出し中を示す画像を確認し、入力部２２４を操作して、通話に参加する。ＰＣ２２０の処理部２２１は、入力部２２４から入力された情報に基づき、通話参加情報を、サーバー２００に送信する。
次に、処理部２２１は、表示部２２５にＰＣ２２０のアバターを表示するように制御する。
【０１４１】
（ステップＳ２３）サーバー２００の処理部２０１は、ＰＣ２２０から受信した通話参加情報に基づいて、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０に対して、ＰＣ２２０の通話参加処理を行う。具体的には、処理部２０１は、ＰＣ２２０に他のＬＣＤ及び表示部に表示されている画像（含む線画、カーソル、グリッド）と同じ画像データを送信する。処理部２２１は、ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０に、ＰＣ２２０が通話参加したことを示す情報と、ＰＣ２２０のアバターを表示する指示を送信する。処理部２０１は、ＰＣ２２０に、ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを表示する指示を送信する。
次に、処理部２０１は、ＰＣ２２０が通話に参加したことを示す情報を、記憶部２０２に記録する。
【０１４２】
（ステップＳ２４）ＰＣ２２０の処理部２２１は、サーバー２００から受信した画像データに基づく画像を、表示部２２５に表示する。
【０１４３】
（ステップＳ２５）ＨＭＤ１の処理部１２３は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、ＬＣＤ６３上にＰＣ２２０のアバターを追加して表示し、ＰＣ２２０に対する呼び出し中であることを示す画像情報を消去する。
次に、ＨＭＤ５００の処理部５２３は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、ＬＣＤ５６３上にＰＣ２２０のアバターを追加して表示する。
次に、ＰＣ２１０の処理部２１１は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、表示部２１５上にＰＣ２２０のアバターを追加して表示する。
次に、ＰＣ２２０の処理部２２１は、サーバー２００から受信したＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを表示する指示に基づいて、表示部２２５上にＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを追加して表示する。
なお、ここで各端末のＬＣＤ、表示部に表示されるアバターの表示は、ＰＣ２２０の参加に伴い、各端末の所在地に応じて、右から東経に応じて東に位置する端末より右よりに再度表示し直されるようにしてもよい。
【０１４４】
次に、異なる端末がカーソルや線画を共通の画像上に表示する手順について説明する。
（ステップＳ２６）ＨＭＤ５００のユーザーは、線画を描写するために、タッチスイッチ５３４上で予め定められている指の動作を行う。ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＨＭＤ５００による線画を表示する指示を、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。
【０１４５】
（ステップＳ２７）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、ＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）上に、赤色の線画を表示する。ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＬＣＤ５６３上に、赤色の線画を表示する。すなわち、ＰＣ２１０の線画（緑色）とは、異なる色で表示する。
次に、各端末の処理部は、ＨＭＤ５００から受信した受信信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー１２２、記憶部（２１２、２２２、２０２）に記録する。ＨＤＭ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー５２２、記憶部（２１２、２２２、２０２）に記録する。
または、各処理部（１２３、５２３、２１１、２２１、及び２０１）は、ＨＭＤ５００のユーザーが描写した線画の画像データをフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２２、２０２）に記録する。
なお、各端末のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、ステップＳ１６で、ＰＣ２１０により一時停止された画像に、ＨＭＤ５００のユーザーが、タッチスイッチ５３４で指を動かして描写した線画が重畳されて表示される。
また、ＨＭＤ５００による線画は、送信された画像、及び他の端末が描写した線画と異なるレイヤー情報として、各端末、サーバーに記憶される。
【０１４６】
（ステップＳ２８）ＨＭＤ１のユーザーは、線画を描写するために、タッチスイッチ３４上で予め定められている指の動作を行う。ＨＭＤ１の処理部１２３は、ＨＭＤ１による線画を表示する指示を、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。
【０１４７】
（ステップＳ２９）各端末の処理部（５２３，２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）上に、青色の線画を表示する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、ＬＣＤ６３上に、青色の線画を表示する。
次に、各端末の処理部（５２３、２１１、２２１、及び２０１）は、ＨＭＤ１から受信した受信信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー５２２、記憶部（２１２、２２２、２０２）に記録する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー１２２に記録する。または、処理部（１２３、５２３、２１１、２２１、及び２０１）は、ＨＭＤ１のユーザーが描写した線画の画像データをフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２２、２０２）に記録する。
なお、各端末のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、ステップＳ１６で、ＰＣ２１０により一時停止された画像に、ステップＳ１８でＰＣ２１０が描写した緑色の線画、並びにステップＳ２６でＨＭＤ５００が描写した赤色の線画が、重畳されて表示される。
ＨＭＤ１による線画を青色（Ｒ：０、Ｇ：０、Ｂ：２５５）にする理由は、カーソルを水色（Ｒ：１００、Ｇ：１００、Ｂ：２５５）で表示したため、同系色で表示することで、どのユーザーが捜査しているかを視覚的にわかりやすくするためである。
【０１４８】
次に、他の端末のユーザーの要望によって別の端末の映像を要望された場合、映像が静止画として撮影されて画像情報が共有される場合の処理手順について説明する。
（ステップＳ３０）図１４に移って、例えば、ＨＭＤ５００のユーザーが、ＨＭＤ５００の通話マイクを介して、ＨＭＤ１のカメラ６４で撮像された映像の送信を要求する。
次に、ＨＭＤ１のユーザーは、ＨＭＤ５００のユーザーの要求に応じて、カメラ６４が撮像した映像を低解像度で、他の端末に送信するために、タッチスイッチ３４の所定の領域をタッチする。なお、初期設定では、映像の送信時の解像度が、低解像度に設定されているが、タッチスイッチ３４の操作により、解像度を変更することも可能である。
【０１４９】
（ステップＳ３１）ＨＭＤ１の処理部１２３は、ステップＳ２９まで表示されていた画像を消去し、ＬＣＤ６３にカメラ６４が撮像した画像を表示する。
【０１５０】
（ステップＳ３２）ＨＭＤ１の処理部１２３は、タッチスイッチ３４から出力された制御信号に基づき、カメラ６４が撮像した映像を低解像度に変換する。処理部１２３は、変換した低解像度の映像データ、及びＨＭＤ１の環境情報を、通話に参加しているＨＭＤ５００、ＰＣ２１０、ＰＣ２２０及びサーバー２００に送信する。
【０１５１】
（ステップＳ３３）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）に表示されていた画像と線画の表示を消す。
【０１５２】
（ステップＳ３４）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した低解像度の映像データに基づく映像を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した低解像度の映像データを、記憶部２０２に記録する。
【０１５３】
（ステップＳ３５）ＨＭＤ５００のユーザーは、ＨＭＤ１に詳細な画像を見るために高解像度の静止画を送信する要求を行うために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、高解像度の静止画を送信する要求を、ＨＭＤ１に送信する。
【０１５４】
（ステップＳ３６）ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した高解像度の静止画を送信する要求を示す情報を、ＬＣＤ６３に表示する。なお、高解像度の静止画とは、例えば、横が２５００画素、縦が１８７５画素の画像である。
【０１５５】
（ステップＳ３７）ＨＭＤ１の処理部１２３は、ＨＭＤ５００からの受信信号に基づいて、例えば、ＨＭＤ１の前方が暗い場合、照明のため前方ライト６８を点灯する。
【０１５６】
（ステップＳ３８）図１５に移って、ＨＭＤ１の処理部１２３は、ＨＭＤ５００からの受信信号に基づいて自動的にカメラ６４が撮像した高解像度の静止画データを環境情報と合わせて、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。
【０１５７】
（ステップＳ３９）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した高解像度の静止画と環境情報に基づいた情報を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した高解像度の静止画を、記憶部２０２に記録する。
このように、動画での配信が難しい高解像度の映像は、他の端末からの操作に応じて高精細に撮影され、静止画として各端末に配信される。このことで、ＨＭＤ１が使用されている環境の分析が他者より容易に行うことが可能である。
【０１５８】
（ステップＳ４０）ＰＣ２１０のユーザーは、入力部２１４を操作して、ＨＭＤ１から受信した静止画を表示部２１５で拡大表示する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された制御信号に基づいて、表示画像を拡大する指示を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。
【０１５９】
（ステップＳ４１）各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２２０）の処理部（１２３、５２３、及び２２１）は、ＰＣ２１０から受信した受信信号に基づいて、ＬＣＤ（６３、５６３）、表示部２２５上の画像を拡大表示する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した受信信号に基づいて、拡大された画像データと、画像が拡大されたことを示す情報を記憶部２０２に記録する。
このように、ＨＭＤ１から高解像度の静止画データが送られているので、拡大しても画質が劣化することのない画像が各端末に表示される。そして、この高解像度の静止画を一台の端末の操作だけで各端末の画像が自動的に拡大でき、この画像に対して詳細なコミュニケーションを行うことが可能である。
【０１６０】
次に、中解像度の映像を送信する処理について説明する。
（ステップＳ４２）ＨＭＤ５００のユーザーは、ＨＭＤ１に中解像度の映像を送信してもらう要求を行うために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、中解像度の映像を送信する要求を、ＨＭＤ１に送信する。
【０１６１】
この場合、ＨＭＤ１のＬＣＤ６３には、中解像度の映像を要望されている旨の表示がなされる。または、音声通話により要求が送信されるようにしてもよい。この要求に応じる場合、ＨＭＤ１のユーザーは、画像がブレないようにする必要がある。すなわち、ＨＭＤ１のユーザーは、あまり首を動かさないように、安定して被写体に対してカメラを向けることが要望されていることが分かる。
このように、各端末のユーザーは、各端末からの映像の要求のレベル（静止画か動画か）が判る。このため、各端末のユーザーは、どのようにしてカメラ６４を被写体に対して向ければ良いかがユーザーが分かるため、使いやすいシステムとなっている。
【０１６２】
このように、中解像度の映像を送信できるのは、ＨＭＤ１のユーザーが、比較的安定して被写体に対してカメラ６４を向けていられる状態に限られる。このため、中解像度の映像の送信が好ましくないと判断した場合、ＨＭＤ１のユーザーは、別途音声などによってこれを断ってもよい。このように、ＨＭＤ１のユーザーの了解を得ることで、ＨＭＤ１のユーザーがいる環境の画像をそのまま送信することを防ぐこともできる。すなわち、ＨＭＤ１のユーザーの了解を得ることで、ＨＭＤ１のユーザーのプライバシーを保護することもできる。
なお、ＨＭＤ１のユーザーが中解像度の映像の送信を承認したとしても、実際に同ユーザーが移動している最中などで、カメラ６４のブレが激しい場合もあるため、ＨＭＤ１の処理部１２３は、角速度センサー１３４によって送信する映像の解像度を設定するようにしてもよい。例えば、角速度センサー１３４の出力が予め定められている値より大きい場合、ＨＭＤ１の処理部１２３は、中解像度の要望が来ても、低解像度かつ高フレームレートで送信を行ってもよい。
【０１６３】
（ステップＳ４３）ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した中解像度の映像を送信する要求を示す情報を、ＬＣＤ６３に表示する。次に、ＨＭＤ１のユーザーは、ＬＣＤ６３の表示を確認し、ＨＭＤ５００からの要求を承諾するために、タッチスイッチ３４の所定の領域をタッチする。
【０１６４】
（ステップＳ４４）ＨＭＤ１の処理部１２３は、カメラ６４が撮像した中解像度の映像データを環境情報と合わせて、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。
【０１６５】
次に、一つの端末が、別の端末からの画像に対して情報を付加して、完成した状態で他の端末に配信する手順を説明する。
（ステップＳ４５）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した中解像度の映像を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した中解像度の映像データを、記憶部２０２に記録する。
【０１６６】
（ステップＳ４６）図１６に移って、ＨＭＤ５００のユーザーは、ＨＭＤ１から受信している映像の静止画を記録するために、タッチスイッチ３４の所定の領域をタッチする。
【０１６７】
（ステップＳ４７）ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＨＭＤ１から受信している映像の静止画の画像データを、フラッシュメモリー５２２に記録する。
【０１６８】
（ステップＳ４８）ＨＭＤ５００のユーザーは、静止画に線画を重畳して表示するために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００のユーザーは、タッチスイッチ５３４上で、指を動かして、線画を描写する。処理部５２３は、描写された線画を静止画に重畳して、ＬＣＤ５６３上に表示する。処理部５２３は、線画を静止画に重畳した画像データを、フラッシュメモリー５２２に記録する。
【０１６９】
（ステップＳ４９）ＨＭＤ５００のユーザーは、フラッシュメモリー５２２に記録した静止画に線画を重畳した画像データを、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信するために、タッチスイッチ５３４の所定の領域をタッチする。
【０１７０】
（ステップＳ５０）ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、フラッシュメモリー５２２に記録させた静止画に線画を重畳した画像データを、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。
【０１７１】
（ステップＳ５１）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、受信したＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）にＨＭＤ５００から受信した静止画に線画が重畳された画像データに基づく画像を表示する。
次に、サーバー２００の処理部２０１は、受信したＨＭＤ５００から受信した受信信号に基づいて、ＨＭＤ５００から受信した静止画に線画が重畳された画像データを、記憶部２０２に記録する。
【０１７２】
次に、別の端末からの映像も切り替える処理、その場合に低解像度の映像をデフォルトで送信する処理について説明する。
（ステップＳ５２）ＨＭＤ１のユーザーは、ＨＭＤ５００のカメラ５６４が撮像した映像を閲覧するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１の処理部１２３は、ＨＭＤ５００に映像の閲覧要求を送信する。
【０１７３】
（ステップＳ５３）ＨＭＤ５００の処理部５２３は、ＨＭＤ１から受信した映像を送信する要求を示す情報を、ＬＣＤ５６３に表示する。次に、ＨＭＤ５００のユーザーは、ＬＣＤ５６３の表示を確認し、ＨＭＤ１からの要求を承諾するために、タッチスイッチ５３４の所定の領域をタッチする。
【０１７４】
（ステップＳ５４）図１７に移って、ＨＭＤ５００の処理部５２３は、カメラ５６４が撮像した映像を低解像度に変換する。処理部５２３は、変換した低解像度の映像信号とＨＭＤ５００の環境情報とを合わせて、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。すなわち、他の端末から、カメラで撮像した画像の送信要求があった場合、各端末の処理部は、まず低解像度の映像を送信する。その後、各端末のユーザーの要求に応じて、解像度を切り替える。
【０１７５】
（ステップＳ５５）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、受信したＨＭＤ５００からの受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）に、ＨＭＤ５００から受信した低解像度の映像データに基づく映像を表示する。次に、各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、ＨＭＤ５００からの受信信号に基づいて、ＨＭＤ５００から受信した環境情報に基づいて撮像した方向を算出し、算出した撮像した方向を、ＬＣＤ６３、表示部（２１５、２２５）に表示する。
次に、サーバー２００の処理部２０１は、受信したＨＭＤ５００からの受信信号に基づいて、ＨＭＤ５００から受信した静止画に低解像度の映像データと環境情報とを、記憶部２０２に記録する。
【０１７６】
次に、特定の端末が通話を終了する手順を説明する。
（ステップＳ５６）ＰＣ２１０のユーザーは、接続を終了するために、入力部２１４を操作する。次に、ＰＣ２１０の処理部２１１は、入力部２１４から入力された制御信号に基づいて、接続の終了を示す情報を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。
【０１７７】
（ステップＳ５７）各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２２０）の処理部（１２３、５２３、及び２２１）は、ＰＣ２１０から受信した受信信号に基づいて、ＬＣＤ（６３、５６３）、表示部２２５に表示されていたＰＣ２１０のアバターを消去する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した受信信号に基づいて、ＰＣ２１０の接続終了を記憶部２０２に記録する。
【０１７８】
（ステップＳ５８）ＨＭＤ５００のユーザーは、接続を終了するために、タッチスイッチ５３４を操作する。次に、ＨＭＤ５００の処理部５２３は、入力部２１４から入力された制御信号に基づいて、接続の終了を示す情報を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。
【０１７９】
（ステップＳ５９）各端末（ＨＭＤ１、及びＨＭＤ５００）の処理部（１２３、及び５２３）は、ＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部２２５に表示されていたＨＭＤ５００のアバターを消去する。
次に、サーバー２００の処理部２０１は、ＨＭＤ５００から受信した受信信号に基づいて、ＨＭＤ５００の接続終了を記憶部２０２に記録する。
【０１８０】
次に、各端末のユーザーが、サーバー２００に記録された画像（映像、静止画）を呼び出して利用する処理の手順を説明する。
（ステップＳ６０）ＰＣ２２０のユーザーは、サーバー２００に記録されている画像を選択するために、入力部２２４を操作、例えば、キーボードの所定のキーを押す。
【０１８１】
（ステップＳ６１）図１８に移って、ＰＣ２２０の表示部２２５には、サーバー２００に記録されている画像の縮小された画像であるサムネイルの一覧表が表示されているとする。ＰＣ２２０のユーザーは、サーバー２００に記録されている画像を選択するために、入力部２２４を操作、例えば、キーボードの所定のキーを押す。なお、サムネイルの一覧表は、ＰＣ２２０のユーザーが、キーボードの所定のキー、マウスの操作により、サーバー２００から読み込んで表示するようにしてもよい。
【０１８２】
（ステップＳ６２）ＰＣ２２０の処理部２２１は、入力部２２４から入力された制御信号に基づいて、選択した画像を示す情報を、サーバー２００に送信する。
【０１８３】
（ステップＳ６３）サーバー２００の処理部２０１は、ＰＣ２２０から受信した受信信号に基づいて、選択された映像とその映像に関連付けられて記憶部２０２に記録されている環境情報を読み出す。処理部２０１は、読み出した環境情報に基づいて、方位を算出する。処理部２０１は、読み出した映像データと算出した方位情報とを、ＨＭＤ１、及びＰＣ２２０に送信する。
【０１８４】
（ステップＳ６４）サーバー２００の処理部２０１は、ＨＭＤ１、及びＰＣ２２０に映像データを送信したことを、記憶部２０２に記録する。
次に、ＨＭＤ１及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した映像データと方位情報とに基づく画像を、各々、ＬＣＤ６３、及び表示部２２５に表示する。
【０１８５】
（ステップＳ６５）ＨＭＤ１のユーザーは、サーバー２００から送信されている映像に線画を描写するために、タッチスイッチ３４の所定の領域をタッチ（第１操作）する。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、送信されている映像を一時停止する要求を、サーバー２００に送信する。すなわち、サーバー２００から読み出した映像に対して、線画を描写する場合においても、映像を一時停止して静止画を得る。そして、各端末は、この静止画に線画を重畳することができる。
【０１８６】
（ステップＳ６６）サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、送信中の映像データを一時停止する。次に、処理部２０１は、送信中の映像データを一時停止したことを示す情報を、ＨＭＤ１、及びＰＣ２２０に送信する。
【０１８７】
（ステップＳ６７）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、一時停止した静止画を、各々、フラッシュメモリー１２２、記憶部２２２に記録する。なお、ＨＭＤ１の処理部１２３は、ステップＳ６５において、ユーザーがタッチスイッチ３４をタッチしたことに基づいて、一時停止した静止画を、フラッシュメモリー１２２に記録するようにしてもよい。
【０１８８】
（ステップＳ６８）図１９に移って、ＨＭＤ１のユーザーは、静止画に線画を重畳して表示するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１のユーザーは、タッチスイッチ３４上で、指を動かして、線画を描写する。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４の指の動きに応じて、カーソルの位置を、順次、ＰＣ２００、及びサーバー２００に送信する。
【０１８９】
（ステップＳ６９）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、描写された青色の線画を静止画に重畳して、各々、ＬＣＤ６３、表示部２２５上に表示する。次に、各処理部（１２３、及び２２１）は、青色の線画を静止画に重畳した画像データを、各々、フラッシュメモリー１２２、記憶部２２２に記録する。
【０１９０】
（ステップＳ７０）ＨＭＤ１のユーザーは、一時停止を解除して、映像の送信を再開するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１の処理部１２３は、一時停止を解除して、映像の送信を再開する要求を、サーバー２００に送信する。
【０１９１】
（ステップＳ７１）サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、一時停止を解除し、映像データの送信を再開する。次に、処理部２０１は、ステップＳ６９で描写された線画の表示を消去する指示を、ＨＭＤ１、及びＰＣ２２０に送信する。
【０１９２】
（ステップＳ７２）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、各々、ＬＣＤ６３、表示部２２５に表示されていた青色の線画を消去する。次に、ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、各々、ＬＣＤ６３、表示部２２５に送信が再開された映像データと方位情報に基づく画像を表示する。
【０１９３】
次に、ＨＭＤ１のユーザーの指示により、ＨＭＤ１自ら撮影した映像に対して自らが線画を重畳する手順を説明する。
（ステップＳ７３）ＨＭＤ１のユーザーは、線画を描写して送信するために、タッチスイッチ３４上の所定の位置で指を動かす。この場合、線画を送信するため、ＨＭＤ１の処理部１２３は、カメラ６４が撮像した映像を、低解像度から中解像度に切り替える。
【０１９４】
（ステップＳ７４）図２０に移って、ＨＭＤ１の処理部１２３は、カメラ６４が撮像した動画を中解像度の映像に変換し、変換した中解像度の映像データを、ＰＣ２２０、及びサーバー２００に送信する。
【０１９５】
（ステップＳ７５）ＨＭＤ１のユーザーは、送信中の映像を一時停止するために、タッチスイッチ３４の所定の位置をタッチする。次に、ＨＭＤ１のユーザーは、一時停止させた静止画上に線画を描写するために、タッチスイッチ３４上で指を動かす。
次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４がタッチされたことに基づいて、送信中の映像を一時停止する指示を、ＰＣ２２０、及びサーバー２００に送信する。
次に、処理部１２３は、タッチスイッチ３４上の指の動きに応じて、順次、カーソルの位置を示す情報を、ＰＣ２２０、及びサーバー２００に送信する。
【０１９６】
（ステップＳ７６）ＨＭＤ１の処理部１２３は、タッチスイッチ３４上の指の動きに応じて、静止画上に青色の線画を重畳して表示する。
次に、ＰＣ２２０の処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、映像を一時停止する。次に、処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、一時停止した静止画に青色の線画を重畳して、表示部２２５に表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、映像データを一時停止し、停止したときの静止画を記憶部２０２に記録する。次に、処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、青色の線画を、記憶部２０２に記録する。
【０１９７】
次に、ステップＳ１で通話を開始したＨＭＤ１により、全ての通話相手との通話を終了する処理について説明する。
（ステップＳ７７）ＨＭＤ１のユーザーは、全ての端末との通話を完了するため、タッチスイッチ３４の所定の位置をタッチする。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、通話を完了する指示を、ステップＳ７７で通話に参加しているＰＣ２２０、及びサーバー２００に送信する。次に、処理部１２３は、ＰＣ２２０、及びサーバー２００との通話を終了する。
【０１９８】
（ステップＳ７８）ＰＣ２２０の処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１からの通話処理を終了する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１及びＰＣ２２０との接続が終了したことを示す情報を、記憶部２０２に記録する。
【０１９９】
なお、図１０〜図２０に示した例において、各端末からの画像データの送信、線画の描写等の順序は、一例であり、各端末のユーザーの指示に応じた順序で行われる。
【０２００】
次に、アバターの表示について説明する。
図２６は、本実施形態に係るアバターの表示手順のフローチャートである。
【０２０１】
（ステップＳ１０１）ＨＭＤ１のユーザーは、タッチスイッチ３４を操作して、相手端末の呼び出しを行う。
【０２０２】
（ステップＳ１０２）ＨＭＤ１の処理部１２３は、図２７に示すように、呼び出している通話相手に対するアバターの画像、及び呼び出し中の画像を、ＬＣＤ６３に表示する。
図２７は、本実施形態に係る通話相手を呼び出し中に表示される画像の一例を説明する図である。図２７において、画像４００には、画像４０１〜４０３、及び画像４５１〜４５３が含まれている。画像４０１〜４０３は、通話相手の各アバターである。画像４５１〜４５３は、呼び出し中を示す画像であり、図２７に示した例では、「ベル」の形で表している。なお、呼び出し中においては、各通話相手の位置情報を取得できていないため、処理部１２３は、各通話相手のアバターの表示位置を、予め定められている順番に、配置して表示するようにしてもよい。また、図２７に示した例では、アバター（４０１〜４０３）、及び呼び出し中の画像（４５１〜４５３）は、画像４００の上部に表示されている例を示したが、これに限られない。例えば、ＬＣＤ６３に表示されている画像に応じて、画像４００の下に並べて表示、右位置に縦に並べて表示、左位置に縦に並べて表示するようにしてもよい。また、アバター、及び呼び出し中の画像は、カラーであっても白黒であってもよい。
また、図２７に示した例では、呼び出し中の画像（４５１〜４５３）を、アバター（４０１〜４０３）の右に表示する例を示したが、呼び出し中の画像（４５１〜４５３）は、左、上、下等に表示するようにしてもよい。さらに、呼び出し中の画像（４５１〜４５３）は、静止画であってもアニメーションであってもよい。
また、図２７に示した例では、発信元のアバターを表示しない例を示したが、発信元のアバターも表示してもよい。
【０２０３】
（ステップＳ１０３）処理部１２３は、通話相手がＨＭＤ１からの呼び出しに応じて、通話に参加したことを検出する。通話に参加したことが検出できた場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４に進む。通話に参加したことが検出できない場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０５に進む。
【０２０４】
（ステップＳ１０４）通話に参加したことが検出できた場合、処理部１２３は、参加を検出できた相手端末に対応する呼び出し中の画像を、図２８に示すように消去する。
図２８は、本実施形態に係る通話相手が通話に参加したときの表示の一例の図である。図２８において、画像４００ａには、アバター４０１〜４０３、及び呼び出し中の画像４５２及び４５３が含まれている。図２８に示した例では、アバター４０１に対応する通話相手が通話に参加し、アバター４０２及び４０３に対応する通話相手が通話に参加していない場合を表している。図２８に示すように、アバター４０１に対応する通話相手が通話に参加したため、画像４００ａから、アバター４０１に対応する呼び出し中の画像４５１が消去されている。
【０２０５】
（ステップＳ１０５）通話に参加したことが検出できない場合、またはステップＳ１０４終了後、処理部１２３は、呼び出した通話相手のうち、少なくとも１人が通話に参加したか否かを判別する。１人も通話に参加していない場合（ステップＳ１０５；Ｎｏ）、ステップＳ１０３に戻る。少なくとも１人が通話に参加している場合（ステップＳ１０５；Ｙｅｓ）、ステップＳ１０６に進む。
【０２０６】
（ステップＳ１０６）処理部１２３は、通話に参加している通話相手の環境情報を取得する。処理部１２３は、取得した環境情報から位置情報を抽出する。
【０２０７】
（ステップＳ１０７）処理部１２３は、抽出した位置情報に基づいて、呼び出しを行っている通話相手のアバターの配置位置を、１次元で修正する。なお、１次元で修正とは、例えば、図２７に示した例では、初期状態において、右から左に並べられて表示されているアバター４０１〜４０３の配置の順番を、位置情報に基づいて入れ替えることである。
【０２０８】
図２９は、本実施形態に係るアバターを再配置した後の表示の一例の図である。図２９において、画像４００ｂには、アバター４０１〜４０３、及び付加情報アイコンの画像４６１が含まれている。図２９に示した例では、呼び出したアバター４０１〜４０３が、全て通話に参加したため、図２７で表示されていた呼び出し中の画像（４５１〜４５３）が全て消去されている。また、図２９に示した例では、アバター４０２及び４０３に対応する通話相手の位置情報が取得でき、アバター４０１に対応する通話相手の位置情報が取得できていない場合を示している。この場合、アバター４０２に対応する位置情報における経度の方が、アバター４０３の位置情報における経度より、ＨＭＤ１に対して相対的に東であったため、アバター４０２を一番、右に配置し、アバター４０３を真ん中に配置している。また、アバター４０１の位置情報が取得できなかったため、アバター４０１に対して付加情報として画像４６１を付加して表示する。図２９に示した例では、位置情報が不明のため、付加情報アイコン４６１として「？」を表示している。
なお、位置情報の不明なアバターが複数あった場合には、所定の順序、例えば左側から順に表示される。また、図２９に示した例のように、位置情報を取得できているアバターを、右から順に配置し、位置情報を取得できていないアバターをその次に配置するようにしてもよい。
また、図２９に示した例では、ＨＭＤ１のユーザーが使用しているＨＭＤ１のＬＣＤ６３には、自分のアバターは表示されていない。このため、表示されるアバターの位置は、ＨＭＤ１のユーザーの位置と通話相手との相対位置によって変化するので、全てのユーザーが使用する端末のＬＣＤ、または表示部に表示される表示が、すべて異なったものとなっている。
【０２０９】
（ステップＳ１０８）ステップＳ１０７において、通話相手の位置情報が取得できない場合、処理部１２３は、通話に参加した順番に、アバターをＬＣＤ６３に表示する。この場合、例えば、通話に参加した順番に、右から表示するようにしてもよい。
【０２１０】
（ステップＳ１０９）処理部１２３の音声調整部３１０は、ステップＳ１０７で修正された各通話相手の位置情報に基づいて、ステレオイヤホン１００に出力する音声信号の左右のバランスを調整する。なお、音声信号の調整については、後述する。
【０２１１】
（ステップＳ１１０）処理部１２３の音声調整部３１０は、通話に参加している発話相手からの各音声信号のレベルを検出する。検出した音声レベルが、予め定められている閾値より大きい場合、すなわち音声情報が周囲の雑音ではなく端末使用者の発話による音声であると判別される場合、音声調整部３１０は、アバターの口元を動かすアニメーションを表示する。なお、アニメーションの表示は、処理部１２３のアバター生成部３０６が処理を行っている。
【０２１２】
（ステップＳ１１１）通話相手の端末が、前述したＨＭＤ５００のようにカメラを有し、目元等の画像を、ＨＭＤ１に送信できる場合、処理部１２３は、通話相手に対応するアバターの表情を、アニメーションを用いて変化させる。
例えば、通話相手の目元が笑っていれば、通話相手に対応するアバターの表情も笑い、また通話相手の目元が困っていれば、通話相手に対応するアバターも困惑の表情を示すように表示するように制御するようにしてもよい。また、通話相手の端末がＨＭＤ５００の場合、眼球の動きを撮像素子７２で撮影することで検出して、検出した画像、または検出した結果に基づくアバターの表情情報を、他の端末に送信する。ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した受信情報に基づいて、ＨＭＤ５００に対応するアバターの目の動きに連動させるようにしてもよい。
【０２１３】
図３０は、本実施形態に係るアバターの口元及び目線をアニメーションで表示する例の図である。図３０において、画像４００ｃには、アバター４０１、４０２、４０３ａ、及び付加情報アイコンの画像４６１が含まれている。図３０に示した例では、図２９に示したアバター４０３と異なっている。図３０に示した例では、アバター４０３ａに対応する発話相手から受信した音声信号が、予め定められているレベルより大きいと判別されたため、目線と口元をアニメーションで表示している。
図３０に示したように、発話している相手のアバターの口元等をアニメーションで表示することで、そのアバターに対応する端末からの音声であることがより判りやすくなる。また、目線もアニメーションで表示した場合、アバターの表情の変化を示すことができるため、ＨＭＤ１のユーザーにとって情報の取得が容易になる。例えば、これらの表情を示す情報に基づいて、ＨＭＤ１のユーザーは、通話相手が、自分の話を理解しているのか、何に興味を示しているのか等の情報を取得することができる。
【０２１４】
（ステップＳ１１２）ＨＭＤ１の撮像素子７２が撮像した画像に基づく表情情報、または、撮像素子７２が撮像した画像データを、他の端末に送付する。
【０２１５】
（ステップＳ１１３）処理部１２３は、通話に参加している通話相手が通話を終了したか否かを判別する。通話相手が通話を終了していないと判別した場合（ステップＳ１１３；Ｎｏ）、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１１３を繰り返す。通話相手が通話を終了したと判別した場合（ステップＳ１１３；Ｙｅｓ）、ステップＳ１１４に進む。
【０２１６】
（ステップＳ１１４）通話相手が通話を終了したと判別した場合、処理部１２３は、通話を終了した通話相手に対応するアバター、及び付加情報を示す画像を、ＬＣＤ６３の表示から消去する。次に、処理部１２３は、通話に残っている通話相手に対応するアバターの配置を修正する。
図３１は、本実施形態に係る通話相手が１人、抜けた場合の表示の例を説明する図である。図３１において、画像４００ｄには、アバター４０２及び４０３が含まれている。図３１に示した例では、図３０に対して、アバター４０１が消去され、さらに、通話に参加している通話相手に対応するアバター４０２及び４０３の配置が修正された後の画像である。なお、図３１においても、アバター４０２と４０３との配置は、ＨＭＤ１の位置に対して、相対的に東に位置している通話相手に対応するアバターから順に、右から配置している。
さらに、図３１のように、アバター４０１に対応する通話相手が一度、通話から抜けた後、このセッションが継続している期間に、再度、通話に参加した場合について説明する。この場合、処理部１２３は、通話に参加した通話相手に対応するアバター４０１を、再度、追加して、３つのアバターを再配置して表示する。
すなわち、処理部１２３は、通話への参加状態（通話参加か、通話から抜けたか）に基づいて、アバターの追加、または削除を行う。
【０２１７】
（ステップＳ１１５）図２６に戻って、処理部１２３は、通話相手が通話に残っているか否かを判別する。通話相手が通話に残っている場合（ステップＳ１１５；Ｙｅｓ）、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１１５を繰り返す。通話相手が通話に残っていない場合（ステップＳ１１５：Ｎｏ）、ステップＳ１１６に進む。
【０２１８】
（ステップＳ１１６）。通話相手が通話に残っていない場合、全ての通話相手が通話を終了したため、処理部１２３は、ＬＣＤ６３に通話が終了したメッセージを文字表示、アイコン表示等で表示する。または、処理部１２３は、通話終了を、音声で再生するようにしてもよい。
【０２１９】
以上のように、本実施形態によれば、通話相手の端末の位置情報（緯度、経度）に基づいた位置にアバターが表示され、さらにアバターの位置に応じて左右の音声のバランスも切り替わり、アバターの位置に応じた音声が聞こえてくるので、良好なコミュニケーションを取ることができる。
【０２２０】
次に、音声調整部３１０が行う左右の音量バランスの調整の一例を、図８、及び図３２を用いて説明する。
図３２は、本実施形態に係る音声調整部が行う左右の音量バランスの調整のフローチャートである。
【０２２１】
（ステップＳ２０１）処理部１２３の音声調整部３１０は、エンコーダー１２９が出力する音声データ、送受信部３０３が出力する受信信号から音声データを取得する。
【０２２２】
（ステップＳ２０２）アバター生成部３０６は、位置算出部３０９が出力するＨＭＤ１及び他の端末の位置情報を取得する。アバター生成部３０６は、取得したＨＭＤ１及び他の端末の位置情報に基づいて、各アバターの位置情報を音声調整部３１０に出力する。
【０２２３】
（ステップＳ２０３）音声調整部３１０は、取得したＨＭＤ１の音声データ、各端末の音声データに基づく音声信号を、アバター生成部３０６が出力した各アバターの位置情報に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００で再生される左右の音声に振り分ける。
【０２２４】
ここで、表示部６０が使用者の右目側に配置され、第１スピーカー１０３が右耳に、第２スピーカー１０４が左耳に対応するようになっている場合について、具体的な例を説明する。通話に参加しているユーザーが、図９のように、ＨＭＤ１のユーザーを除いて３人の場合、例えば、図２９のようにＬＣＤ６３に表示されているアバターは、ＨＭＤ５００のアバター４０１、ＰＣ２１０のアバター４０３、及びＰＣ２２０のアバター４０２である。
３人の位置関係は、図２９に示した例では、ＰＣ２２０のユーザーの位置が、ＨＭＤ１の位置に対して、相対的に一番、東である。また、ＨＭＤ５００のユーザーの位置は取得できていない。このため、図２９に示したように、ＨＭＤ５００のユーザーが、一番、西であるとする。ＰＣ２１０のユーザーの位置は、ＰＣ２２０とＨＭＤ５００の位置の間である。このアバターの配置関係と同様に、音声調整部３１０は、ＰＣ２２０の音声信号を、右に比重を高くして振り分ける。例えば、音声調整部３１０は、右を８０％の音量、左を２０％の音量に振り分ける。音声調整部３１０は、ＨＭＤ５００の音声信号を、左に比重を高く、例えば、右を２０％の音量、左を８０％の音量に振り分ける。音声調整部３１０は、ＰＣ２１０の音声信号を、左右均等、すなわち、右を５０％の音量、左を５０％の音量に振り分ける。
音声調整部３１０は、このように振り分けた音声信号を合成して、合成した音声データをデコーダー１２１に出力する。
ステップＳ２０３の処理により、ＬＣＤ６３に表示されている各アバター（４０１〜４０３）の表示位置と、ステレオイヤホン１００で聞く音声の聞こえる方向が一致する。
【０２２５】
以上のように、視覚的なアバターの位置情報と、聴覚的なアバターに対応する端末からの音声の左右のバランスが一致していることにより、複数からの端末からの音声を、視覚と聴覚的を用いて、適切に聞き分けることが可能となる。そして、本実施形態によれば、例えば声質が似ている複数の音声が聞こえてきても、視覚と聴覚情報によってアバターの位置と音声のバランスが異なるようにしたので、ユーザーは、適切に異なるユーザーの音声として認識することが可能となる。
【０２２６】
なお、本実施形態では、アバターを横に並べて表示する例を説明したが、アバターを縦に並べて表示するようにしてもよい。アバターの表示を上下に行う場合、各端末の処理部は、他の端末の緯度に従ってアバターの上下位置を決定する。また、音声は音声処理により、上に配置されたアバターに対応する端末からの音声は上から、下に配置されたアバターに対応する端末からの音声は下から聞こえるように、音響特性を変えてもよい。
【０２２７】
次にアバター表示の他の実施例を説明する。
図３３は、本実施形態に係る他のアバター表示における表示手順のフローチャートである。以下の説明では、通話に参加しているユーザーが使用している端末が、全て本実施形態によるＨＭＤ１であるとして説明する。
（ステップＳ１０１〜Ｓ１０５）図２６のステップＳ１０１〜Ｓ１０５と同様に、処理を行う。
【０２２８】
（ステップＳ３０１）処理部１２３の位置算出部３０９は、送受信部３０３が出力する受信信号から通話相手の環境情報を抽出する。位置算出部３０９は、抽出した環境情報から、各端末の位置情報、及び各端末のユーザーが向いている方向等の情報（以下、端末の位置方位情報という）を抽出、または算出する。なお、各端末から送信される環境情報は、各ユーザーが使用しているＨＭＤが備える各種センサー（加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７など）の出力値である。位置算出部３０９は、抽出、または算出した各端末の位置方位情報を、アバター生成部３０６に出力する。
【０２２９】
（ステップＳ３０２）アバター生成部３０６は、ＨＭＤ１の位置を中心として、通話相手の位置方位情報に基づいて、各通話相手に対応するアバターを、２次元的に、ＬＣＤ６３の表示画像内に配置して表示する。
【０２３０】
（ステップＳ３０３）アバター生成部３０６は、予め定められている期間、各端末の位置情報の変化を観測し、観測した結果に基づいて、各端末のユーザーが移動中であるか否かを判別する。
各端末のユーザーが移動中である場合、アバター生成部３０６は、予め定められている期間、移動した移動距離と、移動に要した時間に基づいて、移動速度を算出し、算出した結果に基づいて、各端末のユーザーの移動手段を推定する。
各端末のユーザーが移動中ではない場合、アバター生成部３０６は、ユーザーが端末を自宅等で使用していると判断する。
次に、アバター生成部３０６は、推定した滞在場所を示す付加情報アイコン、または推定した移動手段を示す付加情報アイコンを生成する。
次に、アバター生成部３０６は、生成した各端末に対応する付加情報アイコンを、各アバターの付近に配置して表示する。
【０２３１】
（ステップＳ３０４）以下、図２６のステップＳ１０８〜Ｓ１１６と同様の処理を行う。
【０２３２】
ここで、アバターの配置手順について、具体的な例を説明する。
図３４は、本実施形態に係るアバターを２次元的に配置した表示画像の一例を説明する図である。図３４において、画像４００ｅには、アバター４０１〜４０３、付加情報アイコン４７１〜４７３、及びＨＭＤ１の方向を示すマーク画像４７４を含んでいる。
【０２３３】
アバター生成部３０６は、ＨＭＤ１の位置を、ＬＣＤ６３の中心に設定し、設定した中心部にＨＭＤ１の方向を示すマーク画像４７４を表示する。なお、図３４において、マーク画像４７４「△」の頂点４７５は、例えば、北を表している。
次に、アバター生成部３０６は、アバター４０１に対応する位置情報を、ＨＭＤ１の位置情報と比較して、アバター４０１を図３４に示したように、マーク画像４７４に対して左下に配置して表示する。
次に、アバター生成部３０６は、アバター４０２に対応する位置情報を、ＨＭＤ１の位置情報と比較して、アバター４０２を図３４に示したように、マーク画像４７４に対して右下に配置して表示する。
次に、アバター生成部３０６は、アバター４０３に対応する位置情報を、ＨＭＤ１の位置情報と比較して、アバター４０３を図３４に示したように、マーク画像４７４に対して正面に配置して表示する。
なお、マーク画像４７４「△」と、各アバター（４０１〜４０３）との各間隔（Ｌ１〜Ｌ３）は、ＨＭＤ１と各アバターに対応する端末との距離に基づいて、アバター生成部３０６により算出された値である。図３４において、距離Ｌ１は距離Ｌ３より短く、距離Ｌ３は距離Ｌ２より短い。
図３４に示した例では、アバター４０１に対応するユーザーが、ＨＭＤ１のユーザーから一番、近い位置にいることを表している。また、アバター４０２に対応するユーザーが、ＨＭＤ１のユーザーから一番、離れた位置にいることを表している。
なお、処理部１２３は、図３４に示したアバターの配置を、所定の周期毎、または、通話相手の位置が変化したと判別される場合に、更新するようにしてもよい。
【０２３４】
図３４のような画像がＬＣＤ６３に表示されているため、ＨＭＤ１のユーザーは、ＬＣＤ６３の画像を確認することで、各端末のユーザーの位置関係を、より視覚的に認識することが可能になる。
なお、各端末のＬＣＤには、それぞれの端末の位置を中心にした、他の端末に対応したアバターが、各々配置して表示される。
【０２３５】
また、図３４で説明したアバターにおいても、ステップＳ１１０及びＳ１１１（図２６）と同様に、各アバターに表情を付加することもできる。
例えば、通話相手がアバター４０３に対応する場合、アバター４０３に対応する端末（以下、アバター４０３の端末という）がＨＭＤ１の正面にあり、かつアバター４０３の端末がＨＭＤ１の方向を向いていると判断されれば、アバター４０３のように正面を向いている顔のアバターが表示される。
また、アバター４０３の端末が、横を向いていると判断される場合、アバター４０３の端末の地磁気センサー１３３の出力も加味して、処理部１２３は、アバターを右もしくは左を向いた状態で表示する。さらに、処理部１２３は、温湿度センサー１３６の出力や心拍数センサー１３７の出力が所定値以上であれば、アバター４０３に、汗を示す画像の付加情報を付加するようにしてもよい。
【０２３６】
次に、図３４において、各アバター（４０１〜４０３）に付加されている付加情報アイコン（４７１〜４７３）について説明する。
ステップＳ３０３（図３３）において、アバター生成部３０６は、各アバターの端末の移動速度を算出する。
算出した結果、アバター４０１の端末が移動していないと判別された場合、アバター生成部３０６は、図３４に示したように「家」の付加情報アイコン４７１を、アバター４０１の近傍に配置して表示する。
算出した結果、アバター４０２の端末の移動速度が航空機で移動していると推定される移動速度の場合、アバター生成部３０６は、図３４に示したように「航空機」の付加情報アイコン４７２を、アバター４０２の近傍に配置して表示する。
算出した結果、アバター４０３の端末の移動速度が所定の速度であり、かつ端末から受信した情報に含まれる高度を示す情報が海上であると推定される移動速度の場合、アバター生成部３０６は、図３４に示したように「船」の付加情報アイコン４７３を、アバター４０３の近傍に配置して表示する。この場合、例えば、アバター４０３の端末は、海の上を海抜ほぼゼロで移動している。
なお、図３４の例では、航空機内での本実施形態における情報出力装置の使用が許可されている場合の表示例である。
【０２３７】
付加情報アイコンの他の例として、線路上と思われる場所と高度で線路の方向に移動していると判断される場合には電車を示すアイコンを、また位置が山岳地であると判断される場合には山のアイコンを、また位置情報がテーマパークなどの遊園地と判断される場合には遊園地を示すアイコンを付加してもよい。
また、加速度センサー１３２の出力が継続して所定値以下であると判断される場合、無重量状態と判断して宇宙を示すアイコンを付加してもよい。これらのアイコンの種別の判断は、位置情報と地図データとの比較が必要なため、サーバー２００の処理部２０１が行うようにしてもよい。
【０２３８】
次に、ＨＭＤ１の表示部６０が、図３４の表示状態から、９０度ほど左に回転した場合のアバター表示の例を説明する。
図３５は、図３４の表示において、ＨＭＤ１の表示部６０が９０度ほど左に回転した場合のアバター表示の例を説明する図である。
図３５に示した例では、ＨＭＤ１の処理部１２３は、表示部６０が、９０度ほど左に回転したことを地磁気センサー１３３の出力に基づいて検出された場合であり、図３４の画像４００ｅに表示されていた全てのアバターが右に９０度ほど回転して表示される。
この結果、図３５に示したように、ＨＭＤ１の右方向にアバター４０３及び付加情報アイコン４７３が表示される。同様に、左下にアバター４０２及び付加情報アイコン４７２が表示される。同様に、左上にアバター４０１及び付加情報アイコン４７１が表示される。
なお、この回転に伴って、音声調整部３１０は、ステップ１０９で調整した左右の音のバランスを変更する。音声調整部３１０は、音のバランスの変化を、ＨＭＤ１の方位の動きに対してリアルタイムで行う。一方、音声調整部３１０は、アバターの表示の変更を、一定のローパスフィルターが掛かった状態で緩慢に行う。この理由は、首の動きが速くＨＭＤ１の方位が頻繁に変わる場合、表示もこれに合わせて回ると視覚による認識がついて行かなくなり、いわゆる「酔い」が生じる可能性があるためである。一方、音声の変化にはそのような問題の発生はないため、音声についてはリアルタイムで、左右のバランスを調整するようにしてもよい。
【０２３９】
以上のように、本実施形態によれば、通話相手の状態、ならびに通話相手との相対的な位置関係が各端末の表示部（含むＬＣＤ）に表示され、かつ音声が相手との相対的な方向より発せられたように聞こえる。この結果、本実施形態によれば、相手の位置関係を視覚と聴覚で識別できるので、良好なコミュニケーションを取ることが可能となる。
【０２４０】
なお、各端末の各処理部は、図２７〜図３１、図３４、及び図３５に示したようなアバター、及びアバター付加情報アイコンを、レイヤー１に表示されている画像が透けて見えるように、半透明に表示するようにしてもよい。この場合、明度は、予め初期値を定めてあるようにしてもよい。また、明度は、ユーザーが、タッチスイッチ３４を操作して調整するようにしてもよい。また、アバターのみを半透明に表示し、アバター付加情報のアイコンのみ半透明に表示してもよく、あるいは、その逆であってもよい。
【０２４１】
なお、本実施形態では、アバター記憶部３０７に予め複数のアバターを示す情報が記憶されている例を説明したが、これに限られない。例えば、ＨＭＤ１の処理部１２３は、ＨＭＤ１と通話を行っているユーザーのアバターを示す情報を、通信インタフェース（１３１、１３８）を介して受信するようにしてもよい。
【０２４２】
なお、本実施形態では、ユーザーの表情情報を他の端末に送信して、アバターに表情を付加する例を示したが、表情情報は、ユーザーの状況に応じて、例えば、タッチスイッチ３４等の操作により送信を許可しないように切り替えるようにしてもよい。
【０２４３】
なお、ＨＭＤ１のＬＣＤ６３は、裸眼による３次元表示が可能な表示部であってもよい。この場合、例えば、図２０に示したように、アバターを横に並べて表示した場合であっても、例えば、ＨＭＤ１との相対的な距離に基づいて、ＬＣＤ６３の奥行き方向に差を付けて各アバターを表示するようにしてもよい。
また、カメラ６４は、３次元撮像が可能なものを備えるようにしてもよい。カメラ６４が、３次元撮影が可能な場合、他の端末に送信する画像情報は、他の端末が全て３次元表示可能な表示部を備えていることが予め分かっていれば、３次元の画像情報を送信するようにしてもよい。
【０２４４】
なお、本実施形態では、処理部１２３が音声調整部３１０を備える例を説明したが、例えば、処理部１２３とデコーダー１２１との間に、独立した機能部であってもよく、あるいは、デコーダー１２１が備えるようにしてもよい。
【０２４５】
なお、本実施形態では、各端末から受信した音声を、各端末の位置関係に基づいて、左右に振り分ける例を説明したが、このとき、音声が予め定められている音量より小さい場合、音量を増幅した後に左右に振り分けるようにしてもよい。この処理は、例えば、初期設定において、自動的に行うように設定しておき、用途に応じて設定をオフにできるようにしてもよい。あるいは、初期設定では、設定をオフ状態に設定しておき、ユーザーがタッチスイッチ３４を操作して設定をオンにするようにしてもよい。
また、音声調整部３１０は、単に増幅するのみではなく、音声帯域のみを抽出して、抽出した帯域のみを増幅するようにしてもよい。あるいは、音声の音量が、予め定められている音量以上であっても、雑音が多い場合、音声以外の帯域を制限して、雑音成分を抑制するようにしてもよい。
【０２４６】
なお、本実施形態では、端末からの音声を、例えば、右の音量を８０％、左の音量を２０％のように、左右合わせて１００％の例を説明したが、これに限られない。左右の音量の合計値は、１００％でなくてもよく、１００％より小さくてもよく、あるいは、１００％以上であってもよい。例えば、通話に参加している人数に応じて、同複数の通話相手が話しているような場合、音声信号を合成したときに、聞きやすい音量になるように左右の音量の合計値を調整するようにしてもよい。
【０２４７】
なお、本実施形態では、音声を、ステレオイヤホン１００を用いてステレオ再生する例を説明したが、オーディオコネクター２６に接続された２つのスピーカー（図示せず）で再生してもよい。
【０２４８】
なお、本実施形態では、複数の通話相手がいる場合を例に説明したが、通話相手が１人であっても、音声調整部３１０は、通話相手の音声信号を、左右に振り分けるようにしてもよい。この場合においても、通話相手が、発信元のＨＭＤ１に対して、どの方向に位置しているのかを、音声により容易に認識することができる。また、処理部１２３は、通話相手が１人であっても、ＬＣＤ６３に表示するアバターを、ＨＭＤ１との相対的な位置関係や、方位に基づいて配置して表示するようにしてもよい。これにより、視覚的にも通話相手との位置関係を、ユーザーは容易に認識することができる。
【０２４９】
なお、本実施形態では、ＨＭＤ１、及びＨＭＤ５００のユーザーが、タッチスイッチ（３４、５３４）を操作して、各種の操作を行う例を示したが、これに限られない。例えば、リモコン１４０を介して操作を行うようにしてもよい。あるいは、切り替えや選択等の操作においては、各端末（ＨＭＤ１、及びＨＭＤ５００）の処理部（１２２、及び５２２）は、ユーザーの瞬きの回数を検出し、検出した瞬きの回数に基づいて、例えば、カーソル表示、線画の描写等を切り替えるように制御してもよい。
【０２５０】
なお、本実施形態では、各端末が画像に線画を描写する例を示したが、これに限られない。例えば、ＰＣ２１０の入力部２１４のキーボードから入力されたコメントを、受信している画像に重畳するようにしてもよい。この場合においても、コメントは、各端末、及びサーバーにおいて、受信している画像と異なるレイヤーに表示、及び記憶される。このため、コメントのみの表示、削除を行うことができる。
【０２５１】
なお、本実施形態では、カーソルの色と、線画の色とを同系色にする例を説明したが、さらにアバターの色も同系色にするようにしてもよい。例えば、ＨＭＤ５００のＬＣＤ５６３に表示されるＨＤＭ１によるカーソルが水色、線画が青色の場合、ＨＭＤ１のアバターの服の色、及び髪の毛の色を、青色系にするようにしてもよい。これにより、どのユーザーが、カーソルの操作や線画を描写しているのかを、さらに視覚的に認識しやすくなる。
【０２５２】
なお、本実施形態では、位置情報に基づいて、複数のアバターの配置を生成し、生成したアバターの配置に基づいて、各アバターに対応する音声信号を左右に割り振る例を説明したが、これに限られない。例えば、処理部１２３は、先に位置情報に基づいて、各アバターに対応する音声信号を左右に割り振り、割り振った音声の位置関係と一致するようにアバターを配置して表示するようにしてもよい。
【０２５３】
なお、本実施形態では、オーディオコネクター２６に、ステレオイヤホン１００が接続される例を説明したが、例えば、４チャネルタイプのイヤホン（図示せず）を接続するようにしてもよい。４チャネルタイプのイヤホンであれば、左右の広がりに加えて、前後の広がりも充実させることができるため、音声調整部３１０は、通話参加者の音声信号を、前後も含めて左右に割り振るようにしてもよい。この結果、さらに、聴覚による通話相手の識別を容易に行えるようになる。この場合、処理部１２３は、用いる位置情報に、方位の情報も加味するようにしてもよい。
【０２５４】
なお、本実施形態では、位置情報に基づいて、通話相手の音声信号を左右に割り振った後、そのまま、あるいは増幅して再生する例を示したが、これに限られない。ステレオイヤホン１００を接続して使用している場合、製品によっては、左右の音量差がある場合もある。このような場合、処理部１２３は、通話開始前に、左右、同音量の、例えば４００［Ｈｚ］のサイン波のテスト信号を、オーディオコネクター２６を介して、ステレオイヤホン１００に出力する。ユーザーは、このテスト信号を聞いて、左右のバランスを調整するようにしてもよい。そして、通話時、処理部１２３は、テスト信号により調整された左右のバランスも加味して、再生する左右の音量を調整するようにしてもよい。
このように、初期状態でのキャリブレーションを行うことで、例えば、左右の耳で、聞こえ方が異なっているユーザーにおいても、そのユーザーにとって最適な左右の音量バランスで再生される。この結果、複数の通話相手を容易に識別することが可能になる。
【０２５５】
なお、本実施形態では、位置情報に基づいて、アバターを配置、および音声信号を左右に割り振る例を説明したが、同じ位置情報を有するユーザーが、通話に参加している場合もある。このような場合、処理部１２３は、例えば、同じ位置情報を有する通話相手に対応するアバターの配置を、通話に参加した順に、右から（または上から）配置して表示するようにしてもよい。そして、音声調整部３１０は、このように配置されたアバターの位置情報に基づいて、同じ位置情報を有する通話相手の音声信号を左右に割り振るようにすることで、アバターの配置と音声信号の聞こえ方を一致させるようにしてもよい。
【０２５６】
なお、複数の通話相手と通話を行う場合、１人のユーザーが使用している端末（ＨＭＤ）のＬＣＤまたは表示部が白黒表示であり、カメラ６４が白黒撮像しかできない場合、他の端末の処理部は、この端末に合わせて、白黒の画像を送信するようにしてもよい。この場合、送信するデータを軽減できる効果もある。あるいは、カラーで撮像した画像を送信し、端末側で、白黒に変換して表示するようにしてもよい。
【０２５７】
なお、本実施形態では、映像（動画）を、初期状態では、低解像度で送信し、ユーザーからの要求に応じて、中解像度等に切り替える例を示したが、これに限られない。解像度の種類は、さらに多くてもよい。また、ユーザーがタッチスイッチ３４を用いて、解像度及びフレームレートを設定するようにしてもよい。具体的には、低解像度における解像度及び第１フレームレートの第１設定、低解像度における解像度及び第２フレームレートの第２設定、中解像度における解像度及び第３フレームレートの第３設定、等である。
ただし、ユーザーが解像度を設定した場合、他の端末のユーザーの端末においても同じ解像度で、通話のやりとりを行う必要があるため、通話開始時等に、用いる解像度を示す情報を送信しておくようにしてもよい。
また、送信する画像は、利用する用途に応じて、白黒であっても、カラーであってもよく、カラーの場合、用途に応じて８ビットカラー、１６ビットカラー等であってもよい。
【０２５８】
なお、本実施形態では、例えば、図２９に示したように、通話相手に対応する各アバターを同等の大きさで表示する例を説明したが、処理部１２３は、表示するアバターの大きさを、各位置情報に基づいて変えるようにしてもよい。この場合、ＨＭＤ１のＬＣＤ６３に表示されるアバターは、ＨＭＤ１との相対的な位置関係に基づき、例えば、一番近くにいる通話相手のアバターを一番大きく表示し、一番遠くにいる通話相手のアバターを一番小さく表示するようにしてもよい。この結果、アバターを、横、または縦一列に並べて配置した場合においても、発信者と通話相手の距離感を、視覚的に認識することができる。
【０２５９】
なお、本実施形態では、アバターの大きさが固定されている例を説明したが、通話中に大きさを可変するようにしてもよい。例えば、処理部１２３は、発話している通話相手のアバターを大きく表示するように可変するようにしてもよい。この結果、アバターを、横、または縦一列に並べて配置した場合においても、発信者と通話相手の距離感を、視覚的に認識することができる。
【０２６０】
なお、本実施形態では、例えば、図２９に示した例では、アバターとして擬人化した画像を説明したが、これに限られない。アバターは、例えば、動物、ロボット等であってもよい。このようなアバターを用いる場合、アバターに表情を単純には付加できない。そのような場合、表情を変える代わりに、処理部１２３は、アバターの大きさを変える、アバターの色調を変える、アバターを点滅させる、アバターを振動させる等、制御してもよい。
【０２６１】
なお、本実施形態の図１０〜図２０の例では、ＨＭＤ１のユーザーを含めて４者で通話を行い、全てのユーザー間で同じ画像を共有する例を説明したが、これに限られない。例えば、画像をリクエストされた端末は、リクエストした端末のみに画像情報を、送信するようにしてもよい。または、送信元で、送信先を限定したり、グループ化してあるメンバーのみに画像情報を、送信するようにしてもよい。
また、画像に限らず、音声信号についても、リクエストされた端末は、リクエストした端末のみに音声信号を送信するようにしてもよい。または、送信元で、送信先を限定したり、グループ化してあるメンバーのみに、音声信号を送信するようにしてもよい。
【０２６２】
なお、本実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、単体で使用してもよい。
【０２６３】
なお、本実施形態では、情報出力装置が、位置情報取得部と、音声情報取得部と、音声調整部とを備える例を説明したが、これに限られない。例えば、各部を備える装置を有するシステムであってもよい。
【０２６４】
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
【０２６５】
なお、上述のＨＭＤ１（含む５００）は、内部にコンピュータシステム（例えば、処理部１２３、５２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。
【０２６６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０２６７】
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７  心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１４０…リモコン、３０１…入力検出部、３０２…画像切替部、３０３…送受信部、３０４…線画生成部、３０５  カーソル生成部、３０６…アバター生成部、３０７…アバター記憶部、３０８…画像合成部、３０９…位置算出部、３１０…音声調整部
【図１】
2013175929.tif 000003
【図２】
2013175929.tif 000004
【図３】
2013175929.tif 000005
【図４】
2013175929.tif 000006
【図５】
2013175929.tif 000007
【図６】
2013175929.tif 000008
【図７】
2013175929.tif 000009
【図８】
2013175929.tif 000010
【図９】
2013175929.tif 000011
【図１０】
2013175929.tif 000012
【図１１】
2013175929.tif 000013
【図１２】
2013175929.tif 000014
【図１３】
2013175929.tif 000015
【図１４】
2013175929.tif 000016
【図１５】
2013175929.tif 000017
【図１６】
2013175929.tif 000018
【図１７】
2013175929.tif 000019
【図１８】
2013175929.tif 000020
【図１９】
2013175929.tif 000021
【図２０】
2013175929.tif 000022
【図２１】
2013175929.tif 000023
【図２６】
2013175929.tif 000024
【図２７】
2013175929.tif 000025
【図２８】
2013175929.tif 000026
【図２９】
2013175929.tif 000027
【図３０】
2013175929.tif 000028
【図３１】
2013175929.tif 000029
【図３２】
2013175929.tif 000030
【図３３】
2013175929.tif 000031
【図３４】
2013175929.tif 000032
【図３５】
2013175929.tif 000033
【図２２】
2013175929.tif 000034
【図２３】
2013175929.tif 000035
【図２４】
2013175929.tif 000036
【図２５】
2013175929.tif 000037