(57)【要約】【課題】通話環境の音の大きさを考慮して、音声を用いた通信が可能な、ユーザの頭部に装着可能に構成された表示手段を備える通信装置、通信方法、及び通信プログラムを提供すること。【解決手段】ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、通信手段が受信した音情報を音に変換して出力する音出力手段とを備えた通信装置において、通話装置は、通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する（Ｓ１０）。通信装置は、通話環境が騒音環境であると判断された場合に（Ｓ６５：ＹＥＳ）、通信手段が受信した音情報が表す音声をテキストに変換する（Ｓ７５）。通信装置は、テキストを表す画像を表示手段に表示させる（Ｓ８０）。【選択図】図３
2014027459.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、
他の装置との間で音情報を含むデータの送受信を実行する通信手段と、
前記通信手段が受信した前記音情報を音に変換して出力する音出力手段と、
通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断手段と、
前記判断手段によって前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換手段と、
前記変換手段によって生成された前記テキストを表す画像を前記表示手段に表示させる表示制御手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記ユーザの周囲の環境を表す環境情報を取得する取得手段をさらに備え、
前記判断手段は、前記取得手段によって取得された前記環境情報に少なくとも基づき、前記通話環境が前記騒音環境であるか否かを判断することを特徴とする請求項１に記載の通信装置。
【請求項３】
空気中を伝わる音の振動を第１音情報に変換する第１音情報生成手段と、
前記第１音情報生成手段によって生成された前記第１音情報を、前記通信手段を介して前記他の装置に送信する第１通信制御手段と
をさらに備え、
前記取得手段は、前記第１音情報生成手段が生成した前記第１音情報を前記環境情報の少なくとも一部として取得し、
前記判断手段は、前記第１音情報生成手段が生成した前記第１音情報と、閾値との比較結果に少なくとも基づき、前記通話環境が前記騒音環境であるか否かを判断することを特徴とする請求項２に記載の通信装置。
【請求項４】
前記ユーザの骨導音を収集して第２音情報に変換する第２音情報生成手段と、
前記判断手段によって前記通話環境が前記騒音環境であると判断された場合に、前記第２音情報生成手段によって生成された前記第２音情報を、前記通信手段を介して前記他の装置に送信する第２通信制御手段と
をさらに備えたことを特徴とする請求項１から３のいずれかに記載の通信装置。
【請求項５】
前記判断手段は、前記通信手段が受信した前記データに少なくとも基づき、前記通話環境が前記騒音環境であるか否かを判断することを特徴とする請求項１から４のいずれかに記載の通信装置。
【請求項６】
ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、前記通信手段が受信した前記音情報を振動に変換して出力する音出力手段とを備えた通信装置によって実行される通信方法であって、
通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断ステップと、
前記判断ステップにおいて前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換ステップと、
前記変換ステップにおいて生成された前記テキストを表す画像を前記表示手段に表示させる表示制御ステップと
を備えたことを特徴とする通信方法。
【請求項７】
ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、前記通信手段が受信した前記音情報を振動に変換して出力する音出力手段とを備えた通信装置のコンピュータによって実行される通信プログラムであって、
通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断ステップと、
前記判断ステップにおいて前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換ステップと、
前記変換ステップにおいて生成された前記テキストを表す画像を前記表示手段に表示させる表示制御ステップと
を実行させるための通信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着可能に構成され、画像を出力する表示手段を備え、他の装置との間で音情報を含むデータを送受信可能な通信装置、通信方法、及び通信プログラムに関する。
【背景技術】
【０００２】
ユーザの頭部に装着された状態で使用され、ユーザに各種画像を認識させる表示装置が知られている。表示装置の一例として、ヘッドマウントディスプレイが挙げられる。この種の表示装置の中には、周囲の音を考慮して、ユーザに音を認識させる機能を備えものがある。例えば、特許文献１に記載の頭部装着型表示装置は、ユーザに確実に知覚を促す手段として、気導式スピーカと骨導音スピーカとを備え、必要に応じて双方を使い分ける。一方、周囲の音の大きさを考慮して通話を快適に行うための技術が種々検討されている。例えば、特許文献２に記載の携帯電話機は、骨伝導スピーカを備え、周囲騒音が大きい場合には、骨伝導スピーカを骨導音によるレシーバとして用い、周囲騒音が小さい場合には、骨伝導スピーカを気導音によるレシーバとして用いる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７４７９８号公報
【特許文献２】特開２００７−１９８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
周囲の音を考慮した通話機能を備えた表示装置の開発が望まれている。このような要望に対し、特許文献１に記載の頭部装着型表示装置において、特許文献２に記載の携帯電話機の通話技術を組み込むことが考えられる。しかしながら、特許文献２に記載の携帯電話機の通話技術では、聞き手又は話し手の周囲の音の大きさによっては、相手の音声が依然として聞き取りにくい場合があった。
【０００５】
本発明の目的は、通話環境の音の大きさを考慮して、音声を用いた通信が可能な、ユーザの頭部に装着可能に構成された表示手段を備える通信装置、通信方法、及び通信プログラムを提供することである。
【課題を解決するための手段】
【０００６】
第１態様に係る通信装置は、ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、前記通信手段が受信した前記音情報を音に変換して出力する音出力手段と、通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断手段と、前記判断手段によって前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換手段と、前記変換手段によって生成された前記テキストを表す画像を前記表示手段に表示させる表示制御手段とを備えている。
【０００７】
第１態様に係る通信装置によれば、通話環境が騒音環境であると判断される場合であっても、ユーザは、他の装置から送信された音情報が表す事項を、表示手段に表示されるテキストを見ることによって、認識することができる。したがって、ユーザは第１態様に係る通信装置を用いることによって、通話環境を考慮して、音声を用いた通信が可能である。
【０００８】
第２態様に係る通信方法は、ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、前記通信手段が受信した前記音情報を振動に変換して出力する音出力手段とを備えた通信装置によって実行される通信方法であって、通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断ステップと、前記判断ステップにおいて前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換ステップと、前記変換ステップにおいて生成された前記テキストを表す画像を前記表示手段に表示させる表示制御ステップとを備えている。第２態様に係る通信方法は、通信装置によって上記ステップが実行されることにより、第１態様の通信装置と同様の作用効果が得られる。
【０００９】
第３態様に係る通信プログラムは、ユーザの頭部に装着可能に構成され、画像を出力する表示手段と、他の装置との間で音情報を含むデータの送受信を実行する通信手段と、前記通信手段が受信した前記音情報を振動に変換して出力する音出力手段とを備えた通信装置のコンピュータによって実行される表示プログラムであって、通話環境が、騒音を発生する可能性がある環境である騒音環境であるか否かを判断する判断ステップと、前記判断ステップにおいて前記通話環境が前記騒音環境であると判断された場合に、前記通信手段が受信した前記音情報が表す音声をテキストに変換する変換ステップと、前記変換ステップにおいて生成された前記テキストを表す画像を前記表示手段に表示させる表示制御ステップとを実行させる。第３態様に係る通信プログラムは、上記ステップをコンピュータに実行させることにより、第１態様の通信装置と同様の作用効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】ＨＭＤ１の外観を示す斜視図である。
【図２】装着装置２及び制御装置３の電気的構成を示すブロック図である。
【図３】通話処理のフローチャートである。
【図４】図４に示す通話処理で実行される通話環境判断処理のフローチャートである。
【図５】撮影画像７０，表示画像８０及び視野８５の説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面を参照して説明する。図１に示すヘッドマウントディスプレイ１（以下、「ＨＭＤ１」と言う。）は、他の装置との間で音情報を含むデータを送受信する機能を有する。ＨＭＤ１は、装着装置２と、制御装置３とを備える。装着装置２は、ユーザの頭部に装着して使用される。装着装置２は、ハーネス４を介して制御装置３と着脱可能に接続する。制御装置３は、例えば、ユーザの腰ベルト等に装着して使用される。制御装置３は、装着装置２を制御する。以下、装着装置２と、制御装置３とのそれぞれについて詳述する。図１の上方向、下方向、右斜め下方向、左斜め上方向、右斜め上方向、左斜め下方向が、それぞれ、ＨＭＤ１の上方向、下方向、前方向、後方向、右方向、左方向である。
【００１２】
図１を参照して、装着装置２の構成について説明する。装着装置２は、眼鏡１１と、表示装置１２と、音情報入出力装置１３と、気導式マイク１４とを備える。眼鏡１１は、通常の眼鏡と同様の形状を有する。ユーザが装着装置２を装着した状態において、眼鏡１１は、表示装置１２と、音情報入出力装置１３と、気導式マイク１４とをユーザの頭部において保持する。眼鏡１１のフレームの内部には、音情報入出力装置１３と、気導式マイク１４とに電気的に接続される配線が設けられている。この配線は、電力の供給と、各種信号の送受信とを行うためのものである。
【００１３】
表示装置１２は、画像信号に応じて変調されたレーザ光を走査させて、画像光として射出し、ユーザの少なくとも一方の眼の網膜に画像を直接投影する網膜走査型ディスプレイである。表示装置１２は、筐体１５と、支持部１９とを備える。筐体１５は、内部に画像光を出力するための構成を収容する。画像光を出力するための構成は、画像表示部（図示外）と、接眼光学系（図示外）と、ハーフミラー１６（以下「ＨＭ１６」と言う。）とを含む。画像表示部は、ＣＰＵ２１（図２参照）と、表示制御部２９（図２参照）と、ディスプレイ２８（図２参照）とを備える。画像表示部は、制御装置３からハーネス４を介して送信される映像信号に基づいて、表示制御部２９を駆動させ、ディスプレイ２８に画像を表示する。ディスプレイ２８は、例えば、液晶表示素子とバックライトとで構成される。接眼光学系は、ディスプレイ２８に表示された画像を示す画像光を、ユーザの眼に導くために集光する。ＨＭ１６は、表示装置１２の左側に設けられ、接眼光学系から射出された画像光の少なくとも一部（例えば半分）を反射して、ユーザの左の眼球（図示略）に入射させる。ＨＭ１６は外界の実像からの光の少なくとも一部を透過するので、ユーザは、自己の視野において実像（外界の風景）に重畳して画像を視認できる。筐体１５は、さらに、内部にカメラ１７を備える。カメラ１７のレンズは、筐体１５の前面且つＨＭ１６の右側に設けられた小孔部１８から露出する。カメラ１７は、ユーザの視野前方の外界の風景を表す画像データを生成する。支持部１９は、表示装置１２の右上部に設けられ、表示装置１２を眼鏡１１の右上部に取り付けるための部材である。
【００１４】
音情報入出力装置１３は、ユーザの耳（図示略）を覆うヘッドフォン型の装置であり、図２に示す、骨伝導式マイク３１，気導式イヤホン３２，及び骨伝導式イヤホン３３を備える。気導式マイク１４は、眼鏡１１の左前端から下方に設けられる。ユーザが装着装置２を装着した場合、気導式マイク１４は、ユーザの口（図示略）付近に配設される。
【００１５】
制御装置３の構成について説明する。制御装置３は、略直方体状のシステムボックスである。制御装置３は操作部５を備える。ユーザは、他の装置のユーザとの通話を開始する等の各種操作を、操作部５を介して行うことが可能である。制御装置３はコネクタ６を備える。コネクタ６には、通信ケーブルを接続可能である。
【００１６】
図２を参照して、装着装置２の電気的構成について説明する。装着装置２は、ＣＰＵ２１，ＲＯＭ２３，ＲＡＭ２５，表示制御部２９，カメラ１７，気導式マイク１４，骨伝導式マイク３１，気導式イヤホン３２，骨伝導式イヤホン３３及び第一有線通信部３４を備える。ＣＰＵ２１は、装着装置２全体の制御を司り、装着装置２が備える他の電気機器と電気的に接続する。ＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。ＲＡＭ２５は、各種データを一時的に記憶する。
【００１７】
表示制御部２９は、ディスプレイ２８に画像を表示させるためにディスプレイ２８を制御する。以下、ディスプレイ２８に表示させる画像を、表示画像と言う。カメラ１７は、静止画像又は動画像（以下、「撮影画像」と言う。）を表す画像データを生成する。気導式マイク１４は、空気中を伝わる音の振動を音情報に変換する。気導式マイク１４としては、例えば、ダイナミックマイク及びコンデンサマイク等、周知の構成が利用できる。空気中を伝わる音の振動に基づき生成された音情報を第１音情報と言う。骨伝導式マイク３１は、ユーザの骨導音を収集して音情報に変換する。ユーザの骨導音を収集して生成された音情報を第２音情報と言う。気導式イヤホン３２は、音情報を空気中を伝わる音に変換して出力する。骨伝導式イヤホン３３は、音情報を、骨導音に変換して出力する。第一有線通信部３４は、ハーネス４（図１参照）を介して制御装置３と有線通信を行う。ＣＰＵ２１は、後述する通話処理において、気導式マイク１４が生成した第１音情報及び骨伝導式マイク３１が生成した第２音情報を、第一有線通信部３４及びハーネス４を介して制御装置３に随時送信する。
【００１８】
制御装置３の電気的構成について説明する。制御装置３は、ＣＰＵ４１，ＲＯＭ４３，ＲＡＭ４５，フラッシュメモリ４７，第二有線通信部４６，操作部５，無線通信部５３，及び外部通信部５５を備える。ＣＰＵ４１は、制御装置３全体の制御を司り、制御装置３が備える他の電子機器と電気的に接続する。ＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム等を記憶する。ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュメモリ４７は、登録画像記憶エリア４８，設定記憶エリア４９及びその他の記憶エリア５０を備える。登録画像記憶エリア４８は、通話環境が騒音環境であるか否かの判断に用いる画像（以下、「登録画像」とも言う。）を表す画像データを記憶する。登録画像は、周囲の環境の属性（例えば、作業場、遊戯室、工場、研究所等）を表す標識である。登録画像５１は、工場の内部等の「ＷＯＲＫ  ＡＲＥＡ」に貼られる標識を表す。設定記憶エリア４９は、後述する通話処理で用いられる閾値を含む各種設定値を記憶する。その他の記憶エリア５０は、音声認識を行うための音響モデル、言語モデル、及び単語辞書を含むその他の情報を記憶する。フラッシュメモリ４７には、ＣＰＵ２１，４１が実行するプログラムが記憶されてもよい。第二有線通信部４６は、ハーネス４を介して装着装置２と有線通信を行う。無線通信部５３は、他の装置との間で無線通信を行う。外部通信部５５は、通信ケーブルを介して他の装置と有線通信を行う。ＨＭＤ１と無線又は有線通信を行う他の装置は、例えば、他のＨＭＤ１，ＰＣ，携帯電話、及びスマートフォンである。
【００１９】
ＨＭＤ１で実行される通話処理の概要について説明する。ＨＭＤ１は、無線通信部５３を介して、他の装置との間で音情報を含むデータを送受信可能である。通話処理はこの機能を利用して、ＨＭＤ１のユーザが、他の装置のユーザと通話する場合に実行される。ＨＭＤ１は、通話処理において、通話環境が騒音環境であるか否かに応じて、音情報の入出力方法を切り替える。通話環境は、処理を実行するＨＭＤ１（以下、「自装置１」とも言う。）の周囲の環境及び通信相手である他の装置（以下、「他装置」とも言う。）の周囲の環境のうちの少なくともいずれかである。本実施形態の通話環境は、自装置の周囲の環境及び他装置の周囲の環境の双方を指す。騒音環境は、騒音を発生する可能性がある環境である。本実施形態の騒音環境は、処理実行時に騒音が発生している環境に加え、処理実行期間中に騒音が発生すると予測される環境も含む。ＨＭＤ１は、通話環境が騒音環境ではないと判断される場合に、気導式マイク１４が生成した第１音情報を他装置に送信し、且つ、気導式イヤホン３２を用いて音情報を気導音に変換して出力する。ＨＭＤ１は、通話環境が騒音環境であると判断される場合に、骨伝導式マイク３１が生成した第２音情報を他装置に送信し、且つ、骨伝導式イヤホン３３を用いて音情報を骨導音に変換して出力する。ＨＭＤ１はさらに、通話環境が騒音環境であると判断される場合に、他装置から送信された音情報が表す音声をテキストに変換し、生成されたテキストを表す画像をディスプレイ２８に表示する。
【００２０】
図３から図５を参照して、通話処理を説明する。通話処理は、ＨＭＤ１のユーザが操作部５を操作して、他装置と通信を開始させる指示を入力した場合、又は、他装置から通信を開始させる指示を含む信号を受信した場合に開始される。図３の通話処理は、図２のＲＯＭ４３に記憶されたプログラムに従って、ＣＰＵ２１とＣＰＵ４１とが協働して実行する。一例として、他のＨＭＤ１との間で通信を実行する場合について説明する。
【００２１】
図３に示すように、ＣＰＵ４１はまず、自装置１と他装置との間の通信を確立する（Ｓ５）。次に、ＣＰＵ４１は、通話環境判断処理を実行する（Ｓ１０）。図４を参照して、通話環境判断処理について説明する。図４に示すように、通話環境判断処理ではまず、ＣＰＵ４１は、環境情報の一態様として、気導式マイク１４が生成した第１音情報を取得する（Ｓ１５）。環境情報は、ＨＭＤ１のユーザの周囲の環境を表す情報である。ＣＰＵ４１は、ＣＰＵ２１に指示を出力し、制御装置３に第１音情報及び第２音情報の送信を開始させる。ＣＰＵ２１は、受信した指示に基づき、気導式マイク１４が生成した第１音情報及び骨伝導式マイク３１が生成した第２音情報を、随時制御装置３に送信する処理を開始する。Ｓ１５で取得された第１音情報は、自装置１の周囲の環境の音を表す。ＣＰＵ４１は、Ｓ１５で取得した第１音情報に基づき、自装置１の周囲の音レベルを特定し、特定した音レベルを含むデータを他装置に送信する（Ｓ２０）。音レベルは、周囲の音の大きさの程度を表す周知の指標によって表される。本実施形態のＨＭＤ１は、Ｓ１５で取得した第１音情報から予測される音圧レベル（ｄＢ）を用いて音レベルを表す。ここで、Ｓ１５で取得された第１音情報は、ユーザが発声していた場合、周囲の音だけでなくユーザが発した音声を表す情報も含む。そこで本実施形態のＨＭＤ１は、第１音情報が表す音のうち、音声に相当する周波数域の音を除いて音圧レベルを推定する。このためＨＭＤ１は、第１音情報に含まれるユーザの音声の影響を除去し、周囲の音の大きさの音圧レベルをより正確に予測できる。次に、ＣＰＵ４１は、他装置から送信されるデータを受信し、受信したデータから他装置の音レベルを取得する（Ｓ２５）。具体例として、自装置１の音レベルが５０ｄＢであり、他装置から送信された音レベルが４０ｄＢである場合を想定する。
【００２２】
ＣＰＵ４１は、自装置１の音レベルが閾値以下であるか否かを判断する（Ｓ３０）。閾値は、Ｓ２０で特定された自装置１の音レベルに基づき、自装置１の周囲の環境が騒音環境であるか否かを判断するために予め設定された値である。Ｓ３０の処理の閾値は、音レベルを表す指標に応じて適宜定められればよく、予め定められた固定値であってもよいし、ユーザが設定した値であってもよい。本実施形態の閾値は、音圧レベル６０ｄＢと予め設定されている。具体例では、ＣＰＵ４１は、自装置１の音レベル（５０ｄＢ）は閾値以下であると判断し（Ｓ３０：ＹＥＳ）、他装置の音レベルが閾値以下であるか否かを判断する（Ｓ３５）。Ｓ３５の処理の閾値は、音レベルを表す指標に応じて適宜定められればよく、予め定められていてもよいし、ユーザが設定した値であってもよい。Ｓ３５の処理の閾値は、Ｓ３０の処理の閾値と同じであってもよいし、異なっていてもよい。本実施形態の閾値は、音圧レベル６０ｄＢと予め設定されている。具体例では、ＣＰＵ４１は、他装置の音レベル（４０ｄＢ）は閾値以下であると判断し（Ｓ３５：ＹＥＳ）、環境情報の一態様として自装置１の画像データを取得する（Ｓ４０）。ＣＰＵ４１は、Ｓ４０では、Ｓ１５で取得した第１音情報とは別の環境情報として、カメラ１７が生成した画像データを取得する。具体例において、図５に示す撮影画像７０を表す画像データが取得された場合を想定する。
【００２３】
ＣＰＵ４１は、Ｓ４０で取得した画像データに基づき、通話環境が騒音環境であるか否かを判断する（Ｓ４５）。本実施形態では、ＣＰＵ４１は、Ｓ４０で取得した画像データによって表される撮影画像中に、登録画像が含まれる場合に、通話環境が騒音環境であると判断する。撮影画像中に、登録画像が含まれるか否かを判断する処理は、公知の技術が適宜採用されて実行される。登録画像は、フラッシュメモリ４７に記憶されている画像データによって表される。例えば、Ｓ４５では以下の手順で判断処理が実行される。まずＣＰＵ４１は、撮影画像と登録画像とに対してエッジ検出を行う。エッジ検出の手法としては、画像を一次微分し、勾配が極大となる位置を検出する手法、及び画像を二次微分してゼロ交差位置を検出する手法等、周知の方法が用いられる。次にＣＰＵ４１は、検出されたエッジから特徴点（例えば、頂点位置）を抽出する。次にＣＰＵ４１は、撮影画像の特徴点と登録画像の特徴点とをパターンマッチングで比較し、撮影画像の特徴点の中に登録画像の特徴点と一致するパターンが含まれていれば、撮影画像中に登録画像が含まれる判断する。
【００２４】
図５のように、具体例の撮影画像７０には、標識７１が含まれる。標識７１は、図２のように登録画像５１として、フラッシュメモリ４７に記憶されている。したがって、ＣＰＵ４１は、通話環境は騒音環境であると判断し（Ｓ４５：ＹＥＳ）、フラグをＯＮにする（Ｓ５５）。フラグは、通話環境が騒音環境であるか否かの判断結果を表す。フラグがＯＮである場合、通話環境が騒音環境であると判断されたことを表す。自装置１の音レベルが閾値よりも大きかった場合（Ｓ３０：ＮＯ）、及び他装置の音レベルが閾値よりも大きかった場合（Ｓ３５：ＮＯ）にも、ＣＰＵ４１はフラグをＯＮにする（Ｓ５５）。一方、ＣＰＵ４１は、Ｓ４０で取得した画像データに基づき通話環境は騒音環境ではないと判断した場合（Ｓ４５：ＮＯ）、フラグをＯＦＦにする（Ｓ５０）。フラグがＯＦＦである場合、通話環境が騒音環境ではないと判断されたことを表す。Ｓ５０又はＳ５５の次に、処理は図３の通話処理に戻る。
【００２５】
Ｓ１０の次に、ＣＰＵ４１は、他装置の音声を取得したか否かを判断する（Ｓ６０）。ＣＰＵ４１は、他装置から受信したデータから音情報を取得する。ＣＰＵ４１は、音情報に音声に対応する周波数帯の情報が含まれている場合に、他装置の音声を取得したと判断する（Ｓ６０：ＹＥＳ）。この場合、ＣＰＵ４１は、具体例のように通話環境判断処理で設定したフラグがＯＮである場合には（Ｓ６５：ＹＥＳ）、装着装置２に他装置から受信した音情報、及び骨伝導式イヤホン３３を用いて音情報を音に変換させるための指示を出力する。ＣＰＵ２１は、制御装置３から受信した指示に基づき、骨伝導式イヤホン３３を用いて、他装置から受信した音情報を音に変換して出力する（Ｓ７０）。次に、ＣＰＵ４１は、Ｓ６０で取得した音情報の音声を認識し、テキストに変換する（Ｓ７５）。音声認識の方法は公知の方法が適宜採用されればよい。例えば、ＣＰＵ４１は、音情報を分析し、特徴量を抽出する。ＣＰＵ４１は、必要に応じてフラッシュメモリ４７に記憶された単語辞書を参照しつつ、抽出した特徴量と、フラッシュメモリ４７に記憶された音響モデル及び言語モデルとのマッチングを行う。その結果、言語モデルで受理可能な文毎に尤度が求まり、尤度が最も高い文が認識結果のテキストとして得られる。具体例において、音情報が表す音声が、テキスト「Ｈｅｌｌｏ，  ｔｈｉｓ  ｉｓ  ＡＢＣ  ｏｆ  Ｘ  ｃｏｍｐａｎｙ．」に変換された場合を想定する。
【００２６】
ＣＰＵ４１は、テキストを表す画像データを生成し、生成した画像データ、及び画像データに基づき表示画像を表示させるための指示を装着装置２に送信する。ＣＰＵ２１は、制御装置３から受信した指示に基づき、表示制御部２９を制御して、画像データが表す表示画像をディスプレイ２８に表示させる（Ｓ８０）。具体例では、Ｓ８０の処理によって、図５の表示画像８０がディスプレイ２８に表示される。自己の視野において実像が撮影画像７０と同様の像であり、表示画像８０がディスプレイ２８に表示された場合、図５に示すように、ユーザは、自己の視野８５において実像に重畳してテキストを表す表示画像８０を視認できる。一方、通話環境判断処理で設定したフラグがＯＦＦである場合には（Ｓ６５：ＮＯ）、ＣＰＵ４１は、他装置から受信した音情報及び気導式イヤホン３２で音情報を出力するための指示を装着装置２に出力する。ＣＰＵ２１は、制御装置３から受信した指示に基づき、気導式イヤホン３２を用いて、他装置から受信した音情報を音に変換して出力する（Ｓ８５）。
【００２７】
他装置から音声を取得していない場合（Ｓ６０：ＮＯ）、Ｓ８０又はＳ８５の次に、ＣＰＵ４１は、自装置１の音声を取得したか否かを判断する（Ｓ９０）。ＣＰＵ４１は、装着装置２から取得したデータから音情報を取得する。ＣＰＵ４１は、装着装置２から送信される音情報に音声に対応する周波数帯の情報が含まれている場合に、自装置１の音声を取得したと判断する（Ｓ９０：ＹＥＳ）。この場合、具体例のようにフラグがＯＮである場合には（Ｓ９５：ＹＥＳ）、ＣＰＵ４１は、骨伝導式マイク３１が生成した第２音情報を取得する（Ｓ１００）。ＣＰＵ４１は、取得した第２音情報を含むデータを、他装置に出力する（Ｓ１０５）。一方、フラグがＯＦＦである場合には（Ｓ９５：ＮＯ）、ＣＰＵ４１は、気導式マイク１４が生成した第１音情報を装着装置２から取得する（Ｓ１１０）。ＣＰＵ４１は、取得した第１音情報を含むデータを、他装置に出力する（Ｓ１１５）。自装置１の音声を取得していない場合（Ｓ９０：ＮＯ）、Ｓ１０５又はＳ１１５の次に、通話を終了させる指示がなければ（Ｓ１２０：ＮＯ）、処理はＳ６０に戻る。通話を終了させる指示があれば（Ｓ１２０：ＹＥＳ）、通話処理は以上で終了する。
【００２８】
本実施形態のＨＭＤ１において、表示装置１２（ディスプレイ２８）は本発明の表示手段に相当する。無線通信部５３は、本発明の通信手段に相当する。気導式イヤホン３２と、骨伝導式イヤホン３３とのそれぞれは、本発明の音出力手段に相当する。図４のＳ３０，Ｓ３５，及びＳ４５のそれぞれは、本発明の判断ステップに相当する。Ｓ３０，Ｓ３５，及びＳ４５の処理のそれぞれを実行するＣＰＵ４１は、本発明の判断手段として機能する。Ｓ７５は、本発明の変換ステップに相当する。Ｓ７５の処理を実行するＣＰＵ４１は、本発明の変換手段として機能する。Ｓ８０は、本発明の表示制御ステップに相当する。Ｓ８０の処理を実行するＣＰＵ４１は、本発明の表示制御手段として機能する。Ｓ１５及びＳ４０の処理のそれぞれを実行するＣＰＵ４１は、本発明の取得手段として機能する。気導式マイク１４は、本発明の第１音情報生成手段に相当する。Ｓ１１５の処理を実行するＣＰＵ４１は、第１通信制御手段として機能する。骨伝導式マイク３１は、本発明の第２音情報生成手段に相当する。Ｓ１０５の処理を実行するＣＰＵ４１は、本発明の第２通信制御手段として機能する。
【００２９】
ＨＭＤ１によれば、通話環境が騒音環境であると判断される場合であっても、ユーザは、他装置から送信された音情報が表す事項を、ディスプレイ２８に表示されるテキストを見ることによって、認識することができる。ＨＭＤ１は、３つの観点から通話環境が騒音環境であるか否かを判断する。１つ目の観点は、自装置１の周囲の環境が処理実行時に騒音を発生している環境であるか否かという観点であり、ＨＭＤ１は、環境情報の一態様である自装置１の周囲の音を表す第１音情報に基づき、騒音環境であるか否かを判断する（Ｓ３０）。気導式マイク１４が生成した第１音情報は自装置１の周囲に騒音が発生しているか否かを表すため、気導式マイク１４が生成した第１音情報以外の情報に基づき、通話環境が騒音環境であるか否かを判断する場合に比べ、判断結果の信頼性が高い。自装置１の周囲の音の音レベルが大きい場合、通話処理実行中に他装置のユーザの音声が、自装置１の周囲の音の影響で聞き取りにくいことが予想される。ＨＭＤ１のユーザは、他装置から送信された音情報が表す音声を、自装置１の周囲の音の影響で聞き取りにくい場合でも、ディスプレイ２８に表示されるテキストを見ることによって、該音情報が表す事項を認識することができる。
【００３０】
２つ目の観点は、自装置１の周囲の環境が騒音を発生させる可能性があるか否かという観点であり、ＨＭＤ１は環境情報の一態様である画像データに基づき、通話環境が騒音環境であるか否かを自動的に判断する（Ｓ４５）。通話環境が騒音環境であるか否かを判断する処理（判断処理）が実行されるときには、自装置１の周囲の環境に騒音を発生していなくても、判断処理実行後の通話処理実行中に、自装置１の周囲の環境に騒音を発生することがある。そのような場合を考慮し、ＨＭＤ１では、騒音を発生する可能性がある環境であることを表す情報を、登録画像として予め登録している。これにより、判断処理実行時に騒音が発生している環境に加え、処理実行期間中に騒音が発生すると予測される環境も騒音環境に含ませることができる。
【００３１】
３つ目の観点は、他装置のユーザの周囲の環境が騒音を発生する可能性があるか否かという観点であり、ＨＭＤ１は他装置から送信されるデータに基づき、通話環境が騒音環境であるか否かを判断する（Ｓ３５）。他装置のユーザの周囲の環境が騒音を発生する可能性がある場合、他装置から送信される音情報には、騒音が含まれ、他装置のユーザの音声が聞き取りにくいことが想定される。これに対し、ＨＭＤ１は、他装置から送信されるデータに基づき、通話環境が騒音環境であるか否かを判断することによって、他の装置のユーザの周囲の環境が騒音を発生する可能性があるか否かを判断することができる。そして、通話環境が騒音環境であると判断される場合には、他装置から送信された音情報が表す事項が自動的にテキストで表示される。このため、他装置のユーザの周囲の騒音の影響で、他の装置のユーザの音声が聞き取りにくい場合にも、自装置１のユーザは通話内容をテキストを見ることによって認識することができる。ＨＭＤ１は、上記３つの観点から通話環境が騒音環境であるか否かを判断するための情報を、自動的に取得するため、ユーザが情報を入力する必要はない。
【００３２】
さらにＨＭＤ１は、ＨＭＤ１は、通話環境が騒音環境ではないと判断される場合に、気導式マイク１４が生成した第１音情報を他装置に送信し、且つ、気導式イヤホン３２を用いて音情報を気導音に変換して出力する。ＨＭＤ１は、通話環境が騒音環境であると判断される場合に、骨伝導式マイク３１が生成した第２音情報を他装置に送信し、且つ、骨伝導式イヤホン３３を用いて音情報を骨導音に変換して出力する。自装置１の周囲の環境が騒音が比較的多い環境である場合には、一般的に、第１音情報には周囲の雑音を表す情報が多く含まれるため、第１音情報よりも第２音情報の方が自装置１のユーザが発する音声を精度よく表す。ＨＭＤ１は、ユーザの周囲の環境が騒音環境と判断される場合には、第２音情報を自動的に他装置に送信する。したがって自装置１のユーザは、自装置１のユーザの周囲の環境が騒音環境である場合にも、自装置１のユーザの音声を他装置のユーザに正確に認識させる可能性を高めることができる。
【００３３】
周囲の環境が、騒音が比較的多い環境である場合には、一般的に、振動が空気を介して鼓膜に達する気導音よりも、外耳道内壁近傍の軟骨に伝搬して聴覚神経に達する骨導音の方が、ユーザは音声の内容を認識しやすい。また一般に、音情報を骨導音に変換する場合、第２音情報を骨導音に変換した方が、第１音情報を骨導音に変換する場合よりも、ユーザの音声を精度よく再生できる。したがって、他装置の周囲の環境が騒音環境である場合には、他装置のユーザは骨導音の方が聞き取りやすいと推測される。これに対し、ＨＭＤ１は、他装置の周囲の環境が騒音環境であると判断した場合には、骨導音に変換されるのに適した第２音情報を自動的に他の装置に送信する。したがって自装置１のユーザは、他装置のユーザの周囲の環境が騒音環境と判断される場合にも、自装置１のユーザの意図を音声によって他装置のユーザに正確に伝える可能性を高めることができる。自装置１が、他のＨＭＤ１との間で通話処理を実行する場合には、自装置１と他のＨＭＤ１とは同じ通話処理によって、通話環境が騒音環境であると判断された場合に、第２音情報を送受信し、受信した第２音情報を骨導音に変換する。したがって、自装置１と他のＨＭＤ１とのユーザはそれぞれ、通話環境が騒音環境と判断される場合にも、騒音の影響を受けにくい骨導音に自動的に切り替えて通話をすることができる。
【００３４】
本発明の通話装置は、上記した実施形態のＨＭＤ１に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更が加えられてもよい。例えば、以下の（Ａ）から（Ｆ）までの変形が適宜加えられてもよい。
【００３５】
（Ａ）ＨＭＤ１の構成、形状、及びデザイン等は適宜変更されてよい。例えば、ＨＭＤ１の表示装置１２は、ユーザが日常的に使用する眼鏡、ヘルメット、及びヘッドフォンなど、他の装着具に取り付けられてもよい。また例えば、装着装置２と、制御装置３とは有線通信ではなく無線通信を行ってもよい。また例えば、制御装置３の機能を装着装置２が有していてもよい。また例えば、表示装置１２が備える画像表示部（図示略）は、液晶素子などの空間変調素子及び光源、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｔ）素子、二次元光スキャナ及び光源からなる網膜走査型表示部等であってよい。また例えば、ＨＭＤ１の、骨伝導式マイク３１，気導式イヤホン３２，及び骨伝導式イヤホン３３は、音情報入出力装置１３に内蔵されていたが、それぞれ別体に設けられてもよい。また例えば、ＨＭＤ１は、音情報生成装置として、気導式マイク１４と、骨伝導式マイク３１とを備えていたが、どちらか一方のみを備えてもよい。また例えば、ＨＭＤ１は、音出力装置として、気導式イヤホン３２と、骨伝導式イヤホン３３とを備えていたが、どちらか一方のみを備えてもよい。さらにＨＭＤ１は、有線通信を利用して他装置との間で通話処理を実行してもよい。
【００３６】
（Ｂ）通話環境が騒音環境であるかの判断方法は適宜変更されてよい。例えば、（Ｂ−１）から（Ｂ−４）に示す変形が適宜加えられてもよい。
【００３７】
（Ｂ−１）通話環境は、自装置１の周囲の環境及び他装置の周囲の環境のうちの少なくともいずれかであればよい。また上記実施形態では、上記のように３つの観点から通話環境が騒音環境であるか否かを判断していたが、これに限定されない。例えば、上記３つの観点中から選択された１以上の観点に基づき、通話環境が騒音環境であるか否かが判断されてもよい。また例えば、ＨＭＤ１は、複数の観点のうち、所定数以上の観点（例えば、３つの観点のうち２つ以上の観点）から通話環境が騒音を発生する可能性がある環境であると判断される場合に、通話環境が騒音環境であると判断してもよい。
【００３８】
（Ｂ−２）環境情報の種類及び取得方法は適宜変更されてよい。例えば、環境情報として、カメラ１７が生成した画像データを取得する場合、撮影画像を解析して予め登録された物又は人が検出された場合に、通話環境が騒音環境であると判断してもよい。より具体的には、例えば、図５に示す撮影画像７０において、機械７２が検出された場合に、通話環境が騒音環境であると判断してもよい。また例えば、環境情報が周囲の環境の属性を表す情報である場合、環境情報はＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）によって取得されてもよい。また例えば、ユーザが操作部５を操作して入力した情報が環境情報として取得されてもよい。また例えば、自装置１（他装置）の周囲の環境が特定の時間帯にのみ騒音環境になることがわかっている場合には、ＣＰＵ４１は時刻を環境情報として取得し、取得した時刻に基づき通話環境が騒音環境であるか否かを判断してもよい。この場合には、取得時間に応じて、通話環境が騒音環境であるか否かを適切に判断することができる。また例えば、位置と、該位置が騒音環境であるか否かを表す情報とを対応づけて記憶している場合には、ＧＰＳ等から自装置１の位置を環境情報として取得してもよい。この場合、取得した自装置１の位置が、予め騒音環境と対応づけて登録した位置である場合に、通話環境が騒音環境であると判断してもよい。
【００３９】
また例えば、ＨＭＤ１は、ＨＭＤ１の音出力装置（気導式イヤホン３２又は骨伝導式イヤホン３３）の音量に基づき、通話環境が騒音環境であるか否かを判断してもよい。より具体的には、音出力装置の音量が比較的大きく設定されている場合には、通話環境が騒音環境であることに起因して、他装置のユーザの音声が聞き取りにくい状態であると予想される。このため、ＨＭＤ１は、自装置１又は他装置から音量の設定を取得し、音出力装置の音量が比較的大きい場合（例えば、音量が小さい順に１から１０の１０段階で設定される音量のレベル９以上）に、通話環境が騒音環境であると判断してもよい。また例えば、自装置１で利用されている、又は所定時間（例えば、１０分間）内に利用されたコンテンツに関する情報が、環境情報として取得されてもよい。より具体的には、ＨＭＤ１で利用可能なコンテンツ（例えば、画像及び音声）には、特定の環境下で利用されるものがある。例えば、ＨＭＤ１のディスプレイ２８に表示されるコンテンツのうち、特定の機械の操作方法を説明するマニュアルは、該特定の機械が配置された工場等の作業環境下で利用されると考えられる。ＨＭＤ１がコンテンツの付帯情報として、コンテンツの利用環境（例えば、工場、研究施設等）を記憶している場合に、ＨＭＤ１は付帯情報を環境情報としてもよい。この場合、例えば、コンテンツを再生する処理を実行しつつ、通話処理が実行されてもよい。このようにした場合、例えば、自装置のユーザは、特定の機械の操作方法を知りたい場合に、ＨＭＤ１で特定の機械の操作方法を説明するマニュアルを再生して確認しつつ、該マニュアルの不明な点等を他装置のユーザに問い合わせることができる。さらに他装置に利用中のコンテンツに関する情報、及び自装置の周囲を表す画像データを送信すれば、自装置のユーザと、他装置のユーザとの間の意思疎通を円滑に進めることができる。なお、コンテンツに関する情報は、コンテンツの利用環境を表す情報の他、例えば、コンテンツの内容を表す情報（例えば、機械の操作方法のマニュアル）、及びコンテンツの利用対象者に関する情報（例えば、工場の作業員、及び研究所の研究員）等が挙げられる。
【００４０】
（Ｂ−３）通話環境が騒音環境であるか否かの判断に用いる音レベルを表す指標及び指標の取得方法は適宜変更されてよい。また通話環境が騒音環境であるか否かの判断に用いる閾値は、音レベルを表す指標に応じて適宜変更されてよい。例えば、Ｓ２０の処理において、ＣＰＵ４１は、Ｓ１５で取得した第１音情報に基づき、ユーザが発した音声の影響を考慮せずに、音圧レベルを予測してもよい。この場合、ユーザが発声しないと推定されるタイミングで音情報が取得されることが好ましい。また例えば、ＨＭＤ１が騒音計を備える場合には、音レベルは、騒音計から取得した音圧レベル（ｄＢ）によって表されてもよい。また例えば、音レベルは、第１音情報に含まれるＳ（信号）とＮ（ノイズ）との比を対数であらわしたＳ／Ｎ比（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  ｒａｔｉｏ）によって表されてもよい。この場合、例えば、ＨＭＤ１は、音声を表す周波数の振動をＳ（信号）としてもよい。また例えば、閾値は、予め定められた値であってもよいし、ユーザが設定した値であってもよい。また、閾値を予め定められた値とする場合、例えば、ユーザ、使用時間帯、及び周囲の環境の属性（工場、研究所等）等の条件に応じて、複数の閾値の中から、特定の閾値を選択して用いてもよい。
【００４１】
（Ｂ−４）他装置から受信したデータに基づき、通話環境が騒音環境であるか否かを判断する方法は適宜変更されてよい。例えば、データに含まれる音情報に基づき、音情報が表す音レベルを、自装置１において特定してもよい。また例えば、他装置において、他装置の周囲の環境が騒音環境か否かを判断し、その判断結果を自装置１に送信してもよい。この場合、自装置１では、他装置から受信した判断結果に基づいて通話環境が騒音環境であるか否かを判断してもよい。また例えば、他装置から送信されるデータに他装置の周囲の環境を表す情報が含まれる場合には、他装置から受信したデータに含まれる情報に基づき、通話環境が騒音環境であるか否かを判断してもよい。他装置の情報は、前述の自装置の環境情報のいずれかと同じ種類の情報であってもよい。
【００４２】
（Ｃ）ＨＭＤ１は、通話環境が騒音環境であるか否かに応じて、気導式マイク１４と、骨伝導式マイク３１とを切り替えていたが、これに限定されない。例えば、自装置１が気導式マイク１４と、骨伝導式マイク３１とのいずれかのみを備える場合には、ＨＭＤ１は通話環境が騒音環境であるか否かに応じて音情報入力装置を切り替えなくてもよい。同様に、ＨＭＤ１は、通話環境が騒音環境であるか否かに応じて、気導式イヤホン３２と、骨伝導式イヤホン３３とを切り替えていたが、これに限定されない。例えば、自装置１が気導式イヤホン３２と、骨伝導式イヤホン３３とのいずれかのみを備える場合には、ＨＭＤ１は通話環境が騒音環境であるか否かに応じて音情報出力装置を切り替えなくてもよい。上記のいずれかの変形を加えた場合にも、通話環境が騒音環境であると判断される場合には、ユーザは、他装置から送信された音情報が表す事項を、ディスプレイ２８に表示されるテキストを見ることによって、認識することができる。
【００４３】
（Ｄ）テキストを表す画像中の、テキストの配置、フォント、及び大きさ等は適宜変更されてよい。ＨＭ１６は外界の実像からの光を透過しない構成とし、ユーザは、自己の視野においてディスプレイ２８に表示される画像のみを視認できるようにしてもよい。
【００４４】
（Ｅ）通話処理を実行させるための指示を含むプログラムは、ＨＭＤ１がプログラムを実行するまでに、ＨＭＤ１が備える記憶装置に記憶されればよく、プログラムの取得方法、取得経路及びプログラムを記憶する装置のそれぞれは適宜変更されてよい。したがって、ＣＰＵ４１が実行するプログラムは、通信ケーブル又は無線通信を介して、他の装置から受信し、フラッシュメモリ４７等の記憶装置に記憶されてもよい。他の装置は、例えば、ＰＣ，及びネットワーク網を介して接続されるサーバを含む。同様に、ＣＰＵ２１が実行するプログラムは、通信ケーブル又は無線通信を介して、他の装置から受信し、ＲＡＭ２５及び不揮発媒体等の記憶装置に記憶されてもよい。この場合の他の装置は、例えば、制御装置３，ＰＣ，及びネットワーク網を介して接続されるサーバを含む。
【００４５】
（Ｆ）図３及び図４に示す通信処理の各ステップは、ＣＰＵ４１によって実行される例に限定されず、一部又は全部が他の電子機器（例えば、ＡＳＩＣ）によって実行されてもよい。また、通信処理の各ステップは、複数の電子機器（例えば、複数のＣＰＵ）によって分散処理されてもよい。図３及び図４に示す通信処理の各ステップは、必要に応じて順序の変更、ステップの省略、及び追加が可能である。例えば、図３の通話処理のＳ１００と、Ｓ１１０との処理において、ＨＭＤ１は、Ｓ１００で入力された自装置１のユーザの音声をテキストに変換し、生成されたテキストを表す画像をディスプレイ２８に表示させてもよい。このようにすれば、他装置において自装置１のユーザの音声がどのようにテキストに変換されるかを、自装置１のユーザはディスプレイ２８に表示された画像を見ることによって確認することができる。また例えば、通話環境が騒音環境であると判断される場合に（Ｓ９５：ＹＥＳ）、気導式マイク１４から取得された第１音情報と、骨伝導式マイク３１から取得された第２音情報との双方が他装置に送信されてもよい。このようにした場合には、他装置は、第１音情報及び第２音情報の中から、音声を聞き取りやすい方の音情報を選択して、音情報を音に変換させることが可能である。さらに、ＨＭＤ１が備えるＣＰＵからの指示に基づき、ＨＭＤ１上で稼動しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行い、その処理によって上記実施形態の機能が実現される場合も本発明の範囲に含まれる。
【符号の説明】
【００４６】
１    ヘッドマウントディスプレイ
２      装着装置
３      制御装置
１２    表示装置
１３    音情報入出力装置
１４    気導式マイク
２１，４１    ＣＰＵ
２３，４３    ＲＯＭ
２５，４５    ＲＡＭ
１７    カメラ
３１    骨伝導式マイク
３２    気導式イヤホン
３３    骨伝導式イヤホン
３４    第一有線通信部
４６    第二有線通信部
４７    フラッシュメモリ
５３    無線通信部
【図１】
2014027459.tif 000003
【図２】
2014027459.tif 000004
【図３】
2014027459.tif 000005
【図４】
2014027459.tif 000006
【図５】
2014027459.tif 000007