(57)【要約】【課題】人間の音声や環境音など多様な周囲音を視覚的に認識し得る聴覚障害者用ヘッドマウントディスプレイ装置を提供する。【解決手段】本発明の聴覚障害者用ヘッドマウントディスプレイ装置は、眼鏡フレーム１０および眼鏡レンズ１１と、眼鏡フレーム１０の所定位置に取り付けられた複数のマイクＭ１〜Ｍ４と、複数のマイクＭ１〜Ｍ４から出力されるマイク信号Ｓ１〜Ｓ４に基づき周囲音を認識し、認識結果に対応する文字情報を出力する認識手段と、眼鏡レンズ１１を通した視野の一部において文字情報を表示する表示手段１４と、を備えて構成される。【選択図】図１
2007334149.tif 000002
【特許請求の範囲】
【請求項１】
眼鏡フレームおよび眼鏡レンズと、
前記眼鏡フレームの所定位置に取り付けられた一又は複数のマイクと、
前記一又は複数のマイクから出力されるマイク信号に基づき周囲音を認識し、認識結果に対応する文字情報を出力する認識手段と、
前記眼鏡レンズを通した視野の一部において前記文字情報を表示する表示手段と、
を備えることを特徴とする聴覚障害者用ヘッドマウントディスプレイ装置。
【請求項２】
前記認識手段は、人間の発声する音声を認識し、認識結果に対応する言葉を前記文字情報として出力する音声認識手段を含むことを特徴とする請求項１に記載の聴覚障害者用ヘッドマウントディスプレイ装置。
【請求項３】
前記認識手段は、多様な状況下の環境音を認識し、認識結果に対応する擬音語を前記文字情報として出力する環境音認識手段を含むことを特徴とする請求項１又は２に記載の聴覚障害者用ヘッドマウントディスプレイ装置。
【請求項４】
前記マイク信号のレベルに基づき複数の前記マイクのレベルを判定し、判定結果に基づいて音源の方向を特定する手段をさらに備え、
前記表示手段は、前記特定された音源の方向を前記文字情報とともに表示することを特徴とする請求項１に記載の聴覚障害者用ヘッドマウントディスプレイ装置。
【請求項５】
前記表示手段は、前記複数のマイクのそれぞれに対して判定されたレベルを視覚的に表示することを特徴とする請求項４に記載の聴覚障害者用ヘッドマウントディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚障害者用ヘッドマウントディスプレイ装置に関し、特に周囲音を認識して聴覚障害者にとって有用な情報を視覚的に表示させることができる聴覚障害者用ヘッドマウントディスプレイ装置に関するものである。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイを眼鏡型として構成し、視野の一部に文字や図形の画像を表示可能としたヘッドマウントディスプレイ装置が知られている（例えば、特許文献１参照）。このようなヘッドマウントディスプレイ装置は小型・軽量に構成でき、使用者が自然な装着感を得ることができる。
【０００３】
【特許文献１】特開平１１−３４６３３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のヘッドマウントディスプレイ装置は、屋内あるいは屋外を問わず、表示される情報に応じた快適な使い方が可能である。しかしながら、使用者が聴覚障害者である場合、屋外などで周囲の状況に気をつける状況では快適に使うことは難しい。
【０００５】
一般に、音の認知が困難である聴覚障害者にとっては、例えば、屋内又は屋外で発生する音によりもたらされる情報を得ることができない。例えば、屋内において来訪者を知るには、ノックやブザー等の音に代わる視覚的手段が必要である。また、屋外において自動車の接近等の危険な状況に対し常に十分な注意が要求される。このように、周囲で発生した音に関する情報を聴覚障害者に認知させると同時に、そのような情報を聴覚障害者が過大な負担なく取得するための手段が必要とされている。
【０００６】
そこで、本発明はこれらの問題を解決するためになされたものであり、聴覚障害者が装着したときに、周囲音の認知や人間の音声の認識のために有用な情報を表示し、小型・軽量に構成できて良好な装着感が得られ、聴覚障害者の日常生活を支援し得る聴覚障害者用ヘッドマウントディスプレイ装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明に係る聴覚障害者用ヘッドマウントディスプレイ装置は、眼鏡フレーム(１０)および眼鏡レンズ(１１）と、前記眼鏡フレーム(１０）の所定位置に取り付けられた一又は複数のマイク（Ｍ１〜Ｍ４）と、前記一又は複数のマイク（Ｍ１〜Ｍ４）から出力されるマイク信号（Ｓ１〜Ｓ４）に基づき周囲音を認識し、認識結果に対応する文字情報を出力する認識手段(１２）と、前記眼鏡レンズ(１１）を通した視野の一部において前記文字情報を表示する表示手段(１４）と、を備えて構成される。
【０００８】
このように構成された聴覚障害者用ヘッドマウントディスプレイ装置によれば、使用者が装着した状態でマイクから入力された周囲音は認識手段によって認識され、認識結果に対応する文字情報が眼鏡レンズ近辺の表示手段により表示される。よって、聴覚障害者が使用する場合には、小型・軽量かつ良好な装着感を得られる構造により、近くの人間の話す音声や環境音などを文字情報として視覚的に認識可能となる。
【０００９】
本発明において、前記認識手段は、人間の発声する音声を認識し、認識結果に対応する言葉を前記文字情報として出力する音声認識手段を含むように構成してもよい。
【００１０】
本発明において、前記認識手段は、多様な状況下の環境音を認識し、認識結果に対応する擬音語を前記文字情報として出力する環境音認識手段を含むように構成してもよい。
【００１１】
本発明において、前記マイク信号のレベルに基づき複数の前記マイクのレベルを判定し、判定結果に基づいて音源の方向を特定する手段をさらに備え、前記表示手段は、前記特定された音源の方向を前記文字情報とともに表示するように構成してもよい。
【００１２】
本発明において、前記表示手段は、前記複数のマイクのそれぞれに対して判定されたレベルを視覚的に表示するように構成してもよい。
【発明の効果】
【００１３】
本発明によれば、眼鏡と一体化されたヘッドマウントディスプレイ装置に、マイクから入力された周囲音の認識結果に対応する文字情報を表示するように構成したので、小型・軽量かつ良好な装着感を保ちつつ、人間の音声や環境音を含む周囲音を文字情報として視覚的に認識可能となる。特に、聴覚障害者が装着することにより、屋内あるいは屋外における多様な状況で、人間の音声の把握あるいは危険の察知など多面的に有用な情報が得られるので、聴覚障害者の日常生活を支援することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を適用した聴覚障害者用ヘッドマウントディスプレイ装置について、図面を参照しながら説明する。
図１は、本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置の概略構成を示す図である。図１に示すように、本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置は、眼鏡フレーム１０と、眼鏡レンズ１１と、制御ユニット１２と、支持部材１３と、ディスプレイユニット１４と、４個のマイクＭ１、Ｍ２、Ｍ３、Ｍ４を備えて構成されている。
【００１５】
以上の構成において、眼鏡フレーム１０と眼鏡レンズ１１は、一般的な眼鏡の外観を有しているが、上記の各部材を一体化するため特殊な構造に形成されている。眼鏡フレーム１０の右テンプル１０ａには、制御等に用いる各種回路あるいは電池等を内蔵した制御ユニット１２が取り付けられている。この制御ユニット１２に一体化された支持部材１３の一端にはディスプレイユニット１４が取り付けられている。支持部材１３は湾曲状に形成され、ディスプレイユニット１４が一方の眼鏡レンズ１１の外側表面付近に位置するように調整されている。支持部材１３には、制御ユニット１２からディスプレイユニット１４に送られる画像信号等を通すための配線が内蔵されている。ディスプレイユニット１４としては、例えば、小型の液晶パネルを用いることができる。
【００１６】
眼鏡フレーム１０の右テンプル１０ａには、前方側と後方側の２箇所にマイクＭ１、Ｍ２が取り付けられている。同様に、眼鏡フレーム１０の左テンプル１０ｂには、上記と対称的な配置でマイクＭ３、Ｍ４が取り付けられている。なお、右テンプル１０ａおよび左テンプル１０ｂの内部には、４個のマイクＭ１〜Ｍ４と制御ユニット１２の間を電気的に接続するための配線（不図示）が内蔵されている。
【００１７】
使用者の頭部に眼鏡フレーム１０が装着された状態では、眼鏡レンズ１１を通して使用者が見る視野の一部に、制御ユニット１２により制御されるディスプレイユニット１４の画像が重なって表示される。これにより、使用者が外界への視覚を妨げられることなく、ディスプレイユニット１４の画像上の有用な情報を見ることができる。
【００１８】
次に図２は、本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置の回路構成を示すブロック図である。図２においては、制御ユニット１２に含まれる制御部２１、電源２２、認識処理部２３、画像処理部２４、メモリ２５と、ディスプレイユニット１４に含まれる液晶駆動部３１および液晶パネル３２と、４個のマイクＭ１〜Ｍ４が示される。本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置全体は、制御部２１により動作が制御される。制御部２１は、例えば、メモリ２５に格納される制御プログラムを実行するＣＰＵであり、所定のタイミングで各部に制御信号を送出する。
【００１９】
電源２２としては、例えば、繰り返し充電可能な小型の電池を用いることができる。この場合、電池用の充電端子を眼鏡フレーム１０又は制御ユニット１２の所望の箇所に設け、聴覚障害者用ヘッドマウントディスプレイ装置を非装着時に載置するための充電台あるいはコネクタを利用して充電できる構造にすることが望ましい。なお、電源２２として、制御ユニット１２の外部に別体で設けた電池を使用者が持ち運ぶようにし、ケーブルで制御ユニット１２と接続する構造にすることもできる。
【００２０】
認識処理部２３には、４個のマイクＭ１〜Ｍ４から、それぞれのマイク信号Ｓ１、Ｓ２、Ｓ３、Ｓ４が入力される。認識処理部２３では、４つのマイク信号Ｓ１〜Ｓ４をディジタル信号に変換し、レベル検知処理を行うとともに、音声認識処理あるいは環境音の自動認識処理を実行する。それぞれの処理について詳しくは後述する。
【００２１】
マイクＭ１〜Ｍ４は、それぞれ指向性を持っている。そして、図３に示すように、使用者が聴覚障害者用ヘッドマウントディスプレイ装置を取り付けた状態では、互いの指向性が異なる方向を向くような配置となる。すなわち、それぞれの指向性の方向は図３に矢印で表すように、マイクＭ１が方向Ｄ１、マイクＭ２が方向Ｄ２、マイクＭ３が方向Ｄ３、マイクＭ４が方向Ｄ４の指向性で配置されている。使用者の頭部を基準にすると、方向Ｄ１は右前方、方向Ｄ２は右後方、方向Ｄ３が左前方、方向Ｄ４が左後方に対応する。
【００２２】
認識処理部２３においては、マイク信号Ｓ１〜Ｓ４に基づいて、各マイクＭ１〜Ｍ４のレベルが段階的に判定される。制御部２１では、判定された各レベルの大小比較に基づいて音源の方向をおおよそ特定できる。４つのマイク信号Ｓ１〜Ｓ４のうち最大となるマイクＭ１〜Ｍ４を音源の方向として特定してもよいが、より細かい方向の角度を特定するには、４つのマイク信号Ｓ１〜Ｓ４を用いて補間計算等を行うようにしてもよい。
【００２３】
認識処理部２３における音声認識処理は、人間の発声する音声を解析し、所定の言葉を文字情報として取り出す処理である。そのため、メモリ２５に多様な音声パターンが記録されており、マイク信号Ｓ１〜Ｓ４との比較を行うことにより特徴の一致する音声パターンが認識結果として選択される。認識処理部２３では、話者を特定する特定話者の音声認識処理と、話者を特性しない不特定話者の音声認識処理をいずれも採用することができる。
【００２４】
認識処理部２３における環境音の自動認識処理は、ドアのノック等の生活音や屋外での自動車の走行音やサイレンの音など、多様な状況下の環境音を解析し、文字情報として取り出す処理である。そのため、メモリ２５に多様な環境音の特徴パターンが記録されており、マイク信号Ｓ１〜Ｓ４と各特徴パターンとの比較により最も近い特徴パターンが選択される。
【００２５】
環境音の自動認識処理では、特徴パターンに対応する文字情報として、環境音を一般的に表現した擬音語を用いることができる。例えば、犬の鳴き声であれば「ワンワン」、ドアのノック音であれば「トントン」との擬音語により表現することができる。このような擬音語を用いることにより、認識された環境音の対象物を特定することによる誤認識を避けながら、少なくとも近似する環境音であることを認知させることができる。
【００２６】
認識処理部２３の認識結果は制御部２１を経由して、画像処理部２４に送られる。画像処理部２４では、認識処理部２３の認識結果に対応する文字情報を含む画像信号が生成される。そして、画像処理部２４で生成された画像信号は支持部材１３内の配線を通ってディスプレイユニット１４に送られ、液晶駆動部３１によって駆動される液晶パネル３２に所定の文字情報が表示される。
【００２７】
次に、ディスプレイユニット１４における具体的な表示例を説明する。図４には、使用者から見たディスプレイユニット１４の第１の表示例を示している。第１の表示例は、人間の発声する音声の場合の例である。図４（ａ）に示すように、使用者の視野の一部に表示画面１４ａが配置され、その中に「こんにちは」の文字情報が表示されている。また、文字情報の左側には、音声の到来方向として「左前方」と表示されている。第１の表示例は、家族などの特定話者あるいは不特定話者が発声した際、主に図１のマイクＭ３によって大きなレベルが検知されるとともに、認識処理部２３における認識結果により上記の文字情報が認識されたケースに対応している。
【００２８】
一方、図４（ｂ）は、図４（ａ）を若干変更した例である。図４（ｂ）の場合、図４（ａ）と認識結果は同一であるが、マイクＭ１〜Ｍ４の入力状態について異なる表現を採用したものである。すなわち、マイクＭ１〜Ｍ４のレベルに対応するレベルメータが４行にわたって配置され、最大レベルを示しているマイクＭ３の行に、上記の「こんにちは」の文字情報が表示されている。このような表示による視覚的効果として、使用者は音声の到来方向を認識できることに加え、全ての方向の各マイクＭ１〜Ｍ４のレベルを併せて把握することができる。また、各マイクＭ１〜Ｍ４のレベルメータの変化に基づき、音源の移動状態を把握することができる。
【００２９】
次に図５は、使用者から見たディスプレイユニット１４の第２の表示例を示している。第２の表示例は、屋外における自動車等の走行音の場合の例である。図５（ａ）に示すように、図４と同様の表示画面１４ａの中に擬音語「ブー」の文字情報が表示されている。また、文字情報の左側には、音声の到来方向として「右後方」と表示されている。第２の表示例は、屋外で使用者の後方に自動車が走行する際、主に図１のマイクＭ２によって大きなレベルが検知されるとともに、認識処理部２３における認識結果により上記の文字情報が認識されたケースに対応している。なお、第２の実施例では、音を発する対象が自動車ではない場合であっても、例えば、同様の特徴を持つ工事音などが認識される可能性がある。
【００３０】
一方、図５（ｂ）は、図５（ａ）を若干変更した例である。図５（ｂ）では、マイクＭ１〜Ｍ４の入力状態について図４（ｂ）と同様の表現が採用されている。すなわち、マイクＭ１〜Ｍ４のレベルに対応するレベルメータが４行にわたって配置され、最大レベルを示しているマイクＭ２の行に、上記の「ブー」の文字情報が表示されている。これにより、図４（ｂ）と同様の視覚的効果が得られることに加え、特に屋外において聴覚障害者の危険察知を容易にすることができる。
【００３１】
以上説明した実施形態は、上記の構成に限定されることはなく、多様な変形例がある。上記の実施形態では、４個のマイクＭ１〜Ｍ４を備えた聴覚障害者用ヘッドマウントディスプレイ装置について説明したが、設置するマイクの個数は自在に変更可能である。音源の到来方向を高精度に判別するにはマイクの個数を増やすことが望ましいが、屋内使用が中心の場合、音源の到来方向の特定を省略して１個のマイクのみを設ける構成とすることもできる。
【００３２】
また、上記の実施形態では、眼鏡およびヘッドマウントディスプレイ装置が一体化される構成を説明したが、眼鏡とヘッドマウントディスプレイを別体として着脱自在に構成してもよい。例えば、マイクが１個の場合は、制御ユニット１２にマイクを取り付けた構造とすることで、一般的な眼鏡に着脱自在な聴覚障害者用ヘッドマウントディスプレイ装置を実現することができる。
【００３３】
また、上記の実施形態において、眼鏡フレーム１０の所定位置に所定の信号を供給されたときに振動するバイブレータ部材を取り付けた構造としてもよい。これにより、携帯電話と同様、特定の周囲音を認識した際に、バイブレータ部材の振動を使用者に感知させることにより注意を喚起することができる。
【図面の簡単な説明】
【００３４】
【図１】本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置の概略構成を示す図である。
【図２】本実施形態の聴覚障害者用ヘッドマウントディスプレイ装置の回路構成を示すブロック図である。
【図３】マイクＭ１〜Ｍ４の指向性を説明する図である。
【図４】ディスプレイユニット１４の第１の表示例を示す図である。
【図５】ディスプレイユニット１４の第２の表示例を示す図である。
【符号の説明】
【００３５】
１０…眼鏡フレーム
１１…眼鏡レンズ
１２…制御ユニット
１３…支持部材
１４…ディスプレイユニット
１４ａ…表示画面
２１…制御部
２２…電源
２３…認識処理部
２４…画像処理部
２５…メモリ
３１…液晶駆動部
３２…液晶パネル
Ｍ１、Ｍ２、Ｍ３、Ｍ４…マイク
Ｓ１、Ｓ２、Ｓ３、Ｓ４…マイク信号
【図１】
2007334149.tif 000003
【図２】
2007334149.tif 000004
【図３】
2007334149.tif 000005
【図４】
2007334149.tif 000006
【図５】
2007334149.tif 000007