(57)【要約】      （修正有）【課題】聴覚障害者が、相対する話者の言葉を理解し、駅や車中のアナウンスを理解できる電子機器を提供する。【解決手段】音声表示装置は、マイク１０４、１０５、カメラ１０６、ディスプレイ１０７を有するメガネ型ウェアラブル端末である。相対する話者の唇が開いたり閉じたりする期間のみにマイクが取得した音を文字に変換し、変換された文字を表示する。【選択図】図１
2016095819.tif 000002
【特許請求の範囲】
【請求項１】
音を取得する音取得手段と、画像を取得する画像取得手段と、画像あるいは文字を表示する表示手段と、前記音取得手段が取得した音を文字に変換する手段を有し、少なくとも前記画像取得手段が取得した人の唇が開いたり閉じたりする第１期間に、前記音取得手段が取得した第１音声を第１文字に変換し、前記表示装置が前記第１文字を表示することを特長とする音声表示機器。
【請求項２】
放送に特定信号を混入させ、少なくとも前記音取得手段が前記特定信号を取得した第２期間に、前記音取得手段が取得した第２音声を第２文字に変換し、前記表示装置が前記第２文字を表示することを特長とする請求項１に記載の音声表示機器。
【請求項３】
前記音取得手段が取得した音の特長を抽出する手段を有し、常時前記音取得手段が取得する音の特徴を抽出し、前記音取得手段が取得する前記第１期間あるいは前記第２期間の音から前記抽出した特徴を差し引いて第１音声あるいは第２音声とすることを特長とする請求項１あるいは請求項２に記載の音声表示機器。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、音声を取得し、その音声を文字に変換して表示する情報端末に関する。
【背景技術】
【０００２】  老齢化により聴覚に障害をもつ人や、先天的あるいは若年時に聴覚を失った人も、手話や筆記具なしに会話ができ、健常者と同様に安全に外出できる成熟した社会が望まれる。【０００３】  最近は多くの企業でメガネ型ウェアラブル端末が開発され、一部は既に商品化され、今後は普及していくと思われる。メガネ型ウェアラブル端末は、音声を取得するマイク、映像を取得するカメラ、および音声や映像をメガネの視野内に表示するディスプレイを備え、メガネを通して前方を目視しながら、メガネの視野内にマイクやカメラで取得した音声や映像に関連する情報を表示する携帯情報端末である。このメガネ型ウェアラブル端末を用いて、相対する人との会話や駅や車中のアナウンス放送の理解を可能にする方法を提供する。【０００４】  特許文献１には、メガネフレームにマイクを取り付け、マイクを介して取得した周囲音を認識して文字情報に変換し、メガネレンズを通した視野の一部にその文字情報を表示するメガネ型ウェアラブル端末が提案されている。また、特許文献２には、マイクを介して取得した話者の音声を認識して文字列に変換し、透過型メガネディスプレイにその文字列を表示させ、話者の顔を目視しながら文字列を同時に見ることができる電子機器が提案されている。特に、その様子が特許文献２の図３に示されている。
【先行技術文献】
【０００５】
【特許文献１】  特開２００７−３３４１４９号公報
【特許文献２】  特開２００２−２４４８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】  メガネ型ウェアラブル端末を用いて、相対する話者の顔を目視しながら、話者の音声を文字に表示してメガネの視野内に表示することは可能であり、聴覚障害者も相対する話者の言葉を理解することができる。【０００７】  第１の課題は、聴覚障害者の周囲には色々な音声が混じっていて、マイクが取得した音声をすべて文字に変換して表示すれば煩雑になることである。相対する話者の顔や唇は目視できても、話者自身の発言内容が分からなくなる。また、駅や車中では、電車到着の遅れや赤信号による停車などの急に変更になった情報をアナウンスすることがあるが、それらの公共放送と周囲の人の音声を区別できない。その様な場合に聴覚障害者はどの様に対応してよいか分からない。【０００８】  第２の課題は、相対する話者の周囲や、駅や車中には色々な雑音が混じり、健常者でも必要な音声を聞き取り難いことがあることである。
【課題を解決するための手段】
【０００９】  前述の課題を解決するために、本発明の音声表示機器は、音を取得する音取得手段と、画像を取得する画像取得手段と、画像および文字を表示する表示手段と、前記音取得手段が取得した音を文字に変換する手段を有し、少なくとも前記画像取得手段が取得した人の唇が開いたり閉じたりする第１期間に、前記音取得手段が取得した第１音声を第１文字に変換し、前記表示装置が前記第１文字を表示することを特長とする。このことにより、相対する話者の唇が開いたり閉じたりする期間、すなわち相対する話者自身が話す期間のみの音声を文字表示し、話者自身の発言内容を理解できるようになる。【００１０】  また、本発明の音声表示機器は、放送に特定信号を混入させ、少なくとも前記音取得手段が前記特定信号を取得した第２期間に、前記音取得手段が取得した第２音声を第２文字に変換し、前記表示装置が前記第２文字を表示することを特長とする。このことにより、周囲の音声から特定信号が混入した音声のみを抽出して文字表示し、必要な放送内容を理解できるようになる。【００１１】  更に、本発明の音声表示機器は、前記音取得手段が取得した音の特徴を抽出する手段を有し、常時前記音取得手段が取得する音の特徴を抽出し、前記音取得手段が取得する前記第１期間あるいは前記第２期間の音から前記抽出した特徴を差し引いて第１音声あるいは第２音声とすることを特長とする。このことにより、話者が話していない期間や、特定信号が混入した放送のない期間に周囲の音を取得しておき、それらの期間の音の特徴を差し引くことで、必要な期間にも含まれる前記特徴を除いて必要な音声を聞き取り易くすることができる。
【発明の効果】
【００１２】  本発明により、相対する話者の音声を手話や筆談なしで理解できるようになり、また、駅や車中のアナウンスも理解できるようになる。更に、周囲の音の特徴、例えば雑音を差し引いて、本当に必要な音声を聞き取り易くすることができる。
【図面の簡単な説明】
【００１３】
【図１】  メガネ型ウェアラブル端末の概略構成の斜視図である。
【図２】  メガネ視野内に映像を表示する方法を説明する図である。
【図３】  実施形態１の信号処理プロセスを表わす図である。
【図４】  実施形態２の信号処理プロセスを表わす図である。
【図５】  実施形態３の信号処理プロセスを表わす図である。
【発明を実施するための形態】
【００１４】  図１はメガネ型ウェアラブル端末の構成例である。メガネ型ウェアラブル端末は、音を取得するマイク（音取得手段）、映像を取得するカメラ（映像取得手段）、メガネの視野内に映像を表示するディスプレイ（表示手段）、取得した音や映像を含めて信号処理する携帯コンピューターである。図１において、１０１はメガネフレーム、１０２および１０３はメガネレンズ、１０４および１０５はマイク、１０６はるカメラ、１０７はディスプレイ（投影器）である。１０８は制御ユニットで信号処理半導体が納められ、前述のマイク、カメラ、ディスプレイに接続されている。電池もこの制御ユニット内に納められている。
【００１５】  図２はメガネ視野内に映像を表示する方法を説明する図である。投影器１０７からの光がメガネレンズ１０３の内側表面で反射され、右目２０１に入射されて映像が見えるようになる。
【実施形態１】
【００１６】  本発明の実施形態１は、聴覚障害者が相対する話者の発言内容を理解するために図１および図２のようなメガネ型ウェアラブル端末を利用する例を示す。図３は実施形態１の信号処理プロセスを表わす図である。図３において、制御ユニット１０８は、音声認識と文字変換を司る信号処理部３０１および３０２、映像認識と顔や唇を抽出する信号処理部３０３から成る。マイク１０４および１０５で取得された音声は、それぞれ３０１および３０２に伝達されて文字に変換される。また、カメラ１０５で取得された映像は３０３に伝達されて相対する話者の顔や唇を認識する。変換された文字信号は投影器１０７に伝達されてメガネ視野内に表示する。
【００１７】  聴覚障害者が人と相対している場合に、マイク１０４および１０５で音声を取得し、信号処理部３０１および３０２で文字に変換するが、すべての取得した音声を文字に変換してメガネ視野内に表示しても煩雑になるだけで、本当に相対する人が話した内容か分からない。そこで、信号処理部３０３が相対する人の唇を抽出し、その唇が開いたり閉じたりして動いている期間内のみ、変換された文字をメガネ視野内に表示するようにする。このことで、相対する話者が唇を動かしている期間、すなわち相対する人が話している期間のみ文字を表示するので、相対する人が話す内容を理解する可能性が高くなる。
【実施形態２】
【００１８】  本発明の実施形態２は、聴覚障害者が駅や車中に居て駅職員や車掌のアナウンスが行われた場合に、そのアナウンスを理解するために図１および図２のようなメガネ型ウェアラブル端末を利用する例を示す。駅や車中では周囲に色々な音声が混じり、それらを全て文字変換して表示しても意味はない。また、もちろん駅職員や車掌の顔は見えないので実施形態１の方法は利用できない。駅や車中のアナウンスを見分ける必要がある。
【００１９】  そこで、駅職員や車掌のアナウンスに特定の信号を混入させる。例えば、駅職員や車掌が何らかの変更や緊急の事態に駅構内や車中のアナウンスを行う際は、駅職員や車掌は先ず放送用マイクのスイッチを入れる。放送用マイクのスイッチが入っている間は特定の信号を周期的に発生するようにする。例えば、０．１秒周期で０．０１秒間に人間には聞こえない周波数（例えば＃＃ヘルツから＃＃キロヘルツ）の信号を発生するようにする。こうすることにより、駅や車中のアナウンスには特定の信号が混入されることになる。
【００２０】  図４は実施形態２の信号処理プロセスを表わす図である。図４において、制御ユニット１０８は実施形態１と同様に信号処理部３０１、３０２、および３０３に加え、特定の信号を検出する信号処理部４０１および４０２を含む。マイク１０４および１０５で取得された音声は、それぞれ信号処理部４０１および４０２に伝達され、それらの音声に特定信号が混入されているか検出される。検出されれば信号処理部３０１および３０２に伝達されて文字に変換されて、これらの文字情報は投影器１０７に伝達されてメガネ視野内に表示される。この様にして、聴覚障害者は駅や車中のアナウンスを理解できるようになる。
【００２１】  相対する人の唇が動いていれば、特定の信号が混入されていなくても、音声は文字に変換されてメガネ視野内に表示され、相対する人がいなくても、あるいは、相対する人の唇が動いていなくても、音声に特定信号が混入されていれば音声は文字に変換されてメガネ視野内に表示されることになる。
【実施形態３】
【００２２】  一般には、聴覚障害者の周囲には多くの雑音が混じっている。例えば、健常者でも車中では電車の走る音などで車掌のアナウンスを聞き取り難いことがある。実施形態３では、これらの雑音を減少させて音声を取得しやすくするメガネ型ウェアラブル端末を提供する。
【００２３】  図５は実施形態３の信号処理プロセスを表わす図である。図５において、制御ユニット１０８は実施形態２と同様に信号処理部３０１、３０２、３０３、４０１および４０２に加え、取得した音の特徴を抽出する信号処理部５０１および５０２を含み、更に、取得した音からその特徴を差し引く信号処理部６０１および６０２を含む。常時、マイク１０４および１０５で周囲の音を取得し、それぞれ取得された音は信号処理部５０１および５０２に伝達され、それらの音の特徴を分析する。信号処理部５０１および５０２における特徴分析としては、例えば取得した周囲音について、人間に聞こえる周波数帯域を複数帯域（例えば１００個）に分割して、常時それらの分割帯域毎の音の大きさを測定しておき、特定の期間（例えば１０秒間）毎に周波数帯域毎の大きさの平均値を求める。これらの平均値は信号処理部６０１および６０２に伝達しておく。
【００２４】  信号処理部５０１および５０２で分析された音は、信号処理部４０１および４０２に伝達される。それらの音声に特定信号が混入されているか検出されれば、信号処理部６０１および６０２において検出された直前の期間における前述の各周波数帯域の平均値を差し引いた結果の音を、信号処理部３０１および３０２に伝達する。特徴的な雑音が差し引かれているので聞き取り易くなり、すなわち音声を認識しやすくなり、正しい文字に変換される可能性が高くなる。これらの文字情報は投影器１０７に伝達されてメガネ視野内に表示される。この様にして、聴覚障害者は駅や車中のアナウンスを理解できるようになる。
【００２５】  あるいは、信号処理部３０３が相対する人の唇を抽出し、その唇が開いたり閉じたりして動いていれば、同様に信号処理部４０１および４０２に伝達された音は特定信号の有無にかかわらず、信号処理部６０１および６０２で特徴的な雑音が差し引かれて聞き取り易くなり、正しい文字に変換される可能性が高くなる。この様にして、相対する人が話す内容を理解できるようになる。
【産業上の利用可能性】
【００２６】  本発明は、聴覚障害者が相対する話者の話す内容を理解し、特定信号を含む公共放送を理解できるメガネ型ウェアラブル端末を提供する。このことにより、聴覚障害者がより快適に生活する成熟した社会の発展に貢献する。
【符号の説明】
【００２７】１０１  メガネフレーム
１０２  メガネレンズ
１０３  メガネレンズ
１０４  マイク
１０５  マイク
１０６  カメラ
１０７  ディスプレイ
１０８  制御ユニット
３０１  音声認識と文字変換を司る信号処理部
３０２  音声認識と文字変換を司る信号処理部
３０３  映像認識と顔や唇を抽出する信号処理部
４０１  特定の信号を検出する信号処理部
４０２  特定の信号を検出する信号処理部
５０１  取得した音の特徴を分析する信号処理部
５０２  取得した音の特徴を分析する信号処理部
６０１  取得した音からその特徴を差し引く信号処理部
６０２  取得した音からその特徴を差し引く信号処理部
【図１】
2016095819.tif 000003
【図２】
2016095819.tif 000004
【図３】
2016095819.tif 000005
【図４】
2016095819.tif 000006
【図５】
2016095819.tif 000007