(57)【要約】【課題】音の発生やその方向をディスプレイに可視化された情報によって通知することができる携帯端末およびその通知方法を提供することを目的とする。【解決手段】マイク１０１ａ〜１０１ｄを用いて収集された音に基づいて、位相差解析部１０５は、位相差を計算し、その音の発生方向を計算する。解析用マイクロプロセッサ１０３は、位相差解析部１０５において計算された音の発生方向を取得し、表示用マイクロプロセッサ１０６は、その音の発生方向に基づいた位置に可視化情報であるシンボルを、ディスプレイ１０７に表示する。これにより、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。【選択図】  図１
2015185899.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ定められた音を収集する収集手段と、
前記収集手段により収集された音の発生方向を判断する判断手段と、
前記判断手段により判断された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成手段と、
前記生成手段により生成された可視化情報を表示する表示手段と、
を備える携帯端末。
【請求項２】
前記表示手段は、前記判断手段により判断された音の発生方向に基づいた表示位置に可視化情報を表示する、請求項１に記載の携帯端末。
【請求項３】
前記収集手段により収集された音の音量を測定する音量測定手段をさらに備え、
前記生成手段は、前記音量測定手段により測定された音量に応じた大きさの可視化情報を生成する、請求項１または２に記載の携帯端末。
【請求項４】
前記収集手段により収集された音の発生源までの距離を取得する距離取得手段をさらに備え、
前記表示手段は、前記距離取得手段により取得された距離に応じた表示位置に可視化情報を表示する、請求項１から３のいずれか一項に記載の携帯端末。
【請求項５】
前記距離取得手段により取得された複数の距離に基づいて、音の発生源が近付いているか否かを判断する判断手段、をさらに備え、
前記判断手段により音の発生源が近付いていると判断されると、前記表示手段は、その旨を通知するための表示を行う、
請求項４に記載の携帯端末。
【請求項６】
前記表示手段は、ユーザにより閲覧されている表示情報に重畳して、可視化情報を表示する、請求項１から５のいずれか一項に記載の携帯端末。
【請求項７】
携帯端末における音通知方法において、
あらかじめ定められた音を収集する収集ステップと、
前記収集ステップにより収集された音の発生方向を検出する検出ステップと、
前記検出ステップにより検出された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成ステップと、
前記生成ステップにより生成された可視化情報を表示する表示ステップと、
を備える音通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音の発生を通知する携帯端末および音通知方法に関する。
【背景技術】
【０００２】
周囲の音を通知することができる端末として、下記特許文献１または特許文献２に記載の技術が挙げられる。例えば、特許文献１に記載の技術においては、車からのホーン音とともに出力される警報電波に基づいて、そのホーン音の方向を識別して、その方向を報知する。一方で、ユーザは冠状の帽子のようなものをかぶっており、その防止は警報電波を受信する。そして、警報電波に応じて、その四方に備えられているバイブレータのうち一つを振動させることにより、音の方向の報知を可能にさせている。特許文献２についても同様の記載がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３８２０６号公報
【特許文献２】特開２００５−３４９１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、マイクロデバイスの小型化や、高感度化、記憶デバイスの小型化進んでおり、これらデバイスを補聴器、眼鏡またはスマートフォンなどに組み込むことが考えられている。
【０００５】
しかしながら、上述特許文献１に記載の技術においては、四方に備え付けたバイブレータを振動させることにより、音の発生やその方向をユーザに通知しているため、上述補聴器や眼鏡またはスマートフォンにそのまま組み込むことは困難である。すなわち、スマートフォンは、常時身に着けているわけではなく、またメガネや補聴器にあっては、その四方にバイブレータを装着することは困難である。
【０００６】
一方で、近年、小さなディスプレイを備えたメガネ型端末が考えられており、そのような端末に適用することが望まれている。
【０００７】
そこで、本発明においては、音の発生やその方向をディスプレイに可視化された情報によって通知することができる携帯端末および音通知方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するために、本発明の携帯端末は、あらかじめ定められた音を収集する収集手段と、前記収集手段により収集された音の発生方向を判断する判断手段と、前記検出手段により判断された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成手段と、前記生成手段により生成された可視化情報を表示する表示手段と、を備える。
【０００９】
また、本発明の音通知方法は、携帯端末における音通知方法において、あらかじめ定められた音を収集する収集ステップと、前記収集ステップにより収集された音の発生方向を検出する検出ステップと、前記検出ステップにより検出された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成ステップと、前記生成ステップにより生成された可視化情報を表示する表示ステップと、を備える。
【００１０】
この発明によれば、収集された音の発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成し、その可視化情報を表示する。これにより、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、可視化情報をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
【００１１】
また、本発明の携帯端末において、前記表示手段は、前記検出手段により検出された音の発生方向に基づいた表示位置に可視化情報を表示する。
【００１２】
この発明によれば、検出された音の発生方向に基づいた表示位置に可視化情報を表示することにより、その発生方向を視覚的な感覚をもって通知することができる。
【００１３】
また、本発明の携帯端末は、前記収集手段により収集された音の音量を測定する音量測定手段をさらに備え、前記生成手段は、前記音量測定手段により測定された音量に応じた大きさの可視化情報を生成する。
【００１４】
この発明によれば、収集された音の音量を測定し、測定された音量に応じた大きさの可視化情報を生成する。これにより、ユーザは視覚的な感覚をもって音量を知ることができる。
【００１５】
また、本発明の携帯端末は、前記収集手段により収集された音の発生源までの距離を取得する距離取得手段をさらに備え、前記表示手段は、前記距離取得手段により取得された距離に応じた表示位置に可視化情報を表示する。
【００１６】
この発明によれば、収集された音の発生源までの距離を測定し、測定された距離に応じた表示位置に可視化情報を表示する。これにより、ユーザは視覚的な感覚をもって、音源の位置を知ることができる。
【００１７】
また、本発明の携帯端末は、当該距離測定手段から、所定タイミングごとに測定された複数の位置情報を取得する取得手段と、前記取得手段により取得された複数の位置情報に基づいた音源までの距離に基づいて、音の発生源が近付いているか否かを判断する判断手段と、をさらに備え、前記判断手段により音の発生源が近付いていると判断されると、前記表示手段は、その旨を通知するための表示を行う。
【００１８】
この発明によれば、所定タイミングごとに測定された複数の距離情報を取得し、取得された複数の距離情報に基づいて、音の発生源が近付いているか否かを判断する。そして、音の発生源が近付いていると判断されると、その旨を通知するための表示を行う。これにより、ユーザは音源が近付いていることを、視覚的感覚をもって知ることができる。
【００１９】
また、本発明の携帯端末において、前記表示手段は、ユーザにより閲覧されている表示情報に重畳して、可視化情報を表示する。これにより、ユーザは、携帯端末でアプリケーションなどを操作して閲覧しているときにでも、音の発生を視覚的感覚をもって知ることができる。
【発明の効果】
【００２０】
本発明によれば、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、可視化情報をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
【図面の簡単な説明】
【００２１】
【図１】本実施形態の携帯端末１００の一形態であるウェアラブル端末の具体例を示す斜視図である。
【図２】本実施形態の携帯端末１００の機能構成を示すブロック図である。
【図３】音響モデルＤＢ１０４ａの具体例を示す説明図である。
【図４】シンボル管理ＤＢ１０５ａの具体例を示す説明図である。
【図５】距離を測定するための処理概念を示す説明図である。
【図６】携帯端末１００の動作の動作を示すフローチャートである。
【図７】ディスプレイ１０７の表示画面の具体例を示す説明図である。
【図８】一般的なスマートフォンの形態である携帯端末１００の外観を示す外観図である。
【図９】ブラウザ画面例を示す説明図である。
【発明を実施するための形態】
【００２２】
添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２３】
図１は、本実施形態の携帯端末１００の一形態であるウェアラブル端末の具体例を示す斜視図である。図１に示される通り、ここでの適用可能なウェアラブル端末は、眼鏡型携帯端末であって、その弦部１２０の端部および弦部１２０とレンズ部１１０との接合部分に集音手段であるマイク１０１ａから１０１ｄが配置されている。
【００２４】
このようにマイク１０１ａから１０１ｄが、ある程度の間隔を空けて配置されることにより、その周囲で発生した音が、いずれの方向から発生したものかを判断することができる。すなわち、各マイク１０１において、集音した音がずれて入力されることになるため、いずれの方向から発生したものかを判断することができる。
【００２５】
また、この携帯端末１００は、そのレンズ部１１０において、当該携帯端末１００（眼鏡型端末）を装着しているユーザが、視認可能なディスプレイを備えている。このディスプレイは、例えば、情報がレンズ内側に投影されることにより、情報を表示することができるように構成されたものである。なお、本実施形態では、携帯端末１００は、レンズ部１１０を備えているが、これに限るものではなく、レンズ部１１０の代わりに、ユーザが視認することができる位置に、透明板部を配置し、その透明板部に対して情報を投影するようにしてもよい。
【００２６】
図２は、本実施形態の携帯端末１００の機能構成を示すブロック図である。図２に示される通り、携帯端末１００は、マイク１０１（収集手段）、ＡＤ変換器１０２、解析用マイクロプロセッサ１０３（判断手段、音量測定手段、距離取得手段）、音響モデルＤＢ１０４ａ、位相差解析部１０５、シンボル管理ＤＢ１０５ａ、表示用マイクロプロセッサ１０６（生成手段）、およびディスプレイ１０７（表示手段）を含んで構成されている。なお、音響モデルＤＢ１０４ａおよび位相差解析部１０５については、クラウド技術を利用して、ネットワーク上に配置してもよい。
【００２７】
マイク１０１は、図１に示される通り４つ備えられており、周囲の音を集音する部分である。
【００２８】
ＡＤ変換器１０２は、マイク１０１で集音したアナログ音をデジタルの音信号に変換する部分である。なお、このＡＤ変換器１０２においては、音の周波数ごとに音を分離するための分離フィルタを合わせて備えてもよい。これによって、このＡＤ変換器１０２は、周波数ごとに集音した音を分離することができ、それら分離した周波数ごとの音信号を解析用マイクロプロセッサ１０３に出力することができる。
【００２９】
解析用マイクロプロセッサ１０３は、ＡＤ変換器１０２により変換されたデジタルの音信号の解析を行う部分である。具体的には、解析用マイクロプロセッサ１０３は、音響モデルＤＢ１０４ａに記憶されている音響モデルを用いて、マイク１０１により集音された音がどのようなものであるか、その音の種別を判断する。また、その音の周波数の振幅に基づいて音の大きさ(音量)を判断する。
【００３０】
さらに、解析用マイクロプロセッサ１０３は、位相差解析部１０５に、音源までの距離およびその発生方向の計算依頼を行い、音源までの距離およびその発生方向を取得し、これら情報を表示用マイクロプロセッサ１０６に出力する。さらに、解析用マイクロプロセッサ１０３は、位相差解析部１０５により計算された音源までの距離に基づいて、音源が近付いているか否かを判断する。この判断処理は、継続的に音源までの距離（または位置情報）をシンボル管理ＤＢ１０５ａに記憶しておき、そのシンボル管理ＤＢ１０５ａに基づいて近付いているか否かの判断を行う。また、音量に基づいて、音源が近付いているか否かを判断することができ、さらに、音響モデルＤＢ１０４ａに定義されているモデル化された音量情報に基づいて、実際の音量と比較することで近付いているか否か、またその遠さをより正確に判断することができる。
【００３１】
また、位相差解析部１０５に対して各マイク１０１ａ〜１０１ｄで集音された音信号を出力する。そして、解析用マイクロプロセッサ１０３は、位相差解析部１０５に対して、音の発生方向および音源までの距離の計算依頼を行い、その計算結果を取得する。この解析用マイクロプロセッサ１０３は、所定間隔ごとに、音ごとにその発生方向および音源までの距離を取得し、音源の移動方向や、近付いているか否かを判断することができる。
【００３２】
音響モデルＤＢ１０４ａは、音響モデルを記憶するデータベースであり、音の種別ごとに、音響パターンを記憶する部分である。この音響パターンは、音を構成する周波数パターンで表現されており、事前に、周波数パターンは登録されるものとする。このような音響モデルを扱うことにより、雑音を誤って認識することを防止することができる。
【００３３】
図３に、その音響モデルＤＢ１０４ａの具体例を示す。図３に示される通り、音響モデルＤＢ１０４ａは、音の種別、その音の周波数、近接音量、移動性、および緊急性を対応付けて記述している。ここで音の種別とは、救急車のサイレンや、車のクラクションなどであり、あらかじめ定義付けがなされている。周波数パターンは、その音を構成する音の周波数による音が継続する時間により表現される。例えば、救急車サイレンは、９６０Ｈｚの周波数が０．６５秒、７７０Ｈｚの周波数が０．６５秒とから構成された音であることを示している。また、クラクションについては、時間については定義せず、例えば、３３０Ｈｚ：３９０Ｈｚとは、低周波数が３３０Ｈｚ、高周波数が３９０Ｈｚである周波数で構成された音であること定義する。
【００３４】
また、近接音量とは、所定距離における音量を定義する。移動性とは、その音が移動するものであるか、否かを示す。例えば、救急車のサイレンは、移動性は“有り”であるが、横断歩道における音は、移動性は“無し”である。緊急性は、その音に対する注意喚起を要するか否かを示すものであり、救急車のサイレンや、車のクラクションは、ユーザに対して注意喚起を促すものとして定義される。
【００３５】
位相差解析部１０５は、マイク１０１ａ〜１０１ｄにより集音された音信号の位相差に基づいて、音の発生方向および音源までの距離を測定する。この位相差に基づいた音の発生方向および音源までの距離の測定方法の概略について説明する。
【００３６】
図５は、４つのマイク１０１ａ〜１０１ｄを用いた音の発生方向および音源までの距離を測定するための処理概念を示す説明図である。
【００３７】
図５（ａ）は、眼鏡型携帯端末の携帯端末１００と音源との関係を示す説明図である。図５（ａ）に示される通り、位置Ｖ１において発生した音は、それぞれのマイク１０１ａ〜１０１ｄにおいて集音される。その後、音源が位置Ｖ２に移動すると、ユーザにとってのその発生方向やその距離が移動することになる。
【００３８】
その集音のタイミングを示したものが、図５（ｂ）である。ここに示す通り、マイク１０１ｄが、音源といちばん近いため、時間的に一番早く集音が開始される。マイク１０１ａとマイク１０１ｃとは、音源から距離は同じぐらいであるため、ほぼ同タイミングで集音が開始される。マイク１０１ｂは、一番遠いため、一番遅く集音が開始される。
【００３９】
各マイク１０１ａから１０１ｄにおける集音の開始タイミングとのズレに基づいて音源の発生方向を特定することができる。そして、また、音がマイクに到達した時間差（集音開始した時間差）に基づいて、音源までの距離を特定することができる。このような音の発生方向や音源までの距離を特定する方法は、公知の技術であるため、その詳細については概要にとどめることにする。そして、位相差解析部１０５は、解析用マイクロプロセッサ１０３からの依頼に基づいて上述計算処理を行ない、音源の発生方向および音源までの距離をシンボル管理ＤＢ１０５ａに記憶するとともに、その計算結果を解析用マイクロプロセッサ１０３に通知する。
【００４０】
シンボル管理ＤＢ１０５ａは、音の発生に応じて生成されたシンボルを管理するためのデータベースである。図４は、その具体例を示す説明図である。図に示される通り、このシンボル管理ＤＢ１０５ａは、音が発生するごとに、発生した音を個別に管理するために音ＩＤを割り振り、その音源の発生方向およびその距離を記憶するものであり、位相差解析部１０５により計算された音の発生方向ｄおよび音源までの距離ｌを記憶する。図４に示される通り、このシンボル管理ＤＢ１０５ａは、時間ｔ１、ｔ２など、時間の経過に伴って、その音の発生方向ｄと、音源までの距離ｌを記憶している。解析用マイクロプロセッサ１０３は、これら発生方向ｄと距離ｌとに基づいて音源が近付いているか否かを判断することができる。
【００４１】
表示用マイクロプロセッサ１０６は、解析用マイクロプロセッサ１０３により判断された音の種別および音の発生方向を可視化した情報であるシンボルを生成し、ディスプレイ１０７に表示する部分である。すなわち、解析用マイクロプロセッサ１０３により解析された音の種別に応じたシンボルを生成し、当該シンボルを、解析用マイクロプロセッサ１０３により解析された音の発生方向に基づいたディスプレイ１０７の表示位置に表示する。この表示用マイクロプロセッサ１０６は、たとえば、音響モデルＤＢ１０４ａに記述されている音の種別欄のテキストデータを含んだシンボルを生成する。また、解析用マイクロプロセッサ１０３により判断された音の大きさに基づいて当該シンボルの大きさを変えるようにしてもよい。例えば、音の大きさが大きいほど、シンボルの大きさも大きくする。なお、シンボルの生成方法は、上述の方法に限るものではなく、あらかじめ定義されたイメージデータとしてもよい。
【００４２】
表示用マイクロプロセッサ１０６は、さらに音源までの距離に基づいてそのシンボルの表示位置を決定してもよい。すなわち、所定値以上であると判断する場合には、ディスプレイ１０７の表示画面の最も外側の部分を表示位置と決定し、所定値未満であると判断する場合には、その表示画面における上記最も外側部分よりもさらに内側部分を表示位置と決定する。また、距離に応じた表示位置をあらかじめ定めておいてもよい。
【００４３】
この表示用マイクロプロセッサ１０６は、音響モデルＤＢ１０４ａにおける移動性や緊急性に従って、その表示方法を変えるようにしてもよい。例えば、音響モデルＤＢ１０４ａにおいて緊急性“有り”と記述されている場合には、ユーザにとって目立つように、その表示されるイメージの色彩を変えるなどのことを行うようにする。また、その形状を変えるようにしてもよく、注意喚起を促す必要がある音の種別については、星形で可視化情報を表示するなどである。
【００４４】
ディスプレイ１０７は、表示用マイクロプロセッサ１０６による表示制御に従って、音の種別に応じた可視化情報を、その音の発生方向に応じた位置に表示する部分である。
【００４５】
つぎに、このように構成された携帯端末１００の動作について説明する。図６は、その動作を示すフローチャートである。まず、マイク１０１により集音された音は、ＡＤ変換されてデジタル音信号が生成される（Ｓ１０１）。このデジタル音信号は、複数の周波数パターンに分離されて表現されており、解析用マイクロプロセッサ１０３により、その分離された周波数パターンが、音響モデルＤＢ１０４ａに記述されている各種音響モデルと照合される（Ｓ１０２）。
【００４６】
ここで、解析用マイクロプロセッサ１０３により、音響モデルＤＢ１０４ａに登録された音響モデルのいずれか一の音の種別のものであると判断されると、さらに、その音信号の振幅（音量）の大きさに基づいて、ディスプレイ１０７に表示されるシンボルのサイズが決定される（Ｓ１０４）。また、音源の位置に基づいて計算された音の発生方向と音源までの距離に基づいて、ディスプレイ１０７における表示位置が、表示用マイクロプロセッサ１０６により決定される（Ｓ１０５）。
【００４７】
つぎに、集音した音が、緊急音であるか否かが、表示用マイクロプロセッサ１０６により判断される（Ｓ１０６）。ここで、緊急用であると判断されると、さらに音は、継続して発生しているか否かが、解析用マイクロプロセッサ１０３により判断される（Ｓ１０７）。継続して発生しているか否かは、同じ周波数パターンからなる音が、所定時間以内にまたは時間をおかずに集音されているか否かにより判断することができる。ここで、解析用マイクロプロセッサ１０３により、継続発生中であると判断されると、表示用マイクロプロセッサ１０６により、音の発生方向とその音源までの距離に基づいて表示位置が決定される（Ｓ１０８）。
【００４８】
さらに、音源は近付いているか否かが、解析用マイクロプロセッサ１０３により判断される（Ｓ１０９）。近付いていると判断されると、表示用マイクロプロセッサ１０６により、そのシンボルは非常時用色に変えて表示される（Ｓ１１０）。近付いているか否かの判断は、シンボル管理ＤＢ１０５ａに記憶されている音源までの距離に基づいて判断することができる。
【００４９】
そして、さらに音は継続発生中であるか否かが、解析用マイクロプロセッサ１０３により判断される（Ｓ１１１）。継続発生中であると判断されると、Ｓ１０４に戻り、音量や、その方向等の計算処理が再度行われる。
【００５０】
一方、Ｓ１０６において、緊急音ではないと判断されると、またＳ１０９において、近づいていないと判断されると、ディスプレイ１０７には、常時色で、解析用マイクロプロセッサ１０３により決定されたシンボルが表示される（Ｓ１１２）。
【００５１】
そして、さらに音は継続発生中であるか否かが、解析用マイクロプロセッサ１０３により判断される（Ｓ１１３）。継続発生中であると判断されると、その音信号の振幅（音量）の大きさに基づいて、ディスプレイ１０７に表示されるシンボルのサイズが決定される（Ｓ１１４）。また、集音された音の発生した方向と発生源までの距離に基づいて、ディスプレイ１０７における表示位置が、表示用マイクロプロセッサ１０６により決定される（Ｓ１１５）。そして、決定されたシンボルサイズのシンボルが、ディスプレイ１０７におけるその表示位置に、常時色で表示される（Ｓ１１２）。
【００５２】
なお、処理Ｓ１１２からＳ１１５の間において、さらに音源が近付いているか否かの判断を行うことにより、非常時色にシンボルを変更するようにしてもよい。
【００５３】
ここで、ディスプレイ１０７に表示されるシンボルの具体例について説明する。図７は、ディスプレイ１０７の表示画面の具体例である。ユーザＰがシンボルとして、表示画面の中央に位置している。表示画面の上側がユーザの前方を示す。
【００５４】
ここでシンボルＳ１〜Ｓ７は、各種音の発生方向、音源の位置およびその大きさを示している。例えば、シンボルＳ１は車のクラクションを示しており、ユーザＰの右後方がその発生方向であることを示している。また、シンボルＳ１は、他のシンボルＳ２〜Ｓ７と比較して大きく表示されており、その音量が大きいことを示している。これらシンボルＳ１〜Ｓ７は、解析用マイクロプロセッサ１０３により決定されたものである。
【００５５】
さらに、シンボルＳ１の表示位置は、比較的ユーザＰに近い。よって、その音源はユーザＰに近いことを示す。なお、図７においては、明確に示していないが、クラクションを鳴らしている車が近付いている場合には、そのシンボルＳ１の色は非常時用の色で表示されることになる。また、近付いている場合のみ表示し、遠ざかっている場合にはそのシンボルを表示しないようにしてもよい。
【００５６】
つぎに、本実施形態の携帯端末１００の変形例について説明する。図８は、一般的なスマートフォンの形態である携帯端末１００の外観を示す外観図である。この携帯端末１００においては、その形状が矩形である場合に、その四隅にマイク１０１ｗ〜１０１ｚが配置されている。このように、ある程度の間隔をもってマイク１０１が配置されることにより集音した音の位相差をとることができる。この変形例における携帯端末１００も、図２に示される機能ブロックにより構成される。
【００５７】
そして、本変形例においては、このようなスマートフォンの形態をとる携帯端末１００において、ユーザがメールやブラウザなどを閲覧している時に、その画面に重畳して音を可視化したシンボルを表示することができる。ここでのシンボルは、半透過かつ点滅表示することで表される。
【００５８】
なお、本変形例においては、歩きながら携帯端末を利用する状況における危険性をユーザに通知するためのものであることから、ユーザが歩いていることを、傾きセンサなどの検出部（図示せず）が検出し、さらに制御部が所定のアプリケーションが起動していることを判断すると、当該機能が起動することが好適である。
【００５９】
また、変形例における音響モデルＤＢ１０４ａは、上述本実施形態のものとその音響モデルを変えることにより、いわゆる歩きながらの操作に対する危険通知を的確に行うことができる。例えば、自動車や、自転車のロードノイズ、また、自動車やバイクのエンジン音、人の足音、電車の走行音を的確にとらえることが得きる音響モデルを構築しておくことで、より適切な通知を行うことができる。
【００６０】
図９は、その画面例を示す説明図である。図９に示される通り、ディスプレイ１０７ａには、ブラウザの画面が表示されている。そして、ここでは、画面上部をユーザの前方として、その下部右側にシンボルＳ１０および上部左側にシンボルＳ１１が、ブラウザの表示画面に重畳して表示されている。これらシンボルは、半透明で表示されており、ブラウザの画面が半分透けてみることができる程度のものである。
【００６１】
そして、クラクションの大きさや、自動車のエンジン音・走行音の大きさに応じて、そのシンボルの大きさが変わってくる。また、移動に応じて、シンボルの位置も移動することになる。
【００６２】
この変形例においては、スマートフォンの形態をとった携帯端末１００に適用したときの画面表示を示したものであり、そのほか処理方法等は上述と同様である。すなわち、解析用マイクロプロセッサ１０３は、音の発生方向や、音源の位置を取得し、表示用マイクロプロセッサ１０６が、それら情報に基づいて、ブラウザ画面にシンボルをディスプレイ１０７に重畳表示させる。なお、この変形例に記載のように、ディスプレイ１０７ａに表示される表示画面にシンボルを重畳表示させる処理を、上述本実施形態における眼鏡型携帯端末に適用させてもよい。
【００６３】
つぎに、本実施形態および変形例における携帯端末１００の作用効果について説明する。この携帯端末１００において、マイク１０１ａ〜１０１ｄ（または１０１ｗ〜１０１ｚ）を用いて収集された音に基づいて、位相差解析部１０５は、位相差を計算し、その音の発生方向を計算する。解析用マイクロプロセッサ１０３は、位相差解析部１０５において計算された音の発生方向を取得し、表示用マイクロプロセッサ１０６は、その音の発生方向に基づいた位置に可視化情報であるシンボルを、ディスプレイ１０７に表示する。これにより、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、シンボル（可視化情報）をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
【００６４】
また、この携帯端末１００において、表示用マイクロプロセッサ１０６において、検出された音の発生方向に基づいた表示位置に可視化情報を表示することにより、その発生方向を視覚的な感覚をもって通知することができる。
【００６５】
また、この携帯端末１００において、解析用マイクロプロセッサ１０３が、マイク１０１ａ〜１０１ｄ（または１０１ｗ〜１０１ｚ）により収集された音の音量を測定し、表示用マイクロプロセッサ１０６は、測定された音量に応じた大きさの可視化情報であるシンボルを生成する。これにより、ユーザは視覚的な感覚をもって音量を知ることができる。
【００６６】
また、この携帯端末１００において、位相差解析部１０５が、マイク１０１ａ〜１０１ｄ（または１０１ｗ〜１０１ｚ）により収集された音の発生源までの距離を測定し、それを解析用マイクロプロセッサ１０３が取得し、表示用マイクロプロセッサ１０６は、測定された距離に応じたディスプレイ１０７の表示位置にシンボルを表示する。これにより、ユーザは視覚的な感覚をもって、音源の位置を知ることができる。
【００６７】
また、この携帯端末１００において、解析用マイクロプロセッサ１０３は、所定タイミングごとに位相差解析部１０５において測定された複数の音源の位置（または、音源までの距離）を取得し、シンボル管理ＤＢ１０５ａに記憶する。そして、記憶された複数の音源の位置（または距離）に基づいて、音の発生源が近付いているか否かを判断する。そして、解析用マイクロプロセッサ１０３は、音の発生源が近付いていると判断すると、表示用マイクロプロセッサ１０６は、その旨を通知するための表示を行う。これにより、ユーザは音源が近付いていることを、視覚的感覚をもって知ることができる。
【００６８】
また、変形例における携帯端末１００において、ディスプレイ１０７ａは、ユーザにより閲覧されている表示情報、例えばブラウザなどのアプリケーションの表示画面に重畳して、シンボルを表示する。これにより、ユーザは、携帯端末でアプリケーションなどを操作して閲覧しているときにでも、音の発生を、視覚的感覚をもって知ることができる。
【符号の説明】
【００６９】
１００…携帯端末、１０１（１０１ａ〜１０１ｄ、１０１ｗ〜１０１ｚ）…マイク、１０２…ＡＤ変換器、１０３…解析用マイクロプロセッサ、１０４ａ…音響モデルＤＢ、１０５…位相差解析部、１０５ａ…シンボル管理ＤＢ、１０６…表示用マイクロプロセッサ、１０７…ディスプレイ、１０７ａ…ディスプレイ、１１０…レンズ部、１２０…弦部。
【図１】
2015185899.tif 000003
【図２】
2015185899.tif 000004
【図３】
2015185899.tif 000005
【図４】
2015185899.tif 000006
【図５】
2015185899.tif 000007
【図６】
2015185899.tif 000008
【図７】
2015185899.tif 000009
【図８】
2015185899.tif 000010
【図９】
2015185899.tif 000011