(57)【要約】【課題】聴覚障害者に対して音が発生したことを簡易的に知らせることができる音発生通知装置、音発生通知方法、およびプログラムを提供することを目的とする。【解決手段】音発生通知装置は、音を収集するためのマイクロフォンを複数備える収音部と、収音部が収音した音響信号に基づいて音源定位を行う音源定位部と、音源定位された情報に基づいて音源分離をする音源分離部と、音源分離された音の種類を特定する音源同定部と、音源が特定された音の種類を刺激によって報知する報知部と、を備える。【選択図】図１
2019066529.tif 000002
【特許請求の範囲】
【請求項１】
音を収集するためのマイクロフォンを複数備える収音部と、
前記収音部が収音した音響信号に基づいて音源定位を行う音源定位部と、
前記音源定位された情報に基づいて音源分離をする音源分離部と、
前記音源分離された音の種類を特定する音源同定部と、
音源が特定された音の種類を刺激によって報知する報知部と、
を備える音発生通知装置。
【請求項２】
前記報知部は、音の種類に応じて報知する刺激を変更する、請求項１に記載の音発生通知装置。
【請求項３】
前記報知部は、携帯端末で構成され、前記携帯端末の画面の点滅によって報知を行う、請求項１または請求項２に記載の音発生通知装置。
【請求項４】
前記報知部は、家電製品であり、前記携帯端末と無線通信または有線通信により接続されている、請求項３に記載の音発生通知装置。
【請求項５】
人感センサーを備え、
前記携帯端末と利用者が離れている場合には、前記利用者が存在している場所に近い位置にある家電製品によって音の種類を報知する、請求項３または請求項４に記載の音発生通知装置。
【請求項６】
前記音源同定部によって特定された音の種類の中から、事前に報知する音を選択しておく、請求項１から請求項５のいずれか１項に記載の音発生通知装置。
【請求項７】
前記音の種類ごとに報知するための優先順位を設定した、請求項６に記載の音発生通知装置。
【請求項８】
音源定位部が、複数のマイクロフォンによって収音された音響信号に基づいて音源定位を行うステップと、
音源分離部が、前記音源定位された情報に基づいて音源分離をするステップと、
音源同定部が、前記音源分離された音の種類を特定するステップと、
報知部が、音源が特定された音の種類を刺激によって報知するステップと、
を含む音発生通知方法。
【請求項９】
音発生通知装置のコンピュータに、
複数のマイクロフォンによって収音された音響信号に基づいて音源定位を行うステップと、
前記音源定位された情報に基づいて音源分離をするステップと、
前記音源分離された音の種類を特定するステップと、
音源が特定された音の種類を刺激によって報知するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音発生通知装置、音発生通知方法、およびプログラムに関する。
【背景技術】
【０００２】
ドアホンやインターホン等は、利用者に来客を呼出音で知らせることができる。一般的なドアホンでは、玄関に呼出ボタンが設けられている。呼出ボタン来客者が押したことに応じて、室内に設置されている親機は、電子チャイム音などを報知する。
【０００３】
耳が遠い人や聴覚障害者には、報知音が聞こえにくい、または聞こえない場合があった。また、耳が遠い人や聴覚障害者には、インターホンで来客者が発話した発話内容が、聞こえにくい、または聞こえない場合があった。
このため、特許文献１に記載の技術では、来客者が発話した発話内容を音声認識し、音声認識した結果を文字情報として表示部に表示させることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１３４３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、音声認識手段と表示手段とを有するシステムを導入する必要があり、室内の工事が必要であった。また、特許文献１に記載の技術では、発話内容が表示部に表示されても、来客者が来たことを、聴覚障害者が気づかない可能性があった。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであって、聴覚障害者に対して音が発生したことを簡易的に知らせることができる音発生通知装置、音発生通知方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため、本発明の一態様に係る音発生通知装置｛１、１Ａ｝は、音を収集するためのマイクロフォンを複数備える収音部｛１１｝と、前記収音部が収音した音響信号に基づいて音源定位を行う音源定位部｛１２｝と、前記音源定位された情報に基づいて音源分離をする音源分離部｛１３｝と、前記音源分離された音の種類を特定する音源同定部｛１８｝と、音源が特定された音の種類を刺激によって報知する報知部｛報知制御部２０、報知制御部２０Ａ、報知部２１、報知部２１Ａ｝と、を備える。
【０００８】
（２）また、本発明の一態様に係る音発生通知装置において、前記報知部は、音の種類に応じて報知する刺激を変更するようにしてもよい。
【０００９】
（３）また、本発明の一態様に係る音発生通知装置において、前記報知部は、携帯端末で構成され、前記携帯端末の画面の点滅によって報知を行うようにしてもよい。
【００１０】
（４）また、本発明の一態様に係る音発生通知装置において、前記報知部は、家電製品｛蛍光灯、ライト、テレビ、スマートフォン、タブレット端末｝であり、前記携帯端末と無線通信または有線通信により接続されているようにしてもよい。
【００１１】
（５）また、本発明の一態様に係る音発生通知装置は、人感センサー｛２８｝を備え、前記携帯端末と利用者が離れている場合には、前記利用者が存在している場所に近い位置にある家電製品によって音の種類を報知するようにしてもよい。
【００１２】
（６）また、本発明の一態様に係る音発生通知装置において、前記音源同定部によって特定された音の種類の中から、事前に報知する音を選択しておくようにしてもよい。
【００１３】
（７）また、本発明の一態様に係る音発生通知装置において、前記音の種類ごとに報知するための優先順位を設定したようにしてもよい。
【００１４】
（８）上記目的を達成するため、本発明の一態様に係る音発生通知方法は、音源定位部が、複数のマイクロフォンによって収音された音響信号に基づいて音源定位を行うステップ｛ステップＳ２｝と、音源分離部が、前記音源定位された情報に基づいて音源分離をするステップ｛ステップＳ３｝と、音源同定部が、前記音源分離された音の種類を特定するステップ｛ステップＳ５｝と、報知部が、音源が特定された音の種類を刺激によって報知するステップ｛ステップＳ６｝と、を含む。
【００１５】
（９）上記目的を達成するため、本発明の一態様に係るプログラムは、音発生通知装置のコンピュータに、複数のマイクロフォンによって収音された音響信号に基づいて音源定位を行うステップと、前記音源定位された情報に基づいて音源分離をするステップと、前記音源分離された音の種類を特定するステップと、音源が特定された音の種類を刺激によって報知するステップと、を実行させる。
【発明の効果】
【００１６】
上述した（１）、（８）、（９）によれば、聴覚障害者に対して音が発生したことを簡易的に知らせることができる。
上述した（２）によれば、音の種類を簡易的な手法により聴覚障害者に対して通知することができる。
上述した（３）によれば、携帯端末の画面の点滅等により、より一層音通知を聴覚障害者に対して行いやすくなる。
上述した（４）によれば、例えば、テレビ、蛍光灯と無線通信で接続し、それらの点滅状態によって音の種類を聴覚障害者に対して報知することができる。
上述した（５）によれば、携帯端末と聴覚障害者とが離れている場合であっても、適切に音の種類を報知することができる。
上述した（６）によれば、健聴者と聴覚障害者とのやり取りにより、どの音を報知するのかを選択することができる。
上述した（７）によれば、同時に複数の音が発生した場合、どの音を聴覚障害者に優先的に報知するかを定めることができる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態に係る音発生通知装置の構成例を示すブロック図である。
【図２】第１実施形態に係る報知パターン記憶部が記憶する情報例を示す図である。
【図３】第１実施形態に係る音発生通知装置の処理手順例を示すフローチャートである。
【図４】第２実施形態に係る音発生通知装置の構成例を示すブロック図である。
【図５】第２実施形態に係る報知パターン記憶部が記憶する情報例を示す図である。
【図６】第２実施形態に係る音発生通知装置の処理手順例を示すフローチャートである。
【図７】変形例に係る報知パターン記憶部が記憶する情報例を示す図である。
【図８】変形例に係る音発生通知装置の設定処理手順例を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１９】
［第１実施形態］
図１は、本実施形態に係る音発生通知装置１の構成例を示すブロック図である。
図１に示すように、音発生通知装置１は、収音部１１および音発生通知部２を備える。
音発生通知部２は、取得部１２、音源定位部１３、音源分離部１４、発話区間検出部１５、特徴量抽出部１６、音響モデル記憶部１７、音源同定部１８、報知パターン記憶部１９、報知制御部２０、報知部２１、および操作部２２を備える。
音発生通知装置１は、例えば聴覚障害者が生活する住居内で使用される。
【００２０】
音発生通知装置１は、例えばスマートフォン、タブレット端末等の携帯端末である。携帯端末がマイクロフォンを２つ以上備えている場合、音発生通知装置１は、自装置が備えるマイクロフォンを収音部１１として使用する。または、スマートフォン等がマイクロフォンを１つ備えている場合、音発生通知装置１は、自装置が備えるマイクロフォンの代わりに外部の収音部１１から音響信号を取得する。以下の例では、音発生通知装置１は、複数（２つ以上）のマイクロフォンを備える例を説明する。
【００２１】
収音部１１は、マイクロフォンアレイであり、それぞれ異なる位置に配置されたＱ個（Ｑは２以上の整数）のマイクロフォンを有する。収音部１１は、自部に到来した音を収音し、収音した音からＱチャネルの音響信号を生成する。収音部１１は、生成したＱチャネルの音響信号を取得部１２に出力する。収音部１１は、Ｑチャネルの音響信号を無線または有線で送信するためのデータ入出力インタフェースを備えてもよい。収音部１１が収音する環境音は、例えば、ドアホンに等により報知される呼び出しチャイム音（玄関チャイムともいう）、お湯が沸いたときの薬缶や電気ポットが発する電子音、洗濯が終了したときの洗濯機が発する電子音、子供の泣き声、お風呂が沸いたときの電子音、ご飯が炊けたときの電子音、ペットの鳴き声等が含まれる。
【００２２】
取得部１２は、収音部１１が出力するＱチャネルの音響信号を取得し、取得したＱチャネルの音響信号を音源定位部１３と音源分離部１４に出力する。なお、取得部１２は、取得したアナログ信号の音響信号をデジタル信号に変換し、デジタル信号に変換した音響信号を音源定位部１３と音源分離部１４に出力する。
【００２３】
音源定位部１３は、取得部１２が出力するＱチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、２０ｍｓ）毎に定める（音源定位）。音源定位部１３は、音源定位において、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ  Ｓｉｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ；多重信号分類）法を用いて方向毎のパワーを示す空間スペクトルを算出する。音源定位部１３は、空間スペクトルに基づいて音源毎の音源方向を定める。音源定位部１３は、音源方向を示す音源方向情報を音源分離部１４、発話区間検出部１５に出力する。
【００２４】
音源分離部１４は、音源定位部１３が出力する音源方向情報と、取得部１２が出力するＱチャネルの音響信号を取得する。音源分離部１４は、Ｑチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部１４は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部１４は、分離した音響信号のスペクトルを求めて発話区間検出部１５に出力する。
【００２５】
発話区間検出部１５は、音源定位部１３が出力する音源方向情報と、音源定位部１３が出力する音響信号のスペクトルを取得する。発話区間検出部１５は、取得した分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。例えば、発話区間検出部１５は、ＭＵＳＩＣ手法で周波数ごとに得られる空間スペクトルを周波数方向に統合して得られる統合空間スペクトルに閾値処理を行うことで，音源検出と発話区間検出を同時に行う。発話区間検出部１５は、検出した検出結果と方向情報と音響信号のスペクトルとを特徴量抽出部１６に出力する。
【００２６】
特徴量抽出部１６は、発話区間検出部１５が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。特徴量抽出部１６は、例えば、静的メル尺度対数スペクトル（ＭＳＬＳ：Ｍｅｌ−Ｓｃａｌｅ  Ｌｏｇ  Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーを、所定時間（例えば、１０ｍｓ）毎に算出することで音響特徴量を算出する。なお、ＭＳＬＳは、音響認識の特徴量としてスペクトル特徴量を用い、ＭＦＣＣ（メル周波数ケプストラム係数；Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を逆離散コサイン変換することによって得られる。特徴量抽出部１６は、求めた音響特徴量を音源同定部１８に出力する。
【００２７】
音響モデル記憶部１７は、音源モデルを記憶する。音源モデルは、収音された音響信号を音源同定部１８が同定するために用いるモデルである。音響モデル記憶部１７は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に記憶する。
【００２８】
音源同定部１８は、特徴量抽出部１６が出力する音響特徴量を、音響モデル記憶部１７が記憶する音響モデルを参照して音源を同定する。音源同定部１８は、同定した同定結果を報知制御部２０に出力する。
【００２９】
報知パターン記憶部１９は、音源に報知パターンを対応付けて記憶する。なお、報知パターン記憶部１９が記憶する情報については、後述する。
【００３０】
報知制御部２０は、音源同定部１８が出力する同定結果を、報知パターン記憶部１９を参照して、報知パターンを選択する。報知制御部２０は、選択した報知パターンで報知するように報知部２１を制御する。また、報知制御部２０は、操作部２２が出力する操作結果に応じて、報知を停止するように報知部２１を制御する。
【００３１】
報知部２１は、例えば、ライト、画像表示部、振動モータ、におい発生装置等、すなわち利用者に刺激で報知を行う機能部である。報知部２１は、報知制御部２０の制御に応じて、ライトまたは画像表示部を点滅させる。または、報知部２１は、報知制御部２０の制御に応じて、ライトまたは画像表示部の表示色を変化させる。または、報知部２１は、報知制御部２０の制御に応じて、振動モータを振動させる。または、報知部２１は、報知制御部２０の制御に応じて、においを発生させる。すなわち、報知部２１は、利用者の五感に訴える音を除く刺激で報知する。
【００３２】
操作部２２は、例えば報知部２１が画像表示部の場合、画像表示部上に設けられたタッチパネルセンサーである。または、操作部２２は、操作ボタン等である。操作部２２は、利用者が操作した操作結果を検出して、検出結果を報知制御部２０に出力する。操作結果には、報知を停止する指示である報知停止指示が含まれている。
【００３３】
次に、報知パターン記憶部１９が記憶する情報例を説明する。
図２は、本実施形態に係る報知パターン記憶部１９が記憶する情報例を示す図である。なお、図２に示す例では、報知部２１が、ライトまたは画像表示部の例である。
図２に示すように、報知パターン記憶部１９は、音源毎に、音源に報知パターンを対応付けて記憶する。音源の種類は、例えば、玄関チャイム、お湯が沸いたときの薬缶の音、子供の泣き声である。音源が玄関チャイムの場合、報知パターンは第１報知パターンである。第１報知パターンは、例えば通常の速さでの点滅である。音源が薬缶の音の場合、報知パターンは第２報知パターンである。第２報知パターンは、例えば通常の速さより速い高速の点滅である。音源が子供の泣き声の場合、報知パターンは第３報知パターンである。第３報知パターンは、例えば三三七拍子の点滅である。
なお、予め報知パターン記憶部１９が音源に報知パターンを対応付けて記憶する例を説明したが、これに限られない。音源に対する報知パターンは、利用者が複数の報知パターンの中から１つを選択して対応つけるようにしてもよい。
【００３４】
（ＭＵＳＩＣ法）
ここで、音源定位の一手法であるＭＵＳＩＣ法について説明する。
ＭＵＳＩＣ法は、以下に説明する空間スペクトルのパワーＰｅｘｔ（ψ）が極大であって、所定のレベルよりも高い方向ψを定位音源方向として定める手法である。音源定位部１３には、予め所定の間隔（例えば、５°）で分布した方向ψごとの伝達関数を記憶させておく。
【００３５】
音源定位部１３は、音源から各チャネルｑ（ｑは、１以上Ｑ以下の整数）に対応するマイクロフォンまでの伝達関数Ｄ［ｑ］（ω）を要素とする伝達関数ベクトル［Ｄ（ψ）］を方向ψごとに生成する。
音源定位部１３は、各チャネルｑの音響信号ξｑを所定の要素数からなるフレームごとに周波数領域に変換することによって変換係数ξｑ（ω）を算出する。音源定位部１３は、算出した変換係数を要素として含む入力ベクトル［ξ（ω）］から次式（１）に示す入力相関行列［Ｒξξ］を算出する。
【００３６】
【数１】
2019066529.tif 000003
【００３７】
式（１）において、Ｅ［…］は、…の期待値を示す。［…］は、…が行列又はベクトルであることを示す。［…］＊は、行列又はベクトルの共役転置（ｃｏｎｊｕｇａｔｅ  ｔｒａｎｓｐｏｓｅ）を示す。
音源定位部１３は、入力相関行列［Ｒξξ］の固有値δｐ及び固有ベクトル［εｐ］を算出する。入力相関行列［Ｒξξ］、固有値δｐ、及び固有ベクトル［ξｐ］は、次式（２）に示す関係を有する。
【００３８】
【数２】
2019066529.tif 000004
【００３９】
式（２）において、ｐは、１以上Ｑ以下の整数である。インデックスｐの順序は、固有値δｐの降順である。
音源定位部１３は、伝達関数ベクトル［Ｄ（ψ）］と算出した固有ベクトル［εｐ］に基づいて、次式（３）に示す周波数別空間スペクトルのパワーＰｓｐ（ψ）を算出する。
【００４０】
【数３】
2019066529.tif 000005
【００４１】
式（３）において、Ｄｍは、検出可能とする音源の最大個数（例えば、２）であって、Ｑよりも小さい予め定めた自然数である。
音源定位部１３は、Ｓ／Ｎ比が予め定めた閾値（例えば、２０ｄＢ）よりも大きい周波数帯域における空間スペクトルＰｓｐ（ψ）の総和を全帯域の空間スペクトルのパワーＰｅｘｔ（ψ）として算出する。
【００４２】
なお、音源定位部１３は、ＭＵＳＩＣ法に代えて、その他の手法、例えば、重み付き遅延和ビームフォーミング（ＷＤＳ−ＢＦ：Ｗｅｉｇｈｔｅｄ  Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ  Ｂｅａｍ  Ｆｏｒｍｉｎｇ）法を用いて音源定位を算出してもよい。
【００４３】
（ＧＨＤＳＳ法）
次に、音源分離の一手法であるＧＨＤＳＳ法について説明する。
ＧＨＤＳＳ法は、２つのコスト関数（ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）として、分離尖鋭度（Ｓｅｐａｒａｔｉｏｎ  Ｓｈａｒｐｎｅｓｓ）ＪＳＳ（［Ｖ（ω）］）と幾何制約度（Ｇｅｏｍｅｔｒｉｃ  Ｃｏｎｓｔｒａｉｎｔ）ＪＧＣ（［Ｖ（ω）］）が、それぞれ減少するように分離行列［Ｖ（ω）］を適応的に算出する方法である。本実施形態では、各マイクロフォンアレイｍが取得した音響信号のそれぞれから音源別音響信号を分離する。
【００４４】
分離行列［Ｖ（ω）］は、音源定位部１３から入力されたＱチャネルの音響信号［ξ（ω）］に乗じることによって、検出される最大Ｄｍ個の音源それぞれの音源別音響信号（推定値ベクトル）［ｕ’（ω）］を算出するために用いられる行列である。ここで、［…］Ｔは、行列又はベクトルの転置を示す。
【００４５】
分離尖鋭度ＪＳＳ（［Ｖ（ω）］）、幾何制約度ＪＧＣ（［Ｖ（ω）］）それぞれは、次式（４）、（５）のように表される。
【００４６】
【数４】
2019066529.tif 000006
【００４７】
【数５】
2019066529.tif 000007
【００４８】
式（４）、（５）において、｜｜…｜｜２は、行列…のフロベニウスノルム（Ｆｒｏｂｅｎｉｕｓ  ｎｏｒｍ）である。フロベニウスノルムとは、行列を構成する各要素値の二乗和（スカラー値）である。φ（［ｕ’（ω）］）は、音源別音響信号［ｕ’（ω）］の非線形関数、例えば、双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ  ｔａｎｇｅｎｔ  ｆｕｎｃｔｉｏｎ）である。ｄｉａｇ［…］は、行列…の対角成分の総和を示す。従って、分離尖鋭度ＪＳＳ（［Ｖ（ω）］）は、音源別音響信号（推定値）のスペクトルのチャネル間非対角成分の大きさ、つまり、ある１つの音源が他の音源として誤って分離される度合いを表す指標値である。また、式（５）において、［Ｉ］は、単位行列を示す。従って、幾何制約度ＪＧＣ（［Ｖ（ω）］）とは、音源別音響信号（推定値）のスペクトルと音源別音響信号（音源）のスペクトルとの誤差の度合いを表す指標値である。
【００４９】
次に、音発生通知装置１の処理手順例を説明する。
図３は、本実施形態に係る音発生通知装置１の処理手順例を示すフローチャートである。
【００５０】
（ステップＳ１）収音部１１は、音響信号を収音し、収音した音響信号から生成したＱチャネルの音響信号を生成する。続けて、収音部１１は、生成したＱチャネルの音響信号を取得部１２に出力する。
【００５１】
（ステップＳ２）音源定位部１３は、例えば、ＭＵＳＩＣ法を用いて方向毎のパワーを示す空間スペクトルを算出する。続けて、音源定位部１３は、空間スペクトルに基づいて音源毎の音源方向を定める。
【００５２】
（ステップＳ３）音源分離部１４は、Ｑチャネルの音響信号を、音源方向情報が示す音源方向に基づいて、例えばＧＨＤＳＳ法を用いて、音源毎の成分を示す音響信号である音源別音響信号に分離する。
【００５３】
（ステップＳ４）発話区間検出部１５は、分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。
【００５４】
（ステップＳ５）特徴量抽出部１６は、発話区間検出部１５が出力する分離されたスペクトルから、例えばメル周波数ケプストラム係数（ＭＦＣＣ）を音響特徴量として音源毎に計算する。続けて、音源同定部１８は、特徴量抽出部１６が出力する音響特徴量を、音響モデル記憶部１７が記憶する音響モデルを参照して音源を同定する。
【００５５】
（ステップＳ６）報知制御部２０は、音源同定部１８が出力する同定結果を、報知パターン記憶部１９を参照して、報知パターンを選択する。続けて、報知制御部２０は、選択した報知パターンで報知するように報知部２１を制御する。
【００５６】
ここで、図３に示した処理の具体例を説明する。
来客者が、玄関に設置されているドアホンを押した場合、室内に設置されている親機が玄関チャイムを報知する。
音発生通知装置１は、玄関チャイムを収音して、収音した音響信号が「玄関チャイム」であることを同定する。音発生通知装置１は、同定結果に応じて、第１パターンの報知パターンを選択する。これにより、音発生通知装置１は、画像表示部である報知部２１を通常の速さで点滅させる。なお、点滅させる回数は、予め定めた回数であってもよく、利用者が気づいて報知停止指示を行うまででもよい。なお、利用者は、音発生通知装置１が備える操作部２２を操作して、報知停止指示を行う。
【００５７】
以上のように、本実施形態では、音を収集するための複数のマイクロフォンを有する収音部１１と、収音部１１が収音した音響信号に基づいて音源定位を行う音源定位部１３と、音源定位した情報に基づいて音源分離をする音源分離部１４と、音源分離された音の種類を特定する音源同定部１８と、音源同定された音の種類に応じて報知する報知部２１とを備える。
これにより、本実施形態によれば、聴覚障害者に対して簡易的な手法にて音の種類を通知することができる。
【００５８】
また、本実施形態では、同定した音源毎に刺激の報知パターンを変化させる。これにより、本実施形態によれば、利用者に、室内で鳴っている音の種類を報知することができる。この結果、利用者は、報知パターンによって、鳴っている音源を知ることが出来るので、それに応じて対応することができる。
【００５９】
また、本実施形態によれば、音発生通知部２がスマートフォンであり、利用者が所持または利用者の近傍に置かれている場合が多い。このため、本実施形態によれば、音が鳴った場合、その音に応じた報知パターンでスマートフォン等の画像表示部である報知部２１の表示を点滅させたり、振動させることで、聴覚障害者である利用者に音の種類を報知することができる。
【００６０】
［第２実施形態］
第１実施形態では、音発生通知部２が備える報知部２１を用いて報知する例を説明したが、これに限られない。報知部は、音発生通知部２に接続される外部機器であってもよい。
【００６１】
図４は、本実施形態に係る音発生通知装置１Ａの構成例を示すブロック図である。
図４に示すように、音発生通知装置１Ａは、収音部１１、音発生通知部２Ａ、および報知部２１Ａ１、報知部２１Ａ２、・・・を備える。
音発生通知部２Ａは、取得部１２、音源定位部１３、音源分離部１４、発話区間検出部１５、特徴量抽出部１６、音響モデル記憶部１７、音源同定部１８、報知パターン記憶部１９Ａ、報知制御部２０Ａ、操作部２２、表示部２３、および通信部２４を備える。
報知部２１Ａ１、報知部２１Ａ２、・・・それぞれは、通信部２５、制御部２６、および表示部２７を備える。なお、報知部２１Ａ１、報知部２１Ａ２、・・・のうち１つを特定しない場合は、報知部２１Ａという。
さらに、人感センサー２８１、人感センサー２８２、・・・を備える。なお、人感センサー２８１、人感センサー２８２、・・・のうち１つを特定しない場合は、人感センサー２８という。
なお、音発生通知装置１と同様の機能を有する機能部には、同じ符号を用いて説明を省略する。
【００６２】
音発生通知装置１Ａは、収音部１１が収音した音響信号に対して音源定位、音源分離、発話区間検出、および音源同定を行い、音源同定した結果に基づいて報知パターンを選択する。音発生通知装置１Ａは、選択した報知パターンを示す報知パターン情報を報知部２１Ａに送信する。
【００６３】
報知パターン記憶部１９Ａは、音源に報知パターンを対応付けて記憶する。また、報知パターン記憶部１９Ａは、報知部２１Ａが設置されている位置を記憶する。
【００６４】
報知制御部２０Ａは、音源同定部１８が出力する同定結果を、報知パターン記憶部１９Ａを参照して、報知パターンを選択する。報知制御部２０Ａは、報知部２１Ａが出力する人感センサー２８の検出結果に含まれる識別情報に基づいて、利用者が存在している場所を特定する。報知制御部２０Ａは、選択した報知パターンを示す報知パターン情報を、利用者が存在する場所にある報知部２１Ａに送信する。また、報知制御部２０Ａは、操作部２２が出力する操作結果に応じて、報知を停止する報知停止情報を、利用者が存在する場所にある報知部２１Ａに送信する。なお、報知制御部２０は、選択した報知パターンで報知するように表示部２３を制御するようにしてもよい。
【００６５】
表示部２３は、例えば液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、電子インク表示装置等である。表示部２３は、報知制御部２０Ａの制御に応じて、情報を表示する。また、表示部２３は、報知制御部２０Ａの制御に応じて、報知パターンの報知を行うようにしてもよい。
【００６６】
通信部２４は、報知制御部２０Ａが出力する報知パターン情報を、報知部２１Ａに送信する。通信部２４は、報知部２１が送信した人感センサーの検出結果を受信し、受信した人感センサーの検出結果を報知制御部２０Ａに出力する。なお、音発生通知装置１Ａと報知部２１Ａとの通信手段は、無線通信であっても有線通信であってもよい。
【００６７】
報知部２１Ａは、例えば、蛍光灯、ライト、テレビ、スマートフォン、タブレット端末等の家電製品である。報知部２１Ａは、報知制御部２０Ａの制御に応じて、ライト、テレビ、スマートフォン、タブレット端末等の表示部２７を点滅させる。
【００６８】
通信部２５は、音発生通知部２Ａが送信した報知パターン情報を受信し、受信した報知パターン情報を制御部２６に出力する。
【００６９】
制御部２６は、通信部２５が出力する報知パターン情報に応じて表示部２７の表示を点滅させるように制御する。
【００７０】
表示部２７は、画像表示部である。表示部２７は、制御部２６の制御に応じて、画像表示部を点滅させる。
【００７１】
人感センサー２８は、例えば、居室（含むお手洗い、風呂場）それぞれの天井等に設置されている。人感センサー２８は、通信部を備えている。人感センサー２８は、利用者が存在していること検知し、利用者が存在していることを検知した場合に、利用者が存在していること示す検出結果を音発生通知部２Ａに送信する。送信信号には、人感センサー２８を識別するための識別情報が含まれている。人感センサー２８は、例えば、熱センサー、光センサー、音波センサー、音感センサー等のうちの少なくとも１つである。熱センサーは、赤外線によって温度の変化を検出することで利用者の熱を感知して利用者の所在を検知する。光センサーは、異なる波長の光を用いて、物体の大きさ・長さ・変位等を検出することで利用者の所在を検知する。音波センサーは、音波を用いて、物体の大きさ・長さ・変位等を検出することで利用者の所在を検知する。音感センサーは、音を検出することで利用者の所在を検知する。
【００７２】
なお、人感センサー２８を報知部２１Ａが備えるようにしてもよい。この場合、報知部２１Ａは、利用者が存在していることを検出したことを示す情報に、自装置を識別する識別情報を含めて送信するようにしてもよい。
【００７３】
次に、報知パターン記憶部１９Ａが記憶する情報例を説明する。
図５は、本実施形態に係る報知パターン記憶部１９Ａが記憶する情報例を示す図である。
図５の符号ｇ１１に示すように、報知パターン記憶部１９Ａは、音源毎に、音源に報知パターンを対応付けて記憶する。なお、第１実施形態と同様に、予め報知パターン記憶部１９Ａが音源に報知パターンを対応付けて記憶する例を説明したが、これに限られない。音源に対する報知パターンは、利用者が複数の報知パターンの中から１つを選択して対応つけるようにしてもよい。
【００７４】
また、図５の符号ｇ１２に示すように、報知パターン記憶部１９Ａは、報知部２１Ａ毎に識別情報と設置位置を対応付けて記憶する。例えば、報知パターン記憶部１９Ａは、第１の報知部２１Ａ１に、識別情報ＩＤ１と第１の設置位置を対応付けて記憶する。
【００７５】
さらに、図５の符号ｇ１３に示すように、報知パターン記憶部１９Ａは、人感センサー２８毎に識別情報と設置位置を対応付けて記憶する。例えば、報知パターン記憶部１９Ａは、第１の人感センサー２８１に、識別情報ＩＤ１０１と第１の設置位置を対応付けて記憶する。
【００７６】
次に、音発生通知装置１Ａの処理手順例を説明する。
図６は、本実施形態に係る音発生通知装置１Ａの処理手順例を示すフローチャートである。
【００７７】
（ステップＳ１〜Ｓ５）音発生通知装置１Ａは、ステップＳ１〜Ｓ５の処理を行い、ステップＳ１１の処理に進める。
【００７８】
（ステップＳ１１）人感センサー２８は、利用者が存在していること検知し、利用者が存在していることを検知した場合に、利用者が存在していること示す検出結果を音発生通知部２Ａに送信する。
【００７９】
（ステップＳ１２）報知制御部２０Ａは、人感センサー２８の検出結果に含まれる識別情報に基づいて、利用者が存在している場所を特定する。
【００８０】
（ステップＳ１３）報知制御部２０Ａは、音源同定部１８が出力する同定結果を、報知パターン記憶部１９Ａを参照して、報知パターンを選択する。続けて、報知制御部２０Ａは、選択した報知パターンで報知するように、利用者が存在している場所に近い位置に設置されている報知部２１Ａを制御する。
【００８１】
なお、報知制御部２０Ａは、上記の処理において、収音した音響信号の音響特徴量を報知パターン記憶部１９Ａに記憶させるようにしてもよい。
【００８２】
ここで、図６に示した処理の具体例を説明する。
報知部２１Ａ１は、テレビであり、居間に設置されている。報知部２１Ａ２は、ライトであり、寝室に設置されている。報知部２１Ａ３は、ライトであり、お手洗いに設置されている。利用者は、居室にいるとする。
【００８３】
子供が泣いたことを収音部１１が収音し、音発生通知部２Ａに送信する。
居間に設置されている人感センサー２８１は、利用者が存在していることを検出し、検出結果を音発生通知部２Ａに送信する。
音発生通知部２Ａは、取得した音響信号が「子供の泣き声」であることを同定する。音発生通知部２Ａは、同定結果に応じて、第３パターンの報知パターンを選択する。また、音発生通知部２Ａは、利用者が人感センサー２８１の設置されている居間に存在していると特定する。音発生通知部２Ａは、第３パターンの報知パターンを、利用者が存在している居間に近い位置に設置されている報知部２１Ａ１に送信する。
報知部２１Ａ１は、受信した報知パターンに応じて、表示部２７の表示を三三七拍子で表示を点滅させるように制御する。なお、点滅は、利用者が気づいて報知停止指示を、操作部２２を操作するまででもよい。なお、利用者は、音発生通知部２Ａが備える操作部２２を操作して、報知停止指示を行う。
【００８４】
なお、図４に示した例では、音発生通知部２Ａと報知部２１Ａが分離している例を説明したが、報知部２１Ａそれぞれが、音発生通知部２Ａを備えていてもよい。
【００８５】
以上のように、本実施形態では、音源定位、音源分離、音源同定をスマートフォン等である音発生通知部２Ａが行う。また、本実施形態では、報知部２１Ａが、通信部２５を備えるテレビやライト等である。そして、本実施形態では、人感センサー２８の検出結果に基づいて利用者が存在する位置を特定し、特定した位置に設置されている報知部２１Ａに、同定した音源に対応する報知パターン情報を送信する。
【００８６】
これにより、本実施形態によれば、音発生通知部２Ａが居間に置かれ、利用者がお手洗いにいる場合、お手洗いに設置されているライトによって報知することで、利用者に報知することができる。すなわち、本実施形態によれば、スマートフォン等の音発生通知部２Ａと利用者とが離れていても、利用者が存在している位置にある報知部２１Ａで報知するようにしたので、適切に音の種類を報知することができる。
【００８７】
なお、第１実施形態、第２実施形態では、発話区間検出部１５を備える例を説明したが、発話区間検出部１５を備えていなくてもよい。
また、第１実施形態、第２実施形態において、音源定位部１３等を、例えば、テレビやＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）スピーカー等が備えていてもよい。
【００８８】
［変形例］
なお、第１実施形態、第２実施形態では、予め報知パターン記憶部１９（または１９Ａ）が音源に報知パターンを対応付けて記憶する例を説明したが、これに限られない。利用者は、音源によって、報知を行うか否かを予め設定しておくようにしてもよい。さらに、複数の音が同時に発生した場合、優先順位を設定しておくようにしてもよい。
【００８９】
このような変形例について、音発生通知装置１（図１）の構成を例に説明する。なお、変形例は、音発生通知装置１Ａに適用することも可能である。
図７は、変形例に係る報知パターン記憶部が記憶する情報例を示す図である。
図７に示すように、報知パターン記憶部１９は、音源毎に、音源に報知の要否と優先順位を対応付けて記憶する。図７に示す例では、音源として、玄関チャイム、薬缶の音、子供の泣き声、犬の鳴き声、車の騒音である。また、報知を行う音源は、玄関チャイム、薬缶の音、子供の泣き声である。報知を行わない音源は、犬の鳴き声、車の騒音である。さらに、報知の有線順位は、子供の泣き声が１位、玄関チャイムが２位、薬缶の音が３位である。
【００９０】
次に、変形例における音発生通知装置１の処理手順例を説明する。
図８は、変形例に係る音発生通知装置１の設定処理手順例を示すフローチャートである。なお、報知部２１は、画像表示部を備えているとする。
【００９１】
（ステップＳ１〜Ｓ５）音発生通知装置１は、ステップＳ１〜Ｓ５の処理を行い、ステップＳ２１の処理に進める。
【００９２】
（ステップＳ２１）報知制御部２０は、音源同定部１８が出力する同定結果を、報知部２１上に表示させる。すなわち、報知制御部２０は、音の種類を報知部２１上に表示させる。
【００９３】
（ステップＳ２２）報知制御部２０は、利用者が操作部２２を捜査した結果に応じて、報知する音の選択や優先順位の選択を行う。
【００９４】
図８の設定処理の具体例を説明する。
聴覚障害者の利用者は、健聴者と一緒に処理を行う。
例えば、玄関に設置されているドアホンの子機の呼び出しボタンを健聴者が押す。これにより、報知部２１上には「玄関フォン」が表示される。利用者は、健聴者と伴に「玄関フォン」を検出したときに報知を行うか否かを、操作部２２を操作して選択する。音発生通知装置１は、操作結果に応じて、「玄関フォン」を検出したときに報知を行うか否かを報知パターン記憶部１９に記憶させる。また、利用者は、健聴者と伴に「玄関フォン」を検出したときに報知を行う優先順位を、操作部２２を操作して選択する。音発生通知装置１は、操作結果に応じて、「玄関フォン」を検出したときに報知を行う優先順位を報知パターン記憶部１９に記憶させる。
このような処理を繰り返して、図７に示した報知の要否と優先順位を設定する。
【００９５】
以上のように、変形例によれば、同定された音のうち、事前に報知の要否を設定するようにした。
これにより、変形例によれば、利用者は、健聴者と伴に、どの音について報知するかを選択、設定することができる。
【００９６】
また、変形例によれば、同定された音のうち、事前に報知の優先順位を設定するようにした。
これにより、変形例によれば、利用者は、健聴者と伴に、どの音を優先的に報知するかを選択、設定することができる。
【００９７】
なお、本発明における音発生通知部２（または２Ａ）、報知部２１（または２１Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音発生通知部２（または２Ａ）、報知部２１（または２１Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００９８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９９】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【０１００】
１，１Ａ…音発生通知装置、２，２Ａ…音発生通知部、１１…収音部、１２…取得部、１３…音源定位部、１４…音源分離部、１５…発話区間検出部、１６…特徴量抽出部、１７…音響モデル記憶部、１８…音源同定部、１９，１９Ａ…報知パターン記憶部、２０，２０Ａ…報知制御部、２１，２１Ａ，２１Ａ１，２１Ａ２…報知部、２２…操作部、２３…表示部、２４…通信部、２５…通信部、２６…制御部、２７…表示部、２８，２８１，２８２…人感センサー
【図１】
2019066529.tif 000008
【図２】
2019066529.tif 000009
【図３】
2019066529.tif 000010
【図４】
2019066529.tif 000011
【図５】
2019066529.tif 000012
【図６】
2019066529.tif 000013
【図７】
2019066529.tif 000014
【図８】
2019066529.tif 000015