(57)【要約】【課題】独居高齢者の異常状態の検知だけでなく、高齢者のプライバシを考慮しつつ、日常生活の様子を遠隔から見守ることを目的とした、歩行音から動線推定を実現する方法および装置、そして他のセンサ情報との統合により、高齢者がプライバシに関する不安感や緊張感を感じることなく、遠隔にいる身内や介護者が容易に高齢者の日常行動を見守ることのできるサービス提供システムを解決課題とする。【解決手段】一般ユーザが利用する独居高齢者の見守りアプリケーションとして、マイクロフォンアレイなどの音収録装置はコンパクトなサイズで、住環境への取付け・取外しが容易で、複雑なキャリブレーションなどの作業は極力簡単で、見守り範囲を拡大する際にマイクロフォンアレイの追加拡張が容易に実現でき、周囲環境騒音の干渉に関して頑健性を有する方法、装置およびサービス提供システムとする。【選択図】図３
2014191616.tif 000002
【特許請求の範囲】
【請求項１】
マイクロフォンアレイ装置とセンサ情報統合装置からなる室内空間の歩行音の動線推定装置であって、
センサ情報統合装置はさらに室内空間を表示する表示部と信号処理部とを備えてマイクロフォンアレイ装置と接続され、
室内空間にマイクロフォンアレイを２個１組にして「ハ」の字型に配置され、
室内空間の歩行音がマイクロフォンアレイ１組で録音されて歩行音アナログ信号はＡＤ変換されて歩行音デジタル信号が生成され、
ＭＵＳＩＣ法を用いて歩行音デジタル信号から音源位置および到来方向が推定され(ステップ１)、
変形最小分散ビームフォーマによる音源分離され(ステップ２)、
音源分離された分離音源から特徴が抽出され、音響モデルの尤度計算がされ、異常音が検出され(ステップ３)、
パーティクルフィルタによる歩行人数と動線が推定されて(ステップ４)、
推定された歩行動線がセンサ情報統合装置の表示部に表示されることを特徴とする室内空間の歩行音の動線推定装置。
【請求項２】
前記音響モデルの尤度計算は、歩行音・足音の音響モデルを用いて行うことを特徴とする請求項１に記載の室内空間の歩行音の動線推定装置。
【請求項３】
前記パーティクルフィルタの重みづけは、過去に観測された音源位置を評価して行うことを特徴とする請求項１乃至請求項２のいずれか１項に記載の室内空間の歩行音の動線推定装置。
【請求項４】
マイクロフォンアレイ装置とセンサ情報統合装置からなる室内空間の歩行音の動線推定装置に使用される室内空間の歩行音の動線推定方法であって、
センサ情報統合装置はさらに室内空間を表示する表示部と信号処理部とを備えてマイクロフォンアレイ装置と接続され、
室内空間にマイクロフォンアレイを２個１組にして「ハ」の字型に配置され、
室内空間の歩行音がマイクロフォンアレイ１組で録音されて歩行音アナログ信号はＡＤ変換されて歩行音デジタル信号が生成され、
ＭＵＳＩＣ法を用いて歩行音デジタル信号から音源位置および到来方向が推定され(ステップ１)、
変形最小分散ビームフォーマによる音源分離され(ステップ２)、 
音源分離された分離音源から特徴が抽出され、音響モデルの尤度計算がされ、異常音が検出され(ステップ３)、
パーティクルフィルタによる歩行人数と動線が推定される(ステップ４)、
ことを特徴とする室内空間の歩行音の動線推定方法。
【請求項５】
前記音響モデルの尤度計算は、歩行音・足音の音響モデルを用いて行うことを特徴とする請求項４に記載の室内空間の歩行音の動線推定方法。
【請求項６】
前記パーティクルフィルタの重みづけは、過去に観測された音源位置を評価して行うことを特徴とする請求項４乃至請求項５のいずれか１項に記載の室内空間の歩行音の動線推定方法。
【請求項７】
請求項１乃至請求項３のいずれか１項に記載の前記室内空間の歩行音の動線推定装置のセンサ情報統合装置はさらに室内空間で使用される電気機器の動作センサと接続され、
前記各センサの出力信号はセンサ情報統合装置に伝送され、
センサ情報統合装置は、各出力信号をその電気機器の動作情報に変換し、
センサ情報統合装置は、前記推定された歩行動線情報と併せて上記変換された電気機器の動作情報を通信網に送信し、
前記送信された歩行動線情報と動作情報を通信網から受信した情報端末は表示画面を備え、時間シフトのスクロールバーの示す時刻の室内空間の歩行動線情報と電気機器の動作情報を前記表示画面にリアルタイム表示することを特徴とする遠隔室内空間見守りサービス提供システム。
【請求項８】
前記電気機器には、ベッド圧力センサ、車椅子搭載の位置・方向センサ、音声対話ロボットの音声認識装置が含まれることを特徴とする請求項７記載の遠隔室内空間見守りシステム。
【請求項９】
請求項４乃至６のいずれか１項に記載された室内空間の歩行音の動線推定方法を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は独居高齢者の見守りを目的とした歩行音からの動線推定方法、装置およびサービス提供システムに関する。
【背景技術】
【０００２】
超高齢社会を迎えた日本において、独居高齢者が安心・安全に自立生活をおくれるように、情報通信技術やロボットを活用した見守り・生活支援技術の開発が急務となっている。
【０００３】
従来、例えば特許文献１にあるように、多数の高齢者などが生活する介護施設などで、少数の映像カメラで多数の高齢者を撮像し、高齢者毎の映像データを蓄積する手法がある。しかし、このように直接映像データを蓄積する手法は、特に独居高齢者の見守りに適用する場合など、プライバシの観点から運用が困難となる可能性がる。
【０００４】
一方で、特許文献２にあるように、電気機器の動作状態から対象者の年齢などの属性に応じて在宅状態を推定する行動判別方法がある。電気機器の動作状況などのような対象者に関して情報量の少ない情報を用いることで、プライバシに関する対象者の不安感や緊張感を緩和しているが、そのような情報から対象者の行動を推定する場合、行動の詳細な判別が困難になる。
【０００５】
その他にも、非特許文献１では、各部屋に設置した焦電センサの情報に対して高度なデータマイニング処理を施すことで、生活パターン分類や異常検知の実現を試みている。
しかし、生活パターン分類や異常検知を行うためには長期間の事前データ収集が必要であり、またそのデータから必要な情報を抽出するには高度な専門知識が必要となる。このため、このようなシステムの一般での運用は容易ではない。
【０００６】
他方、音を用いた異常検知の試みがある。電気機器の動作状況や焦電センサに比べて、音を用いることで収集可能な情報量は格段に増加し、且つ映像カメラの室内設置ほどプライバシに関する不安感や緊張感を対象者に与えないと期待される。例えば、特許文献３や特許文献４にある手法では、日常的な音からの逸脱として異常音を検知する。また特許文献４は、マイクロフォンアレイにより音の到来方向を推定することで、日常的に音が発生しない方向から音が発生した場合に非日常音と判断する機能を実現している。
【０００７】
これらの手法によって、対象者の危機的な状況の検知はある程度実現されるが、危機的とまでは言えないような些細な異常の兆候は検出対象となっていない。
【０００８】
例えば、独居高齢者の日常生活の中で同じ日常行動を繰り返すなど、もしかしたら痴呆の兆候かもしれない行動が、これら従来の技術では検出できない。また独居高齢者の健康維持の見守りとして、日々どれだけ歩いているか、またはベッドで過ごす時間がどれくらいかなどの日常行動を検出する必要があるが、歩行量の推定は従来の技術では難しい。
【０００９】
日常行動として歩行の検出とその動線の推定が行えると、独居高齢者の日常生活の様子がある程度捉えられるようになると考えられる。従来、歩行音をマイクロフォンアレイで収集し、ＰＨＡＴ法に基づいて、到来時間差を推定することで、歩行位置を推定する手法が、非特許文献２などで提案されている。
【００１０】
この手法は、歩行音のみが存在し、他に環境騒音が存在しない場合において歩行位置の推定が良好に行えるが、環境騒音が存在する場合には歩行音に干渉するため時間差を正確に推定できず、歩行位置の推定も困難になる。一般的に、高齢者ほど難聴傾向にあるため、テレビやラジオなどの音量を健常者の聞くレベルより大きめに設定する傾向があり、環境騒音の影響が無視できない。このため、独居高齢者の見守りに非特許文献２の手法を使用することは現実的とは言えない。
【００１１】
また特許文献５などでは、部屋内での音源定位および音源追跡の精度を改善するために、部屋内の壁と移動ロボットにマイクロフォンアレイを設置する手法が述べられている。しかし、幅の広いマイクロフォンアレイを部屋全体の壁に固定したり、移動ロボットを使用したりと、装置が大掛かりでコストが高く、一般の独居高齢者宅での利用には向いていない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許出願２０１１−９２６３６「見守り映像収集装置」
【特許文献２】特許出願２００９−２４７６５「行動判別システムおよび行動判別方法」
【特許文献３】特許出願２００９−２４９９８７「異常検出方法および異常検出装置」
【特許文献４】特許出願２００８−１６４３９５「非日常音検出システム」
【特許文献５】特許出願２００８−５１４５１０「音源追跡システム、方法、およびロボット」
【非特許文献】
【００１３】
【非特許文献１】森武俊、「生活支援のためのセンサデータマイニング(「見守り工学」への展開)、電子情報通信学会誌、Vol.94,No.4,pp.276-281,2011
【非特許文献２】庄司、音講論(春),727-730, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
独居高齢者の異常状態の検知だけでなく、高齢者のプライバシを考慮しつつ、日常生活の様子を遠隔から見守ることを目的とした、歩行音から動線推定を実現する方法および装置、そして他のセンサ情報との統合により、高齢者がプライバシに関する不安感や緊張感を感じることなく、遠隔にいる身内や介護者が容易に高齢者の日常行動を見守ることのできるサービス提供システムを解決課題とする。
【００１５】
但し、歩行音からの動線推定方法、装置およびサービス提供システムは、独居高齢者の見守りというアプリケーションで一般ユーザが利用することを考慮して、マイクロフォンアレイなどの音収録装置はコンパクトなサイズで、住環境への取付け・取外しが容易で、複雑なキャリブレーションなどの作業は極力簡単で、見守り範囲を拡大する際にマイクロフォンアレイの追加拡張が容易に実現でき、周囲環境騒音の干渉に関して頑健性を有する方法、装置およびサービス提供システムとする。
【課題を解決するための手段】
【００１６】
本発明は、次の(１)から(３)の手段を提供する。
（１）マイクロフォンアレイ装置とセンサ情報統合装置からなる室内空間の歩行音の動線推定装置であって、
センサ情報統合装置はさらに室内空間を表示する表示部と信号処理部とを備えてマイクロフォンアレイ装置と接続され、
室内空間にマイクロフォンアレイを２個１組にして「ハ」の字型に配置され、
室内空間の歩行音がマイクロフォンアレイ１組で録音されて歩行音アナログ信号はＡＤ変換されて歩行音デジタル信号が生成され、
ＭＵＳＩＣ法を用いて歩行音デジタル信号から音源位置および到来方向が推定され(ステップ１)、
変形最小分散ビームフォーマによる音源分離され(ステップ２)、 
音源分離された分離音源から特徴が抽出され、音響モデルの尤度計算がされ、異常音が検出され(ステップ３)、
パーティクルフィルタによる歩行人数と動線が推定されて(ステップ４)、
推定された歩行動線がセンサ情報統合装置の表示部に表示されることを特徴とする室内空間の歩行音の動線推定装置。
（２）前記音響モデルの尤度計算は、歩行音・足音の音響モデルを用いて行うことを特徴とする上に記載の室内空間の歩行音の動線推定装置。
（３）前記パーティクルフィルタの重みづけは、過去に観測された音源位置を評価して行うことを特徴とする(１)乃至(２)のいずれかに記載の室内空間の歩行音の動線推定装置を提供する。
【００１７】
次に、本発明は、次の(４)から(６)の手段を提供する。
（４）マイクロフォンアレイ装置とセンサ情報統合装置からなる室内空間の歩行音の動線推定装置に使用される室内空間の歩行音の動線推定方法であって、
センサ情報統合装置はさらに室内空間を表示する表示部と信号処理部とを備えてマイクロフォンアレイ装置と接続され、
室内空間にマイクロフォンアレイを２個１組にして「ハ」の字型に配置され、
室内空間の歩行音がマイクロフォンアレイ１組で録音されて歩行音アナログ信号はＡＤ変換されて歩行音デジタル信号が生成され、
ＭＵＳＩＣ法を用いて歩行音デジタル信号から音源位置および到来方向が推定され(ステップ１)、
変形最小分散ビームフォーマによる音源分離され(ステップ２)、 
音源分離された分離音源から特徴が抽出され、音響モデルの尤度計算がされ、異常音が検出され(ステップ３)、
パーティクルフィルタによる歩行人数と動線が推定される(ステップ４)、
ことを特徴とする室内空間の歩行音の動線推定方法。
（５）前記音響モデルの尤度計算は、歩行音・足音の音響モデルを用いて行うことを特徴とする上に記載の室内空間の歩行音の動線推定方法。
（６）前記パーティクルフィルタの重みづけは、過去に観測された音源位置を評価して行うことを特徴とする(４)乃至(５)のいずれかに記載の室内空間の歩行音の動線推定方法を提供する。
【００１８】
さらに、本発明は、次の(７)から(８)の手段を提供する。
（７）(１)乃至(３)のいずれかに記載の前記室内空間の歩行音の動線推定装置のセンサ情報統合装置はさらに室内空間で使用される電気機器の動作センサと接続され、
前記各センサの出力信号はセンサ情報統合装置に伝送され、
センサ情報統合装置は、各出力信号をその電気機器の動作情報に変換し、
センサ情報統合装置は、前記推定された歩行動線情報と併せて上記変換された電気機器の動作情報を通信網に送信し、
前記送信された歩行動線情報と動作情報を通信網から受信した情報端末は表示画面を備え、時間シフトのスクロールバーの示す時刻の室内空間の歩行動線情報と電気機器の動作情報を前記表示画面にリアルタイム表示することを特徴とする遠隔室内空間見守りサービス提供システム。
（８）前記電気機器には、ベッド圧力センサ、車椅子搭載の位置・方向センサ、音声対話ロボットの音声認識装置が含まれることを特徴とする(７)記載の遠隔室内空間見守りシステムを提供する。
【００１９】
最後に、本発明は、
（９）(４)乃至(６)のいずれかに記載された室内空間の歩行音の動線推定方法を実行するためのプログラムを提供する。
【発明の効果】
【００２０】
独居高齢者の異常状態の検知だけでなく、高齢者のプライバシを考慮しつつ、日常生活の様子を遠隔から見守ることを目的とした、高齢者がプライバシに関する不安感や緊張感を感じることなく、遠隔にいる身内や介護者が容易に高齢者の日常行動を見守ることのできるようになる。
【図面の簡単な説明】
【００２１】
【図１】「ハ」の字型マイクロフォンアレイの構成図である。
【図２】室内空間における「ハ」の字型マイクロフォンアレイ２台の設置例を表した平面図である。
【図３】歩行音からの動線推定処理の流れをあらわすフローチャートである。
【図４】歩行動線推定を行うシステムの最小構成例をあらわす図である。
【図５】遮蔽物がある場合の「ハ」の字型マイクロフォンアレイ４台の設置例。
【図６】複数マイクロフォンアレイ装置とセンサ情報統合装置の接続例。
【図７】各種センサとセンサ情報統合装置の接続例。
【図８】クラウドサーバを用いたサービス提供の構成例。
【図９】高齢者の生活状況を情報端末の画面にＣＧで再構成した例。
【図１０】マイクロフォンアレイによる受音機能の説明図。
【図１１】本発明による動線推定の説明図。
【図１２】本発明による実施例の説明図で、テレビ音声の混合レベルがＣｌｅａｎ、１ｄＢ、−５ｄＢの場合の３動線を表わした図である。
【図１３】本発明による実施例の説明図で、テレビ音声の混合レベルがＣｌｅａｎの場合の動線を示している。
【図１４】本発明による実施例の説明図で、テレビ音声の混合レベルが１ｄＢの場合の動線を示している。
【図１５】本発明による実施例の説明図で、テレビ音声の混合レベルが−５ｄＢの場合の動線を示している。
【発明を実施するための形態】
【００２２】
本発明の概要を、クラウドサーバを用いたサービス提供システムの構成例をあらわす図８と、複数マイクロフォンアレイ装置とセンサ情報統合装置の接続例をあらわす図６と、高齢者の生活状況を情報端末の画面にＣＧで再構成した例をあらわす図９との３図に分けて示した。
本発明は、特に、図６に示されるマイクロフォンアレイ装置とその配置、図９および図６とに示されるセンサ情報統合装置における、それらの収集した室内空間の居住者の歩行音からの歩行動線推定方法に特徴があるので、まず以下にその実施形態を説明し、後からサービス提供システムその実施形態について説明する。
【００２３】
まず図６に示されるマイクロフォンアレイ装置とその配置について説明する。
本発明では、図１に示すように、直線上に３ｃｍ間隔でマイクロフォンを４個並べたマイクロフォンアレイユニット２本を、「ハ」の字になるように例えば２０ｃｍ弱程度の間隔をあけて、４５°傾けた配置を特徴とする、コンパクトサイズの「ハ」の字型マイクロフォンアレイ２台を使用する(図２)。
【００２４】
マイクロフォンの配置に関しては、音源定位の対象となる動線検出領域内の各位置において単一の音が発生した場合、全マイクロフォンで収録される音と、基準位置で観測される音との位相差のパターンが一意に決定されるような配置を考える必要がある。一定範囲内の周波数の音に関して「ハ」の字型マイクロフォンアレイは、遠く離れた場所にある音源の位置推定は困難になるが、到来方向の識別は可能である。
【００２５】
ある程度マイクロフォンアレイから遠く離れた場所を歩行していても、その位置推定を可能にするために、本発明では「ハ」の字型マイクロフォンアレイ２台を、例えば図２に示すように、１.５ｍ程度の間隔をあけて床に固定する。この構成により、十数平米程度の室内において、歩行音から歩行位置の推定が可能になる。
【００２６】
「ハ」の字型マイクロフォンアレイはコンパクトなサイズなので、室内床面への取付け・取外しは容易である。通常は「ハ」の字型マイクロフォンアレイの２本のマイクロフォンアレイユニットは金具などで固定しているため、これら８個のマイクロフォンの相対的な位置関係は不変である。従って、実際の環境に２台の「ハ」の字型マイクロフォンアレイを設置する場合は、その間隔とそれぞれの向きを計測して、全１６個のマイクロフォンの相対的な位置を特定する必要がる。実際の運用では、２台のマイクロフォンアレイの向きを共に正面に向けて直線上に固定する(図２)。これにより２台の間隔のみを計測することで、全１６個のマイクロフォンの位置関係が明らかにできる。計測した距離を本発明装置に入力することでキャリブレーション作業が完了し、一般ユーザでも容易に実行可能となっている。
【００２７】
次に図９および図６とに示されるセンサ情報統合装置における、それらの収集した室内空間の居住者の歩行音からの歩行動線推定方法について図３のフローチャートに従って説明する。
【００２８】
環境騒音の干渉があっても歩行位置の推定を頑健に行うために、本発明では、図３に示すように、複数音源位置を同時に推定可能なＭＵＳＩＣ法をステップ１で用いる。歩行位置を推定する動線検出領域内では等間隔のグリッド上で音源位置を定位し、動線検出領域外から到来する音源に関しては到来方向を推定する。
【００２９】
続くステップ２では、これら音源の位置情報に基づいて変形最小分散ビームフォーマを構成し、動線推定領域内で検出された各音源の分離を行う。
【００３０】
本発明では環境騒音がある中でも歩行音や足音だけを正しく聞き分けられるように、ステップ３では各分離音源の歩行音または足音らしさを評価する。これは予め歩行音や足音の学習用サンプルからメルケプストラム(ＭＦＣＣ)などの特徴量を抽出し、その特徴量をＧＭＭやＨＭＭなどの確率統計モデルを用いて、音響モデルを学習しておく。そして、音源分離された各音源から求めた特徴量に対する音響モデルの尤度を計算することで、歩行音または足音らしさを数値的に評価する。また特許文献３の手法に基づいて、転倒音や悲鳴などの異常音検出も行う。
【００３１】
ステップ４では、歩行位置を推定する動線推定領域内で検出された、各音源の位置と音響モデルの尤度の情報に基づいて、パーティクルフィルタを用いて同時歩行者の人数と各歩行者の動線推定を行う。
【００３２】
この様に本発明では、分離音源の歩行音または足音らしさを表す音響モデルの尤度を評価し、更に、断続的に発生する歩行音や足音の位置情報と音響モデルの尤度に基づいて、パーティクルフィルタにより動線を推定することで、環境騒音の干渉に対して頑健な動線推定が実現される。
【００３３】
実際の歩行音からの動線推定を行う装置の構成としては、図４に示すように、マイクロフォンアレイによる、（１）音源定位および、（２）音源分離、（３）音響モデルの尤度計算、更には（４）異常音検出を行うマイクロフォンアレイ装置と、音源位置情報と音響モデルの尤度からパーティクルフィルタにより歩行者人数や動線推定を行うセンサ情報統合装置の２つの装置により最小限のシステムが構成される。
なおマイクロフォンアレイ装置はアナログ音響信号の収集のみとし上記音源定位以下の信号処理の全てをセンサ情報統合装置で行う構成としてもよい(図示せず)。
【００３４】
もし、同じ室内でも遮蔽物などのため１台のマイクロフォンアレイ装置で部屋全体をカバーできない場合は、図５に示すように(この例ではベッドが遮蔽物)、もう１台のマイクロフォンアレイ装置を遮蔽物を挟んで反対側に設置する。この時、２台のマイクロフォンアレイ装置で音源定位の座標を共有するために、お互いのマイクロフォンアレイの相対的な位置関係を計測する必要がある。一方、同じ家の中の異なる部屋で動線推定をする場合、異なる部屋に置かれたマイクロフォンアレイ装置間で座標を共有する必要はない。
【００３５】
本発明装置では、図６に示すように、複数のマイクロフォンアレイ装置とセンサ情報統合装置の間は有線・無線のネットワーク接続を利用することも可能である。センサ情報統合装置では、複数のマイクロフォンアレイ装置から非同期で送られてくる音源位置と音響モデルの尤度を統合して、動線推定を行う。従って、複数のマイクロフォンアレイシステムを追加することは容易に実現される。
【００３６】
本発明による独居高齢者の見守りサービスは以下の様に実現する。マイクロフォンアレイ装置を用いた音響センサによる歩行動線の情報の他、例えば図７に示すように、ベッドに圧力センサを敷いて高齢者がベッドに寝ているかどうかや、何時間ベッドの上で過ごしているかなどの情報、テレビやラジオ、またライトなどの各電気機器の動作状態(電源のオン・オフや各状態の継続時間など)の情報、音声対話ロボットなどによる音声認識、車椅子搭載の位置・方向センサなどの情報もセンサ情報統合装置に集約し、各情報に時刻の情報が不足する場合は、センサ情報統合装置の有する時刻の情報を各情報に適宜関連づけて各情報に追加する。
【００３７】
マイクロフォンアレイ装置では、特許文献３にある手法を用いて異常音の検出も行い、異音が検知された場合には、異常音発生位置と共に、その情報がセンサ情報統合装置に送られる。これらのセンサ情報は、その時刻の情報と共に、図８に示すように、通信網あるいはクラウド上にあるアプリケーションサーバに転送される。そして、遠隔にいる身内や介護者は手元のタブレットやスマートフォンなどの情報端末を利用して通信網から受信あるいはアプリケーションサーバにアクセスすることで、独居高齢者宅の各種センサにより収集した情報を取得し、例えば図９に示すように、手元の情報端末の画面上に高齢者の日常生活の様子を３次元のＣＧでリアルタイム表示する。
【００３８】
図中、円柱の上に球がのっているのが人を表している。図中では、例として歩行時の人、ベッドに寝ている状態の人、車椅子に搭乗している状態の人を表示している。車椅子のシートにも圧力センサを設置しておくことで、車椅子の位置や方向だけでなく、人の搭乗の有無に関する状態も検知できるようにしてある。テレビがオフの状態では画面が黒く表示され、オンの状態では白く表示する。ライトのオン・オフ状態も表示する。人や各電気機器などを画面上でクリックすると、それに関する情報が文字として表示される。
【００３９】
例えば、各電気機器をクリックすると、現在の状態とその状態の継続時間などが表示される。異常音発生時は、ＣＧ上の発生位置に異常音が発生したことを知らせるマークを表示する。例えば、遠隔から情報端末のＣＧを見ていて、歩行の途中に異常音が発生したことを知らせるマークが表示され、円柱状の人のシンボルが停止して一定時間以上動かなくなったら、その場所で高齢者が転倒したかもしれないと推測できる。情報端末では、視点の回転やズームなどの操作が可能で、任意の角度から部屋の様子を見守れるようになっている。
また、３次元のＣＧ画面の下には、時間シフトのスクロールバーがあり、これを左右に移動することで、移動したスクロールバーの示す時刻における各情報が３次元のＣＧ画面に適宜表示され、過去に遡って独居高齢者の生活状態を確認できる。
【００４０】
以上の様にして遠隔から独居高齢者の日常生活の行動様式を見守るシステムが実現される。独居高齢者はプライバシに関する不安感や緊張感を感じることなく、遠隔から身内や介護者などの人の目による見守りという安心を得ることができるようになる。また遠隔の身内や介護者も、独居高齢者のより詳細な生活様式が確認できるため安心できる。
【実施例１】
【００４１】
以下に、マイクロフォンにより録音収集されＡＤ変換されたデジタル音響信号に基づく音源処理と、音源処理された歩行音からの動線推定処理について詳述する。
（ステップ１：サブステップ１：音源定位）
複数のマイクロフォンは３次元空間中の任意の位置に配置可能である。３次元空間中の任意の位置
【数１】
2014191616.tif 000003
に置かれた音源から出力された音響信号を、３次元空間中の任意の位置
【数２】
2014191616.tif 000004
に配置されたＱ個のマイクロフォンで受音する。音源と各マイクロフォン間の距離Ｒqは次式で求められる。
【００４２】
【数３】
2014191616.tif 000005
音源から各マイクロフォンまでの伝播時間τqは、音速をｖとすると、次式で求められる。
【数４】
2014191616.tif 000006
各マイクロフォンで受音した中心周波数ωの狭帯域信号の、音源のそれに対する利得ｇqは、一般的に、音源とマイクロフォン間の距離Ｒqと中心周波数ωの関数として定義される。
【００４３】
【数５】
2014191616.tif 000007
例えば、利得を距離Ｒqだけの関数として、実験的に求めた次式のような関数を用いる。
【数６】
2014191616.tif 000008
【００４４】
中心周波数ωの狭帯域信号に関する、音源と各マイクロフォン間の伝達特性は、
【数７】
2014191616.tif 000009
と表される。そして、位置Ｐ0にある音源を表す位置ベクトルａ(ω，Ｐ0)を、次式のように、狭帯域信号に関する、音源と各マイクロフォン間の伝達特性を要素とする複素ベクトルとして定義する。
【００４５】
（ステップ１：サブステップ２：音源位置の推定）
【数８】
2014191616.tif 000010
音源位置の推定はＭＵＳＩＣ法(相関行列を固有値分解することで信号部分空間と雑音部分空間を求め、任意の音源位置ベクトルと雑音部分空間の内積の逆数を求めることにより、音源の音波到来方向や位置を調べる手法)を用いて、以下の手順で行う。ｑ番目のマイクロフォン入力の短時間フーリエ変換を
【００４６】
【数９】
2014191616.tif 000011
で表し、これを要素として観測ベクトルを次のように定義する。
【数１０】
2014191616.tif 000012
ここで、ｎはフレーム時刻のインデックスである。連続するＮ個の観測ベクトルから相関行列を次式により求める。
【００４７】
【数１１】
2014191616.tif 000013
この相関行列の大きい順に並べた固有値を
【数１２】
2014191616.tif 000014
とし、それぞれに対応する固有ベクトルを
【００４８】
【数１３】
2014191616.tif 000015
とする。そして、音源数Ｓを次式により推定する。
【数１４】
2014191616.tif 000016
もしくは、固有値に対する閾値を設け、その閾値を超える固有値の数を音源数Sとすることも可能である。
雑音部分空間の基底ベクトルから行列Ｒn(ω)を次のように定義し、
【数１５】
2014191616.tif 000017
【００４９】
周波数帯域
【数１６】
2014191616.tif 000018
および音源定位の探索領域Ｕを
【数１７】
2014191616.tif 000019
として、
【００５０】
【数１８】
2014191616.tif 000020
を計算する。そして、関数Ｆ(Ｐ)が極大値をとる座標ベクトルを求める。ここでは仮にＳ個の極大値を与える座標ベクトルがＰ1，Ｐ2，・・・，Ｐsが推定されたとする。次にその各々の座標ベクトルにある音源のパワーを次式により求める。
【数１９】
2014191616.tif 000021
【００５１】
そして、２つの閾値Ｆthr，Ｐthrを用意し、各位置ベクトルにおけるＦ(Ｐs)とＰ(Ｐs)が次の条件を満足するときに、
【数２０】
2014191616.tif 000022
【００５２】
連続するＮ個のフレーム時間内の座標ベクトルＰlにおいて音が発生したと判断する。
音源位置の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。音源位置の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式(３０)の条件が満たされたら音の発生があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音源の移動奇跡を捉えることができる。
【００５３】
（ステップ１：サブステップ３：周囲雑音の音波到来方向推定）
マイクロフォンアレイから遠距離にある音源の音波が到来する方向を、マイクロフォンアレイで推定する手法について以下に述べる。
複数のマイクロフォンは３次元空間中の任意の位置に配置可能である。遠距離から到来する音波は平面波として観測されると考える。
【００５４】
図１０は本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。
図１０は、例として、任意の位置に配置された３個のマイクロフォンｍ１、ｍ２、ｍ３で、音源から到来した音波を受音する場合を示している。図１０で、点ｃは基準点を示しており、この基準点のまわりで音波の到来方向を推定する。図１０で、平面ｓは、基準点ｃを含む平面波の断面を示している。平面ｓの法線ベクトルｎは、そのベクトルの向きを音波の伝播方向と逆向きとし、次式のように定義する。
【００５５】
【数２１】
2014191616.tif 000023
３次元空間中の音源の音波到来方向は２つのパラメータ(θ，φ)で表される。方向(θ，φ)から到来する音波を各マイクロフォンで受音し、そのフーリエ変換を求めることで受音信号を狭帯域信号に分解し、各受音信号の狭帯域信号毎に利得と位相を複素数として表し、それを要素として狭帯域信号毎に全受音信号分だけ並べたベクトルを音源の位置ベクトルと定義する。以下の処理において、方向(θ，φ)から到来する音波は、前述の位置ベクトルとして表現される。位置ベクトルは具体的に以下のように求められる。ｑ番目のマイクロフォンと平面ｓの間の距離ｒqを次式により求める。
【００５６】
【数２２】
2014191616.tif 000024
距離ｒqは平面ｓに関してマイクロフォンが音源側に位置すれば正となり、逆に音源と反対側にある場合は負の値をとる。音速をｖとするとマイクロフォンと平面ｓ間の伝播時間Ｔqは次式で表される。
【００５７】
【数２３】
2014191616.tif 000025
平面ｓでの振幅を基準としてそこから距離ｒq離れた位置の振幅に関する利得を、狭帯域信号の中心周波数ωと距離ｒqの関数として次のように定義する。
【数２４】
2014191616.tif 000026
平面ｓでの位相を基準としてそこから距離ｒq離れた位置の位相差は、次式で表される。
【００５８】
【数２５】
2014191616.tif 000027
以上より、平面ｓを基準として、各マイクロフォンで観測される狭帯域信号の利得と位相差は次式で表される。
【数２６】
2014191616.tif 000028
【００５９】
Ｑ個のマイクで(θ、φ)方向から到来する音波を観測するとき、音源の位置ベクトルは、各マイクロフォンについて式(２６)に従い求めた値を要素とするベクトルとして次式のように定義される。
【数２７】
2014191616.tif 000029
【００６０】
音源の位置ベクトルが定義されたら、音波の到来方向推定は、ＭＵＳＩＣ法を用いて行われる。式(１５)で与えられる行列Ｒn(ω)を用い、音波到来方向推定の探索領域Ｉを
【数２８】
2014191616.tif 000030
として、
【００６１】
【数２９】
2014191616.tif 000031
【００６２】
を計算する。そして、関数Ｊ(θ、φ)が極大値を与える方向(θ、φ)を求める。ここでは仮にＫ個の音源が存在し、極大値を与えるＫ個の音波到来方向((θ1、φ1)，・・・，(θk、φk))が推定されたとする。次にその各々の音波到来方向にある音源のパワーを次式により求める。
【００６３】
【数３０】
2014191616.tif 000032
そして、２つの閾値Ｊthr，Ｑthrを用意し、各到来方向におけるＪ(θk，φk)とＱ(θk，φk)が次の条件を満足するときに、
【００６４】
【数３１】
2014191616.tif 000033
【００６５】
連続するＮ個のフレーム時間内の到来方向(θk，φk)において発声があったと判断する。音波の到来方向の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。到来方向の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式(３１)の条件が満たされたらその方向から音波の到来があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音波の到来方向の移動奇跡を捉えることができる。
【００６６】
（ステップ２：音源分離処理）
音の発生位置または到来方向は前記音源定位処理により求められている。また、周囲雑音の音源位置または到来方向も既に推定されている。これらの推定結果と式(８)と式(２７)の音源位置ベクトル、そして無指向性雑音の分散を表すσを用いて、行列Ｖ(ω)を次式のように定義する。
【００６７】
【数３２】
2014191616.tif 000034
この相関行列の大きい順に並べた固有値を
【００６８】
【数３３】
2014191616.tif 000035
とし、それぞれに対応する固有ベクトルを
【数３４】
2014191616.tif 000036
とする。
【００６９】
ここで、相関行列Ｖ(ω)には近距離音源Ｓ個と遠距離音源Ｋ個を合わせて(Ｓ＋Ｋ)個の音源が含まれているから、固有値の大きい方から(Ｓ＋Ｋ)の固有値と固有ベクトルを用いて、Ｚ(ω)を次式のように定義する。
【数３５】
2014191616.tif 000037
そして、近距離の座標ベクトルＰで発生した音源を強調する分離フィルタＷ(ω)は、次式で与えられる。
【００７０】
【数３６】
2014191616.tif 000038
式(３６)の分離フィルタに式(１０)の観測ベクトルを乗じることで座標ベクトルＰの位置で発生した音ｖ(ω)が得られる。
【００７１】
【数３７】
2014191616.tif 000039
この強調された音源の波形信号は式(３７)の逆フーリエ変換を計算することで求められる。
【００７２】
一方、遠距離の方向(θ，φ)から到来する周囲雑音を強調する場合の分離フィルタＭ(ω)は次式で与えられる。
【数３８】
2014191616.tif 000040
【００７３】
式(３８)の分離フィルタに式(１０)の観測ベクトルを乗じることで方向(θ，φ)から到来する周囲雑音ｖ(ω)が得られる。
【数３９】
2014191616.tif 000041
【００７４】
（ステップ３：分離音源からの特徴抽出と音響モデルの尤度計算、異常音の検出）
前述の音源定位処理は、歩行位置検出領域内で平面の等間隔グリッド上で行う。
時刻ｔにおいて式(１４)により検出された音源数をＮｚ(ｔ)とし、その座標を、
【数４０】
2014191616.tif 000042
とする。また各位置における分離音源は、式(３６)および式(３７)により求められる。この分離音源からＭＦＣＣ ｆk,jを求め、予め足音から学習した音響モデルＧＭＭまたはＨＭＭに基づいて尤度ｌk,jを求める。
【００７５】
時刻ｋにおいてｉ番目のパーティクルが持つ状態変数を座標ｘ(i)k，ｙ(i)kと、その時間差分Δｘ(i)k，Δｙ(i)kとし、この状態変数が次のプロセス方程式に従うと仮定する。パーティクルの総数はＮpとする(ｉ＝１，…，Ｎp)。
【数４１】
2014191616.tif 000043
ここでＬ*()は次式のリミッタ関数である。
【数４２】
2014191616.tif 000044
またδ*，ξ*は次式のプロセス雑音である。
【数４３】
2014191616.tif 000045
【００７６】
マイクロフォンアレイシステムから時刻ｋにおいて送られる観測座標、
【数４４】
2014191616.tif 000046
と、状態変数の座標ｘ(i)k，ｙ(i)kの間に次の観測方程式の関係を仮定する。
【数４５】
2014191616.tif 000047
ここでζ*は次式の観測雑音である。
【数４６】
2014191616.tif 000048
【００７７】
パーティクルの重みｗ(i)kを次式により更新する。
【数４７】
2014191616.tif 000049
【００７８】
歩行音や足音以外の環境騒音による動線推定への影響を抑えるために、歩行音または足音らしさを表す音響モデルの尤度ｌk,jを導入している。また、音源定位処理で得られる音源位置は周囲雑音などの影響により突発的に大きな誤差を含む場合があるが、そのような突発的な誤差の影響を抑えるために、時刻ｋにおける重みの更新に、現時刻も含めてＮk前まで過去に遡り観測された座標も計算に含める。また、複数のマイクロフォンアレイ装置から非同期に送られてくる位置情報は、マイクロフォン装置間で推定時刻に差が生じるが、これらの情報を統合するためにも、一定の時間幅を持たせる必要がある。
【００７９】
但し、過去になるほど影響の度合いを低くするために忘却係数α，(０＜α≦１)を導入している。一般的に高齢者の歩行はゆっくりであるため、過去の歩行位置を含めることにより生じる遅延の影響は限定的である。パーティクルの尤度は次式により与えられる。
【数４８】
2014191616.tif 000050
【００８０】
次に重みの正規化を次式により行う。
【数４９】
2014191616.tif 000051
重みの降順にパーティクルをソートする。最大の重みが閾値ＴＨＲwより小さい場合、足音はないものと判断する。
最大の重みに一定の割合β，(０≦β＜１)を乗じた値を閾値とする。その閾値ＴＨＲβ以上の重みを持つパーティクルを対象に、以下の手順で互いに距離が一定値Ｄ以上離れるＮs個のクラスＣk,s，ｓ＝１,…,Ｎsに分類する。クラスＣk,sは、このクラスに属するパーティクル番号ｉの集合である。この時Ｎsは同時に歩いている人数を表す。
【００８１】
まず、Ｎs＝１として、最大重みのパーティクルの座標から距離Ｄ以内にあるパーティクルを取り出し、同じクラスに分類する。次に、未分類のパーティクルの中で最大の重みを持つパーティクルを選択しクラス数Ｎsを１つ増やし、同様に未分類のパーティクルの中で距離がＤ以内にあるパーティクルを同じクラスに分類する。
【００８２】
この処理を重みが閾値ＴＨＲβ以上の全てのパーティクルが分類されるまで繰り返す。
そして各クラスの座標の推定値を次式により求める。
【数５０】
2014191616.tif 000052
【００８３】
最後に全パーティクルが一様な重みを持つようにリサンプリングする。
【数５１】
2014191616.tif 000053
【００８４】
（ステップ４：歩行人数と動線の推定）
時刻ｋにおいて、足音の数がＮsと推定され、各足音の座標が式(５０)により推定されている。歩行動線を求めるには、これら時刻ｋの推定結果と時刻ｋ−１の推定結果を結び付ける必要がある。これは以下の様に行う。
【００８５】
図１１は、時刻ｋ−１においてパーティクルが４つのクラスに分類され、各クラスの確率分布が実線のように表され、そして各クラスで推定された座標が実線で示された確率分布の間の点のように推定されたと仮定している。また時刻ｋにおいてはパーティクルが３つのクラスに分類され、各クラスで点線で示された確率分布の間の点のように足音の座標が推定されたとする。この時刻ｋで推定された３つの座標のそれぞれについて、以下の処理を行う。
【００８６】
まずクラスＣk,1を例にすると、推定した座標を中心に半径Ｒの円を考え、その中に座標が入る時刻ｋ−１のクラスの中で最も近いクラスを選択する。この例では、クラスＣk-1,1が選択され、クラスＣk-1,1の座標からクラスＣk,1の座標へと動線が延長される。クラスＣk,2の場合は、半径Ｒの円内に２つのクラスＣk-1,2とＣk-1,3が存在する。この場合、距離が最も小さくなるクラスＣk-1,2が選択され、クラスＣk-1,2の座標からクラスＣk,2の座標へと動線が延長される。クラスＣk-1,3は選択されず消滅する。
【００８７】
クラスＣk,3の場合は、半径Ｒの円内に以前の推定結果が存在しないため、新たな動線の起点となる。クラスＣk,3の場合は、動線の延長先が見つからないので、消滅する。
一方、短時間立ち止まったあと再び歩き始めた場合など、動線が途切れることなく繋がっていた方が良い場合もある。このような場合、上記の消滅条件を満たしても即刻消滅するのではなく、Time To Live(ＴＴＬ)カウンタを用意して、消滅条件を満たした後、ＴＴＬカウンタがゼロになるまで保存し、同座標に留めておく等の処理を行う。
【実施例２】
【００８８】
図２に示すレイアウトのように実験室に簡易的な居住空間を構築し、動線検出領域内(Ｘ軸[２５０：５５０]×Ｙ軸[０：３００])で円を描くように摺り足で数周歩行したときの歩行音と、環境騒音としてテレビ音声とを別々に収録した。テレビの音量は健常者の耳で通常と思われるレベルとした。このテレビ音声と歩行音との間でＳＮＲを計算すると１ｄＢ強であった。実験では、歩行音のみの場合(Ｃｌｅａｎ)、通常レベルのテレビ音声との混合(ＳＮＲ１ｄＢ)、そして高齢者は難聴傾向にあるためテレビの音量を大きめに設定することから、テレビ音声を増幅後に混合(ＳＮＲ-５ｄＢ)して、雑音重畳歩行音を生成した。
【００８９】
テレビ音声の混合レベルが異なるこれら３種類の歩行音から、提案法により推定した動線の各時刻における座標のプロットを図１２に示す。図中、＋はＣｌｅａｎ、×は１ｄＢ、＊は−５ｄＢの結果を示す。また、図１３から図１５に各動線を単独で示した。音源定位は１０ｃｍ間隔のグリッド上で行った。何れの結果も歩行通りに円を描くような動線が得られている。また、これら３種類の結果を比較するとおおよそ一致していることから、テレビ音声の干渉に対して頑健な動線推定が行えていることがわかる。
【実施例３】
【００９０】
本発明の方法は、センサ情報統合装置として、表示部を備えたポータブルＰＣ利用し、Ｃ言語で作成したプログラムで検証した。
ただし、本発明の方法を実行するプログラムの言語は問わない。
また実行環境や実装環境により異なるモデュールとあってもよい。
プログラムの実行環境は、マイクロフォンアレイ装置、センサ情報統合装置、クラウドあるいはアプリケーションサーバであってもよく、また機能は一装置に統合されていてもよいし、分散されていてもよい。
プログラムの装置またはシステムへの実装は、起動時読み込み、実行時読み込み、あるいはあらかじめ装置に組み込まれていてもよい。
【産業上の利用可能性】
【００９１】
本発明は、主に室内空間に居住する高齢独居者をモデルにした見守りシステムとして提案したが、他に、屋根裏や床下等の(小)動物、(夜間)動物園の檻の動物の異常行動(遠隔)監視にも利用できる。
人と動物とでは歩行音・足音の特徴が異なるので、事前に(監視)対象動物の歩行音の音響モデルを作成しておくと動線推定が最適化される。
【符号の説明】
【００９２】
１  マイクロフォン
２  マイクロフォン
３  マイクロフォンアレイ装置
４  センサ情報統合装置
５  ハブ
６  ベッド圧力センサ
７  車椅子位置方向センサ・搭乗検知センサ
８  音声対話ロボット
９  モニタ(電気機器の動作状況)
１０  タブレットやスマートフォンなど情報端末
１１  クラウド
１２  アプリケーションサーバ
１３  通信網
【図１】
2014191616.tif 000054
【図２】
2014191616.tif 000055
【図３】
2014191616.tif 000056
【図４】
2014191616.tif 000057
【図５】
2014191616.tif 000058
【図６】
2014191616.tif 000059
【図７】
2014191616.tif 000060
【図８】
2014191616.tif 000061
【図９】
2014191616.tif 000062
【図１０】
2014191616.tif 000063
【図１１】
2014191616.tif 000064
【図１２】
2014191616.tif 000065
【図１３】
2014191616.tif 000066
【図１４】
2014191616.tif 000067
【図１５】
2014191616.tif 000068