(57)【要約】【課題】ユーザのプライバシーを保護すること。【解決手段】生活音記録装置は、ユーザの生活空間において発生する音声が含まれる音声データを取得する取得部と、前記取得部によって取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割する分割部と、前記分割部によって分割されて得られた複数のフレームの順番を変更してメモリに記録する記録制御部とを有する。【選択図】図２
2019132912.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの生活空間において発生する音声が含まれる音声データを取得する取得部と、
前記取得部によって取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割する分割部と、
前記分割部によって分割されて得られた複数のフレームの順番を変更してメモリに記録する記録制御部と
を有することを特徴とする生活音記録装置。
【請求項２】
前記分割部によって分割されて得られたフレームそれぞれに、生活音が含まれるか否かを判定する判定部をさらに有し、
前記記録制御部は、
前記判定部によって生活音が含まれないと判定されたフレームを削除することにより、前記複数のフレームの順番を変更することを特徴とする請求項１記載の生活音記録装置。
【請求項３】
前記記録制御部は、
前記分割部によって分割されて得られたフレームを所定数ずつ蓄積し、蓄積された所定数のフレームの順序を入れ替えることにより、前記複数のフレームの順番を変更することを特徴とする請求項１記載の生活音記録装置。
【請求項４】
前記分割部によって分割されて得られたフレームそれぞれに、生活音が含まれるか否かを判定する判定部をさらに有し、
前記記録制御部は、
前記判定部による判定後のフレームを所定数ずつ蓄積し、蓄積された所定数のフレームのうち前記判定部によって生活音が含まれないと判定されたフレームの順序を入れ替えることにより、前記複数のフレームの順番を変更することを特徴とする請求項１記載の生活音記録装置。
【請求項５】
前記分割部は、
音声データを２００ｍｓ（ミリ秒）以上５００ｍｓ以下の時間長のフレームに分割することを特徴とする請求項１記載の生活音記録装置。
【請求項６】
前記記録制御部は、
フレームに含まれる音声の入力時刻を示すタグを当該フレームに付与してメモリに記録することを特徴とする請求項１記載の生活音記録装置。
【請求項７】
前記メモリに記録された順番のフレームからなる音声データを送信する送信部をさらに有することを特徴とする請求項１記載の生活音記録装置。
【請求項８】
ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームからなる音声データを取得する取得部と、
前記取得部によって取得された音声データの各フレームから生活音を抽出する抽出部と、
前記抽出部によって抽出された生活音の種類を判別する判別部と
を有することを特徴とする情報処理装置。
【請求項９】
前記取得部は、
互いに異なる位置に設置された第１の生活音記録装置及び第２の生活音記録装置からそれぞれ第１の音声データ及び第２の音声データを取得し、
前記判別部は、
前記第１の音声データのフレーム及び前記第２の音声データのフレームから抽出された生活音の時間差を算出し、算出された時間差に基づいて生活音の音源の位置を推定することを特徴とする請求項８記載の情報処理装置。
【請求項１０】
ユーザの生活空間において発生する音声が含まれる音声データを取得し、
取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割し、
分割されて得られた複数のフレームの順番を変更してメモリに記録する
処理をコンピュータが実行することを特徴とする生活音記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生活音記録装置及び生活音記録方法に関する。
【背景技術】
【０００２】
近年、人工知能技術の発達や膨大な会話データベースの蓄積などにより、電子機器に対して人間の音声による入力をすることが実用的になりつつある。また、比較的マイクロフォンから離れた位置の音声を認識するファーフィルド音声認識も実用レベルに達し、例えばマイクロフォンから数ｍ程度離れた位置からの音声認識が可能となっている。これらの技術は、多様なサービスの実現に貢献すると期待されている。
【０００３】
一方、人間の生活空間において発生する音は、発話によって発生する音声に限らず、例えば咳き込む音、足音及びドアの開閉音など、突発的な音や人間の可聴域を超えた音が発生することがある。このような生活音は、例えば高齢者の安否を確認する見守りサービスなど種々のサービスに活用可能であると考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３３６７１号公報
【特許文献２】特開２００５−０８６７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、生活音を活用するサービスを提供する上で、生活音を記録することについては具体的に検討されていない。すなわち、例えばユーザの住宅で発生する音を単にすべて記録する場合には、ユーザが発話した音声もそのまま記録されてしまい、ユーザのプライバシーが保護されないという問題がある。そこで、電子機器へ入力される音声に対してリアルタイム処理を施し、特定のイベントを検出して記録することも考えられるが、リアルタイム処理の処理負荷が大きく、現実的ではない。
【０００６】
１つの側面では、本発明は、ユーザのプライバシーを保護しつつ生活音を記録することができる生活音記録装置及び生活音記録方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一態様では、生活音記録装置は、ユーザの生活空間において発生する音声が含まれる音声データを取得する取得部と、前記取得部によって取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割する分割部と、前記分割部によって分割されて得られた複数のフレームの順番を変更してメモリに記録する記録制御部とを有する。
【発明の効果】
【０００８】
ユーザのプライバシーを保護しつつ生活音を記録することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施例１に係る情報処理システムの構成例を示す図である。
【図２】図２は、実施例１に係る生活音記録装置の構成を示すブロック図である。
【図３】図３は、生活音の具体例を示す図である。
【図４】図４は、実施例１に係るサーバ装置の構成を示すブロック図である。
【図５】図５は、実施例１に係る生活音記録方法を示すフロー図である。
【図６】図６は、実施例２に係る生活音記録装置の構成を示すブロック図である。
【図７】図７は、実施例２に係るサーバ装置の構成を示すブロック図である。
【図８】図８は、実施例２に係る生活音記録方法を示すフロー図である。
【図９】図９は、フレーム入れ替えの具体例を示す図である。
【図１０】図１０は、フレーム入れ替えの他の具体例を示す図である。
【図１１】図１１は、実施例３に係る情報処理システムの構成例を示す図である。
【図１２】図１２は、実施例３に係る生活音判別方法を示すフロー図である。
【図１３】図１３は、生活音の判別を説明する図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して本願に係る生活音記録装置及び生活音記録方法について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１１】
［情報処理システム］
図１は、実施例１に係る情報処理システムの構成例を示す図である。図１に示す情報処理システムにおいては、例えばユーザの住宅内などに生活音記録装置１００が設置され、生活音記録装置１００と基地局装置１０とが互いに通信可能となっている。そして、基地局装置１０は、例えばインターネットなどのネットワークＮを介してサーバ装置２００と接続されている。生活音記録装置１００は、例えばユーザが所持するパーソナルコンピュータやスマートフォンなどの汎用の情報処理端末であっても良いし、専用のＩｏＴ（Internet  of  Things）端末であっても良い。
【００１２】
生活音記録装置１００は、例えばマイクロフォンなどの音声入力デバイスを備え、音声入力デバイスから入力される周囲の音声を記録する。このとき、生活音記録装置１００は、入力される音声を生活音が判別可能な時間長（例えば５００ｍｓ（ミリ秒））のフレームに分割し、フレームの順番を変更した上で、各フレームの音声データを記録する。そして、生活音記録装置１００は、記録した音声データを基地局装置１０へ送信する。なお、生活音記録装置１００の具体的な構成及び動作については、後に詳述する。
【００１３】
基地局装置１０は、例えば生活音記録装置１００と同じ住宅内に設置されたアクセスポイント、又は住宅外に設置された移動体通信システムの基地局装置であり、生活音記録装置１００から送信された音声データを受信して、サーバ装置２００へ転送する。なお、基地局装置１０は、必ずしも生活音記録装置１００と無線通信する必要はなく、生活音記録装置１００と基地局装置１０が有線接続されていても良い。生活音記録装置１００と基地局装置１０が有線接続される場合には、基地局装置１０は、例えばゲートウェイに相当する。
【００１４】
サーバ装置２００は、基地局装置１０から転送される音声データを取得し、各フレームの音声データに含まれる生活音を抽出する。そして、サーバ装置２００は、抽出した生活音が何の音であるかを判別し、判別結果を出力する。このとき、生活音記録装置１００によってフレームの順番が変更されているため、ユーザの発話による音声など複数フレームにわたって連続する音声はサーバ装置２００において判別されず、ユーザのプライバシーが保護される。
【００１５】
［生活音記録装置の構成］
図２は、実施例１に係る生活音記録装置１００の構成を示すブロック図である。図２に示す生活音記録装置１００は、音声入力部１１０、プロセッサ１２０、無線送信部１３０及びメモリ１４０を有する。
【００１６】
音声入力部１１０は、例えばマイクロフォンを備え、生活音記録装置１００の周囲の音声の入力を受け付ける。そして、音声入力部１１０は、入力された音声を例えば１９２ｋＨｚのサンプリング周波数で高速サンプリングし、得られた音声データをプロセッサ１２０へ出力する。なお、音声入力部１１０は、音声データを取得する取得部の一例である。
【００１７】
生活音記録装置１００が例えばユーザの住宅内に設置されるため、音声入力部１１０へ入力される音声には、ユーザが発話して発生する話声音やユーザの生活に伴って発生する生活音が含まれる。生活音は、ユーザの発話以外の行動や動作に伴って発生する音声であり、具体的な例としては例えば図３に示すようなものがある。
【００１８】
図３は、生活音の具体例として、（Ａ）包丁使用時の音、（Ｂ）冷蔵庫のドアを閉じる音、及び（Ｃ）ガスコンロに点火する音のレベルの時間変化を示す図である。これらの生活音は、人間の可聴周波数より高い周波数帯域での特徴があるとともに、継続時間が概ね２００〜３００ｍｓであり、大部分が５００ｍｓ以下であることがわかっている。すなわち、例えば図３に示す（Ａ）包丁使用時の音では、所定レベル以上の音が断続的に複数回発生するものの、１回当たりの音の継続時間は１００ｍｓ程度である。また、図３に示す（Ｂ）冷蔵庫のドアを閉じる音の継続時間は２１０ｍｓ程度であり、（Ｃ）ガスコンロに添加する音の継続時間は４２０ｍｓ程度である。
【００１９】
このように、ユーザの発話以外の行動や動作に伴って発生する生活音は、継続時間が５００ｍｓ以下であることが多く、ユーザの発話に伴って発生する話声音よりも短く突発的である傾向が見られる。
【００２０】
図２に戻って、プロセッサ１２０は、例えばＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）又はＤＳＰ（Digital  Signal  Processor）などを備え、生活音記録装置１００全体を統括制御する。具体的には、プロセッサ１２０は、分割部１２１、生活音判定部１２２、記録制御部１２３及び通信制御部１２４を有する。
【００２１】
分割部１２１は、音声入力部１１０から入力される音声データをフレームに分割する。具体的には、分割部１２１は、連続して入力される音声データを、生活音を判別することができる時間長のフレームに分割する。上述したように、生活音の継続時間は、大部分が５００ｍｓ以下であるため、分割部１２１は、音声データを例えば５００ｍｓのフレームに分割する。フレームの時間長が２００〜５００ｍｓ程度であれば、個々のフレームから生活音を抽出可能である一方、生活音よりも継続時間が長い話声音は１フレーム内に収まらないため、個々のフレームからユーザの発話の内容を判別することは困難である。
【００２２】
生活音判定部１２２は、分割部１２１によって音声データが分割されて得られたフレームそれぞれに生活音が含まれるか否かを判定する。具体的には、生活音判定部１２２は、例えば各フレームの音声データに所定の閾値以上のレベルの音声が含まれるか否かを判定し、所定の閾値以上のレベルの音声が含まれるフレームに生活音が含まれると判定する。
【００２３】
記録制御部１２３は、生活音判定部１２２による判定結果に基づいて、各フレームの音声データの記録を制御する。具体的には、記録制御部１２３は、生活音判定部１２２によって生活音が含まれると判定されたフレームに音声の入力時刻などのタグを付与し、メモリ１４０に記録する。また、記録制御部１２３は、生活音判定部１２２によって生活音が含まれないと判定されたフレームを破棄して削除する。つまり、記録制御部１２３は、生活音が含まれないフレームを間引き、生活音が含まれるフレームのみをメモリ１４０に記録する。結果として、記録制御部１２３は、音声データのフレームの順番を変更してメモリ１４０に記録することになる。
【００２４】
通信制御部１２４は、音声データの送信を制御する。具体的には、通信制御部１２４は、メモリ１４０に記録された音声データのフレームから送信データを生成し、送信データの宛先をサーバ装置２００に設定して無線送信部１３０へ出力する。通信制御部１２４は、メモリ１４０に音声データが記録された際にリアルタイムで送信データを生成しても良いし、メモリ１４０に蓄積された音声データから所定の周期で送信データを生成しても良い。換言すれば、通信制御部１２４は、音声データをリアルタイムで送信しても良いし、一定量メモリ１４０に蓄積されてから送信しても良い。
【００２５】
無線送信部１３０は、通信制御部１２４によって生成された送信データに対して所定の無線送信処理を施し、アンテナを介して基地局装置１０へ送信する。送信データは、基地局装置１０によって受信された後、宛先として設定されたサーバ装置２００へ転送される。
【００２６】
メモリ１４０は、例えばＲＡＭ（Random  Access  Memory）又はＲＯＭ（Read  Only  Memory）などを備え、記録制御部１２３から出力される音声データのフレームを記録する。メモリ１４０に記録されるフレームの順番は、記録制御部１２３によってフレームが間引かれた結果、入力された音声データのフレームの順番から変更されている。このため、複数のフレームにわたって連続する話声音の内容は判別困難となり、ユーザのプライバシーが保護される。また、メモリ１４０は、プロセッサ１２０によって処理が実行される際に、種々の情報を記憶する。
【００２７】
［サーバ装置の構成］
図４は、実施例１に係るサーバ装置２００の構成を示すブロック図である。図４に示すサーバ装置２００は、通信インタフェース（以下「通信Ｉ／Ｆ」と略記する）２１０、プロセッサ２２０及びメモリ２３０を有する。
【００２８】
通信Ｉ／Ｆ２１０は、例えばインターネットなどのネットワークＮに接続し、種々のデータを送受信する。具体的には、通信Ｉ／Ｆ２１０は、生活音記録装置１００から送信された音声データを受信する。
【００２９】
プロセッサ２２０は、例えばＣＰＵ、ＭＰＵ、ＡＳＩＣ、ＦＰＧＡ又はＤＳＰなどを備え、サーバ装置２００全体を統括制御する。具体的には、プロセッサ２２０は、生活音抽出部２２１、生活音判別部２２２及び結果出力部２２３を有する。
【００３０】
生活音抽出部２２１は、通信Ｉ／Ｆ２１０によって受信された音声データの各フレームから生活音を抽出する。具体的には、生活音抽出部２２１は、音声データの各フレームから、例えば所定の閾値以上のレベルの音声を生活音として抽出する。本実施例では、生活音記録装置１００が所定の閾値以上のレベルの音声を含むフレームのみを記録して送信するため、生活音抽出部２２１は、受信された音声データのすべてのフレームから、レベルが所定の閾値以上の生活音を抽出する。ただし、生活音抽出部２２１が生活音記録装置１００とは異なる閾値を用いたり、生活音記録装置１００とは異なる方法を用いたりして生活音を抽出する場合は、必ずしもすべてのフレームから生活音が抽出されなくても良い。
【００３１】
生活音判別部２２２は、生活音抽出部２２１によって抽出された生活音が何の音であるかを判別する。具体的には、生活音判別部２２２は、例えば各種の生活音の時間波形のパターンを類型化した生活音パターン情報をメモリ２３０から読み出し、抽出された生活音と生活音パターン情報とのパターンマッチングにより、各フレームから抽出された生活音の種類を判別する。なお、生活音判別部２２２による判別方法は、時間波形のパターンマッチングに限定されず、例えば音声データをフーリエ変換して得られる周波数スペクトラムのパターンマッチングによる方法などであっても良い。
【００３２】
結果出力部２２３は、生活音判別部２２２による判別結果を出力する。すなわち、結果出力部２２３は、フレームごとの生活音の種類を各フレームに付与されたタグの情報とともに出力する。したがって、結果出力部２２３は、音声の入力時刻と音声の種類とを対応付けた情報を表示したり、さらに他の処理を実行するアプリケーションへ提供したりする。
【００３３】
メモリ２３０は、例えばＲＡＭ又はＲＯＭなどを備え、各種の生活音のパターンを類型化した生活音パターン情報をあらかじめ記憶する。また、メモリ２３０は、プロセッサ２２０によって処理が実行される際に、種々の情報を記憶する。
【００３４】
［生活音記録方法］
次いで、実施例１に係る生活音記録方法について、図５に示すフロー図を参照しながら説明する。以下に説明する生活音記録処理は、生活音記録装置１００によって実行される。
【００３５】
生活音記録装置１００の稼働中には、音声入力部１１０に備えられたマイクロフォンなどを介して生活音記録装置１００の周囲の音声が入力される（ステップＳ１０１）。入力された音声は、音声入力部１１０によって、例えば１９２ｋＨｚのサンプリング周波数で高速サンプリングされ（ステップＳ１０２）、得られた音声データがプロセッサ１２０の分割部１２１へ入力される。
【００３６】
そして、音声データは、分割部１２１によってフレームごとの音声データに分割される（ステップＳ１０３）。すなわち、音声データは、生活音を抽出可能である一方、話声音の内容が判別されない時間長（例えば５００ｍｓ）のフレームに分割される。なお、フレームの時間長は、例えば２００〜５００ｍｓの範囲で適宜設定されれば良く、生活音記録装置１００が設置された環境で頻繁に発生する生活音の種類に応じて、適切な時間長に設定されても良い。
【００３７】
分割部１２１によって生成された音声データの各フレームは、生活音判定部１２２へ入力され、それぞれのフレームに生活音が含まれるか否かが判定される（ステップＳ１０４）。具体的には、生活音判定部１２２によって、各フレームの音声のレベルが所定の閾値と比較され、所定の閾値以上のレベルの音声を含むフレームが生活音を含むフレームであると判定される。
【００３８】
フレームが生活音を含むと判定された場合には（ステップＳ１０４Ｙｅｓ）、このフレームは、記録制御部１２３によって、音声の入力時刻などの情報を示すタグが付与された上で（ステップＳ１０５）、メモリ１４０に記録される（ステップＳ１０６）。一方、フレームが生活音を含まないと判定された場合には（ステップＳ１０４Ｎｏ）、このフレームは、記録制御部１２３によって破棄されて削除される（ステップＳ１０７）。
【００３９】
そして、記録制御部１２３によって、入力された音声に対応するすべてのフレームの記録又は削除が終了したか否かが判定され（ステップＳ１０８）、記録も削除もされていないフレームが残っている場合には（ステップＳ１０８Ｎｏ）、残りのフレームに対して上記の処理が繰り返される。また、すべてのフレームが記録又は削除された場合には（ステップＳ１０８Ｙｅｓ）、生活音の記録に係る処理が終了する。
【００４０】
このように、生活音を含むフレームはメモリ１４０に記録される一方、生活音を含まないフレームは削除される結果、メモリ１４０に記録されるフレームの順番は連続しておらず、分割部１２１によって生成されるフレームの順番とは異なる。結果として、生活音よりも継続時間が長く複数フレームにわたる話声音の内容は、メモリ１４０に記録されたフレームから判別困難となる。これに対して、生活音は、個々のフレームから抽出可能であり、フレームに含まれる生活音の種類を判別することが可能である。このため、生活音を用いた解析を可能としつつ、ユーザの発話の内容を秘匿することができ、プライバシーを保護することができる。
【００４１】
以上のように、本実施例によれば、生活音を抽出可能かつ話声音の内容が判別されない時間長のフレームに音声データを分割し、生活音を含まないフレームを間引いてメモリに記録する。このため、入力された音声に対応するフレームの順番が変更されてメモリに記録され、ユーザの発話の内容を秘匿してプライバシーを保護することができる。
【００４２】
［変形例］
上述した実施例では、生活音判定部１２２による判定の結果、生活音が含まれないと判定されたフレームは破棄されて削除されるものとした。しかしながら、生活音が含まれないと判定されたすべてのフレームが削除されなくても良い。すなわち、生活音が含まれないと判定されたフレームであっても、一部のフレームにはタグを付与してメモリ１４０に記録するようにしても良い。このように生活音が含まれないフレームを記録しておくことにより、生活音及び話声音とは異なり継続的に発生する環境音の判別をすることも可能となる。具体的には、例えば住宅の近くを走行する自動車や電車の走行音を環境音として判別することなどができる。
【００４３】
生活音が含まれないと判定されたフレームの記録に際しては、例えば生活音が含まれないと判定されたフレームを所定数間隔でメモリ１４０に記録すれば良い。この場合でも、すべてのフレームがメモリ１４０に記録されることはないため、入力された音声に対応するフレームの順番が変更されて記録されることになる。結果として、ユーザの発話の内容を秘匿してプライバシーを保護することができる。
【実施例２】
【００４４】
実施例２の特徴は、音声データを分割して得られたフレームを入れ替えることにより、フレームの順番を変更する点である。実施例２に係る情報処理システムの構成例は、実施例１（図１）と同様であるため、その説明を省略する。
【００４５】
［生活音記録装置の構成］
図６は、実施例２に係る生活音記録装置１００の構成を示すブロック図である。図６において、図２と同じ部分には同じ符号を付し、その説明を省略する。図６に示す生活音記録装置１００は、図２に示す生活音記録装置１００の記録制御部１２３に代えて、記録制御部１５１を有する。
【００４６】
記録制御部１５１は、生活音判定部１２２による判定結果に基づいて、各フレームの音声データの記録を制御する。具体的には、記録制御部１５１は、生活音判定部１２２によって生活音が含まれると判定されたフレームに音声の入力時刻などのタグを付与する。そして、記録制御部１５１は、判定結果に関わらず、生活音判定部１２２から出力されるフレームを所定数蓄積し、蓄積された複数のフレームの順序を入れ替える。そして、記録制御部１５１は、順序が入れ替えられた複数のフレームをメモリ１４０に記録する。つまり、記録制御部１５１は、生活音判定部１２２から出力されるフレームを、所定数ずつ順序を入れ替えた上でメモリ１４０に記録する。結果として、記録制御部１５１は、音声データのフレームの順番を変更してメモリ１４０に記録することになる。
【００４７】
記録制御部１５１が蓄積するフレームの数は、例えば音声から意味のある日常イベントを検出可能な最短時間に応じて設定されれば良い。すなわち、例えば意味のある日常イベントが３秒間の音声から検出可能であり、フレームの時間長が５００ｍｓである場合、記録制御部１５１は、６フレーム（５００ｍｓ×６＝３ｓ）を蓄積してから順序を入れ替える。フレームの順序の入れ替えは、例えば乱数発生器によって乱数を発生させ、ランダムな入れ替えパターンを生成することにより実現可能である。このとき、記録制御部１５１は、生活音が含まれると判定されてタグが付与されたフレームは順序の入れ替えの対象とせず、生活音が含まれないと判定されたフレームのみを順序の入れ替えの対象としても良い。つまり、記録制御部１５１は、生活音が含まれるフレームについては、時間的な位置を維持しても良い。これにより、生活音が発生した時系列を維持したままフレームを記録することができる。
【００４８】
［サーバ装置の構成］
図７は、実施例２に係るサーバ装置２００の構成を示すブロック図である。図７において、図４と同じ部分には同じ符号を付し、その説明を省略する。図７に示すサーバ装置２００は、図４に示すサーバ装置２００に環境音抽出部２５１及び環境音判別部２５２を追加した構成を採る。
【００４９】
環境音抽出部２５１は、音声データのフレームに含まれる環境音を抽出する。具体的には、環境音抽出部２５１は、音声データの複数のフレームを取得し、これらの複数のフレームに共通して含まれる音声を環境音として抽出する。環境音とは、生活音及び話声音とは異なり継続的に発生する音声であり、例えば住宅の近くを走行する自動車や電車の走行音などが環境音となる。本実施例では、生活音が含まれないと判定されたフレームも含めて生活音記録装置１００のメモリ１４０に記録されるため、サーバ装置２００の通信Ｉ／Ｆ２１０が受信する音声データには、生活音が含まれないフレームも含まれる。また、生活音記録装置１００によってフレームの順序が入れ替えられているものの、時間的な位置が近い所定数のフレームの範囲内で順序が入れ替えられている。このため、環境音抽出部２５１は、連続する複数のフレームに共通して含まれる音声を、継続的に発生する環境音として抽出することができる。
【００５０】
環境音判別部２５２は、環境音抽出部２５１によって抽出された環境音が何の音であるかを判別する。具体的には、環境音判別部２５２は、例えば各種の環境音の周波数スペクトラムのパターンを類型化した環境音パターン情報を用いて、抽出された環境音のパターンマッチングを行い、複数のフレームから抽出された環境音の種類を判別する。なお、環境音判別部２５２による判別方法は、パターンマッチングに限定されず、音声の種類を判別可能な他の方法であっても良い。環境音判別部２５２による判別結果は、結果出力部２２３によって、生活音の判別結果とともに出力される。
【００５１】
［生活音記録方法］
次いで、実施例２に係る生活音記録方法について、図８に示すフロー図を参照しながら説明する。図８において、図５と同じ部分には同じ符号を付し、その詳しい説明を省略する。以下に説明する生活音記録処理は、生活音記録装置１００によって実行される。
【００５２】
生活音記録装置１００へ入力された音声は、音声入力部１１０によって高速サンプリングされ、得られた音声データがプロセッサ１２０の分割部１２１へ入力される（ステップＳ１０１〜Ｓ１０２）。そして、音声データは、分割部１２１によってフレームごとの音声データに分割される（ステップＳ１０３）。
【００５３】
分割部１２１によって生成された音声データの各フレームは、生活音判定部１２２へ入力され、それぞれのフレームに生活音が含まれるか否かが判定される（ステップＳ１０４）。フレームが生活音を含むと判定された場合には（ステップＳ１０４Ｙｅｓ）、記録制御部１５１によって、このフレームに音声の入力時刻などの情報を示すタグが付与されて蓄積される（ステップＳ１０５）。同様に、生活音を含まないと判定されたフレームについても（ステップＳ１０４Ｎｏ）、記録制御部１５１によって蓄積される。
【００５４】
そして、記録制御部１５１によって、所定数のフレームが蓄積されたか否かが判定される（ステップＳ２０１）。具体的には、例えば音声から意味のある日常イベントを検出可能な最短時間に対応する数のフレームが記録制御部１５１に蓄積されたか否かが判定される。この判定の結果、また所定数のフレームが蓄積されていなければ（ステップＳ２０１Ｎｏ）、以降のフレームに対して上記の処理が繰り返される。そして、生活音を含むか否かに関わらず、所定数のフレームが記録制御部１５１に蓄積されると（ステップＳ２０１Ｙｅｓ）、蓄積されたフレームは、順序が入れ替えられた上でメモリ１４０に記録される（ステップＳ２０２）。
【００５５】
図９は、フレームの順序の入れ替えの具体例を示す図である。図９に示すように、記録制御部１５１には、フレーム＃１〜＃ＮのＮ個（Ｎは２以上の整数）のフレームが蓄積されており、蓄積されたＮ個のフレームの順序が入れ替えられる。図９において、レベルが閾値Ｔｈ以上の音声を含むフレームは、生活音判定部１２２によって生活音を含むと判定されたフレームである。したがって、図９の例では、フレーム＃３が生活音を含むと判定され、他のフレームは生活音を含まないと判定される。これらのフレーム＃１〜＃Ｎは、生活音を含むか否かに関わらず順番に記録制御部１５１に蓄積され（図９上図）、Ｎ個のフレームの範囲内でフレーム＃１〜＃Ｎの順序がランダムに入れ替えられる（図９下図）。これにより、フレームの順番が変更され、個々のフレームから抽出可能な生活音の情報は保持されたまま、複数にフレームにわたる話声音の内容が判別困難となる。
【００５６】
また、記録制御部１５１は、蓄積されたフレームのうち、生活音を含むと判定されたフレームについては、順序の入れ替えの対象としなくても良い。すなわち、例えば図１０に示すように、記録制御部１５１は、フレーム＃１〜＃Ｎのうち生活音を含むと判定されたフレーム＃３については時間的な位置を維持し、他のフレームのみの順序を入れ替えても良い。これにより、生活音が含まれるフレームの時刻が変更されることがなく、生活音が発生した時系列を維持したままフレームを記録することができる。
【００５７】
図８に戻って、順序が入れ替えられた所定数のフレームがメモリ１４０に記録されると、記録制御部１５１によって、入力された音声に対応するすべてのフレームの記録が終了したか否かが判定され（ステップＳ１０８）、記録されていないフレームが残っている場合には（ステップＳ１０８Ｎｏ）、残りのフレームに対して上記の処理が繰り返される。また、すべてのフレームが記録された場合には（ステップＳ１０８Ｙｅｓ）、生活音の記録に係る処理が終了する。
【００５８】
このように、記録制御部１５１に蓄積された所定数のフレームが順序を入れ替えてメモリ１４０に記録される結果、メモリ１４０に記録されるフレームの順番は連続しておらず、分割部１２１によって生成されるフレームの順番とは異なる。結果として、生活音よりも継続時間が長く複数フレームにわたる話声音の内容は、メモリ１４０に記録されたフレームから判別困難となる。これに対して、生活音は、個々のフレームから抽出可能であり、フレームに含まれる生活音の種類を判別することが可能である。このため、生活音を用いた解析を可能としつつ、ユーザの発話の内容を秘匿することができ、プライバシーを保護することができる。さらに、生活音が含まれないフレームを含めて比較的短い時間内のフレームがまとめて記録されるため、これらのフレームから、継続的に発生する環境音を抽出することが可能となる。
【００５９】
以上のように、本実施例によれば、生活音を抽出可能かつ話声音の内容が判別されない時間長のフレームに音声データを分割し、所定数ずつのフレームを順序を入れ替えてメモリに記録する。このため、入力された音声に対応するフレームの順番が変更されてメモリに記録され、ユーザの発話の内容を秘匿してプライバシーを保護することができる。
【実施例３】
【００６０】
実施例３の特徴は、異なる位置に設置された複数の生活音記録装置によって記録された音声データを用いて、生活音の音源を推定する点である。
【００６１】
［情報処理システム］
図１１は、実施例３に係る情報処理システムの構成例を示す図である。図１１において、図１と同じ部分には同じ符号を付す。図１１に示す情報処理システムにおいては、例えばユーザの住宅内などに複数の生活音記録装置１００−１、１００−２が設置され、生活音記録装置１００−１、１００−２と基地局装置１０とが互いに通信可能となっている。そして、基地局装置１０は、例えばインターネットなどのネットワークＮを介してサーバ装置２００と接続されている。生活音記録装置１００−１、１００−２は、例えばユーザが所持するパーソナルコンピュータやスマートフォンなどの汎用の情報処理端末であっても良いし、専用のＩｏＴ（Internet  of  Things）端末であっても良い。ただし、生活音記録装置１００−１、１００−２は、時刻同期しているものとし、その設置位置がサーバ装置２００によって既知であるものとする。また、生活音記録装置１００−１、１００−２は、必ずしも同一の基地局装置１０と通信しなくても良い。
【００６２】
生活音記録装置１００−１、１００−２は、例えばマイクロフォンなどの音声入力デバイスを備え、音声入力デバイスから入力される周囲の音声を記録する。このとき、生活音記録装置１００−１、１００−２は、入力される音声を生活音が判別可能な時間長（例えば５００ｍｓ）のフレームに分割し、フレームの順番を変更した上で、各フレームの音声データを記録する。そして、生活音記録装置１００−１、１００−２は、記録した音声データを基地局装置１０へ送信する。生活音記録装置１００−１、１００−２が異なる位置に設置されているため、１つの音源で発生した生活音は、音源から生活音記録装置１００−１、１００−２までの距離に応じて異なる時刻に入力される。したがって、生活音記録装置１００−１、１００−２は、同一の生活音を、同じタイミングのフレーム内の異なる時刻又は異なるタイミングのフレームに記録することになる。
【００６３】
なお、生活音記録装置１００−１、１００−２の構成は、実施例１、２に係る生活音記録装置１００の構成（図２、６）と同様である。
【００６４】
サーバ装置２００は、基地局装置１０から転送される音声データを取得し、各フレームの音声データに含まれる生活音を抽出する。そして、サーバ装置２００は、抽出した生活音が何の音であるかを判別し、判別結果を出力する。このとき、生活音記録装置１００によってフレームの順番が変更されているため、ユーザの発話による音声など複数フレームにわたって連続する音声はサーバ装置２００において判別されず、ユーザのプライバシーが保護される。
【００６５】
また、サーバ装置２００は、生活音記録装置１００−１、１００−２の設置場所のレイアウト情報、生活音記録装置１００−１、１００−２の設置位置、及び生活音記録装置１００−１、１００−２から送信された音声データを用いて、生活音の音源を推定する。具体的には、サーバ装置２００は、生活音記録装置１００−１、１００−２から送信された音声データにおける生活音の記録時刻の時間差から、生活音の音源の位置を推定する。そして、サーバ装置２００は、レイアウト情報を参照して、推定された音源の位置にある生活音の音源を特定する。
【００６６】
なお、サーバ装置２００の構成は、実施例１、２に係るサーバ装置２００の構成（図４、７）と同様である。上述した音源の推定は、生活音判別部２２２によって実行される。
【００６７】
［生活音判別方法］
次いで、実施例３に係る生活音判別方法について、図１２に示すフロー図を参照しながら説明する。以下に説明する生活音判別処理は、サーバ装置２００によって実行される。
【００６８】
本実施例において、生活音記録装置１００−１、１００−２は、実施例１、２に係る生活音記録装置１００と同様に、生活音を抽出可能かつ話声音の内容が判別されない時間長のフレームに音声データを分割し、フレームの順番を変更して記録及び送信する。このため、サーバ装置２００の通信Ｉ／Ｆ２１０は、生活音記録装置１００−１、１００−２から送信された音声データのフレームをそれぞれ受信する（ステップＳ３０１）。そして、生活音抽出部２２１によって、生活音記録装置１００−１、１００−２それぞれから受信されたフレームから生活音が抽出される（ステップＳ３０２）。
【００６９】
生活音が抽出されたフレームには入力時刻を示すタグが付与されているため、生活音判別部２２２によって、生活音がそれぞれの生活音記録装置１００−１、１００−２へ入力された時刻が特定される。ここで、生活音記録装置１００−１、１００−２は、異なる位置に設置されているため、生活音の音源から生活音記録装置１００−１、１００−２までの距離は異なり、生活音の入力時刻も異なる。そこで、生活音判別部２２２によって、１つの生活音が生活音記録装置１００−１、１００−２へ入力された時刻の時間差が算出される（ステップＳ３０３）。
【００７０】
算出された時間差は、生活音の音源から生活音記録装置１００−１、１００−２それぞれまでの距離の差に対応する。したがって、生活音記録装置１００−１、１００−２の設置位置が既知であれば、生活音の音源の位置を絞り込むことができる。具体的には、２点からの距離の差が一定の位置は、この２点を焦点とする双曲線上であるため、生活音の音源は、生活音記録装置１００−１、１００−２の設置位置を焦点とする双曲線上に位置する。そして、生活音判別部２２２によって、生活音記録装置１００−１、１００−２の設置場所のレイアウト情報が参照され、双曲線上に位置し、生活音を発生させ得る音源が推定される（ステップＳ３０４）。
【００７１】
具体的に例を挙げると、例えば図１３に示すレイアウト情報が用いられることにより、生活音の音源が特定される。図１３に示すレイアウト情報では、生活音記録装置１００−１、１００−２がそれぞれ点ｘ、ｙに設置されており、この設置位置付近には、ドアＡ、ドアＢ、冷蔵庫及びカウンターが配置されることが示されている。生活音が生活音記録装置１００−１、１００−２へ入力される時刻の時間差から、生活音の音源は、点ｘ、ｙを焦点とする双曲線３０１上に位置すると推定される。そして、この双曲線３０１上に位置するのはドアＡであるため、生活音判別部２２２は、生活音の音源がドアＡであると推定する。
【００７２】
なお、生活音判別部２２２は、生活音の種類を特定した上で、生活音の音源を推定しても良い。すなわち、生活音判別部２２２は、生活音の種類がドアを閉じる音であると特定した後、上記のように音源を推定することにより、生活音がドアＢではなくドアＡを閉じる音であると特定することが可能である。また、ここでは生活音記録装置１００−１、１００−２の２つから音声データが取得されるものとしたため、生活音の入力時刻の時間差から、音源が位置し得る双曲線が求められるにとどまった。しかしながら、３つ以上の生活音記録装置から音声データが取得される場合は、生活音の入力時刻の時間差から、音源が位置する点を特定可能である。
【００７３】
生活音判別部２２２によって音源が推定されると、生活音の種類及び音源を示す結果が結果出力部２２３によって出力される（ステップＳ３０５）。この結果は、さらに他の処理を実行するアプリケーションへ提供されても良い。
【００７４】
以上のように、本実施例によれば、複数の生活音記録装置からそれぞれフレームの順番が変更された音声データを取得し、複数の生活音記録装置へ入力された生活音の時間差に基づいて生活音の音源を特定する。このため、ユーザのプライバシーを保護しつつ、生活音を用いた詳細な解析をすることができる。
【００７５】
［生活音記録プログラム］
上記各実施例において説明した生活音記録装置１００、１００−１、１００−２及びサーバ装置２００の処理をそれぞれコンピュータが実行可能なプログラムとして記述することも可能である。この場合、これらのプログラムをコンピュータが読み取り可能な記録媒体に格納し、コンピュータに導入することも可能である。コンピュータが読み取り可能な記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤディスク、ＵＳＢメモリなどの可搬型記録媒体や、例えばフラッシュメモリなどの半導体メモリが挙げられる。
【００７６】
以上の各実施例に関し、さらに以下の付記を開示する。
【００７７】
（付記１）ユーザの生活空間において発生する音声が含まれる音声データを取得する取得部と、
前記取得部によって取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割する分割部と、
前記分割部によって分割されて得られた複数のフレームの順番を変更してメモリに記録する記録制御部と
を有することを特徴とする生活音記録装置。
【００７８】
（付記２）前記分割部によって分割されて得られたフレームそれぞれに、生活音が含まれるか否かを判定する判定部をさらに有し、
前記記録制御部は、
前記判定部によって生活音が含まれないと判定されたフレームを削除することにより、前記複数のフレームの順番を変更することを特徴とする付記１記載の生活音記録装置。
【００７９】
（付記３）前記記録制御部は、
前記分割部によって分割されて得られたフレームを所定数ずつ蓄積し、蓄積された所定数のフレームの順序を入れ替えることにより、前記複数のフレームの順番を変更することを特徴とする付記１記載の生活音記録装置。
【００８０】
（付記４）前記分割部によって分割されて得られたフレームそれぞれに、生活音が含まれるか否かを判定する判定部をさらに有し、
前記記録制御部は、
前記判定部による判定後のフレームを所定数ずつ蓄積し、蓄積された所定数のフレームのうち前記判定部によって生活音が含まれないと判定されたフレームの順序を入れ替えることにより、前記複数のフレームの順番を変更することを特徴とする付記１記載の生活音記録装置。
【００８１】
（付記５）前記分割部は、
音声データを２００ｍｓ（ミリ秒）以上５００ｍｓ以下の時間長のフレームに分割することを特徴とする付記１記載の生活音記録装置。
【００８２】
（付記６）前記記録制御部は、
フレームに含まれる音声の入力時刻を示すタグを当該フレームに付与してメモリに記録することを特徴とする付記１記載の生活音記録装置。
【００８３】
（付記７）前記メモリに記録された順番のフレームからなる音声データを送信する送信部をさらに有することを特徴とする付記１記載の生活音記録装置。
【００８４】
（付記８）ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームからなる音声データを取得する取得部と、
前記取得部によって取得された音声データの各フレームから生活音を抽出する抽出部と、
前記抽出部によって抽出された生活音の種類を判別する判別部と
を有することを特徴とする情報処理装置。
【００８５】
（付記９）前記取得部は、
互いに異なる位置に設置された第１の生活音記録装置及び第２の生活音記録装置からそれぞれ第１の音声データ及び第２の音声データを取得し、
前記判別部は、
前記第１の音声データのフレーム及び前記第２の音声データのフレームから抽出された生活音の時間差を算出し、算出された時間差に基づいて生活音の音源の位置を推定することを特徴とする付記８記載の情報処理装置。
【００８６】
（付記１０）ユーザの生活空間において発生する音声が含まれる音声データを取得し、
取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割し、
分割されて得られた複数のフレームの順番を変更してメモリに記録する
処理をコンピュータが実行することを特徴とする生活音記録方法。
【００８７】
（付記１１）ユーザの生活空間において発生する音声が含まれる音声データを取得し、
取得された音声データを、ユーザの行動又は動作に伴う生活音の継続時間に対応する時間長のフレームに分割し、
分割されて得られた複数のフレームの順番を変更してメモリに記録する
処理をコンピュータに実行させることを特徴とする生活音記録プログラム。
【符号の説明】
【００８８】
１１０  音声入力部
１２０、２２０  プロセッサ
１２１  分割部
１２２  生活音判定部
１２３、１５１  記録制御部
１２４  通信制御部
１３０  無線送信部
１４０、２３０  メモリ
２１０  通信Ｉ／Ｆ
２２１  生活音抽出部
２２２  生活音判別部
２２３  結果出力部
２５１  環境音抽出部
２５２  環境音判別部
【図１】
2019132912.tif 000003
【図２】
2019132912.tif 000004
【図３】
2019132912.tif 000005
【図４】
2019132912.tif 000006
【図５】
2019132912.tif 000007
【図６】
2019132912.tif 000008
【図７】
2019132912.tif 000009
【図８】
2019132912.tif 000010
【図９】
2019132912.tif 000011
【図１０】
2019132912.tif 000012
【図１１】
2019132912.tif 000013
【図１２】
2019132912.tif 000014
【図１３】
2019132912.tif 000015