(57)【要約】【課題】本発明の課題は、入力されたセンサデータの認識精度を改善する学習を行うことを目的とする。【解決手段】上記課題は、センサデータを取得し、取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する処理をコンピュータが行うセンサデータ学習方法により達成される。【選択図】図８
2018013857.tif 000002
【特許請求の範囲】
【請求項１】
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータが行うセンサデータ学習方法。
【請求項２】
前記コンピュータは、
取得した前記センサデータを所定期間蓄積し、
所定期間毎に前記データ種別を付与する画面を表示部に表示させ、所定期間内に蓄積された複数のセンサデータのそれぞれに付与されたデータ種別を取得する
処理を行う請求項１記載のセンサデータ学習方法。
【請求項３】
前記コンピュータは、
前記センサデータを取得する毎に、前記データ種別を付与する画面を表示部に表示させ、該センサデータに付与されたデータ種別を取得する
処理を行う請求項１記載のセンサデータ学習方法。
【請求項４】
前記コンピュータは、
各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する
処理を行う請求項１乃至３のいずれか一項に記載のセンサデータ学習方法。
【請求項５】
前記コンピュータは、
取得した前記センサデータを、前記重みを適用したデータ種別毎の判別関数を用いて、最も高いスコアを得たデータ種別を特定し、特定した該データ種別のスコアが閾値以上である場合に、該データ種別を指定した検出結果を出力する
処理を行う請求項４記載のセンサデータ学習方法。
【請求項６】
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータに行わせるセンサデータ学習プログラム。
【請求項７】
センサデータを入力する入力部と、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめて、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する信頼度取得部と
処理をコンピュータに行わせるセンサデータ学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサデータ学習方法、センサデータ学習プログラム、及びセンサデータ学習装置に関する。
【背景技術】
【０００２】
近年、種々の分野において、機械学習が応用されている。ユーザ環境で学習処理を行うには、各々のユーザ環境では大量のデータを保持するための記憶容量の制限、また、学習処理の負荷等の計算機の性能に係る制約がある。
【０００３】
入力された類似データのまとまりに対して学習処理を行うことが考えられる。類似データを纏める観点において、類似あるいは重複する項目を手動あるいは自動で統合する技術、ハッシュ値が同一であるオブジェクトから校正される初期クラスタを生成し、類似する初期クラスタから最終クラスタを生成する技術等が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０６５２７６号公報
【特許文献２】特開２０１３−１３０９６５号公報
【特許文献３】特開２００７−０２６１１５号公報
【特許文献４】特開２０１４−０２６４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザ環境における学習処理では、検出されたセンサデータ（音等）に対して何のセンサデータであるかを入力するが、ユーザ自身も検出センサデータに対する正解付けの判断に迷う場合がある。正解付けがあやふやの（精度が低い）場合、結果として認識精度が低くなってしまうような学習が行わる恐れがある。
【０００６】
したがって、１つの側面では、本発明は、入力されたセンサデータの認識精度を改善する学習を行うことを目的とする。
【課題を解決するための手段】
【０００７】
一態様によれば、センサデータを取得し、取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する処理をコンピュータが行うセンサデータ学習方法が提供される。
【０００８】
また、上記課題を解決するための手段として、センサデータ学習プログラム、及び、センサデータ学習装置とすることもできる。
【発明の効果】
【０００９】
入力されたセンサデータの認識精度を改善する学習を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】逐次学習の概要を説明するための図である。
【図２】代表的な機械学習を説明するための図である。
【図３】既存のコアセット学習について説明するための図である。
【図４】重み付き学習による音認識について説明するための図である。
【図５】データ個数とラベル付けについて説明するための図である。
【図６】第１実施例におけるセンサデータ学習装置のハードウェア構成を示す図である。
【図７】見守りシステムの適用例を示す図である。
【図８】第１実施例におけるセンサデータ学習装置の機能構成例を示す図である。
【図９】代表点ＤＢの第１のデータ構成例を示す図である。
【図１０】代表点ＤＢの第２のデータ構成例を示す図である。
【図１１】判別関数ＤＢのデータ構成例を示す図である。
【図１２】第１実施例における信頼度の算出例を示す図である。
【図１３】関連技術と第１実施例とによる判別関数の違いを説明するための図である。
【図１４】第１実施例におけるユーザへ警告する場合の例を示す図である。
【図１５】第１実施例におけるラベル付け確認画面例を示す図である。
【図１６】ラベル付けのタイミング例を示す図である。
【図１７】第１実施例における信頼度取得処理を説明するためのフローチャート図である。
【図１８】第１実施例における学習処理を説明するためのフローチャート図である。
【図１９】第２実施例におけるセンサデータ学習装置の機能構成例を示す図である。
【図２０】生活音認識処理を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面に基づいて説明する。人工知能技術の高度化及び技術の進展により、例えば、スマートホームなど、個々のユーザ環境に人工知能を導入し、高齢者見守りなどの人を支援するサービスにより用いようとする動きが活発となっている。人工知能技術を用いたサービスは、機械学習処理により実現されるのが一般的である。
【００１２】
しかし、特にこのような「個々のユーザ環境」に人工知能技術を導入する際、工場出荷前に学習処理を完了させるのではなく、個々のユーザ環境で学習処理を行い、「その人だけ」の人工知能を実現するいわばユーザ毎にカスタマイズされた人工知能技術が重要となる。
【００１３】
そのような人工知能システムにより、ユーザ環境で学習された結果に関連付けられた、ユーザに合わせたサービスが可能になる。例えば、生活音による見守りシステムにおいて、毎日鳴っているトイレ音を学習し、トイレ音が検出されない場合に異常として通報するシステムが実現可能となる。これらには、ユーザ環境で学習処理を行うための逐次学習の技術が用いられている。
【００１４】
「学習」は、最終的に検出された生活音等のセンサデータに対応付けられたラベルを出力する認識モデルを獲得することである。ラベルとは、宅内に設けられたセンサの検出音に対して対応付ける、「ドア音」、「チャイム音」、「引出音」、「洗濯機音」、「トイレ音」、「掃除機音」、「調理音」等の音の種別を示す文字列である。
【００１５】
先ず、逐次学習の概要について説明する。図１は、逐次学習の概要を説明するための図である。図１では、逐次学習を、生活音による見守りシステム１０００に適用した場合で説明する。
【００１６】
見守りシステム１０００では、センサデータ学習装置９０を宅内に設置し、音センサ１４で洗濯機８ａ等の様々な音を収集し、発生した音の種類、長時間発生しない音の種類等の音の発生状況に基づいて、宅内の生活者の状況を、生活者の家族又は関係者に報告、又は、異常と判断した場合には通報するシステムである。
【００１７】
センサデータ学習装置９０は、宅内等のユーザ環境でセンサデータを収集する（ステップＳ０１）。センサデータは、音センサ１４が音圧変化等により検出した普段とは異なる音の音響特徴量を表わす多次元ベクトルに相当する。センサデータを、単に「データ」又は「音データ」という場合がある。
【００１８】
見守りシステム１０００でのセンサデータは、宅内の、ドア音、チャイム音、引出音等の音を対象とする。センサデータ学習装置９０は、データベース（ＤＢ）７にセンサデータを蓄積する。
【００１９】
次に、センサデータ学習装置９０は、ラベル付け確認画面Ｇ９５を表示し、データベース（ＤＢ）７に保持したセンサデータに対して、ユーザ３にラベル付けを促す（ステップＳ０２）。ラベル付けにより、ドア音、チャイム音、引出音等のラベルのいずれかが選択され、音の発生源が特定される。ラベル付けによりユーザ３によって選択されたラベルが、検出された音と関連付けられる。
【００２０】
そして、センサデータ学習装置９０は、ラベルが関連付けられたセンサデータがＤＢ７に一定量以上蓄積されたら、機械学習処理を行い、ラベルの認識モデルを生成する（ステップＳ０３）。センサデータ学習装置９０は、サポートベクターマシン（ＳＶＣ）、ブースティング、ニューラルネットワーク等、音センサ１４が検出した音からラベルを認識するモデルを獲得する判別関数ｆを取得する処理である。
【００２１】
機械学習処理が完了したら、新規入力されたセンサデータに対して自動的にラベル付けを行い、ユーザ３に提示する。なお、この学習処理は１回のみで完了するのではなく、ユーザ３に呈示したラベル付けが合っているか否かの判定をフィードバックによりユーザ３に行わせ、複数回の機械学習処理を行うようにしてもよい。
【００２２】
逐次学習の実現には、センサデータ学習装置９０が行う機械学習処理がキーとなる。先ず、機械学習処理の主な手法の概要について説明する。図２は、代表的な機械学習を説明するための図である。
【００２３】
図２（Ａ）は、バッチ学習の例を示している。バッチ学習では、大規模ストレージ７ｇに全学習データを保持して学習処理６ｐによって判別関数ｆを取得する。大規模ストレージ７ｇに蓄積した全てのデータを用いて学習処理６ｐを行うため、精度良い学習が行える。
【００２４】
一方、大量の学習データを保持するための大規模ストレージ７ｇが必要であり、また、大量の学習データに対する最適化計算を行うための大規模な計算機リソースが必要であり、宅内等でのユーザ環境でバッチ学習方式を用いた逐次学習を行うことは難しい。
【００２５】
図２（Ｂ）は、オンライン学習の例を示している。オンライン学習では、センサデータとラベルの組が入力される毎に、判別関数を更新する。少数の学習データが入力される度に判別関数を更新するため、大量のデータを保持することなく、即ち、大規模なストレージ７ｇを不要とし、また、高性能な計算機を備えることなく学習処理６ｐを実行できる。一方、局所的なデータのみを保存するために、学習処理６ｐで得られる結果が不安定になり易いという欠点がある。
【００２６】
図２（Ｃ）は、コアセット学習の例を示している。コアセット学習は、バッチ学習及びオンライン学習の利点を併せ持った方法である。全データから「コアセット」と呼ばれる代表点を重み付き点として選択する。全データに対してクラスタリング処理等を用い、特徴量空間上で近い距離にある点を代表点として抽出する。代表点に対して重み付けを行い学習処理６ｐを行う。
【００２７】
各データは、複数のパラメータ値による音響特徴量で表され、特徴量空間における点とみなせる。また、代表点は、類似するデータをまとめたクラスタ内において選択された代表的なデータである。
【００２８】
図３は、既存のコアセット学習について説明するための図である。図３に示すコアセット学習では、センサデータ学習装置９０に入力されたセンサデータとラベルとに基づいて代表点を抽出し、一定数のセンサデータが入力された後、複数の代表点を、クラスタリング手法等で、類似データをまとめる（ステップＳ１１）。各クラスタに属するデータ個数が重みとして保持される。
【００２９】
次に、まとめたデータに対してユーザ３にラベル付けさせる（ステップＳ１２）。その後、センサデータ学習装置９０は、クラスタのデータ個数に基づく重み付けによる学習処理６ｐを行って判別関数ｆを取得する（ステップＳ１３）。重み付けによる学習処理６ｐを、単に、「重み付き学習」という場合がある。
【００３０】
音認識時には、センサデータ学習装置９０は、データがいずれのクラスタに存在しない場所であっても、取得した判別関数ｆを用いて、データがドアの音領域ａ１にあるか、ドアでない音領域ａ０であるかを判定する。
【００３１】
学習に用いるデータを選択できる通常の学習処理とは異なり、逐次学習においてはユーザ環境での、言わばノイズの多いデータを用いて学習することになる。そのような状況下では、センサデータの一部は、ユーザにも判別がつかないものも含まれるため、結果として誤ったラベル付けが行われる可能性が高くなる。
【００３２】
ユーザ３による生活音に対するラベル付けの際には、「ドア音」とラベル付けする場合に、戸棚の開閉音も含めてラベル付けされる恐れがある。
【００３３】
図４は、重み付き学習による音認識について説明するための図である。図４（Ａ）では、データ個数が多い場合を説明する。クラスタ内のデータ個数が多い場合、重みが大きくなる。重みが大きい程、判別関数ｆからの距離が長くなる。重みを大きくすることで、誤認識し難いように学習される。
【００３４】
図４（Ｂ）では、データ個数が少ない場合を説明する。クラスタ内のデータ個数が少ない場合、重みが小さくなる。重みが小さい程、判別関数ｆからの距離が短くなる。データ全てを正しく識別するように判別関数の学習ができない場合、重みの小さいデータを誤るように判別関数の学習が行われる。
【００３５】
重み付き点は、特徴量空間上で近接した点をまとめた個数で表される。従って、出現回数の多いセンサデータのラベルが高い重み付けとなり、誤らないように学習処理６ｐが行われる。しかし、これら出現回数の高いデータに対して曖昧な状態でラベル付けがなされた場合、出現回数が少ないが確信を持ってラベル付けされたデータのラベル判定を誤り、曖昧だが出現回数が高いデータのラベルを正解するように学習処理が行われる恐れがある。
【００３６】
図５は、データ個数とラベル付けについて説明するための図である。図５では、特徴量空間１において、ドアの音領域ａ１内にある重み「１００」のクラスタと、ドアでない音領域ａ０にある重み「２」のクラスタを例として、ユーザ３によるラベル付けの確信度の違いを説明する。
【００３７】
重み「１００」のクラスタは、データ個数が多いことを示している。このクラスタの１０個のデータ（音）に対してラベル付けする際に、ユーザ３は、音の発信源を特定できず、何の音であるか判断に迷っていたとする。
【００３８】
ユーザ３は、確信のないまま、１１月１日には「戸棚音」と設定し、１１月１５日には「ドア音」と設定する。この場合には、データ個数が多くても、ラベルは一定せず、センサデータ学習装置９０は、音の認識を精度よく行えない場合がある。
【００３９】
一方、重み「２」のデータ個数が少ないクラスタに対して、ユーザ３は、各音を確信してラベル付けしたとする。ユーザ３は、確信をもって、１１月２日に「ドア音」と設定し、１１月１６日にも同様に「ドア音」と設定する。この場合、データ個数が少ないため、センサデータ学習装置９０は、重みが小さいデータを誤認識してしまう。
【００４０】
データ個数が少ないが、ユーザ３が確信を持ってラベル付けしたクラスタ内のデータを誤り、データ個数が多いが曖昧な状態でラベル付けが行われていたクラスタに属するデータのラベル付けを正解として学習処理６ｐが行われる場合がある。その結果、ユーザ３の直感と合わない判別関数が学習される。ユーザ３のラベル付けが確実なデータの重みが少なくなると、そのデータの認識を誤り、ユーザ３に認識精度が悪いと判断されてしまう。
【００４１】
従って、第１実施例では、逐次学習において、クラスタ内のデータに対して設定されたラベルの一貫性により計算されるユーザ３のラベル付けの信頼度を用いて、データに対する重み付けを決定する。信頼度の低いデータに対する重みを下げ、学習処理６ｐを行う。
【００４２】
ユーザ３の確信度の高いラベル付けには一貫性のあるラベルが設定されることが期待される。即ち、音センサ１４が検出したあるデータ（音）に対して、「ドア音」等の同じラベルが設定される。
【００４３】
一方、ユーザ３が不確かな状態でラベル付けを行う場合、設定されたラベルはまちまちとなることが期待される。即ち、音センサ１４が検出したあるデータ（音）に対して、「ドア音」、「戸棚音」等の複数のラベルが設定される。ラベル付けの曖昧さが、ユーザ３が設定したラベルに対する信頼度を反映すると考えられる。具体的には、ある代表点に対してユーザが設定したラベルの履歴を保持し、その履歴の一致度を計算することで、データに対する信頼度を計算する。
【００４４】
ユーザ環境で学習を行う逐次学習を例とし説明するが、学習時に曖昧にラベルが設定される状況は機械学習のシステムに共通に発生し得る問題である。従って、第１実施例に開示される手法は、逐次学習に限定されず、学習を行うシステム全てに適用可能である。
【００４５】
第１実施例におけるセンサデータ学習装置９０は、図６に示すようなハードウェア構成を有する。図６は、第１実施例におけるセンサデータ学習装置のハードウェア構成を示す図である。図６において、センサデータ学習装置９０は、コンピュータによって制御される情報処理装置であって、ＣＰＵ（Central  Processing  Unit）１１と、主記憶装置１２と、補助記憶装置１３と、音センサ１４と、ユーザＩ／Ｆ（インターフェース）１５と、スピーカー１６と、通信Ｉ／Ｆ１７と、ドライブ装置１８とを有し、バスＢに接続される。
【００４６】
ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従ってセンサデータ学習装置９０を制御するプロセッサに相当する。主記憶装置１２には、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。
【００４７】
補助記憶装置１３には、ＨＤＤ（Hard  Disk  Drive）等が用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置１３に格納されているプログラムの一部が主記憶装置１２にロードされ、ＣＰＵ１１に実行されることによって、各種処理が実現される。記憶部１３０は、主記憶装置１２及び補助記憶装置１３に相当する。
【００４８】
音センサ１４は、周辺音を検出するセンサである。ユーザーＩ／Ｆ１５は、ＣＰＵ１１ｂの制御のもとに必要な各種情報を表示し、また、ユーザによる操作入力を可能とするタッチパネル等である。スピーカー１６は、ＣＰＵ１１ｂの制御のもとにラベル付けされていないデータを出力する。音センサ１４とスピーカー１６とは、外付けであってもよい。
【００４９】
通信Ｉ／Ｆ１７は、有線又は無線などのネットワークを通じて通信を行う。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
【００５０】
センサデータ学習装置９０によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact  Disc  Read‐Only  Memory）等の記憶媒体１９によってセンサデータ学習装置９０に提供される。
【００５１】
ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ＣＤ−ＲＯＭ等）とセンサデータ学習装置９０とのインターフェースを行う。
【００５２】
また、記憶媒体１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１９に格納されたプログラムは、ドライブ装置１８を介してセンサデータ学習装置９０にインストールされる。インストールされたプログラムは、センサデータ学習装置９０により実行可能となる。
【００５３】
尚、プログラムを格納する記憶媒体１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non‐transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
【００５４】
図７は、見守りシステムの適用例を示す図である。図７に示す見守りシステム１０００は、宅内４にセンサデータ学習装置９０を設置し、センサデータ学習装置９０の音センサ１４が、宅内４の洗濯機８ａ、戸棚８ｂ、ドア８ｃ、トイレ８ｄ等の生活音を検出する。
【００５５】
センサデータ学習装置９０は、ラベルが未設定のデータに対してラベル付けを促すため、ユーザＩ／Ｆ１５にラベル付け確認画面Ｇ９５を表示する。
【００５６】
ユーザ３は、音センサ１４によって検出された音データのうち代表点となるデータがスピーカー１５から出力されると、ラベル付け確認画面Ｇ９５上を操作して出力音にラベルを設定する。センサデータ学習装置９０は、代表点とユーザ３が設定したラベルとを対応付けて、記憶部１３０に蓄積する。
【００５７】
第１の例では、センサデータ学習装置９０の音センサ１４で、洗濯機８ａ、戸棚８ｂ、ドア８ｃ、トイレ８ｄ等の生活音を検出し、センサデータ学習装置９０のユーザＩ／Ｆ１５でラベル付けを行うため、センサデータ学習装置９０のみを宅内４に設置すればよい。また、ラベル付けは、ユーザ３の端末５で行えるようにしても良い。
【００５８】
図８は、第１実施例におけるセンサデータ学習装置の機能構成例を示す図である。図８において、センサデータ学習装置９０は、主に、入力部４０と、信頼度取得部５０と、機械学習部６０と、ＧＵＩ（Graphical  User  Interface）部７０とを有する。入力部４０と、信頼度取得部５０と、機械学習部６０と、ＧＵＩ部７０とは、センサデータ学習装置９０にインストールされたプログラムが、センサデータ学習装置９０のＣＰＵ１１に実行させる処理により実現される。また、記憶部１３０には、代表点ＤＢ３２、判別関数ＤＢ３４等が記憶される。
【００５９】
図８では、第１実施例に関連する処理部等を示し、他を省略している。第１実施例では、初期に所定期間蓄積した音センサ１４が検出したデータをクラスタリングして代表点を代表点ＤＢ３２に登録しておいても良いし、クラスタリング処理を省略してもよい。
【００６０】
入力部４０は、更に、センサデータ入力部４２と、ラベル付け部４４とを有する。センサデータ入力部４２は、音センサ１４が検知した音データを入力する。データは、記憶部１３０内の所定記憶領域（バッファ等）に一次的に蓄積される。
【００６１】
ラベル付け部４４は、ユーザＩ／Ｆ１５又はユーザ３の端末５にラベル付け確認画面Ｇ９５を表示してユーザ３にラベル付けを促し、ユーザ３から再生したデータに対応するラベルを取得する。ラベルはデータに対応付けられて所定記憶領域に保持される。ラベル付け部４４は、ユーザ３によるラベルの登録要求を受けると、信頼度取得部５０に通知する。
【００６２】
信頼度取得部５０は、入力部４０のラベル付け部４４からの登録要求に応じて、記憶部１３０の所定記憶領域に蓄積されたデータとラベルとを読み出して、ユーザ３のラベル付けの確からしさを表わす信頼度を算出する。
【００６３】
センサデータ入力部４２によって、音センサ１４によって新たに検出されたデータは所定記憶領域に蓄積され、ラベル付け部４４によって、所定間隔又は逐次に、ユーザ３にラベル付けを促す。ユーザ３によって付与されたラベルは、データに対応付けて一次的に所定記憶領域に保持される。
【００６４】
ユーザ３にラベル付けさせる方法は、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、音センサ１４によってデータが検出される毎に、逐次、ユーザ３にラベル付けさせる第２の方法のいずれでもよい。ラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又はユーザ端末５に表示させることで、宅内４又は宅外であってもラベル付けを行なうことができる。
【００６５】
信頼度取得部５０は、所定記憶領域に蓄積されたデータ及びラベルに対して、代表点ＤＢ３２を参照して、ユーザ３によるラベル付けの信頼度を算出する。信頼度取得部５０は、更に、代表点抽出部５２と、信頼度計算部５４とを有する。
【００６６】
代表点抽出部５２は、代表点ＤＢ３２から音センサ１４が検出したデータに類似する代表点を抽出し、ユーザ３によって付与されたラベルを抽出した代表点のラベル付け履歴として、代表点ＤＢ３２に記憶する。記憶部１３０の所定記憶領域に保持されたデータ及びラベルは、代表点ＤＢ３２のラベル付け履歴に記録される毎に、所定記憶領域から消去してよい。
【００６７】
代表点抽出部５２は、音センサ１４が検出したデータが、代表点ＤＢ３２に記憶されたいずれの代表点にも類似しない場合、新たな代表点として、ユーザ３によって付与されたラベルと共に、代表点ＤＢ３２に記憶する。
【００６８】
第１実施例において、クラスタリングにより予め複数の代表点を求めておく場合、センサデータ学習装置９０のユーザ３の宅内４への初期導入時から所定期間、音センサ１４が検出した音データを所定記憶領域に蓄積する。その後、信頼度取得部５０によって、クラスタリングを行い、クラスタ毎に代表点を抽出して代表点ＤＢ３２に登録する。代表点の代表点ＤＢ３２への登録後は、所定記憶領域を初期化してよい。
【００６９】
クラスタリングにより代表点を計算する際、代表点に入力されるセンサデータから計算される分散量（例えば、分散）を保持し、その統計量を信頼度の計算や代表点にまとめる範囲の閾値（距離等）に反映させてもよい。また、代表点計算の際の履歴として、センサデータから計算される量（例えば、クラスタ中心との距離）も同時に保持しておき、その値を信頼度計算や代表点としてまとめる範囲の閾値の値に反映させてもよい。更に、代表点の抽出時には、代表点を一定範囲の中で１点のみを保持するのではなく、複数点を保持してもよい。
【００７０】
代表点の範囲としては、距離が一定以下の点を決定的にまとめるだけでなく、距離の値に応じて代表点に含まれる確率が変動する関数（例えば、ｅ−距離等の関数）を用い、まとめる先の代表点を確率的に選択してもよい。また、代表点としてまとめる際、最近傍の１点に対してまとめるのではなく、近傍の複数点への重み付き割り当てを行ってもよい。また、スパースコーディング等の方式を用い、まとめる先の代表点の個数を可変として代表点を選択してもよい。
【００７１】
また、データ間の距離を、各特徴量次元に対して等方的に計算するのではなく、
・マハラノビス距離のような異方性を持つ距離関数
・部分空間に射影した距離関数
・ＲＢＦ（Radial  Basis  Function）カーネル、Bhattacharyyaカーネル等のようなカーネル関数上での距離関数
・多様体学習で求めた多様体上での距離関数
・Bregmanダイバージェンス等の非ユークリッド空間上での拡張距離関数
・Ｌｐノルム等の非線形変換を行った距離関数
・距離計量学習で学習した距離関数
上記いずれかを利用してもよい。
【００７２】
また、距離計算時、例えば、Normalized  Online  Learning法を用い、音センサ１４からのデータの読み込みと共に動的に距離空間の正規化を行ってもよい。更に、距離算出時、音センサ１４からデータが入力された時間により値が変動する関数を用いて、時間が近いデータに対しては距離を近付ける、又は、遠ざける調整を行ってもよい。
【００７３】
第１実施例では、宅内４への導入時に、経験値に基づいて、音センサ１４が検出するデータの代表点を示す代表点ＤＢ３２及び代表点にまとめる距離を予め定めておいてもよい。この場合、上述したクラスタリングの処理を省略してもよい。代表点抽出部５２は、音センサ１４が検出したデータと最も近い代表点を代表点ＤＢ３２から選択するのみでよい。
【００７４】
信頼度計算部５４は、代表点ＤＢ３２を用いて、代表点毎に信頼度を求める。信頼度は、ラベルに一貫性がある代表点に対しては高くし、ラベルに一貫性のない代表点に対して低くなるように計算される。図９にて、代表点ＤＢ３２のデータ構成例の説明と共に、信頼度についても詳述する。
【００７５】
信頼度計算部５４は、また、ユーザ３のラベル付けにより、信頼度の値が閾値以下となった場合、再度ユーザ３にラベル付けを行わせるために、ＧＵＩ部７０にラベル付けのデータを指定した警告通知を行なってもよい。
【００７６】
機械学習部６０は、主に、学習処理６ｐを行う学習部６２を有する。学習部６２は、ラベル毎に、信頼度を用いて判別関数の重みを決定する。ラベル毎の判別関数の重みが判別関数ＤＢ３４に記憶される。
【００７７】
ＧＵＩ部７０は、ユーザ警告部７２を有する。ユーザ警告部７２は、信頼度計算部５４から警告通知を受信すると、ユーザＩ／Ｆ１５又はユーザ３の端末５に表示されているラベル付け確認画面Ｇ９５にラベルの再設定を促すメッセージを表示して、ユーザ３に、直前に設定したラベルの再設定を依頼する。ユーザ３が再度設定したラベルは、入力部４０のラベル付け部４４で取得される。
【００７８】
次に、代表点ＤＢ３２と判別関数ＤＢ３４について説明する。図９は、代表点ＤＢの第１のデータ構成例を示す図である。図９において、代表点ＤＢ３２は、代表点の情報を管理するデータベースであり、代表点ＩＤ、センサデータ、ラベル付け履歴、回数、代表ラベル、信頼度等の項目を有する。
【００７９】
代表点ＩＤは、各代表点の識別子である。代表点ＤＢ３２では、初期に所定期間蓄積したデータをクラスタリングして、初期の代表点が登録されてあればよい。代表点を求めるためのクラスタリングは前述した手法を用いればよい。
【００８０】
センサデータは、代表点となった音センサ１４で検出された音響特徴毎の特徴量を多次元ベクトルで表わしたデータである。
【００８１】
ラベル付け履歴は、代表点に対して付与されたラベルを示す。付与されたラベルを「入力ラベル」という場合がある。ラベル毎に、付与した日時を記録してもよい。可変長配列により、ユーザ３によって付与されたラベルを記録してもよい。日時は、音センサ１４が音を検出した日時、又は、ユーザ３がラベルを付与した日時であってもよい。ラベル付け履歴に記録されるラベルは、判別関数ＤＢ３４に登録された認識対象名である。
【００８２】
回数は、ラベル付けした回数を示し、ラベル付け履歴で記録されている入力ラベルの個数に相当する。代表ラベルは、代表点のデータに対して付与された回数の最も多いラベルを示す。信頼度は、ラベル付け履歴、回数、及び代表ラベルを参照して得られ、代表ラベルに対するユーザ３の確信度を示す。
【００８３】
信頼度は、
【００８４】
【数１】
2018013857.tif 000003
ラベル付けした回数に対する、ラベル付け履歴から取得した代表ラベルと一致する入力ラベルの個数の比率で表される。
【００８５】
この例では、代表点ＩＤ「0002」のセンサデータ(1.0,2.0.1.5,  …)に対して、３回ラベル付けがなされており、ラベル付け履歴から入力ラベルが、「ドア音」、「引出音」、及び「ドア音」であったことが示されている。ラベル付け履歴において最も多い入力ラベル「ドア音」が、代表ラベルに設定されている。この代表点ＩＤ「0002」の信頼度は、
信頼度  ＝  ２／３  ＝  ０．６６
となる。
【００８６】
代表点ＩＤ「0003」のセンサデータ(‐0.5,  1.0,  1.2,  …)に対して、１回ラベル付けがなされており、ラベル付け履歴から「チャイム音」とラベルが付与されたことが示されている。ラベル付け履歴に記録されているのは「チャイム音」のみであるため、代表ラベルに「チャイム音」が設定されている。この代表点ＩＤ「0003」の信頼度は、
信頼度  ＝  １／１  ＝  １．０
となる。
【００８７】
代表点ＩＤ「0004」のセンサデータ(0.8,  2.2,  1.3,  …)に対して、４回ラベル付けがなされており、ラベル付け履歴から、入力ラベルは、「ドア音」、「ドア音」、「足音」、及び「ドア音」であったことが示されている。ラベル付け履歴に最も多く記録されているのは「ドア音」であるため、代表ラベルに「ドア音」が設定されている。この代表点ＩＤ「0004」の信頼度は、
信頼度  ＝  ３／４  ＝  ０．７５
となる。
【００８８】
信頼度は、以下に示す様々な計算方法が考えられ、いずれかを適用すればよい。数１以外の計算方法として、数２に示すように、数１の分母及び分子に定数αを加えてもよい。
【００８９】
【数２】
2018013857.tif 000004
数２では、ラベル付け履歴に含まれる代表ラベルの個数、即ち、代表点にまとめられたデータの個数が少ない場合に、信頼度の値が低下しにくい。数２は、代表点に割り振られたデータ個数が少ないとき、僅かに代表ラベルの選定がばらつくことを抑えられる。
【００９０】
また、数１の分子及び分母を定数βで累乗してもよい。
【００９１】
【数３】
2018013857.tif 000005
数３において、βに１寄り大きな値を与えた場合、ラベルの不一致個数が大きくなると信頼度が大きく下がるようになる。この効果により、ラベルの不一致が大きくなった場合に大きなペナルティを与えることが可能である。
【００９２】
また、数４のように、ラベルの不一致度が一定以下になったら、信頼度を大きく下げるような処理を行ってもよい。
【００９３】
【数４】
2018013857.tif 000006
上述した数１〜数４の２以上を組み合せてもよい。数１〜数４では、ラベル付けの一貫性が小さくなった場合にペナルティを与える、即ち、信頼度を下げる計算例である。
【００９４】
或いは、一定回数以上連続して同じラベルが付与された場合、一定の期間（１週間等）同じラベルが付与された場合、一定回数又は一定期間内に一定以上の割合でラベルが付与された場合のいずれかを契機として、信頼度を上昇させる処理を行ってもよい。
【００９５】
また、信頼度判定の際、まとめる先の代表点との距離に応じて信頼度の値を変化させてもよい。
【００９６】
更に、信頼度判定の際、データの時間変動を考慮するため、まとめる先の代表点でラベルが付与された時間を反映させてもよい。夜の時間帯では昼間の活動時間帯よりも、信頼度を低くしてもよい。ユーザ３の日常生活において、夜間はユーザ３が疲労している時間帯であることから、昼間の時間帯と比べて、ユーザ３の判断力が鈍く、ラベル付けの精度が劣ると考えるからである。
【００９７】
また、信頼度判定の際、ユーザ３がラベル付けに要した時間、ユーザ３がラベル付けを行った時間等の情報を用いて、ユーザ３のラベル付け時の状況に応じて信頼度を調整してもよい。焦電センサ等の外部センサから得た情報を用いてもよい。焦電センサの時系列出力から、その時間帯の運動量が分かるため、そのラベル付けがユーザ３の忙しい時間に行われたのか、ユーザ３が落ち着いた状況でラベル付けを行ったのかを判定し、判定結果に基づいて信頼度を調整してもよい。
【００９８】
図１０は、代表点ＤＢの第２のデータ構成例を示す図である。図１０において、代表点ＤＢ３２−２は、代表点の情報を管理するデータベースであり、第１のデータ構成例に更にラベル付け所要時間の項目を有する。
【００９９】
ラベル付け所要時間は、ユーザ３がラベル付けに要した時間が示される。ラベル付け所要時間には、ラベル付け履歴に記録されたラベルの順に所要時間が記録される。
【０１００】
ラベル付け履歴のラベルを設定するまでに掛った所要時間が閾値時間以上の場合は、そのラベルを採用しない。この例では、閾値時間を１０秒とした場合、代表点ＩＤ「０００２」のラベル付け履歴の１番目及び３番目のラベル「ドア音」は無視される。
【０１０１】
また、この代表点ＤＢ３２−２を用いて、ラベル付けに掛った時間により重みが減衰する関数（例えば、ｅ−ｔ等の関数）を用いて、ラベル付け履歴のそれぞれのラベルに対して重み付けを行なってもよい。
【０１０２】
図１１は、判別関数ＤＢのデータ構成例を示す図である。図１１において、判別関数ＤＢ３４は、認識対象ＩＤ、認識対象名、判別関数重み等の項目を有する。認識対象ＩＤは、音の種別（即ち、ラベル）の識別子を示す。認識対象名は、音の種別（即ち、ラベル）を示す。判別関数重みは、判別関数ｆの係数に相当する。
【０１０３】
この例では、ラベル「ドア音」の識別子は、認証対象ＩＤにより「L001」であり、「ドア音」用の判別関数の重みは（0.1,  0.2,  ‐1.2,  0.5,  ‐0.2）であることが示されている。ラベル「チャイム音」の識別子は、認証対象ＩＤにより「L002」であり、「チャイム音」用の判別関数の重みは（‐0.2,  0.5,  12.0,  ‐0.5,  0.2）であることが示されている。ラベル「足音」の識別子は、認証対象ＩＤにより「L003」であり、「足音」用の判別関数の重みは（0.3,  0.1,  ‐1.4,  1,  ‐0.2）であることが示されている。
【０１０４】
このようにユーザ３によるラベル付けの信頼度と、代表点毎のラベル付けした回数とを用いて代表点に対する重みを算出することにより、精度良い判別関数ｆを得られる。重みは、
【０１０５】
【数５】
2018013857.tif 000007
により得られる。
【０１０６】
図１２は、第１実施例における信頼度の算出例を示す図である。図１２では、特徴量空間１でデータを４つのクラスタｃ１、ｃ２、ｃ３、及びｃ４に分類した例で説明する。また、数１により信頼度を計算するものとする。
【０１０７】
クラスタｃ３のラベル付け履歴が「ドア音」、「戸棚音」、「ドア音」、及び「引出音」を示している場合、代表ラベルはラベル付け履歴の中で最も出現する「ドア音」となる。また、ラベル付け４回のうち２回が「ドア音」であったことから、０．５（＝２／４）の信頼度を得る。
【０１０８】
また、クラスタｃ４のラベル付け履歴が「ドア音」、「ドア音」、「ドア音」、及び「ドア音」を示し、ユーザ３は一貫して同じラベルを付与している。代表ラベルは「ドア音」となる。また、信頼度は、１．０（＝４／４）を得る。
【０１０９】
このように、同一回数のラベル付けが行われた場合であっても、即ち、データ数は同じであっても、信頼度は異なっている。信頼度に基づいて判別関数の重み付けを決定することで、ユーザ３の確信度が高いデータを間違いなく判別できる。
【０１１０】
「ドア音」の判別関数ｆについて、第１実施例における信頼度を用いない関連技術と、第１実施例との差について図１３に示す。図１３は、関連技術と第１実施例とによる判別関数の違いを説明するための図である。
【０１１１】
図１３（Ａ）では、データがクラスタｄ１、ｄ２、ｄ３、ｄ４、ｄ５、及びｄ６にグループ化された状態を示している。６個のクラスタのうち、クラスタｄ１は、データ個数は多いが、ラベル付けに一貫性がなくまちまちであるため、ユーザ３の確信度が低いクラスタである。クラスタｄ６は、データ個数は少ないが、ラベル付けに一貫性があり、ユーザ３の確信度が高いクラスタである。
【０１１２】
図１３（Ｂ）では、関連技術による判別関数ｆの例を示している。データ個数による重み付けにより、クラスタｄ１には重み「１００」、そして、クラスタｄ６には重み「２」が設定される。そして、クラスタｄ１、ｄ２、及びｄ３のデータはドアの音領域ａ１に属すると判断され、クラスタｄ４、ｄ５、及びｄ６のデータはドアでない音領域ａ０に属すると判断されるように、判別関数ｆが設定される。
【０１１３】
図１３（Ｃ）では、第１実施例による判別関数ｆの例を示している。ユーザ３によるラベル付けの信頼度により、クラスタｄ１には重み「１」、そして、クラスタｄ６には重み「２」が設定される。そして、クラスタｄ２、ｄ３、及びｄ６のデータはドアの音領域ａ１に属すると判断され、クラスタｄ１、ｄ４、及びｄ５のデータはドアでない音領域ａ０に属すると判断されるように、判別関数ｆが設定される。
【０１１４】
関連技術ではドアの音領域ａ１に属すると判断されたクラスタｄ１が、第１実施例による判別関数ｆを用いた場合、ドアでない音領域ａ０に属すると判断される。また、関連技術ではドアでない音領域ａ０に属すると判断されたクラスタｄ６が、第１実施例による判別関数ｆを用いた場合、ドアの音領域ａ１に属すると判断される。
【０１１５】
ユーザ３が一貫して「ドア音」とラベル付けしたクラスタｄ６は、データ個数が少なくてもドア音として認識される。
【０１１６】
第１実施例では、過去に一貫して同一のラベルが付与されている状態で、異なるラベルが付与された場合には、ユーザ３に再度ラベル付けを促す警告を行ってもよい。図１４は、第１実施例におけるユーザへ警告する場合の例を示す図である。図１４において、ユーザ３は、ラベル付け確認画面Ｇ９５で、スピーカー１６から発せられた音に対して「戸棚音」のラベル付けを行なう。
【０１１７】
センサデータ学習装置９０の信頼度計算部４４は、代表点ＤＢ３２において、ユーザ３がラベル付けしたデータに最も近い代表点のラベル付け履歴を参照する。この例では、全て「ドア音」がラベル付けされたことが示されている。
【０１１８】
信頼度計算部４４は、一貫性を持って「ドア音」とラベル付けされたデータに対して、今回は異なるラベル付けがされたと判断し、ユーザ警告部７２に警告通知を通知する。警告通知を受信したユーザ警告部７２は、ユーザＩ／Ｆ１５に表示しているラベル付け確認画面Ｇ９５に「本当に“戸棚音”とラベル付けしていいですか？」等を表示し、ユーザ３に対してラベル付けの確認を促す。
【０１１９】
図１５は、第１実施例におけるラベル付け確認画面例を示す図である。図１５（Ａ）に示すラベル付け確認画面Ｇ９５では、ラベル付けがなされていないデータに対してラベル付けを行なうときに表示される内容を示している。ラベル付け確認画面Ｇ９５には、メッセージ９５ａ、時刻９５ｂ、再生ボタン９５ｃ、ラベル設定領域９５ｄ、登録ボタン９５ｅ等が表示される。
【０１２０】
メッセージ９５ａは、「ラベル付けして下さい。」等の、ユーザ３へラベル付けを促すメッセージを示す。時刻９５ｂは、音を検知した時刻を示す。この例では、「12:34」を示している。再生ボタン９５ｃは、時刻９５ｂで検知した音を再生するためのボタンである。
【０１２１】
ラベル設定領域９５ｄは、ユーザ３がラベルを設定する領域である。この例では、プルダウンでラベル一覧が表示され、ユーザ３がラベル一覧から「ドア音」を選択した状態を示している。設定方法は、この例に限定されない。
【０１２２】
登録ボタン９５ｅは、ラベル設定領域９５ｄで設定したラベルを登録するためのボタンである。この例において、ユーザ３が登録ボタン９５ｅを設定すると、代表点ＤＢ３２において、「12:34」の音データとの距離がクラスタの大きさに相当する閾値以内であって、「12:34」の音データに最も近い代表点が特定される。特定された代表点のラベル付け履歴に、ユーザ３がラベル設定領域９５ｄに設定したラベルが追加して記録される。
【０１２３】
図１５（Ｂ）に示すラベル付け確認画面Ｇ９５では、データに対してラベル付けがなされた際に、信頼度計算部５４から警告通知を受けたユーザ警告部７２によって表示される内容を示している。ラベル付け確認画面Ｇ９５には、メッセージ９５ｆ、履歴９５ｇ、再生ボタン９５ｈ、ＯＫボタン９５ｉ、キャンセル９５ｊ等が表示される。
【０１２４】
メッセージ９５ｆは、ユーザ３にラベル付けの確認を促すメッセージを示す。メッセージ９５ｆによって、「今、ラベル（”戸棚音”）を付与したデータは、過去”ドア音”とラベル付けされています。本当に”戸棚音”とラベル付けしていいですか？」等のメッセージが示される。
【０１２５】
履歴９５ｇは、過去のラベル付けの履歴情報を示す。履歴９５ｇには、「
2014/12/24  13:00:12          ドア音
2015/01/12  03:58:13          ドア音」
等の履歴情報が示される。
【０１２６】
再生ボタン９５ｈは、確認対象の音を再生するためのボタンである。再生ボタン９５ｈの選択に応じて、図１５（Ａ）に示す内容が表示されてもよい。ユーザ３は、再度、ラベル設定領域９５ｄでラベルを設定する。
【０１２７】
ＯＫボタン９５ｉは、設定したラベルで登録するためのボタンである。この例では、ＯＫボタン９５ｉを選択すると、過去に「ドア音」とラベル付けした音に対して、「戸棚音」の設定で登録される。キャンセル９５ｊは、登録をキャンセルするためのボタンである。この例では、キャンセル９５ｊが選択されると、今回、「戸棚音」を設定した音に関する代表点に対して履歴情報は追加されない。
【０１２８】
ユーザ３にラベル付けさせる方法は、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、音センサ１４によってデータが検出される毎に、逐次、ユーザ３にラベル付けさせる第２の方法のいずれでもよい。
【０１２９】
ラベル付け部４４によって行われる、一定期間の間に蓄積したデータをユーザ３にラベル付けさせる第１の方法と、データ検出毎に、逐次、ユーザ３にラベル付けさせる第２の方法について説明する。
【０１３０】
図１６は、ラベル付けのタイミング例を示す図である。図１６（Ａ）では、第１の方法でラベル付けを行なう例を示している。所定間隔Ｔ１の間に音センサ１４が検出して、センサデータ入力部４２によって蓄積された複数のデータにラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又は端末５に表示して、ユーザ３にラベル付けを促す。ユーザ３は、所定間隔Ｔ１の間に蓄積された複数のデータのそれぞれにラベル付けを行なう。
【０１３１】
図１６（Ｂ）では、第２の方法でラベル付けを行なう例を示している。音センサ１４が音を検出する毎に、センサデータ入力部４２は、ラベル付け部４４に通知することで、ラベル付け部４４は、ラベル付け確認画面Ｇ９５をユーザＩ／Ｆ１５又は端末５に表示して、ユーザ３にラベル付けを促す。ユーザ３は、１つのデータに対してラベル付けを行なう。
【０１３２】
次に、信頼度取得部５０による信頼度取得処理について説明する。図１７は、第１実施例における信頼度取得処理を説明するためのフローチャート図である。信頼度取得部５０は、入力部４０からのラベルの登録要求の受信に応じて、信頼度取得処理を開始する。
【０１３３】
図１７において、信頼度取得部５０では、代表点抽出部５２が、記憶部１３０の所定記憶領域から音響特徴量を示すデータとラベルとを入力し（ステップＳ１０１）、代表点ＤＢ３２から、入力したデータに最も近い距離の代表点のレコードを抽出する（ステップＳ１０２）。代表点ＤＢ３２に記憶されているセンサデータ（代表点）のうち、入力データとの距離が最も短いセンサデータのレコードが抽出される。
【０１３４】
代表点抽出部５２は、抽出された代表点と入力データとの距離が閾値以下か否かを判断する（ステップＳ１０３）。抽出された代表点と入力データとの距離が閾値を超える場合（ステップＳ１０３のＮｏ）、代表点抽出部５２は、入力データを新たな代表点とし代表点ＩＤを設定し、入力ラベルをラベル付け履歴に記録し、回数に１を設定し、入力ラベルを代表ラベルに設定したレコードを代表点ＤＢに追加する（ステップＳ１０４）。代表点抽出部５２は、信頼度計算部５４に代表点ＩＤを通知する。
【０１３５】
信頼度計算部５４は、代表点抽出部５２から通知された代表点ＩＤのレコードを特定し、追加した代表点に対して、ラベル付けの信頼度を１に設定する（ステップＳ１０５）。信頼度計算部５４は、回数が１であることから、新たな代表点であることを判別できる。この場合、信頼度は１に設定される。その後、信頼度取得部５０は、信頼度取得処理を終了する。信頼度取得処理の終了後、機械学習部６０による学習処理が開始される。
【０１３６】
一方、抽出された代表点と入力データとの距離が閾値以下の場合（ステップＳ１０３のＹｅｓ）、代表点抽出部５２は、代表点のレコードの回数に１を加算し（ステップＳ１０６）、レコードのラベル付け履歴にユーザ３が設定したラベルを追加する（ステップＳ１０７）。ラベルと共に日時を追加してもよい。代表点抽出部５２は、信頼度計算部５４に代表点ＩＤを通知する。
【０１３７】
信頼度計算部５４は、代表点抽出部５２から通知された代表点ＩＤのレコードを特定し、特定したレコードのラベル付け履歴及び回数に基づいて、代表点の代表ラベルに対する信頼度を計算する（ステップＳ１０８）。算出された信頼度は、レコードに設定される。その後、信頼度取得部５０は、信頼度取得処理を終了する。信頼度取得処理の終了後、機械学習部６０による学習処理が開始される。
【０１３８】
次に、機械学習部６０による学習処理について説明する。図１８は、第１実施例における学習処理を説明するためのフローチャート図である。所定間隔（例えば、数時間間隔等）で、代表点ＤＢ３２がある程度更新された際に、機械学習部６０による機械学習処理を行うことが望ましい。
【０１３９】
図１８において、機械学習部６０は、代表点ＤＢ３２を参照して、代表点毎に、信頼度と回数とから代表点の重みを計算する（ステップＳ１２１）。
【０１４０】
機械学習部６０は、代表ラベルを１つ選択し（ステップＳ１２２）、代表点ＤＢ３２から選択した代表ラベルのレコードを抽出して、抽出した代表点を用いてモデル学習を行う（ステップＳ１２３）。
【０１４１】
機械学習部６０は、モデル学習によって得られた判別関数を判別関数ＤＢ３４に登録する（ステップＳ１２４）。即ち、判別関数の係数が、判別関数ＤＢ３４の判別関数重みに設定される。
【０１４２】
そして、機械学習部６０は、未処理の代表ラベルがあるか否かを判断する（ステップＳ１２５）。未処理の代表ラベルがある場合（ステップＳ１２５のＹｅｓ）、機械学習部６０は、ステップＳ１２２へと戻り、上述同様の処理を繰り返す。一方、全ての代表ラベルを処理した場合（ステップＳ１２５のＮｏ）、機械学習部６０は、学習処理を終了する。
【０１４３】
次に、第１実施例において得られた判別関数ＤＢ３４を利用する第２実施例を説明する。センサデータ学習装置９０のハードウェア構成等は第１実施例と同様であるため、その説明を省略する。
【０１４４】
図１９は、第２実施例におけるセンサデータ学習装置の機能構成例を示す図である。図１９において、センサデータ学習装置９０は、第１実施例の機能構成に加えて、認識部３１０と、出力部３２０とを更に有する。認識部３１０と、出力部３２０とは、センサデータ学習装置９０にインストールされたプログラムが、センサデータ学習装置９０のＣＰＵ１１に実行させる処理により実現される。第１実施例と同様の部分には同一符号を付し、その説明を省略する。また、第１実施例に係る部分を破線で示し、第２実施例に係る部分を実線で示す。
【０１４５】
認識部３１０は、音センサ１４が検出したデータが生活音であるかを判別する。認識部３１０は、主に、生活音認識部３１２を有する。生活音認識部３１２は、入力部４０のセンサデータ入力部４２から音センサ１４が検出したデータを受信すると、判別関数ＤＢ３４を用いていずれかの生活音であるかを判別する。生活音を検出した場合、認識部３１０は、生活音を特定するラベルを指定した検出結果を出力部３２０に通知する。
【０１４６】
出力部３２０は、検出結果をサービスを提供するサーバに通知する。出力部３２０は、主に、検出結果通知部３２２を有する。検出結果通知部３２２は、生活音認識部３１２から受信した検出結果を見守りサービス等を行うサーバへ通信Ｉ／Ｆ１７を介して送信する。
【０１４７】
検出結果は、認識対象（即ち、音の種別を示すラベル）と、音センサ１４で検出した時刻の情報を含む。サーバは、検出結果を蓄積し、トイレ音が検出されない場合に異常として警備会社等に通報するサービス、ドア音の検出に応じて宅内４の居住者の家族に外出又は帰宅を通知するサービス等を提供する。
【０１４８】
第１実施例における処理を、センサデータ学習装置９０の導入時から定めた一定期間行ったのち、第２実施例における処理を行ってもよい。又は、第１実施例において、学習処理の収束判定を行うようにし、第１実施例における処理の終了に応じて、第２実施例での処理を開始してもよい。また、第２実施例での処理の開始後においても第１実施例での処理を平行して行うようにしてもよい。
【０１４９】
生活音認識部３１２による生活音認識処理について説明する。図２０は、生活音認識処理を説明するためのフローチャート図である。図２０において、生活音認識部３１２は、音響特徴量を示すデータを入力する（ステップＳ３５１）。
【０１５０】
生活音認識部３１２は、判別関数ＤＢ３４の判別関数重みと音響特徴量のデータとを用いて、各認識対象のスコアを計算し（ステップＳ３５２）、計算された各認識対象のスコアの中で最大スコアを取得する（ステップＳ３５３）。
【０１５１】
そして、生活音認識部３１２は、取得した最大スコアが閾値以上か否かを判定する（ステップＳ３５４）。最大スコアが閾値未満の場合（ステップＳ３５４のＮｏ）、生活音認識部３１２は、生活音認識処理を終了する。
【０１５２】
一方、最大スコアが閾値以上の場合（ステップＳ３５４のＹｅｓ）、生活音認識部３１２は、最大スコアの認識対象を指定した検出結果を出力部３２０に通知して（ステップＳ３５５）、生活音認識処理を終了する。出力部３２０は、検出結果を受け付けると、検出結果通知部３２２により、予め定めたサーバ等の通知先へ検出結果を通知する。
【０１５３】
図１１に示す判別関数ＤＢ３４を用いた場合で生活音認識処理について説明する。入力された音響特徴量を示すデータは（0.1,  0.1,  0.1,  0.1,  1.0）であり、閾値Ｔｈが１．０であるとする。
【０１５４】
認識対象名「ドア音」の判別関数重みを適用するとスコア「‐0.24」を得る。また、認識対象名「チャイム音」の判別関数重みを適用するとスコア「1.38」を得る。更に、認識対象名「足音」の判別関数重みを適用するとスコア「‐0.2」を得る。
【０１５５】
最大スコアを示すチャイム音のスコアが閾値Ｔｈ＝１．０より大きいため、入力音はチャイム音であると判定できる。
【０１５６】
上述したように、ユーザ３によってまとめられたデータに付与された音の種類を示すラベル付けの信頼度を、データの重みに反映させて学習することで、まとめられたデータの個数に影響されず、検出したデータの認識精度を向上することができる。
【０１５７】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
【０１５８】
以上の第１及び第２実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータが行うセンサデータ学習方法。
（付記２）
前記コンピュータは、
取得した前記センサデータを所定期間蓄積し、
所定期間毎に前記データ種別を付与する画面を表示部に表示させ、所定期間内に蓄積された複数のセンサデータのそれぞれに付与されたデータ種別を取得する
処理を行う付記１記載のセンサデータ学習方法。
（付記３）
前記コンピュータは、
前記センサデータを取得する毎に、前記データ種別を付与する画面を表示部に表示させ、該センサデータに付与されたデータ種別を取得する
処理を行う付記１記載のセンサデータ学習方法。
（付記４）
前記コンピュータは、
各代表点の、該代表点にまとめられた前記センサデータの個数と、前記信頼度とを用いて、データ種別毎の判別関数の重みを取得し、学習処理を行って各データ種別の判別関数を決定する
処理を行う付記１乃至３のいずれか一項に記載のセンサデータ学習方法。
（付記５）
前記信頼度は、前記代表点毎の複数のセンサデータそれぞれに付与された前記データ種別に基づいて、該複数のセンサデータの総数に対する最多回数のデータ種別の比率を算出することで得られることを特徴とする付記１乃至４のいずれか一項に記載のセンサデータ学習方法。
（付記６）
前記コンピュータは、
取得した前記センサデータが前記一覧のいずれの代表点のセンサデータに類似しない場合、取得した該センサデータを該代表点として該一覧に追加する
処理を行う付記１乃至４のいずれか一項に記載のセンサデータ学習方法。
（付記７）
前記コンピュータは、
取得した前記センサデータを、前記重みを適用したデータ種別毎の判別関数を用いて、最も高いスコアを得たデータ種別を特定し、特定した該データ種別のスコアが閾値以上である場合に、該データ種別を指定した検出結果を出力する
処理を行う付記１乃至５のいずれか一項に記載のセンサデータ学習方法。
（付記８）
センサデータを取得し、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめ、
各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する
処理をコンピュータに行わせるセンサデータ学習プログラム。
（付記９）
センサデータを入力する入力部と、
取得した前記センサデータを類似するセンサデータの代表点毎にまとめて、各代表点でまとめられる複数のセンサデータそれぞれに付与されたデータ種別に基づいて、該代表点に対応付けられた該データ種別の信頼度を算出する信頼度取得部と
処理をコンピュータに行わせるセンサデータ学習装置。
【符号の説明】
【０１５９】
３          ユーザ
４          宅内
５          端末
１１        ＣＰＵ
１２        主記憶装置
１３        補助記憶装置
１４        音センサ
１５        ユーザＩ／Ｆ
１６        スピーカー
１７        通信Ｉ／Ｆ
１８        ドライブ装置
１９        記憶媒体
３２        代表点ＤＢ
３４        判別関数ＤＢ
４０        入力部
４２        センサデータ入力部
４４        ラベル付け部
５０        信頼度取得部
５２        代表点抽出部
５４        信頼度計算部
６０        機械学習部
６２        学習部
３１０      認識部
３１２      生活音認識部
３２０      出力部
３２２      検出結果通知部
【図１】
2018013857.tif 000008
【図２】
2018013857.tif 000009
【図３】
2018013857.tif 000010
【図４】
2018013857.tif 000011
【図５】
2018013857.tif 000012
【図６】
2018013857.tif 000013
【図７】
2018013857.tif 000014
【図８】
2018013857.tif 000015
【図９】
2018013857.tif 000016
【図１０】
2018013857.tif 000017
【図１１】
2018013857.tif 000018
【図１２】
2018013857.tif 000019
【図１３】
2018013857.tif 000020
【図１４】
2018013857.tif 000021
【図１５】
2018013857.tif 000022
【図１６】
2018013857.tif 000023
【図１７】
2018013857.tif 000024
【図１８】
2018013857.tif 000025
【図１９】
2018013857.tif 000026
【図２０】
2018013857.tif 000027