(57)【特許請求の範囲】
【請求項１】
不特定多数の発話者が発話した音声データを教師データとして生成された、発話者の発話時の感情状態を推定する感情推定器を、特定個人の発話時の感情状態を推定する感情推定器として個人適応させる感情推定器の個人適応方法であって、
前記特定個人が発話した音声データを取得する取得ステップと、
前記音声データの特徴を抽出する特徴抽出ステップと、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析ステップと、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与ステップと、
前記第１ラベル付与ステップでニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応ステップと、
を含む感情推定器の個人適応方法。
【請求項２】
前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器は、発話者の発話時の感情状態をポジティブ又はネガティブと、ニュートラルの何れかと推定する感情推定器であって、
前記第１ラベル付与ステップにおいてニュートラルのラベルを付与されていない音声データを、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を用いて、ポジティブ又はネガティブの何れかに分類し、ポジティブ又はネガティブのラベルを付与する第２ラベル付与ステップをさらに含み、
前記個人適応ステップでは、前記第１ラベル付与ステップ及び前記第２ラベル付与ステップにより、ポジティブ又はネガティブと、ニュートラルの何れかのラベルが付与された前記特定個人の音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる、
ことを特徴とする請求項１に記載の感情推定器の個人適応方法。
【請求項３】
前記特徴抽出ステップで抽出する前記音声データの特徴は、音声データのパワー時系列データの変化パターン、又は音声データのピッチ時系列データの変化パターンである、
ことを特徴とする請求項１または２に記載の感情推定器の個人適応方法。
【請求項４】
前記頻度解析ステップで分類し、出現頻度を解析するパターンは、前記パワー時系列データの変化パターン、又は前記ピッチ時系列データの変化パターンである、
ことを特徴とする請求項３に記載の感情推定器の個人適応方法。
【請求項５】
前記第１ラベル付与ステップでは、前記パワー時系列データの変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された当該音声データに対して、又は前記ピッチ時系列データの変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された当該音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する、
ことを特徴とする請求項４に記載の感情推定器の個人適応方法。
【請求項６】
前記第１ラベル付与ステップでは、前記パワー時系列データの変化パターンにおいて特定のパターンの出現頻度が所定値以上と判別され、且つ前記ピッチ時系列データの変化パターンにおいて特定のパターンの出現頻度が所定値以上と判別された当該音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する、
ことを特徴とする請求項４に記載の感情推定器の個人適応方法。
【請求項７】
前記特定の抽出区間は、少なくとも、呼気段落、単語、アクセント句、文、の何れかの区間である、
ことを特徴とする請求項１から６の何れか一項に記載の感情推定器の個人適応方法。
【請求項８】
前記個人適応ステップでは、前記取得ステップで取得された前記特定個人の発話者が発話した音声データの増加量が予め設定した量を超えるごとに、前記感情推定器を前記特定個人用の感情推定器として個人適応させる、
ことを特徴とする請求項１から７の何れか一項に記載の感情推定器の個人適応方法。
【請求項９】
前記個人適応ステップでは、予め設定された時刻になると、前記感情推定器を前記特定個人用の感情推定器として個人適応させる、
ことを特徴とする請求項１から７の何れか一項に記載の感情推定器の個人適応方法。
【請求項１０】
前記取得ステップでは、前記特定個人が発話した音声データを取得し、
前記頻度解析ステップでは、前記パターンの出現頻度を前記特定個人ごとに解析し、
前記第１ラベル付与ステップでは、前記特定個人ごとに解析した前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与し、
前記個人適応ステップでは、前記第１ラベル付与ステップでニュートラルのラベルが付与された前記特定個人ごとに分類された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人ごとの教師データを生成し、生成した前記特定個人ごとの教師データに基づいて前記特定個人ごとに感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人ごとの発話時の感情状態を推定する感情推定器として個人適応させる、
ことを特徴とする請求項１から９の何れか一項に記載の感情推定器の個人適応方法。
【請求項１１】
特定個人が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段と、
を備える感情推定装置。
【請求項１２】
発話者が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
ニュートラルのラベルを付与した前記特定の抽出区間の数に重み係数を掛けて得られた評価値と、ニュートラルのラベルを付与しなかった特定の抽出区間の数に重み係数を掛けて得られた評価値と、を比較し、ニュートラルのラベルを付与した特定の抽出区間の評価値がニュートラルのラベルを付与しなかった特定の抽出区間の評価値よりも高い評価値であった場合、発話者の発話時の感情状態をニュートラルと判別する感情推定手段と、
を備える感情推定装置。
【請求項１３】
コンピュータを
特定個人が発話した音声データを取得する取得手段、
前記音声データの特徴を抽出する特徴抽出手段、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、感情推定器の個人適応方法、感情推定装置及びプログラムに関する。
【背景技術】
【０００２】
感情をラベリングした音声データ群を教師データとして機械学習により生成された感情推定装置を用いて、発話者の感情状態を推定する技術の開発が進められている。例えば、特許文献１は、音声の強度、音声のテンポ、音声の抑揚のそれぞれの変化量を求め、求めた変化量に基づいて発話者の感情状態を推定する技術を開示している。また、特許文献１は、不特定多数の発話者が喜怒哀楽等の感情状態で発話した音声データを教師データとして生成された感情推定装置を使用して任意の発話者の発話時の感情状態を推定し、その音声データに推定した喜怒哀楽等のラベルを付与して教師データに追加し、感情推定装置を適応学習する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３５２１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、不特定多数の発話者の音声データを教師データとして生成された感情推定装置は、不特定多数の発話者の音声データの特徴量と解析対象の発話者の音声データの特徴量との共通特性に基づいて発話者の感情状態を推定する。したがって、解析対象の音声データの特徴量が不特定多数の音声データの特徴量の平均値に近い場合には、感情推定装置による推定精度は高くなる。しかしながら、解析対象の音声データの特徴量と不特定多数の音声データの特徴量の平均値との差が大きくなるほど、感情推定装置による推定精度は低下する。
【０００５】
特許文献１が開示する技術では、感情推定装置を特定個人用の感情推定装置として適応させる適応処理において、解析対象の音声データの特徴量と不特定多数の音声データの特徴量の平均値との差が大きいために推定精度が悪い状態で喜怒哀楽等のラベルを付与された音声データも、そのまま教師データとして追加される。そのため、特定個人の音声データの特徴量と不特定多数の音声データの特徴量の平均値との差が大きい場合に、特定個人用の感情推定装置として推定精度を向上させることが困難であるという問題がある。
【０００６】
本発明は、このような状況を鑑みてなされたものであり、特定個人用の感情推定装置の推定精度を向上することができる感情推定器の個人適応方法、感情推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の観点に係る感情推定器の個人適応方法は、
不特定多数の発話者が発話した音声データを教師データとして生成された、発話者の発話時の感情状態を推定する感情推定器を、特定個人の発話時の感情状態を推定する感情推定器として個人適応させる感情推定器の個人適応方法であって、
前記特定個人が発話した音声データを取得する取得ステップと、
前記音声データの特徴を抽出する特徴抽出ステップと、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析ステップと、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与ステップと、
前記第１ラベル付与ステップでニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応ステップと、
を含むことを特徴とする。
【０００８】
また、本発明の第２の観点に係る感情推定装置は、
特定個人が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段と、
を備えることを特徴とする。
【０００９】
また、本発明の第３の観点に係る感情推定装置は、
発話者が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
ニュートラルのラベルを付与した前記特定の抽出区間の数に重み係数を掛けて得られた評価値と、ニュートラルのラベルを付与しなかった特定の抽出区間の数に重み係数を掛けて得られた評価値と、を比較し、ニュートラルのラベルを付与した特定の抽出区間の評価値がニュートラルのラベルを付与しなかった特定の抽出区間の評価値よりも高い評価値であった場合、発話者の発話時の感情状態をニュートラルと判別する感情推定手段と、
を備えることを特徴とする。
【００１０】
また、本発明の第４の観点に係るプログラムは、
コンピュータを
特定個人が発話した音声データを取得する取得手段、
前記音声データの特徴を抽出する特徴抽出手段、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段、
として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特定個人用の感情推定装置の推定精度を向上することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る感情推定装置の物理構成を示すブロック図である。
【図２】本発明の実施形態１に係る感情推定装置の機能構成を示すブロック図である。
【図３】音声データのパワー時系列データ、及び音声データのピッチ時系列データの作成方法について説明するための図である。
【図４】音声データのスペクトル分布を示した図である。
【図５】抽出区間について説明するための図である。
【図６】音声データのパワー時系列変化パターンの抽出方法について説明するための図である。
【図７】音声データのピッチ時系列変化パターンの抽出方法について説明するための図である。
【図８】（ａ）は、パワー時系列変化パターンの頻度解析方法について説明するための図である。（ｂ）は、ピッチ時系列変化パターンの頻度解析方法について説明するための図である。
【図９】感情推定器の判別閾値のイメージについて説明するための図である。
【図１０】感情推定部による感情推定方法について説明するための図である。
【図１１】重み係数について説明するための図である。
【図１２】感情推定器を特定個人用に適応させるための個人適応処理について説明するためのフローチャートである。
【図１３】感情推定器の個人適応処理の詳細について説明するためのフローチャートである。
【図１４】音声データの特徴の抽出処理について説明するためのフローチャートである。
【図１５】感情推定処理について説明するためのフローチャートである。
【図１６】変形例１に係る感情推定装置１００の頻度解析方法について説明するための図である。（ａ）は出現頻度の平均値を用いてニュートラル区間を設定する場合であり、（ｂ）は出現頻度の分散を用いてニュートラル区間を設定する場合であり、（ｃ）は出現頻度の中央値を用いてニュートラル区間を設定する場合である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態に係る感情推定器の個人適応方法、感情推定装置及びプログラムについて、図面を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【００１４】
（実施形態１）
本実施形態では、感情推定装置１００をペット用ロボットに搭載した場合について説明する。ペット用ロボットに搭載された感情推定装置１００は、ユーザーの音声の特徴を解析することによりユーザーの感情状態を推定し、ペット用ロボットは推定した感情に対応するアクションをとる。ペット用ロボットに搭載された感情推定装置１００は、日々蓄積されるユーザーの音声データを教師データに追加することにより、感情推定器を特定個人用の感情推定器として適応していく。
【００１５】
本実施形態では、感情推定装置１００が、発話者の感情状態をポジティブ、ネガティブ、ニュートラルの何れかの感情状態であると推定する場合について説明する。ポジティブな感情状態とは、喜んでいる感情状態、安らぎを感じている感情状態、興味を抱いている感情状態等である。ネガティブな感情状態とは、怒っている感情状態、不安を感じている感情状態、退屈に思っている感情状態等である。ニュートラルな感情状態とは、ポジティブな感情状態とネガティブな感情状態以外の感情状態である。一般的には、発話される音声の多くは、ニュートラルな感情状態で発話されることが多いと想定できる。
【００１６】
以下に、感情推定装置１００の構成、感情推定装置１００を特定個人ユーザーの感情推定装置として適応させる個人適応処理、感情推定装置１００による特定個人の感情推定処理について、詳細に説明する。
【００１７】
実施形態１に係る感情推定装置１００は、物理的には、図１に示すように、制御部１と、記憶部２と、入出力部３と、バス４と、を備える。
【００１８】
制御部１は、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、ＣＰＵ（Central Processing Unit）と、を備える。ＲＯＭは、本実施形態に係る感情推定器個人適応処理プログラム、感情推定プログラム、各種初期設定プログラム、ハードウェアの検査プログラムのロード等を行うための初期プログラム等を記憶する。ＲＡＭは、ＣＰＵが実行する各種ソフトウェアプログラム、これらのソフトウェアプログラムの実行に必要なデータ等を一時的に記憶するワークエリアとして機能する。ＣＰＵは、各種ソフトウェアプログラムを実行することにより、様々な処理及び演算を実行する中央演算処理部である。
【００１９】
記憶部２は、ハードディスクドライブ、フラッシュメモリ等の不揮発性メモリを備える。記憶部２は、不特定多数の発話者が発話した音声データを教師データとして記憶する。また、記憶部２は、ユーザーが発話した音声データを日々記憶する。
【００２０】
入出力部３は、ユーザーが発話した音声データを取得するための音声入力装置を備える。また、入出力部３は、解析対象の音声データを記憶媒体を介して取得するために、ＣＤ（Compact Disc）ドライブ、ＵＳＢ（Universal Serial Bus）インタフェースを備える。また、入出力部３は、感情推定器が推定したユーザーの感情状態を出力するために、スピーカ、ディスプレー、ＬＥＤ（Light Emitting Diode）等を備える。入出力部３は、推定したユーザーの感情状態（ポジティブ、ネガティブ、ニュートラル）を直接的に音声もしくは文字で出力するほか、予めプログラムされたシナリオに基づいて、推定した感情状態と対応付けられた発話内容、発話速度、ＬＥＤの色として、推定した感情状態を間接的に出力することもできる。また、入出力部３から後述する重み係数の変更設定をすることができる。
【００２１】
バス４は、制御部１と、記憶部２と、入出力部３と、を接続する。
【００２２】
感情推定装置１００は、機能的には、図２に示すように、音声データ取得部１１０と、音声データ解析部１２０と、特徴抽出部１３０と、頻度解析部１５０と、第１ラベル付与部１６０と、第２ラベル付与部１７０と、感情推定器適応処理部１８０と、感情推定部１９０と、を含む。また、特徴抽出部１３０は、特定個人分類部１３１と、時間長測定部１３２と、パワー時系列変化パターン算出部１３３と、ピッチ時系列変化パターン算出部１３４と、を含む。
【００２３】
音声データ取得部１１０は、入出力部３を介して解析対象とするユーザーの音声データを取得する。
【００２４】
音声データ解析部１２０は、取得した音声データの解析を行う。具体的には、音声データのパワー、音声データのピッチを時系列のデータとして作成する。図３に点線で示した波形は、音声データの波形例である。音声データ解析部１２０は、音声データの始点ｔ０から始まる解析窓を設定し、ずらし幅ｄｔだけ解析窓をずらしながら、解析窓ごとに音声波形振幅の２乗の時間平均値を算出することにより音声データのパワー時系列データを作成する。
【００２５】
また、音声データ解析部１２０は、音声データの始点ｔ０から始まる解析窓を設定し、ずらし幅ｄｔずつ解析窓をずらしながら解析窓内の音声データをＦＦＴ（Fast Fourier Transform）変換する。図４は、上記のＦＦＴ変換により得られた各解析窓内の音声データのスペクトル分布を示した例である。横軸は周波数であり、縦軸はスペクトルの強度である。このスペクトルの中で最も低い周波数領域に存在するピーク周波数をｆ０とする。このｆ０は、その解析窓の音声データから得られた発話者固有の基本周波数を示す。音声データ解析部１２０は、時間ｔｎにおけるｆ０をｆ０＿ｎとして抽出することにより音声データのピッチ時系列データを作成する。なお、パワー時系列データとピッチ時系列データの作成において、解析窓の解析窓幅、ずらし幅ｄｔは、音声データのサンプリング周波数に基づいて設定する。
【００２６】
特徴抽出部１３０は、音声データの特徴として、抽出された音声データのパワー時系列データ、音声データのピッチ時系列データを用いて、特定の抽出区間ごとに、パワー時系列変化パターン、ピッチ時系列変化パターンを算出する、パワー時系列変化パターン算出部１３３とピッチ時系列変化パターン算出部１３４とを備える。特定の抽出区間として、ここでは、音声データを呼気段落の単位で区切った呼気段落区間を抽出区間として設定する。呼気段落とは、一息の間に発せられる発話区間の単位であり、呼気段落の単位で音声データの特徴を抽出する理由は、呼気段落で発話者の感情状態が変化する場合が多いからである。呼気段落の設定について、図５を用いて具体例を説明する。図５の上段は、発話時の感情状態を解析する音声データの波形例である。横軸は時間であり、縦軸は音声の振幅である。２段目は、音声データを呼気段落区間ごとに呼気段落区間１から呼気段落区間ｎまで分割した例である。
【００２７】
また、特徴抽出部１３０は、後述する頻度解析部１５０で特定個人ごとに、パワー時系列変化パターン、ピッチ時系列変化パターンの出現頻度解析を行うために、特定個人分類部１３１を備える。また、特徴抽出部１３０は、例えば、呼気段落区間を短い、普通、長い、の３つに分類して後述する頻度解析を行うために、時間長測定部１３２を備える。
【００２８】
特定個人分類部１３１は、予め登録してある特定個人の音声データの特徴量と比較することにより、複数ユーザーの音声データを特定個人ごとの音声データに分類する。特定個人分類部１３１は、ユーザーとして、例えば、父親、母親、子供を登録している場合は、父親、母親、子供ごとに、音声データを分類する。具体的には、特定個人分類部１３１は、父親、母親、子供ごとに、予め登録した音声データの特徴量と入力した音声データの特徴量との相関性に基づいて、入力した音声データを父親の音声データ、母親の音声データ、子供の音声データ、その他に分類する。そして、特定個人分類部１３１は、分類した音声データに父親、母親、子供を判別するラベルを付けて、記憶部２に記憶する。
【００２９】
時間長測定部１３２は、音声データの特徴を抽出する抽出区間である呼気段落区間の時間長を測定する。具体的には、時間長測定部１３２は、無音区間を検出することにより、呼気段落区間の時間長を測定する。
【００３０】
パワー時系列変化パターン算出部１３３は、パワー時系列データの変化パターンとして、抽出区間ごとにパワー時系列変化パターンを抽出する。図６を用いて具体的に説明する。図６は、音声データ解析部１２０で作成された任意の呼気段落区間のパワー時系列データの例である。そのパワーの最も大きい位置Ａと波形の始点Ｂとを結ぶ線ＡＢと時間軸とのなす角度をθｓとする。呼気段落区間１のθｓをθ１ｓとする。同様に、呼気段落区間ｎのθｓをθｎｓとする。また、パワーの最も大きい位置Ａと波形の終点Ｃとを結ぶ線ＡＣと時間軸とのなす角度をθｅとする。呼気段落区間１のθｅをθ１ｅとする。同様に、呼気段落区間ｎのθｅをθｎｅとする。パワー時系列変化パターン算出部１３３は、θ１ｓからθｎｓ、θ１ｅからθｎｅを求める。
【００３１】
パワー時系列変化パターン算出部１３３は、蓄積されている音声データの全てについて、同様にしてθ１ｓからθｎｓ、θ１ｅからθｎｅを求め、呼気段落区間ごとに分割された音声データと対応付けて記憶部２に記憶する。このθｓとθｅをパワー時系列変化パターンと称することとする。
【００３２】
図２に戻って、ピッチ時系列変化パターン算出部１３４は、ピッチ時系列データの変化パターンとして、抽出区間ごとにピッチ時系列変化パターンを抽出する。
【００３３】
図７は、図４で得られたｆ０を任意の呼気段落区間について時系列でグラフ化したものである。横軸は時間であり、縦軸は図４に示したｆ０の周波数である。Ｂ点からｆ０_ｎまでの時間は、ｄｔ×（ｎ−１）である。最も高い周波数の位置Ａと波形の始点Ｂとを結ぶ線ＡＢと時間軸とのなす角度をθｒとする。呼気段落区間１のθｒをθ１ｒとする。同様に、呼気段落区間ｎのθｒをθｎｒとする。また、最も高い周波数の位置Ａと波形の終点Ｃとを結ぶ線ＡＣと時間軸とのなす角度をθｆとする。呼気段落区間１のθｆをθ１ｆとする。同様に、呼気段落区間ｎのθｆをθｎｆとする。ピッチ時系列変化パターン算出部１３４は、θ１ｒからθｎｒ、θ１ｆからθｎｆを求める。
【００３４】
ピッチ時系列変化パターン算出部１３４は、蓄積されている音声データの全てについて、同様にしてθ１ｒからθｎｒ、θ１ｆからθｎｆを求め、呼気段落区間ごとに分割された音声データと対応付けて記憶部２に記憶する。このθｒとθｆをピッチ時系列変化パターンと称することとする。
【００３５】
図２に戻って、頻度解析部１５０は、抽出された特徴を複数のパターンに分類し、そのパターンごとの出現頻度を特定個人ごとに解析する。具体的には、頻度解析部１５０は、パワー時系列変化パターン算出部１３３が算出したパワー時系列変化パターンと、ピッチ時系列変化パターン算出部１３４が算出したピッチ時系列変化パターンについて、音声データの時系列変化パターンの頻度解析を特定個人ごとに行う。そして、頻度解析部１５０は、出現頻度が閾値以上である時系列変化パターンを、平常状態で発話された音声の時系列変化パターンであるとし、その時系列変化パターンの属する区間をニュートラル区間として設定する。
【００３６】
図８を用いて具体的に説明する。頻度解析部１５０は、パワー時系列変化パターン算出部１３３が算出したθｓについて頻度解析を行い、図８（ａ）に示すようなパワー時系列変化パターンの頻度解析グラフを作成する。横軸はθｓの角度であり、０°から９０°を１０°ごとに区分している。縦軸は該当するθｓの区分に属するパワー時系列変化パターンの出現頻度を％で表示している。頻度解析部１５０は、特徴抽出部１３０が抽出したパワー時系列変化パターンθｓを１０°ごとの区分に分け、各区分に属するデータ数をカウントし、図８（ａ）に示すグラフを作成する。
【００３７】
そして、頻度解析部１５０は、出現頻度が閾値以上であったθｓの区間を、感情状態が平静状態（ニュートラル）で発話された音声データのパワー時系列変化パターンの属するニュートラル区間に設定する。図８（ａ）に示す例では、頻度解析部１５０は、閾値を１５％とし、θｓの出現頻度が１５％以上である２０°から５０°の区間をニュートラル区間と設定している。
【００３８】
また、頻度解析部１５０は、ピッチ時系列変化パターン算出部１３４が算出したθｒについて頻度解析を行い、図８（ｂ）に示すようなピッチ時系列変化パターンの頻度解析グラフを作成する。横軸はθｒの角度であり、０°から９０°を１０°ごとに区分している。縦軸は該当するθｒの区分に属するピッチ時系列変化パターンの出現頻度を％で表示している。頻度解析部１５０は、出現頻度が閾値以上であったθｒの区間を、感情状態が平静状態（ニュートラル）で発話された音声データのピッチ時系列変化パターンの属するニュートラル区間に設定する。図８（ｂ）に示す例では、頻度解析部１５０は、閾値を１５％とし、θｒの出現頻度が１５％以上である３０°から６０°の区間をニュートラル区間と設定している。
【００３９】
頻度解析部１５０は、同様にして、θｅとθｆについても頻度解析を行う。頻度解析部１５０は、この頻度解析処理を特定個人分類部１３１が分類した特定個人ごとに行う。また、頻度解析部１５０は、時間長測定部１３２が測定した時間長により、音声データを、例えば、２秒以下（短い）、２秒から４秒（普通）、４秒以上（長い）、のように分類し、分類した音声データごとに頻度解析を行う。時間長で音声データを分類する理由は、呼気段落区間の時間長が大きく異なると、発話時の感情状態の変化による特徴の変化傾向が異なる場合があり、時間長で分類して解析した方が解析精度を向上できるからである。
【００４０】
図２に戻って、第１ラベル付与部１６０は、特定個人ごとに解析したパターンの出現頻度が閾値以上と判別された抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する。具体的には、第１ラベル付与部１６０は、感情推定器の個人適応処理において、頻度解析部１５０が設定したニュートラル区間に属する音声データにニュートラルのラベルを付与し、該当する音声データと紐付けて記憶部２に記憶する。第１ラベル付与部１６０は、頻度解析前にポジティブ又はネガティブのラベルが付与されていた教師データであっても、頻度解析部１５０の新たな頻度解析結果でニュートラル区間に属することとなった教師データについては、ラベルをニュートラルに変更する。
【００４１】
第２ラベル付与部１７０は、第１ラベル付与部１６０がニュートラルのラベルを付与しなかった音声データについて、感情推定装置１００に搭載されている感情推定器を用いて、ポジティブ又はネガティブのいずれかのラベルを付与し、該当する音声データと紐付けて記憶部２に記憶する。感情推定装置１００の使用開始時においては、不特定多数の発話者が発話した音声データを教師データとして生成された初期状態の感情推定器を用いて、ポジティブ又はネガティブを判別することになる。
【００４２】
感情推定器適応処理部１８０は、第１ラベル付与部１６０及び第２ラベル付与部１７０により、ポジティブ又はネガティブと、ニュートラルの何れかのラベルが付与された特定個人の音声データを、不特定多数の発話者が発話した音声データで構成された教師データに追加した特定個人用の教師データを生成し、生成した特定個人用の教師データに基づいて特定個人用に感情推定器を構築する。これにより、不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる。
【００４３】
具体的には、感情推定装置１００は、ポジティブ、ネガティブ、ニュートラルのラベルが付与された特定個人ユーザーの音声データを教師データとして、この教師データをポジティブ、ネガティブ、ニュートラルに分類するように感情推定器の特性を決める計算式のパラメータを最適化する。図９は、ポジティブ、ネガティブ、ニュートラルの３つの感情状態を判別する判別閾値を２次元で表現したイメージ図である。感情推定装置１００は、不特定多数の発話者が発話した音声データで構成された教師データに、特定個人ユーザーの音声データを追加して日々蓄積する。感情推定器適応処理部１８０は、この蓄積された教師データの増加量が予め設定した増加量を超えるごとに、感情推定器を再構築する。
【００４４】
初期状態の教師データは、不特定多数の発話者の音声データで構成されているため、不特定多数の発話者の音声データの特徴と特定個人ユーザーの音声データの特徴とは、必ずしも一致しているとは限らない。そのため、初期状態の感情推定器による特定個人ユーザーの感情推定の精度は必ずしも高いとは言えない。しかし、特定個人ユーザーの音声データが日々蓄積されていくにしたがって、教師データに占める特定個人ユーザーの音声データの比率が高まっていく。したがって、ニュートラルのラベル付与における不特定多数の発話者の音声データの影響は徐々に低下していく。頻度解析部１５０は、不特定多数の発話者の音声データを教師データとする初期の感情推定器を用いないでニュートラル区間の設定を行うからである。このように感情推定装置１００は、特定個人ユーザーに適応した感情推定器に変化していくので、特定個人用の感情推定装置１００として感情推定の精度が向上していく。
【００４５】
感情推定部１９０は、感情推定装置１００に搭載されている感情推定器を用いて、解析対象のユーザーの発話時の感情状態を推定する。図１０と図１１を用いて具体的に説明する。感情推定部１９０は、図１０に示すように、パワー解析結果とピッチ解析結果のそれぞれに基づいて、第１ラベル付与部１６０と第２ラベル付与部１７０が付与したニュートラル、ポジティブ、ネガティブのラベルを抽出区間である呼気段落区間ごとに並べる。図１１に示すように、パワー解析結果によるニュートラル、ポジティブ、ネガティブのラベルが付与された呼気段落区間の数をＮｐａ、Ｎｐｂ、Ｎｐｃとする。同様に、ピッチ解析結果によるニュートラル、ポジティブ、ネガティブのラベルが付与された呼気段落区間の数をＮｆａ、Ｎｆｂ、Ｎｆｃとする。感情推定部１９０は、これに重み係数Ｗｐａ、Ｗｐｂ、Ｗｐｃ、Ｗｆａ、Ｗｆｂ、Ｗｆｃを付与する。
【００４６】
この重み係数の設定により、パワー解析結果を重視するかピッチ解析結果を重視するかのバランス調整をすることができる。また、ポジティブ、ネガティブ、ニュートラルの重み係数の調整により、ロボットの疑似人格を調整できる。例えば、ニュートラルの重み係数を重くすると、ユーザーの多少の感情状態の変化を汲み取ることの無い事務的な疑似人格を形成することができる。また、ネガティブの重み係数を重くすると、ユーザー音声のネガティブ的特徴を敏感に汲み取る気遣いに優れた疑似人格を形成することができる。
【００４７】
感情推定部１９０は、Ｎｐａ、Ｎｐｂ、Ｎｐｃ、Ｎｆａ、Ｎｆｂ、Ｎｆｃに基づいて、式１から式３を使用して、ニュートラルの評価点Ｅｎｅｕ、ポジティブの評価点Ｅｐｏｓ、ネガティブの評価点Ｅｎｅｇを求める。
【００４８】
Ｅｎｅｕ＝Ｎｐａ＊Ｗｐａ＋Ｎｆａ＊Ｗｆａ          （式１）
Ｅｐｏｓ＝Ｎｐｂ＊Ｗｐｂ＋Ｎｆｂ＊Ｗｆｂ          （式２）
Ｅｎｅｇ＝Ｎｐｃ＊Ｗｐｃ＋Ｎｆｃ＊Ｗｆｃ          （式３）
【００４９】
感情推定部１９０は、評価点が最も高い感情状態を解析対象とする音声データ（例えば、文）を発話したときのユーザーの感情状態と推定する。
【００５０】
入出力部３は、入出力部３を介して、推定したユーザーの感情状態を出力する。例えば、入出力部３は、推定したユーザーの感情状態（ポジティブ、ネガティブ、ニュートラル）をスピーカから出力し、表示部に表示する。また、入出力部３は、予めプログラムされたシナリオに基づいて、感情状態と対応付けられた発話内容、発話速度、ＬＥＤの色として推定した感情状態を間接的に出力することもできる。
【００５１】
次に、上記の構成を有する感情推定装置１００が搭載する感情推定器を特定個人用に再構築する個人適応処理について、図１２から図１４に示すフローチャートを参照して説明する。不特定多数の発話者の音声データにポジティブ、ネガティブ、ニュートラルのラベルが付与された教師データは、予め記憶部２に記憶されているものとする。本実施形態では、呼気段落の単位で音声データの特徴を抽出するので、教師データには呼気段落区間ごとに分割された音声データを用いる。また、感情推定装置１００が搭載する感情推定器は、不特定多数の発話者の音声データを教師データとして構築されているものとする。また、特定個人として、父親、母親、子供が予め登録されているものとする。
【００５２】
ユーザーがロボットを起動し、ロボットに搭載された感情推定装置１００に音声データを供給することにより、図１２に示すフローチャートはスタートする。
【００５３】
音声データ取得部１１０がユーザーの供給した音声データを取得すると（ステップＳ１１）、音声データ解析部１２０は、取得した音声データの解析を実施する（ステップＳ１２）。具体的には、音声データ解析部１２０は、取得した音声データから、音声データのパワー、音声データのピッチを時系列のデータとして作成する。
【００５４】
特定個人分類部１３１は、抽出した音声データの特徴に基づいて、音声データを特定個人ごとに分類し、記憶部２に記憶する（ステップＳ１３）。例えば、父親の音声データ、母親の音声データ、子供の音声データのように分類し、記憶部２に記憶する。
【００５５】
次に、感情推定装置１００は、記憶した音声データの増加量が予め設定した所定量を超えたか否かを判別する（ステップＳ１４）。この所定量の設定を大きくすると、感情推定器の個人適応処理を行うたびに、感情推定装置１００を搭載したロボットの疑似人格が大きく変化するようになる。また、この所定量の設定を小さくすると、感情推定装置１００を搭載したロボットの疑似人格が少しずつ変化するようになる。感情推定装置１００は、蓄積した音声データの増加量が所定の閾値を超えていない場合（ステップＳ１４：Ｎｏ）、音声データの蓄積を継続する。感情推定装置１００は、蓄積した音声データの増加量が所定量を超えた場合（ステップＳ１４：Ｙｅｓ）、搭載する感情推定器の個人適応処理を行う（ステップＳ１５）。感情推定器の個人適応処理につては、図１３に示すフローチャートを参照しながら説明する。
【００５６】
感情推定装置１００は、感情推定器の個人適応処理をスタートさせると、特徴抽出部１３０は、音声データのパワー時系列変化パターンとピッチ時系列変化パターンを算出する区間として、図５を用いて説明したように、音声データを呼気段落の単位で区切った呼気段落区間を設定する。特徴抽出部１３０は、設定した呼気段落区間の全てについて音声データの特徴の抽出処理を行う（ステップＳ２１）。音声データの特徴抽出処理については、図１４に示すフローチャートを参照しながら説明する。
【００５７】
感情推定装置１００は、音声データの特徴抽出処理をスタートすると、最初に、時間長測定部１３２の機能を用いて呼気段落区間に分割された音声データの時間長を測定し、音声データと測定した時間長とを紐付けて記憶部２に記憶する（ステップＳ３１）。
【００５８】
次に、パワー時系列変化パターン算出部１３３は、図６を用いて説明したように、パワー時系列データの変化パターンとして、抽出区間（呼気段落区間）ごとにパワー時系列変化パターンを算出する（ステップＳ３２）。そして、算出したパワー時系列変化パターンと時間長測定部１３２が測定した時間長とを紐付けて記憶部２に記憶する。
【００５９】
次に、ピッチ時系列変化パターン算出部１３４は、図７を用いて説明したように、ピッチ時系列データの変化パターンとして、抽出区間（呼気段落区間）ごとにピッチ時系列変化パターンを算出する（ステップＳ３３）。そして、算出したピッチ時系列変化パターンと時間長測定部１３２が測定した時間長とを紐付けて記憶部２に記憶する。
【００６０】
図１３のフローチャートに戻って、記憶部２に記憶している音声データ（パワー時系列データ、ピッチ時系列データ）の全てについて特徴抽出処理を終えると、頻度解析部１５０は、抽出された特徴を複数のパターンに分類し、そのパターンごとの出現頻度を特定個人ごとに解析する（ステップＳ２２）。具体的には、頻度解析部１５０は、図８を用いて説明したように、特定個人ごとに、パワー時系列変化パターンの頻度解析とピッチ時系列変化パターンの頻度解析を行う。このとき、頻度解析部１５０は、時間長測定部１３２が測定した抽出区間の時間長を、例えば、２秒以下、２秒から４秒、４秒以上の３種類に分類して頻度解析を行う。そして、頻度解析部１５０は、出現頻度が閾値以上である区間を、平常状態で発話された音声データの時系列変化パターンが属するニュートラル区間として設定する。
【００６１】
第１ラベル付与部１６０は、音声データの特徴（パワー時系列変化パターンとピッチ時系列変化パターン）が、頻度解析部１５０がニュートラル区間として設定した区間に属する音声データにニュートラルのラベルを付与する（ステップＳ２３）。そして、第１ラベル付与部１６０は、ニュートラルのラベルを付与した音声データを、教師データとして記憶部２に記憶する（ステップＳ２４）。
【００６２】
次に、第２ラベル付与部１７０は、搭載する感情推定器を用いて、第１ラベル付与部１６０がニュートラルのラベルを付与しなかった音声データを、ポジティブ又はネガティブに分類する（ステップＳ２５）。そして、第２ラベル付与部１７０は、該当する音声データにポジティブ又はネガティブのラベルを付与し、教師データとして記憶部２に記憶する（ステップＳ２６）。
【００６３】
記憶部２に記憶する音声データ（パワー時系列データ、ピッチ時系列データ）の全てについてポジティブ、ネガティブ、ニュートラルのラベル付けが完了すると、感情推定器適応処理部１８０は、搭載する感情推定器の個人適応処理を行う（ステップＳ２７）。具体的には、感情推定器適応処理部１８０は、第１ラベル付与部１６０及び第２ラベル付与部１７０により、ポジティブ、ネガティブ、ニュートラルの何れかのラベルが付与された音声データを、付与されているラベル通りにポジティブ、ネガティブ、ニュートラルに分類する特定個人用の感情推定器として、搭載する感情推定器を再構築する。父親、母親、子供の３人が登録されている場合は、父親用、母親用、子供用の３種類の感情推定器を構築する。これにより、感情推定器適応処理部１８０は、不特定多数の発話者が発話した音声データを教師データとして生成された初期状態の感情推定器を、特定個人専用の感情状態を推定する感情推定器として個人適応させる。感情推定器の個人適応処理（ステップＳ２７）が完了すると、図１２のステップＳ１５の処理は終了する。
【００６４】
感情推定装置１００は、音声データの蓄積を継続し、蓄積された音声データの増加量が所定量を超えるたびに搭載する感情推定器の個人適応処理を行う。以上で、感情推定装置１００が行う感情推定器の個人適応処理の説明を終了する。
【００６５】
次に、感情推定装置１００が行うユーザーの音声データからユーザーの発話時の感情状態を推定する感情推定処理について、図１５に示すフローチャートを参照しながら説明する。図１２〜図１３に示すフローチャートを用いて説明した感情推定装置１００の個人適応処理は定期的に行われているものとする。ユーザーが感情推定装置１００を搭載したロボットを起動し、ロボットにユーザーの音声データを供給することにより、図１５に示すフローチャートはスタートする。
【００６６】
ユーザーが音声データを供給して、音声データを取得する処理（ステップＳ５１）から特定個人ごとに音声データを分類する処理（ステップＳ５３）までの説明は、個人適応処理で行ったステップＳ１１からＳ１３までの説明と同じである。
【００６７】
感情推定装置１００は、音声データ解析部１２０が作成した音声データ（パワー時系列データ、ピッチ時系列データ）を特定個人ごとに分類すると、特徴抽出部１３０は、特定個人の音声データ（パワー時系列データ、ピッチ時系列データ）を抽出する（ステップＳ５４）。特徴抽出部１３０は、特定個人の音声データを抽出すると、音声データ（パワー時系列データ、ピッチ時系列データ）に呼気段落区間を設定する。そして、特徴抽出部１３０は、呼気段落区間の全てについて、図６と図７を用いて説明したように、音声データの特徴として、音声データのパワー時系列変化パターンとピッチ時系列変化パターンを抽出する（ステップＳ５５）。ステップＳ５５の詳細処理内容は、図１４を用いて行った説明と同じである。
【００６８】
次に、感情推定装置１００は、搭載する感情推定器を用いて、音声データを抽出区間（呼気段落区間）ごとに、ポジティブ、ネガティブ、ニュートラルの何れかに分類し、ポジティブ、ネガティブ、ニュートラルのラベルを付与して記憶部２に記憶する（ステップＳ５６）。
【００６９】
次に、感情推定装置１００は、全ての抽出区間（呼気段落区間）についての解析（感情推定）を完了したか否かを判別する（ステップＳ５７）。感情推定装置１００は、全ての抽出区間の解析を完了していない場合（ステップＳ５７：Ｎｏ）、他の抽出区間を抽出して解析を継続する（ステップＳ５８）。一方、全ての抽出区間について解析を完了している場合（ステップＳ５７：Ｙｅｓ）、感情推定部１９０は、図１０と図１１を用いて説明したように、式１から式３を用いて、特定個人が発話した音声データ全体（例えば、文）について、特定個人の発話時の感情状態を推定する（ステップＳ５９）。
【００７０】
次に、感情推定装置１００は、取得した全ての人の音声データについて感情推定を完了したか否かを判別する（ステップＳ６０）。全ての人の感情推定を完了していない場合（ステップＳ６０：Ｎｏ）、感情推定装置１００は、他の人を特定個人とし、新たな特定個人の音声データ（パワー時系列データ、ピッチ時系列データ）を抽出して感情推定処理を継続する（ステップＳ６１）。一方、全ての人の音声データについて感情推定を完了している場合（ステップＳ６０：Ｙｅｓ）、感情推定装置１００の感情推定処理は終了する。
【００７１】
以上に説明したように感情推定装置１００は、音声データの特徴を抽出し、抽出した特徴の出現頻度に基づいて、音声データにニュートラルのラベルを付与して教師データに追加する。これにより、特定個人ユーザーの音声データが日々蓄積されていくにしたがって、教師データに占める特定個人ユーザーの音声データの比率が高まっていく。この特定個人ユーザーの音声データの比率が高くなった教師データに基づいて再構築される感情推定器は、特定個人用の感情推定器として適応していく。
【００７２】
従来技術におけるラベル付与方法は、あくまでも不特定多数の発話者の音声データを教師データとして構築された感情推定器を用いてラベル付与を行う。したがって、そのラベルを付与された音声データを教師データに追加して感情推定器を再構築しても、必ずしも特定個人ユーザーに適応した感情推定器として最適化されるとは言えない。本実施形態に係る感情推定装置１００は、日々蓄積される特定個人ユーザーの音声データの特徴パターンの出現頻度に基づいてニュートラルのラベルを付与するので、特定個人用の感情推定器として適応しやすくなる。これにより、感情推定装置１００は、特定個人用の感情推定装置として推定精度を向上することができる。
【００７３】
また、特徴抽出部１３０は、音声データの特徴としてパワー時系列変化パターンとピッチ時系列変化パターンとを抽出し、頻度解析部１５０は、その時系列変化パターンに基づいて音声データの特徴の頻度解析を行う。音声データの時系列変化パターンは、発話者の感情状態によって変化しやすい傾向がある。感情推定装置１００は、この時系列変化パターンの頻度解析により発話者のニュートラルな（平均的な）感情状態を判別する。これにより、感情推定装置１００は、特定個人ユーザーの発話時の感情状態をより正確に推定することができる。
【００７４】
第１ラベル付与部１６０は、パワー時系列変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された音声データに対して、又はピッチ時系列変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する。このように、感情推定装置１００は、特定個人ユーザーの音声データの特徴パターンの統計データに基づいて、その特定個人ユーザーの発話時の感情状態のラベル付与を行って教師データに追加する。これにより、特定個人ユーザーの音声データが増えるにしたがって、感情推定装置１００は、搭載する感情推定器を特定個人用の感情推定器として適応させることができる。
【００７５】
音声データの特徴の変化パターンの抽出区間は、呼気段落のほか、単語、アクセント句、文、等の区間を抽出区間とすることができる。特定個人ユーザーがまとまった文を発話する習慣が無い場合には、単語単位のように抽出区間を短くした方がそのユーザーに適した感情推定装置１００を構築できる場合がある。特定個人ユーザーの発話特徴に合わせた抽出区間とすることにより、推定精度を向上することができる。
【００７６】
感情推定器適応処理部１８０は、日々蓄積される特定個人の音声データの増加量が予め設定した量を超えるごとに、感情推定器の適応処理を行う。これにより、音声データを取得するたびに適応処理を行う方式に比べ、感情推定装置１００の処理量を削減することができる。
【００７７】
感情推定部１９０は、重み係数を使用した式１から式３を使用して、ニュートラルの評価点Ｅｎｅｕ、ポジティブの評価点Ｅｐｏｓ、ネガティブの評価点Ｅｎｅｇを求める。この重み係数の設定により、パワー解析結果を重視するかピッチ解析結果を重視するかのバランス調整をすることができる。また、ポジティブ、ネガティブ、ニュートラルの重み係数の調整により、ロボットの疑似人格を調整できる。
【００７８】
（変形例１）
実施形態１の説明では、頻度解析部１５０が、予め設定された閾値を基準にニュートラル区間を設定する説明をしたが、頻度解析の方法はこれに限定する必要は無い。例えば、図１６（ａ）に示すように、平均出現頻度以上の区間をニュートラル区間に設定してもよい。また、図１６（ｂ）に示すように、出現頻度分布における分散σを求め、分散σの範囲をニュートラル区間に設定してもよい。ニュートラル区間とする範囲をσから１．５σ、２σと広げるほど、感情推定装置１００を搭載したロボットの疑似人格を、ユーザーの多少の感情状態の変化を汲み取ることの無い事務的な疑似人格とすることができる。また、図１６（ｃ）に示すように、出現頻度分布における中央値を求め、中央値から所定の幅Ｘの範囲をニュートラル区間に設定してもよい。
【００７９】
（変形例２）
実施形態１で図１０を用いて説明した感情推定部１９０の処理は、式１から式３を用いて評価点を求め、文全体としてポジティブ、ネガティブ、ニュートラルの何れに該当するのかを推定する処理であった。しかし、感情推定処理の方法はこれに限定する必要は無い。例えば、抽出区間（呼気段落区間）ごとにポジティブ、ネガティブ、ニュートラルのいずれに該当するかを判別し、ポジティブ、ネガティブ、ニュートラルのそれぞれに該当する区間の数を比較し、多数決で決定するようにしてもよい。具体的には、パワー解析結果とピッチ解析結果の両方の解析結果がニュートラルであった抽出区間のみをニュートラルとする。そして、ニュートラルのラベルを付与しなかった抽出区間について、搭載する感情推定器を用いて、ポジティブ又はネガティブの判別を行う。そして、ポジティブと判別した区間数、ネガティブと判別した区間数、ニュートラルと判別した区間数の中で、最も多かった区間数の感情状態（ポジティブ、ネガティブ、ニュートラル）を発話者の感情状態として推定するようにしてもよい。
【００８０】
パワー解析結果とピッチ解析結果の両方の解析結果がニュートラルであった区間をニュートラル区間とすると、ニュートラルと判別する区間は狭くなる。この場合、感情推定装置１００を搭載したロボットの疑似人格を、ユーザーの感情状態の変化を敏感に汲み取る気遣いに優れた疑似人格とすることができる。
【００８１】
また、別の方法としては、パワー解析結果とピッチ解析結果の何れかの解析結果がニュートラルであった区間をニュートラル区間としてもよい。この場合、ニュートラルと判別する区間が広くなるので、ロボットの疑似人格を、ユーザーの多少の感情状態の変化を汲み取ることの無い事務的なイメージが強い疑似人格とすることができる。
【００８２】
また、実施形態１では、パワー時系列変化パターンとピッチ時系列変化パターンの２つの特徴を用いて解析をしたが、パワー時系列変化パターンとピッチ時系列変化パターンの何れか片方のみで解析するようにしてもよい。どの解析を省略するかは、感情推定精度、処理速度、製造コスト等を考慮して、選択すればよい。また、どの解析項目を省略するかにより、ロボットの疑似人格を調整することもできる。
【００８３】
（変形例３）
実施形態１の説明では、教師データは、呼気段落区間ごとに分割された音声データであり、第１ラベル付与部１６０と第２ラベル付与部１７０とは、呼気段落区間に分割された音声データに対してポジティブ、ネガティブ、ニュートラルのラベルを付与する説明をした。変形例３では、文単位でポジティブ、ネガティブ、ニュートラルのラベルを付与された教師データを用いる場合について説明する。
【００８４】
音声データ取得部１１０、音声データ解析部１２０、特徴抽出部１３０、頻度解析部１５０の機能動作は同じである。音声データ解析部１２０は、取得した音声データから、パワー時系列データとピッチ時系列データとを作成する。特徴抽出部１３０は、パワー時系列データとピッチ時系列データに特徴抽出区間として呼気段落を設定し、パワー時系列変化パターンとピッチ時系列変化パターンとを抽出する。そして、頻度解析部１５０は、特定個人ごとに、パワー時系列変化パターンとピッチ時系列変化パターンの頻度解析を行う。  
【００８５】
第１ラベル付与部１６０は、解析対象とする文がニュートラルの感情状態で発話されたか否かを判別する。具体的には、実施形態１で図１０を用いて説明したように、図８に例示した出現頻度分布と比較し、抽出区間ごとにニュートラル区間に該当するか否かを判別する。そして、例えば、ニュートラル区間に該当する区間数が、文全体の抽出区間数の５０％以上であった場合、その文をニュートラルの感情状態で発話された文であると判別する。そして、ニュートラルと判別した文にニュートラルのラベルを付与して、記憶部２に記憶する。
【００８６】
第２ラベル付与部１７０は、ニュートラルのラベルを付与されていない文単位の音声データを、不特定多数の発話者が発話した文単位の音声データを教師データとして生成された感情推定器を用いて、ポジティブ又はネガティブの何れかに分類して、ポジティブ又はネガティブのラベルを文単位で付与する。具体的には、第２ラベル付与部１７０は、第１ラベル付与部１６０がニュートラルのラベルを付与しなかった文単位の音声データについて、感情推定部１９０を用いてポジティブ又はネガティブのいずれかのラベルを付与し、該当する音声データと紐付けて記憶部２に記憶する。
【００８７】
感情推定器適応処理部１８０は、第１ラベル付与部１６０及び第２ラベル付与部１７０により、ポジティブ、ネガティブ、ニュートラルの何れかのラベルが文単位で付与された特定個人ごとの音声データを、不特定多数の発話者が発話した音声データで文単位に構成された教師データに追加し、特定個人用の教師データを生成する。そして、特定個人ごとに生成された教師データに基づいて感情推定器を特定個人用の感情推定器として再構築することにより、不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、特定個人の感情状態を文単位で推定する感情推定器として個人適応させる。
【００８８】
次に、感情推定部１９０は、音声データを文単位で発話者の感情推定を行う感情推定器を用いて、文単位で発話者の感情状態を推定する。したがって、感情推定部１９０は、図１０と式１から式３を用いて説明した処理は行わない。
【００８９】
ロボットに搭載した感情推定装置１００に日々類似する内容の音声データの供給が繰り返される場合、呼気段落よりも長い文単位でラベル付与処理を行った方が、発話者の感情推定の精度を向上できる場合がある。また、感情推定に要する処理時間も削減できる場合がある。
【００９０】
なお、上記の説明では、音声データの特徴として、パワー時系列変化パターンとピッチ時系列変化パターンを例にして説明したが、音声データの特徴はこれに限定する必要は無い。例えば、抽出区間の音声のパワーのピーク値もしくは平均値、抽出区間の音声データをＦＦＴ変換した際の最も低い周波数領域に存在するピーク周波数ｆ０、抽出区間の音声データをＦＦＴ変換して求めたスペクトルの平均周波数等を用いてもよい。時系列変化パターンとしては、アクセント句ごとのパワーの変化パターン、アクセント句ごとのピッチの変化パターン等を用いることもできる。このように様々な音声データの特徴に基づいて頻度解析することにより、より正確な感情推定をすることができる。
【００９１】
また、上記の説明では、音声データ解析部１２０がパワー時系列データとピッチ時系列データとを作成し、特徴抽出部１３０がパワー時系列データとピッチ時系列データに呼気段落を設定し、呼気段落ごとのパワー時系列変化パターンとピッチ時系列変化パターンとを抽出する説明をした。この変形として、無音区間に基づいて音声データを呼気段落に分割し、分割後の音声データからパワー時系列データとピッチ時系列データを作成し、呼気段落毎に作成されたパワー時系列データとピッチ時系列データから、パワー時系列変化パターンとピッチ時系列変化パターンとを抽出するようにしてもよい。
【００９２】
また、感情推定装置１００が搭載する感情推定器は、図９を用いて説明したようなポジティブ、ネガティブ、ニュートラルの３値に分類する１つの推定器であってもよいし、２つの推定器を使用してもよい。例えば、１つ目の推定器で音声データをニュートラルとその他に分類し、２つ目の推定器でその他に分類した音声データをポジティブとネガティブとに分類するようにしてもよい。
【００９３】
また、感情推定処理において、ニュートラルの分類には搭載する感情推定器を使用しないようにすることもできる。具体的には、第１ラベル付与部１６０は、特徴抽出部１３０が抽出した解析対象とするユーザーの音声データの特徴が、頻度解析部１５０が解析したニュートラル区間に属するか否かを判別し、ニュートラル区間に属する場合には、該当する音声データにニュートラルのラベルを付与する。図８（ａ）に示す例では、第１ラベル付与部１６０は、パワー時系列変化パターン算出部１３３が算出したパワー時系列変化パターンθｓが、２０°から５０°の範囲である場合には、音声データにニュートラルのラベルを付与する。ピッチ時系列変化パターンについても同様である。ポジティブとネガティブとの分類には、搭載する感情推定器を使用すればよい。
【００９４】
また、実施形態１の説明では、特徴抽出部１３０内に時間長測定部１３２を設け、頻度解析部１５０が、時系列変化パターンの頻度解析を所定の時間長ごとに行う説明をした。しかし、時間長を分類せずに頻度解析を行ってもよい。時間長による分類を省略するか否かは、抽出区間の設定、推定精度、処理時間、製造コスト等の兼ね合いで決めることができる。
【００９５】
また、実施形態１の図８を用いた頻度解析の説明では、頻度の区分を１０°ごとに分割した区分として９つの区分を設ける説明をしたが、この区分は任意に設定することができる。例えば、０°から３０°、３０°から６０°、６０°から９０°のように３つの区分としてもよい。
【００９６】
また、上記の説明では、感情推定器適応処理部１８０が感情推定器を再構築するタイミングを、教師データの増加量が所定量増加するごととする説明をした。しかしながら、感情推定器の再構築のタイミングは任意に設定してもよい。例えば、毎晩深夜２時、毎日曜日の深夜２時、毎月１日の深夜２時などに設定してもよい。このように特定の時刻に感情推定器の再構築タイミングを設定することにより、感情推定装置１００を搭載したロボットの疑似人格が、設定したタイミングごとに適応変化することを楽しむこともできる。
【００９７】
また、実施形態１で説明したように、感情推定部１９０は、式１から式３を用いて評価値を計算しているので、ニュートラルの評価値Ｅｎｅｕ、ポジティブの評価値Ｅｐｏｓ、ネガティブの評価値Ｅｎｅｇを把握している。したがって、感情推定装置１００は、ニュートラルの評価値Ｅｎｅｕ、ポジティブの評価値Ｅｐｏｓ、ネガティブの評価値Ｅｎｅｇの比率に基づいて、「ニュートラルではあるが、ややネガティブ」のように、複数の感情状態の程度を加味した感情推定を行うこともできる。
【００９８】
また、実施形態１の説明では、発話者の感情状態をポジティブ、ネガティブ、ニュートラル、の３種類に分類する説明をしたが、感情の分類方法はこれに限定する必要はない。ニュートラル（普通）とその他の感情状態を分類する方法であれば良い。例えば、喜、怒、哀、楽、普通の５種類に分類してもよい。この場合、不特定多数の発話者の音声データを教師データとして構築された初期の感情推定器も、音声データを喜、怒、哀、楽、普通の５種類に分類可能な感情推定器を搭載する。搭載する感情推定器は、第１ラベル付与部１６０がニュートラルのラベルを付与しなかった音声データについて、音声の強さ、音声のピッチ、音素の時間長等の特徴量に基づいて、発話者の感情状態を喜、怒、哀、楽、の４種類のいずれかに分類し、喜怒哀楽等のラベルを付与する。
【００９９】
また、不特定多数の発話者により発話された初期の教師データの量を多くすると、特定個人専用に適応するためには、多くの特定個人の音声データの入力が必要となる。一方、初期の教師データの量が少なすぎると、初期の感情推定精度が低下する。したがって、不特定多数の発話者により発話された初期の教師データの量は、上記を考慮して設定することが好ましい。
【０１００】
また、本発明に係る機能を実現するための構成を予め備えた感情推定装置１００として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る感情推定装置１００として機能させることもできる。すなわち、上記実施形態で例示した感情推定装置１００による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る感情推定装置１００として機能させることができる。また、本発明に係る感情推定方法は、感情推定装置１００を用いて実施できる。
【０１０１】
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等）に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【０１０３】
（付記１）
不特定多数の発話者が発話した音声データを教師データとして生成された、発話者の発話時の感情状態を推定する感情推定器を、特定個人の発話時の感情状態を推定する感情推定器として個人適応させる感情推定器の個人適応方法であって、
前記特定個人が発話した音声データを取得する取得ステップと、
前記音声データの特徴を抽出する特徴抽出ステップと、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析ステップと、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与ステップと、
前記第１ラベル付与ステップでニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応ステップと、
を含む感情推定器の個人適応方法。
【０１０４】
（付記２）
前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器は、発話者の発話時の感情状態をポジティブ又はネガティブと、ニュートラルの何れかと推定する感情推定器であって、
前記第１ラベル付与ステップにおいてニュートラルのラベルを付与されていない音声データを、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を用いて、ポジティブ又はネガティブの何れかに分類し、ポジティブ又はネガティブのラベルを付与する第２ラベル付与ステップをさらに含み、
前記個人適応ステップでは、前記第１ラベル付与ステップ及び前記第２ラベル付与ステップにより、ポジティブ又はネガティブと、ニュートラルの何れかのラベルが付与された前記特定個人の音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる、
ことを特徴とする付記１に記載の感情推定器の個人適応方法。
【０１０５】
（付記３）
前記特徴抽出ステップで抽出する前記音声データの特徴は、音声データのパワー時系列データの変化パターン、又は音声データのピッチ時系列データの変化パターンである、
ことを特徴とする付記１または２に記載の感情推定器の個人適応方法。
【０１０６】
（付記４）
前記頻度解析ステップで分類し、出現頻度を解析するパターンは、前記パワー時系列データの変化パターン、又は前記ピッチ時系列データの変化パターンである、
ことを特徴とする付記３に記載の感情推定器の個人適応方法。
【０１０７】
（付記５）
前記第１ラベル付与ステップでは、前記パワー時系列データの変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された当該音声データに対して、又は前記ピッチ時系列データの変化パターンにおいて特定のパターンの出現頻度が閾値以上と判別された当該音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する、
ことを特徴とする付記４に記載の感情推定器の個人適応方法。
【０１０８】
（付記６）
前記第１ラベル付与ステップでは、前記パワー時系列データの変化パターンにおいて特定のパターンの出現頻度が所定値以上と判別され、且つ前記ピッチ時系列データの変化パターンにおいて特定のパターンの出現頻度が所定値以上と判別された当該音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する、
ことを特徴とする付記４に記載の感情推定器の個人適応方法。
【０１０９】
（付記７）
前記特定の抽出区間は、少なくとも、呼気段落、単語、アクセント句、文、の何れかの区間である、
ことを特徴とする付記１から６の何れか一に記載の感情推定器の個人適応方法。
【０１１０】
（付記８）
前記個人適応ステップでは、前記取得ステップで取得された前記特定個人の発話者が発話した音声データの増加量が予め設定した量を超えるごとに、前記感情推定器を前記特定個人用の感情推定器として個人適応させる、
ことを特徴とする付記１から７の何れか一に記載の感情推定器の個人適応方法。
【０１１１】
（付記９）
前記個人適応ステップでは、予め設定された時刻になると、前記感情推定器を前記特定個人用の感情推定器として個人適応させる、
ことを特徴とする付記１から７の何れか一に記載の感情推定器の個人適応方法。
【０１１２】
（付記１０）
前記取得ステップでは、前記特定個人が発話した音声データを取得し、
前記頻度解析ステップでは、前記パターンの出現頻度を前記特定個人ごとに解析し、
前記第１ラベル付与ステップでは、前記特定個人ごとに解析した前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与し、
前記個人適応ステップでは、前記第１ラベル付与ステップでニュートラルのラベルが付与された前記特定個人ごとに分類された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人ごとの教師データを生成し、生成した前記特定個人ごとの教師データに基づいて前記特定個人ごとに感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人ごとの発話時の感情状態を推定する感情推定器として個人適応させる、
ことを特徴とする付記１から９の何れか一に記載の感情推定器の個人適応方法。
【０１１３】
（付記１１）
特定個人が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段と、
を備える感情推定装置。
【０１１４】
（付記１２）
発話者が発話した音声データを取得する取得手段と、
前記音声データの特徴を抽出する特徴抽出手段と、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段と、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段と、
ニュートラルのラベルを付与した前記特定の抽出区間の数に重み係数を掛けて得られた評価値と、ニュートラルのラベルを付与しなかった特定の抽出区間の数に重み係数を掛けて得られた評価値と、を比較し、ニュートラルのラベルを付与した特定の抽出区間の評価値がニュートラルのラベルを付与しなかった特定の抽出区間の評価値よりも高い評価値であった場合、発話者の発話時の感情状態をニュートラルと判別する感情推定手段と、
を備える感情推定装置。
【０１１５】
（付記１３）
コンピュータを
特定個人が発話した音声データを取得する取得手段、
前記音声データの特徴を抽出する特徴抽出手段、
抽出された前記特徴を、特定の抽出区間ごとに複数のパターンに分類し、該パターンごとの出現頻度を解析する頻度解析手段、
前記パターンの出現頻度が閾値以上と判別された前記特定の抽出区間の音声データに対して、発話時の感情状態が平静状態であることを示すニュートラルのラベルを付与する第１ラベル付与手段、
前記第１ラベル付与手段によりニュートラルのラベルが付与された音声データを、前記不特定多数の発話者が発話した音声データで構成された教師データに追加した前記特定個人用の教師データを生成し、生成した前記特定個人用の教師データに基づいて前記特定個人用に感情推定器を構築することにより、前記不特定多数の発話者が発話した音声データを教師データとして生成された感情推定器を、前記特定個人の発話時の感情状態を推定する感情推定器として個人適応させる個人適応手段、
として機能させるためのプログラム。
【符号の説明】
【０１１６】
１…制御部、２…記憶部、３…入出力部、４…バス、１００…感情推定装置、１１０…音声データ取得部、１２０…音声データ解析部、１３０…特徴抽出部、１３１…特定個人分類部、１３２…時間長測定部、１３３…パワー時系列変化パターン算出部、１３４…ピッチ時系列変化パターン算出部、１５０…頻度解析部、１６０…第１ラベル付与部、１７０…第２ラベル付与部、１８０…感情推定器適応処理部、１９０…感情推定部
【図１】
0006638435.tif 000002
【図２】
0006638435.tif 000003
【図３】
0006638435.tif 000004
【図４】
0006638435.tif 000005
【図５】
0006638435.tif 000006
【図６】
0006638435.tif 000007
【図７】
0006638435.tif 000008
【図８】
0006638435.tif 000009
【図９】
0006638435.tif 000010
【図１０】
0006638435.tif 000011
【図１１】
0006638435.tif 000012
【図１２】
0006638435.tif 000013
【図１３】
0006638435.tif 000014
【図１４】
0006638435.tif 000015
【図１５】
0006638435.tif 000016
【図１６】
0006638435.tif 000017