(57)【要約】  入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。
2017168663.tif 000002
【特許請求の範囲】
【請求項１】
入力を受け付けた音声信号から基本周波数を特定し、
特定した前記基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出し、
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いに基づいて、前記音声信号を評価する、
発話印象判定処理をコンピュータに実行させるためのプログラム。
【請求項２】
前記緩和値は、
前記音声信号の一部の区間の基本周波数の移動平均値、または、
前記基本周波数の変化が緩やかになるように前記基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１に記載のプログラム。
【請求項３】
前記緩和値が加重平均値であって、前記特徴量が前記特徴量に対応する前記緩和値以下である場合、前記特徴量が前記特徴量に対応する前記緩和値より大きい場合よりも変化を緩やかにする度合いが小さくなるように、前記長期用重み係数を決定する、
請求項２に記載のプログラム。
【請求項４】
前記特徴量は、
前記音声信号から特定した基本周波数、または、
変化を緩やかにする度合いが前記緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１〜請求項３の何れか１項に記載のプログラム。
【請求項５】
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量は、印象判定の単位時間当たりまたは単位発話区間当たりにおける前記特徴量と前記特徴量に対応する前記緩和値との差の二乗和の平方根である、
請求項１〜請求項４の何れか１項に記載のプログラム。
【請求項６】
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量が閾値より小さい場合に印象が悪いと判定し、前記差分量が前記閾値より所定値以上大きい場合に印象が良いと判定する、
請求項１〜請求項５の何れか１項に記載のプログラム。
【請求項７】
前記閾値は、前記音声信号全体の平均値に基づいて決定される、
請求項６に記載のプログラム。
【請求項８】
前記基本周波数と前記基本周波数に対応する所定区間の基本周波数の平均値との差の絶対値が所定値を越える場合、前記基本周波数を予め除外する、
請求項１〜請求項７の何れか１項に記載のプログラム。
【請求項９】
コンピュータが、
入力を受け付けた音声信号から基本周波数を特定し、
特定した前記基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出し、
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いに基づいて、前記音声信号を評価する、
発話印象判定方法。
【請求項１０】
前記緩和値は、
前記音声信号の一部の区間の基本周波数の移動平均値、または、
前記基本周波数の変化が緩やかになるように前記基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項９に記載の発話印象判定方法。
【請求項１１】
前記緩和値が加重平均値であって、前記特徴量が前記特徴量に対応する前記緩和値以下である場合、前記特徴量が前記特徴量に対応する前記緩和値より大きい場合よりも変化を緩やかにする度合いが小さくなるように、前記長期用重み係数を決定する、
請求項１０に記載の発話印象判定方法。
【請求項１２】
前記特徴量は、
前記音声信号から特定した基本周波数、または、
変化を緩やかにする度合いが前記緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項９〜請求項１１の何れか１項に記載の発話印象判定方法。
【請求項１３】
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量は、印象判定の単位時間当たりまたは単位発話区間当たりにおける前記特徴量と前記特徴量に対応する前記緩和値との差の二乗和の平方根である、
請求項９〜請求項１２の何れか１項に記載の発話印象判定方法。
【請求項１４】
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量が閾値より小さい場合に印象が悪いと判定し、前記差分量が前記閾値より所定値以上大きい場合に印象が良いと判定する、
請求項９〜請求項１３の何れか１項に記載の発話印象判定方法。
【請求項１５】
前記閾値は、前記音声信号全体の平均値に基づいて決定される、
請求項１４に記載の発話印象判定方法。
【請求項１６】
前記基本周波数と前記基本周波数に対応する所定区間の基本周波数の平均値との差の絶対値が所定値を越える場合、前記基本周波数を予め除外する、
請求項９〜請求項１５の何れか１項に記載の発話印象判定方法。
【請求項１７】
入力を受け付けた音声信号から基本周波数を特定し、特定した前記基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出する算出部と、
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いに基づいて、前記音声信号を評価する印象判定部と、
を含む発話印象判定装置。
【請求項１８】
前記緩和値は、
前記音声信号の一部の区間の基本周波数の移動平均値、または、
前記基本周波数の変化が緩やかになるように前記基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１７に記載の発話印象判定装置。
【請求項１９】
前記緩和値が加重平均値であって、前記特徴量が、前記特徴量に対応する前記緩和値以下である場合、前記特徴量が、前記特徴量に対応する前記緩和値より大きい場合よりも変化を緩やかにする度合いが小さくなるように、前記長期用重み係数を決定する、
請求項１８に記載の発話印象判定装置。
【請求項２０】
前記特徴量は、
前記音声信号から特定した基本周波数、または、
変化を緩やかにする度合いが前記緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１７〜請求項１９の何れか１項に記載の発話印象判定装置。
【請求項２１】
前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量は、印象判定の単位時間当たりまたは単位発話区間当たりにおける前記特徴量と前記特徴量に対応する前記緩和値との差の二乗和の平方根である、
請求項１７〜請求項２０の何れか１項に記載の発話印象判定装置。
【請求項２２】
前記印象判定部は、前記基本周波数に関連する少なくとも１つの特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量が閾値より小さい場合に印象が悪いと判定し、前記差分量が前記閾値より所定値以上大きい場合に印象が良いと判定する、
請求項１７〜請求項２１の何れか１項に記載の発話印象判定装置。
【請求項２３】
前記閾値は、前記音声信号全体の平均値に基づいて決定される、
請求項２２に記載の発話印象判定装置。
【請求項２４】
前記基本周波数と前記基本周波数に対応する所定区間の基本周波数の平均値との差の絶対値が所定値を越える場合、前記基本周波数を予め除外する、
請求項１７〜請求項２３の何れか１項に記載の発話印象判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話印象判定プログラム、発話印象判定方法及び発話印象判定装置に関する。
【背景技術】
【０００２】
例えば、コールセンターでオペレータが顧客と通話する場合、オペレータの声は顧客が受ける印象に影響を与える。オペレータの声の明るさの度合いが大きいと、顧客はオペレータとの通話に対して好印象をもつ場合が多い。したがって、オペレータの顧客への対応を評価するために、オペレータの声の明るさの度合いを客観的に判定する技術が存在する。当該技術では、例えば、オペレータの声の基本周波数の最大値と最小値との差に基づいて、差が大きい場合に、オペレータの声の明るさの度合いが大きいと判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６７４６５号公報
【特許文献２】特開２００８−１３４５５７号公報
【特許文献３】特開平８−４４３９５号公報
【特許文献４】国際公開２００９／１４５１９２号公報
【非特許文献】
【０００４】
【非特許文献１】スンドベリ、「歌声の科学」、東京電機大学出版局、２００７年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、発話持続時間が長い発話では、肺からの呼気が少なくなるため、声門への圧力が低下することで声帯の振動数が減少し、声の基本周波数は徐々に下降する傾向がある。したがって、発話持続時間が長い発話において、基本周波数の最大値と最小値との差に基づいてオペレータの声の明るさの度合いを判定した場合、明るさの度合いの低いオペレータの声を明るさの度合いが大きいと判定する可能性がある。【０００６】
詳細には、聞き手が受ける声の明るさの印象は、短い時間における基本周波数の変化の大きさに基づいて変化する。一方、発話持続時間が長い発話では、声の基本周波数が徐々に下降する傾向があるため、基本周波数の最大値が発話開始付近に存在し、基本周波数の最小値が発話終了付近に存在する可能性が高い。この場合、短い時間における基本周波数の変化の大きさが、基本周波数の最大値と最小値との差に現れない。したがって、明るさの度合いの低いオペレータの声を明るさの度合いが大きいと判定する可能性がある【０００７】
１つの側面として、本発明は、発話印象の判定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
１つの態様では、入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。
【発明の効果】
【０００９】
１つの側面として、発話印象の判定精度を向上させる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】第１〜第３実施形態に係る発話印象判定装置の要部機能の一例を示すブロック図である。
【図２】第１〜第３実施形態に係る発話印象判定装置のハードウェアの構成の一例を示すブロック図である。
【図３】第１実施形態に係る発話印象判定処理の一例の概要を説明するためのブロック図である。
【図４】第１実施形態に係る発話印象判定処理の一例を示すフローチャートである。
【図５】第１〜第３実施形態に係る基本周波数を取得する処理を説明するための概念図である。
【図６】第１〜第３実施形態に係る印象判定処理の一例を示すフローチャートである。
【図７】第２実施形態に係る発話印象判定処理の一例の概要を説明するためのブロック図である。
【図８】第２実施形態に係る発話印象判定処理の一例を示すフローチャートである。
【図９】第３実施形態に係る発話印象判定処理の一例の概要を説明するためのブロック図である。
【図１０】第３実施形態に係る発話印象判定処理の一例を示すフローチャートである。
【図１１】第３実施形態に係る緩和値算出処理の一例を示すフローチャートである。
【図１２】第３実施形態に係る緩和値の一例を示す概念図である。
【図１３】第３実施形態に係る差分量算出処理の一例を示すフローチャートである。
【図１４】発話印象判定システムの一例を示すブロック図である。
【図１５Ａ】発話印象判定システムのクライアントの要部機能の一例を示すブロック図である。
【図１５Ｂ】発話印象判定システムのサーバの要部機能の一例を示すブロック図である。
【図１６Ａ】第１〜第３実施形態の発話印象判定処理について説明するための概念図である。
【図１６Ｂ】第１〜第３実施形態の発話印象判定処理について説明するための概念図である。
【図１７Ａ】関連技術の発話印象判定処理について説明するための概念図である。
【図１７Ｂ】関連技術の発話印象判定処理について説明するための概念図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、開示の技術の実施形態の一例である第１実施形態を説明する。
【００１２】
一例として図１に発話印象判定装置１０を示す。発話印象判定装置１０は、例えば、音声検出部１１、算出部１２、及び印象判定部１３を含む。音声検出部１１、算出部１２、及び印象判定部１３は、相互に接続されている。
【００１３】
音声検出部１１は、ユーザの発話音声を検出する。算出部１２は、入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。印象判定部１３は、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。
【００１４】
発話印象判定装置１０は、例えば、固定電話、スマートフォン、又は携帯電話などに接続可能なパーソナルコンピュータ、もしくは専用装置であってもよいし、固定電話、スマートフォン、又は携帯電話などの一部であってもよい。
【００１５】
発話印象判定装置１０は、一例として図２に示すように、ＣＰＵ（Central Processing Unit）２１、一次記憶部２２、二次記憶部２３、外部インターフェイス２４、音声信号受信部２５、及びマイク（マイクロフォン）２６を備えている。ＣＰＵ２１、一次記憶部２２、二次記憶部２３、外部インターフェイス２４、音声信号受信部２５、及びマイク２６は、バス２９を介して相互に接続されている。
【００１６】
外部インターフェイス２４には、外部装置が接続され、外部インターフェイス２４は、外部装置とＣＰＵ２１との間の各種情報の送受信を司る。
【００１７】
マイク２６は、ユーザ側の音声、例えば、発話印象判定装置１０を利用するコールセンターのオペレータの発話音声を受け取り、音声信号に変換する。なお、図２では、マイク２６が発話印象判定装置１０に含まれるように示しているが、本実施形態はこれに限定されない。マイク２６は、例えば、発話印象判定装置１０に接続される電話などの通話装置のマイクであってもよいし、外部インターフェイス２４を介して接続される外付けのマイクであってもよい。
【００１８】
音声信号受信部２５は、電話回線又はインターネット回線などを通じて、有線または無線で送信される、通話相手側、例えば、オペレータと通話する顧客の発話音声を表す音声信号を受信する。
【００１９】
一次記憶部２２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部２３は、例えば、ＨＤＤ（Hard Disk Drive）、またはＳＳＤ（Solid State Drive）などの不揮発性のメモリである。二次記憶部２３は、例えば、発話印象判定プログラムを記憶するプログラム格納領域２３Ｐ及び各種データを記憶するデータ格納領域２３Ｄを含む。なお、発話印象判定プログラムは、外部インターフェイス２４を介して、ＣＤ−ＲＯＭ又はＤＶＤなどの非一時的記憶媒体から読み込まれてもよいし、外部サーバから受信されてもよい。
【００２０】
ＣＰＵ２１は、二次記憶部２３から発話印象判定プログラムを読み出して一次記憶部２２に展開する。ＣＰＵ２１は、当該発話印象判定プログラムを実行することで、図１に示す算出部１２、及び印象判定部１３として動作する。
【００２１】
次に、発話印象判定装置１０によって実施される発話印象判定処理の概要を説明する。発話印象判定装置１０は、ユーザの発話が通話相手に与える発話印象を判定する。
【００２２】
図３に例示するように、発話印象判定装置１０は、マイク２６でユーザの発話音声を取得する。発話印象判定装置１０は、ブロック３１で、ユーザの発話音声に対応する音声信号から基本周波数を抽出する。発話印象判定装置１０は、ブロック３２Ａで、基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。発話印象判定装置１０は、ブロック３６Ａで、基本周波数と当該基本周波数に対応する緩和値との差の大きさの度合いを表す差分量を後述する単位時間毎に算出する。発話印象判定装置１０は、ブロック３７Ａで、ブロック３６Ａで算出した差分量に基づいて、単位時間毎の発話印象を判定する。
【００２３】
次に、本実施形態の作用として、発話印象判定装置１０によって実施される発話印象判定処理について説明する。図４は、発話印象判定装置１０によって実施される発話印象判定処理の一例を示す。
【００２４】
例えば、ユーザが通話を開始した状態で発話印象判定装置１０の電源をオンすることによって、図４の発話印象判定処理が開始される。ＣＰＵ２１は、ステップ１０１で、音声フレームの数をカウントするカウンタＦ１（以下、第１フレームカウンタＦ１ともいう）に１を設定し、単位時間の数をカウントするカウンタＮ１（以下、単位時間カウンタＮ１ともいう）に０を設定する。第１フレームカウンタＦ１及び単位時間カウンタＮ１は、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる。
【００２５】
ＣＰＵ２１は、ステップ１０２で、通話中であるか否かを判定する。判定が否定された場合、即ち、通話中でない場合、ＣＰＵ２１は、発話印象判定処理を終了し、判定が肯定された場合、即ち、通話中である場合、ステップ１０３に進む。
【００２６】
ＣＰＵ２１は、ステップ１０３で、１フレーム分の音声信号を受信する。１フレームの時間長は、例えば、１０ミリ秒である。当該音声信号は、マイク２６で検出した音声、即ち、ユーザの発話音声に対応する信号であり、例えば、二次記憶部２３のデータ格納領域２３Ｄに一時的に保存される。
【００２７】
ＣＰＵ２１は、ステップ１０４で、音声信号の基本周波数ＦＦ２を取得する。詳細には、まず、音声信号の基本周波数ＦＦ１を、例えば、以下で説明するように取得する。音声信号の自己相関を算出し、図５に例示するように、シフト時間が正であり、かつ、最小の位置で自己相関値が極大となる時間を基本周期ｐｒとする。基本周波数ＦＦ１は、式（１）に示すように、サンプリング周波数Ｆｓを基本周期ｐｒで除算することにより算出される。
ＦＦ１＝Ｆｓ／ｐｒ  …  （１）
サンプリング周波数Ｆｓは、例えば、８，０００Ｈｚである。
【００２８】
次に、ＣＰＵ２１は、式（２）に示すように、単位Ｈｚである音声信号の基本周波数ＦＦ１を人間の聴覚上での声の高さに適合する単位ｓｅｍｉｔｏｎｅである音声信号の基本周波数ＦＦ２に変換する。
ＦＦ２＝１２×ｌｏｇ２（ＦＦ１／５０）  …  （２）
【００２９】
ＣＰＵ２１は、変換により取得した基本周波数ＦＦ２を配列ＦＦＲ［Ｆ１］に記憶する。ＦＦＲは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、第１フレームカウンタＦ１は、上記したように、音声フレームのカウント値を記憶している。
【００３０】
ＣＰＵ２１は、ステップ１０５で、第１フレームカウンタＦ１に１を加算する。ＣＰＵ２１は、ステップ１０６で、第１フレームカウンタＦ１に記憶されている音声フレームのカウント値が所定フレーム数Ｌより小さいか否か判定する。Ｌは、例えば、５０であってよい。判定が肯定された場合、即ち、音声フレームのカウント値が所定フレーム数Ｌより小さい場合、ＣＰＵ２１は、ステップ１０２に戻り、ステップ１０２〜ステップ１０５の処理を繰り返す。一方、判定が否定された場合、即ち、音声フレームのカウント値が所定フレーム数Ｌ以上である場合、ＣＰＵ２１は、ステップ１０７に進む。
【００３１】
ＣＰＵ２１は、ステップ１０７で、音声フレームの数をカウントするカウンタＦ２（以下、第２フレームカウンタＦ２ともいう。）に０を設定する。第２フレームカウンタＦ２のカウント値に基づいて、後述するように、フレーム数が、発話印象を判定する単位時間に対応する所定のフレーム数Ｍに達したか否かを判定する。
【００３２】
ＣＰＵ２１は、ステップ１０８で、通話中であるか否か判定し、判定が否定された場合、即ち、通話中でない場合、発話印象判定処理を終了する。ステップ１０８の判定が肯定された場合、即ち、通話中である場合、ＣＰＵ２１はステップ１０９に進む。ステップ１０９は上記ステップ１０３と同様であり、ステップ１１０は上記ステップ１０４と同様であるため、説明を省略する。
【００３３】
ＣＰＵ２１は、ステップ１１１で、緩和値Ａ１を算出する。緩和値は、例えば、式（３）に示すように、現在の基本周波数ＦＦ２から遡ってＬフレーム分の（配列ＦＦＲに記憶されている）基本周波数ＦＦ２の平均値を計算する移動平均値である。ここで、Ｌフレームは音声信号の一部の区間の一例であり、上記したように、Ｌは、例えば、５０であってよい。
【数１】
2017168663.tif 000003
次に、ＣＰＵ２１は、取得した緩和値Ａ１を配列Ａ１Ｒ［Ｆ１］に記憶する。Ａ１Ｒは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、第１フレームカウンタＦ１は上記したように、音声フレームのカウント値を記憶している。
【００３４】
ＣＰＵ２１は、ステップ１１２で、第２フレームカウンタＦ２に１を加算する。ＣＰＵ２１は、ステップ１１３で、第２フレームカウンタＦ２に記憶されているカウント値がＭより小さいか否か判定する。Ｍは、上記した発話印象を判定する単位時間に対応する所定のフレーム数であり、例えば、Ｍは３００であってよい。ＭにはＬより大きい値が用いられる。
【００３５】
ステップ１１３の判定が肯定された場合、即ち、第２フレームカウンタＦ２に記憶されているカウント値がＭより小さい場合、ＣＰＵ２１は、ステップ１１４で、第１フレームカウンタＦ１のカウント値に１を加算し、ステップ１０８に戻る。ステップ１１３の判定が否定された場合、即ち、第２フレームカウンタＦ２に記憶されているカウント値がＭ以上である場合、ＣＰＵ２１は、ステップ１１５で、差分量ＡＤを算出する。ここでは、式（４）に示すように、現在の音声フレームから遡ってＭフレーム分の配列ＦＦＲに記憶されている基本周波数ＦＦ２と配列Ａ１Ｒに記憶されている緩和値Ａ１との差分量ＡＤが算出される。
【数２】
2017168663.tif 000004
即ち、式（４）では、単位時間毎の基本周波数ＦＦ２の各々と、基本周波数ＦＦ２の各々に対応する緩和値Ａ１の各々との差の大きさを表す度合いである差分量ＡＤを算出する。
【００３６】
ＣＰＵ２１は、ステップ１１６で、算出した差分量ＡＤに基づいて、発話印象を判定する。ステップ１１６の詳細を、図６に例示する。ＣＰＵ２１は、ステップ１７１で、差分量ＡＤが閾値の一例である所定の第１閾値ＴＬより小さいか否か判定する。ステップ１７１の判定が肯定された場合、即ち、差分量ＡＤが所定の第１閾値ＴＬより小さい場合、ＣＰＵ２１は、ステップ１７２で発話印象が悪いと判定し、発話印象ＤＲを配列ＯＩ［Ｎ１］に記憶し、ステップ１１７に進む。発話印象ＤＲは、例えば、発話印象が悪いことを表す英字Ｂであってもよいし、数値−１であってもよい。ＯＩは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよい。
【００３７】
ステップ１７１の判定が否定された場合、即ち、算出した差分量ＡＤが第１閾値ＴＬ以上である場合、ＣＰＵ２１は、ステップ１７３で、算出した差分量ＡＤが、所定の第２閾値ＴＨ以下であるか否か判定する。第２閾値ＴＨは、第１閾値より大きい値である。ステップ１７３の判定が肯定された場合、即ち、算出した差分量ＡＤが第２閾値ＴＨ以下である場合、ＣＰＵ２１は、ステップ１７４で発話印象が普通であると判定し、発話印象ＤＲを配列ＯＩ［Ｎ１］に記憶し、ステップ１１７に進む。発話印象ＤＲは、例えば、発話印象が普通であることを表す英字Ｏであってもよいし、数値０であってもよい。
【００３８】
ステップ１７３の判定が否定された場合、即ち、算出した差分量ＡＤが第２閾値ＴＨより大きい場合、ＣＰＵ２１は、ステップ１７５で、発話印象が良いと判定し、発話印象ＤＲを配列ＯＩ［Ｎ１］に記憶し、ステップ１１７に進む。発話印象ＤＲは、例えば、発話印象が良いことを表す英字Ｇであってもよいし、数値１であってもよい。
【００３９】
第１閾値ＴＬは、例えば、１．５［ｓｅｍｉｔｏｎｅ］であってよく、第２閾値ＴＨは、例えば、３．０［ｓｅｍｉｔｏｎｅ］であってよい。ＣＰＵ２１は、ステップ１１７で、第１フレームカウンタＦ１のカウント値に１を加算し、単位時間カウンタＮ１のカウント値に１を加算して、ステップ１０７に戻る。
【００４０】
なお、本実施形態では、基本周波数の各々と、基本周波数の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定する例について説明したが、本実施形態は、これに限定されない。例えば、対応する緩和値の各々より大きい基本周波数の各々と、基本周波数の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定してもよい。
【００４１】
本実施形態では、算出部は、入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。印象判定部は、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。本実施形態では、緩和値は、音声信号の一部の区間の基本周波数の移動平均値である。
【００４２】
本実施形態では、特徴量は、音声信号から特定した基本周波数である。本実施形態では、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いを表す差分量は、印象判定の単位時間当たりにおける特徴量と特徴量に対応する緩和値との差の二乗和の平方根である。本実施形態では、印象判定部は、差分量が閾値より小さい場合に印象が悪いと判定し、差分量が閾値より所定値以上大きい場合に印象が良いと判定する。
【００４３】
本実施形態では、特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価することで、発話印象の判定精度を向上させることができる。即ち、本実施形態では、発話持続時間が長く、基本周波数が徐々に下降する傾向を有する場合であっても、暗い音声を明るい音声であると誤って判定することを抑制することができる。
【００４４】
［第２実施形態］
次に、開示の技術の実施形態の一例である第２実施形態を説明する。第１実施形態と同様の構成及び作用については説明を省略する。
【００４５】
本実施形態では、図７に例示するように、発話印象判定装置１０は、マイク２６でユーザの発話音声を取得する。発話印象判定装置１０は、ブロック３４で、発話区間を検出する。発話区間とは、ユーザの発話音声を含む区間である。
【００４６】
ブロック３４で発話区間であることが検出されると、発話印象判定装置１０は、ブロック３１で、ユーザの発話音声に対応する音声信号から基本周波数を抽出する。発話印象判定装置１０は、ブロック３２Ｂで、基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出し、ブロック３３Ｂで、基本周波数に関連する特徴量を算出する。
【００４７】
ブロック３４で発話区間ではないこと、即ち、発話区間の終了が検出されると、発話印象判定装置１０は、ブロック３６Ｂで、特徴量と当該特徴量に対応する緩和値との差の大きさの度合いを表す差分量を単位発話区間毎に算出する。発話印象判定装置１０は、ブロック３７Ｂで、単位発話区間毎の差分量に基づいて、単位発話区間毎の発話印象を判定する。
【００４８】
次に、本実施形態の作用として、発話印象判定装置１０によって実施される発話印象判定処理について説明する。図８は、発話印象判定装置１０によって実施される発話印象判定処理の一例を示す。
【００４９】
例えば、ユーザが通話を開始した状態で発話印象判定装置１０の電源をオンすることによって、図８の発話印象判定処理が開始される。ＣＰＵ２１は、ステップ１２０で、単位発話区間の数をカウントするカウンタＮ２（以下、単位発話区間カウンタＮ２ともいう）に０を設定する。ＣＰＵ２１は、ステップ１２１で、通話中であるか否かを判定する。判定が否定された場合、即ち、通話中でない場合、ＣＰＵ２１は、発話印象判定処理を終了し、判定が肯定された場合、即ち、通話中である場合、ステップ１２２に進む。
【００５０】
ＣＰＵ２１は、ステップ１２２で、１フレーム分の音声信号を受信する。１フレームの時間長は、例えば、１０ミリ秒である。当該音声信号は、マイク２６で検出した音声、即ち、ユーザの発話音声に対応する音声信号であり、例えば、二次記憶部２３のデータ格納領域２３Ｄに一時的に保存される。
【００５１】
ＣＰＵ２１は、ステップ１２３で、ステップ１２２で受信した音声信号で表される音声が発話区間の音声であるか否かを判定する。例えば、ステップ１２３で受信した音声信号のパワーまたは信号対雑音比が所定値より大きい場合、当該音声信号で表される音声が、背景雑音だけでなく、ユーザの発話音声を含む発話区間であると判定する。
【００５２】
ステップ１２３の判定が否定された場合、即ち、ステップ１２２で受信した音声信号で表される音声が発話区間の音声ではない場合、ＣＰＵ２１はステップ１２１に戻る。一方、ステップ１２３の判定が肯定された場合、即ち、ステップ１２２で受信した音声信号で表される音声が発話区間の音声である場合、ＣＰＵ２１はステップ１２４に進む。
【００５３】
ＣＰＵ２１は、ステップ１２４で、音声信号の基本周波数ＦＦ２を取得する。基本周波数ＦＦ２の取得については、図４のステップ１０４と同様であるため、詳細な説明を省略する。
【００５４】
ＣＰＵ２１は、取得した基本周波数ＦＦ２を配列ＦＦＲ［０］に記憶する。ＦＦＲは、上記したように、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよい。
【００５５】
ＣＰＵ２１は、ステップ１２５で、配列Ａ１Ｒ［０］に緩和値の初期値としてステップ１２４で取得した基本周波数ＦＦ２を記憶し、配列Ａ２Ｒ［０］にも特徴量の初期値としてステップ１２４で取得した基本周波数ＦＦ２を記憶する。配列Ａ１Ｒは、上記したように、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、配列Ａ２Ｒも、同様に、例えば、データ格納領域２３Ｄに含まれる配列であってよい。また、ＣＰＵ２１は、ステップ１２６で、音声フレーム数をカウントするカウンタであるＦ３（以下、第３フレームカウンタともいう）に１を設定する。
【００５６】
ＣＰＵ２１は、ステップ１２７で、通話中であるか否か判定し、判定が否定された場合、即ち、通話中でない場合、発話印象判定処理を終了する。ステップ１２７の判定が肯定された場合、即ち、通話中である場合、ＣＰＵ２１は、ステップ１２８で、音声信号を受信する。ステップ１２８は、上記ステップ１２２と同様であるため、詳細な説明を省略する。
【００５７】
ＣＰＵ２１は、ステップ１２９で、ステップ１２８で受信した音声信号で表される音声が発話区間の音声であるか否かを判定する。ステップ１２９は、上記ステップ１２３と同様であるため、詳細な説明を省略する。ステップ１２９の判定が肯定された場合、即ち、ステップ１２９で受信した音声信号で表される音声が発話区間の音声である場合、ＣＰＵ２１は、ステップ１３０で、基本周波数ＦＦ２を取得する。基本周波数ＦＦ２の取得については、図４のステップ１０４と同様であるため、詳細な説明を省略する。取得した基本周波数ＦＦ２は配列ＦＦＲ［Ｆ３］に記憶される。
【００５８】
ＣＰＵ２１は、ステップ１３１で、緩和値Ａ１Ａを算出する。緩和値Ａ１Ａは、例えば、式（５）で示すように、現在の基本周波数、即ち、配列ＦＦＲ［Ｆ３］に記憶されている基本周波数と、過去の緩和値、即ち、配列Ａ１Ｒ［Ｆ３−１］に記憶されている緩和値との加重平均値である。
Ａ１Ａ＝Ｒ１×Ａ１Ｒ［Ｆ３−１］＋（１−Ｒ１）×ＦＦＲ［Ｆ３］  …  （５）
基本周波数の変化が緩やかになるように基本周波数を変化させる長期用重み係数の一例であるＲ１は、１より小さく、１−Ｒ１より大きい値である。算出した緩和値Ａ１Ａは、配列Ａ１Ｒ［Ｆ３］に記憶される。
【００５９】
ＣＰＵ２１は、ステップ１３２で、特徴量Ａ２を算出する。特徴量Ａ２は、例えば、式（６）で示すように、現在の基本周波数、即ち、配列ＦＦＲ［Ｆ３］に記憶されている基本周波数と、過去の特徴量、即ち、配列Ａ２Ｒ［Ｆ３−１］に記憶されている特徴量との加重平均値である。
Ａ２＝Ｒ２×Ａ２Ｒ［Ｆ３−１］＋（１−Ｒ２）×ＦＦＲ［Ｆ３］  …  （６）
基本周波数の変化が緩やかになるように基本周波数を変化させる短期用重み係数の一例であるＲ２は、Ｒ１より小さく、１−Ｒ２より大きい値である。算出した特徴量Ａ２は、配列Ａ２Ｒ［Ｆ３］に記憶される。Ｒ１は、例えば、０．９であってよく、Ｒ２は、例えば、０．６であってよい。
【００６０】
上記したように、緩和値を算出する式（５）では、過去の緩和値に対する長期用重み係数Ｒ１が、特徴量を算出する式（６）における過去の特徴量に対する短期用重み係数Ｒ２よりも大きい。したがって、過去の緩和値の現在の緩和値に対する影響は、過去の特徴量の現在の特徴量に対する影響よりも大きい。
【００６１】
ＣＰＵ２１は、ステップ１３３で、第３フレームカウンタＦ３のカウント値に１を加算して、ステップ１２７に戻る。一方、ステップ１２９の判定が否定されると、即ち、ステップ１２８で受信した音声信号で表される音声が発話区間の音声ではない場合、ＣＰＵ２１は、ステップ１３４で、例えば、式（７）で示すように、差分量ＡＤ２を算出する。
【数３】
2017168663.tif 000005
式（７）では、単位発話区間毎の特徴量の各々と特徴量の各々に対応する緩和値の各々との差の大きさの度合いを表す差分量ＡＤ２を算出する。
【００６２】
ＣＰＵ２１は、ステップ１３５で、算出した差分量ＡＤ２に基づいて、発話印象を判定する。ステップ１３５は、図４のステップ１１６と同様であるため、詳細な説明を省略する。発話印象ＤＲは配列ＯＩ［Ｎ２］に記憶される。ＣＰＵ２１は、ステップ１３６で、単位発話区間カウンタＮ２のカウント値に１を加算し、ステップ１２１に戻る。
【００６３】
なお、本実施形態では、特徴量の各々と、特徴量の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定する例について説明したが、本実施形態は、これに限定されない。例えば、対応する緩和値の各々より大きい特徴量の各々と、特徴量の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定してもよい。
【００６４】
本実施形態では、算出部は、入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。印象判定部は、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。
【００６５】
本実施形態では、緩和値は、過去の基本周波数の加重平均値と音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である。緩和値を演算する際に、基本周波数の変化が緩やかになるように基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くしている。
【００６６】
本実施形態では、特徴量は、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である。特徴量を演算する際に、変化を緩やかにする度合いが緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いている。
【００６７】
本実施形態では、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いを表す差分量は、単位発話区間当たりにおける特徴量と特徴量に対応する緩和値との差の二乗和の平方根である。本実施形態では、印象判定部は、差分量が閾値より小さい場合に印象が悪いと判定し、差分量が閾値より所定値以上大きい場合に印象が良いと判定する。
【００６８】
本実施形態では、特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価することで、発話印象の判定精度を向上させることができる。即ち、本実施形態では、発話持続時間が長く、基本周波数が徐々に下降する傾向を有する場合であっても、暗い音声を明るい音声であると誤って判定することを抑制することができる。
【００６９】
また、本実施形態では、特徴量の各々と特徴量の各々に対応する緩和値の各々との差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定する。本実施形態では、特徴量は、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である。特徴量を演算する際に、変化を緩やかにする度合いが緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いている。即ち、基本周波数が外れ値を含んでいる場合であっても、基本周波数に代えて、短期用重み係数を用いて演算した加重平均値を使用することで、外れ値が発話印象の判定に与える影響を低減することが可能となり、発話印象の判定精度を向上させることができる。
【００７０】
［第３実施形態］
次に、開示の技術の実施形態の一例である第３実施形態を説明する。第１実施形態及び第２実施形態と同様の構成及び作用については説明を省略する。
【００７１】
図９に例示するように、発話印象判定装置１０は、マイク２６でユーザの発話音声を取得する。発話印象判定装置１０は、ブロック３４で、発話区間を検出する。発話区間とは、ユーザの発話音声を含む区間である。
【００７２】
ブロック３４で発話区間であることが検出されると、発話印象判定装置１０は、ブロック３１で、ユーザの発話音声に対応する音声信号から基本周波数を取得する。基本周波数に外れ値が存在する場合、発話印象判定装置１０は、ブロック３５で、当該外れ値を除外する。発話印象判定装置１０は、ブロック３２Ｃで、基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を算出する。
【００７３】
ブロック３４で発話区間ではないこと、即ち、発話区間の終了が検出されると、発話印象判定装置１０は、ブロック３６Ｃで、外れ値を除外した基本周波数と当該基本周波数に対応する緩和値との差の大きさの度合いを表す差分量を単位発話区間毎に算出する。発話印象判定装置１０は、ブロック３７Ｃで、単位発話区間毎の差分量に基づいて、単位発話区間毎の発話印象を判定する。
【００７４】
次に、本実施形態の作用として、発話印象判定装置１０によって実施される発話印象判定処理について説明する。図１０は、発話印象判定装置１０によって実施される発話印象判定処理の一例を示す。
【００７５】
例えば、ユーザが通話を開始した状態で発話印象判定装置１０の電源をオンすることによって、図１０の発話印象判定処理が開始される。ＣＰＵ２１は、ステップ１４０で、単位発話区間カウンタＮ２に０を設定する。ＣＰＵ２１は、ステップ１４１で、音声フレームの数をカウントするカウンタＦ４（以下、第４フレームカウンタＦ４ともいう）に１を設定する。
【００７６】
ＣＰＵ２１は、ステップ１４２で、通話中であるか否かを判定する。判定が否定された場合、即ち、通話中でない場合、ＣＰＵ２１は、発話印象判定処理を終了し、判定が肯定された場合、即ち、通話中である場合、ステップ１４３に進む。
【００７７】
ＣＰＵ２１は、ステップ１４３で、１フレーム分の音声信号を受信する。１フレームの時間長は、例えば、１０ミリ秒である。当該音声信号は、マイク２６で検出した音声、即ち、ユーザの発話音声に対応する音声信号であり、例えば、二次記憶部２３のデータ格納領域２３Ｄに一時的に保存される。
【００７８】
ＣＰＵ２１は、ステップ１４４で、ステップ１４３で受信した音声信号で表される音声が発話区間の音声であるか否かを判定する。ステップ１４４は、図７のステップ１２３と同様であるため、詳細な説明は省略する。
【００７９】
ＣＰＵ２１は、ステップ１４５で、音声信号の基本周波数ＦＦ２を取得する。基本周波数ＦＦ２の取得については、図４のステップ１０４と同様であるため、詳細な説明を省略する。
【００８０】
ＣＰＵ２１は、取得した基本周波数ＦＦ２を配列ＦＦＲ［Ｆ４］に記憶する。ＦＦＲは、上記したように、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、第４フレームカウンタＦ４は、上記したように、音声フレームのカウント値を記憶している。
【００８１】
ＣＰＵ２１は、ステップ１４６で、第４フレームカウンタＦ４のカウント値に１を加算する。ＣＰＵ２１は、ステップ１４７で、第４フレームカウンタＦ４に記憶されている音声フレームのカウント値が所定フレーム数Ｌより小さいか否か判定する。Ｌは、例えば、５０であってよい。ステップ１４７の判定が肯定された場合、即ち、音声フレームのカウント値が所定フレーム数Ｌより小さい場合、ＣＰＵ２１は、ステップ１４２に戻り、ステップ１４２〜ステップ１４６の処理を繰り返す。一方、ステップ１４７の判定が否定された場合、即ち、音声フレームのカウント値が所定フレーム数Ｌ以上である場合、ＣＰＵ２１は、ステップ１４８に進む。
【００８２】
ＣＰＵ２１は、ステップ１４８で、音声フレーム数をカウントするカウンタＦ５（以下、第５フレームカウンタＦ５ともいう）に１をセットし、配列Ａ１Ｒ［０］に緩和値の初期値として基本周波数ＦＦ２を記憶する。ＣＰＵ２１は、ステップ１４９で、通話中であるか否かを判定する。ステップ１４９の判定が否定された場合、即ち、通話中でない場合、ＣＰＵ２１は、発話印象判定処理を終了し、ステップ１４９の判定が肯定された場合、即ち、通話中である場合、ＣＰＵ２１はステップ１５０に進む。ステップ１５０及びステップ１５１は、ステップ１４３及びステップ１４５と各々同様であるため説明を省略する。
【００８３】
ＣＰＵ２１は、ステップ１５２で、区間平均値Ａ３を算出する。区間平均値Ａ３は、例えば、式（８）に示すように、現在の基本周波数から遡ってＬフレーム分の基本周波数の平均である移動平均値であってよい。上記したように、Ｌは、例えば、５０であってよい。区間平均値Ａ３は、後述するように、基本周波数信号ＦＦ２が外れ値であるか否か判定するために使用する。
【数４】
2017168663.tif 000006
【００８４】
次に、ＣＰＵ２１は、取得した区間平均値Ａ３を配列Ａ３Ｒ［Ｆ４］に記憶する。配列Ａ３Ｒは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、第４フレームカウンタＦ４は上記したように、音声フレームのカウント値を記憶している。
【００８５】
ＣＰＵ２１は、ステップ１５３で、基本周波数ＦＦ２が外れ値であるか否か判定する。詳細には、例えば、式（９）に示すように、ＦＦＲ［Ｆ４］に記憶されている基本周波数ＦＦ２と、配列Ａ３Ｒ［Ｆ４］に記憶されているステップ１５２で算出した区間平均値Ａ３との差の絶対値を取得する。当該差の絶対値が第３閾値ＴＡより大きい場合は、ＦＦＲ［Ｆ４］に記憶されている基本周波数ＦＦ２が外れ値であると判定する。
｜ＦＦＲ［Ｆ４］−Ａ３Ｒ［Ｆ４］｜＞ＴＡ  …  （９）
【００８６】
ステップ１５３の判定が肯定された場合、即ち、ＦＦＲ［Ｆ４］に記憶されている基本周波数ＦＦ２が外れ値である場合、ＣＰＵ２１は、ステップ１６３で、第４フレームカウンタＦ４のカウント値に１を加算して、ステップ１４９に戻る。ステップ１５３の判定が否定された場合、即ち、ＦＦＲ［Ｆ４］に記憶されている基本周波数ＦＦ２が外れ値ではない場合、ＣＰＵ２１は、ステップ１５４で、配列ＦＦＩ［Ｆ５］に基本周波数Ｆ２を記憶する。ＦＦＩは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれる配列であってよく、第５フレームカウンタＦ５は、上記したように、音声フレームのカウント値を記憶している。
【００８７】
ＣＰＵ２１は、ステップ１５５で、緩和値Ａ１Ｂを算出する。緩和値Ａ１Ｂは、例えば、式（１０）で示すように、現在の基本周波数、即ち、配列ＦＦＩ［Ｆ５］に記憶されている基本周波数ＦＦ２と、過去の緩和値、即ち、配列Ａ１Ｒ［Ｆ５−１］に記憶されている緩和値との加重平均値である。
Ａ１Ｂ＝Ｒ３×Ａ１Ｒ［Ｆ５−１］＋（１−Ｒ３）×ＦＦＩ［Ｆ５］  …  （１０）
算出した緩和値Ａ１Ｂは、配列Ａ１Ｒ［Ｆ５］に記憶される。
【００８８】
長期用重み係数の一例であるＲ３は、１より小さく、１−Ｒ３より大きい値であり、Ｒ３の値は変更される。図１１を用いて、ステップ１５５において、Ｒ３がどのように変更されるかについて説明する。ステップ１６１で、配列ＦＦＩ［Ｆ５］に記憶されている現在の基本周波数ＦＦ２が配列Ａ１Ｒ［Ｆ５−１］に記憶されている過去の緩和値Ａ１Ｂより大きいか否か判定する。ステップ１６１の判定が肯定された場合、即ち、ＦＦＩ［Ｆ５］に記憶されている基本周波数ＦＦ２が配列Ａ１Ｒ［Ｆ５−１］に記憶されている緩和値Ａ１Ｂより大きい場合、ＣＰＵ２１は、ステップ１６２で、Ｒ３に値Ｒ３Ｌを設定する。ＣＰＵ２１は、ステップ１６４で、現在の緩和値Ａ１Ｂを算出して、ステップ１５６に進む。
【００８９】
一方、ステップ１６１の判定が否定された場合、即ち、ＦＦＩ［Ｆ５］に記憶されている基本周波数ＦＦ２が配列Ａ１Ｒ［Ｆ５−１］に記憶されている緩和値Ａ１Ｂ以下である場合、ＣＰＵ２１は、ステップ１６３で、Ｒ３に値Ｒ３Ｓを設定する。値Ｒ３Ｓは値Ｒ３Ｌよりも小さい値である。ＣＰＵ２１は、ステップ１６４に進む。
【００９０】
即ち、基本周波数ＦＦ２が上昇傾向を示す場合、Ｒ３の値を大きくすることで、過去の緩和値の影響を大きくし、基本周波数ＦＦ２が下降傾向を示す場合、Ｒ３の値を小さくすることで、過去の緩和値の影響を小さくしている。Ｒ３の値を大きくすることは、変化を緩やかにする度合いを大きくすることであり、Ｒ３の値を小さくすることは、変化を緩やかにする度合いを小さくすることである。縦軸が周波数を表し、横軸が時間を表す図１２において、音声信号の基本周波数の一例を実線２０１で示す。実線２０１で示す基本周波数が、円２０１Ａ及び円２０１Ｂで示すように急激に下降する場合、過去の緩和値の影響を小さくすることで、緩和値は、基本周波数の急激な下降に追従することができる。基本周波数の急激な下降に追従する緩和値を破線２０３で例示する。一方、過去の緩和値の影響を小さくしない場合、粗い破線２０２で例示するように、緩和値は、基本周波数の変化に追従しない。
【００９１】
ＣＰＵ２１は、ステップ１５６で、第５フレームカウンタＦ５のカウント値に１を加算する。ＣＰＵ２１は、ステップ１５７で、通話中であるか否か判定する。判定が否定された場合、即ち、通話中でない場合、発話印象判定処理を終了する。
【００９２】
ステップ１５７の判定が肯定された場合、ＣＰＵ２１はステップ１５８に進む。ステップ１５８及びステップ１５９は、ステップ１４３及びステップ１４４と同様であるため、説明は省略する。ステップ１５９の判定が肯定された場合、即ち、発話区間である場合、ＣＰＵ２１は、ステップ１６４で、第４フレームカウンタＦ４のカウント値に１を加算して、ステップ１５１に戻る。
【００９３】
ステップ１５９の判定が否定された場合、即ち、発話区間の終了が判定された場合、ＣＰＵ２１は、ステップ１６０で、差分量を算出する。詳細には、図１３に例示するように、ＣＰＵ２１は、ステップ１８１で、変数Ｉに１を設定し、変数ＡＤ３Ｐに０を設定する。変数Ｉ及び変数ＡＤ３Ｐは、例えば、二次記憶部２３のデータ格納領域２３Ｄに含まれている。
【００９４】
ＣＰＵ２１は、ステップ１８２で、緩和値Ａ１Ｒ［Ｆ５−Ｉ］−基本周波数ＦＦＩ［Ｆ５−Ｉ）の二乗を変数ＡＤ３Ｐに加算する。ＣＰＵ２１は、ステップ１８３で、変数Ｉに設定されている値に１を加算し、ステップ１８４で、変数Ｉに設定されている値が第５フレームカウンタＦ５のカウント値より小さいか否か判定する。ステップ１８４の判定が肯定された場合、即ち、変数Ｉに設定されている値が第５フレームカウンタＦ５のカウント値より小さい場合、ＣＰＵ２１はステップ１８１に戻る。
【００９５】
ステップ１８４の判定が否定された場合、即ち、変数Ｉに設定されている値が第５フレームカウンタＦ５のカウント値以上である場合、ＣＰＵ２１は、ステップ１８５で、例えば、式（１１）に示すように、差分量ＡＤ３を算出して、ステップ１６１に進む。
【数５】
2017168663.tif 000007
式（１１）では、単位発話区間毎の、外れ値を除外した基本周波数の各々と基本周波数の各々に対応する緩和値の各々との差の大きさの度合いを表す差分量ＡＤ３を算出する。即ち、差分量ＡＤ３は、ステップ１５３で、基本周波数ＦＦ２が外れ値ではないと判定された基本周波数ＦＦ２及び緩和値Ａ１Ｂを用いて計算される。
【００９６】
ステップ１６１は、図８のステップ１３５と同様であるため、説明を省略する。ＣＰＵ２１は、ステップ１６３で、単位発話区間カウンタＮ２のカウント値に１を加算してステップ１４１に戻る。
【００９７】
なお、第１〜第３実施形態では、発話印象判定装置１０が物理的に単一の装置である場合について説明したが、第１〜第３実施形態はこれに限定されない。例えば、図１４に例示するように、発話印象装置１０は、ネットワーク３１で接続されたクライアント３２及びサーバ３３のような物理的に別個の複数の装置を含む発話印象判定システム３０であってもよい。
【００９８】
発話印象判定システム３０では、例えば、図１５Ａに例示するように、クライアント３２が音声検出部１１Ａを含み、図１５Ｂに例示するように、サーバ３３が算出部１２Ａ及び印象判定部１３Ａを含んでいてもよい。また、クライアント３２が音声検出部１１Ａ及び算出部１２Ａを含み、サーバ３３が印象判定部１３Ａを含んでいてもよい。また、発話印象判定システム３０は、複数のクライアント及び複数のサーバを含んでいてもよい。
【００９９】
なお、本実施形態では、基本周波数の各々と、基本周波数の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定する例について説明したが、本実施形態は、これに限定されない。例えば、対応する緩和値の各々より大きい基本周波数の各々と、基本周波数の各々に対応する緩和値の各々と、の差の大きさの度合いを表す差分量に基づいて、音声信号に対応する音声の発話印象を判定してもよい。
【０１００】
なお、第１〜第３実施形態では、発話印象判定処理がリアルタイムの通話に適用される例について説明したが、第１〜第３実施形態はこれに限定されない。例えば、録音された通話または対面応対の音声に適用されてもよい。この場合、発話印象を判定する際に用いる閾値は、例えば、録音された通話または対面応対の音声に対応する音声信号全体の基本周波数に基づいて決定されてもよい。例えば、発話印象を判定する際に用いる閾値は、音声信号全体の基本周波数の平均値に所定の値を加えた値であってよい。また、多数の通話または対面応対で取得された発話印象を判定する際に用いる閾値を蓄積し、蓄積された多数の印象判定値に基づいて、第１〜第３実施形態のようなリアルタイムの通話での発話印象を判定する際に用いる閾値を決定してもよい。
【０１０１】
また、第１実施形態では、移動平均値を計算する際に、現在の基本周波数から遡って所定フレーム分の基本周波数の平均値を計算する例について説明したが、第１実施形態は、これに限定されない。例えば、現在の基本周波数の前の所定フレーム分の基本周波数と現在の基本周波数の後の所定フレーム分の基本周波数との平均値を計算してもよい。
【０１０２】
第１〜第３実施形態では、基本周波数として単位ｓｅｍｉｔｏｎｅである基本周波数を用いたが、第１〜第３実施形態は、これに限定されない。基本周波数として単位Ｈｚの基本周波数を用いてもよい。
【０１０３】
第１〜第３実施形態の各々の１つまたは複数の部分は、異なる実施形態に適用することが可能である。例えば、第２実施形態及び第３実施形態において、緩和値として移動平均値を使用してもよい。また、例えば、第２実施形態において、緩和値が移動平均値である場合、特徴量にも緩和値よりフレーム数を低減した移動平均値を使用してもよい。例えば、緩和値が５０フレーム毎の移動平均値である場合、特徴量は１０フレーム毎の移動平均値であってもよい。また、第１実施形態において、緩和値として現在の基本周波数と過去の緩和値との加重平均値を用いてもよい。また、第１実施形態で、単位発話区間毎に発話印象の判定を行い、第２及び第３実施形態で、単位時間毎に発話印象の判定を行うようにしてもよい。なお、上記は例示であり、上記以外の変更も可能である。
【０１０４】
また、図４、図６、図８、図１０、及び図１３のフローチャートは一例であり、処理の順番は変更可能である。式（４）、式（７）、式（１１）を用いて差分量を算出する例について説明したが、本実施形態はこれに限定されない。差分量は、特徴量の各々と特徴量の各々に対応する緩和値の各々との差の大きさの度合いを表す値であればよい。また、配列、カウンタ、及び変数が二次記憶部２３のデータ格納領域２３Ｄに含まれる例について説明したが、本実施形態はこれに限定されない。配列、カウンタ、及び変数は、例えば、一次記憶部２３に含まれてもよい。
【０１０５】
本実施形態では、算出部は、入力を受け付けた音声信号から基本周波数を特定し、特定した基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値を時系列に算出する。印象判定部は、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価する。
【０１０６】
本実施形態では、緩和値は、過去の基本周波数の加重平均値と音声信号から特定した現在の基本周波数とで演算した現在の基本周波数の加重平均値である。緩和値を演算する際に、基本周波数の変化が緩やかになるように基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くする。本実施形態では、緩和値が加重平均値であって、特徴量が特徴量に対応する緩和値以下である場合、特徴量が特徴量に対応する緩和値より大きい場合よりも変化を緩やかにする度合いが小さくなるように、長期用重み係数を決定する。
【０１０７】
本実施形態では、特徴量は、音声信号から特定した基本周波数である。本実施形態では、基本周波数に関連する少なくとも１つの特徴量と特徴量に対応する緩和値との差の大きさの度合いを表す差分量は、印象判定の単位発話区間当たりにおける特徴量と特徴量に対応する緩和値との差の二乗和の平方根である。
【０１０８】
本実施形態では、印象判定部は、差分量が閾値より小さい場合に印象が悪いと判定し、差分量が閾値より所定値以上大きい場合に印象が良いと判定する。本実施形態では、基本周波数と基本周波数に対応する所定区間の基本周波数の平均値との差の絶対値が所定値を越える場合、基本周波数を予め除外する。
【０１０９】
本実施形態では、特徴量と特徴量に対応する緩和値との差の大きさの度合いに基づいて、音声信号を評価することで、発話印象の判定精度を向上させることができる。即ち、本実施形態では、発話持続時間が長く、基本周波数が徐々に下降する傾向を有する場合であっても、暗い音声を明るい音声であると誤って判定することを抑制することができる。また、本実施形態では、基本周波数から外れ値を除外することで、外れ値が発話印象の判定に与える影響を低減することが可能となり、発話印象の判定精度を向上させることができる。
【０１１０】
上記したように、第１〜第３実施形態では、特徴量と特徴量に対応する緩和値との差の大きさの度合いを表す差分量を用いて、発話印象を判定する。図１６Ａにおいて、音声信号の特徴量の一例である基本周波数を実線２１１Ａで例示し、実線２１１Ａで示される基本周波数に対応する緩和値の一例を破線２１２Ａで示す。また、図１６Ｂにおいて、音声信号の基本周波数の一例を実線２１１Ｂで示し、実線２１１Ｂで示される基本周波数に対応する緩和値を破線２１２Ｂで示す。図１６Ａ及び図１６Ｂにおいて、縦軸は周波数を表し、横軸は時間を表す。
【０１１１】
一方、例えば、音声信号の基本周波数の最大値と最小値との差に基づいて発話印象を判定する関連技術が存在する。関連技術について説明するために、図１７Ａに図１６Ａと同じ基本周波数の一例を実線２１１Ａで示し、図１７Ｂに図１６Ｂと同じ基本周波数の一例を実線２１１Ｂで示す。図１７Ａ及び図１７Ｂにおいても、縦軸は周波数を表し、横軸は時間を表す。
【０１１２】
図１７Ａ及び図１７Ｂに示すように、図１７Ａに実線２１１Ａで例示する基本周波数の最大値と最小値との差ＤＩＦ１と、図１７Ｂに実線２１１Ｂで例示する基本周波数の最大値と最小値との差ＤＩＦ２とは略等しい。したがって、音声信号の基本周波数の最大値と最小値との差に基づいて発話印象を判定した場合、実線２１１Ａで例示する基本周波数で表される音声の明るさの度合いと、実線２１１Ｂで例示する基本周波数で表される音声の明るさの度合いと、は略等しい。
【０１１３】
しかしながら、発話印象、即ち、主観的に感じる音声の明るさの度合いは、短時間での基本周波数の変化の大きさ、即ち、抑揚に依存する。従って、実際には、実線２１１Ａで例示する基本周波数で表される音声の明るさの度合いは、実線２１１Ｂで例示する基本周波数で表される音声の明るさの度合いより大きい。このように、実線２１１Ｂで例示されるような基本周波数の最大値と最小値との差に基づいて音声の明るさの度合いを判定すると、暗い音声を明るい音声であると誤って判定する場合がある。実線２１１Ｂで例示されるような基本周波数は、発話持続時間が長い場合に現れ、徐々に下降する傾向を有する。
【０１１４】
図１６Ａの実線２１１Ａで例示される基本周波数と破線２１２Ａで例示される基本周波数に対応する緩和値の差の大きさの度合いを表す差分量は、短時間での基本周波数の変化を適切に表すことができる。また、図１６Ｂの実線２１１Ｂで例示される基本周波数と基本周波数に対応する破線２１２Ｂで例示される緩和値との差の大きさの度合いを表す差分量も、短時間での基本周波数の変化を適切に表すことができる。基本周波数の変化が緩やかになるように基本周波数を変化させた緩和値が、基本周波数との差の大きさの基準となる基本周波数の短時間における変化を適切に表すことができるからである。
【０１１５】
したがって、第１〜第３実施形態によれば、図１６Ａの実線２１１Ａで例示される基本周波数で表される音声の明るさの度合いは、図１６Ｂの実線２１１Ｂで例示される基本周波数で表される音声の明るさの度合いより大きい、という発話印象が適切に判定される。即ち、図１６Ｂに実線２１１Ｂで例示する基本周波数で表される音声のように、発話持続時間が長く、基本周波数が徐々に下降する傾向を有する場合であっても、第１〜第３実施形態によれば、暗い音声を明るい音声であると誤って判定する可能性は低い。
【図１】
2017168663.tif 000008
【図２】
2017168663.tif 000009
【図３】
2017168663.tif 000010
【図４】
2017168663.tif 000011
【図５】
2017168663.tif 000012
【図６】
2017168663.tif 000013
【図７】
2017168663.tif 000014
【図８】
2017168663.tif 000015
【図９】
2017168663.tif 000016
【図１０】
2017168663.tif 000017
【図１１】
2017168663.tif 000018
【図１２】
2017168663.tif 000019
【図１３】
2017168663.tif 000020
【図１４】
2017168663.tif 000021
【図１５Ａ】
2017168663.tif 000022
【図１５Ｂ】
2017168663.tif 000023
【図１６Ａ】
2017168663.tif 000024
【図１６Ｂ】
2017168663.tif 000025
【図１７Ａ】
2017168663.tif 000026
【図１７Ｂ】
2017168663.tif 000027
【手続補正書】
【提出日】平成30年6月22日(2018.6.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号から抽出した基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出し、
前記音声信号から抽出した基本周波数に関連する複数の特徴量の各々について、前記特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量を演算し、演算した前記差分量に基づいて、前記音声信号に対応する音声の発話印象を判定する、
発話印象判定処理をコンピュータに実行させるためのプログラム。
【請求項２】
前記緩和値は、
前記音声信号の一部の区間の基本周波数の移動平均値、または、
前記基本周波数の変化が緩やかになるように前記基本周波数を変化させる長期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から抽出した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１に記載のプログラム。
【請求項３】
前記緩和値が加重平均値であって、前記特徴量が前記特徴量に対応する前記緩和値以下である場合、前記特徴量が前記特徴量に対応する前記緩和値より大きい場合よりも変化を緩やかにする度合いが小さくなるように、前記長期用重み係数を決定する、
請求項２に記載のプログラム。
【請求項４】
前記特徴量は、
前記音声信号から抽出した基本周波数、または、
変化を緩やかにする度合いが前記緩和値を算出する場合より小さくなるように定めた短期用重み係数を用いて、過去の基本周波数の加重平均値の重みを重くして過去の基本周波数の加重平均値と前記音声信号から抽出した現在の基本周波数とで演算した現在の基本周波数の加重平均値である、
請求項１〜請求項３の何れか１項に記載のプログラム。
【請求項５】
前記差分量は、印象判定の単位時間当たりまたは単位発話区間当たりにおける前記特徴量と前記特徴量に対応する前記緩和値との差の二乗和の平方根である、
請求項１〜請求項４の何れか１項に記載のプログラム。
【請求項６】
前記差分量が閾値より小さい場合に印象が悪いと判定し、前記差分量が前記閾値より所定値以上大きい場合に印象が良いと判定する、
請求項１〜請求項５の何れか１項に記載のプログラム。
【請求項７】
前記閾値は、前記音声信号全体の平均値に基づいて決定される、
請求項６に記載のプログラム。
【請求項８】
前記基本周波数と前記基本周波数に対応する所定区間の基本周波数の平均値との差の絶対値が所定値を越える場合、前記基本周波数を予め除外する、
請求項１〜請求項７の何れか１項に記載のプログラム。
【請求項９】
コンピュータが、
音声信号から抽出した基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出し、
前記音声信号から抽出した基本周波数に関連する複数の特徴量の各々について、前記特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量を演算し、演算した前記差分量に基づいて、前記音声信号に対応する音声の発話印象を判定する、
発話印象判定方法。
【請求項１０】
音声信号から抽出した基本周波数の変化が緩やかになるように前記基本周波数を変化させた緩和値を時系列に算出する算出部と、
前記音声信号から抽出した基本周波数に関連する複数の特徴量の各々について、前記特徴量と前記特徴量に対応する前記緩和値との差の大きさの度合いを表す差分量を演算し、演算した前記差分量に基づいて、前記音声信号に対応する音声の発話印象を判定する印象判定部と、
を含む発話印象判定装置。
【国際調査報告】
2017168663.tif 000028
2017168663.tif 000029
2017168663.tif 000030
2017168663.tif 000031