(57)【特許請求の範囲】
【請求項１】
コンピュータ機器による音声感情検出方法であって、
検出対象音声データを取得し、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成し、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを含む方法であって、
前記感情状態確率は、無音確率を含み、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定することは、
前記感情状態系列に含まれる無音状態に合わせて、前記検出対象音声データにおける無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、
各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する、ことを含む、
方法。
【請求項２】
コンピュータ機器による音声感情検出方法であって、
検出対象音声データを取得し、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成し、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを含む方法であって、
訓練音声データを取得し、前記訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成し、
前記訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得し、
前記訓練音声特徴行列を感情状態確率検出モデルへの入力として、前記訓練音声特徴行列における各音声特徴に対応する標準感情状態ラベルを前記感情状態確率検出モデルからの所望の出力とし、
前記感情状態確率検出モデルから実際に出力された感情状態と前記標準感情状態ラベルとの誤差が所定条件に合致する場合、前記感情状態確率検出モデルの訓練を完了して、前記感情状態確率検出モデルを得る、
ことをさらに含む、方法。
【請求項３】
音声感情検出装置であって、
検出対象音声データを取得する取得モジュールと、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成する抽出モジュールと、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させる出力モジュールと、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得る感情状態系列決定モジュールと、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する感情状態決定モジュールと、
を備える装置であって、
前記感情状態確率は、無音確率を含み、前記感情状態決定モジュールは、さらに、前記感情状態系列に含まれる無音状態に合わせて、前記検出対象音声データにおける無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する、
装置。
【請求項４】
音声感情検出装置であって、
検出対象音声データを取得する取得モジュールと、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成する抽出モジュールと、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させる出力モジュールと、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得る感情状態系列決定モジュールと、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する感情状態決定モジュールと、
を備える装置であって、
前記感情状態確率は、無音確率を含み、前記感情状態決定モジュールは、さらに、前記感情状態系列に含まれる無音状態に合わせて、前記検出対象音声データにおける無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する、
装置。
【請求項５】
メモリとプロセッサとを備えるコンピュータ機器であって、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによって実行されると、前記プロセッサに、請求項１または２に記載の方法を実行させるコンピュータ機器。
【請求項６】
コンピュータプログラムであって、コンピュータに、請求項１または２に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年８月２２日に中国特許庁に提出された、出願番号が２０１７１０７２５３９０．２であり、発明の名称が「音声感情検出方法、装置、コンピュータ機器、及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
【０００２】
本願は、コンピュータ処理分野に関し、特に、音声感情検出方法、装置、コンピュータ機器、及び記憶媒体に関する。
【背景技術】
【０００３】
音声認識技術の発展に伴い、音声を文字に変換するための技術が成熟している。伝統的な音声感情認識方法では、音声情報の関連パラメータ、例えば、音の周波数、ピッチなどを分析することにより、音声情報に含まれる感情情報を決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願の実施例では、音声感情検出方法が提供されている。
【課題を解決するための手段】
【０００５】
前記方法は、
検出対象音声データを取得し、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成し、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを含む。
【０００６】
音声感情検出装置であって、
検出対象音声データを取得する取得モジュールと、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成する抽出モジュールと、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させる出力モジュールと、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得る感情状態系列決定モジュールと、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する感情状態決定モジュールと、を備える装置が提供されている。
【０００７】
メモリとプロセッサとを備えるコンピュータ機器であって、前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによって実行されると、前記プロセッサに、
検出対象音声データを取得し、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成し、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを実行させるコンピュータ機器が提供されている。
【０００８】
また、本願の実施例では、コンピュータ可読命令を記憶した不揮発性コンピュータ可読記憶媒体が提供されており、前記コンピュータ可読命令は、少なくとも１つのプロセッサに、上記に記載の方法を実行させることが可能である。
【図面の簡単な説明】
【０００９】
【図１Ａ】一実施例における音声感情検出方法の適用可能なシステムアーキテクチャ図である。
【図１Ｂ】一実施例における音声感情検出方法のフローチャートである。
【図２】一実施例における感情状態系列を決定する方法のフローチャートである。
【図３】一実施例における観測系列に対応する感情状態系列を決定する方法のフローチャートである。
【図４】一実施例における検出対象音声データに対応する感情状態を決定する方法のフローチャートである。
【図５】一実施例における感情状態検出モデルを作成する方法のフローチャートである。
【図６】一実施例における各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成する方法のフローチャートである。
【図７】一実施例における音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させる方法のフローチャートである。
【図８】一実施例における検出対象音声データに対して感情予測を行うフローの模式図である。
【図９】一実施例におけるＤＮＮモデルで訓練を行うことにより感情状態検出モデルを得るフローの模式図である。
【図１０】別の一実施例における音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させる方法のフローチャートである。
【図１１】別の一実施例における検出対象音声データに対して感情予測を行うフローの模式図である。
【図１２】一実施例におけるＲＮＮモデルで訓練を行うことにより感情状態検出モデルを得るフローの模式図である。
【図１３】別の一実施例における音声感情検出方法のフローチャートである。
【図１４】一実施例における音声感情検出装置の構成ブロック図である。
【図１５】別の一実施例における音声感情検出装置の構成ブロック図である。
【図１６】一実施例におけるコンピュータ機器の内部構成の模式図である。
【発明を実施するための形態】
【００１０】
本願の目的、構成、及びメリットをより明確にするために、以下、図面および実施例を参照して、本願をさらに詳しく説明する。理解すべきものとして、ここで説明される具体的な実施例は、本願を解釈するためのものにすぎず、本願を限定するものではない。
【００１１】
図１Ａは、本願のいくつかの実施例における音声感情検出方法の適用可能なシステムアーキテクチャ図である。図１Ａに示すように、本願のいくつかの実施例における音声感情検出方法のシステムアーキテクチャ図には、少なくとも、端末１１、ネットワーク１２、サーバ１３が含まれる。また、本願のいくつかの実施例における音声感情検出方法のシステムアーキテクチャ図には、ユーザデータベース１４がさらに含まれてもよい。
【００１２】
本願のいくつかの実施例では、上記端末１１は、データ計算処理機能を有するインテリジェントデバイスを指してもよく、（通信モジュールが搭載された）スマートフォン、パームトップコンピュータ、タブレットコンピュータ、及びパーソナルコンピュータなどを含むが、これらに限定されない。機器端末１１には、Ａｎｄｒｏｉｄオペレーティングシステム、Ｓｙｍｂｉａｎオペレーティングシステム、Ｗｉｎｄｏｗｓ  ｍｏｂｉｌｅオペレーティングシステム、及びアップルｉＰｈｏｎｅ（登録商標）  ＯＳオペレーティングシステムなどを含むが、これらに限定されないオペレーティングシステムがインストールされる。機器端末１１には、様々なアプリケーションクライアント、例えば、音声データを採取することが可能なアプリケーションクライアントがインストールされる。
【００１３】
ネットワーク１２は、有線ネットワークや無線ネットワークを含んでもよい。図１Ａに示すように、アクセスネットワーク側では、端末１１は、無線又は有線でネットワーク１２にアクセスしてもよいが、コアネットワーク側では、サーバ１３は、一般的に、有線でネットワーク１２に接続される。もちろん、上記サーバ１３は、無線でネットワーク１２に接続されてもよい。
【００１４】
サーバ１３は、アプリケーションクライアントのサーバであってもよく、主に、アプリケーションクライアントで採取された音声データを受信して、該音声データに基づいて音声感情検出を行う。サーバ１３は、独立したサーバであってもよいし、複数のサーバからなるサーバクラスタであってもよい。
【００１５】
上記サーバ１３は、ユーザによって採取された音声データなどを記憶するためのユーザデータベース１４をさらに含んでもよい。
【００１６】
図１Ｂに示すように、一実施例では、上記システムアーキテクチャ図に基づき、音声感情検出方法が提供されている。この方法は、コンピュータ機器によって実行されてもよい。このコンピュータ機器は、サーバであってもよいし、端末であってもよい。該方法は、具体的に、下記のステップを含む。
【００１７】
ステップ１０２で、検出対象音声データを取得する。
【００１８】
ここで、音声データとは、音声で記録されるデータ、及び、音声で伝送されるデータを指す。例えば、音声データは、人間又は動物が発する声、歌曲ファイルなどであってもよい。検出対象音声データは、リアルタイムで取得されてもよいし、予め記憶されてもよい。例えば、インタラクションアプリケーションを介して、ユーザによって入力された音声データをリアルタイムで取得してもよいし、検出対象音声データをデータベースに予め記憶してから、データベースから検出対象音声データを取得してもよい。
【００１９】
ステップ１０４で、検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成する。
【００２０】
ここで、フレーム分割処理とは、連続する音声データに対してセグメント化処理を行うことを指す。フレーム長を予め設定してもよい。通常、各フレームの長さを約２０ｍｓ〜３０ｍｓに設定する。この区間内で、音声信号は、定常信号と見なされることができる。定常の情報でなければ処理できないので、音声データを処理する前に、予め設定されたフレーム長で音声データをセグメント化して、一つ一つの音声フレームを得る必要がある。音声特徴は、話者の感情特徴を反映できる。音声特徴を抽出することにより、その後、音声特徴に基づいて、相応の感情検出を行いやすくなる。具体的には、音声データに対してフレーム分割処理を行って音声フレームを得た後、各音声フレームそれぞれに対応する音声特徴を抽出する。抽出される音声特徴は、複数種類であってもよく、例えば、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ  ｆｒｅｑｕｅｎｃｙ  ｃｅｐｓｔｒｕｍ  ｃｏｅｆｆｉｃｉｅｎｔ）特徴、フィルタバンク（Ｆｉｌｔｅｒ  Ｂａｎｋ）特徴、ピッチ（ＰＩＴＣＨ）特徴、知覚線形予測（ＰＬＰ：Ｐｅｒｃｅｐｔｕａｌ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ）特徴、エネルギー（ＥＮＥＲＧＹ）特徴、識別ベクトル（Ｉ−ＶＥＣＴＯＲ：Ｉｄｅｎｔｉｆｙｉｎｇ  Ｖｅｃｔｏｒ）特徴などであってもよい。具体的に用いられる特徴は、実際の状況に応じて、自由に選択されてもよいが、上記の複数種類の音声特徴のうち１種類であってもよく、複数種類の音声特徴の融合であってもよい。
【００２１】
音声特徴行列は、各音声フレームに対応する音声特徴を組み合わせて形成される。ここで、各音声フレームそれぞれに対応する音声特徴は、多次元の特徴ベクトルである。例えば、仮に、抽出された各音声フレームそれぞれに対応する音声特徴には、Ｍ個の特徴パラメータが含まれるとすれば、各音声フレームそれぞれに対応する音声特徴は、Ｍ次元の特徴ベクトルである。具体的には、各音声フレームに対応する音声特徴を抽出した後、各音声フレームに対応する音声特徴を音声フレームの前後順序で組み合わせて、音声特徴行列を形成する。検出対象音声データには、全部でＮ個の音声フレームが含まれるが、各音声特徴それぞれがＭ次元の特徴ベクトルであると仮定すると、得られた音声特徴行列は、Ｎ＊Ｍの行列と表すことができる。
【００２２】
ステップ１０６で、音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させる。
【００２３】
ここで、感情状態確率検出モデルは、音声特徴に対応する感情状態確率を予測するためのものである。感情状態確率とは、音声特徴に対応する各感情状態の確率分布を指す。それぞれ愉快、不愉快、平常である全部で３種類の感情状態があると仮定すると、音声特徴に対応する感情状態確率は、感情状態が愉快である確率、感情状態が不愉快である確率、及び、感情状態が平常である確率を含む。そして、愉快の確率、不愉快の確率、及び平常の確率の和は１である。即ち、ある音声特徴に対応する愉快の確率がａ１であり、不愉快の確率がａ２であり、平常の確率がａ３であると仮定すると、ａ１＋ａ２＋ａ３＝１が満足し、かつ、ａ１、ａ２、ａ３の値が０〜１の間にある。説明すべきものとして、実際の状況に応じて、感情状態の種類は、自由に設定されてもよい。例えば、一実施例では、感情状態は、悲しみ、怒り、驚き、恐れ、喜び、嫌悪などの６種類の感情状態を含む。具体的には、音声特徴行列は、各音声フレームに対応する音声特徴によって構成され、相応の感情状態確率行列は、各音声特徴に対応する感情状態確率を組み合わせて形成される。全部でＮ個の音声フレームがあり、感情状態がＫ個あると仮定すると、感情状態確率行列は、Ｎ＊Ｋの行列と表すことができる。
【００２４】
ステップ１０８で、感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得る。
【００２５】
ここで、訓練済みの感情状態遷移モデルは、音声特徴行列（音声特徴系列）に対応する感情状態系列を予測するためのものである。感情状態遷移確率パラメータには、各感情状態間で遷移する確率が記載される。音声特徴行列は、一つ一つの音声特徴によって形成された音声特徴系列であり、各音声特徴それぞれには、相応の感情状態確率が対応付けられ、感情状態遷移確率パラメータには、各感情状態間で遷移する確率が記載されるので、音声特徴行列が確定している場合、感情状態遷移モデルは、該音声特徴行列とマッチする感情状態系列を求めることを役割とする。感情状態系列には、各音声特徴に対応する感情状態が記載される。感情状態系列と音声特徴系列とは、相互に関連付けられる。音声特徴系列は、直接に観察可能な系列であるが、感情状態系列は、音声特徴系列に基づいて推測された系列である。該感情状態系列には、認識対象音声データの感情状態が反映される。実際の適用では、感情状態間の遷移に制限がある。例えば、愉快、不愉快、及び平常の３種類の感情を認識する場合、一般的に、愉快の感情から不愉快の感情に直接にスキップすることができず、その間に、移行として、平常の感情が必要となる。認識すべき種類が次第に増加すると、このような場合がより多くなる。このため、感情状態遷移モデルにおける訓練された感情状態遷移確率パラメータを用いることにより、音声特徴行列に対応する感情状態系列をより正確に得ることができ、さらに、検出対象音声データの感情状態をより正確に検出することができる。
【００２６】
ステップ１１０で、感情状態系列に基づいて、検出対象音声データに対応する感情状態を決定する。
【００２７】
ここで、感情状態系列には、認識対象音声データの感情状態が反映されるので、感情状態系列を分析することにより、検出対象音声データに対応する感情状態を得ることができる。一実施例では、感情状態系列が１，１，１，１，３，３，３，２，１，１，１であると仮定する。ここで、１は愉快を表し、２は不愉快を表し、３は平常を表す。感情状態系列におけるデータに対して平滑化演算を行う（異常データ２を取り除く）ことにより、上記の感情状態系列に対応する全体的な感情状態が愉快であると決定することができる。
【００２８】
上記音声感情検出方法では、まず、音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を得る。感情状態間の遷移に制限があるため、検出対象音声データに対応する感情状態をより正確に認識できるように、感情状態確率行列及び音声特徴行列を、訓練された感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力する。この感情状態遷移確率パラメータは、感情状態間の遷移を正確に反映できる。感情状態確率行列及び感情状態遷移確率パラメータによって、検出対象音声データに対応する感情状態系列をより正確に得、さらに、相応の感情状態を正確に決定することができる。感情状態確率検出モデルと感情状態遷移モデルとを組み合わせることにより、感情状態確率を全面的に反映できるだけでなく、感情状態間の遷移確率が考慮され、音声感情検出の正確さが大幅に向上する。
【００２９】
図２に示すように、一実施例では、感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得るステップ１０８は、下記のステップを含む。
【００３０】
ステップ１０８Ａで、音声特徴行列を感情状態遷移モデルの観測系列とする。
【００３１】
ここで、観測系列とは、直接に観察可能な既知の系列を指す。音声特徴が直接に抽出可能であるため、音声特徴行列を直接に観察可能な系列とする。感情状態遷移モデルは、観測可能な音声特徴行列（音声特徴系列）に基づいて、未知の感情状態系列を予測することを役割とする。
【００３２】
ステップ１０８Ｂで、初期確率行列を取得し、初期確率行列と、感情状態確率行列と、感情状態遷移確率パラメータとに基づいて、観測系列に対応する感情状態系列を決定する。
【００３３】
ここで、初期確率行列とは、感情状態の初期の確率分布を指す。初期確率行列は、予め設定されてもよいし、ランダムに選択されてもよい。感情状態確率行列には、音声特徴に対応する感情状態の確率分布が記載される。感情状態遷移確率パラメータには、各感情状態間で遷移する確率が記載される。一実施例では、感情状態遷移モデルは、隠れマルコフモデル（ＨＭＭ）で訓練を行うことにより得てもよい。ここで、ＨＭＭは、５要素の組
【数１】
0006884460.tif 000002
で記述することができ、Ωは状態集合であり、Σは観測値集合であり、πは初期状態空間の確率分布であり、Ａは時間とは無関係である状態遷移行列であり、Ｂは所定状態での観測値の確率分布である。ＨＭＭによれば、観測系列
【数２】
0006884460.tif 000003
及びモデルパラメータπ，Ａ，Ｂが与えられた場合、観測系列に対応する最適状態系列
【数３】
0006884460.tif 000004
を算出することができる。本実施例では、πは、初期確率行列を直接に取得することによって決定してもよく、パラメータＡは、即ち、訓練された感情状態遷移確率パラメータであり、Ｂは、感情状態確率行列によって決定してもよい。モデルパラメータπ，Ａ，Ｂが決定された後、観測系列に対応する感情状態系列を算出することができる。具体的な算出方法として、ビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムを用いて、最適感情状態系列を算出してもよい。
【００３４】
いくつかの実施例では、Ｂａｕｍ−Ｗｅｌｃｈアルゴリズムによって上記隠れマルコフモデル（ＨＭＭ）を訓練することにより、上記感情状態遷移モデルを得てもよい。つまり、一連の観測値
【数４】
0006884460.tif 000005
が与えられた場合、
【数５】
0006884460.tif 000006
が最大となるように、如何にパラメータを調整することによりモデル
【数６】
0006884460.tif 000007
を決定するか。
【００３５】
Ｂａｕｍ−Ｗｅｌｃｈの思想は、再帰法によって、
【数７】
0006884460.tif 000008
を局所的に最大にし、さらに、モデル
【数８】
0006884460.tif 000009
を決定するのである。
【数９】
0006884460.tif 000010
は、観測値
【数１０】
0006884460.tif 000011
及びモデルλが与えられた場合、時刻ｔの状態がｉであり、時刻ｔ＋１の状態がｊである確率であると仮定すると、フォワードバックワードアルゴリズムの定義から、
【数１１】
0006884460.tif 000012
を導出できるため、時刻ｔにおいて状態ｉにある確率は、
【数１２】
0006884460.tif 000013
であり、
【数１３】
0006884460.tif 000014
は、状態ｉから遷移する期待であり、
【数１４】
0006884460.tif 000015
は、状態ｉから状態ｊへの期待である。これにより、下記のように、π、Ａ、及びＢの値を決定することができる。
【００３６】
【数１５】
0006884460.tif 000016
【００３７】
図３に示すように、一実施例では、初期確率行列を取得し、初期確率行列と、感情状態確率行列と、感情状態遷移確率パラメータとに基づいて、観測系列に対応する感情状態系列を決定するステップ１０８Ｂは、下記のステップを含む。
【００３８】
ステップ３０２で、観測系列に対応する候補感情状態経路を取得して、感情状態経路集合を構成する。
【００３９】
ここで、観測系列とは、音声特徴によって構成される系列を指す。各音声特徴それぞれには、感情状態確率が対応付けられる。感情状態確率には、音声特徴に対応する各感情状態の確率が記載される。感情状態経路は、一つ一つの感情状態によって構成される。ここで、感情状態経路における感情状態と、音声特徴系列における音声特徴とは、一々対応関係である。音声特徴系列には、全部でＮ個の音声特徴があると仮定すると、これに応じて、感情状態経路は、Ｎ個の感情状態によって構成される。各音声特徴それぞれは、複数種類の感情状態に対応する可能性があるので、複数種類の感情状態経路がある。全部でｍ個の感情状態があり、各音声特徴それぞれは、各感情状態毎に、１つの確率を有し、即ち、各音声特徴それぞれには、ｍ種類の可能な感情状態が対応付けられると仮定すると、Ｎ個の音声特徴がある場合、理論的にはｍＮ個の候補感情状態経路がある。観測系列に対応するすべての候補感情状態経路を取得して、感情状態経路集合を構成する。
【００４０】
ステップ３０４で、初期確率行列と、感情状態確率行列と、感情状態遷移確率パラメータとに基づいて、感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出する。
【００４１】
ここで、初期確率行列と、感情状態確率行列と、感情状態遷移確率パラメータとが既知である場合、候補感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出することにより、その後、各候補感情状態経路に対応する感情状態確率に基づいて、相応の感情状態系列を決定しやすくなる。簡単な例を挙げる。全部で３つの音声特徴があり、各音声特徴それぞれに対応する感情状態が３種類あり（愉快、不愉快、平常）、各音声特徴に対応する感情状態が既知であり、表１に示すように、１番目の音声特徴に対応する感情状態確率は、愉快の場合０．８であり、不愉快の場合０．１であり、平常の場合０．１であり、２番目の音声特徴に対応する感情状態確率は、愉快の場合０．５であり、不愉快の場合０．３であり、平常の場合０．２であり、３番目の音声特徴に対応する感情状態確率は、愉快の場合０．２であり、不愉快の場合０．３であり、平常の場合０．５である、と仮定する。
【００４２】
【表１】
0006884460.tif 000017
【００４３】
感情状態間の遷移確率は、表２に示すように、愉快から愉快への場合０．６であり、愉快から平常への場合０．３であり、愉快から不愉快への場合０．１であり、平常から平常への場合０．４であり、平常から愉快への場合０．３であり、平常から不愉快への場合０．３であり、不愉快から不愉快への場合０．４であり、不愉快から平常への場合０．４であり、不愉快から愉快への場合０．２である、と仮定する。
【００４４】
【表２】
0006884460.tif 000018
【００４５】
現在、音声特徴系列が１，２，３であり、相応の候補感情状態経路が２７本あることは既知である。そのうちの１本の候補感情状態経路は、愉快−平常−不愉快であり、この候補感情状態経路に対応する感情状態経路確率を算出する。初期状態確率は、愉快の場合０．３であり、平常の場合０．５であり、不愉快の場合０．２であると仮定する。
【００４６】
具体的な算出方法は、Ｐ＝Ｐ０（初期−愉快）＊Ｐ１（愉快）＊Ｐ（愉快−平常）＊Ｐ２（平常）＊Ｐ（平常−不愉快）＊Ｐ３（不愉快）である。ここで、Ｐ０（初期−愉快）は、初期に愉快である確率を表し、Ｐ１（愉快）は、１番目のフレームにおいて愉快である確率を表し、Ｐ（愉快−平常）は、感情状態が愉快から平常へ遷移する確率を表し、Ｐ２（平常）は、２番目のフレームにおいて平常である確率を表し、Ｐ（平常−不愉快）は、平常から不愉快への遷移確率を表し、Ｐ３（不愉快）は、３番目のフレームにおいて不愉快である確率を表す。そこで、上記の既知のデータに基づいて、愉快−平常−不愉快の感情状態経路に対応する感情状態確率Ｐ＝０．３＊０．８＊０．３＊０．２＊０．３＊０．３＝０．００１２９６を算出することができる。感情状態経路の数が少ない場合、しらみつぶし方式で、各候補状態経路に対応する確率を算出してもよいが、数が多い場合、最適な感情状態経路をより素早く取得できるように、一実施例では、ビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムを用いて動的な経路計画を立て、最適な候補感情状態経路を算出してもよい。具体的には、観測系列としての音声特徴系列が
【数１６】
0006884460.tif 000019
であり、ｔ＝１，２，３，……Ｔであると仮定する。
【数１７】
0006884460.tif 000020
は、時刻ｔにおいて、１本の感情状態経路
【数１８】
0006884460.tif 000021
に沿って、
【数１９】
0006884460.tif 000022
が生じる確率の最大値と定義され、即ち、
【数２０】
0006884460.tif 000023
である。ここで、ｉは、いずれかの感情状態を表す。主要過程は、以下の通りである。
【００４７】
【数２１】
0006884460.tif 000024
【００４８】
ここで、ｉは、感情状態を表し、Ｐは、算出された確率の最大値であり、ｑＴは、相応の最適な候補感情状態経路である。
【００４９】
ステップ３０６で、算出された確率の最大値に対応する感情状態経路を、観測系列に対応する感情状態系列とする。
【００５０】
具体的には、算出された確率の最大値に対応する候補感情状態経路を、観測系列に対応する感情状態系列とする。
【００５１】
図４に示すように、一実施例では、感情状態確率は、無音確率を含む。
【００５２】
感情状態系列に基づいて、検出対象音声データに対応する感情状態を決定するステップ１１０は、下記のステップを含む。
【００５３】
ステップ１１０Ａで、感情状態系列に含まれる無音状態に合わせて無音フレームを検出し、無音フレームに基づいて検出対象音声データをセグメント化して、非無音サブ音声セグメントを得る。
【００５４】
ここで、通常の場合、１つの音声には、１つのみの感情（例えば、愉快）が含まれる。しかしながら、１つの音声に複数の感情が含まれる場合もある。検出対象音声データの感情をより正確に検出するために、セグメント化検出方法によって検出してもよい。セグメント化は、無音検出に基づく。無音検出は、「音声活動検出」とも呼ばれ、音声データにおける非音声部分を検出する。非音声部分は、即ち、検出された無音部分である。ここで、無音は、休止や雑音などを含むが、これらに限定されない。検出対象音声データのセグメント化では、検出された非音声部分に基づいてセグメント化する。
【００５５】
伝統的な無音検出では、無音検出モジュールを別に追加することにより、無音を検出する。また、伝統的な無音検出アルゴリズムは、エネルギーに基づくものであり、エネルギーの高いものが、音声と見られ、エネルギーの低いものが、雑音、即ち非音声と見られ、雑音が大きい場合に判断できない。このため、伝統的な無音検出は、十分に正確ではない。無音を正確に検出できるように、感情状態検出モデルの訓練過程では、無音類を直接に追加し、即ち、無音類も１種類の感情状態と見なす。このように、訓練された感情状態検出モデルは、感情状態を検出できるし、無音も検出でき、無音検出モジュールをさらに追加する必要がなく、操作しやすいだけでなく、無音類の追加が無音検出の正確さの向上に有利である。つまり、無音を直接に１種類の感情状態と見なし、これに応じて得られた感情状態確率は、各真実感情状態の確率に加えて、無音確率を含む。例を挙げる。そもそも、愉快、不愉快、及び平常である３種類のみの感情状態があると仮定する。現在、無音も１種類の感情状態とし、これらの４種類の感情状態で感情状態検出モデルを訓練して、無音状態も検出可能なモデルを得る。
【００５６】
具体的には、各音声フレームそれぞれは、１つの音声特徴に対応するが、各音声特徴それぞれは、１つの感情状態に対応する。無音状態は、無音フレームに対応する。感情状態系列には、無音状態が含まれる。含まれる無音状態に合わせて、検出対象音声データにおける無音フレームを決定し、さらに、無音フレームに基づいて検出対象音声データをセグメント化する。実際の適用では、１つの無音フレームが現れると、音声データをセグメント化するのではなく、連続する複数の無音フレームが検出された場合にのみ、検出対象音声データをセグメント化する。これは、連続する非無音部分に１種類のみの感情があることが多く、長い無音部分が現れる場合にのみ、前後の音声感情が一致でないことがあり得るからである。一実施例では、感情状態系列に現れる連続する無音状態の数が所定閾値（例えば、１０個）を超えるか否かを判断し、感情状態系列に現れる連続する無音状態の数が所定閾値を超える場合、該無音状態の前の非無音部分を１つの非無音サブ音声セグメントとし、該無音状態の後の非無音部分を１つの非無音サブ音声セグメントとする。
【００５７】
ステップ１１０Ｂで、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する。
【００５８】
ここで、非無音サブ音声セグメントとは、検出対象音声データにおける無音状態に基づいてセグメント化して得られたサブセグメントを指す。感情状態系列における感情状態と、音声特徴系列における音声特徴とは、一々対応関係であるので、非無音サブ音声セグメントが決定された後、非無音サブ音声セグメントに対応する音声特徴系列に基づいて、相応の感情状態系列（サブ感情状態系列）を直接に決定することができる。続いて、感情状態系列を分析することにより、各非無音サブ音声セグメントに対応する感情状態を得ることができる。具体的には、検出対象音声データの感情検出は、リアルタイムの検出であってもよいし、非リアルタイムであってもよい。一実施例では、検出対象音声データをリアルタイムで検出し、セグメント化条件に合致する無音状態が検出された場合、該無音状態に基づいて検出対象音声データをセグメント化して、前のセグメント及び後のセグメントに分割し、まず、前のセグメントに対応する感情状態を決定して出力する。そして、後のセグメントにおける無音状態を引き続いて検出し、条件に合致する無音状態が現れる場合、後のセグメントを引き続いてセグメント化し、このように類推する。
【００５９】
図５に示すように、一実施例では、音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させるステップの前に、感情状態確率検出モデルを作成するステップ１０１をさらに含む。感情状態確率検出モデルを作成することは、具体的に、下記のステップを含む。
【００６０】
ステップ１０１Ａで、訓練音声データを取得し、訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成する。
【００６１】
ここで、訓練音声データとは、感情状態確率検出モデルの訓練に使用される音声データを指す。まず、検出過程と同様に、訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得る必要がある。そして、各訓練音声フレームに対応する音声特徴を抽出し、得られた音声特徴を音声フレームの前後順序で組み合わせて、訓練音声特徴行列を形成する。
【００６２】
ステップ１０１Ｂで、訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得する。
【００６３】
ここで、標準感情状態ラベルとは、感情状態が既知である訓練音声フレームに対して標準感情のラベル付けを行ったものを指す。感情状態を検出すると同時に、相応の無音状態を検出できるように、標準感情状態ラベルは、無音状態のラベルを含む。このように訓練して得られた感情状態確率行列は、無音状態の検出を実現できる。具体的には、各音声フレームそれぞれには、相応の音声特徴が対応付けられるため、各音声フレームそれぞれに対して標準感情状態のラベル付けを行うことは、音声特徴に対して標準感情状態のラベル付けを行うことに相当する。
【００６４】
ステップ１０１Ｃで、訓練音声特徴行列を感情状態確率検出モデルへの入力として、対応する標準感情状態ラベルを所望の出力として、訓練を行うことにより、最終的な感情状態確率検出モデルを得る。
【００６５】
具体的には、訓練音声特徴行列を訓練待ちの感情状態確率検出モデルへの入力として、訓練音声特徴行列における各音声特徴に対応する標準感情状態ラベルを、相応の音声特徴の標準出力（即ち、所望の出力）として訓練し、訓練過程では、感情状態確率検出モデルのモデルパラメータを絶えずに調整することにより、実際に出力される感情状態を標準感情状態に絶えずに接近させ、両者間の誤差が条件に合致すると、モデルの訓練を完了する。
【００６６】
図６に示すように、一実施例では、検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成するステップ１０４は、下記のステップを含む。
【００６７】
ステップ１０４Ａで、検出対象音声データに対してフレーム分割処理を行って音声フレームを得る。
【００６８】
具体的には、フレーム分割処理とは、連続する音声データに対してセグメント化処理を行い、予め設定されたフレーム長で検出対象音声データに対してセグメント化処理を行って、一つ一つの音声フレームを得ることを指す。
【００６９】
ステップ１０４Ｂで、現在音声フレームを取得し、現在音声フレームに対応する拡張音声フレームを取得する。
【００７０】
具体的には、感情は、持続する過程であるので、検出する際に、過去や未来の情報を参照できれば、得られる音声感情検出効果がより良くなる。このため、現在音声フレームを取得する以外に、現在音声フレームに対応する過去や未来の音声フレーム、即ち、現在音声フレームに対応するフォワード及び／又はバックワード音声フレームを取得してもよい。取得された現在音声フレームに対応するフォワード及び／又はバックワード音声フレームを「拡張音声フレーム」と呼ぶ。一実施例では、現在音声フレームのフォワードから、第１所定数のフォワード音声フレームを取得し、現在音声フレームのバックワードから、第２所定数のバックワード音声フレームを取得する。ここで、フォワード音声フレーム及びバックワード音声フレームは、両方とも、現在音声フレームに対応する拡張音声フレームに属する。例を挙げる。現在音声フレームに隣接するフォワード及びバックワードの各Ｍ個のフレームを取得すると、後続に入力とされるのは、２Ｍ＋１個のフレームであり、各フレームそれぞれの次元がＮである場合、実際に入力されるのは、Ｎ＊（２Ｍ＋１）の行列である。
【００７１】
ステップ１０４Ｃで、現在音声フレームに対応する現在音声特徴を抽出し、拡張音声フレームに対応する拡張音声特徴を抽出する。
【００７２】
ここで、現在音声フレームに対応する音声特徴を抽出して、「現在音声特徴」と呼び、拡張音声フレームに対応する音声特徴を抽出して、「拡張音声特徴」と呼ぶ。
【００７３】
ステップ１０４Ｄで、現在音声特徴及び拡張音声特徴に基づいて、現在音声フレームに対応する拡張音声特徴ベクトルを生成する。
【００７４】
ここで、現在音声フレームに対応する音声特徴を取得して、拡張音声フレームに対応する拡張音声特徴を取得し、現在音声特徴及び拡張音声特徴を前後順序で音声特徴ベクトルとして構成して、「拡張音声特徴ベクトル」と呼ぶ。
【００７５】
ステップ１０４Ｅで、各音声フレームに対応する拡張音声特徴ベクトルに基づいて、検出対象音声データに対応する音声特徴行列を形成する。
【００７６】
ここで、各音声特徴それぞれは、１つの拡張音声特徴ベクトルに対応する。各音声フレームに対応する拡張音声特徴ベクトルを前後順序で音声特徴行列として構成する。音声特徴行列を感情状態検出モデルへの入力とする。音声特徴行列は、一つ一つの拡張音声特徴ベクトルによって構成される。入力する際に、実際に一つ一つの拡張音声特徴ベクトルを入力とする。過去や未来の情報が考慮されるため、感情状態確率予測の正確さの向上に有利である。
【００７７】
図７に示すように、一実施例では、感情状態検出モジュールは、ディープニューラルネットワークモデルで訓練を行うことにより得られたものであり、ステップ１０６は、下記のステップを含む。ステップ１０６Ａで、音声特徴行列から入力層ノード系列を得、入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とする。
【００７８】
ここで、感情状態確率検出モジュールは、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）モデルで訓練を行うことにより得られたものである。ディープニューラルネットワークモデルは、入力層、隠れ層、及び出力層を含む。ここで、隠れ層は、複数であってもよい。入力層ノード系列とは、入力層に入力される各入力パラメータの並び順を指し、音声特徴行列自身に基づいて形成された系列である。例えば、入力されたのは、Ｎ次元の音声特徴であると仮定すると、相応の入力層ノード系列とは、このＮ次元の音声特徴におけるＮ個の入力パラメータによって順に形成された系列を指す。入力層は、入力されたパラメータに対して射影変換処理を行って、第１隠れ層に対応する隠れ層ノード系列を得、即ち、入力層からの出力を相応に第１隠れ層への入力とすることを役割とする。隠れ層ノード系列とは、該隠れ層に対応する入力パラメータの系列を指す。第１隠れ層を現在処理対象隠れ層とし、そして、現在処理対象隠れ層からの出力を取得して、次の隠れ層への入力とする。
【００７９】
ステップ１０６Ｂで、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得る。
【００８０】
ここで、入力層、隠れ層、及び出力層は、いずれも、ニューロンによって構成され、各ニューロンそれぞれは、相応の層の１つのニューロンノードとされる。隣接する層同士のニューロンは、完全に接続され、つまり、第ｉ層におけるいずれかのニューロンは、必ず、第ｉ＋１層におけるいずれかのニューロンと隣接する。各隠れ層及び出力層における各ニューロンノードそれぞれには、相応の重み及び偏差が対応付けられるが、入力層には、重み及び偏差がない。現在処理対象隠れ層に対応する隠れ層ノード系列が取得された後、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、中間値を算出し、得られた中間値に対して非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得る。一実施例では、直前の層からの出力はｚであり、ここで、
【数２２】
0006884460.tif 000025
であり、Ｗは、現在処理対象隠れ層に対応する重み行列であり、ｂは、現在処理対象隠れ層に対応する偏差であると仮定すると、まず、
【数２３】
0006884460.tif 000026
を算出してから、非線形写像によって、
【数２４】
0006884460.tif 000027
と表される該隠れ層からの出力を得る。ここで、ｌは、層数を表す。現在処理対象隠れ層からの出力に基づいて、次の隠れ層の隠れ層ノード系列を決定する。
【００８１】
ステップ１０６Ｃで、次の隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層が最後の隠れ層であるか否かを判断し、現在処理対象隠れ層が最後の隠れ層である場合、ステップ１０６Ｄに進み、現在処理対象隠れ層が最後の隠れ層ではない場合、ステップ１０６Ｂに進む。
【００８２】
具体的には、取得された次の隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層が最後の隠れ層であるか否かを判断し、現在処理対象隠れ層が最後の隠れ層である場合、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を算出し、現在処理対象隠れ層が最後の隠れ層ではない場合、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまでこのように類推する。
【００８３】
ステップ１０６Ｄで、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を得、出力層ノード系列に基づいて、出力層から出力された、検出対象音声データに対応する感情状態確率行列を取得する。
【００８４】
具体的には、最後の隠れ層に対応する隠れ層ノード系列と各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を得、即ち、最後の隠れ層からの出力を出力層への入力とし、出力層に対応する出力層ノード系列と、出力層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、検出対象音声データに対応する感情状態確率行列を算出する。
【００８５】
図８は、一実施例における検出対象音声データに対して感情状態予測を行うフローの模式図である。まず、検出対象音声データを取得し、次に、取得された音声データに対してフレーム分割処理を行って一つ一つの音声フレームを得、続いて、音声フレームに対応する音声特徴を抽出し、その後、音声フレームに対してフレーム拡張を行い、拡張された音声フレームに対応する音声特徴をＤＮＮモデル（感情状態確率検出モデル）への入力として、各音声フレームに対応する感情状態確率を出力させ、そして、感情状態確率及び音声特徴をＨＭＭ（感情状態遷移モデル）への入力として、出力された感情状態系列を得、感情状態系列に基づいて、検出対象音声データに対応する感情状態を決定する。
【００８６】
一実施例では、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、検出対象音声データに対応する感情状態確率行列を出力させるステップの前に、ＤＮＮモデルで訓練を行うことにより感情状態確率検出モデルを得ることをさらに含む。図９は、ＤＮＮモデルで訓練を行うことにより感情状態確率検出モデルを得るフローの模式図である。
【００８７】
具体的な訓練過程は、下記の通りである。（１）訓練音声データをフレーム分割する。訓練音声データを取得し、訓練音声データに対してフレーム分割処理を行って一つ一つの音声フレームを得る。（２）音声フレームに対応する音声特徴を抽出する。抽出される特徴は、複数種類の特徴の融合であってもよく、例えば、ＰＬＰ、ＭＦＣＣ、ＰＩＴＣＨ、ＥＮＥＲＧＹなどの複数種類の特徴の融合であってもよい。（３）フレーム拡張を行う。感情は、持続する過程である。過去や未来の情報を使用することにより、予測効果がより良くなることができる。このため、音声フレームに対してフレーム拡張を行うことは、予測の正確さの向上に有利である。例えば、現在フレームに対応するフォワード及びバックワードの各Ｍ個のフレームを用いて、現在フレームを拡張してもよい。これに応じて、モデルへの入力は、実際に、２Ｍ＋１個のフレームに対応する特徴ベクトルである。（４）拡張された音声フレームを初期ＤＮＮモデルに送り込んで、訓練を行う。フォワードプロパゲーション方式で、入力層から、各隠れ層を介して、出力層に至る。ＤＮＮにおける層同士間の情報伝達の規則は、
【数２５】
0006884460.tif 000028
の形で表すことができる。ここで、ｌは現在層を表し、
【数２６】
0006884460.tif 000029
は直前の層からの出力を表し、Ｗは現在層に対応する重み行列であり、ｂは現在層に対応する偏差である。そして、非線形写像によって、
【数２７】
0006884460.tif 000030
と表される該隠れ層からの出力を得る。（５）出力された、音声特徴に対応する感情状態予測確率を取得し、該感情状態予測確率と標準感情状態確率とを比較し、両者間の誤差が所定範囲内にあるか否かを算出し、両者間の誤差が所定範囲内にある場合は、現在のＤＮＮモデルが後続の予測に使用可能であることを表し、両者間の誤差が所定範囲内にない場合は、（６）に進んで、重み及び偏差を絶えずに更新することにより、モデルを調整する。（６）重み及び偏差を更新する。具体的には、実際出力及び標準出力に基づいて、適切な損失関数を選択する。通常、最大エントロピー又は最小平均二乗誤差関数を損失関数とする。そして、確率的勾配降下法によってＤＮＮモデルの重み及び偏差を更新し、複数回の反復によりモデルを最適にする。ここで、最大エントロピー損失関数は、
【数２８】
0006884460.tif 000031
と表すことができ、ＪＣＥは最大エントロピー損失関数を表し、ｏは現在フレームの特徴を表し、ｉは現在フレームの感情種類であり、ｙｉは出力された感情状態ｉの確率を表し、Ｃは感情種類を表す。損失関数におけるＷ及びｂについて偏導関数を求め、確率的勾配降下法によって、１回毎にＷ及びｂを更新する。ここで、確率的勾配降下の数式は、
【数２９】
0006884460.tif 000032
と表され、ηは学習率を表し、Ｐｔは更新前のパラメータを表し、Ｐｔ＋１は更新後のパラメータを表し、ΔＰｔは偏導関数を求めて得られた値を表す。バックプロパゲーション（ＢＰ：Ｂａｃｋ−Ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムによって、最後の層から、１層毎に、前の異なる層のＷ及びｂを更新してもよい。
【００８８】
図１０に示すように、一実施例では、感情状態確率検出モデルは、リカレントニューラルネットワークモデルで訓練を行うことにより得られたものであり、音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させるステップ１０６は、下記のステップを含む。
【００８９】
ステップ１０６ａで、音声特徴行列から入力層ノード系列を得、入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とする。
【００９０】
ここで、感情状態確率検出モジュールは、リカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）モデルで訓練を行うことにより得られたものである。リカレントニューラルネットワークモデルは、入力層、隠れ層、及び出力層を含む。ここで、隠れ層は、複数であってもよい。入力層ノード系列とは、入力層に入力される各入力パラメータの並び順を指し、音声特徴行列自身に基づいて形成された系列である。例えば、入力されたのは、Ｎ次元の音声特徴であると仮定すると、相応の入力層ノード系列とは、このＮ次元の音声特徴におけるＮ個の入力パラメータによって順に形成された系列を指す。入力層は、入力されたパラメータに対して射影変換処理を行って、第１隠れ層に対応する隠れ層ノード系列を得、即ち、入力層からの出力を第１隠れ層への入力とすることを役割とする。隠れ層ノード系列とは、該隠れ層に対応する入力パラメータの系列を指す。第１隠れ層を現在処理対象隠れ層とし、そして、現在処理対象隠れ層からの出力を取得して、次の隠れ層への入力とする。
【００９１】
ステップ１０６ｂで、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得る。
【００９２】
ここで、ディープニューラルネットワーク（ＤＮＮ）との相違点として、リカレントニューラルネットワーク（ＲＮＮ）は、フォワードプロパゲーション過程において、直前の層の情報を使用するだけでなく、１つ前の時刻における本層の情報も使用し、即ち、過去の情報を使用する。このため、ＲＮＮは、ＤＮＮよりも良い予測効果を有する。入力層、隠れ層、及び出力層は、いずれも、ニューロンによって構成され、各ニューロンそれぞれは、相応の層の１つのニューロンノードとされる。隣接する層同士のニューロンは、完全に接続され、つまり、第ｉ層におけるいずれかのニューロンは、必ず、第ｉ＋１層におけるいずれかのニューロンと隣接する。各隠れ層及び出力層における各ニューロンノードそれぞれには、相応の重みが対応付けられるが、入力層には、重みがない。現在処理対象隠れ層に対応する隠れ層ノード系列が取得された後、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、中間値を算出し、得られた中間値に対して非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得る。具体的な一実施例では、ＲＮＮにおける層同士間の情報伝達の規則は、
【数３０】
0006884460.tif 000033
の形で表すことができる。ここで、
【数３１】
0006884460.tif 000034
は、時刻ｔにおいて現在層のユニットｈにある値であり、Ｉは、直前の層のニューロンノードの総数、即ち、現在層の入力パラメータの総数であり、Ｈは、現在層のニューロンノードの総数であり、ｗｉｈは、ユニットｉからユニットｈへの重みであり、ｗｈ’ｈは、ユニットｈ’からユニットｈへの重みであり、
【数３２】
0006884460.tif 000035
は、１つ前の時刻における現在層からの出力を表す。
【数３３】
0006884460.tif 000036
は、
【数３４】
0006884460.tif 000037
の励起関数処理（非線形写像）後の値である。
【００９３】
ステップ１０６ｃで、次の隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層が最後の隠れ層であるか否かを判断し、現在処理対象隠れ層が最後の隠れ層である場合、ステップ１０６ｄに進み、現在処理対象隠れ層が最後の隠れ層ではない場合、ステップ１０６ｂに進む。
【００９４】
具体的には、取得された次の隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層が最後の隠れ層であるか否かを判断し、現在処理対象隠れ層が最後の隠れ層である場合、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を算出し、現在処理対象隠れ層が最後の隠れ層ではない場合、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまでこのように類推する。
【００９５】
ステップ１０６ｄで、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を得、出力層ノード系列に基づいて、出力層から出力された、検出対象音声データに対応する感情状態確率行列を取得する。
【００９６】
具体的には、最後の隠れ層に対応する隠れ層ノード系列と、各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、出力層に対応する出力層ノード系列を得、即ち、最後の隠れ層からの出力を出力層への入力とし、出力層に対応する出力層ノード系列と、出力層に対応する各ニューロンノードの重みと、１つ前の時刻における出力層からの出力とに基づいて、非線形写像を用いることにより、検出対象音声データに対応する感情状態確率行列を算出する。
【００９７】
図１１は、一実施例における検出対象音声データに対して感情状態予測を行うフローの模式図である。まず、検出対象音声データを取得し、次に、取得された音声データに対してフレーム分割処理を行って一つ一つの音声フレームを得、続いて、音声フレームに対応する音声特徴を抽出し、音声フレームに対応する音声特徴をＲＮＮモデル（感情状態確率検出モデル）への入力として、各音声フレームに対応する感情状態確率を出力させる。そして、感情状態確率及び音声特徴をＨＭＭ（感情状態遷移モデル）への入力として、出力された感情状態系列を得、感情状態系列に基づいて、検出対象音声データに対応する感情を決定する。
【００９８】
一実施例では、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、検出対象音声データに対応する感情状態確率行列を出力させるステップの前に、ＲＮＮモデルで訓練を行うことにより感情状態確率検出モデルを得ることをさらに含む。図１２は、ＲＮＮモデルで訓練を行うことにより感情状態確率検出モデルを得るフローの模式図である。
【００９９】
具体的な訓練過程は、下記の通りである。（１）訓練音声データをフレーム分割する。訓練音声データを取得し、訓練音声データに対してフレーム分割処理を行って一つ一つの音声フレームを得る。（２）音声フレームに対応する音声特徴を抽出する。抽出される特徴は、複数種類の特徴の融合であってもよく、例えば、ＰＬＰ、ＭＦＣＣ、ＰＩＴＣＨ、ＥＮＥＲＧＹなどの複数種類の特徴の融合であってもよい。（３）音声特徴をＲＮＮモデルに送り込んで、訓練を行う。フォワードプロパゲーション方式で、入力層から、各隠れ層を介して、出力層に至る。ＲＮＮにおける層同士間の情報伝達の規則は、
【数３５】
0006884460.tif 000038
の形で表すことができ、ここで、
【数３６】
0006884460.tif 000039
は、時刻ｔにおいて現在層のユニットｈにある値であり、Ｉは、直前の層のニューロンノードの総数、即ち、現在層の入力パラメータの総数であり、Ｈは、現在層のニューロンノードの総数であり、ｗｉｈは、ユニットｉからユニットｈへの重みであり、ｗｈ’ｈは、ユニットｈ’からユニットｈへの重みであり、
【数３７】
0006884460.tif 000040
は、１つ前の時刻における現在層からの出力を表す。
【数３８】
0006884460.tif 000041
は、
【数３９】
0006884460.tif 000042
の励起関数処理（非線形写像）後の値である。（５）出力された、音声特徴に対応する感情状態予測確率を取得し、該感情状態予測確率と標準感情状態確率とを比較し、両者間の誤差が所定範囲内にあるか否かを算出し、両者間の誤差が所定範囲内にある場合は、現在のＤＮＮモデルが後続の予測に使用可能であることを表し、両者間の誤差が所定範囲内にない場合は、（６）に進んで、重みを絶えずに更新することにより、モデルを調整する。（６）重みを更新する。具体的には、実際出力及び標準出力に基づいて、適切な損失関数を選択する。通常、最大エントロピー及び最小平均二乗誤差関数を損失関数とする。そして、確率的勾配降下法によってＤＮＮモデルの重み及び偏差を更新し、複数回の反復によりモデルを最適にする。具体的な計算は、下記の通りである。まず、
【数４０】
0006884460.tif 000043
を定義し、ここで、
【数４１】
0006884460.tif 000044
は、時刻ｔにおいて現在層のユニットｊにある値であり、Ｏは、目的関数を表す。交差エントロピーを目的関数
【数４２】
0006884460.tif 000045
として定義すると仮定する。ここで、ｚｋは、標準出力値であり、即ち、訓練集合の実際のラベルであり、Ｋは、データの種類数であり、感情状態が４種類あると仮定すると、これに応じて、Ｋ＝４であり、ｙｋは、フォワードプロパゲーションの最後の出力であり、一般的に、出力層によく用いられる励起関数がｓｏｆｔｍａｘであるため、
【数４３】
0006884460.tif 000046
と定義してもよい。一連のデータ導出によれば、最終的に、出力層の場合、
【数４４】
0006884460.tif 000047
であり、中間層の場合、
【数４５】
0006884460.tif 000048
であることが得られる。ここで、ｗｉｊは、ユニットｉからユニットｊへの重みである。完全なδの系列は、最後のｔ＝Ｔから始める。ｔの値を次第に低減し、各時刻のδを更新すると、各層の重みの勾配は、
【数４６】
0006884460.tif 000049
であり、重みの更新は、
【数４７】
0006884460.tif 000050
である。ここで、ηは、学習率を表す。ここまで、ＲＮＮの訓練過程が完了する。フォワード及びバックワードの複数回の反復により、ＲＮＮモデルを次第に最適化して、ＲＮＮモデルが次第に最適に達する。
【０１００】
図１３に示すように、音声感情検出方法が提供されている。この方法は、下記のステップを含む。
【０１０１】
ステップ１３０１で、訓練音声データを取得し、訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成する。
【０１０２】
ステップ１３０２で、訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得する。
【０１０３】
ステップ１３０３で、訓練音声特徴行列を感情状態確率検出モデルへの入力として、対応する標準感情状態ラベルを所望の出力として、訓練を行うことにより、最終的な感情状態確率検出モデルを得る。
【０１０４】
ステップ１３０４で、検出対象音声データを取得する。
【０１０５】
ステップ１３０５で、検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成する。
【０１０６】
ステップ１３０６で、音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、検出対象音声データに対応する感情状態確率行列を出力させる。
【０１０７】
ステップ１３０７で、音声特徴行列を感情状態遷移モデルの観測系列とする。
【０１０８】
ステップ１３０８で、観測系列に対応する候補感情状態経路を取得して、感情状態経路集合を構成する。
【０１０９】
ステップ１３０９で、初期確率行列と、感情状態確率行列と、感情状態遷移確率パラメータとに基づいて、感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出する。
【０１１０】
ステップ１３１０で、算出された確率の最大値に対応する感情状態経路を、観測系列に対応する感情状態系列とする。
【０１１１】
ステップ１３１１で、感情状態系列に含まれる無音状態に合わせて無音フレームを検出し、無音フレームに基づいて検出対象音声データをセグメント化して、非無音サブ音声セグメントを得る。
【０１１２】
ステップ１３１２で、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する。
【０１１３】
図１４に示すように、一実施例では、音声感情検出装置が提供されている。この装置は、
検出対象音声データを取得する取得モジュール１４０２と、
前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して、前記検出対象音声データに対応する音声特徴行列を形成する抽出モジュール１４０４と、
前記音声特徴行列を訓練済みの感情状態確率検出モデルに入力して、前記検出対象音声データに対応する感情状態確率行列を出力させる出力モジュール１４０６と、
前記感情状態確率行列及び前記音声特徴行列を訓練済みの感情状態遷移モデルに入力して、前記検出対象音声データに対応する感情状態系列を得る感情状態系列決定モジュール１４０８と、
前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する感情状態決定モジュール１４１０と、を備える。
【０１１４】
一実施例では、前記訓練済みの感情状態遷移モデルは、訓練済みの感情状態遷移確率パラメータを含み、前記感情状態系列決定モジュール１４０８は、さらに、前記音声特徴行列を前記感情状態遷移モデルの観測系列とし、初期確率行列を取得し、前記初期確率行列と、感情状態確率行列と、各感情状態間で遷移する確率を表す前記感情状態遷移確率パラメータとに基づいて、前記観測系列に対応する感情状態系列を決定する。
【０１１５】
一実施例では、前記感情状態系列決定モジュール１４０８は、さらに、前記観測系列に対応する候補感情状態経路によって構成される感情状態経路集合を取得し、前記初期確率行列と、前記感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出し、算出された確率の最大値に対応する感情状態経路を、観測系列に対応する感情状態系列とする。
【０１１６】
一実施例では、前記感情状態確率は、無音確率を含み、前記感情状態決定モジュール１４１０は、さらに、前記感情状態系列に含まれる無音状態に合わせて、前記検出対象音声データにおける無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する。
【０１１７】
図１５に示すように、一実施例では、上記音声感情状態検出装置は、
訓練音声データを取得し、前記訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成する訓練音声特徴抽出モジュール１４１２と、
前記訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得する標準感情状態取得モジュール１４１４と、
前記訓練音声特徴行列を前記感情状態確率検出モデルへの入力として、前記訓練音声特徴行列における各音声特徴に対応する標準感情状態ラベルを前記感情状態確率検出モデルからの所望の出力とし、前記感情状態確率検出モデルから実際に出力された感情状態と前記標準感情状態ラベルとの誤差が所定条件に合致する場合、前記感情状態確率検出モデルの訓練を完了して、前記感情状態確率検出モデルを得る訓練モジュール１４１６と、をさらに備える。
【０１１８】
一実施例では、前記抽出モジュールは、さらに、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、現在音声フレームを取得し、現在音声フレームに対応する拡張音声フレームを取得し、現在音声フレームに対応する現在音声特徴を抽出し、前記拡張音声フレームに対応する拡張音声特徴を抽出し、前記現在音声特徴及び前記拡張音声特徴に基づいて、現在音声フレームに対応する拡張音声特徴ベクトルを生成し、各音声フレームに対応する拡張音声特徴ベクトルに基づいて、前記検出対象音声データに対応する音声特徴行列を形成する。
【０１１９】
一実施例では、前記感情状態確率検出モデルは、ディープニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記出力モジュールは、さらに、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する。
【０１２０】
一実施例では、前記感情状態確率検出モデルは、リカレントニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記出力モジュールは、さらに、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する。
【０１２１】
図１６は、一実施例におけるコンピュータ機器の内部構成の模式図である。このコンピュータ機器は、端末であってもよいし、サーバであってもよい。ここで、端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、パーソナルデジタルアシスタント、ウェアラブルデバイス、及び車載機器などの、通信機能を有する電子機器であってもよく、サーバは、独立したサーバであってもよいし、サーバクラスタであってもよい。図１６を参照すると、該コンピュータ機器は、システムバスを介して接続されるプロセッサと、不揮発性記憶媒体と、内部メモリと、ネットワークインタフェースと、を備える。ここで、該コンピュータ機器の不揮発性記憶媒体には、オペレーティングシステム及びコンピュータプログラムが記憶されてもよい。該コンピュータプログラムは、実行されると、プロセッサに音声感情検出方法を実行させることが可能である。該コンピュータ機器のプロセッサは、計算及び制御の機能を提供し、コンピュータ機器全体の作動をサポートするものである。該内部メモリには、コンピュータプログラムが記憶されてもよい。該コンピュータプログラムは、プロセッサによって実行されると、プロセッサに音声感情検出方法を実行させることが可能である。コンピュータ機器のネットワークインタフェースは、ネットワーク通信に使用される。当業者であれば理解できるように、図１６に示された構成は、本願発明に係る一部の構成のブロック図にすぎず、本願発明が適用されるコンピュータ機器を限定するものではない。具体的なコンピュータ機器は、図示よりも多く又は少ない構成要素を含んでもよく、又はいくらかの構成要素を組み合わせたものであってもよく、又は構成要素の異なる配置を有してもよい。
【０１２２】
一実施例では、本願で提供された音声感情検出装置は、コンピュータプログラムの形で実現されてもよい。コンピュータプログラムは、図１６に示すようなコンピュータ機器で実行可能である。コンピュータ機器の不揮発性記憶媒体には、音声感情検出装置を構成する各プログラムモジュール、例えば、図１４における取得モジュール１４０２、抽出モジュール１４０４、出力モジュール１４０６、感情状態系列決定モジュール１４０８、感情状態決定モジュール１４１０が記憶されてもよい。各プログラムモジュールには、コンピュータプログラムが含まれる。コンピュータプログラムは、コンピュータ機器に、本明細書に説明された本願の各実施例の音声感情検出方法のステップを実行させる。コンピュータ機器のプロセッサは、コンピュータ機器の不揮発性記憶媒体に記憶された音声感情検出装置の各プログラムモジュールを呼び出して、対応する可読命令を実行することにより、本明細書における音声感情検出装置の各モジュールに対応する機能を実現することができる。各プログラムモジュールには、コンピュータプログラムが含まれる。コンピュータプログラムは、コンピュータ機器に、本明細書に説明された本願の各実施例の音声感情検出方法のステップを実行させる。コンピュータ機器のプロセッサは、コンピュータ機器の不揮発性記憶媒体に記憶された音声感情検出装置の各プログラムモジュールを呼び出して、対応する可読命令を実行することにより、本明細書における音声感情検出装置の各モジュールに対応する機能を実現することができる。例えば、コンピュータ機器は、図１４に示すような音声感情検出装置の取得モジュール１４０２によって、検出対象音声データを取得し、抽出モジュール１４０４によって、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成し、出力モジュール１４０６によって、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、感情状態系列決定モジュール１４０８によって、前記感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得、感情状態決定モジュール１４１０によって、前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定するようにしてもよい。
【０１２３】
一実施例では、メモリとプロセッサとを備えるコンピュータ機器が提供されている。前記メモリには、コンピュータプログラムが記憶され、前記コンピュータプログラムは、前記プロセッサによって実行されると、前記プロセッサに、検出対象音声データを取得し、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成し、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、前記感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得、前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを実行させる。
【０１２４】
一実施例では、前記感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得ることは、前記音声特徴行列を前記感情状態遷移モデルの観測系列とし、初期確率行列を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記観測系列に対応する感情状態系列を決定する、ことを含む。
【０１２５】
一実施例では、前記初期確率行列を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記観測系列に対応する感情状態系列を決定することは、前記観測系列に対応する候補感情状態経路によって構成される感情状態経路集合を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出し、算出された確率の最大値に対応する感情状態経路を、観測系列に対応する感情状態系列とする、ことを含む。
【０１２６】
一実施例では、前記感情状態確率は、無音確率を含み、前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定することは、前記感情状態系列に含まれる無音状態に合わせて無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する、ことを含む。
【０１２７】
一実施例では、前記プロセッサは、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることを実行する前に、さらに、訓練音声データを取得し、前記訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成し、前記訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得し、前記訓練音声特徴行列を前記感情検出モデルへの入力として、対応する標準感情状態ラベルを所望の出力として、訓練を行うことにより、目標感情検出モデルを得る、ことを実行する。
【０１２８】
一実施例では、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成することは、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、現在音声フレームを取得し、現在音声フレームに対応する拡張音声フレームを取得し、現在音声フレームに対応する現在音声特徴を抽出し、前記拡張音声フレームに対応する拡張音声特徴を抽出し、前記現在音声特徴及び前記拡張音声特徴に基づいて、現在音声フレームに対応する拡張音声特徴ベクトルを生成し、各音声フレームに対応する拡張音声特徴ベクトルに基づいて、前記検出対象音声データに対応する音声特徴行列を形成する、ことを含む。
【０１２９】
一実施例では、前記感情状態検出モデルは、ディープニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることは、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する、ことを含む。
【０１３０】
一実施例では、前記感情状態検出モデルは、リカレントニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることは、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する、ことを含む。
【０１３１】
一実施例では、コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、該プログラムは、プロセッサによって実行されると、検出対象音声データを取得し、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成し、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させ、前記感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得、前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定する、ことを実現させることを特徴とするコンピュータ可読記憶媒体が提供されている。
【０１３２】
一実施例では、前記感情状態確率行列及び音声特徴行列を、訓練済みの感情状態遷移確率パラメータが含まれる訓練済みの感情状態遷移モデルに入力して、対応する感情状態系列を得ることは、前記音声特徴行列を前記感情状態遷移モデルの観測系列とし、初期確率行列を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記観測系列に対応する感情状態系列を決定する、ことを含む。
【０１３３】
一実施例では、前記初期確率行列を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記観測系列に対応する感情状態系列を決定することは、前記観測系列に対応する候補感情状態経路によって構成される感情状態経路集合を取得し、前記初期確率行列と、感情状態確率行列と、前記感情状態遷移確率パラメータとに基づいて、前記感情状態経路集合内の各候補感情状態経路に対応する感情状態経路確率を算出し、算出された確率の最大値に対応する感情状態経路を、観測系列に対応する感情状態系列とする、ことを含む。
【０１３４】
一実施例では、前記感情状態確率は、無音確率を含み、前記感情状態系列に基づいて、前記検出対象音声データに対応する感情状態を決定することは、前記感情状態系列に含まれる無音状態に合わせて無音フレームを検出し、前記無音フレームに基づいて前記検出対象音声データをセグメント化して、非無音サブ音声セグメントを得、各非無音サブ音声セグメントに対応する感情状態系列に基づいて、各非無音サブ音声セグメントに対応する感情状態を決定する、ことを含む。
【０１３５】
一実施例では、前記プロセッサは、音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることを実行する前に、さらに、訓練音声データを取得し、前記訓練音声データに対してフレーム分割処理を行って訓練音声フレームを得、各訓練音声フレームに対応する音声特徴を抽出して訓練音声特徴行列を形成し、前記訓練音声フレームに対応する、無音ラベルが含まれる標準感情状態ラベルを取得し、前記訓練音声特徴行列を前記感情検出モデルへの入力として、対応する標準感情状態ラベルを所望の出力として、訓練を行うことにより、目標感情検出モデルを得る、ことを実行する。
【０１３６】
一実施例では、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、各音声フレームに対応する音声特徴を抽出して音声特徴行列を形成することは、前記検出対象音声データに対してフレーム分割処理を行って音声フレームを得、現在音声フレームを取得し、現在音声フレームに対応する拡張音声フレームを取得し、現在音声フレームに対応する現在音声特徴を抽出し、前記拡張音声フレームに対応する拡張音声特徴を抽出し、前記現在音声特徴及び前記拡張音声特徴に基づいて、現在音声フレームに対応する拡張音声特徴ベクトルを生成し、各音声フレームに対応する拡張音声特徴ベクトルに基づいて、前記検出対象音声データに対応する音声特徴行列を形成する、ことを含む。
【０１３７】
一実施例では、前記感情状態確率検出モデルは、ディープニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることは、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重み及び偏差とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する、ことを含む。
【０１３８】
一実施例では、前記感情状態確率検出モデルは、リカレントニューラルネットワークモデルで訓練を行うことにより得られたものであり、前記音声特徴行列を訓練済みの感情状態確率検出モデルを入力して、前記検出対象音声データに対応する感情状態確率行列を出力させることは、前記音声特徴行列から入力層ノード系列を得、前記入力層ノード系列を射影して、第１隠れ層に対応する隠れ層ノード系列を得、第１隠れ層を現在処理対象隠れ層とし、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得、出力層に至るまで、次の隠れ層を現在処理対象隠れ層として、現在処理対象隠れ層に対応する隠れ層ノード系列と、現在処理対象隠れ層に対応する各ニューロンノードの重みと、１つ前の時刻における現在処理対象隠れ層からの出力とに基づいて、非線形写像を用いることにより、次の隠れ層の隠れ層ノード系列を得ることを繰り返し、出力層から出力された、前記検出対象音声データに対応する感情状態確率行列を取得する、ことを含む。
【０１３９】
当業者であれば理解できるように、上記の実施例に係る方法のフローの全部又は一部は、コンピュータプログラムから関連のハードウェアへ指示することにより実行されてもよい。該コンピュータプログラムは、コンピュータ可読記憶媒体に記憶されてもよい。このプログラムが実行されると、上記のような各方法の実施例のフローが実行される。ここで、前記記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性記憶媒体、又はランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などであってもよい。
【０１４０】
上述した実施例は、本願のいくつかの実施形態を示したものにすぎず、説明が具体的で詳しいが、これによって本願の特許範囲への制限と理解されるわけにはいかない。指摘すべきものとして、当業者にとっては、本願の構想を逸脱しない前提で、若干の変形及び改良が可能である。これらの変形及び改良は、いずれも本願の保護範囲に属する。それゆえ、本願の特許保護範囲は、添付の特許請求の範囲に従うべきである。
【符号の説明】
【０１４１】
１１  端末
１２  ネットワーク
１３  サーバ
１４  ユーザデータベース
１４０２  取得モジュール
１４０４  抽出モジュール
１４０６  出力モジュール
１４０８  感情状態系列決定モジュール
１４１０  感情状態決定モジュール
１４１２  訓練音声特徴抽出モジュール
１４１４  標準感情状態取得モジュール
１４１６  訓練モジュール
【図１Ａ】
0006884460.tif 000051
【図１Ｂ】
0006884460.tif 000052
【図２】
0006884460.tif 000053
【図３】
0006884460.tif 000054
【図４】
0006884460.tif 000055
【図５】
0006884460.tif 000056
【図６】
0006884460.tif 000057
【図７】
0006884460.tif 000058
【図８】
0006884460.tif 000059
【図９】
0006884460.tif 000060
【図１０】
0006884460.tif 000061
【図１１】
0006884460.tif 000062
【図１２】
0006884460.tif 000063
【図１３】
0006884460.tif 000064
【図１４】
0006884460.tif 000065
【図１５】
0006884460.tif 000066
【図１６】
0006884460.tif 000067