(57)【要約】  本発明の実施例は、インテリジェントインタラクション方法、装置、コンピュータデバイス及びコンピュータ読取可能な記憶媒体を提供することによって、従来技術によるインテリジェントインタラクション方式がユーザメッセージに含まれる深い意図を解析できず、より人間味のあるインタラクション体験を提供することができないという課題を解決する。当該インテリジェントインタラクション方法は、少なくともユーザ音声メッセージを含むユーザメッセージに基づいて、感情認識結果を取得するステップと、前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得するステップと、前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定するステップと、を含む。
2021510851.tif 000002
【特許請求の範囲】
【請求項１】
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて感情認識結果を取得するステップと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得するステップと、
前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定するステップと、を含む
ことを特徴とするインテリジェントインタラクション方法。
【請求項２】
前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定する前記ステップは、
前記感情認識結果及び前記基本意図情報に基づいて、対応する感情意図情報を確定するステップと、
前記感情意図情報に基づいて、対応する前記インタラクション命令を確定するステップ、又は、前記感情意図情報及び前記基本意図情報に基づいて、対応する前記インタラクション命令を確定するステップと、を含む
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項３】
前記インタラクション命令は、前記感情意図情報に対するフィードバック内容を示すことを含む
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項４】
前記インタラクション命令は、
テキスト出力感情表現モード、音楽再生感情表現モードと、音声感情表現モードと、画像感情表現モードと、機械的動き感情表現モードのうちの１種類又は複数種類の感情表現モードを含む
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項５】
前記感情意図情報は、前記感情認識結果に対応する感情ニーズ情報を含み、又は、
前記感情意図情報は、前記感情認識結果に対応する前記感情ニーズ情報、及び、前記感情認識結果と前記基本意図情報との関連関係を含む
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項６】
前記感情認識結果と前記基本意図情報との関連関係は、予め設定される
ことを特徴とする請求項５に記載のインテリジェントインタラクション方法。
【請求項７】
前記ユーザ情報は少なくともユーザ音声メッセージを含み、
ユーザメッセージに基づいて感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージに基づいて前記感情認識結果を取得するステップを含む
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項８】
ユーザ音声メッセージに基づいて感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するステップと、前記オーディオ感情認識結果に基づいて前記感情認識結果を確定するステップと、を含むか、
又は、
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するとともに、前記ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するステップと、前記オーディオ感情認識結果及び前記テキスト感情認識結果に基づいて前記感情認識結果を確定するステップと、を含む
ことを特徴とする請求項７に記載のインテリジェントインタラクション方法。
【請求項９】
前記オーディオ感情認識結果が複数の感情分類のうちの１種類又は複数種類を含むか、又は、前記オーディオ感情認識結果が多次元感情空間における１つの座標ポイントに対応し、
又は、
前記オーディオ感情認識結果及び前記テキスト感情認識結果がそれぞれ、複数の感情分類のうちの１種類又は複数種類を含むか、又は、前記オーディオ感情認識結果及び前記テキスト感情認識結果がそれぞれ、多次元感情空間における１つの座標ポイントに対応し、
前記多次元感情空間におけるいずれの次元も、心理学で定義された１つの感情要素に対応し、
いずれの前記感情分類も、複数の感情強度レベルを含む
ことを特徴とする請求項８に記載のインテリジェントインタラクション方法。
【請求項１０】
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージのオーディオ特徴ベクトルを抽出するステップと、
前記ユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルと、に対してマッチングを行うステップと、
マッチング結果としてマッチする感情特徴モデルに対応する感情分類を、前記ユーザ音声メッセージの感情分類として確定するステップと、を含み、
前記ユーザ音声メッセージは認識対象となるオーディオストリームの１つのセグメントに対応し、
前記複数の感情特徴モデルはそれぞれ、複数の感情分類のうちの１つに対応する
ことを特徴とする請求項８に記載のインテリジェントインタラクション方法。
【請求項１１】
前記複数の感情特徴モデルは、前記複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルの集合に基づいて事前学習を行うことによって構築される
ことを特徴とする請求項１０に記載のインテリジェントインタラクション方法。
【請求項１２】
前記事前学習のプロセスは、
前記複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルの集合に対してクラスタリングを行って、予め設定された感情分類のクラスタリング結果を取得するステップと、
前記クラスタリング結果に基づいて、各クラスターにおける前記予め設定された音声セグメントのオーディオ特徴ベクトルの集合に対してトレーニングを行って、１つの前記感情特徴モデルを取得するステップと、を含む
ことを特徴とする請求項１１に記載のインテリジェントインタラクション方法。
【請求項１３】
前記ユーザ音声メッセージのオーディオデータに基づいて、オーディオ感情認識結果を取得する前記ステップは、
前記認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定するステップと、
前記音声開始フレームと前記音声終了フレームとの間のオーディオストリーム部分を抽出して、前記ユーザ音声メッセージとして確定するステップと、を更に含む
ことを特徴とする請求項１０に記載のインテリジェントインタラクション方法。
【請求項１４】
前記認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定する前記ステップは、
前記認識対象となるオーディオストリームにおける音声フレームが発声フレームであるか又は非発声フレームであるかを判断するステップと、
１つ前の音声セグメントの前記音声終了フレームの後、又はまだ１つ目の音声セグメントを検出できていないとき、第１の予め設定された数の音声フレームが連続的に発声フレームであると判断された場合、前記第１の予め設定された数の音声フレームのうちの１つ目の音声フレームを、現在の音声セグメントの前記音声開始フレームとして確定するステップと、
現在の音声セグメントの前記音声開始フレームの後、第２の予め設定された数の音声フレームが連続的に非発声フレームであると判断された場合、前記第２の予め設定された数の音声フレームのうちの１つ目の音声フレームを現在の音声セグメントの前記音声終了フレームとして確定するステップと、を含む
ことを特徴とする請求項１３に記載のインテリジェントインタラクション方法。
【請求項１５】
前記オーディオ特徴ベクトルは、
エネルギー特徴、発声フレーム数特徴、基本周波数特徴、フォルマント特徴、高調波ノイズ比特徴及びメル周波数ケプストラム係数特徴のうちの１種類又は複数種類のオーディオ特徴を含む
ことを特徴とする請求項１０に記載のインテリジェントインタラクション方法。
【請求項１６】
前記エネルギー特徴は、短期エネルギーの１階差分、及び／又は予め設定された周波数以下のエネルギーのスケールを含み、及び／又は、
前記基本周波数特徴は、基本周波数及び／又は基本周波数の１階差分を含み、及び／又は、
前記フォルマント特徴は、第１のフォルマント、第２のフォルマント、第３のフォルマント、第１のフォルマントの１階差分、第２のフォルマントの１階差分及び第３のフォルマントの１階差分のうちの１種類又は複数種類を含み、及び／又は、
前記メル周波数ケプストラム係数特徴は、１−１２階のメル周波数ケプストラム係数及び／又は１−１２階のメル周波数ケプストラム係数の１階差分を含む
ことを特徴とする請求項１５に記載のインテリジェントインタラクション方法。
【請求項１７】
前記オーディオ特徴は、比率、平均値、最大値、中央値及び標準偏差のうちの１種類又は複数種類の表現計算方式によって表現される
ことを特徴とする請求項１５に記載のインテリジェントインタラクション方法。
【請求項１８】
前記エネルギー特徴は、短期エネルギーの１階差分の平均値、最大値、中央値及び標準偏差、及び／又は予め設定された周波数以下のエネルギーと全体エネルギーとの比率を含み、及び／又は、
前記発声フレーム数特徴は、発声フレーム数と非発声フレーム数との比率、及び／又は発声フレーム数と全体フレーム数との比率を含み、
前記基本周波数特徴は、基本周波数の平均値、最大値、中央値及び標準偏差、及び／又は基本周波数の１階差分の平均値、最大値、中央値及び標準偏差を含み、及び／又は、
前記フォルマント特徴は、第１のフォルマントの平均値、最大値、中央値及び標準偏差と、第２のフォルマントの平均値、最大値、中央値及び標準偏差と、第３のフォルマントの平均値、最大値、中央値及び標準偏差と、第１のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差と、第２のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差と、第３のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差と、のうちの１種類又は複数種類を含み、及び／又は、
前記メル周波数ケプストラム係数特徴は、１−１２階のメル周波数ケプストラム係数の平均値、最大値、中央値及び標準偏差、及び／又は１−１２階のメル周波数ケプストラム係数の１階差分の平均値、最大値、中央値及び標準偏差を含む
ことを特徴とする請求項１５に記載の音声感情認識方法。
【請求項１９】
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する前記ステップは、
前記ユーザ音声メッセージのテキスト内容と、語義知識リポジトリにおける複数の予め設定された語義テンプレートと、に対してマッチングを行うことによって、マッチする語義テンプレートを確定するステップと、
前記マッチする語義テンプレートに対応する前記基本意図情報を取得するステップと、を含み、
前記語義テンプレートと前記基本意図情報との対応関係は前記語義知識リポジトリにおいて予め構築されており、同一の前記意図情報は１つ又は複数の前記語義テンプレートに対応する
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項２０】
前記ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートと、に対してマッチングを行うことによって、マッチする語義テンプレートを確定する前記ステップは、
前記ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートとの間の類似度を計算するステップと、
最も類似度が高い語義テンプレートを、前記マッチする語義テンプレートとして確定するステップと、を含む
ことを特徴とする請求項１９に記載のインテリジェントインタラクション方法。
【請求項２１】
前記感情認識結果と前記感情意図情報との対応関係、及び、前記基本意図情報と前記感情意図情報との対応関係は予め構築され、又は、
前記感情意図情報と前記インタラクション命令との対応関係は予め構築され、又は、
前記感情意図情報と前記インタラクション命令との対応関係、及び、前記基本意図情報と前記インタラクション命令との対応関係は予め構築される
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項２２】
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する前記ステップは、
現在の前記ユーザ音声メッセージと、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージに基づいて意図分析を行って、対応する前記基本意図情報を取得するステップを含む
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項２３】
前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報を記録するステップを更に含み、
前記感情認識結果及び前記基本意図情報に基づいて対応する感情意図情報を確定する前記ステップは、
現在の前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報と、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報に基づいて対応する感情意図情報を確定するステップを含む
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項２４】
前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報を記録するステップを更に含み、
前記感情意図情報及び前記基本意図情報に基づいて対応するインタラクション命令を確定する前記ステップは、
現在の前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報と、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報と、に基づいて対応する前記インタラクション命令を確定するステップを含む
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項２５】
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて感情認識結果を取得する感情認識モジュールと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する基本意図認識モジュールと、
前記感情認識結果及び前記基本意図情報に基づいて対応するインタラクション命令を確定するインタラクション命令確定モジュールと、を備える
ことを特徴とするインテリジェントインタラクション装置。
【請求項２６】
メモリーと、
プロセッサーと、
前記メモリーに記憶されて前記プロセッサーにより実行されるコンピュータプログラムと、を備え
前記プロセッサーが前記コンピュータプログラムを実行すると、請求項１乃至２４のいずれか一項に記載の方法のステップが実現される
ことを特徴とするコンピュータデバイス。
【請求項２７】
コンピュータプログラムが記憶されており、
前記コンピュータプログラムがプロセッサーにより実行されると、請求項１乃至２４のいずれか一項に記載の方法のステップが実現される
ことを特徴とするコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１月２６日に出願された中国特許出願「Ｎｏ．２０１８１００７９２６７．２」の優先権を主張し、そのすべての内容を参照により本明細書に組み込む。
【０００２】
本願は、インテリジェントインタラクションの技術分野に関し、具体的には、インテリジェントインタラクション方法、装置、コンピュータデバイス及びコンピュータ読取可能な記憶媒体に関する。
【背景技術】
【０００３】
人工知能技術の継続的な発展とともに、人々のインタラクション体験に対する期待が徐々に高まってきている。それにつれて、インテリジェントインタラクション方式は漸次、一部の伝統的なヒューマンマシンインタラクション方式を取り替え始めており、すでに人気のある研究対象になっている。しかしながら、従来のインテリジェントインタラクション方式は、ユーザメッセージの語義を大まかにしか解析することができず、ユーザの現在の感情状態を認識することができないため、当然ながらユーザの感情状態に基づいてユーザメッセージに含まれている深い感情ニーズを把握することができず、ユーザメッセージに基づいてより人間味のあるインタラクション体験を提供することができない。例えば、航空便の時間情報を尋ねるときに急いでいて感情状態が「焦り」であるユーザと、スケジュールを立て始めたばかりであって感情状態が「安定」であるユーザとは、明らかに異なる回答方式を期待している。しかしながら、語義ベースの従来のインテリジェントインタラクション方式によれば、異なるユーザも同一の回答方式しか得られず、例えば、対応する航空便の時間情報プログラムをユーザに提供するのみである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上に鑑みて、本発明の実施例は、インテリジェントインタラクション方法、装置、コンピュータデバイス及びコンピュータ読取可能な記憶媒体を提供することによって、従来技術によるインテリジェントインタラクション方式がユーザメッセージに含まれる深い意図を解析できず、より人間味のあるインタラクション体験を提供することができないという課題を解決することができる。
【課題を解決するための手段】
【０００５】
本発明の一実施例により提供されるインテリジェントインタラクション方法は、
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて、感情認識結果を取得するステップと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得するステップと、
前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定するステップと、を含む。
【０００６】
本発明の一実施例により提供されるインテリジェントインタラクション装置は、
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて感情認識結果を取得する感情認識モジュールと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する基本意図認識モジュールと、
前記感情認識結果及び前記基本意図情報に基づいて対応するインタラクション命令を確定するインタラクション命令確定モジュールと、を備える。
【０００７】
本発明の一実施例により提供されるコンピュータデバイスは、メモリーと、プロセッサーと、前記メモリーに記憶されて前記プロセッサーにより実行されるコンピュータプログラムと、を備える。ここで、前記プロセッサーが前記コンピュータプログラムを実行すると、上述の方法のステップが実現される。
【０００８】
本発明の一実施例により提供されるコンピュータ読取可能な記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサーにより実行されると、上述の方法のステップが実現される。
【発明の効果】
【０００９】
本発明の実施例により提供されるインテリジェントインタラクション方法、装置、コンピュータデバイス及びコンピュータ読取可能な記憶媒体は、ユーザの基本意図情報の理解に基づいて、ユーザメッセージに基づいて取得される感情認識結果を採用し、基本意図情報及び感情認識結果に基づいて感情を伴うインタラクション命令を出すことによって、従来技術によるインテリジェントインタラクション方式がユーザメッセージに含まれる深い意図を解析できず、より人間味のあるインタラクション体験を提供することができないという課題を解決することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例により提供されるインテリジェントインタラクション方法のフローチャートである。
【図２】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。
【図３】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。なお、当該実施例におけるユーザメッセージも、少なくともユーザ音声メッセージと感情認識を含む。
【図４】本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。
【図５】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するフローチャートである。
【図６】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情特徴モデルを構築するフローチャートである。
【図７】本発明の一実施例により提供される音声感情認識方法における、ユーザ音声メッセージを抽出するフローチャートである。
【図８】本発明の一実施例により提供されるインテリジェントインタラクション方法における、音声開始フレーム及び音声終了フレームを確定するフローチャートである。
【図９】本発明の一実施例により提供されるインテリジェントインタラクション方法における、発声フレーム又は非発声フレームを検出するフローチャートである。
【図１０】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。
【図１１】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。
【図１２】本発明の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。
【図１３】本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。
【図１４】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージに基づいて基本意図情報を取得するフローチャートである。
【図１５】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１６】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１７】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１８】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１９】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【発明を実施するための形態】
【００１１】
本発明の目的、技術案及び利点をより明確で明らかにするために、以下、図面を参照しながら本発明についてより詳しく説明を行う。
【００１２】
以下、本発明の実施例に係る図面を参照しながら、本発明の実施例における技術案を明確且つ完全に説明する。明らかに、説明される実施例は本発明の一部の実施例に過ぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な労働をせずに得られる他の実施例は、すべて本発明の保護範囲に属するべきである。
【００１３】
図１は、本発明の一実施例により提供されるインテリジェントインタラクション方法のフローチャートである。図１に示すように、当該インテリジェントインタラクション方法は以下のステップを含む。
ステップ１０１：ユーザメッセージに基づいて感情認識結果を取得する。前記ユーザメッセージは少なくともユーザ音声メッセージを含む。
【００１４】
ユーザメッセージとは、ユーザとインタラクションを行うときにユーザにより入力された、又は取得した、ユーザのインタラクション意図及びニーズに関わる情報のことである。例えば、コールセンターシステムの顧客サービスのインタラクションシーンにおいて、ユーザメッセージの具体的な形式は、ユーザにより送信されるユーザ音声メッセージを含むことができる。このとき、ユーザはクライアントである可能性もあるし、サーバである可能性もある。他の例として、インテリジェントロボットのインタラクションシーンにおいて、ユーザメッセージは、ユーザが当該インテリジェントロボットの入力モジュールを介して入力する情報（例えば、文字又は音声など）、又は当該インテリジェントロボットの収集モジュールが収集するユーザの情報（例えば、顔面表情、ジェスチャーなど）を含むことができる。本発明はユーザメッセージの具体的な提供者と具体的な形式について制限しない。
【００１５】
なお、ユーザメッセージの具体的な形式によって、感情認識結果を取得する方式も異なる場合がある。例えば、取得したユーザの顔面表情がユーザメッセージに含まれる場合、画像における顔面特徴点の位置変化によってユーザの現在の感情状態を判断することができる。本発明は、ユーザメッセージに基づいて感情認識結果を取得する具体的な方式について制限しない。他の例として、感情状態によってユーザ音声メッセージのオーディオデータには異なるオーディオ特徴が含まれるため、ユーザメッセージがユーザ音声メッセージを含む場合には、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得してから、オーディオ感情認識結果に基づいて感情認識結果を確定することができる。
【００１６】
当該ユーザメッセージに基づいて取得した感情認識結果は、後続のプロセスにおいて基本意図情報と組み合わせられて、ユーザの感情意図の推測に用いることができる。又は、基本意図情報及び感情認識結果に基づいて、感情を伴うインタラクション命令を直接出してもよい。
【００１７】
ステップ１０２：ユーザメッセージに基づいて意図分析を行って、対応する基本意図情報を取得する。
【００１８】
基本意図情報は、ユーザメッセージに直感的に反映された意図に対応するが、ユーザの現在の状態における本当の感情ニーズを表すことができない。そこで、ユーザメッセージが実際に表現しようとしている深い意図及び感情ニーズを総合的に確定するためには、感情認識結果も一緒に考慮する必要がある。例えば、急いでいて感情状態が「焦り」であるユーザにより送信されたユーザ音声メッセージの内容と、スケジュールを立て始めたばかりであって感情状態が「安定」であるユーザにより送信されたユーザ音声メッセージの内容とが、両方とも航空便情報を尋ねる内容である場合、それらに基づいて得られる基本意図情報は同じく、どちらも航空便情報の問い合わせであるが、両者が期待している感情ニーズは明らかに相違する。
【００１９】
なお、ユーザメッセージの具体的な形式によって、基本意図情報の具体的な内容及び取得する方式は異なってもよい。例えば、ユーザメッセージがユーザ音声メッセージを含む場合、基本意図情報は、ユーザ音声メッセージのテキスト内容に基づく意図分析によって取得することができる。当該基本意図情報はユーザ音声メッセージのテキスト内容の語義により表される意図に対応するため、まったく感情的な成分を含まない。
【００２０】
本発明の一実施例では、より正確度の高い基本意図情報を取得するために、現在のユーザ音声メッセージと、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージに基づいて意図分析を行って、対応する基本意図情報を取得してもよい。例えば、現在のユーザ音声メッセージの意図には一部のキーワード及びスロット（ｓｌｏｔ）が欠けている可能性があるが、このような内容を過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージから取得することができる。例えば、現在のユーザ音声メッセージの内容が「どんなお土産がありますか？」である場合、その中の主語（ｓｌｏｔ）が欠けている。この場合、過去のユーザ音声メッセージ「常州の天気はどうですか？」によれば、「常州」を抽出して主語とすることができる。こうすると、最終的に取得される現在のユーザ音声メッセージの基本意図情報が「常州にはどのようなお土産がありますか？」となる。
【００２１】
ステップ１０３：感情認識結果及び基本意図情報に基づいて、対応するインタラクション命令を確定する。
【００２２】
感情認識結果及び基本意図情報と、インタラクション命令との間の対応関係は、学習プロセスによって構築することができる。本発明の一実施例において、インタラクション命令の内容及び形式は、テキスト出力感情表現モードと、音楽再生感情表現モードと、音声感情表現モードと、画像感情表現モードと、機械的動き感情表現モードのうちの１種類又は複数種類の感情表現モードを含む。なお、インタラクション命令の具体的な感情表現モードはインタラクションシーンにおける必要に応じて変更されてもよく、本発明はインタラクション命令の具体的な内容及び形式について制限しない。
【００２３】
本発明の一実施例では、感情認識結果及び基本意図情報に基づいて対応する感情意図情報を確定した後、感情意図情報に基づいて対応するインタラクション命令を確定してもよく、又は、感情意図情報及び基本意図情報に基づいて前記対応するインタラクション命令を確定してもよい。ここで、感情意図情報は具体的な内容を有することができる。
【００２４】
具体的には、感情意図情報の具体的な内容とは、感情的な成分を有する意図情報のことであり、基本意図を反映するとともにユーザメッセージの感情ニーズを反映することができる。感情意図情報と感情認識結果との対応関係、及び、感情意図情報と基本意図情報との対応関係は、事前学習プロセスによって予め構築することができる。本発明の一実施例において、当該感情意図情報は、感情認識結果に対応する感情ニーズ情報を含んでもよく、又は感情認識結果に対応する感情ニーズ情報、及び、感情認識結果と基本意図情報との関連関係を含んでもよい。感情認識結果と基本意図情報との関連関係は予め設定された（例えば、ルールによって設定するか、又は論理的に判断する）ものであってもよい。例えば、感情認識結果の内容が「焦り」であり、基本意図情報の内容が「クレジットカードの紛失登録」であるとき、確定される感情意図情報の内容は感情認識結果と基本意図情報との関連関係を含むことができ、「クレジットカードの紛失登録、ユーザは焦っている、クレジットカードの紛失又は盗難の可能性あり」のようになる。それとともに、確定される感情ニーズ情報は「慰め」であってもよい。感情認識結果と基本意図情報との関連関係は、特定のトレーニングプロセスに基づいて得られるモデル（例えば、入力される感情認識結果及び基本意図情報によって感情意図を直接出力することができるトレーニング済みのエンドツーエンドモデル）であってもよい。このようなトレーニングモデルは、固定的なディープネットワークモデル（例えば、予め設定されたルール）であってもよく、オンライン学習によって継続的に更新してもよい（例えば、強化学習モデルを採用する。モデルの中で目標関数と報酬関数を設定しておくと、ヒューマンマシンインタラクションの回数が増えるとともに、当該ディープネットワークモデルは継続的に更新して変化することができる）。
【００２５】
なお、感情意図情報はマッピング関係におけるラベルとしてしか用いられなくてもよい。感情意図情報とインタラクション命令との間の対応関係も、感情意図情報及び基本意図情報とインタラクション命令との間の対応関係も、事前学習プロセスによって予め構築することができる。
【００２６】
なお、一部の応用シーンでは、当該感情意図情報に対するフィードバック内容を表現する必要がある。例えば、一部の顧客サービスのインタラクションシーンでは、リマインドするために、顧客の音声内容に基づいて解析できた感情意図情報を顧客サービススタッフに伝える必要がある。このとき、対応する感情意図情報を確定して、当該感情意図情報に対するフィードバック内容を表現する必要がある。また、他の一部の応用シーンでは、対応するインタラクション命令を直接出す必要があるが、当該感情意図情報に対するフィードバック内容を表現する必要はない。このような場合には、感情意図情報を生成せずに、感情認識結果及び基本意図情報に基づいて対応するインタラクション命令を直接確定してもよい。
【００２７】
本発明の一実施例では、より正確度の高い感情意図情報を取得するために、現在のユーザ音声メッセージの感情認識結果及び基本意図情報と、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージの感情認識結果及び基本意図情報に基づいて対応する感情意図情報を確定することもできる。この場合、他のユーザ音声メッセージに基づいて感情意図情報を確定するときに参考として用いるために、現在のユーザ音声メッセージの感情認識結果及び基本意図情報をリアルタイムに記録する必要がある。例えば、現在のユーザ音声メッセージの内容が「キャッシュカード無しで現金をどうやって引き出すか？」である場合、取得される感情認識結果は「焦り」になる。しかし、現在のユーザ音声メッセージによっては「焦り」の原因を正確に判断することができない。この場合、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージを調べることができる。調べた結果、「キャッシュカードの紛失登録はどうすればよいですか？」という過去の１つのユーザ音声メッセージが見つかると、ユーザの感情意図情報が「キャッシュカードをなくしてしまって焦っている。紛失登録の手続き又はキャッシュカード無しで現金を引き出す方法を問合せしたい」であると推測することができる。このとき、感情意図情報に対してインタラクション命令を生成することができ、例えば、「カード無しのお引出し操作は以下のステップの通りとなります。キャッシュカードをなくされた場合には、以下の方法に従って操作することもできますので、ご安心ください…」というような慰めの音声を再生する。
【００２８】
本発明の一実施例では、より正確度の高い対応するインタラクション命令を生成するために、現在のユーザ音声メッセージの感情意図情報及び基本意図情報と、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージの感情意図情報及び基本意図情報と、に基づいて対応するインタラクション命令を確定することができる。この場合、他のユーザ音声メッセージに基づいてインタラクション命令を確定するときに参考として用いるために、現在のユーザ音声メッセージの感情認識結果及び基本意図情報をリアルタイムに記録する必要がある。
【００２９】
つまり、本発明の実施例により提供されるインテリジェントインタラクション方法は、ユーザの基本意図情報の理解に基づいて、ユーザメッセージに基づいて取得する感情認識結果も参考にして、ユーザの感情意図を推測する。又は、基本意図情報及び感情認識結果に基づいて感情を伴うインタラクション命令を直接出す。このように、従来技術によるインテリジェントインタラクション方式がユーザメッセージに含まれる深い意図と感情ニーズを解析できず、より人間味のあるインタラクション体験を提供することができないという課題を解決することができる。
【００３０】
本発明の一実施例では、ユーザメッセージがユーザ音声メッセージを含む場合、オーディオ感情認識結果及びテキスト感情認識結果に基づいて総合的に感情認識結果を確定することができる。具体的には、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得し、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得し、さらにオーディオ感情認識結果及びテキスト感情認識結果に基づいて総合的に感情認識結果を確定する。又は上述した通り、オーディオ感情認識結果のみに基づいて最終的な感情認識結果を確定してもよく、本発明はこれについて制限しない。
【００３１】
なお、オーディオ感情認識結果及びテキスト感情認識結果は様々な方式によって表現することができる。本発明の一実施例では、離散的な感情分類の方式を用いて感情認識結果を表すことができる。このとき、オーディオ感情認識結果とテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含むことができる。例えば、顧客サービスのインタラクションシーンにおいて、当該複数の感情分類は顧客サービスインタラクションシーンにおいてユーザの可能な感情状態に対応する満足分類、平然分類及び苛立ち分類を含むことができる。又は、当該複数の感情分類は顧客サービスインタラクションシーンにおいて顧客サービススタッフの可能な感情状態に対応する満足分類、平然分類、苛立ち分類及び怒り分類を含むことができる。なお、ここの感情分類の種類及び数は、実際の応用シーンにおける必要に応じて変更されてもよく、本発明は感情分類の種類と数についても制限しない。更なる一実施例において、各感情分類は複数の感情強度レベルを含むことができる。具体的には、感情分類と感情強度レベルは２つの次元パラメータと見なすことができ、互いに独立してもよく（例えば、いずれの感情分類もＮ種類の感情強度レベルに対応する。例えば、軽度、中度及び重度）、予め設定された対応関係（例えば、「苛立ち」感情分類は軽度、中度及び重度の３種類の感情強度レベルを含み、「満足」感情分類は中度及び重度の２種類の感情強度レベルしか含まない）を持っていてもよい。つまり、ここで、感情強度レベルは感情分類の１つの属性パラメータと見なすことができる。感情認識プロセスによって１つの感情分類が確定されるとき、当該感情分類の感情強度レベルも同時に確定されるようになる。
【００３２】
本発明の他の一実施例では、非離散的な次元感情モデルの方式を用いて感情認識結果を表現することもできる。この場合、オーディオ感情認識結果とテキスト感情認識結果はそれぞれ、多次元感情空間における１つの座標ポイントに対応することができる。多次元感情空間における各次元はそれぞれ、心理学で定義された１つの感情要素に対応する。例えば、ＰＡＤ（Ｐｌｅａｓｕｒｅ  Ａｒｏｕｓａｌ  Ｄｏｍｉｎａｎｃｅ）３次元感情モデルを採用することができる。当該モデルによると、感情は快、覚醒及び優越の３つの次元から構成されており、どのような感情もこの３つの次元がそれぞれ対応する感情要素によって表現することができるとの主張である。ここで、Ｐは快であり、個体の感情状態の正負特性を表し、Ａは覚醒であり、個体の神経生理覚醒の度合いを表し、Ｄは優越であり、個体が環境及び他人に対するコントロール状態を表す。
【００３３】
なお、オーディオ感情認識結果及びテキスト感情認識結果は他の表現方式によって表現されてもよく、本発明は具体的な表現方式について制限しない。
【００３４】
図２は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。当該実施例において、ユーザメッセージは少なくともユーザ音声メッセージを含み、感情認識結果はオーディオ感情認識結果及びテキスト感情認識結果に基づいて総合的に確定される必要があり、オーディオ感情認識結果とテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含む。このとき、当該感情認識結果を確定するための方法は以下のステップを含むことができる。
【００３５】
ステップ２０１：オーディオ感情認識結果とテキスト感情認識結果とが同一の感情分類を含む場合、当該同一の感情分類を感情認識結果として確定する。
【００３６】
ステップ２０２：オーディオ感情認識結果とテキスト感情認識結果とが同一の感情分類を含まない場合、オーディオ感情認識結果とテキスト感情認識結果との両方とも感情認識結果として確定する。
【００３７】
なお、ステップ２０２ではオーディオ感情認識結果とテキスト感情認識結果とが同一の感情分類を含まない場合にオーディオ感情認識結果とテキスト感情認識結果との両方とも感情認識結果として確定すると規定したが、本発明の他の実施例ではより保守的なインターアクション対策を採用してもよい。例えば、エラー情報を直接生成するか又は感情認識結果を出力しないなどである。こうすることによって、インターアクションに対して誤った影響を与えてしまうことを避けることができる。本発明は、オーディオ感情認識結果とテキスト感情認識結果とが同一の感情分類を含まない場合における対処方式について制限しない。
【００３８】
図３は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。当該実施例においても、ユーザメッセージは少なくともユーザ音声メッセージを含み、感情認識結果はオーディオ感情認識結果及びテキスト感情認識結果に基づいて総合的に確定され、オーディオ感情認識結果とテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含む。感情認識結果を確定するための当該方法は以下のステップを含むことができる。
【００３９】
ステップ３０１：オーディオ感情認識結果における感情分類の確信度と、テキスト感情認識結果における感情分類の確信度とを計算する。
【００４０】
統計学的に、確信度は信頼度、確信レベル、又は確信係数とも呼ばれる。サンプルはランダム特性を有するため、サンプリングによって全体パラメータを推定すると、その結論はいつも不確定なものになる。そこで、１つの推定値と全体パラメータとの間の誤差が一定の許容範囲に入る確率を数理統計学による区間推定法を用いて推定することができる。当該確率は確信度と呼ばれる。例えば、予め設定された感情分類が、感情分類を表す１つの変数に相関し、すなわち、当該変数の数値の大きさによって感情分類は異なる値に対応するようになる、と仮定する。音声感情認識結果の確信度を取得しようとするとき、最初に、複数回のオーディオ感情認識／テキスト感情認識を行うことによって当該変数の複数の測定値を取得し、次に当該複数の測定値の平均値を１つの推定値とする。さらに、当該推定値と当該変数の真値との間の誤差の範囲が一定の範囲に入る確率を区間推定法によって推定する。この確率の数値が大きければ大きいほど、当該推定値の正確度が高いと判断され、すなわち、当該感情分類の確信度が高い。
【００４１】
ステップ３０２：オーディオ感情認識結果における最も確信度の高い感情分類と、テキスト感情認識結果における最も確信度の高い感情分類とが同一か否かを判断する。判断結果がＹＥＳの場合にはステップ３０３を実行し、ＮＯの場合にはステップ３０４を実行する。
【００４２】
ステップ３０３：オーディオ感情認識結果における最も確信度の高い感情分類、又はテキスト感情認識結果における最も確信度の高い感情分類を、感情認識結果として確定する。
【００４３】
例えば、オーディオ感情認識結果が満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、テキスト感情認識結果が満足分類（確信度はｂ１である）のみを含み、且つａ１＞ａ２となるとき、満足分類を最終的な感情認識結果として確定する。
【００４４】
ステップ３０４：オーディオ感情認識結果における最も確信度の高い感情分類の確信度と、テキスト感情認識結果における最も確信度の高い感情分類の確信度と、を比較する。
【００４５】
本発明の一実施例では、実際の応用シーンにおける感情認識の具体的なアルゴリズム及びユーザ音声メッセージのタイプや内容による制限を考慮した場合、オーディオ感情認識結果とテキスト感情認識結果のいずれかを主要な感情認識結果として出力し、他の１つを補助の感情認識結果として出力してから、さらに確信度と感情強度レベルなどの要素を利用して総合的に最終的な感情認識結果を確定することもできる。なお、オーディオ感情認識結果とテキスト感情認識結果のどちらを主要な感情認識結果として出力するかは、実際の応用シーンによって決めることができる。なお、本発明は、オーディオ感情認識結果とテキスト感情認識結果のどちらを主要な感情認識結果として出力するかについて制限しない。
【００４６】
本発明の一実施例では、オーディオ感情認識結果を主要な感情認識結果として出力し、テキスト感情認識結果を補助の感情認識結果として出力する。このとき、オーディオ感情認識結果における最も確信度の高い感情分類の確信度が、テキスト感情認識結果における最も確信度の高い感情分類の確信度より高い場合、ステップ３０５を実行する。オーディオ感情認識結果における最も確信度の高い感情分類の確信度が、テキスト感情認識結果における最も確信度の高い感情分類の確信度より低い場合、ステップ３０６を実行する。オーディオ感情認識結果における最も確信度の高い感情分類の確信度が、テキスト感情認識結果における最も確信度の高い感情分類の確信度に等しい場合、ステップ３０９を実行する。
ステップ３０５：オーディオ感情認識結果における最も確信度の高い感情分類を感情認識結果として確定する。
【００４７】
オーディオ感情認識結果を主要な感情認識結果として出力することを予め選択しているため、オーディオ感情認識結果における感情分類を優先的に考えることは当然である。加えて、オーディオ感情認識結果における最も確信度の高い感情分類の確信度はテキスト感情認識結果における最も確信度の高い感情分類の確信度より高い。したがって、主要な感情認識結果であるオーディオ感情認識結果における最も確信度の高い感情分類を感情認識結果として確定することができる。例えば、オーディオ感情認識結果が満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、テキスト感情認識結果が平然分類（確信度はｂ１である）のみを含み、さらにａ１＞ａ２且つａ１＞ｂ１である場合には、満足分類を最終的な感情認識結果とする。
【００４８】
ステップ３０６：オーディオ感情認識結果において、テキスト感情認識結果における最も確信度の高い感情分類が含まれているか否かを判断する。判断結果がＹＥＳの場合にはステップ３０７を実行し、判断結果がＮＯの場合にはステップ３０９を実行する。
【００４９】
例えば、オーディオ感情認識結果が満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、テキスト感情認識結果が平然分類（確信度はｂ１である）のみを含み、さらにａ１＞ａ２且つａ１＜ｂ１である場合には、テキスト感情認識結果における最も確信度の高い平然分類が、オーディオ感情認識結果の中に含まれているか否かを判断する必要がある。
【００５０】
ステップ３０７：さらに、オーディオ感情認識結果の中に含まれている、テキスト感情認識結果における最も確信度の高い感情分類の感情強度レベルが、第１の強度閾値より高いか否かを判断する。判断結果がＹＥＳの場合にはステップ３０８を実行し、ＮＯの場合にはステップ３０９を実行する。
【００５１】
ステップ３０８：テキスト感情認識結果における最も確信度の高い感情分類を感情認識結果として確定する。
【００５２】
ステップ３０８まで実行すると、テキスト感情認識結果における最も確信度の高い当該感情分類は確信度が高いだけでなく、感情的な傾向も非常に明確であると考えてもよい。そこで、テキスト感情認識結果における最も確信度の高い感情分類を感情認識結果として確定することができる。
【００５３】
ステップ３０９：オーディオ感情認識結果における最も確信度の高い感情分類を感情認識結果とするか、又はオーディオ感情認識結果における最も確信度の高い感情分類とテキスト感情認識結果における最も確信度の高い感情分類との両方とも感情認識結果とする。
【００５４】
オーディオ感情認識結果における最も確信度の高い感情分類の確信度がテキスト感情認識結果における最も確信度の高い感情分類の確信度に等しい場合、又は、テキスト感情認識結果における最も確信度の高い感情分類がオーディオ感情認識結果に含まれていない場合、又は、テキスト感情認識結果における最も確信度の高い感情分類がオーディオ感情認識結果に含まれているが、当該感情分類の感情強度レベルが十分ではない場合には、オーディオ感情認識結果及びテキスト感情認識結果に基づいて１つの統一した感情分類を最終的な感情認識結果として出力することはまだ不可能である、と考えることができる。この場合、本発明の一実施例では、オーディオ感情認識結果を主要な感情認識結果として出力することを予め選択しているため、オーディオ感情認識結果における最も確信度の高い感情分類を感情認識結果として直接確定すればよい。本発明の他の一実施例では、オーディオ感情認識結果及びテキスト感情認識結果の両方とも感情認識結果として確定してもよい。また、後続のプロセスを行うとき、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージの感情認識結果及び基本意図情報を参考にしながら、対応する感情意図情報を確定することができる。
【００５５】
図４は、本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。図３に係る実施例とは異なり、図４に係る実施例は、テキスト感情認識結果を主要な感情認識結果として出力することを選択し、オーディオ感情認識結果を補助の感情認識結果として出力することを選択する。なお、この場合の感情認識結果を確定するためのフローは、図３に示すフローロジックに類似している。ただし、主要な感情認識結果として出力される対象がテキスト感情認識結果に変更される。具体的には、以下のステップを含むことができるが、ここでは重複する論理的な説明は省略する。
ステップ４０１：オーディオ感情認識結果における感情分類の確信度と、テキスト感情認識結果における感情分類の確信度と、を計算する。
【００５６】
ステップ４０２：オーディオ感情認識結果における最も確信度の高い感情分類と、テキスト感情認識結果における最も確信度の高い感情分類とが同一であるか否かを判断する。判断結果がＹＥＳの場合にはステップ４０３を実行し、ＮＯの場合にはステップ４０４を実行する。
【００５７】
ステップ４０３：オーディオ感情認識結果における最も確信度の高い感情分類、又はテキスト感情認識結果における最も確信度の高い感情分類を感情認識結果とする。
【００５８】
ステップ４０４：テキスト感情認識結果における最も確信度の高い感情分類の確信度と、オーディオ感情認識結果における最も確信度の高い感情分類の確信度と、を比較する。
【００５９】
テキスト感情認識結果における最も確信度の高い感情分類の確信度が、オーディオ感情認識結果における最も確信度の高い感情分類の確信度より高い場合、ステップ４０５を実行する。テキスト感情認識結果における最も確信度の高い感情分類の確信度が、オーディオ感情認識結果における最も確信度の高い感情分類の確信度より低い場合、ステップ４０６を実行する。テキスト感情認識結果における最も確信度の高い感情分類の確信度が、オーディオ感情認識結果における最も確信度の高い感情分類の確信度に等しい場合、ステップ４０９を実行する。
【００６０】
ステップ４０５：テキスト感情認識結果における最も確信度の高い感情分類を感情認識結果とする。
【００６１】
ステップ４０６：テキスト感情認識結果において、オーディオ感情認識結果における最も確信度の高い感情分類が含まれているか否かを判断する。判断結果がＹＥＳの場合にはステップ４０７を実行し、判断結果がＮＯの場合にはステップ４０９を実行する。
【００６２】
ステップ４０７：さらに、テキスト感情認識結果の中に含まれている、オーディオ感情認識結果における最も確信度の高い感情分類の感情強度レベルが第１の強度閾値より高いか否かを判断する。判断結果がＹＥＳの場合にはステップ４０８を実行し、ＮＯの場合にはステップ４０９を実行する。
【００６３】
ステップ４０８：オーディオ感情認識結果における最も確信度の高い感情分類を感情認識結果とする。
【００６４】
ステップ４０９：テキスト感情認識結果における最も確信度の高い感情分類を感情認識結果として確定するか、又は、テキスト感情認識結果における最も確信度の高い感情分類とオーディオ感情認識結果における最も確信度の高い感情分類との両方とも感情認識結果として確定する。
【００６５】
なお、図３及び図４に係る実施例は感情認識結果を確定する例を示しているが、オーディオ感情認識結果及びテキスト感情認識結果の具体的な形式によって、オーディオ感情認識結果及びテキスト感情認識結果に基づいて総合的に感情認識結果を確定する当該プロセスは、他の形態によって実現することもでき、図３及び図４に係る実施例に限られない。本発明はこれについて制限しない。
【００６６】
本発明の一実施例において、オーディオ感情認識結果とテキスト感情認識結果はそれぞれ多次元感情空間における１つの座標ポイントに対応する。この場合、多次元感情空間におけるオーディオ感情認識結果の座標ポイントの座標値及びテキスト感情認識結果の座標ポイントの座標値に対して加重平均を求めて、算出した座標ポイントを感情認識結果とすることができる。例えば、ＰＡＤ３次元感情モデルを用いる場合、オーディオ感情認識結果は（ｐ１，ａ１，ｄ１）と表され、テキスト感情認識結果は（ｐ２，ａ２，ｄ２）と表される。したがって、最終的な感情認識結果は（（ｐ１＋ｐ２）／２，（ａ１＋１．３×ａ２）／２，（ｄ１＋０．８×ｄ２）／２）と表すことができる。ここで、１．３と０．８は重み係数である。非離散的な次元感情モデルを採用すれば、数値化の方式によって最終的な感情認識結果を算出することがより簡単になる。なお、両者の組合せ方式は上述の加重平均に限られず、本発明はオーディオ感情認識結果及びテキスト感情認識結果がそれぞれ多次元感情空間における１つの座標ポイントに対応する場合において感情認識結果を確定するための具体的な方式について制限しない。
【００６７】
図５は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するフローチャートである。図５に示すように、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するプロセスは以下のステップを含む。
【００６８】
ステップ５０１：認識対象となるオーディオストリームから、ユーザ音声メッセージのオーディオ特徴ベクトルを抽出する。ここで、ユーザ音声メッセージは認識対象となるオーディオストリームの１つのセグメントに対応する。
【００６９】
オーディオ特徴ベクトルは、少なくとも１つのオーディオ特徴の、少なくとも１つのベクトル方向における値を含む。つまり、１つの多次元のベクトル空間を用いてすべてのオーディオ特徴を表現することである。当該ベクトル空間におけるオーディオ特徴ベクトルの方向及び値は、たくさんのオーディオ特徴のそれぞれ異なるベクトル方向における値の、ベクトル空間における和である。ここで、各オーディオ特徴の１つのベクトル方向における値を、オーディオ特徴ベクトルの１つの成分と見なすことができる。それぞれ異なる感情を込めたユーザ音声メッセージは、当然に異なるオーディオ特徴を持つ。本発明はまさに、異なる感情と異なるオーディオ特徴との間の対応関係を利用してユーザ音声メッセージの感情を認識する方法を提案する。具体的には、オーディオ特徴はエネルギー特徴、発声フレーム数特徴、基本周波数特徴、フォルマント特徴、高調波ノイズ比特徴及びメル周波数ケプストラム係数特徴のうちの１種類又は複数種類を含むことができる。本発明の一実施例では、当該ベクトル空間において比率、平均値、最大値、中央値及び標準偏差のベクトル方向を設置することができる。
【００７０】
エネルギー特徴はユーザ音声メッセージのパワースペクトル特徴であり、パワースペクトルの和を求めることによって取得することができる。その計算式は
2021510851.tif 000003
であってもよく、ここで、Ｅはエネルギー特徴の値であり、ｋはフレームの番号であり、ｊは周波数ポイント番号であり、Ｎはフレーム長であり、Ｐはパワースペクトルの値である。本発明の一実施例において、エネルギー特徴は短期エネルギー（Ｓｈｏｒｔ  Ｔｅｒｍ  Ｅｎｅｒｇｙ，ＳＴＥ）の１階差分、及び／又は予め設定された周波数以下のエネルギーのスケールを含むことができる。ここで、短期エネルギーの１階差分の計算式は
2021510851.tif 000004
であってもよい。
【００７１】
予め設定された周波数以下のエネルギーのスケールは、比率によって判別することができる。例えば、５００Ｈｚ以下の周波数帯域のエネルギーが全体エネルギーに対する比率の計算式は、
2021510851.tif 000005
であってもよい。
【００７２】
ここで、ｊ５００は５００Ｈｚに対応する周波数ビンの番号であり、ｋ１は認識対象となるユーザ音声メッセージの音声開始フレームの番号であり、ｋ２は認識対象となるユーザ音声メッセージの音声終了フレームの番号である。
発声フレーム数特徴は、ユーザ音声メッセージにおける発声フレームの数のスケールを指す。当該発声フレームの数のスケールも比率によって判別することができる。例えば、当該ユーザ音声メッセージに含まれる発声フレームの数と非発声フレームの数がそれぞれｎ１とｎ２である場合、発声フレーム数と非発声フレーム数の比率はｐ２＝ｎ１／ｎ２となり、発声フレーム数の全体フレーム数に対する比率はｐ３＝ｎ１／（ｎ１＋ｎ２）となる。
【００７３】
基本周波数特徴は、線形予測分析（ＬＰＣ）誤差信号に基づく自己相関関数のアルゴリズムによって抽出することができる。基本周波数特徴は、基本周波数及び／又は基本周波数の１階差分を含むことができる。基本周波数のアルゴリズムのプロセスは以下の通りであってもよい。
2021510851.tif 000006
【００７４】
フォルマント特徴は、線形予測に基づく多項式求根アルゴリズムによって抽出することができ、第１のフォルマント、第２のフォルマント、第３のフォルマント、及び、当該３つのフォルマントの１階差分を含むことができる。高調波ノイズ比（ＨＮＲ，Ｈａｒｍｏｎｉｃ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）特徴は、独立成分分析（ＩＣＡ，Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）に基づくアルゴリズムによって抽出することができる。メル周波数ケプストラム係数（ＭＦＣＣ）特徴は、１−１２階のメル周波数ケプストラム係数を含むことができ、一般的なメル周波数ケプストラム係数の計算プロセスによって取得することができるため、ここでは説明を省略する。
【００７５】
なお、具体的にどのようなオーディオ特徴ベクトルを抽出するかは、実際の応用シーンにおける必要に応じて決めてもよく、本発明は抽出するオーディオ特徴ベクトルに対応するオーディオ特徴の種類、数及びベクトル方向のいずれについても制限しない。ただし、本発明の一実施例では、最も優れた感情認識効果を達成するために、上述の６つのオーディオ特徴（エネルギー特徴、発声フレーム数特徴、基本周波数特徴、フォルマント特徴、高調波ノイズ比特徴及びメル周波数ケプストラム係数特徴）をすべて抽出することができる。例えば、上述の６つのオーディオ特徴をすべて抽出する場合、抽出されるオーディオ特徴ベクトルは以下の表１に示す１７３個の成分を含むことができる。感情特徴モデルとして以下の表１のオーディオ特徴ベクトル及びガウスモデル（ＧＭＭ）を用いてｃａｓｉａ中国語感情コーパスに対して音声感情認識を行う場合、その正確度は７４％〜８０％に達することができる。
【００７６】
2021510851.tif 000007
【００７７】
本発明の一実施例において、認識対象となるオーディオストリームは顧客サービスインタラクションのオーディオストリームであってもよい。ユーザ音声メッセージは、認識対象となるオーディオストリームの中のユーザにより入力された１回の音声セグメント又は顧客サービススタッフにより入力された１回の音声セグメントに対応する。顧客サービスインタラクションは通常、一問一答の形となるため、ユーザにより入力された１回の音声セグメントは、１回のインタラクションにおけるユーザの１回の質問又は回答に対応することができ、顧客サービススタッフにより入力された１回の音声セグメントは、１回のインタラクションにおける顧客サービススタッフの１回の質問又は回答に対応することができる。ユーザ又は顧客サービススタッフは１回の質問又は回答を行う間に感情を完全に表すことができる、と通常は考えられるため、ユーザにより入力された１回の音声セグメント又は顧客サービススタッフにより入力された１回の音声セグメントを感情認識のユニットとして用いることによって、感情認識の完全性を確保するとともに顧客サービスインタラクションにおける感情認識のリアルタイム性を確保することができる。
【００７８】
ステップ５０２：ユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルとに対してマッチングを行う。ここで、複数の感情特徴モデルはそれぞれ、複数の感情分類のうちの１つに対応する。
【００７９】
これらの感情特徴モデルは、複数の感情分類に対応する感情分類ラベルを含む複数の予め設定されたユーザ音声メッセージそれぞれのオーディオ特徴ベクトルに対して事前学習を行うことによって構築することができる。こうすると、感情特徴モデルと感情分類との間の対応関係が構築され、各感情特徴モデルは１つの感情分類に対応することができる。図６に示すように、当該感情特徴モデルを構築するための事前学習のプロセスは以下の内容を含むことができる。
【００８０】
最初に、複数の感情分類に対応する感情分類ラベルを含む複数の予め設定されたユーザ音声メッセージそれぞれのオーディオ特徴ベクトルに対してクラスタリングを行って、予め設定された感情分類のクラスタリング結果を取得する（Ｓ６１）。
【００８１】
次に、クラスタリング結果に基づいて、各クラスターにおける予め設定されたユーザ音声メッセージのオーディオ特徴ベクトルに対してトレーニングを行うことによって、１つの感情特徴モデルを取得する（Ｓ６２）。
【００８２】
これらの感情特徴モデルに基づいて、オーディオ特徴ベクトルに基づくマッチングを行うことによって、現在のユーザ音声メッセージに対応する感情特徴モデルを取得することができ、その後、対応する感情分類を取得することができる。
【００８３】
本発明の一実施例において、これらの感情特徴モデルは混合ガウスモデル（ＧＭＭ）（混合度は５であってもよい）であってもよい。このとき、最初に、Ｋ−ｍｅａｎｓアルゴリズムを用いて同一の感情分類の音声サンプルの感情特徴ベクトルに対してクラスタリングを行い、クラスタリング結果に基づいて混合ガウスモデルのパラメータの初期値（反復回数は５０であってもよい）を算出する。次にＥ−Ｍアルゴリズムを用いてトレーニングを行うことによって、各分類の感情分類に対応する混合ガウスモデル（反復回数は２００であってもよい）を取得する。これらの混合ガウスモデルを用いて感情分類のマッチングを行う場合、現在のユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルそれぞれとの間の尤度を計算してからこれらの尤度を比較することによって、マッチする感情特徴モデルを確定することができる。例えば、予め設定された閾値より大きく且つ最も大きい尤度を有する感情特徴モデルを、マッチする感情特徴モデルと確定する。
【００８４】
なお、以上は感情特徴モデルが混合ガウスモデルであってもよいと説明したが、当該感情特徴モデルは他の形式によって実現することもできる。例えば、サポートベクトルマシン（ＳＶＭ）モデル、Ｋ近傍分類アルゴリズム（ＫＮＮ）モデル、マルコフモデル（ＨＭＭ）及びニューラルネットワーク（ＡＮＮ）モデルなどである。
【００８５】
本発明の一実施例において、当該複数の感情分類は、顧客サービスインタラクションシーンにおいて現れるかもしれないユーザの感情状態に対応するように、満足分類、平然分類及び苛立ち分類を含むことができる。他の一実施例において、当該複数の感情分類は、顧客サービスインタラクションシーンにおいて現れるかもしれない顧客サービススタッフの感情状態に対応するように、満足分類、平然分類、苛立ち分類及び怒り分類を含むことができる。つまり、認識対象となるオーディオストリームが、顧客サービスインタラクションシーンにおけるユーザと顧客サービススタッフとの間のインタラクションシーンのオーディオストリームである場合、現在のユーザ音声メッセージが顧客サービススタッフにより入力された音声セグメントに対応するとき、当該複数の感情分類は満足分類、平然分類及び苛立ち分類を含むことができ、現在のユーザ音声メッセージがユーザにより入力された１回の音声セグメントに対応するとき、当該複数の感情分類は満足分類、平然分類、苛立ち分類及び怒り分類を含むことができる。このようなユーザ及び顧客サービススタッフの感情分類は、コールセンターシステムにおいてより簡潔に適用され、計算量を削減するとともに、コールセンターシステムにおける感情認識ニーズを満足することができる。なお、これらの感情分類の種類の数は実際の応用シーンにおける必要に応じて調整することができる。
ステップ５０３：マッチング結果としてマッチする感情特徴モデルに対応する感情分類を、ユーザ音声メッセージの感情分類として確定する。
【００８６】
上述のように、感情特徴モデルと感情分類との間には対応関係があるため、ステップ５０２によるマッチング操作によってマッチする感情特徴モデルを確定した後、当該マッチする感情特徴モデルに対応する感情分類は、感情分類の認識結果になる。例えば、これらの感情特徴モデルが混合ガウスモデルである場合、当該マッチング操作は、現在のユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルそれぞれとの間の尤度を比較することによって実現することができる。その後、予め設定された閾値より大きく且つ最も大きい尤度を有する感情特徴モデルに対応する感情分類を、ユーザ音声メッセージの感情分類として確定すればよい。
【００８７】
つまり、本発明の実施例により提供される音声感情認識方法は、認識対象となるオーディオストリームに含まれるユーザ音声メッセージのオーディオ特徴ベクトルを抽出し、予め構築された感情特徴モデルを用いて、抽出されたオーディオ特徴ベクトルに対してマッチングを行うことによって、ユーザ音声メッセージに対するリアルタイムの感情認識を実現することができる。
【００８８】
また、本発明の実施例に係る音声感情認識方法によって認識された感情分類は、具体的なシーンにおける必要に応じて、より柔軟な２次応用を実現することができる。本発明の一実施例では、認識された現在のユーザ音声メッセージの感情分類をリアルタイムに表示することができる。具体的なリアルタイム表示方式は、実際の応用シーンにおける必要に応じて調整することができる。例えば、信号機の異なる色を用いて異なる感情分類を表現することができる。このように、信号機の色の変化によって、現在の通話における感情状態を、顧客サービススタッフ及び品質検査スタッフにリアルタイムに伝えることができる。他の一実施例では、予め設定された時間帯中に認識されたユーザ音声メッセージの感情分類を統計することができる。例えば、通話録音のオーディオ番号と、ユーザ音声メッセージの開始点及び終了点のタイムスタンプと、感情認識結果を記録して、最終的に１つの感情認識の資料倉庫を形成する。それとともに、１つの期間中における各種類の感情が現れた回数及び確率を統計してグラフ又は表を作成すると、企業が顧客サービススタッフの一定期間中のサービス品質を評価するための参照基準として用いられる。他の一実施例では、認識されたユーザ音声メッセージの感情分類に対応する感情応答情報をリアルタイムに送信することができる。これは人手が関与しないマシンによる顧客サービスシーンに適用することができる。例えば、現在通話中のユーザは既に「怒り」状態になっているとリアルタイムに認識できたとき、「怒り」状態に対応するなだめる言葉を自動的にユーザに流して、ユーザの気持ちを落ち着かせることによって、コミュニケーションを続けることを実現する。なお、感情分類と感情応答情報の対応関係は、事前学習によって予め構築することができる。
【００８９】
本発明の一実施例では、後続のプロセスにおいてユーザ音声メッセージをユニットとして感情認識を行うための事前準備として、認識対象となるオーディオストリームに含まれるユーザ音声メッセージのオーディオ特徴ベクトルを抽出する前に、認識対象となるオーディオストリームからユーザ音声メッセージを抽出する必要がある。当該抽出作業はリアルタイムに行うことができる。
【００９０】
図７は、本発明の一実施例により提供される音声感情認識方法における、ユーザ音声メッセージを抽出するフローチャートである。図７に示すように、当該ユーザ音声メッセージの抽出方法は以下のステップを含む。
【００９１】
ステップ７０１：認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定する。
【００９２】
音声開始フレームは１つのユーザ音声メッセージの開始フレームであり、音声終了フレームは１つのユーザ音声メッセージの終了フレームである。音声開始フレーム及び音声終了フレームを確定した後、音声開始フレームと音声終了フレームとの間の部分が抽出されるユーザ音声メッセージとなる。
【００９３】
ステップ７０２：音声開始フレームと音声終了フレームとの間のオーディオストリーム部分をユーザ音声メッセージとして抽出する。
【００９４】
本発明の一実施例では具体的に、図８に示すように、以下のステップによって認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定することができる。
【００９５】
ステップ８０１：認識対象となるオーディオストリームにおける音声フレームが発声フレームであるか又は非発声フレームであるか、を判断する。
【００９６】
本発明の一実施例において、当該発声フレーム又は非発声フレームの判断は、音声区間検出（ＶＡＤ）の判別パラメータ及びパワースペクトル平均値に対する判断に基づいて実現することができる。図９に示すように、具体的には以下の内容を含む。
【００９７】
ステップ８０１１：認識対象となるオーディオストリームに対して、フレーム分割、ウィンドウ分割、プリエンファシスなどの前処理を行う。窓関数としてはハミング窓を採用することができ、プリエンファシス係数は０．９７であってもよい。前処理が行われた後のｋ番目のフレームの信号は
2021510851.tif 000008
であり、Ｎはフレーム長であり、例えば、２５６にすることができる。なお、前処理を行う必要があるか否か、また、どのような前処理を行うかについては、実際の応用シーンにおける必要に応じて決めることができ、本発明はこれについて制限しない。
【００９８】
ステップ８０１２：前処理が行われたｋ番目のフレームの信号ｘ(ｋ)に対してフーリエ変換（ＤＦＴ）を行い、そのパワースペクトルを計算する。なお、ＤＦＴの長さは、フレーム長に一致するように設定される。
2021510851.tif 000009
ここで、ｊは周波数ビンの番号である。
【００９９】
ステップ８０１３：以下の式によって、事後信号雑音比γ及び事前信号雑音比ξを計算する。
2021510851.tif 000010
ここで、係数α=０．９８であり、λは背景雑音のパワースペクトルである。検出開始後の最初の５〜１０フレームのパワースペクトルの算術平均値を初期値として設定し、ｍｉｎ（）とｍａｘ（）とはそれぞれ、最小値をとる関数と最大値をとる関数であり、事前信号雑音比ξ（ｋ，ｊ）は０．９８に初期化することができる。
【０１００】
ステップ８０１４：尤度比パラメータηを計算する。
2021510851.tif 000011
【０１０１】
ステップ８０１５：ＶＡＤ判別パラメータΓ及びパワースペクトル平均値ρを計算する。
2021510851.tif 000012
ＶＡＤ判別パラメータは１に初期化することができる。
【０１０２】
ステップ８０１６：ｋ番目のフレームの信号のＶＡＤ判別パラメータΓ(ｋ)が第１の予め設定されたＶＡＤ閾値以上であるか否かを判断するとともに、ρ(ｋ)が予め設定されたパワー平均値閾値以上であるか否かを判断する。本発明の一実施例において、当該第１の予め設定されたＶＡＤ閾値は５であってもよく、当該予め設定されたパワー平均値閾値は０．０１であってもよい。
【０１０３】
ステップ８０１７：ステップ８０１６における２つの判断結果が両方ともＹＥＳである場合、ｋ番目のフレームのオーディオ信号が発声フレームであると判定する。
【０１０４】
ステップ８０１８：ステップ８０１６における２つの判断結果のうちの少なくとも１つがＮＯである場合、ｋ番目のフレームのオーディオ信号が非発声フレームであると判定し、ステップ８０１９を実行する。
ステップ８０１９：以下の式によって雑音のパワースペクトルλを更新する。
2021510851.tif 000013
ここで、係数βは平滑化係数であり、その値は０．９８であってもよい。
【０１０５】
つまり、図５に係る方法のステップを継続的に繰り返すことによって、認識対象となるオーディオストリームにおける発声フレーム及び非発声フレームをリアルタイムに検出することができる。これらの発声フレーム及び非発声フレームの認識結果は、後続のプロセスにおいて音声開始フレーム及び音声終了フレームを認識するための基礎になる。
【０１０６】
ステップ８０２：１つ前のユーザ音声メッセージの前記音声終了フレームを確定した後、又は、現在のユーザ音声メッセージが前記認識対象となるオーディオストリームにおける最初のユーザ音声メッセージである場合、第１の予め設定された数の音声フレームが発声フレームであると連続的に判定されたとき、当該第１の予め設定された数の音声フレームのうちの１つ目の音声フレームを、現在のユーザ音声メッセージの音声開始フレームとして確定する。
【０１０７】
本発明の一実施例では、最初に、音声開始フレームと音声終了フレームそれぞれの検出状態変数を表す２つの端点ラベルｆｌａｇ＿ｓｔａｒｔ及びｆｌａｇ＿ｅｎｄを設置することができる。また、ｔｕｒｅとｆａｌｓｅを用いて「現れた」と「現れなかった」を表す。ｆｌａｇ＿ｅｎｄ＝ｔｕｒｅの場合、すなわち、１つ前のユーザ音声メッセージの終了フレームが確定されたとき、次のユーザ音声メッセージの開始フレームに対する検出を始める。一方、３０フレームの信号のＶＡＤ判別パラメータが連続的に第２の予め設定された閾値以上であることを満足する場合、当該３０フレームは既に１つのユーザ音声メッセージに進入していると判断してもよい。このとき、当該３０フレームのうちの１つ目の音声フレームを音声開始フレームとして確定し、ｆｌａｇ＿ｓｔａｒｔ＝ｔｕｒｅになる。また、満足しない場合、ｌａｇ＿ｓｔａｒｔ＝ｆａｌｓｅである。
【０１０８】
ステップ８０３：現在のユーザ音声メッセージの前記音声開始フレームを確定した後、第２の予め設定された数の音声フレームが非発声フレームであると連続的に判定される場合、当該第２の予め設定された数の音声フレームは当該ユーザ音声メッセージに属していないと判断してもよい。このとき、第２の予め設定された数の音声フレームのうちの１つ目の音声フレームを現在のユーザ音声メッセージの音声終了フレームとして確定する。
【０１０９】
具体的には、上述の例をそのまま用いると、ｆｌａｇ＿ｓｔａｒｔ＝ｔｕｒｅになる場合、すなわち、１つのユーザ音声メッセージが既に開始しており且つ当該ユーザ音声メッセージの音声開始フレームが既に確定されたとき、現在のユーザ音声メッセージの終了フレームに対する検査を始める。一方、３０フレームの信号のＶＡＤ判別パラメータが連続的に第３の予め設定された閾値より小さいことを満足する場合、現在のユーザ音声メッセージが終了したと判定し、ｆｌａｇ＿ｅｎｄ＝ｔｕｒｅになり、当該３０フレームの１つ目のフレームが音声終了フレームとなる。満足しない場合、ｆｌａｇ＿ｅｎｄ＝ｆａｌｓｅである。
【０１１０】
本発明の一実施例では、音声開始フレーム及び音声終了フレームに対する判断の正確度をより一層向上させて判断ミスを防止するために、当該第２の予め設定された閾値及び第３の予め設定された閾値を両方とも、上述の発声フレーム及び非発声フレームに対する認識に用いられる第１の予め設定された閾値より大きく設定することができる。例えば、当該第２の予め設定された閾値は４０であってもよく、当該第３の予め設定された閾値は２０であってもよい。
【０１１１】
つまり、図８に係る方法ステップによって、認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定することができるとともに、音声開始フレームと音声終了フレームとの間にあるユーザ音声メッセージを抽出して感情認識を行うことができる。
【０１１２】
なお、上述の図８及び図９による実施例を説明するために一部の計算係数、パラメータの初期値及び一部の判断閾値を採用したが、これらの計算係数、パラメータの初期値及び判断閾値は実際の応用シーンに応じて調整することができる。本発明はこれらの計算係数、パラメータの初期値及び判断閾値の数値について制限しない。
【０１１３】
図１０は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。図１０に示すように、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するプロセスは以下のステップを含むことができる。
【０１１４】
ステップ１００１：ユーザ音声メッセージのテキスト内容に含まれている感情語彙を認識し、認識した感情語彙に基づいて第１のテキスト感情認識結果を確定する。
【０１１５】
感情語彙と第１のテキスト感情認識結果との間の対応関係は、事前学習プロセスによって構築することができる。いずれの感情語彙も、対応する感情分類及び感情強度レベルを有する。予め設定された統計アルゴリズム及び対応関係に基づいて、ユーザ音声メッセージのすべてのテキスト内容の感情分類と、当該感情分類の感情強度レベルとを取得することができる。例えば、ユーザ音声メッセージのテキスト内容において、「ありがとう」（満足の感情分類に対応し、感情強度レベルは中度）、「すごいね」（満足の感情分類に対応し、感情強度レベルは重度）、「よかった」（満足の感情分類に対応し、感情強度レベルは重度）などの感情語彙が含まれているとき、対応する第１のテキスト感情認識結果は満足の感情分類になる可能性があり、且つ当該満足の感情分類の感情強度レベルは重度である。
【０１１６】
ステップ１００２：ユーザ音声メッセージのテキスト内容をテキスト感情認識ディープラーニングモデルに入力し、テキスト感情認識ディープラーニングモデルによる出力結果を第２のテキスト感情認識結果とする。ここで、テキスト感情認識のディープラーニングモデルは、感情分類ラベル及び感情強度レベルラベルを含むテキスト内容に対するトレーニングによって構築されるものである。
【０１１７】
ステップ１００３：第１のテキスト感情認識結果及び第２のテキスト感情認識結果に基づいて、テキスト感情認識結果を確定する。
【０１１８】
なお、第１のテキスト感情認識結果及び第２のテキスト感情認識結果は、様々な方式によって表現することができる。本発明の一実施例では、離散的な感情分類の方式を用いて感情認識結果を表すことができる。このとき、第１のテキスト感情認識結果と第２のテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含むことができ、そのうちの各感情分類は複数の感情強度レベルを含むことができる。本発明の他の一実施例では、非離散的な次元感情モデルの方式を用いて感情認識結果を表現することもできる。第１のテキスト感情認識結果と第２のテキスト感情認識結果はそれぞれ多次元感情空間における１つの座標ポイントに対応することができる。多次元感情空間における各次元はそれぞれ、心理学で定義された１つの感情要素に対応する。離散的な感情分類の表現方式と非離散的な次元感情モデルの表現方式については、すでに前に説明しているため、ここでは再び説明しない。なお、第１のテキスト感情認識結果及び第２のテキスト感情認識結果は他の表現方式によって表現されてもよく、本発明は具体的な表現方式について制限しない。また、本発明の一実施例では、第１のテキスト感情認識結果と第２のテキスト感情認識結果の一方のみに基づいて最終的なテキスト感情認識結果を確定してもよく、本発明はこれについて制限しない。
【０１１９】
図１１は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。当該実施例におけるユーザメッセージはユーザ音声メッセージを含み、テキスト感情認識結果は第１のテキスト感情認識結果及び第２のテキスト感情認識結果に基づいて総合的に確定される必要があり、第１のテキスト感情認識結果と第２のテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含む。このとき、テキスト感情認識結果を確定するための当該方法は以下のステップを含むことができる。
【０１２０】
ステップ１１０１：第１のテキスト感情認識結果と第２のテキスト感情認識結果とが同一の感情分類を含む場合、当該同一の感情分類をテキスト感情認識結果として確定する。
【０１２１】
例えば、第１のテキスト感情認識結果が満足分類と平然分類を含み、第２のテキスト感情認識結果が満足分類のみを含む場合、最終的なテキスト感情認識結果は満足分類であってもよい。
【０１２２】
ステップ１１０２：第１のテキスト感情認識結果と第２のテキスト感情認識結果とが同一の感情分類を含まない場合、第１のテキスト感情認識結果と第２のテキスト感情認識結果との両方ともテキスト感情認識結果として確定する。
【０１２３】
例えば、第１のテキスト感情認識結果が満足分類を含み、第２のテキスト感情認識結果が平然分類を含む場合、最終的なテキスト感情認識結果は満足分類及び平然分類であってもよい。本発明の一実施例において、最終的なテキスト感情認識結果が複数の感情分類を含む場合には、後続のプロセスを行うときに過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージのテキスト感情認識結果及び基本意図情報を参考にしながら、対応する感情意図情報を確定する必要がある。
【０１２４】
なお、ステップ１１０２では第１のテキスト感情認識結果と第２のテキスト感情認識結果とが同一の感情分類を含まない場合に第１のテキスト感情認識結果と第２のテキスト感情認識結果との両方ともテキスト感情認識結果として確定すると規定したが、本発明の他の実施例ではより保守的なインタラクション対策を採用してもよい。例えば、エラー情報を直接生成するか又はテキスト感情認識結果を出力しないなどである。こうすることによって、インタラクションに対して誤った影響を与えてしまうことを避けることができる。本発明は、第１のテキスト感情認識結果と第２のテキスト感情認識結果とが同一の感情分類を含まない場合における対処方式について制限しない。
【０１２５】
図１２は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。当該実施例においても、ユーザメッセージはユーザ音声メッセージを含み、テキスト感情認識結果は第１のテキスト感情認識結果及び第２のテキスト感情認識結果に基づいて総合的に確定される必要があり、第１のテキスト感情認識結果と第２のテキスト感情認識結果はそれぞれ複数の感情分類のうちの１種類又は複数種類を含む。テキスト感情認識結果を確定するための当該方法は以下のステップを含むことができる。
【０１２６】
ステップ１２０１：第１のテキスト感情認識結果における感情分類の確信度と、第２のテキスト感情認識結果における感情分類の確信度とを計算する。
【０１２７】
統計学的に、確信度は信頼度、確信レベル、又は確信係数とも呼ばれる。サンプルはランダム特性を有するため、全体パラメータをサンプリングによって推定すると、その結論はいつも不確定なものになる。そこで、１つの推定値と全体パラメータとの間の誤差が一定の許容範囲に入る確率を数理統計学による区間推定法を用いて推定することができる。当該確率は確信度と呼ばれる。例えば、予め設定された感情分類が、感情分類を表す１つの変数に相関し、すなわち、当該変数の数値の大きさによって感情分類は異なる値に対応するようになると仮定する。音声テキスト感情認識結果の確信度を取得しようとするとき、最初に、第１のテキスト感情認識／第２のテキスト感情認識を複数回行うことによって当該変数の複数の測定値を取得し、次に当該複数の測定値の平均値を１つの推定値として確定する。さらに、当該推定値と当該変数の真値との誤差の範囲が一定の範囲に入る確率を区間推定法によって推定する。この確率の数値が大きければ大きいほど、当該推定値の正確度が高いと判断され、すなわち、当該感情分類の確信度は高い。なお、感情分類を表す上述の変数は、感情認識の具体的なアルゴリズムによって確定することができ、本発明はこれについて制限しない。
【０１２８】
ステップ１２０２：第１のテキスト感情認識結果における最も確信度の高い感情分類と、第２のテキスト感情認識結果における最も確信度の高い感情分類とが同一か否かを判断する。判断結果がＹＥＳの場合にはステップ１２０３を実行し、ＮＯの場合にはステップ１２０４を実行する。
【０１２９】
ステップ１２０３：第１のテキスト感情認識結果における最も確信度の高い感情分類、又は第２のテキスト感情認識結果における最も確信度の高い感情分類を、テキスト感情認識結果として確定する。
【０１３０】
ここでは、第１のテキスト感情認識結果及び第２のテキスト感情認識結果における最も確信度の高い感情分類が同一であるため、最も確信度の高い当該同一の感情分類を最終的なテキスト感情認識結果として直接確定することができる。例えば、第１のテキスト感情認識結果が満足分類（確信度はａ１である）と平然分類（確信度はａ２である）を含み、第２のテキスト感情認識結果が満足分類（確信度はｂ１である）のみを含み、且つａ１＞ａ２である場合、満足分類を最終的なテキスト感情認識結果として確定する。
【０１３１】
ステップ１２０４：第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度と、第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度と、を比較する。
【０１３２】
本発明の一実施例では、実際の応用シーンにおける感情認識の具体的なアルゴリズム及びユーザ音声メッセージのタイプや内容による制限を考慮した場合、第１のテキスト感情認識結果と第２のテキスト感情認識結果のいずれかを主要なテキスト感情認識結果として出力し、他の１つを補助のテキスト感情認識結果として出力してから、さらに確信度と感情強度レベルなどの要素を利用して総合的に最終的なテキスト感情認識結果を確定することもできる。なお、第１のテキスト感情認識結果と第２のテキスト感情認識結果のどちらを主要なテキスト感情認識結果として出力するかは、実際の応用シーンによって決めることができる。なお、本発明は、第１のテキスト感情認識結果と第２のテキスト感情認識結果のどちらを主要なテキスト感情認識結果として出力するかについて制限しない。
【０１３３】
本発明の一実施例では、第１のテキスト感情認識結果を主要なテキスト感情認識結果として出力し、第２のテキスト感情認識結果を補助のテキスト感情認識結果として出力する。このとき、第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度より高い場合、ステップ１２０５を実行する。第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度より低い場合、ステップ１２０６を実行する。第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度に等しい場合、ステップ１２０９を実行する。
【０１３４】
ステップ１２０５：第１のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とする。
【０１３５】
例えば、第１のテキスト感情認識結果は満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、第２のテキスト感情認識結果は平然分類（確信度はｂ１である）のみを含み、さらにａ１＞ａ２且つａ１＞ｂ１である場合には、満足分類を最終的なテキスト感情認識結果とする。
【０１３６】
ステップ１２０６：第１のテキスト感情認識結果において、第２のテキスト感情認識結果における最も確信度の高い感情分類が含まれているか否かを判断する。判断結果がＹＥＳの場合にはステップ１２０７を実行し、判断結果がＮＯの場合にはステップ１２０９を実行する。
【０１３７】
例えば、第１のテキスト感情認識結果は満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、第２のテキスト感情認識結果は平然分類（確信度はｂ１である）のみを含み、さらにａ１＞ａ２且つａ１＜ｂ１である場合には、第２のテキスト感情認識結果における最も確信度の高い平然分類が、第１のテキスト感情認識結果の中に含まれているか否かを判断する必要がある。
【０１３８】
ステップ１２０７：さらに、第１のテキスト感情認識結果に含まれている、第２のテキスト感情認識結果における最も確信度の高い感情分類の感情強度レベルが、第１の強度閾値より高いか否かを判断する。判断結果がＹＥＳの場合にはステップ１２０８を実行し、ＮＯの場合にはステップ１２０９を実行する。
ステップ１２０８：第２のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とする。
【０１３９】
ここでは、第２のテキスト感情認識結果における最も確信度の高い当該感情分類は確信度が高いだけでなく、感情的な傾向も非常に明確であると考えてもよい。そこで、第２のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果として確定することができる。例えば、第１のテキスト感情認識結果は満足分類（確信度はａ１である）及び平然分類（確信度はａ２である）を含み、第２のテキスト感情認識結果は平然分類（確信度はｂ１である）のみを含み、さらにａ１＞ａ２、ａ１＜ｂ１であり且つ第２のテキスト感情認識結果における平然分類の感情強度レベルは第１の強度閾値より高い場合、平然分類を最終的なテキスト感情認識結果として確定する。
【０１４０】
ステップ１２０９：第１のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とするか、又は第１のテキスト感情認識結果における最も確信度の高い感情分類と第２のテキスト感情認識結果における最も確信度の高い感情分類との両方ともテキスト感情認識結果とする。
【０１４１】
つまり、このとき、第１のテキスト感情認識結果及び第２のテキスト感情認識結果に基づいて１つの統一した感情分類を最終的なテキスト感情認識結果として出力することはまだ不可能である。この場合、本発明の一実施例では、第１のテキスト感情認識結果を主要なテキスト感情認識結果として出力することを予め選択しているため、第１のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果として直接確定すればよい。本発明の他の一実施例では、第１のテキスト感情認識結果と第２のテキスト感情認識結果との両方ともテキスト感情認識結果として確定してもよい。さらに、後続のプロセスを行うとき、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージのテキスト感情認識結果及び基本意図情報を参考にしながら、対応する感情意図情報を確定することができる。
【０１４２】
図１３は、本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。図１２に係る実施例とは異なり、図１３に係る実施例は、第２のテキスト感情認識結果を主要なテキスト感情認識結果として出力することを選択し、第１のテキスト感情認識結果を補助のテキスト感情認識結果として出力することを選択する。なお、この場合のテキスト感情認識結果を確定するためのフローは、図１２に示すフローロジックに類似している。ただし、主要なテキスト感情認識結果として出力される対象が第２のテキスト感情認識結果に変更される。具体的には、以下のステップを含むことができるが、ここでは重複する論理的な説明は省略する。
ステップ１３０１：第１のテキスト感情認識結果における感情分類の確信度と、第２のテキスト感情認識結果における感情分類の確信度と、を計算する。
【０１４３】
ステップ１３０２：第１のテキスト感情認識結果における最も確信度の高い感情分類と、第２のテキスト感情認識結果における最も確信度の高い感情分類とが同一であるか否かを判断する。判断結果がＹＥＳの場合にはステップ１３０３を実行し、ＮＯの場合にはステップ１３０４を実行する。
【０１４４】
ステップ１３０３：第１のテキスト感情認識結果における最も確信度の高い感情分類、又は第２のテキスト感情認識結果における最も確信度の高い感情分類を、テキスト感情認識結果とする。
【０１４５】
ステップ１３０４：第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度と、第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度と、を比較する。
【０１４６】
第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度より高い場合、ステップ１３０５を実行する。第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度より低い場合、ステップ１３０６を実行する。第２のテキスト感情認識結果における最も確信度の高い感情分類の確信度が、第１のテキスト感情認識結果における最も確信度の高い感情分類の確信度に等しい場合、ステップ１３０９を実行する。
【０１４７】
ステップ１３０５：第２のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とする。
【０１４８】
ステップ１３０６：第２のテキスト感情認識結果において、第１のテキスト感情認識結果における最も確信度の高い感情分類が含まれているか否かを判断する。判断結果がＹＥＳの場合にはステップ１３０７を実行し、判断結果がＮＯの場合にはステップ１３０９を実行する。
【０１４９】
ステップ１３０７：さらに、第２のテキスト感情認識結果に含まれている、第１のテキスト感情認識結果における最も確信度の高い感情分類の感情強度レベルが、第１の強度閾値より高いか否かを判断する。判断結果がＹＥＳの場合にはステップ１３０８を実行し、ＮＯの場合にはステップ１３０９を実行する。
【０１５０】
ステップ１３０８：第１のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とする。
【０１５１】
ステップ１３０９：第２のテキスト感情認識結果における最も確信度の高い感情分類をテキスト感情認識結果とするか、又は、第２のテキスト感情認識結果における最も確信度の高い感情分類と第１のテキスト感情認識結果における最も確信度の高い感情分類との両方ともテキスト感情認識結果とする。
【０１５２】
なお、図１２及び図１３に係る実施例はテキスト感情認識結果を確定する例を示しているが、第１のテキスト感情認識結果及び第２のテキスト感情認識結果の具体的な形式によって、第１のテキスト感情認識結果及び第２のテキスト感情認識結果に基づいて総合的に感情認識結果を確定する当該プロセスは、他の形態によって実現することもでき、図１２及び図１３に係る実施例に限られない。本発明はこれについて制限しない。
【０１５３】
本発明の一実施例において、第１のテキスト感情認識結果と第２のテキスト感情認識結果はそれぞれ多次元感情空間における１つの座標ポイントに対応する。この場合、多次元感情空間における第１のテキスト感情認識結果の座標ポイントの座標値及び第２のテキスト感情認識結果の座標ポイントの座標値に対して加重平均を求めて、算出した座標ポイントをテキスト感情認識結果とすることができる。例えば、ＰＡＤ３次元感情モデルを用いる場合、第１のテキスト感情認識結果は（ｐ１，ａ１，ｄ１）と表され、第２のテキスト感情認識結果は（ｐ２，ａ２，ｄ２）と表される。したがって、最終的なテキスト感情認識結果は（（ｐ１＋ｐ２）／２，（ａ１＋１．３×ａ２）／２，（ｄ１＋０．８×ｄ２）／２）と表すことができる。ここで、１．３と０．８は重み係数である。非離散的な次元感情モデルを採用すれば、数値化の方式によって最終的なテキスト感情認識結果を算出することがより簡単になる。なお、両者の組合せ方式は上述の加重平均に限られず、本発明はその具体的な方式について制限しない。
【０１５４】
図１４は、本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージに基づいて基本意図情報を取得するフローチャートである。図１４に示すように、基本意図情報を取得するフローは以下のステップを含むことができる。
【０１５５】
ステップ１４０１：ユーザ音声メッセージのテキスト内容と、語義知識リポジトリにおける複数の予め設定された語義テンプレートと、に対してマッチングを行って、マッチする語義テンプレートを確定する。ここで、語義テンプレートと基本意図情報との対応関係は語義知識リポジトリにおいて予め構築されており、同一の意図情報は１つ又は複数の語義テンプレートに対応する。
【０１５６】
なお、語義テンプレート（例えば、標準質問、拡張質問などの語義テンプレート）に基づく語義マッチングは、１つの実現形態に過ぎない。ネットワークによって文字、単語、段落のベクトル特徴を直接抽出する（ａｔｔｅｎｔｉｏｎ機構を採用する可能性がある）ことによって、ユーザにより入力された音声テキスト情報に対してマッチング又は分類を直接行うこともできる。
【０１５７】
ステップ１４０２：マッチする語義テンプレートに対応する基本意図情報を取得する。
【０１５８】
本発明の一実施例において、ユーザ音声メッセージのテキスト内容は語義知識リポジトリにおける「標準質問」に対応することができる。「標準質問」はある１つの知識を表すテキストであり、その主要目標は明確な表現と簡単なメンテナンスである。ここでは、狭義に「問」を「問合せ」として理解すべきではなく、広義に「入力」として理解すべきである。当該「入力」は対応する「出力」を有する。ユーザがインテリジェントインタラクションマシンに入力するとき、最も理想的な方式は標準質問によって入力することであり、こうするとマシンのインテリジェント語義認識システムはユーザの言いたいことをすぐに理解することができる。
【０１５９】
しかしながら、ユーザは標準質問ではなく、標準質問の様々な変形、すなわち、拡張質問を使用することが一般的である。そこで、インテリジェント語義認識を行うために、知識リポジトリでは標準質問の拡張質問が含まれていなければならない。当該拡張質問は標準質問と比べて表現形式が若干相違するが、表現しようとする意味は同一である。そこで、本発明の更なる一実施例において、語義テンプレートは、語義内容を表す１つ又は複数の語義表現式の集合であり、予め設定されたルール及び語義内容に基づいて開発者により生成されるものである。つまり、１つの語義テンプレートを用いることによって、対応する語義内容の複数の異なる表現方式を有する文章を作成し、それらによってユーザ音声メッセージのテキスト内容の可能な様々な変形に対処することができる。このようにユーザメッセージのテキスト内容と、予め設定された語義テンプレートとに対してマッチングを行うことによって、１種類の表現方式しかない「標準質問」を用いてユーザメッセージを認識する場合における制約を避けることができる。
【０１６０】
例えば、抽象語義によってオントロジー属性に対して更なる抽象を行う。１つの類別の抽象語義は、１セットの抽象語義表現式の集合によって１類の抽象語義の異なる表現を表す。より抽象的な語義を表すために、これらの抽象語義表現式は構成要素が拡充されている。
【０１６１】
なお、語義成分語の具体的な内容及び品詞、語義規則語の具体的な内容及び品詞、及び、語義符号の定義及び組合せは、いずれも当該インテリジェントインタラクション方法が実用される具体的なインタラクション業務シーンに基づいて開発者により予め設定することができ、本発明はこれについて制限しない。
【０１６２】
本発明の一実施例において、ユーザ音声メッセージのテキスト内容に基づいてマッチする語義テンプレートを確定することは、類似度計算のプロセスによって実現することができる。具体的には、ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートとの間の複数のテキスト類似度を計算する。次に、テキスト類似度が最も高い語義テンプレートを、マッチする語義テンプレートとして確定する。類似度は、編集距離計算方法，ｎ−ｇｒａｍ計算方法、ＪａｒｏＷｉｎｋｌｅｒ計算方法及びＳｏｕｎｄｅｘ計算方法のうちの１種類又は複数種類の計算方法によって計算することができる。更なる一実施例において、ユーザ音声メッセージのテキスト内容における語義成分語及び語義規定語を認識できた場合、ユーザ音声メッセージ及び語義テンプレートに含まれている語義成分語及び語義規定語を、簡略化されたテキスト文字列に転換することによって、語義類似度の計算効率を向上させることができる。
【０１６３】
本発明の一実施例では、上述の通り、語義テンプレートは語義成分語及び語義規則語から構成することができる。また、これらの語義成分語及び語義規則語は、語義テンプレートにおけるこれらの単語の品詞及び単語同士の間の文法関係に相関する。そこで、当該類似度の計算プロセスは具体的に以下のようになってもよい。最初に、ユーザ音声メッセージのテキストに含まれる単語、単語の品詞及び文法関係を認識する。次に、単語の品詞及び文法関係に基づいて、その中の語義成分語及び語義規則語を認識する。さらに、認識できた語義成分語及び語義規則語をベクトル空間モデルに代入して、ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートとの間の複数の類似度を計算する。本発明の一実施例では、隠れマルコフモデル方法、正順最大マッチング方法、逆順最大マッチング方法及び固有表現抽出方法のうちの１種類又は複数種類の単語分割方法によって、ユーザ音声メッセージのテキスト内容に含まれる単語、単語の品詞及び単語同士の間の文法関係を認識することができる。
【０１６４】
本発明の一実施例において、上述の通り、語義テンプレートは１つの語義内容を表す複数の語義表現式の集合であってもよい。この場合、１つの語義テンプレートを用いることによって、対応する語義内容の様々な異なる表現方式の文章を作成することができ、それによって同一の標準質問の複数の拡張質問に対応する。そこで、ユーザ音声メッセージのテキスト内容と予め設定された語義テンプレートとの間の語義類似度を計算するためには、ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートそれぞれの展開した少なくとも１つの拡張質問との間の類似度を計算する必要がある。その後、最も類似度が高い拡張質問に対応する語義テンプレートを、マッチする語義テンプレートとして確定する。これらの展開した拡張質問は、語義テンプレートに含まれる語義成分語及び／又は語義規則語及び／又は語義符号に基づいて取得することができる。
【０１６５】
もちろん、基本意図情報を取得する方法はこれに限られない。ユーザにより入力された音声テキスト情報に基づいて、ネットワークによって文字、単語、段落のベクトル特徴を直接抽出し（例えば、アテンション機構を採用する可能性がある）、マッチング又は分類を直接行うことによって基本意図情報を取得することができる。
【０１６６】
つまり、本発明の実施例により提供されるインテリジェントインタラクション方法によると、ユーザの感情状態によって異なる応答サービスを提供するインテリジェントインタラクション方式を実現することができる。したがって、インテリジェントインタラクション体験を大幅に向上させることができる。例えば、本発明の実施例により提供されるインテリジェントインタラクション方法が銀行の顧客サービス分野における実体のあるロボットに適用される場合、ユーザは実体を有する顧客サービスロボットに対して、「クレジットカードの紛失登録はどうすればよいですか？」と、音声によって話す。実体を有する顧客サービスロボットは、マイクロフォンによってユーザ音声メッセージを受信し、ユーザ音声メッセージのオーディオデータを分析することによって「焦り」というオーディオ感情認識結果を取得し、オーディオ感情認識結果を最終的な感情認識結果として確定する。次に、ユーザ音声メッセージをテキストに転換して、顧客の基本意図情報である「クレジットカードの紛失登録」（このステップでは、過去又は将来のユーザ音声メッセージや銀行分野における語義知識リポジトリを利用する必要があるかもしれない）を取得する。次に、感情認識結果「焦り」と基本意図情報「クレジットカードの紛失登録」とを合わせて、感情意図情報「クレジットカードの紛失登録、ユーザは焦っている、クレジットカードの紛失又は盗難の可能性あり」（このステップにおいても、過去又は将来のユーザ音声メッセージや銀行分野における語義知識リポジトリを利用する必要があるかもしれない）を取得する。さらに、対応するインタラクション命令を確定し、詳しくは、画面によってクレジットカードの紛失登録手続きのステップを出力するとともに、音声放送によって感情分類の「慰め」を示し、感情強度レベルは重度であり、「クレジットカードの紛失登録手続きのステップについては画面をご覧ください。クレジットカードが紛失又は盗難された場合、紛失登録された後、カードはすぐにフリーズされ、お客様の財産や信用へ影響を与えることがありませんので、ご安心ください…」という、当該感情命令を満たす音声放送を明るいトーンと中程度の話すスピードでユーザへ出力する。
【０１６７】
本発明の一実施例において、一部の応用シーン（例えば、銀行の顧客サービス）では、インタラクション内容のプライベート性を確保するために、音声による放送操作の代わりに、テキストのみ又は動画の方式によってインタラクション命令を実行することもできる。このようなインタラクション命令のモード選択は応用シーンに応じて調整することができる。
【０１６８】
なお、インタラクション命令における感情分類及び感情強度レベルは、音声放送のスピードやトーンなどを調整することによって表現することができ、本発明はこれについて制限しない。
【０１６９】
もう一つの例として、本発明の実施例により提供されるインテリジェントインタラクション方法がスマート端末デバイスのバーチャルインテリジェントパーソナルアシスタントアプリケーションにおいて応用される場合、ユーザはスマート端末デバイスに対して、「家から空港まで一番早いルートは？」と、音声によって話す。バーチャルインテリジェントパーソナルアシスタントアプリケーションは、スマート端末デバイスのマイクロフォンによってユーザ音声メッセージを受信し、ユーザ音声メッセージのオーディオデータを分析することによって「楽しみ」というオーディオ感情認識結果を取得するとともに、ユーザ音声メッセージをテキストに転換してユーザ音声メッセージのテキスト内容を分析することによって「焦り」というテキスト感情認識結果を取得する。ロジック判断を行うことによって、「楽しみ」と「焦り」の２種類の感情分類を両方とも感情認識結果として確定する。さらに過去又は将来のユーザ音声メッセージ及び該当分野における語義知識リポジトリに基づいて、「ユーザが家から空港まで一番早く到着できるルート案内を取得する」という顧客の基本意図情報を取得する。バーチャルインテリジェントパーソナルアシスタントアプリケーションが「焦り」と基本意図情報「ユーザが家から空港まで一番早く到着できるルート案内を取得する」とを合わせて取得する感情意図情報は「ユーザが家から空港まで一番早く到着できるルート案内を取得する、ユーザは焦っている、飛行機に乗り遅れることを心配している可能性あり」となる一方、「楽しみ」と基本意図情報とを合わせた場合に得られる感情意図情報は「ユーザが家から空港まで一番早く到着できるルート案内を取得する、ユーザは楽しみにしている、これから旅行に行く可能性あり」となる。つまり、ここでは２種類の感情意図情報が形成される。この場合、過去又は将来のユーザ音声メッセージを参考にすることができる。ユーザが過去に「私のフライトの出発時間は１１時だが、何時に出発すればよい？」と言った場合、ユーザの感情認識結果が「焦り」であると判断することができ、したがって感情意図情報は「ユーザが家から空港まで一番早く到着できるルート案内を取得する、ユーザは焦っている、飛行機に乗り遅れることを心配している可能性あり」となる。対応するインタラクション命令を確定する。その内容は以下の通りである。画面によってナビゲーション情報を出力するとともに、音声放送によって感情分類の「慰め」及び「警告」を示し、それぞれの感情強度レベルが重度であり、「お宅の住所から空港までの最速ルートを検索できました。画面に従ってナビゲーションを操作してください。正常運転の場合、１時間以内に空港まで到着できると予測しますので、ご安心ください。また、きちんと時間計画を立てたうえ、運転安全にお気を付けください。スピード違反しないでください。」という、当該感情命令を満たす音声放送を穏やかなトーンと中程度の話すスピードでユーザへ出力する。
【０１７０】
もう一つの例として、本発明の実施例により提供されるインテリジェントインタラクション方法がスマートウェアラブルデバイスにおいて応用される場合、ユーザは運動するときにスマートウェアラブルデバイスに対して、「私の今の心拍数はどうですか？」と、音声によって話す。スマートウェアラブルデバイスはマイクロフォンによってユーザ音声メッセージを受信し、ユーザ音声メッセージのオーディオデータを分析することによってＰＡＤ３次元感情モデルベクトル （ｐ１，ａ１，ｄ１）というオーディオ感情認識結果を取得し、ユーザ音声メッセージのオーディオデータを分析することによってＰＡＤ３次元感情モデルベクトル（ｐ２，ａ２，ｄ２）というテキスト感情認識結果を取得する。さらに、オーディオ感情認識結果及びテキスト感情認識結果に基づいて、「不安」と「緊張」の組合せを表す最終的な感情認識結果（ｐ３，ａ３，ｄ３）を取得する。また、スマートウェアラブルデバイスは医療健康分野の語義知識リポジトリに基づいて、「ユーザの心拍数データを取得する」という顧客の基本意図情報を取得する。次に、感情認識結果の（ｐ３，ａ３，ｄ３）と基本意図の「ユーザの心拍数データを取得する」とを合わせて、「ユーザの心拍数データを取得する、ユーザは不安を表明している、心拍数が高すぎるなどの不具合症状が発生している可能性あり」という感情意図情報を取得する。感情意図情報とインタラクション命令との対応関係に基づいて、インタラクション命令を確定する。その内容は以下の通りである。心拍数データを出力するとともに、感情の（ｐ６，ａ６，ｄ６）、すなわち、「慰め」と「励まし」の組合せを示し、それぞれの感情強度は重度である。それと同時に、心拍数をリアルタイムにモニタリングするプログラムを起動して１０ｍｉｎ継続し、「あなたの現在の心拍数データは１５０回／分です。当該データはまだ正常な心拍数範囲に属しますので、ご安心ください。心拍数が高すぎるなどの不具合症状があれば、リラックスして、深呼吸をしてください。あなたの過去の健康データから見ると、心臓の調子は良好です。規則的な運動を継続することによって心肺機能を強化することができます。」という音声を明るいトーンと遅い話すスピードで放送し、ユーザの感情状態を継続的にモニタリングする。ユーザが５ｍｉｎ後に「ちょっと体調が悪い。」と言った場合、感情認識によって得られる感情認識結果が３次元感情モデルベクトル（ｐ７，ａ７，ｄ７）となり、当該ベクトルは「つらい」を表す。この場合、インタラクション命令を新たに更新して、以下の内容が得られる。画面によって心拍数データを出力するとともに、感情（ｐ８，ａ８，ｄ８）、すなわち、「警告」を音声放送によって示し、それぞれの感情強度は重度であり、警告音を出力し、「あなたの現在の心拍数データは１７０回／分です。正常範囲を超過しています。運動を中止して、呼吸を調整してください。助けが必要の場合は画面をタッチしてください。」という音声を穏やかなトーンと遅い話すスピードで放送する。
【０１７１】
図１５は、本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。図１５に示すように、当該インテリジェントインタラクション装置１０は、感情認識モジュール１１、基本意図認識モジュール１２及びインタラクション命令確定モジュール１３を備える。
【０１７２】
感情認識モジュール１１は、ユーザメッセージに基づいて感情認識結果を取得する。ここで、ユーザメッセージは少なくともユーザ音声メッセージを含む。基本意図認識モジュール１２は、ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する。インタラクション命令確定モジュール１３は、感情認識結果及び基本意図情報に基づいて対応するインタラクション命令を確定する。
【０１７３】
本発明の実施例により提供されるインテリジェントインタラクション装置１０は、ユーザの基本意図情報の理解に基づいて、ユーザメッセージに基づいて取得する感情認識結果を採用し、基本意図情報及び感情認識結果に基づいて感情を伴うインタラクション命令を出すことによって、従来技術によるインテリジェントインタラクション方式がユーザメッセージに含まれる深い意図と感情ニーズを解析できず、より人間味のあるインタラクション体験を提供することができないという課題を解決することができる。
【０１７４】
本発明の一実施例において、図１６に示すように、インタラクション命令確定モジュール１３は、感情意図認識ユニット１３１及びインタラクション命令確定ユニット１３２を備える。感情意図認識ユニット１３１は、感情認識結果及び基本意図情報に基づいて対応する感情意図情報を確定する。インタラクション命令確定ユニット１３２は、感情意図情報に基づいて対応するインタラクション命令を確定するか、又は感情意図情報及び基本意図情報に基づいて対応するインタラクション命令を確定する。
【０１７５】
本発明の一実施例において、インタラクション命令は、感情意図情報に対するフィードバック内容を表現することも含む。例えば、一部の顧客サービスのインタラクションシーンでは、リマインドするために、顧客の音声内容に基づいて解析できた感情意図情報を顧客サービススタッフに伝える必要がある。このとき、対応する感情意図情報を確定して、当該感情意図情報に対するフィードバック内容を表現する必要がある。
【０１７６】
本発明の一実施例において、インタラクション命令は、テキスト出力感情表現モードと、音楽再生感情表現モードと、音声感情表現モードと、画像感情表現モードと、機械的動き感情表現モードのうちの１種類又は複数種類の感情表現モードを含む。
【０１７７】
本発明の一実施例において、感情意図情報は、感情認識結果に対応する感情ニーズ情報を含む。又は、感情意図情報は、感情認識結果に対応する感情ニーズ情報、及び、感情認識結果と基本意図情報との関連関係を含む。
【０１７８】
本発明の一実施例において、感情認識結果と基本意図情報との関連関係は予め設定される。
【０１７９】
本発明の一実施例において、ユーザ情報は少なくともユーザ音声メッセージを含む。ここで、感情認識モジュール１１はさらに、ユーザ音声メッセージに基づいて感情認識結果を取得する。
【０１８０】
本発明の一実施例において、図１６に示すように、感情認識モジュール１１は、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するオーディオ感情認識ユニット１１１と、オーディオ感情認識結果に基づいて感情認識結果を確定する感情認識結果確定ユニット１１２と、を備えることができる。
【０１８１】
又は、感情認識モジュール１１は、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するオーディオ感情認識ユニット１１１と、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するテキスト感情認識ユニット１１３と、オーディオ感情認識結果及びテキスト感情認識結果に基づいて感情認識結果を確定する感情認識結果確定ユニット１１２と、を備える。
【０１８２】
本発明の一実施例において、オーディオ感情認識結果は複数の感情分類のうちの１種類又は複数種類を含み、又は、オーディオ感情認識結果は多次元感情空間における１つの座標ポイントに対応し、又は、オーディオ感情認識結果及びテキスト感情認識結果はそれぞれ、複数の感情分類のうちの１種類又は複数種類を含み、又は、オーディオ感情認識結果及びテキスト感情認識結果はそれぞれ、多次元感情空間における１つの座標ポイントに対応する。ここで、多次元感情空間におけるいずれの次元も心理学で定義された１つの感情要素に対応しており、いずれの感情分類も複数の感情強度レベルを含む。
【０１８３】
図１７は、本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。図１７に示すように、当該インテリジェントインタラクション装置１０におけるオーディオ感情認識ユニット１１１は、オーディオ特徴抽出サブユニット１１１１と、マッチングサブユニット１１１２と、オーディオ感情判定サブユニット１１１３と、を備える。
【０１８４】
オーディオ特徴抽出サブユニット１１１１は、ユーザ音声メッセージのオーディオ特徴ベクトルを抽出する。ここで、ユーザ音声メッセージは認識対象となるオーディオストリームにおける１つのセグメントに対応する。マッチングサブユニット１１１２は、ユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルとに対してマッチングを行う。ここで、複数の感情特徴モデルはそれぞれ、複数の感情分類のうちの１つに対応する。オーディオ感情判定サブユニット１１１３は、マッチング結果としてマッチする感情特徴モデルに対応する感情分類を、ユーザ音声メッセージの感情分類として確定する。
【０１８５】
本発明の一実施例において、図１８に示すように、オーディオ感情認識ユニット１１１は、感情モデル構築サブユニット１１１４を更に備える。感情モデル構築サブユニット１１１４は、複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルに基づいて事前学習を行うことによって複数の感情特徴モデルを構築する。
【０１８６】
本発明の一実施例において、感情モデル構築サブユニット１１１４は、クラスタリングサブユニット及びトレーニングサブユニットを備える。クラスタリングサブユニットは、複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルの集合に対してクラスタリングを行って、予め設定された感情分類のクラスタリング結果を取得する。トレーニングサブユニットは、クラスタリング結果に基づいて、各クラスターにおける予め設定された音声セグメントのオーディオ特徴ベクトルの集合をトレーニングして、１つの感情特徴モデルを取得する。
【０１８７】
本発明の一実施例において、図１８に示すように、オーディオ感情認識ユニット１１１は、文端点検出サブユニット１１１５及び抽出サブユニット１１１６を更に備える。文端点検出サブユニット１１１５は、認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定する。抽出サブユニット１１１６は、音声開始フレームと音声終了フレームとの間のオーディオストリーム部分をユーザ音声メッセージとして抽出する。
【０１８８】
本発明の一実施例において、文端点検出サブユニット１１１５は、第１の判断サブユニット、音声開始フレーム判定サブユニット及び音声終了フレーム判定サブユニットを備える。
【０１８９】
第１の判断サブユニットは、認識対象となるオーディオストリームに含まれる音声フレームが発声フレームであるか又は非発声フレームであるかを判断する。音声開始フレーム判定サブユニットは、１つ前の音声セグメントの終了フレームの後、又はまだ１つ目の音声セグメントを検出できていないとき、第１の予め設定された数の音声フレームが連続的に発声フレームであると判断された場合、第１の予め設定された数の音声フレームのうちの１つ目の音声フレームを現在の音声セグメントの音声開始フレームとする。音声終了フレーム判定サブユニットは、現在の音声セグメントの音声開始フレームの後、第２の予め設定された数の音声フレームが連続的に非発声フレームであると判断された場合、第２の予め設定された数の音声フレームのうちの１つ目の音声フレームを現在の音声セグメントの音声終了フレームとする。
【０１９０】
本発明の一実施例において、オーディオ特徴ベクトルは、エネルギー特徴、発声フレーム数特徴、基本周波数特徴、フォルマント特徴、高調波ノイズ比特徴及びメル周波数ケプストラム係数特徴のうちの１種類又は複数種類のオーディオ特徴を含む。
【０１９１】
本発明の一実施例において、エネルギー特徴は、短期エネルギーの１階差分及び／又は予め設定された周波数以下のエネルギーのスケールを含み、及び／又は、基本周波数特徴は、基本周波数及び／又は基本周波数の１階差分を含み、及び／又は，フォルマント特徴は第１のフォルマント、第２のフォルマント、第３のフォルマント、第１のフォルマントの１階差分、第２のフォルマントの１階差分及び第３のフォルマントの１階差分のうちの１種類又は複数種類を含み、及び／又は、メル周波数ケプストラム係数特徴は１−１２階のメル周波数ケプストラム係数及び／又は１−１２階のメル周波数ケプストラム係数の１階差分を含む。
【０１９２】
本発明の一実施例において、オーディオ特徴は、比率、平均値、最大値、中央値及び標準偏差のうちの１種類又は複数種類の表現計算方式によって表現される。
【０１９３】
本発明の一実施例において、エネルギー特徴は、短期エネルギーの１階差分の平均値、最大値、中央値及び標準偏差、及び／又は予め設定された周波数以下のエネルギーと全体エネルギーとの比率を含み、及び／又は、発声フレーム数特徴は、発声フレーム数と非発声フレーム数との比率、及び／又は発声フレーム数と全体フレーム数との比率を含み、基本周波数特徴は、基本周波数の平均値、最大値、中央値及び標準偏差、及び／又は基本周波数の１階差分の平均値、最大値、中央値及び標準偏差を含み、及び／又は、フォルマント特徴は、第１のフォルマントの平均値、最大値、中央値及び標準偏差と、第２のフォルマントの平均値、最大値、中央値及び標準偏差と、第３のフォルマントの平均値、最大値、中央値及び標準偏差と、第１のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差と、第２のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差と、第３のフォルマントの１階差分の平均値、最大値、中央値及び標準偏差のうちの１種類又は複数種類を含み、及び／又は、メル周波数ケプストラム係数特徴は、１−１２階のメル周波数ケプストラム係数の平均値、最大値、中央値及び標準偏差、及び／又は１−１２階のメル周波数ケプストラム係数の１階差分の平均値、最大値、中央値及び標準偏差を含む。
【０１９４】
図１９は、本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。図１９に示すように、当該インテリジェントインタラクション装置１０における基本意図認識モジュール１２は、語義テンプレートマッチングユニット１２１及び基本意図取得ユニット１２２を備える。
【０１９５】
語義テンプレートマッチングユニット１２１は、ユーザ音声メッセージのテキスト内容と、語義知識リポジトリにおける複数の予め設定された語義テンプレートと、に対してマッチングを行うことによって、マッチする語義テンプレートを確定する。基本意図取得ユニット１２２は、マッチする語義テンプレートに対応する基本意図情報を取得する。ここで、語義テンプレートと基本意図情報との対応関係は、語義知識リポジトリにおいて予め構築されており、同一の意図情報は１つ又は複数の語義テンプレートに対応する。
【０１９６】
本発明の一実施例において、語義テンプレートマッチングユニット１２１は、類似度計算サブユニット１２１１及び語義テンプレート判定サブユニット１２１２を備える。
【０１９７】
類似度計算サブユニット１２１１は、ユーザ音声メッセージのテキスト内容と、複数の予め設定された語義テンプレートとの間の類似度を計算する。語義テンプレート判定サブユニット１２１２は、最も類似度が高い語義テンプレートを、マッチする語義テンプレートとして確定する。
【０１９８】
本発明の一実施例において、感情認識結果と感情意図情報との対応関係及び基本意図情報と感情意図情報との対応関係は予め構築され、又は、感情意図情報とインタラクション命令との対応関係は予め構築され、又は、感情意図情報とインタラクション命令との対応関係及び基本意図情報とインタラクション命令との対応関係は予め構築される。
【０１９９】
本発明の一実施例において、より正確度の高い基本意図情報を取得するために、基本意図認識モジュール１２はさらに、現在のユーザ音声メッセージと、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージに基づいて意図分析を行うことによって、対応する基本意図情報を取得する。
【０２００】
本発明の一実施例において、より正確度の高い感情意図情報を取得するために、当該インテリジェントインタラクション装置１０は、第１の記録モジュールを更に備える。第１の記録モジュールは、ユーザ音声メッセージの感情認識結果及び基本意図情報を記録する。ここで、感情意図認識ユニット１３１はさらに、現在のユーザ音声メッセージの感情認識結果及び基本意図情報と、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージの感情認識結果及び基本意図情報に基づいて、対応する感情意図情報を確定する。
【０２０１】
本発明の一実施例において、より正確度の高いインタラクション命令を取得するために、当該インテリジェントインタラクション装置１０は、第２の記録モジュールを更に備える。第２の記録モジュールは、ユーザ音声メッセージの感情意図情報及び基本意図情報を記録する。ここで、インタラクション命令確定ユニット１３２はさらに、現在のユーザ音声メッセージの感情意図情報及び基本意図情報と、過去のユーザ音声メッセージ及び／又は将来のユーザ音声メッセージの感情意図情報及び基本意図情報に基づいて、対応するインタラクション命令を確定する。
【０２０２】
なお、以上の実施例により提供されるインテリジェントインタラクション装置１０におけるいずれのモジュール又はユニットも、前述の１つの方法ステップと互いに対応する。つまり、前述の方法ステップにおいて説明された操作、特徴及び効果は、インテリジェントインタラクション装置１０及びそこに含まれる対応するモジュール及びユニットにも適用することができる。ここで、重複する内容についての説明を省略する。
【０２０３】
本発明の一実施例はコンピュータデバイスを更に提供する。当該コンピュータデバイスは、メモリー、プロセッサー及びメモリーに記憶されてプロセッサーにより実行されるコンピュータプログラムを備える。その特徴として、プロセッサーがコンピュータプログラムを実行すると、前述の任意の一実施例に記載のインテリジェントインタラクション方法が実現される。
【０２０４】
本発明の一実施例は、コンピュータ読取可能な記憶媒体を更に提供する。当該コンピュータ読取可能な記憶媒体にはコンピュータプログラムが記憶されている。その特徴として、コンピュータプログラムがプロセッサーにより実行されると、前述の任意の一実施例に記載のインテリジェントインタラクション方法が実現される。当該コンピュータ読取可能な記憶媒体は、任意の実態を有する媒体であってもよく、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスクドライブ、ネットワーク媒体などであってもよい。
【０２０５】
なお、本発明の実施形態の１つの実現手段がコンピュータプログラム製品であってもよいことを説明したが、本発明の実施形態による方法又は装置は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアの組合せによって実現することもできる。ハードウェア部分は専用ロジックによって実現することができる。ソフトウェア部分はメモリーに記憶されて、適切な指令実行システム、例えば、マイクロプロセッサー又は専用設計ハードウェアにより実行することができる。当業者が理解できる通り、上述の方法及びデバイスは、コンピュータ実行可能な命令によって実現され、及び／又はプロセッサー制御コードに含まれて実現することができる。例えば、磁気ディスク、ＣＤ又はＤＶＤ−ＲＯＭのキャリア媒体、リードオンリーメモリー（ファームウェア）などのプログラマブルメモリー、又は光学や電子信号キャリアのデータキャリアにおいてこのようなコードが提供される。本発明に係る方法及び装置は、超大規模集積回路又はゲートアレイ、ロジックチップやトランジスタなどの半導体、フィールドプログラマブルゲートアレイやプログラマブルロジックデバイスなどのプログラマブルハードウェアデバイスのハードウェア電気回路により実現されてもよく、様々なタイプのプロセッサーにより実行されるソフトウェアにより実現されてもよく、上述のハードウェア電気回路とソフトウェアとの組合せ、例えば、ファームウェアにより実現されてもよい。
【０２０６】
なお、以上の具体的説明において装置の一部のモジュール又はユニットについて言及したが、この分け方は例示的なものに過ぎず、強制的なものではない。実は、本発明の例示的な実施形態に基づいて、前述の２つ又はより多くのモジュール／ユニットの特徴及び機能は、１つのモジュール／ユニットにおいて実現されてもよい。逆に、前述の１つのモジュール／ユニットの特徴及び機能は、より細かく分けて、複数のモジュール／ユニットにより実現されてもよい。さらに、前述の一部のモジュール／ユニットは、一部の応用シーンにおいて省略することができる。
【０２０７】
なお、本発明の実施例の説明において使用した限定詞である「第１の」、「第２の」及び「第３の」などは、技術案をより明確に説明するために用いられるものに過ぎず、本発明の保護範囲を制限するものではない。
【０２０８】
以上の内容は本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神及び原則の範囲以内で行われる任意の変更や同等な置換などは、すべて本発明の保護範囲に属するべきである。
【０２０９】
以上の内容は本発明の好ましい実施例に過ぎず、本発明の保護範囲を制限するものではない。本発明の精神及び原則の範囲以内で行われる任意の変更、同等な置換、改善などは、すべて本発明の保護範囲に属するべきである。
【図１】
2021510851.tif 000014
【図２】
2021510851.tif 000015
【図３】
2021510851.tif 000016
【図４】
2021510851.tif 000017
【図５】
2021510851.tif 000018
【図６】
2021510851.tif 000019
【図７】
2021510851.tif 000020
【図８】
2021510851.tif 000021
【図９】
2021510851.tif 000022
【図１０】
2021510851.tif 000023
【図１１】
2021510851.tif 000024
【図１２】
2021510851.tif 000025
【図１３】
2021510851.tif 000026
【図１４】
2021510851.tif 000027
【図１５】
2021510851.tif 000028
【図１６】
2021510851.tif 000029
【図１７】
2021510851.tif 000030
【図１８】
2021510851.tif 000031
【図１９】
2021510851.tif 000032
【手続補正書】
【提出日】令和2年7月30日(2020.7.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて感情認識結果を取得するステップと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得するステップと、
前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定するステップと、を含む
ことを特徴とするインテリジェントインタラクション方法。
【請求項２】
前記感情認識結果及び前記基本意図情報に基づいて、対応するインタラクション命令を確定する前記ステップは、
前記感情認識結果及び前記基本意図情報に基づいて、対応する感情意図情報を確定するステップと、
前記感情意図情報に基づいて、対応する前記インタラクション命令を確定するステップ、又は、前記感情意図情報及び前記基本意図情報に基づいて、対応する前記インタラクション命令を確定するステップと、を含む
ことを特徴とする請求項１に記載のインテリジェントインタラクション方法。
【請求項３】
前記インタラクション命令は、前記感情意図情報に対するフィードバック内容を示すことを含む
ことを特徴とする請求項２に記載のインテリジェントインタラクション方法。
【請求項４】
前記インタラクション命令は、
テキスト出力感情表現モード、音楽再生感情表現モードと、音声感情表現モードと、画像感情表現モードと、機械的動き感情表現モードのうちの１種類又は複数種類の感情表現モードを含む
ことを特徴とする請求項１乃至３のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項５】
前記感情意図情報は、前記感情認識結果に対応する感情ニーズ情報を含み、又は、
前記感情意図情報は、前記感情認識結果に対応する前記感情ニーズ情報、及び、前記感情認識結果と前記基本意図情報との関連関係を含む
ことを特徴とする請求項２乃至４のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項６】
ユーザメッセージに基づいて感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージに基づいて前記感情認識結果を取得するステップを含む
ことを特徴とする請求項１乃至５のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項７】
ユーザ音声メッセージに基づいて感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するステップと、前記オーディオ感情認識結果に基づいて前記感情認識結果を確定するステップと、を含むか、
又は、
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するとともに、前記ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するステップと、前記オーディオ感情認識結果及び前記テキスト感情認識結果に基づいて前記感情認識結果を確定するステップと、を含む
ことを特徴とする請求項６に記載のインテリジェントインタラクション方法。
【請求項８】
前記オーディオ感情認識結果が複数の感情分類のうちの１種類又は複数種類を含むか、又は、前記オーディオ感情認識結果が多次元感情空間における１つの座標ポイントに対応し、
又は、
前記オーディオ感情認識結果及び前記テキスト感情認識結果がそれぞれ、複数の感情分類のうちの１種類又は複数種類を含むか、又は、前記オーディオ感情認識結果及び前記テキスト感情認識結果がそれぞれ、多次元感情空間における１つの座標ポイントに対応し、
前記多次元感情空間におけるいずれの次元も、心理学で定義された１つの感情要素に対応し、
いずれの前記感情分類も、複数の感情強度レベルを含む
ことを特徴とする請求項７に記載のインテリジェントインタラクション方法。
【請求項９】
前記ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得する前記ステップは、
前記ユーザ音声メッセージのオーディオ特徴ベクトルを抽出するステップと、
前記ユーザ音声メッセージのオーディオ特徴ベクトルと、複数の感情特徴モデルと、に対してマッチングを行うステップと、
マッチング結果としてマッチする感情特徴モデルに対応する感情分類を、前記ユーザ音声メッセージの感情分類として確定するステップと、を含み、
前記ユーザ音声メッセージは認識対象となるオーディオストリームの１つのセグメントに対応し、
前記複数の感情特徴モデルはそれぞれ、複数の感情分類のうちの１つに対応する
ことを特徴とする請求項７に記載のインテリジェントインタラクション方法。
【請求項１０】
前記複数の感情特徴モデルは、前記複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルの集合に基づいて事前学習を行うことによって構築される
ことを特徴とする請求項９に記載のインテリジェントインタラクション方法。
【請求項１１】
前記事前学習のプロセスは、
前記複数の感情分類に対応する感情分類ラベルを含む複数の予め設定された音声セグメントそれぞれのオーディオ特徴ベクトルの集合に対してクラスタリングを行って、予め設定された感情分類のクラスタリング結果を取得するステップと、
前記クラスタリング結果に基づいて、各クラスターにおける前記予め設定された音声セグメントのオーディオ特徴ベクトルの集合に対してトレーニングを行って、１つの前記感情特徴モデルを取得するステップと、を含む
ことを特徴とする請求項１０に記載のインテリジェントインタラクション方法。
【請求項１２】
前記ユーザ音声メッセージのオーディオデータに基づいて、オーディオ感情認識結果を取得する前記ステップは、
前記認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定するステップと、
前記音声開始フレームと前記音声終了フレームとの間のオーディオストリーム部分を抽出して、前記ユーザ音声メッセージとして確定するステップと、を更に含む
ことを特徴とする請求項９乃至１１のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項１３】
前記認識対象となるオーディオストリームにおける音声開始フレーム及び音声終了フレームを確定する前記ステップは、
前記認識対象となるオーディオストリームにおける音声フレームが発声フレームであるか又は非発声フレームであるかを判断するステップと、
１つ前の音声セグメントの前記音声終了フレームの後、又はまだ１つ目の音声セグメントを検出できていないとき、第１の予め設定された数の音声フレームが連続的に発声フレームであると判断された場合、前記第１の予め設定された数の音声フレームのうちの１つ目の音声フレームを、現在の音声セグメントの前記音声開始フレームとして確定するステップと、
現在の音声セグメントの前記音声開始フレームの後、第２の予め設定された数の音声フレームが連続的に非発声フレームであると判断された場合、前記第２の予め設定された数の音声フレームのうちの１つ目の音声フレームを現在の音声セグメントの前記音声終了フレームとして確定するステップと、を含む
ことを特徴とする請求項１２に記載のインテリジェントインタラクション方法。
【請求項１４】
前記オーディオ特徴ベクトルは、
エネルギー特徴、発声フレーム数特徴、基本周波数特徴、フォルマント特徴、高調波ノイズ比特徴及びメル周波数ケプストラム係数特徴のうちの１種類又は複数種類のオーディオ特徴を含む
ことを特徴とする請求項９乃至１３のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項１５】
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する前記ステップは、
前記ユーザ音声メッセージのテキスト内容と、語義知識リポジトリにおける複数の予め設定された語義テンプレートと、に対してマッチングを行うことによって、マッチする語義テンプレートを確定するステップと、
前記マッチする語義テンプレートに対応する前記基本意図情報を取得するステップと、を含み、
前記語義テンプレートと前記基本意図情報との対応関係は前記語義知識リポジトリにおいて予め構築されており、同一の前記意図情報は１つ又は複数の前記語義テンプレートに対応する
ことを特徴とする請求項１乃至１４のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項１６】
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する前記ステップは、
現在の前記ユーザ音声メッセージと、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージに基づいて意図分析を行って、対応する前記基本意図情報を取得するステップを含む
ことを特徴とする請求項１乃至１４のいずれか一項に記載のインテリジェントインタラクション方法。
【請求項１７】
前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報を記録するステップを更に含み、
前記感情認識結果及び前記基本意図情報に基づいて対応する感情意図情報を確定する前記ステップは、
現在の前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報と、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージの前記感情認識結果及び前記基本意図情報に基づいて対応する感情意図情報を確定するステップを含む
ことを特徴とする請求項２又は３に記載のインテリジェントインタラクション方法。
【請求項１８】
前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報を記録するステップを更に含み、
前記感情意図情報及び前記基本意図情報に基づいて対応するインタラクション命令を確定する前記ステップは、
現在の前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報と、過去の前記ユーザ音声メッセージ及び／又は将来の前記ユーザ音声メッセージの前記感情意図情報及び前記基本意図情報と、に基づいて対応する前記インタラクション命令を確定するステップを含む
ことを特徴とする請求項２又は３に記載のインテリジェントインタラクション方法。
【請求項１９】
少なくともユーザ音声メッセージを含むユーザメッセージに基づいて感情認識結果を取得する感情認識モジュールと、
前記ユーザ音声メッセージのテキスト内容に基づいて意図分析を行って、対応する基本意図情報を取得する基本意図認識モジュールと、
前記感情認識結果及び前記基本意図情報に基づいて対応するインタラクション命令を確定するインタラクション命令確定モジュールと、を備える
ことを特徴とするインテリジェントインタラクション装置。
【請求項２０】
メモリーと、
プロセッサーと、
前記メモリーに記憶されて前記プロセッサーにより実行されるコンピュータプログラムと、を備え
前記プロセッサーが前記コンピュータプログラムを実行すると、請求項１乃至１８のいずれか一項に記載の方法のステップが実現される
ことを特徴とするコンピュータデバイス。
【請求項２１】
コンピュータプログラムが記憶されており、
前記コンピュータプログラムがプロセッサーにより実行されると、請求項１乃至１８のいずれか一項に記載の方法のステップが実現される
ことを特徴とするコンピュータ読取可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
【図１】本発明の一実施例により提供されるインテリジェントインタラクション方法のフローチャートである。
【図２】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。
【図３】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。
【図４】本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、感情認識結果を確定するフローチャートである。
【図５】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのオーディオデータに基づいてオーディオ感情認識結果を取得するフローチャートである。
【図６】本発明の一実施例により提供されるインテリジェントインタラクション方法における、感情特徴モデルを構築するフローチャートである。
【図７】本発明の一実施例により提供される音声感情認識方法における、ユーザ音声メッセージを抽出するフローチャートである。
【図８】本発明の一実施例により提供されるインテリジェントインタラクション方法における、音声開始フレーム及び音声終了フレームを確定するフローチャートである。
【図９】本発明の一実施例により提供されるインテリジェントインタラクション方法における、発声フレーム又は非発声フレームを検出するフローチャートである。
【図１０】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。
【図１１】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージのテキスト内容に基づいてテキスト感情認識結果を取得するフローチャートである。
【図１２】本発明の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。
【図１３】本発明の他の一実施例により提供されるインテリジェントインタラクション方法における、テキスト感情認識結果を確定するフローチャートである。
【図１４】本発明の一実施例により提供されるインテリジェントインタラクション方法における、ユーザ音声メッセージに基づいて基本意図情報を取得するフローチャートである。
【図１５】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１６】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１７】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１８】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【図１９】本発明の一実施例により提供されるインテリジェントインタラクション装置の構造模式図である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
もう一つの例として、本発明の実施例により提供されるインテリジェントインタラクション方法がスマートウェアラブルデバイスにおいて応用される場合、ユーザは運動するときにスマートウェアラブルデバイスに対して、「私の今の心拍数はどうですか？」と、音声によって話す。スマートウェアラブルデバイスはマイクロフォンによってユーザ音声メッセージを受信し、ユーザ音声メッセージのオーディオデータを分析することによってＰＡＤ３次元感情モデルベクトル （ｐ１，ａ１，ｄ１）というオーディオ感情認識結果を取得し、ユーザテキストメッセージのオーディオデータを分析することによってＰＡＤ３次元感情モデルベクトル（ｐ２，ａ２，ｄ２）というテキスト感情認識結果を取得する。さらに、オーディオ感情認識結果及びテキスト感情認識結果に基づいて、「不安」と「緊張」の組合せを表す最終的な感情認識結果（ｐ３，ａ３，ｄ３）を取得する。また、スマートウェアラブルデバイスは医療健康分野の語義知識リポジトリに基づいて、「ユーザの心拍数データを取得する」という顧客の基本意図情報を取得する。次に、感情認識結果の（ｐ３，ａ３，ｄ３）と基本意図の「ユーザの心拍数データを取得する」とを合わせて、「ユーザの心拍数データを取得する、ユーザは不安を表明している、心拍数が高すぎるなどの不具合症状が発生している可能性あり」という感情意図情報を取得する。感情意図情報とインタラクション命令との対応関係に基づいて、インタラクション命令を確定する。その内容は以下の通りである。心拍数データを出力するとともに、感情の（ｐ６，ａ６，ｄ６）、すなわち、「慰め」と「励まし」の組合せを示し、それぞれの感情強度は重度である。それと同時に、心拍数をリアルタイムにモニタリングするプログラムを起動して１０ｍｉｎ継続し、「あなたの現在の心拍数データは１５０回／分です。当該データはまだ正常な心拍数範囲に属しますので、ご安心ください。心拍数が高すぎるなどの不具合症状があれば、リラックスして、深呼吸をしてください。あなたの過去の健康データから見ると、心臓の調子は良好です。規則的な運動を継続することによって心肺機能を強化することができます。」という音声を明るいトーンと遅い話すスピードで放送し、ユーザの感情状態を継続的にモニタリングする。ユーザが５ｍｉｎ後に「ちょっと体調が悪い。」と言った場合、感情認識によって得られる感情認識結果が３次元感情モデルベクトル（ｐ７，ａ７，ｄ７）となり、当該ベクトルは「つらい」を表す。この場合、インタラクション命令を新たに更新して、以下の内容が得られる。画面によって心拍数データを出力するとともに、感情（ｐ８，ａ８，ｄ８）、すなわち、「警告」を音声放送によって示し、それぞれの感情強度は重度であり、警告音を出力し、「あなたの現在の心拍数データは１７０回／分です。正常範囲を超過しています。運動を中止して、呼吸を調整してください。助けが必要の場合は画面をタッチしてください。」という音声を穏やかなトーンと遅い話すスピードで放送する。
【国際調査報告】
2021510851.tif 000033
2021510851.tif 000034
2021510851.tif 000035
2021510851.tif 000036