(57)【要約】      （修正有）【課題】応答速度などを向上することができる音声インタラクション方法を提供する。【解決手段】コンテンツサーバがクライアントからのユーザの音声情報を取得し、音声情報を自動音声認識サーバへ送信し、自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、音声活動の検出が開示したと確定されると、毎回取得された一部の音声認識結果について、語義理解により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、当該一部の音声認識結果を最終的な音声認識結果とし、最終的な音声認識結果に対応する応答音声を取得してクライアントへ返信する。【選択図】図３
2020079921.tif 000002
【特許請求の範囲】
【請求項１】
音声インタラクションの実現方法であって、
コンテンツサーバがクライアントからのユーザの音声情報を取得し、第一方式に従って今回の音声インタラクションを完成する、ことを含み、
前記第一方式は、前記音声情報を自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された前記一部の音声認識結果について、語義解析により前記一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、前記一部の音声認識結果を最終的な音声認識結果とし、前記最終的な音声認識結果に対応する応答音声を取得して前記クライアントへ返信することを含む、音声インタラクション方法。
【請求項２】
当該音声インタラクション方法は更に、
前記音声活動の検出の開始前及び開始後に毎回取得された一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、
前記最終的な音声認識結果が取得された場合に、前記最終的な音声認識結果により得られた音声合成結果を前記応答音声とする、ことを含む請求項1に記載の音声インタラクション方法。
【請求項３】
当該音声インタラクション方法は更に、
前記コンテンツサーバがユーザの音声情報を取得した後に、ユーザの表現属性情報を取得し、
前記表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであると確定されると、前記第一方式に従って今回の音声インタラクションを完成する、ことを含む請求項1に記載の音声インタラクション方法。
【請求項４】
当該音声インタラクション方法は更に、
前記表現属性情報によりユーザが一回の表現コンテンツが完備ではないユーザであると確定されると、第二方式に従って今回の音声インタラクションを完成することを含み、
前記第二方式は、
前記音声情報を前記自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、
毎回取得された前記一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、
音声活動の検出が終了したと確定されると、最終的に得られた音声合成結果を前記応答音声として前記クライアントへ返信する、ことを含む請求項3に記載の音声インタラクション方法。
【請求項５】
当該音声インタラクション方法は更に、
ユーザの従来の会話表現慣習を解析することにより、ユーザの表現属性情報を確定する、ことを含む請求項3に記載の音声インタラクション方法。
【請求項６】
クライアントからのユーザの音声情報を取得し、第一方式に従って今回の音声インタラクションを完成する音声インタラクションユニットを備え、
前記第一方式は、前記音声情報を自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された前記一部の音声認識結果について、語義解析により前記一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、前記一部の音声認識結果を最終的な音声認識結果とし、前記最終的な音声認識結果に対応する応答音声を取得して前記クライアントへ返信する、ことを含む音声インタラクション実現装置。
【請求項７】
前記音声インタラクションユニットは、更に、
前記音声活動の検出の開始前及び開始後に毎回取得された一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、
前記最終的な音声認識結果を取得した場合に、前記最終的な音声認識結果により得られた音声合成結果を前記応答音声とする、請求項6に記載の音声インタラクション実現装置。
【請求項８】
前記音声インタラクションユニットは、更に、ユーザの音声情報を取得した後に、ユーザの表現属性情報を取得し、前記表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであると確定すると、前記第一方式に従って今回の音声インタラクションを完成する、請求項6に記載の音声インタラクション実現装置。
【請求項９】
前記音声インタラクションユニットは、更に、前記表現属性情報によりユーザが一回の表現コンテンツが完備ではないユーザであると確定すると、第二方式に従って今回の音声インタラクションを完成し、
前記第二方式は、前記音声情報を前記自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、毎回取得された前記一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、音声活動の検出が終了したと確定すると、最終的に得られた音声合成結果を前記応答音声として前記クライアントへ返信する、ことを含む請求項8に記載の音声インタラクション実現装置。
【請求項１０】
前記音声インタラクション実現装置は、更に前処理ユニットを備え、
前記前処理ユニットは、ユーザの従来の会話表現慣習を解析することにより、ユーザの表現属性情報を確定する、請求項8に記載の音声インタラクション実現装置。
【請求項１１】
メモリと、プロセッサと、前記メモリに記憶され前記プロセッサに稼動可能なコンピュータプログラムとを含み、
前記プロセッサが前記コンピュータプログラムを実行する場合に、請求項1〜5の何れか一項に記載の音声インタラクション方法を実現するコンピュータデバイス。
【請求項１２】
プロセッサにより実行されると、請求項1〜5の何れか一項に記載の音声インタラクション方法を実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ応用技術に関し、特に音声インタラクション実現方法、装置、コンピュータデバイス及びプログラムに関する。
【背景技術】
【０００２】
マンマシン音声インタラクションは、音声で人間とマシンの対話などを実現することを指す。
【０００３】
図1は、従来のマンマシン音声インタラクションの処理フローの模式図である。図1に示されたように、コンテンツサーバ（server）は、クライアント（client）からのユーザの音声情報を取得して自動音声認識（ASR、Automatic Speech Recognition）サーバへ送信可能であり、その後にASRサーバから返信された音声認識結果を取得し、音声認識結果に応じて下層における垂直サービスへの検索要求を出し、取得された検索結果をテキストツースピーチ（TTS、Text To Speech）サーバへ送信し、TTSサーバが検索結果により生成した応答音声を取得してクライアントへ返信して再生させることが可能である。
【０００４】
マンマシン音声インタラクションにおいて、音声インタラクションの応答速度を向上するために、一般的に予測/プリフェッチング方法を採用する。
【０００５】
図2は従来の予測/プリフェッチング方法の実現方式の模式図である。図2に示されたように、そのうちASR開始（start）は音声認識を開始することを示し、一部の音声認識結果（ASR partial result）は音声認識の一部の結果、例えば北-北京-北京の-北京の天気を示し、VAD startは音声活動の検出の開始（起点）を示し、VAD endは音声活動の検出の終了（終点）を示し、即ちマシンがユーザの音声を言い終わったと認定し、VADは音声活動の検出（Voice Activity Detection）を示す。
【０００６】
ASRサーバは、毎回取得された一部の音声認識結果をコンテンツサーバへ送信し、コンテンツサーバは、毎回取得された一部の音声認識結果に応じて下層における垂直サービスへの検索要求を出し、検索結果をTTSサーバへ送信して音声合成を行わせる。VAD endが終了した時点で、コンテンツサーバは最終的に得られた音声合成結果を応答音声としてクライアントへ返信して再生させることが可能である。
【０００７】
実際の応用において、VAD endの前に、前にあるタイミングで取得された一部の音声認識結果が既に最終的な音声認識結果であり、例えばVAD startからVAD endまでの間にユーザが音声を発していない場合がある。そこで、この間に行われた、検索要求などを出す操作は実質的に無意味であり、リソースの無駄が多くなるだけではなく、音声応答時間も長くなり、即ち音声インタラクションの応答速度などが遅くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本願発明は、これに鑑みて、音声インタラクション実現方法、装置、コンピュータデバイス及びプログラムを提供した。
【０００９】
具体的な技術案は以下のようになる。
【００１０】
音声インタラクションの実現方法であって、コンテンツサーバがクライアントからのユーザの音声情報を取得し、第一方式に従って今回の音声インタラクションを完成する、ことを含み、前記第一方式は、前記音声情報を自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された前記一部の音声認識結果について、語義解析により前記一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、前記一部の音声認識結果を最終的な音声認識結果とし、前記最終的な音声認識結果に対応する応答音声を取得して前記クライアントへ返信することを含む。
【００１１】
本発明の一つの好適な実施例によれば、当該音声インタラクション方法は更に、前記音声活動の検出の開始前及び開始後に毎回取得された一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、前記最終的な音声認識結果が取得された場合に、前記最終的な音声認識結果により得られた音声合成結果を前記応答音声とする、ことを含む。
【００１２】
本発明の一つの好適な実施例によれば、当該音声インタラクション方法は更に、前記コンテンツサーバがユーザの音声情報を取得した後に、ユーザの表現属性情報を取得し、前記表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであると確定されると、前記第一方式に従って今回の音声インタラクションを完成する、ことを含む。
【００１３】
本発明の一つの好適な実施例によれば、当該音声インタラクション方法は更に、前記表現属性情報によりユーザが一回の表現コンテンツが完備ではないユーザであると確定されると、第二方式に従って今回の音声インタラクションを完成することを含み、前記第二方式は、前記音声情報を前記自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、毎回取得された前記一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果を前記テキストツースピーチサーバへ送信して音声合成を行わせ、音声活動の検出が終了したと確定されると、最終的に得られた音声合成結果を前記応答音声として前記クライアントへ返信する、ことを含む。
【００１４】
本発明の一つの好適な実施例によれば、当該音声インタラクション方法は更に、ユーザの従来の会話表現慣習を解析することにより、ユーザの表現属性情報を確定する、ことを含む。
【００１５】
音声インタラクション実現装置であって、クライアントからのユーザの音声情報を取得し、第一方式に従って今回の音声インタラクションを完成する音声インタラクションユニットを備え、前記第一方式は、前記音声情報を自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された前記一部の音声認識結果について、語義解析により前記一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、前記一部の音声認識結果を最終的な音声認識結果とし、前記最終的な音声認識結果に対応する応答音声を取得して前記クライアントへ返信する、ことを含む。
【００１６】
本発明の一つの好適な実施例によれば、前記音声インタラクションユニットは、更に、前記音声活動の検出の開始前及び開始後に毎回取得された一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果をテキストツースピーチサーバへ送信して音声合成を行わせ、前記最終的な音声認識結果を取得した場合に、前記最終的な音声認識結果により得られた音声合成結果を前記応答音声とする。
【００１７】
本発明の一つの好適な実施例によれば、前記音声インタラクションユニットは、更に、ユーザの音声情報を取得した後に、ユーザの表現属性情報を取得し、前記表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであると確定すると、前記第一方式に従って今回の音声インタラクションを完成する。
【００１８】
本発明の一つの好適な実施例によれば、前記音声インタラクションユニットは、更に、前記表現属性情報によりユーザが一回の表現コンテンツが完備ではないユーザであると確定すると、第二方式に従って今回の音声インタラクションを完成し、前記第二方式は、前記音声情報を前記自動音声認識サーバへ送信し、前記自動音声認識サーバから毎回返信された一部の音声認識結果を取得し、毎回取得された前記一部の音声認識結果について、前記一部の音声認識結果に対応する検索結果をそれぞれ取得し、前記検索結果を前記テキストツースピーチサーバへ送信して音声合成を行わせ、音声活動の検出が終了したと確定すると、最終的に得られた音声合成結果を前記応答音声として前記クライアントへ返信する、ことを含む。
【００１９】
本発明の一つの好適な実施例によれば、前記装置は、更に前処理ユニットを備え、前記前処理ユニットは、ユーザの従来の会話表現慣習を解析することにより、ユーザの表現属性情報を確定する。
【００２０】
コンピュータデバイスであって、メモリと、プロセッサと、前記メモリに記憶され前記プロセッサに稼動可能なコンピュータプログラムとを含み、前記プロセッサが前記プログラムを実行する場合に、上記のような方法を実現する。
【００２１】
コンピュータプログラムであって、プロセッサにより実行されると、上記のような方法を実現させる。
【００２２】
上記の説明からわかるように、本発明の前記技術案によれば、音声活動の検出が開始したと確定された後に、毎回取得された一部の音声認識結果について、語義解析により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、直接に当該一部の音声認識結果を最終的な音声認識結果とし、対応する応答音声を取得して返信してユーザに再生し、今回の音声インタラクションを終了することができる。これにより、従来技術のように音声活動の検出の終了まで待つ必要がなく、音声インタラクションの応答速度を向上し、検索要求の回数等の削減によりリソースの消費が低減された。
【図面の簡単な説明】
【００２３】
【図１】従来のマンマシン音声インタラクションの処理フローの模式図である。
【図２】従来の予測/プリフェッチング方法の実現方式の模式図である。
【図３】本発明の前記音声インタラクション実現方法の第一実施例のフローチャートである。
【図４】本発明の前記音声インタラクション実現方法の第二実施例のフローチャートである。
【図５】本発明の前記音声インタラクション実現装置の実施例の構成模式図である。
【図６】本発明の実施形態の実現に適用される例示的なコンピュータシステム/サーバ12を示したブロック図である。
【発明を実施するための形態】
【００２４】
本発明の技術案をより明確にするために、以下に図面を参照しながら実施例を列挙して本発明の前記技術案を更に説明する。
【００２５】
明らかに、説明される実施例は、本発明の全ての実施例ではなく、一部の実施例であるに過ぎない。当業者は、本発明における実施例に基いて、創造的な労働を払わない前提で得られる全ての他の実施例も、本発明の保護範囲に属する。
【００２６】
図3は、本発明の前記音声インタラクション実現方法の第一実施例のフローチャートである。図3に示されたように、以下の具体的な実現方式を含む。
【００２７】
301において、コンテンツサーバは、クライアントからのユーザの音声情報を取得し、302に示される第一方式に従って今回の音声インタラクションを完成する。
【００２８】
302において、コンテンツサーバは、音声情報をASRサーバへ送信し、ASRサーバから毎回返信される一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された一部の音声認識結果について、語義解析により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、当該一部の音声認識結果を最終的な音声認識結果とし、当該最終的な音声認識結果に対応する応答音声を取得してクライアントへ返信する。
【００２９】
コンテンツサーバは、クライアントを介してユーザの音声情報を取得した後に、音声情報をASRサーバへ送信し、従来の予測/プリフェッチング方法で後続の処理を行うことができる。
【００３０】
ASRサーバは、毎回生成された一部の音声認識結果をコンテンツサーバへ送信可能である。これに応じて、コンテンツサーバは、毎回取得された一部の音声認識結果について、当該一部の音声認識結果に対応する検索結果をそれぞれ取得し、取得された検索結果をTTSサーバへ送信して音声合成を行わせることが可能である。
【００３１】
なお、コンテンツサーバは、毎回取得された一部の音声認識結果について、一部の音声認識結果毎に応じて下層における垂直サービスに対する検索要求を出し、検索結果を取得してキャッシュすることができる。コンテンツサーバは、更に、取得された検索結果をTTSサーバへ送信することができる。TTSサーバは、取得された検索結果に基づいて従来の方式に従って音声合成を行うことができる。具体的に、TTSサーバは、音声合成を行う際に、毎回取得された検索結果について、当該検索結果に基づいて前に得られた音声合成結果に対して補充又は完備などを行って最終的な所望の応答音声を取得することができる。
【００３２】
音声活動の検出が開始した場合に、ASRサーバはコンテンツサーバに報知することができる。続いて、コンテンツサーバは、毎回取得された一部の音声認識結果について、前記の処理に加えて、更に語義解析により、当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれているか否かを確定することができる。
【００３３】
肯定の場合に、当該一部の音声認識結果を最終的な音声認識結果とし、即ち当該一部の音声認識結果がユーザが最終的に表現したいコンテンツであると見なし、最終的な音声認識結果により得られた音声合成結果を応答音声としてクライアントへ返信してクライアントによりユーザに再生することにより、今回の音声インタラクションを完成することができる。否定の場合に、次に取得された一部の音声認識結果について、前記の語義解析及びその後の関連操作を繰り返すことができる。
【００３４】
上記の説明からわかるように、本実施例の前記の処理方式は、従来の方式と比べて、依然として予測/プリフェッチング方法を採用しているが、音声活動の検出が開始した後に、毎回取得された一部の音声認識結果について、付加的に判断を行い、当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれているか否かを判断し、判断結果によっては後続で異なる操作を行い、判断結果が肯定の場合に、直接に当該一部の音声認識結果を最終的な音声認識結果として対応する応答音声を取得してユーザに返信し再生し、今回の音声インタラクションを終了することは、従来の方式と相違する。
【００３５】
音声活動の検出の開始から音声活動の検出の終了までは、一般的に600〜700msの時間が必要である一方、本実施例の前記の処理方式によれば、一般的に500〜600msの時間を節約可能であり、音声インタラクションの応答速度を良く向上した。
【００３６】
更に、本実施例の前記の処理方式によれば、音声インタラクションの過程を早めに終了することにより、検索要求の回数などを削減し、リソースの無駄を低減した。
【００３７】
実際の応用において、ユーザは音声活動の検出の開始から音声活動の検出の終了までの間に、更に幾つかの音声コンテンツを臨時に追加する場合がある。例えは、ユーザから「ジュラシックパークを見たい」を言い出してから200ms後に、「2」を言い出した場合に、ユーザが最終的に表現したいコンテンツは「ジュラシックパーク2を見たい」であるべきだ。しかし、前記実施例における処理方式を採用すれば、最終的な音声認識結果として「ジュラシックパークを見たい」が得られる可能性が高い。このように、ユーザが最終的に取得された応答音声のコンテンツも、ジュラシックパーク2に関するコンテンツではなく、ジュラシックパークに関するコンテンツである。
【００３８】
本願発明は、前記の状況に応じて、前記の実施例における処理方式を更に最適化することを提案した。これにより、可能な限りに前記状況の発生を回避し、応答音声のコンテンツの正確性を確保した。
【００３９】
図4は、本発明の前記音声インタラクション実現方法の第二実施例のフローチャートである。図4に示されたように、以下の具体的な実現方式を含む。
【００４０】
401において、コンテンツサーバはクライアントからのユーザの音声情報を取得する。
【００４１】
402において、コンテンツサーバはユーザの表現属性情報を取得する。
【００４２】
ユーザの従来の会話表現の慣習を解析することにより異なるユーザの表現属性情報を確定することができ、必要に応じて更新することもできる。
【００４３】
表現属性情報は、ユーザの属性の一つとして、ユーザが一回の表現コンテンツが完備したユーザであるか、一回の表現コンテンツが完備ではないユーザであるかを説明するためである。
【００４４】
表現属性情報は、予め生成可能であり、必要な時に直接に検索することができる。
【００４５】
403において、コンテンツサーバは、表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであるかを確定する。肯定の場合に、404を実行し、さもなければ405を実行する。
【００４６】
コンテンツサーバは、表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであるかを確定でき、確定結果によっては後続で異なる操作を実行することができる。
【００４７】
例えば、幾つかの老人ユーザについて、表現したいコンテンツを一回で言い切れることが殆どできないため、このようなユーザが一回の表現コンテンツが完備ではないユーザである。
【００４８】
404において、第一方式に従って今回の音声インタラクションを完成する。
【００４９】
つまり、図3に示された実施例における方式に従って今回の音声インタラクションを完成する。例えば、音声情報をASRサーバへ送信し、ASRサーバが毎回に返信される一部の音声認識結果を取得し、音声活動の検出が開始したと確定された後に、毎回取得された一部の音声認識結果について、語義解析により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、当該一部の音声認識結果を最終的な音声認識結果とし、当該最終的な音声認識結果に対応する応答音声を取得してクライアントに返信して再生させる。
【００５０】
405において、第二方式に従って今回の音声インタラクションを完成する。
【００５１】
第二方式には、音声情報をASRサーバへ送信し、ASRサーバから毎回返信される一部の音声認識結果を取得し、毎回取得された一部の音声認識結果について、当該一部の音声認識結果に対応する検索結果をそれぞれ取得し、検索結果をTTSサーバへ送信して音声合成を行い、音声活動の検出が終了したと確定されると、最終的に得られた音声合成結果を応答音声としてクライアントへ返信して再生させることが含まれても良い。
【００５２】
一回の表現コンテンツが完備ではないユーザについて、前記第二方式に従って今回の音声インタラクションを完成し、即ち従来の方式に従って今回の音声インタラクションを完成することができる。
【００５３】
説明すべきなのは、前記の各方法の実施例について、簡単に説明するために、一連の動作の組み合わせとして説明されたが、当業者であればわかるように、本発明は、幾つかのステップが他の順番で実行し、或いは同時に実行可能であるため、説明された動作の順番に限定されない。更に、当業者であればわかるように、明細書に説明された実施例は何れも好適な実施例であり、それに係わる動作及びモジュールが必ずしも本発明に対して必須ではない。
【００５４】
前記の実施例において、各実施例の説明に偏重があるが、ある実施例に詳しく説明されていない部分は、他の実施例の関連説明を参照可能である。
【００５５】
要するに、本発明の方法の実施例における前記技術案を採用すれば、一部の音声認識結果に対する語義解析及び後続の関連操作を実行することにより、音声インタラクションの応答速度を向上し、リソースの消費を削減することができる。更に、異なる表現属性を持つユーザに異なる処理方式を採用することにより、可能な限りに応答音声コンテンツの正確性などを確保することができる。
【００５６】
いままで方法の実施例を紹介したが、以下に装置の実施例により本発明の前記技術案を更に説明する。
【００５７】
図5は、本発明の前記音声インタラクション実現装置の実施例の構成模式図である。図5に示されたように、音声インタラクションユニット501が備えられる。
【００５８】
音声インタラクションユニット501は、クライアントからのユーザの音声情報を取得し、第一方式に従って今回の音声インタラクションを完成する。前記第一方式には、音声情報をASRサーバへ送信し、ASRサーバから毎回返信される一部の音声認識結果を取得し、音声活動の検出が開始したと確定されると、毎回取得された一部の音声認識結果について、語義解析により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれていると確定されると、当該一部の音声認識結果を最終的な音声認識結果とし、最終的な音声認識結果に対応する応答音声を取得してクライアントに返信することが含まれる。
【００５９】
音声活動の検出の開始前及び開始後に毎回取得された一部の音声認識結果について、音声インタラクションユニット501は更に当該一部の音声認識結果に対応する検索結果をそれぞれ取得し、検索結果をTTSサーバへ送信して音声合成を行わせても良い。TTSサーバは、音声合成を行う場合に、毎回取得された検索結果について、当該検索結果に基づいてその前に取得された音声合成結果に対して補充又は完備などを行うことができる。
【００６０】
音声活動の検出が開始したと確定された後に、毎回取得された一部の音声認識結果について、音声インタラクションユニット501は、前記処理に加えて、更に語義解析により当該一部の音声認識結果にユーザの表現したい全部のコンテンツが既に含まれているか否かを確定することもできる。
【００６１】
肯定の場合に、当該一部の音声認識結果を最終的な音声認識結果とし、即ち当該一部の音声認識結果がユーザから最終的に表現したいコンテンツであると考えても良く、最終的な音声認識結果により得られた音声合成結果を応答音声としてクライアントへ返信し、クライアントによりユーザに再生して今回の音声インタラクションを完成することができる。否定の場合に、次回に取得される一部の音声認識結果について、前記語義解析及びその後の関連操作を繰り返して実行することができる。
【００６２】
好ましくは、音声インタラクションユニット501は、更に、ユーザの音声情報を取得した後に、ユーザの表現属性情報を取得し、表現属性情報によりユーザが一回の表現コンテンツが完備したユーザであると確定されると、第一方式に従って今回の音声インタラクションを完成しても良い。
【００６３】
表現属性情報によりユーザが一回の表現コンテンツが完備ではないユーザであると確定されると、音声インタラクションユニット501は第二方式に従って今回の音声インタラクションを完成しても良い。前記第二方式には、音声情報をASRサーバへ送信し、ASRサーバから毎回返信される一部の音声認識結果を取得し、毎回取得される一部の音声認識結果について、当該一部の音声認識結果に対応する検索結果をそれぞれ取得し、検索結果をTTSサーバへ送信して音声合成を行わせ、音声活動の検出が終了したと確定されると、最終的に得られた音声合成結果を応答音声としてクライアントへ返信して再生させることが含まれる。
【００６４】
それに応じて、図5に示された装置に更に、音声インタラクションユニット501が検索できるように、ユーザの従来の会話表現の慣習を解析することにより異なるユーザの表現属性情報を確定する前処理ユニット500が備えられても良い。
【００６５】
図5に示された装置の実施例の具体的な作動手順は、前記方法の実施例における関連説明を参照でき、ここでは詳しく説明しない。
【００６６】
要するに、本発明の装置の実施例における前記技術案を採用すれば、一部の音声認識結果に対する語義解析及び後続の関連操作を実行することにより、音声インタラクションの応答速度を向上し、リソースの消費を削減することができる。更に、異なる表現属性を持つユーザに対して異なる処理方式を採用することにより、可能な限りに応答音声コンテンツの正確性などを確保することができる。
【００６７】
図6は、本発明の実施形態を実現可能な例示的なコンピュータシステム/サーバ12のブロック図を示した。図6に示されたコンピュータシステム/サーバ12は、例示に過ぎず、本発明の実施例の機能及び使用範囲に制限しない。
【００６８】
図6に示されたように、コンピュータシステム/サーバ12は、汎用コンピューティングデバイスの形で表現される。コンピュータシステム/サーバ12のコンポーネントは、一つ又は複数のプロセッサ（処理ユニット）16と、メモリ28と、異なるシステムコンポーネント（メモリ28とプロセッサ16を含む）を接続するバス18を含むが、それらに限定されない。
【００６９】
バス18は、幾つかの種類のバス構造のうち一つ又は複数を示し、メモリバス又はメモリコントローラ、周辺バス、グラフィックスアクセラレーションポート、プロセッサ或いは複数のバス構造のうち何れか一つのバス構造を使用するローカルエリアバスを含む。例えば、これらのアーキテクチャは、工業標準アーキテクチャ（ISA）バス、マイクロチャンネルアーキテクチャ（MAC）バス、強化型ISAバス、ビデオ電子標準協会（VESA）ローカルエリアバス及びペリフェラルコンポーネントインターコネクト（PCI）バスを含むが、それらに限定されない。
【００７０】
コンピュータシステム/サーバ12は、一般的に複数種のコンピュータシステム読取可能な媒体を含む。これらの媒体は、コンピュータシステム/サーバ12からアクセス可能な任意の使用可能な媒体であっても良く、揮発性及び不揮発性媒体、リムーバブル媒体及び固定媒体を含む。
【００７１】
メモリ28には、揮発性メモリの形のコンピュータシステム読取可能な媒体、例えばランダムアクセスメモリ（RAM）30及び/又は高速キャッシュメモリ32が含まれても良い。コンピュータシステム/サーバ12は更に、他のリムーバブル/固定的、揮発的/不揮発的なコンピュータシステム記憶媒体を含んでも良い。例として、記憶システム34は、固定な不揮発性磁気媒体（図6に示されていないが、一般的に「ハードディスクドライバ」と呼ばれる）を読み書きすることができる。図6に示されていないが、リムーバブルな不揮発性磁気ディスク（例えば「フロッピーディスク」）を読み書きする磁気ディスクドライバ、及びリムーバブルな不揮発性光ディスク（例えばCD-ROM、DVD-ROM又は他の光メディア）を読み書きする光ディスクドライバを提供可能である。この場合に、各ドライバは、一つ又は複数のデータメディアインターフェースを介してバス18と接続可能である。メモリ28は、本発明の各実施例の機能を実行するように配置される１セット（例えば少なくとも一つ）のプログラムモジュールを具備する少なくとも一つのプログラム製品を含んでも良い。
【００７２】
１セット（少なくとも一つ）のプログラムモジュール42を具備するプログラム/実用ツール40は、例えばメモリ28に記憶されてもよい。このようなプログラムモジュール42は、オペレーティングシステム、一つ又は複数のアプリプログラム、他のプログラムモジュール及びプログラムデータを含むが、それらに限定されない。これらの例示のうちの何れか一つ、或いはある組合わせは、ネットワーク環境の実現を含むことが可能である。プログラムモジュール42は、一般的に本発明に説明されている実施例における機能及び/又は方法を実行する。
【００７３】
コンピュータシステム/サーバ12は、一つ又は複数の外部デバイス14（例えばキーボード、ポインティングデバイス、ディスプレー24など）と通信しても良く、ユーザと当該コンピュータシステム/サーバ12とのインタラクションを可能にする一つ又は複数のデバイスと通信しても良く、及び/又は当該コンピュータシステム/サーバ12と一つ又は複数の他のコンピューティングデバイスとを通信可能にする任意のデバイス（例えばネットワークカード、モデムなど）と通信しても良い。このような通信は、入力/出力（I/O）インターフェース22により実行可能である。更に、コンピュータシステム/サーバ12は、ネットワークアダプタ20を介して一つ又は複数のネットワーク（例えばローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）及び/又は公衆ネットワーク、例えばインターネット）と通信しても良い。図6に示されたように、ネットワークアダプタ20は、バス18によりコンピュータシステム/サーバ12における他のモジュールと通信する。理解すべきなのは、未図示であるが、コンピュータシステム/サーバ12と合わせて他のハードウェア及び/又はソフトウェアモジュールを使用しても良い。他のハードウェア及び/又はソフトウェアモジュールは、マイクロコード、デバイスドライバ、冗長処理ユニット、外部磁気ディスク駆動アレー、RAIDシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含むが、それらに限定されない。
【００７４】
プロセッサ16は、メモリ28に記憶されているプログラムを実行することにより、各種の機能応用及びデータ処理を実行し、例えば図3又は図4に示された実施例における方法を実現する。
【００７５】
本発明は、プロセッサにより実行されると、図3又は図4に示された実施例の方法を実現するコンピュータプログラムが記憶されているコンピュータ読取可能な記憶媒体を同時に開示した。
【００７６】
一つ又は複数のコンピュータ読取可能な媒体の任意の組み合わせを採用可能である。コンピュータ読取可能な媒体は、コンピュータ読取可能な信号媒体又はコンピュータ読取可能な記憶媒体であっても良い。コンピュータ読取可能な記憶媒体は、例えば電気、磁気、光、電磁気、赤外線、半導体のシステム、装置又は素子、或いは任意の組み合わせであっても良く、それらに限定されない。コンピュータ読取可能な記憶媒体の更なる具体的な例（網羅的ではない列挙）は、一つ又は複数の導線を備える電気的な接続、リムーバブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読取専用メモリ（ROM）、消去可能なプログラミング読取専用メモリ（EPROM又はフラッシュ）、光ファイバ、携帯可能なコンパクト磁気ディスク読取専用メモリ（CD-ROM）、光学記憶素子、磁気記憶素子、或いは前記の任意の組合わせを含む。本願において、コンピュータ読取可能な記憶媒体は、プログラムを含むか記憶する任意の有形の媒体であっても良い。当該プログラムは、コマンド実行システム、装置又は素子に使用され、或いはそれらと組合わせて使用されても良い。
【００７７】
コンピュータ読取可能な信号媒体は、ベースバンドに伝送され或いはキャリアの一部として伝送され、コンピュータ読取可能なプログラムコードがロードされるデータ信号を含んでも良い。このような伝送されるデータ信号は、各種の形式を採用しても良く、電磁気信号、光信号又は前記の任意の適当の組合わせを含むが、それらに限定されない。コンピュータ読取可能な信号媒体は、コンピュータ読取可能な記憶媒体以外の任意のコンピュータ読取可能な媒体であっても良い。当該コンピュータ読取可能な媒体は、コマンド実行システム、装置又は素子に使用され又はそれらと組合わせて使用されるプログラムを送信し、伝播し又は伝送することができる。
【００７８】
コンピュータ読取可能な媒体に含まれるプログラムコードは、任意の適当の媒体で伝送されても良く、無線、電線、光ケーブル、RFなど、或いは前記の任意の適当の組み合わせを含むが、それらに限定されない。
【００７９】
一つ又は複数種のプログラミング言語又はそれらの組み合わせで本出願の操作を実行するためのコンピュータプログラムコードをプログラミングすることができる。前記プログラミング言語には、Java（登録商標）、Smalltalk、C++のようなオブジェクト指向プログラミング言語が含まれ、更にC言語又は類似のプログラミング言語のような通常の手続き型プログラミング言語が含まれる。プログラムコードは、全体がユーザコンピュータに実行されても良く、一部がユーザコンピュータに実行されても良く、一つの独立なパッケージとして実行されても良く、一部がユーザコンピュータに実行され且つ一部がリモートコンピュータに実行されても良く、或いは全体がリモートコンピュータ又はサーバに実行されても良い。リモートコンピュータに関する場合に、リモートコンピュータはローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む任意の種類のネットワークによりユーザコンピュータに接続されても良く、或いは外部のコンピュータ（例えばインターネットサービスプロバイダを利用してインターネットにより接続する）に接続されても良い。
【００８０】
本発明に提供された幾つかの実施例において、開示された装置及び方法などが他の手段で実現可能であることを理解すべきである。例えば、いままで説明された装置の実施例は、例示的なものに過ぎない。例えば、前記ユニットの分割は、ロジック機能の分割に過ぎず、実際の実現において他の分割手段もある。
【００８１】
前記分離部品として説明されたユニットは、物理的な分離であってもなくても良い。ユニットとして表示された部品は、物理ユニットであってもなくても良い。つまり、一箇所に位置されても良く、複数のネットワークユニットに分散されても良い。実際の必要に応じて一部又は全てのユニットを選択して本実施例の技術案の目的を実現可能である。
【００８２】
また、本発明の各実施例における各機能ユニットは、一つの処理ユニットに集積されても良く、各ユニットが独自で物理的に存在しても良く、二つ又はそれ以上のユニットが一つのユニットに集積されても良い。前記集積されたユニットは、ハードウェアで実現されても良く、ハードウェアと共にソフトウェア機能ユニットで実現されても良い。
【００８３】
前記ソフトウェア機能ユニットで実現される集積ユニットは、一つのコンピュータ読取可能な記憶媒体に記憶されても良い。前記ソフトウェア機能ユニットは、一つの記憶媒体に記憶されており、一つのコンピュータデバイス（パーソナルコンピュータ、サーバ又はネットワークデバイスなどであっても良い）又はプロセッサ（processor）が本発明の各実施例における前記方法の一部のステップを実行できるように幾つかの指令を含む。前記の記憶媒体には、Uディスク、リムーバブルハードディスク、読取専用メモリ（ROM、Read-Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、磁気ディスク又は光ディスクのような、プログラムコードを記憶可能な各種の媒体が含まれる。
【００８４】
前記の説明は本発明の好適な実施例に過ぎず、本発明を制限しない。本発明の構想及び要旨においてなされる任意の補正、等価の置換、改善などであれば、本発明の保護範囲に含まれる。
【図１】
2020079921.tif 000003
【図２】
2020079921.tif 000004
【図３】
2020079921.tif 000005
【図４】
2020079921.tif 000006
【図５】
2020079921.tif 000007
【図６】
2020079921.tif 000008