(57)【要約】【課題】ユーザの発話の間を考慮した会話を可能とした装置および方法を提供する。【解決手段】ユーザの発する音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、間の位置においてユーザに対して出力する最適語彙の選択処理を実行する。本構成によりユーザの発話の間に対して的確に装置からの応答、会話を実行することが可能となり、音声情報の語彙の解析処理により、応答または相槌語彙の選択を的確に実行することが可能となる。またユーザの感情情報を解析し、出力トーン、語調制御処理を実行する。【選択図】　図５
2004086001.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発する音声情報を入力する音声入力部と、
前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御部と、
前記制御部により選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力手段と、
を有することを特徴とする会話処理装置。
【請求項２】
前記制御部は、
前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定する処理を実行する相槌層と、
前記音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する感情層と、
前記音声入力部において入力した音声情報基づく解析処理結果に基づいて、ユーザに対して出力する応答文を生成する処理を実行する思考層と、
を有する構成であることを特徴とする請求項１に記載の会話処理装置。
【請求項３】
前記会話処理装置は、
さらに、画像出力部を有し、
前記制御部は、
前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、前記画像出力部に出力するキャラクタまたは文字列の制御を実行する構成を有することを特徴とする請求項１に記載の会話処理装置。
【請求項４】
前記制御部は、
前記音声入力部において入力した音声情報の強度および語彙の解析処理結果に基づいて、ｘ軸を周波数強度、ｙ軸を語彙強度とした感情空間におけるユーザの感情状態位置を設定し、該設定情報に基づいて、ユーザに対して出力する音声のトーン、語調制御処理を実行する構成を有することを特徴とする請求項１に記載の会話処理装置。
【請求項５】
前記制御部は、
前記音声入力部において入力した音声情報の強度および語彙の解析処理結果に基づいて意味空間において設定される状態ベクトルと、相槌語彙の使用頻度データに基づく処理により、複数の相槌語彙の中から出力する相槌語彙を選択する処理を実行する構成を有することを特徴とする請求項１に記載の会話処理装置。
【請求項６】
前記制御部は、
語彙間の共生起確率に基づくグループ化処理により設定された入力語彙から語彙グループを求める変換テーブルを適用して、入力語彙が属するグループを選択し、選択グループ内にある語彙群から入力された語彙とは異なる語彙を選択して、該選択語彙を連想語彙として設定し、連想語彙データに基づいて、応答文コーパスと文脈保存データを用いて、ユーザに対する応答文を作成する処理を実行する構成を有することを特徴とする請求項１に記載の会話処理装置。
【請求項７】
ユーザの発する音声情報を入力する音声入力ステップと、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御ステップと、
前記制御ステップにおいて選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力ステップと、
を有することを特徴とする会話処理方法。
【請求項８】
前記制御ステップは、
前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定する処理を実行する相槌処理ステップと、
前記音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する感情処理ステップと、
前記音声入力部において入力した音声情報基づく解析処理結果に基づいて、ユーザに対して出力する応答文を生成する処理を実行する思考処理ステップと、
を有することを特徴とする請求項７に記載の会話処理方法。
【請求項９】
前記会話処理方法は、
さらに、画像出力ステップを有し、
前記制御ステップは、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、画像出力部に出力するキャラクタまたは文字列の制御を実行することを特徴とする請求項７に記載の会話処理方法。
【請求項１０】
前記制御ステップは、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理結果に基づいて、ｘ軸を周波数強度、ｙ軸を語彙強度とした感情空間におけるユーザの感情状態位置を設定し、該設定情報に基づいて、ユーザに対して出力する音声のトーン、語調制御処理を実行するステップを有することを特徴とする請求項７に記載の会話処理方法。
【請求項１１】
前記制御ステップは、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理結果に基づいて意味空間において設定される状態ベクトルと、相槌語彙の使用頻度データに基づく処理により、複数の相槌語彙の中から出力する相槌語彙を選択する処理を実行するステップを含むことを特徴とする請求項７に記載の会話処理方法。
【請求項１２】
前記制御ステップは、
語彙間の共生起確率に基づくグループ化処理により設定された入力語彙から語彙グループを求める変換テーブルを適用して、入力語彙が属するグループを選択し、選択グループ内にある語彙群から入力された語彙とは異なる語彙を選択して、該選択語彙を連想語彙として設定し、連想語彙データに基づいて、応答文コーパスと文脈保存データを用いて、ユーザに対する応答文を作成する処理を実行するステップを含むことを特徴とする請求項７に記載の会話処理方法。
【請求項１３】
ユーザとの会話処理をコンピュータシステム上で実行するコンピュータ・プログラムであって、
ユーザの発する音声情報を入力する音声入力ステップと、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御ステップと、
前記制御ステップにおいて選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、会話処理装置、および会話処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、ユーザの発話を認識し、その状況に応じて、相槌の生成、エピソード発話などを行う装置および方法であり、明確な会話ターンによる制御ではなく、適切なタイミングでの相槌や同時発話などのレスポンスによる傾聴技術を用いることで、ユーザに親しみを感じさせ、会話を促進させる会話処理装置、および会話処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータ、あるいはその他の電子情報機器においては、キーボードやマウスを介したデータ入力に加え、音声入力、画像入力等、様々なデータ入力が可能となっている。また、ユーザの入力音声に対してＰＣ等の情報処理装置が、入力音声を解析し、応答としての音声出力を実行するなど、いわゆる会話形式でユーザと情報処理装置がコミュニケーションを実行するシステムが開発されている。
【０００３】
しかし、従来の会話認識・生成技術は、ユーザが希望する何らかの操作を代行して行うシステムがほとんどであり、また、自然言語処理を行うシステムにおける会話認識処理はユーザ発話が終了したことの確認の後に処理が開始されるものがほとんどである。このため、従来の会話認識処理装置では、ユーザの言葉に対する相槌を実行したり、ユーザの言葉の終了前に同時に発話するなど、会話のリズムを考慮した要素を扱うことができなかった。また、従来の会話認識または処理システムでは、情報処理装置が和が特定のパターンで言葉を発生する仕様のものが多く、ユーザから会話生成パターンが見えてしまうことによって、ユーザが飽きてしまうという現象が良く見られた。
【０００４】
【発明が解決しようとする課題】
本発明は、このような状況に鑑みてなされたものであり、会話を楽しむという観点から、ユーザ発話とシステムの発話において、相槌タイミングなど、会話リズムを取り入れた処理を行なうことにより、ユーザがシステムに対して親しみを覚えられる会話処理装置、および会話処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００５】
また、現時点での会話内容を推測することにより、最適な会話語彙を選択して、相槌、応答文の生成を行なってユーザが飽きる現象を小さく押さえることができる会話処理装置、および会話処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１の側面は、
ユーザの発する音声情報を入力する音声入力部と、
前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御部と、
前記制御部により選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力手段と、
を有することを特徴とする会話処理装置にある。
【０００７】
さらに、本発明の会話処理装置の一実施態様において、前記制御部は、前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定する処理を実行する相槌層と、前記音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する感情層と、前記音声入力部において入力した音声情報基づく解析処理結果に基づいて、ユーザに対して出力する応答文を生成する処理を実行する思考層と、を有する構成であることを特徴とする。
【０００８】
さらに、本発明の会話処理装置の一実施態様において、前記会話処理装置は、さらに、画像出力部を有し、前記制御部は、前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、前記画像出力部に出力するキャラクタまたは文字列の制御を実行する構成を有することを特徴とする。
【０００９】
さらに、本発明の会話処理装置の一実施態様において、前記制御部は、前記音声入力部において入力した音声情報の強度および語彙の解析処理結果に基づいて、ｘ軸を周波数強度、ｙ軸を語彙強度とした感情空間におけるユーザの感情状態位置を設定し、該設定情報に基づいて、ユーザに対して出力する音声のトーン、語調制御処理を実行する構成を有することを特徴とする。
【００１０】
さらに、本発明の会話処理装置の一実施態様において、前記制御部は、前記音声入力部において入力した音声情報の強度および語彙の解析処理結果に基づいて意味空間において設定される状態ベクトルと、相槌語彙の使用頻度データに基づく処理により、複数の相槌語彙の中から出力する相槌語彙を選択する処理を実行する構成を有することを特徴とする。
【００１１】
さらに、本発明の会話処理装置の一実施態様において、前記制御部は、語彙間の共生起確率に基づくグループ化処理により設定された入力語彙から語彙グループを求める変換テーブルを適用して、入力語彙が属するグループを選択し、選択グループ内にある語彙群から入力された語彙とは異なる語彙を選択して、該選択語彙を連想語彙として設定し、連想語彙データに基づいて、応答文コーパスと文脈保存データを用いて、ユーザに対する応答文を作成する処理を実行する構成を有することを特徴とする。
【００１２】
さらに、本発明の第２の側面は、
ユーザの発する音声情報を入力する音声入力ステップと、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御ステップと、
前記制御ステップにおいて選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力ステップと、
を有することを特徴とする会話処理方法にある。
【００１３】
さらに、本発明の会話処理方法の一実施態様において、前記制御ステップは、前記音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定する処理を実行する相槌処理ステップと、前記音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する感情処理ステップと、前記音声入力部において入力した音声情報基づく解析処理結果に基づいて、ユーザに対して出力する応答文を生成する処理を実行する思考処理ステップと、を有することを特徴とする。
【００１４】
さらに、本発明の会話処理方法の一実施態様において、前記会話処理方法は、さらに、画像出力ステップを有し、前記制御ステップは、前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、画像出力部に出力するキャラクタまたは文字列の制御を実行することを特徴とする。
【００１５】
さらに、本発明の会話処理方法の一実施態様において、前記制御ステップは、前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理結果に基づいて、ｘ軸を周波数強度、ｙ軸を語彙強度とした感情空間におけるユーザの感情状態位置を設定し、該設定情報に基づいて、ユーザに対して出力する音声のトーン、語調制御処理を実行するステップを有することを特徴とする。
【００１６】
さらに、本発明の会話処理方法の一実施態様において、前記制御ステップは、前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理結果に基づいて意味空間において設定される状態ベクトルと、相槌語彙の使用頻度データに基づく処理により、複数の相槌語彙の中から出力する相槌語彙を選択する処理を実行するステップを含むことを特徴とする。
【００１７】
さらに、本発明の会話処理方法の一実施態様において、前記制御ステップは、語彙間の共生起確率に基づくグループ化処理により設定された入力語彙から語彙グループを求める変換テーブルを適用して、入力語彙が属するグループを選択し、選択グループ内にある語彙群から入力された語彙とは異なる語彙を選択して、該選択語彙を連想語彙として設定し、連想語彙データに基づいて、応答文コーパスと文脈保存データを用いて、ユーザに対する応答文を作成する処理を実行するステップを含むことを特徴とする。
【００１８】
さらに、本発明の第３の側面は、
ユーザとの会話処理をコンピュータシステム上で実行するコンピュータ・プログラムであって、
ユーザの発する音声情報を入力する音声入力ステップと、
前記音声入力ステップにおいて入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御ステップと、
前記制御ステップにおいて選択された最適語彙を、前記間の位置においてユーザに対して出力する音声出力ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００１９】
【作用】
本発明の構成によれば、ユーザの発する音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、間の位置においてユーザに対して出力する最適語彙の選択処理を実行する構成としたので、ユーザの発話の間に対して的確に装置からの応答、会話を実行することが可能となり、音声情報の語彙の解析処理により、応答または相槌語彙の選択を的確に実行することが可能となる。
【００２０】
さらに、本発明の構成によれば、音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する構成としたので、ユーザの感情を考慮した応答、会話が可能となる。
【００２１】
また、本発明の構成によれば、ユーザ発話に対する応答を生成する制御部を階層化した構成としたので、相槌などの会話リズム処理と応答文生成が並列処理として実行できる。また、ユーザ発話文に基づくグループ設定情報を用いることによって、ユーザとシステムとの間で交わされる言葉を最適なものとして設定することができるようになり、より親しい間柄を演出することが可能となる。
【００２２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００２４】
【発明の実施の形態】
以下、図面を参照しながら、本発明の会話処理装置、および会話処理方法について説明する。
【００２５】
まず、図１を参照して本発明の会話処理装置の全体構成概略について説明する。本発明の会話処理装置は、図１に示すように、会話処理装置における表示手段としてのディスプレイ１２に表示した会話処理キャラクター１３と、会話処理装置における音声入力手段としてのマイク１５、会話処理装置における音声出力手段としてのスピーカ１４を用いて、ユーザと会話処理キャラクター１３との間での会話、すなわち音声対話を実行する構成を持つ。
【００２６】
ユーザ会話の認識およびシステム発話文生成処理は、会話処理装置としてのコンピュータ内のＣＰＵ等の制御手段１１が所定の処理プログラムを実行することにより行う。制御手段は、グラフィックス制御処理によりキャラクターを表示する。また、制御手段１１は、カメラ１６によってユーザの表情やジェスチャなどを取得し、取得データをユーザとのコミュニケーションを取るための指標とすることもできる。
【００２７】
また、図２に示すような携帯電話やＰＤＡなどの上に会話処理キャラクター１３の表示を実行することによって、携帯電話やＰＤＡなどを所有するユーザの身近にコミュニケートできる友人を演出することができる。
【００２８】
また、図３に示すように、会話処理装置における入力手段としてのキーボード２２からユーザ発話をテキストとして入力し、会話処理装置における制御手段１１で処理を行い、ディスプレイ１２に、ＣＧないしはテキストデータ２１を出力する構成としてもよい。また、図４に示すように、携帯電話や携帯端末などにおいて、キー入力を行ない、ＣＧないしはテキストデータ２１を出力する構成としてもよい。
【００２９】
本発明における会話処理装置の主要な構成要素は、ユーザの発する音声情報を入力するマイク等の音声入力部と、音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、前記間の位置においてユーザに対して出力する最適語彙の選択処理を実行する制御部と、制御部により選択された最適語彙を、ユーザに対して出力するスピーカ等の音声出力手段である。
【００３０】
さらに、ＣＧ、テキストデータ等を表示するディスプレイ等の画像出力手段、およびユーザの表情等を取得するカメラ等の画像取得手段を備え、制御部が、画像取得手段において取得した画像データに基づいて出力音声、および出力画像データの制御を行なう構成としてもよい。
【００３１】
図５以下を参照して本発明の会話処理装置における処理の詳細について説明する。図５は、本発明の会話処理装置の制御手段１００における処理階層を示した図である。制御手段１００における処理階層は、思考層１１０、感情層１２０、相槌層１３０から成っており、ユーザ２００の発話１３２が、マイクを介して入力され、相槌層１３０に渡り、相槌層１３０における処理が実行されて応答データ１３３としてユーザにフィードバックされる。なお、応答データ１１３は、思考層１１０からのデータ１１３、感情層１２０からのデータ１２３に基づくデータとして構成される。
【００３２】
ユーザ２００の発話１３２は、相槌層１３０を介してが感情層１２０へ送られる。感情層１２０では、相槌層１３０からのデータ１２２を受け、感情層１２０としての処理を実行するとともに、データ１２２を思考層１１０へ送信（データ１１２）する。感情層１２０における処理結果データ１２３は、相槌層１３０へ送信される。
【００３３】
相槌層１３０は、マイク等の音声入力部において入力した音声情報の強度および語彙の解析処理を実行し、例えば、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定する処理を実行する。感情層１２０は、音声入力部において入力した音声情報に基づく解析処理結果に基づいて、例えばユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する。また、思考層１１０は、音声入力部において入力した音声情報基づく解析処理結果に基づいて、例えばユーザに対して出力する応答文を生成する処理を実行する。
【００３４】
本発明の制御部では、上記各層における処理に基づいて、ユーザからの入力音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、間の位置においてユーザに対して出力する最適語彙を選択して、ユーザに対する会話データを出力する。以下、各層における具体的な処理について説明する。
【００３５】
まず、図６を参照して、相槌層１３０内の処理の詳細について説明する。まず最初に、ユーザ発話入力部１３０６に入力した音声データ１３２５が、音声認識部１３０４とスペクトル解析部１３０５へ入力される。
【００３６】
音声認識部１３０４では、入力する音声データ１３２５に基づいて認識単語列データ１３２４を生成して語彙データ生成部１３２１に出力する。スペクトル解析部１３０５では、入力する音声データ１３２５に基づいて音声データの発音の強さならびに周波数の経時変化データ１３２３を生成して、語彙データ生成部１３２１および相槌位置予測部１３０３に出力する。
【００３７】
語彙データ生成部１３０２は、音声認識部１３０４から認識単語列データ１３２４を入力するとともに、発音の強さならびに周波数の経時変化データ１３２３を、スペクトル解析部１３０５から入力し、これらの各入力データに基づく処理を実行して、語彙データ１３２１を生成して、語彙選択部１３０１へ出力する。
【００３８】
語彙データ１３２１の構成を図７に示す。語彙データ１３２１は、語彙強度、周波数強度、語彙クラス、語彙の各データからなる。これらのデータについては、後段で説明する。
【００３９】
一方、相槌位置予測部１３０３は、発音の強さならびに周波数の経時変化データ１３２３をスペクトル解析部１３０５から入力し、入力データに基づいて相槌位置を示す時間データ１３２２を生成して、これを語彙選択部１３０１と、アニメーション生成部１３１３へ出力する。
【００４０】
語彙選択部１３０１は、次の相槌予測時間１３２２内にある入力された各々の語彙データ１３２１が示す強度を比較し、一番大きな語彙データを選択し、これが予め与えられた閾値より大きな強度を有する場合、出力対象の相槌語彙データ１３３１として選択し、選択したデータ（相槌語彙データ１３３１）を振る舞い生成部１３１１へ出力する。
【００４１】
一方、語彙選択部１３０１において、予め与えられた閾値より大きな強度を有する語彙データが検出されず、出力対象となる相槌語彙が選択されなかった場合も、選択されなかったという情報、すなわち「相槌語彙データなし」を示す相槌語彙データ１３３１が振る舞い生成部１３１１へ送られる。
【００４２】
振る舞い生成部１３１１は、思考層からの発話文入力データ１３３２があった場合、この入力データに基づいてアニメーションスクリプトデータ１３３６と、音声合成用テキストデータ１３３４を生成し、それぞれアニメーション生成部１３１３と、音声合成部１３１２へ出力する。
【００４３】
一方、思考層からの発話文入力データ１３３２が無かった場合において、語彙選択部１３０１からの相槌語彙データ１３３１を受信した場合には、この入力データに基づいてアニメーションスクリプトデータ１３３６と、音声合成用テキストデータ１３３４を生成し、それぞれアニメーション生成部１３１３と、音声合成部１３１２へ出力する。
【００４４】
また、振る舞い生成部１３１１が、語彙選択部１３０１からの相槌語彙データ１３３１として相槌語彙がないという情報を入力した場合には、振る舞い生成部１３１１は、後述する方法（図１１〜１３を参照して説明）によって独自に相槌語彙を決定し、決定した相槌語彙に基づいてアニメーションスクリプトデータ１３３６と、音声合成用テキストデータ１３３４を生成し、それぞれアニメーション生成部１３１３と、音声合成部１３１２へ出力する。
【００４５】
音声合成部１３１２は、振る舞い生成部１３１１から入力された音声合成用テキストデータ１３３４に基づいて、音声波形データ１３３５を生成し、アニメーション生成部１３１３のリップシンク部へ出力する。
【００４６】
アニメーション生成部１３１３は、相槌位置予測部１３０３から入力する相槌予測時間データ１３２２と、音声合成部１３１２から入力する音声波形データ１３３５と、振る舞い生成部１３１１から入力するアニメーションスクリプトデータ１３３６とに基づいて、リップシンクを行ったアニメーションデータ１３３８を生成し、ディスプレイ１３１４に出力する。また、リップシンクに用いた音声波形データ１３３７に基づく音声信号がスピーカ１３１５を介して出力される。
【００４７】
図７に示した語彙データの構成について説明する。語彙データは、語彙強度、周波数強度、語彙クラス、語彙から成っている。図６に示す語彙データ生成部１３０２は、音声認識部１３０４から認識単語列データ１３２４を入力するとともに、発音の強さならびに周波数の経時変化データ１３２３を、スペクトル解析部１３０５から入力し、これらの各入力データに基づく処理を実行して、語彙データ１３２１を生成して、語彙選択部１３０１へ出力する。語彙データ生成部１３０２では、語彙強度、周波数強度と語彙のフィールドが計算、利用され、語彙クラスは、感情層１２０を介して思考層１１０へ送られ、思考層１１０においても用いられる。
【００４８】
図８は、感情データが感情空間の座標として与えられることを示す図である。感情を図８に示すように、例えば楽しみ、悲しみ、怒りの３軸からなる多次元の状態空間における座標点３０１として表現する。この座標点データに基づいて、楽しみ、悲しみ、怒りの度合いが示される。この座標点データは、図６に示す振る舞い生成部１３１１に対する感情層からの出力１３３３とされ、感情層１２０内での処理にも用いられる。
【００４９】
図９は、スペクトル解析部１３０５で、入力するユーザ発話入力部から入力する音声データ１３２５に基づいて解析される音声パワースペクトルと、相槌位置予測部１３０３において実行される相槌位置予測処理において求める相槌位置の関係を示す図である。
【００５０】
上段のグラフは、ユーザ発話入力部１３０８に入力されたユーザ発話に基づいてスペクトル解析部１３０５で解析された音声パワースペクトルの時間経過データ３５０を示しており、下段は、ユーザ発話入力部１３０８に入力されたユーザ発話に基づいて音声認識部１３０４で解析された音声認識による認識語彙列３８０を示している。
【００５１】
音声認識部１３０４において認識された語彙列３８１，３８２，３８３に対して、それぞれ、音声パワースペクトルの時間経過データ３５０の各ポイント３５１，３５２，３５３が対応している。また、音声パワースペクトルの時間経過データ３５０の各ポイント３６１，３６２，３６３は、発話の強さが落ちている場所であり、相槌を打つタイミングとして認識できる。
【００５２】
図６に示す相槌位置予測部１３０３は、スペクトル解析部１３０５から入力する例えば図９に示す音声パワースペクトルの時間経過データ３５０に基づいて、相槌を打つタイミングを決定する処理を行なう。ここでは、例えばポイント３６３で示す時間が相槌予測時間として設定され、相槌位置予測部１３２３から語彙選択部１３０１へ設定位置データが送られる。
【００５３】
図１０を参照して、語彙データ生成部１３２１で生成する語彙データ中の語彙強度を計算する方法について説明する。図１０に示すグラフ４０３は、スペクトル解析部１３０５から入力される時間経過に対する音声パワースペクトルの変化を示すデータである。
【００５４】
この音声パワースペクトルの変化データにおいて、現時点（ｔ）から予め定めた所定時間前までの波形を抽出し、その所定時間間隔Ｔにおける平均値、分散を求める。これらの計算式を図１１（ｂ），（ｃ）に示す。これらの値の算出に際しては、図１０のデータをΔｔ単位の短冊形データの集合として識別した処理を行なっている。
【００５５】
図９のポイント３８３に示した語彙に対するスペクトル位置は、図１０のポイント４０２の位置となる。当該区間内にある短冊の平均値をこの場所における値として用いる。
【００５６】
図１１（ａ）は短冊数を、図１１（ｂ）は区間内における平均値を、図１１（ｃ）は区間内における分散を、図１１（ｄ）は図１０のポイント４０２に示した部分における偏差値を、図１１（ｅ）は語彙強度の算出式を示しており、語彙強度は、音声パワースペクトルにおける強度と、周波数の計時変化における強度との平均値によって求められる。以下に各値の算出式を示す。
【００５７】
【数１】
2004086001.tif 000003
【００５８】
次に語彙選択部１３０１において実行される出力対象としての相槌語彙を選択する処理について図１２を参照して説明する。語彙選択部１３０１は、図１２に示すような、意味空間にマッピングされた相槌語彙と入力ベクトルの関係データを有する。意味空間は、様々な定義による空間として生成可能であるが、ここでは、ｘ軸を同意、ｙ軸を疑問、ｚ軸を促進として各軸を設定した意味空間を定義した例を示している。
【００５９】
意味空間には様々な相槌語彙４５１ａ〜ｄ・・がマッピングされており、各相槌語彙は、相槌語彙ベクトルによって意味空間上での位置が決定されている。意味空間から出力対象としての相槌語彙を選択する際には、検索クエリーが用いられる、図には、検索クエリーとして適用される状態ベクトル４５３、その散らばり度４５４を示している。出力対象としての相槌語彙を選択する際には、検索クエリーとして適用される状態ベクトル４５３と、各語彙ベクトルとの内積を計算し、計算結果に基づく語彙選択を実行する。
【００６０】
また、語彙選択部１３０１において実行される出力対象としての相槌語彙を選択する処理では、相槌語彙の使用頻度を考慮した選択処理が実行される。語彙選択部１３０１は、使用された相槌語彙の使用頻度データを格納し、格納データに基づいて出力する相槌語彙を選択する処理を実行する。図１３は、語彙選択部１３０１の有する相槌語彙の使用頻度データ例を示した図である。
【００６１】
語彙選択部１３０１は、図１２に示す意味空間に基づく処理、および図１３に示す相槌語彙の使用頻度データに基づく処理により、複数の相槌語彙の中から出力する相槌語彙を選択する処理を実行する。各相槌語彙の選択確率は下式によって求められる。
【００６２】
【数２】
確率（ｉ）＝規格化定数×（強度×内積（状態ベクトル，語彙ベクトル（ｉ））＋（頻度総和／頻度（ｉ）））
【００６３】
上記式において、規格化定数は、個々の確率の合計が１、すなわちΣ確率（ｉ）＝１とするために設定される定数である。強度は、図１２における散らばり度４５４に対応する距離データである。図１２に示す状態ベクトル４５３と語彙ベクトル４５２の内積に強度をかけたものと、図１３に示す各々の頻度をその相対で除したものの逆数の和に、規格化定数をかけたものを、その語彙の選択確率として用いる。
【００６４】
上記式から理解されるように、確率（ｉ）は、使用頻度の少ないものが高い値を持つ設定であり、使用頻度の少ないものから順に選択確率が高くなっている。従って、例えば図１３に示す仕様頻度データを持つ場合には、語彙３８３、語彙３８１、語彙３８４、語彙３８２の順に、選択確率が高くなる。
【００６５】
次に、図１４を参照して、感情層内の処理の流れについて説明する。まず、相槌層の語彙データ選択部１３０２（図６参照）から語彙データ５２３が感情層内の感情語彙選択部５０２に入力され、入力された語彙データ５２３は思考層へそのまま送られると同時に、感情語彙選択部５０２で処理がなされる。感情語彙選択部５０２では、入力された語彙データ５２３のうち、感情語彙選択部５０２の保有する感情語リストにその語彙がある場合、その語彙に割り当てられている感情データ５２２を、感情状態更新部５０１へ送信する。
【００６６】
感情状態更新部５０１は、入力される感情データに応じて、感情の現在状態を更新し、この結果としての更新データ５２１を思考層と発話文抑制部５１１へ送る。感情状態更新部５０１において実行する感情状態の更新処理について、図１５を算しようして説明する。
【００６７】
図１５には、ｘ軸を周波数強度、ｙ軸を語彙強度とした感情空間が定義され、定義された空間内に悲しみ、楽しみ、喜び、怒りの各感情状態領域が設定されている。この感情空間、および各感情状態領域の設定は予め設定されたデータである。この空間にユーザの発話に基づく語彙強度、周波数強度データに基づくポイントが設定され、逐次更新される。例えばｔ＝１においてユーザの発話に基づく語彙強度、周波数強度データに基づくポイント５５１が設定され、次の計測タイミング、ｔ＝２においてユーザの発話に基づく語彙強度、周波数強度データに基づくポイント５５２が設定される。これらの更新処理が順次実行される。
【００６８】
発話文抑制部５１１は、感情状態更新部５０１から入力される感情状態データ５２１が怒り領域内にあるなど、予め設定された感情状態領域の範囲に入ると、思考層から入力される発話文データ５３１を捨て、発話文抑制部５１１の有する感情にマップされた応答文集合からランダムに文を選択し、選択したランダム文データ５３２を声のトーン・語調調整部５１２へ送る。
【００６９】
声のトーン・語調調整部５１２では、発話文抑制部５１１から受領したランダム文データ５３２に対して、感情状態を元に声のトーンや語気の強さをコントロールするための情報を付加したデータ５３３を相槌層へ出力する。
【００７０】
次に図１６を参照して、思考層内の処理の流れを示す。品詞分析部７０２は、感情層から入力される語彙データ７２２（図７参照）内にある語彙の品詞の分析を行い、その結果としての品詞分析データ７２１を単語連想部７０１に送る。単語連想部７０１は、品詞分析部７０２から入力する品詞分析データ７２１に基づいて、連応答文コーパス７１１と文脈保存データ７１２を用いて想語彙を求め、求めた連想語彙データ７３１を応答文作成／エピソード発話部７１３へ送る。
【００７１】
図１７、図１８を参照して、思考層内で実行する連想語彙データ出力処理について説明する。思考層では、単語連想のためのグループ化を予め作成しておく。図１７は、単語連想のためのグループ化作成処理フローである。ステップＳ１０１において、大量のテキストデータを入力し、ステップＳ１０２において語彙間の共生起確率を求める。次に、ステップＳ１０３において共生起確率を元に語彙のグループ化を行い、ステップＳ１０４において入力語彙に対する語彙グループへの変換テーブルを出力する。なお、この処理は、予め行っておくものとする。
【００７２】
次に、入力語彙に対する語彙グループへの変換テーブルを適用した処理、すなわち、連想語彙を求める処理について図１８を参照して説明する。ステップＳ２０１において語彙を入力する。これは、感情層から入力される語彙データ７２２（図７参照）である。ステップＳ２０２において、入力語彙に対する語彙グループへの変換テーブルを適用して入力語彙が属するグループを選択する。ステップＳ２０３において、グループ内にある語彙群から、入力された語彙とは異なる語彙を選択し、ステップＳ２０４において出力する。
【００７３】
この図１８に示すフローに従った処理により連想語彙を求め、応答文作成／エピソード発話部７１３へ連想語彙データ７３１を送る。応答文作成／エピソード発話部７１３では、単語連想部７０１から入力される連想語彙データに基づいて、応答文コーパス７１１と文脈保存データ７１２を用いて、応答文を作成し、この結果を感情層へ送る（図１６−１１３２）。
【００７４】
図１９を参照して、応答文作成／エピソード発話部７１３が、単語連想部７０１から入力される連想語彙データに基づいて応答文を作成する処理手順を説明する。
【００７５】
ステップＳ３０１において、現在進行中の発話があるか印加を判定する。現在進行中の発話がある場合、ステップＳ３０５に進み、発話を続ける。現在進行中の発話がない場合には、ステップＳ３０２に進み、図１８を参照して説明した連想語彙選択処理によって選択された語彙に結びつくエピソードを検索する。選択語彙に結びつくエピソードが存在した場合は、ステップＳ３０３において、エピソード発話を開始し、選択語彙に結びつくエピソードが存在しない場合は、ステップＳ３０４において応答文作成処理を実行する。
【００７６】
ステップＳ３０４における応答文作成処理について図２０を参照して説明する。各基本語彙８０２は文法的なラベルが振られている。「ぼく」「私」「あなた」などは人称代名詞８０４として登録されており、「きみこ」「ひかる」などは新規登録８０１された語彙であり、また、「東京ディズニーランド」などは「場所」８０５にラベリングされた語彙として設定されている。
【００７７】
これらの各語彙において、例えば場所と動詞８０６「行く」「出かける」「遊ぶ」などは共生起確率が高く設定されている。この共生起確率がラベル間で定義されており、この共生起確率データに基づいて文が作成される。また、共生起する動詞句を修飾する形で省略可能なスロットが用意されており、全体としてみると、図２０に示すようなスロット付きフレーム６０７と考えることができる。
【００７８】
図２０に示すスロットフレーム８０７は、固有名詞、人称代名詞、助詞の組み合わせが１単位として省略可能な構成データとされ、これらと場所、動詞の連結により、文が生成される。これらの固有名詞、人称代名詞、場所、動詞等のフィールドに語彙グループから選択された語彙が格納されて文章が生成される。この処理によって例えば文例８０８が生成される。グループ設定情報を用いることによって、ユーザとシステムとの間で交わされる言葉から、共通認識されているであろうと判定される固有名詞、人称代名詞等を省略可能な語彙として設定することが可能となり、親しみ間のある会話を行なうことができる。
【００７９】
上述したように、本発明の会話処理装置においては、ユーザ発話に基づく入力音声情報に基づいて、語彙解析、スペクトル解析を実行して、ユーザ発話の間を判定して、会話処理装置からの応答として最適な語彙を選択して出力する構成としたので、会話リズムをくずすことなく、ユーザと会話処理装置間での会話を行なうことが可能となり、ユーザがシステムに対して親しみを覚えられるようになる。
【００８０】
なお、本発明の構成は、図１に示すように、コンピュータグラフィクスによるキャラクターとのコミュニケーション以外にも、ロボットやぬいぐるみなどに会話機能を付加する際にそのまま適用することができる。また、この発明は会話認識と生成に焦点を当てていることから、図３に示すようにキャラクターを表示することなくキーボードからの文章入力と、ディスプレイ　における文字出力によって行う構成としてもよい。同様に、図４に示すように、携帯電話やＰＤＡなどにおいて実現する構成としてもよい。
【００８１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８２】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８３】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８４】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００８６】
【発明の効果】
以上、説明したように、本発明の構成に従えば、ユーザの発する音声情報の強度および語彙の解析処理を実行し、該解析処理結果に基づいて、ユーザの発話と発話の間の位置を判定するとともに、間の位置においてユーザに対して出力する最適語彙の選択処理を実行する構成としたので、ユーザの発話の間に対して的確に装置からの応答、会話を実行することが可能となり、音声情報の語彙の解析処理により、応答または相槌語彙の選択を的確に実行することが可能となる。
【００８７】
さらに、本発明の構成によれば、音声入力部において入力した音声情報に基づく解析処理結果に基づいて、ユーザの感情情報を解析し、ユーザに対して出力する音声のトーン、語調制御処理を実行する構成としたので、ユーザの感情を考慮した応答、会話が可能となる。
【００８８】
また、本発明の構成によれば、ユーザ発話に対する応答を生成する制御部を階層化した構成としたので、相槌などの会話リズム処理と応答文生成が並列処理として実行できる。また、ユーザ発話文に基づくグループ設定情報を用いることによって、ユーザとシステムとの間で交わされる言葉を最適なものとして設定することができるようになり、より親しい間柄を演出することが可能となる。
【００８９】
本発明によれば、会話を楽しむという観点から、ユーザ発話とシステムの発話において、相槌タイミングなど、会話リズムを取り入れることによって、ユーザがシステムに対して親しみを覚えられるようになる。また、現時点での会話内容を推測することにより、ユーザとの間で交わされる言葉を少なくしていくことによって、システムに対して近しみを感じられるようになる。また、会話生成パターンが直接分からないように、文章生成ルールを用いることによって、実質、無限の発話生成ができるようにすることが可能となり、ユーザが飽きる現象を小さく押さえることが可能となる。
【図面の簡単な説明】
【図１】ＣＧキャラクタと音声で会話するシステム例を示す図である。
【図２】携帯端末においてＣＧキャラクタと音声で会話するシステム例を示す図である。
【図３】キャラクタを用いてシステムと会話するシステム例を示す図である。
【図４】携帯端末においてキャラクタを用いてシステムと会話するシステム例を示す図である。
【図５】本発明の会話処理装置における制御部の階層構成を示す図である。
【図６】相槌層内の処理の流れを示す図である。
【図７】語彙データの構成を示す図である。
【図８】感情データが感情空間の座標として与えられることを説明する図である。
【図９】パワースペクトルと認識された語彙、相槌位置の関係を説明する図である。
【図１０】語彙強度を計算する方法を示す図である。
【図１１】語彙強度を計算する計算式を示す図である。
【図１２】意味空間にマッピングされた相槌語彙と入力ベクトルの関係を説明する図である。
【図１３】相槌語彙の使用頻度グラフ例を示す図である。
【図１４】感情層内の処理の流れを説明する図である。
【図１５】キャラクタの持つ感情が、感情空間内を移動することを説明する図である。
【図１６】思考層内の処理の流れを説明する図である。
【図１７】単語連想のためのグループ化の作成処理手順を説明するフロー図である。
【図１８】単語連想を行う処理手順を説明するフロー図である。
【図１９】応答文を作成する処理手順を説明するフロー図である。
【図２０】文章生成ルールを説明する図である。
【符号の説明】
１１　制御手段
１２　ディスプレイ
１３　会話処理キャラクター
１４　スビーカ
１５　マイク
２１　ＣＧないしはテキストデータ
２２　キーボード
１００　制御手段
１１０　思考層
１２０　感情層
１３０　相槌層
１３０１　語彙選択部
１３０２　語彙データ生成部
１３０３　相槌位置予測部
１３０４　音声認識部
１３０５　スペクトル解析部
１３０６　ユーザ発話入力部
１３１１　振る舞い生成部
１３１２　音声合成部
１３１３　アニメーション生成部
１３１４　ディスプレイ
１３１５　スピーカ
５０１　感情状態更新部
５０２　感情語彙選択部
５１１　発話文抑制部
５１２　声のトーン・語長調整部
７０１　単語連想部
７０２　品詞分析部
７１１　応答文コーパス
７１２　文脈保存データ
７１３　応答文作成／エピソード発話部
【図１】
2004086001.tif 000004
【図２】
2004086001.tif 000005
【図３】
2004086001.tif 000006
【図４】
2004086001.tif 000007
【図５】
2004086001.tif 000008
【図６】
2004086001.tif 000009
【図７】
2004086001.tif 000010
【図８】
2004086001.tif 000011
【図９】
2004086001.tif 000012
【図１０】
2004086001.tif 000013
【図１１】
2004086001.tif 000014
【図１２】
2004086001.tif 000015
【図１３】
2004086001.tif 000016
【図１４】
2004086001.tif 000017
【図１５】
2004086001.tif 000018
【図１６】
2004086001.tif 000019
【図１７】
2004086001.tif 000020
【図１８】
2004086001.tif 000021
【図１９】
2004086001.tif 000022
【図２０】
2004086001.tif 000023