Source: https://patents.google.com/patent/JP2002123289A/en
Timestamp: 2019-02-16 16:37:26
Document Index: 459122732

Matched Legal Cases: ['art 101', 'art 102', 'art 103', 'art 104', 'art 105', 'art 106', 'art 107', 'art 108', 'art 109', 'art 106']

JP2002123289A - Voice interactive device - Google Patents
Voice interactive device
JP2002123289A
JP2002123289A JP2000313912A JP2000313912A JP2002123289A JP 2002123289 A JP2002123289 A JP 2002123289A JP 2000313912 A JP2000313912 A JP 2000313912A JP 2000313912 A JP2000313912 A JP 2000313912A JP 2002123289 A JP2002123289 A JP 2002123289A
emotion parameter
JP2000313912A
Sunako Asayama
Kotoko Kanai
砂子 朝山
江都子 金井
2000-10-13 Priority to JP2000313912A priority Critical patent/JP2002123289A/en
2002-04-26 Publication of JP2002123289A publication Critical patent/JP2002123289A/en
PROBLEM TO BE SOLVED: To provide a voice interactive apparatus which can realize a natural dialog like human in an interaction between a system and a user.
SOLUTION: The voice interactive device is provided with a voice input part 101 to input speech uttered by the user, a voice recognition part 102 to convert the voice into word strings, a language understanding part 103 to convert the word strings into a conceptual signal, an emotional information extracting part 104 to extracts emotional information, a user's emotional parameter generating part 105 to generate a user emotional parameter based on the emotional information and the conceptual signal, an emotional parameter generating part 106 of the system to generate and emotional parameter of the system, a response text generating part 107 to generate a response text of the system, a response dictionary storage part 108 to store a response dictionary, and a voice output part 109 which outputs the response voice of the system.
【発明の属する技術分野】本発明は、システムとユーザーが音声を利用して対話するための音声対話装置に関する。 The present invention relates to relates to voice dialogue system for the system and user to interact with using speech.
【従来の技術】近年、音声認識技術を用いた音声入力機器や音声出力機器の開発が急速に進み、これらの機器が自動販売機や自動翻訳システムなどのさまざまな機器やシステムに音声対話装置として組み込まれるようになった。 In recent years, as the voice dialogue system to a variety of devices and systems, such as voice input devices and the development of the audio output device advances rapidly, these devices are vending machines and automatic translation system using voice recognition technology It came to be built. その結果、ユーザーと対話することのできる音声対話装置を有するシステムが急激に増加した。 As a result, a system having a voice dialogue system capable of interacting with the user rapidly increased. ところが、 However,
これらの音声対話装置との対話は、感情を持っているユーザーと、感情を持っていないシステムとの対話であるので、ユーザーはシステムに話しかけることに違和感を覚えていた。 Dialogue with these voice dialogue system, and users have feelings, because it is interaction with the system that do not have the feeling, the user was uncomfortable to talk to the system. その結果、従来の音声対話装置は、人間にとって操作し易い音声入力を実現しているが扱いにくい、と評価されることが少なくなかった。 As a result, conventional voice dialogue system is less but is realized easily voice input operation for humans treated, were many to be evaluated as.
【０００３】そのような点を改良する提案の一つとして、特開平８−３３９４４６号公報には、ユーザーの多様な感情を検出し、システム側から検出したユーザーの感情に応じた音声情報を出力する音声対話装置が開示されている。 As one proposal to improve such a point, JP-A-8-339446, to detect a variety of emotions user, outputs the audio information corresponding to the user's emotion detected from the system voice dialogue system which is disclosed. この先行例の音声対話装置について、図１６ The speech dialogue system of this prior art example, Fig. 16
の従来の音声対話装置のブロック図を参照しつつ説明する。 Reference now be described with reference to a block diagram of a conventional speech dialogue system of. 図１６において、音声入力部２０１にユーザーが発声した音声が入力されると音声信号が特徴抽出部２０２ 16, an audio input portion 201 audio signal when the audio user utters are input to the feature extraction unit 202
に出力される。 It is output to. 特徴抽出部２０２では、入力された音声信号から音声の高低（以下ピッチという）、音声の大きさ、発話の速度、および音声の休止期間（以下、ポーズと言う）の長さなどの特徴量が抽出される。 The feature extraction unit 202, the height of the speech from the input speech signal (hereinafter referred to as pitch), sound magnitude, the speed of the speech, and speech pause period feature quantity such as the length (hereinafter, referred to as pause) is It is extracted.
【０００４】感情判定部２０３では、特徴抽出部２０２ [0004] In the emotion determination unit 203, the feature extraction unit 202
で抽出された特徴量に基づいて、ユーザーの感情が判定される。 In based on the extracted feature amount, the user emotion is determined. 例えば、特徴量が、１フレーム毎の平均ピッチにおける先行フレームからの変化量［％］だとすると、 For example, feature quantity, the amount of change from the previous frame in the average pitch for each frame [%] Datosuruto,
その値が＋２０［％］ならば、ユーザーの感情が「楽しい」と判定される。 If the value is +20 [%], the user's emotion is determined to be "fun". 応答生成部２０４では、感情判定部２０３において判定されたユーザーの感情に応じて、システムの応答文が生成される。 The response generator 204, in accordance with the feelings of the user determined in the emotion determination unit 203, the response sentence of the system is generated. 例えば、ユーザーの感情が「楽しい」であった場合、音声の大きさ、発話の速度などが「楽しい」に対応した応答文が生成される。 For example, if the user's emotion is "happy", the voice of the size, such as the speed of utterance is answering sentence corresponding to "happy" is generated. 音声出力部２０５では、応答生成部２０４で生成された応答文が音声として出力される。 The audio output unit 205, the response sentence generated by the response generating unit 204 is output as a voice.
【発明が解決しようとする課題】従来の音声対話装置では、入力した音声信号の特徴量からユーザーの感情を判定し、判定された感情に基づいて応答を出力している。 In [0006] the conventional speech dialogue system, it determines the user's emotion from the feature quantity of the input audio signal, and outputs a response based on the determined emotion.
つまり、ユーザーの入力音声の音響的特徴のみに基づいて感情判定をするものであって、ユーザーの発声した単語の意味には基づいていなかった。 In other words, it is those based solely on acoustic characteristics of the user's input speech to the emotion determination was not based on the meaning of the word you user utterance. ところが感情というものは、言葉にも表れるものであり、言葉の意味を理解せずに正確な感情判定が行えるはずはなく、ユーザーの満足は得られるものではない。 However, those that emotions are those that appear in words, not supposed to perform the exact emotion judgment without understanding the meaning of words, not user satisfaction is obtained. そこで、ユーザーが発声した音声から抽出した音響的特徴と、認識した言葉の意味とに基づいて感情を判定し、ユーザーが感情を素直に言葉にした時や、言葉とは裏腹な感情を抱いた時など、 Therefore, the acoustic features that the user has extracted from the speech was uttered, to determine the emotion on the basis of the meaning of the recognized words, and when the user has the words obediently feelings, holding a contrary feelings and words such as when,
どんな時でも正確にユーザー感情を認識して対話することのできる、より人間に近い音声対話装置が求められている。 You can interact to recognize exactly the user emotion even when any, voice dialogue system has been demanded closer to human beings.
【０００６】また、従来の音声対話装置では、システムの応答を生成する際に、感情判定部で判定されたユーザーの感情を用いているが、システム自身に発生させた感情を用いてはいなかった。 Further, in the conventional speech dialogue system, in generating the response of the system, but using the emotion of the user is determined by the emotion determination unit, were not using the emotion caused to the system itself . 人間同士の対話では、相手の感情に対して必ず自分の感情が存在し、相手の言葉と感情から生成される自分の感情と言葉とに基づいて応答を返している。 In the dialogue between human beings, there is always their emotions regard for the feelings of the other party, which returns a response on the basis of the their emotions and words that are generated from the other party of words and emotions. つまり、従来の音声対話装置は、ユーザーの感情に対するシステム自身の感情に基づいて応答していないため、人間同士の対話に近いシステムとは言えなかった。 That is, the conventional speech dialogue system, because on the basis of the system itself feelings to the user's emotion is not responding, not be said to be close to interaction between humans system. その結果、ユーザーは音声対話装置は扱いにくいものだと言う印象を強く抱いていた。 As a result, the user was carrying strong impression to say that's what cumbersome voice dialogue system.
【０００７】本発明の目的は、人間同士の対話のように、自然で親しみ易く、飽きがこない音声対話装置を提供することにある。 An object of the present invention, as in the interaction between humans, easily approachable natural, is to provide a tired no voice dialogue system.
【課題を解決するための手段】本発明の音声対話装置は、システムとユーザーとの対話を実現する音声対話装置であって、ユーザーの発話した音声を入力して音声信号を出力する音声入力手段、前記音声入力手段から出力される音声信号を認識し、単語列として出力する音声認識手段、前記音声認識手段から出力される前記単語列を前記ユーザーの発話の意味を表す概念信号に変換する言語理解手段、前記音声入力手段から出力される音声信号から前記ユーザーの感情を抽出し感情情報として出力する感情情報抽出手段、前記感情情報抽出手段から出力される前記感情情報と、前記言語理解手段から出力される前記概念信号とから前記ユーザーの感情を表すユーザー感情パラメータを生成するユーザー感情パラメータ生成手段、前記ユーザー Voice interaction device SUMMARY OF THE INVENTION The present invention provides systems and a voice dialogue system for realizing the user interaction, speech input means for outputting an audio signal to input audio to the user's speech recognizes the voice signal output from said voice input means, voice recognition means for outputting a word string, the language which converts the word string output from the voice recognition unit on the concept signals representative of the meaning of the user's speech Understanding means, said emotion information extraction means for outputting the extracted emotion information emotions of the user from the audio signal output from the voice input means, the emotion information outputted from the emotion information extraction unit, from the language understanding unit user emotion parameter generating means for generating a user emotion parameter representing the emotion of the user from the concepts signal output, the user 情パラメータ、もしくは、前記ユーザー感情パラメータと前記概念信号との両者に基づいて前記システムの感情を表すシステム感情パラメータを生成するシステム感情パラメータ生成手段、前記概念信号、前記ユーザー感情パラメータ、または前記システム感情パラメータに基づいてシステムの応答文を生成する応答文生成手段、および前記応答文を音声として出力する音声出力手段を備えている。 Information parameter or the user emotion parameter as the system emotion parameter generating means for generating a system emotion parameter representing the emotion of the system based on both of said conceptual signal, the concept signal, the user emotion parameter or the system emotion, answering sentence generating means for generating an answering sentence system based on the parameters, and the response sentence has a voice output means for outputting as speech.
【０００９】この構成の音声対話装置によれば、ユーザー感情パラメータを、音声の音響的特徴だけでなく言葉の意味にも基づいて生成するため、ユーザーの感情をより正確に判定することができる。 According to the voice dialogue system of this configuration, the user emotion parameter, for generating based also on the meaning of the word as well as the acoustic features of speech, it is possible to determine the user's emotions more accurately. また、ユーザーの感情だけでなくシステムの感情をも生成して応答を返すため、ユーザーとシステムの間で、まるで人間同士のような対話を実現することができる。 Moreover, to return a response by generating also a feeling of the system as well as the user's emotions can be between the user and the system, implementing the like interaction, such as human beings. その結果、ユーザーはシステムに対してより親しみを感じることができ、ユーザーの音声対話装置は扱いにくいという印象を取り除くことができる。 As a result, the user can remove the impression that the more familiar can feel the users of voice dialogue system is cumbersome to the system.
【００１０】上記構成の音声対話装置であって、前記感情情報抽出手段が、前記音声入力手段から出力される音声信号における前記音声の継続時間、発話速度、ポーズの有無、振幅、基本周波数等の音声の状態を表す数値に基づいてユーザーの感情情報を生成するのが好ましい。 [0010] A voice interaction device having the above structure, the emotion information extraction means, the duration of the speech in the audio signal output from said voice input means, the speech rate, presence or absence of a pause, amplitude, such as the fundamental frequency preferably generates a user emotion information based on the value representing the state of the voice.
また、前記感情情報、前記ユーザー感情パラメータ及び前記システム感情パラメータが、「喜」、「怒」、 Further, the emotion information, the user emotion parameter and the system emotion parameter, "joy", "anger",
「哀」、「楽」等の少なくとも１つ以上の感情変数から構成されているのが好ましい。 "Sorrow", what is composed of at least one or more emotional variables, such as "easy" are preferred. また、前記ユーザー感情パラメータ生成手段が、前記言語理解手段から出力された前記概念信号に基づいて概念感情情報を生成し、前記概念感情情報と前記感情情報抽出手段から出力された前記感情情報とに基づいてユーザー感情パラメータを生成するのが好ましい。 Further, the user emotion parameter generating unit, said generating a concept emotion information based on the output the concepts signal from the language understanding unit, to said emotion information outputted from the conceptual emotion information and the emotion information extraction means preferably generates a user emotion parameter based. また、前記概念感情情報が、予め用意してある前記概念信号に対応する感情変数テーブルに基づいて生成するのが好ましい。 Also, the concept emotion information is preferably generated based on emotion variables table corresponding to the concept signals are prepared in advance.
【００１１】本発明の他の観点による音声対話装置は、 [0011] Another aspect voice interaction apparatus according to the present invention,
上記構成の音声対話装置であって、前記ユーザー感情パラメータ生成手段が、前記ユーザー感情パラメータを記憶するユーザー感情パラメータ記憶手段と、新たに生成したユーザー感情パラメータと前記ユーザー感情パラメータ記憶手段に記憶されているユーザー感情パラメータとを比較して、その変化量が予め定められた値以上の場合にはユーザー感情変化信号を出力するユーザー感情変化信号出力手段、および前記ユーザー感情変化信号が連続出力される回数をカウントしてその回数が予め定められた値以上の場合に前記ユーザー感情パラメータ記憶手段に記憶されているユーザー感情パラメータを更新するユーザー感情パラメータ更新手段を備えている。 A voice dialogue system having the above configuration, the user emotion parameter generating unit, wherein the user emotion parameter storing means for storing a user emotion parameter, stored user emotion parameter newly generated and the user emotion parameter storage means number by comparing the user emotion parameter, the user emotion change signal outputting means for outputting a user emotion change signal when the change amount is greater than or equal to a predetermined, and the user emotion change signal is continuously output are its number is provided with a user emotion parameter updating means for updating the user emotion parameter stored in the user emotion parameter storage means when the above predetermined value by counting.
【００１２】この構成の音声対話装置によれば、ユーザー感情パラメータが予め定められた回数以上連続して変化した場合や、予め定めた変化量以上に変化した場合にユーザーの感情が変化したと判断した場合には、ユーザー感情パラメータ更新手段がユーザー感情パラメータを更新する。 According to the voice dialogue system of this configuration, it determines that the user emotion parameter or when changes continuously over a predetermined number of times, the user of the emotion is changed when changing the amount of change over a predetermined If it is, the user emotion parameter update means updates the user emotion parameter. これにより、突然音声入力手段から入力された雑音等から誤ったユーザー感情パラメータが生成され、それに応じて誤ったシステム感情パラメータが生成されて応答が出力されることを防止できる。 Thus, the generated user emotion parameter incorrect from the noise or the like input from the sudden sound input means, it is possible to prevent the system emotion parameter incorrect according to which it is output response is generated. つまり、雑音等の影響により、音声の継続時間、発話速度、ポーズの有無、振幅、基本周波数等から抽出されるユーザーの感情情報が急激に変化した場合でも、ユーザー感情パラメータやシステム感情パラメータは急激に変化しない。 That is, due to the influence of noise or the like, the duration of the voice, speech rate, presence or absence of a pause, amplitude, even if the user of the emotion information extracted from the fundamental frequency or the like rapidly changes, user emotion parameter or system emotion parameter abruptly do not change.
その結果、対話内容にまとまりのある高性能なシステムを実現でき、ユーザーのシステムに対する信頼度を向上することができる。 As a result, it is possible to realize a high-performance system in which a cohesive interactive content, it is possible to improve the reliability of the user's system.
【００１３】本発明のさらに他の観点による音声対話装置は、上記構成の音声対話装置であって、前記言語理解手段から出力される前記概念信号が予め設定されている特定の概念信号に一致している場合に特定感情パラメータを出力する特定感情パラメータ出力手段、および前記特定感情パラメータが入力されると前記システム感情パラメータの値を前記特定感情パラメータの値に変更するシステム感情パラメータ生成手段を備えている。 [0013] voice dialogue system according to yet another aspect of the present invention, there is provided a voice interaction device configured as described above, consistent with the particular concept signals the concepts signal output from the language understanding unit is set in advance specific emotion parameter output means for outputting a specific emotion parameter if it is, and includes a system emotion parameter generating means for changing the the specific emotion parameters are entered the values ​​of the system emotion parameter to the value of the specific emotion parameter there.
【００１４】この構成によれば、ユーザーのある一言によってシステムの感情を急激に変化させることができ、 According to this configuration, it is possible to by a word with a user to rapidly changing emotions of the system,
ユーザーに対して、システムが感情を持っているという印象をより強く与え、より親しみ易いシステムを実現することができる。 To the user, giving more strongly the impression that the system has a feeling, it is possible to realize a more familiar easy system. その結果、ユーザーのシステムに対する拒絶反応をより少なくできる。 As a result, less rejection on the user's system. また、対話に意外性を持たすことができるため、ユーザーを飽きさせないシステムを実現できる。 Moreover, since it is possible to Motas unexpectedness interactively it can be realized without boring the user system.
【００１５】本発明のさらに他の観点による音声対話装置は、前記応答文生成手段が、前記ユーザー感情パラメータ生成手段から出力されるユーザー感情パラメータ、 Still another aspect voice dialogue system according to the present invention, the response sentence generation unit, the user emotion parameter output from the user emotion parameter generating means,
および前記システム感情パラメータ生成手段から出力されるシステム感情パラメータの変化情報を抽出し、それぞれの変化情報に基づいて前記システムの応答文を生成する。 And extracting the change information system emotion parameter output from the system emotion parameter generating unit generates the response sentence of the system based on their change information.
【００１６】この構成によれば、ユーザーやシステムの感情の変化に応じてシステム応答を変化させることができ、ユーザーとシステムの間で、より自然な対話を実現することができる。 According to this configuration, it is possible according to the change in the feelings of the user or the system can be changed system response, between the user and the system, to achieve a more natural conversation.
【発明の実施の形態】以下、本発明の音声対話装置の好適な実施例について添付の図面を参照しつつ説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, referring now be described to the accompanying drawings a preferred embodiment of the speech dialogue system of the present invention.
【００１８】《実施例１》図１は、本発明の実施例１の音声対話装置の構成を示すブロック図である。 [0018] "Embodiment 1" Fig. 1 is a block diagram showing the configuration of a voice interaction device of the first embodiment of the present invention. 図１に示すように、実施例１の音声対話装置は、音声入力部１０ 1, the speech dialogue system of the first embodiment, the voice input unit 10
１、音声認識部１０２、言語理解部１０３、感情情報抽出部１０４、ユーザー感情パラメータ生成部１０５、システム感情パラメータ生成部１０６、応答文生成部１０ 1, the speech recognition unit 102, the language understanding unit 103, emotion information extraction unit 104, the user emotion parameter generating unit 105, the system emotion parameter generating unit 106, the response sentence generation unit 10
７、応答辞書格納部１０８、及び音声出力部１０９を有している。 7 has response dictionary storage unit 108, and an audio output unit 109.
【００１９】音声入力部１０１はユーザーの発話した音声が入力されると、その音声を音声信号に変換して音声認識部１０２と感情情報抽出部１０４にそれぞれ出力する。 The voice input unit 101 is a voice uttered user is inputted, the output to the speech recognition unit 102 and the emotion information extraction unit 104 converts the audio to the audio signal. 音声認識部１０２は、音声入力部１０１から入力された音声信号を単語列として言語理解部１０３に出力する。 Speech recognition unit 102 outputs the language understanding unit 103 an audio signal input from the sound input unit 101 as a word string. 言語理解部１０３は、音声認識部１０２から出力された単語列を単語の意味を表す概念信号に変換する。 Language understanding unit 103 converts the word sequence output from the speech recognition unit 102 to the concept signals representing the meaning of a word. 感情情報抽出部１０４は、音声入力部１０１から入力された音声信号から感情情報を抽出する。 Emotion information extraction unit 104 extracts the emotion information from the audio signal input from the sound input unit 101. ユーザー感情パラメータ生成部１０５は、感情情報抽出部１０４から出力された感情情報と、言語理解部１０３から出力された概念信号とからユーザー感情を表すユーザー感情パラメータを生成する。 User emotion parameter generating unit 105 generates a user emotion parameter representing the emotion information outputted from the emotion information extraction unit 104, a user emotion and concept signals outputted from the language understanding unit 103.
【００２０】システム感情パラメータ生成部１０６は、 [0020] The system emotion parameter generating unit 106,
ユーザー感情パラメータ生成部１０４から出力されたユーザー感情パラメータに基づいてシステムの感情を表すシステム感情パラメータを生成する。 Generating a system emotion parameter representing the emotion of the system based on user emotion parameter output from the user emotion parameter generating unit 104. 応答文生成部１０ Response sentence generator 10
７は、言語理解部１０３から出力された概念信号と、システム感情パラメータ生成部１０６から出力されたシステム感情パラメータとに基づいて応答辞書格納部１０８ 7, the language understanding unit 103 and concepts signal outputted from the system emotion parameter based on the system emotion parameter output from the generation unit 106 responds dictionary storage unit 108
を検索し、システムの応答文を生成する。 Search for, to generate a response sentence of the system. 音声出力部１ Audio output unit 1
０９は、応答文生成部１０７から出力されたシステムの応答文が音声として出力する。 09, the response sentence of the system output from the response sentence generation unit 107 is output as audio.
【００２１】以上のように構成された本発明の実施例１ [0021] Example 1 of the present invention configured as described above
の音声対話装置の動作について図１〜図６を参照しつつ説明する。 Referring to FIGS now be described operation of the voice dialogue system. 図１において、音声入力部１０１に、ユーザーが、疲れていて不機嫌な様子で、「ただいま」と発声したとする。 In FIG. 1, the voice input unit 101, the user, in a grumpy state tired, it is assumed that say "I'm home". 音声入力部１０１へ入力された音声「ただいま」は、音声信号に変換され、それぞれ音声認識部１ Voice "it's home," that is input into the speech input unit 101 is converted into an audio signal, respectively the speech recognition unit 1
０２と感情情報抽出部１０４とへ出力される。 It is output to the 02 and emotion information extraction section 104.. 音声認識部１０２では、入力された音声信号「ただいま」が、単語列“ただいま”に変換され、言語理解部１０３へ出力される。 The speech recognition unit 102, the audio signal "I'm home," that is input is converted to a word string "now" is outputted to the language understanding unit 103. 言語理解部１０３では、単語列“ただいま” In the language understanding unit 103, the word string "now"
が、“応答、帰宅の知らせ”という概念信号に変換され、ユーザー感情パラメータ生成部１０５へ出力される。 But "response informs go home" is converted to the concept signals that are output to the user emotion parameter generating unit 105.
【００２２】一方、感情情報抽出部１０４では、まず、 On the other hand, the emotion information extraction unit 104, first,
入力された音声「ただいま」から、発話速度と音声レベルが抽出される。 From the sound "I'm home," that is input, speech rate and speech level are extracted. 音声「ただいま」から抽出された発話速度と音声レベルは、それぞれ予め格納されていた標準パターンと比較され、それらの比較結果から、それぞれ４つの感情変数（喜、怒、哀、楽）で表される感情情報が抽出される。 Voice "I'm home" speech rate and speech levels extracted from is compared with a standard pattern previously stored, respectively, from their comparison result, each of the four emotional variables (Hee, anger, sorrow, easier) is represented by that emotional information is extracted. この抽出方法について、図２および図３ This extraction method, Figures 2 and 3
を参照して説明する。 With reference to the description. 図２は、発話速度が標準パターンと比較された結果から、発話速度由来の感情情報Ｖ１が抽出される処理例を示す図である。 2, the result of the speech rate is compared with the standard pattern, is a diagram illustrating an example of processing emotion information V1 from the speech rate is extracted. 図３は、音声レベルが標準パターンと比較された結果から、発話レベル由来の感情情報Ｌ１が抽出される処理例を示す図である。 3, the result of the speech level is compared with the standard pattern, is a diagram illustrating an example of processing emotion information L1 from speech level is extracted. 図２において、左側のグラフは入力音声信号の発話速度と、予め定められている標準パターンとのずれの割合［％］の時間的変化を図示したものである。 2, left side of the graph is a depiction and speech speed of the input speech signal, the temporal change in the percentage of deviation [%] of the reference pattern are predetermined. 右側の表は、左側のグラフのずれの割合に対応して求められる速度由来の感情情報Ｖ１の１１段階の各感情変数の値を示したものである。 Right table shows the values ​​of the emotion variables 11 stages of emotion information V1 from the speed obtained corresponding to the ratio of the displacement of the left side of the graph. また、図３において、左側のグラフは入力音声信号の音声レベルと、予め定められている標準パターンとのずれの割合［％］の時間的変化を図示したものである。 Further, in FIG. 3, left side of the graph is a depiction and sound level of the input audio signal, the temporal change in the percentage of deviation [%] of the reference pattern are predetermined. 右側の表は左側のグラフのずれの割合［％］に対応して求められるレベル由来の感情情報Ｌ１ Right table emotion information from the level obtained in response to the rate of displacement of the left side of the graph [%] L1
の１１段階の各感情変数を示したものである。 It illustrates a 11 stages each emotion variables. ここでは、発話速度の標準パターンとのずれの割合の時間的変化の平均値から感情情報Ｖ１が、音声レベルの標準パターンとのずれの割合の時間的変化の平均値から感情情報Ｌ１がそれぞれ求められるものとする。 Here, the emotion information V1 from the average value of the temporal change in the displacement ratio of the standard pattern of the speech rate is determined emotion information L1 respectively from the average value of the temporal change of the ratio of the deviation between the standard pattern of the speech level It assumed to be.
【００２３】まず、図２において、音声信号「ただいま」から抽出される感情情報Ｖ１は、発話速度と標準パターンのずれの割合の時間的変化の平均値がＮｏ.９の感情情報Ｖ１に相当する領域に属しているため、感情情報Ｖ１はＮｏ.９に決定される。 [0023] First, in FIG. 2, emotion information V1 that is extracted from the speech signal, "I'm home" is the average value of the temporal change in the displacement rate of the speech rate and the standard pattern corresponding to emotion information V1 of No.9 because they belong to the region, emotion information V1 is determined to No.9. 次に、図３において、 Next, in FIG. 3,
音声信号「ただいま」から抽出される感情情報Ｌ１は、 Emotion information L1, which is extracted from the speech signal, "I'm home" is,
音声レベルと標準パターンのずれの割合の時間的変化の平均値がＮｏ.９の感情情報Ｌ１に相当する領域に属しているため、感情情報Ｌ１はＮｏ.９に決定される。 The average value of the temporal change in the percentage of deviation of the speech level and the standard pattern belongs in a region corresponding to emotion information L1 of No.9, emotion information L1 is determined to No.9. このようにして、感情情報抽出部１０４において生成された感情情報Ｖ１、感情情報Ｌ１は、ユーザー感情パラメータ生成部１０５へ出力される。 In this manner, the emotion information V1 generated in the emotion information extraction unit 104, emotion information L1 is output to the user emotion parameter generating unit 105.
【００２４】図４は、図１のユーザー感情パラメータ生成部１０５において、ユーザー感情パラメータが生成される方法を表すフローチャートである。 FIG. 4 is the user emotion parameter generating unit 105 of FIG. 1 is a flowchart illustrating a method of user emotion parameters are generated. 以下、感情情報の（）の中でコンマで区切って示す４つの数字のそれぞれは[喜]、[怒]、[哀]、[楽]の４つの感情変数の値を示す。 Below, each of the four numbers shown separated by a comma in the emotion information () [hee], [anger], [sorrow], indicating the value of the four emotional variables of [ease]. 図４において、ユーザー感情パラメータ生成部１０ 4, the user emotion parameter generating unit 10
５では、まず、感情情報抽出部１０４から出力された感情情報Ｖ１（２０,６０,８０,２０）と感情情報Ｌ１ In 5, firstly, the emotion information outputted from the emotion information extraction unit 104 V1 (20,60,80,20) and emotion information L1
（２０,２０,８０,２０）との平均値感情情報Ａ１（２ (20,20,80,20) the average value of emotion and information A1 (2
０,４０,８０,２０）が計算される。 0,40,80,20) is calculated.
【００２５】次に、図１の言語理解部１０３から出力された概念信号“応答、帰宅の知らせ”に対応する概念感情情報Ｇ１（＋５，＋０，＋０，＋０）が、ユーザー感情パラメータ生成部１０５に予め用意されている概念信号に対応した概念感情情報テーブル１０５０を用いて生成される。 Next, the language understanding unit output concepts signal "response informs go home" to 103 of FIG. 1 conceptual emotion information G1 corresponding to the (+ 5, + 0, + 0, + 0), the user emotion parameter generating unit 105 It is generated using the concept emotion information table 1050 corresponding to the concept signals prepared in advance to. そして、感情情報Ｖ１と感情情報Ｌ１との平均値感情情報Ａ１に概念感情情報Ｇ１が加算されてユーザー感情パラメータＥ１が生成される。 Then, it is added to the average value concept emotion information G1 to emotion information A1 with emotion information V1 and emotion information L1 user emotion parameter E1 is generated. 以上の計算処理の結果、音声「ただいま」におけるユーザー感情パラメータＥ１は、（２５，４０，８０，２０）という値に決定される。 As a result of the above calculation process, the user emotion parameter E1 in the voice "I'm home" is determined to a value of (25,40,80,20). ただし、それぞれの感情変数における加算結果が１００を超えた場合は１００とし、０より小さい場合は０とする。 However, a 100 If the addition result in each emotion variables exceeds 100, less than zero is set to 0. 図１のシステム感情パラメータ生成部１ Figure 1 system emotion parameter generating unit 1
０６は、ユーザー感情パラメータ生成部１０５からユーザー感情パラメータＥ１（２５，４０，８０，２０）が入力されると、ユーザー感情パラメータＥ１に対応した４つの感情変数[ねたみ]、[怒]、[慰め]、[喜]から構成されるシステム感情パラメータＥ１'を生成する。 06, when a user emotion parameter generating unit 105 from the user emotion parameter E1 (25,40,80,20) is input, corresponding to the user emotion parameter E1 4 one emotional variable [envy], [anger], [comfort ], it generates a system emotion parameter E1 'consists [hee.
【００２６】ここでは、システム感情パラメータＥ１' [0026] In this case, the system emotion parameters E1 '
の各感情変数の値は、ユーザー感情パラメータＥ１の各感情変数の値と同じ値、（２５［ねたみ］，４０ The value of each emotion variables, the same value as the value of each emotion variables user emotion parameter E1, (25 [envy], 40
［怒］，８０［慰め］，２０［喜］）に設定するものとする。 [Angry], 80 [comfort] shall be set to 20 [Hee). システム感情パラメータＥ１'の生成においては、ユーザー感情パラメータＥ１の各感情変数[喜]、 In the generation of the system emotion parameter E1 ', each emotion variables user emotion parameter E1 [Hee,
[怒]、[哀]、[楽]に対して、[ねたみ]、[怒]、[慰め]、 [Angry], [sorrow], against [ease], [envy], [anger], [comfort],
[喜]という異なる感情変数を使用している。 We are using a different emotion variable called [hee]. そして、各感情変数の値をユーザー感情パラメータの各感情変数と同一の値に設定している。 Then, it sets the value of each emotion variables to the same value as the emotion variables user emotion parameter. 「喜」に対して「ねたみ」と云う異なる感情変数を使用したのは、システムを少し悪い性格にして人間的な反応をするよう設計したためである。 Was using a different emotion variable referred to as "jealousy" for "joy" is because it was designed to the human reaction to the system a little bad personality. なお、システム感情パラメータにおいて使用する感情変数をユーザー感情パラメータＥ１の各感情変数と同一にして、別に用意したユーザー感情パラメータＥ１とシステム感情パラメータＥ１'との変換テーブル等を用いて異なる値に設定しても良い。 Incidentally, setting the emotion variables used in the system emotion parameter in the same respective emotion variables user emotion parameter E1, the different values ​​by using a conversion table or the like with the user emotion parameter E1 and system emotion parameter E1 'separately prepared and it may be.
【００２７】次ぎに、図１の応答文生成部１０７の動作について図５及び図６を参照して説明する。 [0027] Next to be described with reference to FIGS. 5 and 6, the operation of the response sentence generation unit 107 of FIG. 図５は、応答文生成部１０７に保持されている応答辞書対応座標面を示す図である。 Figure 5 is a diagram showing the response dictionaries coordinate plane which is held in the response sentence generation unit 107. 図５に示すように、応答文生成部１０ As shown in FIG. 5, the response sentence generation unit 10
７では、システム感情パラメータＥ１'の４つの感情変数[ねたみ]、[怒]、[慰め]、[喜]で表される座標軸を持つ、応答辞書対応座標面が保持されている。 In 7, four emotion variables of the system emotion parameter E1 '[envy], [anger], [comfort], having coordinate axes represented by [Hee], response dictionaries coordinate plane is maintained. 応答辞書対応座標面の各領域には、応答辞書格納部１０８に格納されている複数の応答辞書名が対応付けられている。 Each region of the response dictionaries coordinate plane, a plurality of response dictionary name stored in the response dictionary storage unit 108 are associated. システム感情パラメータＥ１'の４つの感情変数からこの座標面の水平軸の[喜]と[慰め]の値の差、垂直軸の[ねたみ]と[怒]値の差の組、すなわち（[喜]−[慰め]＝−６ Difference between the value of [Hee] and [comfort] in the horizontal axis of the coordinate plane from the four emotional variables of the system emotion parameter E1 ', a vertical axis [envy] and [anger] value of the difference between the set, i.e. ([Hee ] - [comfort] = - 6
０，[ねたみ]−[怒]＝−１５）が計算され、システム感情パラメータＥ１'の座標（−６０，−１５）の位置（図５に黒い楕円で示す）が求められる。 0, [envy] - [anger] = - 15) is calculated, the system emotion parameter E1 'of coordinates (-60, position -15) (shown by a black ellipse in FIG. 5) is obtained. そして、応答辞書対応座標面上における座標（−６０，−１５）にシステム感情パラメータＥ１'がプロットされる。 The coordinates in response dictionaries coordinate plane (-60, -15) system emotion parameter E1 'is plotted. このＥ The E
１'から応答辞書名は次のようにして決定される。 Response dictionary name from the 1 'is determined in the following manner. 即ちシステム感情パラメータＥ１'がプロットされた図５に示す応答辞書対応座標面上の座標位置Ｅ１'（図５の黒い楕円で示す）の属する領域である応答辞書上の「慰め怒２」が応答辞書名として決定されるのである。 That system emotion parameter E1 'coordinate positions E1 on the response dictionaries coordinate plane shown in FIG. 5 plotted' (shown by a black ellipse of FIG. 5) belongs on the region in which the response dictionary is "comfort ANGER 2 'response than it is determined as a dictionary name.
【００２８】このように、システム感情パラメータＥ [0028] In this manner, the system emotion parameter E
１'（２５，４０，８０，２０）の座標位置から応答辞書格納部１０８内の応答辞書名「慰め怒２」が求められこれを使用して、図１の応答文生成部１０７で、言語理解部１０３から出力された概念信号“応答、帰宅の知らせ”に基づいたシステムの応答文が生成される。 1 '(25,40,80,20) responsive dictionary name of the response dictionary storage unit 108 from the coordinate position "Comfort angry 2" using this prompted for, in response sentence generation unit 107 of FIG. 1, the language output concepts signal "response informs go home" from the understanding unit 103 in response sentence based system is generated. 図１の応答文生成部１０７における応答文生成方法について図６を参照しつつ説明する。 Referring to Figure 6, the following explains the response sentence generation method in response sentence generation unit 107 of FIG. 図６は、応答文生成部１０７ 6, the response sentence generation unit 107
において、応答文が生成される方法を表すフローチャートである。 In a flow chart representing a method of the response sentence is generated. 図１の応答文生成部１０７では、まず、図６ The response sentence generation unit 107 of FIG. 1, FIG. 6
においてシステム感情パラメータ生成部１０６から入力されたシステム感情パラメータＥ１'をもって応答辞書格納部１０８を探し（図６のステップ６０１）応答辞書対応座標面上にプロットした位置Ｅ１'の領域に相当する応答辞書格納部１０８内の応答辞書名「慰め怒２」を求める（図６のステップ６０２）。 In the system emotion parameter generating unit 106 system emotion parameter E1 input from the response dictionary corresponding to the region of 'looking responses dictionary storage unit 108 with a (step 601 in FIG. 6) plotted position E1 in response dictionaries coordinate plane' response dictionary name in the storage unit 108 obtains the "comfort angry 2" (step 602 in FIG. 6). 次ぎに、図１の言語理解部１０３から出力された概念信号“応答、帰宅の知らせ”に対応する応答辞書格納部１０８の応答辞書名「慰め怒２」に格納されている応答文を検索する（図６ The next, to find the response sentence stored language understanding unit 103 outputs the concepts signal "response, news of coming home" from Figure 1 response dictionary name of the response dictionary storage unit 108 corresponding to the "comfort angry 2" (Fig. 6
のステップ６０３）。 Step 603). このようにして、システム側の応答文「おかえり、元気ないね、どうしちゃったのよ？」 In this way, the response statement on the system side, "Welcome back, I do not have healthy, I did got on?"
が生成される（図６のステップ６０４）。 There is generated (step 604 in FIG. 6). そして、この応答文が図１の音声出力部１０９へ出力され、音声出力部１０９では、システム側の応答「おかえり、元気ないね、どうしちゃたのよ？」が音声として出力される。 Then, the response sentence is output to the audio output unit 109 of FIG. 1, in the audio output unit 109, the response of the system side, "Welcome back, I do not have healthy, I did is do?" It is output as a voice.
【００２９】このように、本実施例１の音声対話装置によれば、図１の音声入力部１０１へのユーザーの音声入力に対して、ユーザー感情パラメータ生成部１０５が、 [0029] Thus, according to the speech dialogue system of the first embodiment, the user of the voice input to the voice input unit 101 of FIG. 1, a user emotion parameter generating unit 105,
感情情報抽出部１０４から出力された感情情報と、言語理解部１０３から出力された概念信号とに基づいてユーザーの感情を表すユーザー感情パラメータＥ１を生成する。 And emotion information outputted from the emotion information extraction unit 104 generates a user emotion parameter E1 representing emotions of users based on the concept signals outputted from the language understanding unit 103. その結果、本発明の音声対話装置が音声の速度やレベルのみならず言語の概念信号を用いることにより、ユーザーの感情を従来のものより正確に判定することができる。 As a result, by the voice dialogue system of the present invention using the concept signals languages ​​not only sound speed and level can be determined accurately than the conventional user emotion. また、システム感情パラメータ生成部１０６が、 Further, the system emotion parameter generating unit 106,
ユーザー感情パラメータＥ１に対してシステム自身の感情を表すシステム感情パラメータＥ１'を生成する。 Generating a system emotion parameter E1 'representing the emotion of the system itself to user emotion parameter E1. さらに、応答文生成部１０７が、システム感情パラメータＥ１'と概念信号とに基づいてシステム応答を生成する。 Furthermore, the response sentence generation unit 107 generates a system response based on the concept signals and system emotion parameter E1 '. その結果、システムはあたかも感情を有しているように応答をすることができ、ユーザーとシステムの間で、まるで人間同士のような対話を実現することができる。 As a result, the system as if it is possible to response as a feeling, between the user and the system, can be realized like interaction, such as human beings. このことにより、ユーザーはシステムに対してより親しみを感じることができ、ユーザーの音声対話装置は扱いにくいという印象を取り除くことができる。 Thus, the user can remove the impression that the more familiar can feel the users of voice dialogue system is cumbersome to the system.
【００３０】《実施例２》図７は、本発明の実施例２の音声対話装置におけるユーザー感情パラメータ生成部１ [0030] "Embodiment 2" Fig. 7, user emotion parameter generating unit 1 in the speech dialogue system of the second embodiment of the present invention
０５'の構成を示すブロック図である。 05 is a block diagram showing the configuration of a '. この実施例２の音声対話装置は、実施例１のものと比較すると図１のユーザー感情パラメータ生成部１０５の代わりに用いられる図７の１０５'の構成のみが異なる。 Voice dialogue system of this second embodiment, only the configuration of 105 'of Figure 7 used in place of the user emotion parameter generating unit 105 of FIG. 1 when compared to those of Example 1 are different. その全体構成を図９に示す。 The entire arrangement shown in FIG. したがって、実施例１と同一部分には同一参照符号を付して重複する説明は省略する。 Therefore, the same components as in Example 1 are indicated by the same reference numerals description is omitted.
【００３１】図７に示すように、この実施例２の音声対話装置におけるユーザ感情パラメータ生成部１０５' As shown in FIG. 7, the user emotion parameter generating unit 105 in the speech dialogue system of this second embodiment '
は、ユーザー感情パラメータ記憶部１０５ａ、ユーザー感情変化信号出力部１０５ｂ、及びユーザー感情パラメータ更新部１０５ｃを備えている。 Includes user emotion parameter storage unit 105a, the user emotion change signal output unit 105b, and the user emotion parameter updating unit 105c. ユーザー感情パラメータ記憶部１０５ａは、パラメータ生成部１０５ｄで生成されたユーザー感情パラメータを記憶する。 User emotion parameter storage unit 105a stores a user emotion parameter generated by the parameter generating unit 105d. ユーザー感情変化信号出力部１０５ｂは、新たに入力された音声の感情情報と概念信号とに基づいてパラメータ生成部１ User emotion change signal output unit 105b, the parameter generating unit 1 on the basis of the emotion information and concepts signal newly input speech
０５ｄで生成されたユーザー感情パラメータと、ユーザー感情パラメータ記憶部１０５ａに記憶されているユーザー感情パラメータとを比較する。 Comparing the user emotion parameter generated by 05d, and a user emotion parameter stored in the user emotion parameter storage unit 105a. そして、新たに入力された音声に基づいて生成されたユーザー感情パラメータと記憶されているユーザー感情パラメータとの変化量が予め定められた値以上の場合にユーザー感情変化信号を出力する。 Then, it outputs the user emotion change signal when above new variation of the user emotion parameter stored with the user emotion parameter generated on the basis of the input voice so that a predetermined value. ユーザー感情パラメータ更新部１０５ｃ User emotion parameter update unit 105c
は、ユーザー感情変化信号出力部１０５ｂから出力されたユーザー感情変化信号が連続して出力される回数をカウントして、その回数が予め定められた値以上の場合に、ユーザー感情パラメータ記憶部１０５ａに記憶されているユーザー感情パラメータを新たに入力されたユーザー感情パラメータに更新する。 Counts the number of times a user emotion change signal outputted from the user emotion change signal output unit 105b is continuously output, in the case of more than the value that the number is predetermined, the user emotion parameter storage section 105a the user emotion parameter stored is updated to the newly entered user emotion parameter.
【００３２】この実施例２の音声対話装置の動作について図７〜図１０を参照しつつ説明する。 [0032] will be described with reference to FIGS. 7-10, the operation of the speech dialogue system of this second embodiment. 以下の説明において、新たに生成されたユーザー感情パラメータＥ２ In the following description, the user emotion parameter E2 newly generated
と、記憶してあるユーザー感情パラメータＥ１との予め定められた変化量の値を２０、ユーザー感情変化信号の連続して出力される回数の予め定められた回数を５とする。 When the value of the predetermined amount of change between are stored user emotion parameter E1 20, the number of times the predetermined number of times are successively output of user emotion change signal to 5.
【００３３】図７及び図９において、まず、実施例１と同様に、ユーザーの１回目の発話「ただいま」が、図９ [0033] In FIGS. 7 and 9, similarly to Example 1, a user of the first utterance "I'm home", 9
の音声入力部１０１に入力されると、このユーザー感情パラメータ生成部１０５'では、パラメータ生成部１０ When the input of the audio input section 101, in the user emotion parameter generating unit 105 ', the parameter generating unit 10
５ｄで生成されたユーザー感情パラメータＥ１（２５， User emotion parameter E1 (25 generated by the 5d,
４０，８０，２０）がユーザー感情パラメータ記憶部１ 40,80,20) is user emotion parameter storage unit 1
０５ａに記憶される。 It is stored in 05a. さらに、そのユーザー感情パラメータＥ１がシステム感情パラメータ生成部１０６へ出力される。 Furthermore, the user emotion parameter E1 is outputted to the system emotion parameter generating unit 106. その後、システムから「おかえり、元気ないね、どうしちゃったのよ？」と応答が出される。 Then, from the system, "Welcome back, I do not have healthy, if I did ended up?" Is issued and the response.
【００３４】次に、システム応答の「おかえり、元気ないね、どうしちゃったのよ？」に対して、ユーザーが、 [0034] Next, the system response to "Welcome back, I do not have healthy, I did accidentally do?", The user,
１回目の発話と同様に疲れていて不機嫌な様子で「失敗した」と発声したとする。 Tired in the same manner as in the first round of the utterance and uttered as "failed" in moody appearance. ユーザーの２回目の発話「失敗した」が図９の音声入力部１０１に入力された時の処理について、以下に説明する。 The process when the user of the second utterance "failed" is input to the audio input unit 101 in FIG. 9 will be described below. 図９の言語理解部１０３ Language understanding unit 103 shown in FIG. 9
と感情情報抽出部１０４では、実施例１と同様の処理が行われ、言語理解部１０３から概念信号“応答、失敗した”が出力される。 In emotion information extraction unit 104 and is performed the same treatment as in Example 1, the language concepts signal from the understanding unit 103 "response, it failed" is output. また、感情情報抽出部１０４から感情情報Ｖ２（２０，６０，８０，２０）と感情情報Ｌ２ Further, the emotion information from the emotion information extraction section 104 V2 (20,60,80,20) and emotion information L2
（１０，１０，９０，１０）とがそれぞれ出力される。 (10,10,90,10) and are output.
【００３５】図８は、ユーザー感情パラメータ生成部１ [0035] FIG. 8, the user emotion parameter generating unit 1
０５'における処理の流れを表すフローチャートである。 05 is a flow chart showing the flow of processing in the '. 図７の、ユーザー感情パラメータ生成部１０５'では、図８に示すステップＳ１で、パラメータ生成部１０ 7, the user emotion parameter generating unit 105 ', in a step S1 shown in FIG. 8, the parameter generating unit 10
５ｄ（図７）は、実施例１と同様に、図９の言語理解部１０３から出力された概念信号“応答、失敗した”に対応する概念感情情報Ｇ２（０，０，＋５，−２５）と、 5d (FIG. 7), as in Example 1, the output concepts signal "response, failed" from the language understanding unit 103 of FIG. 9 conceptual emotion information G2 corresponding to (0,0, + 5, -25) When,
感情情報抽出部１０４から出力された感情情報Ｖ２（２ Emotion information outputted from the emotion information extraction section 104 V2 (2
０，６０，８０，２０）と感情情報Ｌ２（１０，１０， 0,60,80,20) and the emotion information L2 (10,10,
９０，１０）とに基づいて、ユーザー感情パラメータＥ 90,10) and on the basis of the user emotion parameter E
２（１５，３５，９０，１５）を生成する。 To generate a 2 (15,35,90,15). 図８のステップＳ２で、パラメータ生成部１０５ｄで生成されたユーザー感情パラメータＥ２は、ユーザー感情変化信号出力部１０５ｂへ入力され、ユーザー感情パラメータ記憶部１０５ａ（図７）に記憶されていたユーザー感情パラメータＥ１（２５，４０，８０，２０）からの変化量が、各感情変数について、２０以上であるかどうかが判定される。 In step S2 of FIG. 8, the user emotion parameter E2 generated in the parameter generating unit 105d is input to the user emotion change signal output unit 105b, the user emotion parameter storage unit 105a the user emotion parameter stored in (Fig. 7) E1 (25,40,80,20) change from, for each emotion variables, is determined if 20 or more.
【００３６】ユーザー感情パラメータの少なくとも１つの感情変数の変化量が２０以上であれば、ステップＳ３ [0036] If the variation amount of at least one emotional variable user emotion parameter is 20 or more, step S3
（図８）で、ユーザー感情変化信号出力部１０５ｂからユーザー感情変化信号が出力される。 (Figure 8), from a user emotion change signal output unit 105b user emotion change signal is output. ユーザー感情パラメータのすべての感情変数の変化量が２０未満であれば、ユーザー感情変化信号は出力されず、ステップＳ２ If the change amount of all emotion variables user emotion parameter is less than 20, the user emotion change signal is not output, step S2
のＮｏからステップＳ１に戻りパラメータ生成部１０５ Parameter generation unit 105 returns from the No in step S1
ｄで次のユーザー感情パラメータが生成される。 The following user emotion parameter d is generated.
【００３７】ユーザーが２回発話したこの例の状態では、ユーザー感情パラメータＥ１とユーザー感情パラメータＥ２の各感情変数の変化量は最大値が１０であると仮定する。 [0037] In the state of this example the user has uttered twice, the amount of change in the emotion variables user emotion parameter E1 and user emotion parameter E2 is assumed maximum value of 10. その場合は、ユーザー感情パラメータの変化量は予め定められた値２０より小さいので、ユーザー感情変化信号は出力されない。 In that case, the amount of change in the user feeling parameter is smaller than the value 20 to a predetermined, user emotion change signal is not output. そして、ユーザー感情パラメータ記憶部１０５ａに記憶されているユーザー感情パラメータＥ１が、ユーザー感情パラメータ生成部１０ Then, the user emotion parameter E1 stored in the user emotion parameter storage unit 105a is, user emotion parameter generating unit 10
５'から図９のシステム感情パラメータ１０６へ出力される。 5 'is output to the system emotion parameter 106 of FIG.
【００３８】その後は、実施例１と同様にして、図９のシステム感情パラメータ生成部１０６からシステム感情パラメータＥ１'が出力される。 [0038] Thereafter, in the same manner as in Example 1, a system emotion parameter E1 'from the system emotion parameter generating unit 106 of FIG. 9 is output. それによって、図５のシステム感情パラメータＥ１'に対応した応答辞書「慰め怒２」を使用して応答文生成部１０７（図９）で概念“応答、失敗した”に対するシステム応答「失敗は成功のもと。いつまでもくよくよしないの！」が生成され、 Thereby, the system feeling parameter E1 'response sentence generation unit 107 using the response dictionary corresponding "comfort ANGER 2" in the concept (Figure 9) "response, failed" in FIG. 5 for the system response "failure of success the original. also do not you fret forever! "is generated,
音声出力部１０９から音声として出力される。 It is output as audio from the audio output unit 109. ユーザーの２回目の発話「失敗した」に対するシステムの応答「失敗は成功のもと。いつまでもくよくよしないの！」 "Not a also fret fail original success. Forever!" To the user's second speech "failed" response of the system
が出力された後、疲れていて不機嫌な様子であったユーザーが、少し元気を取り戻した様子でシステムとの対話を続けたとする。 After There is output, the user was a disgruntled how tired, and continued to interact with the system in a state that regained a little healthy.
【００３９】そして、ユーザーの１回目の発話「ただいま」から数えて７回目に、ユーザーが「元気だよ」と発声したとする。 [0039] Then, in the seventh, counting from the user's first utterance "I'm home", the user is assumed to say "I'm fine". ユーザーの７回目の発話「元気だよ」が図９の音声入力部１０１に入力された時の処理について図７〜図１０を参照しつつ説明する。 Users of the 7 th of the utterance "I'm fine" is described with reference to FIGS. 7 to 10 for processing when it is input to the speech input section 101 of FIG. 9. 図９の言語理解部１０３と感情情報抽出部１０４では、実施例１と同様の処理が行われ、言語理解部１０３においては概念信号“応答、元気”が、感情情報抽出部１０４においては、 The language understanding unit 103 and the emotion information extraction unit 104 of FIG. 9 is performed the same treatment as in Example 1, the concepts signal "response, fine" in language understanding unit 103, the emotion information extraction unit 104,
感情情報Ｖ３（５０，０，５０，５０）とＬ３（５０， Emotion information V3 (50,0,50,50) and L3 (50,
５０，５０，５０）とがそれぞれ出力される。 50, 50, 50) and are output.
【００４０】図７において、ユーザー感情パラメータ生成部１０５'では、図８のフローチャートのステップＳ [0040] In FIG 7, the user emotion parameter generating unit 105 ', in the flow chart of FIG. 8 step S
１で、パラメータ生成部１０５'ｄは、実施例１と同様に、言語理解部１０３から出力された概念信号“応答、 1, the parameter generating unit 105'd, as in the first embodiment, the concepts signal output from the language understanding unit 103 "response,
元気”に対応する概念感情情報Ｇ３（＋５，０，−１ Concept emotion information corresponding to the energetic "G3 (+ 5,0, -1
０，+５）と、感情情報抽出部１０４から出力された感情情報Ｖ３（５０，０，５０，５０）および感情情報Ｌ 0, + 5) and, emotion information V3 (50,0,50,50 outputted from the emotion information extraction unit 104) and emotional information L
３（５０，５０，５０，５０）とに基づいて、ユーザー感情パラメータＥ３（５５，２５，４０，５５）を生成する。 3 based on the (50,50,50,50), generating a user emotion parameter E3 (55,25,40,55). ステップＳ２では、パラメータ生成部１０５ｄ In step S2, the parameter generating unit 105d
（図７）で生成されたユーザー感情パラメータＥ３は、 User emotion parameter E3 generated in (7) is,
ユーザー感情変化信号出力部１０５ｂへ入力され、ユーザー感情パラメータ記憶部１０５ａで記憶されていたユーザー感情パラメータＥ１（２５，４０，８０，２０） Is input to the user emotion change signal output unit 105b, the user emotion parameter storage unit 105a the user feelings had been stored in the parameter E1 (25,40,80,20)
からの変化量が、各感情変数について、２０以上であるかどうかが判定される。 Change from, for each emotion variables, is determined if 20 or more.
【００４１】ユーザー感情パラメータＥ１とユーザー感情パラメータＥ３の[哀]の感情変数の変化量は４０であり、ユーザー感情パラメータの変化量が予め定められた値２０より大きいので、ステップＳ３でユーザー感情変化信号出力部１０５ｂからユーザー感情変化信号が出力される。 [0041] a user emotion parameter E1 and change amount 40 emotion variables [sad] User emotion parameter E3, the amount of change in the user emotion parameter is greater than the value 20 to a predetermined, user emotion change in step S3 from the signal output unit 105b user emotion change signal is output. ステップＳ４で、出力されたユーザー感情変化信号は、ユーザー感情パラメータ更新部１０５ｃで５回連続で出力されたかどうか判定される。 In step S4, the outputted user emotion change signal is judged whether or not the output in the user emotion parameter updating unit 105c 5 times in a row. もし、ユーザー感情変化信号が５回連続で出力されているならば、ユーザー感情パラメータ更新部１０５ｃは、ユーザー感情パラメータ記憶部１０５ａに作用して、そこに記憶されているユーザー感情パラメータＥ１をＥ３に更新（変更） If the user emotion change signal is five times is output continuously the user emotion parameter updating unit 105c acts on the user emotion parameter storage unit 105a, the user emotion parameter E1 stored therein E3 in update (change)
【００４２】ユーザー感情パラメータ記憶部１０５ａ The user emotion parameter storage unit 105a
は、ステップＳ５でユーザー感情パラメータＥ３をシステム感情パラメータ生成部１０６へ出力する。 Outputs the user emotion parameter E3 to system emotion parameter generating unit 106 in step S5. 図９のシステム感情パラメータ生成部１０６では、ユーザー感情パラメータ生成部１０５から出力されたユーザー感情パラメータＥ３に対応するシステム感情パラメータＥ３' In the system emotion parameter generating unit 106 of FIG. 9, the system emotion parameter E3 for the user emotion parameter E3 output from the user emotion parameter generating unit 105 '
（５５,２５,４０,５５）が生成される。 (55,25,40,55) is generated. 応答文生成部１０７では、図１０に示すように、システム感情パラメータＥ３'に対応する応答辞書対応座標面上にシステム感情パラメータＥ３'の座標（５５−４０＝１５, ５ The response sentence generation unit 107, as shown in FIG. 10, the coordinates (55-40 = 15 'system emotion parameter E3 in response dictionaries coordinate plane corresponding to the' system emotion parameter E3, 5
５−２５＝３０、黒の楕円の位置）をプロットする。 5-25 = 30, plots the position) of the black ellipse. そして、プロットした位置の領域に対応する応答辞書「ねたみ喜１」を使用して概念“応答、元気”に対応するシステム応答「元気が一番！」が生成され、音声出力部１ Then, using the response dictionary "envy Hee 1" corresponding to the region of position plotted concept "response, Genki" system response "Genki is the best!" Corresponding to is generated, the audio output unit 1
０９から音声として出力される。 It is output as a voice from 09.
【００４３】このように、本発明の実施例２の音声対話装置によれば、通常、対話におけるユーザーの感情が１ [0043] Thus, according to the speech dialogue system of the second embodiment of the present invention, typically, the user's emotion in Dialogue 1
度のやりとりで急激に変化しないことに注目し、ユーザーとシステムのやりとりが一時に複数回繰り返される場合に次のように動作する。 Notice that not significantly change every exchange, operates as follows when the exchange of user and system is repeated a plurality of times at a time. すなわち、ユーザー感情パラメータ更新部１０５ｃ（図７）が、ユーザー感情パラメータが予め定められた回数以上連続して変化した場合にのみ、ユーザーの感情が変化したと判断してユーザー感情パラメータを更新するようにソフトウェアを構成してある。 In other words, so that the user emotion parameter updating unit 105c (FIG. 7), only if the user emotion parameter is changed continuously over a predetermined number of times, it is determined that the user of the emotion is changed to update the user emotion parameter You have configured the software to. このような構成をとることにより、突然音声入力手段から入力された雑音等から、誤ったユーザー感情パラメータが生成され、それによって誤ったシステム感情パラメータが生成されて応答が出力されるような事態を避けることができる。 By adopting such a configuration, a noise or the like input from the sudden sound input means, incorrect user emotion parameter is generated, such a situation that thereby erroneous system emotion parameter is output response is generated it can be avoided.
【００４４】上記の構成により、雑音等の影響により、 [0044] According to the above-described configuration, due to the influence of noise or the like,
音声の継続時間、発話速度、ポーズの有無、振幅、基本周波数等から抽出されるユーザーの感情情報が急激に変化した場合でも、ユーザー感情パラメータやシステム感情パラメータは急激に変化しない。 The duration of the voice, speech rate, presence or absence of a pause, amplitude, even if the user of the emotion information extracted from the fundamental frequency or the like rapidly changes, user emotion parameter or system feeling parameter does not change abruptly. こうして対話内容にまとまりのある、高性能なシステムを実現できる。 In this way a cohesive interactive content, it is possible to realize a high-performance system. その結果、ユーザーのシステムに対する信頼度を向上することができる。 As a result, it is possible to improve the reliability of the user's system.
【００４５】《実施例３》図１１は、本発明の実施例３ [0045] "Embodiment 3" Fig. 11, a third embodiment of the present invention
の音声対話装置の構成を示すブロック図である。 It is a block diagram showing a configuration of the voice dialogue system. この実施例３の音声対話装置の実施例１との相違点は、特定感情パラメータ生成部１０３ａを設けた点である。 Difference from the first embodiment of the speech dialogue system of this third embodiment, in that a specific emotion parameter generating unit 103a. この特定感情パラメータ生成部１０３ａは、言語理解部１０３ This particular emotion parameter generating unit 103a, language understanding unit 103
から予め設定されている特定の概念信号が入力されると、特定感情パラメータをシステム感情パラメータ生成部１０６に出力する。 When a particular concept signal which is set in advance from is input, and outputs a specific emotion parameters in the system emotion parameter generating unit 106. この実施例３は他の点では、実施例１と実質同様なので同一部分には同一参照符号を付して重複する説明は省略する。 The third embodiment in other respects, explanations thereof will be denoted by the same reference numerals denote the same parts is similar substantially as in Example 1.
【００４６】図１１において、特定感情パラメータ出力部１０３ａでは、言語理解部１０３から予め設定されている特定の概念信号が入力されると、その概念信号に対応する特定感情パラメータＥ４がシステム感情パラメータ生成部１０６に出力される。 [0046] In FIG. 11, the particular emotion parameter output portion 103a, the particular concept signal which is previously set from the language understanding unit 103 is input, a specific emotion parameter E4 system emotion parameter generated corresponding to the concept signals is output to the section 106. システム感情パラメータ生成部１０６では、特定感情パラメータ出力部１０３ａ In the system emotion parameter generating unit 106, specific emotion parameter output unit 103a
から特定感情パラメータＥ４が入力されると、システム感情パラメータの値が特定感情パラメータの値Ｅ４'に変更される。 When a particular emotion parameter E4 input from the value of the system emotion parameter is changed to a value E4 'specific emotion parameters.
【００４７】以上のように構成された本発明の実施例３ [0047] Example 3 of the present invention configured as described above
の音声対話装置について、以下、予め設定されている特定の概念に“応答、バカ”が含まれているものとして、 For voice dialogue system, hereinafter, "response, fool" the particular concept that has been set in advance as being included,
その動作を図１１〜図１３を参照しつつ説明する。 The operation will be described with reference to FIGS. 11 to 13. 図１ Figure 1
１において、ユーザーが、システムとの対話において、 In 1, the user, in interaction with the system,
「バカじゃないの！」と発声したとすると、ユーザーの発話「バカじゃないの！」が音声入力部１０１に入力される。 If you were to say "not a fool!", A user of the utterance "not a fool!" Is input to the speech input unit 101. 音声認識部１０２および言語理解部１０３では、 The speech recognition unit 102 and the language understanding unit 103,
実施例１と同様の処理が行われ、言語理解部１０３から概念信号“応答、バカ”が特定感情パラメータ出力部１ Example 1 same processing as is performed, the language understanding unit 103 from the concept signals "response, fool" the specific emotion parameter output portion 1
０３ａに出力される。 Is output to the 03a.
【００４８】図１２は、言語理解部１０３から概念信号“応答、バカ”が出力された時の処理の流れを表すフローチャートである。 [0048] Figure 12 is a conceptual signal from the language understanding unit 103 "response, fool" is a flow chart showing the flow of processing when a is output. 図１２において、ステップＳ６で、 12, in step S6,
図１１の言語理解部１０３から概念“応答、バカ”が出力されると、特定感情パラメータ出力部１０３ａは、図１２のフローチャートのステップＳ７において入力された概念信号“応答、バカ”が予め設定されている複数の特定の概念信号であるかどうを検証する。 Understanding module concepts from 103 "response, fool" in FIG. 11 when is outputted, a particular emotion parameter output unit 103a, the concept signals "response, fool" input in step S7 in the flowchart of FIG. 12 is set in advance whether it is a more specific concept signal has to verify. 検証した結果、入力された概念信号が特定の概念信号であれば、その特定の概念信号に対応する特定感情パラメータＥ４がフローチャートの、ステップＳ８で示すように、特定感情パラメータ出力部１０３ａから出力される。 As a result of the verification, if the concept signals inputted specific concept signal, a particular emotion parameter E4 of the flowchart corresponding to that particular concept signals, as shown in step S8, is output from the specific emotion parameter output unit 103a that. 入力された概念信号が特定の概念信号でなければ、特定感情パラメータは出力されず、言語理解部１０３に戻り、ステップＳ１１において言語理解部１０３からユーザー感情パラメータ生成部１０５へ概念信号が出力される。 If the input concepts signal is not a specific concept signal, specific emotion parameter is not output, the process returns to language understanding unit 103, conceptual signal from the language understanding unit 103 to a user emotion parameter generating unit 105 is output in step S11 . そして、ステップＳ１２で実施例１と同様の処理が行われる。 The same treatment as in Example 1 in step S12 is performed.
【００４９】しかしこの例では、入力された概念信号は“応答、バカ”であり、“応答、バカ”は特定の概念信号であるので、ステップＳ８で、図１１の特定感情パラメータ出力部１０３ａから特定感情パラメータＥ４ [0049] However, in this example, the concepts signal input is "response, fool", "response, stupid" because is a specific concept signal, in step S8, the specific emotion parameter output portion 103a of FIG. 11 specific emotion parameter E4
（０，１００，０，０）がシステム感情パラメータ生成部１０６へ出力される。 (0,100,0,0) is output to the system emotion parameter generating unit 106. システム感情パラメータ生成部１０６においては、ステップＳ９でユーザーが「バカじゃないの！」と発話する前に記憶していたシステム感情パラメータの値が、特定感情パラメータＥ４'（０，１ In the system emotion parameter generating unit 106, the value of the system emotion parameter which has been stored before in step S9 user speaks "not a fool!" Specific emotion parameter E4 '(0, 1
００，０，０）に変更される。 It is changed to 00,0,0).
【００５０】変更されたシステム感情パラメータＥ４' The modified system emotion parameters E4 '
は、ステップＳ１０で応答文生成部１０７へ出力される。 Is output to the response sentence generation unit 107 in step S10. 図１３は、応答文生成部１０７に保持されている応答辞書対応座標面の例である。 Figure 13 is an example of a response dictionaries coordinate plane which is held in the response sentence generation unit 107. 図１３に示すように、システム感情パラメータ生成部１０６から出力されたシステム感情パラメータＥ４'（０，１００，０，０）は、 As shown in FIG. 13, the system emotion parameter generation unit 106 system emotion parameter E4 outputted from '(0,100,0,0) is
応答辞書対応座標面上の座標（０−０＝０，０−１００ Response dictionary corresponding coordinate plane on the coordinate (0-0 = 0,0-100
＝−１００）にプロットされる。 = -100) is plotted on. プロットされた領域が応答辞書名「怒」に相当するので、応答辞書格納部１０ Since the plot area is equivalent to the response dictionary name "anger", the response dictionary storage unit 10
８内の応答辞書名「怒」を使用して概念信号“応答、バカ”に対応するシステム応答「なんだと！もう許さん！」が生成され、音声出力部１０９から音声として出力される。 Concept signal "response, stupid" by using response dictionary name in the 8 to "anger", "What did you say! No longer allowed!" System response corresponding to is generated and output as a voice from the audio output unit 109.
【００５１】このように、本発明の実施例３の音声対話装置によれば、特定の概念に相当する言葉をユーザーが発声した場合に、特定感情パラメータ出力部１０３ａで特定感情パラメータを出力してシステムの感情を急激に変化させることより、ユーザーに対して、システムが感情を持っているという印象を強く与え、より親しみ易いシステムを実現することができる。 [0051] Thus, according to the speech dialogue system of Example 3 of the present invention, the word corresponding to the particular concept in the case where the user utters, and outputs a specific emotion parameter in a particular emotion parameter output unit 103a than be rapidly changing emotions of the system, the user gives a strong impression that the system has feelings, it is possible to realize a more friendliest system. その結果、ユーザーのシステムに対する拒絶反応を無くすことができる。 As a result, it is possible to eliminate the rejection on the user's system. また、対話に意外性を持たすことができるため、ユーザーを飽きさせないシステムを実現することができる。 Moreover, since it is possible to Motas unexpectedness dialogue, it is possible to realize not boring the user system.
【００５２】《実施例４》図１４は、この実施例４の音声対話装置において、図９の実施例の応答文生成部１０ [0052] "Example 4" 14, in the speech dialogue system of this fourth embodiment, the response sentence generation unit 10 of the embodiment of FIG. 9
７をこの実施例用として変更した、応答文生成部１０ Changing the 7 as for this example, the response sentence generation unit 10
７'の構成を示すブロック図である。 7 is a block diagram showing the configuration of a '. この実施例４の音声対話装置の、実施例２のものとの相違点は、応答文生成部１０７'の構成にある。 The voice dialogue system in the fourth embodiment, the differences from those of Example 2, in the configuration of the response sentence generation unit 107 '. したがって、それ以外の実施例２と実質同一の部分には同一参照符号を付して重複する説明は省略する。 Therefore, the descriptions thereof will be omitted given the same reference numerals in the other Example 2 substantially same parts of the.
【００５３】図１４において、応答文生成部１０７'の記憶部１０７ａでは、常に、図９のユーザー感情パラメータ生成部１０５'から出力されたユーザー感情パラメータおよびシステム感情パラメータ生成部１０６から出力されたシステム感情パラメータが保持される。 [0053] In FIG. 14, 'the storage unit 107a of the always user emotion parameter generating unit 105 of FIG. 9' response sentence generation unit 107 is output from the user emotion parameter and system emotion parameter generating unit 106 which is output from the system emotion parameter is held. そして、応答文生成部１０７'のパラメータ変化情報抽出部１０７ｂでは、ユーザー感情パラメータ生成部１０５' The response sentence generation unit 107 ', the parameter change information extraction unit 107b of the user emotion parameter generating unit 105'
（図９）から出力されたユーザー感情パラメータの値と、記憶部１０７ａに保持されているユーザー感情パラメータの値との間の変化情報が抽出される。 Change information between the value of the user emotion parameter output (FIG. 9), the value of the user emotion parameter held in the storage unit 107a is extracted. 同様に、パラメータ変化情報抽出部１０７ｂでは、システム感情パラメータ生成部１０６から出力されたシステム感情パラメータと、応答文生成部１０７'の記憶部１０７ａに保持されているシステム感情パラメータとの変化情報が抽出される。 Similarly, the parameter change information extraction unit 107 b, and the system emotion parameter output from the system emotion parameter generating unit 106, the change information in the system emotion parameters stored in the storage unit 107a of the response sentence generation unit 107 'extracts It is.
【００５４】それぞれの感情パラメータ変化情報が抽出されると、入力されたユーザー感情パラメータおよびシステム感情パラメータが、それまで記憶部１０７ａに保持されていたユーザー感情パラメータおよびシステム感情パラメータに代わって保持される。 [0054] As each emotion parameter change information is extracted, the user emotion parameter and system emotion parameters entered is held on behalf of the user emotion parameter and system emotion parameter held in the memory unit 107a until it . そして、言語理解部１０３から出力された概念信号と、システム感情パラメータ生成部１０６から出力されたシステム感情パラメータと、抽出された変化情報とに基づいてシステムの応答文が生成される。 Then, the concept signals outputted from the language understanding unit 103, and a system emotion parameter output from the system emotion parameter generating unit 106, the response sentence of the system is generated based on the extracted change information.
【００５５】以上のように構成されたこの実施例４の音声対話装置における応答文生成部１０７'の動作について説明する。 [0055] The operation of the response sentence generation unit 107 'in the configuration speech dialogue system of this fourth embodiment as described above will be described. 但し以下の説明は、前述した実施例２の動作説明におけるユーザーの７回目の発話「元気だよ」が音声入力部１０１に入力され、その後、ユーザー感情パラメータ更新部１０５ｃによってユーザー感情パラメータ記憶部１０５ａに記憶されているユーザー感情パラメータＥ１がＥ３に更新された時を例にとっている。 However the following description, the user of the 7 th utterance "I'm fine" is input to the audio input unit 101 in the operation described in Example 2 described above, then the user emotion parameter storage unit 105a by the user emotion parameter updating unit 105c It is taken as an example when the user emotion parameter E1, which is stored has been updated to E3 to.
【００５６】応答文生成部１０７'では、図９のユーザー感情パラメータ生成部１０５'から出力されたユーザー感情パラメータＥ３（５５，２５，４０，５５）と記憶部１０７ａに保持されているユーザー感情パラメータＥ１（２５，４０，８０，２０）とがパラメータ変化情報抽出部１０７ｂで比較される。 [0056] ', the user emotion parameter generating unit 105 of FIG. 9' response sentence generation unit 107 user emotion parameter held by the user emotion parameter E3 (55,25,40,55) and the storage unit 107a that is output from the E1 (25,40,80,20) and are compared with the parameter change information extraction unit 107 b. 図１５に示すように、 As shown in FIG. 15,
各ユーザー感情パラメータＥ１、Ｅ３を応答辞書対応座標面の座標に変換すると、それぞれユーザー感情パラメータＥ１の座標の位置は（−６０，−１５，図１５の左下側の黒楕円）、ユーザー感情パラメータＥ３の座標に位置は（１５，３０，図１５の右上側の黒楕円）となる。 Converting each user emotion parameter E1, E3 to the coordinates of the response dictionaries coordinate plane, the position coordinates of the user emotion parameter E1 respectively (-60, -15, black ellipse in the lower left side of FIG. 15), the user emotion parameter E3 located in the coordinates is (15, 30, black oval in the upper right side of FIG. 15). したがって、ユーザー感情パラメータＥ１からＥ３ Therefore, E3 from the user emotion parameter E1
に変化することで、座標上の位置がプラス方向に変化しているので、ユーザー感情パラメータにおける変化情報“良くなった”がパラメータ変化情報抽出部１０７ｂ By varying it, since the position on the coordinates is changed in the positive direction, the change in the user emotion parameter information "well since" parameter change information extraction unit 107b
（図１４）で抽出される。 It is extracted (Figure 14).
【００５７】同様に、システム感情パラメータ生成部１ [0057] Similarly, the system emotion parameter generating unit 1
０６（図１１）から出力されたシステム感情パラメータＥ３'（５５，２５，４０，５５）と、応答文生成部１ 06 System emotion parameter E3 output from (11) 'and (55,25,40,55), the response sentence generation unit 1
０７'の記憶部１０７ａ（図１４）に保持されているシステム感情パラメータＥ１'（２５，４０，８０，２ 07 'of the storage unit 107a systems emotion parameter held in the (FIG. 14) E1' (25,40,80,2
０）とがパラメータ変化情報抽出部１０７ｂ（図１４） 0) and the parameter change information extraction unit 107 b (FIG. 14)
で比較される。 In are compared. 図１５に示すように、各システム感情パラメータを応答辞書対応座標面の座標に変換すると、それぞれシステム感情パラメータＥ１'の座標の位置は（−６０，−１５）、システム感情パラメータＥ３'の座標の位置は（１５，３０）となる。 As shown in FIG. 15, converting each system emotion parameter to the coordinates of the response dictionaries coordinate plane, 'the positions of the coordinates (-60, -15), the system emotion parameter E3' respectively System emotion parameter E1 coordinates position is (15, 30). したがって、システム感情パラメータＥ１'がＥ３'に変化することで座標上の位置がプラス方向に変化している。 Therefore, the position on the coordinates is changed in the positive direction by the system emotion parameter E1 'is E3' changes. それ故システム感情パラメータにおける変化情報“良くなった”がパラメータ変化情報抽出部１０７ｂで抽出される。 It change information in the late system feeling parameter "well since" is extracted by the parameter change information extraction unit 107 b.
【００５８】そして、応答辞書格納部１０８内のシステム感情パラメータＥ３'の座標上の位置に対応する応答辞書「ねたみ喜１」を使用して、言語理解部１０３から出力された概念“応答、元気”と、抽出されたユーザー感情パラメータの変化情報“良くなった”、システム感情パラメータの変化情報“良くなった”とに基づいて、 [0058] Then, by using the response dictionary "jealous Hee 1" corresponding to the position on the coordinate system emotion parameter E3 'in the response dictionary storage unit 108, output from the language understanding unit 103 concepts "response, healthy "and the extracted change information of user emotion parameter" may became based on became "system emotion parameter change information" good ",
システム応答「よかった！心配したんだからね！」が生成される。 System response "was good! I because I was worried!" Is generated. そして、その応答「よかった！心配したんだからね！」が音声出力部１０９（図1４）から音声として出力される。 Then, the response "I because I was was good! Worry!" Is output as a voice from the audio output unit 109 (FIG. 14).
【００５９】このように、本発明の実施例４の音声対話装置によれば、応答文生成部１０７'において、ユーザー感情パラメータおよびシステム感情パラメータの変化情報を抽出してシステムの応答に反映させる。 [0059] Thus, according to the speech dialogue system of Example 4 of the present invention, the response sentence generation unit 107 'extracts the change information of the user emotion parameter and system emotion parameter to be reflected in the response of the system. このことにより、ユーザーやシステムの感情の変化に応じてシステム応答を変化させることができる。 Thus, it is possible to change the system response in response to changes in emotional users and systems. その結果、ユーザーとシステムの間で、より自然な対話を実現することができる。 As a result, it is possible between the user and the system, to achieve a more natural conversation.
【００６０】なお、感情情報抽出部１０４における感情情報の抽出について、実施例１〜４の説明では、発話速度と音声レベルを用いた例で説明したが、音声の継続時間、発話速度、ポーズの有無、振幅、基本周波数等の内、何れかを単独で使用しても良いし、すべてを使用しても良いし、複数組み合わせたものを使用しても良い。 [0060] Note that the extracted emotion information in the emotion information extraction section 104, in the description of Examples 1 to 4 has been described an example using the speech rate and speech level, duration of a voice, speech rate, pose presence, amplitude, among such as a basic frequency, may be used either alone, may be used with all, it may be used a combination plurality.
また、システム感情パラメータ生成部１０６におけるシステム感情パラメータの生成について、ここでは、ユーザー感情パラメータ生成部１０５で生成されたユーザー感情パラメータを使用しているが、ユーザー感情パラメータと言語理解部１０３から出力された概念信号との両者を使用しても良い。 Moreover, the generation of the system emotion parameters in the system emotion parameter generating unit 106, here, the use of the user emotion parameter generated by the user emotion parameter generating unit 105, is output from the user emotion parameter and the language understanding unit 103 both the concept signal may also be used.
【００６１】また、応答文生成部１０７におけるシステムの応答文の生成について、上記実施例では、言語理解部１０３から出力された概念信号、システム感情パラメータ生成部１０６で生成されたシステム感情パラメータ、およびその変化情報を使用している。 [0061] Further, the generation of the response sentence of the system in response sentence generation unit 107, in the above embodiment, the concepts signal outputted from the language understanding unit 103, the system emotion parameter generation unit 106 system emotion parameter generated in, and We are using the change information. しかし、図１ However, as shown in FIG. 1
或いは図９に点線で示すように、ユーザー感情パラメータ生成部１０５又は１０５'で生成されたユーザー感情パラメータ、およびその変化情報を使用しても良い。 Alternatively, as shown by a dotted line in FIG. 9, the user emotion parameter generated by the user emotion parameter generating unit 105 or 105 ', and may be used the change information. さらに、これらの内、何れかを単独で使用しても良いし、 Furthermore, among these, it may be used either alone,
すべてを使用しても良いし、複数組み合わせて使用しても良い。 May be using all, it may be used in multiple combinations.
【発明の効果】以上実施例で詳細に説明したように、本発明の音声対話装置によれば、下記の効果が得られる。 As described in detail above embodiment according to the present invention, according to the voice dialogue system of the present invention, the following effects can be obtained.
すなわち、ユーザー感情パラメータを、音声の特徴だけでなく言葉の意味つまり概念にも基づいて生成するため、ユーザーの感情をより正確に判定することができる。 That is, the user emotion parameter, for generating on the basis also the meaning that is the concept of words as well as features of speech, it is possible to determine the user's emotions more accurately. また、ユーザーの感情だけでなくシステムの感情をも生成して応答を返すため、ユーザーとシステムの間で、まるで人間同士のような対話を実現することができる。 Moreover, to return a response by generating also a feeling of the system as well as the user's emotions can be between the user and the system, implementing the like interaction, such as human beings. その結果、ユーザーはシステムに対してより親しみを感じることができ、ユーザーの音声対話装置は扱いにくいという印象を取り除くことができる。 As a result, the user can remove the impression that the more familiar can feel the users of voice dialogue system is cumbersome to the system.
【００６３】さらに、対話におけるユーザーの感情が１ [0063] In addition, the user of emotion in dialogue 1
度のやりとりで急激に変化することが殆どないことに注目して、突然音声入力手段から入力された雑音等から誤ったユーザー感情パラメータが生成され、それに応じて誤ったシステム感情パラメータが生成されて応答が出力されるといった事態を避けることができる。 Notice that there is almost no any sudden change in degrees of exchange, it is generated user emotion parameter incorrect from the noise or the like input from the sudden sound input means, a system emotion parameter incorrect accordingly been generated it is possible to avoid a situation such as the response is output. その結果、 as a result,
雑音等の影響により、音声の継続時間、発話速度、ポーズの有無、振幅、基本周波数等から抽出されるユーザーの感情情報が急激に変化した場合でも、対話内容にまとまりのある、高性能なシステムを実現できる。 Due to the influence of noise or the like, the duration of the voice, speech rate, the presence or absence of a pause, amplitude, even if the user of the emotion information changes rapidly, which is extracted from the fundamental frequency and the like, a cohesive interactive content, high-performance system It can be realized. その結果、ユーザーのシステムに対する信頼度をさらに向上することができる。 As a result, it is possible to further improve the reliability of the user's system.
【００６４】さらに、特定感情パラメータを生成することにより、ユーザーのある一言によってシステムの感情を急激に変化させることができ、ユーザーに対して、システムが感情を持っているという印象を強く与え、より親しみ易いシステムを実現することができる。 [0064] Furthermore, by generating a specific emotion parameter, the user of there can be rapidly changing emotions of the system by the word, giving strong to the user the impression that the system has feelings, it is possible to realize a more friendliest system. その結果、ユーザーのシステムに対する拒絶反応を無くすことができる。 As a result, it is possible to eliminate the rejection on the user's system. また、対話に意外性を持たすことができるため、ユーザーを飽きさせないシステムを実現することができる。 Moreover, since it is possible to Motas unexpectedness dialogue, it is possible to realize not boring the user system. さらに、ユーザーやシステムの感情の変化に応じてシステム応答を変化させることができ、ユーザーとシステムの間で、より自然な対話を実現することができる。 Furthermore, it is possible according to the change in the feelings of the user or the system can be changed system response, between the user and the system, to achieve a more natural conversation.
【図１】本発明の実施例１の音声対話装置の構成を示すブロック図。 Block diagram showing the configuration of a voice dialogue system of Example 1 of the present invention.
【図２】実施例１の感情情報抽出部１０４における発話速度を標準パターンと比較した結果から感情情報Ｖ１が抽出される処理例を示す図。 2 is a diagram showing an example of processing emotion information V1 is extracted from the result of the speech rate compared to the standard pattern in the emotion information extraction unit 104 of the first embodiment.
【図３】実施例１の感情情報抽出部１０４における音声レベルを標準パターンと比較した結果から感情情報Ｌ１ [Figure 3] emotion information from the results of the sound level compared to the standard pattern in the emotion information extraction unit 104 of Example 1 L1
が抽出される処理例を示す図。 It illustrates an exemplary process but to be extracted.
【図４】実施例１のユーザー感情パラメータ生成部１０ User emotion parameter generating unit 10 of FIG. 4 Example 1
５における、ユーザー感情パラメータが生成される方法を表すフローチャート。 In 5, flow chart representing a method of user emotion parameters are generated.
【図５】実施例１の応答文生成部１０７に保持されている応答辞書対応座標面。 [5] response dictionaries coordinate plane which is held in the response sentence generation unit 107 of the first embodiment.
【図６】実施例１の応答文生成部１０７における、応答文が生成される方法を表すフローチャート。 In response sentence generation unit 107 of FIG. 6 Example 1, a flowchart representing how the response sentence is generated.
【図７】本発明の実施例２の音声対話装置におけるユーザー感情パラメータ生成部１０５'の構成を示すブロック図。 FIG. 7 is a block diagram showing a configuration of a user emotion parameter generating unit 105 'in the speech dialogue system of the second embodiment of the present invention.
【図８】実施例２のユーザー感情パラメータ生成部１０ User emotion parameter generating unit 10 of FIG. 8 Example 2
５'における処理の流れを表すフローチャート。 A flow chart showing the flow of processing in the 5 '.
【図９】本発明の実施例２の音声対話装置における各パラメータの出力例を示すブロック図。 9 is a block diagram showing an example of the output of each parameter in the speech dialogue system of the second embodiment of the present invention.
【図１０】実施例２の応答文生成部１０７に保持されている応答辞書対応座標面の例。 [10] Examples of the response dictionaries coordinate plane which is held in the response sentence generation unit 107 of the second embodiment.
【図１１】本発明の実施例３の音声対話装置の構成を示すブロック図。 11 is a block diagram showing a configuration of a speech dialogue system according to a third embodiment of the present invention.
【図１２】実施例３の言語理解部１０３ａから特定の概念信号が出力された時の処理の流れを表すフローチャート。 FIG. 12 is a flowchart illustrating a flow of processing when a particular concept signals from the language understanding unit 103a of the third embodiment is outputted.
【図１３】実施例３の応答文生成部１０７'に保持されている応答辞書対応座標面の例。 [13] Examples of the response dictionaries coordinate plane which is held 'response sentence generation unit 107 of the third embodiment.
【図１４】実施例４の音声対話装置における応答文生成部１０７'の構成を示すブロック図。 14 is a block diagram showing the structure of a response sentence generation unit 107 'in the speech dialogue system of Example 4.
【図１５】実施例４の応答文生成部１０７に保持されている応答辞書対応座標面の例。 [15] Examples of the response dictionaries coordinate plane which is held in the response sentence generation unit 107 of the fourth embodiment.
【図１６】従来の音声対話装置の構成を示すブロック図。 16 is a block diagram showing a configuration of a conventional speech dialogue system.
１０１ 音声入力部 １０２ 音声認識部 １０３ 言語理解部 １０３ａ 特定感情パラメータ出力部 １０４ 感情情報抽出部 １０５、１０５' ユーザー感情パラメータ生成部 １０５ａ ユーザー感情パラメータ記憶部 １０５ｂ ユーザー感情変化信号出力部 １０５ｃ ユーザー感情パラメータ更新部 １０６ システム感情パラメータ生成部 １０７、１０７' 応答文生成部 １０７ａ 記憶部 １０７ｂ パラメータ変化情報抽出部 １０８ 応答辞書格納部 １０９ 音声出力部 101 audio input unit 102 speech recognition unit 103 understanding module 103a specific emotion parameter output unit 104 emotion information extraction unit 105, 105 'user emotion parameter generating unit 105a user emotion parameter storage unit 105b user emotion change signal output section 105c user emotion parameter update part 106 system emotion parameter generating unit 107, 107 'the response sentence generation unit 107a storage unit 107b parameter change information extraction unit 108 responds dictionary storage unit 109 audio output unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 朝山 砂子 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5D015 AA01 AA05 AA06 BB01 HH04 LL06 5D045 AB30 ────────────────────────────────────────────────── ─── front page of the continuation (72) inventor Asayama Isago Osaka Prefecture Kadoma Oaza Kadoma 1006 address Matsushita Electric industrial Co., Ltd. in the F-term (reference) 5D015 AA01 AA05 AA06 BB01 HH04 LL06 5D045 AB30
【請求項１】 システムとユーザーとの対話を実現する音声対話装置であって、 前記ユーザーの発話した音声を入力して音声信号を出力する音声入力手段、 前記音声入力手段から出力される音声信号を認識し、単語列として出力する音声認識手段、 前記音声認識手段から出力される前記単語列を前記ユーザーの発話の意味を表す概念信号に変換する言語理解手段、 前記音声入力手段から出力される音声信号から前記ユーザーの感情を抽出し、感情情報として出力する感情情報抽出手段、 前記感情情報抽出手段から出力される前記感情情報と、 1. A voice dialogue system for realizing the interaction with the system and the user, voice input means for outputting an audio signal to input voice uttered the user, the audio signal output from said voice input means recognizing the speech recognition means for outputting a word string, language understanding means for converting the word string output from the voice recognition unit on the concept signals representative of the meaning of the user's utterance is output from the voice input means said emotion information extracted emotion of the user from the audio signal, the emotion information extraction means for outputting as emotion information, outputted from the emotion information extraction means,
前記言語理解手段から出力される前記概念信号とに基づいて前記ユーザーの感情を表すユーザー感情パラメータを生成するユーザー感情パラメータ生成手段、 前記ユーザー感情パラメータ、もしくは、前記ユーザー感情パラメータと前記概念との両者に基づいて前記システムの感情を表すシステム感情パラメータを生成するシステム感情パラメータ生成手段、 前記概念信号、前記ユーザー感情パラメータ、または前記システム感情パラメータに基づいて前記システムの応答文を生成する応答文生成手段、および前記応答文を音声として出力する音声出力手段、 を備えたことを特徴とする音声対話装置。 User emotion parameter generating means for generating a user emotion parameter representing the emotion of the user based on said concept signal outputted from the language understanding unit, the user emotion parameter or, both with the user emotion parameter and the concepts system emotion parameter generating means for generating a system emotion parameter representing the emotion of the system based on the concept signal, the user emotion parameter or response sentence generation means for generating an answering sentence of the system based on the system emotion parameter, and voice dialogue system, characterized in that it comprises a voice output means for outputting as a voice the response sentence.
【請求項２】 前記感情情報抽出手段は、前記音声入力手段から出力される音声信号における前記音声の継続時間、発話速度、音声の休止期間（以下、ポーズと言う） Wherein said emotion information extraction means, the speech duration of the speech signal output from the voice input unit, speech rate, speech pause period (hereinafter, referred to as pause)
の有無、振幅、および基本周波数等の音声の状態を表す数値に基づいて前記感情情報を生成する、ことを特徴とする請求項１記載の音声対話装置。 The presence, amplitude, and basic generates the emotion information based on the value representing the state of the audio frequency, etc., voice dialogue system according to claim 1, wherein a.
【請求項３】 前記感情情報、前記ユーザー感情パラメータ、及び前記システム感情パラメータは、「喜」、 Wherein the emotion information, the user emotion parameter, and the system emotion parameter, "Hee"
「怒」、「哀」、「楽」等の少なくとも１つ以上の感情変数から構成されている、ことを特徴とする請求項１または請求項２記載の音声対話装置。 "Anger", "sorrow", "easy" at least one and a feeling variable, voice dialogue system according to claim 1 or claim 2, wherein the such.
【請求項４】 前記ユーザー感情パラメータ生成手段は、前記言語理解手段から出力される前記概念信号に基づいて概念感情情報を生成し、前記概念感情情報と、前記感情情報抽出手段から出力された前記感情情報とに基づいてユーザー感情パラメータを生成する、ことを特徴とする請求項１〜３のいずれかに記載の音声対話装置。 Wherein said user emotion parameter generating means, said language generating conceptual emotion information based on the concept signals outputted from the understanding means, the concepts emotion information outputted from the emotion information extraction means and the generating a user emotion parameter based on the emotion information, voice dialogue system according to claim 1, characterized in that.
【請求項５】 前記概念感情情報は、予め用意してある前記概念信号に対応する感情変数テーブルに基づいて生成される、ことを特徴とする請求項４記載の音声対話装置。 Wherein said conceptual emotion information is generated based on the emotion variables table corresponding to the concept signals are prepared in advance, voice dialogue system according to claim 4, wherein a.
【請求項６】 前記ユーザー感情パラメータ生成手段（１０５'）は、 前記ユーザー感情パラメータを記憶するユーザー感情パラメータ記憶手段、 新たに生成した前記ユーザー感情パラメータと前記ユーザー感情パラメータ記憶手段に記憶されているユーザー感情パラメータとを比較して、その変化量が予め定められた値以上の場合にはユーザー感情変化信号を出力するユーザー感情変化信号出力手段、および前記ユーザー感情変化信号が連続出力される回数をカウントしてその回数が予め定められた値以上の場合に前記ユーザー感情パラメータ記憶手段に記憶されているユーザー感情パラメータを更新するユーザー感情パラメータ更新手段、 を備えたことを特徴とする請求項１〜５のいずれかに記載の音声対話装置。 Wherein said user emotion parameter generating means (105 '), the user emotion parameter storing means for storing a user emotion parameter, stored in the user emotion parameter and the user emotion parameter storage means for newly generated by comparing the user emotion parameter, user emotion change signal outputting means for outputting a user emotion change signal when the change amount is greater than or equal to a predetermined, and the number of times a user emotion change signal is continuously output claim and counted to comprising the user emotion parameter updating means for updating the user emotion parameter stored in the user emotion parameter storage means when the count is greater than or equal to a predetermined 1 voice dialogue system according to any of 5.
【請求項７】 前記言語理解手段から出力される前記概念信号が予め設定されている特定の概念信号に一致している場合に特定感情パラメータを出力する特定感情パラメータ出力手段、および前記特定感情パラメータが入力されると前記システム感情パラメータの値を前記特定感情パラメータの値に変更するシステム感情パラメータ生成手段を備えたことを特徴とする請求項１〜６のいずれかに記載の音声対話装置。 7. A particular emotion parameter output means for outputting a specific emotion parameter if the concept signals outputted from the language understanding unit matches the particular concept signal that is set in advance, and the specific emotion parameter There voice dialogue system according to claim 1, characterized in that it comprises a system emotion parameter generating means for changing the value of the system emotion parameter to be input to the value of the specific emotion parameter.
【請求項８】 前記応答文生成手段は、前記ユーザー感情パラメータ生成手段から出力される前記ユーザー感情パラメータ、および前記システム感情パラメータ生成手段から出力されるシステム感情パラメータのそれぞれの変化情報を抽出し、それぞれの変化情報に基づいて前記システムの応答文を生成することを特徴とする請求項１ Wherein said answering sentence generating unit extracts the respective change information of the user emotion parameter the user emotion parameter output from the generator, and a system emotion parameter output from the system emotion parameter generating means, claim and generates a response sentence of the system based on the respective change information 1
から８のいずれかに記載の音声対話装置。 Voice dialogue system according to any of the 8. （図１４） (Figure 14)
JP2000313912A 2000-10-13 2000-10-13 Voice interactive device Pending JP2002123289A (en)
JP2000313912A JP2002123289A (en) 2000-10-13 2000-10-13 Voice interactive device
JP2002123289A true JP2002123289A (en) 2002-04-26
ID=18793250
JP2000313912A Pending JP2002123289A (en) 2000-10-13 2000-10-13 Voice interactive device
JP (1) JP2002123289A (en)
WO2005027091A1 (en) * 2003-09-12 2005-03-24 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
KR101168312B1 (en) * 2010-02-16 2012-07-25 모젼스랩(주) Apparatus and method for creating response using weighting
2000-10-13 JP JP2000313912A patent/JP2002123289A/en active Pending
JPH07219961A (en) 1995-08-18 Voice interactive system
US20040260546A1 (en) 2004-12-23 System and method for speech recognition
JPH11143346A (en) 1999-05-28 Method and device for evaluating language practicing speech and storage medium storing speech evaluation processing program
Cooper 1972 How is language conveyed by speech
US20020007275A1 (en) 2002-01-17 Speech complementing apparatus, method and recording medium
Baber et al. 1993 Modelling error recovery and repair in automatic speech recognition
JP2007219149A (en) 2007-08-30 Response generation device, method and program
JP2003022087A (en) 2003-01-24 Voice recognition method
US7031923B1 (en) 2006-04-18 Verbal utterance rejection using a labeller with grammatical constraints
JP2003177779A (en) 2003-06-27 Speaker learning method for speech recognition
US6850885B2 (en) 2005-02-01 Method for recognizing speech