Source: https://patents.google.com/patent/JPH08339446A/en
Timestamp: 2019-04-25 14:50:10
Document Index: 202127886

Matched Legal Cases: ['arts 1', 'arts 2', 'arts 1', 'art 4', 'arts 2', 'art 6', 'art 4', 'arts 7', 'arts 7']

JPH08339446A - Interactive system - Google Patents
JPH08339446A
JPH08339446A JP7143511A JP14351195A JPH08339446A JP H08339446 A JPH08339446 A JP H08339446A JP 7143511 A JP7143511 A JP 7143511A JP 14351195 A JP14351195 A JP 14351195A JP H08339446 A JPH08339446 A JP H08339446A
JP7143511A
Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko
1995-06-09 Application filed by Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko, Sharp Corp, シャープ株式会社, 技術研究組合新情報処理開発機構 filed Critical Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko
1995-06-09 Priority to JP7143511A priority Critical patent/JPH08339446A/en
1996-12-24 Publication of JPH08339446A publication Critical patent/JPH08339446A/en
PURPOSE: To provide an interactive system between a user (human) and a computer that a user feels familiar by detecting diverse feelings that the user has and outputting information from the computer side.
CONSTITUTION: This system cosists of plural input parts 1 (1-1, 1-2...) which react to the operation and behavior of the user, feature extraction parts 2 (2-1, 2-2...) which extract features of signals inputted from the input parts 1, a feeling decision part 4 which decides the feelings of the user from plural signal features extracted by the feature extraction parts 2, a response generation part 6 which generates the response contents of the computer on the basis of the feelings decided by the feeling decision part 4, and output parts 7 (7-1, 7-2...) for the response contents. The response contents are transmitted to the user by the output parts 7.
【産業上の利用分野】本発明は、ユーザ（人間）とコンピュータとが対話する対話装置に関し、より詳細には、 The present invention relates to relates to a dialogue system user (human) and the computer to interact, and more particularly,
音声或いは表情などを通じて対話を行うためのものに関する。 About what to do the dialogue such as through voice or facial expression.
【従来の技術】従来、人間とコンピュータの間のインタフェースとしては、キーボードや手書き文字認識，音声認識などが知られている。 Conventionally, as an interface between man and computer, keyboard and handwriting recognition, it has been known, such as voice recognition. しかし、これらの手段によってコンピュータ側に入力される情報は、言語に変換して入力されるものであり、入力を行う人間の感情を言語以外の情報として扱う手段を有するものではなかった。 However, information input to the computer side by these means, which is input into a language, did not have a means to deal with human emotions inputting as information other than the language. 一方、特開平５−１２０２３号公報には、音声認識を利用して使用者の感情を認識する装置が開示されている。 On the other hand, JP-A-5-12023, a device for recognizing emotions of the user by utilizing discloses speech recognition. また、特開平６−６７６０１号公報には、手話使用者の表情を認識し、話者の感情を含んだ自然文を出力する装置が開示されている。 JP-A-6-67601, recognize the expression of the sign language user, device for outputting natural sentence containing the emotion of the speaker is disclosed. さらに、特開平５−１００６６７号公報には、演奏者の動きを検出して、演奏者の感情にマッチした楽音制御をする装置が開示されている。 Further, JP-A-5-100667, to detect the movement of the player, an apparatus is disclosed a musical tone control that matches the emotion of the player.
【発明が解決しようとする課題】人間が働きかけることを要する上述の従来例の装置と同様に、コンピュータとの対話においても、人間は気分が乗ってきたり、あるいはいらいらしたり、退屈したりと様々な感情を持つ。 Similar to the apparatus of the above-described conventional example requires that encourage human [0006], also in dialogue with the computer, humans or have mood ride, or irritated or, bored or with a variety with the emotions. このような感情に対応すべく、特開平５−１２０２３号公報では、感情を音声から抽出しようとするものであり、 To respond to these feelings, in JP-A 5-12023, JP-is intended to extract the emotions from speech,
特開平６−６７６０１号公報では、手話に伴う表情から捉えようとするものであり、また、特開平５−１００６ In JP-A 6-67601, JP-is intended to try to capture the facial expressions with sign language, also, JP-5-1006
６７号公報では、演奏者の腕の曲げ押し等の体の動きから感情を検出しようとするものであるが、本来、人間の感情は、音声のみ，表情のみ，あるいは動きのみというように、シングルモードに現われるのではなく、音声や表情，身振りなどと同時に、あるいは、相補的に現われるものであるから、従来例の手段は、必ずしも満足できるものではない。 In the 67 JP, but is intended to from the motion of the body, such as press bending of the arm of the performer attempts to detect the emotion, originally, human emotions, voice only, facial expression only, or, as that movement only, single rather than appear in mode, voice and facial expression, such as the same time as gestures, or because those complementary appears, means conventional example, not always satisfactory. さらに、ユーザ（人間）の感情を検出しても、上述の従来例における装置の応答においても同様のことがいえるが、従来のコンピュータとの対話においては、コンピュータ側からの応答内容および応答の仕方がユーザの感情にかかわらず一定で、面白みのないものであった。 Further, even when detecting the emotion of the human user, but it can be said that the same thing in the response of the device in the conventional example described above, in interaction with a conventional computer, how response content and responses from the computer but at a constant regardless of the user's emotional, it was those not interesting. 本発明は、上述の課題を解決するためになされたもので、ユーザ（人間）とコンピュータの対話装置において、ユーザの多様な感情を検出するとともに、 The present invention has been made to solve the problems described above, the interaction device of the computer and the user (human), and detects the various emotions of the user,
さらにこの感情に応じて、コンピュータ側から情報を出力することにより、親しみの持てる対話装置を提供することをその目的とする。 Further in accordance with this feeling, by outputting information from the computer to provide an interactive device-held familiar with its purpose.
【課題を解決するための手段】本発明は、上述の課題を解決するために、（１）ユーザ（人間）とコンピュータが音声あるいは表情などを通じて対話する対話装置において、前記ユーザの行動或いは動作に応じる複数の入力手段と、該入力手段から入力された信号の特徴を抽出する特徴抽出手段と、該特徴抽出手段により抽出された複数の信号特徴から前記ユーザの感情を判定する感情判定手段と、該感情判定手段により判定された感情に基づき、前記コンピュータの応答内容を生成する応答生成手段とから構成されること、或いは、（２）前記（１）において、前記感情判定手段は、前記複数の信号特徴として前記ユーザの音声の高さと視線の方向を抽出し、それらからユーザの感情を判定すること、或いは、（３）前記（１）又は（２） The present invention SUMMARY OF], in order to solve the problems described above, (1) the interaction device the user (human) and computer to interact through voice or facial expression, behavior or operation of the user a plurality of input means to respond, a feature extraction means for extracting features of the input signal from the input means, and determining the emotion determination means emotion of the user from a plurality of signal features extracted by the feature extraction means, based on the emotion that is determined by the emotion determination means, be comprised of a response generation means for generating a response content of the computer, or (2) in the (1), said emotion determining means, said plurality of extract the direction of height and line of sight of the user voice as signal characteristics, to determine the user's emotional therefrom that, or (3) (1) or (2) おいて、感情の履歴を蓄積する履歴格納手段を更に備えたことを特徴とするものを構成する。 Oite, constitute what is characterized by further comprising a history storage means for storing a history of emotions.
【作用】請求項１の対話装置においては、入力手段によりユーザの行動或いは動作に対応して発生する複数の信号から信号抽出手段によりユーザの複数の信号特徴が抽出される。 [Action] In interaction device of claim 1, the signal extracting means of a plurality of signals generated in response to user actions or behavior more signal features of a user are extracted by the input means. そして、これら複数の信号特徴を統合的に扱い、感情判定手段によりユーザの感情を判定することができる。 Then, treat the plurality of signal features in an integrated manner, it is possible to determine the user's emotional by emotion determination means. また、判定された感情に基づき、応答生成手段によりコンピュータからの応答が決定される。 Further, based on the determined emotion, a response from the computer is determined by the response generation means. これにより、ユーザの感情に応じてコンピュータ側からの応答を制御することができるので、より親しみの持てる対話装置を提供することができる。 Thus, it is possible to control the response from the computer side according to the user's emotion, it is possible to provide an interactive device-held a more friendly. 請求項２の対話装置においては、音声の高さと視線の方向とからユーザの感情が判定される。 In interaction device according to claim 2, emotion of the user is determined from the direction of the height and the line of sight of the speech. これにより、より間違いの少ないユーザの感情を判定できる。 This makes it possible to determine the less the user's feelings of more mistake. 請求項３の対話装置においては、履歴格納手段によりユーザの感情の履歴が蓄積される。 In interaction device according to claim 3, a history of user's emotional stored by the history storage unit. これにより、ユーザの感情の変化を記録することができるようになり、ユーザの感情の変化に応じた感情判定ができるようになるとともに、ユーザの感情の変化に応じたコンピュータの応答の制御ができるようになるので、より満足のできる対話装置が得られる。 This makes it possible to record changes in the user's feelings, with so that it is emotion determined in accordance with the change of the user's emotion can be controlled response of the computer in response to a change in user's emotional since manner becomes, the interactive device can be obtained more capable satisfactory.
【実施例】図１は、本発明の対話装置の実施例を示すブロック図である。 DETAILED DESCRIPTION FIG. 1 is a block diagram showing an example of an interactive system of the present invention. 図１において、１は、入力部、２は、 In Figure 1, 1 is an input unit, 2,
入力部から得られる信号の特徴を抽出する特徴抽出部である。 A feature extraction unit for extracting a characteristic of a signal obtained from the input unit. ３は、感情を判定するためのデータをあらかじめ格納しておく感情特徴格納部であり、４は、感情特徴格納部３のデータを基に、ユーザの行動或いは動作から得られる信号の特徴からユーザの感情を判定する感情判定部である。 3 is a emotion feature storage unit in advance stored data to determine emotion, 4, based on the data of the emotion feature storage unit 3, the user from the feature of the signal obtained from the user's behavior or operation it is the emotion determining emotion determination unit. ５は、ユーザの感情に応じてコンピュータが出力すべきデータをあらかじめ格納しておく応答特徴格納部であり、６は、応答特徴格納部７のデータを基に、 5 is the response characteristic storage unit for storing data to be output is a computer in accordance with the user's emotional advance, 6, based on the data of the response characteristics storing section 7,
コンピュータの応答内容を生成する応答生成部である。 A response generation unit for generating a response content of the computer.
７は、該応答生成部６により生成されたデータを出力する出力部である。 7 is an output unit for outputting data generated by the response generating unit 6. ８は、現在時刻を得るための時刻取得部である。 8 is a time acquisition unit for obtaining the current time.
【０００７】次に、本実施例の動作に関して説明する。 [0007] Next, will be described operation of this embodiment.
入力部１は、例えばカメラやマイク，動きセンサ，あるいは心電計など、複数の入力部１-1，１-2，…を備えることができ、ユーザの行動或いは動作に対応して発生する複数の信号が取り込まれる。 Input unit 1, for example, a camera or a microphone, such as a motion sensor, or the electrocardiograph, a plurality of input portions 1-1 and 1-2 may comprise a ..., a plurality of generated corresponding to user behavior or operation signal is captured. 特徴抽出部２で抽出される特徴としては、例えば、音声の高低（以下ピッチという），音声の大きさ，発話の速度，ポーズの長さ，表情，顔の向き，口の大きさや形，視線の方向，身振り， The features extracted by the feature extraction unit 2, for example, voice height (hereinafter referred to as pitch), sound magnitude, rate of speech, pose length, facial expression, the face orientation, mouth size and shape, the line of sight direction, gesture,
手振り，頭の動き，心拍数などが考えられ、そのための複数の特徴抽出部２-1，２-2，…を備える。 Gestures, head movements, such as heart rate is considered, it comprises the plurality of feature extraction unit 2-1 for, ... a. また、出力部７は、例えば、スピーカやディスプレイ，触覚装置など、複数の出力部７-1，７-2，…を備えることができる。 The output unit 7 is, for example, a speaker or a display, such as a haptic device, a plurality of output portions 7-1 and 7-2 may comprise a ....
【０００８】以下では、入力部１-1として音声を入力するための音声入力部を、入力部１-2としてユーザの顔画像を入力するための顔画像入力部を、また、特徴抽出部２-1としてユーザが発声する音声の高さを抽出するピッチ抽出部を、特徴抽出部２-2としてユーザの視線方向を検出し、コンピュータに視線を向けているかどうか（アイコンタクト）を判定する視線検出部を、さらに、出力部７-1としてＣＧによる疑似人間を表示する表示部、および出力部７-2として合成音声を出力する音声出力部として、本発明の実施例が示されているので、その動作を説明する。 [0008] In the following, an audio input unit for inputting a voice as an input unit 1-1, the face image input unit for inputting a user's face image as the input unit 1-2, also feature extraction section 2 the pitch extractor for extracting height of voice user utters as -1, detects the gaze direction of the user as a feature extraction unit 2-2, the line of sight determines whether towards the line of sight to the computer (eye contact) the detection unit further display unit for displaying a pseudo-human by CG as the output unit 7-1, and the audio output unit for outputting the synthesized speech as the output unit 7-2, so are shown embodiments of the present invention , the operation thereof will be described. マイク等の入力部１-1によって装置に取り込まれた音声信号は、特徴抽出部２-1でＡ／Ｄ変換され、 Audio signal captured in the apparatus by the input unit 1-1 such as a microphone is A / D converted by the feature extraction unit 2-1,
あらかじめ決められた処理単位（フレーム：１フレームは１／３０秒）毎に平均ピッチ［Hz］が求められ、フレーム毎の平均ピッチ変化量［％］が感情判定部４に送出される。 Predetermined processing units (frames: one frame 1/30 seconds) are required average pitch [Hz] for each, the average pitch variation amount for each frame [%] is sent to the emotion determination unit 4. カメラ等の入力部１-2によって装置に取り込まれた視線の画像は、特徴抽出部２-2でフレーム毎にアイコンタクトの時間長［sec］が求められ、フレーム毎のアイコンタクト時間長の変化量［％］が感情判定部４に送出される。 Line of sight of the image captured in the device by the input unit 1-2 such as a camera, the time length of the eye contact for each frame by the feature extractor 2-2 [sec] is determined, changes in eye contact time length of each frame the amount [%] is sent to the emotion determination unit 4.
【０００９】図２は、特徴抽出部２-1で抽出された平均ピッチ［Hz］の例を示す図である。 [0009] Figure 2 is a diagram showing an example of the average pitch extracted by the feature extraction unit 2-1 [Hz]. また、図３は、時系列にとったフレーム毎の平均ピッチ変化量［％］の例を示す図である。 3 is a diagram showing an example when the average pitch variation amount for each frame taken in sequence [%]. ここで、（＋）数値はピッチが先行フレームより上がっていることを意味し、また、（−）数値は下がっていることを意味する。 Here, (+) Number means that the pitch is raised from the previous frame, also - means that down numeric (). 図４は、特徴抽出部２ 4, feature extraction unit 2
-2で検出されるアイコンタクトの時間長［sec］の例を示す図である。 It is a diagram showing an example of a time length of eye contact detected by -2 [sec]. また、図５は、時系列にとったフレーム毎のアイコンタクト変化量［％］の例を示す図である。 Further, FIG. 5 is a diagram showing an example when eye contact change amount for each frame taken in sequence [%].
ここで、（＋）数値はアイコンタクトの時間長が先行フレームより長くなっていることを意味し、また、（−） Here, it means that it is (+) values ​​are greater than the preceding frame time length of eye contact, also (-)
数値は短くなっていることを意味する。 Numerical means that are shorter. なお、ここでは、平均ピッチの変化量をピッチ特徴、およびアイコンタクトの時間長の変化量を視線特徴としたが、最高ピッチやアイコンタクトの回数などをそれぞれピッチ特徴， Here, the average pitch variation pitch characteristics, and the amount of change in the time length of the eye contact was gaze feature, best pitch and the like of each pitch characteristic number of eye contact,
視線特徴としてもよい。 It may be used as the line-of-sight feature.
【００１０】感情判定部４では、入力されたユーザのピッチ特徴および視線特徴を、フレーム毎に感情特徴格納部３のデータを参照して、該フレーム毎のユーザの感情が判定される。 [0010] In the emotion determination unit 4, the pitch characteristics and gaze feature of input user, by referring to the data of the emotion feature storage unit 3 for each frame, the user of the emotion of each said frame is determined. 表１は、感情特徴格納部３のデータの例を示す表である。 Table 1 is a table showing an example of a data emotion feature storage unit 3. この表には、平均ピッチの変化量［％］とアイコンタクトの時間長の変化量［％］から判定されるユーザの感情として両者の関係が示されている。 The table has the relationship between them is shown as a user of the emotion is determined variation of the average pitch [%] and the time length of the change amount of eye contact from [%].
【００１２】図６は、感情判定部４での時系列にとったフレーム毎の処理の例を示す図である。 [0012] Figure 6 is a diagram showing an example of processing for each frame taken in time series in the emotion determination unit 4. ここでは、例えば、ピッチ変化量が＋３０［％］およびアイコンタクト変化量が＋４５［％］と検出され、ユーザの感情が「楽しい」と判定されている。 Here, for example, the pitch variation is +30 [%] and eye contact variation is detected as +45 [%], emotion of the user is determined to be "happy".
【００１３】感情判定部４で判定された感情は、応答生成部６に送出される。 [0013] emotion determined in emotion determination unit 4 is sent to the response generation unit 6. 該応答生成部６では、フレーム毎に応答特徴格納部５のデータを参照して、出力すべき音声情報および顔画像情報がそれぞれ出力部７-2と出力部７-1とに送出される。 In the response generation unit 6 refers to the data of the response characteristic storage section 5 for each frame, the audio information and the facial image information to be output is sent to an output unit 7-2, respectively and an output unit 7-1. 表２は、応答特徴格納部５のデータの例を示す表である。 Table 2 is a table showing an example of data of the response characteristic storage unit 5. この表には、ユーザの感情に応じてコンピュータによる応答をピッチパタンおよびＣＧ The table pitch pattern and CG responses by the computer in response to the user's emotional
顔画像で指定するようにするための両者の対応関係が示されている。 Correspondence between the both so that specified by the face image is shown. もちろん、音声の大きさや発話の速度を指定したり、また、顔だけでなく、身振りも加えるようにしてもよい。 Of course, you can specify the speed of sound in size and speech, also, not only the face, may be gestures are also added.
【００１５】図７は、感情判定部４での処理に応じる応答生成部６での時系列にとったフレーム毎の処理の例を示す図である。 [0015] Figure 7 is a diagram showing an example of processing for each frame taken in time sequence in response generating unit 6 to respond to treatment with emotion determination unit 4. ここでは、例えば、ユーザの「楽しい」 Here, for example, of the user "fun"
という感情判定に対して、コンピュータからピッチパタン２の音声で笑顔のＣＧ顔画像を出力するよう処理している。 Against emotion determination that has been treated so as to output a smiling CG facial image voice pitch pattern 2 from the computer. 図８は、応答生成部６で指定されるピッチパタンの例を示す図で、また、図９は、ＣＧ顔画像の例を示す図である。 Figure 8 is a diagram showing an example of a pitch pattern specified by the response generating unit 6, and FIG. 9 is a diagram showing an example of a CG face image.
【００１６】次に、本願のほかの発明の実施例を説明する。 [0016] Next, an embodiment of another aspect of the present invention. 図１０は、この実施例の装置構成を示すブロック図であり、図示のように、先の本発明の実施例の構成に、 Figure 10 is a block diagram showing an apparatus configuration of this embodiment, as shown, the construction of the embodiment of the previous invention,
ユーザの感情の履歴を蓄積する履歴格納部９が付加されている。 History storage unit 9 for storing the history of the user's emotional is added. 以下に、この実施例でユーザの感情の履歴を処理する動作について説明する。 Hereinafter, an operation of processing a history of user emotions in this embodiment. まず、先の実施例と同様の手順によって、感情判定部４で判定されたユーザの感情をフレーム毎に履歴格納部９に蓄積する。 First, by the same procedure as the previous embodiment, it accumulates in the history storage unit 9 for each frame the emotion of the user is determined by the emotion determination unit 4. 人間の感情は変化し、その感情変化には、たとえば、「楽しい」から「ふつう」の感情、「イライラ」の感情から「怒っている」感情というように、一定の規則制があると考えられる。 Human emotion changes, in its emotional changes, for example, is considered the feelings of the "normal" from the "fun", such as "angry" emotion from the emotion of "frustrating", there are certain rules system . そこで、感情判定部４では、該当フレームでのユーザのピッチ特徴および視線特徴と、さらに前フレームの感情の履歴を参照して、該フレームのユーザの感情が判定される。 Therefore, the emotion determination unit 4, and the pitch characteristics and gaze feature of the user in the corresponding frame, with reference to the history of the emotion of the previous frame In addition, the user of the emotion of the frame is determined. 図１１は、ユーザの感情の履歴情報を利用した、感情判定部４での時系列にとったフレーム毎の処理の例を示す図である。 11, using the history information of the user's emotional is a diagram illustrating an example of processing for each frame taken in time series in the emotion determination unit 4. ここでは、該フレームで、ピッチ変化量が−３０〔％〕およびアイコンタクト変化量が＋４５〔％〕と検出され、かつ、前フレームの感情履歴「イライラ」を参照して、ユーザの感情が「怒っている」と判定されている。 Here, in the frame, the pitch variation is -30 [%] and eye contact variation is detected as +45 [%], and, with reference to the emotion history "frustrated" of the previous frame, the emotion of the user " It has been determined and angry ". 感情判定部４で判定された感情は、応答生成部６に送出される。 Emotion is determined by the emotion determination unit 4 is sent to the response generation unit 6. コンピュータとの対話において、ユーザの感情に応じて、コンピュータ側からの応答内容や応答の仕方が変化するようになれば、対話がより楽しいものになると考えられる。 In interaction with the computer, in response to the user's emotional, if so how response content or response from the computer side is changed, it is considered to interact becomes more enjoyable. そこで、応答生成部６では、感情判定部４で判定された該フレームの感情と履歴格納部９に蓄積された前フレームのデータを基に、該フレームでのコンピュータからの応答が決定されて、出力部７−１、７−２…に送出される。 Therefore, the response generating unit 6, based on the data of the previous frame stored in the emotion and the history storage portion 9 of the frame determined by the emotion determination unit 4, a response from the computer in the frame is determined, It is sent to the output unit 7-1 and 7-2 .... 図１２は、 Figure 12,
ユーザの感情の履歴情報を利用した、応答生成部６での時系列にとったフレーム毎の処理の例を示す図である。 Using historical information of the user's emotion, it is a diagram showing an example of processing for each frame taken in time sequence in response generating unit 6.
ここでは、感情判定部４でユーザの該フレームでの感情が「退屈」と判定され、履歴格納部９に蓄積された前フレームの感情履歴「退屈」を参照して、ユーザを楽しませるようなピッチパタンとＣＧ顔画像を出力するように指定されている。 Here, the emotion in the frame of user emotion determination unit 4 is determined to be "boring", with reference to the emotion history "boring" of the frame before stored in the history storage unit 9, such as to entertain the user is designated to output the pitch pattern and CG face image. このように、ユーザの感情の履歴を参照することにより、ユーザの感情を変化させるようなコンピュータの応答を制御することができる。 Thus, by referring to the history of the user's emotional, it is possible to control the response of the computer, such as changing the emotion of the user. なお、ここでは、感情判定を「楽しい」「退屈」などとカテゴリに分類して判定しているが、感情とは本来、たとえば「非常に楽しい」から「非常に退屈」まで連続的なものである。 Here, the emotion judgment "fun" it is determined by classifying the "boring" such as a category, but the original emotion and is, be continuous, for example, from "very pleasant" to "very boring." is there. そこで、感情の判定を、ユーザから入力されるデータの特徴量から、「感情度」として、「楽しさ」の度合０.５，０.１，０.８…などと、アナログ処理するようにしてもよい。 Therefore, the determination of the emotion, from the feature data input from the user, as "emotion level", the degree 0.5,0.1,0.8 ... and so the "fun", so as to analog processing it may be. 図１３は、「感情度」のアナログ判定処理の例を示す図である。 Figure 13 is a diagram showing an example of an analog determination process "emotion level". ここでは、「楽しい」から「退屈」までの「感情度」のアナログ処理の例が示されている。 Here is an example of analog processing of the "emotional level" from the "fun" to "boring" are shown. このことにより、この「感情度」に応じて、コンピュータの応答もアナログ制御できるようになる。 Thus, in accordance with the "emotion level", also to be an analog control response of the computer. 表３ Table 3
は、「感情度」に応じたコンピュータの応答のアナログ制御の例を示す表である。 Is a table showing an example of an analog control of the response of the computer in accordance with the "emotion level". ここでは、平均ピッチ、および顔画像の口の形をアナログ制御する例が示されている。 Here, examples of the average pitch, and shape of the mouth of the face image analog control is shown. なお、表中のＫ１，Ｋ２は係数である。 Note that it is K1, K2 are coefficients in the table.
【発明の効果】人間とコンピュータが音声あるいは表情などを通じて対話する対話装置において、請求項１の対話装置においては、ユーザの行動に対応して発生する複数の信号特徴からユーザの感情を判定することができるとともに、ユーザの感情に応じてコンピュータ側から応答するよう制御することができる。 In interactive device humans and computers to interact through voice or facial expression according to the present invention, the interaction device according to claim 1, determining the user's emotional from a plurality of signal features that occur in response to user behavior it is, can be controlled so as to respond from the computer according to the user's emotions. したがって、より親しみの持てる対話装置を提供できる。 Therefore, it provides an interactive device-held a more friendly. 請求項２の対話装置においては、ユーザの音声の高さ（ピッチ）と視線の方向（アイコンタクト）とからユーザの感情を判定するので、より間違いの少ない判定が可能となる。 In interaction device according to claim 2, since determining the user's emotional because the height of the sound (the pitch) gaze direction (eye contact) of the user, it is possible to small determination a more inaccurate. 請求項３ Claim 3
の対話装置においては、ユーザの感情の変化に応じた感情判定ができるようになるとともに、ユーザの感情の変化に応じたコンピュータの応答の制御ができるようになるので、対話装置として、より満足できるものが得られる。 In the interaction device, along with so that it is emotion determined in response to changes in the user's feelings, because it becomes possible to control the response of the computer in response to changes in the user's feelings, as an interactive device, it can be more satisfactory what is obtained.
【図１】本発明の対話装置の実施例を示すブロック図である。 1 is a block diagram showing an example of an interactive system of the present invention.
【図２】本発明の実施例の特徴抽出部で抽出された平均ピッチ［Hz］の例を示す図である。 2 is a diagram showing an example of the average pitch extracted by the feature extraction unit of the embodiment [Hz] of the present invention.
【図３】本発明の実施例の特徴抽出部で抽出された平均ピッチの変化量［％］の例を示す図である。 3 is a diagram showing an example of an average pitch change amount extracted by the feature extraction unit of Example [%] of the present invention.
【図４】本発明の実施例の特徴抽出部で抽出されたアイコンタクト時間長［sec］の例を示す図である。 It is a diagram illustrating an example of FIG. 4 Eye Contact time length extracted by the feature extraction unit of the embodiment of the present invention [sec].
【図５】本発明の実施例の特徴抽出部で抽出されたアイコンタクト時間長の変化量［％］の例を示す図である。 5 is a diagram showing an example of an eye contact time length of the change amount extracted by the feature extraction unit of Example [%] of the present invention.
【図６】本発明の実施例の感情判定部での処理の例を示す図である。 6 is a diagram showing an example of processing in the emotion determination unit embodiment of the present invention.
【図７】本発明の実施例の応答生成部での処理の例を示す図である。 7 is a diagram showing an example of processing in the response generating unit of the embodiment of the present invention.
【図８】本発明の実施例の応答生成部でのピッチパタンの例を示す図である。 8 is a diagram showing an example of a pitch pattern of the response generation unit of the embodiment of the present invention.
【図９】本発明の実施例の応答生成部でのＣＧ顔画像の例を示す図である。 9 is a diagram showing an example of a CG face image in response generating unit of the embodiment of the present invention.
【図１０】本発明の他の実施例の概略構成ブロック図である。 10 is a schematic block diagram of another embodiment of the present invention.
【図１１】本発明の他の実施例のユーザの履歴を利用した感情判定部での処理の例を示す図である。 11 is a diagram showing an example of processing in the emotion determination unit utilizing the history of the user according to another embodiment of the present invention.
【図１２】本発明の他の実施例のユーザの履歴を利用した応答生成部での処理の例を示す図である。 12 is a diagram showing an example of processing in the response generating unit using a history of the user according to another embodiment of the present invention.
【図１３】本発明の実施例の感情判定部での「感情度」 [13] in the emotion determination unit embodiment of the present invention "emotion level"
による感情のアナログ判定処理の例を示す図である。 Is a diagram illustrating an example of an analog determination process emotions by.
１，１-1，１-2…入力部、２，２-1，２-2…特徴抽出部、３…感情特徴格納部、４…感情判定部、５…応答特徴格納部、６…応答生成部、７，７-1，７-2…出力部、 1,1-1,1-2 ... input unit, 2,2-1,2-2 ... feature extraction unit, 3 ... emotion feature storage unit, 4 ... emotion determination unit, 5 ... response characteristics storing section, 6 ... response generating unit, 7,7-1,7-2 ... the output unit,
８…時刻取得部、９…履歴格納部。 8 ... time acquisition unit, 9 ... history storage unit.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 6識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 ５７１ Ｇ１０Ｌ 9/00 ３０１Ａ 9/00 ３０１ Ｇ０６Ｆ 15/62 ３８０ ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 6 identification symbol Agency Docket No. FI art display portion G10L 3/00 571 G10L 9/00 301A 9/00 301 G06F 15/62 380
【請求項１】 ユーザ（人間）とコンピュータが音声あるいは表情などを通じて対話する対話装置において、前記ユーザの行動或いは動作に応じる複数の入力手段と、 1. A dialogue device user (human) and computer to interact through voice or facial expressions, a plurality of input means responsive to actions or operations of the user,
該入力手段から入力された信号の特徴を抽出する特徴抽出手段と、該特徴抽出手段により抽出された複数の信号特徴から前記ユーザの感情を判定する感情判定手段と、 Feature extracting means for extracting features of the input signal from the input means, and determining the emotion determination means emotion of the user from a plurality of signal features extracted by the feature extraction means,
該感情判定手段により判定された感情に基づき、前記コンピュータの応答内容を生成する応答生成手段とから構成されることを特徴とする対話装置。 The emotion based on the determined emotion by determination means, interactive device, characterized in that it is composed of a response generation means for generating a response content of the computer.
【請求項２】 前記感情判定手段は、前記複数の信号特徴として前記ユーザの音声の高さと視線の方向を抽出し、それらからユーザの感情を判定することを特徴とする請求項１記載の対話装置。 Wherein said emotion determining means, said plurality of extracting direction of height and line of sight of the user voice as signal characteristics, interaction of claim 1, wherein determining the emotion of the user from their apparatus.
【請求項３】 感情の履歴を蓄積する履歴格納手段を更に備えたことを特徴とする請求項１または２記載の対話装置。 3. A dialogue device according to claim 1 or 2, characterized in that further comprising a history storage means for storing a history of emotions.
JP7143511A 1995-06-09 1995-06-09 Interactive system Pending JPH08339446A (en)
JP7143511A JPH08339446A (en) 1995-06-09 1995-06-09 Interactive system
JPH08339446A true JPH08339446A (en) 1996-12-24
ID=15340442
JP7143511A Pending JPH08339446A (en) 1995-06-09 1995-06-09 Interactive system
JP (1) JPH08339446A (en)
US6219657B1 (en) 1997-03-13 2001-04-17 Nec Corporation Device and method for creation of emotions
WO2002023524A1 (en) * 2000-09-13 2002-03-21 A.G.I.Inc. Emotion recognizing method, sensibility creating method, device, and software
JP2004016743A (en) * 2002-06-20 2004-01-22 Aruze Corp Game machine, game control method and program
JP2004065309A (en) * 2002-08-01 2004-03-04 Aruze Corp Game machine, game control method and program
JP2004178593A (en) * 2002-11-25 2004-06-24 Eastman Kodak Co Imaging method and system
JP2006031467A (en) * 2004-07-16 2006-02-02 Fujitsu Ltd Response generation program, response generation method and response generation apparatus
JP2006178063A (en) * 2004-12-21 2006-07-06 Toyota Central Res & Dev Lab Inc Interactive processing device
JP2007287177A (en) * 2002-12-11 2007-11-01 Sony Corp Information processing device and method, program, and recording medium
WO2008069187A1 (en) * 2006-12-05 2008-06-12 The University Of Tokyo Presentation support device, method, and program
JP2008217444A (en) * 2007-03-05 2008-09-18 Toshiba Corp Device, method and program for dialog with user
JP2009037410A (en) * 2007-08-01 2009-02-19 Nippon Hoso Kyokai <Nhk> Emotion expression extraction processing device and program thereof
JP2009163619A (en) * 2008-01-09 2009-07-23 Toyota Central R&D Labs Inc Response generation device and response generation program
JP2012113589A (en) * 2010-11-26 2012-06-14 Nec Corp Action motivating device, action motivating method and program
KR101317047B1 (en) * 2012-07-23 2013-10-11 충남대학교산학협력단 Emotion recognition appatus using facial expression and method for controlling thereof
1995-06-09 JP JP7143511A patent/JPH08339446A/en active Pending
KR100714535B1 (en) * 2000-09-13 2007-05-07 가부시키가이샤 에이.지.아이 Emotion recognizing method, sensibility creating method, device, and software
US7340393B2 (en) 2000-09-13 2008-03-04 Advanced Generation Interface, Inc. Emotion recognizing method, sensibility creating method, device, and software
JP4525712B2 (en) * 2002-12-11 2010-08-18 ソニー株式会社 The information processing apparatus and method, program, and recording medium
US7711560B2 (en) 2003-02-19 2010-05-04 Panasonic Corporation Speech recognition device and speech recognition method
JP4508757B2 (en) * 2004-07-16 2010-07-21 富士通株式会社 Response generation program, response generation method, and response generator
JP2008139762A (en) * 2006-12-05 2008-06-19 National Institute Of Advanced Industrial & Technology Presentation support device, method, and program
Picard 1999 Affective Computing for HCI.
Best 1995 Learning to perceive the sound pattern of English
Sandler et al. 2006 Sign language and linguistic universals
JP3943492B2 (en) 2007-07-11 How to improve the distinction of dictation and command
US20140112556A1 (en) 2014-04-24 Multi-modal sensor based emotion recognition and emotional interface
Tosa et al. 1996 Life-like communication agent-emotion sensing character" MIC" and feeling session character" MUSE"
Schuller et al. 2006 Emotion recognition in the noise applying large acoustic feature sets
Oviatt 2003 Advances in robust multimodal interface design
Kaucic et al. 1996 Real-time lip tracking for audio-visual speech recognition applications
Pantic et al. 2003 Toward an affect-sensitive multimodal human-computer interaction
JP3664474B2 (en) 2005-06-29 Language transparently synthesis of visual speech
JP2004527815A (en) 2004-09-09 Activities starting method and system based on sensing electrophysiological data