"ユーザである人間と対話を行う対話システムの対話の質を評価する対話評価装置において、対話に関するデータ及びその対話のユーザ評定値をその対話の対話データとして、複数のユーザのそれぞれについての各対話の対話データを記憶する対話データ記憶部と、上記対話データから各上記複数のユーザの対話の所定の発言の数の平均値及び対話の長さの平均値を計算し、また、上記対話データから評価関数の説明変数となる統計量を抽出する統計量抽出部と、上記計算された対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて上記複数のユーザをクラスタリングするクラスタリング部と、各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての上記統計量を説明変数とし上記ユーザ評定値を応答変数とする重回帰分析により導出する評価関数導出部と、を含む対話評価装置。請求項1の対話評価装置において、上記統計量は、上記評価関数による評価の対象となる対話及び当該対話より前に実行された対話の対話データから抽出される統計量を含む、対話評価装置。請求項1及び2の対話評価装置において、上記対話は、複数の対話トピックに属するとし、ユーザが所定の目標を達成した対話を目標達成対話として、上記統計量は、対話トピックごとの目標達成対話についての分布エントロピーを含む、対話評価装置。ユーザである人間と対話を行う対話システムの対話の質を評価する対話評価方法において、対話データ記憶部には、対話に関するデータ及びその対話のユーザ評定値をその対話の対話データとして、複数のユーザのそれぞれについての各対話の対話データが記憶されており、統計量抽出部が、上記対話データから各上記複数のユーザの対話の所定の発言の数の平均値及び対話の長さの平均値を計算し、また、上記対話データから評価関数の説明変数となる統計量を抽出する統計量抽出ステップと、クラスタリング部が、上記計算された対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて上記複数のユーザをクラスタリングするクラスタリングステップと、評価関数導出部が、各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての上記統計量を説明変数とし上記ユーザ評定値を応答変数とする重回帰分析により導出する評価関数導出ステップと、を含む対話評価方法。請求項1から3の何れかの対話評価装置の各部としてコンピュータを機能させるためのプログラム。このような情報推薦型、情報教示型、思考喚起型など、効率的なタスク遂行を重視しない対話システムに対して対話評価技術PARADISEを適用した従来の事例においては、比較的低い決定係数をもつ評価関数しか得ることができず、精度の良い評価関数を得ることが困難であることが報告されている例えば、非特許文献2及び非特許文献4参照。。例えば、非特許文献2では026の決定係数をもつ評価関数が、非特許文献4では020の決定係数をもつ評価関数が報告されている。この理由として以下の理由が考えられる。こうした対話システムにおいては、ユーザはできるだけ短い対話でタスクを遂行するという明確な共通の目的に向かって行動する傾向が弱まるため、ユーザの対話行動の傾向のばらつきが大きくなる。その結果、ユーザの集合全体に関して、ユーザの対話行動から対話の質のユーザ評定値を予測する評価関数を導出しようとしても、性能の高い評価関数を導出することが難しくなるということが考えられる。この発明の課題は、従来よりも性能の高い評価関数を導出する対話評価装置、方法及びプログラムを提供することである。この発明の一態様による、ユーザである人間と対話を行う対話システムの対話の質を評価する対話評価装置は、対話に関するデータ及びその対話のユーザ評定値をその対話の対話データとして、複数のユーザのそれぞれについての各対話の対話データを記憶する対話データ記憶部と、対話データから各複数のユーザの対話の所定の発言の数の平均値及び対話の長さの平均値を計算し、また、対話データから評価関数の説明変数となる統計量を抽出する統計量抽出部と、計算された対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて複数のユーザをクラスタリングするクラスタリング部と、各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての統計量を説明変数としユーザ評定値を応答変数とする重回帰分析により導出する評価関数導出部と、を含む。クラスタごとに評価関数を計算することにより、人間と対話システムの間で実行される対話の質を評価する評価関数の精度を高めることができる。その評価関数に基づいて対話システムの振る舞いを制御することによって、人間と対話システムの間でやり取りされる対話を人間にとってより質の高いものにすることができる。このことにより、対話システムと対話する人間の対話継続意欲を向上や、満足度の向上につながる。以下、図面を参照してこの発明の一実施形態を説明する。この実施形態では、対話システムとして、クイズ形式の思考喚起型音声対話システムを用いる。もちろん、これは対話システムの一例であり、クイズ形式の思考喚起型音声対話システム以外の対話システムにもこの発明を適用することができる。まず、クイズ形式の思考喚起型音声対話システムクイズ音声対話システムとも言う。について説明する。クイズ音声対話システムは、広い対話トピックに下でユーザの思考を喚起し、コミュニケーションを活性化する思考喚起型対話システムの一例である。クイズ音声対話システムでは、対話エージェントがユーザに対して人名当てクイズを出題し、正解に辿りつくように、対話を進めていく。対話エージェントとは、擬人化された身体表現を持ち、音声や身振りなどの自然なコミュケーション手段で、人間とコミュニケーションを行うコンピュータプログラム又はロボットのことを言う。この実施形態で利用するクイズ対話システムでは、対話エージェントとして、参考文献1に記載された、物理的なロボットとして実現されたエージェントを用いる。参考文献1KohjiDohsakaAtsushiKanemotoRyuichiroHigashinakaYasuhiroMinamiEisakuMaedaUseradaptivecoordinationofagentcommunicativebehaviorinspokendialogueProceedingsofProceedingsofthe11thAnnualSIGDIALMeetingonDiscourseandDialoguepp3143212010人名当てクイズのヒントは、ユーザが容易には正解に辿り着かないように、難しいヒントから易しいヒントの順に自動的に並び替えられ、このことによりユーザの思考が喚起され、ユーザの対話意欲が向上することが分かっている例えば、非特許文献5参照。。クイズ音声対話システムでは、音声認識技術によりユーザの音声を自動認識し、認識された音声の内容と、それまでの対話の文脈によって、次にエージェント発言を自動的に決定し、音声合成技術によりエージェント音声を出力する。このように、クイズ音声対話システムは自動的に動作するコンピュータシステムであるが、この実施形態においては、システムを全く自動的に動作させるのではなく、人間がエージェントの行動を操作するWizardofOz方式を採用した。エージェントを操作する人間をオペレータと呼ぶ。WoZ方式については、後述する。エージェントとユーザの間のクイズ音声対話の例を図3に示す。エージェントは、クイズ開始発言1、ヒント提示発言2,8、ユーザ回答の評価発言4,12,14,15、ユーザへの呼びかけ発言5、クイズの困難さの表出発言7のための発言等を行うことができる。この他、エージェントは、クイズの容易さの表出易しすぎるかな等のための発言を行うことができる。ユーザの発言は、図4に例示するように、回答の発言発言3,11,13と、回答以外の非回答の発言に2つの種別に分類される。また、ユーザの非回答の発言は、肯定、否定、中立の3つの種別に分類される。肯定の発言としては、クイズの容易さの表出や肯定的な感情をもつ感想の表明がある発言16。否定の発言としては、クイズの困難さの表出発言9、否定的な感情をもつ感想の表明発言10、クイズの放棄がある。中立の発言としては、思考中であることの表出発言6とその他の感情的に中立な感想の表明がある。なお、ユーザは、クイズを途中で止めることもできる。このように、この例においては、クイズ音声対話においてユーザの発言の種別を回答か非回答かの2つの種別に分類し、更に非回答の発言を肯定、否定、中立の3つの種別に分類したが、ユーザ発言の種別の分類は、これに限るものではなく、発言の語彙統語音声的な特徴に基づく他の分類も利用することができる。対話評価装置は、図1に示すように対話データ記憶部1、統計量抽出部2、クラスタリング部3、評価関数導出部4を例えば備える。対話評価装置は、図2に例示した対話評価方法の各ステップを実行する。対話データ記憶部1には、複数のユーザのそれぞれについての各対話の対話データが記憶されている。対話データとは、対話に関するデータ及びその対話のユーザ評定値のことである。対話に関するデータからは、後述する統計量が計算可能である。ユーザ評定値は、例えば下記のような対話実験から事前に収集される。例えば、対話システムエージェントとユーザの間の対話と対話の質のユーザ評定値を収集するために、WizardofOz方式の対話を実施する。すなわち、クイズ音声対話システムを完全に自動で動作させるのではなく、人間オペレータがエージェントの行動を操作するというWoZ方式で行う。この対話実験では、30名の日本語話者男性15名,女性15名がユーザとして参加した。また、オペレータとして2名の日本語話者が参加した。対話実験を開始する前に、クイズの問題となる有名な人物を5つのカテゴリから選んだ。5つのカテゴリは芸能、スポーツ、文学芸術、政治、歴史上の人物である。この例では、これらのクイズのカテゴリを対話トピックとする。すなわち、芸能、スポーツ、文学芸術、政治、歴史上の人物という5つの対話トピックが存在するとする。カテゴリごとに20名の人物が選ばれた。各カテゴリのクイズの難易度を揃えるため、まず、Wikipedia上のハイパーリンク構造に基づいて、Wikipedia中の人物をPageRankTMスコアを計算し、それらの人物をPageRankスコアの降順に並べた。次に、カテゴリに属する人物のPageRankスコアの分布が各カテゴリでほぼ等しくなるように、カテゴリごとに20名の人物を選んだ。対話実験において、ユーザとオペレータは異なる部屋に入り、対話を行った。ユーザはエージェントがオペレータによって操作されているとは知らされなかった。ユーザは小休憩を挟みながら、2時間程度対話を続けるように指示された。各対話においてオペレータは5つのカテゴリからクイズの問題となる人物を選択し、クイズを開始した。対話の途中で、オペレータはヘッドフォンでユーザの音声を聞き、ユーザの発言の種別を分類し、その種別をキーボードでシステムに入力した。ユーザ発言の種別が回答の場合は、クイズの回答として発言された人物名も入力した。オペレータが入力した情報とシステムが保持する対話の文脈に基づいて、対話システムは次のエージェント発言の候補を出力する。オペレータはその候補から次のエージェント発言を一つ選んだ。オペレータによって選ばれたエージェント発言が音声によってユーザに対し出力された。オペレータは、ユーザの対話意欲をできるだけ維持するように、クイズの問題となる人物の選択と次のエージェント発言の選択を行うことを指示された。ユーザは各対話においてクイズに正解できるように対話を行うように前もって指示され、クイズに対する回答以外の発言も行ってよいことが事前に知らされた。一つの対話が終わるたびに、ユーザはその時点での自分自身の対話意欲を評定し、タッチパネルのボタンを押すことによって、対話意欲を4段階で入力した。4が最も対話意欲が高く、1が最も対話意欲が低い。このようにユーザが入力したユーザ自身の対話意欲の評定値を対話意欲のユーザ評定値と呼ぶ。対話意欲のユーザ評定値はオペレータには知らされなかった。以上に述べたWoZ方式の対話実験によって対話データが収集された。収集された対話データにおいて、各ユーザは、平均38.8個のクイズ対話を実施し、合計で1,163個の対話が収集された。一対話の長さは平均2.92分であった。対話データ全体で、43,021個の発言が収集された。そのうち、27,439個がエージェントの発言であり、15,582個がユーザの発言であった。ユーザが入力した対話意欲は、平均3.07標準偏差0.84であった。このような対話実験により得られたユーザ評定値は、対話データの一部として対話データ記憶部1に記憶される。統計量抽出部2は、対話データ記憶部1から読み込んだ対話データから評価関数の説明変数となる統計量を抽出するステップS1。抽出された統計量は、評価関数導出部4に送信される。また、統計量抽出部2は、クラスタリング部3がクラスタリングする際に用いる、各ユーザの対話の所定の発言の数の平均値、及び、各ユーザの対話の長さの平均値を計算して、クラスタリング部3に送信する。各ユーザの対話の所定の発言の数の平均値、及び、各ユーザの対話の長さの平均値が統計量として抽出されている場合には、その統計量として抽出された各ユーザの対話の所定の発言の数の平均値、及び、各ユーザの対話の長さの平均値がクラスタリング部3に送信される。以下、統計量抽出部2で抽出する統計量について説明する。図5に示すように、対話データにおいて、各ユーザとエージェント対話システムは連続して複数の対話を実施している。この例では、ユーザはN個の対話を連続して実施した。N個の対話を対話1,対話2,...,対話K,...,対話Nと書く。ユーザは各対話の終了時にその時点での対話意欲を4段階で評定した評定値を与えている。それらのユーザ対話意欲の評定値をユーザ対話意欲1,ユーザ対話意欲2,...,ユーザ対話意欲K,...,ユーザ対話意欲Nと書く。2番目以降の対話に関して、各対話の終了時点でのユーザ対話意欲の評定値を、その各対話を含むそれまでに実行された対話から抽出されるユーザ対話行動の統計量に基づいて予測することを考える。今、K番目の対話Kの終了時点におけるユーザ対話意欲Kを予測する場合を想定する。ここで、現在着目している対話である現在の対話を評価の対象となる対話と呼び,現在の対話の終了時点までに連続して実行された対話をそれまでに実行された対話と呼ぶ。さらに、現在の対話の一つ前の対話の終了時点までに連続して実行された対話、すなわち一つ前の対話までに実行された対話を評価の対象となる対話より前に実行された対話と呼ぶ。なお、ここでは2番目以降の対話に関して、ユーザ対話意欲の評定値を予測することを考えているので、評価の対象となる対話より前に実行された対話が空集合になることはない。この図5の例の場合、対話Kが評価の対象となる対話であり,対話1から対話Kまでの対話がそれまでに実行された対話となる。また、対話1から対話K-1までの対話が評価の対象となる対話より前に実行された対話となる。この実施形態は、ユーザ対話意欲Kをそれまでに実行された対話対話1から対話Kまでの対話に渡るユーザ対話行動の統計量に基づいて予測することを特徴とする。以下では、評価の対象となる対話のユーザ対話行動の統計量と、それまでに実行された対話に渡るユーザ対話行動の統計量を比較し,それまでに実行された対話に渡る対話行動の統計量がより効果的であることを示す。対話の質のユーザ評定値を予測する際に使う各種のユーザ対話行動の統計量は、対話の効率性に関する統計量、対話の質に関する統計量、タスク成功に関する統計量に分類される例えば、非特許文献1参照。。この分類にしたがって、この実施形態で使う各種のユーザ対話行動の統計量について説明する。統計量の分類の例を図6に示す。第一に、対話の効率性に関する統計量として、統計量抽出部2は次の統計量からを抽出する。ただし、このうち、’は、評価の対象となる対話の統計量の効果とそれまでに実行された対話に渡る統計量の効果を比較する目的のためだけに抽出するもので、抽出しなくてもよい。評価の対象となる対話の長さ’現在の目標達成対話の長さと、現在の目標不達成対話の長さそれまでに実行された対話における目標達成対話の長さの平均値と目標不達成対話の長さの平均値から一つ前の対話までに実行された対話の長さの平均値を引いた値対話の長さとは、例えば時分秒等の単位で計測される時間長や、対話を構成するユーザの発言の数と対話システムの発言の数とを加算した値である。この実施形態では、各対話の長さは、対話の時間長分によって測った。この実施形態で用いるクイズ音声対話においては、対話ごとに特定のクイズに正解するという目標が与えられているものと考えられる。対話がクイズが正解して終了したとき、その対話は目標達成対話と呼ばれ、さもなければ目標不達成対話と呼ばれる。’において,現在の目標達成対話の長さとは、現在の対話である評価の対象となる対話が、目標達成対話ならばその対話の長さであり、目標不達成対話ならば0であると定義し、現在の目標不達成対話の長さとは、現在の対話である評価の対象となる対話が目標不達成対話ならばその対話の長さであり、目標達成対話ならば0であると定義する。E2においては、あるユーザのそれまでに実行された対話において、目標達成対話だけを取り出しその長さの平均値を計算し目標達成対話の長さの平均値と定義し、また、目標不達成対話だけを取り出しその長さの平均値を計算し目標不達成対話の長さの平均値と定義する。と’は評価の対象となる対話のユーザ対話行動の統計量であり、とはそれまでに実行された対話に渡るユーザ対話行動の統計量である。この実施形態においては、それまでに実行された対話に渡るユーザ対話行動は、それまでに実行された対話に渡るユーザ対話行動の平均的な振る舞いを表わす統計量ここではに相当するものと、現在の対話のユーザ対話行動が、一つ前の対話までのユーザ対話行動の平均的振る舞いからどう変化したかを表わす差の値ここではに相当するものとによってモデル化される。評価の対象となる対話の統計量の効果とそれまでに実行された対話に渡る統計量の効果を比較するため、現在の対話の統計量’を用いてユーザ対話意欲の評定値を予測した場合の結果も後に示す。比較の目的のため、を用いず,’を用いるのは、目標達成対話と目標不達成対話に分けた上で、評価の対象となる対話の統計量と、それまでに実行された対話に渡る統計量とを比較するためである。同様にしてE3の代わりに、目標達成対話と目標不達成対話とに分けた上で、評価の対象となる対話の長さから一つ前の対話までに実行された対話の長さの平均値を引いた値を用いることもできるが、ここでは簡単のために、それは行わずにを用いる。また、E1はを計算するために必要な値であるので、それまでに実行された対話に渡るユーザ対話行動の統計量を用いる場合であっても、前もって計算しておく必要がある。第二に、対話の質に関する統計量として、統計量抽出部2は次の統計量からを抽出する。評価の対象となる対話における所定の発言についての単位時間発言数それまでに実行された対話における所定の発言についての単位時間発言数の平均値から一つ前の対話までに実行された対話における所定の発言についての単位時間発言数の平均値を引いた値それまでに実行された対話における対話トピックごとの目標達成対話についての分布エントロピーのそれまでに実行された対話における対話トピックごとの目標達成対話についての分布エントロピーは例えば次のように計算する。この例においては、クイズのカテゴリが対話トピックとなる。すなわち,芸能,スポーツ,文学芸術,政治,歴史上の人物という5つの対話トピックが存在する。第一に、図5のそれまでに実行された対話対話1,...,対話Kの中で,対話トピッククイズのカテゴリごとに目標達成対話の生起数を数え、その目標達成対話の生起数に基づいて、対話トピックごとの目標達成対話の生起確率を計算する。それまでに実行された対話の中で、芸能、スポーツ、文学芸術、政治、歴史上の人物の各対話トピックの目標達成対話の生起数を次のように定義する。X芸能=芸能の対話トピックの目標達成対話の生起数Xスポーツ=スポーツの対話トピックの目標達成対話の生起数X文学芸術=文学芸術の対話トピックの目標達成対話の生起数X政治=政治の対話トピックの目標達成対話の生起数X歴史上の人物=歴史上の人物の対話トピックの目標達成対話の生起数ここで、次のように、それまでに実行された対話の中で、すべての対話トピックの目標達成対話の合計をX合計とする。X合計=X芸能XスポーツX文学芸術X政治X歴史上の人物このとき、対話トピックごとの目標達成対話の生起確率P対話トピックは次のように計算できる。P芸能=X芸能/X合計Pスポーツ=Xスポーツ/X合計P文学芸術=X文学芸術/X合計P政治=X政治/X合計P歴史上の人物=X歴史上の人物/X合計なお、X合計が0のとき、P対話トピックは0と定義する。続いて第二に、対話トピックごとの目標達成対話の生起確率Pに基づいて、対話トピックごとの目標達成対話についての分布エントロピーを計算する。今、N個の対話トピックA1,...,Ai,...,ANが存在する場合を想定する。対話トピックの全体集合をΩとするとき、対話トピックごとの目標達成対話の分布エントロピーHGは次の式で計算される。HG=ΣAi∈ΩPlog2Pただし、Ω={A1,...,Ai,...,AN}なお、PAiが0のとき、PAilog2PAiは0と定義する。例えば、芸能、スポーツ、文学芸術、政治、歴史上の人物の各対話トピックの目標達成対話の生起確率P芸能,Pスポーツ,P文学芸術,P政治,P歴史上の人物が与えられるとき、対話トピックごとの目標達成対話についての分布エントロピーHGは次の式で計算できる。HG=ΣAi∈ΩPlog2Pただし、Ω={芸能,スポーツ,文学芸術,政治,歴史上の人物}対話トピックごとの目標達成対話についての分布エントロピーは、対話トピックとユーザの関心の適合の度合いに関係する値になっていると考えられる。したがって、この分布エントロピーを統計量とすることにより、導出される評価関数の精度が高まる。クイズ対話は思考喚起型対話の一種であり、対話を活性化することが目的の一つであり、活性化した対話ほど質の高い対話となる。ユーザの発言数は対話の活性度と密接に関係していると考えられるので、この実施形態ではユーザの発言数を対話の質に関する統計量として使った。所定の発言とは、ある分類に属する発言のことである。例えば、クイズ対話においては、図4のように、発言は、回答の発言、非回答の発言、肯定発言、否定発言、中立発言に分類することができる。所定の発言とは、これらの少なくとも1つの分類に属する発言のことである。例えば、回答の発言を所定の発言としても良いし、非回答の発言、すなわち肯定発言、否定発言、中立発言の3つの分類に属する発言を所定の発言としても良い。単位時間発言数とは、発言数を対話の時間長さで正規化したものであり、単位時間あたりの発言数のことを言う。は、評価の対象となる対話のユーザ対話行動の統計量であり、とはそれまでに実行された対話に渡るユーザ対話行動の統計量である。は、それまでに実行された対話に渡るユーザ対話行動の平均的な振る舞いを表わす統計量であり、は、現在の対話のユーザ対話行動が、一つ前の対話までのユーザ対話行動の平均的振る舞いからどう変化したかを表わす差の値を表わす統計量である。評価の対象となる対話の統計量の効果とそれまでに実行された対話に渡る統計量の効果を比較するため、評価の対象となる対話の統計量を用いてユーザ対話意欲の評定値を予測した場合の結果も後に示す。また、は、Q3を計算するために必要な値であるので、この実施形態のようにそれまでに実行された対話における統計量を用いる場合であっても、前もって計算しておく必要がある。は、対話トピックごとのユーザ対話行動の分布エントロピーに関する統計量であり、それまでに実行された対話に渡るユーザ対話行動の統計量の一つでもある。このに対応するような評価の対象となる対話におけるユーザ対話行動の統計量はここでは考えない。なぜなら、評価の対象となる対話の中だけでは、分布エントロピーを求めることはできないからである。第三に、タスク成功に関わる統計量として、統計量抽出部は次の統計量からを抽出する。評価の対象となる対話が目標達成対話ならば1、さもなければ0となる変数の値それまでに実行された対話における目標達成対話の割合から一つ前の対話までに実行された対話における目標達成対話の割合を引いた値は、評価の対象となる対話のユーザ対話行動の統計量であり、とはそれまでに実行された対話に渡るユーザ対話行動の統計量である。は、それまでに実行された対話に渡るユーザ対話行動の平均的な振る舞いを表わす統計量であり、は、現在の対話のユーザ対話行動が、一つ前の対話までのユーザ対話行動の平均的振る舞いからどう変化したかを表わす差の値を表わす統計量である。評価の対象となる対話の統計量の効果とそれまでに実行された対話に渡る統計量の効果を比較するため、評価の対象となる対話の統計量を用いてユーザ対話意欲の評定値を予測した場合の結果も後に示す。また、はS3を計算するために必要な値であるので、この実施形態のようにそれまでに実行された対話における統計量を用いる場合であっても、前もって計算しておく必要がある。対話システムによっては、ある一つの対話の質を評価する際に、その対話だけにおけるユーザの対話行動だけでなく、それまでに連続して実行してきた複数の対話に渡るユーザの対話行動の統計的特徴が対話の質のユーザ評定値に影響を与えることが想定される。このように、統計量として、評価関数による評価の対象となる対話及び当該対話より前に実行された対話の対話データから抽出される統計量を用いることにより、更に精度の高い評価関数を得ることができる。なお、統計量抽出部2は、図6に例示したから,から,からの全てではなく、これらの少なくとも1つを統計量として抽出してもよい。クラスタリング部3は、対話の所定の発言の数の平均値及び対話の長さの平均値に基づいて複数のユーザをクラスタリングするステップS2。クラスタリングの結果は、評価関数導出部4に送信される。クラスタリングの手法として、分割最適化クラスタリング手法、階層的クラスタリング手法等を用いることができる。この実施形態においては、分割最適化クラスタリングの一種であるPartitioningAroundMedoidsアルゴリズムを用い、非回答発言を所定の発言とした。また、対話の長さは対話の時間長分により測った。図7は、PartitioningAroundMedoidsアルゴリズムを用いて、対話中の非回答の発言数の平均値及び対話の長さの平均値に基づいて、複数のユーザをクラスタリングした結果の例を示す。また、ユーザの発言種別と分割クラスタ数は、シルエット係数が0.5以上になり、かつ、各クラスタに含まれるユーザ数が2を超える分割を選ぶことによって決めた。この例では、3つのクラスタが形成され、複数のユーザは3つのグループに分割されている。この例では、非回答の発言の平均値がクラスタを決める主たる要因となっており、対話の長さの平均はシルエット係数を向上させる働きをしている。クラスタ1は14名のユーザ、クラスタ2は9名のユーザ、クラスタ3は7名のユーザから成る。縦軸と横軸の目盛は見やすさのため調整されている。評価関数導出部4は、各クラスタに対応する評価関数を、その各クラスタに含まれるユーザについての統計量を説明変数としユーザ評定値を応答変数とする重回帰分析により導出するステップS3。重回帰分析として、線形の重回帰分析を用いてもよいし、非線形の重回帰分析を用いてもよい。以下では、ステップワイズ変数選択による線形重回帰分析を用い、対話の質のユーザ評定値としては対話意欲のユーザ評定値を用いた場合について具体的に説明する。ユーザをクラスタに分割することが有効に働くことを示すために、ユーザ全体から評価関数を導出した場合と、各ユーザクラスタごとに評価関数を導出した場合の比較例を示す。この実施形態において扱うクイズ対話は、できるだけ長くユーザ対話意欲を維持することが目的であり、ユーザとエージェントの間の対話が長時間に渡って続く。ユーザ対話行動の傾向が、長時間に渡って続く対話の中で変化していく可能性があるので、各ユーザとエージェントとの間の対話を前半と後半に二分割し、前半の対話と後半の対話のそれぞれにおいて評価関数を導出した。前半の対話はユーザ6番目の対話から22番目の対話を含み,後半の対話は23番目の対話から最後の対話までを含む。また、統計量抽出部2で抽出する統計量として、評価の対象となる対話におけるユーザ対話行動の統計量と、それまでに実行された対話に渡るユーザ対話行動の統計量の効果を比較するため、評価の対象となる対話におけるユーザ対話行動の統計量’を使った場合と、それまでに実行された対話に渡るユーザ対話行動の統計量を使った場合を比較した。図7において、全ユーザと各ユーザクラスタのそれぞれにおいて、全対話と前半の対話と後半の対話のそれぞれにおいて、導出された評価関数の決定係数を示す。決定係数は10foldcrossvalidation法による平均値である。表の各セルにおいて、上の数字はそれまでに実行された複数の対話に渡るユーザ対話行動の統計量に基づいて導出した評価関数の決定係数を示し、で囲まれた下の数字は評価の対象となる対話におけるユーザ対話行動の統計量に基づいて導出した評価関数の決定係数を示す。図8に示されたように、ユーザクラスタを使わずに、全ユーザにおいて評価関数を導出した場合、その決定係数は低い。ユーザクラスタごとの評価関数を導出することにより、評価関数の決定係数が向上し、評価関数の性能が向上したことが分かる。このことは、タスクの効率的達成が重視されない例えば思考喚起型対話においては、ユーザがタスク達成に向けて行動する傾向が弱まり、ユーザの行動のばらつきが大きくなることを示している。その結果として、ユーザ全体で評価関数を導出すると評価関数の性能が低くなる一方で、類似した行動傾向をもつユーザをまとめたクラスタごとに評価関数を導出すると評価関数の性能が向上することにつながると考えられる。また、評価の対象となる対話のユーザ対話行動の統計量を使うよりも、それまでに実行された対話に渡るユーザ対話行動の統計量を使うことで、評価関数の性能が向上することがわかる。このことは、それまでに実行された対話に渡る統計量がユーザ対話意欲を予測するために効果があることを示している。次に、図9において、各ユーザクラスタと、対話の前半と後半のそれぞれにおいて、それまでに実行された対話に渡るユーザ対話行動に統計量に基づいて導出された評価関数を標準偏回帰係数とともに示す。LとLは,それぞれ目標達成対話と目標非達成対話の長さの平均を表わす。ΔLは差の値E3を表わす。N,N,NNは、それぞれ回答のための発言、肯定発言、否定発言、中立発言に関して、それまでに実行された対話における単位時間発言数の平均を表わす。ΔN,ΔN,ΔN,ΔNは、それぞれ回答のための発言、肯定発言、否定発言、中立発言に関して、差の値を表わす。HGはエントロピーを表わす。Rは目標達成対話の割合を表わす。差の値は、ステップワイズ変数選択による重回帰分析を適用する過程において消去され、結果として得られた評価関数には現れなかった。各対話行動の統計量の影響の大きさと働きの正負の向きは、標準偏回帰係数によって示される。図9から分かるように、各対話行動の統計量の大きさと正負の向きは、ユーザクラスタによって異なる。例えば、目標達成対話の長さの平均値は、ユーザ対話意欲に対して、クラスタ1においては正の方向に働くが、クラスタ3の後半の対話においては負の向きに働いている。また、図7から分かるように、クラスタ3はユーザの非回答発言が多いが、図9から分かるように、クラスタ3では、非回答発言のうち、中立の非回答発言数の平均が、ユーザ対話意欲に対して大きく正の向きに働いていることが分かる。さらに、対話の各時点におけるそれまでに実行された対話における対話トピックごとの目標達成対話の分布エントロピーが、ユーザ対話意欲の予測に役立つ場合があり、クラスタによってその働きの方向が異なることが分かる。すなわち、対話トピックごとの目標達成対話の分布エントロピーはクラスタ1においてはユーザ対話意欲に対して正の向きに働き、クラスタ2の前半においてはユーザ対話意欲に対して負の向きに働いている。このことは、広い対話トピックを好むユーザと狭い対話トピックユーザが存在することを示している。[変形例等]対話評価装置の各部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。その他、この発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。"