(57)【要約】【課題】本発明は、対話システムの評価に要する費用負担を少なくすることができる対話システム評価方法及びシステムを提供することを目的としている。【解決手段】対話システム１０による質問に対する被験者１の回答結果を記憶する回答結果記憶手段２３と、前記対話システム１０による質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取手段２２と、前記回答結果記憶手段２３によって記憶された回答結果と、前記入力操作情報採取手段２２によって記憶された入力操作情報に基づき、被験者１の対話システム利用に対する報償を算出する被験者報償算出手段２４と、前記回答結果記憶手段２３、入力操作情報採取手段２２及び被験者報償算出手段２４を前記対話システム１０に同期させて駆動し、対話システムを評価する対話システム評価制御手段２１と、から構成される。【選択図】      図２
2004272740.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する方法であって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものにおいて、
前記対話システムによる質問に対する被験者の回答結果を記憶する回答結果記憶工程（ステップ１）と、
前記対話システムによる質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取工程（ステップ２）と、
前記回答結果記憶工程によって記憶された回答結果と、前記入力操作情報採取工程によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出工程（ステップ３）と、
前記回答結果記憶工程、入力操作情報採取工程及び被験者報償算出工程を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価工程（ステップ４）と、
から構成される対話システム評価方法。
【請求項２】
コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する対話システム評価システムであって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものにおいて、
前記対話システムによる質問に対する被験者の回答結果を記憶する回答結果記憶手段と、
前記対話システムによる質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取手段と、
前記回答結果記憶手段によって記憶された回答結果と、前記入力操作情報採取手段によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出手段と、
前記回答結果記憶手段、入力操作情報採取手段及び被験者報償算出手段を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価制御手段と、
から構成される対話システム評価システム。
【請求項３】
前記入力操作情報採取手段は、前記対話システムによる質問の開始時刻若しくは終了時刻から、被験者による回答の開始時刻又は終了時刻までを時間設定することを特徴とする請求項２記載の対話システム評価システム。
【請求項４】
前記対話システムが従う前記対話スクリプトに、前記被験者の個人情報を回答させるような質問を組み込み、前記回答結果記憶手段において、被験者の個人情報を採取することを特徴とする請求項２又は３の何れかに記載の対話システム評価システム。
【請求項５】
前記対話システムが従う前記対話スクリプトを、その対話スクリプトによって実施しようとする質問項目に従って、自動生成する手段を利用して生成し、対話スクリプトとして記録することを特徴とする請求項２乃至４の何れかに記載の対話システム評価システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は対話システム評価方法及びシステムに関し、更に詳しくは対話スクリプトと対話制御機構からなる、対話システムを評価するサービスを提供するための対話システム評価方法及びシステムに関する。ここで、対話スクリプトとは、台本をプログラム化したものである。
【０００２】
【従来の技術】
近年、コンピュータの自動応答による対話型のサービスが増加してきており、対話型の自動応答システム（以下、対話システムという）に関する技術開発が活発になってきている。対話システムの従来技術としては、対話を音声で行なうシステムがある（例えば特許文献１参照）。また、対話を音声で行なうシステムでありながら、対話に応じたキャラクタをディスプレイに表示するシステムがある（例えば特許文献２参照）。
【０００３】
このような技術開発のためには、対話システムの質的な評価が必須であり、その評価方法として、対話システムの質問の提示から被験者の回答採取終了までにかかる時間や、被験者が回答を開始するまでの時間等の時間計測を行なう。また、全ての質問の応答にかかる時間の計測を行なう。更に、対話システムが提示した質問に対して妥当な回答ができたか否かの結果を収集し、これらの情報を元に対話システムの質的な評価を行なうことが知られている。
【０００４】
【特許文献１】
特開２００３−３６０９５号公報（第３頁、第４頁、図１）
【特許文献２】
特開２００３−２２０９２号公報（第３頁、図１）
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した従来のシステムには、以下に示すような問題がある。
▲１▼被験者が対話システムと対話を進めるための動機付けがない場合、対話システムの利用を真面目に行なってもらえないことがあるので、測定値の信憑性が低くなったり、対話そのものを途中で放棄されてしまうこともあったりする。
▲２▼被験者に報償を与えれば、▲１▼の問題は解決する可能性があるが、多数の被験者に報償を与える必要がある場合には、対話システムの評価のコストが莫大になり、対話システムに関する技術開発者による評価の実施が困難になることがある。
【０００６】
本発明はこのような課題に鑑みてなされたものであって、対話システムの評価に要する費用負担を少なくすることができ、多くの被験者を集めることが期待できる対話システム評価方法及びシステムを提供することを目的としている。
【０００７】
【課題を解決するための手段】
（１）請求項１記載の発明は、以下の通りである。図１は本発明方法の原理を示すフローチャートである。本発明は、コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する方法であって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものにおいて、前記対話システムによる質問に対する被験者の回答結果を記憶する回答結果記憶工程（ステップ１）と、前記対話システムによる質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取工程（ステップ２）と、前記回答結果記憶工程によって記憶された回答結果と、前記入力操作情報採取工程によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出工程（ステップ３）と、前記回答結果記憶工程、入力操作情報採取工程及び被験者報償算出工程を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価工程（ステップ４）と、から構成されることを特徴とする。
【０００８】
このように構成すれば、被験者の対話システム利用に対する妥当な報償料を算出することで対話システム評価に要する費用負担を少なくすることができ、対話システムを適正に評価することができる。
（２）請求項２記載の発明は、以下の通りである。図２は本発明の原理ブロック図である。図に示すシステムは、コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する対話システム評価システムであって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものである。
【０００９】
図において、１０は対話型の自動応答システムである対話システム、２０は該対話システム１０と接続される対話システム評価装置である。１は被験者、２は該被験者が対話を行なう対話システム利用端末、３は入力されたアンケート項目から対話スクリプトを生成する対話スクリプト生成手段である。これら対話システム利用端末２と、対話スクリプト生成手段３は対話システム１０と接続されている。
【００１０】
２３は前記対話システム１０による質問に対する被験者の回答結果を記憶する回答結果記憶手段、２２は前記対話システム１０による質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取手段、２４は前記回答結果記憶手段２３によって記憶された回答結果と、前記入力操作情報採取手段２２によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出手段、２１は前記回答結果記憶手段２３、入力操作情報採取手段２２及び被験者報償算出手段２４を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価制御手段である。被験者報償算出手段２４からは被験者に関する報償情報が出力される。これら、対話システム評価制御手段２１，入力操作情報採取手段２２，回答結果記憶手段２３及び被験者報償算出手段２４とで対話システム評価装置２０を構成している。
【００１１】
このように、構成すれば、対話システム評価装置２０で対話システム１０の評価を行なうことができ、その結果を回答結果記憶手段２３に記憶することができ、また、入力操作情報採取手段２２により入力操作情報を採取することができ、対話システム１０に関する情報を取得することができる。また、取得した情報に基づいて被験者の妥当な報償を算出することかでき、対話システム評価に要する費用負担を少なくすることができる。
（３）請求項３記載の発明は、前記入力操作情報採取手段２２は、前記対話システム１０による質問の開始時刻若しくは終了時刻から、被験者１による回答の開始時刻又は終了時刻までを時間設定することを特徴とする。
【００１２】
このように構成すれば、被験者が入力するための判断がつくまでにどのくらいの時間を要するかを計測することができ、または回答を終えるまで、どのくらい入力の手間がかかるかを時間という尺度で計測することができ、明確な評価として用いることができる。
（４）請求項４記載の発明は、前記対話システム１０が従う前記対話スクリプトに、前記被験者の個人情報を回答させるような質問を組み込み、前記回答結果記憶手段において、被験者の個人情報を採取することを特徴とする。
【００１３】
このように構成すれば、被験者の特性と入力操作のやり方との間の因果関係を分析するために使用することができる。
（５）請求項５記載の発明は、前記対話システム１０が従う前記対話スクリプトを、その対話スクリプトによって実施しようとする質問項目に従って、自動生成する手段を利用して生成し、対話スクリプトとして記録することを特徴とする。
【００１４】
このように構成すれば、対話スクリプトを自動生成することができる。
【００１５】
また、この発明において、前記対話システム１０が従う前記対話スクリプトを、その対話スクリプトによって実施しようとする質問項目に従って、手動で生成し、対話スクリプトとして記録する手段を有することを特徴とする。
【００１６】
このように構成すれば、対話スクリプトを手動で生成することができる。
【００１７】
また、この発明において、前記対話システム利用端末２は、対話システム利用端末２の入出力部の入力若しくは出力若しくはその両方が音声による場合、周囲の環境音を測定できる測定手段を備え、前記対話システムの利用中に、被験者の周辺の環境音データを対話システムに伝送することを特徴とする。
【００１８】
このように構成すれば、測定によって得た評価結果に、被験者の周辺の環境音データを付与して提供することにより、周囲の環境音と入力操作のやり方との間の因果関係を分析するために使用することができる。
【００１９】
また、この発明において、前記対話システム１０の利用過程において、前記入力操作情報採取手段２２における入力手段が音声を含む場合、前記被験者による入力情報である音声を記録する手段を有することを特徴とする。
【００２０】
このように構成すれば、入力を音声で行なった場合、その音声を記憶しておくことができる。
【００２１】
また、この発明において、前記対話システムの利用過程において、前記入力操作情報採取手段２２における入力手段がキーボード入力を含む場合、前記被験者１による入力情報であるキーボードの押下キーと押下時刻を記録する記録手段を有することを特徴とする。
【００２２】
このように構成すれば、対話システムをキーボードで動作させた場合の評価を行なうことができる。
【００２３】
また、この発明において、前記対話システム１０の利用過程において、前記入力操作情報採取手段２２における入力手段がペン入力を含む場合、前記被験者１による入力情報であるペンの軌跡と軌跡上のペン通過時刻を記録する手段を有することを特徴とする。
【００２４】
このように構成すれば、対話システムがペン入力により行なわれる場合、ペンの軌跡と軌跡上のペンの通過時刻を記録し、対話システム評価の一助とすることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。
【００２６】
図３は対話システム評価サービスの概念を示す説明図である。図２と同一のものは、同一の符号を付して示す。対話システム評価サービスは、対話システム評価業者３１により、対話システム作成業者３０に提供される。対話システム評価のために対話システムを利用する被験者１への報償は、上記対話システム作成業者３０の提供する対話システム評価料と、評価対象となる対話システム上でアンケート調査結果の提供を受けるアンケート調査業者の提供するアンケート調査料によってまかなわれる。
【００２７】
対話システム評価業者３１は、アンケート調査業者３２からアンケート調査項目を募り、対話システム作成業者３０に提供する。同時に、アンケート調査業者３２からアンケート調査料を、対話システム作成業者３０から対話システム評価料をそれぞれ徴収する。
【００２８】
徴収した料金の一部を対話システム評価時に対話システムを利用してくれた被験者の報償として使う。これにより、対話システム作成業者３０は、対話システムの評価のために被験者１に提供すべき報償をアンケート調査業者３２にも負担してもらえるので、その費用負担を減らすことが可能となる。
【００２９】
対話システム作成業者３０は、アンケート調査業者３２のアンケート調査項目を対話システム評価業者３１経由で提供され、アンケート調査項目に基づき、対話スクリプトの記述及び対話制御機構に反映させ、前記アンケート調査項目に対するアンケートを被験者に対して実施できる対話システムとして対話システム評価業者３１に提供する。
【００３０】
図４は本発明の一実施の形態例を示すブロック図である。図２と同一のものは、同一の符号を付して示す。図において、３は対話スクリプト生成手段であり、アンケート項目を入力する操作部４５、該操作部４５の出力を受けて質問項目を記録する質問項目記録装置４１、該質問項目記録装置４１の出力を受けて自動的に対話スクリプトを生成する対話スクリプト生成装置４２、質問項目記録装置４１の出力を受けて手入力で対話スクリプトを入力する対話スクリプト入力装置４３及び、対話スクリプト生成装置４２及び対話スクリプト入力装置４３の出力を受けて対話スクリプトを記録する対話スクリプト記録装置４４から構成されている。
【００３１】
１０は対話システムであり、対話スクリプト記録装置４４からの出力を受けて対話スクリプトを記憶する対話スクリプト記憶装置１１及び該対話スクリプト記憶装置１１の出力を受けて対話制御を行なう対話制御装置１２から構成されている。２は被験者１が利用する対話システム利用端末である。
【００３２】
２０は対話システム１０と接続される対話システム評価装置である。該対話システム評価装置２０において、２１は対話制御装置１２と接続され、対話システムの評価作業を行なう対話システム評価制御手段、２２は被験者１が対話を行なう際の対話にかかる時間を計時する入力操作情報採取手段としての対話ステップ計時装置、２３は対話制御装置１２及び対話システム評価制御手段２１と接続され、回答結果を記憶する回答結果記憶手段としての回答結果記憶装置、２４は対話ステップ計時装置２２、対話システム評価制御手段２１及び回答結果記憶装置２３の出力を受けて被験者報償料を算出する被験者報償算出手段としての被験者報償算出装置である。対話ステップ計時装置２２は、図２の原理ブロック図に示す入力操作情報採取手段のことであり、対話システム１０による質問の開始から回答の採取の終了までの被験者１の入力操作に関する情報を採取するものである。
【００３３】
５１は対話ステップ計時装置２２と接続され、対話ステップ計時結果を記録する対話ステップ計時結果記録装置、５２は被験者報償算出装置２４と接続され、被験者報償料を記録する被験者報償記録装置、５３はは回答結果記憶装置２３と背接続され、回答結果を記録する回答結果記録装置である。これら、対話ステップ計時結果記録装置５１，被験者報償記録装置５２及び回答結果記録装置５３としては、例えば大容量記憶の可能なハードデスク装置が用いられる。
【００３４】
質問項目記録装置４１は、アンケート調査業者３２（図３参照）が作成したアンケート調査項目を格納する媒体を含むものであり、アンケート調査業者３２がアンケート調査項目を対話システム評価業者３１に提供する手段として使用される。
【００３５】
対話スクリプト記録装置４４は、質問項目記録装置４１に記録されたアンケート調査項目に基づき、対話スクリプト生成装置４２によって自動生成された対話スクリプト、若しくは対話システム作成業者３０が対話スクリプト入力装置４３を利用して手作業で作成した対話スクリプトを記録する。
【００３６】
対話ステップ計時結果記録装置５１は、対話システム評価装置２０で獲得した対話ステップ計時結果、即ち、対話による質問提示から被験者１の回答採取までの時間の測定結果を格納するものであり、その結果を対話システムの評価として、対話システム評価業者３１が対話システム作成業者３０に提供する手段として利用される。
【００３７】
回答結果記録装置５３は、対話システム評価装置２０で被験者１の回答として採取されたアンケート調査の結果を格納するものであり、対話システム評価業者３１がそのアンケート結果をアンケート調査業者３２に提供する手段として利用される。被験者報償記録装置５２は、対話システム評価装置２０で算出された被験者１への報償を記録するものであり、対話システム評価業者３１がアンケート調査業者３２に被験者１への報償を代行請求する場合、その報償記録をアンケート調査業者３２に提供する手段として利用される。
【００３８】
また、対話システム１０は対話システム作成業者３０が作成して対話システム評価業者３１に提供するものである。対話システム１０は、その利用に際して、メモリ機構を備えた対話スクリプト記憶装置１１に、対話スクリプト記録装置４４に記録された対話スクリプトを展開し、メモリ展開された対話スクリプトに従い、対話制御装置１２によって処理する。この処理により、対話システム１０は、対話システム利用端末２を通じて被験者１に対して、質問の提示と回答の入力をさせる。即ち、アンケート調査を実施する。このように構成されたシステムの動作を説明すれば、以下の通りである。
【００３９】
アンケート調査業者３２は、操作部４５を操作し、アンケート調査項目を入力する。入力されたアンケート調査項目は、質問項目記録装置４１に記録される。対話スクリプト生成装置４２は、質問項目記録装置４１に記録された調査項目を読み出して対話スクリプトを自動生成する。或いは、対話システム作成業者３０が対話スクリプト入力装置４３から対話スクリプトを手作業で作成する。このように、本発明によれば、対話スクリプトを自動でも手動でも生成することができる。
【００４０】
対話スクリプト生成装置４２又は対話スクリプト入力装置４３で入力された対話スクリプトは、対話スクリプト記録装置４４に記録される。対話システム１０は、対話スクリプト記録装置４４に記録されている対話スクリプトを読み出し、対話スクリプト記憶装置１１に記憶する。対話スクリプト記憶装置１１に記憶された対話スクリプトは、読み出され、対話制御装置１２に送られる。
【００４１】
該対話制御装置１２は、対話システム利用端末２に質問事項を表示させ、被験者１と対話する。被験者１からの回答事項は、対話制御装置１２に入力される。該対話制御装置１２は、対話システム利用端末２からの情報を受けて、対話の開始と終了の時刻を対話ステップ計時装置２２に送る。この時、対話システム評価制御手段２１は、対話制御装置１２からの情報を受けて、回答結果記憶装置２３、入力操作情報採取手段（対話ステップ計時装置）２２及び被験者報償算出装置２４を対話システム１０に同期させて駆動する。
【００４２】
前記対話ステップ計時装置２２は、対話システム１０による質問の開始から回答の採取の終了までの被験者１の入力操作に関する情報を採取し、対話に要する時間を算出する。算出された時間情報は、対話ステップ計時結果記録装置５１に記録される。
【００４３】
一方、回答結果記憶装置２３は、対話制御装置１２から出力されたアンケートに対する回答情報を受けて、回答結果を記憶する。この回答結果は、回答結果記憶装置２３から読み出されて回答結果記録装置５３に記録される。
【００４４】
被験者報償算出装置２４は、対話ステップ計時装置２２及び回答結果記憶装置２３からの出力を受けて、被験者１の対話システム利用に対する報償を算出する。算出された報償料は、被験者報償記録装置５２に記録される。
【００４５】
このように、本発明によれば、被験者１の対話システム利用に対する妥当な報償料を算出することで対話システム評価に要する費用負担を少なくすることができ、対話システムを適正に評価することができる。
【００４６】
また、対話システム評価装置２０で対話システム１０の評価を行なうことができ、その結果を回答結果記憶装置２３に記憶することができ、また、入力操作情報採取手段２２により入力操作情報を採取することができ、対話システム１０に関する情報を取得することができる。また、取得した情報に基づいて被験者の妥当な報償を算出することかでき、対話システム評価に要する費用負担を少なくすることができる。
【００４７】
また、前述したように、前記対話ステップ計時装置２２は、前記対話システム１０による質問の開始時刻若しくは終了時刻から、被験者１による回答の開始時刻又は終了時刻までを時間設定することを特徴としている。従って、本発明によれば、被験者が入力するための判断がつくまでにどのくらいの時間を要するかを計測することができ、または回答を終えるまで、どのくらい入力の手間がかかるかを時間という尺度で計測することができ、明確な評価として用いることができる。
【００４８】
図５は対話システム評価装置の処理フローを示す図である。先ず、被験者の対話システムの利用に際して、対話システム利用端末２を通じた指示に従い、対話システム評価装置２０を駆動する（Ｓ１）。次に、対話スクリプト記憶装置１１に展開された対話スクリプトによる質問がまた残っているかどうかを判定する（Ｓ２）。残っている場合には、対話による質問と回答の採取のフェーズであるステップＳ５に進む。
【００４９】
対話による質問と回答の採取を行なう場合、対話ステップ計時装置２２が計時を開始する（Ｓ５０）。計時開始後、質問を提示する（Ｓ５１）。対話システム１０は、被験者１から対話システム利用端末２による回答の入力を受け付ける（Ｓ５２）。回答の入力を完了したら、計時を終了する（Ｓ５３）。そして、回答を回答結果記憶装置２３に記憶する（Ｓ５４）。また、計時結果、即ち、対話システムによる質問の提示から被験者による回答の採取までにかかった時間を回答結果記憶装置２３に記憶する（Ｓ５５）。
【００５０】
ステップＳ２において、対話スクリプトによる質問が残っていない場合は、ステップＳ３に進み、被験者報償算出装置２４により、回答結果記憶装置２３に記憶された回答結果に基づき、被験者１への報償を算出する。報償の算出は、
報償＝（報償単価）×（回答完了数）
により行なわれる。但し、
回答完了数＝（総質問数）−（回答放棄件数）
である。総質問数は、対話システムにより被験者１に提示された質問の総数である。また、回答放棄件数は、被験者１が対話システム１０に提示された質問に対して、無回答及び想定回答内容以外の回答の合計件数である。
【００５１】
ステップＳ３の終了後、ステップＳ４に進む。ステップＳ４では、回答結果、計時結果、被験者報償をそれぞれ、対話ステップ計時結果記録装置５１、回答結果記録装置５３、被験者報償記録装置５２に記録を行なう。ステップＳ４の終了後、対話システムの処理を終了する。
【００５２】
本発明によれば、対話システム１０が従う前記対話スクリプトに、被験者１の個人情報を回答させるような質問を組み込み、回答結果記憶装置２３において、被験者１の個人情報を採取するようにすることができる。このようにすれば、被験者の特性と入力操作のやり方との間の因果関係を分析するために使用することができる。
【００５３】
本発明によれば、前記対話システム利用端末２は、対話システム利用端末２の入出力部の入力若しくは出力若しくはその両方が音声による場合、周囲の環境音を測定できる測定手段を備え、前記対話システム１０の利用中に、被験者１の周辺の環境音データを対話システムに伝送することができる。
【００５４】
このようにすれば、測定によって得た評価結果に、被験者の周辺の環境音データを付与して提供することにより、周囲の環境音と入力操作のやり方との間の因果関係を分析するために使用することができる。
【００５５】
また、この発明において、前記対話システム１０の利用過程において、前記入力操作情報採取手段２２における入力手段が音声を含む場合、前記被験者１による入力情報である音声を記録する手段を有することができる。これによれば、入力を音声で行なった場合、その音声を記憶しておくことができる。
【００５６】
また、この発明において、前記対話システム１０の利用過程において、前記入力操作情報採取手段２２における入力手段がキーボード入力を含む場合、前記被験者１による入力情報であるキーボードの押下キーと押下時刻を記録する記録手段を有することができる。これによれば、対話システムをキーボードで動作させた場合の評価を行なうことができる。
【００５７】
また、この発明において、前記対話システム１０の利用過程において、前記入力操作情報採取手段２２における入力手段がペン入力を含む場合、前記被験者１による入力情報であるペンの軌跡と軌跡上のペン通過時刻を記録する手段を有することができる。これによれば、対話システムがペン入力により行なわれる場合、ペンの軌跡と軌跡上のペンの通過時刻を記録し、対話システム評価の一助とすることができる。
【００５８】
また、上述の実施の形態例では、入力操作情報として対話の開始から対話の終了までの時間を用いる場合について説明しているが、本発明はこれに限るものではなく、他の種類の入力操作情報を用いることができる。
【００５９】
以上、説明したように、本発明に係る対話システム評価方法を用いれば、対話システム評価業者は、アンケート調査業者からアンケート調査を委託する代償として、評価に参加する被験者への報償にあてるアンケート調査料を徴収することができる。これにより、対話システム作成業者は、対話システム評価に対する費用負担を少なくすることができ、多くの被験者を集めることが期待でき、対話システムの技術開発を継続的に行なうことができる。
【００６０】
（付記１）  コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する方法であって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものにおいて、
前記対話システムによる質問に対する被験者の回答結果を記憶する回答結果記憶工程（ステップ１）と、
前記対話システムによる質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取工程（ステップ２）と、
前記回答結果記憶工程によって記憶された回答結果と、前記入力操作情報採取工程によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出工程（ステップ３）と、
前記回答結果記憶工程、入力操作情報採取工程及び被験者報償算出工程を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価工程（ステップ４）と、
から構成される対話システム評価方法。
【００６１】
（付記２）  コンピュータが被験者に質問をし、被験者から回答を採取する対話システムを評価する対話システム評価システムであって、対話スクリプトに従い、対話システム利用端末に質問を提示し、被験者から回答を採取するものにおいて、
前記対話システムによる質問に対する被験者の回答結果を記憶する回答結果記憶手段と、
前記対話システムによる質問の開始から回答の採取の終了までの被験者の入力操作に関する情報を採取する入力操作情報採取手段と、
前記回答結果記憶手段によって記憶された回答結果と、前記入力操作情報採取手段によって記憶された入力操作情報に基づき、被験者の対話システム利用に対する報償を算出する被験者報償算出手段と、
前記回答結果記憶手段、入力操作情報採取手段及び被験者報償算出手段を前記対話システムに同期させて駆動し、対話システムを評価する対話システム評価手段と、
から構成される対話システム評価システム。
【００６２】
（付記３）  前記入力操作情報採取手段は、前記対話システムによる質問の開始時刻若しくは終了時刻から、被験者による回答の開始時刻又は終了時刻までを時間設定することを特徴とする付記２記載の対話システム評価システム。
【００６３】
（付記４）  前記対話システムが従う前記対話スクリプトに、前記被験者の個人情報を回答させるような質問を組み込み、前記回答結果記憶手段において、被験者の個人情報を採取することを特徴とする付記２又は３の何れかに記載の対話システム評価システム。
【００６４】
（付記５）  前記対話システムが従う前記対話スクリプトを、その対話スクリプトによって実施しようとする質問項目に従って、自動生成する手段を生成し、対話スクリプトとして記録することを特徴とする付記２乃至４の何れかに記載の対話システム評価システム。
【００６５】
（付記６）  前記対話システムが従う前記対話スクリプトを、その対話スクリプトによって実施しようとする質問項目に従って、手動で生成し、対話スクリプトとして記録する手段を有することを特徴とする付記２乃至４の何れかに記載の対話システム評価システム。
【００６６】
（付記７）  前記対話システム利用端末は、対話システム利用端末の入出力部の入力若しくは出力若しくはその両方が音声による場合、周囲の環境音を測定できる測定手段を備え、前記対話システムの利用中に、被験者の周辺の環境音データを対話システムに伝送することを特徴とする付記２乃至６の何れかに記載の対話システム評価システム。
【００６７】
（付記８）  前記対話システムの利用過程において、前記入力操作情報採取手段における入力手段が音声を含む場合、前記被験者による入力情報である音声を記録する手段を有することを特徴とする付記２乃至７の何れかに記載の対話システム評価システム。
【００６８】
（付記９）  前記対話システムの利用過程において、前記入力操作情報採取手段における入力手段がキーボード入力を含む場合、前記被験者による入力情報であるキーボードの押下キーと押下時刻を記録する記録手段を有することを特徴とする付記２乃至７の何れかに記載の対話システム評価システム。
【００６９】
（付記１０）  前記対話システムの利用過程において、前記入力操作情報採取手段における入力手段がペン入力を含む場合、前記被験者による入力情報であるペンの軌跡と軌跡上のペン通過時刻を記録する手段を有することを特徴とする付記２乃至７の何れかに記載の対話システム評価システム。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
（１）請求項１記載の発明よれば、被験者の対話システム利用に対する妥当な報償料を算出することで対話システム評価に要する費用負担を少なくすることができ、対話システムを適正に評価することができる。
（２）請求項２記載の発明によれば、対話システム評価装置で対話システムの評価を行なうことができ、その結果を回答結果記憶手段に記憶することができ、また、入力操作情報採取手段により入力操作情報を採取することができ、対話システムに関する情報を取得することができる。また、取得した情報に基づいて被験者の妥当な報償を算出することかでき、対話システム評価に要する費用負担を少なくすることができる。
（３）請求項３記載の発明によれば、被験者が入力するための判断がつくまでにどのくらいの時間を要するかを計測することができ、または回答を終えるまで、どのくらい入力の手間がかかるかを時間という尺度で計測することができ、明確な評価として用いることができる。
（４）請求項４記載の発明によれば、被験者の特性と入力操作のやり方との間の因果関係を分析するために使用することができる。
（５）請求項５記載の発明によれば、対話スクリプトを自動生成することができる。
【００７１】
このように、本発明によれば、対話システムの評価に要する費用負担を少なくすることができ、多くの被験者を集めることが期待できる対話システム評価方法及びシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明方法の原理を示すフローチャートである。
【図２】本発明の原理ブロック図である。
【図３】対話システム評価サービスの概念を示す説明図である。
【図４】本発明の一実施の形態例を示すブロック図である。
【図５】対話システム評価装置の処理フローを示す図である。
【符号の説明】
１  被験者
２  対話システム利用端末
３  対話スクリプト生成手段
１０  対話システム
２０  対話システム評価装置
２１  対話システム評価制御手段
２２  入力操作情報採取手段
２３  回答結果記憶手段
２４  被験者報償算出手段
【図１】
2004272740.tif 000003
【図２】
2004272740.tif 000004
【図３】
2004272740.tif 000005
【図４】
2004272740.tif 000006
【図５】
2004272740.tif 000007