(57)【特許請求の範囲】
【請求項１】
自動対話システムからの出力音及びユーザの音声を録音することで得られる録音データから、前記自動対話システムからの出力音の出力時刻を特定する特定ステップと、
特定された前記出力音の出力時刻を、前記自動対話システムから出力されるイベントのデータであって当該イベントの処理種別を含むデータのうち前記自動対話システムからの出力音に係るイベントのデータに対応付けてデータ格納部に格納するステップと、
を、コンピュータに実行させるためのプログラム。
【請求項２】
前記自動対話システムからの出力音についてのデータを用いて前記録音データの中で前記ユーザの音声のデータを抽出するステップと、
抽出された前記ユーザの音声のデータに対して音声認識処理を実施し、前記音声認識処理の結果を、前記ユーザの音声に係るイベントのデータに対応付けて前記データ格納部に格納するステップと、
を、さらに前記コンピュータに実行させる請求項１記載のプログラム。
【請求項３】
前記特定ステップが、
前記自動対話システムからの出力音に係るイベントのデータに含まれる出力音種別に基づき、前記自動対話システムからの出力音のデータを取得するステップと、
前記自動対話システムからの出力音のデータと比較することで前記録音データの中で前記自動対話システムからの出力音を特定するステップと、
を含む請求項１又は２記載のプログラム。
【請求項４】
自動対話システムからの出力音及びユーザの音声を録音することで得られる録音データから、前記自動対話システムからの出力音の出力時刻を特定する特定ステップと、
特定された前記出力音の出力時刻を、前記自動対話システムから出力されるイベントのデータであって当該イベントの処理種別を含むデータのうち前記自動対話システムからの出力音に係るイベントのデータに対応付けてデータ格納部に格納するステップと、
を含み、コンピュータが実行する情報処理方法。
【請求項５】
自動対話システムからの出力音及びユーザの音声を録音することで得られる録音データから、前記自動対話システムからの出力音の出力時刻を特定する手段と、
特定された前記出力音の出力時刻を、前記自動対話システムから出力されるイベントのデータであって当該イベントの処理種別を含むデータのうち前記自動対話システムからの出力音に係るイベントのデータに対応付けてデータ格納部に格納する手段と、
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動対話システムと人間との対話に係る対話コーパスを生成するための技術に関する。
【背景技術】
【０００２】
自動対話システムと人間との対話を記録して対話コーパスを生成し、対話コーパスを解析することで人間の特性や自動対話システムの問題を明らかにして、自動対話システムが提供する対話の品質を改善することが行われている。ここでいう対話の品質の指標としては、効率・時間、分かりやすさ、楽しさ、快適さなどがある。
【０００３】
従来技術として、対話コーパスを生成するために、事前に登録されている対話例を示すスクリプトに基づいて発話テキストを順次出力し、対話履歴を対話ログデータとして登録する対話ログデータベースにも同時に登録し、発話テキストの合成音声の出力に応じた発話者の音声データを記録し、後に当該音声データに基づき対話ログデータベースにおける発話者の対話部分をテキスト化する技術が存在している。
【０００４】
この従来技術では、合成音声の出力開始時刻と出力終了時刻をも記録することが示されているが、音声合成出力を行うユニットによって直接出力開始時刻及び出力終了時刻が記録されている。
【０００５】
しかしながら、一般的に、音声合成出力を行うユニット（より詳しくは音声合成出力のためのデバイスドライバ）内部にバッファが存在するため、音声合成出力のイベント発生時刻と実際に人間に出力される時刻との間に、数十ミリ秒から数百ミリ秒の差が発生してしまう。この差は自動対話システムの負荷状況に依存して揺らぐため、音声合成出力のイベント発生時刻のログ記録から、実際の出力時刻を特定することはできない。
【０００６】
音声対話の評価では、自動対話システムからの音の出力から人間の反応までの時間の把握が重要であるが、従来技術ではその時間を正しく把握することができない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−１６６７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従って、本発明の目的は、一側面として、自動対話システムからの音の出力時刻を正確に把握するための技術を提供することである。
【課題を解決するための手段】
【０００９】
本発明に係る情報処理方法は、（Ａ）自動対話システムからの出力音及びユーザの音声を録音することで得られる録音データから、自動対話システムからの出力音の出力時刻を特定する特定ステップと、（Ｂ）特定された出力音の出力時刻を、自動対話システムからの出力音に係るイベントのデータに対応付けてデータ格納部に格納するステップとを含む。
【発明の効果】
【００１０】
一側面によれば、自動対話システムからの音の出力時刻を正確に把握できるようになる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係るシステムの構成例を示す図である。
【図２】図２は、データの一例を示す図である。
【図３】図３は、修正前のイベントデータの一例を示す図である。
【図４】図４は、実施の形態に係る処理フローを示す図である。
【図５】図５は、修正後のイベントデータの一例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の実施の形態に係るシステムの構成例を図１に示す。
【００１３】
本実施の形態に係るシステムは、自動対話システム１００と、当該自動対話システム１００とネットワークなどによって接続された記録システム２００とを含む。自動対話システム１００は、対話制御部１０１と、対話スクリプト格納部１０２と、タッチパネル表示部１０３と、タッチパネル入力部１０４と、タッチパネル１０５と、音声認識部１０６と、マイク１０７と、音声合成部１０８と、効果音再生部１０９と、スピーカ１１０と、音声ＤＢ１１１と、効果音ＤＢ１１２と、イベント記録部１１３と、出力部１１４とを有する。
【００１４】
対話スクリプト格納部１０２は、対話のシナリオを表すデータを格納している。対話のシナリオは、例えば「タッチパネルにボタンを表示し、ボタンが押されたら「ピンポン」という効果音を鳴らす」といったものである。
【００１５】
対話制御部１０１は、対話スクリプト格納部１０２に格納されている対話シナリオに従って、タッチパネル表示部１０３、音声認識部１０６、音声合成部１０８、効果音再生部１０９等に処理を指示し、タッチパネル入力部１０４、音声認識部１０６等からの入力データに基づき対話シナリオに沿った制御を行う。
【００１６】
タッチパネル表示部１０３は、対話制御部１０１の指示に基づき、タッチパネル１０５に画像やテキストを表示する。タッチパネル入力部１０４は、タッチパネル１０５に入力されたタッチ内容を対話制御部１０１に出力する。音声認識部１０６は、対話制御部１０１からの指示に基づきマイク１０７からの音声データを取り込み、音声認識によって音声データをテキストデータに変換して対話制御部１０１に出力する。なお、本実施の形態では、マイク１０７により、ユーザの発話のみならずスピーカ１１０からの出力音をも、音データとして取り込んで、音声認識部１０６及び出力部１１４に出力する。
【００１７】
音声合成部１０８は、対話制御部１０１からの指示に基づき音声ＤＢ１１１に格納されている音声メッセージの音声データをスピーカ１１０から出力させる。効果音再生部１０９は、対話制御部１０１からの指示に基づき効果音ＤＢ１１２に格納されている効果音をスピーカ１１０から出力させる。
【００１８】
イベント記録部１１３は、タッチパネル表示部１０３、タッチパネル入力部１０４、音声認識部１０６、音声合成部１０８、効果音再生部１０９等が対話制御部１０１の指示に応じて処理したイベントに係る処理内容及び処理時刻（開始時刻及び終了時刻）のデータ（イベントデータとも呼ぶ）を、それらから受け取って記録すると共に、出力部１１４に出力する。処理内容は、例えばメッセージの出力、効果音の出力、データの表示、データの入力、音声の入力（より具体的には音声認識の実行）などである。
【００１９】
出力部１１４は、イベント記録部１１３からのイベントデータに基づき、音声ＤＢ１１１に格納されている音声データ、効果音ＤＢ１１２に格納されている効果音のデータを読み出し、マイク１０７からの音データ（以下、録音データと呼ぶ）及びイベントデータと共に、記録システム２００に出力する。
【００２０】
上で述べたように、本実施の形態に係る自動対話システム１００において、マイク１０７により、ユーザの発話のみならずスピーカ１１０からの出力音をも、音データとして取り込んで録音データを生成する点、録音データ、イベントデータ及びサウンドデータ（音声ＤＢ１１１に格納されている音声データ及び効果音ＤＢ１１２に格納されている効果音データ）を記録システム２００に出力する点が、主に従来と異なる。
【００２１】
記録システム２００は、データ取得部２０１と、録音データ格納部２０２と、イベントデータ格納部２０３と、サウンドデータ格納部２０４と、選択部２０５と、照合部２０６と、データ修正部２０７と、抽出部２０８と、音声認識部２０９と、修正イベントデータ格納部２１０とを有する。
【００２２】
データ取得部２０１は、自動対話システム１００の出力部１１４から録音データ、イベントデータ及びサウンドデータを取得し、録音データについては録音データ格納部２０２に格納し、イベントデータについてはイベントデータ格納部２０３に格納し、サウンドデータについてはサウンドデータ格納部２０４に格納する。
【００２３】
選択部２０５は、イベントデータ格納部２０３に格納されているイベントデータに基づきサウンドデータ格納部２０４に格納されているサウンドデータを読み出し、照合部２０６に出力する。照合部２０６は、録音データ格納部２０２に格納されている録音データとサウンドデータとを照合して一致する部分から、サウンドデータの実際の音出力の開始時刻及び終了時刻を特定し、データ修正部２０７に出力する。データ修正部２０７は、選択部２０５からの出力されるイベントデータを、照合部２０６からの実際の音出力の開始時刻及び終了時刻のデータに基づき修正して、修正イベントデータ格納部２１０に格納する。
【００２４】
照合部２０６は、実際の音出力の開始時刻及び終了時刻とを抽出部２０８に出力する。そうすると、抽出部２０８は、録音データから、音声メッセージの音声データ及び効果音の音データが存在しない部分であって音声が記録されている部分を抽出し、抽出された部分の録音データを音声認識部２０９に出力する。
【００２５】
音声認識部２０９は、抽出部２０８から出力された録音データに対して音声認識処理（話者認識を含む）を実行し、処理結果をデータ修正部２０７に出力する。データ修正部２０７は、音声認識部２０９の処理結果に基づき、選択部２０５からのイベントデータを修正して、修正イベントデータ格納部２１０に格納する。
【００２６】
より具体的な処理内容については、図２乃至図５を用いて説明する。
【００２７】
以下、図２（ア）のようなイベントデータと、図２（イ）のような録音データとが取得された場合を一例として説明する。なお、図２（ア）は、図３に示すようなイベントデータを時系列に並べた状態を表している。
【００２８】
具体的には、「ポン、という音の後に住所をお話しください。」というメッセージ１を出力する「メッセージ１出力」イベントが時刻ａに開始し、時刻ｂに終了する。その後、「ポン」という効果音ｘを出力する「効果音ｘ出力」イベントが時刻ｃに開始し、時刻ｄに終了する。さらにその後、ユーザによる音声入力が行われて「音声入力１」イベントが時刻ｅに開始し、時刻ｆに終了する。自動対話システム１００では音声認識部１０６で音声認識処理が行われるので、音声入力１の内容Ａ「えーと  横浜市中区尾上町  ２の２７です。」が認識結果として得られる。
【００２９】
図２（ア）で示されるイベントのタイミングと、図２（イ）で示される音声波形のタイミングとを比較すると分かるように、音声合成部１０８による音声出力、効果音再生部１０９による効果音出力は、それらが開始時刻及び終了時刻として記録したものより遅れて実際の音出力が行われていることが分かる。
【００３０】
一方、音声入力については、音声認識部１０６が音声入力の開始時刻及び終了時刻を特定した上で音声認識処理を実行するので、この例では、開始時刻及び終了時刻は録音データと完全に一致する。
【００３１】
本実施の形態では、記録システム２００において、図２（ウ）に示すように、録音データに基づき「メッセージ１出力」イベント及び「効果音ｘ出力」イベントの開始時刻及び終了時刻を修正する。さらに、音声認識結果についても修正する。
【００３２】
そのための処理フローを図４に示す。まず、データ取得部２０１は、自動対話システム１００の出力部１１４から、修正前のイベントデータ、録音データ及びサウンドデータを受信し、それぞれイベントデータ格納部２０３、録音データ格納部２０２、サウンドデータ格納部２０４に格納する（ステップＳ１）。
【００３３】
そうすると、選択部２０５は、イベントデータ格納部２０３に格納されている未処理のイベントのイベントデータを１イベント分読み出す（ステップＳ３）。そして、選択部２０５は、読み出したイベントデータのイベント種別が音に係るものであるか否かを判断する（ステップＳ５）。イベントデータには、タッチパネル１０５への表示やタッチパネル１０５への入力に係るイベントのデータも含まれる場合がある。従って、読み出したイベントデータのイベント種別が音に係るものではない場合には、選択部２０５は、読み出したイベントデータをそのままデータ修正部２０７に出力して、そのまま修正イベントデータ格納部２１０に格納させる（ステップＳ２１）。そして処理はステップＳ２３に移行する。
【００３４】
一方、読み出したイベントデータのイベント種別が音に係るものであれば、選択部２０５は、読み出したイベントデータのイベント種別が、音出力に係るものであるか否かを判断する（ステップＳ７）。音出力のイベントは、音声合成による音声出力のイベントであるか、効果音出力のイベントである。
【００３５】
読み出したイベントデータのイベント種別が音出力に係るものであれば、選択部２０５は、サウンドデータ格納部２０４から、読み出したイベントデータのイベントに対応するサウンドデータをサウンドデータ格納部２０４から抽出して、照合部２０６に出力する（ステップＳ９）。また、選択部２０５は、読み出したイベントデータをデータ修正部２０７に出力する。
【００３６】
照合部２０６は、録音データ格納部２０２から録音データを読み出して、当該録音データと選択部２０５から受け取ったサウンドデータとを照合して、録音データにおける一致部分を特定する（ステップＳ１１）。すなわち、照合部２０６は、録音データにおける音声出力の開始時刻及び終了時刻を特定して、データ修正部２０７に出力する。なお、録音データにおける一致部分の開始時刻及び終了時刻とについては、抽出部２０８に出力する。
【００３７】
データ修正部２０７は、選択部２０５から受け取ったイベントデータを、録音データにおける音出力（効果音又は音声出力）の開始時刻及び終了時刻で修正した上で、修正イベントデータ格納部２１０に格納する（ステップＳ１３）。そして処理はステップＳ２３に移行する。
【００３８】
図３の最初のイベントの場合には、メッセージ１「ポン、という音の後に住所をお話しください。」が出力されているので、メッセージ１のサウンドデータと録音データ（図２（イ））とを照合して一致する部分の開始時刻ａａ及び終了時刻ｂｂとが特定され、最初のイベントデータを修正の上、修正イベントデータ格納部２１０に格納する。例えば図５における最初のイベントデータのように修正される。
【００３９】
同様に、図３の２番目のイベントの場合には、効果音ｘが出力されているので、効果音ｘのサウンドデータと録音データ（図２（イ））とを照合して一致する部分の開始時刻ｃｃ及び終了時刻ｄｄとが特定され、２番目のイベントデータを修正の上、修正イベントデータ格納部２１０に格納する。例えば図５における２番目のイベントデータのように修正される。
【００４０】
一方、読み出したイベントデータのイベント種別が音出力に係るものではなく音入力に係るものであれば、選択部２０５は、読み出したイベントデータを、データ修正部２０７及び抽出部２０８に出力する。そして、抽出部２０８は、録音データ格納部２０２に格納されている録音データのうち、効果音部分及び出力音声部分以外の録音データを抽出して、音声認識部２０９に出力する（ステップＳ１５）。より具体的には、処理に係るイベントデータに含まれる開始時刻付近から終了時刻付近までの録音データであって、照合部２０６で特定された効果音及び出力音声が存在せず、且つ音声が記録されている部分の録音データを抽出する。これにより音声認識処理の認識精度を高めることができる。
【００４１】
そうすると、音声認識部２０９は、抽出部２０８からの録音データに対して音声認識処理を実行し、処理結果をデータ修正部２０７に出力する（ステップＳ１７）。なお、音声認識処理には、周知の話者認識処理などを含めるものとする。
【００４２】
そして、データ修正部２０７は、選択部２０５から受け取ったイベントデータを、音声認識部２０９による音声認識結果に基づき修正した上で、修正イベントデータ格納部２１０に格納する（ステップＳ１９）。そして処理はステップＳ２３に移行する。
【００４３】
図２の例では、「えーと  横浜市中区尾上町  ２の２７です。」という音声認識結果が得られるので、イベントデータと同じ結果である。しかし、話者認識の結果としてユーザＡであるという結果が得られれば、話者認識結果の「ユーザＡ」というデータも併せて格納されるので、図５の例では、３番目のイベントデータの内容は「ＡＡ」と修正される。
【００４４】
選択部２０５は、イベントデータ格納部２０３に未処理のイベントデータが存在するか否かを判断する（ステップＳ２３）。未処理のイベントデータが存在する場合には処理はステップＳ３に戻る。一方、未処理のイベントデータが存在しない場合には処理は終了する。
【００４５】
以上のような処理を実行することで、音声合成部１０８や効果音再生部１０９内部に存在するバッファによる音の出力遅れを修正したイベントデータを生成することができるようになる。
【００４６】
このような正確なイベントデータが自動的に生成できれば、自動対話システムの対話の問題点を明確化し易くなり、自動対話システムの対話の品質の向上を図りやすくなる。
【００４７】
以上本発明の実施の形態について説明したが、本発明はこれに限定されるものではない。図１に示したシステム構成は一例であり、プログラムモジュール構成やファイル構成とは一致しない場合もある。自動対話システム１００と記録システム２００とは一体化されている場合もある。処理フローについても、処理結果が変わらない限り、処理順番を入れ替えても良いし、並列に実行するようにしても良い。
【００４８】
また、イベントデータについては、開始時刻と終了時刻とを含むような例を示したが、開始時刻と長さ、終了時刻と長さのようなデータにしても良い。さらに、上で述べた例では、修正前のデータを破棄する例を示したが、破棄しないで残すようにしても良い。時刻は、どこかの時点からの相対時刻である場合もある。
【００４９】
なお、上で述べた自動対話システム１００及び記録システム２００は、コンピュータ装置であって、メモリとＣＰＵ（Central Processing Unit）とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）と表示装置に接続される表示制御部とリムーバブル・ディスク用のドライブ装置と入力装置とネットワークに接続するための通信制御部とがバスで接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤに格納されており、ＣＰＵにより実行される際にはＨＤＤからメモリに読み出される。ＣＰＵは、アプリケーション・プログラムの処理内容に応じて表示制御部、通信制御部、ドライブ装置を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリに格納されるが、ＨＤＤに格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ドライブ装置からＨＤＤにインストールされる。インターネットなどのネットワーク及び通信制御部を経由して、ＨＤＤにインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ、メモリなどのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【００５０】
以上述べた本実施の形態をまとめると以下のようになる。
【００５１】
実施の形態に係る情報処理方法は、（Ａ）自動対話システムからの出力音及びユーザの音声を録音することで得られる録音データから、自動対話システムからの出力音の出力時刻（例えば出力開始時刻及び出力終了時刻、それらのうち重要な方、それらのいずれかと長さなど）を特定する特定ステップと、（Ｂ）特定された出力音の出力時刻を、自動対話システムからの出力音に係るイベントのデータに対応付けてデータ格納部に格納するステップとを含む。
【００５２】
録音データを基に、自動対話システムからの出力音の出力時刻を特定すれば、ユーザが実際に出力音を聞いたタイミングを特定できるようになるため、より実際に即した適切な対話の解析を行うことができるようになる。
【００５３】
また、上で述べた情報処理方法は、（Ｃ）自動対話システムからの出力音についてのデータを用いて録音データの中でユーザの音声のデータを抽出するステップと、（Ｄ）抽出されたユーザの音声のデータに対して音声認識処理を実施し、音声認識処理の結果を、ユーザの音声に係るイベントのデータに対応付けてデータ格納部に格納するステップとをさらに含むようにしても良い。このようにすれば、音声認識処理の精度を向上させることができる。なお、話者認識を併せて行うようにしても良い。
【００５４】
また、上で述べた特定ステップが、（ａ１）自動対話システムからの出力音に係るイベントのデータに含まれる出力音種別に基づき、自動対話システムからの出力音のデータを取得するステップと、（ａ２）自動対話システムからの出力音のデータと比較することで録音データの中で自動対話システムからの出力音を特定するステップとを含むようにしても良い。精度良くタイミングを特定できるようになる。
【００５５】
なお、上記方法をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。尚、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。
【符号の説明】
【００５６】
２００  記録システム
２０１  データ取得部
２０２  録音データ格納部
２０３  イベントデータ格納部
２０４  サウンドデータ格納部
２０５  選択部
２０６  照合部
２０７  データ修正部
２０８  抽出部
２０９  音声認識部
２１０  修正イベントデータ格納部
【図１】
0006590617.tif 000002
【図２】
0006590617.tif 000003
【図３】
0006590617.tif 000004
【図４】
0006590617.tif 000005
【図５】
0006590617.tif 000006