(57)【特許請求の範囲】
【請求項１】
第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出プログラムであって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定し、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、
処理をコンピュータに実行させることを特徴とする発話抽出プログラム。
【請求項２】
前記抽出において、前記判定条件記憶手段に記憶された、前記第２の話者の発話区間の後半区間から第１の区間までの区間を前記特徴操作時刻情報が存在する区間とし、前記第２の話者の発話区間の後の第２の区間を前記第１の話者の発話区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記第２の話者の発話区間の後半区間から第１の区間までの間に存在する区間を特定し、前記特定した区間にかかる前記第２の話者の発話区間の後の前記第２の区間に存在する前記第１の話者の発話区間を特定し、該特定した第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の発話抽出プログラム。
【請求項３】
前記抽出において、前記判定条件記憶手段に記憶された、前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間を前記特徴操作時刻情報が存在する区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間に存在する区間を特定し、該特定した区間に掛かる前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の発話抽出プログラム。
【請求項４】
前記抽出において、前記第１の話者の発話区間の開始前に無音区間が存在するときには、当該第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、処理を前記コンピュータに実行させることを特徴とする請求項３に記載の発話抽出プログラム。
【請求項５】
前記抽出において、前記第１の話者の発話区間の開始前の第４の区間に前記第２の話者の発話区間が存在し、前記第４の区間に存在する前記第２の話者の発話区間の開始前に無音区間があるときには、前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、処理を前記コンピュータに実行させることを特徴とする請求項３または４に記載の発話抽出プログラム。
【請求項６】
コンピュータによって実行される第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出方法であって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定し、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、
ことを特徴とする発話抽出方法。
【請求項７】
第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出装置であって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定する操作抽出部と、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する特定発話抽出部と、
を備えることを特徴とする発話抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話時の発話を抽出する発話抽出プログラム、発話抽出方法、発話抽出装置に関する。
【背景技術】
【０００２】
従来、話者の対話を記録した音声情報から話者各々の発話を抽出し、抽出した発話から特定の発話を抽出する技術が知られている。例えば、コールセンタにおいてオペレータが顧客に製品の説明をするサービスなどで、オペレータが製品を説明する発話を抽出する上記技術が採用されている。
【０００３】
また、オペレータが顧客レベルに応じた的確な回答を簡易に実現する技術が開示されている。その技術によれば、所定の顧客から受け付けた問い合わせに対して事例データを参照しながらオペレータが実際に応対した際の応対内容を記録した音声データから、オペレータが発話したキーワードである発話キーワードを抽出する。次に、事例データから、オペレータが顧客に対する回答として発話すべきキーワードである回答キーワードを抽出し、発話キーワードのなかから、回答キーワードと共通するキーワードである共通キーワードを検出する。検出後、共通キーワードが発話された時刻の近傍で発話され、かつ、回答キーワードと共通していない発話キーワードを支援キーワードとして抽出する。そして、事例データを一意に識別するための事例識別情報、所定の顧客が問い合わせ内容に関して有する知識のレベルを示す顧客レベルおよび支援キーワードを含んだ補助データを記憶する。このとき、オペレータに事例識別情報と顧客レベルに応じた支援キーワードを提示することで、オペレータの回答を支援する。
【０００４】
また、関連する技術として、会話の先導者Ａの発話に対応する音声信号から発話区間と無音区間を検出し、その後無音区間の長さに基づいて会話状態を判別することで、会話の先導者Ａが存在する場の会話状態を判別する技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０３３８３５号公報
【特許文献２】特開２００５−１９６０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記した従来の技術では、あらかじめ用意した辞書に登録されているキーワードを用いて発話キーワードを抽出しているため、対話にしか出てこない語句を含み、かつ、オペレータが顧客に説明する発話を抽出することはできず、その発話中に含まれる支援キーワードの抽出が行えないという問題点があった。
そこで、本発明は上述の課題を解決するためになされたものであり、相槌や直接話題とは関係ない発話を除いた、辞書に登録されているキーワードを含んでいないがオペレータが顧客へ説明する発話などの有用な特定の発話を抽出する発話抽出プログラム、発話抽出方法、発話抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施の態様のひとつである発話抽出では、第１の話者と第２の話者の発話区間を含む対話情報のうち、上記第１の話者による機器の操作に関する発話区間を抽出をする。
次に、特定の機器の状態が記憶された特徴操作記憶手段を参照して、上記対話中に上記第１の話者の操作に基づき上記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、上記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている上記時刻情報である特徴操作時刻情報を特定する。
【０００８】
次に、上記第１の話者の発話区間と上記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、上記特定された特徴操作時刻情報を基に、上記第１の話者および上記第２の話者の発話区間と該発話区間毎の日時または上記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、上記発話抽出条件の上記対応関係に合致する上記第１の話者の発話区間を上記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する。
【発明の効果】
【０００９】
実施の態様によれば、あらかじめ用意した辞書に登録されているキーワードを含んでいないが有用な特定の発話を抽出することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】オペレータと顧客の対話と機器の状態の一実施例を示す図である。
【図２】実施形態１のハードウェアの一実施例を示す図である。
【図３】処理部の一実施例を示す図である。
【図４】処理部の動作の一実施例を示す図である。
【図５】音声情報と韻律情報のデータ構造の一実施例を示す図である。
【図６】操作情報のデータ構造の一実施例を示す図である。
【図７】オペレータの発話と顧客の発話を記録した発話情報の一実施例を示す図である。
【図８】特徴操作テーブルと特徴操作抽出結果テーブルのデータ構造の一実施例が示されている。
【図９】特定発話抽出部の動作の一実施例を示すフロー図である。
【図１０】発話判定１のパターンと発話判定１テーブルのデータ構造を示す一実施例を示す図である。
【図１１】発話判定２のパターンと発話判定２テーブルのデータ構造を示す一実施例を示す図である。
【図１２】説明発話テーブルのデータ構造の一実施例を示す図である。
【図１３】実施形態２の動作の一実施例を示すフロー図である。
【図１４】発話判定３のパターンと発話判定３テーブルのデータ構造を示す一実施例を示す図である。
【図１５】発話判定４のパターンと発話判定４テーブルのデータ構造を示す一実施例を示す図である。
【発明を実施するための形態】
【００１１】
以下図面に基づいて、本発明の実施形態について詳細を説明する。
実施形態１について説明する。
実施形態１は、対話を記録した音声情報から話者各々の発話を抽出し、抽出した発話から話題に関する有用な発話だけを効率よく抽出するものである。実施形態１では、音声認識辞書に登録されている語句を含んでいなくても対話の中で意味のある発話を特定する。
【００１２】
なお、実施形態１ではコールセンタにおいてオペレータが顧客に製品の説明をするサービスを例として説明をする。例えば、オペレータが顧客に製品の説明をする場合に、製品（機器）を実際にオペレータ自身が操作し、確認しながら顧客に説明する場合について説明する。
【００１３】
図１は、オペレータと顧客の対話と機器の状態の一実施例を示す図である。例えば、パーソナルコンピュータ（ＰＣ）にインストールされたアプリケーションソフトウェアの説明をする際に、オペレータ自身がＰＣを操作し、表示を確認しながら顧客に説明する場合について説明する。また、オペレータは、顧客に説明をする際にはマニュアルなどを参照して説明をする。マニュアルには顧客の質問に対する回答が記載されている。インターネットの設定についてマニュアルに「１．インターネットオプションの接続タブを開く。２．Local Area Network（ＬＡＮ）の設定を開く。３．プロキシサーバの設定が適切か確認。」などが記載されているとする。このマニュアルを使用する場合、例えば、音声認識をする際に用いる辞書に「インターネットオプション」「接続タブ」「ＬＡＮ」「プロキシサーバ」などの語句が専門用語として記録されているとする。
【００１４】
顧客から「インターネットオプションの設定について教えてください」と言われた場合、オペレータはマニュアルのインターネットオプションの設定を参照して、マニュアルに沿って説明を開始する。すると図１に示すような対話が行われる。
【００１５】
図１の音声情報は、第１の話者であるオペレータと第２の話者である顧客の対話を記録した音声情報から、オペレータと顧客の発話をしている発話を抽出して、時系列に表したものである。オペレータの発話は、ｕ１、ｕ３、ｕ５、ｕ７、ｕ９、ｕ１１である。顧客の発話は、ｕ２、ｕ４、ｕ６、ｕ８、ｕ１０である。また、オペレータと顧客の発話に対応付けられている吹き出しに記載されている内容は、実際の対話を表している。なお、発話区間の抽出については後述する。
【００１６】
発話ｕ１では、オペレータがマニュアルに沿って「では、インターネットオプションの接続タブを開いて下さい」と発話をしている。発話ｕ３では、オペレータが顧客の知識レベルに合わせて「メニューバーの右から２番目の・・・」と発話をしている。発話ｕ５では、オペレータが顧客の知識レベルに合わせて「１番上に、ファイル、編集などと並んでいる・・・」と発話をしている。発話ｕ７では、オペレータが顧客の知識レベルに合わせて「その右から２番目に、ツールとあるのでクリックして下さい」と発話をしている。発話ｕ９では、オペレータが顧客の知識レベルに合わせて「１番下にインターネットオプションというものがあります」と発話をしている。発話ｕ１１では、オペレータが顧客の知識レベルに合わせて「はい、そこの接続タブを選択して下さい」と発話をしている。
【００１７】
また、発話ｕ２では、顧客が発話ｕ１の発話に対して「何それ？」と発話をしている。発話ｕ４では、顧客が発話ｕ３の発話に対して「メニューバー？」と発話をしている。発話ｕ６では、顧客が発話ｕ５の発話に対して「あ、はいはい」と発話をしている。発話ｕ８では、顧客が発話ｕ７の発話に対して「２番目・・・はい」と発話をしている。発話ｕ１０では、顧客が発話ｕ９の発話に対して「あ、これね」と発話をしている。
【００１８】
また、図１の操作情報にはオペレータがＰＣを操作するためにマウスの左クリックをした結果、マウスの移動状況を示した結果、操作した結果有効になるＰＣの画面表示を示す情報などが、時系列に表されている。本例では、画面表示を示す情報としてＷ１、Ｗ２、Ｗ３が示されている。例えば、画面表示を示す情報Ｗ１はインターネットブラウザの画面が表示されたことを示し、Ｗ２はインターネットオプション画面、Ｗ３はツールメニューのポップアップなどが考えられる。ただし限定されるものではない。
【００１９】
上記に示したオペレータと顧客の発話から、音声認識辞書に登録されている語句を含む発話を抽出すると、オペレータの発話ｕ１、ｕ３、ｕ５、ｕ７、ｕ９、ｕ１１に対し、「インターネットオプション」を含むｕ１、ｕ９、「接続タブ」を含むｕ１１しか抽出できない。しかし、「インターネットオプションの接続タブ」がどこにあるかを説明しているｕ３などは、「インターネットオプション」の位置を説明するための「メニューバー」「２番目」などの説明対話を支援する語句となりうるキーワードを含んでいる説明発話として有用であるにも関わらず、音声認識辞書に登録されている語句を含んでいないため抽出できない。
【００２０】
そこで、図１に示したオペレータと顧客の発話と操作状態の関係に注目する。オペレータがＰＣを操作して画面表示を確認しながら説明する場合、ＰＣの操作そのものの説明とＰＣの操作が連動していることが分かる。実施形態１ではオペレータと顧客の発話と操作状態の関係に注目して、キーワードになるような語句を含む有用な発話だけを効率よく抽出する。対話時の発話とオペレータが用いる機器の対話時の特徴的な操作情報とを抽出し、抽出した発話と特徴的な操作情報の関係が、予め記録されている発話抽出条件と合致するオペレータの発話だけを抽出する。
【００２１】
図２は、実施形態１のハードウェアの一実施例を示す図である。実施形態１のハードウェアは、処理部２、記録部３、記録媒体読取装置４、入出力インタフェース５（入出力Ｉ／Ｆ）、通信インタフェース６（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス７によってそれぞれ接続されている。
【００２２】
発話抽出装置１は、Personal Computer（ＰＣ）やサーバなどを用いることが考えられる。発話抽出装置１は、処理部２、記録部３などを有している。処理部２は、後述する発話区間抽出部２１、操作抽出部２２、特定発話抽出部２３、補足語句抽出部２４などを有している。また、処理部２はCentral Processing Unit（ＣＰＵ）やプログラマブルなデバイス（Field Programmable Gate Array（ＦＰＧＡ）、Programmable Logic Device（ＰＬＤ）など）を用いることが考えられる。
【００２３】
記録部３は、後述する対話履歴テーブル、韻律情報、操作情報、オペレータの発話情報、顧客の発話情報、特徴操作テーブル、特徴操作抽出結果テーブル、発話判定１テーブル、発話判定２テーブル、発話判定３テーブル、発話判定４テーブル、説明発話テーブルなどを記録している。記録部３は、例えばRead Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などのメモリやハードディスクなどが考えられる。なお、記録部３にはパラメータ値、変数値などのデータを記録してもよいし、実行時のワークエリアとして用いてもよい。上記対話履歴テーブル、特徴操作テーブル、特徴操作抽出結果テーブル、発話判定１テーブル、発話判定２テーブル、発話判定３テーブル、発話判定４テーブル、説明発話テーブルなどは、テーブル以外の記憶方法であってもよく、ハードウェアとしてデータベースに記録されていてもよい。
【００２４】
記録媒体読取装置４は、処理部２の制御に従って記録媒体８に対するデータのリード／ライトを制御する。そして、記録媒体８に記録媒体読取装置４の制御で書き込まれたデータを記録させたり、記録媒体８に記録されたデータを読み取らせたりする。また、着脱可能な記録媒体８は、コンピュータで読み取り可能なnon-transitory（非一時的）な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、Digital Versatile Disc（ＤＶＤ）、ＤＶＤ−ＲＡＭ、Compact Disc Read Only Memory（ＣＤ−ＲＯＭ）、ＣＤ−Ｒ(Recordable)／ＲＷ（ReWritable）などがある。光磁気記録媒体には、Magneto-Optical disk（ＭＯ）などがある。なお、記録部３もnon-transitory（非一時的）な記録媒体に含まれる。
【００２５】
入出力インタフェース５には、入出力装置９が接続され、利用者が入力した情報を受信し、バス７を介して処理部４に送信する。また、処理部４からの命令に従ってディスプレイの画面上に操作情報などを表示する。入出力装置９は、例えば、タッチパネルなどが考えられる。
【００２６】
通信インタフェース６は、必要に応じ、他のコンピュータとの間のLocal Area Network（ＬＡＮ）接続やインターネット接続や無線接続を行うためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。
【００２７】
このようなハードウェア構成を有するコンピュータを用いることによって、後述する各種処理機能が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体８に記録しておくことができる。
【００２８】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの記録媒体８が販売される。また、プログラムをサーバコンピュータの記憶装置に記録しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００２９】
プログラムを実行するコンピュータは、例えば、記録媒体８に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記録部３に記録する。そして、コンピュータは、自己の記録部３からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、記録媒体８から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００３０】
図３は、処理部の一実施例を示す図である。
処理部２は、後述する発話区間抽出部２１、操作抽出部２２、特定発話抽出部２３、補足語句抽出部２４などを有している。
【００３１】
図３の発話区間抽出部２１は、オペレータ（第１の話者）と、顧客（第２の話者）の対話とを記録した音声情報を記録部３から取得し、音声レベルを求める。次に、発話区間抽出部２１は、音声レベルが予め決められた音声レベル以上で予め決められた区間以上続いた第１の話者と第２の話者の発話区間各々を時系列に抽出して、記録部３に記録する。
【００３２】
操作抽出部２２は、特徴操作テーブル（特徴操作記憶手段）を参照して、対話中にオペレータの操作に基づき前記機器に発生した状態と該状態が発生した日時または所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報（操作情報記憶手段）から、特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている時刻情報である特徴操作時刻情報を特定する。特徴操作テーブル（特徴操作記憶手段）は、特定の機器の状態が記録されている。
【００３３】
特定発話抽出部２３は、発話抽出条件（判定条件記憶手段）を参照して、特定された特徴操作時刻情報を基に、オペレータおよび顧客の発話区間と該発話区間毎の日時または所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、発話抽出条件の対応関係に合致する第１の話者の発話区間を特定の機器の状態に合致する操作情報に対応する発話区間として抽出する。発話抽出条件は、オペレータおよび顧客の発話区間と特徴操作時刻情報が存在する区間との対応関係を示す条件である。
【００３４】
補足語句抽出部２４は、特定発話抽出部２３が抽出したオペレータの発話区間で得られた発話に対して、例えば、音素認識技術を用いてオペレータを支援するために用いる補足語句を抽出する。補足語句は、記録部３などに記録されている辞書に記録する。なお、補足語句の抽出は、抽出したオペレータの発話区間で得られた発話を人手で聞いて補足語句を取得してもよい。
【００３５】
図４は、処理部の動作の一実施例を示す図である。
ステップＳ１では、発話区間抽出部２１が音声情報から韻律情報を抽出する。例えば、オペレータと顧客の対話を記録した少なくとも韻律情報を含む音声情報を記録部３から取得する。図５は、音声情報と韻律情報のデータ構造の一実施例を示す図である。音声情報は、例えば、図５の対話履歴テーブル５１の有する音声情報を識別するための識別子「コールＩＤ」に関連付けられて、記録部３に記録されている。なお、音声情報はステレオ録音データ、あるいはモノラルであれば話者分離したデータである。本例では、識別子として「ｃａｌｌ００１」「ｃａｌｌ００２」「ｃａｌｌ００３」・・・が記録されている。音声情報は、例えば、ＷＡＶＥファイル、MPEG Audio Layer-3（ＭＰ３）ファイルなどの音声を記録したファイルが考えられる。また、対話履歴テーブル５１は、「韻律情報」「操作情報」「付帯情報」「参照事例ＩＤ」を有している。「韻律情報」は、「コールＩＤ」に関連付けられ、韻律情報が記録されているファイル名などが記録されている。例えば、図５の韻律情報５２、５３に示すデータが記録されているファイル名が記録されている。韻律情報５２は、オペレータの発話に対応する韻律情報である。「測定日時」「レベル（ｄＢ）」が記録されている。「測定日時」には音声レベルを測定した時間が記録されている。本例では、日時または対話開始や機器起動など予め定められた特定の時点からの経過時間を示す「ｔｉｍｅ１」「ｔｉｍｅ２」「ｔｉｍｅ３」・・・が記録されている。「レベル（ｄＢ）」には、「測定日時」に記録された音声レベルが記録されている。本例では、音声レベルとしてデシベル（ｄＢ）が記録され、音声レベルを示す「ｌｅｖｅｌ＿ｏｐ１」「ｌｅｖｅｌ＿ｏｐ２」「ｌｅｖｅｌ＿ｏｐ３」・・・が記録されている。
【００３６】
「操作情報」には、対話中にオペレータが機器を操作したことによる機器の状態を記録した情報を示す識別子が、「コールＩＤ」に関連付けられて記録されている。「操作情報」には、例えば、マウス操作、キーボード入力、有効になっているウィンドウなどの情報が時系列に記録されている。図１の例であれば、操作情報は図６に示すように記録されている。図６は、操作情報のデータ構造の一実施例を示す図である。例えば、操作情報６１は「測定日時」「マウスクリック（左）」「マウス移動」「画面表示」などを有している。「測定日時」には、操作によりＰＣの状態が変化したときの日時または対話開始や機器起動など予め定められた特定の時点からの経過時間が記録される。本例では、ＰＣの状態が変化した日時を示す「ｅｖｅｎｔ１」「ｅｖｅｎｔ２」「ｅｖｅｎｔ３」・・・が記録されている。「マウスクリック（左）」には、マウスの左ボタンがクリックされたことが記録され、本例では、クリックされたとき「１」を記録す。「マウス移動」には、マウスの移動と停止が記録されている。本例では、マウスが移動され始めたとき「１」、停止したとき「０」が記録される。「画面表示」には、有効になった画面の名称などが記録される。本例では、画面「Ｗ１」「Ｗ２」「Ｗ３」・・・が記録されている。
【００３７】
「付帯情報」には、対話をした話者の属性が記録されている。例えば、性別や氏名などの情報が記録されている。本例では、オペレータの氏名「Ａ氏」、性別と顧客の性別を示す「ｏｐ Ａ氏男・ｃｕ男」、オペレータの氏名「Ｂ氏」、性別と顧客の性別を示す「ｏｐ Ｂ氏女・ｃｕ男」が記録されている。また、オペレータの氏名「Ｃ氏」、性別と顧客の性別を示す「ｏｐ Ｃ氏男・ｃｕ男」・・・が記録されている。ただし、「付帯情報」はなくてもよい。「参照事例ＩＤ」は、コールＩＤに対応する対話においてオペレータが参照した記録部３に記録されているマニュアルや過去の事例と関連付けられている。本例では、「ＱＡ１２３」「ＱＡ４５６」「ＱＡ１３５」・・・が記録されている。ただし、「参照事例ＩＤ」はなくてもよい。
【００３８】
ステップＳ２では、発話区間抽出部２１が発話区間を抽出する。発話区間抽出部２１は、韻律情報の音声レベルを用いて、音声レベルが予め決められた音声レベル以上で予め決められた区間以上続いたオペレータと顧客の発話区間各々を時系列に抽出して、記録部３に記録する。図１の例では、オペレータの発話として、ｕ１、ｕ３、ｕ５、ｕ７、ｕ９、ｕ１１が抽出される。顧客の発話としては、ｕ２、ｕ４、ｕ６、ｕ８、ｕ１０が抽出される。図７は、オペレータの発話と顧客の発話を記録した発話情報の一実施例を示す図である。図７のオペレータの発話情報７１は、「発話ＩＤ」「開始日時」「終了日時」を有している。「発話ＩＤ」は、オペレータの発話区間を識別する情報である。本例では、発話区間を示す「ｃａｌｌ００１−Ａ１」「ｃａｌｌ００１−Ａ２」「ｃａｌｌ００１−Ａ３」・・・が記録されている。「開始日時」は、発話の開始日時または経過時間が記録されている。本例では、開始日時または経過時間を示す「ｔｉｍｅ１ｎ」「ｔｉｍｅ３ｎ」「ｔｉｍｅ５ｎ」・・・が記録されている。「終了日時」は、発話の終了日時または経過時間が記録されている。本例では、終了日時または経過時間を示す「ｔｉｍｅ２ｎ」「ｔｉｍｅ４ｎ」「ｔｉｍｅ６ｎ」・・・が記録されている。
【００３９】
顧客の発話情報７２は、「発話ＩＤ」「開始日時」「終了日時」を有している。「発話ＩＤ」は、顧客の発話区間を識別する情報である。本例では、発話区間を示す「ｃａｌｌ００１−Ｃ１」「ｃａｌｌ００１−Ｃ２」「ｃａｌｌ００１−Ｃ３」・・・が記録されている。「開始日時」は、発話の開始日時または経過時間が記録されている。本例では、開始日時または経過時間を示す「ｔｉｍｅ１ｍ」「ｔｉｍｅ３ｍ」「ｔｉｍｅ５ｍ」・・・が記録されている。「終了日時」は、発話の終了日時または経過時間が記録されている。本例では、終了日時または経過時間を示す「ｔｉｍｅ２ｍ」「ｔｉｍｅ４ｍ」「ｔｉｍｅ６ｍ」・・・が記録されている。
【００４０】
ステップＳ３で操作抽出部２２は、オペレータが顧客に説明をするときに表れると推定される機器の状態を示す特徴操作テーブルに合致する特徴操作範囲を抽出する。特徴操作テーブルは、例えば、ＰＣの状態を示す図６の操作情報の「マウスクリック（左）」「マウス移動」「画面表示」などの予め決められた操作が行われたか否かと、予め決められた操作が予め決められた範囲内にあるか否かを判定するために用いる。図８には、特徴操作テーブル８１と特徴操作抽出結果テーブル８２のデータ構造の一実施例が示されている。また、特徴操作テーブルと特徴操作発生日時の関係を示す図が示されている。特徴操作テーブル８１は、「特徴操作ＩＤ」とＰＣの状態を示す１つ以上の情報を有している。「特徴パターンＩＤ」は、予め決められた操作が、予め決められた範囲内にあるか否かを判定する特徴パターンを識別する識別子が記録されている。本例では、特徴パターンを識別する識別子として「ｏｐｔ１」「ｏｐｔ２」「ｏｐｔ３」・・・が記録されている。特徴操作テーブル８１ではＰＣの状態を示す１つ以上の情報として、「マウスクリック（左）」「マウス移動」「画面表示」を有している。「マウスクリック（左）」では「１」のときマウスの左ボタンがクリックされたことを示す。「マウス移動」では「１」のときマウスが移動し、「０」のときマウスが停止していることを示す。「画面切替」では「１」のとき画面が切り替わったことを示す。ただし、ＰＣの状態を示す情報は上記に限定されるものではない。なお、例外条件を加えることも可能であり、例えば、「インターネット画面」への遷移操作は除外することが考えられる。
【００４１】
操作抽出部２２は、操作情報６１を参照して特徴操作テーブル８１と合致する特徴操作範囲を抽出し、特徴操作範囲に含まれるＰＣの状態を示す情報の日時または経過時間のうち最も早い日時または経過時間を抽出して特徴操作時刻情報とする。その後、特徴操作時刻情報に識別子を付与し、特徴操作抽出結果テーブルに記録する。図８の特徴操作抽出結果テーブル８２は、「特徴操作ＩＤ」「特徴操作時刻情報」を有している。「特徴操作ＩＤ」は特徴操作時刻情報を識別する識別子である。本例では、識別子として「ｏｐ１」「ｏｐ２」「ｏｐ３」・・・が記録されている。「特徴操作時刻情報」には、特徴操作時刻情報が記録されている。本例では、特徴操作時刻情報を示す「ｔｉｍｅ１ｓ」「ｔｉｍｅ２ｓ」「ｔｉｍｅ３ｓ」・・・が記録されている。また、本例では特徴操作時刻情報としてＰＣの状態を示す情報の日時または経過時間のうち最も早い日時または経過時間を抽出したが、限定されるものではなく、特徴操作範囲内であればよい。
【００４２】
ステップＳ４で特定発話抽出部２３は、発話抽出条件に合致する区間を、発話区間抽出部２１で抽出したオペレータと顧客の発話区間と、操作抽出部２２で抽出した特徴操作時刻情報を用いて抽出する。そして、抽出した区間から発話抽出条件で予め決められている時間範囲（区間）に存在するオペレータの発話区間を抽出する。発話抽出条件は、予め決められた前記第１の話者および前記第２の話者の発話区間と前記特徴操作時刻情報が存在する区間を示す条件である。
【００４３】
図９を用いてステップＳ４の詳細について説明をする。
図９は、特定発話抽出部の動作の一実施例を示すフロー図である。ステップＳ９１では、特定発話抽出部２３が特徴操作抽出結果テーブルから特徴操作時刻情報を取得する。図８の例であれば、特徴操作抽出結果テーブル８１から「コールＩＤ」に関連付けられている特徴操作時刻情報を全て取得する。
【００４４】
ステップＳ９２では、特定発話抽出部２３がオペレータと顧客の発話区間を取得する。例えば、図７のオペレータの発話情報７１と顧客の発話情報７２から「コールＩＤ」に関連付けられている発話区間を取得する。
【００４５】
ステップＳ９３とステップＳ９４では、発話判定１と発話判定２により、製品（機器）の説明に関わるキーワードとなる語句を含むと推定されるオペレータの発話であるか否を判定する。
【００４６】
ステップＳ９３では、特定発話抽出部２３が発話判定１を行う。発話判定１は、発話抽出条件として、顧客の発話区間の後半区間または後半区間の後の予め決められた第１の区間に特徴操作時刻情報が存在し、かつ顧客の発話区間の後の予め決められた第２の区間にオペレータの発話区間が存在するか否かを判定する。発話判定１の発話抽出条件と合致する場合にはステップＳ９５（Ｙｅｓ）に移行し、合致しない場合にはステップＳ９４（Ｎｏ）に移行する。発話判定１を用いる理由は、顧客の発話によってオペレータの操作が発生した場合に、オペレータの次の発話に説明に関わる語句を含むと推定されるためである。
【００４７】
発話判定１では、例えば、図１０の発話判定１テーブル１０１を用いることが考えられる。図１０は、発話判定１のパターンと発話判定１テーブルのデータ構造を示す一実施例を示す図である。発話判定１テーブル１０１は、「顧客の発話区間の後半区間を含む区間」「特徴操作後のオペレータの発話区間が存在する区間」「付加区間１」「付加区間２」を有している。「顧客の発話区間の後半区間を含む区間」は、図１０のタイムチャートに示すβの区間である。βの区間は、顧客の発話区間ｕ２の後半区間とその後半区間の前後に設けられた予め設定されている付加区間ｅ１、付加区間ｅ２（第１の区間）を有する。後半区間は、図１０の顧客の発話区間ｕ２の中間ｃｅｎｔより以後の区間である。
【００４８】
「特徴操作後のオペレータの発話区間が存在する区間」は、図１０のタイムチャートに示すαの区間である。αの区間は、特徴操作後に予め設定された区間であり、この区間にオペレータの発話区間が存在するか否かを判定するために用いられる区間である。なお、αの区間（第２の区間）は予め設定してもよいし、後半区間の時間などに応じて区間を変更してもよい。
【００４９】
「付加区間１」「付加区間２」には、付加区間ｅ１、ｅ２が記録されている。なお、後半区間の時間に応じて付加区間ｅ１、ｅ２を変更してもよい。また、付加区間ｅ１、ｅ２はなくてもよい。
【００５０】
図１０の場合であれば、ステップＳ９３では特定発話抽出部２３が特徴操作時刻情報ｔｉｍｅｘｓの前に顧客の発話区間ｕ２があることを検出する。次に、顧客の発話区間ｕ２の後半区間を求める。後半区間は、顧客の発話情報７２の開始日時と終了日時を用いて求める。さらに、付加区間が記録されている場合には後半区間に付加区間を付加してβの区間を求める。そして、求めたβの区間に特徴操作時刻情報ｔｉｍｅｘｓが存在するか否かを判定する。
【００５１】
特徴操作時刻情報ｔｉｍｅｘｓが存在する場合には、特徴操作時刻情報ｔｉｍｅｘｓの後にオペレータの発話区間が予め設定されたαの区間に存在するか否かを判定する。図１０の場合にはオペレータの発話区間ｕ３が予め設定されたαの区間内に存在するので、発話判定１におけるオペレータと顧客の発話区間とオペレータの特徴操作時刻情報の時間関係を示す予め決められた発話抽出条件と合致したと判定する。
【００５２】
なお、発話判定１で用いる発話抽出条件と合致するか否かを判定できれば、上記判定方法に限定されるものではない。
ステップＳ９４では、特定発話抽出部２３が発話判定２を行う。発話判定２は、オペレータの発話区間またはオペレータの発話区間の前後の予め決められた第３の区間に特徴操作時刻情報が存在する区間が存在するか否かを判定する。発話判定２と合致する場合にはステップＳ９６（Ｙｅｓ）に移行し、合致しない場合にはステップＳ９７（Ｎｏ）に移行する。発話判定２を用いる理由は、オペレータ自身の発話によってオペレータの操作が発生した場合に、そのオペレータの発話に説明に関わる語句を含むと推定されるためである。
【００５３】
発話判定２では、例えば、図１１の発話判定２テーブル１１１を用いることが考えられる。図１１は、発話判定２のパターンと発話判定２テーブルのデータ構造を示す一実施例を示す図である。発話判定２テーブル１１１は、「オペレータの発話区間と付加を含む区間」「付加区間３」「付加区間４」を有している。「顧客の発話区間の後半区間と付加を含む区間」は、図１１のタイムチャートに示すγの区間である。γの区間は、オペレータの発話区間ｕ９とその発話区間ｕ９の前後に設けられた予め設定されている付加区間ｅ３、ｅ４（第３の区間）とを有する。
【００５４】
「付加区間３」「付加区間４」には、付加区間ｅ３、ｅ４が記録されている。なお、発話区間ｕ９の時間に応じて付加区間ｅ３、ｅ４を変更してもよい。なお、付加区間ｅ３、ｅ４は予め設定してもよい。また、付加区間ｅ３、ｅ４はなくてもよい。
【００５５】
図１１の場合であれば、ステップＳ９４では特定発話抽出部２３が特徴操作時刻情報ｔｉｍｅｙｓを含むオペレータの発話区間が存在するか否かを判定する。特徴操作時刻情報ｔｉｍｅｙｓを含むオペレータの発話区間が存在する場合には、発話判定２における発話抽出条件と合致する時間関係が存在すると判定する。特徴操作時刻情報ｔｉｍｅｙｓを含むオペレータの発話区間が存在しない場合には、特徴操作時刻情報ｔｉｍｅｙｓに近いオペレータの発話区間の前後に予め設定された付加区間ｅ３、ｅ４を付加して、γの区間を求める。次に、特徴操作時刻情報ｔｉｍｅｙｓを含むγの区間があるか否かを判定する。γの区間に特徴操作時刻情報ｔｉｍｅｙｓが存在するか否かを判定する。図１１の場合には特徴操作時刻情報ｔｉｍｅｙｓがγの区間内にあるので、発話判定２における発話抽出条件と合致したと判定する。
【００５６】
なお、発話判定２で用いる発話抽出条件と合致するか否かを判定できれば、上記判定方法に限定されるものではない。
ステップＳ９５では、特定発話抽出部２３がステップＳ９３の発話判定１で抽出したオペレータの発話を記録部３に記録する。図１０の例であれば、αの区間内に存在するオペレータの発話区間ｕ３に対応する発話を、説明に関わる語句を含むと推定されるオペレータの発話として記録する。
【００５７】
ステップＳ９６では、特定発話抽出部２３がステップＳ９４の発話判定２で抽出したオペレータの発話を記録部３に記録する。図１１の例であれば、γの区間内に存在するオペレータの発話区間ｕ９に対応する発話を、説明に関わる語句を含むと推定されるオペレータの発話として記録する。
【００５８】
ステップＳ９７では、特定発話抽出部２３が取得した特徴操作時刻情報すべてに対して発話判定１または発話判定２を実行したか否かを判定する。すべての特徴操作時刻情報に対して発話判定１または発話判定２を実行した場合（Ｙｅｓ）には、説明に関わる語句を含むと推定されるオペレータの発話の抽出処理を終了し、まだ特徴操作時刻情報が残っている場合にはステップＳ９１（Ｎｏ）に移行する。
【００５９】
ステップＳ９６とステップＳ９７では、説明に関わる語句を含むと推定されるオペレータの発話を、図１２に示す抽出発話テーブル１２１に記録する。図１２は、抽出発話テーブル１２１のデータ構造の一実施例を示す図である。抽出発話テーブル１２１は、「コールＩＤ」「説明発話ＩＤ」「補足語句」を有している。「コールＩＤ」は、音声情報を識別するための識別子「コールＩＤ」である。本例では、識別子として「ｃａｌｌ００１」・・・が記録されている。「説明発話ＩＤ」は、ステップＳ９３とステップＳ９４で判定した説明に関わる語句を含むと推定されるオペレータの発話の音声情報に関連付けられ、該音声情報を識別する識別子が記録されている。本例では、識別子として「ｃａｌｌ００１−５」「ｃａｌｌ００１−７」・・・が記録されている。「補足語句」には、後述するステップＳ５で抽出した補足語句が記録される。本例では、補足語句「メニューバー」「２番目」・・・が記録されている。
【００６０】
実施形態１では、オペレータと顧客の発話と操作状態の関係に注目して、キーワードになるような語句を含むと推定されるオペレータの発話だけを抽出する。
図５のステップＳ５では、補足語句抽出部２４が補足語句を抽出する。補足語句抽出部２４は、特定発話抽出部２３が抽出した説明に関わる語句を含むと推定されるオペレータの発話に対して、オペレータを支援するために用いる説明に関わるキーワードとなる語句（補足語句）を抽出する。補足語句は、例えば、記録部３の抽出発話テーブル１２１に記録される。なお、補足語句の抽出は、抽出したオペレータの発話区間で得られた発話を人手で聞いて補足語句を取得してもよい。
【００６１】
従来の方法では、オペレータの発話ｕ１、ｕ３、ｕ５、ｕ７、ｕ９、ｕ１１に対し、音声認識辞書にあるキーワードを含む発話を抽出するので、対話にしか表れないキーワードになる語句を含む発話を効率よく抽出することが困難である。すなわち、図１の例であれば対話にしか表れないキーワードとして「メニューバー」「２番目」などの語句を抽出したいが、それらの語句を含む発話を抽出できなかった。しかし、実施形態１の処理を用いることにより、説明に関わる語句を含むと推定されるオペレータの発話を抽出できるので、その発話から辞書に登録する候補の抽出をすればよいので、対話にしか表れないキーワードになるような語句を含む発話を効率よく抽出できる。例えば、「メニューバー」「２番目」などの対話にしか表れないキーワードとなる語句を効率よく抽出できる。すなわち、補足語句の候補にならない語句を含む発話の抽出を抑止できるため、効率的に辞書に登録ができる。
【００６２】
また、これまで補足語句は、辞書にすでに登録されている語句の中からのみしか抽出できなかったが、対話でしか出現しない語句やマニュアルなどの文書などからは抽出できない語句も抽出できるようになる。その結果、オペレータの応対支援がより細やかにできるようになる。
【００６３】
また、説明対話において手順説明そのものの発話とそうでない発話を区別することができるため、それぞれに要する時間計測が可能となり、詳細な対応分析ができるようになる。
【００６４】
また、同じ事例において、必要な対話時間とそうでない対話時間が計測できるため、オペレータの顧客応対のスキルをより詳細に判定できるようになる。
必要な対話時間以外の時間が明らかになるため、対話時間が必要時間以上に長くなる事例の抽出が可能となり、その事例の分析によって応対時間の改善につなげることができるようになる。
【００６５】
なお、ここではＰＣ操作に関する問い合わせを受けるコールセンタを想定し、ＰＣ操作ログを利用するとしているが、何らかの機器やソフトなどに関する問い合わせを受けるコールセンタで、その機器やソフトなどを操作しながら回答し、その操作ログが残せるようなものであれば限定されるものではない。例えば、プリンタや家電製品の使い方に関する問い合わせなども考えられる。さらに、例えば予約確認を可能な機器を使用してチケットの発券状況、予約状況に関する問い合わせなどにも利用することができる。
【００６６】
実施形態２について説明する。
実施形態２は、実施形態１で説明した説明に関わる語句を含むと推定されるオペレータの発話の抽出精度を向上させる。実施形態２について図１３のフロー図を用いて説明する。図１３は、実施形態２の動作の一実施例を示すフロー図である。ステップＳ９１、Ｓ９２Ｓ９５〜９７の処理は実施形態１で説明したので省略する。ステップＳ１３１〜Ｓ１３４の処理について説明する。
【００６７】
ステップＳ１３１は、実施形態１で説明したステップＳ９３において説明した処理を行う。発話判定１を用いて、製品（機器）の説明に関わるキーワードとなる語句を含むと推定されるオペレータの発話であるか否かを判定する。すなわち、特定発話抽出部２３が発話判定１で用いる発話抽出条件と合致するオペレータと顧客の発話区間とオペレータの特徴操作時刻情報との関係があるか否かを判定する。ただし、実施形態１と異なり、合致する場合にはステップＳ９５（Ｙｅｓ）に移行し、合致しない場合にはステップＳ１３２（Ｎｏ）に移行する。
【００６８】
ステップＳ１３２は、実施形態１において説明したステップＳ９４で説明した処理を行う。発話判定２を用いて、製品（機器）の説明に関わるキーワードとなる語句を含むと推定されるオペレータの発話であるか否かを判定する。ただし、実施形態１と異なり、合致する場合にはステップＳ１３３（Ｙｅｓ）に移行し、合致しない場合にはステップＳ９７（Ｎｏ）に移行する。
【００６９】
ステップＳ１３３では、特定発話抽出部２３が発話判定３を行う。発話判定３は、オペレータの発話区間の前半またはオペレータの発話区間の開始の前の予め決められた第４の区間に特徴操作時刻情報が存在し、オペレータの発話区間の開始の前に予め決められた無音区間があるか否かを判定する。発話判定３の発話抽出条件と合致する場合にはステップＳ９７（Ｙｅｓ）に移行し、合致しない場合にはステップＳ１３４（Ｎｏ）に移行する。無音区間は、オペレータと顧客との間で対話がない状態が一定時間以上続いている状態である。発話抽出条件によれば、無音区間直後の最初の発話者がオペレータである場合の無音区間中はオペレータが顧客に説明のために必要な調査、確認、試行などをしていると推定できるため、無音区間直後のオペレータ発話でいきなり説明に関わる語句を含むような発話をすることはないと判定する。
【００７０】
発話判定３では、例えば、図１４の発話判定３テーブル１４１を用いることが考えられる。図１４は、発話判定３のパターンと発話判定３テーブルのデータ構造を示す一実施例を示す図である。発話判定３テーブル１４１は、「無音区間」「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」を有している。「無音区間」は、無音区間であるか否かを判定するための閾値が記録されている。閾値は、例えば、予め設定した時間以上無音時間が続いたか否かを判定する時間を示す値である。本例では、閾値として時間「ｍ１」が記録されている。「無音区間」は、図１４のタイムチャートに示すｍ１の区間である。
【００７１】
「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」には、オペレータの発話開始以前と以後に設定される設定区間が記録されている。本例では、「ｘ２」「ｘ３」が記録されている。「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」は、図１４のタイムチャートに示すｘ２の区間、ｘ３の区間（第４の区間）である。図１４のｘ１の区間は、オペレータの発話開始を含むｘ２、ｘ３の区間を有し、ｘ１の区間に該特徴操作時刻情報ｔｉｍｅｚｓが含まれるか否かを判定するために用いる区間である。
【００７２】
図１４の場合であれば、ステップＳ１３３では特定発話抽出部２３が特徴操作時刻情報ｔｉｍｅｚｓを含むオペレータの発話区間が存在するか否かを判定する。特徴操作時刻情報ｔｉｍｅｚｓを含むオペレータの発話区間が存在する場合には、オペレータの発話開始以後の設定区間ｘ２に特徴操作時刻情報ｔｉｍｅｚｓが存在するかを判定する。図１４の場合には特徴操作時刻情報ｔｉｍｅｚｓがｘ２の区間内にある。特徴操作時刻情報ｔｉｍｅｚｓを含むオペレータの発話区間が存在しない場合には、オペレータの発話開始以前のｘ３の区間に特徴操作時刻情報ｔｉｍｅｚｓが存在するかを判定する。ｘ２の区間内またはｘ３の区間内に特徴操作時刻情報ｔｉｍｅｚｓが存在する場合には、オペレータの発話開始以前に無音区間があるか否かを判定する。図１４の場合にはオペレータの発話開始以前に無音区間ｍ１があるので、発話判定３におけるオペレータと顧客の発話区間とオペレータの特徴操作時刻情報の時間関係を示す予め決められた発話抽出条件と合致したと判定する。つまり、図１４に示されるオペレータの発話区間には説明に関わる語句が含まれないと判定する。
なお、発話判定３で用いる発話抽出条件と合致するか否かを判定できれば、上記判定方法に限定されるものではない。
【００７３】
ステップＳ１３４では、特定発話抽出部２３が発話判定４を行う。発話判定４は、オペレータの発話区間の開始の前に予め決められた第４の区間に顧客の発話区間が存在し、第４の区間に存在する顧客の発話区間の開始の前に予め決められた無音区間が存在するか否かを判定する。発話判定４の発話抽出条件と合致する場合にはステップＳ９７（Ｙｅｓ）に移行し、合致しない場合にはステップＳ９６（Ｎｏ）に移行する。無音区間ｍ１は、オペレータと顧客との間で対話がない状態が一定時間以上続いている状態である。発話判定４で用いる発話抽出条件によれば、無音区間直後の最初の発話者が顧客である場合の無音区間中に顧客が自身のＰＣなどの機器を操作しているためにオペレータを待たせていると推定できるため、無音区間が前にある顧客の発話後のオペレータ発話でいきなり説明に関わる語句を含むような発話をすることはないと判定する。
【００７４】
発話判定４では、例えば、図１５の発話判定４テーブル１５１を用いることが考えられる。図１５は、発話判定４のパターンと発話判定４テーブルのデータ構造を示す一実施例を示す図である。発話判定４テーブル１５１は、「無音区間」「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」「顧客の発話終了からオペレータの発話開始までの区間」を有している。「無音区間」「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」は、発話判定３テーブル１４１で説明した「無音区間」「オペレータの発話開始以後の設定区間」「オペレータの発話開始以前の設定区間」と同様である。
【００７５】
「顧客の発話終了からオペレータの発話開始までの区間」は、図１５のタイムチャートに示す顧客の発話終了からオペレータの発話開始までの区間ｍ２である。区間ｍ２は、ｘ１の区間に特徴操作時刻情報ｔｉｍｅｗｓが含まれる場合に、オペレータの発話開始の前に顧客の発話があるか否かを判定するために用いる。
【００７６】
図１５の場合であれば、ステップＳ１３４では特定発話抽出部２３が特徴操作時刻情報ｔｉｍｅｗｓを含むオペレータの発話区間が存在するか否かを判定する。特徴操作時刻情報ｔｉｍｅｗｓを含むオペレータの発話区間が存在する場合には、オペレータの発話開始以後の設定区間ｘ２に特徴操作時刻情報ｔｉｍｅｗｓが存在するかを判定する。図１５の場合には特徴操作時刻情報ｔｉｍｅｗｓがｘ２の区間内にある。特徴操作時刻情報ｔｉｍｅｗｓを含むオペレータの発話区間が存在しない場合には、オペレータの発話開始以前のｘ３の区間に特徴操作時刻情報ｔｉｍｅｗｓが存在するかを判定する。ｘ２の区間内またはｘ３の区間内に特徴操作時刻情報ｔｉｍｅｗｓが存在する場合には、オペレータの発話開始の前に顧客の発話が存在するかを判定する。例えば、顧客の発話からオペレータの発話開始の区間が、ｍ２の区間内であるか否かを判定する。次に、ｍ２の区間内であれば、顧客の発話の発話開始前に無音区間があるか否かを判定する。図１５の例では、オペレータの発話開始前のｍ２の区間内に顧客の発話が存在するので、顧客の発話の前に無音区間ｍ１が存在するか否かを判定する。その結果、無音区間ｍ１が存在するので、オペレータの発話区間には説明に関わる語句が含まれないと判定する。
【００７７】
なお、発話判定４で用いる発話抽出条件と合致するか否かを判定できれば、上記判定方法に限定されるものではない。
実施形態２の処理を用いることにより、説明に関わる語句を含むと推定されるオペレータの発話に対して実施形態１より辞書に登録する候補の抽出精度を向上することができる。
【００７８】
また、これまで補足語句は、辞書にすでに登録されている語句の中からのみしか抽出できなかったが、対話でしか出現しない語句やマニュアルなどの文書などからは抽出できない語句も抽出できるようになる。その結果、オペレータの応対支援がより細やかにできるようになる。
【００７９】
また、説明対話において手順説明そのものの発話とそうでない発話を区別することができるため、それぞれに要する時間計測が可能となり、詳細な対応分析ができるようになる。
【００８０】
また、同じ事例において、必要な対話時間とそうでない対話時間が計測できるため、オペレータの顧客応対のスキルをより詳細に判定できるようになる。
必要な対話時間以外の時間が明らかになるため、対話時間が必要時間以上に長くなる事例の抽出が可能となり、その事例の分析によって応対時間の改善につなげることができるようになる。
【００８１】
なお、ここではＰＣ操作に関する問い合わせを受けるコールセンタを想定し、ＰＣ操作ログを利用するとしているが、何らかの機器やソフトなどに関する問い合わせを受けるコールセンタで、その機器やソフトなどを操作しながら回答し、その操作ログが残せるようなものであれば限定されるものではない。例えば、プリンタや家電製品の使い方に関する問い合わせなども考えられる。さらに、例えば予約確認を可能な機器を使用してチケットの発券状況、予約状況に関する問い合わせなどにも利用することができる。
【００８２】
また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。各実施形態は処理に矛盾の無い限りにおいて、互いに組み合わせても構わない。
【００８３】
以上実施形態１、２を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出プログラムであって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定し、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、
処理をコンピュータに実行させることを特徴とする発話抽出プログラム。
（付記２）
前記抽出において、前記判定条件記憶手段に記憶された、前記第２の話者の発話区間の後半区間から第１の区間までの区間を前記特徴操作時刻情報が存在する区間とし、前記第２の話者の発話区間の後の第２の区間を前記第１の話者の発話区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記第２の話者の発話区間の後半区間から第１の区間までの間に存在する区間を特定し、前記特定した区間にかかる前記第２の話者の発話区間の後の前記第２の区間に存在する前記第１の話者の発話区間を特定し、該特定した第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する処理を前記コンピュータに実行させることを特徴とする付記１に記載の発話抽出プログラム。
（付記３）
前記抽出において、前記判定条件記憶手段に記憶された、前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間を前記特徴操作時刻情報が存在する区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間に存在する区間を特定し、該特定した区間に掛かる前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する処理を前記コンピュータに実行させることを特徴とする付記１または２に記載の発話抽出プログラム。
（付記４）
前記抽出において、前記第１の話者の発話区間の開始前に無音区間が存在するときには、当該第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、処理を前記コンピュータに実行させることを特徴とする付記３に記載の発話抽出プログラム。
（付記５）
前記抽出において、前記第１の話者の発話区間の開始前の第４の区間に前記第２の話者の発話区間が存在し、前記第４の区間に存在する前記第２の話者の発話区間の開始前に無音区間があるときには、前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、処理を前記コンピュータに実行させることを特徴とする付記３または４に記載の発話抽出プログラム。
（付記６）
コンピュータによって実行される第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出方法であって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定し、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、
ことを特徴とする発話抽出方法。
（付記７）
前記抽出において、前記判定条件記憶手段に記憶された、前記第２の話者の発話区間の後半区間から第１の区間までの区間を前記特徴操作時刻情報が存在する区間とし、前記第２の話者の発話区間の後の第２の区間を前記第１の話者の発話区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記第２の話者の発話区間の後半区間から第１の区間までの間に存在する区間を特定し、前記特定した区間にかかる前記第２の話者の発話区間の後の前記第２の区間に存在する前記第１の話者の発話区間を特定し、該特定した第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、ことを特徴とする付記６に記載の発話抽出方法。
（付記８）
前記抽出において、前記判定条件記憶手段に記憶された、前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間を前記特徴操作時刻情報が存在する区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間に存在する区間を特定し、該特定した区間に掛かる前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、ことを特徴とする付記６または７に記載の発話抽出方法。
（付記９）
前記抽出において、前記第１の話者の発話区間の開始前に無音区間が存在するときには、当該第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、ことを特徴とする付記７に記載の発話抽出方法。
（付記１０）
前記抽出において、前記第１の話者の発話区間の開始前の第４の区間に前記第２の話者の発話区間が存在し、前記第４の区間に存在する前記第２の話者の発話区間の開始前に無音区間があるときには、前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、ことを特徴とする付記８または９に記載の発話抽出方法。
（付記１１）
第１の話者と第２の話者の発話区間を含む対話情報のうち、前記第１の話者による機器の操作に関する発話区間を抽出する発話抽出装置であって、
特定の機器の状態が記憶された特徴操作記憶手段を参照して、前記対話中に前記第１の話者の操作に基づき前記機器に発生した状態と該状態が発生した日時又は所定の時点からの経過時間を示す時刻情報が関連付けて記録された操作情報記憶手段から、前記特定の機器の状態に合致する操作情報及び該操作情報に関連付けて記憶されている前記時刻情報である特徴操作時刻情報を特定する操作抽出部と、
前記第１の話者の発話区間と前記特徴操作時刻情報が存在する区間との対応関係を示す発話抽出条件が記憶された判定条件記憶手段を参照して、前記特定された特徴操作時刻情報を基に、前記第１の話者および前記第２の話者の発話区間と該発話区間毎の日時または前記所定の時点からの経過時間を示す時刻情報とが関連付けて記憶された発話情報記憶手段から、前記発話抽出条件の前記対応関係に合致する前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する特定発話抽出部と、
を備えることを特徴とする発話抽出装置。
（付記１２）
特定発話抽出部は、
前記判定条件記憶手段に記憶された、前記第２の話者の発話区間の後半区間から第１の区間までの区間を前記特徴操作時刻情報が存在する区間とし、前記第２の話者の発話区間の後の第２の区間を前記第１の話者の発話区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記第２の話者の発話区間の後半区間から第１の区間までの間に存在する区間を特定し、前記特定した区間にかかる前記第２の話者の発話区間の後の前記第２の区間に存在する前記第１の話者の発話区間を特定し、該特定した第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、ことを特徴とする付記１１に記載の発話抽出装置。
（付記１３）
特定発話抽出部は、
前記判定条件記憶手段に記憶された、前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間を前記特徴操作時刻情報が存在する区間とする前記発話抽出条件を参照して、前記抽出された特徴操作時刻情報を基に、前記発話情報記憶手段から、前記特定した特徴操作時刻情報が前記前記第１の話者の発話区間または前記第１の話者の発話区間の前後の第３の区間に存在する区間を特定し、該特定した区間に掛かる前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出する、ことを特徴とする付記１１または１２に記載の発話抽出装置。
（付記１４）
特定発話抽出部は、
前記第１の話者の発話区間の開始前に無音区間が存在するときには、当該第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、ことを特徴とする付記１２に記載の発話抽出装置。
（付記１５）
特定発話抽出部は、
前記第１の話者の発話区間の開始前の第４の区間に前記第２の話者の発話区間が存在し、前記第４の区間に存在する前記第２の話者の発話区間の開始前に無音区間があるときには、前記第１の話者の発話区間を前記特定の機器の状態に合致する操作情報に対応する発話区間として抽出しない、ことを特徴とする付記１３または１４に記載の発話抽出装置。
【符号の説明】
【００８４】
１  発話抽出装置、
２  処理部、
３  記録部、
４  記録媒体読取装置、
５  入出力インタフェース（入出力Ｉ／Ｆ）、
６  通信インタフェース（通信Ｉ／Ｆ）、
７  バス、
８  記録媒体、
９  入出力装置、
２１  発話区間抽出部、
２２  操作抽出部、
２３  特定発話抽出部、
２４  補足語句抽出部、
【図１】
0005510310.tif 000002
【図２】
0005510310.tif 000003
【図３】
0005510310.tif 000004
【図４】
0005510310.tif 000005
【図５】
0005510310.tif 000006
【図６】
0005510310.tif 000007
【図７】
0005510310.tif 000008
【図８】
0005510310.tif 000009
【図９】
0005510310.tif 000010
【図１０】
0005510310.tif 000011
【図１１】
0005510310.tif 000012
【図１２】
0005510310.tif 000013
【図１３】
0005510310.tif 000014
【図１４】
0005510310.tif 000015
【図１５】
0005510310.tif 000016