(57)【要約】  分類器を階層的に組み合わせて分類を行う際の、モデルの学習に必要となる教師データを効率良く作成する。学習データ作成装置（１）は、入力データ群に対して複数の分類器を用いて多階層の分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定する学習範囲決定部（１５）と、学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成する教師データ作成部（１６）と、を備える。
2020036191.tif 000002
【特許請求の範囲】
【請求項１】
階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムにおける学習データを作成する学習データ作成装置であって、
入力データ群に対して複数の分類器を用いて多階層の分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定する学習範囲決定部と、
前記学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成する教師データ作成部と、
を備えることを特徴とする学習データ作成装置。
【請求項２】
前記分類結果がユーザにより訂正された場合に、訂正個所及び訂正された分類結果を記録する訂正箇所記録部を備え、
前記学習範囲決定部は、前記訂正がなされた分類結果に対応する入力データを含み、最上位階層の分類器の分類結果が同一である１以上の連続する入力データを学習範囲と決定することを特徴とする、請求項１に記載の学習データ作成装置。
【請求項３】
前記訂正箇所記録部は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも上位の階層の分類器による分類結果も訂正するか、又は該階層よりも下位の分類器による分類結果を前記教師データから除外することを特徴とする、請求項２に記載の学習データ作成装置。
【請求項４】
分類器を用いて入力データ群の分類を行うシステムにおける学習データを作成する学習データ作成装置であって、
入力データ群に対して分類器を用いて分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定する学習範囲決定部と、
前記学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成する教師データ作成部と、
前記分類結果がユーザにより訂正された場合に、訂正個所及び訂正された分類結果を記録する訂正箇所記録部を備え、
前記学習範囲決定部は、前記訂正がなされた分類結果に対応する入力データを含み、前記１以上の連続する入力データを学習範囲と決定することを特徴とする学習データ作成装置。
【請求項５】
入力データ群に対して複数の分類器を用いて多階層の分類を行い、分類結果を生成する多階層分類部と、
前記分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を作成し、表示部に表示させる学習画面作成部と、
を備え、
前記分類結果は、前記表示部に表示された訂正用インターフェースを用いて訂正されることを特徴とする、請求項１から４のいずれか一項に記載の学習データ作成装置。
【請求項６】
前記学習画面作成部は、最上位階層の分類器による分類結果を分類結果ごとに区別して示し、最上位階層の分類器による分類結果を表示する領域内に、それぞれ残りの階層の分類器による分類結果を示す前記学習画面を作成することを特徴とする、請求項５に記載の学習データ作成装置。
【請求項７】
前記学習画面作成部は、分類結果を追加するためのボタン、分類結果を削除するためのボタン、及び訂正後の分類結果を入力する領域を含む前記訂正用インターフェースを作成することを特徴とする、請求項５又は６に記載の学習データ作成装置。
【請求項８】
階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムにおける学習データを作成する学習データ作成方法であって、
入力データ群に対して複数の分類器を用いて多階層の分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定するステップと、
前記学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成するステップと、
を含むことを特徴とする学習データ作成方法。
【請求項９】
コンピュータを、請求項１から7のいずれか一項に記載の学習データ作成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習データを作成するための学習データ作成装置、学習データ作成方法、及びプログラムに関する。
【背景技術】
【０００２】
機械学習の手法は、学習データに正解ラベルを付けて学習する教師あり学習と、学習データにラベルを付けないで学習する教師なし学習と、よい結果には報酬を与えることにより、コンピュータ自らに最適な方法を導き出させるようにする強化学習とに大別できる。教師あり学習として、例えばクラス分類を行うサポートベクトルマシン（ＳＶＭ）が知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】高村大也、「自然言語処理のための機械学習入門」、コロナ社、2010年8月5日、pp.117〜127
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数の分類器を階層的に組み合わせることにより、より高度な分類を行うことも可能である。しかし、その際には、個々の分類に必要な分類器をそれぞれ構築・更新する必要があるため、分類結果の訂正及び学習データの作成に、時間及び手間がかかるという問題があった。【０００５】
かかる事情に鑑みてなされた本発明の目的は、分類器を階層的に組み合わせて分類を行う際の、モデルの学習に必要となる学習データを効率良く作成することが可能な学習データ作成装置、学習データ作成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る学習データ作成装置は、階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムにおける学習データを作成する学習データ作成装置であって、入力データ群に対して複数の分類器を用いて多階層の分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定する学習範囲決定部と、前記学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成する教師データ作成部と、を備えることを特徴とする。【０００７】
また、上記課題を解決するため、本発明に係る学習データ作成方法は、階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムにおける学習データを作成する学習データ作成方法であって、入力データ群に対して複数の分類器を用いて多階層の分類を行った分類結果に基づいて、学習範囲とすべき入力データを決定するステップと、前記学習範囲と決定された入力データに、該入力データの分類結果をラベルとして付した教師データを生成するステップと、を含むことを特徴とする。【０００８】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記学習データ作成装置として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、分類器を階層的に組み合わせて分類を行う際の、モデルの学習に必要となる学習データを効率良く作成することができるようになる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る学習データ作成装置の構成例を示すブロック図である。
【図２】複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。
【図３】本発明の一実施形態に係る学習データ作成装置が生成する分類依存関係テーブルの一例を示す図である。
【図４】本発明の一実施形態に係る学習データ作成装置が生成する分類結果テーブルの一例を示す図である。
【図５】本発明の一実施形態に係る学習データ作成装置が生成する学習画面の一例を示す図である。
【図６】本発明の一実施形態に係る学習データ作成装置が生成する学習画面の第１の訂正例を示す図である。
【図７】本発明の一実施形態に係る学習データ作成装置が生成する学習画面の第２の訂正例を示す図である。
【図８】本発明の一実施形態に係る学習データ作成装置が生成する学習画面の第３の訂正例を示す図である。
【図９】本発明の一実施形態に係る学習データ作成装置が生成する学習画面の第４の訂正例を示す図である。
【図１０】本発明の一実施形態に係る学習データ作成装置が生成する訂正情報の一例を示す図である。
【図１１】本発明の一実施形態に係る学習データ作成装置が生成する分類結果テーブルの訂正例を示す図である。
【図１２】本発明の一実施形態に係る学習データ作成装置が生成する教師データの一例を示す図である。
【図１３】本発明の一実施形態に係る学習データ作成方法の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１２】
まず、階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムについて説明する。図２は、複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。図２に示す例では、顧客と応対担当者（例えば、オペレータ）との電話やチャットによる対話内容を示す文書を入力データ群としている。そして、第１階層（最上位階層）の分類器（以下、「第１分類器」ともいう。）では応対シーンを推定し、第２階層の分類器（以下、「第２分類器」ともいう。）では発話種別を判定し、第３階層の分類器（以下、「第３分類器」ともいう。）では発話要点情報を推定又は抽出する。発話要点情報は、発話種別に対応するとされた発話の一部若しくは全部、又は発話種別に対応するとされた発話の分析に基づく情報とすることができる。なお、吹き出し位置が右側にあるものがオペレータの発話内容を示す文であり、吹き出し位置が左側にあるものが顧客の発話内容を示す文である。発話内容を示す文は任意の位置で区切って発話単位（入力データの単位）とすることができ、図２では各吹き出しは発話単位の入力データを記している。以下、本実施形態では、この３階層の分類器を用いて入力データ群の分類を行うシステムについて説明する。
【００１３】
第１分類器は、コンタクトセンタにおける応対シーンを、応対シーン推定モデルを用いて推定し、図２に示す例では、オープニング、問い合わせ把握、契約確認、対応、及びクロージングの５種類に分類する。オープニングとは、「お待たせいたしました。○○コールセンター、担当の○○です。」といった、対話の開始の確認を行うシーンである。
【００１４】
問い合わせ把握とは、「そちらの自動車保険に入ってまして、その自動車保険について聞きたいのですが」、「ご加入の自動車保険についてお問い合わせですね」、「先日、息子が車の免許を取りまして、息子が運転しても、自動車保険の対象になるように変更をしたいのですが」、「新しく免許を取られた息子さんを自動車保険の対象にしたいという事で、よろしいでしょうか」といった、顧客の問い合わせ内容を把握するシーンである。
【００１５】
契約確認とは、「ご契約の状況を確認いたしますので、契約者さまの氏名をお教え頂けますか」、「契約者は、鈴木一郎です。」、「鈴木一郎様ですね。ご本人確認のため、ご登録の住所、電話番号をお教えください。」「住所は、東京都・・・、電話番号は、０９０−１２３４−５６７８です。」「ありがとうございます。本人確認が取れました。」といった、契約の確認を行うシーンである。
【００１６】
対応とは、「お調べしたところ、現在のご契約では３５歳未満のご家族様では保険の対象外となっております。」、「息子も保険の対象にするのは、どうすれば良いでしょうか？」、「このお電話で変更が可能です。毎月の保険料が４０００円ほど高くなりまして、８３２０円となりますが、よろしいでしょうか？」といった、問い合わせに対する対応を行うシーンである。
【００１７】
クロージングとは、「本日はお電話を頂きまして、ありがとうございました」といった、対話の終了の確認を行うシーンである。
【００１８】
第２分類器は、第１分類器により応対シーンが推定された対話について、さらに発話単位で発話種別を判定する。第２分類器は、複数種類の発話種別を判定するために、複数のモデルを用いてもよい。本実施形態では、応対シーンが問い合わせ把握であると推定された対話について、発話単位で主題発話であるか否かを判定するために主題発話判定モデルを用い、発話単位で用件発話であるか否かを判定するために用件発話判定モデルを用い、発話単位で用件確認発話であるか否かを判定するために用件確認発話判定モデルを用いる。また、応対シーンが契約確認であると推定された対話について、発話単位で契約確認発話であるか否かを判定するために契約確認発話判定モデルを用い、発話単位で契約応答発話であるか否かを判定するために契約応答発話判定モデルを用いる。
【００１９】
主題発話とは、顧客の発話であって、問い合わせの主題を伝えるための発話である。用件発話とは、顧客の発話であって、問い合わせの用件を伝えるための発話である。用件確認発話とは、応対担当者の発話であって、問い合わせの用件に対して確認するための発話（例えば、問い合わせの用件の復唱）である。契約確認発話とは、応対担当者の発話であって、契約内容を確認するための発話である。契約応答発話とは、顧客の発話であって、契約内容に関して応対担当者へ応答するための発話である。
【００２０】
第３分類器は、第１分類器及び第２分類器の分類結果に基づき、発話要点情報を推定又は抽出する。具体的には、第２分類器により主題発話であると判定された発話から、主題推定モデルを用いて主題の発話要点情報を推定する。また、第２分類器により用件発話であると判定された発話から、全文を用件の発話要点情報として抽出し、第２分類器により用件確認発話であると判定された発話から、全文を用件確認の発話要点情報として抽出する。また、第２分類器により契約確認発話であると判定された発話及び契約応答発話であると判定された発話から、契約者名、契約者の住所、及び契約者の電話番号を抽出する。契約者名、契約者の住所、及び契約者の電話番号の抽出は、モデルを用いて行ってもよいし、予め定められたルールに基づいて行ってもよい。
【００２１】
図１に、本発明の一実施形態に係る学習データ作成装置の構成例を示す。図１に示す学習データ作成装置１は、分類依存関係記憶部１１と、多階層分類部１２と、学習画面作成部１３と、訂正箇所記録部１４と、学習範囲決定部１５と、教師データ作成部１６とを備える。学習データ作成装置１は表示部２を備えてもよいし、学習データ作成装置１の外部に表示部２を配置してもよい。
【００２２】
学習データ作成装置１は、階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムにおける、モデル用の学習データを作成する装置である。
【００２３】
分類依存関係記憶部１１は、各分類について、分類器を実施する順序（分類器の組み合わせ）を規定した分類依存関係テーブルをあらかじめ記憶する。分類依存関係テーブルは、各階層で用いられる分類器とその条件値を規定する。
【００２４】
図３は、分類依存関係テーブルの一例を示す図である。例えば、分類項目が主題推定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により主題発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、第３分類器により主題推定を行い、多値分類の結果を出力する。また、分類項目が用件発話判定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により用件発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、無条件でテキスト全体を出力する。
【００２５】
多階層分類部１２は、分類依存関係記憶部１１から分類依存関係テーブルを読み出し、分類依存関係テーブルに従って、入力データ群に対して多階層の分類を行い、分類結果を示す分類結果テーブルを生成して保存する。ここで、分類の方法は、ＳＶＭやディープニューラルネット（ＤＮＮ）などの任意の既知の方法を適用することができる。ＤＮＮでは、Recurrent Neural Network（ＲＮＮ）やLong short-term memory（ＬＳＴＭ）のような時系列データを扱うのに適したモデルを利用することができる。また、あらかじめ定められたルールに基づく方法で分類してもよい。ルールには、文字列や単語の完全一致、前方一致、後方一致、部分一致の他に、正規表現によるマッチングを行うことができる。
【００２６】
図４は、人手による訂正前の、多階層分類部１２により生成された分類結果テーブルの一例を示す図である。各分類において、「対象箇所」は、入力データである文書のうち、どの文に対して分類が実行されたかを識別するための番号である。「対象階層」は、分類の依存関係における階層、すなわち対象箇所に示す文を分類した分類器の階層を示す。「第１階層分類」は第１分類器による分類結果を示し、「第２階層分類」は第２分類器による分類結果を示し、「第３階層分類」は第３分類器による分類結果を示す。
【００２７】
学習画面作成部１３は、多階層分類部１２により生成された分類結果テーブルに基づく分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を作成し、学習画面を表示部２に表示させる。訂正用インターフェースとは、分類結果を訂正するためのオブジェクトであり、分類の階層及び対象箇所に紐付けられる。
【００２８】
具体的には、学習画面作成部１３は、第１階層（最上位階層）の分類器による分類結果を分類結果ごとに区別して示し、第１階層の分類器による分類結果を表示する領域内に、それぞれ残りの階層の分類器による分類結果を示す学習画面を作成する。
【００２９】
また、学習画面作成部１３は、分類結果を追加するためのボタン、分類結果を削除するためのボタン、及び訂正後の分類結果を入力する領域を含む訂正用インターフェースを生成する。なお、分類結果を表示する領域をクリックすることにより、修正可能な態様としてもよく、その場合には、分類結果を表示する領域と、訂正後の分類結果を入力する領域とは同一となる。
【００３０】
図５は、図２と同様に顧客と応対担当者との対話を入力データとして、分類器による分類を行った場合の学習画面の一例を示す図である。学習画面は、第１分類器による分類結果を、分類結果ごとに区別して示す第１表示領域２１〜２５を有する。各第１表示領域は、第２分類器による分類結果がある場合には該分類結果を表示する第２表示領域を有し、第３分類器による分類結果（発話要点情報の抽出結果を含む）がある場合には該分類結果を表示する第３表示領域を有する。第２分類器による分類結果は「true」のものだけを表示し、さらに第２分類器による分類結果の隣に、第３分類器による分類結果を表示する。
【００３１】
図５では、第２分類器として主題発話判定モデルを用いたときの分類結果が「true」の場合には「主題」と表示し、第２分類器として用件発話判定モデルを用いたときの分類結果が「true」の場合には「用件」と表示し、第２分類器として用件確認発話判定モデルを用いたときの分類結果がtrueの場合には「用件確認」と表示する。また、第２分類器として契約確認発話判定モデル又は契約応答発話判定モデルを用いたときの分類結果が「true」の場合には「氏名」、「住所」、「連絡先」と表示する。
【００３２】
具体的には、第１表示領域２１は、第１分類器による分類結果である「オープニング」のみを表示し、第１表示領域２５は、第１分類器による分類結果である「クロージング」のみを表示する。
【００３３】
第１表示領域２２は、第１分類器による分類結果である「問い合わせ把握」を表示する。分類依存関係テーブルに従うと、第１分類器による分類結果が「問い合わせ把握」の場合には第２階層に進み、第２階層では発話種別判定を行い、その結果が「true」の場合に第３階層に進む。そのため、第１表示領域２２は第２分類器による分類結果が「true」であることを示す「主題」、「用件」、及び「用件確認」を第２表示領域２２１に表示する。さらに、主題発話についての分類結果と、用件発話及び用件確認発話の発話要点情報の抽出結果とを第３表示領域２２２に表示する。なお、用件発話及び用件確認発話の発話要点情報の抽出結果は類似する場合が多いため、いずれか一方のみを表示するようにしてもよい。
【００３４】
同様に、第１表示領域２３は、第１分類器による分類結果である「契約確認」を表示し、第２分類器による分類結果が「true」であることを示す「氏名」、「住所」、及び「連絡先」を第２表示領域２３１に表示する。さらに、「氏名」、「住所」、及び「連絡先」について発話要点情報の抽出結果を第３表示領域２３２に表示する。
【００３５】
図２に示した例では、第１分類器による分類結果が「対応」である場合に、第２分類器による分類はなく、応対シーンが「対応」と推定された発話のテキスト全体を抽出している。したがって、第１表示領域２４は第２表示領域を有しなくてもよいが、図５では視認性を考慮して、第１表示領域２２，２３と同様に第２表示領域２４１を設け、「対応」と表示している。そして、「対応」について発話要点情報の抽出結果を第３表示領域２４２に表示する。
【００３６】
また、訂正用インターフェースとして、第１表示領域２１〜２５には発話要点情報を追加するための「要点追加」ボタンが表示され、第１表示領域２２〜２４には×印で示す、発話要点情報を削除するための「×」ボタンが表示される。
【００３７】
第３表示領域２２２に示す、第３階層の主題推定の結果は、複数の候補からの推定の場合は、ユーザがプルダウンから選択することにより訂正して保存することができる。また、第３表示領域２３２，２４２に示す、第３階層の発話要点情報の抽出結果は、ユーザが文章を訂正して保存することができる。不要な発話要点情報は「×」ボタンを押下することにより削除することができる。
【００３８】
訂正箇所記録部１４は、学習画面作成部１３により作成された学習画面が、ユーザにより訂正インターフェースを介して訂正された場合（すなわち、分類結果が訂正された場合）に、訂正個所及び訂正された分類結果を記録した訂正情報を生成する。なお、ユーザは、分類の階層に紐づいたボタンにより、多階層の途中の分類結果に対する訂正を行うことも可能である。訂正には、修正、追加、及び削除がある。訂正箇所記録部１４は、最上位の階層の分類器による分類結果が訂正された場合には、該分類結果（本実施形態では、対話内容に対応する応対シーン）を変更して訂正情報を生成する。教師データには、最上位の階層の分類器の訂正情報のみとしてもよいし、応対の最初から訂正情報までの分類結果としてもよいし、訂正情報を含むすべての分類結果としてもよい。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果が「問い合わせ把握」から「対応」に訂正された場合には、第１分類器の分類結果を「問い合わせ把握」から「対応」に変更する。学習範囲は、少なくとも分類結果を訂正した発話までを含めた各発話とその分類結果の時系列データとすることができ、分類結果を訂正した発話を含む一連の発話全てとその分類結果の時系列データとしてもよい。
【００３９】
また、訂正箇所記録部１４は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも上位の階層の分類器による分類結果も訂正する。上位の階層の分類器による分類結果を訂正する必要が無い場合には、そのままとする。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果は訂正がなく、第２分類器の主題発話判定の分類結果も「true」のままで訂正がなかったとしても、第３分類器の主題推定の分類結果が削除された場合には、第２分類器の分類結果が正しくなかったことを意味するため、第２分類器の分類結果を「true」から「false」に修正する。２値分類の第２階層まで戻ればよく、第１階層には戻る必要はない。
【００４０】
また、訂正箇所記録部１４は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも下位の分類器による分類結果を教師データから除外してもよい。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果が「問い合わせ把握」から「対応」に訂正された場合に、第２分類器の用件発話判定の分類結果が「true」と判定されていた場合には、教師データから「true」を除外する。なお、訂正箇所記録部１４は、上位の階層から訂正の有無を確認し、訂正がなければ下位の階層の訂正の有無を確認する。したがって、仮にユーザにより第３分類器の主題推定の分類結果が訂正された後に、第１分類器の応対シーン推定の分類結果が訂正されたとしても、訂正箇所記録部１４は第１階層の訂正から確認するので、第１分類器の応対シーン推定が「問い合わせ把握」でない場合には、第３分類器の主題推定の訂正は教師データから削除される。
【００４１】
図６は、学習画面の第１の訂正例を示す図である。ユーザは主題表示領域２２３に表示された主題を修正することができる。例えば、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ユーザは主題の一覧から主題を選択することにより、主題を修正することができる。ここでは、ユーザが第１表示領域２２に示す、第３階層の主題の推定結果である「自動車保険」を「レッカー移動」に修正する例を示している。このような訂正がなされると、訂正箇所記録部１４は、第３階層の主題の推定結果を「自動車保険」から「レッカー移動」に変更する。
【００４２】
図７は、学習画面の第２の訂正例を示す図である。ユーザにより「×」ボタンが押下されると、表示部２は第２階層及び第３階層の表示を取り消す。ここでは、ユーザが第１表示領域２２に示す、第２階層の判定結果が「true」の発話種別である「主題」を削除する例を示している。このような訂正がなされると、訂正箇所記録部１４は、第３階層の主題の推定結果を削除するとともに、第２階層の主題発話の判定結果を「true」から「false」に変更する。
【００４３】
図８は、学習画面の第３の訂正例を示す図である。ユーザにより「要点追加」ボタンが押下されると、表示部２は追加可能な発話要点情報に対応する発話種別を選択するためのボタンの一覧をプルダウン表示する。そして、「要点追加」ボタンに重畳してプルダウン表示されたボタンのいずれかが選択されると、選択されたボタンが示す発話種別に対応する発話要点情報の入力欄を表示する。ここでは、ユーザが第１表示領域２２に示す、「要点追加」ボタンを押下し、プルダウン表示される「主題」、「用件」、及び「用件確認」から、「主題」を選択して、「主題」を入力する欄を追加する例を示している。このような訂正がなされると、訂正箇所記録部１４は、第２階層の主題発話の判定結果を「false」から「true」に変更する。
【００４４】
なお、主題の追加時には、ユーザは別途表示された発話データをクリックで選択するなどにより、主題に対応する発話を紐付けることができる。例えば、主題発話判定モデルにより主題発話と判定された発話データを他の発話データと区別するために所定背景色を付すようにした場合に、主題発話判定モデルによる推定が誤っているために、応対担当者が主題発話であると認識する発話データに所定背景色が付されていないことがある。この場合、応対担当者は、主題発話であると認識する発話データをクリックすると、所定背景色が付される。そして、応対担当者の操作に基づいて発話データに所定背景色が付された場合、該発話データに対応付けて発話種別を追加してもよい。
【００４５】
図９は、学習画面の第４の訂正例を示す図である。図８で示したように主題が追加された場合も、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ここでは、ユーザが「主題」を追加した後に、主題表示領域２２３をクリックし、プルダウン表示された主題の一覧から「修理工場」を選択することにより、主題を決定する例を示している。このような訂正がなされると、訂正箇所記録部１４は、第３階層の主題の推定結果として「修理工場」を追加する。
【００４６】
図１０は、訂正箇所記録部１４が生成する訂正情報の一例を示す図である。ここでは、ユーザにより図６から図９に示す訂正が行われた場合の訂正情報を示している。訂正情報の形式は分類依存関係テーブルと同じである。文３に関して、図７に示すようにユーザが「主題」を削除した場合、訂正箇所記録部１４は、文３の第３階層の主題推定の結果を削除する。また、ユーザは文３の発話種別を主題発話ではないと認識しているため、訂正箇所記録部１４は、第２階層の主題発話の判定結果を「false」に変更する。
【００４７】
文４に関して、図８及び図９に示すようにユーザが「主題」を追加した場合、訂正箇所記録部１４は、文４の第３階層の主題推定の結果として「修理工場」を追加する。また、ユーザは文４の発話種別を主題発話であると認識しているため、訂正箇所記録部１４は、第２階層の主題発話の判定結果を「true」に変更する。
【００４８】
文５に関して、図６に示すようにユーザが「主題」を修正した場合、訂正箇所記録部１４は、文５の第３階層の主題推定の結果を「レッカー移動」に変更する。また、ユーザは文５の発話種別を主題発話であると認識しているため、訂正箇所記録部１４は、第２階層の主題発話の判定結果を「true」のままとする。
【００４９】
学習範囲決定部１５は、多階層分類部１２により生成された分類結果テーブルに、訂正箇所記録部１４により生成された訂正情報を反映させる。そして、学習範囲決定部１５は、分類結果に基づいて学習範囲を決定する。学習範囲決定部１５は、ユーザによる訂正が行われていない第１階層も学習範囲に含めてもよい。例えば、学習画面に設けられた確認のためのボタンを押下することで、ユーザによる訂正がない場合でも、学習範囲とすることができる。確認のためのボタンは、応対全体を確認するボタンや、あるいは第１階層の応対シーンごとに確認するボタン、さらには下位の第２階層及び第３階層まで確認するボタンを設けることで、各階層に応じて学習範囲を設定することが可能となる。
【００５０】
例えば、学習範囲決定部１５は、訂正がなされた分類結果に対応する入力データを含み、第１階層（最上位階層）の分類器の分類結果が同一である１以上の連続する入力データを学習範囲と決定する。すなわち、訂正箇所を含み、第１階層の分類器の分類結果が同一の連続する範囲を学習範囲（教師データとする範囲）と決定し、学習範囲内において、訂正された情報だけでなく訂正されていない情報も教師データの対象とする。第１階層で同一の分類結果が連続する範囲であっても、ユーザによる訂正箇所を含まず、上記確認ボタンが用意されていない場合には、該範囲の分類結果についてユーザによる確認が行われた否かを判別することができないため、学習範囲とはしない。一方、ユーザにより訂正がされた場合、第１階層の分類器の分類結果が同一の連続する範囲についてはユーザによる確認が行われたものと考えられるため、教師データの対象とする。
【００５１】
図１１は、図４で示した分類結果テーブルの訂正例を示す図である。説明のために、変更・削除した内容には取り消し線を付している。学習範囲は、訂正があった対象箇所が同一で連続する範囲である。図１１に示すように、文３の第３階層の主題推定結果「自動車保険」が削除された場合、第１階層の分類結果である「問い合わせ把握」が連続する範囲である文２から文５までを学習範囲とする。同様に、文４又は文５の第３階層の分類結果を訂正した場合にも、文２から文５までを学習範囲とする。文２の分類結果についてはユーザによる訂正は行われていないが、第１階層の分類結果が「問い合わせ把握」で共通しているため、文２も学習範囲となる。
【００５２】
一方、図１１に示す例では、文１及び文６については、分類結果についてユーザによる訂正がなされておらず、第１階層の分類結果が「問い合わせ把握」ではないため、文１及び文６は学習範囲としない。つまり、応対シーンが「オープニング」及び「契約確認」については、ユーザは分類結果に訂正を加えていないため、ユーザによる確認が行われたか否か判別することができない。そこで、そのよう場合には学習範囲に含まないこととする。
【００５３】
教師データ作成部１６は、学習範囲決定部１５により決定された学習範囲に対して、多階層の分類結果に訂正情報を対応付けて更新することで、それぞれ分類項目、文、ラベルからなる教師データを作成する。第３階層の分類結果が削除された場合には、正解が不明であるため、教師データ作成部１６は、対応する分類項目を教師データから除外する。
【００５４】
図１２は、教師データの一例を示す図である。教師データに含まれる文は、文のデータそのものではなくてもよく、図１２の対象箇所として示すように文の識別番号であってもよい。また、教師データに含まれるラベルは、図１２では対象階層、第１階層分類、第２階層分類、及び第３階層分類として表示している。この例では、分類項目「主題推定」で対象箇所が「文３」の第３階層の分類結果が削除されているため、教師データから除外される。
【００５５】
次に、学習データ作成装置１における学習データ作成方法について説明する。図１３は、本発明の一実施形態に係る学習データ作成方法の動作例を示すフローチャートである。
【００５６】
学習データ作成装置１は、多階層分類部１２により、入力データ群を分類する（ステップＳ１０１）。なお、上述した実施形態では分類器の階層数が３の場合について説明したが、事例としては３階層以外の場合も考えられる。すなわち、本発明は階層数については制限を設けるものではない。例えば、２階層で分類を行う場合には、第１階層で応対シーンの推定を行い、応対シーン推定の結果が「問い合わせ把握」の場合にのみ、第２階層で用件発話判定を行う。また、４階層で分類を行う場合には、第３階層で主題推定を行った結果を、さらに第４階層で細分類する。例えば、第３階層で「自動車保険」と主題が推定された場合に、第４階層では「新規」「変更」「解約」のいずれかに分類する。
【００５７】
続いて、学習データ作成装置１は、学習画面作成部１３により、学習画面を作成し（ステップＳ１０２）、表示部２に分類結果を表示させる（ステップＳ１０３）。
【００５８】
表示部２に表示した分類結果がユーザにより訂正されると（ステップＳ１０４−Ｙｅｓ）、学習データ作成装置１は、訂正箇所記録部１４により、訂正個所を記録する（ステップＳ１０５）。そして、学習範囲決定部１５により、学習範囲を決定し（ステップＳ１０６）、教師データ作成部１６により、教師データを作成する（ステップＳ１０７）。表示部２に表示した分類結果がユーザにより訂正されなかった場合には（ステップＳ１０４−Ｎｏ）、ステップＳ１０５の処理を行わないで、ステップＳ１０６及びステップＳ１０７の処理を行う。
【００５９】
なお、上述した学習データ作成装置１として機能させるためにコンピュータを用いることもでき、そのようなコンピュータは、学習データ作成装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６０】
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００６１】
上述したように、本発明によれば、Ｎ階層の分類器の分類結果が訂正された場合に、多階層の分類・推定の依存関係をたどることで、Ｎ階層よりも上の階層の分類器による分類結果に対しても自動で訂正を反映させることができる。そのため、すべての階層の教師データを効率的に作成することができる。また、ユーザが訂正した部分だけでなく、訂正しない部分でもユーザによる確認がなされた教師データとすることができため、多くの教師データを用意することができる。したがって、各分類器のための学習データを効率的に作成することが可能となる。
【００６２】
また、本発明によれば、多階層の分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を表示させることにより、ユーザは容易に分類結果の訂正を行うことができ、操作性を向上させることが可能となる。
【００６３】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００６４】
１      学習データ作成装置
２      表示部
１１    分類依存関係記憶部
１２    多階層分類部
１３    学習画面作成部
１４    訂正箇所記録部
１５    学習範囲決定部
１６    教師データ作成部
２１〜２５  第１表示領域
２２１，２３１，２４１  第２表示領域
２２２，２３２，２４２  第３表示領域
２２３  主題表示領域
【図１】
2020036191.tif 000003
【図２】
2020036191.tif 000004
【図３】
2020036191.tif 000005
【図４】
2020036191.tif 000006
【図５】
2020036191.tif 000007
【図６】
2020036191.tif 000008
【図７】
2020036191.tif 000009
【図８】
2020036191.tif 000010
【図９】
2020036191.tif 000011
【図１０】
2020036191.tif 000012
【図１１】
2020036191.tif 000013
【図１２】
2020036191.tif 000014
【図１３】
2020036191.tif 000015
【国際調査報告】
2020036191.tif 000016
2020036191.tif 000017
2020036191.tif 000018
2020036191.tif 000019