(57)【要約】  現在使用しているモデルが正解の存在しないデータにどれくらい適合しているかを早く正確に確認可能とする。分類器評価装置（１）は、分類対象となる入力データの件数を取得するデータ件数取得部（１８）と、分類器について、分類結果の訂正情報から、分類器の訂正の回数を集計する訂正回数集計部（１７）と、分類器ごとの訂正の回数及び入力データの件数に基づいて分類器の訂正率を計算する訂正率計算部（１９）と、を備える。
2020036192.tif 000002
【特許請求の範囲】
【請求項１】
入力データの分類を行う分類器を評価する分類器評価装置であって、
分類対象となる入力データの件数を取得するデータ件数取得部と、
前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計する訂正回数集計部と、
前記分類器ごとの前記訂正の回数及び前記入力データの件数に基づいて前記分類器の訂正率を計算する訂正率計算部と、
を備えることを特徴とする分類器評価装置。
【請求項２】
前記訂正回数集計部は、前記分類器の更新日以降の訂正の回数を集計することを特徴とする、請求項１に記載の分類器評価装置。
【請求項３】
前記訂正回数集計部は、前記分類器が更新される都度、前記訂正情報を削除することを特徴とする、請求項１に記載の分類器評価装置。
【請求項４】
前記訂正回数集計部は、前記訂正の回数を、修正及び削除の回数、又は追加の回数とすることを特徴とする、請求項１から３のいずれか一項に記載の分類器評価装置。
【請求項５】
前記訂正率があらかじめ設定された閾値を超えた場合に通知するモデル評価部
をさらに備えることを特徴とする、請求項１から４のいずれか一項に記載の分類器評価装置。
【請求項６】
前記分類器はモデルに基づくものであり、
前記モデル評価部の通知により前記モデルを置換するモデル置換部を更に備え、
前記モデル置換部は、前記モデルを、前記訂正情報を用いて学習したモデルに置換することを特徴とする、請求項５に記載の分類器評価装置。
【請求項７】
前記分類結果が訂正用インターフェースを介して訂正された場合に、前記訂正情報を生成する訂正箇所記録部を備えることを特徴とする、請求項１から６のいずれか一項に記載の分類器評価装置。
【請求項８】
前記訂正用インターフェースは、分類結果を追加するためのボタン、分類結果を削除するためのボタン、及び訂正後の分類結果を入力する領域を含むことを特徴とする、請求項７に記載の分類器評価装置。
【請求項９】
入力データの分類を行う分類器を評価する分類器評価方法であって、
分類対象となる入力データの件数を取得するステップと、
前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計するステップと、
前記分類器ごとの前記訂正の回数及び前記入力データの件数に基づいて前記分類器の訂正率を計算するステップと、
を含むことを特徴とする分類器評価方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか一項に記載の分類器評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分類器評価装置、分類器評価方法、及びプログラムに関する。
【背景技術】
【０００２】
機械学習の手法は、学習データに正解ラベルを付けて学習する教師あり学習と、学習データにラベルを付けないで学習する教師なし学習と、よい結果には報酬を与えることにより、コンピュータ自らに最適な方法を導き出させるようにする強化学習とに大別できる。教師あり学習として、例えばクラス分類を行うサポートベクトルマシン（ＳＶＭ）が知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】高村大也、「自然言語処理のための機械学習入門」、コロナ社、2010年8月5日、pp.117〜127
【発明の概要】
【発明が解決しようとする課題】
【０００４】
評価用のデータによる精度（適合率及び再現率）を計算する技術は提案されているが、現在使用している分類器（モデル）が正解の存在しないデータにどれくらい適合しているかを早く正確に確認することはできなかった。そのため、適切なタイミングでモデルを更新することも困難であった。【０００５】
かかる事情に鑑みてなされた本発明の目的は、現在使用している分類器（モデル）が、正解の存在しないデータにどれくらい適合しているかを、早く正確に確認することが可能な分類器評価装置、分類器評価方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る分類器評価装置は、入力データの分類を行う分類器を評価する分類器評価装置であって、分類対象となる入力データの件数を取得するデータ件数取得部と、前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計する訂正回数集計部と、前記分類器ごとの前記訂正の回数及び前記入力データの件数に基づいて前記分類器の訂正率を計算する訂正率計算部と、を備えることを特徴とする。【０００７】
また、上記課題を解決するため、本発明に係る分類器評価方法は、入力データの分類を行う分類器を評価する分類器評価方法であって、分類対象となる入力データの件数を取得するステップと、前記分類器について、分類結果の訂正情報から、前記分類器の訂正の回数を集計するステップと、前記分類器ごとの前記訂正の回数及び前記入力データの件数に基づいて前記分類器の訂正率を計算するステップと、を含むことを特徴とする。【０００８】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記分類器評価装置として機能させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、現在使用している分類器（モデル）が、正解の存在しないデータにどれくらい適合しているかを、早く正確に確認することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る分類器評価装置の構成例を示すブロック図である。
【図２】複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。
【図３】本発明の一実施形態に係る分類器評価装置が生成する分類依存関係テーブルの一例を示す図である。
【図４】本発明の一実施形態に係る分類器評価装置が生成する分類結果テーブルの一例を示す図である。
【図５】本発明の一実施形態に係る分類器評価装置が生成する学習画面の一例を示す図である。
【図６】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第１の訂正例を示す図である。
【図７】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第２の訂正例を示す図である。
【図８】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第３の訂正例を示す図である。
【図９】本発明の一実施形態に係る分類器評価装置が生成する学習画面の第４の訂正例を示す図である。
【図１０】本発明の一実施形態に係る分類器評価装置が生成する訂正情報の一例を示す図である。
【図１１】本発明の一実施形態に係る分類器評価装置が生成する分類結果テーブルの訂正例を示す図である。
【図１２】本発明の一実施形態に係る分類器評価装置が取得するデータ件数の一例を示す図である。
【図１３】本発明の一実施形態に係る分類器評価装置が計算する訂正率の一例を示す図である。
【図１４】本発明の一実施形態に係る分類器評価装置によるモデルの評価の一例を示す図である。
【図１５】本発明の一実施形態に係る分類器評価方法の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１２】
図１に、本発明の一実施形態に係る分類器評価装置の構成例を示す。図１に示す分類器評価装置１は、モデル置換部１０と、日時記録部１１と、モデル記憶部１２と、データ記憶部１３と、分類部１４と、学習画面作成部１５と、訂正箇所記録部１６と、訂正回数集計部１７と、データ件数取得部１８と、訂正率計算部１９と、モデル評価部２０とを備える。分類器評価装置１は、表示部２を備えてもよいし、分類器評価装置１の外部に表示部２を配置してもよい。
【００１３】
分類器評価装置１は、稼働中の入力データの分類を行う分類器が、正解の存在しない入力データに対してどれぐらい適合しているかを、早く正確に評価する装置である。
【００１４】
モデル置換部１０は、モデル記憶部１２に記憶されている分類器を置換する。本実施形態では、分類器はモデルに基づくものとし、モデル置換部１０は、モデル記憶部１２に記憶されているモデルを、新たな学習済みのモデルに置換する。モデルの学習に用いる教師データには、前回モデルを置換した以降の新しいデータの他に、それ以前に蓄積済みのデータを含めてもよいし、新しく追加されたデータのみを対象としてもよい。なお、モデル置換部１０は、後述するモデル評価部２０の評価結果に基づいて、自動でモデルを置換してもよい。また、モデル置換部１０は、モデル記憶部１２に記憶されているモデルを、後述する訂正箇所記録部１６が生成した訂正情報を用いて学習したモデルに置換してもよい。
【００１５】
日時記録部１１は、モデル置換部１０がモデル記憶部１２に記憶されているモデルを置換した日時を記録する。
【００１６】
分類部１４は、データ記憶部１３に記憶されているデータを入力データ群とし、入力データ群に対して、モデル記憶部１２に記憶されているモデルを用いて分類を行い、分類結果を生成する。
【００１７】
本実施形態では、分類部１４が階層的に組み合わせた複数の分類器を用いて入力データ群の分類を行うシステムについて説明する。図２は、複数階層の分類器を用いて入力データ群の分類を行う一例を示す図である。図２に示す例では、顧客と応対担当者（例えば、オペレータ）との電話やチャットによる対話内容を示す文書を入力データ群としている。入力データ群は、データ記憶部１３に記憶される。
【００１８】
第１階層（最上位階層）の分類器（以下、「第１分類器」ともいう。）では応対シーンを推定し、第２階層の分類器（以下、「第２分類器」ともいう。）では発話種別を判定し、第３階層の分類器（以下、「第３分類器」ともいう。）では発話要点情報を推定又は抽出する。なお、吹き出し位置が右側にあるものがオペレータの発話内容を示す文であり、吹き出し位置が左側にあるものが顧客の発話内容を示す文である。発話内容を示す文は任意の位置で区切って発話単位（入力データの単位）とすることができ、図２では各吹き出しは発話単位の入力データを記している。以下、本実施形態では、この３階層の分類器を用いて入力データ群の分類を行うシステムについて説明する。
【００１９】
第１分類器は、コンタクトセンタにおける応対シーンを推定し、図２に示す例では、オープニング、問い合わせ把握、契約確認、対応、及びクロージングの５種類に分類する。オープニングとは、「お待たせいたしました。○○コールセンター、担当の○○です。」といった、対話の開始の確認を行うシーンである。
【００２０】
問い合わせ把握とは、「そちらの自動車保険に入ってまして、その自動車保険について聞きたいのですが」、「ご加入の自動車保険についてお問い合わせですね」、「先日、息子が車の免許を取りまして、息子が運転しても、自動車保険の対象になるように変更をしたいのですが」、「新しく免許を取られた息子さんを自動車保険の対象にしたいという事で、よろしいでしょうか」といった、顧客の問い合わせ内容を把握するシーンである。
【００２１】
契約確認とは、「ご契約の状況を確認いたしますので、契約者さまの氏名をお教え頂けますか」、「契約者は、鈴木一郎です。」、「鈴木一郎様ですね。ご本人確認のため、ご登録の住所、電話番号をお教えください。」「住所は、東京都・・・、電話番号は、０９０−１２３４−５６７８です。」「ありがとうございます。本人確認が取れました。」といった、契約の確認を行うシーンである。
【００２２】
対応とは、「お調べしたところ、現在のご契約では３５歳未満のご家族様では保険の対象外となっております。」、「息子も保険の対象にするのは、どうすれば良いでしょうか？」、「このお電話で変更が可能です。毎月の保険料が４０００円ほど高くなりまして、８３２０円となりますが、よろしいでしょうか？」といった、問い合わせに対する対応を行うシーンである。
【００２３】
クロージングとは、「本日はお電話を頂きまして、ありがとうございました」といった、対話の終了の確認を行うシーンである。
【００２４】
第２分類器は、第１分類器により応対シーンが推定された対話について、さらに発話単位で発話種別を判定する。第２分類器は、複数種類の発話種別を判定するために、複数のモデルを用いてもよい。本実施形態では、応対シーンが問い合わせ把握であると推定された対話について、発話単位で主題発話であるか否かを判定するために主題発話判定モデルを用い、発話単位で用件発話であるか否かを判定するために用件発話判定モデルを用い、発話単位で用件確認発話であるか否かを判定するために用件確認発話判定モデルを用いる。また、応対シーンが契約確認であると推定された対話について、発話単位で契約確認発話であるか否かを判定するために契約確認発話判定モデルを用い、発話単位で契約応答発話であるか否かを判定するために契約応答発話判定モデルを用いる。
【００２５】
主題発話とは、顧客の発話であって、問い合わせの主題を伝えるための発話である。用件発話とは、顧客の発話であって、問い合わせの用件を伝えるための発話である。用件確認発話とは、応対担当者の発話であって、問い合わせの用件に対して確認するための発話（例えば、問い合わせの用件の復唱）である。契約確認発話とは、応対担当者の発話であって、契約内容を確認するための発話である。契約応答発話とは、顧客の発話であって、契約内容に関して応対担当者へ応答するための発話である。
【００２６】
第３分類器は、第１分類器及び第２分類器の分類結果に基づき、発話要点情報を推定又は抽出する。具体的には、第２分類器により主題発話であると判定された発話から、主題推定モデルを用いて主題の発話要点情報を推定する。また、第２分類器により用件発話であると判定された発話から、全文を用件の発話要点情報として抽出し、第２分類器により用件確認発話であると判定された発話から、全文を用件確認の発話要点情報として抽出する。また、第２分類器により契約確認発話であると判定された発話及び契約応答発話であると判定された発話から、契約者名、契約者の住所、及び契約者の電話番号を抽出する。契約者名、契約者の住所、及び契約者の電話番号の抽出は、モデルを用いて行ってもよいし、予め定められたルールに基づいて行ってもよい。
【００２７】
分類部１４は、分類器を実施する順序（分類器の組み合わせ）を規定した分類依存関係テーブルに従って、入力データ群に対して多階層の分類を行い、分類結果を示す分類結果テーブルを生成する。ここで、分類の方法は、ＳＶＭやディープニューラルネット（ＤＮＮ）などの任意の既知の方法を適用することができる。また、あらかじめ定められたルールに基づく方法で分類してもよい。ルールには、文字列や単語の完全一致、前方一致、後方一致、部分一致の他に、正規表現によるマッチングを行うことができる。
【００２８】
図３は、分類依存関係テーブルの一例を示す図である。例えば、分類項目が主題推定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により主題発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、第３分類器により主題推定を行い、多値分類の結果を出力する。また、分類項目が用件発話判定の場合には、第１階層で第１分類器により応対シーン推定を行い、多値分類の結果が「問い合わせ把握」の場合に、第２階層に進む。第２階層では、第２分類器により用件発話判定を行い、２値分類の結果が「true」の場合に、第３階層に進む。第３階層では、無条件でテキスト全体を出力する。
【００２９】
図４は、人手による訂正前の、分類部１４により生成された分類結果テーブルの一例を示す図である。各分類において、「対象箇所」は、入力データである文書のうち、どの文に対して分類が実行されたかを識別するための番号である。「対象階層」は、分類の依存関係における階層、すなわち対象箇所に示す文を分類した分類器の階層を示す。「第１階層分類」は第１分類器による分類結果を示し、「第２階層分類」は第２分類器による分類結果を示し、「第３階層分類」は第３分類器による分類結果を示す。
【００３０】
学習画面作成部１５は、分類部１４により生成された分類結果テーブルに基づく分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を作成し、学習画面を表示部２に表示させる。訂正用インターフェースとは、分類結果を訂正するためのオブジェクトであり、分類の階層及び対象箇所に紐付けられる。
【００３１】
具体的には、学習画面作成部１５は、第１階層（最上位階層）の分類器による分類結果を分類結果ごとに区別して示し、第１階層の分類器による分類結果を表示する領域内に、残りの階層の分類器による分類結果を示す学習画面を作成する。
【００３２】
また、学習画面作成部１５は、分類結果を追加するためのボタン、分類結果を削除するためのボタン、及び訂正後の分類結果を入力する領域を含む訂正用インターフェースを生成する。なお、分類結果を表示する領域をクリックすることにより、修正可能な態様としてもよく、その場合には、分類結果を表示する領域と、訂正後の分類結果を入力する領域とは同一となる。
【００３３】
図５は、図２と同様に顧客と応対担当者との対話を入力データとして、分類器による分類を行った場合の学習画面の一例を示す図である。学習画面は、第１分類器による分類結果を、分類結果ごとに区別して示す第１表示領域２１〜２５を有する。各第１表示領域は、第２分類器による分類結果がある場合には該分類結果を表示する第２表示領域を有し、第３分類器による分類結果（発話要点情報の抽出結果を含む）がある場合には該分類結果を表示する第３表示領域を有する。第２分類器による分類結果は「true」のものだけを表示し、さらに第２分類器による分類結果の隣に、第３分類器による分類結果を表示する。
【００３４】
図５では、第２分類器として主題発話判定モデルを用いたときの分類結果が「true」の場合には「主題」と表示し、第２分類器として用件発話判定モデルを用いたときの分類結果が「true」の場合には「用件」と表示し、第２分類器として用件確認発話判定モデルを用いたときの分類結果がtrueの場合には「用件確認」と表示する。また、第２分類器として契約確認発話判定モデル又は契約応答発話判定モデルを用いたときの分類結果が「true」の場合には「氏名」、「住所」、「連絡先」と表示する。
【００３５】
具体的には、第１表示領域２１は、第１分類器による分類結果である「オープニング」のみを表示し、第１表示領域２５は、第１分類器による分類結果である「クロージング」のみを表示する。
【００３６】
第１表示領域２２は、第１分類器による分類結果である「問い合わせ把握」を表示する。分類依存関係テーブルに従うと、第１分類器による分類結果が「問い合わせ把握」の場合には第２階層に進み、第２階層では発話種別判定を行い、その結果が「true」の場合に第３階層に進む。そのため、第１表示領域２２は第２分類器による分類結果が「true」であることを示す「主題」、「用件」、及び「用件確認」を第２表示領域２２１に表示する。さらに、主題発話についての分類結果と、用件発話及び用件確認発話の発話要点情報の抽出結果とを第３表示領域２２２に表示する。なお、用件発話及び用件確認発話の発話要点情報の抽出結果は類似する場合が多いため、いずれか一方のみを表示するようにしてもよい。
【００３７】
同様に、第１表示領域２３は、第１分類器による分類結果である「契約確認」を表示し、第２分類器による分類結果が「true」であることを示す「氏名」、「住所」、及び「連絡先」を第２表示領域２３１に表示する。さらに、「氏名」、「住所」、及び「連絡先」について発話要点情報の抽出結果を第３表示領域２３２に表示する。
【００３８】
図２に示した例では、第１分類器による分類結果が「対応」である場合に、第２分類器による分類はなく、応対シーンが「対応」と推定された発話のテキスト全体を抽出している。したがって、第１表示領域２４は第２表示領域を有しなくてもよいが、図５では視認性を考慮して、第１表示領域２２，２３と同様に第２表示領域２４１を設け、「対応」と表示している。そして、「対応」について発話要点情報の抽出結果を第３表示領域２４２に表示する。
【００３９】
また、訂正用インターフェースとして、第１表示領域２１〜２５には発話要点情報を追加するための「要点追加」ボタンが表示され、第１表示領域２２〜２４には×印で示す、発話要点情報を削除するための「×」ボタンが表示される。
【００４０】
第３表示領域２２２に示す、第３階層の主題推定の結果は、複数の候補からの推定の場合は、ユーザがプルダウンから選択することにより訂正して保存することができる。また、第３表示領域２３２，２４２に示す、第３階層の発話要点情報の抽出結果は、ユーザが文章を訂正して保存することができる。不要な発話要点情報は「×」ボタンを押下することにより削除することができる。
【００４１】
訂正箇所記録部１６は、学習画面作成部１５により作成された学習画面が、ユーザにより訂正インターフェースを介して訂正された場合（すなわち、分類結果が訂正された場合）に、訂正個所及び訂正された分類結果を記録した訂正情報を生成する。なお、ユーザは、分類の階層に紐づいたボタンにより、多階層の途中の分類結果に対する訂正を行うことも可能である。訂正には、修正、追加、及び削除がある。
【００４２】
また、訂正箇所記録部１６は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも上位の階層の分類器による分類結果も訂正する。上位の階層の分類器による分類結果を訂正する必要が無い場合には、そのままとする。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果は訂正がなく、第２分類器の主題発話判定の分類結果も「true」のままで訂正がなかったとしても、第３分類器の主題推定の分類結果が削除された場合には、第２分類器の分類結果が正しくなかったことを意味するため、第２分類器の分類結果を「true」から「false」に修正する。２値分類の第２階層まで戻ればよく、第１階層には戻る必要はない。
【００４３】
また、訂正箇所記録部１４は、ある階層の分類器による分類結果が訂正された場合には、該分類結果の訂正に合わせて、該階層よりも下位の分類器による分類結果を教師データから除外してもよい。例えば、本実施形態において、第１分類器の応対シーン推定の分類結果が「問い合わせ把握」から「対応」に訂正された場合に、第２分類器の用件発話判定の分類結果が「true」と判定されていた場合には、教師データから「true」を除外する。なお、訂正箇所記録部１４は、上位の階層から訂正の有無を確認し、訂正がなければ下位の階層の訂正の有無を確認する。したがって、仮にユーザにより第３分類器の主題推定の分類結果が訂正された後に、第１分類器の応対シーン推定の分類結果が訂正されたとしても、訂正箇所記録部１４は第１階層の訂正から確認するので、第１分類器の応対シーン推定が「問い合わせ把握」でない場合には、第３分類器の主題推定の訂正は教師データから削除される。
【００４４】
図６は、学習画面の第１の訂正例を示す図である。ユーザは主題表示領域２２３に表示された主題を修正することができる。例えば、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ユーザは主題の一覧から主題を選択することにより、主題を修正することができる。ここでは、ユーザが第１表示領域２２に示す、第３階層の主題の推定結果である「自動車保険」を「レッカー移動」に修正する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果を「自動車保険」から「レッカー移動」に変更する。
【００４５】
図７は、学習画面の第２の訂正例を示す図である。ユーザにより「×」ボタンが押下されると、表示部２は第２階層及び第３階層の表示を取り消す。ここでは、ユーザが第１表示領域２２に示す、第２階層の判定結果が「true」の発話種別である「主題」を削除する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果を削除するとともに、第２階層の主題発話の判定結果を「true」から「false」に変更する。
【００４６】
図８は、学習画面の第３の訂正例を示す図である。ユーザにより「要点追加」ボタンが押下されると、表示部２は追加可能な発話要点情報に対応する発話種別を選択するためのボタンの一覧をプルダウン表示する。そして、「要点追加」ボタンに重畳してプルダウン表示されたボタンのいずれかが選択されると、選択されたボタンが示す発話種別に対応する発話要点情報の入力欄を表示する。ここでは、ユーザが第１表示領域２２に示す、「要点追加」ボタンを押下し、プルダウン表示される「主題」、「用件」、及び「用件確認」から、「主題」を選択して「主題」を入力する欄を追加する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「false」から「true」に変更する。
【００４７】
なお、主題の追加時には、ユーザは別途表示された発話データをクリックで選択するなどにより、主題に対応する発話を紐付けることができる。例えば、主題発話判定モデルにより主題発話と判定された発話データを他の発話データと区別するために所定背景色を付すようにした場合に、主題発話判定モデルによる推定が誤っているために、応対担当者が主題発話であると認識する発話データに所定背景色が付されていないことがある。この場合、応対担当者は、主題発話であると認識する発話データをクリックすると、所定背景色が付される。そして、応対担当者の操作に基づいて発話データに所定背景色が付された場合、該発話データに対応付けて発話種別を追加してもよい。
【００４８】
図９は、学習画面の第４の訂正例を示す図である。図８で示したように主題が追加された場合も、主題の推定結果を表示する主題表示領域２２３がユーザによりクリックされると、表示部２は選択可能な主題の一覧をプルダウン表示する。ここでは、ユーザが「主題」を追加した後に、主題表示領域２２３をクリックし、プルダウン表示された主題の一覧から「修理工場」を選択することにより、主題を決定する例を示している。このような訂正がなされると、訂正箇所記録部１６は、第３階層の主題の推定結果として「修理工場」を追加する。
【００４９】
図１０は、訂正箇所記録部１６が生成する訂正情報の一例を示す図である。ここでは、ユーザにより図６から図９に示す訂正が行われた場合の訂正情報を示している。訂正情報の形式は分類依存関係テーブルと同じである。文３に関して、図７に示すようにユーザが「主題」を削除した場合、訂正箇所記録部１６は、文３の第３階層の主題推定の結果を削除する。また、ユーザは文３の発話種別を主題発話ではないと認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「false」に変更する。
【００５０】
文４に関して、図８及び図９に示すようにユーザが「主題」を追加した場合、訂正箇所記録部１６は、文４の第３階層の主題推定の結果として「修理工場」を追加する。また、ユーザは文４の発話種別を主題発話であると認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「true」に変更する。
【００５１】
文５に関して、図６に示すようにユーザが「主題」を修正した場合、訂正箇所記録部１６は、文５の第３階層の主題推定の結果を「レッカー移動」に変更する。また、ユーザは文５の発話種別を主題発話であると認識しているため、訂正箇所記録部１６は、第２階層の主題発話の判定結果を「true」のままとする。
【００５２】
訂正回数集計部１７は、分類結果が訂正された場合に、分類結果の訂正情報から、分類項目ごと（すなわち、分類結果を生成したモデルごと）に、訂正の回数を集計し、訂正率計算部１９に出力する。訂正回数集計部１７は、適合率（Precision）相当の訂正率を求める場合には、修正及び削除の回数を訂正の回数として集計し、再現率（Recall）相当の訂正率を求める場合には、追加の回数を訂正の回数として集計する。また、訂正回数集計部１７は、これらを区別しないで、修正、削除、及び追加の回数の合計を訂正の回数として集計してもよい。
【００５３】
図１１に、訂正回数集計部１７による訂正回数集計の一例を示す。ここでは、分類項目「応対シーン推定」、「主題発話判定」、及び「主題推定」のそれぞれについて、対象段階及び訂正回数を示している。訂正回数は、修正、削除、及び追加の回数の合計としている。
【００５４】
データ件数取得部１８は、分類項目ごとに、分類対象となる入力データの件数を取得する。本実施形態では、データの件数は、発話単位での文書数である。なお、データの件数は、その分類を実行した文書数でもよいし、すべての文書数でもよい。例えば、データ件数取得部１８は、モデル置換部１０がモデルを置換した日時を日時記録部１１から取得し、モデル置換部１０によりモデルが置換された時から現在まで（すなわち、モデルの更新日以降）に分類されたデータの件数（すなわち、分類対象となる入力データの件数）を取得する。この場合には、訂正回数集計部１７は、モデルの更新日以降の訂正の回数を集計する。また、訂正回数集計部１７は、前記分類器が更新される都度、訂正情報を削除してもよい。
【００５５】
図１２に、データ件数取得部１８によるデータ件数取得の一例を示す。ここでは、図１１と同じ分類項目「応対シーン推定」、「主題発話判定」、及び「主題推定」のそれぞれについて、モデルの置換日時及び現在までのデータ件数を示している。
【００５６】
訂正率計算部１９は、分類項目ごとに、訂正回数集計部１７により集計された訂正の回数、及びデータ件数取得部１８により取得されたデータの件数から、訂正率を計算し、計算結果をモデル評価部２０に出力する。例えば、訂正率は、訂正の回数をデータの件数で除算した値とする。
【００５７】
図１３に、訂正率計算部１９による訂正率の一例を示す。図１１及び図１２に示した値を用いると、分類項目「応対シーン推定」では、訂正率は２０／２００＝０．１となり、分類項目「主題発話判定」では、訂正率は１５／９０＝０．１７となり、分類項目「主題推定」では、訂正率は８／２４＝０．３３となる。
【００５８】
モデル評価部２０は、訂正率計算部１９により計算された訂正率を出力する。例えば、表示部２に訂正率を表示させる。
【００５９】
また、モデル評価部２０は、訂正率計算部１９により計算された訂正率に基づいてモデルを評価し、評価結果を出力してもよい。例えば、訂正率があらかじめ設定された閾値の条件を満たすか否かを判定することによりモデルを評価し、表示部２に評価結果を表示させる。訂正率が閾値を超える場合には通知をしてもよく、例えば、評価結果がＮＧであることを示すために警告を発するようにしてもよい。閾値は、固定値であってもよいし、前回使用したモデルの訂正率であってもよい。
【００６０】
モデル記憶部１２に記憶されたモデルを手動で置換する場合には、訂正率を表示するだけでよい。一方、モデルを自動で置換する場合には、モデル評価部２０は、訂正率が閾値を超えた場合に、モデル置換部１０にモデルを置換するように命令（通知）する。そして、モデル置換部１０は、モデル評価部２０からの命令に基づいてモデルを置換する。
【００６１】
図１４に、モデル評価部２０による評価の一例を示す。分類項目「応対シーン推定」では、訂正率が閾値以下であるため評価結果を「ＯＫ」とし、分類項目「主題発話判定」では、訂正率が閾値を超えるため評価結果を「ＮＧ」とし、分類項目「主題推定」では、訂正率が閾値を超えるため評価結果を「ＮＧ」とする。
【００６２】
次に、分類器評価装置１における分類器評価方法について説明する。図１５は、本発明の一実施形態に係る分類器評価方法の動作例を示すフローチャートである。
【００６３】
分類器評価装置１は、モデル置換部１０により、モデル記憶部１２に記憶されているモデルを新たなモデルに置換する（ステップＳ１０１）。その際、日時記録部１１により、モデルが置換された日時を記録する（ステップＳ１０２）。
【００６４】
続いて、分類器評価装置１は、分類部１４により、入力データ群を分類する（ステップＳ１０３）。なお、上述した実施形態では複数の分類器を階層的に組み合わせて分類する例について説明したが、１つの分類器により分類してもよい。
【００６５】
続いて、分類器評価装置１は、学習画面作成部１５により、学習画面を作成し（ステップＳ１０４）、表示部２に学習画面を表示させる（ステップＳ１０５）。表示部２に表示した学習画面でユーザにより訂正されると（ステップＳ１０６−Ｙｅｓ）、分類器評価装置１は、訂正箇所記録部１６により、訂正個所を記録する（ステップＳ１０７）。分類器評価装置１は、訂正回数集計部１７によりモデルの更新日以降の訂正回数を集計するとともに、データ件数取得部１８によりモデルの更新日以降のデータ件数を取得し（ステップＳ１０８）、訂正率計算部１９により訂正率を計算する（ステップＳ１０９）。
【００６６】
最後に、分類器評価装置１は、モデル評価部２０により現在使用しているモデルを評価する（ステップＳ１１０）。評価結果がＮＧである場合には（ステップＳ１１１−Ｙｅｓ）、モデル置換部１０により、モデル記憶部１２に記憶されているモデルを置換する（ステップＳ１０１）。なお、ステップＳ１０７からステップＳ１０９の処理は、訂正がされる都度行ってもよいし、所定のタイミングで行ってもよい。ステップＳ１１０の処理は、データ件数（母数）が少ない場合には信頼度が低いため、データ件数が閾値を超えた場合に行うようにするのが望ましい。
【００６７】
なお、上述した分類器評価装置１として機能させるためにコンピュータを用いることもでき、そのようなコンピュータは、分類器評価装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００６８】
また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００６９】
上述したように、本発明によれば、日々蓄積されるデータに対して、分類・推定結果を確認し、誤りを訂正した回数と対象となるデータの件数に基づいて訂正率を算出することで、現在使用しているモデルの精度、すなわち正解の存在しないデータにどれくらい適合しているかを、早く正確に推定することができる。なお、訂正率にバリエーションを持たせることで、再現率相当及び適合率相当の精度を得ることができる。
【００７０】
また、本発明によれば、訂正率に基づいてモデルを早く正確に評価することができるため、適切なタイミングで、自動的にモデルを更新することが可能となる。例えば、訂正率があらかじめ設定された閾値を超えたことを条件として、モデルを更新することができる。
【００７１】
さらに、本発明によれば、分類器による分類結果、及び該分類結果を訂正するための訂正用インターフェースを有する学習画面を表示させることにより、ユーザは容易に分類結果の訂正を行うことができ、操作性を向上させることが可能となる。
【００７２】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００７３】
１      分類器評価装置
２      表示部
１０    モデル置換部
１１    日時記録部
１２    モデル記憶部
１３    データ記憶部
１４    分類部
１５    学習画面作成部
１６    訂正箇所記録部
１７    訂正回数集計部
１８    データ件数取得部
１９    訂正率計算部
２０    モデル評価部
２１〜２５  第１表示領域
２２１，２３１，２４１  第２表示領域
２２２，２３２，２４２  第３表示領域
２２３  主題表示領域
【図１】
2020036192.tif 000003
【図２】
2020036192.tif 000004
【図３】
2020036192.tif 000005
【図４】
2020036192.tif 000006
【図５】
2020036192.tif 000007
【図６】
2020036192.tif 000008
【図７】
2020036192.tif 000009
【図８】
2020036192.tif 000010
【図９】
2020036192.tif 000011
【図１０】
2020036192.tif 000012
【図１１】
2020036192.tif 000013
【図１２】
2020036192.tif 000014
【図１３】
2020036192.tif 000015
【図１４】
2020036192.tif 000016
【図１５】
2020036192.tif 000017
【国際調査報告】
2020036192.tif 000018
2020036192.tif 000019