(57)【特許請求の範囲】
【請求項１】
既登録の回答パターン及びそれに対する質問パターンをもとに質問への回答を行うサーバであって、
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、
ユーザ端末により入力された質問文を取得する質問文取得部と、
前記取得した質問文と前記記憶部に記憶している前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示部とを備え、
前記混同提示部は、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出する質問回答表示サーバ。
【請求項２】
前記混同提示部は、前記混同する質問回答セットについて、質問回答セットの統合又は該混同する質問回答セットに含まれる質問パターンの編集を提案する請求項１に記載の質問回答表示サーバ。
【請求項３】
前記混同提示部は、管理者が質問回答セットの統合を選択した場合には、管理者に統合する側の回答パターンを選択させて、統合する側の回答パターンに混同する質問回答セットの質問パターンを対応させ、管理者が混同する質問回答セットの編集を選択した場合には、混同する質問回答セットの質問パターンを一又は複数表示して対応する回答セットを選択させる請求項２に記載の質問回答表示サーバ。
【請求項４】
既登録の回答パターン及びそれに対する質問パターンをもとに質問への回答を行う方法であって、
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップにて記憶した前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示ステップとを備え、
前記混同提示ステップは、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出することをコンピュータに実行させるための質問回答表示方法。
【請求項５】
既登録の回答パターン及びそれに対する質問パターンをもとに質問への回答を行うプログラムであって、
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップにて記憶した前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示ステップとを備え、
前記混同提示ステップは、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出することをコンピュータに実行させる質問回答表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、質問回答データベースを用いて、対話形式により、ユーザからの質問に対する回答を行うとともに、質問回答データベースが適切に登録されているか検証する機能を有する、質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムに関する。
【背景技術】
【０００２】
近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術が注目を浴びている。ユーザサポートの場面において、従来は、人手で電話対応を行い、または、メールでユーザからの問合せに対する回答を行っていたが、ＡＩが活用される場面が増えている。例えば、ＡＩの活用場面では、対話システムを用いて、ユーザからの質問に回答するシステムが開発されている。
【０００３】
例えば、特許文献１では、予め複数の質問・回答パターンを知識データベースとして登録し、ユーザからの質問に対して対話システムを用いて応答を行うための構成が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許６４４２８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、予め、複数の質問・回答パターンを用意しておくことが必要であるが、質問・回答パターンを登録する過程において、類似する質問・回答パターンが登録されることがある。これにより、他の回答パターンが選択され、誤回答の原因となりうる。
【０００６】
そこで、本開示では、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示して改善を促し、質問回答表示サーバの精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様における質問回答表示サーバは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得部と、取得した質問文と記憶部に記憶している質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示部とを備える。
【０００８】
本開示の一態様における質問回答表示方法は、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとを備える。
【０００９】
本開示の一態様における質問回答表示プログラムは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１０】
本開示によれば、質問回答表示サーバにおいて、登録された質問回答データベースから類似する質問回答セットを判別し、修正を促すことにより、ユーザの意図した回答を行う回答精度を高めることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本開示における質問回答表示サーバの構成の一例を示す図である。
【図２】本開示の記憶部のデータ構成の一例を示す図である。
【図３】本開示のインタフェースの一例を示す図である。
【図４】本開示のユーザ端末におけるユーザからの質問及び対話サーバからの回答の表示の一例を示す図である。
【図５】本開示の混同行列の一例を示す図である。
【図６】本開示の混同する質問回答セットの統合を促す表示の一例を示す図である。
【図７】本開示の混同する質問回答セットの質問パターンの振り直しを促す表示の一例を示す図である。
【図８】質問回答表示サーバの処理の流れの一例を示すフローチャートである。
【図９】質問回答表示サーバの混同を判別する際の処理の流れの一例を示すフローチャートである。
【図１０】本開示の実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施形態に係る質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムについて図面を参照しながら説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。また、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。
【００１３】
図１は、本開示にかかる質問回答表示システム１の全体構成を示す図である。以下、これを参照して、本開示にかかる質問回答表示システム１の構成について説明する。
【００１４】
＜構成＞
質問回答表示サーバ１００は、記憶部１０１と、質問文取得部１０２と、回答パターン表示部１０３と、混同提示部１０４とを有する。質問回答表示サーバ１００は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ及び管理者端末２０１−１〜２０１−Ｍと接続されている。質問回答表示サーバ１００は、コンピュータにプログラムを実装することにより実現する。なお、質問回答表示サーバ１００を構成する各部は、複数のコンピュータに分散して実現されていても構わない。また、記憶部１０１は対話サーバ外に存在しても構わない。
【００１５】
ユーザ端末２００−１〜２００−Ｎは、質問文の入力を受け付けて質問回答表示サーバ１００に対して発信し、当該質問文に対して質問回答表示サーバ１００が生成した回答パターンを受信して表示する端末である。ユーザ端末２００−１〜２００−Ｎは、例えば、ユーザサポートにおいて、不明な点の問合せを行おうとする一般ユーザが扱う端末が想定される。
【００１６】
管理者端末２０１−１〜２０１−Ｍは、記憶部１０１の質問文とそれに対応する回答パターンを含むデータベースにアクセスして管理する端末である。管理者端末２０１−１〜２０１−Ｍは、例えば、ユーザサポートにおいて、問合せ対応を行うサポート管理者側が扱う端末が想定される。
【００１７】
記憶部１０１は、回答パターン及び質問パターンを含む質問回答データベースを記憶する。質問回答データベースは例えば、ある回答パターンとそれに対応する一又は複数の質問パターンが記憶される。
【００１８】
質問回答表示サーバ１００は、記憶部１０１の質問回答データベースを用いて、ユーザがユーザ端末２００−１〜２００−Ｎを介して入力した質問文に対して、対応する回答パターンを表示し、チャットなどの対話形式でやり取りを進めていくことが可能なインタフェースを提供する。
【００１９】
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２００−Ｍから質問文を取得する。質問文は、自然文の形式で取得することが可能である。自然文の形式で質問を可能とすることにより、ユーザは人に問合せているのと同じような感覚で簡単に問合せを行うことが可能となる。なお、キーワード等を示す単語を取得してもよい。
【００２０】
回答パターン表示部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターンと比較し、質問パターンとの類似度を算出する。ここで、質問パターンとの類似度とは、同じ回答パターンに対応する質問パターンの集合である質問パターン群との類似度や、質問パターンを元にした関数やカテゴリ等との類似度も含まれる。類似度の算出に際しては、例えば、自然言語処理により計算する。具体的には、質問パターンと質問文のキーワードをそれぞれ抽出しておき、キーワードの一致度をキーワード毎の重みなども用いて類似度としてもよい。他にも、質問パターンと質問文をそれぞれベクトル化し、コサイン類似度を用いて類似度を算出してもよい。このように、類似度を用いて質問文がどの質問パターンに類似するか算出することで、記憶部に記憶されている質問パターンと同一でなくとも、回答パターンを選択することが可能となる。
【００２１】
回答パターン表示部１０３は、質問文と質問パターンとの類似度を算出するに際して、ユーザ及び／又は管理者が入力した質問パターンを学習データ（教師データともいう）の候補として機械学習をさせることにより、類似度算出のためのパラメータを更新してもよい。このような機械学習を行うことにより、ユーザの意図にあった回答パターンを提示する精度を向上させることが可能となる。
【００２２】
回答パターン表示部１０３は、類似度に基づいて、質問文との間の類似度の高い質問パターンに対応する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する。
【００２３】
また、回答パターンとともに、確信度を合せて表示してもよい。確信度とは、対話サーバにおいて、質問文が記憶部１０１に記憶された質問パターンと同じことを意味しているという自信の程度を示す尺度であり、回答パターン表示部１０３で算出された類似度を用いてもよい。確信度は、類似度をそのまま用いず、他の方法により質問文と質問パターンとの一致の程度を評価した上で、算出してもよい。他の方法とは、例えば、類似度をコサイン類似度により算出した場合に、確信度をキーワードの一致度で算出するなどの方法を含む。確信度を表示する場合には、数値で表示してもよいし、その程度をアイコン等で表現して表示してもよい。
【００２４】
なお、回答パターン表示部１０３は、確信度を算出した上で、ある一定の閾値を設定し、閾値以上の回答パターンを全て、または上位ｎ件を表示させてもよい。このように、一定の確信度があることを前提として、複数件の回答パターンを表示させることで、ユーザが求める回答パターンを表示することができる可能性を高めることが可能となる。
【００２５】
また、回答パターン表示部１０３は、確信度の上位１つのみを回答パターンとして表示してもよい。さらに、回答パターン表示部１０３は、設定した閾値以上の回答パターンがない場合には、回答パターンの表示を行わない又は「質問を変更してください」など、別の質問を促すような表示を行うことも可能である。これにより、ユーザは、意図した質問に対する回答とは異なる回答パターンが表示されることを避け、不要な混乱を招かずに済むことが可能となる。
【００２６】
混同提示部１０４は、記憶部１０１に記憶される回答パターンとそれに対応する質問パターンの質問回答セットについて、質問回答セット同士の混同度合いを算出して、管理者端末２０１−１〜２０１−Ｍを通して管理者に提示する。また、管理者に対して、混同する質問回答セットについて、質問回答セットの統合や質問パターンの編集を促してもよい。
【００２７】
質問回答セットの統合とは、回答パターンＡ１に対して、質問パターンＡ１１〜Ａ１Ｎがある質問回答セットと、回答パターンＡ２に対して、質問パターンＡ２１〜Ａ２Ｍがあるときに、回答パターンとして、Ａ１又はＡ２のどちらかを選択し、選択された回答パターンに対して、質問パターンＡ１１〜Ａ１Ｎ及びＡ２１〜Ａ２Ｍを結びつけることをいう。
【００２８】
質問回答セットの統合は、上記のように、いずれかの回答パターンに対して、質問パターンを統合することをいうが、統合に際して、統合先の回答パターンを編集してもよい。
【００２９】
また、質問回答セットの統合は、質問回答セット２つの統合に限らず、３つ以上の質問回答セットを統合してもよい。
【００３０】
質問パターンの編集とは、混同する質問回答セットに属する質問パターンについて、その質問パターンを編集することをいう。また、編集とは、質問パターンに対応させる回答パターンを変更することや、質問パターンの内容自体を編集することを含んでもよい。
【００３１】
混同提示部１０４は、質問回答セット同士の混同度合いを算出して提示し、及び／又は、質問回答セットの編集や統合を促す。質問回答セットの混同度合いは、例えば、次のように算出する。混同提示部１０４は、管理者が回答パターンに紐づけて登録した質問パターンのうち、その一部を混同度合い算出のためのテストセットとして用いる。すなわち、テストセットとして選ばれた質問パターンは、類似度算出、又は類似度算出のために用いる学習モデルを構築するための質問パターンには含めない。
【００３２】
質問パターンの一部とは、例えば質問パターンの１０％や２０％など一定割合としてもよいし、５や１０など一定数としてもよい。また、その数や割合をランダムに定めてもよい。そして、各回答パターンに対して、一定割合の質問パターンをテストセットとして用意し、テストセットを質問回答表示サーバ１００に入力することで、どの回答パターンが表示されるかテストを行う。
【００３３】
例えば、回答パターンＡ１に紐づけられた質問パターンのテストパターンＱ１１，Ｑ１２，Ｑ１３、回答パターンＡ２に紐づけられた質問パターンのテストパターンＱ２１，Ｑ２２，Ｑ２３、回答パターンＡ３に紐づけられた質問パターンのテストパターンＱ３１，Ｑ３２，Ｑ３３が存在するときに、Ｑ１１からＱ３３のテストパターンを質問文として質問回答表示サーバ１００に入力され、回答パターン表示部１０３がいずれの回答パターンを出力するか検査する。
【００３４】
正しく回答パターンが出力されるとすれば、上記のテストパターンが入力された場合、回答パターン表示部１０３は、Ｑ１１〜Ｑ１３についてはＡ１、Ｑ１２〜Ｑ１３についてはＡ２、Ｑ３１〜Ｑ３３についてはＡ３を出力する。しかし、回答パターン表示部１０３が、異なる回答パターンが表示されたとしたならば、その回答パターン同士が混同している可能性があることになる。
【００３５】
そして、異なる回答パターンが表示された場合に、その個数やテストパターンに占める割合を用いて、混同する質問回答セットを判断してもよい。また、閾値を設定し、閾値を超えて異なる回答パターンが表示されたものを混同する質問回答セットとして判断してもよい。
【００３６】
混同提示部１０４は、好ましくは、テストセットに対して、回答パターン表示部１０３が出力した回答パターンにより、混同行列を作成するとよい。混同提示部１０４は、テストセットの質問パターンに対してどの回答パターンが出力されたかを混同行列として作成することにより、質問回答表示サーバ１００又は管理者において、混同している質問回答セットを定量的に把握しやすくすることが可能となる。
【００３７】
混同提示部１０４は、作成した混同行列に基づいて、管理者に対して、質問回答セット同士の混同度合いを数量的に提示してもよい。
【００３８】
さらに、混同提示部１０４は、作成した混同行列に基づいて、閾値を設定し、誤りの数や割合が閾値を超える混同度合いを示す質問回答セットを提示してもよい。
【００３９】
混同提示部１０４は、管理者に対して、閾値を超える混同度合いを示す質問回答セット同士を提示し、及び／又は、混同度合いの大きな上位Ｎ個の質問回答セットを提示してもよい。
【００４０】
さらに、混同提示部１０４は、管理者に対して、上記のように混同を示す質問回答セット同士の統合を促し、及び／又はその質問回答セットの質問パターンの編集、見直しを管理者に対して促しても良い。
【００４１】
このように、混同提示部１０４において、混同の生じやすい質問回答セットを提示し、データベースの修正を促すことで、記憶部１０１の質問回答データベースから不適切な質問パターン及び／又は回答パターンを修正し、当該データベースを適切なものに維持することが可能となる。
【００４２】
＜質問回答データベース及び質問回答表示サーバの基本的動作＞
図２は、記憶部１０１が記憶する質問回答データベースの具体例を示す。質問回答データベースは、回答パターンと質問パターンとの組み合わせからなり、一つの回答パターンに対して、一又は複数の質問パターンが用意されている。
【００４３】
ユーザから質問回答表示サーバに対して問合せが行われる場合には、ユーザはユーザ端末２００−１〜２００−Ｎを操作して質問文を入力し、質問文取得部１０２は、ユーザから入力された質問文を取得する。
【００４４】
図３は、質問文取得部がユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２０１−Ｍに対して質問文を取得する際のユーザインタフェース１１１の一例を示す。質問文取得部では、キーボードやタッチパネルなどから入力することにより、質問文を取得する。また、音声認識エンジンを介して音声により入力する構成とすることも可能である。
【００４５】
回答パターン表示部１０３は、質問文と記憶部１０１に記憶された質問パターンとの類似度を算出する。ここで、質問パターンとの類似度とは、同じ回答パターンに対応する質問パターンの集合である質問パターン群との類似度や、質問パターンを元にした関数やカテゴリ等との類似度も含まれる。
【００４６】
例えば、記憶部１０１には、回答パターンがＡ１からＡＮまでＮパターン登録されているとする。そして、質問パターンは、各回答パターンに対して、Ｑ１１からＱ１Ｍ１、Ｑ２１からＱ２Ｍ２、…ＱＮ１からＱＮＭＮまでの質問パターンが登録されている。このとき、質問パターンＱ１１からＱ１Ｍ１を質問パターン群Ｃ１、質問パターンＱ２１からＱ２Ｍ２を質問パターン群Ｃ２…質問パターンＱＮ１からＱＮＭＮを質問パターン群ＣＮとする。このとき、回答パターン表示部１０３は、質問文と質問パターン（Ｑ１１からＱＮＭＮまで）との類似度を算出してもよい。また、質問文と質問パターン群（Ｃ１からＣＮまで）との類似度を算出してもよい。さらに、質問パターンを基にした関数やカテゴリ等との類似度を算出しても良い。
【００４７】
回答パターン表示部１０３は、質問文と記憶部１０１に記憶された質問パターンとの類似度を算出する。例えば、「住所情報を変更したい」という質問文を取得し、記憶部１０１にＣ１、Ｃ２、Ｃ３という質問パターン群が登録されていたとする。回答パターン表示部１０３は、質問文と各質問パターンとの類似度を算出し、この場合、例えば各質問パターン群との類似度がそれぞれ、0.92、0.70、0.21などのように算出される。
【００４８】
回答パターン表示部１０３は、質問文、質問パターン及び類似度を用いて、確信度を算出する。ここでは、例えば、質問パターン群Ｃ１に対して９８％、Ｃ２に対して７８％、Ｃ３に対して２０％と計算される。また、閾値を６０％としている場合には、Ｃ１及びＣ２の確信度が閾値を超えるため、これに対する回答パターンであるＡ１、Ａ２の回答パターンの表示を確信度の情報とともに、ユーザ端末２００−１〜２００−Ｎに対して表示する。
【００４９】
なお、回答パターンの表示を、上位１つのみとする場合には、上記確信度が閾値を超えたもののうち、最も確信度が高いＡ１の回答パターンのみを表示する。
【００５０】
図４は、回答パターン表示部１０３がユーザ端末２００−１〜２００−Ｎに対して表示させるインタフェースの一例を示す。なお、この例では、右側にユーザが入力した質問文を示し、左側に対話サーバが選択した回答パターンを示す。
【００５１】
以上が、質問回答表示サーバ１００の基本的な動作内容である。
【００５２】
＜混同提示部の具体的動作＞
混同提示部１０４は、記憶部１０１に記憶される回答パターンとそれに対応する質問パターンの質問回答セットについて、質問回答セット同士の混同度合いを算出して、管理者端末２０１−１〜２０１−Ｍを通して管理者に提示する。また、管理者に対して、混同する質問回答セットについて、質問回答セットの統合や質問パターンの編集を促してもよい。具体的には以下のように混同度合いを算出してもよい。
【００５３】
記憶部１０１に記憶される質問回答セットは、一つの回答パターンに対して一又は複数の質問パターンが登録されている。このうちの一部、例えば、質問パターンのうちの１割とか２割程度のものや、５や１０などの数など、一定の割合ないし数をテストセットとして用意する。そして、回答パターン表示部１０３において、質問文に対する類似度を算出する過程においては、テストセットは用いず、テストセットを除く質問パターンを用いる。
【００５４】
例えば、「パスワードを忘れた」、「パスワードを教えて欲しい」、「パスワードをなくした」、「パスワードが違う」、「ログインできない」の質問パターンがあり、これに対応する回答パターンが「こちらからパスワードを再設定してください」であったとする。このとき、「パスワードを忘れた」を質問パターンのテストセットとし、残りの「パスワードを教えて欲しい」、「パスワードをなくした」、「パスワードが違う」、「ログインできない」を回答パターン表示部１０３における類似度算出のための質問パターン群として使用する。
【００５５】
以下、記号を用いて、混同提示部１０４の具体的な動作例を示す。例えば、記憶部１０１には、回答パターンがＡ１からＡＮまでＮパターン登録されているとする。そして、質問パターンは、各回答パターンに対して、Ｑ１１からＱ１Ｍ１、Ｑ２１からＱ２Ｍ２、…ＱＮ１からＱＮＭＮまでの質問パターンが登録されている。この中から、テストセットの質問パターンとして、各質問パターンからランダムにその一部である、Ｑ１１からＱ１Ｋ１、Ｑ２１からＱ２Ｋ２、…ＱＮ１からＱＮＫＮの質問パターンを抽出し、テストセットとする。
【００５６】
混同提示部１０４は、テストセットを質問文として質問回答表示サーバ１００に入力し、選択される回答パターンを取得する。このとき、回答パターン表示部１０３においては、質問回答セットからテストセットが除かれたものが利用され、類似度が算出される。
【００５７】
そして、テストセットの質問パターンを入力として、質問回答表示サーバ１００がいずれの回答パターンを表示するか、その正解、不正解を集計して、一定の閾値を超えて不正解となる質問回答セットを混同するものとして判断する。
【００５８】
図５に、テストセットを質問回答表示サーバ１００に入力した結果得られる混同行列の具体例を示す。ここでは、わかりやすく、テストセットが各回答パターンＡ１からＡＮに対してそれぞれ１０個ずつあることを前提とする。回答パターンＡ１に対するテストセットの質問パターンにおいて、いずれもＡ１との回答が得られた場合、混同行列の１行１列には１０と入力される。回答パターンＡ２に対するテストセットの質問パターンにおいて、８個はＡ２との回答が得られたが、２つはＡ３との回答となった場合、混同行列の２行２列には８、３行２列には２と入力される。回答パターンＡ３に対するテストセットの質問パターンにおいて、６個はＡ３との回答が得られたが、４つはＡ２との回答となった場合、混同行列の２行３列には４、３行３列には６と入力される。このようにして、すべての回答パターンに対して、混同行列にその結果を入力する。
【００５９】
図５の混同行列では、回答パターンのＡ２とＡ３に混同が生じている。すなわち、すべてのテストセットにおいて正しく分類できたとするならば、混同行列は対角線上に値が入力され、そのほかは０となる。これに対し、図５では、対角線以外の２行３列及び３行２列に数字が入っているため、混同提示部１０４では、これらの回答パターンにおいて混同が生じていると判断する。すなわち、対角線以外の値を用いることにより、混同の判断を行う。
【００６０】
混同提示部１０４において、混同が生じていると判断するに際して、例えば、ＡＪとＡＬの回答パターンに混同が生ずるとする場合、Ｊ行Ｌ列とＬ行Ｊ列の値の合計値又は一方の値が閾値を上回る場合や、これらの値がテストセットに対して一定割合以上となった場合を検出してもよい。
【００６１】
混同提示部１０４は、管理者に対して、混同行列を表示し、回答パターンＡＪと回答パターンＡＬが混同していることを表示してもよい。
【００６２】
混同提示部１０４は、管理者に対して、混同していると判断した回答パターンについて、これらを統合することを提案してもよい。
【００６３】
図６に、混同している回答パターンについて、統合することを提案する具体的なインタフェースの一例を示す。統合することに対して、「はい」を選択した場合には、どちらの回答パターンからどちらの回答パターンに統合するか質問をする。例えば、「パスワードの変更」を「パスワードの再設定」に統合する場合、回答パターンとしては、「パスワードの再設定」の回答パターンが選ばれ、この回答パターンに対して、「パスワードの変更」と「パスワードの再設定」の質問パターンが紐づけられることとなる。
【００６４】
混同提示部１０４は、管理者に対して、混同していると判断した質問回答セットについて、質問パターンの編集を促しても良い。
【００６５】
図７に、混同している回答パターンについて、質問パターンの振り直しを提案する具体的なインタフェースの一例を示す。質問パターンを編集、すなわち回答パターンへの対応を振り直すことに対して、「はい」を選択した場合には、混同している回答パターンに紐づけられた質問パターンを提示していき、従来登録されていた回答パターン、混同している先の回答パターンに加え、そのほかの回答パターンも選択できるようにしておき、管理者に対して、質問パターンを振り直させることで質問回答セットを登録しなおしてもよい。
【００６６】
また、混同している回答パターンに紐づけられた質問パターンを全部ないし複数提示し、従来登録された回答パターン、混同している先の回答パターンも表示した上で、ドラッグアンドドロップなどで対応する回答パターンを振り直すようにしてもよい。このとき、その他の回答パターンも選択できるようにしてもよい。
【００６７】
このようにして、混同提示部１０４は、管理者に対して、混同していると判断される質問回答セットを提示するとともに、質問回答セットを修正する場合に、インタフェースを提供する。混同提示部１０４がインタフェースを提供して混同していると判断される質問回答セットの修正を促すことにより、容易に記憶部１０１における質問回答データベースを修正することが可能となる。
【００６８】
＜処理の流れ＞
図８は、本開示における質問回答表示サーバのユーザが使用する際の処理の流れを示す。
【００６９】
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎから質問文を取得する。質問文は、自然文の形式で取得することが可能である（ステップＳ１）。
【００７０】
回答パターン表示部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターンと比較し、質問パターンとの類似度を算出する。類似度の算出に際しては、例えば、自然言語処理により計算することが可能である。
【００７１】
また、回答パターン表示部１０３は、類似度に基づいて、質問文との間の類似度の高い質問パターンに対する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する（ステップＳ２）。
【００７２】
図８は、本開示における質問回答表示サーバの質問回答データベースの質問回答セットの混同を判断する際の処理を示す。
【００７３】
混同提示部１０４は、管理者端末２０１−１〜２０１−Ｍからの操作を受付け、質問回答セットの混同度合いをテストする。このとき、質問回答セットのうち一部の質問セットをテストセットとし、テストセットの質問パターンがどの回答パターンとして出力されるか処理を行い、混同行列を算出する。
【００７４】
混同提示部１０４は、算出された混同行列から、混同を生じている質問回答セットを判別し、管理者に提示し、及び／又は、管理者に質問回答セットの統合を促し、及び／又は、質問パターンの振り直しを提案する（ステップＳ３）。
【００７５】
＜効果＞
本開示により、質問回答表示サーバにおいて、登録された質問回答セットから、類似する質問回答セットを判別することで、混同しやすい質問回答セットを把握することが可能となる。
【００７６】
さらに、混同しやすい質問回答セットが、管理者から見て、実質的に同じ回答パターンであり、統合すべきものである場合には、質問回答表示サーバから統合を促すことにより、容易に質問回答セットの整理をすることが可能となる。
【００７７】
加えて、混同しやすい質問回答セットが、回答パターンとしては分けておくべきであるものの、質問パターンが適切に登録されていないが故に混同を生じている場合には、管理者が質問パターンを再度振り直し、質問回答セットを修正することにより、回答精度を高めることが可能となる。併せて、質問回答セットの修正においても、管理者が修正しやすいインタフェースを用意することにより、容易に実現が可能となる。
【００７８】
＜プログラム＞
図１０は、コンピュータ８０１の構成を示す概略ブロック図である。コンピュータ８０１は、ＣＰＵ８０２、主記憶装置８０３、補助記憶装置８０４、インタフェース８０５を備える。
【００７９】
ここで、質問回答表示サーバ１００を構成する各機能を実現するためのプログラムの詳細について説明する。
【００８０】
質問回答表示サーバ１００は、コンピュータ８０１に実装される。そして、評価装置１の各構成要素の動作は、プログラムの形式で補助記憶装置８０４に記憶されている。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読み出して主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置８０３に確保する。
【００８１】
当該プログラムは、具体的には、コンピュータ８０１において、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとをコンピュータに実行させるためのプログラムである。
【００８２】
なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース８０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、上記処理を実行してもよい。
【００８３】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８４】
以上、本開示の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれるものとする。
【符号の説明】
【００８５】
１…質問回答表示システム、１００…質問回答表示サーバ、１０１…記憶部、１０２…質問文取得部、１０３…回答パターン表示部、１０４…混同表示部、１１１…ユーザ又は管理者に提示するインタフェース、１１２…混同行列、２００−１〜２００−Ｎ…ユーザ端末、２０１−１〜２０１−Ｍ…管理者端末、８０１…コンピュータ、８０２…ＣＰＵ、８０３…主記憶装置、８０４…補助記憶装置、８０５…インタフェース、ＮＷ…ネットワーク
【要約】      （修正有）【課題】回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示して改善を促し、精度を向上させる、質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムを提供する。【解決手段】質問回答表示システム１において、質問回答表示サーバ１００は、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部１０１と、ユーザ端末により入力された質問文を取得する質問文取得部１０２と、取得した質問文と記憶部に記憶している質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部１０３と、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示部１０４と、を備える。【選択図】図１【図１】
0006819976.tif 000002
【図２】
0006819976.tif 000003
【図３】
0006819976.tif 000004
【図４】
0006819976.tif 000005
【図５】
0006819976.tif 000006
【図６】
0006819976.tif 000007
【図７】
0006819976.tif 000008
【図８】
0006819976.tif 000009
【図９】
0006819976.tif 000010
【図１０】
0006819976.tif 000011