(57)【要約】【課題】  必要な情報を聞き出して検索する検索処理の適切度をより正確に判定する。【解決手段】  検索履歴データ取得部１０１は判定対象の情報検索の検索履歴データ３０を取得し，音声データ取得部１０３は検索に必要な情報を聞き出した対話の音声データ３２を取得する。検索前入手情報抽出部１０４は，音声データ３２から，キーワード辞書１０６を参照して，情報検索に必要な情報を表すキーワードと一致する語句を抽出して検索前入手キーワード３３とする。検索適切度判定部１１２は，検索前入手キーワード３３および検索履歴データ３０（検索キー，選択された文書，選択された文書の検索結果における順位）を，最良事例データ記憶部２８の最良事例データ３４と比較し，検索前入手キーワード３３および検索キーの適切度をもとに情報検索処理の適切度を判定する。【選択図】  図４
2007193485.tif 000002
【特許請求の範囲】
【請求項１】
情報検索処理の適切度を，前記情報検索処理前に取得された当該情報検索処理に必要な情報を表す検索前入手キーワードの適切度，および当該情報検索処理で使用された検索条件を示す検索キーの適切度にもとづいて判定するために，コンピュータを，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，
判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データをもとに前記判定対象の情報検索処理の検索前入手キーワードの適切度および検索履歴データの適切度を判定する検索適切度判定手段とを備える
処理装置として機能させるための情報検索適切度判定処理プログラム。
【請求項２】
前記検索適切度判定手段は，前記最良事例データ記憶手段から，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データを取得し，前記取得した最良事例データの検索キーをもとに，前記検索履歴データの検索キーの適切度を判定する処理を行う
ことを特徴とする請求項１に記載の情報検索適切度判定処理プログラム。
【請求項３】
前記検索適切度判定手段は，前記最良事例データ記憶手段に，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データが存在しない場合に，選択文書が同一である最良事例データを取得し，前記取得した最良事例データのキーワードをもとに，前記音声データから抽出された検索前入手キーワードの適切度を判定する処理を行う
ことを特徴とする請求項１に記載の情報検索適切度判定処理プログラム。
【請求項４】
オペレータの情報検索スキルを，使用された検索キーの適切度および前記情報検索処理前に取得された当該情報検索処理に必要な情報である検索前入手キーワードの適切度にもとづいて判定するために，コンピュータを，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，
オペレータが行った判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定するオペレータスキル判定手段を備える
処理装置として機能させるためのオペレータスキル判定処理プログラム。
【請求項５】
情報検索処理の適切度を判定するための基準となる情報検索処理の実行例に関する最良事例データを作成するために，コンピュータに，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記検索前入手キーワードおよび前記検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する最良事例作成手段とを備える
処理装置として機能させるための最良事例作成処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，例えばコールセンタにおいて，オペレータによって実行された情報検索処理の適切度を判定する情報検索適切度判定装置，および，前記情報検索処理を行うオペレータの情報検索のスキルを判定するオペレータスキル判定装置，および，前記情報検索処理の適切度判定やオペレータのスキル判定処理の基準となる情報検索処理の最良事例（最良事例データ）を作成する最良事例作成装置，および，前記最良事例を利用したオペレータの情報検索支援装置に関するものである。
【背景技術】
【０００２】
コールセンタの業務を担うオペレータは，顧客対応スキルとして，コミュニケーション能力，問題解決能力などが評価される。
【０００３】
オペレータの顧客対応スキルを推定する方法として，従来は，例えば特許文献１の業務スキル推定装置のように，顧客対応における対応シーケンスごとの時間情報を用いて当該案件の対応時間を推定し，推定した対応時間にもとづいてオペレータの顧客対応スキルを推定する処理手法が知られている。
【０００４】
オペレータの業務において，顧客対応時に，顧客情報を表示するための顧客検索処理，顧客の問い合わせ内容に対して適切に回答するための事例検索処理など，様々な情報検索処理が行われている。したがって，オペレータの顧客対応スキルを評価する際には，情報検索スキルを計測することが特に重要である。
【０００５】
従来では，情報検索に要した時間，入力した検索キーと選択した検索結果の関連性などを用いてオペレータの情報検索スキルを判定している。
【特許文献１】特開２００５−２５８５５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
コールセンタにおいて行われた情報検索処理の適切度をより正確に判定するためには，単に情報検索処理の所要時間の長短や，検索キーと検索結果との関係性などによって判定するだけでは足りない。情報検索の際に，そもそも適切な検索キーが入力されたのか，情報検索処理に必要な情報が検索前に顧客から得られていたのかという点を考慮して情報検索の適切度を判定する必要がある。
【０００７】
しかし，従来では，情報検索のための検索キーそのものの適切度や，情報検索処理に必要な情報が適切に入手できていたかどうかという点から情報検索処理の適切度を判定する処理方法や処理装置がなかった。
【０００８】
そのため，コールセンタのオペレータの情報検索スキルを，精度よく判定することも容易ではなかった。
【０００９】
また，コールセンタにおいて蓄積された情報検索処理の検索履歴情報には，検索キー，検索時間，検索結果などの情報が含まれており，検索処理装置の性能向上やデータベースのデータ整備などのシステム改善に利用されている。しかし，従来では，検索履歴情報が，オペレータのスキル評価，オペレータの情報検索処理の支援などに利用されることはなく，情報の活用が十分ではなかった。
【００１０】
本発明の目的は，情報検索処理前に取得されていた情報（検索前入手キーワード）の適切度および情報検索処理で使用された検索キーの適切度にもとづいて，情報検索処理の適切度を判定する情報検索適切度判定装置を提供することである。
【００１１】
また，本発明の別の目的は，オペレータの情報検索スキルを，オペレータが顧客から聞き出した，情報検索処理に必要な情報を表す情報（検索前入手キーワード）の適切度および情報検索処理で使用した検索キーの適切度にもとづいて判定するオペレータスキル判定装置を提供することである。
【００１２】
また，本発明の別の目的は，前記情報検索適切度判定やオペレータスキル判定の処理において判定基準として用いる情報検索処理の最良の実行例を示す最良事例データを作成する最良事例作成装置を提供することである。
【００１３】
また，本発明の別の目的は，前記最良事例データを利用して，オペレータが顧客から取得した検索前入手キーワードの場合に最良と考えられる検索キーの候補を提示する情報検索支援装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明は，情報検索処理の適切度を，前記情報検索処理前に取得された当該情報検索処理に必要な情報を表す検索前入手キーワードの適切度，および当該情報検索処理で使用された検索条件を示す検索キーの適切度にもとづいて判定するために，コンピュータを，１）情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，２）情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，３）判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，４）前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，５）前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，６）前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データをもとに前記判定対象の情報検索処理の検索前入手キーワードの適切度および検索履歴データの適切度を判定する検索適切度判定手段とを備える処理装置として機能させるための情報検索適切度判定処理プログラムである。
【００１５】
本発明では，情報検索処理の適切度を判定する場合に，例えばコールセンタなどで蓄積されているオペレータと顧客との対話を録音した音声データのうち，情報検索処理を行う上で必要な情報を聞き出している部分の音声データと，オペレータが実行した情報検索処理の検索履歴データとを用いる。
【００１６】
本発明の音声データ取得手段は，判定の対象とされた情報検索処理について必要な情報を含む対話が録音された音声データを取得する。また，検索履歴情報取得手段は，判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，この選択文書の検索結果における順位を含む検索履歴データを取得する。検索前入手情報抽出手段は，情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段をもとに，取得した音声データからキーワード記憶手段のキーワードと一致する語句を抽出して検索前入手キーワードとする。
【００１７】
検索適切度判定手段は，最良事例記憶手段から，検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，抽出した最良事例データをもとに前記判定対象の情報検索処理の検索前入手キーワードの適切度および検索履歴データの適切度を判定する。
【００１８】
例えば，検索適切度判定手段は，前記最良事例データ記憶手段から，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データを取得し，前記取得した最良事例データの検索キーをもとに，前記検索履歴データの検索キーの適切度を判定する処理を行う。
【００１９】
または，前記検索適切度判定手段は，前記最良事例データ記憶手段に，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データが存在しない場合に，選択文書が同一である最良事例データを取得し，前記取得した最良事例データのキーワードをもとに，前記音声データから抽出された検索前入手キーワードの適切度を判定する処理を行う。
【００２０】
これによって，情報検索処理の適切度を，情報検索の検索キーだけでなく，そもそも使用する検索キーを選択するために必要な情報をも考慮して，より良く判定することができる。
さらに，本発明は，オペレータの情報検索スキルを，使用された検索キーの適切度および前記情報検索処理前に取得された当該情報検索処理に必要な情報である検索前入手キーワードの適切度にもとづいて判定するために，コンピュータを，１）情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，２）情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，３）オペレータが行った判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，４）前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，５）前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，６）前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定するオペレータスキル判定手段を備える処理装置として機能させるためのオペレータスキル判定処理プログラムである。
【００２１】
本発明の音声データ取得手段は，オペレータが行った判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する。検索履歴情報取得手段は，判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する。検索前入手情報抽出手段は，音声データからキーワード記憶手段のキーワードと一致する語句を抽出し，抽出した語句を検索前入手キーワードとする。オペレータスキル判定手段は，最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定する。
【００２２】
これによって，オペレータの情報検索スキルを，検索キーの選択能力および検索キーを選択するために必要な情報の取得能力の面から，より良く判定することができる。
【００２３】
また，本発明は，情報検索処理の適切度を判定するための基準となる情報検索処理の実行例に関する最良事例データを作成するために，コンピュータに，１）情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，２）情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，３）前記情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，４）前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，５）前記検索前入手キーワードおよび前記検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する最良事例作成手段とを備える
処理装置として機能させるための最良事例作成処理プログラムである。
【００２４】
本発明の音声データ取得手段は，情報検索処理について必要な情報を含む対話が録音された音声データを取得する。検索履歴情報取得手段は，情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，選択文書の検索結果における順位を含む検索履歴データを取得する。そして，検索前入手情報抽出手段は，音声データからキーワード記憶手段のキーワードと一致する語句を抽出し，抽出した語句を検索前入手キーワードとする。最良事例作成手段は，検索前入手キーワードおよび検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する。
【００２５】
これによって，情報検索処理の適切度の判定処理や，オペレータの情報検索スキルの判定処理において判定基準として用いる最良事例データを自動的に作成・蓄積することができる。
【発明の効果】
【００２６】
本発明によれば，検索キーそのものの適切度とともに，検索キーを入力するために情報検索処理前に入手したキーワードとなる情報の適切度をもとに，情報検索処理の適切度を判定することができる。そのため，情報を聞き出して検索を行うという情報検索の判定を，従来より良い精度で行うことができる。
【００２７】
また，本発明によれば，この情報検索処理の適切度の判定処理をもとに，オペレータの情報検索処理のスキル判定を行うことができるため，従来より良い精度のオペレータ情報検索スキル判定処理を実現することができる。
【００２８】
また，本発明によれば，コールセンタにおいて蓄積された情報検索処理の履歴情報や音声データを利用して情報検索処理の最良の実行例に関する最良事例データを作成することができ，蓄積された最良事例データを判定基準として用いることによって，精度の良い情報検索適切度判定やオペレータスキル判定の処理を実現することができる。
【発明を実施するための最良の形態】
【００２９】
本発明を実施するための最良の形態を，図を用いて説明する。
【００３０】
［最良事例データの作成・蓄積処理］
最良事例データ作成・蓄積処理は，情報検索の適切度やオペレータスキルの判定処理において判定基準となる情報検索の最良事例データを作成・蓄積する処理である。
【００３１】
図１は，最良事例データを作成・蓄積する最良事例作成装置１０の構成例を示す図である。
【００３２】
最良事例作成装置１０は，検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，キーワード作成部１０２，音声データ取得部１０３，検索前入手情報抽出部１０４，最良事例選択部１０５，およびキーワード辞書１０６を備える。
【００３３】
検索履歴データ記憶部２０は，実行された情報検索処理に関する履歴情報であって，情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書（文書ＩＤ），前記選択文書の検索結果における順位を含む検索履歴データ３０を記憶する記憶手段である。
【００３４】
音声データ記憶部２２は，例えば，オペレータと顧客の通話を録音した音声データのような，ある情報検索処理に必要な情報を含む対話が録音された音声データ３２，またはその音声データのうち，情報検索に必要な情報を聞き出している（聞き出し部分）の音声データ３２を記憶する記憶手段である。
【００３５】
最良事例データ記憶部２８は，最良の検索結果が得られた情報検索処理に関する情報であって，情報検索処理前に取得された必要な情報を表すキーワード，情報検索処理で使用された検索キー，検索結果から選択された選択文書の文書ＩＤ（ｘ），および選択された文書ｘの検索結果における最良の順位を含む最良事例データ３４を記憶する記憶手段である。
【００３６】
検索履歴データ取得部１０１は，検索履歴データ記憶部２０から検索履歴データ３０を取得する処理手段である。
【００３７】
キーワード作成部１０２は，検索履歴データ３０の検索キーとして使用された語，語句，フレーズなどを，キーワードとしてキーワード辞書１０６に登録する処理手段である。
【００３８】
音声データ取得部１０３は，音声データ記憶部２２から音声データ３２を取得する処理手段である。
【００３９】
検索前入手情報抽出部１０４は，キーワード辞書１０６に登録されたキーワードを用いた音声認識処理によって，音声データ３２からキーワードに合致する語句やフレーズを抽出し，抽出した語句などを検索前入手情報（以下，検索前入手キーワード）３３とする処理手段である。
【００４０】
最良事例選択部１０５は，検索前入手キーワード３３および検索履歴データ３０の情報をもとに最良事例データ３４を作成し，最良事例データ記憶部２８に蓄積する処理手段である。
【００４１】
図２は，最良事例データ作成・蓄積処理の処理フローを示す図である。
【００４２】
検索履歴データ取得部１０１は，過去の所定の期間の検索履歴データ３０を順に取得し（ステップＳ１００），検索履歴データ３０の検索キーの語句をすべて取得してキーワード辞書１０６に登録する（ステップＳ１０１）。
【００４３】
検索履歴データ取得部１０１は，検索履歴データ記憶部２０から検索履歴データ３０を取得し，音声データ取得部１０３は，音声データ記憶部２２から，取得された検索履歴データ３０に対応する音声データ３２を取得する（ステップＳ１０２）。
【００４４】
検索前入手情報抽出部１０４は，キーワード辞書１０６を用いて，取得した音声データ３２に音声認識処理を行って，キーワード辞書１０６に登録されているキーワードと合致する語句を抽出し，抽出した語句を検索前入手キーワード３３とする（ステップＳ１０３）。例えば，図３（Ａ）に示すように，ステップＳ１０２において取得した検索履歴データ３０は，検索キー＝「異音，左」，選択文書ＩＤ＝ｘ，選択した文書の順位＝７とする場合に，ステップＳ１０３において抽出した検索前入手キーワード３３は，「異音，黒い，左，かすれ」とする。
【００４５】
そして，最良事例選択部１０５は，抽出した検索前入手キーワード３３と，ステップＳ１０２において取得された検索履歴データ３０の検索キーとの和集合の語句の全ての組み合わせを作成し，全ての組み合わせをもとに検索キー候補を作成する（ステップＳ１０４）。具体的には，検索履歴データ３０の検索キー＝「異音，左」と検索前入手キーワード３３の「異音，黒い，左，かすれ」との和集合の語句「異音，黒い，左，かすれ」から，図３（Ｂ）に示すように，「異音」，「黒い」，「左」，「かすれ」，「異音，黒い」，「異音，左」，…，「異音，黒い，左」，…などの検索キー候補を作成する。
【００４６】
最良事例選択部１０５は，作成された各検索キー候補によって，所定の情報データベース（図１に図示しない）などに対して情報検索処理を行い（ステップＳ１０５），検索結果から選択された文書の文書ＩＤ（ｘ）について，その選択された文書ｘの検索結果における順位が最も良い場合の検索キー候補を「ベスト検索キー」とし，その順位を「ベスト順位」とする（ステップＳ１０６）。
【００４７】
そして，検索履歴データ３０に対応する音声データ３２から抽出された検索前入手キーワード３３をキーワードとし，「キーワード，ステップＳ１０６で特定したベスト検索キー，選択された文書ＩＤ（ｘ），選択された文書ｘのベスト順位」などで構成される最良事例データ３４を生成し，最良事例データ記憶部２８に登録する（ステップＳ１０７）。
【００４８】
例えば，生成された最良事例データ３４が，選択した文書ＩＤ＝ｘ，ベスト順位＝２，ベスト検索キー＝「異音，黒い，左」であるとする。最良事例データ記憶部２８に，選択された文書が文書ｘで，ベスト順位が２より良い最良事例データ３４が蓄積されていない場合には，図３（Ｃ）に示すように，“キーワード＝「異音，黒い，左，かすれ」，ベスト検索キー＝「異音，黒い，左」，選択された文書ＩＤ＝ｘ，ベスト順位＝２”の最良事例データ３４に事例ＩＤ＝０９０３を付加して，最良事例データ記憶部２８に登録する。
【００４９】
［検索適切度判定処理］
情報検索の適切度の判定処理（検索適切度判定処理）は，ある情報検索処理について，その検索履歴データ３０，および音声データ３２から抽出された検索前入手キーワード３３の情報を，最良事例データ記憶部２８に蓄積された最良事例データ３４と比較して，その検索処理の適切度を判定する処理である。
【００５０】
図４は，検索適切度判定装置４０の構成例を示す図である。
【００５１】
検索適切度判定装置４０は，検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，音声データ取得部１０３，検索前入手情報抽出部１０４，キーワード辞書１０６，データＩＤ入力受付部１１１，および検索適切度判定部１１２を備える。
【００５２】
データＩＤ入力受付部１１１は，判定対象の情報検索処理に関するデータのデータＩＤを取得する処理手段である。
【００５３】
検索適切度判定部１１２は，最良事例データ記憶部２８から，検索前入手キーワード３３と一致するキーワードを持つ最良事例データ３４を抽出し，抽出した最良事例データ３４をもとに判定対象の情報検索処理の適切度を判定する処理手段である。検索適切度判定部１１２の処理結果は，判定結果３６として出力される。
【００５４】
検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，音声データ取得部１０３，検索前入手情報抽出部１０４，およびキーワード辞書１０６は，最良事例作成装置１０を構成する同一番号が付与された処理手段と同様の処理手段である。
【００５５】
図５は，検索適切度判定処理の処理フローを示す図である。
【００５６】
データＩＤ入力受付部１１１は，判定対象の情報検索処理に関するデータのデータＩＤ３５を入力し，検索履歴データ取得部１０１は，データＩＤ３５に対応する検索履歴データ３０を検索履歴データ記憶部２０から取得し，音声データ取得部１０３は，データＩＤ３５に対応する音声データ３２を音声データ記憶部２２から取得する（ステップＳ１１０）。
【００５７】
検索前入手情報抽出部１０４は，キーワード辞書１０６を用いて，音声データ３２からキーワード辞書１０６に含まれるキーワードと合致する語句（キーワードＫＷ）を抽出し，抽出した語句を検索前入手キーワード３３とする（ステップＳ１１１）。
【００５８】
例えば，図６（Ａ）に示すように，ステップＳ１１０において取得された検索履歴データ３０が「検索キー＝異音，黒い，選択文書ＩＤ＝ｘ，選択文書ｘの順位＝８」であり，ステップＳ１１１において検索前入手キーワード３３として抽出されたキーワードＫＷが「異音，黒い，左，かすれ」であるとする。
【００５９】
検索適切度判定部１１２は，検索履歴データ３０から，検索キー（検索キーＫｅｙ），選択された文書ＩＤ（文書ｘ），選択された文書ｘの検索結果中の順位（順位Ｒａｎｋ）を取得する（ステップＳ１１２）。
【００６０】
検索適切度判定部１１２は，最良事例データ記憶部２８から，キーワードがキーワードＫＷと同じ，かつ，文書ＩＤがｘと同じ最良事例データＡを取得する（ステップＳ１１３）。ここで，最良事例データ記憶部２８に，図６（Ｂ）に示すような最良事例データ３４が蓄積されているとすると，検索適切度判定部１１２は，破線の矩形で囲んだ事例ＩＤ＝０９０３の最良事例データＡを抽出する。
【００６１】
さらに，検索適切度判定部１１２は，最良事例データＡの検索キー（検索キーＫｅｙ＿Ａ）と順位（順位Ｒａｎｋ＿Ａ）とを取得する（ステップＳ１１４）。
【００６２】
そして，検索適切度判定処理を行う（ステップＳ１１５）。
【００６３】
図７に，ステップＳ１１５の検索適切度判定処理の処理フローを示す。
【００６４】
検索適切度判定部１１２は，検索履歴データ３０の順位Ｒａｎｋと最良事例データ３４の順位Ｒａｎｋ＿Ａとを比較する（ステップＳ１２０）。
【００６５】
順位Ｒａｎｋ＿Ａと順位Ｒａｎｋとが同じである場合には，最良事例データ記憶部２８において，文書ＩＤとしてｘを選択しており，かつ，文書ｘの検索順位が順位Ｒａｎｋより良い別の最良事例データＢを検索する（ステップＳ１２１）。
【００６６】
最良事例データＢが存在する場合には（ステップＳ１２１のＹＥＳ），キーワードＫＷと最良事例データＢのキーワード（キーワードＫＷ＿Ｂ）との個数を比較する（ステップＳ１２２）。
【００６７】
キーワードＫＷ＿Ｂの数がキーワードＫＷの数より多く，キーワードＫＷ＿ＢがキーワードＫＷの語句をすべて含む（ＫＷ＿Ｂ⊃ＫＷ）場合には，検索前入手キーワード３３の取得が不十分（“入力情報不足”）と判定する（ステップＳ１２３）。また，キーワードＫＷ＿ＢとキーワードＫＷの内容が異なり，キーワードＫＷ＿ＢとキーワードＫＷで共通しない語句を持つ（ＫＷ＿Ｂ≠ＫＷ）場合には，検索前入手キーワード３３の取得が不適切（“入力情報不適切”）と判定する（ステップＳ１２４）。
【００６８】
また，ステップＳ１２１の処理において条件を満たす最良事例データＢが抽出されなかった場合には（ステップＳ１２１のＮＯ），検索前入手キーワード３３は適切である（“問題なし”）と判定する（ステップＳ１２５）。
【００６９】
また，ステップＳ１２０の処理において，順位Ｒａｎｋ＿Ａが順位Ｒａｎｋより良い場合には，さらに，最良事例データＡの検索キーＫｅｙ＿Ａと検索履歴データ３０の検索キーＫｅｙとを比較する（ステップＳ１２６）。
【００７０】
そして，検索キーＫｅｙの数が検索キーＫｅｙ＿Ａの数より少なく，検索キーＫｅｙの語句が検索キーＫｅｙ＿Ａにすべて含まれてしまう（Ｋｅｙ＿Ａ⊃Ｋｅｙ）場合には，入力した検索キーが不十分（“検索キー不足”）と判定する（ステップＳ１２７）。また，検索キーＫｅｙの数が検索キーＫｅｙ＿Ａの数より多く，検索キーＫｅｙが検索キーＫｅｙ＿Ａの語句をすべて含む（Ｋｅｙ⊃Ｋｅｙ＿Ａ）場合には，入力した検索キーが多すぎる（“検索キー過剰”）と判定する（ステップＳ１２８）。また，検索キーＫｅｙと検索キーＫｅｙ＿Ａの内容が異なり，検索キーＫｅｙと検索キーＫｅｙ＿Ａで共通しない語句を持つ（Ｋｅｙ≠Ｋｅｙ＿Ａ）場合には，入力した検索キーが不適切（“検索キー不適切”）と判定する（ステップＳ１２９）。
【００７１】
また，ステップＳ１２０の処理で，順位Ｒａｎｋが順位Ｒａｎｋ＿Ａより良い場合には，検索前入手キーワード３３および入力された検索キーは適切である（“問題なし”）と判定する（ステップＳ１３０）。
【００７２】
そして，最良事例データＡより，判定対象の情報検索処理に関する情報の方が良い結果であるため，判定対象の検索履歴データ３０の内容および検索前入手キーワード３３（キーワードＫＷ）をもとに作成した新たな最良事例データ３４で最良事例データ記憶部２８を更新する。さらに，キーワード辞書１０６に含まれていない語句がキーワードＫＷあるいは検索キーＫｅｙに含まれる場合には，その語句をキーワード辞書１０６に追加する（ステップＳ１３１）。
【００７３】
［オペレータスキル判定処理］
オペレータスキル判定処理は，前述の検索適切度判定処理と同様に，検索履歴データ３０の検索キーおよび音声データ３２から抽出された検索前入手キーワード３３を用いて，各オペレータの情報検索スキルを判定する処理である。
【００７４】
図８は，オペレータスキル判定装置６０の構成例を示す図である。
【００７５】
オペレータスキル判定装置６０は，検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，音声データ取得部１０３，キーワード辞書１０６，データＩＤ入力受付部１１１，オペレータスキル判定部１２１，およびスキル判定結果集計部１２２を備える。
【００７６】
オペレータスキル判定部１２１は，各オペレータが行った情報検索処理の検索履歴データ３０と音声データ３２とをもとに，オペレータの情報検索スキルの適切度を判定する処理手段である。
【００７７】
オペレータスキル判定処理は，「情報取得スキル」および「検索キー選択スキル」の２つの項目で判定する。情報取得スキルは，情報検索前に対話などを行って情報検索に必要な情報を取得するスキルであり，音声データ３２から抽出される検索前入手キーワード３３の適切度をもとに評価する。検索キー選択スキルは，対話などから得た情報検索に必要な情報から情報検索に使用する検索キーを選択するスキルであり，検索履歴データ３０の検索キーの適切度をもとに評価する。
【００７８】
スキル判定結果集計部１２２は，オペレータスキル判定部１２１が算出した情報取得スキルおよび検索キー選択スキルの２つの判定結果を，オペレータごとに集計する処理手段である。スキル判定結果集計部１２２の処理結果は，スキル判定結果３７として出力される。
【００７９】
検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，音声データ取得部１０３，検索前入手情報抽出部１０４，およびキーワード辞書１０６は，最良事例作成装置１０を構成する同一番号が付与された処理手段と同様の処理手段である。また，データＩＤ入力受付部１１１は，検索適切度判定装置４０を構成する同一番号が付与された処理手段と同様の処理手段である。
【００８０】
図９は，オペレータスキル判定処理の処理フローを示す図である。
【００８１】
データＩＤ入力受付部１１１は，オペレータが実行した判定対象の情報検索処理に関するデータのデータＩＤのリストからデータＩＤ３５を順に取得する（ステップＳ１４０）。ステップＳ１４１以降の処理は，各データＩＤ３５について行う。
【００８２】
検索履歴データ取得部１０１は，データＩＤ３５に対応する検索履歴データ３０を検索履歴データ記憶部２０から取得し，音声データ取得部１０３は，データＩＤ３５に対応する音声データ３２を音声データ記憶部２２から取得する（ステップＳ１４１）。
【００８３】
検索前入手情報抽出部１０４は，キーワード辞書１０６を用いて，音声データ３２から，キーワード辞書１０６に登録されたキーワードと一致する語句（キーワードＫＷ）を検索前入手キーワード３３として抽出する（ステップＳ１４２）。
【００８４】
オペレータスキル判定部１２１は，検索履歴データ３０から，検索キー（検索キーＫｅｙ），選択された文書ＩＤ（文書ｘ），選択された文書ｘの検索結果における順位（順位Ｒａｎｋ）を取得する（ステップＳ１４３）。
【００８５】
オペレータスキル判定部１２１は，最良事例データ記憶部２８から，キーワードがキーワードＫＷと同じ，かつ，文書ＩＤがｘと同じ最良事例データＡを取得する（ステップＳ１４４）。さらに，最良事例データＡの検索キー（検索キーＫｅｙ＿Ａ）と順位（順位Ｒａｎｋ＿Ａ）とを取得する（ステップＳ１４５）。
【００８６】
そして，オペレータスキル判定処理を行う（ステップＳ１４６）。
【００８７】
次に，スキル判定結果集計部１２２は，オペレータごとに，ステップＳ１４６の判定結果を加算し，情報取得スキルおよび検索キー選択スキルのそれぞれの得点の平均値を算出して，そのオペレータのスキル判定結果３７として出力する（ステップＳ１４７）。
【００８８】
図１０に，ステップＳ１４６のオペレータ判定処理の処理フローを示す。
【００８９】
オペレータスキル判定部１２１は，検索履歴データ３０の順位Ｒａｎｋと最良事例データＡの順位Ｒａｎｋ＿Ａとを比較する（ステップＳ１５０）。
【００９０】
順位Ｒａｎｋと順位Ｒａｎｋ＿Ａとが同じである場合には，さらに，最良事例データ記憶部２８において，文書ＩＤとしてｘを選択しており，かつ，文書ｘの検索順位が順位Ｒａｎｋより良い別の最良事例データＢを検索する（ステップＳ１５１）。
【００９１】
最良事例データＢが存在する場合には（ステップＳ１５１のＹＥＳ），情報取得スキルを減点（−１）する（ステップＳ１５２）。最良事例データＢが存在しない場合には（ステップＳ１５１のＮＯ），情報取得スキル＝０，検索キー選択スキル＝０として，減点は行わない（ステップＳ１５３）。
【００９２】
また，ステップＳ１５０の処理において，順位Ｒａｎｋ＿Ａが順位Ｒａｎｋより良い場合には，検索キー選択スキルを減点（−１）する（ステップＳ１５４）。
【００９３】
また，ステップＳ１５０の処理で，順位Ｒａｎｋが順位Ｒａｎｋ＿Ａより良い場合には，情報取得スキル＝０，検索キー選択スキル＝０として，減点は行わない（ステップＳ１５５）。
【００９４】
オペレータスキル判定部１２１は，検索前入手キーワード３３（キーワードＫＷ）や検索履歴データ３０の検索キー（検索キーＫｅｙ）を比較して，情報取得スキルおよび検索キー選択スキルを評価する場合に，比較したキーワードＫＷや検索キーＫｅｙを構成する語句の数や内容の差分を数値化して各スキルを求め，スキル判定結果３７として，より詳細な得点を出力するようにしてもよい。
【００９５】
［最良検索キー候補提示処理］
最良検索キー候補提示処理は，顧客応対時のオペレータの情報検索を支援するために，最良事例データを用いて，最良と考えられる検索キーの候補を抽出し，オペレータに提示する処理である。
【００９６】
上述の検索適切度判定処理やオペレータスキル判定処理において，オペレータが顧客と応対する時に録音される音声データ３２は，いったん音声データ記憶部２２に蓄積される。
【００９７】
最良検索キー候補提示処理では，音声データ３２として仕様されるデータは，オペレータが顧客と対話しているときにリアルタイムに取得される音声データである。このリアルタイムに取得する音声データ３２から検索前入手キーワード３３のキーワードを随時抽出し，オペレータが情報検索を行う際に，最良事例データ３４から最良と考えられる検索キーを抽出して最良検索キー候補としてオペレータに提示する。そして，オペレータが，最良検索キー候補を参照できるようにして，顧客対応時のオペレータの情報検索支援を行う。
【００９８】
図１１は，最良検索キー候補提示装置８０の構成例を示す図である。
【００９９】
最良検索キー候補提示装置８０は，最良事例データ記憶部２８，検索前入手情報抽出部１０４，キーワード辞書１０６，対話音声入力部１３１，最良事例検索部１３２，および最良検索キー候補提示部１３３を備える。
【０１００】
対話音声入力部１３１は，オペレータと顧客との対話音声である音声データ３２を随時取得する処理手段である。
【０１０１】
最良事例検索部１３２は，情報検索処理の開始前に，音声データ３２から抽出された検索前入手キーワード３３を用いて最良事例データ記憶部２８を検索する処理手段である。
【０１０２】
最良検索キー候補提示部１３３は，抽出された最良事例データ３４から，選択対象とする文書について最良の順位の場合の検索キーを選択し，最良検索キー候補３８として提示する処理手段である。
【０１０３】
最良事例データ記憶部２８，検索前入手情報抽出部１０４，およびキーワード辞書１０６は，最良事例作成装置１０を構成する同一番号が付与された処理手段とほぼ同様の処理手段である。
【０１０４】
図１２は，最良検索キー候補提示処理の処理フローを示す図である。
【０１０５】
対話音声入力部１３１は，オペレータと顧客との対話音声を録音した音声データ３２をリアルタイムで取得する（ステップＳ１６０）。音声データ３２は，所定の時間ごとに取得される。
【０１０６】
検索前入手情報抽出部１０４は，キーワード辞書１０６を用いて，音声データ３２から，キーワード辞書１０６に含まれるキーワードと一致する語句（キーワードＫＷ）を検索前入手キーワード３３として随時抽出する（ステップＳ１６１）。
【０１０７】
最良事例検索部１３２は，最良事例データ記憶部２８から，キーワードがキーワードＫＷと同じ最良事例データ３４を取得する（ステップＳ１６２）。さらに，最良事例データ３４のベスト検索キー，選択された文書ＩＤ，ベスト順位を抽出する（ステップＳ１６３）。
【０１０８】
抽出された文書ＩＤ（ｘ）ごとに，文書ｘのベスト順位が最良の場合のベスト検索キーを抽出する（ステップＳ１６４）。文書ｘごとに抽出したベスト検索キーを最良検索キー候補３８として表示する（ステップＳ１６５）。ここで，各文書の最良検索キー候補３８が複数ある場合には，リストとして表示する。
【０１０９】
次に，本発明の具体的な実施例として，本発明をコールセンタに備えられるオペレータスキル判定システム１００として実施する場合の処理を説明する。
【０１１０】
コールセンタでは，顧客から製品の修理受付を行い，オペレータが顧客から障害内容を聞き出し，所定の事例データベースを検索し，検索結果を参照しながらその障害に対する対応方法を顧客に回答するなどして応対する。
【０１１１】
図１３は，オペレータスキル判定システム１００の構成例を示す図である。
【０１１２】
オペレータスキル判定システム１００は，検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，キーワード作成部１０２，音声データ取得部１０３，検索前入手情報抽出部１０４，最良事例選択部１０５，キーワード辞書１０６，データＩＤ入力受付部１１１，オペレータスキル判定部１２１，スキル判定結果集計部１２２，聞き出し部分抽出部１４１を備える。
【０１１３】
聞き出し部分抽出部１４１は，音声データ取得部１０３によって取得された音声データ３２から，事例検索に必要な情報を聞き出している対話部分（聞き出し部分）３９を抽出する処理手段である。
【０１１４】
検索履歴データ記憶部２０，音声データ記憶部２２，最良事例データ記憶部２８，検索履歴データ取得部１０１，キーワード作成部１０２，音声データ取得部１０３，検索前入手情報抽出部１０４，最良事例選択部１０５，キーワード辞書１０６，データＩＤ入力受付部１１１，オペレータスキル判定部１２１，およびスキル判定結果集計部１２２は，図１，図４，図８，または図１１に示す同一番号の処理手段と同様の処理を行うものである。
【０１１５】
オペレータスキル判定システム１００のスキル判定処理では，オペレータのスキル判定として，事例検索を行う前に必要な情報（検索前入手キーワード）を顧客から取得するスキルを「情報取得スキル得点Ｉ」として，検索前入手キーワードをもとに情報検索に使用する選択キーを選択するスキルを「検索キー選択スキル得点Ｓ」として，それぞれ計算する。各スキル得点は，０〜１の範囲の値をとる。
【０１１６】
情報取得スキル得点Ｉは，判定対象の事例検索における検索前入手キーワード３３と最良事例データ３４のキーワードとを比較し，問題がない場合には最大値１を与える。最良事例データ３４のキーワードと検索前入手キーワード３３とに差分がある場合には，最良事例データ３４のキーワードの個数のうち共通しているキーワードの個数の割合を得点として与える。したがって，検索前入手キーワード３３に最良事例データ３４のキーワードと共通する語句が多い程，情報取得スキル得点Ｉの値が最大値１に近くなる。
【０１１７】
また，検索キー選択スキル得点Ｓは，判定対象の事例検索における検索履歴データ３０の検索キーと最良事例データ３４の検索キーとを比較し，問題がない場合には最大値１を与える。最良事例データ３４の検索キーと検索履歴データの検索キーとに差分がある場合には，最良事例データ３４の検索キーの個数のうち共通している検索キーの個数の割合を得点として与える。したがって，検索履歴データ３０の検索キーに最良事例データ３４の検索キーと共通する語句が多い程，検索キー選択スキル得点Ｓの値が最大値１に近くなる。
【０１１８】
次に，オペレータスキル判定システム１００の処理を，より詳細に説明する。
【０１１９】
オペレータスキル判定システム１００の最良事例データ作成・蓄積処理は，過去の検索事例のデータを最良事例データ記憶部２８に蓄積して最良事例データベースを作成する。対象とする過去の検索事例に関するデータのデータＩＤリストを用意する。
【０１２０】
まず，キーワード辞書１０６にキーワードを蓄積する。
【０１２１】
図１４に，キーワード辞書作成処理の処理フローを示す。
【０１２２】
データＩＤ入力受付部１１１は，オペレータＩＤと，データＩＤリストからデータＩＤ３５とを読み込み，データＩＤリストの該当データＩＤに既読フラグをたてる（ステップＳ２０１）。
【０１２３】
検索履歴データ取得部１０１は，データＩＤ３５に対応した検索履歴データ３０を検索履歴データ記憶部２０から取得する（ステップＳ２０２）。
【０１２４】
図１５に，検索履歴データ３０の例を示す。検索履歴データ３０には，情報検索を実行したオペレータを特定する検索実行オペレータＩＤ，情報検索処理が実行された時刻を示す検索時刻，情報検索で使用された検索キー，検索結果から選択された文書を特定する選択対象文書ＩＤ，選択対象文書の選択結果における順位を示す検索結果順位などの情報が記録されている。
【０１２５】
キーワード作成部１０２は，検索履歴データ３０の検索キーの語句を取得し，キーワード辞書１０６に登録する（ステップＳ２０３）。例えば，検索キー「黒」を選択するときに必要な情報「黒」を聞き出す場合に，実際の対話においては，「黒い，黒かった，黒っぽい，真っ黒」などの様々な表現が使用されることが想定できる。そこで，図１６（Ａ）に示すような表現ルールを予め用意しておく。そして，この表現ルールを適用して，図１６（Ｂ）に示す取得した検索履歴データ３０の検索キーの語句（Ａ０１２，黒）のバリエーションの語句を作成する。キーワード辞書１０６には，作成されたバリエーションの語句を読み候補とし，キーワードとして出力する語句との組で構成されるデータが格納される。
【０１２６】
そして，キーワード作成部１０２は，データＩＤリストのデータＩＤ３５がすべて既読であるか否かを調べ（ステップＳ２０４），すべてのデータＩＤ３５が既読でなければ（ステップＳ２０４のＮＯ），ステップＳ２０１〜Ｓ２０３の処理を繰り返す。すべてのデータＩＤ３５が既読であれば（ステップＳ２０４のＹＥＳ），処理を終了する。
【０１２７】
オペレータスキル判定システム１００は，キーワード辞書１０６にキーワードが登録されると，最良事例データの作成・蓄積処理を行う。
【０１２８】
図１７は，最良事例データ作成・蓄積処理の処理フローである。
【０１２９】
データＩＤ入力受付部１１１は，データＩＤリストからデータＩＤ３５を読み込み，既読フラグをたてる（ステップＳ２１０）。
【０１３０】
検索履歴データ取得部１０１は，データＩＤ３５に対応した検索履歴データ３０を検索履歴データ記憶部２０から取得する（ステップＳ２１１）。例えば，図１５に示す検索履歴データ３０を取得する。音声データ取得部１０３は，データＩＤ３５に対応した音声データ３２を音声データ記憶部２２から取得する（ステップＳ２１２）。
【０１３１】
聞き出し部分抽出部１４１は，音声データ３２から聞き出し部分３９を取得し，聞き出し部分３９に対して，キーワード辞書１０６に登録されているキーワードの語句のワードスポッティング処理を行う（ステップＳ２１３）。
【０１３２】
聞き出し部分３９の抽出方法は，あらかじめ情報を聞き出したい部分にインデックスを付与しておき，インデックスをもとに抽出する方法，または，無音区間で切れ目を検出し，切れ目をもとに聞き出し部分３９の範囲を決めて抽出する方法などが考えられる。こｋで，聞きだし部分３９は，例えば，検索履歴データ３０の検索実行時刻前５分間に録音された音声データとする。
【０１３３】
検索前入手情報抽出部１０４は，ワードスポッティング処理の結果から，確信度が所定の閾値以上の語句を検索前入手キーワード３３とする（ステップＳ２１４）。例えば，図１８に示すようなワードスポッティング処理の結果の場合に，閾値＝０．７であれば，「異音」，「黒」，「かすれ」，「左」を検索前入手キーワード３３として選択する。
【０１３４】
最良事例選択部１０５は，ステップＳ２１４で抽出された検索前入手キーワード３３と，ステップＳ２１１で取得された検索履歴データ３０の検索キーとの語句の和集合の語句から，すべての組合せのリストを作成する（ステップＳ２１５）。図１９（Ａ）に示すように，「異音」「黒」「かすれ」「左」の語句の和集合から，図１９（Ｂ）に示すような組み合わせリストを作成する。
【０１３５】
そして，最良事例選択部１０５は，組み合わせリストから順に組合せを取得して（ステップＳ２１６），取得した組合せを検索キー候補として情報検索処理（事例検索処理）を実行する（ステップＳ２１７）。情報検索処理の結果，検索履歴データ３０の選択対象文書ＩＤと同じ文書ｘについての検索結果中の順位が，最良事例データ記憶部２８に蓄積された最良事例データ３４のベスト順位より良いか否かを調べ（ステップＳ２１８），検索キー候補による検索結果が，現在蓄積されている最良事例データ３４に比べて最も良い場合には（ステップＳ２１８のＹＥＳ），今回の情報検索処理で用いた検索キー，選択対象文書ＩＤ（ｘ），選択対象文書ｘの検索結果における順位，対応する検索前入手キーワード３３をキーワードとする最良事例データ候補を作成する（ステップＳ２１９）。
【０１３６】
そして，組合せリストの組合せすべてについて，情報検索処理を実行したか否かを調べ（ステップＳ２２０），すべての組み合わせについて情報検索処理を実行していなければ（ステップＳ２２０のＮＯ），ステップＳ２１６〜Ｓ２１９の処理を繰り返す。一方，すべての組み合わせについて情報検索処理を実行していれば（ステップＳ２２０のＹＥＳ），最良事例データ候補を最良事例データ３４として最良事例データ記憶部２８に登録する（ステップＳ２２１）。例えば，図２０のような内容の最良事例データ記憶部２８である場合に，ステップＳ２１９で作成した最良事例データ候補が，最良事例データ記憶部２８に登録されている，キーワード，ベスト検索キー，選択された文書ＩＤ（ｘ）が同じ最良事例データ３４のベスト順位（８）より良い順位（２）であれば，最良事例データ候補を最良事例データ３４として最良事例データ記憶部２８に登録する。
【０１３７】
さらに，データＩＤリストに登録されたデータＩＤ３５の全てについて既読であるか否かを調べ（ステップＳ２２２），データＩＤ３５の全てが既読でなければ（ステップＳ２２２のＮＯ），ステップＳ２１０〜ステップＳ２２１の処理を繰り返し，全てのデータＩＤ３５が既読であれば（ステップＳ２２２のＹＥＳ），処理を終了する。
【０１３８】
図２１に，オペレータのスキル判定処理の処理フローを示す。
【０１３９】
オペレータのスキル判定処理前に，オペレータＩＤおよびデータＩＤリストから，オペレータＩＤごとに評価対象とする情報検索処理に関するデータのデータＩＤリストが作成されているとする。
【０１４０】
データＩＤ入力受付部１１１は，オペレータごとのデータリストＩＤからデータＩＤ３５を読み込み，データＩＤリストに既読フラグをたてる（ステップＳ２３０）。
【０１４１】
検索履歴データ取得部１０１は，データＩＤ３５に対応した検索履歴データ３０を検索履歴データ記憶部２０から取得する（ステップＳ２３１）。
【０１４２】
さらに，検索履歴データ取得部１０１は，検索履歴データ３０より，検索操作ごとに，検索キー，選択対象文書，順位などの情報を取得する（ステップＳ２３２）。
【０１４３】
ここでは，図２２に示す検索履歴データ３０を取得したとする。図２２の検索履歴データ３０には，検索実行オペレータＩＤ＝ＦＪ１１の検索操作として，１回の顧客対応中に実行された２回の検索操作に関する履歴情報が含まれている。また，１回目の事例検索（検索操作＝０）では得たい結果が得られておらず，２回目に事例検索（検索操作＝１）をやり直して検索結果を得ていることがわかる。この場合には，２つの検索の検索操作ごとに，検索キー，選択対象文書ＩＤ，検索結果順位などの情報が取得される。
【０１４４】
音声データ取得部１０３は，読み込んだデータＩＤ３５に対応する音声データ３２を音声データ記憶部２２から取得する（ステップＳ２３３）。
【０１４５】
聞き出し部分抽出部１４１は，検索履歴データ３０の検索操作ごとに，音声データ３２中の聞き出し部分３９を抽出する（ステップＳ２３４）。ここでは，検索実行時刻の前２分間の区間の音声データを聞き出し部分３９として抽出する。例えば，図２２の検索履歴データ３０から，１回目の検索（検索操作＝０）の検索時刻が０３：０７であるから，これに対応する聞き出し部分３９は，０１：０７〜０３：０７の区間の音声データとなる。また，２回目の検索（検索操作＝１）の検索時刻は０３：４８であるから，これに対応する聞き出し部分３９は，０１：４８〜０３：４８の区間の音声データとなる。
【０１４６】
また，検索履歴データ３０の検索キーを比較すると，２回目の検索が１回目の検索の絞り込み検索であることがわかる。そのため，２回目の検索に対応する聞き出し部分３９を，１回目の検索の聞き出し部分３９の音声データも含めて，０１：０７〜０３：４８の区間の音声データとしてもよい。
【０１４７】
検索前入手情報抽出部１０４は，聞き出し部分３９の音声認識処理（ワードスポッティング処理）を行い，検索前入手キーワード３３を抽出する（ステップＳ２３５）。ここでは，図１８の処理結果から，確信度が閾値＝０．７以上の語句をキーワードとする。１回目の検索に対応する聞き出し部分３９から，「異音」，「黒」，「汚れ」，「ガタガタ」をキーワードとして抽出する。また，２回目の検索に対応する聞き出し部分３９から，「異音」，「黒」，「汚れ」，「ガタガタ」，「左」を検索前入手キーワード３３として抽出する。
【０１４８】
オペレータスキル判定部１２１は，スキル判定処理を行う（ステップＳ２３６）。
【０１４９】
スキル判定結果集計部１２２は，ステップＳ２３６のスキル判定処理において算出された各情報検索における判定結果３６（データＩＤ３５ごとの情報取得スキル得点Ｓおよび検索キー選択スキル得点Ｉ）をそれぞれ集計する（ステップＳ２３７）。
【０１５０】
そして，データＩＤリストのデータＩＤが全て既読であるかどうかを調べ（ステップＳ２３８），データＩＤリストの全てのデータＩＤが既読でなければ（ステップＳ２３８のＮＯ），ステップＳ２３０〜ステップＳ２３７の処理を繰り返す。
【０１５１】
データＩＤリストの全てのデータＩＤが既読であれば（ステップＳ２３８のＹＥＳ），スキル判定結果集計部１２２は，集計し，集計値をデータ数で割った平均値を最終的なスキル値とした結果をまとめてスキル判定結果３７として出力する（ステップＳ２３９）。
【０１５２】
図２３に，ステップＳ２３６のスキル判定処理の処理フローを示す。
【０１５３】
オペレータスキル判定部１２１は，最良事例データ記憶部２８から最良事例データ３４を検索する（ステップＳ２５０）。最良事例データ記憶部２８に蓄積される最良事例データ３４は，過去の事例から作成されるため，膨大なデータ量になっていることが予想される。そこで，最良事例データ記憶部２８から検索範囲を絞って最良事例データ３４を検索する方法をとる。
【０１５４】
検索範囲の絞り方には，以下の方法がある。
・過去の所定の期間を検索範囲として設定し，最良事例データの検索実行日時をもとに検索対象範囲として決定，または，
・最良事例データの利用頻度をカウントしておき，利用頻度の高い最良事例データを対象範囲として決定，または，
・最良事例データ３４を作成する時に，利用した事例のオペレータ名とそのオペレータの所属するグループ名（グループは，担当する製品，サービスなどで分かれている）を登録し，同一オペレータグループの最良事例データを対象範囲として決定する。
ここでは，「同一オペレータグループの最良事例データを対象範囲として決定」し，決定された対象範囲から，選択対象文書ＩＤおよびキーワードが同じ最良事例データ３４を検索する。
【０１５５】
そして，選択対象文書ＩＤが同じ，かつ，キーワードが検索前入手キーワード３３と同じ最良事例データＡが存在する場合には（ステップＳ２５１のＹＥＳ），通常判定処理を行う（ステップＳ２５２）。
【０１５６】
または，選択対象文書ＩＤが同じ，かつ，キーワードが検索前入手キーワード３３と同じ最良事例データＡが存在しなかった場合には（ステップＳ２５１のＮＯ），選択対象文書ＩＤが同じ，かつ，キーワードが検索前入手キーワード３３と近い最良事例データＡを検索する（ステップＳ２５３）。ここで，「キーワードが検索前入手キーワード３３と近い最良事例データＡ」として，キーワード中に含まれる語句のうち検索前入手キーワード３３と共通する語句が最も多い最良事例データＡを選択する。
【０１５７】
そして，選択対象文書ＩＤが同じ，かつキーワードが検索前入手キーワード３３と近い最良事例データＡが存在する場合には（ステップＳ２５３のＹＥＳ），近い事例取得時の判定処理を行う（ステップＳ２５４）。一方，選択された文書ＩＤが同じ，かつキーワードが検索前入手キーワード３３と近い最良事例データＡが存在しなかった場合には（ステップＳ２５３のＮＯ），最良事例なしの判定処理を行う（ステップＳ２５５）。
【０１５８】
図２４に，ステップＳ２５２の通常判定処理の処理フローを示す。
【０１５９】
オペレータスキル判定部１２１は，最良事例データＡのベスト順位Ｒａｎｋ＿Ａと検索履歴データ３０の順位Ｒａｎｋとを比較する（ステップＳ２６０）。
【０１６０】
ベスト順位Ｒａｎｋ＿Ａと順位Ｒａｎｋとが同じであれば，最良事例データ記憶部２８に，選択対象文書ＩＤ（ｘ）を選択しており，かつ選択対象文書ｘの順位Ｒａｎｋより検索結果の順位が良い別の最良事例データＢがあるかどうか調べる（ステップＳ２６１）。
【０１６１】
別の最良事例データＢが存在する場合には（ステップＳ２６１のＹＥＳ），最良事例データＢのキーワードの語句の数ｎ（ＫＷ＿Ｂ）と，検索前入手キーワード３３の語句の数ｎ（ＫＷ）との差分ｄを求め，情報取得スキル得点Ｉの値を，ｄ＜０の場合には，Ｉ＝ｎ（ＫＷ＿Ｂ∩ＫＷ）／ｎ（ＫＷ＿Ｂ）とし，ｄ＞０の場合には，Ｉ＝（ｎ（ＫＷ＿Ｂ∩ＫＷ）−ｄ）／ｎ（ＫＷ＿Ｂ）とする。検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２６２）。
【０１６２】
また，別の最良事例データＢが存在しない場合には（ステップＳ２６１のＮＯ），情報取得スキル得点Ｉの値をＩ＝１，検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２６３）。
【０１６３】
ステップＳ２６０において，ベスト順位Ｒａｎｋ＿Ａが順位Ｒａｎｋより良ければ，最良事例データＡの検索キーの語句の数ｎ（Ｋｅｙ＿Ａ）と，検索履歴データ３０の検索キーの語句の数ｎ（Ｋｅｙ）との差分ｄを求め，検索キー選択スキル得点Ｓの値を，ｄ＜０の場合には，Ｓ＝ｎ（Ｋｅｙ＿Ａ∩Ｋｅｙ）／ｎ（Ｋｅｙ＿Ａ）とし，ｄ＞０の場合には，Ｓ＝（ｎ（Ｋｅｙ＿Ａ∩Ｋｅｙ）−ｄ）／ｎ（Ｋｅｙ＿Ａ）とする。情報取得スキル得点Ｉの値をＩ＝１とする（ステップＳ２６４）。
【０１６４】
また，ステップＳ２６０において，順位Ｒａｎｋがベスト順位Ｒａｎｋ＿Ａより良ければ，情報取得スキル得点Ｉの値をＩ＝１，検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２６５）。
【０１６５】
図２５に，ステップＳ２５４の近い最良事例データ取得時の判定処理の処理フローを示す。
【０１６６】
オペレータスキル判定部１２１は，最良事例データＡのベスト順位Ｒａｎｋ＿Ａと検索履歴データ３０の選択対象文書ｘの順位Ｒａｎｋとを比較する（ステップＳ２７０）。
【０１６７】
ベスト順位Ｒａｎｋ＿Ａと順位Ｒａｎｋとが同じであれば，情報取得スキル得点Ｉの値をＩ＝１，検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２７１）。
【０１６８】
また，ベスト順位Ｒａｎｋ＿Ａが順位Ｒａｎｋより良ければ，最良事例データＡのキーワードの語句の数ｎ（ＫＷ＿Ａ）と，検索前入手キーワード３３の語句の数ｎ（ＫＷ）との差分ｄを求め，情報取得スキル得点Ｉの値を，ｄ＜０の場合には，Ｉ＝ｎ（ＫＷ＿Ａ∩ＫＷ）／ｎ（ＫＷ＿Ａ）とし，ｄ＞０の場合には，Ｉ＝（ｎ（ＫＷ＿Ａ∩ＫＷ）−ｄ）／ｎ（ＫＷ＿Ａ）とする。検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２７２）。
【０１６９】
また，順位Ｒａｎｋがベスト順位Ｒａｎｋ＿Ａより良ければ，情報取得スキル得点Ｉの値をＩ＝１，検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２７３）。
【０１７０】
図２６に，ステップＳ２５５の最良事例なしの判定処理の処理フローを示す。
【０１７１】
オペレータスキル判定部１２１は，検索前入手キーワード３３の語句（キーワードＫＷ）と検索履歴データ３０の検索キーＫｅｙの語句の和集合から，全ての語句の組み合わせを作成する（ステップＳ２８０）。全ての語句の組み合わせを検索キーとして情報検索処理を実行し，最良事例データＡを作成する（ステップＳ２８１）。最良事例データの作成処理は，図１７に示す処理と同様に行う。
【０１７２】
そして，作成した最良事例データＡのベスト順位Ｒａｎｋ＿ＡとデータＩＤ３５に対応する検索履歴データ３０の選択対象文書ＩＤ（ｘ）の順位Ｒａｎｋとを比較する（ステップＳ２８２）。
【０１７３】
ベスト順位Ｒａｎｋ＿Ａと順位Ｒａｎｋとが同じであれば，情報取得スキル得点Ｉの値をＩ＝１，検索キー選択スキル得点Ｓの値をＳ＝１とする（ステップＳ２８３）。ベスト順位Ｒａｎｋ＿Ａが順位Ｒａｎｋより良ければ，最良事例データＡの検索キーの語句の数ｎ（Ｋｅｙ＿Ａ）と，検索履歴データ３０の検索キーの語句の数ｎ（Ｋｅｙ）との差分ｄを求め，検索キー選択スキル得点Ｓの値を，ｄ＜０の場合には，Ｓ＝ｎ（Ｋｅｙ＿Ａ∩Ｋｅｙ）／ｎ（Ｋｅｙ＿Ａ）とし，ｄ＞０の場合には，Ｓ＝（ｎ（Ｋｅｙ＿Ａ∩Ｋｅｙ）−ｄ）／ｎ（Ｋｅｙ＿Ａ）とする。情報取得スキル得点Ｉの値をＩ＝１とする（ステップＳ２８４）。
【０１７４】
上述のスキル判定処理において，情報取得スキル得点Ｉおよび検索キー選択スキル得点Ｓは，検索操作が何回目であるか，すなわち，絞込みを行ったか否かという情報を加味して算出するようにしてもよい。
【０１７５】
本実施例では，１回目の事例検索では良い検索結果が得られず，２回目の事例検索で適切な文書を得て，検索が成功している。検索時のキーワードと直前の検索時のキーワードに差分がある場合には，絞り込み検索を行う過程で新たな情報の聞き出しが行われたことを意味する。そのため，その検索の情報取得スキル得点Ｉから減点を行うようにする。例えば，検索操作インデックス値ｉ（２回目の検索の場合は検索操作＝１であるため，インデックス値ｉ＝１）と減点係数αとを設定し，得られた情報取得スキル得点Ｉから，ｉ×αを減点する。
【０１７６】
以上，本発明をその実施の形態により説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。
【０１７７】
例えば，オペレータが入力する検索キーには，顧客との対話によって得られた情報に加えてあらかじめ知り得る情報を追加する場合がある。そこで，音声データ３２から検索前入手キーワード３３を抽出する場合に，あらかじめ用意された顧客情報データが存在するときは，音声データ３２から抽出した検索前入手キーワード３３の語句に，その検索に関連する顧客情報（顧客の所持する製品名，型名など）から取得した語句を追加してもよい。
【０１７８】
また，検索前入手キーワード３３は，例えば，「電源，印刷」などのような語句だけでは，その語句が使われている文脈がわからないため，語句ではなく，例えば，「電源が入らない」，「印刷ができない」などのフレーズ単位で抽出するようにしてもよい。
【０１７９】
本発明は，コンピュータにより読み取られ実行される処理プログラムとして実施することができるものとして説明したが，本発明を実現する処理プログラムは，コンピュータが読み取り可能な，可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができ，これらの記録媒体に記録して提供され，または，通信インタフェースを介して種々の通信網を利用した送受信により提供されるものである。
【０１８０】
本発明の形態および実施例の特徴を列記すると以下のとおりである。
【０１８１】
（付記１）  情報検索処理の適切度を，前記情報検索処理前に取得された当該情報検索処理に必要な情報を表す検索前入手キーワードの適切度，および当該情報検索処理で使用された検索条件を示す検索キーの適切度にもとづいて判定するために，コンピュータを，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，
判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データをもとに前記判定対象の情報検索処理の検索前入手キーワードの適切度および検索履歴データの適切度を判定する検索適切度判定手段とを備える
処理装置として機能させるための情報検索適切度判定処理プログラム。
【０１８２】
（付記２）  前記検索適切度判定手段は，前記最良事例データ記憶手段から，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データを取得し，前記取得した最良事例データの検索キーをもとに，前記検索履歴データの検索キーの適切度を判定する処理を行う
ことを特徴とする前記付記１に記載の情報検索適切度判定処理プログラム。
【０１８３】
（付記３）  前記検索適切度判定手段は，前記最良事例データ記憶手段に，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データが存在しない場合に，選択文書が同一である最良事例データを取得し，前記取得した最良事例データのキーワードをもとに，前記音声データから抽出された検索前入手キーワードの適切度を判定する処理を行う
ことを特徴とする前記付記１に記載の情報検索適切度判定処理プログラム。
【０１８４】
（付記４）  オペレータの情報検索スキルを，使用された検索キーの適切度および前記情報検索処理前に取得された当該情報検索処理に必要な情報である検索前入手キーワードの適切度にもとづいて判定するために，コンピュータを，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，
オペレータが行った判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定するオペレータスキル判定手段を備える
処理装置として機能させるためのオペレータスキル判定処理プログラム。
【０１８５】
（付記５）  前記オペレータスキル判定手段は，前記最良事例データ記憶手段から，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データを取得し，前記取得した最良事例データの検索キーと前記検索履歴データの検索キーとをもとに，前記検索キー選択スキルの適切度を判定する処理を行う
ことを特徴とする前記付記４に記載のオペレータスキル判定処理プログラム。
【０１８６】
（付記６）  前記オペレータスキル判定手段は，前記最良事例データ記憶手段に，前記検索前入手キーワードと一致するキーワードを持ち，かつ選択文書が同一である最良事例データが存在しない場合に，選択文書が同一である最良事例データを取得し，前記取得した最良事例データのキーワードと前記音声データから取得された検索前入手キーワードとをもとに，前記情報取得スキルの適切度を判定する処理を行う
ことを特徴とする前記付記４に記載のオペレータスキル判定処理プログラム。
【０１８７】
（付記７）  情報検索処理の適切度を判定するための基準となる情報検索処理の実行例に関する最良事例データを作成するために，コンピュータに，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記検索前入手キーワードおよび前記検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する最良事例作成手段とを備える
処理装置として機能させるための最良事例作成処理プログラム。
【０１８８】
（付記８）  オペレータの情報検索処理を支援するために，コンピュータを，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段と，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出する最良事例検索手段と，
前記抽出した最良事例データから，選択された文書について，当該選択された文書の検索結果の順位が最良である最良事例データの検索キーを取得し，取得した検索キーを最良検索キーの候補として提示する最良検索キー候補提示手段とを備える
処理装置として機能させるための情報検索支援処理プログラム。
【０１８９】
（付記９）  情報検索処理の適切度を，前記情報検索処理前に取得された当該情報検索処理に必要な情報を表す検索前入手キーワードの適切度，および当該情報検索処理で使用された検索条件を示す検索キーの適切度にもとづいて判定する処理方法であって，
判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得処理過程と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得処理過程と，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段を参照して，前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出処理過程と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データをもとに前記判定対象の情報検索処理の検索前入手キーワードの適切度および検索履歴データの適切度を判定する検索適切度判定処理過程とを備える
ことを特徴とする情報検索適切度判定処理方法。
【０１９０】
（付記１０）  オペレータの情報検索スキルを，使用された検索キーの適切度および前記情報検索処理前に取得された当該情報検索処理に必要な情報である検索前入手キーワードの適切度にもとづいて判定する処理方法であって，
オペレータが行った判定対象の情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得処理過程と，
前記判定対象の情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得処理過程と，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段を参照して，前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出処理過程と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定するオペレータスキル判定処理過程とを備える
ことを特徴とするオペレータスキル判定処理方法。
【０１９１】
（付記１１）  情報検索処理の適切度を判定するための基準となる情報検索処理の実行例に関する最良事例データを作成する処理方法であって，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得処理過程と，
前記情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得処理過程と，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段を参照して，前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出処理過程と，
前記検索前入手キーワードおよび前記検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する最良事例作成処理過程とを備える
ことを特徴とする最良事例作成処理方法。
【０１９２】
（付記１２）  オペレータの情報検索処理を支援するための処理方法であって，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得処理過程と，
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段を参照して，前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出処理過程と，
情報検索処理の最良の実行例を示す情報であって，当該情報検索処理前に取得された当該情報検索処理に必要な情報を表すキーワード，当該情報検索処理で使用された検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位を含む最良事例データを記憶する最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出する最良事例検索処理過程と，
前記抽出した最良事例データから，選択された文書について，当該選択された文書の検索結果の順位が最良である最良事例データの検索キーを取得し，取得した検索キーを最良検索キーの候補として提示する最良検索キー候補提示処理過程とを備える
ことを特徴とする情報検索支援処理方法。
【０１９３】
（付記１３）
情報検索処理に必要な情報を表すキーワードを記憶するキーワード記憶手段と，
情報検索処理について必要な情報を含む対話が録音された音声データを取得する音声データ取得手段と，
前記情報検索処理において使用された検索キー，検索結果から選択された文書を示す選択文書，前記選択文書の検索結果における順位を含む検索履歴データを取得する検索履歴情報取得手段と，
前記音声データから前記キーワード記憶手段のキーワードと一致する語句を抽出し，前記抽出した語句を検索前入手キーワードとする検索前入手情報抽出手段と，
前記検索前入手キーワードおよび前記検索履歴データの検索キー，検索結果から選択された文書を示す選択文書，および前記選択文書の検索結果における順位をもとに最良事例データを作成し，最良事例データ記憶手段に登録する最良事例作成手段と，
前記最良事例作成手段によって作成された，情報検索処理の最良の実行例を示す最良事例データを記憶する最良事例記憶手段と，
前記最良事例記憶手段から，前記検索前入手キーワードと一致するキーワードを持つ最良事例データを抽出し，前記抽出した最良事例データの検索前入手キーワードおよび検索キーをもとに，前記オペレータの情報検索スキルとして，情報取得スキルの適切度および検索キー選択スキルの適切度を判定するオペレータスキル判定手段を備える
ことを特徴とするオペレータスキル判定システム。
【図面の簡単な説明】
【０１９４】
【図１】最良事例データを作成・蓄積する最良事例作成装置の構成例を示す図である。
【図２】最良事例データ作成・蓄積処理の処理フローを示す図である。
【図３】最良事例データ作成・蓄積処理を説明するための図である。
【図４】検索適切度判定装置の構成例を示す図である。
【図５】検索適切度判定処理の処理フローを示す図である。
【図６】検索適切度判定処理を説明するための図である。
【図７】ステップＳ１１５の検索適切度判定処理の処理フローを示す図である。
【図８】オペレータスキル判定装置６０の構成例を示す図である。
【図９】オペレータスキル判定処理の処理フローを示す図である。
【図１０】ステップＳ１４６のオペレータ判定処理の処理フローを示す図である。
【図１１】最良検索キー候補提示装置８０の構成例を示す図である。
【図１２】最良検索キー候補提示処理の処理フローを示す図である。
【図１３】オペレータスキル判定システムの構成例を示す図である。
【図１４】キーワード辞書作成処理の処理フローを示す図である。
【図１５】検索履歴データの例を示す図である。
【図１６】キーワード辞書への登録を説明するための図である。
【図１７】最良事例データ作成・蓄積処理の処理フローを示す図である。
【図１８】ワードスポッティング処理の結果の例を示す図である。
【図１９】検索キーの組み合わせの例を示す図である。
【図２０】作成された最良事例データ記憶部の例を示す図である。
【図２１】オペレータのスキル判定処理の処理フローを示す図である。
【図２２】取得された検索履歴データの例を示す図である。
【図２３】ステップＳ２３６のスキル判定処理の処理フローを示す図である。
【図２４】ステップＳ２５２の通常判定処理の処理フローを示す図である。
【図２５】ステップＳ２５４の近い最良事例データ取得時の判定処理の処理フローを示す図である。
【図２６】ステップＳ２５５の最良事例なしの判定処理の処理フローを示す図である。
【符号の説明】
【０１９５】
１０  最良事例作成装置
１０１  検索履歴データ取得部
１０２  キーワード作成部
１０３  音声データ取得部
１０４  検索前入手情報抽出部
１０５  最良事例選択部
１０６  キーワード辞書
２０  検索履歴データ記憶部
２２  音声データ記憶部
２８  最良事例データ記憶部
３０  検索履歴データ
３１  検索キー
３２  音声データ
３３  検索前入手キーワード
３４  最良事例データ
３５  データＩＤ
３６  判定結果
３７  スキル判定結果
３８  最良検索キー候補
３９  聞き出し部分
４０  検索適切度判定装置
１１１  データＩＤ入力受付部
１１２  検索適切度判定部
６０  オペレータスキル判定装置
１２１  オペレータスキル判定部
１２２  スキル判定結果集計部
８０  最良検索キー候補提示装置
１３１  対話音声入力部
１３２  最良事例検索部
１３３  最良検索キー候補提示部
１００  オペレータスキル判定システム
【図１】
2007193485.tif 000003
【図２】
2007193485.tif 000004
【図３】
2007193485.tif 000005
【図４】
2007193485.tif 000006
【図５】
2007193485.tif 000007
【図６】
2007193485.tif 000008
【図７】
2007193485.tif 000009
【図８】
2007193485.tif 000010
【図９】
2007193485.tif 000011
【図１０】
2007193485.tif 000012
【図１１】
2007193485.tif 000013
【図１２】
2007193485.tif 000014
【図１３】
2007193485.tif 000015
【図１４】
2007193485.tif 000016
【図１５】
2007193485.tif 000017
【図１６】
2007193485.tif 000018
【図１７】
2007193485.tif 000019
【図１８】
2007193485.tif 000020
【図１９】
2007193485.tif 000021
【図２０】
2007193485.tif 000022
【図２１】
2007193485.tif 000023
【図２２】
2007193485.tif 000024
【図２３】
2007193485.tif 000025
【図２４】
2007193485.tif 000026
【図２５】
2007193485.tif 000027
【図２６】
2007193485.tif 000028