(57)【要約】      （修正有）【課題】ユーザ、業務や利用シーンに応じた回答文の作成を支援する評価プログラム、評価装置および評価方法を提供する。【解決手段】評価装置１は、インシデントの指定を受け付けると、インシデントの管理情報を記憶するインシデント管理テーブル２１を参照して、指定されたインシデントに対応するインシデント区分を特定する。評価装置１は、インシデントに関する回答文の評価に関する定義ファイル２４、２５をインシデント区分ごとに記憶する定義ファイル管理テーブル２２を参照して、特定したインシデント区分に対応する定義ファイルを特定する。評価装置１は、指定されたインシデントに関する回答文の入力を受け付けると、特定した定義ファイルに基づき、入力された回答文の評価を行う。【選択図】図１
2019012344.tif 000002
【特許請求の範囲】
【請求項１】
インシデントの指定を受け付けると、インシデントの管理情報を記憶する記憶部を参照して、指定された前記インシデントに対応するインシデント区分を特定し、
インシデントに関する回答文の評価に関する定義情報をインシデント区分ごとに記憶する記憶部を参照して、特定した前記インシデント区分に対応する定義情報を特定し、
指定された前記インシデントに関する回答文の入力を受け付けると、特定した前記定義情報に基づき、入力された前記回答文の評価を行う、
処理をコンピュータに実行させることを特徴とする評価プログラム。
【請求項２】
前記回答文の評価に関する複数の定義項目の中から選択された定義項目に基づいて、前記回答文を修正する
ことを特徴とする請求項１に記載の評価プログラム。
【請求項３】
前記回答文の評価に関する複数の定義項目の選択状況とインシデント区分との対応関係を示す情報を記憶する記憶部を参照して、特定した前記インシデント区分に対応付けられた選択状況を特定し、
特定した前記選択状況に基づき、特定した前記インシデント区分に対応する前記定義情報を生成する、
ことを特徴とする請求項１に記載の評価プログラム。
【請求項４】
前記定義情報を生成する処理は、
前記インシデント区分に対応する判定関数であって前記選択状況と選択が正当であるか否かを判定する判定値とを対応付けた判定関数を用いて、特定した前記選択状況に対応する判定値を算出し、算出した判定値を用いて、前記インシデント区分に対応する前記定義情報を生成する
ことを特徴とする請求項３に記載の評価プログラム。
【請求項５】
前記回答文の評価に関する複数の定義項目にそれぞれが対応付けられた複数の操作部品を表示部に表示し、
前記選択状況を特定する処理は、表示した前記複数の操作部品への操作の受け付け状況とインシデント区分との対応関係を示す情報を記憶する前記記憶部を参照して、特定した前記インシデント区分に対応付けられた操作の受付状況を特定し、
前記生成する処理は、特定した操作の受付状況に基づき、前記定義情報を更新する
ことを特徴とする請求項３に記載の評価プログラム。
【請求項６】
インシデントの指定を受け付けると、インシデントの管理情報を記憶する記憶部を参照して、指定された前記インシデントに対応するインシデント区分を特定する第１の特定部と、
インシデントに関する回答文の評価に関する定義情報をインシデント区分ごとに記憶する記憶部を参照して、特定した前記インシデント区分に対応する定義情報を特定する第２の特定部と、
指定された前記インシデントに関する回答文の入力を受け付けると、特定した前記定義情報に基づき、入力された前記回答文の評価を行う評価部と、
を有することを特徴とする評価装置。
【請求項７】
インシデントの指定を受け付けると、インシデントの管理情報を記憶する記憶部を参照して、指定された前記インシデントに対応するインシデント区分を特定し、
インシデントに関する回答文の評価に関する定義情報をインシデント区分ごとに記憶する記憶部を参照して、特定した前記インシデント区分に対応する定義情報を特定し、
指定された前記インシデントに関する回答文の入力を受け付けると、特定した前記定義情報に基づき、入力された前記回答文の評価を行う、
処理をコンピュータが実行することを特徴とする評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価プログラムなどに関する。
【背景技術】
【０００２】
情報サービスでは、インシデント管理が行われている。ここでいうインシデントとは、例えばコンピュータやネットワークのセキュリティなどのトラブルや問合せのことをいう。インシデント管理は、インシデントとインシデントの回答文とを組み合わせて管理される。
【０００３】
インシデントの回答文が校閲される場合には、インシデントを発行したユーザ、業務や利用シーンごとに校閲定義が変更される必要がある。校閲定義は、ユーザ、業務や利用シーンごとに手動で変更される。例えば、インシデントの管理者が、コンピュータ上で校閲コマンドに対してインシデントの回答ファイルおよび校閲定義ファイルをパラメータとして指定する。そして、コンピュータが、校閲定義ファイルを用いてインシデントの回答ファイル内を一括して修正する技術が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−４１３８４号公報
【特許文献２】特開２００８−１４５７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、コンピュータは、インシデントの回答文が校閲される場合に、インシデントを発行したユーザ、業務や利用シーンに応じた校閲定義を自動で変更することができないという問題がある。
【０００６】
１つの側面では、ユーザ、業務や利用シーンに応じた回答文の作成を支援することを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様では、評価プログラムは、インシデントの指定を受け付けると、インシデントの管理情報を記憶する記憶部を参照して、指定された前記インシデントに対応する業務を特定し、インシデントに関する回答文の評価に関する定義情報を業務ごとに記憶する記憶部を参照して、特定した前記業務に対応する定義情報を特定し、指定された前記インシデントに関する回答文の入力を受け付けると、特定した前記定義情報に基づき、入力された前記回答文の評価を行う、処理をコンピュータに実行させる。
【発明の効果】
【０００８】
１つの態様によれば、ユーザ、業務や利用シーンに応じた回答文の作成を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施例に係る評価装置の構成を示す機能ブロック図である。
【図２】図２は、インシデント管理テーブルのデータ構造の一例を示す図である。
【図３】図３は、定義ファイル管理テーブルのデータ構造の一例を示す図である。
【図４】図４は、判定関数管理テーブルのデータ構造の一例を示す図である。
【図５】図５は、雛型定義ファイルのデータ構造の一例を示す図である。
【図６】図６は、実施例に係る集計処理の一例を示す図である。
【図７】図７は、実施例に係る判定処理の一例を示す図である。
【図８】図８は、業務Ａの定義ファイルの一例を示す図である。
【図９Ａ】図９Ａは、実施例に係る評価処理の画面イメージの一例を示す図（１）である。
【図９Ｂ】図９Ｂは、実施例に係る評価処理の画面イメージの一例を示す図（２）である。
【図９Ｃ】図９Ｃは、実施例に係る評価処理の画面イメージの一例を示す図（３）である。
【図１０】図１０は、実施例に係る評価処理のフローチャートの一例を示す図である。
【図１１】図１１は、実施例に係る定義ファイル生成処理のフローチャートの一例を示す図である。
【図１２】図１２は、評価プログラムを実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本願の開示する評価プログラム、評価装置および評価方法の実施例を図面に基づいて詳細に説明する。なお、実施例によりこの発明が限定されるものではない。
【実施例】
【００１１】
［評価装置の構成］
図１は、実施例に係る評価装置の構成を示す機能ブロック図である。評価装置１は、インシデントの指定を受け付けると、指定されたインシデントに対応する区分（例えば業務）を特定し、特定した区分に対応する定義ファイルを特定する。そして、評価装置１は、特定した定義ファイルに基づき、特定した区分に対応するインシデントの回答文の評価（校閲）を行う。ここでいうインシデントとは、コンピュータやネットワークのセキュリティなどのトラブルや問合せのことをいう。実施例では、インシデントは、例えば、業務に対するトラブルの問い合わせであっても良く、ユーザからのトラブルの問い合わせであっても良く、様々な利用シーンでの問い合わせであっても良い。
【００１２】
図１に示すように、評価装置１は、制御部１０および記憶部２０を有する。
【００１３】
制御部１０は、ＣＰＵ（Central  Processing  Unit）などの電子回路に対応する。そして、制御部１０は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１０は、特定部１１、評価部１２、集計部１３、判定部１４および定義ファイル生成部１５を有する。
【００１４】
記憶部２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。記憶部２０は、インシデント管理テーブル２１、定義ファイル管理テーブル２２、判定関数管理テーブル２３、雛型定義ファイル２４および定義ファイル２５を有する。
【００１５】
雛型定義ファイル２４は、インシデントの回答文を評価する際に用いられる定義ファイルであって、雛型の定義ファイルである。雛型定義ファイル２４には、評価において指摘される項目が設定される。なお、雛型定義ファイル２４は、あらかじめ管理者によって作成される。
【００１６】
定義ファイル２５は、インシデントの回答文を評価する際に用いられる定義ファイルであって、業務、ユーザおよび様々な利用シーンなどの属性区分ごとの定義ファイルである。ここでいう属性区分とは、一例として、属性が業務である場合には、それぞれの業務名のことをいう。別の例として、属性がユーザである場合には、それぞれのユーザ名のことをいう。別の例として、属性が製品（部品）である場合には、それぞれの製品（部品）名のことをいう。以下、属性区分ごとの複数の定義ファイル２５を区別するため「定義ファイル２５α」、「定義ファイル２５β」と記載する。特に区別せずに説明する場合には、「定義ファイル２５」と記載する。なお、定義ファイル２５は、属性区分ごとに定義ファイル生成部１５によって生成される。
【００１７】
インシデント管理テーブル２１は、インシデントを管理する。例えば、インシデント管理テーブル２１は、インシデントに対して、問合せ文と評価修正された回答文を管理するとともに、回答文の評価に関わった担当者およびレビュアーを管理する。なお、インシデント管理テーブル２１は、インシデントごとに、インシデントを受けたタイミングで追加され、評価部１２によって更新される。
【００１８】
定義ファイル管理テーブル２２は、定義ファイルを属性区分ごとに管理する。なお、定義ファイル管理テーブル２２は、あらかじめ管理者によって作成される。
【００１９】
判定関数管理テーブル２３は、インシデントの属性区分ごとの定義ファイルを生成する際に用いられる判定関数を管理する。なお、判定関数管理テーブル２３は、あらかじめ管理者によって作成される。
【００２０】
特定部１１は、インシデントの指定を受け付けると、インシデント管理テーブル２１を参照して、指定されたインシデントに対応する属性区分を特定する。例えば、特定部１１は、インシデント管理テーブル２１を参照して、指定されたインシデントに対応するレコードを抽出し、抽出したレコードの属性区分を特定する。なお、特定部１１は、指定されたインシデントに対応するレコードの問合せの内容を字句解析することで属性区分を特定しても良い。
【００２１】
ここで、インシデント管理テーブル２１のデータ構造の一例を、図２を参照して説明する。図２は、インシデント管理テーブルのデータ構造の一例を示す図である。図２に示すように、インシデント管理テーブル２１は、識別番号２１ａ、問合せ２１ｂ、回答文２１ｃ、属性２１ｄ、顧客名２１ｅ、業務名２１ｆ、製品（部品）名２１ｇ、担当者２１ｈ、承認者２１ｉおよび責任者２１ｊを対応付けて記憶する。顧客名２１ｅ、業務名２１ｆおよび製品名２１ｇは、属性区分に対応する。承認者２１ｉおよび責任者２１ｊは、レビュアーに対応する。
【００２２】
識別番号２１ａは、１つのインシデントを識別する番号である。
【００２３】
問合せ２１ｂは、インシデントの問合せ内容を示す。回答文２１ｃは、インシデントの回答文を示す。回答文２１ｃは、雛型定義ファイル２３を用いて校閲されたものである。
【００２４】
属性２１ｄは、インシデントの属性を示す。例えば、インシデントが業務に関するものである場合には、業務に対応する属性「ｇ」が設定される。インシデントが顧客に関するものである場合には、顧客に対応する属性「ｕ」が設定される。インシデントが製品または部品に関するものである場合には、製品または部品に対応する属性「ｐ」が設定される。なお、属性２１ｄは、業務、顧客、製品（部品）に対応する属性に限定されるものではない。
【００２５】
顧客名２１ｅは、インシデントが顧客に対応する属性である場合に用いられる属性区分である。業務名２１ｆは、インシデントが業務に対応する属性である場合に用いられる属性区分である。製品（部品）名２１ｇは、インシデントが製品（部品）に対応する属性である場合に用いられる属性区分である。
【００２６】
担当者２１ｈは、インシデントの担当者であり、インシデントの回答文を担当する者である。承認者２１ｉは、インシデントの回答文を承認する者である。責任者２１ｊは、インシデントの責任者であり、インシデントの回答文の承認する者である。
【００２７】
一例として、識別番号２１ａが「１」である場合に、問合せ２１ｂとして「○○○・・・」、回答文２１ｃとして「△△△・・・」が記憶されている。加えて、属性２１ｄとして「ｇ」、業務名２１ｆとして「業務Ａ」が記憶されている。加えて、担当者２１ｈとして「ｔ１」、承認者２１ｉとして「ｓ１」、責任者２１ｊとして「ｒ３」が記憶されている。例えば、特定部１１は、インシデント管理テーブル２１を参照して、指定されたインシデントと合致する問合せ２１ｂに対応するレコードを抽出し、抽出したレコードの属性２１ｄに対応する属性区分２１ｅ〜２１ｇを特定すれば良い。
【００２８】
図１に戻って、特定部１１は、定義ファイル管理テーブル２２を参照して、特定した属性区分に対応する定義ファイルを特定する。
【００２９】
ここで、定義ファイル管理テーブル２２のデータ構造の一例を、図３を参照して説明する。図３は、定義ファイル管理テーブルのデータ構造の一例を示す図である。図３に示すように、定義ファイル管理テーブル２２は、属性区分２２ａおよび定義ファイル名２２ｂを対応付けて記憶する。
【００３０】
属性区分２２ａは、各属性に含まれる具体的な区分けである。属性区分２２ａには、属性が業務である場合には、業務名で区分けされる。属性が顧客である場合には、顧客名で区分けされる。属性が製品（部品）である場合には、製品名および部品名で区分けされる。なお、属性区分２２ａは、インシデント管理テーブル２１の顧客名２１ｅ、業務名２１ｆおよび製品（部品）名２１ｇに対応する。
【００３１】
定義ファイル名２２ｂは、定義ファイルの名称である。定義ファイル名２２ｂには、デフォルトとして雛型定義ファイル２４の名称が設定される。定義ファイル名２２ｂは、定義ファイル生成部１５によって定義ファイルが生成されると、生成された定義ファイルの名称が更新される。
【００３２】
一例として、属性区分２２ａが「業務Ａ」である場合に、定義ファイル名２２ｂとして「ｘｘｘｘＡ」が記憶されている。属性区分２２ａが「業務Ｂ」である場合に、定義ファイル名２２ｂとして「ｘｘｘｘＢ」が記憶されている。
【００３３】
図１に戻って、評価部１２は、インシデントに関する回答文の入力を受け付けると、特定部１１によって特定された定義ファイルに基づき、入力を受け付けた回答文を評価（校閲）する。
【００３４】
例えば、評価部１２は、入力を受け付けた回答文に、特定された定義ファイルに定義された指摘項目が存在するか否かを判定する。評価部１２は、回答文に存在する指摘項目を指摘結果として表示する。そして、評価部１２は、担当者から使用する指摘が選択されると、選択された指摘を回答文に反映する。すなわち、評価部１２は、特定された定義ファイルが雛型定義ファイル２４である場合には、回答文を、選択された指摘に対する指摘番号２４ａの誤２４ｂから正２４ｃに修正する。評価部１２は、特定された定義ファイルが定義ファイル２５である場合には、回答文を、選択された指摘に対する指摘番号２５ａの誤２５ｂから正２５ｃに修正する。
【００３５】
また、評価部１２は、インシデント管理テーブル２１を参照して、インシデントと合致する問合せ２１ｂに対応するレコードを抽出する。そして、評価部１２は、抽出したレコードの回答文２１ｃに修正した回答文を設定し、抽出したレコードの担当者２１ｈに担当者名を設定する。加えて、評価部１２は、インシデントの回答文２１ｃがレビュアーによって認められると、レビュアーが承認者であれば、抽出したレコードの承認者２１ｉに承認者名を設定する。また、評価部１２は、レビュアーが責任者であれば、抽出したレコードの責任者２１ｊに責任者名を設定する。
【００３６】
集計部１３は、インシデント管理テーブル２１を参照して、所定の属性区分に対して、指摘項目ごとに、指摘に関わった担当者およびレビュアーの数を集計する。例えば、集計部１３は、定義ファイルの生成を所望する属性区分の指定を受け付けると、インシデント管理テーブル２１を参照して、指定を受け付けた属性区分に対応する回答文を検索する。集計部１３は、定義ファイル管理テーブル２２を参照して、属性区分に対応する定義ファイルを特定する。集計部１３は、検索した回答文を１つずつ選択し、選択した回答文の入力を受け付けると、特定した定義ファイルを用いて、回答文を再評価する。集計部１３は、再評価の結果、指摘された項目の指摘番号に対して、既評価の際にこの指摘に関わった担当者およびレビュアーの数をカウントアップする。すなわち、集計部１３は、既に修正された後の回答文に関し再評価し、既評価の際に指摘されたが使わないと判断された指摘項目ごとに、指摘に関わった担当者およびレビュアーの数を集計する。集計の対象を既評価の際に使わないと判断された指摘項目としたのは、既評価の際に使うと判断された指摘項目が既に修正され再評価の際に指摘されず、既評価の際に使わないと判断された指摘項目しか指摘されないからである。指摘に関わった担当者およびレビュアーの数を集計することで、集計部１３は、この指摘を使わなかったことの正当性を検出することができる。なお、指摘に関わった担当者およびレビュアーの数は、同じ者を重複しないこととする。また、指摘項目の指摘に関わった担当者およびレビュアーの数は、定義項目の選択状況の一例である。
【００３７】
判定部１４は、指摘項目ごとに、指摘項目を使わなかったことの正当性を評価する。例えば、判定部１４は、指摘番号ごとに、集計部１３によって集計された指摘に関わった担当者およびレビュアーの数を特定する。判定部１４は、判定関数管理テーブル２３を参照し、指定された属性区分に対応する判定関数を取得する。そして、判定部１４は、取得した判定関数を用いて、指摘番号ごとに、指摘に関わった担当者およびレビュアーの数に対応する判定値を算出する。そして、判定部１４は、算出した判定値が閾値以上である場合には、指摘項目の指摘番号をホワイトリストに追加する。ここでいうホワイトリストとは、使わなかったことが正しいと判断された指摘項目の一覧表のことをいう。なお、閾値は、例えば８０％であるが、あらかじめ実験などで調べられ、その情報は記憶部２０に記憶される。
【００３８】
ここで、判定関数管理テーブル２３のデータ構造の一例を、図４を参照して説明する。図４は、判定関数管理テーブルのデータ構造の一例を示す図である。図４に示すように、判定関数管理テーブル２３は、属性区分２３ａおよび判定関数２３ｂを対応付けて記憶する。
【００３９】
属性区分２３ａは、各属性に含まれる具体的な区分けである。属性区分２３ａには、属性が業務である場合には、業務名で区分けされる。属性が顧客である場合には、顧客名で区分けされる。属性が製品（部品）である場合には、製品名および部品名で区分けされる。なお、属性区分２３ａは、インシデント管理テーブル２１の顧客名２１ｅ、業務名２１ｆおよび製品（部品）名２１ｇに対応する。
【００４０】
判定関数２３ｂは、インシデントの属性区分ごとの定義ファイルを生成する際に用いられる関数である。判定関数２３ｂは、例えば、雛型定義ファイル２４に定義された指摘項目に対して、評価の際使わなかった担当者およびレビュアーの数をＸ座標とし、判定値をＹ座標とした関数である。ここでいう判定値とは、この指摘を使わなかったことが正しいか否かを判定する度合いのことをいう。すなわち、判定関数２３ｂは、指摘を使わなかった担当者およびレビュアーの数が多ければ多い程判定値が上がる関数を示す。
【００４１】
一例として、属性区分２３ａが「業務Ａ」である場合に、判定関数２３ｂとして「ｙ＝ｘ２」が記憶されている。属性区分２３ａが「業務Ｂ」である場合に、判定関数２３ｂとして「ｙ＝０．２５×ｘ２」が記憶されている。
【００４２】
図１に戻って、定義ファイル生成部１５は、属性区分に対応する定義ファイル２５を生成する。例えば、定義ファイル生成部１５は、定義ファイル管理テーブル２２を参照して、属性区分に対応する定義ファイルを特定する。定義ファイル生成部１５は、特定した定義ファイルを読み込み、読み込んだ定義ファイルに定義された指摘番号のうち、ホワイトリストに設定された指摘番号の指摘項目を除外する。そして、定義ファイル生成部１５は、除外後の複数の指摘番号の指摘項目を、指定された属性区分に対応する指摘項目として、この属性区分に対応する定義ファイル２５を生成する。そして、定義ファイル生成部１５は、定義ファイル管理テーブル２２の、指定された属性区分に対応する定義ファイル名を、生成した定義ファイル２５の名称に更新する。
【００４３】
ここで、雛型定義ファイル２４のデータ構造の一例を、図５を参照して説明する。図５は、雛型定義ファイルのデータ構造の一例を示す図である。図５に示すように、雛型定義ファイル２４は、指摘番号２４ａ、誤２４ｂおよび正２４ｃを対応付けて記憶する。指摘番号２４ａは、指摘を識別する番号を示す。誤２４ｂは、誤りと指摘される項目の内容を示す。正２４ｃは、正と指摘される項目の内容を示す。すなわち、誤２４ｂと正２４ｃとで、何をどのように修正するのかが指摘される。なお、雛型定義ファイル２４は、属性ごとに、存在しても良い。すなわち、業務用の雛型定義ファイル２４、顧客用の雛型定義ファイル２４、製品（部品）用の雛型定義ファイル２４が存在しても良い。また、雛型定義ファイル２４は、全ての属性用として１個存在しても良い。
【００４４】
一例として、指摘番号２４ａが「１」である場合に、誤２４ｂとして「おります」、正２４ｃとして「います」と記憶している。指摘番号２４ａが「２」である場合に、誤２４ｂとして「いたします」、正２４ｃとして「します」と記憶している。指摘番号２４ａが「３」である場合に、誤２４ｂとして「問合せ」、正２４ｃとして「問い合わせ」と記憶している。
【００４５】
［集計処理の一例］
図６は、実施例に係る集計処理の一例を示す図である。なお、図６では、属性区分が業務Ａである場合の集計処理について説明する。
【００４６】
図６に示すように、Ｘ座標は指摘番号、Ｙ座標は指摘を使わなかった担当者およびレビュアーの数、すなわち選択状況を表わした図である。集計部１３は、指摘番号ごとに、指摘を使わなかった担当者およびレビュアーの数を集計する。例えば、集計部１３は、インシデント管理テーブル２１を参照して、業務Ａに対応する回答文を検索する。集計部１３は、検索した回答文を１つずつ選択し、選択した回答文の入力を受け付けると、例えば雛型定義ファイル２４を用いて、回答文を再評価する。そして、集計部１３は、再評価の結果、指摘された項目の指摘番号に対して、既校閲の際にこの指摘を使わなかった担当者およびレビュアーの数をカウントアップする。なお、集計部１３は、同じ指摘番号に対して同じ者をカウントしないこととする。
【００４７】
ここでは、指摘番号が「１」である場合に、指摘を使わなかった担当者およびレビュアーの数が２を示す。指摘番号が「２」である場合に、指摘を使わなかった担当者およびレビュアーの数がｍ（例えば１０以上の整数）を示す。
【００４８】
これにより、集積部１３は、指摘番号ごとに指摘に使わなかった担当者およびレビュアーの数を集計することで、指摘番号ごとに指摘を使わなかったことの正当性を検出することができる。
【００４９】
［判定処理の一例］
図７は、実施例に係る判定処理の一例を示す図である。なお、図７では、属性区分が業務Ａであり、且つ指摘番号が「２」である場合の判定処理について説明する。
【００５０】
図７に示すように、Ｘ座標を、指摘を使わなかった担当者およびレビュアーの数とし、Ｙ座標を判定値とした判定関数が表わされている。判定部１４は、指摘番号ごとに、この判定関数を用いて、指摘番号の指摘項目を使わなかったことの正当性を判定する。例えば、判定部１４は、集計部１３によって集計された、指摘番号「２」の指摘を使わなかった担当者およびレビュアーの数を特定する。ここでは、特定された数は、ｍであるとする。そして、判定部１４は、判定関数管理テーブル２３を参照し、業務Ａに対応する判定関数を取得する。ここでは、業務Ａに対応する判定関数として「ｙ＝ｘ２」が取得されるとする（図４参照）。そして、判定部１４は、取得した判定関数を用いて、指摘番号「２」の指摘を使わなかった担当者およびレビュアーの数に対応する判定値を算出する。そして、判定部１４は、算出した判定値が閾値以上である場合には、指摘項目の指摘番号「２」をホワイトリストに追加する。ここでは、算出された判定値が閾値以上であるので、指摘番号「２」がホワイトリストに追加される。
【００５１】
この後、定義ファイル生成部１５は、定義ファイル管理テーブル２２から業務Ａに対応する定義ファイルを特定する。定義ファイル生成部１５は、特定した定義ファイルを読み込み、定義ファイルに定義された指摘番号のうちホワイトリストに設定された指摘番号の指摘項目を除外する。そして、定義ファイル生成部１５は、除外後の指摘番号の指摘項目を、業務Ａに対応する指摘項目として、業務Ａに対応する定義ファイル２５を生成する。ここでは、定義ファイル生成部１５は、特定した定義ファイルに定義された指摘番号から指摘番号「２」を除外した指摘番号を、業務Ａに対応する定義ファイル２５として生成する。
【００５２】
［定義ファイルの一例］
図８は、業務Ａの定義ファイルの一例を示す図である。なお、図８では、定義ファイル生成部１５が、雛型定義ファイル２４に定義された指摘番号から指摘番号「２」を除外した指摘番号を、業務Ａに対応する定義ファイル２５として生成したものである。
【００５３】
図８に示すように、定義ファイル２５は、指摘番号２５ａ、誤２５ｂおよび正２５ｃを対応付けて記憶する。指摘番号２５ａは、指摘を識別する番号を示す。誤２５ｂは、誤りと指摘される項目の内容を示す。正２５ｃは、正と指摘される項目の内容を示す。すなわち、誤２５ｂと正２５ｃとで、何をどのように修正するのかが指摘される。
【００５４】
一例として、指摘番号２５ａが「１」である場合に、誤２５ｂとして「おります」、正２５ｃとして「います」と記憶している。指摘番号２５ａが「２」である場合に、誤２５ｂとして「−」、正２５ｃとして「−」と記憶している。これは、指摘番号「２」が除外されたからである。指摘番号２５ａが「３」である場合に、誤２５ｂとして「問合せ」、正２４ｃとして「問い合わせ」と記憶している。
【００５５】
［評価処理の画面イメージの一例］
図９Ａ〜図９Ｃは、実施例に係る評価処理の画面イメージの一例を示す図である。なお、インシデント管理テーブル２１には、インシデント（問合せ）に対応する属性２１ｄとして「ｇ」、業務名２１ｆとして「業務Ａ」が記憶されているとする。また、定義ファイル管理テーブル２２には、業務Ａと雛型定義ファイル２４とが対応付けられているとする。
【００５６】
図９Ａに示すように、担当者が、評価画面を用いて、インシデント（問合せ）に対する回答文を作成する。ここでは、評価画面にインシデント（問合せ）に対する回答文が表示されている（ｄ１）。担当者は、回答文を作成すると、評価画面の評価ボタンを押下する（ｄ２）。評価ボタンが押下されると、特定部１１は、インシデント管理テーブル２１を参照して、属性区分を業務Ａと特定する。そして、評価部１２は、定義ファイル管理テーブル２２を参照して、業務Ａに対応する雛型定義ファイル２４を特定し、特定した雛型定義ファイル２４を用いて、作成された回答文を評価する。
【００５７】
図９Ｂに示すように、指摘結果が評価画面に表示される（ｄ３）。また、担当者が、指摘結果を確認するため、プレビューが評価画面に表示される（ｄ４）。プレビューには、指摘結果の該当箇所が下線により強調表示される（ｄ５）。なお、強調表示は、下線に限定されず、例えば、色を替えたり、線を太くしたりしても良い。
【００５８】
図９Ｃに示すように、担当者が、使用する指摘を選択すると（ｄ６）、評価部１２は、選択された指摘を自動的に修正する。ここでは、担当者が、指摘番号「１」の「おります→います」の指摘および指摘番号「２」の「いたします→します」の指摘を選択すると、定義ファイル生成部１５は、選択した指摘番号の指摘を反映する。すなわち、評価部１２は、回答文の「おります」を「います」に修正し、回答文の「いたします」を「します」に修正する（ｄ７）。
【００５９】
［評価処理のフローチャート］
図１０は、実施例に係る評価処理のフローチャートの一例を示す図である。なお、図１０では、属性を業務に絞って説明するものとする。また、インシデント管理テーブル２１には、インシデント（問合せ）に対応する属性２１ｄとして「ｇ」、業務名２１ｆとして「業務Ａ」が記憶されているとする。また、定義ファイル管理テーブル２２には、業務Ａと雛型定義ファイル２４とが対応付けられているとする。
【００６０】
まず、特定部１１は、インシデントの指定を受け付けたか否かを判定する（ステップＳ１１）。インシデントの指定を受け付けていないと判定した場合には（ステップＳ１１；Ｎｏ）、特定部１１は、インシデントの指定を受け付けるまで、判定処理を繰り返す。
【００６１】
一方、インシデントの指定を受け付けたと判定した場合には（ステップＳ１１；Ｙｅｓ）、特定部１１は、指定されたインシデントから業務を特定する（ステップＳ１２）。例えば、特定部１１は、インシデント管理テーブル２１を参照して、インシデント（問合せ）に対応する属性区分として業務Ａを特定する。
【００６２】
そして、特定部１１は、特定された業務に対応する定義ファイルを特定する（ステップＳ１３）。例えば、特定部１１は、定義ファイル管理テーブル２２を参照して、業務Ａに対応する定義ファイルとして雛型定義ファイル２４を特定する。
【００６３】
そして、評価部１２は、特定した定義ファイルを用いて、インシデントの回答文を評価する（ステップＳ１４）。そして、評価部１２は、指摘結果を評価画面に表示する（ステップＳ１５）。
【００６４】
そして、評価部１２は、担当者から使用する指摘の選択を受け付ける（ステップＳ１６）と、受け付けた選択の指摘を回答文に反映する（ステップＳ１７）。例えば、評価部１２は、回答文を、雛型定義ファイル２４の、選択された指摘に対する指摘番号２４ａの誤２４ｂから正２４ｃに修正する。
【００６５】
そして、評価部１２は、インシデントの情報をインシデント管理テーブル２１に更新する（ステップＳ１８）。例えば、評価部１２は、インシデント管理テーブル２１を参照して、インシデント（問合せ）と合致する問合せ２１ｂに対応するレコードを抽出する。評価部１２は、抽出したレコードの回答文２１ｃに修正した回答文を更新し、抽出したレコードの担当者２１ｈに担当者名を更新する。加えて、評価部１２は、インシデントの回答文２１ｃがレビュアーによって認められると、レビュアーが承認者であれば、抽出したレコードの承認者２１ｉに承認者名を更新する。また、評価部１２は、レビュアーが責任者であれば、抽出したレコードの責任者２１ｊに責任者名を更新する。
【００６６】
そして、評価部１２は、評価処理を終了する。
【００６７】
［定義ファイル生成処理のフローチャート］
図１１は、実施例に係る定義ファイル生成処理のフローチャートの一例を示す図である。なお、図１１では、属性を業務に絞って説明するものとする。また、定義ファイル管理テーブル２２には、業務Ａと雛型定義ファイル２４とが対応付けられているとする。
【００６８】
まず、集計部１３は、業務の指定を受け付けたか否かを判定する（ステップＳ２１）。業務の指定を受け付けていないと判定した場合には（ステップＳ２１；Ｎｏ）、集計部１３は、業務の指定を受け付けるまで、判定処理を繰り返す。
【００６９】
一方、業務の指定を受け付けたと判定した場合には（ステップＳ２１；Ｙｅｓ）、集計部１３は、インシデント管理テーブル２１を参照して、指定された業務に対応する回答文を検索する（ステップＳ２２）。集計部１３は、検索した回答文の中から１つの回答文を選択する（ステップＳ２３）。
【００７０】
そして、集計部１３は、指定された業務に対応する定義ファイルを用いて、回答文を評価する（ステップＳ２４）。定義ファイルは、定義ファイル管理テーブル２２から特定される。業務が「業務Ａ」である場合には、定義ファイル管理テーブル２２から雛型定義ファイル２４が特定される。
【００７１】
そして、集計部１３は、指摘番号ごとに、指摘に関わった者が初めて出現したか否かを判定する（ステップＳ２５）。指摘に関わった者には、担当者並びに承認者および責任者などのレビュアーが含まれる。指摘に関わった者が初めて出現したと判定した場合には（ステップＳ２５；Ｙｅｓ）、集計部１３は、指摘番号ごとに、指摘に関わった者の数をカウントアップする（ステップＳ２６）。そして、集計部１３は、ステップＳ２７に移行する。
【００７２】
一方、指摘に関わった者が初めて出現したわけではないと判定した場合には（ステップＳ２５；Ｎｏ）、集計部１３は、ステップＳ２７に移行する。
【００７３】
ステップＳ２７において、集計部１３は、ヒットした件数分の回答文を処理したか否かを判定する（ステップＳ２７）。ヒットした件数分の回答文を処理していないと判定した場合には（ステップＳ２７；Ｎｏ）、集計部１３は、処理していない回答文を選択すべく、ステップＳ２３に移行する。
【００７４】
一方、ヒットした件数分の回答文を処理したと判定した場合には（ステップＳ２７；Ｙｅｓ）、判定部１４は、判定関数管理テーブル２３を参照し、指定された業務に対応する判定関数を取得する（ステップＳ２８）。そして、判定部１４は、１つの指摘番号を選択する（ステップＳ２９）。そして、判定部１４は、選択した指摘番号の指摘に関わった者の数を取得する（ステップＳ３０）。そして、判定部１４は、判定関数を用いて、指摘に関わった者の数に対応する判定値を計算する（ステップＳ３１）。
【００７５】
続いて、判定部１４は、計算した判定値が閾値以上であるか否かを判定する（ステップＳ３２）。判定値が閾値以上であると判定した場合には（ステップＳ３２；Ｙｅｓ）、判定部１４は、選択した指摘番号をホワイトリストに追加する（ステップＳ３３）。そして、判定部１４は、ステップＳ３４に移行する。
【００７６】
一方、判定値が閾値以上でないと判定した場合には（ステップＳ３２；Ｎｏ）、判定部１４は、ステップＳ３４に移行する。
【００７７】
ステップＳ３４において、判定部１４は、指摘番号数分を繰り返したか否かを判定する（ステップＳ３４）。指摘番号数分を繰り返していないと判定した場合には（ステップＳ３４；Ｎｏ）、判定部１４は、未選択の指摘番号を選択すべく、ステップＳ２９に移行する。
【００７８】
一方、指摘番号数分を繰り返したと判定した場合には（ステップＳ３４；Ｙｅｓ）、定義ファイル生成部１５は、指定された定義ファイルを読み込む（ステップＳ３５）。定義ファイルは、定義ファイル管理テーブル２２から特定される。業務が「業務Ａ」である場合には、定義ファイル管理テーブル２２から雛型定義ファイル２４が特定される。
【００７９】
定義ファイル生成部１５は、読み込んだ指摘番号の中から、ホワイトリストに設定された指摘番号の指摘項目を除外する（ステップＳ３６）。すなわち、定義ファイル生成部１５は、除外後の複数の指摘番号の指摘項目を、特定した業務に対応する指摘項目として、指定された業務に対応する定義ファイル２５を生成する。
【００８０】
そして、定義ファイル生成部１５は、指定された業務の定義ファイル２５を出力する（ステップＳ３７）。そして、定義ファイル生成部１５は、定義ファイル管理テーブル２２の、指定された業務に対応する定義ファイル名２２ｂを、生成された定義ファイル２５に更新する。そして、定義ファイル生成部１５は、定義ファイル生成処理を終了する。
【００８１】
なお、上記実施例では、集計部１３は、定義ファイルの生成を所望する属性区分の指定を受け付けると、インシデント管理テーブル２１を参照して、指定を受け付けた属性区分に対応する回答文を検索する。集計部１３は、検索した回答文を１つずつ選択し、選択した回答文の入力を受け付けると、特定した定義ファイルを用いて、回答文を再評価する。集計部１３は、再評価の結果、指摘された項目の指摘番号に対して、既評価の際にこの指摘に関わった担当者およびレビュアーの数をカウントアップする。しかしながら、集計部１３は、これに限定されず、担当者およびレビュアーそれぞれに重みを付けて集計しても良い。例えば、集計部１３は、担当者およびレビュアーそれぞれに、属性区分の経験年数に応じた重みを付けて集計しても良い。これにより、集計部１３は、指摘に関わった担当者およびレビュアーの数を、重みを付けて指摘に関わった担当者およびレビュアーの数を集計することで、集計部１３は、この指摘を使わなかったことの正当性を検出することができる。集計することで、この指摘を使わなかったことの正当性を精度良く検出することができる。
【００８２】
［実施例の効果］
このようにして、評価装置１は、インシデントの指定を受け付けると、インシデントの管理情報を記憶するインシデント管理テーブル２１を参照して、指定されたインシデントに対応する属性区分を特定する。評価装置１は、インシデントに関する回答文の評価に関する定義ファイルを属性区分ごとに記憶する定義ファイル管理テーブル２２を参照して、特定した属性区分に対応する定義ファイルを特定する。評価装置１は、指定されたインシデントに関する回答文の入力を受け付けると、特定した定義ファイルに基づき、入力された回答文の評価を行う。かかる構成によれば、評価装置１は、属性区分に応じた回答文の作成を支援することができる。例えば、評価装置１は、インシデントの回答文が評価される場合に、インシデントを発行したユーザ、業務や利用シーンに応じた、評価に関する定義ファイルを自動で変更することができる。この結果、評価装置１は、自動で変更した定義ファイルを用いて回答文を評価し、評価結果に基づいて回答文を修正することができる。
【００８３】
また、評価装置１は、回答文の評価に関する複数の指摘項目の中から選択された指摘項目に基づいて、回答文を修正する。かかる構成によれば、評価装置１は、複数の指摘項目について、一括して回答文を修正するのではなく、選択された指摘項目について、回答文を修正することができ、回答文の属性区分に応じて修正することができる。
【００８４】
また、評価装置１は、回答文の評価に関する複数の指摘項目の選択状況と属性区分との対応関係を示す情報を参照して、特定した属性区分に対応付けられた選択状況を特定する。評価装置１は、特定した選択状況に基づき、特定した属性区分に対応する定義ファイルを生成する。かかる構成によれば、評価装置１は、属性区分に対応付けられた、指摘項目の選択状況を用いることで、属性区分に応じた定義ファイルを自動で生成することができる。
【００８５】
また、評価装置１は、属性区分に対応する判定関数であって選択状況と選択が正当であるか否かを判定する判定値とを対応付けた判定関数を用いて、特定した選択状況に対応する判定値を算出する。評価装置１は、算出した判定値を用いて、属性区分に対応する定義ファイルを生成する。かかる構成によれば、評価装置１は、属性区分に対応する判定関数を用いることで、属性区分に応じた定義ファイルを自動で生成することができる。
【００８６】
また、評価装置１は、回答文の評価に関する複数の指摘項目にそれぞれが対応付けられた複数の操作部品を評価画面に表示する。評価装置１は、表示した複数の操作部品への操作の受け付け状況と属性区分との対応関係を示す情報を参照して、特定した属性区分に対応付けられた操作の受付状況を特定する。評価装置１は、特定した操作の受付状況に基づき、定義ファイルを更新する。かかる構成によれば、評価装置１は、属性区分に対応付けられた、指摘項目の受け付け状況を用いることで、属性区分に応じた定義ファイルを自動で生成することができる。
【００８７】
［その他］
なお、実施例では、属性区分（例えば、業務）に対して、評価部１２によって評価された際に使わないと判断された指摘項目を集計の対象とした。すなわち、集計部１３は、再評価の結果、指摘された定義項目の指摘番号に対して、評価部１２によって評価された際にこの指摘に関わった担当者およびレビュアーの数をカウントアップする。そして、判定部１４は、指摘番号ごとに、指摘に関わった担当者およびレビュアーの数に対応する判定値を算出し、算出した判定値が閾値以上である場合には、指摘項目の指摘番号をホワイトリストに追加する。すなわち、定義ファイル２５には、業務において必要な指摘項目が設定されるために、雛型定義ファイル２４に含まれる指摘項目の中の不要な指摘項目をいれこむホワイトリストが利用される。しかしながら、実施例では、これに限定されず、定義ファイル２５には、指摘項目において必要な業務が設定されても良く、雛型定義ファイル２４に含まれる業務の中の不要な業務をいれこむ不要業務リストが利用される場合であっても良い。
【００８８】
かかる場合には、指摘項目に対して、評価部１２によって評価された際に使わないと判断された業務を集計の対象とする。すなわち、集計部１３は、再評価の結果、使わないと判断された業務に対して、評価部１２によって評価された際にこの業務の使わない判断に関わった担当者およびレビュアーの数をカウントアップする。そして、判定部１４は、指摘番号ごとに、この業務の使わない判断に関わった担当者およびレビュアーの数に対応する判定値を算出し、算出した判定値が閾値以上である場合には、この業務の業務名を不要業務リストに追加する。そして、定義ファイル生成部１５は、雛型定義ファイル２４に定義された業務名のうち、指摘項目に対する不要業務リストに設定された業務名を除外して、指摘項目に対する定義ファイル２５を生成すれば良い。
【００８９】
また、評価装置１は、既知のパーソナルコンピュータ、ワークステーションなどの情報処理装置に、上記した制御部１０および記憶部２０などの各機能を搭載することによって実現することができる。
【００９０】
また、上記実施例では、図示した装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、集計部１３および判定部１４を統合しても良い。評価部１２を、回答文を校閲する校閲部と、校閲結果に基づき回答文を校正する校正部とに分散しても良い。記憶部２０を評価装置１の外部装置としてネットワーク経由で接続するようにしても良い。
【００９１】
また、上記実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した評価装置１と同様の機能を実現する評価プログラムを実行するコンピュータの一例を説明する。図１２は、評価プログラムを実行するコンピュータの一例を示す図である。
【００９２】
図１２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９を制御する表示制御部２０７とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、ドライブ装置２１３、入力装置２１５、通信制御部２１７は、バス２１９で接続されている。
【００９３】
ドライブ装置２１３は、例えばリムーバブルディスク２１１用の装置である。ＨＤＤ２０５は、評価プログラム２０５ａおよび評価関連情報２０５ｂを記憶する。
【００９４】
ＣＰＵ２０３は、評価プログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは、評価装置１の各機能部に対応する。評価関連情報２０５ｂは、インシデント管理テーブル２１、定義ファイル管理テーブル２２、判定関数管理テーブル２３、雛型定義ファイル２４および定義ファイル２５に対応する。そして、例えばリムーバブルディスク２１１が、評価プログラム２０５ａなどの各情報を記憶する。
【００９５】
なお、評価プログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらから評価プログラム２０５ａを読み出して実行するようにしても良い。
【符号の説明】
【００９６】
１  評価装置
１０  制御部
１１  特定部
１２  評価部
１３  集計部
１４  判定部
１５  定義ファイル生成部
２０  記憶部
２１  インシデント管理テーブル
２２  定義ファイル管理テーブル
２３  判定関数管理テーブル
２４  雛型定義ファイル
２５  定義ファイル
【図１】
2019012344.tif 000003
【図２】
2019012344.tif 000004
【図３】
2019012344.tif 000005
【図４】
2019012344.tif 000006
【図５】
2019012344.tif 000007
【図６】
2019012344.tif 000008
【図７】
2019012344.tif 000009
【図８】
2019012344.tif 000010
【図９Ａ】
2019012344.tif 000011
【図９Ｂ】
2019012344.tif 000012
【図９Ｃ】
2019012344.tif 000013
【図１０】
2019012344.tif 000014
【図１１】
2019012344.tif 000015
【図１２】
2019012344.tif 000016