(57)【要約】【課題】審査業務を行う作業者の人数に関わらず、個々の作業者の審査レベルを把握することができる審査システムを提供する。【解決手段】帳票に記載された内容に関する質問を作業者端末に送信し、作業者により入力された前記質問に対する回答を前記作業者端末から受信する通信部と、前記回答が正しいか否かを判定し、判定した結果に基づいて前記質問に対する正答率を算出する回答判定部と、前記正答率に基づいて、前記作業者による帳票の審査業務における習熟度を示す審査レベルを判定する審査レベル判定部を有する。【選択図】図１
2019117476.tif 000002
【特許請求の範囲】
【請求項１】
帳票に記載された内容に関する質問を作業者端末に送信し、作業者により入力された前記質問に対する回答を前記作業者端末から受信する通信部と、
前記回答が正しいか否かを判定し、判定した結果に基づいて前記質問に対する正答率を算出する回答判定部と、
前記正答率に基づいて、前記作業者による帳票の審査業務における習熟度を示す審査レベルを判定する審査レベル判定部
を有する
ことを特徴とする審査管理サーバ。
【請求項２】
前記審査レベル判定部は、前記作業者が前記回答を前記作業者端末に入力するまでに要した回答時間を取得し、取得した前記回答時間に基づいて、前記作業者の前記審査レベルを判定する
ことを特徴とする請求項１に記載の審査管理サーバ。
【請求項３】
前記質問を難易度と対応付けて記憶する質問データ記憶部を更に有し、
前記審査レベル判定部は、前記回答に対応する質問の難易度に基づいて、前記作業者の前記審査レベルを判定する
ことを特徴とする請求項１又は請求項２に記載の審査管理サーバ。
【請求項４】
前記審査レベル判定部は、推定モデルに前記回答を入力することにより、前記作業者の前記審査レベルを判定し、
前記推定モデルは、帳票に記載された内容に関する質問に対する回答に、当該帳票の審査業務における習熟度が対応づけられた学習データを用いて機械学習を実行することにより生成されたモデルである
ことを特徴とする請求項１から請求項３のいずれか一項に記載の審査管理サーバ。
【請求項５】
帳票に記載された内容に関する質問に難易度を対応付けて記憶する質問データ記憶部と、
前記質問に対する回答を行う作業者を前記帳票の審査業務における習熟度を示す審査レベルと対応付けて記憶する審査レベル記憶部と、
前記審査レベル記憶部に記憶された作業者に回答させる質問を、前記質問データ記憶部に記憶された前記質問の中から、前記質問データ記憶部に記憶された難易度、及び前記審査レベル記憶部に記憶された前記審査レベルに基づいて選択する質問選択部と、
前記質問選択部により選択された質問を作業者端末に送信し、前記作業者端末から前記作業者が入力した質問に対する回答を受信する通信部と、
を有する
ことを特徴とする審査管理サーバ。
【請求項６】
帳票に記載された内容に関する質問を作業者端末に送信し、前記作業者端末から作業者により入力された前記質問に対する回答を受信する通信部と、
前記回答が正しいか否かを判定し、判定した結果に基づいて前記質問に対する正答率を算出する回答判定部と、
前記正答率に基づいて、前記質問を複数の前記作業者に回答させるか否かを決定する質問決定部と、
を有する
ことを特徴とする審査管理サーバ。
【請求項７】
請求項１から請求項６のいずれか一項に記載の審査管理サーバと、
前記審査管理サーバから票に記載された内容に関する質問を受信し、作業者により入力された前記質問に対する回答を前記審査管理サーバに送信する作業者端末
を有する
ことを特徴とする審査システム。
【請求項８】
通信部が、帳票に記載された内容に関する質問を作業者端末に送信し、作業者により入力された前記質問に対する回答を前記作業者端末から受信する工程と、
回答判定部が、前記回答が正しいか否かを判定し、判定した結果に基づいて前記作業者における前記質問に対する正答率を算出する工程と、
審査レベル判定部が、前記正答率に基づいて、前記作業者に対する帳票の審査業務における習熟度を示す審査レベルを判定する工程
を有する
ことを特徴とする審査管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、帳票に記載された内容を審査する審査業務に用いられる審査サーバ、審査システム、審査管理方法に関する。
【背景技術】
【０００２】
帳票で所定の申請が行われた場合、申請が正しく行われているか否かを審査する審査業務においては、帳票にある日付、郵便番号、氏名、生年月日、会社名等の多数の項目が正しく記載されているか確認する必要がある。また、添付書類が必要な場合には、必要な添付書類が正しく添付されているか確認する必要もある。このため、審査業務では、日付等が正しく記載されていることをチェックするだけでなく、どのような場合にどのような添付書類が必要であるかを正しく理解した上で、必要な添付書類が正しく添付されているか確認する必要がある。このような多数の項目が記載された申請書類などの帳票において、記載された内容に不備がないかを正確に審査するための技術が開示されている（例えば、特許文献１）。
【０００３】
特許文献１に記載の審査業務では、審査業務を行う作業者に、帳票に記載された内容に関する質問が列挙されたリストを提示し、作業者がそのリストに記載された質問に回答を入力することで審査業務が運用されている。作業者に提示される質問は、記載項目や記載内容に応じて設定される質問であり、例えば、「本人確認書類が添付されているか」、あるいは「本人確認書類に記載された氏名と、申請書類に記載された氏名とが一致しているか」等である。作業者がこれらの質問に回答していくことで、記載内容の全項目に対して審査要件を満たすか否かを確認することが可能となる。
【０００４】
また、審査業務には正確性は勿論のこと、作業の効率も要求される。審査業務における質問リストには、比較的簡単に回答することが可能なものと、そうでないものとが混在しており、尚且つ、作業者により書類を審査する能力のばらつきがある。例えば、ある作業者は「書類が添付されているか」という質問に対しては正確な回答を入力することができるが、「氏名が一致しているか」という質問に対しては、氏名に不一致があるにも拘らず見落としてしまい、誤った回答を入力することがある。また、ある作業者は「書類が添付されているか」という質問に対しては迅速に回答することができるが「氏名が一致しているか」という質問に対しては、確認に時間がかかり、迅速に回答することができない。
このような場合、作業者を管理する管理者は、審査業務に支障をきたさないように比較的確認に時間がかかる質問や、回答に誤りが多い質問には、習熟度が高い作業者に対応させる等して審査体制を工夫して対応している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１４７３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、審査業務にあたる作業者の人数が多くなると、個々の作業者の審査レベルを把握することが難しく、運用が困難となる問題があった。
【０００７】
上述の課題を鑑み、本発明は、審査業務を行う作業者の人数に関わらず、個々の作業者の審査レベルを把握することができる審査システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る審査管理サーバは、帳票に記載された内容に関する質問を作業者端末に送信し、作業者により入力された前記質問に対する回答を前記作業者端末から受信する通信部と、前記回答が正しいか否かを判定し、判定した結果に基づいて前記質問に対する正答率を算出する回答判定部と、前記正答率に基づいて、前記作業者による帳票の審査業務における習熟度を示す審査レベルを判定する審査レベル判定部を有することを特徴とする。
【０００９】
本発明の他の一態様に係る審査管理サーバでは、前記審査レベル判定部は、前記作業者が前記回答を前記作業者端末に入力するまでに要した回答時間を取得し、取得した前記回答時間に基づいて、前記作業者の前記審査レベルを判定することを特徴とする。
【００１０】
本発明の他の一態様に係る審査管理サーバでは、前記質問を難易度と対応付けて記憶する質問データ記憶部を更に有し、前記審査レベル判定部は、前記回答に対応する質問の難易度に基づいて、前記作業者の前記審査レベルを判定することを特徴とする。
【００１１】
本発明の他の一態様に係る審査管理サーバでは、前記審査レベル判定部は、推定モデルに前記回答を入力することにより、前記作業者の前記審査レベルを判定し、前記推定モデルは、帳票に記載された内容に関する質問に対する回答に、当該帳票の審査業務における習熟度が対応づけられた学習データを用いて機械学習を実行することにより生成されたモデルであることを特徴とする。
【００１２】
本発明の他の一態様に係る審査管理サーバは、帳票に記載された内容に関する質問に難易度を対応付けて記憶する質問データ記憶部と、前記質問に対する回答を行う作業者を前記帳票の審査業務における習熟度を示す審査レベルと対応付けて記憶する審査レベル記憶部と、前記審査レベル記憶部に記憶された作業者に回答させる質問を、前記質問データ記憶部に記憶された前記質問の中から、前記質問データ記憶部に記憶された難易度、及び前記審査レベル記憶部に記憶された前記審査レベルに基づいて選択する質問選択部と、前記質問選択部により選択された質問を作業者端末に送信し、前記作業者端末から前記作業者が入力した質問に対する回答を受信する通信部と、を有することを特徴とする。
【００１３】
本発明の他の一態様に係る審査管理サーバは、帳票に記載された内容に関する質問を作業者端末に送信し、前記作業者端末から作業者により入力された前記質問に対する回答を受信する通信部と、前記回答が正しいか否かを判定し、判定した結果に基づいて前記質問に対する正答率を算出する回答判定部と、前記正答率に基づいて、前記質問を複数の前記作業者に回答させるか否かを決定する質問決定部と、を有することを特徴とする。
【００１４】
本発明の他の一態様に係る審査管理システムは、上記に記載の審査管理サーバと、前記審査管理サーバから票に記載された内容に関する質問を受信し、作業者により入力された前記質問に対する回答を前記審査管理サーバに送信する作業者端末を有することを特徴とする。
【００１５】
本発明の他の一態様に係る審査管理方法は、通信部が、帳票に記載された内容に関する質問を作業者端末に送信し、作業者により入力された前記質問に対する回答を前記作業者端末から受信する工程と、回答判定部が、前記回答が正しいか否かを判定し、判定した結果に基づいて前記作業者における前記質問に対する正答率を算出する工程と、審査レベル判定部が、前記正答率に基づいて、前記作業者に対する帳票の審査業務における習熟度を示す審査レベルを判定する工程を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、審査業務を行う作業者の人数に関わらず、個々の作業者の審査レベルを把握することができる。このため、作業者の審査レベルに応じて、効率よく審査業務を運用することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態に係る審査システム１の概要を示すブロック図である。
【図２】第１の実施形態に係る作業者端末１１の構成例を示すブロック図である。
【図３】第１の実施形態に係る作業者端末１１に表示される質問の例を示す図である。
【図４】第１の実施形態に係る審査管理サーバ１２に記憶されるデータの例を示す図である。
【図５】第１の実施形態に係る審査システム１での処理を示すシーケンス図である。
【図６】第２の実施形態に係る審査管理サーバ１２Ａの構成例を示すブロック図である。
【図７】第２の実施形態に係る審査管理サーバ１２Ａが行う処理の流れを示すフローチャートである。
【図８】第３の実施形態に係る審査管理サーバ１２Ａの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、実施形態の審査サーバ、審査システム、審査管理方法を、図面を参照して説明する。
【００１９】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る審査システム１の概要を示すブロック図である。図１に示すように、第１の実施形態に係る審査システム１は、複数の作業者端末１１（作業者端末１１ａ、１１ｂ、１１ｃ、…）と、審査管理サーバ１２とから構成されている。作業者端末１１は、帳票の審査業務を行う作業者１５（作業者１５ａ、１５ｂ、１５ｃ、…）により操作される。作業者端末１１と、審査管理サーバ１２との間は、ネットワーク１３を介して接続されている。なお、図１の例では、一つの審査管理サーバ１２に複数の作業者端末１１が接続されているが、複数の審査管理サーバ１２に複数の作業者端末１１が接続された構成であってもよい。
【００２０】
審査システム１は、帳票の審査業務を行うシステムである。ここでの帳票の審査業務は、申請内容等が記載された帳票について、記載された内容が申請に必要な審査要件を満たしているかを審査する業務をいう。例えば、申請者が本人であることが審査要件の一つである場合、申請者が本人であることを確認するために、本人確認書類が添付されているか否か、本人確認書類が添付されている場合にはその書類に信ぴょう性があるか否か等も確認する。また、帳票に記載された氏名と本人確認書類に記載された氏名が一致するか否かも確認する。帳票に記載された内容は、必ず何らかの審査要件に基づくものであり、審査業務においては、帳票に記載された内容に対して、審査要件を満たしているか否かを逐一確認する必要がある。
【００２１】
審査システム１は、複数の作業者１５に帳票に記載された内容について質問し、作業者１５から質問に対する回答をさせることで審査業務を行う。具体的には、審査システム１は、例えば、審査管理サーバ１２に、申請内容等が記載された帳票が電子化されたデータ、及び帳票に記載された内容に関する質問のリストを記憶させ、作業者端末１１に申請内容等が記載された帳票と質問のリストとを表示させて、作業者１５に帳票に記載された内容について質問に回答させることで審査業務を進める。
【００２２】
また、審査システム１では、審査管理サーバ１２が作業者１５からの回答に基づいて、作業者１５の審査レベルを把握する。ここでの審査レベルは、審査業務における処理能力の度合をいう。具体的には、審査レベルは、作業者１５が、帳票に記載された内容についての質問に、どの程度、的確に回答できるかを示す度合である。例えば、習熟度が低い作業者１５は、本人確認書類が添付されているか否かは、早く正確に回答することができるが、帳票に記載された氏名と本人確認書類に記載された氏名が一致するか否かは、誤った回答をする場合や、正しい回答をするまでに他の作業者１５と比較して時間がかかる。また、習熟度が中間の作業者１５は、本人確認書類が添付されているか否か、および帳票に記載された氏名と本人確認書類に記載された氏名が一致するか否かについて、早く正確に回答することができるが、書類の信ぴょう性については誤った回答をする場合がある。習熟度が高い作業者１５は、本書類の信ぴょう性についても、早く正確に回答することができる。審査システム１では、審査管理サーバ１２が作業者１５の審査レベルを把握することで、作業者の審査レベルに応じて質問を選択したり、習熟度が高い作業者を要所要所に配置する等の体制を整えることができ、審査業務の効率化を図ることが可能となる。
【００２３】
作業者端末１１は、例えばネットワーク１３に接続された汎用ＰＣ（Personal Computer）である。作業者端末１１は、帳票に記載された内容に関する質問を審査管理サーバ１２から受信し、作業者１５により入力された質問に対する回答を示す回答データを審査管理サーバ１２に送信する。
【００２４】
審査管理サーバ１２は、帳票に記載された内容に関する質問を作業者端末１１に送信し、質問に対する回答を作業者端末１１から受信し、受信した回答に基づいて、作業者１５の審査レベルを判定する。審査管理サーバ１２は、通信部２１と、質問データ記憶部２２と、回答データ記憶部２３と、回答判定部２４と、審査レベル判定部２５と、審査レベル記憶部２６とを有する。
【００２５】
通信部２１は、作業者端末１１に質問データを送信するとともに、作業者端末１１から送信された作業者１５からの回答を示す回答データを受信する。通信部２１は、受信した各作業者１５毎の回答データを、回答判定部２４に出力する。
【００２６】
質問データ記憶部２２は、各作業者端末１１へ送信する質問を示す質問データを記憶する。質問データ記憶部２２が記憶する質問データには、その質問の難易度が対応付けられている。難易度は、例えば、質問レベルＬで示され、質問レベルＬ１〜Ｌ３までの三段階で示される。例えば、質問レベルＬ１は難度の低い質問であり、質問レベルＬ２は中難度、質問レベルＬ３は難度の高い質問である。例えば、帳票に本人確認書類が添付されているかというような質問は、比較的確認が容易であるから、質問レベルＬ１とすることができる。例えば、帳票に記載された氏名と本人確認書類に記載された氏名が一致しているかというような質問は、一文字ずつ確認する必要があるため、比較的確認が難しく、質問レベルＬ２とすることができる。本人確認書類の信ぴょう性を確認するような質問は、知識や経験が必要であることから、初見で正しく確認することは困難であり、質問レベルＬ３とすることができる。なお、どのような質問をどの質問レベルに設定するかは、業務内容や業務量に応じて決定されてよい。
【００２７】
回答データ記憶部２３は、回答判定部２４により判定された各作業者１５毎からの回答の正誤を、質問に対応づけて記憶する。また、回答データ記憶部２３は、回答判定部２４により判定された正答率を、作業者１５に対応づけて記憶する。また、回答データ記憶部２３は、審査レベル判定部２５により取得された回答時間を質問に対応づけて記憶する。
【００２８】
審査レベル記憶部２６は、審査レベル判定部２５により判定された審査レベルを作業者１５に対応付て記憶する。
【００２９】
回答判定部２４は、通信部２１から取得した各作業者１５毎の回答データに基づいて、回答に対する正誤を判定する。回答判定部２４は、判定した回答に対する正誤を回答データ記憶部２３に記憶させる。
【００３０】
回答判定部２４は、例えば、予め用意された質問に対する正しい回答に基づいて、回答が正しいか否かを判定する。
質問に対する正しい回答は、例えば、マッチングという方法により作成される。マッチングは、複数の作業者１５に同じ帳票に記載された内容に対して同じ質問を回答させ、複数の作業者１５の間で回答が不一致（アンマッチ）であった質問に対して、別の習熟度が高い作業者が審査して、正しい回答を入力（マッチング）する。これにより、質問に対する正しい回答を作成することが可能である。なお、複数の作業者１５の間で回答が一致した質問については、その一致した回答が質問に対する正しい回答であるとしてよい。
あるいは、質問に対する正しい回答は、ベリファイという方法により作成されてもよい。ベリファイは、複数の作業者１５に同じ帳票に記載された内容に対して同じ質問を回答させ、複数の作業者１５の間で回答が不一致（アンマッチ）であった質問について、より多い回答を正しい回答とする。或いは、特定の作業者（例えば、習熟度が高い作業者）の回答を正しい回答とする。
【００３１】
また、回答判定部２４は、判定した回答に対する正誤に基づいて、各作業者１５の正答率を算出する。回答判定部２４は、質問の個数に対する正答した個数の割合を算出することにより、正答率を算出する。回答判定部２４は、質問の難易度ごとに正答率を算出するようにしてもよい。回答判定部２４は、算出した正答率を審査レベル記憶部２６に記憶させる。
【００３２】
審査レベル判定部２５は、回答判定部２４から取得した正答率に基いて、各作業者１５の審査レベルを判定する。審査レベル判定部２５は、判定した審査レベルを審査レベル記憶部２６に記憶させる。
【００３３】
審査レベル判定部２５は、例えば、正答率が所定の閾値以上である場合、その回答をした作業者１５を習熟度が高い審査レベルと判定する。また、審査レベル判定部２５は、正答率が所定の閾値未満である場合、その回答をした作業者１５を習熟度が低い審査レベルと判定する。なお、審査レベルは、習熟度が高いか低いかの二つのレベルに限定されることはない。審査レベルは、習熟度が高いか、中程度か、低いかの三つのレベルがあってもよいし、三つ以上のレベルがあってもよい。
【００３４】
また、審査レベル判定部２５は、各作業者１５が回答に要した回答時間を取得してもよい。この場合、審査レベル判定部２５は、各作業者１５の回答時間を回答データ記憶部２３に記憶させる。
【００３５】
回答時間は、例えば、質問が作業者端末１１に表示されてから作業者１５によりその質問に対する回答が入力されるまでの時間である。この場合、例えば、作業者端末１１の制御部５１（図２）が回答時間を計測し、計測した回答時間を回答データと対応づけて審査管理サーバ１２に通知する。こうすることで、審査レベル判定部２５は、通信部２１を介して、回答時間を取得する。
あるいは、回答時間は、審査管理サーバ１２が作業者端末１１に質問データを送信してから、その回答を受信するまでの時間であってもよい。この場合、審査レベル判定部２５は、作業者端末１１に質問データを送信した時刻、および作業者端末１１から回答データを受信した時刻を通信部２１から取得し、取得した時刻に基づいて回答時間を算出することで、回答時間を取得するようにしてもよい。
【００３６】
審査レベル判定部２５は、各作業者１５が回答に要した回答時間を取得した場合、質問の正答率に加え、その質問の回答時間に基づいて、各作業者１５の審査レベルを判定するようにしてもよい。
審査レベル判定部２５は、例えば、正答率が所定の閾値以上で、尚且つ回答時間が所定の時間未満である作業者１５を習熟度が高い審査レベルと判定する。また、審査レベル判定部２５は、正答率が所定の閾値以上で、尚且つ、回答時間が所定の時間以上である作業者１５を習熟度がやや高い審査レベルと判定する。また、審査レベル判定部２５は、正答率が所定の閾値未満で、尚且つ、回答時間が所定の時間未満である作業者１５を習熟度がやや低い審査レベルと判定する。また、審査レベル判定部２５は、正答率が所定の閾値未満で、尚且つ、回答時間が所定の時間以上である作業者１５を習熟度が低い審査レベルと判定する。なお、審査レベル判定部２５が、審査レベルを判定する際に正答率と回答時間とのいずれをより重視して判定するかは、審査業務の対象となる帳票の内容や、審査すべき帳票の量に応じて決定されてよい。
【００３７】
また、審査レベル判定部２５は、質問の正答率に加えて、その質問の難易度に基づいて、各作業者１５の審査レベルを判定するようにしてもよい。この場合、審査レベル判定部２５は、質問データ記憶部２２を参照し、質問の難易度を取得する。
審査レベル判定部２５は、例えば、質問の難易度が、高、中、低の三段階に分類されている場合、難易度が高い高難度の質問の正答率が所定の閾値以上である作業者１５を習熟度が高い審査レベルと判定する。また、審査レベル判定部２５は、高難度の質問の正答率が所定の閾値未満であるが、中難度の質問の正答率が所定の閾値以上である作業者１５を習熟度がやや高い審査レベルと判定する。また、審査レベル判定部２５は、高難度の質問、および中難度の質問の正答率が所定の閾値未満であるが、低難度の質問であれば正答率が所定の閾値以上である作業者１５を習熟度が低い審査レベルと判定する。
【００３８】
図２は、第１の実施形態に係る審査システム１における作業者端末１１の一例を示すブロック図である。図２に示すように、作業者端末１１は、制御部５１と、ＲＯＭ(Read Only Memory)５２と、ＲＡＭ(Random Access Memory)５３と、ストレージデバイス５４と、表示部５５と、入出力インタフェース５６と、通信部５７とを有している。
【００３９】
制御部５１はＣＰＵ(Central Processing Unit)からなり、各種のプログラムコマンドを解釈して、実行する。ＲＯＭ５２には、ブートプログラムが記憶されている。ＲＡＭ５３は、メインメモリとして用いられる。ストレージデバイス５４は、ハードディスクドライブやフラッシュメモリ、光ディスク等からなる。ストレージデバイス５４には、各種のプログラムやデータが記録される。表示部５５には、各種の情報が表示される。表示部５５としては、例えば液晶ディスプレイが用いられる。入出力インタフェース５６には、キーボードやマウス等が接続される。入出力インタフェース５６としては、例えば、ＵＳＢ(Universal Serial Bus)が用いられる。通信部５７は、ＬＡＮ(Local Area Network)や無線ＬＡＮによりデータ通信を行う。各作業者端末１１は、通信部５７を介して、審査管理サーバ１２とデータ通信を行うことができる。
【００４０】
図３は、第１の実施形態に係る作業者端末１１に表示される質問の例を示す図である。図３は、質問データ記憶部２２に記憶された質問データに基づいて、作業者端末１１に質問が表示された表示例を示す。
図３に示すように、作業者端末１１に表示される質問は、帳票の審査に関する質問である。質問データ記憶部２２において、質問に難易度が対応づけられて記憶されている場合、作業者端末１１に表示される質問に質問レベルＬ（質問レベルＬ１、Ｌ２…）が表示されている。この例では、第１問目には質問レベルＬ１の質問が、第２問目には質問レベルＬ３の質問が表示されている。このように、作業者端末１１に質問と共に質問レベルが表示されてもよいし、作業者端末１１には質問のみが表示される態様であってもよい。
図３に示す画像が作業者端末１１に表示されることで、質問Ｑが作業者１５により視認され、質問Ｑに対する回答が複数ある回答Ａ（回答Ａ−１〜Ａ−４）から作業者１５により選択される。
【００４１】
図４は、第１の実施形態に係る審査管理サーバ１２に記憶される情報の構成例を示す図である。図４（Ａ）は、回答データ記憶部２３に記憶される回答データの構成例を示す。図４（Ｂ）は、審査レベル記憶部２６に記憶される審査レベルの構成例を示す。
【００４２】
図４（Ａ）に示すように、回答データは、例えば、氏名、および質問の欄を有する。
氏名には、作業者１５の氏名が記憶される。この例では、３名の作業者が、それぞれ作業者１５ａ（Ａさん）、作業者１５ｂ（Ｂさん）、作業者１５ｃ（Ｃさん）として記憶されている。
質問には、各質問の番号、質問の難易度が記憶され、作業者１５毎に、質問に対する回答の正誤、その質問の回答時間が記憶される。この例では、第１問目は質問レベルＬ１の質問であり、第２問目は質問レベルＬ３の質問であり、第３問目は質問レベルＬ２の質問であり、第４問目は質問レベルＬ１の質問であり、第５問目は質問レベルＬ２の質問である。また、作業者１５ａ（Ａさん）の回答は、第１問から第５問の全てが正答である。また、作業者１５ａ（Ａさん）の第１問から第５問の回答時間は、５秒、７秒、６秒、６秒、５秒である。作業者端末１１ｂを操作している作業者１５ｂ（Ｂさん）の回答は、第１問は正答、第２問は誤答、第３問は正答、第４問は誤答、第５問は正答である。また、作業者１５ｂ（Ｂさん）の第１問から第５問の回答時間は、８秒、１１秒、５秒、１３秒、８秒である。作業者端末１１ｃを操作している作業者１５ｃ（Ｃさん）の回答は、第１問は正答であるが、第２問から第５問は誤答である。また、作業者１５ｃ（Ｃさん）の第１問から第５問の回答時間は、１２秒、２０秒、１６秒、１２秒、１５秒である。
【００４３】
図４（Ｂ）に示すように、審査レベルは、例えば、氏名、および集計項目の欄を有する。
氏名には、図４（Ａ）と同様に、作業者１５の氏名が記憶される。
集計項目には、質問数、正答数、正答率、回答時間（平均）、正答回答時間（平均）、および審査レベルの各欄を有する。質問数には、質問の難易度に対応する質問レベルＬ毎の質問の個数、および合計の質問数が記憶される。正答数には質問レベルＬ毎の正答の個数、および合計の正答数が記憶される。正答率には質問レベルＬ毎の正答率、および合計の正答率が記憶される。回答時間には質問レベルＬ毎の平均の回答時間が記憶される。正答回答時間には質問レベルＬ毎の正答した回答における平均の回答時間が記憶される。審査レベルには、審査レベル判定部２５により判定された審査レベルが記憶される。この例では、作業者１５ａ（Ａさん）は、質問レベルＬ１〜質問レベルＬ３の全ての質問で正答であり、正答率は１００％である。また、作業者１５ａ（Ａさん）の正答回答の平均の回答時間は、質問レベルＬ１が５．５秒、質問レベルＬ２は５．５秒、質問レベルＬ３は７秒である。このように、作業者１５ａ（Ａさん）は、どの質問レベルでも正答率が高く、正答回答に要した回答時間も短いことから、審査レベルは「Ａ」と評価される。
【００４４】
作業者１５ｂ（Ｂさん）は、質問レベルＬ１の正答率が５０％、質問レベルＬ２の正答率が１００％、質問レベルＬ３の正答率が０％である。また、作業者１５ｂ（Ｂさん）の正答回答の平均の回答時間は、質問レベルＬ１が８秒、質問レベルＬ２は６．５秒であり、質問レベルＬ３は正答に至っていない。このように、作業者１５ｂ（Ｂさん）は、質問レベルが低い場合には比較的正答率は高いが、質問レベルＬ３の正答率は低い。また、正答回答に要した回答時間も、比較的長い。このことから、審査レベルは「Ｂ」と評価される。
【００４５】
作業者１５ｃ（Ｃさん）は、質問レベルＬ１の正答率が５０％、質問レベルＬ２の正答率が０％、質問レベルＬ３の正答率が０％である。また、作業者１５ｃ（Ｃさん）の正答回答の平均の回答時間は、質問レベルＬ１が１２秒、質問レベルＬ２及び質問レベルＬ３は正答に至っていない。このように、作業者１５ｃ（Ｃさん）は、どの質問レベルでも正答率は低く、正答回答に要した回答時間も長い。このことから、審査レベルは「Ｃ」と評価される。
【００４６】
図５は、第１の実施形態に係る審査システム１での処理を示すシーケンス図である。
【００４７】
（ステップＳ１）審査管理サーバ１２は、作業者端末１１に質問データを送信する。
（ステップＳ２ａ、Ｓ２ｂ、Ｓ２ｃ）審査管理サーバ１２は、質問データを質問データ記憶部２２から抽出し、質問データを作業者端末１１に送信する。
【００４８】
（ステップＳ３ａ、３ｂ、３ｃ）各作業者端末１１の各作業者１５は、審査管理サーバ１２からの質問データを受信し、受信した質問に対する回答を入力する。ここで、作業者端末１１の制御部５１は、作業者１５が回答に要した回答時間を測定する。
（ステップＳ４ａ、４ｂ、４ｃ）各作業者１５による回答の入力が完了すると、各作業者端末１１は、審査管理サーバ１２に、回答データと回答時間を送信する。
【００４９】
（ステップＳ５）審査管理サーバ１２の回答判定部２４は、各作業者端末１１からの回答データを集計し、各作業者１５の正答率を算出する。
（ステップＳ６）審査管理サーバ１２の審査レベル判定部２５は、各作業者端末１１からの回答時間を取得する。審査レベル判定部２５は、取得した回答時間に基づいて、正答した質問に対する回答時間を算出してもよい。また、審査レベル判定部２５は、質問の難易度別に回答時間を算出してもよい。
（ステップＳ７）審査レベル判定部２５は、正答率に基づいて、各作業者１５の審査レベルを判定する。あるいは、審査レベル判定部２５は、正答率と、回答時間、および／または質問の難易度とに基づいて、各作業者１５の審査レベルを判定してもよい。
【００５０】
上述のステップＳ１からステップＳ７の処理は、質問を作業者端末１１に送信する度に繰り返して実行されてよい。
【００５１】
以上説明したように、第１の実施形態の審査管理サーバ１２は、作業者１５の作業者端末１１に、帳票に記載された内容に関する質問データを送信し、作業者端末１１から送られてきた回答データの正答率を集計することで、作業者１５の審査レベルを判定することができる。各作業者１５の審査レベルが判定できるため、各作業者１５の審査レベルに応じて、審査体制を構築すれば、効率的に作業を行うことが可能となる。
また、第１の実施形態の審査管理サーバ１２では、作業者１５が回答に要した回答時間に基づいて、作業者１５の審査レベルを判定するようにしてもよい。回答時間に基づいて審査レベルが判定できるため、同じような正答率を有する作業者１５がいた場合でも、その回答時間に応じて審査レベルを区別して判定することが可能となる。
また、第１の実施形態の審査管理サーバ１２では、質問の難易度に基づいて、作業者１５の審査レベルを判定するようにしてもよい。質問の難易度に基づいて、審査レベルが判定できるため、同じような正答率を有する作業者１５がいた場合でも、正答した質問の難易度に応じて審査レベルを区別して判定することが可能となる。
【００５２】
＜第２の実施形態＞
次に、第２の実施形態について説明する。本実施形態は、審査管理サーバ１２Ａが質問選択部２７を備える点において、上記実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００５３】
図６は、第２の実施形態に係る審査管理サーバ１２Ａの構成例を示すブロック図である。図６に示すように、審査管理サーバ１２Ａは、質問選択部２７を備える。
質問選択部２７は、質問の難易度、及び作業者の審査レベルに基づいて、作業者端末１１に送信する質問を選択する。質問選択部２７は、審査レベル記憶部２６を参照し、作業者１５の審査レベルを取得する。また、質問選択部２７は、質問データ記憶部２２を参照し、質問の難易度を取得する。質問選択部２７は、取得した質問の難易度、及び作業者の審査レベルに基づいて、例えば、審査レベルの高い作業者１５には難易度の高い質問を選択する。また、質問選択部２７は、審査レベルの中くらいの作業者１５には中難度の質問を選択する。また、審査レベルの低い作業者１５には難易度の低い質問を選択する。質問選択部２７は、作業者１５毎に選択した質問を、通信部２１を介して当該作業者１５が操作する作業者端末１１に送信する。
【００５４】
図７は、第２の実施形態に係る審査管理サーバ１２Ａが行う処理の動作例を示すフローチャートである。図７は、質問選択部２７が質問を選択する処理の流れを示す。
（ステップＳ１０１）審査管理サーバ１２Ａは、審査レベル毎に質問データを振り分ける設定になっているか否かを判定する。
（ステップＳ１０２）審査レベル毎に質問データを振り分ける設定になっていない場合には（ステップＳ１０１：Ｎｏ）、質問選択部２７は、作業者１５の審査レベルとは無関係に、質問データ記憶部２２から質問データを抽出する。
【００５５】
（ステップＳ１０３）審査レベル毎に質問データを振り分ける設定になっている場合には（ステップＳ１０１：Ｙｅｓ）、質問選択部２７は、審査レベル記憶部２６から、各作業者１５の審査レベルの情報を取得する。
（ステップＳ１０４）質問選択部２７は、各作業者１５の審査レベルに応じて、質問データ記憶部２２から質問データを抽出する。したがって、この場合、各作業者１５の各作業者端末１１には、各作業者１５の審査レベルに応じて、質問データが選択して、送られることになる。
【００５６】
これにより、第２の実施形態に係る審査管理サーバ１２Ａは、作業者１５の審査レベルに応じた難易度の質問を選択することができるため、審査レベルの高い作業者１５に簡単な質問を回答させたり、審査レベルの低い作業者１５に高度な質問を回答させたりして審査効率を低下させてしまうことを抑制することが可能となる。
【００５７】
なお、上述した実施形態において、審査レベル判定部２５は、作業者１５からの回答データに基づいて、審査レベルを判定し、判定した審査レベルを審査レベル記憶部２６に記憶させることで、作業者１５の審査レベルを更新してよい。これにより、作業者１５に対し、より適切な審査レベルに応じた質問を選択することが可能となる。
【００５８】
＜第３の実施形態＞
次に、第３の実施形態について説明する。本実施形態では、質問決定部２８を有する点において、上記実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００５９】
図８は、第３の実施形態に係る審査管理サーバ１２Ｂの構成例を示すブロック図である。図８に示すように、審査管理サーバ１２Ｂは、質問選択部２７を備える。
一般に、高難度の質問に対しては、複数の作業者１５にそれぞれ回答させる。高難度の質問を、複数の作業者１５にそれぞれ回答させることで、マッチングにより正答を得ることが可能となる。しかしながら、複数の作業者１５に同じ質問について回答させるため、効率が低下する場合も考えられる。
本実施形態の質問決定部２８は、高難度の質問に対し、複数の作業者１５の各々の作業者端末１１に当該高難度の質問を送信する。質問を二人の作業者１５に回答させるか、三人以上の作業者１５に回答させるか、複数の作業者１５の審査レベル等は、質問の難易度や審査業務の状況に応じて任意に決定されてよい。
質問決定部２８は、送信した質問に対し、複数の作業者１５にそれぞれからの回答が一致した場合、その質問を複数の作業者１５に送信することを止め、以降、その質問を一人の作業者１５に送信する。高難度の質問であっても、複数人の作業者１５の回答が一致する場合には、マッチングにより正答を得なくとも、一人の作業者１５の回答が正しい回答とみなしてよいと判断できるためである。
【００６０】
こうすることで、第３の実施形態に係る審査管理サーバ１２Ｂは、質問に対する回答結果に応じて、その質問を複数回の回答をさせる質問とするか否かを判定することができ、質問の難易度に関わらず、正答が得られにくい質問がある場合に複数の作業者１５に回答させてマッチングにより正答を得たり、高難度の質問であっても正答が得やすい質問がある場合にマッチングすることなく一人の作業者１５の回答を正答としたりすることができ、効率よく正答を得ることが可能となる。
【００６１】
＜実施形態の変形例＞
次に、実施形態の変形例について説明する。
本変形例では、審査レベル判定部２５が、推定モデルに回答データを入力することにより、審査レベルを判定する点において、上述した実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
【００６２】
審査レベル判定部２５が判定に用いる推定モデルは、入力データに審査レベルが対応づけられた学習データを用いて機械学習を実行することにより作成されたモデルである。ここで、推定モデルを作成する機械学習の技法としては、決定木学習、ニューラルネットワーク、遺伝的プログラミング、サポートベクタマシンなどの一般的に用いられている技法のいずれを用いてもよい。
【００６３】
また、学習データは、例えば、過去にあった類似する事例であって、尚且つ、審査業務が効率よく行われた事例である。つまり、作業者１５の個々の審査レベルを判定し、判定した結果に基づいて審査体制を構築することで審査業務が効率よく行われた事例において、作業者１５に回答させた質問の難易度や、作業者１５がした回答の正誤、その質問のおよび回答時間等を示すデータに、その過去の事例において作業者１５が判定された審査レベルが対応づけられたデータである。
【００６４】
推定モデルは、入力された質問の難易度や正答の回答時間等を示すデータに対し、学習済みのデータの中から質問の難易度等の組合せが同じようなものを抽出し、抽出したデータに対応づけられた審査レベルを出力する。学習データが過去において審査業務が効率よく行われた事例に基づくものであれば、過去の事例と同じような難易度の質問に対し、同じような回答時間で正答を回答する作業者１５に、同じような審査レベルを判定することで過去の事例と同様に、審査業務が効率よく行われる可能性が高い。
【００６５】
これにより、本変形例の審査管理サーバ１２（１２Ａ、１２Ｂ）は、機械学習により作成された推定モデルを用いて審査レベルを判定することができる。このため、審査レベル判定部２５は、推定モデルに回答データを入力するだけで、適切な審査レベルを判定することができる。推定モデルが機械学習により作成されるモデルであることから、時間経過に対する正答率の変化を示すデータ等、審査レベルに関連していると考えられるが、閾値などを用いて直接的に審査レベルを判定することが困難なデータを審査レベルの判定に用いることも可能である。
【００６６】
上述した実施形態における審査システム１、審査管理サーバ１２（１２Ａ、１２Ｂ）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００６７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６８】
１…審査システム、１１…作業者端末、１２（１２Ａ、１２Ｂ）…審査管理サーバ、２１…通信部、２２…質問データ記憶部、２３…回答データ記憶部、２４…回答判定部、２５…審査レベル判定部、２６…審査レベル記憶部、２７…質問選択部、２８…質問決定部
【図１】
2019117476.tif 000003
【図２】
2019117476.tif 000004
【図３】
2019117476.tif 000005
【図４】
2019117476.tif 000006
【図５】
2019117476.tif 000007
【図６】
2019117476.tif 000008
【図７】
2019117476.tif 000009
【図８】
2019117476.tif 000010