(57)【要約】【課題】答案の分類作業の効率化を実現することを可能とした答案分類支援システムを提供する。【解決手段】クライテリアによって調査対象者の理解傾向を調査する調査項目が反映された設問に対する答案を分類する。クライテリアは、調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含む。答案データの画像データを認識し答案テキストデータを生成する認識エンジン１３と、答案テキストデータを記憶する答案テキスト記憶部１４と、クライテリオンを記憶するクライテリア記憶部１５と、クライテリオンに関連付いたテキスト判断データを記憶するテキスト判断記憶部１６と、答案テキストデータの中からテキスト判断データと一致するテキストデータを検出したとき、当該テキスト判断データに関連するクライテリオンに対する判断を選択済みとするテキスト判断部１７とを備える。【選択図】図３
2020013178.tif 000002
【特許請求の範囲】
【請求項１】
クライテリアによって調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類支援システムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記答案に関する答案データであって、画像データおよび音声データのうちの少なくとも１つの認識用データを含む前記答案データを記憶する答案記憶部と、
前記認識用データを認識し答案テキストデータを生成する認識エンジンと、
前記答案テキストデータを記憶する答案テキスト記憶部と、
複数の前記クライテリオンを記憶するクライテリア記憶部と、
前記クライテリオンに関連付いたテキスト判断データを記憶するテキスト判断記憶部と、
前記答案テキストデータの中に前記テキスト判断データが存在するとき、そのテキスト判断データに関連するクライテリオンに対する判断を、選択済みとするテキスト判断部とを備える答案分類支援システム。
【請求項２】
前記答案分類支援システムは、
さらに、前記テキスト判断データとして新たに追加するための追記データを記憶する追記記憶部と、
前記追記記憶部に記憶された追記データを受理したとき、前記追記データを前記テキスト判断記憶部に新たな前記テキスト判断データとして記憶するテキスト判断管理部と
を備える請求項１に記載の答案分類支援システム。
【請求項３】
前記答案分類支援システムは、
ネットワークを介して分類作業を行う作業者が使用する作業者用クライアント端末と、分類作業を管理する管理者が使用する管理者用クライアント端末とが接続されており、
前記追記記憶部は、前記作業者用クライアント端末で入力された前記追記データを記憶し、
前記テキスト判断管理部は、前記管理者用クライアント端末での操作に従って、前記追記記憶部に記憶されている前記追記データを、前記テキスト判断記憶部に新たな前記テキスト判断データとして記憶する
を備える請求項２に記載の答案分類支援システム。
【請求項４】
クライテリアによって調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類支援方法であって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
答案テキスト記憶部が前記答案に関する答案データに含まれる画像データおよび音声データのうちの少なくとも１つの認識用データを認識して生成された答案テキストデータを記憶しており、
クライテリア記憶部が前記クライテリオンを記憶しており、
テキスト判断記憶部が前記クライテリオンに関連付いたテキスト判断データを記憶しており、
前記答案分類支援方法は、
前記答案テキストデータの中に前記テキスト判断データが存在するとき、テキスト判断部がそのテキスト判断データに関連するクライテリオンに対する判断を、選択済みとする
答案分類支援方法。
【請求項５】
クライテリアによって調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類支援プログラムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
答案テキスト記憶部が前記答案に関する答案データに含まれる画像データおよび音声データのうちの少なくとも１つの認識用データを認識して生成された答案テキストデータを記憶しており、
クライテリア記憶部が前記クライテリオンを記憶しており、
テキスト判断記憶部が前記クライテリオンに関連付いたテキスト判断データを記憶しており、
コンピュータを、
前記答案テキストデータの中に前記テキスト判断データが存在するとき、そのテキスト判断データに関連するクライテリオンに対する判断を、選択済みとするテキスト判断部
として機能させる答案分類支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類支援システム、答案分類支援方法、および、答案分類支援プログラムに関する。
【背景技術】
【０００２】
学力試験の中には、受験者の優劣を決定するのではなく、国または地方公共団体などが行う調査であって、特定の学習項目に対する調査対象者の理解傾向を多面的に調査し、教育課題を抽出する学力調査がある。このような学力調査においては、国または地方公共団体において悉皆調査が採用される場合があり、その場合、対象者数が極めて多くなり、例えば１００万人以上の規模となることがある。この種の学力調査においては、調査対象者の答案の正誤を判定するほかに、調査対象者の答案を調査対象者の学習項目の理解傾向に合わせて分類することが行われる。そして、このような答案分類作業を支援するシステムとして特許文献１に記載されたようなものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
答案分類作業を支援するシステムでは、大勢の採点者がクライアント端末で採点作業を行い、多くの答案を分類している。このようなシステムにあっては、分類作業の更なる効率化が求められている。
【０００５】
本発明は、上記課題を解決するためになされたものであり、その目的は、答案の分類作業の効率化を実現することを可能とした答案分類支援システム、答案分類支援方法、および、答案分類支援プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決する答案分類支援システムは、クライテリアによって調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類支援システムであって、前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、前記答案に関する答案データであって、画像データおよび音声データのうちの少なくとも１つの認識用データを含む前記答案データを記憶する答案記憶部と、前記認識用データを認識し答案テキストデータを生成する認識エンジンと、前記答案テキストデータを記憶する答案テキスト記憶部と、複数の前記クライテリオンを記憶するクライテリア記憶部と、前記クライテリオンに関連付いたテキスト判断データを記憶するテキスト判断記憶部と、前記答案テキストデータの中に前記テキスト判断データが存在するとき、そのテキスト判断データに関連するクライテリオンに対する判断を、選択済みとするテキスト判断部とを備える。
【０００７】
上記構成によれば、答案テキストデータの中からテキスト判断データと一致するテキストデータを検出したとき、当該テキスト判断データに関連するクライテリオンに対する判断を選択済みにする。したがって、チェックボックスをチェックする手間が省け、答案の分類作業を効率化することができる。
【０００８】
上記答案分類支援システムにおいて、さらに、前記テキスト判断データとして新たに追加するための追記データを記憶する追記記憶部と、前記追記記憶部に記憶された追記データを受理したとき、前記追記データを前記テキスト判断記憶部に新たな前記テキスト判断データとして記憶するテキスト判断管理部とを備えるようにしてもよい。
【０００９】
上記構成によれば、追記データをテキスト判断記憶部に反映するので、テキスト判断記憶部に記憶されるテキスト判断データが増え、クライテリオンに対する判断をより正確に行うことができる。
【００１０】
上記答案分類支援システムにおいて、ネットワークを介して分類作業を行う作業者が使用する作業者用クライアント端末と、分類作業を管理する管理者が使用する管理者用クライアント端末とが接続されており、前記追記記憶部は、前記作業者用クライアント端末で入力された前記追記データを記憶し、前記テキスト判断管理部は、前記管理者用クライアント端末での操作に従って、前記追記記憶部に記憶されている前記追記データを、前記テキスト判断記憶部に新たな前記テキスト判断データとして記憶するようにしてもよい。
【００１１】
上記構成によれば、追記データをテキスト判断記憶部に反映させるかどうかの判断を作業者ではなく管理者が行うので、作業者だけの判断によってテキスト判断記憶部に不要なテキスト判断データが登録されるのを防ぐことができる。
【００１２】
また、本発明は、上記答案分類支援システムにより実行される答案分類支援方法である。
更に、本発明は、上記答案分類支援システムを実現する答案分類支援プログラムであり、ネットワークや光ディスク、メモリカードなどのリムーバル記録媒体を介して拡布され、サーバなどのコンピュータにインストールされ、実行される。
【発明の効果】
【００１３】
以上のような構成によれば、答案の分類作業の効率化を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】（ア）は、学力調査における調査項目を反映させた設問の作成手順を示す図、（イ）は、調査項目とクライテリア、クライテリオンとの関係を示す図。
【図２】（ア）は、クライテリアに対する判断例のチェックパターンを示す図、（イ）は、調査対象者の答案におけるクライテリアに対する判断結果のチェックパターンを示す図。
【図３】本実施形態の答案分類処理システムの概略を示すブロック図。
【図４】クライテリア（クライテリオンの集合）を示す図。
【図５】クライテリア記憶部に保存されているテキスト判断データを管理するデータベースを示す図。
【図６】追記データを管理するデータベースを示す図。
【図７】作業者が分類作業をする際に作業者のクライアント端末に表示される作業画面を示す図。
【図８】図７に示す作業画面に追記データを入力するテキスト追記ボックスが表示された状態を示す図。
【図９】管理者のクライアント端末に表示されるデータベースに登録された追記データを管理する管理画面を示す図。
【発明を実施するための形態】
【００１５】
以下、図１〜図９を用いて、答案分類支援システム、答案分類支援方法、および、答案分類支援プログラムを具体化した一実施形態を説明する。
（学力調査の概要）
図１（ア）に示すように、学力調査における設問を作成するにあたっては、最初に、所定の学年で習得することが定められている学習項目Ｌ（Ｌ１，Ｌ２，Ｌ３，Ｌ４…）の中から所定の学習項目Ｌを選択し、選択した学習項目Ｌを反映させた設問Ｑを作成する。具体的には、学習項目Ｌを習得するにあたって必要な学習要素を抽出し、各学習要素の理解度を予測し、学習要素の中から学習項目Ｌの理解傾向を調査するための調査項目Ｍ（Ｍ１，Ｍ２，Ｍ３，Ｍ４…）を決定する。例えば、学習要素としては、足し算、引き算、掛け算、割り算、漢字の読み書き、英単語の意味、英文法、和文英訳、英文和訳、英語の聞き取り、英会話などである。設問Ｑの設問文は、選択された１つまたは複数の調査項目Ｍが含まれるように作成される。調査対象者は、答案Ａ（Ａ１，Ａ２，Ａ３，Ａ４…）に設問Ｑに対する解答を行う。
【００１６】
図１（イ）に示すように、調査対象者の答案Ａ（Ａ１，Ａ２，Ａ３，Ａ４…）の解答を評価し学習項目の理解傾向に合わせて分類する作業者は、クライテリアＣを用いて、答案の分類作業を行う。クライテリアＣは、設問Ｑに反映された調査項目Ｍに対応するクライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）が列挙されている。クライテリオンＣＴは、設問Ｑに対する答案Ａに記載された解答を評価する判断基準であり、各クライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）には、解答を評価するためのチェックボックスＣＢ（ＣＢ１，ＣＢ２，ＣＢ３，ＣＢ４）が対応付けられている。各クライテリオンＣＴは、二者択一式の判断基準であり、作業者によって、各チェックボックスＣＢがチェックされる。クライテリオンＣＴを構成する各判断基準は、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準とされる。各クライテリオンＣＴに対応付けられるチェックボックスＣＢは、１つのボックスで構成して、クライテリオンＣＴの条件を満たしているときに限って、ボックスをチェックする（選択済みとする）構成とする。
【００１７】
図２（ア）に示すように、分類にあたっては、あらかじめ調査項目Ｍに対応するクライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）に対する解答例Ｅ（Ｅ１，Ｅ２，Ｅ３，Ｅ４…）を作成しておく。各解答例Ｅは、調査対象者の答案における調査項目Ｍに関する解答を予測して作成する。そして、調査項目に対する解答結果の予測チェックパターンを解答例Ｅとして複数用意する。例えば、解答例Ｅ１はクライテリオンＣＴ１〜ＣＴ４のチェックボックスＣＢ１〜ＣＢ４の全てにチェックを入れた類型１と定義され、解答例２はクライテリオンＣＴ１，ＣＴ３，ＣＴ４のチェックボックスＣＢ１，ＣＢ３，ＣＢ４にチェックを入れた類型２と定義される。
【００１８】
図２（イ）に示すように、各調査対象者の答案Ａ１〜Ａ４に対しては、クライテリアＣを使って分類される。例えば、答案Ａ１は、クライテリオンＣＴ１〜ＣＴ４のチェックボックスＣＢ１〜ＣＢ４の全てにチェックを入れた解答例Ｅ１と一致し、類型１に分類される。答案Ａ２は、クライテリオンＣＴ１，ＣＴ２，ＣＴ４のチェックボックスＣＢ１，ＣＢ２，ＣＢ４にチェックを入れた解答例Ｅ３と一致し、類型３に分類される。各類型に分類された答案Ａの数によって、調査対象者の学習項目Ｌの理解傾向を調査することができる。
【００１９】
（答案分類処理システム）
図３に示すように、以上のような学力調査において、答案の分類に使用される答案分類支援システム１は、答案の分類作業を管理する答案分類支援サーバ１０と、答案の分類作業を行う作業者が操作する複数のクライアント端末２と、答案の分類作業を管理する管理者が操作するクライアント端末３とを備えている。そして、答案分類支援サーバ１０とクライアント端末２，３は、相互にネットワーク４を介して接続されている。クライアント端末２，３は、共に、デスクトップ型やノート型のコンピュータ端末などの情報処理端末である。クライアント端末２，３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどで構成されたコンピュータ本体２ａ，３ａと、コンピュータ本体２ａ，３ａに接続されるキーボードやポインティングデバイスなどの入力部２ｂ，３ｂと、コンピュータ本体２ａ，３ａに接続される液晶表示パネルなどの表示部２ｃ，３ｃとを備えている。
【００２０】
答案分類支援サーバ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、大容量ハードディスクなどのハードウェアにより構成されたコンピュータシステムであり、ネットワーク４を経由してクライアント端末２，３が接続されている。答案分類支援サーバ１０は、答案入力部１１、答案記憶部１２、認識エンジン１３と、答案テキスト記憶部１４と、クライテリア記憶部１５と、テキスト判断記憶部１６と、テキスト判断部１７と、結果記憶部１８と、送受信部１９とを備える。さらに、答案分類支援サーバ１０は、追記データを入力するために、追記入力部２１と、追記記憶部２２と、テキスト判断管理部２３とを備える。答案記憶部１２、答案テキスト記憶部１４、クライテリア記憶部１５、テキスト判断記憶部１６、結果記憶部１８、および、追記記憶部２２は、例えば大容量ハードディスクに構築されている。
【００２１】
答案記憶部１２は、調査対象者の答案を記憶する記憶領域であり、答案Ａの画像データや音声データで構成された答案データが、答案Ａを一意に特定する識別データと関連付けられて記憶されている。例えば、中学での英語における学力調査の場合、解答方式としては筆記式の他に口述式があり、筆記式における解答の画像データと口述式における解答の音声データとが、答案を識別する識別データに関連付けられて答案記憶部１２に記憶されている。答案記憶部１２には、このような答案データが答案入力部１１から入力される。答案入力部１１は、例えば、イメージスキャナや記憶装置である。筆記式の答案用紙は、イメージスキャナで読み込んで画像データとされる。また、口述式の解答は音声データであり、答案入力部１１は、調査対象者の解答としての音声データを保存した記憶装置が接続され、音声データが入力される。答案入力部１１は、同じ調査対象者の答案データ（認識エンジン１３で認識される認識用データとしての画像データと音声データを含む）に対して同じ識別データを付与し、答案記憶部１２に記憶する。
【００２２】
認識エンジン１３は、一例として、ＯＣＲ（Optical Character Recognition/Reader：光学的文字認識）などであって、答案データのうちの画像データから文字認識処理を行って答案テキストデータを生成する。また、認識エンジン１３は、音声データから音声認識処理を行って答案テキストデータを生成する。文字認識の場合、文字認識エンジンは、レイアウト解析の後、行、文字の切り出しを行って正規化処理をし、特徴点を抽出する。そして、抽出した特徴点と登録パターンとのマッチングを行い、単語に変換し、変換された文の答案テキストデータを出力する。また、音声認識の場合、音声認識エンジンは、音声波形から音素を特定し、音素の並びを予め登録した辞書とマッチングし、単語に変換し、変換された文の答案テキストデータを出力する。
【００２３】
答案テキスト記憶部１４は、調査対象者の答案テキストデータを記憶する記憶領域である。答案テキスト記憶部１４は、認識エンジン１３で生成された答案テキストデータを答案を識別する識別データに関連付けて記憶する。
【００２４】
クライテリア記憶部１５は、１つの設問に対応するクライテリアＣに列挙する調査項目Ｍに対応したクライテリオンＣＴを記憶する記憶領域である。各調査項目Ｍ（設問）に対して設けられているクライテリオンＣＴは、二者択一式の判断基準であり、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準となっている。図４に示すように、各クライテリオンＣＴには、二者択一式のチェックボックスＣＢが設けられている。
【００２５】
ここで、図４および図７を用いて設問とクライテリアＣとクライテリオンＣＴとの関係を説明する。
設問ｉｄ００５は「真っすぐ行って、あのお店のところを右に曲がりなさい。」であり、「Go straight and at that store.」となっている（傍線部が解答部分）。これに対して、クライテリオンＣＴは、
ＣＴ０．  □  無解答
ＣＴ１．  □  turn rightと書いている。  
ＣＴ２．  □  turn leftと書いている。  
ＣＴ３．  □  turn lightと書いている。  
ＣＴ４．  □  rightの綴りが誤っている（上記以外）。  
ＣＴ５．  □  turn の綴りが誤っている。  
ＣＴ６．  □  命令文を用いていない。  
ＣＴ７．  □  please を含む。  
ＣＴ９９．  □  上記以外の解答。  
となっている。クライテリア記憶部１５では、設問のクライテリアＣ（クライテリオンＣＴの集合）が設問ｉｄに関連付けられて記憶されている。
【００２６】
テキスト判断記憶部１６は、各クライテリオンＣＴに関連付いたテキスト判断データを管理するデータベースが構築された記憶領域である。図５に示すように、このデータベースでは各テキスト判断データに割り振られたテキスト判断ｉｄのｉｄ欄に対して、設問ｉｄ欄と、テキスト判断データの内容欄と、クライテリオンＣＴの欄が関連付けられている。各クライテリオンＣＴに関連付けられるテキスト判断データは、クライテリオンＣＴを特定するためのキーワードとなる。そして、各クライテリオンＣＴには、１つのテキスト判断データが関連付けられているものもあれば、複数のテキスト判断データが関連付けられているものもある。
【００２７】
ここで、図５を用いてクライテリオンＣＴとテキスト判断データとの関係を、図４および図７の例に従って説明する。
例えば、クライテリオンＣＴ１「turn rightと書いている。」には、テキスト判断ｉｄ００１の「turn right」が関連付けられ、クライテリオンＣＴ２の「turn leftと書いている。」には、テキスト判断ｉｄ００２の「turn left」が関連付けられている。このようにテキスト判断ｉｄ００１，００２は、１対１の関係で、１つのクライテリオンＣＴに対して１つのテキスト判断データが関連付けられている。
【００２８】
これに対してクライテリオンＣＴ４の「rightの綴りが誤っている（上記以外）。」には、テキスト判断ｉｄ００４の「turn rite」、テキスト判断ｉｄ００５の「turn lite」、および、テキスト判断ｉｄ００６の「turn rait」が関連付けられている。このようにテキスト判断ｉｄ００４，００５，００６は、同じ１つのクライテリオンＣＴ４に対して関連付けられている。すなわち、１つのクライテリオンＣＴに対して複数のテキスト判断データが関連付けられている。
【００２９】
テキスト判断部１７は、分類処理を行う答案テキストデータの中からテキスト判断データと一致するテキストデータを検出したとき、当該テキスト判断データに関連するクライテリオンＣＴに対する判断を、選択済みとする。図７の例では、解答部分に手書きで解答がされており、「turn right」と文字認識され、その答案テキストデータが表示されている。テキスト判断部１７は、答案テキストデータが「turn right」を含んでおり、複数のテキスト判断データのうちのテキスト判断ｉｄ００１「turn right」と一致するので、クライテリオンＣＴ１の「turn rightと書いている。」を選択済みとする。すなわち、テキスト判断部１７は、クライテリオンＣＴ１のチェックボックスＣＢにチェックを入れる。また、文字認識の結果が「turn rite」の場合、複数のテキスト判断データのうちのテキスト判断ｉｄ００４「turn rite」と一致するので、クライテリオンＣＴ４の「rightの綴りが誤っている（上記以外）。」を選択済みとする。つまり、テキスト判断部１７は、クライテリオンＣＴ４のチェックボックスＣＢにチェックを入れる。
【００３０】
送受信部１９は、答案の分類作業を行う作業者が操作する複数のクライアント端末２および答案の分類作業を管理する管理者が操作するクライアント端末３とネットワーク４を通じて通信を行う。例えば、送受信部１９は、クライアント端末２，３に対して、グラフィカルユーザインターフェイスを提供する表示制御部となる。そして、送受信部１９は、答案の分類作業を行うクライアント端末２に対して、答案Ａを一意に特定する識別データで関連付けられた答案データ（ここでは答案の画像データＩＭＧおよび文字認識結果の答案テキストデータＴＤ、図７参照）を送信する。あわせて、送受信部１９は、クライテリア記憶部１５から設問に対応するクライテリアＣ（クライテリオンＣＴの集合）を読み出しクライアント端末２に対して送信する。この際、送受信部１９は、テキスト判断部１７が選択済みとしたクライテリオンＣＴについては、選択済みの状態でクライアント端末２に送信する。また、送受信部１９は、クライアント端末２から送信されたクライテリオンＣＴに対する判断結果を受信し、結果記憶部１８に保存する。
【００３１】
結果記憶部１８は、クライテリオンＣＴに対する判断結果を記憶する領域である。すなわち、図２（イ）において、答案の分類作業を行う作業者が操作する複数のクライアント端末２から送信された、答案Ａ１〜Ａ４のクライテリオンＣＴのチェックボックスにおけるチェックパターンを、答案Ａを一意に特定する識別データと関連付けて記憶する。そして、答案の識別データに関連付けて類型（類型１〜類型４、図２参照）を記憶する。
【００３２】
ところで、答案Ａを分類している作業者は、数多く答案Ａの分類作業をしている中で様々なことを気付くことになる。例えば、「right」の「r」の文字は、右端を下げると「n」の文字に外観が近づき、「right」なる英単語が「night」なる英単語になってしまう可能性があることに気付くことができる。作業者は、表示された画像データの「right」と文字認識結果である答案テキストデータとを比較し、文字認識結果が正しいのか誤っているのか、または、正しいのであれば設問Ｑに対して「turn night」と誤答する調査対象者が多いのかを気付くことができる。このような事情に鑑みて、答案分類支援サーバ１０は、追記入力部２１と、追記記憶部２２と、テキスト判断管理部２３とを備えている。
【００３３】
追記入力部２１には、作業者のクライアント端末２から、作業者が分類作業の中で気付いた追記データが送受信部１９を通じて入力される。追記記憶部２２は、クライアント端末２から送信された追記データを保存し管理するデータベースが構築された記憶領域である。
【００３４】
ここで、追記データを管理するデータベースを図６を参照して説明する。このデータベースでは、追記データを識別する追記ｉｄ欄と、追記データが関連付けられる設問ｉｄ欄と、分類作業者でもある採点者を識別する採点者ｉｄ欄とを備えている。さらに、データベースは、追記を分類する区分欄と、追記データの内容を格納する内容欄と、追記データに対するコメントを格納するコメント欄と、追記データが関連付けられるクライテリオンＣＴ欄とを備えている。さらに、データベースは、更新日時欄と、更新を受理するかどうかを示す受理欄と、更新者を識別する更新者ｉｄ欄とを備えている。
【００３５】
区分欄は、「テキスト誤り」および「テキスト判断追記」の何れかの項目を選択することができる。「テキスト誤り」は、認識エンジン１３の認識誤りの場合に選択され、「テキスト判断追記」は、認識エンジン１３の認識誤りではなくテキスト判断データの追加を提案するときに選択される。内容欄には、追記データの内容が格納され、コメント欄には、そのコメントが格納される。受理欄は、管理者のクライアント端末３で受理されたとき、受理済みとなり、受理されていないものは未受理となる。受理済みの追記データは、管理者のクライアント端末３で更新操作がされることを条件に、認識エンジン１３に反映され、また、テキスト判断記憶部１６に反映される。
【００３６】
例えば、追記ｉｄ１００では、「テキスト誤り」が選択され、内容欄に「turn night」が格納され、コメント欄に「right の綴り誤り」が格納され、受理されている。また、追記ｉｄ１０１では、「テキスト判断追記」が選択され、内容欄に「you must turn right」が格納され、コメント欄に「CT6，you have to〜も追記されたい」が格納され、ＣＴ欄には「ＣＴ６」が格納され、受理されている。追記ｉｄ１０２は、追記ｉｄ１０１に関連して管理者Ａがクライアント端末３から入力したものであり、「テキスト判断追記」が選択され、内容欄に「you have to turn right」が格納され、コメント欄に「追記id101 より」が格納され、クライテリオンＣＴ欄には「ＣＴ６」が格納され、未受理とされている。このように、追記データは、作業者がクライアント端末３から入力可能なだけでなく、管理者のクライアント端末３からも入力可能な状態となっている。
【００３７】
テキスト判断管理部２３は、管理者のクライアント端末３で追記データを受理する操作がされ、受理データを送受信部１９で受信したとき、受理欄を受理済みする。また、テキスト判断管理部２３は、管理者のクライアント端末３でデータベースを更新する操作がされ、更新データを送受信部１９で受信したとき、受理済みとなっている追記データを認識エンジン１３やテキスト判断記憶部１６に反映する。すなわち、テキスト判断管理部２３は、「テキスト誤り」が選択されている追記データを認識エンジン１３に反映し、「テキスト判断追記」が選択されている追記データをテキスト判断記憶部１６に反映する。
【００３８】
次に、以上のように構成された答案分類支援システムの作用について説明する。
図７は、分類作業を行う作業者が操作するクライアント端末２の表示部２ｃに表示される分類作業画面を示す。図７に示す作業画面は、設問ｉｄ００５、答案ｉｄ１００１００、採点者ｉｄＳｃｏｒｅｒ００１の画面を示している。
【００３９】
作業画面において、左上欄は答案表示領域３１であり、
「真っすぐ行って、あのお店のところを右に曲がりなさい。」、
「Go straight and at that store.」
と表示されている（傍線部が解答部分）。そして、傍線部には、答案記憶部１２に記憶されている答案ｉｄ１００１００に関連付いている調査対象者の手書き解答の画像データＩＭＧが表示されている。
【００４０】
左下欄は、認識エンジン１３である文字認識エンジンの認識結果が表示される答案テキスト表示領域３２であり、答案テキストデータＴＤが表示されている。ここでは、答案テキスト表示領域３２には、「turn right」が表示されている。答案テキスト表示領域３２に表示される答案テキストデータＴＤは、答案テキスト記憶部１４に記憶されているデータである。また、答案テキスト表示領域３２には、追記ボタン３３が設けられている。追記ボタン３３がクライアント端末２の入力部２ｂで操作されたときには、追記データを入力するためのテキスト追記ボックス４１が表示される（図８参照）。
【００４１】
右欄は、答案表示領域３１に表示されている答案に関連するクライテリアＣが表示されるクライテリア表示領域３４である。クライテリア表示領域３４には、クライテリアＣを構成するクライテリオンＣＴが表示される。ここでは、クライテリオンＣＴ「０．無解答」〜「９９．上記以外の解答」が表示される。
【００４２】
この際、テキスト判断部１７は、テキスト判断記憶部１６（図５参照）にアクセスし答案テキスト表示領域３２に表示する答案テキストデータＴＤの中にテキスト判断記憶部１６に記憶されているテキスト判断データが存在するか判断する。そして、テキスト判断部１７は、一致する部分を含むとき、当該テキスト判断データに関連付いているクライテリオンＣＴに対する判断を選択済みとする。ここでは、答案テキストデータの中の「turn right」がテキスト判断ｉｄ００１「turn right」と一致するので、クライテリオンＣＴ１の「turn rightと書いている。」を選択済みとし（□にチェックを入れる）、チェックボックスＣＢが選択済みの状態をクライアント端末２の表示部２ｃに表示する。ここで、チェックボックスＣＢのチェックは仮選択の状態であり、当該チェックは、クライアント端末２の入力部２ｂでクライテリオンＣＴ１から他のクライテリオンＣＴに変更可能である。
【００４３】
作業者は、答案表示領域３１に表示されている画像データＩＭＧと、答案テキスト表示領域３２に表示されている答案テキストデータＴＤとを見比べることができる。そして、クライテリア表示領域３４に表示されているクライテリオンＣＴにおけるチェックボックスＣＢの仮選択の状態が正しいか判断することができる。作業者は、テキスト判断部１７が判断したクライテリオンＣＴの選択状態が正しいと判断したとき、そのクライテリオンＣＴの選択状態をそのままとする。また、テキスト判断部１７が判断したクライテリオンＣＴの選択状態が誤っていると判断したとき、正しいと判断した他のクライテリオンＣＴを選択状態にする。図７の例で言えば、作業者が画像データＩＭＧを見て、「right」ではなく「night」と判断すれば、選択済みの状態をクライテリオンＣＴ１からクライテリオンＣＴ４に変更することができる。この場合、クライテリオンＣＴ１のチェックボックスＣＢはチェックが外され、クライテリオンＣＴ４のチェックボックスＣＢは、チェックが入る。この操作は、クライアント端末２の入力部２ｂで行われる。
【００４４】
テキスト判断部１７は、答案テキストデータＴＤにテキスト判断データを含むとき、当該テキスト判断データに関連付いているクライテリオンＣＴに対する判断を選択済みとしている。したがって、テキスト判断部１７の判断は、認識エンジン１３の認識誤りの要因を除けば正しい蓋然性が高い。したがって、作業者がチェックボックスＣＢのチェックをし直すことも少なくなり、この点で作業効率を高めることができる。
【００４５】
作業画面には、下欄に採点ボタン３５と保留ボタン３６が設けられている。採点ボタン３５および保留ボタン３６は、クライアント端末２の入力部２ｂで押下される。採点ボタン３５は、作業者がクライテリオンＣＴに対する判断を行い、その結果を答案分類支援サーバ１０に送信するときに押下される。そして、結果は、送受信部１９で受信され、結果記憶部１８に記憶される。保留ボタン３６は、作業者がどのクライテリオンＣＴに該当するか判断に困り保留するときに押下される。この後、答案分類支援サーバ１０は、作業者のクライアント端末２に対して次の設問や答案を送信する。
【００４６】
図８は、図７の追記ボタン３３が押下されたときの作業画面である。作業画面は、追記ボタン３３がクライアント端末２の入力部２ｂで押下されると、テキスト追記ボックス４１が表示される。テキスト追記ボックス４１は、作業者が答案表示領域３１に表示されている画像データと、答案テキスト表示領域３２に表示されている答案テキストデータとを見比べ、気付いたことを追記データとして入力するボックスである。テキスト追記ボックス４１は、「テキスト誤り」および「テキスト判断追記」の何れかの項目を選択するプルダウンメニュー４２を備えている。ここでの選択は、図６に示すデータベースの区分欄に保存される。また、追記データの内容を入力する追記入力欄４３を備えている。追記入力欄４３に入力された追記データは、図６に示すデータベースの内容欄に保存される。さらに、追記データに関連するコメント入力欄４４を備えている。コメント入力欄４４に入力されたコメントは、図６に示すデータベースのコメント欄に保存される。
【００４７】
図８では、図６に示す追記ｉｄ１００を新たな追記データとしてデータベースに登録するときのテキスト追記ボックス４１を示している。ここでは、作業者が答案表示領域３１に表示されている画像データを見て、文字認識エンジンが「right」を「night」と間違え易いことに気付いたとする。この場合、プルダウンメニュー４２で「テキスト誤り」を選択し、追記入力欄４３に「turn night」に入力し、コメント入力欄４４に「right の綴り誤り」を入力している。
【００４８】
テキスト追記ボックス４１は、さらに、追記ボタン４５とキャンセルボタン４６とを備えている。追記ボタン４５がクライアント端末２の入力部２ｂで押下されたときは、テキスト追記ボックス４１で入力された情報が図６のデータベースに登録される。ただし、この状態では、データベースの受理欄は未受理（□にチェックなし）の状態である（図６では受理の状態（□にチェック入り））。キャンセルボタン４６がクライアント端末２の入力部２ｂで押下されたときは、テキスト追記ボックス４１に入力された情報がキャンセルされ、テキスト追記ボックス４１が消される。
【００４９】
図９は、管理者が操作するクライアント端末３の表示部３ｃに表示される図６のデータベースに登録された追記データの管理画面を示す。管理画面では、図６のデータベースと同じ状態が表示されている。受理欄５３は、クライアント端末３の入力部３ｂで受理（チェック入り）と未受理（チェックなし）で切り替え可能である。管理画面は、更新ボタン５１とキャンセルボタン５２とを備えている。更新ボタン５１がクライアント端末３の入力部３ｂで押下されたときは、受理となっている追記データに基づいて認識エンジン１３およびテキスト判断記憶部１６を更新する。すなわち、テキスト判断管理部２３は、「テキスト誤り」が選択されている追記データを認識エンジン１３に反映する。これにより、認識エンジン１３は、例えば次回からその判断を誤りにくくなる。すなわち、画像データＩＭＧを認識する際に、「r」と「n」の区別をより正確にできるようになる。また、テキスト判断管理部２３は、「テキスト判断追記」が選択されている追記データをテキスト判断記憶部１６に反映する。つまり、テキスト判断部１７は、テキスト判断記憶部１６に記憶されるテキスト判断データが増えることで、クライテリオンＣＴに対する判断をより正確に行うことができる。
【００５０】
なお、図９において、追記ｉｄ１０１は、「テキスト判断追記」として「must」を使った場合である「you must turn right」を命令文ではないケース（クライテリオンＣＴ６「命令文を用いていない」）をテキスト判断データとして追加してはどうかとの提案が、採点者ｉｄＳｃｏｒｅｒ００２からなされている状態である。そして、採点作業の管理者Ａは、追記ｉｄ１００を受理し、追記ｉｄ１０１をクライテリオンＣＴ６のテキスト判断データとして受理している。また、追記ｉｄ１０１のコメントを参照し，同様のケースとして「you have to turn right」をクライテリオンＣＴ６のテキスト判断データとして登録するか検討している（受理はしていない）。管理者Ａは、答案傾向として、まず「must」の頻度を先に確認しようとしている状態であり、「have to」については受理していない。
【００５１】
上記実施形態によれば、以下に列挙する効果を得ることができる。
（１）答案テキストデータの中からテキスト判断データと一致するテキストデータを検出したとき、当該テキスト判断データに関連するクライテリオンＣＴに対する判断を選択済みにするので、チェックボックスＣＢをチェックする手間が省け、答案の分類作業を効率化することができる。
【００５２】
（２）「テキスト判断追記」が選択されている追記データをテキスト判断記憶部１６に反映するので、テキスト判断記憶部１６に記憶されるテキスト判断データが増え、クライテリオンＣＴに対する判断をより正確に行うことができる。
【００５３】
（３）「テキスト誤り」が選択されている追記データを認識エンジン１３に反映するので、認識エンジン１３の認識結果が誤りにくくなる。
（４）「テキスト判断追記」が選択されている追記データをテキスト判断記憶部１６に反映させるかどうかの判断は、作業者ではなく管理者が行うので、作業者だけの判断によってテキスト判断記憶部１６に不要なテキスト判断データが登録されるのを防ぐことができる。
【００５４】
（５）「テキスト誤り」が選択されている追記データを認識エンジン１３に反映させるかどうかの判断は、作業者ではなく管理者が行うので、ＡＩなどによる機械学習を行う際、不適切な追記データによって誤学習されてしまった結果が、認識エンジン１３に反映されるのを防ぐことができる。
【００５５】
なお、上記実施形態は、以下のように適宜変更して実施することもできる。
・管理者のクライアント端末３は、１台でも複数台でもよい。これに対して、作業者のクライアント端末２は、クライアント端末３に比べ多くの台数で構成される。クライアント端末２，３は、有線、無線の何れの方法で答案分類支援サーバ１０と接続されていてもよい。
【００５６】
・答案分類支援サーバ１０は、追記データを入力するための機能、すなわち追記入力部２１、追記記憶部２２、および、テキスト判断管理部２３を備えていなくてもよい。例えば、答案のサンプルを使い、テキスト判断記憶部１６のテキスト判断データが充実しているときは、追記データをテキスト判断記憶部１６に反映させる処理を省略してもよい。また、認識エンジン１３の認識精度が極めて高い場合などは、追記データを認識エンジン１３に反映させる処理を省略してもよい。認識エンジン１３は、ＡＩなどによる機械学習結果を反映させることで、随時バージョンを上げることができる。
【００５７】
・「テキスト判断追記」の場合において、追記データについては、管理者の承認（受理や更新）をなくして、作業者がテキスト判断データとしてテキスト判断記憶部１６に登録できるようにしてもよい。
【００５８】
・「テキスト誤り」の場合において、追記データについては、管理者の承認（受理や更新）をなくして、作業者が認識エンジン１３に反映させる操作を行うことができるようにしてもよい。
【００５９】
・口述式の場合、図７に示す分類作業画面において答案表示領域３１には、音声データの再生ボタンが表示される。また、答案テキスト表示領域３２には、音声認識結果である答案テキストデータが表示される。作業者は、音声データの再生音と答案テキストデータとを比較して、クライテリオンＣＴを判断することになる。
【００６０】
・以上の例では、英語の筆記式の場合を説明したが、科目としては、国語、算数、数学などどのような科目であってもよい。何れの科目も、解答の画像データを文字認識して答案テキストデータを生成することになるからである。また、口述式の場合は、英語だけでなく、フランス語、ドイツ語、スペイン語、ポルトガル語、中国語、韓国語などであってもよい。
【符号の説明】
【００６１】
１…答案分類支援システム、２，３…クライアント端末、２ａ，３ａ…コンピュータ本体、２ｂ，３ｂ…入力部、２ｃ，３ｃ…表示部、４…ネットワーク、１０…答案分類支援サーバ、１１…答案入力部、１２…答案記憶部、１３…認識エンジン、１４…答案テキスト記憶部、１５…クライテリア記憶部、１６…テキスト判断記憶部、１７…テキスト判断部、１８…結果記憶部、１９…送受信部、２１…追記入力部、２２…追記記憶部、２３…テキスト判断管理部、３１…答案表示領域、３２…答案テキスト表示領域、３３…追記ボタン、３４…クライテリア表示領域、３５…採点ボタン、３６…保留ボタン、４１…テキスト追記ボックス、４２…プルダウンメニュー、４３…追記入力欄、４４…コメント入力欄、４５…追記ボタン、４６…キャンセルボタン、５１…更新ボタン、５２…キャンセルボタン、５３…受理欄。
【図１】
2020013178.tif 000003
【図２】
2020013178.tif 000004
【図３】
2020013178.tif 000005
【図４】
2020013178.tif 000006
【図５】
2020013178.tif 000007
【図６】
2020013178.tif 000008
【図７】
2020013178.tif 000009
【図８】
2020013178.tif 000010
【図９】
2020013178.tif 000011