(57)【要約】  採点装置は、分類部と、追加部と、を有する。分類部は、解答データを複数の部分集合に分類する。また、追加部は、前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する。
2019225229.tif 000002
【特許請求の範囲】
【請求項１】
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
採点装置。
【請求項２】
請求項１に記載の採点装置であって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点装置。
【請求項３】
請求項２に記載の採点装置であって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点装置。
【請求項４】
請求項２に記載の採点装置であって、
前記分類部がクラスタリングした結果を表示する表示部を有し、
前記追加部は、前記表示部に表示した前記分類部がクラスタリングした結果に対する採点者による入力を受け付け、受け付けた入力に基づいて、前記代表文を前記採点基準に追加する
採点装置。
【請求項５】
請求項４に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、所定の表示制御を行う
採点装置。
【請求項６】
請求項５に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記クラスタを表示する位置を変更する
採点装置。
【請求項７】
請求項５または請求項６に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタに対する強調表示を行う
採点装置。
【請求項８】
請求項５から請求項７までのいずれか１項に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタの順番を制御する
採点装置。
【請求項９】
請求項１から請求項８までのいずれか１項に記載の採点装置であって、
前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
採点装置。
【請求項１０】
請求項９に記載の採点装置であって、
前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きいか否か判断する判断部を有し、
前記判断部は、前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きい場合、前記分類部が前記解答データを複数の部分集合に分類すると判断する
採点装置。
【請求項１１】
請求項１０に記載の採点装置であって、
前記判断部が前記解答データに対する前記残解答データの数の割合が予め定められた閾値以下であると判断した場合に、前記採点基準に基づいて、前記解答データのうちの前記残解答データを除いた解答を採点する採点部を有する
採点装置。
【請求項１２】
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
採点方法。
【請求項１３】
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、採点装置、採点方法、記録媒体に関する。
【背景技術】
【０００２】
近年、マークシートによる試験だけでなく、記述式の問題についての必要性が高まっている。【０００３】
記述式の問題を効率的に行うためには、記述式の問題に対する解答を効率的に採点することが必要になる。このような効率的な採点を補助するための技術としては、例えば、特許文献１がある。特許文献１には、表示部と、未採点解答群形成手段と、未採点解答群リスト形成手段と、未採点解答パタン群範囲選択手段と、採点済解答パタン群形成手段と、を有する採点補助システムが記載されている。特許文献１によると、未採点解答群形成手段は、複数の未採点解答データを同一の解答内容ごとに分類して複数の未採点解答パタン群を作成する。また、未採点解答群リスト形成手段は、基準となる基準解答内容に対する未採点解答パタン群の解答内容の類似度を判断し、類似度の高い順に未採点解答パタン群を並べた採点用群リストを表示に表示させる。そして、未採点解答パタン群範囲選択手段は、操作部による範囲選択操作により選択された未採点解答パタン群を同一の採点情報を付加可能な状態に設定する。その後、採点済解答パタン群形成手段は、選択された未解答パタン群に対し、採点情報設定操作により設定された採点情報を一括して付加して、選択された未解答パタン群を採点済解答パタン群に変更する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１６７４１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術の場合、表示部に表示された解答パタン群のどこまでに対して同じ採点情報を付加するかは、操作部を操作する採点者により決定される。そのため、採点者により採点結果にばらつきが出るおそれがあった。【０００６】
このような採点者によるばらつきを抑えるための方法としては、複数の採点者による採点を行って、複数の採点結果を比較するという方法がある。しかしながら、上記方法は同一の問題に対して複数人で採点を行うため、非常に手間がかかり、非効率的である。つまり、上記方法では、採点の効率性が犠牲になってしまう、という問題があった。【０００７】
このように、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題が生じていた。【０００８】
そこで、本発明の目的は、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題を解決する採点装置、採点方法、記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
かかる目的を達成するため本発明の一形態である採点装置は、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
という構成をとる。【００１０】
また、本発明の他の形態である採点方法は、
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
という構成をとる。【００１１】
また、本発明の他の形態である記録媒体は、
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００１２】
本発明は、以上のように構成されることにより、採点者によるばらつきを抑制しつつ効率的に記述式の問題に対する解答を採点することが難しい、という課題を解決する採点装置、採点方法、記録媒体を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における採点装置の構成の一例を示すブロック図である。
【図２（Ａ）】模範解答と解答例の一例を示す図である。
【図２（Ｂ）】模範解答と解答例の他の一例を示す図である。
【図３（Ａ）】クラスタリング部による解答データのクラスタリング結果の一例を示す図である。
【図３（Ｂ）】クラスタリング部による解答データのクラスタリング結果の他の一例を示す図である。
【図４（Ａ）】解答例を追加した際の構成の一例を示す図である。
【図４（Ｂ）】解答例を追加した際の他の構成の一例を示す図である。
【図５】表示部による表示の一例を示す図である。
【図６】表示部による表示の他の一例を示す図である。
【図７】表示部による表示の他の一例を示す図である。
【図８】本発明の第１の実施形態における採点装置の動作の一例を示すフローチャートである。
【図９】本発明の第１の実施形態における採点装置の他の構成の一例を示すブロック図である。
【図１０】本発明の第２の実施形態における採点装置の構成の一例を示すブロック図である。
【図１１】本発明の第２の実施形態における採点装置による処理の一例を示す図である。
【図１２（Ａ）】クラスタリング部による解答データのクラスタリング結果の一例を示す図である。
【図１２（Ｂ）】クラスタリング部による解答データのクラスタリング結果の他の一例を示す図である。
【図１３（Ａ）】解答例を追加した際の構成の一例を示す図である。
【図１３（Ｂ）】解答例を追加した際の構成の他の一例を示す図である。
【図１４】本発明の第２の実施形態における採点装置の動作の一例を示すフローチャートである。
【図１５】本発明の第３の実施形態における採点装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１４】
［第１の実施形態］
本発明の第１の実施形態を図１から図９までを参照して説明する。図１は、採点装置１の構成の一例を示すブロック図である。図２は、模範解答１４２と解答例１４３の一例を示す図である。図３は、クラスタリング部１５１による解答データ１４１のクラスタリング結果の一例を示す図である。図４は、解答例を追加した際の解答例１４３の一例を示す図である。図５から図７は、表示部１５２による表示の一例を示す図である。図８は、採点装置１の動作の一例を示すフローチャートである。図９は、採点装置１の他の構成の一例を示すブロック図である。
【００１５】
本発明の第１の実施形態では、採点基準に基づいて記述式の問題に対する解答を自動的に採点する情報処理装置である採点装置１について説明する。例えば、採点装置１は、採点基準を予め記憶している。また、採点装置１は、予め記憶している採点基準とは対応しないものの、正解と判断していい記載内容を採点基準に追加可能なよう構成されている。例えば、後述するように、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果を採点装置１の採点者に表示する。そして、採点装置１は、採点者から採点基準に追加するクラスタを示す情報を取得すると、取得した情報が示すクラスタを代表する代表文を採点基準に追加する。このように、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果に基づいて、採点基準を追加する。その後、採点装置１は、追加した採点基準に基づいて、解答データ１４１に含まれる解答群を採点する。
【００１６】
なお、本実施形態では、採点装置１は、例えば、問題に対する模範的な解答である模範解答１４２と、模範解答１４２とは異なる基準となる解答例１４３とを採点基準として予め記憶している。しかしながら、採点装置１は、採点基準として模範解答１４２と解答例１４３とを必ずしも記憶していなくても構わない。例えば、採点装置１は、模範解答１４２と解答例１４３とのうちのいずれか一方のみを予め記憶していても構わないし、いずれも記憶していなくても構わない。例えば、採点装置１は、解答データ１４１に含まれる解答群をクラスタリングした結果に基づいて追加した採点基準のみに基づいて解答データ１４１に含まれる解答群を採点するよう構成しても構わない。
【００１７】
図１は、採点装置１の構成の一例を示している。図１を参照すると、採点装置１は、主な構成要素として、操作入力部１１と、画面表示部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、演算処理部１５と、を有している。
【００１８】
操作入力部１１は、キーボードやマウスなどの操作入力装置からなる。操作入力部１１は、採点装置１のオペレータである採点者の操作を検出して演算処理部１５に出力する。
【００１９】
画面表示部１２は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部１２は、演算処理部１５からの指示に応じて、各種情報を画面表示する。
【００２０】
通信Ｉ／Ｆ部１３は、データ通信回路からなる。通信Ｉ／Ｆ部１３は、通信回線を介して接続された各種装置との間でデータ通信を行う。
【００２１】
記憶部１４は、ハードディスクやメモリなどの記憶装置である。記憶部１４は、演算処理部１５における各種処理に必要な処理情報やプログラム１４４を記憶する。プログラム１４４は、演算処理部１５に読み込まれて実行されることにより各種処理部を実現する。プログラム１４４は、通信Ｉ／Ｆ部１３などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれ、記憶部１４に保存されている。記憶部１４で記憶される主な情報としては、解答データ１４１と、模範解答１４２と、解答例１４３と、がある。
【００２２】
解答データ１４１は、記述式の問題を解く解答者により予め解かれた、記述式問題に対する解答を示している。解答データ１４１には、例えば、複数の解答者による解答が含まれている。つまり、解答データ１４１には、解答群が含まれている。
【００２３】
例えば、解答者が紙媒体に対する解答を行う試験形式の場合、解答データ１４１に含まれる解答は、解答者が解答を行った解答用紙を、OCR（Optical Character Recognition）を適用した上でスキャンすることで予め生成されている。又は、解答データ１４１は、例えばキーパンチャーなどが手動で入力することで予め生成されている。このように、解答データ１４１に含まれる解答は、例えば、紙媒体に対してスキャンなどの前処理を行うことで予め生成されている。なお、解答データ１４１に含まれる解答は、解答者が情報処理装置などに直接入力することで生成されていても構わない。
【００２４】
模範解答１４２は、記述式の問題に対する模範的な解答の一例を示している。上述したように、模範解答１４２は採点基準の一つである。模範解答１４２は、採点者により予め入力されている。例えば、模範解答１４２は、操作入力部１１を用いて採点者により予め入力されていたり、通信Ｉ／Ｆ部１３を介して外部装置から予め入力されていたりする。
【００２５】
図２は、模範解答１４２と解答例１４３とを含む採点基準の一例を示している。具体的には、図２（A）はある問題に対する模範解答１４２と解答例１４３とを含む採点基準の一例を示しており、図２（B）は、図２（A）とは別の問題に対する模範解答１４２と解答例１４３とを含む採点基準の一例を示している。
【００２６】
図２（A）を参照すると、例えば、ある問題に対する模範的な解答は、「思考の流れによる一致により発見ができたため、小さな月のうさぎと考えた。」となる。後述するように、解答データ１４１に含まれる解答群のうち、模範的な解答と対応すると採点部１５４に判断された解答は、例えば、採点部１５４により正答と判断されることになる。また、図２（B）を参照すると、例えば、他のある問題に対する模範的な解答は、「要点を整理して、短時間に課題解決することが出来る」となる。このように、模範解答１４２は、各問題に対して例えば一つ予め生成されている。なお、模範解答１４２は、問題に対して複数予め生成されていても構わない。
【００２７】
解答例１４３は、記述式の問題に対する解答の一例を示している。上述したように、解答例１４３は採点基準の一つである。
【００２８】
解答例１４３は、例えば、模範解答１４２とは表現は異なるものの、正解と判断すべき解答を示している。例えば、記述式の問題に対する解答には記述のゆれ（単語のゆれや文章のゆれ）などがある。そのため、採点基準が模範解答１４２のみから構成されている場合、記述内容は正解であっても実際に使われている語句や表現の差異などにより正解と判断する範囲から外れてしまうおそれがある。解答例１４３を用いることで、模範解答１４２と表現は同一ではないが、記述内容は正解である解答などを正答と判断することが可能となり、上記のようなおそれを低減させることが出来る。
【００２９】
解答例１４３のうちの一部は、例えば、模範解答１４２と同様に、採点者により予め入力されている。つまり、解答例１４３のうちの一部は、操作入力部１１を用いて採点者により予め入力されていたり、通信Ｉ／Ｆ部１３を介して外部装置から予め入力されていたりする。
【００３０】
図２（A）、図２（B）では、予め入力された解答例１４３の一例を示している。例えば、図２（A）では、解答例１４３として４つの解答例が予め入力されている場合を例示している。また、図２（B）では、解答例１４３として３つの解答例が予め入力されている場合を例示している。このように、解答例１４３には、任意の数の解答例を予め入力することが出来る。
【００３１】
また、解答例１４３には、解答データ１４１をクラスタリングした結果に基づいてクラスタを代表する代表文などを追加することが出来る。
【００３２】
例えば、図３は、解答データをクラスタリングした結果の一例を示している。具体的には、図３（A）は、模範解答１４２が図２（A）となる問題に対する解答群をクラスタリングした結果の一例を示しており、図３（B）は、模範解答１４２が図２（B）となる問題に対する解答群をクラスタリングした結果の一例を示している。後述するように、採点装置１は、図３（A）、図３（B）で示すような解答データ１４１をクラスタリングした結果生成される各クラスタを代表する代表文を画面表示部１２に表示する。これを受けて、採点者は、解答例１４３に追加する代表文を選択する。その結果、採点装置１は、採点者により選択された代表文を解答例１４３に追加することが出来る。
【００３３】
図４は、採点者による選択の結果追加された解答例１４３の一例を示している。具体的には、図４（A）は、図２（A）で示す解答例１４３に、図３（A）で示す代表文を追加した際の解答例１４３の一例を示している。つまり、図４（A）では、図３（A）で示す代表文のうち上から４つ（解答クラスタ１、２、３、４）が採点者により選択された場合を示している。また、図４（B）は、図２（B）で示す解答例１４３に、図３（B）で示す代表文を追加した際の解答例１４３の一例を示している。つまり、図４（B）では、図３（B）で示す代表文のうち上から３つ（解答クラスタ１、２、３）が採点者により選択された場合を示している。
【００３４】
以上のように、解答例１４３には、予め入力された解答例を含めることが出来る。また、解答例１４３には、解答データ１４１に含まれる解答群をクラスタリングした結果生成されるクラスタの代表文を含めることが出来る。
【００３５】
なお、解答例１４３には、不正解を示す解答を含めても構わない。後述するように、解答データ１４１に含まれる解答群のうち、不正解を示す解答と対応すると採点部１５４に判断された解答は、例えば、採点部１５４により誤答と判断されることになる。解答例１４３に含まれる不正解を示す解答例・代表文も、上述した場合と同様に、採点者により予め入力されていても構わないし、解答データ１４１をクラスタリングした結果に基づいて追加されても構わない。
【００３６】
演算処理部１５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部１５は、記憶部１４からプログラム１４４を読み込んで実行することにより、上記ハードウェアとプログラム１４４とを協働させて各種処理部を実現する。演算処理部１５で実現される主な処理部としては、クラスタリング部１５１（分類部）と、表示部１５２と、追加解答例受付部１５３（追加部）と、採点部１５４と、がある。
【００３７】
クラスタリング部１５１は、解答データ１４１に含まれる解答群のクラスタリングを行う。例えば、クラスタリング部１５１は、解答データ１４１に含まれる解答間の類似度が近い解答同士を同一のクラスタ（部分集合）とするようにクラスタを生成することで、クラスタリングを行う。また、クラスタリング部１５１は、例えば、各解答に対する所定のスコアを計算することで類似度を判断する。
【００３８】
具体的には、クラスタリング部１５１は、LDA（Latent Dirichlet Allocation）やK-means法、repeated bisection法などの既知の方法を用いてクラスタを生成する。例えば、クラスタリング部１５１は、トピックごとの要素の出現率を計算するとともに、計算結果に基づいて解答データ１４１に含まれる各解答のトピックスコア（類似度）を計算する。そして、クラスタリング部１５１は、計算したトピックスコアに基づいて、トピックスコアが近い解答が類似するとし類似する解答が同一のクラスタとなるようにクラスタを生成する。例えば、クラスタリング部１５１は、このような処理によりクラスタリングを行う。なお、クラスタリング部１５１は、例えば、解答データ１４１に含まれる各解答の特徴ベクトル（例えば、解答に含まれるキーワードの重みなどに基づいて算出される特徴ベクトル）に基づいて類似度を判断しても構わない。
【００３９】
また、クラスタリング部１５１は、生成したクラスタを代表する代表文を各クラスタについて生成する。クラスタリング部１５１は、クラスタリングを行う際と同様に、既知の技術を用いて代表文を生成することが出来る。例えば、クラスタリング部１５１は、模範解答１４２や解答例１４３が含まれるクラスタに対しては、当該対応する模範解答１４２や解答例１４３を代表文とする。また、クラスタリング部１５１は、模範解答１４２や解答例１４３と対応しないクラスタに対して、クラスタ中の各解答から、予め定められた入力パタンに応じた抽出などを行うことなどにより代表文を生成する。クラスタリング部１５１は、抽出により複数の代表文を生成したのち、階層構造を利用することなどによる選択処理を行うことで１つの代表文を選択するように構成しても構わない。
【００４０】
なお、後述するように、画面表示部１２には、クラスタリング部１５１が生成したクラスタのうち、模範解答１４２や解答例１４３と対応しないクラスタの情報（例えば、代表文）のみを表示するよう構成することが出来る。そのため、クラスタリング部１５１は、模範解答１４２や解答例１４３と対応するクラスタ（模範解答１４２や解答例１４３を含むクラスタ）に対して代表文を生成しないように構成しても構わない。
【００４１】
表示部１５２は、クラスタリング部１５１がクラスタリングした結果を採点者に提示する。例えば、表示部１５２は、クラスタリング部１５１がクラスタリングした結果生成される各クラスタを代表する代表文を画面表示部１２に表示することで、クラスタリングした結果を採点者に提示する。また、表示部１５２は、模範解答１４２や解答例１４３と各クラスタとの類似度などに基づいて、各クラスタの表示位置などを制御することが出来る。
【００４２】
なお、表示部１５２が表示制御する際に用いる類似度は、例えば、クラスタリング部１５１がクラスタリングする際に計算したトピックスコアなどの所定のスコアに基づいて生成することが出来る。つまり、各クラスタの類似度は、クラスタに含まれる各解答の類似度に基づいて生成することが出来る。例えば、各クラスタの類似度は、クラスタに含まれる各解答のうちの代表となる解答の類似度などである。なお、表示部１５２が表示制御する際に用いる類似度は、クラスタリング部がクラスタリングする際に用いるものと異なるものであっても構わない。
【００４３】
図５から図７までは、表示部１５２による表示の一例を示している。表示部１５２は、例えば、図５で示すように、模範解答１４２や解答例１４３中の各解答例を表示するとともに、模範解答１４２や解答例１４３中の各解答例の下に、類似する（例えば、一致するスコアが大きい）クラスタを代表する代表文を表示することが出来る。例えば、図５の場合、解答例１「思考の流れによる一致による発見から、小さな月のうさぎだと思った。」の下に、当該解答例１と類似するクラスタを代表する代表文を表示している。このように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、クラスタを代表する代表文を表示する位置を変更することが出来る。
【００４４】
また、例えば、図６で示すように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、表示するクラスタ（クラスタを代表する代表文）の色を変えるなど強調表示を行っても構わない。つまり、表示部１５２は、解答例との類似度が所定の基準より高い（一致するスコアが基準閾値より大きい）クラスタに対して強調表示を行うよう構成しても構わない。例えば、図６の場合、解答例１と類似する３つのクラスタのうち真ん中のクラスタが、解答例との類似度が所定の基準より高いクラスタになる。
【００４５】
また、例えば、図７で示すように、表示部１５２は、クラスタリング部１５１がクラスタリングを実行する際に計算したトピックスコアなどに応じて、表示するクラスタ（クラスタを代表する代表文）の順番を変えても構わない。例えば、表示部１５２は、類似度が大きい（一致するスコアが大きい）クラスタから順番に、上から下に向かってクラスタを表示することが出来る。
【００４６】
以上のように、表示部１５２は、クラスタリング部１５１がクラスタリングした結果を画面表示部１２に表示する。また、表示部１５２は、クラスタリング部１５１が計算したスコアなどに応じて、クラスタを表示する位置を変える、強調表示を行う、表示する順番を変える、などの各種表示制御を行うことが出来る。
【００４７】
なお、表示部１５２は、上記例示した以外の表示制御を行っても構わない。また、表示部１５２は、上記例示した表示制御のうちの１つのみを行っても構わないし、複数を組み合わせて行っても構わない。
【００４８】
また、上述したように、表示部１５２は、クラスタリング部１５１が生成したクラスタのうち、模範解答１４２や解答例１４３と対応しないクラスタの情報（例えば、代表文）のみを画面表示部１２に表示するよう構成することが出来る。表示部１５２は、クラスタリング部１５１が生成したすべてのクラスタの情報を画面表示部１２に表示するよう構成しても構わない。
【００４９】
追加解答例受付部１５３は、採点者が選択したクラスタを示す情報（追加情報）を受け付ける。すると、追加解答例受付部１５３は、受け付けた情報が示すクラスタの代表文を解答例として解答例１４３に追加する。このように、追加解答例受付部１５３は、採点者の選択に応じて、解答例１４３を追加する。
【００５０】
上述したように、表示部１５２により、画面表示部１２上には、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文が表示される。そこで、採点装置１を操作する採点者は、画面表示部１２に表示された各クラスタの代表文のうち、模範解答１４２や解答例１４３と異なるクラスタであると判断されたものの、解答例１４３に含めるべきクラスタを選択する。この際、採点者は、任意の数のクラスタを選択することが出来る。上記採点者による選択に応じて、追加解答例受付部１５３は、受け付けた情報が示すクラスタの代表文を解答例１４３に追加する。
【００５１】
採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う。例えば、採点部１５４は、採点基準に含まれる模範解答１４２や解答例１４３と同等の意味を有する含意関係にある解答データ１４１の解答を検索して、検索結果に基づく採点を行う。例えば、採点部１５４は、模範解答１４２と含意関係にあると検索された解答データ１４１中の解答を正解であると判断する。同様に、採点部１５４は、解答例１４３中の正解と判断すべき解答例と含意関係にあると検索された解答データ１４１中の解答を正解であると判断する。例えば、このように、採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う。また、この採点では、１つの回答に対して複数の採点基準があっても構わない。例えば、採点部１５４は、解答データ１４１に対して、複数の採点基準に対応した複数の解答例１４３と１つもしくは複数の模範解答１４２とを採点基準として解答データ１４１に含まれる解答群に対する採点を行うことが出来る。つまり、採点部１５４は、複数の採点基準に応じた異なる採点を解答データ１４１に含まれる解答群に対して行うよう構成することが出来る。
【００５２】
以上が、採点装置１の構成の一例である。続いて、図８を参照して、採点装置１の動作の一例について説明する。
【００５３】
図８は、採点装置１の動作の一例を示している。図８を参照すると、解答データ１４１を入力された採点装置１のクラスタリング部１５１は、解答データ１４１のクラスタリングを行う（ステップS101）。例えば、クラスタリング部１５１は、LDAによるクラスタリングを行う。また、クラスタリング部１５１は、各クラスタを代表する代表文を生成する。
【００５４】
表示部１５２は、クラスタリング部１５１によるクラスタリングの結果を画面表示部１２に表示する。例えば、表示部１５２は、クラスタリング部１５１が生成した各クラスタを代表する代表文を画面表示部１２に表示する（ステップS102）。この際、表示部１５２は、クラスタリング部１５１が計算したスコアなどに応じて、各種表示制御を行うことが出来る。
【００５５】
採点装置１の追加解答例受付部１５３は、採点者による選択の結果である追加情報を受け付ける。上述したステップS102の処理により画面表示部１２上には、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文が表示されている。そこで、採点装置１を操作する採点者は、画面表示部１２に表示された各クラスタの代表文のうち、模範解答１４２や解答例１４３と異なるクラスタであると判断されたものの、解答例に含めるべきクラスタを選択する。これにより、追加解答例受付部１５３は、採点者が選択したクラスタを示す追加情報を取得する。すると、追加解答例受付部１５３は、取得した追加情報に基づいて、採点者が選択したクラスタを代表する代表文を解答例として解答例１４３に追加する（ステップS103）。
【００５６】
採点部１５４は、追加解答例受付部１５３により追加された解答例１４３と模範解答１４２とを採点基準として、解答データ１４１に含まれる解答群に対する採点を行う（ステップS104）。
【００５７】
以上が、採点装置１の動作の一例である。
【００５８】
このように、採点装置１は、クラスタリング部１５１と、表示部１５２と、追加解答例受付部１５３と、採点部１５４と、を有している。このような構成により、追加解答例受付部１５３は、表示部１５２により画面表示部１２上に表示された、クラスタリング部１５１がクラスタリングした結果生成される各クラスタの代表文の中から、採点者により選択されたクラスタを示す情報を取得することが出来る。その結果、採点部１５４は、追加解答例受付部１５３により追加された採点基準に基づいて、解答データ１４１中の解答群を採点することが出来る。このように、本実施形態で説明した採点装置１によると、採点者による選択により採点基準となる解答例１４３が追加されており、追加後の採点基準に基づいて採点を行う。そのため、語句のゆれなどにより本来正解とすべき解答を不正解と判断してしまうなどの誤判断の発生を防ぎつつ、効率的に採点を行うことが可能となる。また、採点基準に基づく採点を行うため、採点者の差異による採点のばらつきを抑制することが出来る。
【００５９】
なお、採点装置１の構成は、本実施形態で例示した場合に限定されない。例えば、図９は、採点装置１の他の構成例を示している。図９を参照すると、例えば、採点装置１は、追加解答例受付部１５３の代わりに、追加解答例選択部１５５を有している。
【００６０】
追加解答例選択部１５５は、クラスタリング部１５１が生成した各クラスタの類似度（クラスタリングを実行する際に計算したトピックスコアなど）に基づいて、クラスタリング部１５１が生成したクラスタを代表する代表文のうち、解答例１４３に追加する代表文を自動的に選択する。例えば、追加解答例選択部１５５は、模範解答１４２や解答例１４３に含まれる解答例を含むクラスタと一致するスコアが所定の基準より大きなクラスタ（つまり、所定の基準より模範解答１４２や解答例１４３と類似しているクラスタ）を代表する代表文を、解答例１４３に追加する代表文として選択する。そして、追加解答例選択部１５５は、選択した代表文を解答例１４３に追加する。
【００６１】
例えば、上記のように、採点装置１は、採点者による選択の代わりに、計算したスコアなどに基づいて解答例１４３に追加する代表文を自動的に選択する追加解答例選択部１５５を有することが出来る。なお、追加解答例選択部１５５を有する場合、採点装置１は、表示部１５２を有さなくても構わない。また、採点装置１は、追加解答例受付部１５３と追加解答例選択部１５５とを両方有しても構わない。
【００６２】
また、図１では、１台の情報処理装置により採点装置１を実現する場合について例示した。しかしながら、採点装置１は、複数台の情報処理装置により実現されても構わない。例えば、採点装置１は、クラスタリング１５１と表示部１５２と追加解答例受付部１５３としての機能を有する情報処理装置と、採点部１５４としての機能を有する情報処理装置と、の二台の情報処理装置により構成されても構わない。また、例えば、クラスタリング１５１と表示部１５２と追加解答例受付部１５３としての機能を有する複数の情報処理装置により複数の採点基準を生成し、生成された複数の採点基準に基づいて採点部１５４としての機能を有する情報処理装置が採点を行うよう構成しても構わない。
【００６３】
また、採点部１５４は、正解か不正解かを判断するだけでなく、複数段階の評価を行うよう構成しても構わない。つまり、採点部１５４は、１点、２点、３点など、解答に応じて異なる得点を与えるよう構成しても構わない。このような構成は、例えば、模範解答１４２や解答例１４３を作成する際、解答例１４３を追加する際などに、模範解答１４２や解答例１４３に得点を対応付けておくことにより実現することが出来る。例えば、模範解答１４２と得点「５点」とが対応づけられているとする。この場合、採点部１５４は、模範解答１４２と含意関係にあると検索された解答データ１４１中の解答に対して、予め模範解答１４２と対応づけられた得点「５点」を付与する。このように、模範解答１４２や解答例１４３中の各解答例に得点を予め対応づけておくことで、採点部１５４は単純な正誤のみでない判断を行うことが出来るようになる。
【００６４】
また、クラスタリング部１５１は、上記例示した以外の方法を用いてクラスタリングを行っても構わない。例えば、クラスタリング部１５１は、階層的なクラスタリングを行うよう構成しても構わない。
【００６５】
また、本実施形態においては、採点装置１がクラスタリング部１５１を有するとした。しかしながら、採点装置１は、解答データ１４１に含まれる解答群から複数の部分集合を生成可能であれば、クラスタリング以外の方法を用いても構わない。例えば、採点装置１は、本実施形態で例示した以外の方法を用いて解答データ１４１に含まれる解答群に対する所定の分類を行うことで部分集合を生成するよう構成しても構わない。
【００６６】
［第２の実施形態］
次に、本発明の第２の実施形態を図１０から図１４までを参照して説明する。図１０は、採点装置２の構成の一例を示すブロック図である。図１１は、採点装置２による処理の一例を示す図である。図１２は、クラスタリング部１５１による解答データ１４１のクラスタリング結果の一例を示す図である。図１３は、解答例を追加した際の解答例１４３の一例を示す図である。図１４は、採点装置２の動作の一例を示すフローチャートである。
【００６７】
本発明の第２の実施形態では、第１の実施形態で説明した採点装置１の変形例である採点装置２について説明する。後述するように、採点装置２は、採点基準と含意関係にある解答データ１４１中の解答を検索して除外する。そして、採点装置２は、解答データ１４１中の解答群のうち除外されなかった残解答データに対してクラスタリングを行う。その後、採点装置２は、クラスタリングの結果新たに追加された採点基準に基づいて含意関係にある解答を検索して除外する。採点装置２は、例えば、上記のような処理を、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下となるまで繰り返す。このように、本実施形態における採点装置２は、除外処理を行いつつ複数回のクラスタリングを行うよう構成されている。
【００６８】
図１０は、採点装置２の構成の一例を示している。図１を参照すると、採点装置１は、主な構成要素として、操作入力部１１と、画面表示部１２と、通信Ｉ／Ｆ部１３と、記憶部２４と、演算処理部２５と、を有している。なお、図１０では、第１の実施形態で説明した採点装置１と同様の構成（図１参照）については、図１と同じ符号を付している。以下、本実施形態に特徴的な構成について説明する。
【００６９】
記憶部２４は、ハードディスクやメモリなどの記憶装置である。記憶部２４は、演算処理部２５における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信Ｉ／Ｆ部１３などのデータ入出力機能を介して外部装置（図示せず）や記録媒体（図示せず）から予め読み込まれ、記憶部２４に保存されている。記憶部１４で記憶される主な情報としては、解答データ１４１と、模範解答１４２と、解答例１４３と、除外閾値２４４と、がある。
【００７０】
除外閾値２４４は、後述する除外部２５５により除外する割合を示す閾値である。後述する除外部２５５は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下となるまで除外処理を繰り返す。
【００７１】
例えば、除外閾値２４４が示す値は、３０％などである。除外閾値２４４が示す値は、例示した以外であっても構わない。
【００７２】
演算処理部２５は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部２５は、記憶部２４からプログラム２４５を読み込んで実行することにより、上記ハードウェアとプログラム２４５とを協働させて各種処理部を実現する。演算処理部２５で実現される主な処理部としては、除外部２５５と、判断部２５６と、クラスタリング部１５１と、表示部１５２と、追加解答例受付部１５３と、採点部１５４と、がある。
【００７３】
除外部２５５は、採点基準に含まれる模範解答１４２や解答例１４３と含意関係にある解答データ１４１の解答を検索する。そして、除外部２５５は、検索した解答を解答データ１４１から除外する。このように、除外部２５５は、模範解答１４２や解答例１４３に基づいて、解答データ１４１に含まれる解答群のうちの少なくとも一部を除外する。クラスタリング部１５１は、解答データ１４１中の解答のうち、除外部２５５により除外されなかった解答である残解答データを対象としたクラスタリングを行うことになる。
【００７４】
例えば、除外部２５５は、追加解答例受付部１５３による解答例１４３の追加前に上記除外処理を行うとともに、追加解答例受付部１５３により解答例１４３が追加されるごとに上記除外処理を行う。
【００７５】
図１１は、除外部２５５による除外処理とクラスタリング部１５１によるクラスタリングとの関係の一例を示している。具体的には、図１１では、解答データ１４１に３０００件の解答が含まれている場合について例示している。また、図１１の場合、除外閾値２４４が示す値は３０％である。
【００７６】
図１１を参照すると、除外部２５５は、予め記憶部２４に格納された模範解答１４２と解答例１４３とに基づいて除外処理を行う。例えば、図１１の場合、除外部２５５は、解答データ１４１に含まれる３０００件の解答のうち３００件の解答が、予め記憶部２４に格納された模範解答１４２と解答例１４３と含意関係にあると判断する。そのため、除外部２５５は、上記３００件の解答を除外する。
【００７７】
ここで、上記３００件の解答を除外すると、解答データ１４１中の全解答（３０００件）に対する残解答データ（２７００件）の数の割合は９０％であり、３０％よりも大きい。そのため、残解答データに対してクラスタリング部１５１がクラスタリングを行い、表示部１５２がクラスタを代表する代表文を画面表示部１２に表示させる。そして、採点者による選択に応じて、追加解答例受付部１５３が解答例１４３を追加する。その結果、図１１で示すように、解答例１４３には解答例（追加１）が追加される。
【００７８】
具体的には、例えば、図１２（A）は、１回目のクラスタリングした結果の一例を示している。また、解答例１４３に、図１２（A）で示す代表文を追加すると、解答例１４３は、例えば、図１３（A）で示すようになる。このように、本実施形態の場合も、第１の実施形態と同様に、クラスタリングした結果に基づいて解答例１４３が追加される。例えば、図１３（A）で示す例では、解答例１４３には、予め記憶する３件と新たに追加した３件の計６件の解答例が含まれている。
【００７９】
続いて、除外部２５５は、新たに追加された解答例１４３（つまり、解答例（追加１））と含意関係にある解答データ１４１中の解答を検索して除外する。例えば、図１１の場合、除外部２５５は、２００件の解答が新たに追加された解答例１４３と含意関係にあると判断する。そのため、除外部２５５は、上記２００件の解答を除外する。この段階でも、解答データ１４１中の全解答（３０００件）に対する残解答データ（２５００件）の数の割合は８３．３％であり、３０％よりも大きい。そのため、残解答データに対してクラスタリング部１５１がクラスタリングを行い、表示部１５２がクラスタを代表する代表文を画面表示部１２に表示させる。そして、採点者による選択に応じて、追加解答例受付部１５３が解答例１４３を追加する。
【００８０】
例えば、図１２（B）は、２回目のクラスタリングした結果の一例を示している。また、解答例１４３に、図１２（B）で示す代表文を追加すると、解答例１４３は、例えば、図１３（B）で示すようになる。つまり、図１３（B）で示すように、２回目の追加の結果、解答例１４３には９件の解答例が含まれることになる。このように、解答例１４３に含まれる解答例の数は、例えば、クラスタリングを繰り返すごとに増えていくことになる。
【００８１】
上記のような処理を、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４である３０％以下となるまで繰り返す。例えば、図１１で示す場合、ｘ回目の除外処理により残解答データ数が９００件となり、解答データ１４１中の全解答に対する残解答データの数の割合が３０％以下となる。この段階になると、クラスタリング部１５１による残解答データに対する新たなクラスタリングは行われず、採点部１５４による採点が行われることになる。
【００８２】
判断部２５６は、除外閾値２４４に基づいて、残解答データをクラスタリングするか否か判断する。例えば、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４よりも大きい場合、クラスタリング部１５１によるクラスタリングを行うと判断する。判断部２５６がクラスタリングを行うと判断することで、クラスタリング部１５１によるクラスタリングが行われる。一方、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下である場合、クラスタリング部１５１によるクラスタリングを行わないと判断する。この場合、採点部１５４による採点が行われる。
【００８３】
採点部１５４は、第１の実施形態と同様に、採点基準に基づいて採点を行う。例えば、図１１で示す場合、採点基準には予め記憶部２４が記憶する模範解答１４２と解答例１４３とに加えて、ｘ回目までに追加された解答例が含まれている。採点部１５４は、上記のような模範解答１４２と解答例１４３とを含む採点基準に基づいて採点を行う。
【００８４】
なお、本実施形態の場合、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。このように採点部１５４を構成する場合、解答データ１４１のうちの残解答データは、例えば、採点部１５４による採点を行わずに、目視による採点を行うことになる。例えば、図１１で示す場合、残解答データである９００件の解答は、採点部１５４による採点を行わずに目視による採点を行うことになる。
【００８５】
このように、採点部１５４は、解答データ１４１に含まれる全解答のうちの一部の解答に対して自動的な採点を行うよう構成しても構わない。換言すると、採点装置２は、解答データ１４１中の解答群を自動的に採点を行う群と自動的に採点を行わない群に判別するよう構成することが出来る、ということも出来る。
【００８６】
以上が、採点装置２の構成の一例である。続いて、図１４を参照して、採点装置２の動作の一例について説明する。
【００８７】
図１４は、採点装置２の動作の一例を示している。図１４を参照すると、除外部２５５は、予め記憶部２４に格納された模範解答１４２と解答例１４３とに基づいて除外処理を行う（ステップS205）。
【００８８】
判断部２５６は、除外閾値２４４に基づいて、残解答データをクラスタリングするか否か判断する（ステップS206）。例えば、判断部２５６は、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４よりも大きい場合（ステップS206、Yes）、クラスタリング部１５１によるクラスタリングを行うと判断する。判断部２５６がクラスタリングを行うと判断すると、クラスタリング部１５１は残解答データに対するクラスタリングを行う（ステップS101）。また、表示部１５２は、クラスタリング部１５１によるクラスタリングの結果を画面表示部１２に表示する（ステップS102）。そして、追加解答例受付部１５３は、採点者が選択したクラスタを代表する代表文を解答例として解答例１４３に追加する（ステップS103）。上記処理の後、ステップS205の処理に戻る。
【００８９】
一方、解答データ１４１中の全解答に対する残解答データの数の割合が除外閾値２４４以下である場合（ステップS206、No）、判断部２５６は、クラスタリング部１５１によるクラスタリングを行わないと判断する。この場合、採点部１５４は、採点基準に基づいて採点を行う（ステップS104）。この際、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。
【００９０】
このように、採点装置２は、除外部２５５と、判断部２５６と、を有している。このような構成により、クラスタリング部１５１は、除外部２５５により除外された解答データを除いた残解答データのみをクラスタリングの対象とすることが出来る。これにより、例えば、効率的にクラスタリングを繰り返すことが可能となる。
【００９１】
また、本実施形態の場合、採点部１５４は、解答データ１４１に含まれる全解答のうち、除外部２５５により除外された解答（残解答データではない解答）のみを自動的な採点の対象とすることが出来る。このような構成により、クラスタリングでは正解か不正解か判断しにくい解答を目視により採点させることが可能となる。その結果、効率的な採点を実現しつつ、誤った採点をしてしまうおそれを低減させることが可能となる。
【００９２】
なお、本実施形態で説明した採点装置２にも、採点装置１と同様に様々な変形例を採用することが出来る。
【００９３】
［第３の実施形態］
次に、図１５を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、採点装置３の構成の概要について説明する。
【００９４】
図１５は、採点装置３の構成の一例を示している。図１５を参照すると、採点装置３は、例えば、分類部３１と、追加部３２と、を有している。採点装置３は、例えば、図示しない演算装置と記憶装置とを有している。例えば、採点装置３は、図示しない記憶装置に格納されたプログラムを演算装置が実行することで、上記各処理部を実現する。
【００９５】
分類部３１は、解答データを複数の部分集合に分類する。例えば、採点装置３は、解答データを予め記憶している。または、採点装置３には、解答データが入力される。採点装置３の分類部３１は、予め記憶している、または、入力された解答データを複数の部分集合に分類する。
【００９６】
追加部３２は、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加する。
【００９７】
このように、採点装置３は、分類部３１と、追加部３２と、を有している。このような構成により、追加部３２は、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加することが出来る。その結果、採点装置３は、追加部３２により追加された採点基準に基づいて、解答データを採点することが可能となる。このように、本実施形態で説明した採点装置３によると、採点者による選択により採点基準となる採点基準が追加されている。そのため、語句のゆれなどにより本来正解とすべき解答を不正解と判断してしまうなどの誤判断の発生を防ぎつつ、効率的に採点を行うことが可能となる。また、採点基準に基づく採点を行うため、採点者の差異による採点のばらつきを抑制することが出来る
【００９８】
また、上述した採点装置３は、当該採点装置３に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、解答データを複数の部分集合に分類する分類部３１と、分類部３１による分類の結果に基づいて、解答データを採点する際に用いる採点基準を追加する追加部３２と、を実現させるためのプログラムである。
【００９９】
また、上述した採点装置３により実行される採点方法は、情報処理装置が、解答データを複数の部分集合に分類し、分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する、という方法である。
【０１００】
上述した構成を有する、プログラム、又は、採点方法、の発明であっても、上記採点装置３と同様の効果を有するために、上述した本発明の目的を達成することが出来る。また、上記プログラムを記録したコンピュータが読み取り可能な記録媒体であっても、同様の理由により、上述した本発明の目的を達成することが出来る。
【０１０１】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における採点装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
【０１０２】
（付記１）
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
採点装置。
（付記２）
付記１に記載の採点装置であって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点装置。
（付記３）
付記２に記載の採点装置であって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点装置。
（付記４）
付記２に記載の採点装置であって、
前記分類部がクラスタリングした結果を表示する表示部を有し、
前記追加部は、前記表示部に表示した前記分類部がクラスタリングした結果に対する採点者による入力を受け付け、受け付けた入力に基づいて、前記代表文を前記採点基準に追加する
採点装置。
（付記５）
付記４に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、所定の表示制御を行う
採点装置。
（付記６）
付記５に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記クラスタを表示する位置を変更する
採点装置。
（付記７）
付記５または付記６に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタに対する強調表示を行う
採点装置。
（付記８）
付記５から付記７までのいずれか１項に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタの順番を制御する
採点装置。
（付記９）
付記１から付記８までのいずれか１項に記載の採点装置であって、
前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
採点装置。
（付記１０）
付記９に記載の採点装置であって、
前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きいか否か判断する判断部を有し、
前記判断部は、前記解答データに対する前記残解答データの数の割合が予め定められた閾値よりも大きい場合、前記分類部が前記解答データを複数の部分集合に分類すると判断する
採点装置。
（付記１１）
付記１０に記載の採点装置であって、
前記判断部が前記解答データに対する前記残解答データの数の割合が予め定められた閾値以下であると判断した場合に、前記採点基準に基づいて、前記解答データのうちの前記残解答データを除いた解答を採点する採点部を有する
採点装置。
（付記１２）
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
採点方法。
（付記１２−１）
付記１２に記載の採点方法であって、
前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点方法。
（付記１２−２）
付記１２−１に記載の採点方法であって、
前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点方法。
（付記１３）
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラム。
（付記１３−１）
付記１３に記載のプログラムであって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
プログラム。
（付記１３−２）
付記１３−１に記載のプログラムであって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
プログラム。
【０１０３】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【０１０４】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【０１０５】
なお、本発明は、日本国にて２０１８年５月２５日に特許出願された特願２０１８−１００４９９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【０１０６】
１  採点装置
１１  操作入力部
１２  画面表示部
１３  通信Ｉ／Ｆ部
１４  記憶部
１４１  解答データ
１４２  模範解答
１４３  解答例
１４４  プログラム
１５  演算処理部
１５１  クラスタリング部
１５２  表示部
１５３  追加解答例受付部
１５４  採点部
１５５  追加解答例選択部
２  採点装置
２４  記憶部
２４４  除外閾値
２４５  プログラム
２５  演算処理部
２５５  除外部
２５６  判断部
３  採点装置
３１  分類部
３２  追加部
【図１】
2019225229.tif 000003
【図２（Ａ）】
2019225229.tif 000004
【図２（Ｂ）】
2019225229.tif 000005
【図３（Ａ）】
2019225229.tif 000006
【図３（Ｂ）】
2019225229.tif 000007
【図４（Ａ）】
2019225229.tif 000008
【図４（Ｂ）】
2019225229.tif 000009
【図５】
2019225229.tif 000010
【図６】
2019225229.tif 000011
【図７】
2019225229.tif 000012
【図８】
2019225229.tif 000013
【図９】
2019225229.tif 000014
【図１０】
2019225229.tif 000015
【図１１】
2019225229.tif 000016
【図１２（Ａ）】
2019225229.tif 000017
【図１２（Ｂ）】
2019225229.tif 000018
【図１３（Ａ）】
2019225229.tif 000019
【図１３（Ｂ）】
2019225229.tif 000020
【図１４】
2019225229.tif 000021
【図１５】
2019225229.tif 000022
【手続補正書】
【提出日】令和2年10月30日(2020.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を有する
採点装置。
【請求項２】
請求項１に記載の採点装置であって、
前記分類部は、前記解答データをクラスタリングすることで、当該解答データを部分集合に分類し、
前記追加部は、前記分類部が前記解答データをクラスタリングすることで生成したクラスタを代表する代表文を前記採点基準に追加する
採点装置。
【請求項３】
請求項２に記載の採点装置であって、
前記追加部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記代表文を前記採点基準に追加する
採点装置。
【請求項４】
請求項２に記載の採点装置であって、
前記分類部がクラスタリングした結果を表示する表示部を有し、
前記追加部は、前記表示部に表示した前記分類部がクラスタリングした結果に対する採点者による入力を受け付け、受け付けた入力に基づいて、前記代表文を前記採点基準に追加する
採点装置。
【請求項５】
請求項４に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、所定の表示制御を行う
採点装置。
【請求項６】
請求項５に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、前記クラスタを表示する位置を変更する
採点装置。
【請求項７】
請求項５または請求項６に記載の採点装置であって、
前記表示部は、前記解答データをクラスタリングすることで生成した前記クラスタの類似度に基づいて、表示する前記クラスタに対する強調表示を行う
採点装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の採点装置であって、
前記採点基準に基づいて前記解答データの一部を除外する除外部を有し、
前記分類部は、前記解答データのうち前記除外部が除外した一部を除いた残解答データを分類する
採点装置。
【請求項９】
情報処理装置が、
解答データを複数の部分集合に分類し、
分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する
採点方法。
【請求項１０】
情報処理装置に、
解答データを複数の部分集合に分類する分類部と、
前記分類部による分類の結果に基づいて、前記解答データを採点する際に用いる採点基準を追加する追加部と、
を実現させるためのプログラム。
【国際調査報告】
2019225229.tif 000023
2019225229.tif 000024
2019225229.tif 000025
2019225229.tif 000026