(57)【要約】本発明の実施形態は、学生成果物の査定の半自動システム及び方法を提供する。方法は、複数の学生から複数の学生成果物を取得するステップ、学生成果物に存在するモチーフを識別するステップ、サブセットのモチーフを形成するステップ、サブセットのモチーフに基づいて成果物をクラスターにクラスタリングするステップ、クラスターに関連する教師からの査定を受け取るステップ、及びクラスター査定に基づいて成果物の査定を提供するステップを備えることができる。本発明の実施形態による方法は、教師のレビュー及びフィードバック時間を短縮し、学生に伝えられるフィードバックの一貫性及び質を高めることができる。【選択図】図４
2018510438.tif 000002
【特許請求の範囲】
【請求項１】
学生成果物の査定の方法であって、
複数の学生からの複数の学生成果物をコンピューティングデバイスを介して受け取るステップと、
前記学生成果物に存在するモチーフをコンピューティングデバイスを使用して識別するステップと、
前記学生成果物に存在するモチーフに基づいてコンピューティングデバイスを使用して前記成果物をクラスターにクラスタリングするステップと、
クラスターに関連する教師からの査定を受け取るステップと、
前記クラスターの前記査定に基づいて、学生に学生成果物の査定を提供するステップと、を備える方法。
【請求項２】
前記モチーフは、前記受け取られた学生成果物の配列アラインメントを用いて識別される、請求項１に記載の方法。
【請求項３】
クラスタリングは、近隣結合法、Ｋ平均法、ガウス混合モデル、期待値最大化法、自己組織化マップ、主成分分析、遺伝的アルゴリズム、及びニューラルネットワークからなる群から選択される方法を用いて実行される、請求項１に記載の方法。
【請求項４】
成果物は５０人を超える学生から受け取られる、請求項１に記載の方法。
【請求項５】
成果物が５と２０との間のクラスターにクラスタリングされる、請求項１に記載の方法。
【請求項６】
クラスタリング後、前記成果物は各クラスターに関連付けられている成果物のグラフィック表示を使用して表示される、請求項１に記載の方法。
【請求項７】
モチーフは各成果物のグラフィック表示内にグラフィカルに表示される、請求項６に記載の方法。
【請求項８】
クラスタリング後、クラスターとの成果物の関連付けに関連する教師からの入力を受け取るステップを更に備える、請求項１に記載の方法。
【請求項９】
クラスターとの成果物の関連付けに関連する教師の入力に基づいて成果物を再クラスタリングするステップを更に備える、請求項８に記載の方法。
【請求項１０】
前記学生成果物に存在するモチーフを識別するステップは、以前に受け取られた学生成果物に基づいて以前に受け取られたモチーフデータを使用するステップを備える、請求項１に記載の方法。
【請求項１１】
前記査定は、前記成果物の等級、前記学生成果物に関するフィードバック、前記学生成果物の作成者に対する将来の課題の提案、及び／又は指導学習の提案のうちの１つ又は複数を備える、請求項１に記載の方法。
【請求項１２】
モチーフの識別後、学生成果物の改善されたカバレッジを提供するサブセットのモチーフを識別するステップを更に備える、請求項１に記載の方法。
【請求項１３】
モチーフの識別後、学生成果物の最小オーバーラップを提供するサブセットのモチーフを識別するステップを更に備える、請求項１２に記載の方法。
【請求項１４】
モチーフの識別後、最適化アルゴリズムを使用して重要でないモチーフを除去するステップを更に備える、請求項１に記載の方法。
【請求項１５】
前記最適化アルゴリズムは、遺伝的アルゴリズム、ヒルクライミング、勾配降下、シミュレーテッドアニーリング、及びダイナミックプログラミングからなる群から選択される、請求項１４に記載の方法。
【請求項１６】
前記最適化アルゴリズムは、どのサブセットのモチーフが最小オーバーラップと共に集合的な成果物の最大カバレッジを提供するかを示す、請求項１４に記載の方法。
【請求項１７】
クラスタリングは前記サブセットのモチーフに基づいて実行される、請求項１６に記載の方法。
【請求項１８】
クラスタリング直後、各クラスターに関連付けられるセントロイドを識別するステップを更に備える、請求項１に記載の方法。
【請求項１９】
クラスターに関連付けられる前記セントロイドを前記教師に表示するステップを更に備える、請求項１８に記載の方法。
【請求項２０】
クラスタリング直後、モチーフ、クラスター、及び／又は学生成果物に関連する要約データを表示するステップを更に備える、請求項１に記載の方法。
【請求項２１】
前記要約データは統計データを備える、請求項２０に記載の方法。
【請求項２２】
クラスタリング直後、クラスタリングデータをデータベースに格納するステップを更に備える、請求項１に記載の方法。
【請求項２３】
学生に査定を提供直後、学生からの前記査定についての更なる入力を受け取るステップを更に備える、請求項１に記載の方法。
【請求項２４】
モチーフは特徴に基づくモチーフ識別によって識別される、請求項１に記載の方法。
【請求項２５】
モチーフは参照文献マッチングアルゴリズムによって識別される、請求項１に記載の方法。
【請求項２６】
前記複数の学生成果物を受け取るステップは学習管理システムで実行される、請求項１に記載の方法。
【請求項２７】
前記複数の学生成果物を受け取るステップはウェブベースのプラットフォームで実行される、請求項１に記載の方法。
【請求項２８】
前記学生成果物は、課題に対する回答、レポート、プロジェクト、宿題の回答、及びテストの回答からなる群から選択される、請求項１に記載の方法。
【請求項２９】
質問に対する応答の査定の方法であって、
コンピューティングデバイスを介して複数の応答者から複数の応答を受け取るステップと、
コンピューティングデバイスを使用して前記応答内に存在するモチーフを識別するステップと、
前記応答に存在するモチーフに基づいてコンピューティングデバイスを使用して前記応答をクラスターにクラスタリングするステップと、
前記クラスタリングされた応答の記述を提供するステップと、を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２０１５年２月６日に出願された米国仮特許出願第６２／１１２，６６５号の３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）の下での利益を主張するものであり、該米国仮特許出願の開示は参照により本明細書に組み込まれる。
【０００２】
本発明の実施形態は、学術的成果物の査定のための方法及びシステムに関する。
【背景技術】
【０００３】
多くの教育的及び学術的環境において、教師（講師、教育者、トレーナー、教師アシスタント、及び教授を含む人は、全て以下「教師」と総称される）は、学生の学習を評価し、向上させるために、課題、レポート、プロジェクト、宿題、及びテスト（総称して「学生成果物」）を準備する。多くの分野で、教師は、学生がフリーテキスト形式、数学形式、プログラミングコード形式、又は同様の書式で回答することができる自由回答形式の質問を使用する。学生をレビューし、採点し、貴重なフィードバックを提供するために、教師は、学生の学習プロセスを支援するために課題及びテストに対する学生の回答を読み、レビューし、コメントするのに多大な時間を費やす。学生成果物のレビューは、大学、カレッジ、高等学校、専門学校、企業訓練、及びオンライン教育環境における大きな教室で特に重荷になる可能性がある。
【０００４】
学生の回答をレビューする時間を節約するために、教師は、手動で又はコンピュータを使って簡単に確認することができる多肢選択式テストを用意することができる。しかしながら、多肢選択式テストは多くの欠点を有する。多くの分野において、多肢選択式の形式は、学生が回答を取得する方法を正確に捕らえることができない。多肢選択式の質問に対する回答はまた、学生が同僚からコピーする又は不正行為をすることがより容易である。更に、多くの多肢選択式の質問が所与の科目において学生の習熟度を適切に査定するために必要である。
【発明の概要】
【０００５】
課題が多数の学生に提示される学術的又は学問的な環境では、学生成果物の多くは他の学生のものと類似している可能性がある。学生成果物は多数のクラスターに分割されることができ、各クラスターは複数の学生からの学生成果物を備え、教師は、各学生成果物を査定する必要もなく、各クラスターに関連するフィードバックを提供することが可能となる。
【０００６】
本発明の実施形態は、学生成果物の査定のための半自動システム及び方法を提供する。方法は、複数の学生から複数の学生成果物を取得するステップ、成果物に存在するモチーフを識別するステップ、成果物内のサブセットのモチーフを選択するステップ、成果物をクラスターにクラスタリングするステップ、教師からクラスターに関連する査定を受け取るステップ、及びクラスター査定に基づいて成果物に対する査定を提供するステップを備えることができる。
【０００７】
成果物のサブセットのモチーフの選択は、学生成果物の最小オーバーラップと共に学生成果物の最適なカバレッジを提供するサブセットのモチーフを見つけるために、コンピューティングデバイスのプロセッサを使用して実行されることができる。
【０００８】
クラスタリングは、アルゴリズムを実行するように構成される非一時的メモリを備えるコンピューティングデバイスを使用して実行されることができる。本発明の実施形態による方法は、教師のレビュー及びフィードバック時間を短縮し、学生に伝えられるフィードバックの一貫性及び質を高めることができる。
【０００９】
本発明の実施形態によれば、或る成果物に関連する教師の査定をクラスタリングし且つ受け取るシステム及び／又は方法を使用した後、教師はクラスタリング及び査定データをデータベースに格納し、学生からの同様の成果物を査定するためにクラスタリング及び査定データを使用することができ、それによって学生にフィードバックを提供するのに必要な時間を短縮することができる。例えば、教師が所与の課題に対して学生成果物を査定する際に支援として前述の方法を使用し、得られたクラスタリング及び査定データをデータベースに格納する場合、教師は以前の課題に与えられたクラスタリング、分類、及び／又は査定に基づいて、コンピューティングデバイスを使用して、新しく受け取られた成果物を分類することができる。この分類は、教師が同様のコース又は後の学期に異なるグループの学生に同じ課題を与えるのに役立つことができ、学生の応答の容易な迅速なレビューを可能にする。
【００１０】
本発明の実施形態による方法は、個別的に全ての学生からの全ての成果物をレビューすることなく、学生成果物に個別化された学生へのフィードバックを提供する際に、教師の時間を節約することができる。
【００１１】
本概要は学術的成果物及び教師によるそれらの査定を扱うが、本発明の実施形態は、任意のタイプの質問に対する応答の査定のためのシステム及び方法に関する可能性がある。例えば、製品のユーザがユーザ体験の記述を求められる調査が行われることができる。ユーザによって提出される応答は、レビュー担当者によって分析され、本明細書に記載の方法を用いてクラスタリングされることができる。この方法はレビュー担当者によって実行される分析プロセスを単純化することができる。
【００１２】
本概要は、以下の詳細な説明で更に説明される選ばれた概念を簡略化した形で紹介するために提供される。本概要は、特許請求の範囲の主題の主要な特徴又は必須の特徴を特定することを意図するものでもなく、特許請求の範囲の主題の範囲を限定するために使用されることも意図していない。
【００１３】
実施形態の非限定的な例は、本明細書に添付され、この段落に続いて列挙される図を参照して以下に説明される。複数の図に現れる同一の構造、要素、又は部品は、概して、それらが現れる全ての図において同じ数字でラベル付けされ、図において所与の特徴を表すアイコンにラベル付けされた数字は、その所与の特徴を参照するように使用されることができる。図に示される構成要素及び特徴の寸法は、提示の便宜及び明瞭さのために選択され、必ずしも縮尺通りに示されていない。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による学生成果物を査定する方法を示すブロック図を示す。
【図２】本発明の実施形態による学生成果物をクラスタリングし且つ査定する方法の態様を示すブロック図を示す。
【図３】本発明の実施形態によるクラスタリングされた結果の表示のワイヤフレームを示す。
【図４】本発明の実施形態によるクラスタリングされた結果の表示のワイヤフレームを示す。
【発明を実施するための形態】
【００１５】
次に、図１を参照して、本発明の実施形態による学生成果物を査定する方法１０を示すブロック図を示す。
【００１６】
方法１０は複数の学生成果物を取得するステップを備えるブロック２０を備える。成果物はコンピューティングデバイスに提出されることができる。本発明の実施形態によれば、コンピューティングデバイスは、サーバ、スマートフォン、デスクトップコンピュータ、ラップトップコンピュータ、ファブレット、タブレット、又はスマートウォッチとすることができる。任意選択的に、コンピュータデバイス又はサーバは、様々な物理的に別の位置に配置されているコード及びハードウェア構成要素を有する「分散システム」とすることができる。コンピューティングデバイスは、「クラウドコンピュータ」とすることができるか、又はワールドワイドウェブもしくはインターネットの一部とすることができる。本発明の実施形態によれば、コンピューティングデバイスへの及びからのデータ通信は、有線及び／もしくは無線通信、セルラデータ送信、Ｗｉ−Ｆｉネットワーク、クラウドコンピューティング、又はワールドワイドウェブもしくはインターネットを介することができる。
【００１７】
本発明の実施形態によれば、コンピューティングデバイスは、学術機関の学習管理システム（ＬＭＳ：Ｌｅａｒｎｉｎｇ  Ｍａｎａｇｅｍｅｎｔ  Ｓｙｓｔｅｍ）に関連付けられることができる。ＬＭＳは現在、多くの学術機関によって実施されている。本発明の実施形態の実装に使用されることができる例示的なＬＭＳは、「Ｍｏｏｄｌｅ（ムードル）」及び「Ｂｌａｃｋｂｏａｒｄ（ブラックボード）」を含む。
【００１８】
本発明の実施形態によれば、コンピューティングデバイスはプロセッサを備える。プロセッサは、当技術分野で知られている任意の処理及び／又は制御回路を備えることができ、例として、マイクロプロセッサ、特定用途向け回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｃｉｒｃｕｉｔ）、フィールドプログラマブルアレイ（ＦＰＧＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、及び／又はシステムオンチップ（ＳＯＣ：ｓｙｓｔｅｍ  ｏｎ  ａ  ｃｈｉｐ）のうちの任意の１つ又は任意の複数の組み合わせを備えることができる。プロセッサは、モチーフバンクの生成、モチーフバンクの処理、及びクラスタリングを実行することができる。
【００１９】
本発明の実施形態によれば、コンピューティングデバイスはメモリを備える。メモリは、データ及び／又はコンピュータ実行可能命令を格納するのに適する任意の電子及び／又は光回路を有することができ、例として、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、及び／又は消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）のうちの任意の１つ又は任意の複数の組み合わせを備えることができる。学生成果物はメモリに保存されることができる。モチーフデータ及び／又はクラスタリングデータはメモリに格納されることができる。
【００２０】
本発明の実施形態によれば、学生成果物は、例えば教師及び／又は学生のコンピューティングデバイスへの提出によって取得されることができる。学生及び／又は教師は、ウェブベースのプラットフォームを使用して学生成果物を提出することができる。学生及び／又は教師は、個人識別コードもしくは番号又は他の識別子を入力した後、ウェブベースのプラットフォームに入ることができる。
【００２１】
本発明の実施形態によれば、教師は、教育、学術、公的、私立、又は職業訓練機関において教員のアシスタントを含む教職員である。機関は、例えば教室での対面授業又はオンライン授業を提供することができる。
【００２２】
本発明の実施形態によれば、学生成果物は、課題に対する回答、レポート、プロジェクト、宿題の回答、及びテストの回答からなる群から選択される。
【００２３】
本発明の実施形態によれば、各学生は、例えば単一の課題に対して単一の成果物を提出する。本発明の実施形態によれば、各学生は、例えば複数の異なる回答を有する課題に対して複数の成果物を提出する。本発明の実施形態による方法は、課題における他の回答とは独立に各回答をクラスタリングすることができる。
【００２４】
方法１０は、類似の成果物に関連する査定がデータベースにおいて利用可能であるかどうかを判断するステップを備えるブロック３０を備える。同様の成果物は、例えば前の学期に同じ教師によって又は同じコースを教える別の教師によって以前に提出されている可能性がある。データベースはコンピューティングデバイスのメモリに格納されることができる。
【００２５】
本発明の実施形態によれば、コンピューティングデバイスは、たとえ２人の教師がお互いのコースに気付いていないとしても、或るときに或る教師によって与えられる或るコース／クラスの学生成果物を、異なるコース／クラスの既に保存された成果物に自動的にマッチングすることができる。マッチング処理は、データベースに格納されている複数組の成果物に関連して受け取られている成果物を分類することによって実行されることができる。マッチは、格納されている成果物及びそれらに関連付けられているクラスターに関連する新しい成果物の分類の平均スコアが、所定の閾値又は閾値式よりも高い場合、定義されることができる。
【００２６】
成果物に関連する査定が特定されない場合、方法１０は、クラスターを形成するように学生成果物をクラスタリングするステップを備えるブロック４０を更に備えることができる。クラスタリングは図２を参照して以下で更に詳しく扱われるであろう。
【００２７】
方法１０は、クラスターに関連する要約及び／又はセントロイド（重心）成果物を提供するステップを備えるブロック５０を更に備えることができる。セントロイド成果物は、クラスターのセントロイド（重心）に関連付けられる成果物である。セントロイドは、クラスター内の他の成果物と最も類似している成果物とすることができる。要約及びセントロイド成果物は、図２を参照して以下で更に詳しく扱われるであろう。
【００２８】
方法１０は、閲覧するために教師にクラスターを提示するステップを備えるブロック６０を更に備えることができる。本発明の実施形態によれば、クラスターを代表する、クラスターの成果物の要約が教師に提示される。本発明の実施形態によれば、クラスターを代表するセントロイド成果物が教師に提示される。本発明の実施形態によれば、クラスターを代表する要約及びセントロイド成果物の両方が教師に提示される。
【００２９】
本発明の実施形態によれば、要約は、成果物、モチーフ、及び／又はクラスターに関連する統計データを備えることができる。要約は、全部の学生成果物及び／又は各クラスターにおけるモチーフの頻度を記述する統計データを備えることができる。それから、要約は、例えば、授業時間にあまり理解されていないモチーフにより注意を集中させるように将来の教育的方法を改善するために、教師が学生の理解を分析するのに使用されることができる。
【００３０】
ここで、本発明の実施形態によるクラスタリングされている成果物を示すコンピューティングデバイスの表示のワイヤフレーム２００を備える図３を参照する。教師への成果物の提示は、ワイヤフレーム２００に示されるように実行されることができる。ワイヤフレーム２００は、左フレーム２１０、右フレーム２２０、及びスクロールバー２２２を備える。左フレーム２１０は、所与のクラスターのセントロイド成果物を示すセントロイド表示２３０を備える。セントロイド表示２３０はセントロイドタイトル２３２及びセントロイドテキスト２３４を備える。例えば、セントロイド表示２３０は、「クラスター１」と指定されるクラスターのセントロイド成果物を表示することができ、セントロイド成果物はクラスターの「成果物６」と指定される。
【００３１】
右フレーム２２０は、それぞれが同じクラスター、例えば「クラスター１」に関連付けられる成果物内で指定される複数の成果物２４０、２５０、及び２６０を備える。成果物２４０は成果物タイトル２４２及び成果物テキスト２４４を備える。成果物２５０は成果物タイトル２５２及び成果物テキスト２５４を備える。成果物２６０は成果物タイトル２６２及び成果物テキスト２６４を備える。
【００３２】
ワイヤフレーム２００に模式的に示されるような表示を使用して学生成果物を閲覧することは、所与のクラスター内の成果物をレビューする教師にとって都合がよい可能性がある。表示は、クラスターのセントロイド成果物とそのクラスターの他の成果物とを容易に比較する能力を教師に与えることができる。教師は、スクロールバー２２２を使用して右フレーム２２０をスクロールし、それによりクラスター内の全ての成果物を表示することができる。
【００３３】
本発明の実施形態によれば、ワイヤフレーム２００は、成果物に関連付けられるクラスター検証及び／又はクラスター除去アイコン（両方とも図示せず）を備えることができる。教師は、例えば右フレーム２２０内の成果物を閲覧することができ、クラスター検証アイコンをアクティブにすることによって、関連付けられている成果物が閲覧されている現在のクラスターと関連付けられるべきであることを確認することができる。教師は、クラスター除去アイコンをアクティブにすることによって、関連付けられている成果物は閲覧されている現在のクラスターに関連付けられるべきでないことを示すことができる。教師は、成果物がどのクラスターに関連付けられるべきかを示すことができる。システムは、教師からの入力を使用して、成果物を異なるクラスターにクラスタリングすることができる。教師の入力の結果、システムは、追加の非常に類似した成果物の割り当てをそのクラスターから別のクラスターに変更することもできる。
【００３４】
本発明の実施形態によれば、成果物テキスト２４４、２５４、及び２６４は、各々、強調表示されているテキスト又はそれ以外に例えばフォントサイズもしくはスタイルによって他のテキストとは区別されるテキストを備えることができる。強調表示されているテキストは、成果物２４０、２５０、及び２６０が関連付けられているクラスターの特徴であると識別されるモチーフを備えることができる。強調表示されているテキスト又はそれ以外に他のテキストと区別されるテキストは、成果物テキストに関するモチーフデータを備えることができる。
【００３５】
再び図１を参照すると、方法１０は教師からクラスターに関連する査定を受け取るステップを備えるブロック７０を更に備える。
【００３６】
教師から受け取られる査定は、成果物の等級、学生成果物に関するフィードバック、学生成果物の作者に対する将来の課題の提案、又は指導学習の提案のうちの任意の１つ又は複数を備えることができる。指導学習の提案は、一緒に学習又は共同作業する或るクラスター内の学生と別のクラスターからの一人の学生又は複数の学生との間のマッチングを備えることができる。
【００３７】
方法１０は、データベースに成果物、関連付けられているクラスタリングデータ、及び査定を格納するステップを備えるブロック８０を更に備えることができる。クラスターに関連付けられている査定は、将来の参照のためにデータベースに格納されることができ、例えば、教師が別のクラスで又は後の学期に同じ又は類似の課題を提供する場合、教師は以前に格納されたクラスタリング及び査定データにアクセスすることができる。
【００３８】
方法１０は、学生に学生成果物の査定を提供するステップを備えるブロック９０を更に備えることができる。本発明の実施形態によれば、査定は、例えば、電子メール又は機関の学習管理システム（ＬＭＳ）を介して電子的に送信されることができる。本発明の実施形態によれば、査定は、ブロック７０に従ってクラスターに関連する教師からの査定を受け取ると、コンピュータによって学生に自動的に送信されることができる。
【００３９】
本発明の実施形態によれば、学生に彼／彼女自身の学生成果物の査定が提供されることができる。任意選択的に、学生はまた、学生成果物の他のクラスターに関連する教師によって提供される査定にアクセスすることもできる。
【００４０】
再びブロック３０を参照する。成果物に関連する査定がデータベース内で識別される場合、方法１０は、以前に指定されたクラスターに従って学生成果物を分類するステップを備えるブロック３５を更に備えることができる。各学生成果物は、学生成果物に存在する特徴又は複数の特徴に基づいて、以前に形成されたクラスターに従って分析され、分類されることができる。
【００４１】
本発明の実施形態によれば、学生は課題に関連する成果物を再提出するように求められることができる。そのような状況では、成果物は、ブロック３５に従って分類されることができ、彼／彼女の再提出された成果物に関連する新たな査定及びフィードバックを学生に提供する。
【００４２】
方法１０は、各クラスターの成果物に対する査定を指定するステップを備えるブロック４５を更に備えることができる。査定は、教師の入力に基づいて、又は類似の特徴を有する対応するクラスターに関連するデータベースに格納されている前の査定に基づいて指定されることができる。
【００４３】
ブロック９０に記載されているように、各クラスターの成果物に対する査定が指定されると、査定は各学生に提供されることができる。
【００４４】
方法１０は、学生によって受け取られる査定に関する学生からのフィードバックを受け取るステップを備えるブロック９５を更に備えることができる。学生は教師に査定に関するフィードバックを提出することができる。フィードバックは、査定のクラスタリング及び／又は関連性に関する可能性がある。教師は、受け取られたフィードバック及び／又は統計的集約に基づいて各クラスターに関連付けられているクラスタリング及び／又は査定並びに全てのフィードバックの分析を修正することができる。任意選択的に、最適化アルゴリズムが学生のフィードバックを組み込み、それにより、将来のクラスタリング及び／又はフィードバックを改善するために使用されることができる。
【００４５】
次に、本発明の実施形態による学生成果物をクラスタリングし査定する方法の態様を示す方法１００を示すブロック図を示す図２を参照する。方法１００はコンピューティングデバイスによって実行されることができる。
【００４６】
方法１００は、受け取られた学生成果物に基づいてモチーフバンクを生成するステップを備えるブロック１１０を備えることができる。モチーフは学生成果物に共通の要素（サブパターンなど）とすることができる。例えば、乱数の配列をソートするコンピュータサイエンスの課題において、モチーフは最小値を見つけるために配列内の全ての値をスキャンするループとすることができるであろう。お互いに異なる可能性がある学生の成果物の多くはこのモチーフを含むことができる。代替のモチーフは、各対においてその対の値だけをソートするために、配列内の隣接する全ての対の値をスキャンするループとすることができるであろう。
【００４７】
本発明の実施形態によれば、モチーフは学生成果物を複数の他の学生成果物と比較することによって識別される。学生の解答は、他の学生の成果物に現れる同じ又は類似のセクションの繰り返しの出現に基づいて、様々なセクション又はモチーフに「切り分けられる」ことができる。
【００４８】
本発明の実施形態によれば、モチーフはセグメント化アルゴリズムを使用して形成される。セグメント化アルゴリズムは、テキスト内のフレーズ又は文を識別するために使用されるテキストセグメント化アルゴリズムと同様とすることができる。
【００４９】
本発明の実施形態によれば、モチーフは、配列アラインメントアルゴリズムを用いて学生成果物から生成されることができる。配列アラインメントでは、学生成果物の要素（単語、数、コードのセクション、コンセプト、又は同様のもの）は、「グローバル配列アラインメント」及び／又は「ローカル配列アラインメント」を用いて、分析されることができる。ダイナミックプログラミング法が、学生成果物に対して配列アラインメントを実行するために使用されることができる。他の配列アライメント法は、バイオインフォマティクス、ゲノム科学、テキストマイニング、及び自然言語処理の分野で実装されるアルゴリズムを含むことができるであろう。
【００５０】
本発明の実施形態によれば、モチーフは、成果物を比較するために各成果物に対して対を割り当て、ローカルアラインメントを使用することによって見出される。任意選択的に、対をランダムに選択することができる。任意選択的に、どの成果物もみな他の全ての成果物と比較されることができる。ローカルアライメントは、以下のように、任意選択的にダイナミックプログラミングを用いて、一対の成果物におけるサブ配列間のローカルアライメントを見つけるために、実行されることができる。例えば、１つの成果物がＡＢＣＤＥＦＧＨＩＪＫであり、他がＺＺＺＺＺＺＢＣＺＤＥＧＺＺであるならば、第一の成果物のＢＣＤＥＦＧサブ配列は第二の成果物のＢＣＺＤＥＧサブ配列と照合されるであろう。これらの２つのサブ配列は、２つのサブ配列間に挿入、欠失、及び置換の変更（転換）が存在するので同一ではないが、それにもかかわらず、なお類似性は共通のモチーフとして認識されることができる。１つの成果物では、サブ配列は配列の始めにあり、他の成果物では配列の最後にあるが、これらは、それでも、ローカルアラインメントアルゴリズムの使用によりモチーフと見なされるであろう。サブ配列をモチーフとして認識すると、それらはモチーフバンクに加えられることができる。コンピューティングデバイスは、両方の成果物に現れる別のモチーフを見つけるために同じ対の成果物を分析し続けることができる。コンピューティングデバイスは、後続の対の成果物を分析し、上記と同じ手順を繰り返すことを続けることができる。
【００５１】
本発明の実施形態によれば、モチーフは、学生成果物及び他の学生成果物に共通の特徴の類似性に基づいて識別されることができる。これは、特徴ベースのモチーフ識別と呼ぶことができる。特徴ベースのモチーフ識別のために使用されることができる例示的な特徴は、非限定的例：成果物に存在する単語の数、名詞の数、動詞の数、人数／人の名前、場所、日付、イベント、国、企業、遺伝子、疾患、分子化合物、物理法則、数学の定理、政治運動、宗教的見解、成果物の複雑さ、成果物のサイズ、使用されている名詞／動詞／固有名詞、及び同様なもの、を含む。そのような実体のライブラリは、キーワード抽出アルゴリズムを使用して、又は使用せずに、一般にデジタルソース及びワールドワイドウェブから取得されることができるであろう。
【００５２】
本発明の実施形態によれば、モチーフは参照文献マッチングアルゴリズムを使用して生成されることができる。教師はモチーフ生成のために使用される関連する参照文献を選択することができる。各学生成果物は、学生成果物又はその一部と関連する参照文献との類似性に基づいてモチーフにセグメント化されることができる。参照文献は、質問に対する回答もしくはそのような幾つかの回答、以前にコースで勉強したテキスト、テキストブックテキスト、又は百科事典とすることができる。次いで、学生成果物は、参照文献とのそれらのそれぞれの類似性に基づいて互いに比較される。
【００５３】
方法１００はモチーフバンクを処理するステップを備えるブロック１２０を更に備えることができる。モチーフバンクはモチーフを結合する及び／又は重要でないモチーフを除去するように処理されることができる。モチーフバンクは配列アラインメントアルゴリズムを用いて処理されることができる。モチーフバンクは、モチーフによる学生成果物の最小オーバーラップと共に最大カバレッジという最適条件を提供するように処理されることができる。
【００５４】
本発明の実施形態によれば、一旦モチーフが見出されると、マトリックスが、集合的成果物の最大カバレッジ及び最小オーバーラップを提供するサブセットのモチーフを選択するように形成されることができる。マトリックスは、各学生成果物における各要素（行、単語、命令、又は文）が１行に帰属されるように形成されることができる。成果物に存在し、モチーフバンクに格納されているモチーフは、各々、マトリックス内の１つの列に帰属されることができる。所与の成果物におけるモチーフの有無は、バンクからのモチーフと成果物との間のローカルアラインメントによって検出されることができ、マトリックスの該当する行にそれぞれ１又は０で示されることができる。マトリックスの各行について、マトリックスの要素の和（１又は０）が、「カバレッジベクトル」を形成するために所与のサブセットのモチーフに対して計算されることができる。コンピューティングデバイスのプロセッサは、可能な限り１、１、１…１に近い「カバレッジベクトル」を提供するであろうモチーフに基づいて、モチーフバンクからサブセットのモチーフを選択することができる。そのようなサブセットのモチーフは、モチーフによる学生成果物の最小オーバーラップと共に成果物の最大限のカバレッジを提供する。カバレッジなしは０というスカラー量として示されることができる。オーバーラップは１より大きい値として提示されることができる。以下の例２は、そのようなマトリックス及びベクトルに関する実施形態を扱う。
【００５５】
本発明の実施形態によれば、最小の重要性を有するモチーフは除去される。例えば、モチーフが、学生成果物の最小オーバーラップと共に最大のカバレッジを提供するサブセットに無いことが分かった場合、モチーフは除去されることができる。任意選択的に、モチーフが所定の閾値より小さいわずかな割合の学生成果物でのみ見出された場合、モチーフは無視され且つそれ以上に処理されない又はクラスタリングに使用されない可能性がある。
【００５６】
方法１００は、クラスターを形成するために成果物をクラスタリングするステップを備えるブロック１３０を更に備えることができる。ブロック１２０に従って処理されているサブセットのモチーフに基づいて、学生成果物の数より少ない数のクラスターが形成される。各クラスターは、各成果物内のモチーフの存在、順序、数、及び／又はアラインメントの質に基づいて互いに類似した多数の成果物を備えることができる。本発明の実施形態によれば、学生成果物は、約５クラスターと約２０クラスターとの間にクラスタリングされることができる。各クラスターは、各クラスターを構成する成果物内の或るモチーフ又は複数のモチーフ（例えば、最も共通のモチーフ）の存在によって定義されることができる。
【００５７】
本発明の実施形態によれば、階層又は分割クラスタリングがクラスターを形成するために使用される。使用されることができる他の方法は、教師なし又は教師あり学習、バイオインフォマティクス、ゲノム科学、テキストマイニング、及び自然言語処理の分野で知られている近隣結合法、Ｋ平均法、ガウス混合モデル、期待値最大化法、自己組織化マップ、主成分分析、遺伝的アルゴリズム、ニューラルネットワーク、及び他の方法を含む。
【００５８】
本発明の実施形態によれば、学生成果物は、多数のクラスターに同時にクラスタリングされることができる。言い換えると、成果物は、それを２つ以上のクラスターに関連付ける要素を備えることができる。本発明の実施形態によれば、２つ以上のクラスターに関連付けられる学生成果物は、両方のクラスターに関連する教師のフィードバックを受け取ることができる。
【００５９】
本発明の実施形態によれば、成果物は、他の全てのクラスターに関連付けられている成果物とは異なると判定されることができる。成果物はどのクラスターにも属していないと見なされることができ、個別の成果物として教師に提示されることができる。成果物は教師から個別の査定を受けることができる。本発明の実施形態によれば、異なっており、どのクラスターにも関連付けられていないと判定される全ての成果物は、その場合個別に評価されるように教師に提示されることができる。
【００６０】
クラスタリングの例を説明するために、１つのクラスター内の全ての学生成果物に共通するモチーフは、乱数の配列をソートするコンピュータサイエンスの課題において、最小値を見つけるために配列内の全ての値をスキャンするループとすることができるであろう。お互いに異なる可能性がある学生の成果物の多くはこのモチーフを含むことができる。代替のクラスターは、各対においてその対の値だけをソートするために、配列内の隣接する全ての対の値をスキャンするループというモチーフを備える全ての学生成果物を備えることができる。第３のクラスターは両方のモチーフを備える全ての学生成果物を備えることができる。
【００６１】
ブロック１３０に関して説明したコンピューティングデバイスを使用してクラスタリングすることに加えて、クラスタリングは人間の入力によって改善されることができる。教師は、クラスターに関連付けられる成果物のレビュー直後、成果物は別のクラスターに分類されるべきであると判断することができる。教師は、成果物と別のクラスターとの関連付けを指定することができる。次いで、コンピューティングデバイスは、教師の入力に従って、様々なクラスター内の他の成果物を関連付けるためにクラスタリング処理を再計算することができる。例えば、プロセッサは、教師からのそのような入力直後、教師によって指定されたモチーフと同じ組み合わせのモチーフを有するそれらの学生成果物を再クラスタリングすることができる。
【００６２】
方法１００は、各クラスターに対して、少なくとも１つの特徴的なモチーフを表示するステップを備えるブロック１４０を更に備えることができる。特徴的なモチーフはグラフィック形式で表示されることができる。グラフィック形式は、各クラスターの各特徴モチーフの位置が各成果物におけるその場所と関連して表示されることを示すことができる。各クラスターの成果物は、複数の成果物のグラフィック表現を示すように表示されることができ、各成果物はグラフィカルに表現される１つのモチーフ又は複数のモチーフを有する。
【００６３】
方法１００は、クラスターに関連する１つのセントロイド成果物又は複数のセントロイド成果物を識別するステップを備えるブロック１４５を更に備えることができる。セントロイド成果物は、クラスターの学生成果物の最も代表的な学生成果物を表すことができる。クラスターのセントロイドは、同じクラスター内の他の成果物との類似度が最小である成果物として定義されることができる。セントロイドを定義する他の方法は、メディアン、ハミング距離、ユークリッド距離、ピアソン相関などのような他のメトリックスを含むことができるであろう。
【００６４】
方法１００はクラスターに関連する要約を形成するステップを備えるブロック１５０を更に備えることができる。要約は、各クラスターに関連するモチーフ又は各クラスターに関連するメトリックスの記述を備えることができる。例えば、要約はいくつの成果物が各クラスターに関連付けられているかを示すことができる。要約はまたクラスター内の変動性の程度を示すことができる。要約はクラスターに関連するセントロイドの部分を備えることができる。要約はクラスターに関連付けられるモチーフのリストを備えることができる。
【００６５】
本発明の実施形態による方法は、学生が互いにコピーした可能性のある成果物の検出に有用であることができる。コンピューティングデバイスを介して提出された成果物は、モチーフについて分析されることができ、且つクラスターに形成されることができる。クラスター内の２つの学生成果物間の類似性は、コンピューティングデバイスによって教師に示されることができる。本発明の実施形態による方法は、たとえ学生が、例えば、学生成果物に存在するモチーフの順序を変えること及び／又は他の多くの（且つ１つだけからではない）成果物からの様々なモチーフを組み合わせることによって、コピーの検出を避けようと試みても、コピーが検出される可能性があるということにおいて有利である可能性がある。モチーフ間又は成果物間の類似性が或る閾値を超えている場合、盗作が検出される可能性がある。
【００６６】
実施例１：
以下の例は、コンピュータサイエンスの分野における課題に関して、学生成果物を査定する半自動の方法が本発明の実施形態に従ってどのように実行されることができるかを説明する。学生に割り当てられる例示的な課題は、「１と２３の間の数を有するユーザからの入力を受け取る。入力された数の長さである１つの脚を有する鋭角三角形を画面上に表示する。」である。
【００６７】
現在の例は１つの質問を備える方法を指すが、本発明の実施形態による学生成果物は、１つの質問又は複数の質問を有する課題への回答を備えることができる。モチーフ識別及びその後のクラスタリングは、質問ごとに又は成果物全体に基づいて実行されることができる。
【００６８】
学生は、彼らの固有の学生識別番号を使用して学生査定ウェブサイトに入った後に、インターネットを使用して大学のＬＭＳに課題に対する回答をアップロードすることで、課題に対する回答を電子的に提出する。学生の解答は、各々が異なる学生によって提出されることによって、提出される。例示的な解答が以下に詳述される。
【００６９】
各解答対して入力ループと出力ループが予期される。１０名の学生が以下のように彼らの解答を提出する。全ての学生の解答（成果物）は、モチーフを検出するコンピューティングデバイスに入力される。最大カバレッジ及び最小オーバーラップという最適状態に寄与しないモチーフは除去される。Ｉｎ１、Ｉｎ２、及びＩｎ３と指定された入力ループ並びにＯ１、Ｏ２、及びＯ３と指定された出力ループを表すモチーフは、配列アライメントアルゴリズムを使用して識別される。更に、別のモチーフは入力ループ又は出力ループに関係していない。これらのモチーフはＸ１及びＸ２で指定される。入力ループＩｎ３及び出力ループＯ３は各々１つの成果物でのみ見出される。入力ループ及び出力ループの各々が同じ入力又は出力ループを達成するために様々な構文を使用してエンコードされることができるので、どの２つの成果物も同一ではない。
【００７０】
コンピューティングデバイスは、学生成果物内にモチーフを識別すると、見出されたモチーフに基づいて学生成果物をクラスターにクラスタリングすることに進む。
【００７１】
クラスターＡは、それぞれＩｎ１とＯ１によって表される入力ループ及び出力ループに対して正しい応答がある成果物を表す。クラスターＢは、入力ループに対して正しい応答があり、出力ループに対して０２という応答がある成果物を表す。クラスターＣは、入力ループに対して誤った応答（Ｉｎ２）及び出力ループに対する正しい応答がある成果物を表す。クラスターＤは、入力ループ及び出力ループの両方に対して誤った応答がある成果物を表す。クラスターＬは、Ｘ１又はＸ２のいずれかの追加のモチーフが存在した成果物を表す。クラスターＱは、他の成果物に存在しないモチーフ、この場合Ｉｎ３及びＯ３、を有するクラスターを表す。学生のＩＤ番号、関連付けられるモチーフ、及びクラスターは以下の表１に示される。
【００７２】
【表１】
2018510438.tif 000003
【００７３】
次に、教師にクラスタリングが提示され、各クラスターのセントロイド成果物が提示される。教師は、各クラスターに関連するセントロイド成果物に関する関連するフィードバックを提供する。クラスタリングに基づいて教師によって提供されるフィードバックは、その後彼又は彼女の成果物が関係するクラスター又は複数のクラスターに基づいて各学生に提供される。
【００７４】
教師はまたクラスターの１つに関連しないような成果物を指定することもできる。
【００７５】
クラスタリングデータ及び査定データの両方がデータベースに格納される。教師は、実際には７つの解答をレビューするだけであるが、２０人の学生に貴重なフィードバックを提供することができ、それによってレビューの時間を節約する。
【００７６】
教師又はコンピューティングデバイスの他のユーザに、図４に示されように、コンピューティングデバイスに接続されているディスプレイを介して、クラスタリング及び関連データが提示されることができる。図４は、本発明の実施形態によるクラスタリングされた結果の表示のワイヤフレーム３００を表す。ワイヤフレーム３００は、選択されているクラスタアイコン３１２及び選択されていないクラスタアイコン３１４を備えるクラスタアイコン３１０を備える。クラスタアイコン３１０はクラスター識別子３１６及びクラスタデータ３１８を備える。クラスタデータは各クラスターに関するデータを備えることができる。図４には、各クラスター内の学生成果物の数の表現が示されている。クラスタデータ３１８は各クラスター内に提示されている１つのモチーフ又は複数のモチーフを要約する要約データを備えることができる。各クラスタアイコン３１０は、アイコン上に指定されるクラスター内の成果物のグラフィック表現を表示するように選択されることができる。
【００７７】
ワイヤフレーム３００は成果物グラフィック３２０を備える。各成果物グラフィックはモチーフ指定子３２６及び３２８を備える。モチーフ指定子３２６及び３２８は各々成果物グラフィックに存在するモチーフを表す。ワイヤフレーム３００において、モチーフ指示子３２６は成果物内のＩｎ１モチーフの存在を表す。モチーフ指定子３２８は成果物内のＯ１モチーフの存在を表す。図４に示されるように、成果物グラフィック３２０によってグラフィカルに示される全てのクラスターＡ成果物は、モチーフ指定子３２６及び３２８の両方を備える。各モチーフ指定子３２６及び３２８の位置及び長さは、グラフィック３２０によって示されるように成果物内で異なる。或る成果物は、モチーフ指定子３２７によって示されるように重要でないモチーフを備える。
【００７８】
成果物グラフィック３２０は非セントロイドグラフィック３２４及びセントロイドグラフィック３２２を備える。セントロイドグラフィック３２２はクラスターＡのセントロイド成果物を表す。非セントロイドグラフィック３２４はセントロイドではないクラスターＡ内の成果物を表す。
【００７９】
ワイヤフレーム３００は、選択された成果物グラフィック、具体的にはセントロイドグラフィック３２２に関連付けられる成果物を表す成果物表示３３０を更に備える。成果物表示３３０はセクション３３２、３３４、及び３３６を備える。セクション３３２及び３３６は、モチーフ指示子３３８及び３４０によってそれぞれモチーフとして指定される成果物のセクションとして示される。セクション３３４は、モチーフ指定子によって指定されていなく、モチーフに関連付けられていない成果物のセクションを表す。
【００８０】
教師は、ディスプレイに接続されているコンピューティングデバイスを介してワイヤフレーム３００にアクセスすることができる。教師は、クラスターを閲覧するためにクラスタアイコン３１０の１つを選択することができる。選択されたクラスターに関連付けられる成果物は、成果物グラフィック３２０としてグラフィック形式で表示されることができる。次に、教師は、成果物ディスプレイ３３０で成果物グラフィック３２０を閲覧するために成果物グラフィック３２０を選択することができる。教師は、各セクションに関連付けられるモチーフ指定子３３８及び３４０を見ることによって、各成果物のどのセクションが各モチーフに関連付けられているかを理解することができる。
【００８１】
実施例２：
以下の例は、図２のブロック１２０を参照して扱われたように、モチーフバンクが、重要でないモチーフを組み合わせる及び／又は除去するためにどのように処理されることができるかを示す。この例では、重要なモチーフがその後クラスタリングに使用されるのに対して、除去された重要でないモチーフはクラスタリングには使用されない。
【００８２】
本発明の実施形態による方法の例示的な使用では、７人の学生成果物が受け取られ、成果物ｌ〜成果物７と指定される。表２は、学生成果物の各々に関連するモチーフデータを備えるマトリックスを表す。
【００８３】
【表２】
2018510438.tif 000004
【００８４】
マトリックスの各行は、成果物の命令、単語、又は文を表すことができる。コンピューティングデバイスは、そのプロセッサを介して、モチーフバンクに格納されているモチーフ１〜８として示されている全ての学生成果物に存在する８つのモチーフを最初に識別する。学生成果物の所与の行における所与のモチーフの存在は、数「１」によって表される。学生成果物の所与の行における所与のモチーフが存在しないことは、空白又は数０によって表される。各成果物におけるモチーフの有無は、ローカル配列アラインメント技術を用いて計算されることができ、モチーフが、モチーフバンク内のそのモチーフに対して成果物の所与の組の行内で１００％の類似性がない場合であっても、存在することができることを示す。
【００８５】
「カバレッジ」とラベル付けされたマトリックスの列は、表における一組の選択されたモチーフについての各行の値の合計を表す。モチーフの数を制限するために、モチーフの選択は、「カバレッジ」列において可能な限り１に近い値を有するベクトルを受け取るように最適化アルゴリズムを使用して最適化される。カバレッジ列の所与の行における１という結果は、選択されたモチーフの１つによって、その行で表される命令／単語／文のカバレッジを提供するモチーフを表すであろう。１未満の結果は、選択されたモチーフが成果物の所与の行に対してカバレッジを提供しないことを示す。１より大きい結果は、選択されたモチーフが成果物の所与の行に関連してオーバーラップを提供することを示す。
【００８６】
カバレッジ列内に可能な限り１に近いベクトルを提供するためにマトリックスを使用して、最適化アルゴリズムが採用される。最適化アルゴリズムは遺伝的アルゴリズムを採用することができる。代替的に又は追加的に、最適化アルゴリズムは、ヒルクライミング、勾配降下、シミュレーテッドアニーリング、及び／又はダイナミックプログラミングを採用することができる。任意選択的に、２回以上の最適化サイクルが適切なモチーフの位置を見つけるために実行されることができる。
【００８７】
表２に示されるマトリックスにおいて、モチーフ１、２、５、及び７は選択されたモチーフである。これらのモチーフは、その後学生成果物に存在する選択されたモチーフに従って、学生成果物をクラスターにクラスタリングするために使用される。
【００８８】
更に、本発明の実施形態によれば、複数の学生からの複数の学生成果物をコンピューティングデバイスを介して受け取るステップ、学生成果物に存在するモチーフをコンピューティングデバイスを使用して識別するステップ、学生成果物に存在するモチーフに基づいてコンピューティングデバイスを使用して成果物をクラスターにクラスタリングするステップ、クラスターに関連する教師からの査定を受け取るステップ、及びクラスターの査定に基づいて、学生に学生成果物の査定を提供するステップを備える学生成果物の査定の方法が更に提供される。任意選択的に、モチーフは、受け取られた学生成果物の配列アラインメントを用いて識別される。任意選択的に、クラスタリングは、近隣結合法、Ｋ平均法、ガウス混合モデル、期待値最大化法、自己組織化マップ、主成分分析、遺伝的アルゴリズム、及びニューラルネットワークからなる群から選択される方法を用いて実行される。任意選択的に、成果物は５０人を超える学生から受け取られる。任意選択的に、成果物は５と２０との間のクラスターにクラスタリングされる。任意選択的に、クラスタリング後、成果物は各クラスターに関連付けられている成果物のグラフィック表示を使用して表示される。任意選択的に、モチーフは各成果物のグラフィック表示内にグラフィカルに表示される。任意選択的に、方法は、クラスタリング後、クラスターとの成果物の関連付けに関連する教師からの入力を受け取るステップを備える。任意選択的に、方法は、クラスターとの成果物の関連付けに関連する教師入力に基づいて成果物を再クラスタリングするステップを更に備える。任意選択的に、学生成果物に存在するモチーフを識別するステップは、以前に受け取られた学生成果物に基づいて以前に受け取られたモチーフデータを使用するステップを備える。任意選択的に、査定は、成果物の等級、学生成果物に関するフィードバック、学生成果物の作成者に対する将来の課題の提案、及び／又は指導学習の提案のうちの１つ又は複数を備える。任意選択的に、方法は、モチーフの識別後、学生成果物の改善されたカバレッジを提供するサブセットのモチーフを識別するステップを更に備える。任意選択的に、方法は、モチーフの識別後、学生成果物の最小オーバーラップを提供するサブセットのモチーフを識別するステップを更に備える。任意選択的に、方法は、モチーフの識別後、最適化アルゴリズムを使用して重要でないモチーフを除去するステップを更に備える。任意選択的に、最適化アルゴリズムは、遺伝的アルゴリズム、ヒルクライミング、勾配降下、シミュレーテッドアニーリング、及びダイナミックプログラミングからなる群から選択される。任意選択的に、最適化アルゴリズムは、どのサブセットのモチーフが最小オーバーラップと共に集合的な成果物の最大カバレッジを提供するかを示す。任意選択的に、クラスタリングはサブセットのモチーフに基づいて実行される。任意選択的に、方法は、クラスタリング直後、各クラスターに関連付けられるセントロイドを識別するステップを更に備える。任意選択的に、方法は、クラスターに関連付けられるセントロイドを教師に表示するステップを更に備える。任意選択的に、方法は、クラスタリング直後、モチーフ、クラスター、及び／又は学生成果物に関連する要約データを表示するステップを更に備える。任意選択的に、要約データは統計データを備える。任意選択的に、方法は、クラスタリング直後、クラスタリングデータをデータベースに格納するステップを更に備える。任意選択的に、方法は、学生に査定を提供直後、学生からの査定についての更なる入力を受け取るステップを更に備える。任意選択的に、モチーフは特徴に基づくモチーフ識別によって識別される。任意選択的に、モチーフは参照文献マッチングアルゴリズムによって識別される。任意選択的に、複数の学生成果物を受け取るステップは、学習管理システムによって実行される。任意選択的に、方法は、複数の学生成果物を受け取るステップがウェブベースのプラットフォームで実行されることを更に備える。任意選択的に、学生成果物は、課題に対する回答、レポート、プロジェクト、宿題の回答、及びテストの回答からなる群から選択される。
【００８９】
本発明の実施形態による、コンピューティングデバイスを介して複数の応答者から複数の応答を受け取るステップ、コンピューティングデバイスを使用して応答内に存在するモチーフを識別するステップ、応答に存在するモチーフに基づいてコンピューティングデバイスを使用して応答をクラスターにクラスタリングするステップ、クラスタリングされた応答の記述を提供するステップを備える質問に対する応答の査定の方法が更に提供される。
【００９０】
本出願の説明及び特許請求の範囲において、動詞「備える」、「含む」、及び「有する」並びにそれらの活用形の各々は、その動詞の目的語又は複数の目的語が、必ずしもその動詞の主語又は複数の主語の構成要素、要素、又は部分の完全な列挙ではないことを示すために使用される。
【００９１】
本出願における本発明の実施形態の説明は例として提供され、本発明の範囲を限定することを意図するものではない。記載されている実施形態は様々な特徴を備え、それらの全てが本発明の全ての実施形態において必要とされるわけではない。幾つかの実施形態は、特徴又は特徴の可能な組み合わせのうちの一部のみを利用する。記載されている本発明の実施形態及び記載されている実施形態に言及されている特徴の様々な組み合わせを備える本発明の実施形態の変形に当業者は気付くであろう。本発明の範囲は本特許請求の範囲によってのみ限定される。
【図１】
2018510438.tif 000005
【図２】
2018510438.tif 000006
【図３】
2018510438.tif 000007
【図４】
2018510438.tif 000008
【国際調査報告】
2018510438.tif 000009
2018510438.tif 000010
2018510438.tif 000011