(57)【要約】【課題】従来のテストの得点の変化、偏差値の変化等からは、被験者の学習に関する変化の適切な評価が困難であった。【解決手段】一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部と、確率情報群の変化に関する変化情報、または解答特性情報群の変化に関する変化情報を取得する変化情報取得部と、変化情報を用いて、一の被験者の評価情報を取得する評価情報取得部と、評価情報を出力する出力部とを具備する評価装置により、被験者の学習に関する変化の適切な評価を行える。【選択図】図１
2019090876.tif 000002
【特許請求の範囲】
【請求項１】
一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、当該各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部と、
前記２つの異なる時点の確率情報群の変化に関する変化情報、または前記２つの異なる時点の解答特性情報群の変化に関する変化情報を取得する変化情報取得部と、
前記変化情報を用いて、前記一の被験者の学習に関する評価に関する評価情報を取得する評価情報取得部と、
前記評価情報を出力する出力部とを具備する評価装置。
【請求項２】
前記評価元情報は、確率情報群対である請求項１記載の評価装置。
【請求項３】
前記変化情報取得部は、
前記一の被験者が属するランクよりも上位ランクの確率情報の変化に関する変化情報、または前記一の被験者が所属するランクよりも下位ランクの確率情報の変化に関する変化情報を取得する請求項２記載の評価装置。
【請求項４】
２以上の各ランクに属する２以上の被験者の正解率を示す正解率情報が問題毎に、２つのテストごとに格納される正解率情報格納部と、
前記一の被験者の解答の正誤を示す正誤情報が問題毎に、２つのテストごとに格納される正誤情報格納部とをさらに具備し、
前記変化情報取得部は、
前記一の被験者が属するランク以下のランクまたは前記一の被験者が属するランクより低いランクの正解率が閾値以上または閾値より大きい問題であり、前記一の被験者が誤答した問題である不適切誤答問題の数を、前記正解率情報および前記正誤情報を用いて、当該不適切誤答問題の数を用いた情報である不適切誤答問題量情報を２つのテストごとに取得し、当該不適切誤答問題量情報の変化である変化情報を取得する請求項２記載の評価装置。
【請求項５】
前記評価元情報は、解答特性情報群対である請求項１記載の評価装置。
【請求項６】
前記変化情報取得部は、
解答特性情報の絶対値である解答特性絶対値を問題ごとに、前記２つの異なる各時点の解答特性情報群ごとに取得し、前記２つの異なる各時点に対応する解答特性絶対値の集合を用いた情報の変化に関する変化情報を取得する請求項５記載の評価装置。
【請求項７】
前記変化情報取得部は、
解答特性情報の絶対値である解答特性絶対値と基準となる解答特性情報である基準値との差を問題ごとに取得し、当該差の平均を前記２つの異なる時点ごとに算出し、当該差の平均の変化に関する変化情報を取得する請求項６記載の評価装置。
【請求項８】
前記変化情報取得部は、
前記解答特性情報群対を用いて、解答特性情報の二乗の値であるＭｓ−ｆｉｔの変化に関する変化情報であるＭｓ−ｆｉｔ変化情報を取得する請求項５記載の評価装置。
【請求項９】
前記変化情報取得部は、
前記解答特性情報群対を用いて、解答特性情報の二乗の値であるＭｓ−ｆｉｔを問題ごとに算出し、当該問題ごとのＭｓ−ｆｉｔの調整平均値であるＰ−ｆｉｔを前記２つの異なる各時点に対応付けて取得し、当該２つの時点のＰ−ｆｉｔの変化に関する変化情報であるＰ−ｆｉｔ変化情報を取得する請求項５記載の評価装置。
【請求項１０】
前記評価情報取得部は、
前記変化情報を用いて、前記一の被験者が良くなったか否かを示す評価情報を取得する請求項１から請求項９いずれか一項に記載の評価装置。
【請求項１１】
前記評価情報取得部は、
前記変化情報を用いて、変化の度合いを示す評価情報を取得する請求項１から請求項９いずれか一項に記載の評価装置。
【請求項１２】
前記評価元情報格納部には、
一の組織に属する２以上の被験者の評価元情報が格納されており、
前記評価情報取得部は、
前記被験者ごとの１以上の変化情報から、前記一の組織の傾向に関する評価情報を取得する請求項１から請求項１１いずれか一項に記載の評価装置。
【請求項１３】
一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、当該各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部と、変化情報取得部と、評価情報取得部と、出力部とにより実現される評価方法であって、
前記変化情報取得部が、前記２つの異なる時点の確率情報群の変化に関する変化情報、または前記２つの異なる時点の解答特性情報群の変化に関する変化情報を取得する変化情報取得ステップと、
前記評価情報取得部が、前記変化情報を用いて、前記一の被験者の学習に関する評価に関する評価情報を取得する評価情報取得ステップと、
前記出力部が、前記評価情報を出力する出力ステップとを具備する評価方法。
【請求項１４】
一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、当該各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部を具備する記録媒体にアクセス可能なコンピュータを、
前記２つの異なる時点の確率情報群の変化に関する変化情報、または前記２つの異なる時点の解答特性情報群の変化に関する変化情報を取得する変化情報取得部と、
前記変化情報を用いて、前記一の被験者の学習に関する評価に関する評価情報を取得する評価情報取得部と、
前記評価情報を出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の学習に関する変化について、評価を行う評価装置等に関するものである。
【背景技術】
【０００２】
従来、学校等の教育の現場で使用されるテストに基づいて、児童・生徒の成績を処理して、学習の達成度等を管理、評価するための成績処理システムがあった（例えば、特許文献１参照）。
【０００３】
上記の成績処理システムは、相互に教科別成績データが交換可能な主体側装置と補助側装置とを有する成績処理システムであって、前記主体側装置は、前記補助側装置が複数接続可能となっており、少なくとも、学習指導する指導者のデータである指導者データとその学習指導を受ける受講者のデータである受講者データとが関連づけられて複数のクラス情報データとして記憶されているクラス情報記憶部と、少なくとも、受講者毎の成績評価データを作成するために受講者に対して実施される教科別のテストの結果である教科別テストデータと、前記受講者データと、前記クラス情報データ毎に関連して前記教科別テストデータと前記受講者データとが教科別の教科別成績データとして記憶されている成績情報記憶部と、前記教科別成績データに基づいて前記成績評価データを作成する成績処理部と、前記成績評価データを作成する際に選択された選択クラス情報データと前記クラス情報データとを比較して整合させるために予め設定された識別情報を前記クラス情報データ毎に対応するように記憶する識別情報記憶部と、前記識別情報と前記主体側装置の入力部から入力された入力識別情報とを比較して整合する識別情報整合部と、複数の前記補助側記憶装置から特定の前記補助側装置を選択する補助側記憶選択部と、を有しており、前記補助側記憶選択部によって選択された特定の前記補助側記憶装置は、少なくとも１つの前記教科別成績データを一時的に教科別作業用成績データとして補助側記憶部に記憶するようになっており、前記主体側装置の前記識別情報整合部が、前記入力識別情報と前記識別情報記憶部に記憶されている前記識別情報とを比較して、整合していると判断すると、前記主体側装置の補助側記憶設定部が、前記主体側装置の１つの前記教科別成績データ毎に異なる前記補助側装置の前記補助側記憶部に前記教科別作業用成績データとして記憶するようになっていること、を特徴とする成績処理システムである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術、従来のテストの得点の変化や従来の偏差値の変化等からは、被験者の学習に関する変化の適切な評価が困難であった。
【課題を解決するための手段】
【０００６】
本第一の発明の評価装置は、一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部と、２つの異なる時点の確率情報群の変化に関する変化情報、または２つの異なる時点の解答特性情報群の変化に関する変化情報を取得する変化情報取得部と、変化情報を用いて、一の被験者の学習に関する評価に関する評価情報を取得する評価情報取得部と、評価情報を出力する出力部とを具備する評価装置である。
【０００７】
かかる構成により、確率情報群対または解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【０００８】
また、本第二の発明の評価装置は、第一の発明に対して、評価元情報は、確率情報群対である評価装置である。
【０００９】
かかる構成により、確率情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００１０】
また、本第三の発明の評価装置は、第二の発明に対して、変化情報取得部は、一の被験者が属するランクよりも上位ランクの確率情報の変化に関する変化情報、または一の被験者が所属するランクよりも下位ランクの確率情報の変化に関する変化情報を取得する評価装置である。
【００１１】
かかる構成により、確率情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００１２】
また、本第四の発明の評価装置は、第二の発明に対して、２以上の各ランクに属する２以上の被験者の正解率を示す正解率情報が問題毎に、２つのテストごとに格納される正解率情報格納部と、一の被験者の解答の正誤を示す正誤情報が問題毎に、２つのテストごとに格納される正誤情報格納部とをさらに具備し、変化情報取得部は、一の被験者が属するランク以下のランクまたは一の被験者が属するランクより低いランクの正解率が閾値以上または閾値より大きい問題であり、一の被験者が誤答した問題である不適切誤答問題の数を、正解率情報および正誤情報を用いて、不適切誤答問題の数を用いた情報である不適切誤答問題量情報を２つのテストごとに取得し、不適切誤答問題量情報の変化である変化情報を取得する評価装置である。
【００１３】
かかる構成により、確率情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００１４】
また、本第五の発明の評価装置は、第一の発明に対して、評価元情報は、解答特性情報群対である評価装置である。
【００１５】
かかる構成により、解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００１６】
また、本第六の発明の評価装置は、第五の発明に対して、変化情報取得部は、解答特性情報の絶対値である解答特性絶対値を問題ごとに、２つの異なる各時点の解答特性情報群ごとに取得し、２つの異なる各時点に対応する解答特性絶対値の集合を用いた情報の変化に関する変化情報を取得する評価装置である。
【００１７】
かかる構成により、解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００１８】
また、本第七の発明の評価装置は、第六の発明に対して、変化情報取得部は、解答特性情報の絶対値である解答特性絶対値と基準となる解答特性情報である基準値との差を問題ごとに取得し、差の平均を２つの異なる時点ごとに算出し、差の平均の変化に関する変化情報を取得する評価装置である。
【００１９】
かかる構成により、解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００２０】
また、本第八の発明の評価装置は、第五の発明に対して、変化情報取得部は、解答特性情報群対を用いて、解答特性情報の二乗の値であるＭｓ−ｆｉｔの変化に関する変化情報であるＭｓ−ｆｉｔ変化情報を取得する評価装置である。
【００２１】
かかる構成により、解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００２２】
また、本第九の発明の評価装置は、第五の発明に対して、変化情報取得部は、解答特性情報群対を用いて、解答特性情報の二乗の値であるＭｓ−ｆｉｔを問題ごとに算出し、問題ごとのＭｓ−ｆｉｔの調整平均値であるＰ−ｆｉｔを２つの異なる各時点に対応付けて取得し、２つの時点のＰ−ｆｉｔの変化に関する変化情報であるＰ−ｆｉｔ変化情報を取得する評価装置である。
【００２３】
かかる構成により、解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００２４】
また、本第十の発明の評価装置は、第一から第九いずれか１つの発明に対して、評価情報取得部は、変化情報を用いて、一の被験者が良くなったか否かを示す評価情報を取得する評価装置である。
【００２５】
かかる構成により、確率情報群対または解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価を行える。
【００２６】
また、本第十一の発明の評価装置は、第一から第九いずれか１つの発明に対して、評価情報取得部は、変化情報を用いて、変化の度合いを示す評価情報を取得する評価装置である。
【００２７】
かかる構成により、確率情報群対または解答特性情報群対を用いて、被験者の学習に関する変化の適切な評価をきめ細かく行える。
【００２８】
また、本第十二の発明の評価装置は、第一から第十一いずれか１つの発明に対して、評価元情報格納部には、一の組織に属する２以上の被験者の評価元情報が格納されており、評価情報取得部は、被験者ごとの１以上の変化情報から、一の組織の傾向に関する評価情報を取得する評価装置である。
【００２９】
かかる構成により、確率情報群対または解答特性情報群対を用いて、組織の学習に関する変化の適切な評価を行える。
【発明の効果】
【００３０】
本発明による評価装置によれば、今まで、学習に関する変化の評価に利用されてこなかった評価元情報を用いて、被験者の学習に関する変化の適切な評価を行える。
【図面の簡単な説明】
【００３１】
【図１】実施の形態１における評価装置１のブロック図
【図２】同評価装置１の動作の例について説明するフローチャート
【図３】同変化情報取得処理の例について説明するフローチャート
【図４】同不適切誤答問題量情報取得処理について説明するフローチャート
【図５】同Ｍｓ−ｆｉｔ変化情報取得処理の例について説明するフローチャート
【図６】同Ｐ−ｆｉｔ変化情報取得処理の例について説明するフローチャート
【図７】同評価情報取得処理の例について説明するフローチャート
【図８】同評価情報取得処理の例について説明するフローチャート
【図９】同正誤情報管理表を示す図
【図１０】同正解率情報管理表を示す図
【図１１】同確率情報群管理表を示す図
【図１２】同解答特性情報群管理表を示す図
【図１３】同Ｍｓ−ｆｉｔ管理表を示す図
【図１４】同Ｐ−ｆｉｔ管理表を示す図
【図１５】同評価情報・第一変化情報対応表を示す図
【図１６】同コンピュータシステムの概観図
【図１７】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００３２】
以下、評価装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００３３】
（実施の形態１）
【００３４】
本実施の形態において、２以上の各ランクに対して、生徒（適宜、被験者と言う）が属する確率に関する確率情報の集合である確率集合情報、または問題に対する解答の正解または不正解の自然さまたは不自然さを示す解答特性情報のいずれかである評価元情報についての変化に関する変化情報を用いて、被験者の学習に関する評価情報を取得し、出力する評価装置について説明する。なお、変化情報は、例えば、解答特性情報（例えば、ＥＳＲ）の絶対値から取得される情報の変化の情報である。また、変化情報は、例えば、解答特性情報（例えば、ＥＳＲ）の絶対値と閾値との差の平均の変化の情報である。また、変化情報は、例えば、Ｍｓ−ｆｉｔの変化に関する情報である。また、変化情報は、例えば、Ｐｅｒｓｏｎ−ｆｉｔ（以下、適宜「Ｐ−ｆｉｔ」と言う。）に関する情報である。
【００３５】
図１は、本実施の形態における評価装置１のブロック図である。
【００３６】
評価装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。
【００３７】
格納部１１は、正誤情報格納部１１１、正解率情報格納部１１２、および評価元情報格納部１１３を備える。
【００３８】
処理部１３は、変化情報取得部１３１、および評価情報取得部１３２を備える。
【００３９】
評価装置１を構成する格納部１１は、各種の情報を格納し得る。各種の情報とは、例えば、後述する正誤情報、後述する正解率情報、後述する評価元情報等である。
【００４０】
正誤情報格納部１１１には、１または２以上の正誤情報が格納される。正誤情報は、問題（項目と言っても良い）に対する、一の被験者の解答が正解か否か（正誤）を示す情報である。正誤情報は、正解であることを示す情報（例えば「１」）、または不正解であることを示す情報（例えば「０」）である。正誤情報は、問題毎に格納される。また、正誤情報は、テストごとに格納される。また、正誤情報は、例えば、被験者ごとに格納される。正誤情報は、例えば、問題を識別する問題識別子に対応付いている。また、正誤情報は、例えば、テストを識別するテスト識別子に対応付いている。なお、正誤情報は、例えば、テスト識別子に代えて、テストが行われた時期（日でも良いし、日時でも良いし、学期等でも良い。）を識別する時期識別子に対応付いていても良い。また、正誤情報は、例えば、解答した被験者を識別する被験者識別子に対応付いていても良い。
【００４１】
正解率情報格納部１１２には、問題毎およびランク毎に、正解率情報が格納される。正解率情報格納部１１２には、２つの各テストに対応付けて、問題毎およびランク毎に正解率情報が格納される。正解率情報は、正解率を示す情報である。また、正解率情報は、例えば、問題識別子に対応付いている。正解率情報は、例えば、ランクを識別するランク識別子に対応付いている。正解率情報は、例えば、テスト識別子または時期識別子に対応付いている。正解率情報は、２以上の生徒の各問題に対する正誤の情報から、潜在ランク理論を用いて算出された推定正解率であることは好適である。潜在ランク理論について、論文「Shojima,K.(2011) Japanese Journal of Applied Statistics, 40, 141-156. ："Local dependence model in latent rank theory."」等を参照のこと。なお、推定正解率は、推定正解率と言っても良い。また、正解率情報は、上述したように、推定正解率の情報であることは好適であるが、問題毎およびランク毎の実際の正解率（実正解率）でも良い。
【００４２】
なお、正解率情報格納部１１２の正解率情報は、例えば、図示しない正解率算出部が、例えば、以下の（１）〜（６）により、算出したランク別の推定正解率である。正解率算出部は、例えば、潜在ランク理論を用いて、ランク別の推定正解率を算出する。
（１）ランク数を与える。ランク数は、項目の数より少ない数である。なお、例えば、評価装置１の受付部１２がランク数を受け付ける。
（２）ランク参照マトリクス（適宜、「ＲＲＭ」と言う）初期値を与える。なお、正解率算出部は、ランク数を用いて、ＲＲＭの各ランクの初期値を算出しても良い。正解率算出部は、演算式「ＲＲＭ初期値＝ランクを識別する数値／（総ランク数＋１）」により、各ランクの各項目に対するＲＲＭ初期値を算出する。なお、同一のランクの各項目のＲＲＭ初期値は同一の値になる。なお、ランク数が３の場合、各ランクのランクを識別する数値は、例えば、「１」「２」「３」である。
（３）正解率算出部は、各ランクに対するベクトルである「参照ベクトル」と各生徒の正誤情報である「入力ベクトル」とのユークリッド距離を、被験者毎、項目毎に算出する。そして、正解率算出部は、ユークリッド距離が最も小さい（入力ベクトルに最も近い）参照ベクトルに対応するランクである勝者ランク（ｗ）を決定する。なお、参照ベクトルについて、初回のみＲＲＭ初期値である。２回目以降（２人目以降の被験者に対して）は、参照ベクトルは、直前のユークリッド距離の値を要素とするベクトルである。なお、ユークリッド距離は、「（入力ベクトル−参照ベクトル）＾２」により算出される。
（４）正解率算出部は、以下のように近傍関数を取得する。つまり、正解率算出部は、近傍関数の取得のために、入力ベクトルに参照ベクトルを近づける「学習率係数」を算出する。学習率係数は、具体的には、学習量の大きさを制御する係数（α）、学習量の影響範囲を制御する係数（σ）である。正解率算出部は、演算式「αt＝（Ｔ−ｔ）α１＋（ｔ−１）αＴ／Ｔ−１」（Ｔ＝総更新回数，ｔ＝更新回）により、αを算出する。また、正解率算出部は、演算式「σt＝（Ｔ−ｔ）σ１＋（ｔ−１）σＴ／Ｔ−１」（Ｔ＝総更新回数，ｔ＝更新回）により、σを算出する。なお、αが小さすぎると、データが十分に学習できない。一方、αが大きすぎると、学習量が大きいままでモデルが安定しない。また、σが小さすぎると、学習が局所的となってＬＲが順序づけられにくくなる。一方、σが大きすぎると、学習が大域的となってＬＲの均一化を招く。そして、正解率算出部は、例えば、ｔ＝１からｔ＝１０の１０回、上記の演算を繰り返し（つまり、Ｔ＝１０）、「αｔ」「σｔ」を算出する。なお、例えば、その初期値として「α１＝１」「σ１＝１」とすると、終値は，「αＴ＝０．０１」「σＴ＝０．１２」が定数として、αtを算出する際に用いられる。
【００４３】
次に、正解率算出部は、近傍関数式「ｈ（ｔ）＝αｔ＊Ｑ／Ｎ＊ｅｘｐ（（−（ｑ−ｗ）＾２／（２＊Ｑ＾２＊σｔ＾２）））」に各ｔ回目のαおよびσを代入し、近傍関数を取得する。なお、Ｎ＝被験者総数、Ｑ＝設定ランク数、である。なお、近傍関数によって，入力ベクトルの傾向を順次RRMに反映させていくこととなる。
（５）正解率算出部は、取得した近傍関数を用いて、ＲＲＭを更新する。さらに具体的には、正解率算出部は、演算式「参照ベクトル+近傍関数（入力ベクトル−参照ベクトル）」により、更新されたＲＲＭを取得する。
（６）正解率算出部は、上記のＲＲＭの更新を反復し、設定されたＴ回目（例えば、Ｔ＝１０）のＲＲＭを確定ＲＲＭ（ランク別項目別推定正答率）として、取得する。そして、正解率算出部は、取得した確定ＲＲＭを、正解率情報格納部１１２に蓄積する。なお、蓄積した確定ＲＲＭは、例えば、後述する図１０である。
【００４４】
評価元情報格納部１１３には、一の被験者の評価元情報が格納される。評価元情報は、被験者の学習に関する変化を評価する元になる情報である。評価元情報は、例えば、確率情報群対、または解答特性情報群対である。評価元情報格納部１１３には、２以上の各被験者の評価元情報が格納されていても良い。
【００４５】
確率情報群対は、一の被験者の第一テストと第二テストに対する確率情報群の対である。第一テストと第二テストとは、異なる時点のテストである。確率情報群は、一の被験者が２以上の各ランクの確率情報の集合である。確率情報は、一のランクに属する確率に関する情報である。確率情報は、一のランクに属する確率そのものでも良いし、一のランクに属する確率をパラメータとする関数により算出される値等でも良い。
【００４６】
解答特性情報群対は、一の被験者の第一テストと第二テストに対する解答特性情報群の対である。解答特性情報群は、対応するテストの１以上の各問題ごとの解答特性情報の集合である。解答特性情報は、問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す情報である。解答特性情報は、解答特性値でも良いし、自然であることを示す情報（例えば、「０」）または不自然であることを示す情報（例えば、「１」）でも良い。解答特性情報は、解答の不自然さに関する情報であれば良く、その内容、取得方法等は問わない。解答特性情報は、例えば、問題に対する解答が正解であったか不正解であったかを示す情報をも有することは好適である。解答特性値とは、正解または不正解の自然さの度合いまたは不自然さの度合いを示す情報である。解答特性値は、例えば、後述するＥＳＲであることは好適である。ＥＳＲとは、２以上の生徒の各問題に対する正誤の情報から算出された値である。ＥＳＲは、例えば、後述する解答特性値算出部が算出した値である。なお、ＥＳＲとは、標準残差といっても良い。解答特性値は、人が手入力により与えた情報等でも良い。正の値の場合は正解であることを示し、負の値である場合は不正解であることを示し、かつその絶対値が大きいほど不自然であることを示す解答特性値は、好適である。
【００４７】
評価元情報格納部１１３は、一の組織に属する２以上の被験者の評価元情報が格納されていても良い。評価元情報は、組織を識別する組織識別子に対応付いていても良い。組織は、例えば、学校、塾、クラス、都道府県、市町村等であり、その大きさ、単位等は問わない。
【００４８】
なお、解答特性値は、例えば、図示しない解答特性値算出部により算出される。解答特性値算出部は、通常、正誤情報格納部１１１の生徒毎、問題毎の正誤情報を用いて、生徒毎、問題毎の解答特性値を算出する。なお、解答特性値算出部の処理として、ＩＲＴ（項目反応理論）におけるＰＲＯＸ法（Approximation Procedure）が利用可能である。なお、本手法は，1972年University of SouthamptonのLeslie Cohenによって発表され、University of ChicagoのBenjamin D. Wrightによる論文「BEST TEST DESIGN(p21-23)」（1979年）に記載されている。
【００４９】
解答特性値算出部は、例えば、以下の（１）〜（１２）により、解答特性値の例である標準残差（ＥＳＲ）を算出する。
（１）解答特性値算出部は、正誤情報格納部１１１の正誤情報を用いて、各生徒（以下、被験者とも言う）の正答率と誤答率とを算出する。
（２）解答特性値算出部は、被験者ごとに、演算式「ＬＣ．＝ＬＮ（正答率／誤答率）」により、ＬＣ．（ロジット・コレクト）を算出する。また、解答特性値算出部は、ロジット・コレクトの二乗値である「ＬＣ＾２」も算出する。なお、ロジット・コレクトは、被験者の能力（θ）を推定するための情報である。また、ＬＮは、自然対数である。また、全問正解または全問不正解の被験者に対して、解答特性値算出部は、通常、ＬＣ．等を算出しない。
（３）解答特性値算出部は、正誤情報格納部１１１の正誤情報を用いて、項目ごとに、正答率と誤答率とを算出する。なお、項目とは問題である。
（４）解答特性値算出部は、項目ごとに、演算式「Ｌ．Ｉｃ．＝ＬＮ（誤答率／正答率）」により、Ｌ．Ｉｃ．（ロジット・インコレクト）を算出する。なお、ロジット・インコレクトは、問題の難しさを指標である項目困難度（ｂ）を推定するための情報である。
（５）解答特性値算出部は、Ｌ．Ｉｃ．の平均値（Ａｖｅ．（Ｌ．Ｉｃ．））を算出する。
（６）解答特性値算出部は、項目ごとに、演算式「Ｉ．Ｉ．Ｃ．＝Ｌ．Ｉｃ．−Ａｖｅ．（Ｌ．Ｉｃ．）」により、Ｉ．Ｉ．Ｃ．（初期項目困難度）を算出する。また、解答特性値算出部は、項目ごとに、初期項目困難度の二乗値（Ｉ．Ｉ．Ｃ．＾２）も算出する。
（７）解答特性値算出部は、ＬＣの平均値とＬＣ＾２の和を算出する。また、解答特性値算出部は、ＬＣの平均値の二乗値（ＬＣ平均＾２）も算出する。
（８）解答特性値算出部は、演算式「Ｖ＝（ＬＣ＾２の和−被験者数×ＬＣ平均＾２）／（被験者数−１）」により、能力不偏分散「Ｖ」を算出する。
（９）解答特性値算出部は、演算式「Ｕ＝Ｉ．Ｉ．Ｃ．＾２の和／（項目数−１）」により、項目不偏分散「Ｕ」を算出する。
（１０）解答特性値算出部は、能力不偏分散「Ｖ」、項目不偏分散「Ｕ」を用いて、演算式「θＥＦ＝（（１＋Ｕ／２．８９）／（１−ＵＶ／８．３５）の平方根」により、能力拡張要素（θＥＦ）を算出する。また、解答特性値算出部は、能力不偏分散「Ｖ」、項目不偏分散「Ｕ」を用いて、演算式「Ｉ．ＥＦ＝（（１＋Ｖ／２．８９）／（１−ＵＶ／８．３５））の平方根」により、項目拡張要素（Ｉ．ＥＦ）を算出する。なお、２．８９は、１．７の二乗値であり、８．３５は１．７の四乗値である。また、１．７は、ＩＲＴ（項目反応理論）における調整定数で、「Ｄ」という記号に相当する。
（１１）解答特性値算出部は、被験者ごとに、演算式「Ｆｉｎａｌθ（Ｆθ）＝ＬＣ×θＥＦ」により、能力値（Ｆθ）を算出する。また、解答特性値算出部は、項目ごとに、演算式「Ｆｂ＝ＩＩＣ×ＩＥＦ」により、項目困難度（Ｆｂ）を算出する。
（１２）解答特性値算出部は、演算式「（２＊正誤情報−１）*ＥＸＰ（（（２＊正誤情報−１）＊（Ｆｂ−Ｆθ））／２））」により、被験者ごとおよび項目ごとに、ＥＳＲを算出する。なお、ここでは、正誤情報は、正解の場合は「１」、不正解の場合は「０」が代入される。
【００５０】
受付部１２は、各種の指示や情報を受け付ける。各種の指示とは、例えば、動作指示である。動作指示とは、評価装置１に対する動作の指示である。各種の情報とは、例えば、上述した正誤情報、正解率情報、評価元情報等である。
【００５１】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部１２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００５２】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、変化情報取得部１３１、評価情報取得部１３２が行う処理である。
【００５３】
変化情報取得部１３１は、２つの異なる時点の評価元情報を用いて、当該２つの評価元情報の変化に関する変化情報を取得する。なお、２つの異なる時点の評価元情報は、評価元情報格納部１１３に格納されている。変化情報は、被験者の学習に関する変化についての情報である。
【００５４】
変化情報取得部１３１は、例えば、２つの異なる時点の確率情報群の変化に関する変化情報を取得する。変化情報は、例えば、一の被験者が属するランクよりも上位ランクの確率情報の変化に関する情報である。変化情報は、例えば、一の被験者が所属するランクよりも下位ランクの確率情報の変化に関する情報である。
【００５５】
変化情報は、例えば、一の被験者が属するランクよりも上位の１以上のランクの確率情報の合計（ＰＲ＋１＋ＰＲ＋２＋・・・＋ＰＲ＋Ｎ）の、第二の時点と第一の時点との差（第二の時点の合計−第一の時点の合計）である。なお、ＰＲ＋１は、被験者が属するランク（Ｒ）より１ランク上の確率を示す確率情報、ＰＲ＋２は、被験者が属するランク（Ｒ）より２ランク上の確率を示す確率情報、ＰＲ＋Ｎは、被験者が属するランク（Ｒ）よりＮランク上の確率を示す確率情報である。また、第二の時点は、第一の時点の後の時点である、とする。
【００５６】
また、変化情報は、例えば、一の被験者が属するランク（Ｒ）よりも上位の１以上の各ランク（Ｒ＋１，Ｒ＋２，・・・，Ｒ＋Ｎ）の確率（ＰＲ＋１，ＰＲ＋２，・・・，ＰＲ＋Ｎ）の重み付きの和（α１・ＰＲ＋１＋α２・ＰＲ＋２＋・・・＋αＮ・ＰＲ＋Ｎ）の、第二の時点と第一の時点との差である。なお、α１，α２，・・・，αＮは、重みである。
【００５７】
変化情報取得部１３１は、例えば、一の被験者が属するランク以下のランクまたは一の被験者が属するランクより低いランクの正解率が閾値（例えば、０．５）以上または閾値より大きい問題であり、一の被験者が誤答した問題である不適切誤答問題の数を、正解率情報および正誤情報を用いて、２つの時点（第一の時点、第二の時点）において、算出する。そして、変化情報取得部１３１は、２つの時点の不適切誤答問題の数を用いて、不適切誤答問題の量の変化である変化情報を取得する。変化情報は、例えば、２つの時点の不適切誤答問題の数の差（第一の時点の不適切誤答問題の数−第二の時点の不適切誤答問題の数）、２つの時点の不適切誤答問題の割合（全問題数中の不適切誤答問題の割合）の差（第一の時点の不適切誤答問題の割合−第二の時点の不適切誤答問題の割合）である。
【００５８】
なお、一の被験者が属するランクは、例えば、格納部１１に格納されている。一の被験者が属するランクは、確率情報群から取得されても良い。一の被験者が属するランクは、通常、最も確率情報に対応する確率が大きいランクである。また、一の被験者が属するランクは、例えば、潜在ランクである。
【００５９】
また、不適切誤答問題量情報とは、例えば、不適切誤答問題の数、または不適切誤答問題の割合である。
【００６０】
変化情報取得部１３１は、例えば、２つの異なる時点の解答特性情報群を用いて、当該２つの解答特性情報群の変化に関する変化情報を取得する。
【００６１】
変化情報取得部１３１は、例えば、解答特性情報の絶対値である解答特性絶対値を問題ごとに、２つの異なる各時点の解答特性情報群ごとに取得し、２つの異なる各時点に対応する解答特性絶対値の集合を用いた情報の変化に関する変化情報を取得する。
【００６２】
変化情報取得部１３１は、例えば、解答特性情報の絶対値である解答特性絶対値と基準となる解答特性情報である基準値との差を問題ごとに取得し、差の平均を２つの異なる時点ごとに算出し、差の平均の変化に関する変化情報を取得する。なお、変化情報は、例えば、かかる差の平均そのもの、またはかかる差の平均をパラメータとする増加関数により算出される値である。かかる場合、２つの時点を比較し、差の平均が小さくなっていれば、通常、被験者の学習に関して、良くなっている、ということが言える。
【００６３】
変化情報取得部１３１は、例えば、解答特性情報の絶対値である解答特性絶対値と基準となる解答特性情報である基準値との差を問題ごとに取得し、差の合計を２つの異なる時点ごとに算出し、当該差の合計の変化に関する変化情報を取得する。かかる場合、２つの時点を比較し、差の合計が小さくなっていれば、通常、被験者の学習に関して、良くなっている、ということが言える。
【００６４】
変化情報取得部１３１は、例えば、解答特性情報群対を用いて、ＥＳＲの二乗の値であるＭｓ−ｆｉｔの変化に関する変化情報であるＭｓ−ｆｉｔ変化情報を取得する。Ｍｓ−ｆｉｔ変化情報は、例えば、Ｍｓ−ｆｉｔが閾値（例えば、１．４）以上または閾値より大きい項目の割合の差である。Ｍｓ−ｆｉｔ変化情報は、例えば、Ｍｓ−ｆｉｔが閾値以上または閾値より大きい項目が変化した割合である。
【００６５】
変化情報取得部１３１は、例えば、解答特性情報群対を用いて、ＥＳＲの二乗の値であるＭｓ−ｆｉｔを問題ごとに算出し、問題ごとのＭｓ−ｆｉｔの調整平均値であるＰ−ｆｉｔを２つの異なる各時点に対応付けて取得し、２つの時点のＰ−ｆｉｔの変化に関する変化情報であるＰ−ｆｉｔ変化情報を取得する。Ｐ−ｆｉｔ変化情報は、例えば、２つの時点のＰ−ｆｉｔの差である。なお、調整平均値とは、予め決められた条件を満たすほど偏った値を除いて、平均を算出した値である。なお、予め決められた条件を満たすほど偏った値は、例えば、最大値と最小値など、固定的でも良い。また、予め決められた条件を満たすほど偏った値は、例えば、平均値と比較して閾値以上の差がある値でも良い。
【００６６】
評価情報取得部１３２は、変化情報を用いて、一の被験者の学習に関する評価に関する評価情報を取得する。なお、変化情報は、変化情報取得部１３１が取得した情報である。
【００６７】
評価情報取得部１３２は、例えば、変化情報を用いて、一の被験者が良くなったか否かを示す評価情報を取得する。評価情報は、例えば、良くなった（例えば、「１」）、良くならなかった（例えば、「０」）である。なお、良くなることを、Ｐｏｓｉｔｉｖｅ  Ｃｈａｎｇｅと言っても良い。
【００６８】
評価情報取得部１３２は、例えば、変化情報を用いて、変化の度合いを示す評価情報を取得する。
【００６９】
評価情報取得部１３２は、例えば、被験者ごとの１以上の変化情報から、一の組織の傾向に関する評価情報を取得する。一の組織の傾向に関する評価情報を組織評価情報と言っても良い。評価情報取得部１３２は、例えば、一の組織に属する被験者の評価情報が、良くなったことを示す評価情報である割合を算出し、当該割合を組織評価情報として取得しても良い。また、評価情報取得部１３２は、例えば、一の組織に属する被験者の評価情報の平均値を取得し、当該平均値を組織評価情報として取得しても良い。評価情報取得部１３２は、通常、組織に属する２以上の被験者の評価情報を統計処理し、組織評価情報を取得する。
【００７０】
さらに具体的には、評価情報取得部１３２は、例えば、変化情報が以下の（１）から（５）のいずれかを示す場合、良くなったことを示す評価情報（例えば、「１」）を取得する、または良くなった度合いを示す評価情報を取得する。
（１）潜在ランクを維持または上昇させつつ、上位のランクへの所属確率をさらに上昇できた場合
【００７１】
かかる場合、例えば、変化情報取得部１３１は、例えば、一の被験者のランク（Ｒ）よりも上位の１以上の各ランク（Ｒ＋１，Ｒ＋２，・・・，Ｒ＋Ｎ）の確率（ＰＲ＋１，ＰＲ＋２，・・・，ＰＲ＋Ｎ）の重み付きの和（α１・ＰＲ＋１＋α２・ＰＲ＋２＋・・・＋αＮ・ＰＲ＋Ｎ）の、第二の時点と第一の時点との差である変化情報を取得する。そして、評価情報取得部１３２は、例えば、変化情報が正の値である場合に、良くなったことを示す評価情報（例えば、「１」）を取得する。なお、評価情報取得部１３２は、例えば、変化情報の値をパラメータとする増加関数により、良くなった度合いを示す評価情報を算出しても良い。また、評価情報取得部１３２は、例えば、格納されている対応表（変化情報の値の幅と、評価情報とを対に有する２以上のレコードを有する表）を参照し、変化情報と対になる評価情報を取得する。
（２）自己のランク以下のランクの正解率が閾値（例えば、０．５）以上または閾値より大きい項目の逸失率をＮ％以上またはＮ％より多く、低下させることができた場合
【００７２】
この場合は、いわゆる不適切誤答問題の数を予め決められた条件を満たすほど少なくした場合、評価情報取得部１３２は、例えば、良くなったことを示す評価情報（例えば、「１」）を取得する。なお、評価情報取得部１３２は、不適切誤答問題の数または割合の変化の量から、改善の程度を示す評価情報を取得しても良い。かかる場合、評価情報取得部１３２は、例えば、変化情報を予め格納している演算式に代入し、評価情報を算出する。また、評価情報取得部１３２は、例えば、格納されている対応表（変化情報の値の幅と、評価情報とを対に有する２以上のレコードを有する表）を参照し、変化情報と対になる評価情報を取得する。
【００７３】
なお、（２）において、良くなったことを示す評価情報が取得された場合、正答確実性を高めることができた、と考えても良い。
（３）ＥＳＲの（基準値外）絶対値と基準値との差の平均を小さくすることができた場合
【００７４】
この場合、変化情報取得部１３１は、例えば、第一の時点のＥＳＲの絶対値とＥＳＲの基準値（例えば、「１」）との差を、第一の時点のテストの２以上の各項目（問題）ごとに取得し、２以上の各項目のＥＳＲの絶対値とＥＳＲの基準値との差の平均（Ａ１）を算出する。また、変化情報取得部１３１は、第二の時点のＥＳＲの絶対値とＥＳＲの基準値（例えば、「１」）との差を、第一の時点のテストの２以上の各項目ごとに取得し、２以上の各項目のＥＳＲの絶対値とＥＳＲの基準値との差の平均（Ａ２）を算出する。次に、変化情報取得部１３１は、変化情報（Ａ１−Ａ２）を算出する。そして、例えば、変化情報（Ａ１−Ａ２）が正の値である場合、評価情報取得部１３２は、良くなったことを示す評価情報（例えば、「１」）を取得する。一方、例えば、変化情報（Ａ１−Ａ２）が０または負の値である場合、評価情報取得部１３２は、良くならなかったことを示す評価情報（例えば、「０」）を取得する。また、評価情報取得部１３２は、変化情報（Ａ１−Ａ２）をパラメータとする増加関数により、評価情報を算出しても良い。また、評価情報取得部１３２は、例えば、格納されている対応表（変化情報の値の幅と、評価情報とを対に有する２以上のレコードを有する表）を参照し、変化情報と対になる評価情報を取得しても良い。
（４）閾値（例えば、「１．４」）以上または閾値より大きいＭｓ−ｆｉｔの項目をＮ％以上またはＮ％より多く、解消できた場合（なお、Ｎは閾値である）
【００７５】
この場合、変化情報取得部１３１は、例えば、第一の時点の各項目のＭｓ−ｆｉｔを算出する。次に、変化情報取得部１３１は、算出したＭｓ−ｆｉｔの中で、閾値以上または閾値より大きいＭｓ−ｆｉｔの項目数（Ｉ１）を取得する。同様に、変化情報取得部１３１は、第二の時点の各項目のＭｓ−ｆｉｔを算出し、第二の時点の閾値以上または閾値より大きいＭｓ−ｆｉｔの項目数（Ｉ２）を取得する。次に、変化情報取得部１３１は、例えば、変化情報「（Ｉ１−Ｉ２）／Ｉ１」を算出する。次に、変化情報がＮ％以上またはＮ％より多い場合、評価情報取得部１３２は、良くなったことを示す評価情報（例えば、「１」）を取得する。また、評価情報取得部１３２は、変化情報「（Ｉ１−Ｉ２）／Ｉ１」をパラメータとする増加関数により、評価情報を算出しても良い。また、評価情報取得部１３２は、例えば、格納されている対応表（変化情報の値の幅と、評価情報とを対に有する２以上のレコードを有する表）を参照し、変化情報と対になる評価情報を取得しても良い。
【００７６】
なお、（４）において、良くなったことを示す評価情報が取得された場合、課題対応の適切性を健全化できたことを示す、と考えても良い。
（５）Ｐ−ｆｉｔをＮ％以上またはＮ％より多く、適正化できた場合
【００７７】
この場合、変化情報取得部１３１は、第一の時点の各項目のＭｓ−ｆｉｔを算出する。そして、変化情報取得部１３１は、第一の時点のＰ−ｆｉｔ（Ｐｆ１）を算出する。また、変化情報取得部１３１は、同様に、第二の時点の各項目のＭｓ−ｆｉｔを算出する。そして、変化情報取得部１３１は、第二の時点のＰ−ｆｉｔ（Ｐｆ２）を算出する。次に、変化情報取得部１３１は、例えば、変化情報「（Ｐｆ１−Ｐｆ２）／Ｐｆ１」を算出する。次に、変化情報がＮ％以上またはＮ％より多い場合、評価情報取得部１３２は、良くなったことを示す評価情報（例えば、「１」）を取得する。また、評価情報取得部１３２は、変化情報「（Ｐｆ１−Ｐｆ２）／Ｐｆ１」をパラメータとする増加関数により、評価情報を算出しても良い。また、評価情報取得部１３２は、例えば、格納されている対応表（変化情報の値の幅と、評価情報とを対に有する２以上のレコードを有する表）を参照し、変化情報と対になる評価情報を取得しても良い。
【００７８】
なお、（５）において、良くなったことを示す評価情報が取得された場合、課題対応力の安定性が強化できたことを示す、と考えても良い。
【００７９】
出力部１４は、評価情報取得部１３２が取得した評価情報を出力する。評価情報の出力態様は問わない。
【００８０】
出力部１４は、被験者識別子に対応付けて、被験者ごとに、評価情報を出力しても良い。また、出力部１４は、２つの時点を特定する情報とともに、評価情報を出力しても良い。
【００８１】
また、出力部１４は、組織を識別する組織識別子に対応付けて、評価情報または組織評価情報を出力しても良い。
【００８２】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【００８３】
格納部１１、正誤情報格納部１１１、正解率情報格納部１１２、および評価元情報格納部１１３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００８４】
格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【００８５】
処理部１３、変化情報取得部１３１、および評価情報取得部１３２は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００８６】
出力部１４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【００８７】
次に、評価装置１の動作について、図２のフローチャートを用いて説明する。
【００８８】
（ステップＳ２０１）受付部１２は、動作指示を受け付けたか否かを判断する。動作指示を受け付けた場合はステップＳ２０２に行き、動作指示を受け付けない場合はステップＳ２０１に戻る。
【００８９】
（ステップＳ２０２）処理部１３は、カウンタｉに１を代入する。
【００９０】
（ステップＳ２０３）処理部１３は、ｉ番目の組織識別子が格納部１１または評価元情報格納部１１３に存在するか否かを判断する。ｉ番目の組織識別子が存在する場合はステップＳ２０４に行き、存在しない場合は処理を終了する。
【００９１】
（ステップＳ２０４）処理部１３は、カウンタｊに１を代入する。
【００９２】
（ステップＳ２０５）変化情報取得部１３１は、ｉ番目の組織識別子と対になる、ｊ番目の被験者識別子が格納部１１または評価元情報格納部１１３に存在するか否かを判断する。ｊ番目の被験者識別子が存在する場合はステップＳ２０６に行き、存在しない場合はステップＳ２１１に行く。
【００９３】
（ステップＳ２０６）変化情報取得部１３１は、ｉ番目の組織識別子およびｊ番目の被験者識別子と対になる評価元情報を評価元情報格納部１１３から取得する。
【００９４】
（ステップＳ２０７）変化情報取得部１３１は、ステップＳ２０６で取得した評価元情報を用いて、変化情報を取得する。かかる変化情報取得処理について、図３のフローチャートを用いて説明する。
【００９５】
（ステップＳ２０８）評価情報取得部１３２は、ステップＳ２０７で取得された変化情報を用いて、評価情報を取得する。かかる評価情報取得処理について、図７のフローチャートを用いて説明する。
【００９６】
（ステップＳ２０９）出力部１４は、ｉ番目の組織識別子およびｊ番目の被験者識別子と対応付けて、ステップＳ２０８で取得された評価情報を出力する。出力部１４は、ステップＳ２０８で取得された評価情報のうち、一部の評価情報を出力しても良い。
【００９７】
（ステップＳ２１０）処理部１３は、カウンタｊを１、インクリメントする。ステップＳ２０５に戻る。
【００９８】
（ステップＳ２１１）評価情報取得部１３２は、ｉ番目の組織識別子と対になる複数の評価情報を統計処理し、組織評価情報を取得する。
【００９９】
（ステップＳ２１２）出力部１４は、ステップＳ２１１で取得された組織評価情報を、ｉ番目の組織識別子に対応付けて出力する。
【０１００】
（ステップＳ２１３）処理部１３は、カウンタｉを１、インクリメントする。ステップＳ２０３に戻る。
【０１０１】
次に、ステップＳ２０７の変化情報取得処理について、図３のフローチャートを用いて説明する。
【０１０２】
（ステップＳ３０１）変化情報取得部１３１は、評価元情報格納部１１３から、対応する被験者の確率情報群対を取得する。なお、対応する被験者の確率情報群対とは、ｉ番目の組織識別子とｊ番目の被験者識別子と対になる確率情報群対である。
【０１０３】
（ステップＳ３０２）変化情報取得部１３１は、ステップＳ３０１で取得した確率情報群対から、第一の時点および第二の時点の所属ランク（推定ランク）を取得する。なお、推定ランクは、最も大きい確率を示す確率情報に対応するランク識別子である。そして、変化情報取得部１３１は、ステップＳ３０１で取得した確率情報群対から、第一の時点および第二の時点の各時点に対応付けて、推定ランクより上位の１以上の各ランクの確率情報を取得する。
【０１０４】
（ステップＳ３０３）変化情報取得部１３１は、ステップＳ３０２で取得した２つの時点の１以上の各ランクの確率情報から、第一変化情報を取得する。変化情報取得部１３１は、通常、第一の時点の１以上の各ランクの確率情報が小さいほど、かつ第二の時点の１以上の各ランクの確率情報が大きいほど、良好な第一変化情報を取得する。また、第一変化情報は、例えば、一の被験者が属するランクよりも上位の１以上のランクの確率情報の合計（ＰＲ＋１＋ＰＲ＋２＋・・・＋ＰＲ＋Ｎ）の、第二の時点と第一の時点との差（第二の時点の合計−第一の時点の合計）である。
【０１０５】
（ステップＳ３０４）変化情報取得部１３１は、評価元情報格納部１１３から、前の時点（第一の時点）の解答特性情報群を取得する。そして、変化情報取得部１３１は、前の時点の解答特性情報群を用いて、前の時点の不適切誤答問題量情報を取得する。かかる解答特性情報群を用いて、不適切誤答問題量情報を取得する不適切誤答問題量情報取得処理について、図４のフローチャートを用いて説明する。
【０１０６】
（ステップＳ３０５）変化情報取得部１３１は、評価元情報格納部１１３から、後の時点（第二の時点）の解答特性情報群を取得する。そして、変化情報取得部１３１は、後の時点の解答特性情報群を用いて、後の時点の不適切誤答問題量情報を取得する。かかる処理は、図４のフローチャートを用いて説明する。
【０１０７】
（ステップＳ３０６）変化情報取得部１３１は、ステップＳ３０４で取得した前の時点の不適切誤答問題量情報と、ステップＳ３０５で取得した後の時点の不適切誤答問題量情報とを用いて、第二変化情報を取得する。変化情報取得部１３１は、通常、前の時点の不適切誤答問題量情報が大きいほど、かつ後の時点の不適切誤答問題量情報が小さいほど、良好な第二変化情報を取得する。例えば、第二変化情報は、前の時点の不適切誤答問題量情報−後の時点の不適切誤答問題量情報である。
【０１０８】
（ステップＳ３０７）変化情報取得部１３１は、前の時点の解答特性情報群を用いて、前の時点の解答特性絶対値集合を取得する。変化情報取得部１３１は、前の時点の各項目の解答特性値の絶対値を取得する。
【０１０９】
（ステップＳ３０８）変化情報取得部１３１は、後の時点の解答特性情報群を用いて、後の時点の解答特性絶対値集合を取得する。変化情報取得部１３１は、後の時点の各項目の解答特性値の絶対値を取得する。
【０１１０】
（ステップＳ３０９）変化情報取得部１３１は、ステップＳ３０７で取得した前の時点の解答特性絶対値集合と、ステップＳ３０８で取得した後の時点の解答特性絶対値集合とから、第三変化情報を取得する。変化情報取得部１３１は、例えば、ステップＳ３０７で取得した前の時点の解答特性絶対値集合から、解答特性絶対値が閾値（例えば、０．８）以下または閾値より小さい項目の数（Ｉ１）を取得する。また、変化情報取得部１３１は、例えば、ステップＳ３０８で取得した後の時点の解答特性絶対値集合から、解答特性絶対値が閾値（例えば、０．８）以下または閾値より小さい項目の数（Ｉ２）を取得する。次に、変化情報取得部１３１は、Ｉ１とＩ２とを用いて、第三変化情報を取得する。なお、変化情報取得部１３１は、通常、Ｉ２が大きいほど良好な第三変化情報、Ｉ１が小さいほど良好な第三変化情報を取得する。変化情報取得部１３１は、例えば、「第三変化情報＝Ｉ２−Ｉ１」を算出する。
【０１１１】
（ステップＳ３１０）変化情報取得部１３１は、前の時点の解答特性情報群を用いて、前の時点の解答特性絶対値差集合を取得する。解答特性絶対値差集合とは、項目ごとの解答特性絶対値差の集合である。解答特性絶対値差とは、解答特性値の絶対値と基準値との差である。つまり、変化情報取得部１３１は、前の時点の解答特性情報群が有する各項目の解答特性値の絶対値を取得し、当該絶対値と基準値との差を、項目ごとに算出する。
【０１１２】
（ステップＳ３１１）変化情報取得部１３１は、後の時点の解答特性情報群を用いて、後の時点の解答特性絶対値差集合を取得する。
【０１１３】
（ステップＳ３１２）変化情報取得部１３１は、ステップＳ３１０で取得した前の時点の解答特性絶対値差集合と、ステップＳ３１１で取得した後の時点の解答特性絶対値差集合とから、第四変化情報を取得する。変化情報取得部１３１は、例えば、ステップＳ３１０で取得した前の時点の解答特性絶対値差集合から、項目ごとの解答特性絶対値差の第一の統計量（例えば、平均値、中央値など）を取得する。また、変化情報取得部１３１は、例えば、ステップＳ３１１で取得した後の時点の解答特性絶対値差集合から、項目ごとの解答特性絶対値差の第二の統計量（例えば、平均値、中央値など）を取得する。次に、変化情報取得部１３１は、第一の統計量と第二の統計量とを用いて、第四変化情報を取得する。具体的には、例えば、変化情報取得部１３１は、「第四変化情報＝第一の統計量−第二の統計量」を取得する。
【０１１４】
（ステップＳ３１３）変化情報取得部１３１は、前の時点の解答特性情報群と後の時点の解答特性情報群とを用いて、
【０１１５】
（ステップＳ３１４）変化情報取得部１３１は、Ｍｓ−ｆｉｔに関する変化情報であるＭｓ−ｆｉｔ変化情報を取得する。Ｍｓ−ｆｉｔ変化情報取得処理の例について、図５のフローチャートを用いて説明する。
【０１１６】
（ステップＳ３１５）変化情報取得部１３１は、Ｐ−ｆｉｔに関する変化情報であるＰ−ｆｉｔ変化情報を取得する。上位処理にリターンする。なお、Ｐ−ｆｉｔ変化情報取得処理の例について、図６のフローチャートを用いて説明する。
【０１１７】
次に、ステップＳ３０４、およびステップＳ３０５の不適切誤答問題量情報取得処理について、図４のフローチャートを用いて説明する。
【０１１８】
（ステップＳ４０１）変化情報取得部１３１は、着目する被験者の着目する時点（第一の時点または第二の時点）の確率情報群から当該被験者の推定ランクを取得する。または、変化情報取得部１３１は、格納部１１に格納されている当該被験者の推定ランクを取得する。
【０１１９】
（ステップＳ４０２）変化情報取得部１３１は、カウンタｉに１を代入する。
【０１２０】
（ステップＳ４０３）変化情報取得部１３１は、着目する時点（着目するテスト）のｉ番目の項目が存在するか否かを判断する。ｉ番目の項目が存在する場合はステップＳ４０４に行き、ｉ番目の項目が存在しない場合はステップＳ４１３に行く。
【０１２１】
（ステップＳ４０４）変化情報取得部１３１は、着目する被験者のｉ番目の項目に対応する正誤情報を、正誤情報格納部１１１から取得する。
【０１２２】
（ステップＳ４０５）変化情報取得部１３１は、ステップＳ４０４で取得した正誤情報が「不正解」を示す情報であるか否かを判断する。「不正解」を示す情報である場合はステップＳ４０６に行き、「正解」を示す情報である場合はステップＳ４１１に行く。なお、ここで、変化情報取得部１３１は、ステップＳ４０４で取得した正誤情報が「正解」を示す情報であるか否かを判断しても良いことは言うまでもない。
【０１２３】
（ステップＳ４０６）変化情報取得部１３１は、カウンタｊに１を代入する。
【０１２４】
（ステップＳ４０７）変化情報取得部１３１は、ステップＳ４０１で取得した推定ランクよりｊ番目の下位クラスが存在するか否かを判断する。ｊ番目の下位クラスが存在する場合はステップＳ４０８に行き、ｊ番目の下位クラスが存在しない場合はステップＳ４１１に行く。なお、ｊ番目の下位クラスは、ｊのランクだけ下位のクラスである。
【０１２５】
（ステップＳ４０８）変化情報取得部１３１は、ｊ番目の下位クラスに対応する正解率であり、ｉ番目の項目に対応する正解率を、正解率情報格納部１１２から取得する。
【０１２６】
（ステップＳ４０９）変化情報取得部１３１は、ステップＳ４０８で取得した正解率が予め決められた条件を満たすほど高いか否かを判断する。予め決められた条件を満たすほど高い場合はステップＳ４１０に行き、予め決められた条件を満たすほど高くない場合はステップＳ４１２に行く。なお、予め決められた条件は、例えば、正解率が閾値（例えば、５０％）以上、正解率が閾値より大きい等である。
【０１２７】
（ステップＳ４１０）変化情報取得部１３１は、着目するテストのｉ番目の項目に不適切誤答フラグを対応づける。なお、不適切誤答フラグは、不適切な誤答であることを示すフラグである。
【０１２８】
（ステップＳ４１１）変化情報取得部１３１は、カウンタｉを１、インクリメントする。ステップＳ４０３に戻る。
【０１２９】
（ステップＳ４１２）変化情報取得部１３１は、カウンタｊを１、インクリメントする。ステップＳ４０７に戻る。
【０１３０】
（ステップＳ４１３）変化情報取得部１３１は、不適切誤答フラグの量に関する不適切誤答量情報を取得する。上位処理にリターンする。適切誤答量情報は、不適切誤答フラグの数、不適切誤答フラグの割合等である。なお、割合は、着目するテストの全項目中の割合である。
【０１３１】
なお、図４のフローチャートにおいて、しても良い。
【０１３２】
次に、ステップＳ３１４のＭｓ−ｆｉｔ変化情報取得処理の例について、図５のフローチャートを用いて説明する。
【０１３３】
（ステップＳ５０１）変化情報取得部１３１は、前の時点の不適切Ｍｓ−ｆｉｔ量情報を取得する。不適切Ｍｓ−ｆｉｔ量情報取得処理について、図６のフローチャートを用いて説明する。なお、不適切Ｍｓ−ｆｉｔ量情報は、不適切なＭｓ−ｆｉｔの量に関する情報である。不適切Ｍｓ−ｆｉｔ量情報は、例えば、不適切なＭｓ−ｆｉｔの数、不適切なＭｓ−ｆｉｔの割合等である。
【０１３４】
（ステップＳ５０２）変化情報取得部１３１は、後点の不適切Ｍｓ−ｆｉｔ量情報を取得する。不適切Ｍｓ−ｆｉｔ量情報取得処理について、図６のフローチャートを用いて説明する。
【０１３５】
（ステップＳ５０３）変化情報取得部１３１は、前の時点の不適切Ｍｓ−ｆｉｔ量情報と、後の時点の不適切Ｍｓ−ｆｉｔ量情報とを用いて、不適切Ｍｓ−ｆｉｔ量情報饒変化に関するＭｓ−ｆｉｔ変化情報を取得する。Ｍｓ−ｆｉｔ変化情報は、
【０１３６】
次に、ステップＳ５０１、ステップＳ５０２の不適切Ｍｓ−ｆｉｔ量情報取得処理について、図６のフローチャートを用いて説明する。
【０１３７】
（ステップＳ６０１）変化情報取得部１３１は、カウンタｉに１を代入する。
【０１３８】
（ステップＳ６０２）変化情報取得部１３１は、着目する時点（着目するテスト）のｉ番目の項目が存在するか否かを判断する。ｉ番目の項目が存在する場合はステップＳ６０３に行き、ｉ番目の項目が存在しない場合はステップＳ６０８に行く。
【０１３９】
（ステップＳ６０３）変化情報取得部１３１は、着目する被験者の着目するテストのｉ番目の項目に対応するＥＳＲを評価元情報格納部１１３の解答特性情報群から取得する。
【０１４０】
（ステップＳ６０４）変化情報取得部１３１は、ステップＳ６０３で取得したＥＳＲを二乗し、Ｍｓ−ｆｉｔを取得する。
【０１４１】
（ステップＳ６０５）変化情報取得部１３１は、Ｍｓ−ｆｉｔが条件を満たすか否かを判断する。Ｍｓ−ｆｉｔが条件を満たす場合はステップＳ６０６に行き、Ｍｓ−ｆｉｔが条件を満たさない場合はステップＳ６０７に行く。なお、条件を満たすことは、通常、Ｍｓ−ｆｉｔが予め決められた条件を満たすほど大きいことである。また、予め決められた条件は、例えば、閾値（例えば、１．４）以上、または閾値より大きい等である。
【０１４２】
（ステップＳ６０６）変化情報取得部１３１は、着目する時点（着目するテスト）のｉ番目の項目に、不適切Ｍｓ−ｆｉｔフラグを対応付ける。なお、不適切Ｍｓ−ｆｉｔフラグは、Ｍｓ−ｆｉｔが不適切であることを示す情報である。
【０１４３】
（ステップＳ６０７）変化情報取得部１３１は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。
【０１４４】
（ステップＳ６０８）変化情報取得部１３１は、不適切Ｍｓ−ｆｉｔフラグの量に関する不適切Ｍｓ−ｆｉｔ量情報を取得する。上位処理にリターンする。不適切Ｍｓ−ｆｉｔ量情報は、不適切Ｍｓ−ｆｉｔフラグの数、不適切Ｍｓ−ｆｉｔフラグの割合等である。なお、割合は、着目するテストの全項目中の割合である。
【０１４５】
次に、ステップＳ３１５のＰ−ｆｉｔ変化情報取得処理の例について、図７のフローチャートを用いて説明する。
【０１４６】
（ステップＳ７０１）変化情報取得部１３１は、第一の時点の各項目に対応するＭｓ−ｆｉｔを取得する。
【０１４７】
（ステップＳ７０２）変化情報取得部１３１は、ステップＳ７０１で取得したすべてのＭｓ−ｆｉｔの調整平均値であるＰ−ｆｉｔを取得する。
【０１４８】
（ステップＳ７０３）変化情報取得部１３１は、第二点の各項目に対応するＭｓ−ｆｉｔを取得する。
【０１４９】
（ステップＳ７０４）変化情報取得部１３１は、ステップＳ７０３で取得したすべてのＭｓ−ｆｉｔの調整平均値であるＰ−ｆｉｔを取得する。
【０１５０】
（ステップＳ７０５）変化情報取得部１３１は、ステップＳ７０２で取得した第一の時点のＰ−ｆｉｔ（Ｐ−ｆｉｔ１）と、ステップＳ７０４で取得した第二の時点のＰ−ｆｉｔ（Ｐ−ｆｉｔ２）とから、第一の時点から第二の時点へのＰ−ｆｉｔに関する変化についての情報であるＰ−ｆｉｔ変化情報を取得する。上位処理にリターンする。なお、Ｐ−ｆｉｔ変化情報は、例えば、「（Ｐ−ｆｉｔ１）−（Ｐ−ｆｉｔ２）」である。また、Ｐ−ｆｉｔ変化情報は、例えば、「（Ｐ−ｆｉｔ１）−（Ｐ−ｆｉｔ２）／（Ｐ−ｆｉｔ１）」である。
【０１５１】
次に、ステップＳ２０８の評価情報取得処理について、図８のフローチャートを用いて説明する。
【０１５２】
（ステップＳ８０１）評価情報取得部１３２は、変化情報取得部１３１が取得した第一変化情報から第一評価情報を取得する。評価情報取得部１３２は、例えば、第一変化情報が閾値（例えば、０）以上である場合に、良くなったことを示す評価情報（例えば、「１」）を取得する。また、評価情報取得部１３２は、例えば、第一変化情報が大きいほど、良い値の評価情報を取得する。
【０１５３】
（ステップＳ８０２）評価情報取得部１３２は、変化情報取得部１３１が取得した第二変化情報から第二評価情報を取得する。評価情報取得部１３２は、例えば、第二変化情報が閾値（例えば、０）以上である場合に、良くなったことを示す評価情報（例えば、「１」）を取得する。また、評価情報取得部１３２は、例えば、第二変化情報が大きいほど、良い値の評価情報を取得する。
【０１５４】
（ステップＳ８０３）評価情報取得部１３２は、変化情報取得部１３１が取得した第三変化情報から第三評価情報を取得する。
【０１５５】
（ステップＳ８０４）評価情報取得部１３２は、変化情報取得部１３１が取得した第四変化情報から第四評価情報を取得する。
【０１５６】
（ステップＳ８０５）評価情報取得部１３２は、変化情報取得部１３１が取得したＭｓ−ｆｉｔ変化情報から第五評価情報を取得する。
【０１５７】
（ステップＳ８０６）評価情報取得部１３２は、変化情報取得部１３１が取得したＰ−ｆｉｔ変化情報から第六評価情報を取得する。
【０１５８】
なお、図８のフローチャートにおいて、第一評価情報から第六評価情報まで取得したが、一部の評価情報のみを取得しても良い。
【０１５９】
以下、本実施の形態における評価装置１の具体的な動作について説明する。
【０１６０】
今、評価装置１の正誤情報格納部１１１には、図９に示す正誤情報管理表が格納されている、とする。正誤情報管理表は、被験者Ａが行った２回のテストの正誤情報を管理する表である。２回のテストのテスト識別子は、「テスト１」「テスト２」であり、それぞれ対応するテスト日にテストが行われた。また、２回のテストは、項目１〜項目１０の１０項目（１０問）のテストである。また、正誤情報管理表において、「１」は正解したことを示し、「０」は不正解であったことを示す。被験者Ａは、テスト１では、５／１０の正解率、テスト２では６／１０の正解率であった。
【０１６１】
また、正解率情報格納部１１２には、図１０に示す正解率情報管理表が格納されている、とする。正解率情報管理表は、「テスト１」「テスト２」の各々における、「Ｒ１」「Ｒ２」「Ｒ３」「Ｒ４」「Ｒ５」のそれぞれのランクの被験者の、項目ごとの正解率を管理する表である。なお、「Ｒ１」「Ｒ２」「Ｒ３」「Ｒ４」「Ｒ５」の順で、ランクが高くなる、とする。つまり、「Ｒ１」が最もランクが低く、「Ｒ５」が最もランクが高い、とする。また、図１０（ａ）は、テスト１における、問題毎およびランク毎の正解率情報である。図１０（ｂ）は、テスト２における、問題毎およびランク毎の正解率情報である。
【０１６２】
また、評価元情報格納部１１３には、図１１に示す確率情報群管理表が格納されている、とする。確率情報群管理表は、被験者Ａが、ランク「Ｒ１」から「Ｒ５」のそれぞれに属する確率を示す情報を管理する表である。図１１（ａ）はテスト１における確率情報群管理表、図１１（ｂ）はテスト２における確率情報群管理表である。
【０１６３】
また、評価元情報格納部１１３には、図１２に示す解答特性情報群管理表が格納されている、とする。解答特性情報群管理表は、「テスト１」「テスト２」の各々における、被験者Ａの各項目のＥＳＲを管理する表である。
【０１６４】
また、評価元情報格納部１１３には、図１３に示すＭｓ−ｆｉｔ管理表が格納されている、とする。Ｍｓ−ｆｉｔ管理表は、「テスト１」「テスト２」の各々における、被験者Ａの各項目のＭｓ−ｆｉｔ（ＥＳＲの二乗）を管理する表である。
【０１６５】
さらに、評価元情報格納部１１３には、図１４に示すＰ−ｆｉｔ管理表が格納されている、とする。Ｐ−ｆｉｔ管理表は、「テスト１」「テスト２」の各々における、被験者ＡのＰ−ｆｉｔ（Ｍｓ−ｆｉｔの調整平均値）を管理する表である。
【０１６６】
なお、上述したように、処理部１３が、上記の各種の管理表の値を算出しても良いし、上記の各種の管理表の値は人手により入力されても良い。
【０１６７】
かかる状況において、評価装置１の管理者は、評価装置１に対して、動作指示を入力した、とする。なお、ここでは、簡易化のため、動作指示は被験者Ａについての評価情報を出力する指示である、とする。
【０１６８】
すると、評価装置１の受付部１２は、動作指示を受け付ける。
【０１６９】
次に、変化情報取得部１３１は、被験者Ａに対応する評価元情報を評価元情報格納部１１３から取得する。つまり、変化情報取得部１３１は、図１１（ａ）（ｂ）の確率情報群対を取得する。また、変化情報取得部１３１は、図１２の解答特性情報群対を取得する。また、変化情報取得部１３１は、図１３の２回のテストの項目ごとのＭｓ−ｆｉｔを取得する。さらに、変化情報取得部１３１は、図１４の２回のテストのＰ−ｆｉｔを取得する。なお、ここで、評価元情報は、例えば、確率情報群対、解答特性情報群対、Ｍｓ−ｆｉｔの集合、および２回のテストのＰ−ｆｉｔである。
【０１７０】
次に、変化情報取得部１３１は、上記の評価元情報を用いて、以下の（１）〜（６）のように、変化情報を取得する。
（１）確率情報群対を用いた第一変化情報の取得
【０１７１】
変化情報取得部１３１は、確率情報群対から、被験者Ａのテスト１での潜在ランク「Ｒ３」、テスト２での潜在ランク「Ｒ３」を取得する。なお、潜在ランクは、ここでは最も高い確率のランクである、とする。
【０１７２】
次に、変化情報取得部１３１は、テスト１における潜在ランク「Ｒ３」より上位のランク「Ｒ４」「Ｒ５」の確率「０．１８」「０．０９」を取得する。そして、変化情報取得部１３１は、例えば、上位のランク「Ｒ４」「Ｒ５」の確率の和「０．２７」を算出する。
【０１７３】
また、変化情報取得部１３１は、テスト２における潜在ランク「Ｒ３」より上位のランク「Ｒ４」「Ｒ５」の確率「０．３２」「０．０８」を取得する。そして、変化情報取得部１３１は、例えば、上位のランク「Ｒ４」「Ｒ５」の確率の和「０．４０」を算出する。
【０１７４】
次に、変化情報取得部１３１は、２回のテストの上記確率の和の差異「テスト２の上位ランクの確率の和―テスト１の上位ランクの確率の和＝０．１３」を取得する。なお、「０．１３」を第一変化情報とする。また、ここで、第一変化情報が正の値であれば、被験者Ａが良くなったことを示す。
（２）不適切誤答数の変化を用いた第二変化情報の取得
【０１７５】
変化情報取得部１３１は、図１２のテスト１に対応する値が「０未満（誤答）」で、かつ被験者Ａが属するランク「Ｒ３」より低いランクである「Ｒ２」または「Ｒ１」の正解率が基準値「０．５」以上である不適切誤答問題を検出する。つまり、ここでは、変化情報取得部１３１は、図１２のテスト１に対応する値が「０未満（誤答）」である「項目５」「項目６」「項目７」「項目８」「項目１０」を検出する。そして、変化情報取得部１３１は、図１０（ａ）を参照し、「項目５」「項目６」「項目７」「項目８」「項目１０」のうち、ランク「Ｒ２」または「Ｒ１」と対になる値が基準値「０．５」以上である「項目６」を検出する。そして、変化情報取得部１３１は、テスト１に対応する「不適切誤答数＝１」を得る。
【０１７６】
また、変化情報取得部１３１は、図１２のテスト２に対応する値が「０未満（誤答）」で、かつ被験者Ａが属するランク「Ｒ３」より低いランクである「Ｒ２」または「Ｒ１」の正解率が基準値「０．５」以上である不適切誤答問題を検出する。つまり、ここでは、変化情報取得部１３１は、図１２のテスト２に対応する値が「０未満（誤答）」である「項目７」「項目８」「項目９」「項目１０」を検出する。そして、変化情報取得部１３１は、図１０（ｂ）を参照し、「項目７」「項目８」「項目９」「項目１０」のうち、ランク「Ｒ２」または「Ｒ１」と対になる値が基準値「０．５」以上である項目が存在しないことを検知する。そして、変化情報取得部１３１は、テスト２に対応する「不適切誤答数＝０」を得る。
【０１７７】
次に、変化情報取得部１３１は、テスト１からテスト２での不適切誤答数の変化を示す「テスト１での不適切誤答数−テスト２での不適切誤答数＝１」を得る。なお、不適切誤答数の変化「１」を第二変化情報とする。また、ここで、第二変化情報が正の値であれば、被験者Ａが良くなったことを示す。
（３）解答特性絶対値集合を用いた第三変化情報の取得
【０１７８】
変化情報取得部１３１は、図１２の解答特性情報群管理表から、テスト１と対になる解答特性値（ＥＳＲ）の絶対値を算出する。次に、変化情報取得部１３１は、解答特性絶対値が閾値（例えば、１）以上の項目の数（Ｉ１＝３）を取得する。
【０１７９】
次に、変化情報取得部１３１は、図１２の解答特性情報群管理表から、テスト２と対になる解答特性値（ＥＳＲ）の絶対値を算出する。次に、変化情報取得部１３１は、解答特性絶対値が閾値（例えば、１）以上の項目の数（Ｉ２＝１）を取得する。
【０１８０】
なお、ここでは、ここでは、解答特性絶対値が閾値以上の項目は、不自然な正解（ＥＳＲが正の場合）または不自然な不正解（ＥＳＲが負の場合）であることを示す。
【０１８１】
そして、変化情報取得部１３１は、第三変化情報「Ｉ１−Ｉ２＝２」を算出する、とする。ここで、第三変化情報が正である場合、不自然な解答が減ったということであり、被験者Ａが良くなったことを示す
（４）解答特性絶対値差集合を用いた第四変化情報の取得
【０１８２】
変化情報取得部１３１は、図１２の解答特性情報群管理表から、テスト１と対になる解答特性値（ＥＳＲ）の絶対値を算出する。次に、変化情報取得部１３１は、項目ごとに、解答特性絶対値と基準値（例えば、１）との差を算出する。次に、変化情報取得部１３１は、解答特性絶対値と基準値（例えば、１）との差の平均値（Ａ１）を取得する。
【０１８３】
次に、変化情報取得部１３１は、図１２の解答特性情報群管理表から、テスト２と対になる解答特性値（ＥＳＲ）の絶対値を算出する。次に、変化情報取得部１３１は、項目ごとに、解答特性絶対値と基準値（例えば、１）との差を算出する。次に、変化情報取得部１３１は、解答特性絶対値と基準値（例えば、１）との差の平均値（Ａ２）を取得する。
【０１８４】
そして、変化情報取得部１３１は、第四変化情報「Ａ１−Ａ２」を算出する、とする。ここで、第四変化情報が正である場合、解答の不自然さが改善されたということであり、被験者Ａが良くなったことを示す。
（５）Ｍｓ−ｆｉｔを用いた第五変化情報（Ｍｓ−ｆｉｔ変化情報）の取得
【０１８５】
変化情報取得部１３１は、図１３から、テスト１の各項目のＭｓ−ｆｉｔを取得する。次に、変化情報取得部１３１は、Ｍｓ−ｆｉｔが基準値（ここでは「１」）より大きい値の項目の数「２」を取得する。
【０１８６】
次に、変化情報取得部１３１は、図１３から、テスト２の各項目のＭｓ−ｆｉｔを取得する。次に、変化情報取得部１３１は、Ｍｓ−ｆｉｔが基準値（ここでは「１」）より大きい値の項目の数「１」を取得する。
【０１８７】
そして、変化情報取得部１３１は、第五変化情報「テスト１の項目数「２」−テスト１の項目数「１」＝１」を算出する、とする。ここで、第五変化情報が正である場合、解答の不自然さが改善されたということであり、被験者Ａが良くなったことを示す。
（６）Ｐ−ｆｉｔを用いた第六変化情報（Ｐ−ｆｉｔ変化情報）の取得
【０１８８】
変化情報取得部１３１は、図１４から、テスト１のＰ−ｆｉｔ「０．８０」を取得する。
【０１８９】
次に、変化情報取得部１３１は、図１４から、テスト２のＰ−ｆｉｔ「０．４０」を取得する。
【０１９０】
そして、変化情報取得部１３１は、２つのＰ−ｆｉｔから、第六変化情報「０．８０−０．４０＝０．４０」を算出する、とする。ここで、第六変化情報が正である場合、解答の不自然さが改善されたということであり、被験者Ａが良くなったことを示す。
【０１９１】
次に、上記の（１）から（６）で取得された第一変化情報から第六変化情報の各々を用いて、評価情報取得部１３２は、例えば、以下の（１）から（６）のように評価情報を取得する。
（１）第一変化情報から評価情報を取得する場合
【０１９２】
評価情報取得部１３２は、第一変化情報「０．１３」に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第一変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図１５に示す評価情報・第一変化情報対応表を参照し、第一変化情報「０．１３」と対になる評価情報「２」を取得する。なお、評価情報・第一変化情報対応表は、評価情報と第一変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。なお、評価情報取得部１３２は、第一変化情報が正の場合に、良くなったことを示す評価情報を取得しても良い。
（２）第二変化情報から評価情報を取得する場合
【０１９３】
評価情報取得部１３２は、第二変化情報「１」に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第二変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図示しない評価情報・第二変化情報対応表を参照し、第二変化情報「１」と対になる評価情報を取得する。なお、評価情報・第二変化情報対応表は、例えば、評価情報と第二変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。
（３）第三変化情報から評価情報を取得する場合
【０１９４】
評価情報取得部１３２は、第三変化情報「２」に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第三変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図示しない評価情報・第三変化情報対応表を参照し、第三変化情報「２」と対になる評価情報を取得する。なお、評価情報・第三変化情報対応表は、例えば、評価情報と第三変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。
（４）第四変化情報から評価情報を取得する場合
【０１９５】
評価情報取得部１３２は、第四変化情報に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第四変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図示しない評価情報・第四変化情報対応表を参照し、第四変化情報と対になる評価情報を取得する。なお、評価情報・第四変化情報対応表は、例えば、評価情報と第四変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。
（５）第五変化情報から評価情報を取得する場合
【０１９６】
評価情報取得部１３２は、第五変化情報「１」に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第五変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図示しない評価情報・第五変化情報対応表を参照し、第五変化情報「１」と対になる評価情報を取得する。なお、評価情報・第五変化情報対応表は、例えば、評価情報と第五変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。
（６）第六変化情報から評価情報を取得する場合
【０１９７】
評価情報取得部１３２は、第六変化情報「０．４０」に応じて、被験者Ａが進歩した度合いを示す評価情報を取得する。評価情報取得部１３２は、第六変化情報をパラメータとする増加関数により、評価情報を算出しても良い。なお、かかる増加関数の情報は、格納部１１に格納されている、とする。また、評価情報取得部１３２は、図示しない評価情報・第六変化情報対応表を参照し、第六変化情報「０．４０」と対になる評価情報を取得する。なお、評価情報・第六変化情報対応表は、例えば、評価情報と第六変化情報の幅の情報との対応を示す情報である。ここで、評価情報が大きい値ほど、被験者Ａがより良くなったことを示す。
【０１９８】
次に、出力部１４は、上記の処理で取得した、被験者Ａの評価情報を出力する。評価情報の出力態様は問わない。
【０１９９】
以上、本実施の形態によれば、今まで、学習に関する変化の評価に利用されてこなかった評価元情報を用いて、被験者の学習に関する変化の適切な評価を行える。
【０２００】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、一の被験者が２以上の各ランクに属する確率に関する確率情報の集合である確率情報群を、２つの異なる各時点に対応付けて有する確率情報群対、またはテストの問題ごとに、当該各問題に対する一の被験者の解答の正解または不正解の不自然さまたは自然さを示す解答特性情報を有する解答特性情報群を、２つの異なる各時点に対応付けて有する解答特性情報群対である評価元情報が格納される評価元情報格納部を具備する記録媒体にアクセス可能なコンピュータを、前記２つの異なる時点の確率情報群の変化に関する変化情報、または前記２つの異なる時点の解答特性情報群の変化に関する変化情報を取得する変化情報取得部と、前記変化情報を用いて、前記一の被験者の学習に関する評価に関する評価情報を取得する評価情報取得部と、前記評価情報を出力する出力部として機能させるためのプログラムである。
【０２０１】
また、図１６は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の評価装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１６は、このコンピュータシステム３００の概観図であり、図１７は、システム３００のブロック図である。
【０２０２】
図１６において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【０２０３】
図１７において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２０４】
コンピュータシステム３００に、上述した実施の形態の評価装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０２０５】
プログラムは、コンピュータ３０１に、上述した実施の形態の評価装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０２０６】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２０７】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２０８】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない
【産業上の利用可能性】
【０２０９】
以上のように、本発明にかかる評価装置は、今まで、学習に関する変化の評価に利用されてこなかった評価元情報を用いて、被験者の学習に関する変化の適切な評価を行えるという効果を有し、学習評価装置等として有用である。
【符号の説明】
【０２１０】
１  評価装置
１１  格納部
１２  受付部
１３  処理部
１４  出力部
１１１  正誤情報格納部
１１２  正解率情報格納部
１１３  評価元情報格納部
１３１  変化情報取得部
１３２  評価情報取得部
【図１】
2019090876.tif 000003
【図２】
2019090876.tif 000004
【図３】
2019090876.tif 000005
【図４】
2019090876.tif 000006
【図５】
2019090876.tif 000007
【図６】
2019090876.tif 000008
【図７】
2019090876.tif 000009
【図８】
2019090876.tif 000010
【図９】
2019090876.tif 000011
【図１０】
2019090876.tif 000012
【図１１】
2019090876.tif 000013
【図１２】
2019090876.tif 000014
【図１３】
2019090876.tif 000015
【図１４】
2019090876.tif 000016
【図１５】
2019090876.tif 000017
【図１６】
2019090876.tif 000018
【図１７】
2019090876.tif 000019