(57)【特許請求の範囲】
【請求項１】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力する正解確率生成部と、
前記補正正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項２】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項３】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項４】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項５】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に−１をかけてなる補正項を加えて学習されたモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項６】
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。
【請求項７】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成し、生成した前記正解確率に所定の値を加算してなる補正正解確率を出力するステップと、
前記補正正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記補正正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項８】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、生成した前記理解度に所定の値を加算してなる補正理解度と、前記信頼度を前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項９】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率の値が属する範囲に基づいて生成されたラベルである理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項１０】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、ユーザが当該カテゴリについて十分に理解した状態を模擬するダミーデータを該当カテゴリの訓練データに挿入して補正した補正訓練データにより学習されたモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項１１】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、当該モデルの損失関数に直近の問題を所定数連続正答すると値１となり、それ以外の場合に値０となるパラメータと当該モデルが生成する正解確率との積に−１をかけてなる補正項を加えて学習されたモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項１２】
学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成するモデルであって、正誤情報に加え、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報をパラメータとして持つ訓練データに基づいて学習されたモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するステップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。
【請求項１３】
コンピュータを請求項１から６の何れかに記載の学習効果推定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの学習効果を推定する学習効果推定装置、学習効果推定方法、プログラムに関する。
【背景技術】
【０００２】
学力効果測定に基づく学習計画を自動形成しその学習をオンライン上でできるオンライン学習システム（特許文献１）が知られている。
【０００３】
特許文献１のオンライン学習システムは、オンライン学習サーバとインターネットを介して接続された複数の学習者端末を備える。オンライン学習サーバは、各学習者端末からの要求に応じて要求された科目の学習効果測定のための問題を複数の測定項目と各項目ごとの測定分野の単位に分けた問題で要求端末に提供する。問題を提供された端末から学習者が解答した問題の解答がサーバに送信されると、サーバは、測定項目における全ての測定分野ごとに解答を採点すると共に、各測定項目と各項目における全測定分野ごとに、採点結果を複数段階の評価値に変換して評価値を学習者端末に提示する。サーバは、この評価値に基づいて各測定項目における測定分野ごとにオンライン学習サーバから提供される当該科目の学習テキストにおける学習すべき各分野の内容と学習すべき時間を当該学習者端末に提示する。
【０００４】
特許文献１のオンライン学習システムによれば、サーバから受験した科目の全範囲を分けた複数の測定項目における複数の測定分野について、ユーザの到達度を評価値で学習者端末に提示することができる。また、評価値に基づいて各測定分野ごとにオンライン学習サーバから端末に提供されるテキスト上で学習すべき単元内容とそれに要する時間とを学習者端末に提示することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２０８１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１のオンライン学習システムは、学習効果測定のために出題された問題の採点結果を評価値に置き換えているだけであり、人間が物事を理解するメカニズムの様々な側面を反映できていない。
【０００７】
そこで本発明では、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の学習効果推定装置は、モデル記憶部と、正解確率生成部と、正解確率データベースと、理解度信頼度生成部を含む。
【０００９】
モデル記憶部は、学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶する。正解確率生成部は、モデルに学習データを入力して、カテゴリ毎の正解確率を生成し、生成した正解確率に所定の値を加算してなる補正正解確率を出力する。正解確率データベースは、正解確率の時系列データをユーザ毎に蓄積する。理解度信頼度生成部は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
【発明の効果】
【００１０】
本発明の学習効果推定装置によれば、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の学習効果推定装置の構成を示すブロック図。
【図２】実施例１の学習効果推定装置の動作を示すフローチャート。
【図３】学習データの種類について説明する図。
【図４】カテゴリの相関関係の例を示す図。
【図５】相関があるカテゴリの正解確率が同時に変動する例を示す図。
【図６】カテゴリの先行後続関係の例を示す図。
【図７】学習データ（コンテンツ）に指定されるカテゴリの例を示す図。
【図８】正解確率（理解度）の時系列データの例を示し、図８Ａは変動が大きい例、図８Ｂ、図８Ｃは変動が少ない例を示す図。
【図９】カテゴリ集合と目標カテゴリの例を示す図。
【図１０】理解度と信頼度に基づく場合分けの例を説明する図。
【図１１】理想的な訓練データと実際の訓練データの例を示す図。
【図１２】正解確率が１よりも低い値ｐで飽和する例を示す図。
【図１３】ダミーデータを挿入して生成した補正訓練データの例を示す図。
【図１４】問題を解いていない期間を反映した訓練データの例を示す図。
【図１５】コンピュータの機能構成例を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１３】
以下、図１を参照して実施例１の学習効果推定装置の構成を説明する。同図に示すように、本実施例の学習効果推定装置１は、学習データ取得部１１と、正解確率生成部１２と、モデル記憶部１２Ａと、正解確率データベース１２Ｂと、範囲データ取得部１３と、理解度信頼度生成部１４と、レコメンド生成部１５を含む。なお、同図に破線で示すように、レコメンド生成部１５は必須の構成要件ではなく、場合により割愛してもよい。
【００１４】
以下、図２以降を参照して、各構成要件の詳細な動作を説明する。
【００１５】
＜学習データ取得部１１＞
学習データ取得部１１は、学習データを取得する（Ｓ１１）。学習データとは、ユーザがコンテンツを学習したときの学習結果や学習状況のデータであり、コンテンツ、学習データには、学習目的別のカテゴリ（以下、単にカテゴリという）が予め割り振られている。［コンテンツ、学習データ］
図３に示すように、コンテンツにはカリキュラム、アダプティブの二つの種別を設けてもよい。カリキュラムには、例えばシナリオ、練習問題などを含むことができる。アダプティブには、例えば演習問題などを含むことができる。
【００１６】
シナリオとは、読む、聴く、図を参照する、動画を見るなど、問題演習以外の形式によって、知識を習得するタイプのコンテンツ（教材）を示す。シナリオの学習データとは典型的には、シナリオの読了、聴講完了、閲覧完了など学習結果を示すデータ（フラグ）や、学習が行われた日時、場所など学習状況を示すデータである。これ以外にもシナリオの読解、聴講、閲覧の回数や頻度をシナリオの学習データとしてもよい。
【００１７】
練習問題とは、典型的には、シナリオとシナリオの間に挿入され、あるいはシナリオの後ろに挿入され、直前のシナリオの理解度を問う基本的な例題などを意味している。練習問題の学習データとは典型的には、練習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。
【００１８】
演習問題とは、典型的には、テスト形式で出題される問題群のことなどを意味している。演習問題の学習データとは、典型的には、演習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。また、模試の成績データを演習問題の学習データとして用いてもよい。
【００１９】
［カテゴリ］
カテゴリとは、ユーザの学習内容を細分化して定義した学習目的を示す。例えば「１次方程式を解くことができる」をカテゴリ０１、「連立方程式を解くことができる」をカテゴリ０２、などと定義してもよい。また、上記をもっと細分化して、例えば「移項を用いて１次方程式を解くことができる」、「括弧のある１次方程式を解くことができる」、「係数に分数・小数を含む１次方程式を解くことができる」といったカテゴリを定義してもよい。
【００２０】
二つのカテゴリの正解確率（または理解度）は場合により密接な関連性を有する場合がある。例えば、三角関数のｓｉｎθ，ｃｏｓθの基本的な性質についての正解確率（または理解度）が高い場合に、同じ三角関数であるｔａｎθの基本的な性質についての正解確率（または理解度）が高くなる傾向があるといえ、これらは密接な関連性を有するといえる。図４にカテゴリの相関関係の例を示す。同図の例では、カテゴリ０１は、カテゴリ０２およびカテゴリ０３に強く相関している。また、カテゴリ０２、０３ほどではないものの、カテゴリ０４は、カテゴリ０１と弱く相関している。また、カテゴリ０５は、カテゴリ０１とは無相関である。例えばユーザがカテゴリ０１を学習中の場合、当然のことながら学習結果に応じて、カテゴリ０１の正解確率（または理解度）は変動する。このとき、カテゴリ０２，０３，０４が未学習であったとしても、カテゴリ０１と相関があるため、カテゴリ０１の学習結果に応じて、カテゴリ０２，０３，０４の正解確率（または理解度）も変動する。このとき、カテゴリ０１とは無相関なカテゴリ０５の正解確率（または理解度）は変動しない。
【００２１】
例えば、図５に例示するように、カテゴリ０１を学習したことにより、カテゴリ０１の正解確率が0.20上昇した場合に、カテゴリ０１と強く相関するカテゴリ０２，０３の正解確率は0.10上昇し、カテゴリ０１と弱く相関するカテゴリ０４の正解確率は0.05上昇するといったケースが考えられる。
【００２２】
［カテゴリの先行後続関係］
カテゴリ間に先行後続関係を定義してもよい。先行後続関係とはカテゴリの推奨学習順序を定義するパラメータである。より詳細には、先行後続関係とは、あるカテゴリを先行して学習した場合に、後続して学習するカテゴリの学習効果が高くなるように定めた重み付けパラメータである。例えば上述の例において、カテゴリ「sinθ,cosθの基本的な性質」を先行学習した場合、後続するカテゴリとして、カテゴリ「tanθの基本的な性質」を選択すれば、学習効果が高くなると見込まれる。
【００２３】
例えば図６の例では、カテゴリ０１が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０２を選択すれば、学習効果が高くなると見込まれる。同様に、カテゴリ０２が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０３を選択すれば、学習効果が高くなると見込まれる。なお、図６において、すべてのカテゴリにおいて、順序も含めたすべての学習の関係性を表す連続値として、カテゴリ間の関係性を定義してもよい。
【００２４】
［コンテンツに指定されるカテゴリの数］
各コンテンツには、少なくとも一つのカテゴリが付与される。コンテンツに２以上のカテゴリを付与してもよい。図７の例では、コンテンツ＿０１０１にカテゴリ０１，０２が、コンテンツ＿０１０２にカテゴリ０１が、コンテンツ＿０２０１にカテゴリ０２，０３，０４が、それぞれ付与されている。
【００２５】
＜モデル記憶部１２Ａ＞
モデル記憶部１２Ａは、学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデル（ＤＫＴモデル）を記憶する。
【００２６】
［ＤＫＴモデル］
ＤＫＴとは、Deep Knowledge Tracingの略である。Deep Knowledge Tracingとは、学習者（ユーザ）が知識を獲得していくメカニズムをニューラル・ネットワーク（Deep Learning）を用いてモデル化する技術である。
【００２７】
ＤＫＴモデルは、大量に収集した訓練データを用いて、教師あり学習により最適化される。一般的に訓練データは、ベクトルとラベルの組を備えるが、本実施例のＤＫＴモデルの場合、例えばベクトル、ラベルに用いる学習データとして対応するカテゴリにおける演習問題や模試の問題の正誤情報などを用いることができる。ＤＫＴモデルによりカテゴリ間の相関関係は学習されるため、ＤＫＴモデルにある教科の一部のカテゴリの学習データのみを入力とした場合であっても、当該教科の全てのカテゴリの正解確率が推定されて出力される。
【００２８】
＜正解確率生成部１２＞
正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成する（Ｓ１２）
【００２９】
。
＜正解確率データベース１２Ｂ＞
正解確率データベース１２Ｂは、ステップＳ１２で生成した正解確率の時系列データをユーザ毎、カテゴリ毎に蓄積する。図８Ａ、図８Ｂ、図８Ｃに正解確率（理解度）の時系列データの例を示す。図８Ａは、変動が大きい例を示す。グラフの横軸は、問題数（問と表記する）でもよいし、日数（ＤＡＹと表記する）でもよい。グラフの縦軸は正解確率（または後述する理解度）である。図８Ａは例えば、問４、またはＤＡＹ４までカリキュラムの学習に取り組み、問４、またはＤＡＹ４までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に上昇したものの、問５、またはＤＡＹ５からアダプティブの学習を開始した結果、演習問題の正答率が芳しくなく、問５、またはＤＡＹ５以降の学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に下降したケースなどに該当する。図８Ｂは例えば、問１〜問８、またはＤＡＹ１〜ＤＡＹ８まで継続して、アダプティブの学習に取り組んでおり、逐次学習データをＤＫＴモデルに入力することにより、正解確率が僅かずつ上昇したケースなどが該当する。図８Ｃは例えば、問２、またはＤＡＹ２までカリキュラムの学習に取り組み、問２、またはＤＡＹ２までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇し、問３、またはＤＡＹ３からアダプティブの学習に取り組み、学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇したケースなどが該当する。
【００３０】
＜範囲データ取得部１３＞
範囲データ取得部１３は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得する（Ｓ１３）。例えば、所定のユーザが学校の中間、期末テストの出題範囲の学習効果を推定したい場合、当該ユーザは、中間、期末テストで指定されている出題範囲をカテゴリに読み替え、読み替えたカテゴリ全てを範囲データとして指定（入力）する。また、所定のユーザが高校受験の数学に関し学習効果を推定したい場合、当該ユーザは、中学１年生〜中学３年生までに学習する数学のカテゴリ全てを範囲データとして指定（入力）する。
【００３１】
範囲データの取得に関しては、所定のユーザが教科書のページ数や単元名などのデータを範囲データ取得部１３に入力し、範囲データ取得部１３が、これらのデータをカテゴリに読み替えて、範囲データを取得してもよい。
【００３２】
＜理解度信頼度生成部１４＞
理解度信頼度生成部１４は、ステップＳ１３における範囲データを取得し、所定のユーザの範囲データ内の正解確率（例えば直近のデータ）に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する（Ｓ１４）。例えば、理解度信頼度生成部１４は、範囲データ内の各カテゴリの直近の正解確率を、各カテゴリの理解度として出力してもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値以下であるならば、そのユーザは該当カテゴリを理解していないとみなして、理解度を０としてもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値を超えていれば、正解確率をα倍してβを差し引いて補正した値を、理解度としてもよい。
【００３３】
理解度信頼度生成部１４は、理解度の時系列データの変動を考慮するため、理解度の時系列データのデータ数が所定の閾値未満である場合に、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。また、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合、すなわち理解度が予め設定した閾値（小さな値とするのが望ましい）未満である場合には、理解度が安定していたとしても、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。
【００３４】
理解度を上記と異なる定義に基づいて生成、出力してもよい。例えば、カテゴリが何れかのカテゴリ集合に属しており、カテゴリ集合のそれぞれに目標カテゴリが１つずつ存在するものと定義した場合について考える。
【００３５】
例えば、図９に示すように、カテゴリ０１，０２，０３が第１カテゴリ集合５−１に属しており、カテゴリ０４，０５が第２カテゴリ集合５−２に属しているものとし、第１カテゴリ集合５−１の目標カテゴリをカテゴリ０３とし、第２カテゴリ集合５−２の目標カテゴリをカテゴリ０５とする。例えば、定期試験の試験範囲において、複数の単元（例えば、ベクトルと複素数の単元）が出題範囲とされている場合、各単元のカテゴリを各カテゴリ集合に含め、各単元に対応する各カテゴリ集合に対して、目標カテゴリを設定すれば好適である。
【００３６】
この場合、理解度信頼度生成部１４は、範囲データ内に含まれる目標カテゴリの正解確率を対応するカテゴリ集合全体の理解度として生成し、カテゴリ集合全体の理解度に基づいてカテゴリ集合全体の信頼度を生成すれば好適である。
【００３７】
また、目標カテゴリは１つのカテゴリ集合に２つ以上存在してもよく、その場合は、２つ以上存在する目標カテゴリの正解確率の平均値などをカテゴリ集合全体の理解度としてもよい。
【００３８】
＜レコメンド生成部１５＞
レコメンド生成部１５は、理解度と所定の第１の閾値との大小関係、および信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力する（Ｓ１５）。
【００３９】
例えば図１０に示すように、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２を超えている場合（１）、理解度が第１の閾値Ｔ１を超えており、信頼度が第２の閾値Ｔ２以下である場合（２）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２を超えている場合（３）、理解度が第１の閾値Ｔ１以下であり、信頼度が第２の閾値Ｔ２以下である場合（４）、の４パターンに場合分けすれば好適である。なお、同図において、理解度＞Ｔ１を理解度≧Ｔ１、理解度≦Ｔ１を理解度＜Ｔ１とし、信頼度＞Ｔ２を信頼度≧Ｔ２、信頼度≦Ｔ２を信頼度＜Ｔ２としても同様の場合分けができる。
【００４０】
同図の例における場合１は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１、たとえばＴ１＝０．９０）を超えており、該当カテゴリにおける信頼度も予め設定した水準（Ｔ２、たとえばＴ２＝０．９０）を超えている場合である。理解度が高いことは、該当カテゴリにおけるユーザーの正解確率が高いことを意味し、信頼度が高いことは、図８Ｂに例示したように、理解度の時系列データの変動が小さいことを意味する。従って、ユーザが該当カテゴリにおいて安定して高得点を取ることができる程度に習熟度が高く、ユーザの学習が十分であると判断できる可能性が高い。
【００４１】
同図の例における場合２は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）を超えているものの、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）以下となっている場合である。典型的には、該当カテゴリにおける直近の学習データで高い正解確率をマークしたものの、該当カテゴリにおける過去の理解度の時系列データをみれば、正解確率が低い時期があり、変動が大きい場合などが考えられる。
【００４２】
同図の例における場合３は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下となっている一方、該当カテゴリにおける信頼度が予め設定した水準（Ｔ２）を超えている場合である。典型的には、該当カテゴリに関連する別のカテゴリの学習を進めることにより、該当カテゴリの理解度がある程度上昇し、さらに安定している場合、該当カテゴリの学習を進めることにより、該当カテゴリの理解度が安定している場合などが考えられる。このような場合に、さらに理解度をあげるためには、該当カテゴリの学習を進め、安定して高得点をマークする必要がある。
【００４３】
同図の例における場合４は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ１）以下であって、該当カテゴリにおける信頼度もまた予め設定した水準（Ｔ２）以下となる場合である。典型的には、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合に、信頼度を所定の小さな値と設定している場合が考えられる。また、図８Ａに例示したように、カリキュラム学習などがある程度進んでおり、直近のアダプティブ学習において得点が低くなったことにより、直近の理解度が大きく低下し、理解度の時系列データの変動が大きい（すなわち、信頼度が低い）場合などが考えられる。
【００４４】
例えば、レコメンド生成部１５は、場合４に該当するカテゴリを、該当ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。レコメンド生成部１５は、例えば場合４に該当するカテゴリを最も推奨するターゲット、場合３に該当するカテゴリを二番目に推奨するターゲット、場合２に該当するカテゴリを三番目に推奨するターゲットとして、レコメンドを生成して出力してもよい。
【００４５】
上記の例に限らず、レコメンド生成部１５は様々な基準でレコメンドを生成してもよい。例えば、レコメンド生成部１５は、範囲データ内において理解度が０．５に近いカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。また、例えば、レコメンド生成部１５は、直近の学習データにおいてＮ回（Ｎは２以上の任意の整数）連続して誤答となっている設問を有するカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。
【００４６】
また、レコメンド生成部１５は、先行するカテゴリの理解度および信頼度が所定の閾値を超える場合（１）に、予め定めた先行後続関係（図６の例参照）に基づく後続のカテゴリを次回学習の推奨ターゲットとし、予め定めた先行後続関係に基づく後続のカテゴリの理解度が所定の閾値以下であって、信頼度が所定の閾値を超える場合（３）に、先行するカテゴリを次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
【００４７】
例えば図９に示したカテゴリ集合において、先行するカテゴリ０１の理解度および信頼度が場合１に該当する場合、後続のカテゴリ０２を次回学習の推奨ターゲットとして、レコメンドを生成し、後続のカテゴリ０２の理解度および信頼度が場合３に該当する場合、先行するカテゴリ０１を次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。
【００４８】
レコメンド生成部１５が、先行後続関係に基づいて動作することにより、先行して学習したカテゴリと内容的にかけ離れたカテゴリを次回学習の推奨ターゲットとすることを防ぐことができる。
【００４９】
また、例えば、図９に示したように、カテゴリ集合と目標カテゴリが設定されており、範囲データ内に複数のカテゴリ集合が含まれる場合、レコメンド生成部１５は、所定の確率で複数のカテゴリ集合のうちの未学習のカテゴリ集合を指定するフラグを発生させ、フラグが指定するカテゴリ集合内の何れかのカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。
【００５０】
レコメンド生成部１５は、上記のレコメンド生成規則を複数組み合わせて使用することにより、レコメンドを生成してもよい。
【００５１】
また、レコメンド生成部１５は、範囲データ内の各カテゴリの理解度、信頼度から、学習終了日を予測し、予測された学習終了日が予め設定された期限に間に合うか否かを判定し、判定結果を進捗度として出力してもよい。進捗度は、たとえば、理解度信頼度生成部１４が生成した理解度の時系列データから未来における理解度の変化を推定し、あらかじめ設定された期限までに、理解度があらかじめ設定された閾値を超えると推定されるか否かを表す指標としてもよい。
【００５２】
本実施例の学習効果推定装置１によれば、ニューラル・ネットワーク(Deep Learning)を用いたＤＫＴモデルを使用することにより生成した正解確率に基づいて、理解度と信頼度という二つのパラメータを定義したため、当該二つのパラメータに基づいて、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。
【００５３】
［ＤＫＴモデルが出力する正解確率の飽和］
練習問題、演習問題の正誤情報を訓練データのベクトル、ラベルとして用いる場合、学習されるＤＫＴモデルに偏りが生じる可能性がある。例えば、図１１に示すように、あるカテゴリに関する学習が、状態１（当該カテゴリについての理解が不十分な状態）、状態２（当該カテゴリについて理解する過程で試行錯誤している状態）、状態３（当該カテゴリについて十分に理解した状態）のように、区分できると仮定した場合に、図１１の「理想的なデータ」の表に示すように、状態３のデータを多く取得して訓練データとして用いることがＤＫＴモデルの学習には理想的と言える。しかし、実際には同図の「実際のデータ」の表に示すように、状態３のデータはわずかしか得られない場合が多い。
【００５４】
これは、ユーザがあるカテゴリを学習する際、当該カテゴリについて理解が深まったと「手ごたえ」を得るタイミングが、状態３に入って間もなくである場合が多いためと考えられる。この場合、ユーザは、状態３における問題演習を繰り返さずに、他のカテゴリの学習に移ってしまう可能性が高く、訓練データとして得られるデータは、同図の「実際のデータ」の表に表すように、状態３を僅かしか含まない。
【００５５】
このような訓練データに基づいて、ＤＫＴモデルの学習を行うと、図１２に示すように、あるカテゴリの学習データとして、当該カテゴリの練習問題、演習問題に正答したデータを大量に入力しても、当該ユーザの該当カテゴリにおける正解確率が１に近づかずに、所定の値ｐ（＜１）で飽和してしまう現象が生じる。例えばｐ≒０．７程度である。この課題に対処することを目的として、以下に三つの方法を開示する。
【００５６】
≪方法１：正解確率、理解度の補正≫
例えば、正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成し、生成した正解確率に所定の値αを加算してなる補正正解確率を出力してもよい。例えばα＝０．３と設定してもよい。
【００５７】
また例えば、正解確率生成部１２は、生成した正解確率に所定の値αを乗算してなる補正正解確率を出力してもよい。この場合、例えばα＝１．４と設定してもよい。
【００５８】
正解確率を補正するのでなく、理解度を補正してもよい。この場合、理解度信頼度生成部１４は、ステップＳ１３における範囲データ内の正解確率に基づく理解度と、理解度に基づく信頼度を生成し、生成した理解度に所定の値βを加算してなる補正理解度と、信頼度を出力してもよい。
【００５９】
また、理解度信頼度生成部１４は、理解度を数値ではなくラベルとして出力してもよい。例えば、理解度信頼度生成部１４は、正解確率の値が属する範囲に基づいて生成されたラベルである理解度（表１の例参照）と、理解度（ラベル）の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。
【００６０】
【表１】
0006903177.tif 000002
【００６１】
≪方法２：ダミーデータの挿入≫
ＤＫＴモデルの訓練データにダミーデータを挿入してもよい。例えば図１３に示すように、訓練データの状態３（データ番号１１、１２）の後に、状態３を模擬するダミーデータ（データ番号ｄ１，ｄ２，…，ｄ６）を挿入して補正した補正訓練データを生成し、補正訓練データによりＤＫＴモデルを学習してもよい。挿入するダミーデータの量は任意である。これにより、訓練データが図１１に示す理想的なデータに近づくため、ＤＫＴモデルが出力する正解確率が所定の値ｐ（＜１）で飽和してしまう現象を防ぐことが出来る。
【００６２】
≪方法３：損失関数の補正≫
ＤＫＴモデルを学習する際の、損失関数に補正項を設けることにより、ＤＫＴモデルを補正してもよい。ＤＫＴモデルの損失関数Ｌは、例えば平均二乗誤差の場合は以下の式で表される。
【００６３】
【数１】
0006903177.tif 000003
【００６４】
nはデータ数、yiは実値、y^iは予測値である。
【００６５】
平均絶対誤差の損失関数Ｌは以下の式で表される。
【００６６】
【数２】
0006903177.tif 000004
【００６７】
例えば、ある模試の問題１〜７について、問題１〜６を訓練データのベクトルとして扱うために、問題１〜６の正誤情報が揃うように抽出した複数人のユーザの、問題１〜７の正答、誤答が以下のように得られたとする。
【００６８】
【表２】
0006903177.tif 000005
【００６９】
模試の問題１〜６の正誤情報をベクトルとし、模試の問題７の正解確率をラベルとした場合、実値yiに相当するのは、ラベルすなわち、問題７の正解確率（=0.6）である。予測値y^iは、上記ベクトル、ラベルに基づいて学習されたＤＫＴモデルが出力する問題７の正解確率である。
【００７０】
例えば式（１）の損失関数をベースに補正項を追加して、式(1a)とする。
【００７１】
【数３】
0006903177.tif 000006
【００７２】
ここで、stは、t番目のデータが正答である場合に1、誤答である場合に0となるパラメータである。従ってsn-2sn-1snはデータ数nの訓練データのうち、直近の3問（n-2,n-1,n番目の訓練データ）を連続正答すると値1となり、それ以外の場合に0となるパラメータに相当する。pはＤＫＴモデルが生成する正解確率であり、補正項は、これらの積に-1をかけたものである。従って、直近の3問が全て正答であった場合、補正項は-pとなり、モデルが予想する正解確率pが大きくなるほど損失関数Lが小さくなる。このようにして、直近の正答率が高いほど、予測される正解確率pが高くなるようにＤＫＴモデルを補正することが出来る。なお、補正項は直近の3問に関する項に限定されない。例えば直近の2問、あるいは直近の5問に関する項としてもよい。
［問題を解いていない期間を含めた学習］
例えば図１４に示すように問題を解いていない期間（−）が挿入されている場合と、そうでない場合で、実施例１のＤＫＴモデルに入力される訓練データに違いはなかった。
【００７３】
すなわち、図１４のデータを訓練データとして用いる場合、「xoooxxxoxooo」が使用され、問題を解いていない期間の長さなどは考慮されなかった。そこで、同図に示すように、訓練データに正誤情報だけでなく、直前の問題を解いてから当該問題を解くまでの時間間隔を表すタイムスパン情報（time span）をパラメータとして持つデータとし、これを訓練データとして用いることで、問題を解いていない期間（−）が正解確率に及ぼす影響（例えば忘却曲線）を考慮することが出来る。＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な取得部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの取得部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００７４】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００７５】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００７６】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７７】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００７８】
上述の各種の処理は、図１５に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、取得部１００３０、出力部１００４０などに動作させることで実施できる。
【００７９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【要約】
【課題】人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。
【解決手段】学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成し、生成した正解確率に所定の値を加算してなる補正正解確率を出力するモデルを記憶するモデル記憶部と、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する正解確率生成部と、正解確率の時系列データをユーザ毎に蓄積する正解確率データベースと、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する理解度信頼度生成部を含む。
【選択図】図１【図１】
0006903177.tif 000007
【図２】
0006903177.tif 000008
【図３】
0006903177.tif 000009
【図４】
0006903177.tif 000010
【図５】
0006903177.tif 000011
【図６】
0006903177.tif 000012
【図７】
0006903177.tif 000013
【図８】
0006903177.tif 000014
【図９】
0006903177.tif 000015
【図１０】
0006903177.tif 000016
【図１１】
0006903177.tif 000017
【図１２】
0006903177.tif 000018
【図１３】
0006903177.tif 000019
【図１４】
0006903177.tif 000020
【図１５】
0006903177.tif 000021