(57)【要約】【課題】コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに、合わせることができるシステム、方法及びプログラムを提供する。【解決手段】ユーザに合わせるためのシステム、方法及びプログラムは、ニューラルネットワークにより、ユーザによって以前に回答された質問及び以前に回答された質問に対するスコアを含む関係ペアを検出することと、以前に回答された質問に関連するコンテキスト情報であって、ユーザが質問に以前に回答したときに発生した状態を表すコンテキスト情報を検出することと、検出された関係ペア及びユーザによって以前に回答された質問に関連する検出されたコンテキスト情報に基づいて、ユーザが潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、確率に基づいてユーザによって回答されるべき質問を選択することとを含む。【選択図】図１
2020102194.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法であって、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
前記ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記ユーザによって回答されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報に基づいて、前記特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと
を含む、方法。
【請求項２】
前記確率を前記決定することが、
前記ニューラルネットワークにより、前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を計算することと
を含む、請求項１に記載の方法。
【請求項３】
前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記コンテキスト情報が、前記特定のユーザが質問を提示されてからの現在の経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問に遭遇したかどうか、及び前記特定のユーザが前記少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含む、請求項２に記載の方法。
【請求項４】
前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を前記計算することが、
前記検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、
前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと
を含む、請求項２に記載の方法。
【請求項５】
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用される、請求項４に記載の方法。
【請求項６】
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記コンテキスト情報が、前記質問が提示されてから回答が前記ユーザから受け取られるまでの経過時間、前記ユーザが以前に前記質問に遭遇したことがあるかどうか、以前に提示されたときに前記ユーザが前記質問に以前にどのように回答したか、前記質問が前記ユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含む、請求項１に記載の方法。
【請求項７】
前記特定のユーザが後続の質問に正しく回答する確率を前記決定することが、
前記検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、
前記質問ペアベクトル表現及び前記回答された質問ベクトル表現を統合して確率ベクトル表現を生成することと
を含む、請求項１に記載の方法。
【請求項８】
前記統合することが、
連結、
乗算、
連結及び乗算、
プーリング、並びに
双方向対話
のうちの１又は複数を含むコンテキスト統合方法を使用することを含む、請求項７に記載の方法。
【請求項９】
コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法であって、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
前記ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと
を含む、方法。
【請求項１０】
前記確率を前記決定することが、
前記ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を計算することと
を含む、請求項９に記載の方法。
【請求項１１】
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記コンテキスト情報が、前記質問が提示されてから回答が前記ユーザから受け取られるまでの経過時間、前記ユーザが以前に前記質問に遭遇したことがあるかどうか、以前に提示されたときに前記ユーザが前記質問に以前にどのように回答したか、前記質問が前記ユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含む、請求項１０に記載の方法。
【請求項１２】
前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を前記計算することが、
前記検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、
前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと
を含む、請求項１０に記載の方法。
【請求項１３】
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用される、請求項１２に記載の方法。
【請求項１４】
前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記コンテキスト情報が、前記特定のユーザが質問を提示されてからの現在の経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問に遭遇したかどうか、及び前記特定のユーザが前記少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含む、請求項９に記載の方法。
【請求項１５】
前記特定のユーザが後続の質問に正しく回答する確率を前記決定することが、
前記検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、
前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、
前記質問ペアベクトル表現及び前記潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと
を含む、請求項９に記載の方法。
【請求項１６】
前記統合することが、
連結、
乗算、
連結及び乗算、
プーリング、並びに
双方向対話
のうちの１又は複数を含むコンテキスト統合方法を使用することを含む、請求項１５に記載の方法。
【請求項１７】
コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムであって、前記方法が、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
前記ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表す前記コンテキスト情報を検出することと、
前記ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記特定のユーザに提示されるべき前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと
を含む、プログラム。
【請求項１８】
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記コンテキスト情報が、前記質問が提示されてから回答が前記ユーザから受け取られるまでの経過時間、前記ユーザが以前に前記質問に遭遇したことがあるかどうか、以前に提示されたときに前記ユーザが前記質問に以前にどのように回答したか、前記質問が前記ユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含み、
前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記コンテキスト情報が、前記特定のユーザが質問を提示されてからの現在の経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、前記特定のユーザが前記少なくとも１つの潜在的な質問に遭遇したかどうか、及び前記特定のユーザが前記少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含む、
請求項１７に記載のプログラム。
【請求項１９】
前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を前記決定することが、
前記検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、
前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、
前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと
を含む、請求項１７に記載のプログラム。
【請求項２０】
前記質問ペアベクトル表現、前記回答された質問ベクトル表現、及び前記潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用される、請求項１９に記載のプログラム。
【請求項２１】
コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法であって、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された関係ペア及び前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと
を含む、方法。
【請求項２２】
コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムであって、前記方法が、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された関係ペア及び前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと
を含む、プログラム。
【請求項２３】
コンピュータベースの訓練のためのシステムであって、前記システムが、
ユーザに質問を表示するディスプレイと、
前記ユーザから回答を受け取るユーザ入力装置と、
質問を前記ユーザに合わせる方法を実行するプロセッサと、を含み、前記方法が、
ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された関係ペア及び前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を表示するように前記ディスプレイを制御することと、
を含む、システム。
【請求項２４】
コンピュータベースの訓練のためのシステムであって、
ユーザに質問を表示するための表示手段と、
前記ユーザから回答を受け取るための手段と、
ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む、手段と、
ニューラルネットワークにより、前記ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報を検出するための手段であって、前記コンテキスト情報が、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す、手段と、
ニューラルネットワークにより、前記検出された関係ペア及び前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定するための手段と、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択するための手段と
を含む、システム。
【請求項２５】
コンピュータベースの訓練システムにおいて、訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムであって、前記方法が、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと、
を含む、プログラム。
【請求項２６】
コンピュータベースの訓練のためのシステムであって、
ユーザに質問を表示するディスプレイと、
前記ユーザから回答を受け取るユーザ入力装置と、
前記質問を前記ユーザに合わせる方法を実行するプロセッサと、を含み、前記方法が、
ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を表示するように前記ディスプレイを制御することと、
を含む、システム。
【請求項２７】
コンピュータベースの訓練のためのシステムであって、
ユーザに質問を表示するための表示手段と、
前記ユーザから回答を受け取るための手段と、
ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する前記特定のユーザの以前のスコアを含む、手段と、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、前記コンテキスト情報が、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択するための手段と、
を含む、システム。
【請求項２８】
コンピュータベースの訓練システムにおいて、訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムであって、前記方法が、
ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと、
を含む、プログラム。
【請求項２９】
コンピュータベースの訓練のためのシステムであって、前記システムが、
ユーザに質問を表示するディスプレイと、
前記ユーザから回答を受け取るユーザ入力装置と、
質問を前記ユーザに合わせる方法を実行するプロセッサと、を含み、前記方法が、
ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を表示するように前記ディスプレイを制御することと、
を含む、システム。
【請求項３０】
コンピュータベースの訓練のためのシステムであって、
ユーザに質問を表示するための表示手段と、
前記ユーザから回答を受け取るための手段と、
ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、前記コンテキスト情報が、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、
ニューラルネットワークにより、前記検出された少なくとも１つの関係ペア及び前記特定のユーザに提示されるべき前記少なくとも１つの潜在的な質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択するための手段と、
を含む、システム。
【請求項３１】
コンピュータベースの訓練システムにおいて、訓練の質問を特定のユーザに合わせる方法であって、前記方法が、
ニューラルネットワークにより、前記特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記特定のユーザに提示されるべき前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を選択することと、
を含む、方法。
【請求項３２】
コンピュータベースの訓練のためのシステムであって、前記システムが、
ユーザに質問を表示するディスプレイと、
前記ユーザから回答を受け取るユーザ入力装置と、
質問を前記ユーザに合わせる方法を実行するプロセッサと、を含み、前記方法が、
ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの前記以前に回答された質問に対する前記特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、
ニューラルネットワークにより、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連するコンテキスト情報であって、前記ユーザが前記少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、前記少なくとも１つの質問が前記特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、
ニューラルネットワークにより、前記検出された関係ペア、前記ユーザによって以前に回答された前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報、及び前記特定のユーザに提示されるべき前記少なくとも１つの質問に関連する前記検出されたコンテキスト情報に基づいて、前記特定のユーザが前記少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、
前記ユーザの訓練を助けるために、前記確率に基づいて前記ユーザによって回答されるべき質問を表示するように前記ディスプレイを制御することと、
を含む、システム。
【請求項３３】
コンピュータベースの訓練のためのシステムであって、
ユーザに質問を表示するための表示手段と、
ユーザから回答を受け取るための手段と、
ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、
ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す、手段と、
ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、
ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、
ユーザの訓練を助けるために、前記確率に基づいてユーザによって回答されるべき質問を選択するための手段と、
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータ支援教育に関し、より詳細には、コンテキストの深層知識追跡によるコンピュータ支援教育のためのシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
コンピュータ支援教育では、システムは、学生の個々の知識又は能力に基づいて個別化されたコンテンツを学生に提供し、それは、学生の知識の定着又は学習コストの削減に役立つ。いくつかの従来技術のシステムでは、システム内のコンテンツとの対話を通して学生の知識をモデル化することである知識追跡タスクは、その分野では困難な問題になる可能性がある。従来技術のシステムでは、モデル化がより正確であるほど、システムはより満足且つ適切なコンテンツを提供することができる。したがって、コンピュータ支援教育では、各学生の知識を経時的に追跡することは、各々に個別化された学習コンテンツを提供するために重要であり得る。
【０００３】
いくつかの従来技術のシステムでは、深層知識追跡（ＤＫＴ）モデルは、深層学習が学生の知識をより正確にモデル化できることを示すことができる。しかしながら、従来技術の手法は、他のコンテキスト情報を考慮に入れること、又はそれを知識追跡に統合することを行わずに、ユーザと質問との間の一連の対話を考慮するだけである。したがって、従来技術のシステムは、自動学習又は訓練システムによって提示される一連の質問について、質問間のタイムギャップ、練習問題のタイプ、及びユーザが同じ質問と対話する回数などのコンテキスト上の知識を考慮しない。
【０００４】
たとえば、ベイジアン知識追跡及び性能係数分析などの従来技術の知識追跡モデルが広く探求されており、実際の知的個別指導システムに適用されている。パターン認識及び自然言語処理などの幅広い分野で、深層学習モデルが他の従来技術モデルを上回る可能性があるので、従来技術の深層知識追跡は、深層学習がこれらのモデルと比較してより正確に学生の知識をモデル化できることを示すことができる。これらの従来技術のＤＫＴは、経時的な逐次処理にしばしば使用される回帰ニューラルネットワークによって学生の知識をモデル化する。
【０００５】
しかしながら、従来技術のＤＫＴは期待できる結果を示すかもしれないが、これらのシステムは他の本質的なコンテキスト情報を考慮に入れること、及びそれを知識追跡に統合することを行わずに、ユーザとコンテンツとの間の一連の対話を考慮している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】PIECH et. al., 2015. Deep Knowledge Tracing. Advances in Neural Information Processing Systems 28: 505-513. (2015) 12 pages.
【非特許文献２】SMIRNOVA et. al., Contextual Sequence Modeling for Recommendation with Recurrent Neural Networks, RecSys '17, August 27, 2017 to August 31, 2017, Como, Italy, (2017) 8 pages.
【非特許文献３】ZHANG et al., Incorporating Rich Features into Deep Knowledge Tracing, Worcester Polytechnic Institute, April 20, 2017 - April 21, 2017, Cambridge, MA, United States, page 169-172(2017) 4 pages.
【非特許文献４】David et al., Sequencing Educational Content in Classrooms Using Bayesian Knowledge Tracing. In Proceedings of the Sixth International Conference on Learning Analytics & Knowledge: 354-363, (April 25-29, 2016) 10 pages.
【非特許文献５】CORBRTT et al., Knowledge Tracing: Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction 4: 253-278, (December 1994) 26 pages.
【非特許文献６】PAVLIK JR. et al., Performance Factors Analysis - A New Alternative to Knowledge Tracing. In Proceedings of the 141th International Conference on Artificial Intelligence in Education: 531-538., (2009) 8 pages.
【非特許文献７】ADAMOPOULOS, What Makes a Great MOOC? An Interdisciplinary Analysis of Student Retention in Online Courses, Thirty Fourth International Conference on Information Systems, Milan, Italy, (2013) 21 pages.
【非特許文献８】HE et al., Neural Factorization Machines for Sparse Predictive Analytics. In Proceedings of the 401h International ACM SIGIR Conference on Research and Development in Information Retrieval, (August 16, 2017), 10 pages.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示の技術は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせることができるシステム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本出願の態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法に関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及びユーザによって回答されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報に基づいて、特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することと、を含んでもよい。
【０００９】
上記の態様において、確率を決定することが、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を計算することと、を含んでもよい。
【００１０】
上記の態様において、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報が、特定のユーザが質問を提示されてからの現在の経過時間、特定のユーザが少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、特定のユーザが少なくとも１つの潜在的な質問に遭遇したかどうか、及び特定のユーザが少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含んでもよい。
【００１１】
上記の態様において、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を計算することが、検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと、を含んでもよい。
【００１２】
上記の態様において、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用されてもよい。
【００１３】
上記の態様において、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報が、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問に遭遇したことがあるかどうか、以前に提示されたときにユーザが質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含んでもよい。
【００１４】
上記の態様において、特定のユーザが後続の質問に正しく回答する確率を決定することが、検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、質問ペアベクトル表現及び回答された質問ベクトル表現を統合して確率ベクトル表現を生成することと、を含んでもよい。
【００１５】
上記の態様において、統合することが、連結、乗算、連結及び乗算、プーリング、並びに双方向対話のうちの１又は複数を含むコンテキスト統合方法を使用することを含んでもよい。
【００１６】
本出願の態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法に関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア及びユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００１７】
本出願のさらなる態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムに関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア及びユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００１８】
本出願のさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するディスプレイと、ユーザから回答を受け取るユーザ入力装置と、質問をユーザに合わせる方法を実行するプロセッサとを含んでもよい。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア及びユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を表示するようにディスプレイを制御することとを含んでもよい。
【００１９】
本出願のまたさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するための表示手段と、ユーザから回答を受け取るための手段と、ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す、手段と、ニューラルネットワークにより、検出された関係ペア及びユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが複数の潜在的な質問から選択された後続の質問に正しく回答する確率を決定するための手段と、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択するための手段とを含んでもよい。
【００２０】
本出願の態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法に関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００２１】
上記の態様において、確率を決定することが、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を計算することと、を含んでもよい。
【００２２】
上記の態様において、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報が、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問に遭遇したことがあるかどうか、以前に提示されたときにユーザが質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含んでもよい。
【００２３】
上記の態様において、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を計算することが、検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと、を含んでもよい。
【００２４】
上記の態様において、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用されてもよい。
【００２５】
上記の態様において、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報が、特定のユーザが質問を提示されてからの現在の経過時間、特定のユーザが少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、特定のユーザが少なくとも１つの潜在的な質問に遭遇したかどうか、及び特定のユーザが少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含んでもよい。
【００２６】
上記の態様において、特定のユーザが後続の質問に正しく回答する確率を決定することが、検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、質問ペアベクトル表現及び潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することとを含んでもよい。
【００２７】
上記の態様において、統合することが、乗算、連結及び乗算、プーリング、並びに双方向対話のうちの１又は複数を含むコンテキスト統合方法を使用することを含んでもよい。
【００２８】
本出願のさらなる態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムに関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００２９】
本出願のさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するディスプレイと、ユーザから回答を受け取るユーザ入力装置と、質問をユーザに合わせる方法を実行するプロセッサとを含んでもよい。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を表示するようにディスプレイを制御することとを含んでもよい。
【００３０】
本出願のまたさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するための表示手段と、ユーザから回答を受け取るための手段と、ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択するための手段とを含んでもよい。
【００３１】
本出願の態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法に関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００３２】
本出願のさらなる態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムに関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００３３】
本出願のさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するディスプレイと、ユーザから回答を受け取るユーザ入力装置と、質問をユーザに合わせる方法を実行するプロセッサとを含んでもよい。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を表示するようにディスプレイを制御することとを含んでもよい。
【００３４】
本出願のまたさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するための表示手段と、ユーザから回答を受け取るための手段と、ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、ニューラルネットワークにより、検出された少なくとも１つの関係ペア及び特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択するための手段とを含んでもよい。
【００３５】
本出願の態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法に関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００３６】
本出願のさらなる態様は、コンピュータベースの訓練システムにおいて訓練の質問を特定のユーザに合わせる方法をコンピュータに実行させるためのプログラムに関するものであり得る。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択することとを含んでもよい。
【００３７】
上記の態様において、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報が、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問に遭遇したことがあるかどうか、以前に提示されたときにユーザが質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうかのうちの１又は複数を含み、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報が、特定のユーザが質問を提示されてからの現在の経過時間、特定のユーザが少なくとも１つの潜在的な質問と同じトピックに遭遇してからの経過時間、特定のユーザが少なくとも１つの潜在的な質問に遭遇したかどうか、及び特定のユーザが少なくとも１つの潜在的な質問に以前に遭遇してからの経過時間のうちの１又は複数を含んでもよい。
【００３８】
上記の態様において、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することが、検出された少なくとも１つの関係ペアを質問ペアベクトル表現に埋め込むことと、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報を回答された質問ベクトル表現に埋め込むことと、少なくとも１つの潜在的な質問に関連する検出されたコンテキスト情報を潜在的な質問ベクトル表現に埋め込むことと、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合して確率ベクトル表現を生成することと、を含んでもよい。
【００３９】
上記の態様において、質問ペアベクトル表現、回答された質問ベクトル表現、及び潜在的な質問ベクトル表現を統合するために双方向対話統合方法が使用されてもよい。
【００４０】
本出願のさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するディスプレイと、ユーザから回答を受け取るユーザ入力装置と、質問をユーザに合わせる方法を実行するプロセッサとを含んでもよい。方法は、ニューラルネットワークにより、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む少なくとも１つの関係ペアを検出することと、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報であって、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報であって、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表すコンテキスト情報を検出することと、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定することと、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を表示するようにディスプレイを制御することとを含んでもよい。
【００４１】
本出願のまたさらなる態様は、コンピュータベースの訓練システムに関する。システムは、ユーザに質問を表示するための表示手段と、ユーザから回答を受け取るための手段と、ニューラルネットワークにより、少なくとも１つの関係ペアを検出するための手段であって、各関係ペアが、特定のユーザによって以前に回答された質問、及び少なくとも１つの以前に回答された質問に対する特定のユーザの以前のスコアを含む、手段と、ニューラルネットワークにより、ユーザによって以前に回答された少なくとも１つの質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、ユーザが少なくとも１つの質問に以前に回答したときに発生した状態又は状況を表す、手段と、ニューラルネットワークにより、特定のユーザに提示されるべき少なくとも１つの潜在的な質問に関連するコンテキスト情報を検出するための手段であって、コンテキスト情報が、少なくとも１つの質問が特定のユーザに提示されるべきときに発生する状態又は状況を表す、手段と、ニューラルネットワークにより、検出された関係ペア、ユーザによって以前に回答された少なくとも１つの質問に関連する検出されたコンテキスト情報、及び特定のユーザに提示されるべき少なくとも１つの質問に関連する検出されたコンテキスト情報に基づいて、特定のユーザが少なくとも１つの潜在的な質問に正しく回答する確率を決定するための手段と、ユーザの訓練を助けるために、確率に基づいてユーザによって回答されるべき質問を選択するための手段とを含んでもよい。
【図面の簡単な説明】
【００４２】
【図１】本出願の例示的な実施形態による、コンテキスト情報を考慮に入れて深層学習追跡を実行するためのプロセスのフローチャートである。
【図２】コンテキスト情報を考慮に入れずに深層学習追跡を実行する比較例のためのプロセスのフローチャートである。
【図３】上述された図２のプロセスを実行する比較処理モデルの概略図である。
【図４】本出願の例示的な実施形態による、上述された図１のプロセスを実行するニューラルネットワークの処理モデルの概略図である。
【図５】上述された図２のプロセスを実行する間の比較処理モデルのデータフロー図である。
【図６】本出願の例示的な実施形態による、図１のプロセスを実行する間の処理モデルのデータフロー図である。
【図７】本発明のいくつかの例示的な実施形態における使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示す図である。
【発明を実施するための形態】
【００４３】
以下の発明を実施するための形態は、本出願の図及び例示的な実施形態のさらなる詳細を提供する。図の間の重複する要素の参照番号及び説明は、明確にするために省略されている。説明全体にわたって使用される用語は例として提供され、限定するものではない。たとえば、「自動」という用語の使用は、本出願の実施形態を実践する当業者の所望の実施形態に応じて、実施形態のいくつかの態様に対するユーザ又は事業者の制御を含む、全自動又は半自動の実施形態を含んでもよい。さらに、「第１」、「第２」、「第３」などの逐次的な用語は、単にラベル付けの目的で明細書及び特許請求の範囲で使用されてもよく、記載された順番で発生する記載された動作又は項目を参照することに限定されるべきではない。動作又は項目は、本出願の範囲から逸脱することなく、異なる順番に順序付けられてもよく、又は並列若しくは動的に実行されてもよい。
【００４４】
本出願では、「コンテキスト」とは、「人の行動やできごとの背景にある、人の意識や考え方、取り巻く状況や環境などの事情・背後関係」を指す。
【００４５】
本出願では、コンピュータ可読媒体という用語は、ローカルの記憶装置、クラウドベースの記憶装置、遠隔配置されたサーバ、又は当業者に明らかであり得る任意の他の記憶装置を含んでもよい。
【００４６】
上述されたように、いくつかの従来技術のコンピュータ支援教育システムは、深層知識追跡（ＤＫＴ）モデルを使用して、学生の知識をより正確にモデル化することができる。しかしながら、従来技術の手法は、他のコンテキスト情報を考慮に入れること、又はコンテキスト情報を知識追跡に統合することを行わずに、ユーザと質問との間の一連の対話を考慮するだけである。したがって、従来技術のシステムは、質問間のタイムギャップ、練習問題のタイプ、及びユーザが同じ質問と対話する回数などのコンテキスト上の知識を考慮しない。
【００４７】
本出願は、コンテキスト情報を考慮するようにＤＫＴモデルを組み込む深層学習追跡モデルを記載する。そのようなコンテキスト情報には、質問間のタイムギャップ、練習問題のタイプ、及びユーザが同じ質問と対話する回数が含まれる。たとえば、学生は、通常、学習したコンテンツを時間の経過とともに忘れてしまう。質問間のタイムギャップを考慮しないと、学生にとって不適切なレベルの難しさを有するコンテンツ及び質問が提供され、それが学生の取り組み方の低下につながる。したがって、学生の知識の変化に関連するコンテキスト情報がモデル組み込まれるべきである。そのようなコンテキストを組み込むと、学生の知識がより正確に追跡され、コンテンツの提供をより柔軟且つ解釈しやすいものにすることができる。
【００４８】
図１は、コンテキスト情報を考慮に入れて深層学習追跡を実行するためのプロセス１００のフローチャートを示す。プロセス１００は、以下で説明される図７に示される例示的なコンピューティング環境７００の例示的な計算装置７０５などの、コンピューティング環境内の計算装置によって実行されてもよい。プロセス１００の要素は特定の順番で示される場合があるが、例示的な実施形態は示された特定の順番に限定されない。例示的な実施形態は、当業者に明らかであり得るように異なる順番に順序付けられている動作を含んでもよく、又は動作は、本出願の範囲から逸脱することなく、並列若しくは動的に実行されてもよい。
【００４９】
図１に示されたように、ユーザのコンピュータベースの教育又は訓練システムとの対話の対話ログ１０２が生成され維持される。ユーザの同意を得て、ユーザの教育又は訓練システムとの対話の様々な局面が監視され得る。たとえば、対話ログ１０２は、ユーザがどの質問に正解若しくは不正解したか、ユーザが正解若しくは不正解した質問の数、ユーザが正解若しくは不正解した質問の割合、ユーザが正解若しくは不正解した質問のタイプ、ユーザが正解若しくは不正解した質問の難しさ、ユーザが各質問に回答するのに要した時間、ユーザが教育若しくは訓練システムを使用するまでの時間、ユーザが質問に回答している時刻、年、若しくは月、又は当業者に明らかであり得る任意の他の対話情報のうちの１又は複数に関する情報を含んでもよい。さらに、対話ログ１０２はまた、名前、住所、年齢、学歴、又は当業者に明らかであり得る任意の他の情報のうちの１又は複数を含む、ユーザに関する情報を含んでもよい。
【００５０】
さらに、いくつかの例示的な実施形態では、対話ログ１０２はまた、現在テストされている特定のユーザ以外のユーザに関連する対話情報も含んでもよい。たとえば、対話ログ１０２は、正解若しくは不正解したユーザの割合、他のユーザによる質問への回答に要した時間、及び／又は名前、住所、年齢、学歴、若しくは当業者に明らかであり得る任意の他の情報のうちの１若しくは複数を含む他のユーザに関する情報を含んでもよい。
【００５１】
プロセス１００は、埋込みプロセスフェーズ１２９及び統合プロセスフェーズ１３２を含む。埋込みプロセスフェーズ１２９の間に、１０５において、質問及びそれぞれのスコアの対応するペアに基づいて特徴が生成される。たとえば、質問及びユーザが質問に正しく回答したかどうかを示すスコアの各ペアに基づいて、１又は複数の特徴が生成されてもよい。
【００５２】
さらに、埋込みプロセスの間に、１０８において、ユーザによって回答された各質問に関連するコンテキストに対応して特徴が生成される。たとえば、コンテキストを表す特徴は、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問を閲覧若しくは参照したことがあるかどうか、以前に提示されたときにユーザがその質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうか、又は当業者に明らかであり得る任意の他のコンテキスト情報を含んでもよい。したがって、コンテキスト情報はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００５３】
加えて、埋込みプロセスフェーズ１２９の間に、１１１において、提示されている質問に関連する、次にユーザに提示されるべき質問の現在存在するコンテキストに対応して、特徴が生成されてもよい。たとえば、これらのコンテキストの特徴は、ユーザが質問を提示されてからの現在の経過時間、ユーザが同じトピックに遭遇してからの経過時間、ユーザが同じ質問に遭遇したかどうか、ユーザが現在提示されている同じ質問に以前に遭遇してからの経過時間、現在の時刻、週、月、若しくは年、又は当業者に明らかであり得る任意の他のコンテキスト情報を含んでもよい。同様に、このコンテキスト情報はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００５４】
図１の埋込みプロセスフェーズ１２９では、１０５、１０８、及び１１１の特徴生成サブプロセスが並列に示されているが、この構成に限定されない。いくつかの例示的な実施形態では、１０５、１０８、及び１１１の特徴生成サブプロセスのうちの１又は複数は、順次実行されてもよい。
【００５５】
図１の統合プロセスフェーズ１３２の間に、２つの特徴統合サブプロセス１１４及び１１７が提供される。１１４において、１０８からの各々の以前の質問に関連して生成されたコンテキストの特徴は、１０５からの各々の以前に遭遇した質問及びスコアのペアに関連して生成された特徴と統合される。１１４のコンテキストの特徴統合は、ユーザが提示され回答する質問ごとに繰り返されてもよく、各繰返しは１２０において順次処理されて、将来のユーザの成績を予測するために使用される潜在的な知識表現モデルに繰り返し影響を及ぼす。そうすることで、コンテキスト情報は生成されているモデルに組み込まれ、モデルの潜在的な知識表現に影響を及ぼす可能性がある。例示的な実施形態では、いくつかのコンテキスト統合方法が使用されてもよい。
【００５６】
・連結：
［ｘｔ；ｃｔ］  （式１）
・乗算：
【数１】
2020102194.tif 000003
・連結及び乗算
【数２】
2020102194.tif 000004
・双方向対話：：
【数３】
2020102194.tif 000005
【００５７】
ここで、Ｘｔは対話ベクトルであり、Ｃｔはコンテキスト情報ベクトルであり、Ｃは学習変換行列であり、
【数４】
2020102194.tif 000006
は要素ごとの乗算を表す。連結は、対話ベクトルをコンテキスト情報ベクトルと積み重ねることができる。したがって、この統合によって対話ベクトル自体が変わることはない。一方、乗算はコンテキスト情報によって対話ベクトルを修正することができる。さらに、双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の二次対話を符号化する。たとえば、プーリング又は当業者に明らかであり得る任意の他の統合方法を含む、他の統合方法が使用されてもよい。
【００５８】
１１７において、提示されている質問の現在存在するコンテキストに対応する、又は１１１において生成された提示されるべき質問に関連する既存のコンテキストにすぐになる特徴が、１１４における統合からの順次処理された出力と統合される。したがって、１２０からの潜在的な知識表現モデルは、ユーザがその中で質問に回答することができる現在のコンテキストの表現と統合されてもよい。同様に、例示的な実施形態では、１１４に関して上述されたいくつかのコンテキスト統合方法のうちの１つが使用されてもよい。いくつかの例示的な実施形態では、サブプロセス１１４及び１１７の両方で同じ統合方法が使用されてもよい。他の例示的な実施形態では、サブプロセス１１４及びサブプロセス１１７の各々に異なる統合方法が使用されてもよい。
【００５９】
１１７の統合サブプロセスの後、コンテキストの特徴を考慮した結果として得られた潜在的な知識表現モデルは、１２３において、質問を提示する前にユーザの知識を予測するために使用されてもよい。さらに、１２６において、ユーザが次の質問に正しく回答する確率が決定されてもよい。次の質問が正しく回答される確率に基づいて、教育又は訓練システムは、ユーザが継続する意欲を失うほど大きな課題を提示することなく、ユーザにより良く問いかけるように設計された質問を選択することができる。したがって、教育又は訓練システムは、最適な課題及び訓練を提供するように自動的に調整されてもよい。たとえば、いくつかの例示的な実施形態では、教育又は訓練システムは、第１のしきい値（たとえば、５０％）を超える、うまく答えられる確率を有する質問を自動的に選択して、成功の合理的な可能性を保証することによって学生を励ますことができる。さらに、教育又は訓練システムは、第２のしきい値（たとえば、９５％）未満の確率を有する質問を自動的に選択して、ユーザに対する関心又は挑戦を維持するためにテストが容易すぎないことを保証することができる。他の例示的な実施形態では、教育又は訓練システムは、学生からの関心を維持するために、（たとえば、ランダムに、現在のパターンに基づいて、又は動的に決定される）しきい値を変えて、質問の難しさを変えることができる。
【００６０】
図２は、コンテキスト情報を考慮に入れずに深層学習追跡を実行する比較例のためのプロセス２００のフローチャートを示す。プロセス２００は、以下で説明される図７に示される例示的なコンピューティング環境７００の例示的な計算装置７０５などの、コンピューティング環境内の計算装置によって実行されてもよい。
【００６１】
図２に示されたように、ユーザのコンピュータベースの教育又は訓練システムとの対話の対話ログ２０２が生成され維持される。ユーザの同意を得て、ユーザの教育又は訓練システムとの対話の様々な局面が監視され得る。たとえば、対話ログ２０２は、ユーザがどの質問に正解若しくは不正解したか、ユーザが正解若しくは不正解した質問の数、ユーザが正解若しくは不正解した質問の割合、ユーザが正解若しくは不正解した質問のタイプ、ユーザが正解若しくは不正解した質問の難しさ、ユーザが各質問に回答するのに要した時間、ユーザが教育若しくは訓練システムを使用するまでの時間、ユーザが質問に回答している時刻、年、若しくは月、又は当業者に明らかであり得る任意の他の対話情報のうちの１又は複数に関する情報を含んでもよい。さらに、対話ログ２０２はまた、名前、住所、年齢、学歴、又は当業者に明らかであり得る任意の他の情報のうちの１又は複数を含む、ユーザに関する情報を含んでもよい。
【００６２】
さらに、いくつかの例示的な実施形態では、対話ログ２０２はまた、現在テストされている特定のユーザ以外のユーザに関連する対話情報も含んでもよい。たとえば、対話ログ２０２は、正解若しくは不正解したユーザの割合、他のユーザによる質問への回答に要した時間、及び／又は名前、住所、年齢、学歴、若しくは当業者に明らかであり得る任意の他の情報のうちの１若しくは複数を含む他のユーザに関する情報を含んでもよい。
【００６３】
プロセス２００の間に、２０５において、質問及びそれぞれのスコアの対応するペアに基づいて特徴が生成される。たとえば、質問及びユーザが質問に正しく回答したかどうかを示すスコアの各ペアに基づいて、１又は複数の特徴が生成されてもよい。２０５の特徴生成は、ユーザが提示され回答した質問ごとに繰り返されてもよく、各繰返しは２２０において順次処理されて、将来のユーザの成績を予測するために使用される潜在的な知識表現モデルに繰り返し影響を及ぼす。
【００６４】
２２０の順次処理の後、コンテキストの特徴を考慮した結果として得られた潜在的な知識表現モデルは、２２３において、質問を提示する前にユーザの知識を予測するために使用されてもよい。さらに、２２６において、ユーザが次の質問に正しく回答する確率が決定されてもよい。次の質問が正しく回答される確率に基づいて、教育又は訓練システムは、ユーザが継続する意欲を失うほど大きな課題を提示することなく、ユーザがより良く挑戦できるように設計された質問を選択することができる。しかしながら、図２の比較例のプロセス２００では、潜在的な知識表現モデルは、以前に回答された質問を取り巻くコンテキストに基づく特徴、又は現在のコンテキスト若しくは尋ねられている質問に基づく特徴を生成するサブプロセスを含まない。さらに、比較例のプロセス２００では、コンテキスト情報に関連する特徴を潜在的な知識表現モデルに統合する統合プロセスは実行されない。したがって、どの質問が尋ねられるべきかを選択する際にコンテキスト情報は考慮されない。
【００６５】
図３は、上述されたプロセス２００を実行する比較処理モデル３００の概略図を示す。図３によって示されたように、単純なＲＮＮベースのモデル化ニューラルネットワーク３０５は、連続する質問で各学生の知識を順次取り込むことができる。各質問ｔについて、モデル３００は、最初に３１９において学生の知識をモデル化し、連続する質問ｔ＋１に対する学生の成績３２１を予測することができる。学生の知識状態３１９をモデル化するために、モデル化ニューラルネットワーク３０５は、時間ｔの間に質問及びそれぞれのスコアのペア（ｑｔ，ａｔ）を受け取り、時間ｔにおける学生の現在の知識状態３０８の表現を出力する。時間ｔにおける学生の現在の知識状態３０８の出力表現に基づいて、処理モデル３００は、ｔ＋１における各質問に正しく回答する確率３１１を決定することができる。
【００６６】
図４は、本出願の例示的な実施形態による、上述されたプロセス１００を実行するニューラルネットワークの処理モデル４００の概略図を示す。図４によって示されたように、単純なＲＮＮベースのモデル４０５は、連続する質問で各学生の知識を順次取り込むことができる。同様に、各質問ｔについて、モデル４００は、最初に４１９において学生の知識をモデル化し、連続する質問ｔ＋１に対する学生の成績４２１を予測することができる。しかしながら、処理モデル３００とは異なり、処理モデル４００では、モデル化ニューラルネットワーク４０５は、時間ｔの間の質問及びそれぞれのスコアのペア（ｑｔ，ａｔ）４０２と、時間ｔに関連するコンテキスト情報４１４の両方を受け取る。上述されたように、時間ｔにおけるコンテキスト情報は、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問を閲覧若しくは参照したことがあるかどうか、以前に提示されたときにユーザがその質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうか、又は当業者に明らかであり得る任意の他のコンテキスト情報を含んでもよい。したがって、コンテキスト情報はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００６７】
学生の知識状態４１９をモデル化するために、モデル化ニューラルネットワーク４０５は、時間ｔからのコンテキスト情報を、時間ｔの間の質問及びそれぞれのスコアのペア（ｑｔ，ａｔ）４０２と順次統合し、時間ｔにおける学生の現在の知識状態４０８の表現を出力する。上述されたように、例示的な実施形態では、いくつかのコンテキスト統合方法が使用されてもよい。
【００６８】
・連結：
［ｘｔ；ｃｔ］  （式１）
・乗算：
【数５】
2020102194.tif 000007
・連結及び乗算
【数６】
2020102194.tif 000008
・双方向対話：：
【数７】
2020102194.tif 000009
【００６９】
ここで、Ｘｔは対話ベクトルであり、Ｃｔはコンテキスト情報ベクトルであり、Ｃは学習変換行列であり、
【数８】
2020102194.tif 000010
は要素ごとの乗算を表す。連結は、対話ベクトルをコンテキスト情報ベクトルと積み重ねることができる。したがって、この統合によって対話ベクトル自体が変わることはない。一方、乗算はコンテキスト情報によって対話ベクトルを修正することができる。さらに、双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の二次対話を符号化する。たとえば、プーリング又は当業者に明らかであり得る任意の他の統合方法を含む、他の統合方法が使用されてもよい。
【００７０】
時間ｔにおける学生の現在の知識状態４０８の出力表現に基づいて、処理モデル４００は、ｔ＋１における各質問に正しく回答する確率４１１を決定することができる。しかしながら、比較処理モデル３００とは異なり、処理モデル４００は、時間ｔにおける１つの学生の現在の知識状態４０８だけでなく、後続の時間ｔ＋１（たとえば、後続の質問がユーザに提示されるべき時間）に関連する受信されたコンテキスト情報にも基づいて、確率４１１を決定することができる。上述されたように、時間ｔ＋１におけるコンテキスト情報は、ユーザが回答を待つ質問を提示されてからの現在の経過時間、ユーザが同じトピックに若しくは現在提示されている同じ質問に以前に遭遇してからの経過時間、現在の時刻、週、月、若しくは年、又は当業者に明らかであり得る任意の他のコンテキスト情報であってもよい。同様に、このコンテキスト情報はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００７１】
具体的には、比較処理モデル４００は、ｔ＋１において学生の現在の知識状態４０８をコンテキスト情報と統合して、時間ｔ＋１においてユーザが質問に正しく回答する確率を決定することができる。たとえば、上述されたように、例示的な実施形態では、いくつかのコンテキスト統合方法が使用されてもよい。
【００７２】
・連結：
［ｘｔ；ｃｔ］  （式１）
・乗算：
【数９】
2020102194.tif 000011
・連結及び乗算
【数１０】
2020102194.tif 000012
・双方向対話：：
【数１１】
2020102194.tif 000013
【００７３】
ここで、Ｘｔは対話ベクトルであり、Ｃｔはコンテキスト情報ベクトルであり、Ｃは学習変換行列であり、
【数１２】
2020102194.tif 000014
は要素ごとの乗算を表す。連結は、対話ベクトルをコンテキスト情報ベクトルと積み重ねることができる。したがって、この統合によって対話ベクトル自体が変わることはない。一方、乗算はコンテキスト情報によって対話ベクトルを修正することができる。さらに、双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の二次対話を符号化する。たとえば、プーリング又は当業者に明らかであり得る任意の他の統合方法を含む、他の統合方法が使用されてもよい。
【００７４】
いくつかの例示的な実施形態では、時間ｔにおけるコンテキスト情報４１４と後続の時間ｔ＋１におけるコンテキスト情報４１７の両方を統合するために、同じ統合方法が使用されてもよい。他の例示的な実施形態では、時間ｔにおけるコンテキスト情報及び後続の時間ｔ＋１におけるコンテキスト情報４１７の各々を統合するために、異なる統合方法が使用されてもよい。
【００７５】
図５は、上述されたプロセス２００を実行する間の比較処理モデル５００のデータフロー図を示す。図示されたように、比較処理モデル５００は、５層の処理（５０５、５０８、５１１、５１４、５１７）を含む。入力層５０５に示されたように、時間ｔの間の質問に対する生徒の回答に関連する質問及びスコア（ｑｔ，ａｔ）５１９が入力として受け取られる。埋込み層５０８において、質問及びスコアのペア５１９は、ユーザの以前の成績を認識せずに、時間ｔにおけるユーザ／学生の知識の埋込みベクトルｘｔ５２２の表現に埋め込まれる。
【００７６】
回帰層５１１において、回帰ニューラルネットワーク５２５が埋込みベクトルｘｔを受け取り、時間ｔにおけるユーザの全知識のモデルへの埋込みを順次組み込む。ユーザの教育システムの使用履歴に応じて、回帰層は、ユーザが以前に質問に回答したことがある場合はユーザの知識の既存のベクトル表現に、又はユーザが以前に質問に回答したことがない場合は新しく作成されたベクトル表現に、連続する質問／スコアのペアを順次組み込むことを含んでもよい。
【００７７】
マッピング層５１４において、ユーザの知識のベクトル表現５２８が、新たに提示されているか、又はユーザへの提示が検討されている質問にマッピングされてもよく、ユーザが後続の質問に回答する確率５３１が５１７において出力される。
【００７８】
図６は、本出願の例示的な実施形態による、プロセス１００を実行する間の処理モデル６００のデータフロー図である。図示されたように、処理モデル６００は、７層の処理（６０５、６０８、６１１、６１４、６１７、６３７、６３９）を含む。入力層６０５に示されたように、時間ｔの間の質問に対する生徒の回答に関連する質問及びスコア（ｑｔ，ａｔ）６１９が入力として受け取られる。
【００７９】
さらに、入力層６０５の間に、質問及び回答のペアに関連するコンテキスト情報ｃｔ６２０も受け取られる。上述されたように、コンテキスト情報ｃｔ６２０は、質問が提示されてから回答がユーザから受け取られるまでの経過時間、ユーザが以前に質問を閲覧若しくは参照したことがあるかどうか、以前に提示されたときにユーザがその質問に以前にどのように回答したか、質問がユーザによって以前に遭遇されたトピックに関するものであるかどうか、又は当業者に明らかであり得る任意の他のコンテキスト情報を含んでもよい。
【００８０】
さらに、入力層６０５の間に、回答されるべき次の質問に関連するコンテキスト情報ｃｔ＋１６２９も受け取られる。上述されたように、これらのコンテキストの特徴は、ユーザが回答を待つ質問を提示されてからの現在の経過時間、ユーザが同じトピックに若しくは現在提示されている同じ質問に以前に遭遇してからの経過時間、現在の時刻、週、月、若しくは年、又は当業者に明らかであり得る任意の他のコンテキスト情報であってもよい。
【００８１】
埋込み層６０８において、質問及びスコアのペア６１９は、ユーザの以前の成績を認識せずに、時間ｔにおけるユーザ／学生の知識の埋込みベクトルｘｔ６２２の表現に埋め込まれる。
【００８２】
さらに、埋込み層６０８の間に、質問及び回答のペアに関連するコンテキスト情報ｃｔ６２０も、別個の埋込みベクトル６２３に埋め込まれる。したがって、コンテキスト情報ｃｔ６２０はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００８３】
さらに、埋込み層６０８の間に、回答されるべき次の質問に関連するコンテキスト情報ｃｔ＋１６２９も、別個の埋込みベクトル６３２に埋め込まれる。同様に、回答されるべき次の質問に関連するこのコンテキスト情報ｃｔ＋１６２９はマルチホットベクトルとして表されてもよく、その中で、各タイプのコンテキスト情報の値は、ワンホットベクトル又は数値によって表され、次いで互いに連結される。コンテキスト情報ベクトルは、以下で説明される統合方法に応じて様々な形状に変形されてもよい。考慮される追加のコンテキスト情報タイプは、以下の評価セクションに記載されたものでもよい。
【００８４】
埋込み層６０８の後に、質問及び回答のペアに関連するコンテキスト情報ｃｔ６２０に基づいて、時間ｔにおけるユーザ／学生の知識の埋込みベクトルｘｔ６２２の表現を埋込みベクトル６２３と統合して統合ベクトル６２６を生成するために、第１の統合層６３７が設けられる。例示的な実施形態では、いくつかのコンテキスト統合方法が使用されてもよい。
【００８５】
・連結：
［ｘｔ；ｃｔ］  （式１）
・乗算：
【数１３】
2020102194.tif 000015
・連結及び乗算
【数１４】
2020102194.tif 000016
・双方向対話：：
【数１５】
2020102194.tif 000017
【００８６】
ここで、Ｘｔは対話ベクトルであり、Ｃｔはコンテキスト情報ベクトルであり、Ｃは学習変換行列であり、
【数１６】
2020102194.tif 000018
は要素ごとの乗算を表す。連結は、対話ベクトルをコンテキスト情報ベクトルと積み重ねることができる。したがって、この統合によって対話ベクトル自体が変わることはない。一方、乗算はコンテキスト情報によって対話ベクトルを修正することができる。さらに、双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の二次対話を符号化する。たとえば、プーリング又は当業者に明らかであり得る任意の他の統合方法を含む、他の統合方法が使用されてもよい。
【００８７】
回帰層６１１において、回帰ニューラルネットワーク６２５が統合ベクトル６２６を受け取り、時間ｔにおけるユーザの全知識のモデルに統合ベクトル６２６を順次組み込む。ユーザの教育システムの使用履歴に応じて、回帰層は、ユーザが以前に質問に回答したことがある場合はユーザの知識の既存のベクトル表現に、又はユーザが以前に質問に回答したことがない場合は新しく作成されたベクトル表現に、連続する質問／スコアのペアを順次組み込むことを含んでもよい。
【００８８】
回帰層６１１の後に、回答されるべき次の質問に関連するコンテキスト情報ｃｔ＋１６２９を埋め込む埋込みベクトル６３２を回帰層６１１からのＲＮＮのベクトル表現出力と統合して統合ベクトル６３５を生成するために、第２の統合層６３９が設けられる。例示的な実施形態では、いくつかのコンテキスト統合方法が使用されてもよい。
【００８９】
・連結：
［ｘｔ；ｃｔ］  （式１）
・乗算：
【数１７】
2020102194.tif 000019
・連結及び乗算
【数１８】
2020102194.tif 000020
・双方向対話：：
【数１９】
2020102194.tif 000021
【００９０】
ここで、Ｘｔは対話ベクトルであり、Ｃｔはコンテキスト情報ベクトルであり、Ｃは学習変換行列であり、
【数２０】
2020102194.tif 000022
は要素ごとの乗算を表す。連結は、対話ベクトルをコンテキスト情報ベクトルと積み重ねることができる。したがって、この統合によって対話ベクトル自体が変わることはない。一方、乗算はコンテキスト情報によって対話ベクトルを修正することができる。さらに、双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の二次対話を符号化する。たとえば、プーリング又は当業者に明らかであり得る任意の他の統合方法を含む、他の統合方法が使用されてもよい。いくつかの例示的な実施形態では、両方の統合層６３７、６３９で同じ統合技法が使用されてもよい。しかしながら、他の例示的な実施形態では、各統合層６３７、６３９で異なる統合技法が使用されてもよい。
【００９１】
マッピング層６１４において、ユーザの知識及び提示されている質問の既存のコンテキストを表すベクトル６２８を生成するために、新たに提示されているか、又はユーザへの提示が検討されている質問に統合ベクトル６３５がマッピングされてもよい。出力層６１７の間に、ユーザが後続の質問に回答する確率６３１がベクトル６２８に基づいて出力される。
【００９２】
評価
【００９３】
上記に基づいて、発明者はＡｓｓｉｓｔｍｅｎｔｓ２０１２〜２０１３データセットを使用して評価実験を行った。データセットで、質問の識別子としてｓｋｉｌｌ＿ｉｄが定義される。対話が１回だけのユーザは削除した。前処理の後、データセットは４５，６７５人のユーザ及び２６６個の質問の５，８１８，８６８回の対話を含む。
【００９４】
実験では、以下のコンテキストの特徴が使用された。
・シーケンスタイムギャップ：対話と前の対話との間のタイムギャップ。
・繰り返されたタイムギャップ：同じ質問に対する対話間のタイムギャップ。
・新しい質問：その質問が初めてユーザに割り当てられたことを１が示し、その質問が以前にユーザに割り当てられたことを０が示すバイナリ値。
【００９５】
２つのタイプのタイムギャップは、ｌｏｇ２のスケールで離散化され、２０の最大値を有する。５倍相互検証が行われ、その中でデータセットが学生に基づいて分割される。評価尺度として、曲線下面積（ＡＵＣ）が使用され、これは０（最悪）から１（最良）の範囲であった。
【表１】
2020102194.tif 000023
【００９６】
表１は予測パフォーマンスを示す。提案されたモデルはベースラインよりも優れていた。統合方法の中で、連結と乗算の組合せは、各々の単独の統合方法と比較してパフォーマンスを向上させる。さらに、双方向対話は最良のパフォーマンスが得られる。双方向対話は、対話ベクトルとコンテキスト情報ベクトルとの間、及びコンテキスト情報ベクトル間の２次対話を符号化する。このため、例示的な実施モデルは、どのペアの対話及びコンテキスト情報が生徒の知識に影響を及ぼすかをより正確に捉えることができる。
【００９７】
例示的なコンピューティング環境
【００９８】
図７は、いくつかの例示的な実施形態における使用に適した例示的な計算装置７０５を有する例示的なコンピューティング環境７００を示す。コンピューティング環境７００内の計算装置７０５は、１若しくは複数の処理ユニット、コア、若しくはプロセッサ７１０、メモリ７１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部記憶装置７２０（たとえば、磁気記憶装置、光記憶装置、半導体記憶装置、及び／若しくは有機記憶装置）、並びに／又はＩ／Ｏインターフェース７２５を含むことができ、それらのうちのいずれも、情報を通信するための、又は計算装置７０５内に埋め込まれた、通信機構又はバス７３０上で結合することができる。
【００９９】
計算装置７０５は、入力／インターフェース７３５及び出力装置／インターフェース７４０に通信結合することができる。入力／インターフェース７３５及び出力装置／インターフェース７４０のうちのいずれか１つ又は両方は、有線又はワイヤレスのインターフェースであり得るし、取外し可能であり得る。入力／インターフェース７３５は、入力（たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソールコントロール、マイクロフォン、カメラ、点字、モーションセンサ、光学リーダーなど）を提供するために使用され得る、物理的又は仮想の、任意の装置、構成要素、センサ、又はインターフェースを含んでもよい。
【０１００】
出力装置／インターフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実施形態では、入力／インターフェース７３５（たとえば、ユーザインターフェース）及び出力装置／インターフェース７４０は、計算装置７０５に埋め込むことができるか、又は物理的に結合することができる。他の例示的な実施形態では、他の計算装置は、計算装置７０５用の入力／インターフェース７３５及び出力装置／インターフェース７４０として機能するか、又はその機能を提供することができる。これらの要素は、限定はしないが、ユーザがＡＲ環境と対話することを可能にするために、よく知られたＡＲハードウェア入力を含んでもよい。
【０１０１】
計算装置７０５の例には、限定はしないが、高移動性装置（たとえば、スマートフォン、車両及び他の機械内の装置、人間及び動物が持ち運ぶ装置など）、移動性装置（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、並びに移動用に設計されていない装置（たとえば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが埋め込まれ、且つ／又は結合されたテレビ、ラジオなど）が含まれてもよい。
【０１０２】
計算装置７０５は、外部記憶装置７４５、並びに、同じ又は異なる構成の１又は複数の計算装置を含む、任意の数のネットワーク化された構成要素、装置、及びシステムと通信するためのネットワーク７５０に、（たとえば、Ｉ／Ｏインターフェース７２５を介して）通信結合することができる。計算装置７０５又は任意の接続された計算装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又は別のラベルとして機能しているか、そのサービスを提供しているか、又はそう呼ばれ得る。
【０１０３】
Ｉ／Ｏインターフェース７２５は、限定はしないが、コンピューティング環境７００内の少なくともすべての接続された構成要素、装置、及びネットワークとの間で情報を通信するための、任意の通信又はＩ／Ｏプロトコル又は規格（たとえば、イーサネット（登録商標）、７０２．１１ｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラーネットワークプロトコルなど）を使用する、有線及び／又はワイヤレスのインターフェースを含むことができる。ネットワーク７５０は、任意のネットワーク又はネットワークの組合せ（たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。
【０１０４】
計算装置７０５は、一時的媒体及び非一時的媒体を含む、コンピュータ使用可能媒体又はコンピュータ可読媒体を使用すること、及び／又は使用して通信することができる。一時的媒体には、伝送媒体（たとえば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一時的媒体には、磁気媒体（たとえば、ディスク及びテープ）、光媒体（たとえば、ＣＤ  ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、半導体媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、半導体記憶装置）、並びに他の非揮発性記憶装置又はメモリが含まれる。
【０１０５】
計算装置７０５は、いくつかの例示的なコンピューティング環境内で技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実施するために使用することができる。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、非一時的媒体から取り出され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、及び機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数が起源であり得る。
【０１０６】
プロセッサ７１０は、ネイティブ環境又はバーチャル環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット７５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット７６０、入力ユニット７６５、出力ユニット７７０、コンテキスト検出ユニット７７５、統合ユニット７８０、確率計算ユニット７８５、及び、異なるユニットが互いに、ＯＳと、且つ他のアプリケーション（図示せず）と通信するためのユニット間通信機構７９５を含む、１又は複数のアプリケーションを配置することができる。
【０１０７】
たとえば、コンテキスト検出ユニット７７５、統合ユニット７８０、確率計算ユニット７８５は、図１、図４、及び図６に示された１又は複数のプロセスを実施することができる。記載されたユニット及び要素は、設計、機能、構成、又は実施の形態において異なり得るし、提供された説明に限定されない。
【０１０８】
いくつかの例示的な実施形態では、情報又は実行命令がＡＰＩユニット７６０によって受信されると、それは１又は複数の他のユニット（たとえば、コンテキスト検出ユニット７７５、統合ユニット７８０、及び確率計算ユニット７８５）に通信されてもよい。たとえば、コンテキスト検出ユニット７７５は、メタデータを抽出すること、又はオブジェクト認識、テキスト認識、音声認識、画像認識、若しくは当業者に明らかであり得る任意の他の認識技法などの１若しくは複数の認識技法を使用することにより、１又は複数の質問回答ペアに関連するコンテキスト情報を検出することができる。さらに、統合ユニット７８０は、検出されたコンテキスト情報を統合して、検出されたコンテキスト情報のベクトル表現を生成することができる。さらに、確率計算ユニット７８５は、ユーザが、ベクトル表現に基づいて１又は複数の潜在的な質問に回答する確率を計算し、計算された確率に基づいて質問を選択することができる。
【０１０９】
いくつかの例では、論理ユニット７５５は、上述されたいくつかの例示的な実施形態において、ユニット間の情報フローを制御し、ＡＰＩユニット７６０、入力ユニット７６５、コンテキスト検出ユニット７７５、統合ユニット７８０、確率計算ユニット７８５によって提供されるサービスを指示するように構成されてもよい。たとえば、１又は複数のプロセス又は実施のフローは、論理ユニット７５５単独により、又はＡＰＩユニット７６０と連携して制御されてもよい。
【０１１０】
いくつかの例示的な実施形態が示され記載されたが、これらの例示的な実施形態は、本明細書に記載された主題をこの分野に精通する人々に伝達するために提供される。本明細書に記載された主題は、記載された例示的な実施形態に限定されることなく、様々な形態で実施されてもよいことを理解されたい。本明細書に記載された主題は、具体的に定義若しくは記載された事項、又は記載されていない他の若しくは異なる要素若しくは事項なしに実践することができる。添付の特許請求の範囲及びそれらの均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的な実施形態において変更が行われてもよいことは、この分野に精通する人々によって諒解されよう。
【図１】
2020102194.tif 000024
【図２】
2020102194.tif 000025
【図３】
2020102194.tif 000026
【図４】
2020102194.tif 000027
【図５】
2020102194.tif 000028
【図６】
2020102194.tif 000029
【図７】
2020102194.tif 000030