(57)【特許請求の範囲】
【請求項１】
人の発言に基づくテキストから、学習項目に対する評価レベルを推定するようにコンピュータを機能させる学習状況推定プログラムであって、
学習項目に基づく複数の学習語を登録した学習語登録手段と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録手段と、
前記テキストから前記学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から前記評価語を検出する語検出手段と、
検出された前記学習語に基づく学習項目に、検出された前記評価語に対応する評価レベルを対応付ける評価レベル推定手段と
してコンピュータを機能させることを特徴とする学習状況推定プログラム。
【請求項２】
前記語検出手段によって当該学習語が検出された際に、当該学習語に時系列符番を対応付けて記録し、
前記評価レベル推定手段は、前記学習語毎に時系列に前記評価レベルを出力する
ようにコンピュータを機能させることを特徴とする請求項１に記載の学習状況推定プログラム。
【請求項３】
前記評価レベル推定手段は、前記語検出手段によって検出された当該学習語及び当該評価語との間の語間距離が長くなるほど、前記評価レベルが低くなるように導出する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載の学習状況推定プログラム。
【請求項４】
前記評価レベル推定手段は、前記語検出手段によって検出された当該学習語及び当該評価語との間の語間距離の逆数と、当該評価語の当該評価レベルとを乗算した値を、評価レベルとして導出する
ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載の学習状況推定プログラム。
【請求項５】
前記テキストを形態素に区分する形態素解析手段を更に有し、
前記語検出手段は、区分された形態素から、前記学習語及び前記評価語を検出する
ようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載の学習状況推定プログラム。
【請求項６】
学習項目について、問題番号と学習語とを対応付けた学習語変換テーブルを更に有し、
前記学習語登録手段は、前記問題番号を学習語として登録しており、
前記評価レベル推定手段は、検出された前記問題番号について、前記変換テーブルを用いて当該問題番号を学習語に変換する
ようにコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載の学習状況推定プログラム。
【請求項７】
前記テキストは、人が発話した音声信号を音声認識によって変換したテキストである
ことを特徴とする請求項１から６のいずれか１項に記載の学習状況推定プログラム。
【請求項８】
前記語検出手段は、前記語間距離として、当該学習語と当該評価語との間の時間幅を用いる
ようにコンピュータを更に機能させることを特徴とする請求項７に記載の学習状況推定プログラム。
【請求項９】
学習項目に基づいて撮影された学習画像を記録する学習画像記録手段と、
前記学習画像から画像認識によって学習語を抽出する画像認識手段と
を更に有し、
前記学習語登録手段は、学習語として指示代名詞を登録しており、
前記評価レベル推定手段が指示代名詞を検出した際に、前記学習画像取得手段が学習画像を取得し、前記画像認識手段が当該学習画像から画像認識によって学習語を認識する
ようにコンピュータを更に機能させることを特徴とする請求項７又は８に記載の学習状況推定プログラム。
【請求項１０】
前記音声信号の音高／音量遷移と、評価レベル補正値とを対応付けた音遷移テーブルを更に有し、
前記評価レベル推定手段は、前記音遷移テーブルを用いて前記音声信号の音高／音量遷移から評価レベル補正値を導出し、前記評価語から導出された評価レベルを補正する
ようにコンピュータを機能させることを特徴とする請求項７から９のいずれか１項に記載の学習状況推定プログラム。
【請求項１１】
前記テキストは、人がその発言をキーボード又は電子ペンによって記述したテキストである
ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載の学習状況推定プログラム。
【請求項１２】
人の発言に基づくテキストから、学習項目に対する評価レベルを推定する装置であって、
学習項目に基づく複数の学習語を登録した学習語登録手段と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録手段と、
前記テキストから前記学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から前記評価語を検出する語検出手段と、
検出された前記学習語に基づく学習項目に、検出された前記評価語に対応する評価レベルを対応付ける評価レベル推定手段と
を有することを特徴とする装置。
【請求項１３】
装置を用いて、人の発言に基づくテキストから、学習項目に対する評価レベルを推定する推定方法であって、
前記装置は、
学習項目に基づく複数の学習語を登録した学習語登録部と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録部と
を有し、
前記装置は、
前記テキストから前記学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から前記評価語を検出する第１のステップと、
検出された前記学習語に基づく学習項目に、検出された前記評価語に対応する評価レベルを対応付ける第２のステップと
を実行することを特徴とする推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の発言に基づくテキストから、学習状況を解析する技術に関する。
【背景技術】
【０００２】
従来、学習の進捗や理解度などの学習状況の測定には、試験の成績データが用いられている。しかし、試験は、その実施に時間及びコストがかかるだけでなく、生徒の課題ややる気などの状況を詳細に把握することはできない。そのために、家庭教師による個別授業や、学校や塾のグループ授業では、教師又はグループリーダが、その授業後に学習状況の記録として、報告書を記載している。
【０００３】
これらの試験の成績データや学習状況の報告書は、生徒の保護者との面談や、今後の授業方針の決定に用いられている。しかし、学習状況の報告書は、個々の教師やグループリーダによって、その執筆内容や記載量に差がある。また、学習状況の報告書は、試験の成績データに比べて、客観的な資料として用いることが困難であった。
【０００４】
例えば、授業内容をまとめて、電子ノートの作成を支援する技術がある（例えば特許文献１参照）。この技術によれば、入力された音声信号を音声認識によってテキストに変換し、そのテキストから登録語を検出する。そして、その登録語をテキスト上でハイライトで表示したり、注意喚起信号を送出することによってユーザを支援する。但し、まとめたノートを作成するのは、人間であって自動化されたものではない。
【０００５】
また、対話の中から重要語を抽出する技術もある（例えば特許文献２参照）。この技術によれば、最初に、対話における発話を分割し、共通出現単語を抽出する。そして、その単語の出現回数が多く、単語の発話間隔の距離が近いものほど、「重要語」として抽出する。但し、重要語を抽出するのみであって、発話内容をまとめるものではない。
【０００６】
更に、質問者の知識量を客観的に推定する技術もある（例えば特許文献３参照）。この技術によれば、質問や説明の発話を判別し、発声状態と使用語彙数の特徴量と予め学習した推定情報に基づいて、質問者の知識量を推定する。但し、この技術によれば、発話内容をまとめるものではない。
【０００７】
尚、自動的に要約を生成する技術もある（例えば非特許文献１参照）。この技術によれば、要約率が１／４程度と高く、必要とされる要点のみを短くまとめることはできない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−０８５９９８号公報
【特許文献２】特開２０１１−２４８４０９号公報
【特許文献３】特開２０１３−１６７７６５号公報
【非特許文献】
【０００９】
【非特許文献１】藤井康寿、「重要文抽出に基づく講義音声の自動要約」、情報処理学会論文誌Vol. 51 No. 3、1094-1106 (Mar. 2010)、[online]、［平成２６年１０月１８日検索］、インターネット＜URL:http://ci.nii.ac.jp/naid/110007970712＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の個別授業やグループ授業によれば、授業後に試験を実施しない限り、学習結果となる理解度を推定することはできない。一方で、試験の実施は、時間やコストがかかるだだけでなく、生徒における時系列な学習状況を把握することもできない。
【００１１】
これに対し、本願の発明者らは、人の発言に基づくテキストから、学習状況として、学習項目に対する評価レベル（例えば理解度）を推定することはできないか？と考えた。前述した特許文献１〜３に記載の技術によれば、人の発言に基づくテキストから、重要語を抽出したり、知識量を推定することはできるが、学習項目に対する評価レベルを推定することまではできない。また、非特許文献１に記載の技術によれば、文章全体を要約することはできるが、人の学習状況を要約推定することまでできない。
【００１２】
そこで、本発明は、人の発言に基づくテキストから、学習状況として、学習項目に対する評価レベルを推定することができるプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、人の発言に基づくテキストから、学習項目に対する評価レベルを推定するようにコンピュータを機能させる学習状況推定プログラムであって、
学習項目に基づく複数の学習語を登録した学習語登録手段と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録手段と、
テキストから学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から評価語を検出する語検出手段と、
検出された学習語に基づく学習項目に、検出された評価語に対応する評価レベルを対応付ける評価レベル推定手段と
してコンピュータを機能させることを特徴とする。
【００１４】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
語検出手段によって当該学習語が検出された際に、当該学習語に時系列符番を対応付けて記録し、
評価レベル推定手段は、学習語毎に時系列に評価レベルを出力する
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
評価レベル推定手段は、語検出手段によって検出された当該学習語及び当該評価語との間の語間距離が長くなるほど、評価レベルが低くなるように導出する
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
評価レベル推定手段は、語検出手段によって検出された当該学習語及び当該評価語との間の語間距離の逆数と、当該評価語の当該評価レベルとを乗算した値を、評価レベルとして導出する
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
テキストを形態素に区分する形態素解析手段を更に有し、
語検出手段は、区分された形態素から、学習語及び評価語を検出する
ようにコンピュータを更に機能させることも好ましい。
【００１８】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
学習項目について、問題番号と学習語とを対応付けた学習語変換テーブルを更に有し、
学習語登録手段は、問題番号を学習語として登録しており、
評価レベル推定手段は、検出された問題番号について、変換テーブルを用いて当該問題番号を学習語に変換する
ようにコンピュータを更に機能させることも好ましい。
【００１９】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
テキストは、人が発話した音声信号を音声認識によって変換したテキストである
ことも好ましい。
【００２０】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
語検出手段は、語間距離として、当該学習語と当該評価語との間の時間幅を用いる
ようにコンピュータを更に機能させることも好ましい。
【００２１】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
学習項目に基づいて撮影された学習画像を記録する学習画像記録手段と、
学習画像から画像認識によって学習語を抽出する画像認識手段と
を更に有し、
学習語登録手段は、学習語として指示代名詞を登録しており、
評価レベル推定手段が指示代名詞を検出した際に、学習画像取得手段が学習画像を取得し、画像認識手段が当該学習画像から画像認識によって学習語を認識する
ようにコンピュータを更に機能させることも好ましい。
【００２２】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
音声信号の音高／音量遷移と、評価レベル補正値とを対応付けた音遷移テーブルを更に有し、
評価レベル推定手段は、音遷移テーブルを用いて音声信号の音高／音量遷移から評価レベル補正値を導出し、評価語から導出された評価レベルを補正する
ようにコンピュータを機能させることも好ましい。
【００２３】
本発明の学習状況推定プログラムにおける他の実施形態によれば、
テキストは、人がその発言をキーボード又は電子ペンによって記述したテキストである
ようにコンピュータを更に機能させることも好ましい。
【００２４】
本発明によれば、人の発言に基づくテキストから、学習項目に対する評価レベルを推定する装置であって、
学習項目に基づく複数の学習語を登録した学習語登録手段と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録手段と、
テキストから学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から評価語を検出する語検出手段と、
検出された学習語に基づく学習項目に、検出された評価語に対応する評価レベルを対応付ける評価レベル推定手段と
を有することを特徴とする。
【００２５】
本発明によれば、装置を用いて、人の発言に基づくテキストから、学習項目に対する評価レベルを推定する推定方法であって、
装置は、
学習項目に基づく複数の学習語を登録した学習語登録部と、
学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録した評価語登録部と
を有し、
装置は、
テキストから学習語を検出すると共に、当該学習語の前方後方の所定語間距離以内から評価語を検出する第１のステップと、
検出された学習語に基づく学習項目に、検出された評価語に対応する評価レベルを対応付ける第２のステップと
を実行することを特徴とする。
【発明の効果】
【００２６】
本発明のプログラム、装置及び方法によれば、人の発言に基づくテキストから、学習状況として、学習項目に対する評価レベルを推定することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の学習状況推定装置における基本的な第１の機能構成図である。
【図２】本発明の学習語登録部に登録された学習語の例を表す説明図である。
【図３】本発明の評価語登録部に登録された評価語の例を表す説明図である。
【図４】本発明によって生成されたリストである。
【図５】本発明の学習状況推定装置における具体的な第２の機能構成図である。
【図６】本発明の学習語変換テーブルを用いた動作説明図である。
【図７】本発明の装置に搭載されたカメラを用いた動作説明図である。
【図８】本発明の音遷移テーブルを用いた動作説明図である。
【図９】本発明における評価度推定システムの機能構成図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２９】
図１は、本発明の学習状況推定装置における基本的な第１の機能構成図である。
【００３０】
図１によれば、人の発言に基づくテキストから、学習項目に対する評価レベルを推定する学習状況推定装置１が表されている。学習状況推定装置１は、端末として機能するものであってもよいし、サーバとして機能するものであってもよい。また、実施形態によれば、マイクやカメラのようなユーザインタフェースを予め搭載した、タブレット端末やスマートフォンであることも好ましい。
【００３１】
図１の学習状況推定装置１によれば、本発明の基本的な機能構成であって、学習語登録部１０１と、評価語登録部１０２と、形態素解析部１１と、語検出部１２と、評価レベル推定部１３とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させる学習状況推定プログラムとして機能する。また、これら機能構成部の処理の流れは、学習状況推定方法としても理解できる。
【００３２】
学習状況推定装置１は、インタフェースを介して、人の発言に基づくテキスト（学習収録テキスト）を入力する。「発言」としては、人が発声した発話であってもよいし、人が記述した文字や文章であってもよい。また、「テキスト」は、学習項目における個別学習やグループ授業について、教師や生徒の発言をテキスト化したものである。
【００３３】
［学習語登録部１０１］
学習語登録部１０１は、学習項目に基づく複数の学習語を登録したものである。「学習語」とは、例えば学習項目の単元や問題を表す語をいう。
【００３４】
図２は、本発明の学習語登録部に登録された学習語の例を表す説明図である。図２によれば、中学生の学年毎に、学習項目としての学習語が登録されている。
【００３５】
［評価語登録部１０２］
評価語登録部１０２は、学習項目に対して発言されるであろう複数の評価語と、各評価語に対応付けられた評価レベルとを登録したものである。
「評価語」とは、学習項目に対して、例えば「できる／できない」「正／誤」のように、人の理解を表す語をいう。評価語としては、例えば教師の指導語や感情語も含まれる。また、評価語及び評価レベルは、人の理解に関するものに限られず、例えば人の興味・嗜好、やる気、鬱などに関するものであってもよい。「評価レベル」は、２値以上の複数の段階で設定される。
【００３６】
図３は、本発明の評価語登録部に登録された評価語の例を表す説明図である。
【００３７】
図３によれば、評価レベルが４段階で設定されている。
強いポジティブ評価  ：＋２
普通のポジティブ評価：＋１
普通のネガティブ評価：−１
強いネガティブ評価  ：−２
【００３８】
尚、他の実施形態として、学習語登録部１０１及び評価語登録部１０２は、学習状況の推定に限られず、学習以外の用途に応じた語を登録するものであってもよい。
【００３９】
［形態素解析部１１］
形態素解析部１１は、インタフェースから入力されたテキストを、形態素に区分する。「形態素」とは、文章の構成要素のうち、意味を持つ最小の単位をいう。形態素解析は、「単語」毎に「品詞」「読み」が登録された辞書を用いて、形態素に分割する。分割された形態素は、語検出部１２へ出力される。
【００４０】
［語検出部１２］
語検出部１２は、最初に、形態素に分割されたテキストから、学習語登録部１０１に登録された「学習語」を、パターン一致によって検出する。次に、当該学習語の前方後方の所定語間距離（近傍度）以内から、評価語登録部１０２に登録された「評価語」を検出する。語間距離が短いほど（近傍度が高いほど）、学習語と評価語とは密接な関係にあると考える。
【００４１】
ここで、「語間距離」とは、いわゆるシソーラスを用いた意味的な関連度の単語間距離や、外国語間の差異を示す言語間距離ではない。本発明の語間距離は、例えば、学習語と評価語等との間の単語数であってもよい。
【００４２】
また、「語間距離」は、１文（センテンス）内に制限して計測してもよい。単純に、学習語と評価語とのペアは、主語と述語との関係にあることが多い。単語数による語間距離は、発話が無く時間的に離れていても、言語の並び順による距離は近いと判断する場合がある。一方で、文単位の場合、１つの意味合いがまとまって含まれるために、正当に密接な関係を検出することができる。
【００４３】
また、評価語は、学習語の「前方」「後方」の所定語間距離以内から検出する。このとき、学習語の「後方」から評価語を検出することが好ましい。図１によれば、書き起こしテキストに対する適合率の例が記載されている。適合率とは、図１の装置１における評価レベル推定部１３から出力された結果に対して、人手によって適合するか否かを判定したものである。ここで、後方評価語の適合率の方が、前方評価語の適合率よりも、全体的に高いことが理解できる。また、単語間距離が、６文字〜１０文字程度の適合率が最も高いことが理解できる。
【００４４】
他の実施形態として、語検出部１２は、当該学習語が検出された際に、当該学習語に時系列符番を対応付けて記録することも好ましい。学習項目毎に、生徒の理解度や進捗状況を表す評価語を、時系列なリストとして生成することができる。このようなリストは、その生徒に対する指導方針に役立てることもできる。
【００４５】
［評価レベル推定部１３］
評価レベル推定部１３は、検出された学習語に基づく学習項目に、検出された評価語に対応する評価レベルを対応付ける。これによって、学習項目毎に、生徒の理解度や進捗状況を表す評価レベルを、時系列なリストとして生成することができる。
【００４６】
図４は、本発明によって生成されたリストである。
【００４７】
図４（ａ）は、テキストから検出された学習語、評価語及び評価レベルを対応付けたリストａである。このリストａによれば、学習語には時系列番号が付与され、評価語には語間距離が付与されている。そして、学習語及び評価語のペア毎に、評価レベルが＋２〜−２の範囲で付与されている。図４（ａ）によれば、２個の評価語が対応付けられているが、少なくとも１個の評価語が対応付けられていればよい。
【００４８】
図４（ｂ）は、学習項目毎に、評価レベルと参考評価語とを対応付けたリストｂである。学習項目の評価レベルは、例えば、複数の評価レベルにおける加算平均値であってもよい。
学習項目の評価レベル＝ΣiN（評価レベル×語間距離の逆数）／N
N：学習項目の学習語の出現回数
これによって、学習語及び当該評価語との間の語間距離が長いなるほど、評価レベルが低くなるように、評価レベルを導出することができる。
【００４９】
図５は、本発明の学習状況推定装置における具体的な第２の機能構成図である。
【００５０】
図５の装置によれば、図１の機能構成部に加えて、マイク１０３と、テキスト入力インタフェース（キーボード／電子ペン）１０４と、ディスプレイ１０５と、カメラ１０６と、音声認識部１４と、学習語変換テーブル１５と、学習画像記録部１６と、画像認識部１７と、音遷移テーブル１８とを更に有する。
【００５１】
［マイク１０３］
マイク１０３は、授業の個別学習やグループ授業における教師及び生徒の発話音声を収音する。周辺雑音を抑制すると共に、発話音声がオーバラップしても識別できるようにするために、近接マイクであることが好ましい。収音された発話音声は、音声認識部１４へ出力される。
【００５２】
［音声認識部１４］
音声認識部１４は、人が発話した音声信号を音声認識によって変換したテキストを出力する。そのテキストは、形態素解析部１１を介して語検出部１２に入力される。音声認識の単語認識率を向上させるために、言語モデルである学習状況に関する単語辞書を備え、テキストコーパスを集約することが好ましい。また、音響モデルとして、発話者の音響サンプルを学習し、特定話者を認識にすることも好ましい。一方で、本発明によれば、学習語及び評価語のみを検出できればよいので、一般の音声認識技術に必要な高い認識率は必ずしも必要ではない。話者認識までも必要とすることなく、汎用辞書のみを用いたものであってもよい。
【００５３】
［テキスト入力インタフェース１０４］
テキスト入力インタフェース１０４は、授業の個別学習やグループ授業における教師及び生徒が記述したテキストを入力する。そのテキストは、形態素解析部１１を介して語検出部１２に入力される。例えば遠隔授業の場合、授業で生徒が理解していない部分を、教師が筆記して説明することも多い。そのためにも、記述されたテキストも取得することが好ましい。
【００５４】
尚、他の実施形態として、テキスト入力インタフェース１０４に対して、電子ペンによって筆記する場合、筆記文字だけでなく、筆記速度又は筆圧のデータ値も取得することができる。筆記速度及び筆圧は、教師の説明する姿勢の強さが表れる。それは生徒の理解度が低い場合と想定できる。筆記速度又は筆圧のデータ値を、評価レベルに対する補正値として用いることもできる。
【００５５】
（語検出部１２）
前述したように、語間距離を「単語数」とした場合、人の発話が無く、時間的に離れていても、言語の並び順による距離が近いために言語関係を誤って判定する場合がある。そこで、語検出部１２は、音声認識によって生成されたテキストの場合、語間距離として、当該学習語と当該評価語との間の「時間幅」を用いる。時間幅が短いほど、学習語と評価語とは密接な関係にあると考える。但し、発話音声のテキストと筆記のテキストとの両方について、時刻が同期している必要がある。
【００５６】
音声信号を利用した場合であっても、学習語の「後方」から評価語を検出することが好ましい。図５によれば、音声認識されたテキストに対する適合率の例が記載されている。ここで、後方評価語の適合率の方が、前方評価語の適合率よりも、全体的に高いことが理解できる。
【００５７】
［学習語変換テーブル１５］（評価レベル推定部１３）
学習語変換テーブル１５は、学習項目について、「問題番号」と「学習語」とを対応付けたものである。
【００５８】
授業中には、学習語として、単元や小単元、学習項目の名称ではなく、教科書や問題集、ドリル等の問題番号やページ番号で発話されることも多い。このとき、学習項目の名称として、学習語を検出することはできない。問題番号のみでは、教師及び生徒の当事者同士は互いに認識できているものの、第三者にとってその学習項目を認識することはできない。そこで、評価レベル推定部１３が、その問題番号に対応する学習語を認識することができるように、学習語変換テーブル１５を備える。
【００５９】
図６は、本発明の学習語変換テーブルを用いた動作説明図である。
【００６０】
図６によれば、学習語登録部１０１は、学習語変換テーブル１５の「問題番号」を、学習語として登録している。評価レベル推定部１３は、検出された学習語としての「問題番号」について、学習語変換テーブル１５を用いて当該問題番号を学習語に変換する。これによって、当該学習語に基づく学習項目に、検出された評価語に対応する評価レベルを対応付けることができる。
【００６１】
図６によれば、テキストから、学習語「３の１」が検出され、その学習語に対する評価語「注意」が検出されたとする。このとき、学習語変換テーブル１５によれば、「３の１」は「現在進行形」に変換される。これによって、学習語「現在進行形」に対して評価語「注意」が対応付けられる。
【００６２】
［ディスプレイ１０５］
ディスプレイ１０５は、評価レベル推定部１３から出力された結果としてのリストを表示することができる。また、学習語記録部１６によって撮影された学習画像の中で、語検出部１２から指示代名詞として指示された時の学習画像を表示する。
【００６３】
［カメラ１０６］
カメラ１０６は、例えば生徒が学習している机上の教科書や問題用紙を、学習画像として常時撮影しているものである。カメラ１０６は、短時間毎に間欠的に学習画像を撮影する。撮影された学習画像は、その撮影時刻と共に、学習画像記録部１６へ出力される。
【００６４】
［学習画像記録部１６］
学習画像記録部１６は、カメラ１０６によって撮影された学習画像を逐次記録している。また、語検出部１２から指示代名詞として指示された時、その学習画像をディスプレイ１０５へ出力する。
【００６５】
［画像認識部１７］
画像認識部１７は、学習画像記録部１６に記録された学習画像から、画像認識によって学習語を抽出する。具体的には、語検出部１２から指示代名詞として指示された時、学習画像記録部１６から出力された学習画像から、学習語を認識する。
【００６６】
図７は、本発明の装置に搭載されたカメラを用いた動作説明図である。
【００６７】
図７によれば、学習語登録部１０１に、学習語として指示代名詞「この」「これ」等を登録している。授業中に発話される学習語は、単元や小単元、学習項目の名称ではなく、「この」「これ」等の指示代名詞で話されることがある。これらの指示代名詞を学習語として抽出することができたとしても、教師と生徒の当事者以外の者は、その学習内容が具体的に何であったかが分からない。
【００６８】
そこで、語検出部１２は、「この」「これ」が検出された際（又はその時刻）に、学習画像記録部１６へ指示する。学習画像記録部１６は、その時（又は同じ撮影時刻）の学習画像をディスプレイ１０５へ出力すると共に、画像認識部１７へ出力する。画像認識部１７は、その学習画像から、例えば問題番号を認識する。図７によれば、学習語「この」が検出された際に、その時の学習画像から「３の１」が認識される。そして、「３の１」に対応する学習語を、学習語変換テーブル１５によって変換される。結果的に、指示代名詞「この」から、学習語「現在進行形」が得られる。
【００６９】
尚、教師が、筆記用具や指で示す場合、ペン先や指先の形状を抽出する画像認識技術を用いたものであってもよい。
また、カメラ１０６によって撮影された学習画像から文字を認識できない場合、その学習画像を評価語とリンクさせて記憶しておくものであってもよい。
【００７０】
図８は、本発明の音遷移テーブルを用いた動作説明図である。
【００７１】
発話音声をテキスト化した場合、例えば同音異義語については、評価レベルが異なる場合がある。例えば形態素解析によって「いい」という言語があったとしても、以下のように評価レベルが異なる。
「良い」というポジティブな意味
「いいのか」というネガティブな意味
「もういい」という必要がないという意味
「いい？」と語尾を上げて了解を確認する意味
また、言語の強調する程度やニュアンスなども分からない場合が多い。
【００７２】
この場合、収音した発話音声から、音響情報を解析し、音高による抑揚の変化、音量の大小、又は、発話言語のイントネーションを取得し、正確な意味合いを把握することが好ましい。図５によれば、評価レベル推定部１３は、音声信号の音高／音量遷移と、評価レベル補正値とを対応付けた音遷移テーブル１８を参照する。図８によれば、経過時間に対する音高／音量の遷移に対して、以下のような評価レベルの補正値を設定する。
ポジティブな「いい！」の音高／音量である場合：補正値１
疑問的な    「いい！」の音高／音量である場合：補正値０．５
評価レベル推定部１３は、音遷移テーブル１８を用いて音声信号の音高／音量遷移から、「いい」の評価レベル補正値を導出する。そして、その評価語から導出された評価レベルを補正する。具体的には、「いい」の評価レベルに対して、補正値を乗算することによって、最終的な評価レベルを決定する。
【００７３】
図９は、本発明における評価度推定システムの機能構成図である。
【００７４】
図９によれば、図５の機能構成部をそれぞれ、端末と推定サーバとに割り当てることによって、システムとして学習状況を推定する機能を実現する。
端末は、マイク１０３、テキスト入力インタフェース１０４、ディスプレイ１０５及びカメラ１０６を搭載した端末は、音声認識部１４と、学習画像記録部１６とを有する。
これに対し、推定サーバは、学習語登録部１０１と、評価語登録部１０２と、形態素解析部１１と、語検出部１２と、評価レベル推定部１３と、学習語変換テーブル１５と、画像認識部１７と、音遷移テーブル１８とを有する。
【００７５】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、人の発言に基づくテキストから、学習状況として、学習項目に対する評価レベルを推定することができる。
【００７６】
学習語と評価語と評価レベルが時系列に並ぶリストによって、学習状況を把握することができる。例えば、同じ学習語であっても、授業の前半には理解度が低かったものの、後半には理解度が高くなり、学習内容を習得している状況を把握することもできる。また、ある学習語の発話回数が多かったり、その学習語が長時間に渡って検出される場合、教師が時間をかけて指導していることが推定され、学習内容の理解が進んでないことも把握できる。このような学習状況を表すリストは、その後の学習方針の決定にも用いることができる。
【００７７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７８】
１  学習状況推定装置
１０１  学習語登録部
１０２  評価語登録部
１０３  マイク
１０４  テキスト入力インタフェース
１０５  ディスプレイ
１０６  カメラ
１１  形態素解析部
１２  語検出部
１３  評価レベル推定部
１４  音声認識部
１５  学習語変換テーブル
１６  学習画像記録部
１７  画像認識部
１８  音遷移テーブル
【図１】
0006425493.tif 000002
【図２】
0006425493.tif 000003
【図３】
0006425493.tif 000004
【図４】
0006425493.tif 000005
【図５】
0006425493.tif 000006
【図６】
0006425493.tif 000007
【図７】
0006425493.tif 000008
【図８】
0006425493.tif 000009
【図９】
0006425493.tif 000010