(57)【特許請求の範囲】
【請求項１】
記述式問題のための知的採点方法であって、
記述式問題の解答の画像を取得するステップと、
前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップと、
標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断するステップと、
標準解答の文字数と同じ文字数の切り分け結果がなければ、解答が間違っていると特定するステップと、
標準解答の文字数と同じ文字数の切り分け結果があれば、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、および／または、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップと、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップと、を含むことを特徴とする方法。
【請求項２】
前記記述式問題の解答の画像を取得するステップは、
解答カードの画像を取得するステップと、
解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するステップと、
前記対象解答領域から記述式問題の解答の画像を抽出するステップと、を含むことを特徴とする、
請求項１に記載の方法。
【請求項３】
前記解答カードの画像を取得するステップは、
光学式マーク読取装置（ＯＭＲ）、高速撮影装置あるいは移動端末機器を用いて解答カードの画像を取得するステップを含むことを特徴とする、
請求項２に記載の方法。
【請求項４】
前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップは、
前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するステップと、
前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出するステップと、
前記統合信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップと、を含むことを特徴とする、
請求項１に記載の方法。
【請求項５】
前記統合信頼度を算出するステップは、
統合により得られたキャラクタからキャラクタ特徴を抽出するステップと、
予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するステップと、を含むことを特徴とする、
請求項４に記載の方法。
【請求項６】
前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するステップと、
同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択するステップと、
前記パスの事後スコアを算出し、前記事後スコアを前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きければ、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
請求項１から請求項５の何れか一項に記載の方法。
【請求項７】
前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するステップと、
前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するステップと、
選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
請求項１から請求項５の何れか一項に記載の方法。
【請求項８】
前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するステップと、
各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
請求項１から請求項５の何れか一項に記載の方法。
【請求項９】
記述式問題のための知的採点システムであって、
画像取得モジュールと、切分モジュールと、第１判断モジュールと、算出モジュールと、第２判断モジュールと、出力モジュールと、を備え、
前記画像取得モジュールは、記述式問題の解答の画像を取得し、
前記切分モジュールは、前記画像取得モジュールによって取得された解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得し、
前記第１判断モジュールは、前記切分モジュールによって取得された切り分け結果のうち、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断し、標準解答の文字数と同じ文字数の切り分け結果がないと判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガし、そうではない場合、前記算出モジュールが同一性信頼度を算出するようトリガし、
前記算出モジュールは、第１算出モジュール、および／または、第２算出モジュールを備え、前記第１算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、前記第２算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出し、
前記第２判断モジュールは、前記算出モジュールによって算出された同一性信頼度に基づいて解答が正しいか否かを特定し、解答が正しいと判断した場合、解答が正しい旨の指示情報を前記出力モジュールが出力するようトリガし、解答が間違っていると判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガすることを特徴とするシステム。
【請求項１０】
前記画像取得モジュールは、
解答カードの画像を取得するための画像取得手段と、
解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するための解答領域抽出手段と、
前記対象解答領域から記述式問題の解答の画像を抽出するための解答内容抽出手段と、を備えることを特徴とする、
請求項９に記載のシステム。
【請求項１１】
前記画像取得手段は、光学式マーク読取装置（ＯＭＲ）、高速撮影装置、または移動端末機器であることを特徴とする、
請求項１０に記載のシステム。
【請求項１２】
前記切分モジュールは、
前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するための切分手段と、
前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出するための信頼度算出手段と、
前記統合信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するための統合結果特定手段と、を備えることを特徴とする、
請求項９に記載のシステム。
【請求項１３】
前記信頼度算出手段は、
前記細かく切り分けられたサブブロックを統合するための統合サブ手段と、
統合により得られたキャラクタからキャラクタ特徴を抽出するための抽出サブ手段と、
予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するための算出サブ手段と、を備えることを特徴とする、
請求項１２に記載のシステム。
【請求項１４】
前記第１算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、
同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択するための第１選択手段と、
前記パスの事後スコアを算出し、前記事後スコアを前記切り分け結果の同一性信頼度とするための第１算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きい場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
請求項９から請求項１３の何れか一項に記載のシステム。
【請求項１５】
前記第２算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するための第２同定手段と、
前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するための第２選択手段と、
選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするための第２算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
請求項９から請求項１３の何れか一項に記載のシステム。
【請求項１６】
前記第２算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、
各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記標準解答の文字数と同じ文字数の切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするための第３算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
請求項９から請求項１３の何れか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術分野に関し、具体的に、記述式問題（文字を記入する問題、TEXT OBJECTIVE QUESTION）のための知的採点方法およびシステムに関する。
【背景技術】
【０００２】
コンピュータ技術および教育情報化の継続的な発展とともに、コンピュータと人工知能技術は、徐々に日常的な教育活動の各側面に応用されつつある。例えば、教育補助、教育評価等の実際の応用場面に活用されている。中国内の現在の基礎教育、生徒の学習状況に対する主な考察形式として、各タイプの試験やテストがある。このような状況において、教師が宿題および解答用紙をチェックするには、大変な手間がかかる。その事実を受け止め、大中規模あるいは重要性の高い試験やテストにおいて、各種の自動採点システムが既に普及し採用されてきたため、教師による採点の仕事量をある程度低減させることができる。
【０００３】
しかし、従来の自動採点システムにおいて、完全にコンピュータによって採点される部分は、ほとんどが塗り潰しのような客観式問題（例えば、選択式問題）に対するものであり、書き込み等の記述式問題に対する採点については、いまだ大勢の教師たちを集めて作業させざるを得ないどころか、大規模試験の採点前に採点を行う教師を集中訓練し、テストする必要がある。そのため、従来の自動採点システムの人的資源の消耗は相変わらず激しい。さらに、採点時に、異なる教師の傾向、気分、心理状態等の主観的な要素により、採点結果が公平ではない恐れもある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、記述式問題の自動採点を達成し、人的資源の消耗を軽減し、ならびに、採点効率および正確性の向上を図る、記述式問題のための知的採点方法およびシステムを提供する。
【課題を解決するための手段】
【０００５】
そこで、本発明の実施例は、以下の解決手段を提供する。
【０００６】
本発明の実施例は、記述式問題のための知的採点方法を提供する。当該方法は、記述式問題の解答の画像を取得するステップと、前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップと、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断するステップと、標準解答の文字数と同じ文字数の切り分け結果がなければ、解答が間違っていると特定するステップと、標準解答の文字数と同じ文字数の切り分け結果があれば、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度（identificial confidence）を算出し、および／または、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップと、算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップとを含む。
【０００７】
好ましくは、前記記述式問題の解答の画像を取得するステップは、解答カードの画像を取得するステップと、解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するステップと、前記対象解答領域から記述式問題の解答の画像を抽出するステップとを含む。
【０００８】
好ましくは、前記解答カードの画像を取得するステップは、光学式マーク読取装置（ＯＭＲ）、高速撮影装置あるいは移動端末機器を用いて解答カードの画像を取得するステップを含む。
【０００９】
好ましくは、前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップは、前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するステップと、前記細かく切り分けられたサブブロックを統合して、統合信頼度（combination confidence）を算出するステップと、前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップとを含む。
【００１０】
好ましくは、前記統合信頼度を算出するステップは、統合により得られたキャラクタからキャラクタ特徴を抽出するステップと、予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するステップとを含む。
【００１１】
好ましくは、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出するステップは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃える（整列させる）ステップと、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化（デコーディング）および同定を行って各同定結果の尤度スコアを取得するステップと、同定結果から、復号パス（a decoding path）が標準解答に一致するパスの尤度スコアを選択するステップと、前記パスの事後スコアを算出し、前記事後スコアを前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度とするステップとを含む。
【００１２】
相応して、前記算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きければ、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含む。
【００１３】
好ましくは、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するステップと、前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するステップと、選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするステップとを含む。
【００１４】
相応して、前記算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含む。
【００１５】
好ましくは、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するステップと、各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするステップとを含む。
【００１６】
相応して、前記算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含む。
【００１７】
本発明の実施例は、記述式問題のための知的採点システムをさらに提供する。当該システムは、画像取得モジュールと、切分モジュールと、第１判断モジュールと、算出モジュールと、第２判断モジュールと、出力モジュールとを備える。
【００１８】
前記画像取得モジュールは、記述式問題の解答の画像を取得する。
【００１９】
前記切分モジュールは、前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得する。
【００２０】
前記第１判断モジュールは、前記切分モジュールによって取得された切り分け結果のうち、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断し、標準解答の文字数と同じ文字数の切り分け結果がないと判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガし、そうではない場合、前記算出モジュールが同一性信頼度を算出するようトリガする。
【００２１】
前記算出モジュールは、第１算出モジュール、および／または、第２算出モジュールを備える。前記第１算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、前記第２算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出する。
【００２２】
前記第２判断モジュールは、前記算出モジュールによって算出された同一性信頼度に基づいて解答が正しいか否かを特定し、解答が正しいと判断した場合、解答が正しい旨の指示情報を前記出力モジュールが出力するようトリガし、解答が間違っていると判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガする。
【００２３】
好ましくは、前記画像取得モジュールは、解答カードの画像を取得するための画像取得手段と、解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するための解答領域抽出手段と、前記対象解答領域から記述式問題の解答の画像を抽出するための解答内容抽出手段とを備える。
【００２４】
好ましくは、前記画像取得手段は、光学式マーク読取装置（ＯＭＲ）、高速撮影装置、または移動端末機器である。
【００２５】
好ましくは、前記切分モジュールは、前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するための切分手段と、前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出するための信頼度算出手段と、前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するための統合結果特定手段とを備える。
【００２６】
好ましくは、前記信頼度算出手段は、前記細かく切り分けられたサブブロックを統合するための統合サブ手段と、統合により得られたキャラクタからキャラクタ特徴を抽出するための抽出サブ手段と、予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するための算出サブ手段とを備える。
【００２７】
好ましくは、前記第１算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択するための第１選択手段と、前記パスの事後スコアを算出し、前記事後スコアを前記切り分け結果の同一性信頼度とするための第１算出手段とを備える。
【００２８】
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きい場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【００２９】
好ましくは、前記第２算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するための第２同定手段と、前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するための第２選択手段と、選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするための第２算出手段とを備える。
【００３０】
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【００３１】
好ましくは、前記第２算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記標準解答の文字数と同じ文字数の切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするための第３算出手段とを備える。
【００３２】
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【発明の効果】
【００３３】
本発明の実施例に供される記述式問題のための知的採点方法およびシステムでは、標準解答が既知の記述式問題について、解答の事前情報を用いて手書き文字列に対する同定を行うことにより、記述式問題の自動採点が実施できるため、コンピュータにて記述式問題採点を全自動的に行うことができない一方で、人力の採点により人的資源の消耗が激しいこと、教師の仕事のプレッシャが大きいこと、教師の主観要素による採点結果が正確ではないなどの、従来の自動採点システムにおける問題を解決する。
【図面の簡単な説明】
【００３４】
本出願の実施例や従来技術における技術をより明瞭に説明するために、実施例の説明に必要な図面を以下に簡単に紹介する。明らかに、下記の図面は単に本発明に記載の幾つかの実施例であり、当業者であれば、これらの図面から他の図面を得ることができる。
【００３５】
【図１】本発明の実施例における記述式問題のための知的採点方法のフローチャートである。
【００３６】
【図２】本発明の実施例における解答の画像切分例である。
【００３７】
【図３】本発明の実施例における解答の画像を切り分けるフローチャートである。
【００３８】
【図４】本発明の実施例における同一性信頼度を算出する１つのフローチャートである。
【００３９】
【図５】本発明の実施例における同一性信頼度を算出する別のフローチャートである。
【００４０】
【図６】本発明の実施例における同一性信頼度を算出する別のフローチャートである。
【００４１】
【図７】本発明の実施例における記述式問題のための知的採点システムの構造を示す模式図である。
【００４２】
【図８】本発明の実施例における第１算出モジュールの構造を示すブロック図である。
【００４３】
【図９】本発明の実施例における第２算出モジュールの１の構造を示すブロック図である。
【００４４】
【図１０】本発明の実施例における第２算出モジュールの別の構造を示すブロック図である。
【発明を実施するための形態】
【００４５】
当業者が本発明の実施例の技術手段をより理解できるように、添付の図面および実施形態を参照して本発明の実施例をさらに詳細に説明する。
【００４６】
本発明の実施例における記述式問題のための知的採点方法およびシステムでは、標準解答を有する文字入力型試験問題の解答用紙、例えば穴埋め問題の解答用紙について、標準解答の事前情報を用いて手書き文字列に対する同定を行うことで、記述式問題の自動採点を実施する。
【００４７】
図１は、本発明の実施例における記述式問題のための知的採点方法を示すフローチャートであり、以下のステップを含む。
【００４８】
ステップ１０１では、記述式問題の解答の画像を取得する。
【００４９】
前記記述式問題の解答の画像そのものは、解答の文字列の画像である。本発明の実施例において、前記解答の文字列は、漢字文字列、英文文字列等であってもよい。
【００５０】
解答の画像を取得する具体的な手順は、下記の通りである。
【００５１】
（１）解答カードの画像を取得する。
【００５２】
解答カードの画像の取得は、光学式マーク読取装置（ＯＭＲ）を用いて走査してもよいし、高速撮影装置、移動端末等の機器を用いて撮影してもよい。
【００５３】
（２）解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出する。
【００５４】
実際の応用において、対象解答領域を分割し抽出する前に、正確な対象解答領域が抽出されるように、先に解答カードの画像を前処理してもよい。前記前処理は、解答カードの画像に対する測位、校正、ノイズ低減、コントラスト向上、グレー化等の操作を含んでもよい。具体的な処理方法が従来の自動採点システムにおける解答カードの画像前処理方法と同じであるため、ここで繰り返し説明しない。
【００５５】
解答カードのレイアウト情報は、既知の事前情報である。解答カードの画像を測位すれば、解答カードの画像の測位情報を取得可能である。これらの情報をもとに、エッジ検出により、対象解答領域を正確に分割し抽出することができる。
【００５６】
（３）前記対象解答領域から記述式問題の解答の画像を抽出する。
【００５７】
対象解答領域が取得された後、解答カードのレイアウト情報に基づいて、エッジ点検出により、解答の画像を取得することができる。当該解答の画像は、解答の文字列の画像である。
【００５８】
ステップ１０２では、前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得する。
【００５９】
具体的な切り分け手順は、後述する。
【００６０】
また、留意すべきことは、実際の応用において、前記解答の画像を切り分ける前に、解答の画像を前処理してより正確な切り分け結果を取得してもよい。前記前処理は、解答の画像に対する二値化処理、手書き文字の傾斜校正、手書き文字の細径化等を含んでもよい。
【００６１】
ステップ１０３では、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断する。あれば、ステップ１０４を実行し、なければ、ステップ１０６を実行する。
【００６２】
複数の異なる統合結果があるため、ステップ１０２において得られた、複数の切り分け結果は、異なる文字数を有することになる。標準解答の文字数と同じ文字数の切り分け結果は、正しい可能性の一番高い解答である。本発明の技術が標準解答を有する文字入力型客観試験問題に対するものであるため、文字数が異なれば、解答が間違っていると特定できる。切り分け結果の文字数が標準解答の文字数と同じ場合、当該解答が正しいか否かをさらに判断する必要がある。
【００６３】
ステップ１０４では、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、および／または、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出する。
【００６４】
ステップ１０５では、算出された同一性信頼度に基づいて解答が正しいか否かを特定する。
【００６５】
同一性信頼度の算出方式は、複数種ありえる。相応して、異なる算出方式により得られた同一性信頼度に基づいて解答が正しいか否かを特定することも複数ある。詳細は、後述する。
【００６６】
ステップ１０６では、解答が間違っていると特定する。
【００６７】
本発明の実施例に供される記述式問題のための知的採点方法では、標準解答が既知の記述式問題について、解答の事前情報を用いて手書き文字列の同定を行うことにより、記述式問題の自動採点が実施できるため、コンピュータにて記述式問題の採点を全自動で行うことができない一方で、人力の採点により人的資源の消耗が激しいこと、教師の仕事のプレッシャが大きいこと、教師の主観要素により採点結果が正確ではないなどの、従来の自動採点システムにおける問題を解決する。
【００６８】
図３は、本発明の実施例における解答の画像を切り分けるフローチャートであり、以下のステップを含む。
【００６９】
ステップ３０１では、解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得する。
【００７０】
例えば、解答の画像の最左上端の黒色画素点から８隣接領域の黒色拡張を開始して、画像全体を、黒色画素からなる連通サブ領域の幾つかに分割する。図２は、切り分け例であり、黒色筆跡部分に対して連通領域の分割が行われ、元の１つの文字列画像が幾つかの断片に分けられる。これらの断片は、いずれも個々の文字を構成する部品であり、偏旁や部首であったり、書き方の相違により単一の筆跡部分である可能性がある。これらの断片を組み合わせると異なるキャラクタをなす。
【００７１】
ステップ３０２では、前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出する。
【００７２】
例えば、細かく切り分けられたサブブロックに対して全数統合、即ち、統合可能なあらゆる細かく切り分けられたサブブロックを逐一統合してもよい。例えば、細かく切り分けられたサブブロックが５つある場合、以下の幾つかの統合方式が存在する。
【００７３】
（１）キャラクタが１つあるとすれば、細かく切り分けられたサブブロック１、２、３、４、５を統合する。
【００７４】
（２）キャラクタが２つあるとすれば、細かく切り分けられたサブブロック１、２、３、４を統合する。細かく切り分けられたサブブロック１、２、３を統合し、細かく切り分けられたサブブロック４、５を統合する。細かく切り分けられたサブブロック１、２を統合し、細かく切り分けられたサブブロック３、４、５を統合する。細かく切り分けられたサブブロック２、３、４、５を統合する。
【００７５】
このようにして、５つのキャラクタがあるとみなされるまで、同じ操作が実行される。
【００７６】
前記統合信頼度は、統合後に得られたキャラクタの正確性を示す。具体的に、統合後のキャラクタの高さ、幅、縦横比、キャラクタ外ピッチ（例えば図２の文字において、文字間の距離、即ち符号７の「果」と符号８の「木」の間の距離）、キャラクタ内ピッチ（例えば図２の文字において、文字内部の距離、即ち符号６の「木」と符号７の「果」の間の距離）等の特徴を抽出し、システムにより予め訓練された規則統計モデルに基づいて尤度スコアを取得し、当該スコアを現在の統合結果の信頼度としてもよい。
【００７７】
前記規則統計モデルは、訓練データを切り分けた後の、キャラクタの高さ、幅、縦横比、キャラクタ外ピッチ、キャラクタ内ピッチ等の抽出された特徴に基づいて訓練された統計モデルである。当該モデルは、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ、ガウス混合モデル）あるいはＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、サポートベクターマシン）等であってもよい。
【００７８】
統合信頼度の算出、即ち、統合結果から抽出された特徴に基づいて規則統計モデルにより尤度スコアを算出する。つまり、統合スコアを算出する。そして、当該スコアに基づいて統合信頼度を特定する。当該スコアをそのまま対応する統合信頼度としてもよい。
【００７９】
ステップ３０３では、前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得する。
【００８０】
具体的に、信頼度が設定された閾値より大きい場合、当該統合が信頼できると見なされ、そうでない場合、当該統合が信頼できないと見なされる。さらに、信頼できる統合結果に基づいて、１つまたは複数の同定すべき解答の文字列を取得する。
【００８１】
留意すべきことは、実際の応用において、統合前、あるいは統合信頼度を判断する際、経験や実験を介して幾つかの判断規則を設定してもよい。例えば、１つの漢字の筆跡が３つの細かく切り分けられたサブブロックを超えない等にして、文字列切り分け結果が正しいか否かの判断をさらに補助や先導して、判断の正確性を高める。
【００８２】
本発明の実施例において、標準解答の文字数と同じ文字数の各切り分け結果の同一性信頼度を算出し、および／または、標準解答の文字数と同じ文字数の各切り分け結果における各キャラクタの同一性信頼度を算出し、算出した同一性信頼度に基づいて解答が正しいか否かを特定する必要がある。実際の応用において、算出および判断方法が複数ありえる。以下にそれぞれ説明する。
【００８３】
図４は、本発明の実施例における同一性信頼度を算出するフローチャートである。当該実施例では、各切り分け結果の同定尤度スコアを算出してから、当該同定尤度スコアに基づいて当該切り分け結果の同一性信頼度を算出する必要がある。
【００８４】
標準解答の文字数と同じ文字数の切り分け結果ごとに、その同一性信頼度を算出する具体的な手順は、以下のステップを含む。
【００８５】
ステップ４０１では、切り分け結果を標準解答のテキスト文字列に揃える。
【００８６】
つまり、切り分け結果における各切り分けられた断片を順に標準解答のテキスト文字列における各キャラクタに一つ一つ揃える（整列させる）。切り分けられた断片の順番に沿う各断片は、１つのキャラクタを示す。
【００８７】
ステップ４０２では、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得する。
【００８８】
前記言語モデルは、Ｎ−Ｇｒａｍモデルであってもよく、その具体的な算出数式が下記になる。
【００８９】
【数１】
0006484333.tif 000002
【００９０】
ただし、ｐ(Ｘ，Ｗｋ)は、切り分け結果の全文Ｘの第ｋ番目の同定結果の尤度スコアを表し、Ｍは、切り分け結果における断片の総数であり、Ｋは、全文の同定結果数であり、ｐ(ｘｉ｜ｗｋｉ)は、第ｉ番目の断片ｘｉがパスＷｋにおける第ｉ番目のキャラクタｗｋｉとして同定される尤度スコアを表し、ｐ(ｗｋｉ｜ｈ１ｉ−１)は、１からｉ−１の同定結果が与えられた後でｗｋｉと同定する事前確率を表す。
【００９１】
ステップ４０３では、同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択する。
【００９２】
ステップ４０４では、前記パスの事後スコアを算出し、前記事後スコアを前記切り分け結果の同一性信頼度とする。
【００９３】
具体的に、まず、同定した復号パスが標準解答と一致するパスの尤度スコアを選択し、次に、切り分け結果の全文同一性信頼度を算出し、その算出数式が下記になる。
【００９４】
【数２】
0006484333.tif 000003
【００９５】
ただし、Ｗｙは、標準解答に一致する同定した復号パスを表し、ｐ(ｘｉ｜ｗｙｉ)は、第ｉ番目の切り分けられた断片ｘｉが標準解答に一致するパスＷｙにおける第ｉ番目のキャラクタｗｙｉとして同定される尤度スコアを表し、ｐ(ｗｙｉ｜ｈ１ｉ−１)は、１からｉ−１の同定結果が与えられた後で標準解答に一致するｗｙｉとして同定される事前確率を表し、Ｋの値は、あらゆる同定結果数であってもよい。さらに、算出量を減らすために、Ｋは、比較的に小さい値、例えば、５０に適宜選択されてもよい。当該値の選択は、経験や実験結果に基づいて特定されてもよい。
【００９６】
相応して、上記方法にしたがって各切り分け結果の同一性信頼度を取得した後、解答が正しいか否かを特定する判断は、下記のようになる。何れかの切り分け結果の同一性信頼度が第１信頼度閾値より大きい場合、解答が正しいと特定し、そうでない場合、解答が間違っていると特定する。
【００９７】
例えば、標準解答のテキストが「黄河入海流」である。同定すべき文字列の切り分け結果に対して、音響モデルおよび言語モデルを用いて手書き復号化および同定を行って、３つの同定結果を取得したとする。当該３つの同定結果がそれぞれ「黄河入海流」、「黄河人海流」、「黄河入洋流」であり、その対応する尤度スコアがそれぞれ９０、５４、３６である。同定結果において復号パスが標準解答に一致するパス「黄河入海流」の尤度スコア９０を選択し、当該パスの事後スコアを０．５として算出する。同一性信頼度に基づいて解答に対して正誤判断を行う際、同定結果が標準解答に一致する「黄河入海流」の事後スコアが第１信頼度閾値より大きいか否かを判断する。
【００９８】
図５は、本発明の実施例における同一性信頼度を算出する１つのフローチャートである。当該実施例では、各切り分け結果における各キャラクタの同一性信頼度をそれぞれ算出する必要がある。
【００９９】
標準解答の文字数と同じ文字数の切り分け結果ごとに、その中の各キャラクタの同一性信頼度を算出する具体的な手順は、以下のステップを含む。
【０１００】
ステップ５０１では、切り分け結果を標準解答のテキスト文字列に揃える。
【０１０１】
つまり、切り分け結果における各切り分けられた断片（切り分けられた断片のそれぞれは、１つのキャラクタを代表する）を順に標準解答のテキスト文字列における各キャラクタに一つ一つ揃える。標準解答が「上海」である場合、切り分け結果における第１の切り分けられた断片を「上」に関連付け、切り分け結果における第２の切り分けられた断片を「海」に関連付ける。
【０１０２】
ステップ５０２では、全キャラクタセットの音響モデルに基づいて、前記切り分け結果における各キャラクタの同定結果の尤度スコアｐ(ｘｉ｜ｗｊ)を算出する。
【０１０３】
ただし、ｘｉは、第ｉ（ｉ＝１，２，・・・，Ｍ）番目の切り分けられた断片を表し、Ｍは、切り分け結果における切り分けられた断片の総数であり、ｗｊは、第ｉ番目の切り分けられた断片が音響モデルを介してＷｊ（ｊ＝１，２，・・・，Ｎ）として同定されたキャラクタを表し、Ｎは、同定結果の数である。
【０１０４】
留意すべきことは、実際の算出において、算出量を減らすために、Ｎの値を適宜小さくしてもよい。例えば、５０にしてもよい。
【０１０５】
ステップ５０３では、前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択する。
【０１０６】
ステップ５０４では、選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とする。
【０１０７】
具体的に、切り分けられた断片の同定結果において標準解答に一致するキャラクタの同定結果の尤度スコアを選択し、選択した当該同定結果の事後確率を当該切り分けられた断片（即ち、キャラクタ）の同一性信頼度として算出し、その算出数式は、下記のようになる。
【０１０８】
【数３】
0006484333.tif 000004
【０１０９】
ただし、ｐ(ｗｙｉ｜ｘｉ)は、第ｉ番目の切り分けられた断片ｘｉが標準解答に一致するパスＷｙにおける第ｉ番目のキャラクタｗｙｉとして同定される事後スコアを表す。
【０１１０】
相応して、上記取得された各切り分け結果における各キャラクタの同一性信頼度に基づいて、解答が正しいか否かを特定する判断は、下記のようになる。
【０１１１】
その中のいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定する。
【０１１２】
図６は、本発明の実施例における同一性信頼度を算出する１つのフローチャートである。当該実施例では、同様に、各切り分け結果における各キャラクタの同一性信頼度をそれぞれ算出する必要があるが、算出方法が図５に示す実施例と異なる。具体的に、以下のステップを含む。
【０１１３】
ステップ６０１では、切り分け結果を標準解答のテキスト文字列に揃える。
【０１１４】
ステップ６０２では、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得する。
【０１１５】
具体的な算出数式は、上記数式（１）を参照すればよい。
【０１１６】
ステップ６０３では、各同定結果の事後確率を算出する。
【０１１７】
具体的な算出数式は、下記のようになる。
【０１１８】
【数４】
0006484333.tif 000005
【０１１９】
ただし、ｐ(Ｗｋ｜Ｘ)は、第ｋ番目の同定結果の事後確率を表し、他のパラメータは、前述した該当パラメータの示す意味と同じ意味を示す。
【０１２０】
ステップ６０４では、各同定結果の事後確率に基づいて、前記切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とする。
【０１２１】
具体的な算出数式は、下記のようになる。
【０１２２】
【数５】
0006484333.tif 000006
【０１２３】
ただし、ｐ(ｗｙｉ｜Ｘ)は、各同定結果におけるキャラクタｉの同定結果が標準解答と一致する事後確率を表し、他のパラメータは、前述した該当パラメータの示す意味と同じ意味を示す。Ｋの値は、あらゆる同定結果の総数であってもよい。さらに、算出量を減らすために、Ｋは、比較的に小さい値、例えば、５０に適宜選択されてもよい。当該値の選択は、経験や実験結果に基づいて特定されてもよい。
【０１２４】
例えば、標準解答のテキストが「黄河入海流」である。説明の便宜上、手書き同定により得られた同定結果が３つある（即ち、Ｋの値が３）とする。その３つの同定結果は、それぞれ、尤度スコアが０．５の第１同定結果「黄河入海流」、尤度スコアが０．３の第２同定結果「黄河人海流」、尤度スコアが０．２の第３同定結果「黄河入洋流」である。その場合には、「黄」、「河」、「流」との３つの漢字の事後確率スコアが０．５＋０．３＋０．２＝１．０であり、「入」の事後確率スコアが０．５＋０．２＝０．７であり、「海」の事後確率スコアが０．５＋０．３＝０．８である。
【０１２５】
相応して、上記方法により得られた各切り分け結果における各キャラクタの同一性信頼度に基づいて、解答が正しいか否かを特定する判断は、下記のようになる。
【０１２６】
その中のいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定する。
【０１２７】
留意すべきことは、前述した第１信頼度閾値、第２信頼度閾値、および第３信頼度閾値が同じであってもよいし、異なってもよく、本発明の実施例において限定されない。そして、実際の応用において、上記３種の技術は、任意に組み合わせてもよい。例えば、その中の２種の技術、即ち、解答の正誤の判断は、その２種の技術における判断条件がいずれも満たされるか否かに応じて特定されてもよい。もし両者もみたされる場合、解答が正しいと判断し、そうでない場合、解答が間違っていると判断する。その中の３種の技術を採用すれば、その３種の技術における判断条件がいずれも満たされる、またはその中の任意の２つの技術における判断条件が満たされる場合に、解答が正しいと判断し、そうでない場合、解答が間違っていると特定してもよい。
【０１２８】
相応して、本発明の実施例は、記述式問題のための知的採点システムをさらに提供する。図７は、本発明の実施例における記述式問題のための知的採点システムの構造を示す模式図である。
【０１２９】
当該実施例では、前記システムは、画像取得モジュール７０１、切分モジュール７０２、第１判断モジュール７０３、算出モジュール７０４、第２判断モジュール７０５、および出力モジュール７０６を含む。ただし、算出モジュール７０４は、第１算出モジュール７４１および第２算出モジュール７４２を備える。
【０１３０】
上記画像取得モジュール７０１は、記述式問題の解答の画像を取得する。
【０１３１】
上記切分モジュール７０２は、前記画像取得モジュール７０１によって取得された解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得する。
【０１３２】
上記第１判断モジュール７０３は、前記切分モジュール７０２によって取得された切り分け結果のうち、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断し、標準解答の文字数と同じ文字数の切り分け結果がないと判断した場合、前記出力モジュール７０６が解答が間違っている旨の指示情報を出力するようトリガし、そうでない場合、前記算出モジュール７０４が同一性信頼度を算出するようトリガする。
【０１３３】
上記第１算出モジュール７４１は、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、第２算出モジュール７４２は、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出する。
【０１３４】
上記第２判断モジュール７０５は、前記算出モジュール７０４によって算出された同一性信頼度に基づいて解答が正しいか否かを特定し、解答が正しいと判断した場合、前記出力モジュール７０６が解答が正しい旨の指示情報を出力するようトリガし、解答が間違っていると判断した場合、前記出力モジュール７０６が解答が間違っている旨の指示情報を出力するようトリガする。
【０１３５】
前記記述式問題の解答の画像そのものは、解答の文字列画像である。本発明の実施例における前記解答の文字列は、漢字文字列、英文文字列等であってもよい。
【０１３６】
上記画像取得モジュール７０１の１の実施例は、以下の各手段を含んでもよい。
【０１３７】
画像取得手段は、解答カードの画像を取得する。
【０１３８】
解答領域抽出手段は、解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出する。
【０１３９】
解答内容抽出手段は、前記対象解答領域から記述式問題の解答の画像を抽出する。具体的には、解答領域抽出手段が対象解答領域を取得した後、解答カードのレイアウト情報に基づいて、エッジ点検出により、解答の画像を取得することができる。当該解答の画像は、解答の文字列の画像である。
【０１４０】
上記画像取得手段は、具体的に、光学式マーク読取装置（ＯＭＲ）、高速撮影装置、または移動端末機器である。つまり、光学式マーク読取装置（ＯＭＲ）を用いて走査し、または高速撮影装置、移動端末等の機器を用いて撮影する等の方式により、解答カードの画像を取得してもよい。
【０１４１】
上記切分モジュール７０２の１の実施例は、以下の各手段を含んでもよい。
【０１４２】
切分手段は、前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得する。
【０１４３】
信頼度算出手段は、前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出する。
【０１４４】
統合結果特定手段は、前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得する。具体的に、信頼度が設定された閾値より大きい場合、当該統合が信頼できると見なされ、そうでない場合、当該統合が信頼できないと見なされる。さらに、信頼できる統合結果に基づいて、１つまたは複数の同定すべき解答の文字列を取得する。
【０１４５】
留意すべきことは、上記信頼度算出手段の１の実施例は、統合サブ手段、抽出サブ手段および算出サブ手段を含んでもよい。ただし、統合サブ手段は、前記細かく切り分けられたサブブロックを統合する。細かく切り分けられたサブブロックを統合する方式は、複数ありえる。例えば、全数統合がある。各種の可能な統合結果が漏れなければよい。抽出サブ手段は、統合により得られたキャラクタからキャラクタ特徴を抽出する。算出サブ手段は、予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出する。
【０１４６】
前記統合信頼度は、統合後に得られたキャラクタの正確性を示す。具体的に、統合後のキャラクタの高さ、幅、縦横比、キャラクタ外ピッチ、キャラクタ内ピッチ等の特徴を抽出し、システムによって予め訓練された規則統計モデルに基づいて尤度スコアを取得し、当該スコアを現在の統合結果の信頼度としてもよい。
【０１４７】
前記規則統計モデルは、訓練データを切り分けた後の、キャラクタの高さ、幅、縦横比、キャラクタ外ピッチ、キャラクタ内ピッチ等の抽出された特徴に基づいて訓練された統計モデルである。当該モデルは、ＧＭＭあるいはＳＶＭ等であってもよい。
【０１４８】
統合信頼度の算出、即ち、統合結果から抽出された特徴に基づいて規則統計モデルにより尤度スコアを算出する。つまり、統合スコアを算出する。そして、当該スコアに基づいて統合信頼度を特定する。無論、当該スコアをそのまま対応する統合信頼度としてもよい。
【０１４９】
また、留意すべきことは、実際の応用において、前記システムが前記画像取得モジュール７０１と前記切分モジュール７０２の間に設けられた前処理モジュール（図示せず）をさらに含んでもよい。当該前処理モジュールは、前記切分モジュール７０２が前記解答の画像を切り分ける前に、前記解答の画像を前処理して、より正確な切り分け結果を取得する。前記前処理は、解答の画像に対する二値化処理、手書き文字の傾斜校正、手書き文字の細径化等を含んでもよい。
【０１５０】
本発明の実施例に供される記述式問題のための知的採点システムでは、標準解答が既知の記述式問題について、解答の事前情報を用いて手書き文字列に対する同定を行うことにより、記述式問題の自動採点が実施できるため、コンピュータにて記述式問題採点を全自動的に行うことができない一方で、人力の採点により人的資源の消耗が激しいこと、教師の仕事のプレッシャが大きいこと、教師の主観要素による採点結果が正確ではないなどの、従来の自動採点システムにおける問題を解決する。
【０１５１】
図７において、第１算出モジュール７４１は、標準解答の文字数と同じ文字数の各切り分け結果の同一性信頼度を算出し、第２算出モジュール７４２は、標準解答の文字数と同じ文字数の各切り分け結果における各キャラクタの同一性信頼度を算出する。実際の応用において、前記システムは、第１算出モジュール７４１あるいは第２算出モジュール７４２を択一的に選択してもよいし、第１算出モジュール７４１および第２算出モジュール７４２を同時に含んでもよく、本発明の実施例において限定されない。相応して、第２判断モジュール７０５は、解答の正誤を判断する際、その中の算出結果に基づいて判断してもよいし、両者の算出結果に基づいて総合的に判断してもよい。
【０１５２】
以下に、第１算出モジュール７４１および第２算出モジュール７４２の具体的な構造について例を挙げて詳細に説明する。
【０１５３】
図８は、本発明の実施例における第１算出モジュールの１の構造を示すブロック図である。
【０１５４】
当該実施例では、前記第１算出モジュール７４１は、アラインメント手段８０１、第１同定手段８０２、第１選択手段８０３および第１算出手段８０４を備える。
【０１５５】
アラインメント手段８０１は、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃える。
【０１５６】
第１同定手段８０２は、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得する。
【０１５７】
第１選択手段８０３は、同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択する。
【０１５８】
第１算出手段８０４は、前記パスの事後スコアを算出し、前記事後スコアを前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度とする。
【０１５９】
相応して、上記第１算出モジュール７４１の算出結果に基づいて、図７における第２判断モジュール７０４は、標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きい場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【０１６０】
図９は、本発明の実施例における第２算出モジュールの１の構造を示すブロック図である。
【０１６１】
当該実施例における第２算出モジュール９１０は、アラインメント手段８０１、第２同定手段９１２、第２選択手段９１３および第２算出手段９１４を備える。
【０１６２】
アラインメント手段８０１は、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃える。
【０１６３】
第２同定手段９１２は、全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出する。
【０１６４】
第２選択手段９１３は、前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択する。
【０１６５】
第２算出手段９１４は、選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とする。
【０１６６】
相応して、上記第２算出モジュール９１０の算出結果に基づいて、図７における第２判断モジュール７０４は、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【０１６７】
図１０は、本発明の実施例における第２算出モジュールの別の構造を示すブロック図である。
【０１６８】
当該実施例における第２算出モジュール９２０は、アラインメント手段８０１、第１同定手段８０２および第３算出手段９２３を備える。
【０１６９】
アラインメント手段８０１は、前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃える。
【０１７０】
第１同定手段８０２は、全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得する。
【０１７１】
第３算出手段９２３は、各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記標準解答の文字数と同じ文字数の切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とする。
【０１７２】
相応して、上記第２算出モジュール９２０の算出結果に基づいて、図７における第２判断モジュール７０４は、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断する。
【０１７３】
留意すべきことは、前述した第１信頼度閾値、第２信頼度閾値、および第３信頼度閾値が同じであってもよいし、異なってもよく、本発明の実施例において限定されない。そして、実際の応用において、第１算出モジュールおよび第２算出モジュールが同時に選択されると、第２判断モジュール７０４の解答の正誤についての判断は、その２種の技術における判断条件がともに満たされるか否かに基づいて特定してもよい。両方満たされた場合、解答が正しいと判断し、そうでない場合、解答が間違っていると判断する。
【０１７４】
本明細書における各実施例がいずれも累加の方式で記述された。各実施例間の同じあるいは類似する部分を参照し合えばよい。各実施例は、主に他の実施例との異なる箇所を説明する。上述したシステムの実施例は、単に例示であり、その中の分離部品として説明されたモジュールが物理的に分離されたものであってもよいし、なくてもよい。手段として表示された部品が物理的手段でなくてもよい。即ち、１箇所に存在してもよいし、複数のネットワークセルに分散されてもよい。実際の必要に応じてその中の一部または全部のモジュールを選択して本実施例の技術を実施してもよい。そして、その中の幾つかのモジュールに供される機能もソフトウェアにて実現されてもよい。幾つかのモジュールが従来の機器（例えば、パソコン、タブレットＰＣ、携帯電話）における同じ機能モジュールと共有されてもよい。当業者は、創造的な労動をせずに、理解し実施可能である。
【０１７５】
上記に本発明の実施例を詳細に説明した。本文では具体的な実施形態を用いて本発明を
説明したが、以上の実施例の説明は単に本発明の方法および機器を理解するためのもので
あり、当業者であれば、本発明の精神に従って、具体的な実施形態および応用範囲を変更
可能である。このように、本明細書の内容は、本発明の限定とはならない。
［第１の局面］
記述式問題のための知的採点方法であって、
記述式問題の解答の画像を取得するステップと、
前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップと、
標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断するステップと、
標準解答の文字数と同じ文字数の切り分け結果がなければ、解答が間違っていると特定するステップと、
標準解答の文字数と同じ文字数の切り分け結果があれば、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、および／または、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップと、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップと、を含むことを特徴とする方法。
［第２の局面］
前記記述式問題の解答の画像を取得するステップは、
解答カードの画像を取得するステップと、
解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するステップと、
前記対象解答領域から記述式問題の解答の画像を抽出するステップと、を含むことを特徴とする、
第１の局面に記載の方法。
［第３の局面］
前記解答カードの画像を取得するステップは、
光学式マーク読取装置（ＯＭＲ）、高速撮影装置あるいは移動端末機器を用いて解答カードの画像を取得するステップを含むことを特徴とする、
第２の局面に記載の方法。
［第４の局面］
前記解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップは、
前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するステップと、
前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出するステップと、
前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するステップと、を含むことを特徴とする、
第１の局面に記載の方法。
［第５の局面］
前記統合信頼度を算出するステップは、
統合により得られたキャラクタからキャラクタ特徴を抽出するステップと、
予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するステップと、を含むことを特徴とする、
第４の局面に記載の方法。
［第６の局面］
前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するステップと、
同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択するステップと、
前記パスの事後スコアを算出し、前記事後スコアを前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きければ、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
第１の局面から第５の局面の何れか一項に記載の方法。
［第７の局面］
前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するステップと、
前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するステップと、
選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
第１の局面から第５の局面の何れか一項に記載の方法。
［第８の局面］
前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出するステップは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるステップと、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するステップと、
各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするステップと、を含み、
算出された同一性信頼度に基づいて解答が正しいか否かを特定するステップは、
標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在すれば、解答が正しいと特定し、そうでなければ、解答が間違っていると特定するステップを含むことを特徴とする、
第１の局面から第５の局面の何れか一項に記載の方法。
［第９の局面］
記述式問題のための知的採点システムであって、
画像取得モジュールと、切分モジュールと、第１判断モジュールと、算出モジュールと、第２判断モジュールと、出力モジュールと、を備え、
前記画像取得モジュールは、記述式問題の解答の画像を取得し、
前記切分モジュールは、前記画像取得モジュールによって取得された解答の画像を切り分けて、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得し、
前記第１判断モジュールは、前記切分モジュールによって取得された切り分け結果のうち、標準解答の文字数と同じ文字数の切り分け結果があるか否かを判断し、標準解答の文字数と同じ文字数の切り分け結果がないと判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガし、そうではない場合、前記算出モジュールが同一性信頼度を算出するようトリガし、
前記算出モジュールは、第１算出モジュール、および／または、第２算出モジュールを備え、前記第１算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果の同一性信頼度を算出し、前記第２算出モジュールは、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同一性信頼度を算出し、
前記第２判断モジュールは、前記算出モジュールによって算出された同一性信頼度に基づいて解答が正しいか否かを特定し、解答が正しいと判断した場合、解答が正しい旨の指示情報を前記出力モジュールが出力するようトリガし、解答が間違っていると判断した場合、解答が間違っている旨の指示情報を前記出力モジュールが出力するようトリガすることを特徴とするシステム。
［第１０の局面］
前記画像取得モジュールは、
解答カードの画像を取得するための画像取得手段と、
解答カードのレイアウト情報に基づいて、前記解答カードの画像から対象解答領域を分割して抽出するための解答領域抽出手段と、
前記対象解答領域から記述式問題の解答の画像を抽出するための解答内容抽出手段と、を備えることを特徴とする、
第９の局面に記載のシステム。
［第１１の局面］
前記画像取得手段は、光学式マーク読取装置（ＯＭＲ）、高速撮影装置、または移動端末機器であることを特徴とする、
第１０の局面に記載のシステム。
［第１２の局面］
前記切分モジュールは、
前記解答の画像を細かく切り分けて、複数の細かく切り分けられたサブブロックを取得するための切分手段と、
前記細かく切り分けられたサブブロックを統合して、統合信頼度を算出するための信頼度算出手段と、
前記信頼度に基づいて統合結果を特定し、同定すべき解答の文字列に対する１つまたは複数の切り分け結果を取得するための統合結果特定手段と、を備えることを特徴とする、
第９の局面に記載のシステム。
［第１３の局面］
前記信頼度算出手段は、
前記細かく切り分けられたサブブロックを統合するための統合サブ手段と、
統合により得られたキャラクタからキャラクタ特徴を抽出するための抽出サブ手段と、
予め訓練して得られた規則統計モデルと前記キャラクタ特徴とを用いて当該統合の信頼度を算出するための算出サブ手段と、を備えることを特徴とする、
第１２の局面に記載のシステム。
［第１４の局面］
前記第１算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、
同定結果から、復号パスが標準解答に一致するパスの尤度スコアを選択するための第１選択手段と、
前記パスの事後スコアを算出し、前記事後スコアを前記切り分け結果の同一性信頼度とするための第１算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、何れかの切り分け結果の同一性信頼度が第１信頼度閾値よりも大きい場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
第９の局面から第１３の局面の何れか一項に記載のシステム。
［第１５の局面］
前記第２算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果における各キャラクタの同定結果の尤度スコアを算出するための第２同定手段と、
前記同定結果のうちの標準解答に一致するキャラクタの同定結果の尤度スコアを選択するための第２選択手段と、
選択された同定結果の事後スコアを算出し、前記事後スコアを前記キャラクタの同一性信頼度とするための第２算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第２信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
第９の局面から第１３の局面の何れか一項に記載のシステム。
［第１６の局面］
前記第２算出モジュールは、
前記標準解答の文字数と同じ文字数の切り分け結果を前記標準解答のテキスト文字列に揃えるためのアラインメント手段と、
全キャラクタセットの音響モデルおよび汎用の言語モデルに基づいて、前記標準解答の文字数と同じ文字数の切り分け結果に対して手書き復号化および同定を行って各同定結果の尤度スコアを取得するための第１同定手段と、
各同定結果の事後確率を算出し、各同定結果の事後確率に基づいて、前記標準解答の文字数と同じ文字数の切り分け結果におけるキャラクタごとに、各同定結果において当該キャラクタの同定結果と標準解答とが一致する事後確率を累積し、当該事後確率を当該キャラクタの信頼度とするための第３算出手段と、を備え、
前記第２判断モジュールは、標準解答の文字数と同じ文字数の切り分け結果のうち、そのいずれのキャラクタの同一性信頼度も第３信頼度閾値より大きい切り分け結果が存在する場合、解答が正しいと判断し、そうではない場合、解答が間違っていると判断することを特徴とする、
第９の局面から第１３の局面の何れか一項に記載のシステム。
【図１】
0006484333.tif 000007
【図２】
0006484333.tif 000008
【図３】
0006484333.tif 000009
【図４】
0006484333.tif 000010
【図５】
0006484333.tif 000011
【図６】
0006484333.tif 000012
【図７】
0006484333.tif 000013
【図８】
0006484333.tif 000014
【図９】
0006484333.tif 000015
【図１０】
0006484333.tif 000016