(57)【要約】  コンピュータによって話し言葉の習熟度を評価するためのシステムおよび方法を説明している。ユーザが、解答作成型の質問に対して話し言葉による応答を提供する。言語認識システムが、話し言葉による応答を言語学的単位のシーケンスへと処理する。学習期間において、言語学的テンプレートに一致する特徴が、学習用の言語学的単位のシーケンスと予め選択されるテンプレートとの間の一致を特定することによって抽出される。さらに、抽出された特徴について、一般化されたカウントが計算される。実行時、言語学的特徴が、実行時の言語学的単位のシーケンスを学習期間において抽出された特徴のセットと比較することによって検出される。この比較によって、言語学的特徴について一般化されたカウントがもたらされる。次いで、一般化されたカウントがスコアの計算に使用される。
2009503563.tif 000002
【特許請求の範囲】
【請求項１】
話し言葉の習熟度を評価するための方法であって、
解答作成型の質問に対する実行時の話し言葉による応答を受け取るステップと、
実行時の話し言葉による応答を、実行時の言語学的単位のシーケンスへと変換するステップと、
実行時の言語学的単位のシーケンスを、言語学的特徴のセットと比較するステップと、
実行時の話し言葉による応答にある、言語学的特徴のセットの中の少なくとも１つの特徴について、一般化されたカウントを計算するステップと、
一般化されたカウントにもとづいてスコアを計算するステップと、
を組み合わせて含んでいる、話し言葉の習熟度を評価するための方法。
【請求項２】
言語認識システムが、実行時の話し言葉による応答を受け取って、実行時の言語学的単位のシーケンスへと変換する、請求項１に記載の方法。
【請求項３】
言語学的特徴のセットを生成するステップをさらに含んでいる、請求項１に記載の方法。
【請求項４】
言語学的特徴のセットを生成するステップが、学習用の話し言葉による応答を少なくとも１つの言語学的テンプレートと比較するステップを含んでいる、請求項３に記載の方法。
【請求項５】
前記少なくとも１つの言語学的テンプレートが、Ｗ１、Ｗ２Ｗ３、Ｗ４Ｗ５Ｗ６、Ｗ７Ｗ８Ｗ９Ｗ１０、Ｗ１１Ｘ１Ｗ１２、およびＷ１３Ｘ２Ｗ１４Ｘ３Ｗ１５から成るグループから選択され、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わし、Ｘｉ（ｉ≧１）は言語学的単位のゼロ以上の長さの任意のシーケンスを表わしている、請求項４に記載の方法。
【請求項６】
前記言語学的特徴のセットが、
解答作成型の質問に対する学習用の話し言葉による応答を受け取るステップと、
学習用の話し言葉による応答を、学習用の言語学的単位のシーケンスへと変換するステップと、
学習用の言語学的単位のシーケンスを、少なくとも１つの言語学的テンプレートと比較するステップと、
少なくとも１つの言語学的テンプレートに一致する、学習用の話し言葉による応答の中の少なくとも１つの特徴について、一般化されたカウントを計算するステップと、
によって生成される、請求項１に記載の方法。
【請求項７】
言語認識システムが、学習用の話し言葉による応答を受け取って、学習用の言語学的単位のシーケンスへと変換する、請求項６に記載の方法。
【請求項８】
前記少なくとも１つの言語学的テンプレートが、Ｗ１、Ｗ２Ｗ３、Ｗ４Ｗ５Ｗ６、Ｗ７Ｗ８Ｗ９Ｗ１０、Ｗ１１Ｘ１Ｗ１２、およびＷ１３Ｘ２Ｗ１４Ｘ３Ｗ１５から成るグループから選択され、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わし、Ｘｉ（ｉ≧１）は言語学的単位のゼロ以上の長さの任意のシーケンスを表わしている、請求項６に記載の方法。
【請求項９】
学習用の話し言葉による応答の中の少なくとも１つの特徴の一般化されたカウントを、より低い次元のベクトル空間へと変換するステップをさらに含んでいる、請求項６に記載の方法。
【請求項１０】
前記言語学的特徴のセットの中の前記少なくとも１つの特徴が、特徴テンプレートＷ１およびＷ２Ｗ３の少なくとも１つに一致し、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わしている、請求項９に記載の方法。
【請求項１１】
前記スコアを計算するステップが、
実行時の話し言葉による応答の中にある、言語学的特徴のセットの中の少なくとも１つの特徴についての一般化されたカウントを、より低い次元のベクトル空間へと変換するステップを含んでいる、請求項１に記載の方法。
【請求項１２】
前記言語学的特徴のセットの中の前記少なくとも１つの特徴が、特徴テンプレートＷ１およびＷ２Ｗ３の少なくとも１つに一致し、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わしている、請求項１１に記載の方法。
【請求項１３】
一般化されたカウントを、より低い次元のベクトル空間へと変換するステップが、
低次元のベクトル空間の点を習熟度の評価へと写像するように学習期間においてパラメータが推定されている関数を適用するステップを含んでいる、請求項１１に記載の方法。
【請求項１４】
前記スコアを計算するステップが、
応答および１つのテンプレートに相当する言語学的特徴のセットの部分セットにおいて生じる共有の特徴の一般化されたカウントの合計について、特徴テンプレートに一致する応答内の特徴の一般化されたカウントの合計に対する比を計算するステップを含んでいる、請求項１に記載の方法。
【請求項１５】
前記比が、特徴テンプレートＷ１、Ｗ２Ｗ３、Ｗ４Ｗ５Ｗ６、およびＷ７Ｗ８Ｗ９Ｗ１０のうちの少なくとも１つについて計算され、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わしている、請求項１４に記載の方法。
【請求項１６】
前記スコアを計算するステップが、
特徴テンプレートＷ１、Ｗ２Ｗ３、Ｗ４Ｗ５Ｗ６、およびＷ７Ｗ８Ｗ９Ｗ１０（ここで、Ｗｉ（ｉ≧１）は任意の言語学的単位を表わす）について計算された比の幾何平均を計算するステップを含んでいる、請求項１５に記載の方法。
【請求項１７】
前記スコアを計算するステップが、
応答の長さによって正規化された、実行時の話し言葉による応答において検出された特徴の数の一般化されたカウントを計算するステップを含んでいる、請求項１に記載の方法。
【請求項１８】
前記スコアを少なくとも１つの人物または団体へと提供するステップをさらに含んでいる、請求項１に記載の方法。
【請求項１９】
話し言葉の習熟度を評価するためのシステムであって、
プロセッサと、
データ保管部と、
データ保管部に保存された機械語命令であって、
解答作成型の質問に対する話し言葉による応答を受け取るステップと、
話し言葉による応答を言語学的単位のシーケンスへと変換するステップと、
言語学的単位のシーケンスを言語学的特徴のセットと比較するステップと、
話し言葉による応答の中にある、言語学的特徴のセットの中の少なくとも１つの特徴について一般化されたカウントを計算するステップと、
一般化されたカウントにもとづいてスコアを計算するステップと、
を含み、プロセッサによって実行することができる機械語命令と、
を組み合わせて含んでいる、話し言葉の習熟度を評価するためのシステム。
【請求項２０】
データ保管部に保存され、言語学的特徴のセットを生成するためにプロセッサによって実行することができる機械語命令をさらに含んでいる、請求項１９に記載のシステム。
【請求項２１】
データ保管部に保存され、スコアを少なくとも１つの人物または団体へと提供するためにプロセッサによって実行することができる機械語命令をさらに含んでいる、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件特許出願は、２００５年７月２０日出願の米国特許仮出願第６０／７０１，１９２号について、米国特許法第１１９条（ｅ）に規定の優先権を主張する。米国特許仮出願第６０／７０１，１９２号の開示の全体が、ここでの言及によって本明細書に取り入れられたものとする。
【０００２】
本発明は一般に言葉の評価に関し、さらに詳しくは、コンピュータ基盤の技術を使用する話し言葉の習熟度の評価に関する。
【背景技術】
【０００３】
長年にわたり、教育上の試験や熟練度の評価などといったさまざまな理由で、標準化されたテストが受験者に対して施されている。標準化されたテストの多くは、受験者に、解答作成型の質問（ｃｏｎｓｔｒｕｃｔｅｄ  ｒｅｓｐｏｎｓｅ  ｑｕｅｓｔｉｏｎ）に対して応答するように求める。解答作成型の質問は、返答すべき質問または指示であって、（多項選択式の問題などのような）応答の選択肢を提示せず、受験者が応答を自ら作り出す必要がある質問または指示であってもよい。例えば、高校の生徒らは、合格したならば大学の履修単位を受けることができる飛び級（ＡＰ）試験を受けることができる。他の例として、ロースクールの卒業者らは、各州の弁護士免許を得るために１つ以上の司法試験を受けることができる。ＡＰ試験および司法試験のどちらも、論文式の質問など、解答作成型の質問を含むことができる。また、解答作成型の質問は、受験者に、口頭試問の際などに、口頭での応答を要求することも可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような解答作成型の質問への返答は、典型的には、１名以上の採点者または評価者によって採点される。解答作成型の質問への返答を採点する労苦が、とくには質問が複数の評価者によって採点される場合に、甚だしいものになりうる。コンピュータ基盤の自動採点システムが、解答作成型の質問への返答の採点のために、より迅速な方法をもたらすことができる。論文の回答などといった書面の資料の採点を自動化するために、いくつかの試みがなされている。しかしながら、すべての回答が書面によるわけではない。
【０００５】
したがって、解答作成型の質問への言葉による応答を採点するプロセスを、採点の一貫性を犠牲にすることなくより効率的にすることが、有益であると考えられる。
【課題を解決するための手段】
【０００６】
話し言葉の習熟度を評価するための方法およびシステムをここに説明する。この方法は、解答作成型の質問に対する実行時の話し言葉による応答を受け取るステップと、実行時の話し言葉による応答を、実行時の言語学的単位のシーケンスへと変換するステップと、実行時の言語学的単位のシーケンスを、言語学的特徴のセットと比較するステップと、実行時の話し言葉による応答の中にある、言語学的特徴のセットの中の少なくとも１つの特徴について一般化されたカウントを計算するステップと、一般化されたカウントにもとづいてスコアを計算するステップと、を含んでいる。実行時の話し言葉による応答を受け取って実行時の言語学的単位のシーケンスへと変換するために、言語認識システムを使用してもよい。
【０００７】
この方法は、言語学的特徴のセットを生成するステップをさらに含んでもよい。言語学的特徴のセットを生成するステップは、学習用の話し言葉による応答を少なくとも１つの言語学的テンプレートと比較するステップを含んでいる。少なくとも１つの言語学的テンプレートは、Ｗ１、Ｗ２Ｗ３、Ｗ４Ｗ５Ｗ６、Ｗ７Ｗ８Ｗ９Ｗ１０、Ｗ１１Ｘ１Ｗ１２、およびＷ１３Ｘ２Ｗ１４Ｘ３Ｗ１５から成るグループから選択でき、ここでＷｉ（ｉ≧１）は任意の言語学的単位を表わし、Ｘｉ（ｉ≧１）は言語学的単位のゼロ以上の長さの任意のシーケンスを表わしている。他の例では、言語学的特徴のセットを、解答作成型の質問に対する学習用の話し言葉による応答を受け取り、学習用の話し言葉による応答を、学習用の言語学的単位のシーケンスへと変換し、学習用の言語学的単位のシーケンスを、少なくとも１つの言語学的テンプレートと比較し、学習用の話し言葉による応答の中にある、少なくとも１つの言語学的テンプレートに一致する少なくとも１つの特徴について、一般化されたカウントを計算することによって生成できる。
【０００８】
話し言葉の習熟度を評価するためのシステムは、プロセッサと、データ保管部と、データ保管部に保存され、プロセッサによって実行することができる機械語命令とを含んでいる。機械語命令は、解答作成型の質問に対する話し言葉による応答を受け取るステップと、話し言葉による応答を言語学的単位のシーケンスへと変換するステップと、言語学的単位のシーケンスを言語学的特徴のセットと比較し、話し言葉による応答の中にある、言語学的特徴のセットの中の少なくとも１つの特徴について、一般化されたカウントを計算するステップと、一般化されたカウントにもとづいてスコアを計算するステップと、を含んでいる。
【０００９】
これらの態様および利点ならびに他の態様および利点が、以下の詳細な説明を添付の図面を適宜に参照しつつ検討することによって、当業者にとって明らかになるであろう。また、この概要があくまで例にすぎず、特許請求の範囲に記載される本発明の技術的範囲を限定するものではないことを、理解すべきである。
【発明を実施するための最良の形態】
【００１０】
以下で、現時点における好ましい実施の形態を、添付の図面と併せて説明する。添付の図面においては、種々の図において、同様の構成要素は同様の参照番号によって指し示されている。
【００１１】
図１は、話し言葉による応答を処理および評価するためのシステム１００のブロック図である。通常は、システム１００は学習期間および実行時において使用されるが、これらの期間については図２〜５に対してさらに詳しく説明する。システム１００は、自動採点システム１０４を含んでいる。自動採点システム１０４は、ハードウェア、ソフトウェア、および／またはファームウェアの任意の組み合わせを有する汎用のコンピュータ・システムであってもよい。あるいは、自動採点システム１０４は、話し言葉による応答の処理および評価のために専用設計されていてもよい。
【００１２】
自動採点システム１０４は、ユーザ１０２からの入力を受信する。ユーザ１０２からの入力は、回答作成型の質問に対する話し言葉での応答であってもよい。回答作成型の質問を、「アイテム」と称することも可能である。回答作成型の質問を、自動採点システム１０４によってユーザに提示することができる。あるいは、ユーザ１０２が、他の供給元から回答作成型の質問を受け取ってもよい。
【００１３】
ユーザ１０２は、話し言葉による応答を自動採点システム１０４へともたらす任意の人物であってもよい。例えば、学習期間において、ユーザ１０２は、学習用の応答を自動採点システム１０４へと提供する人物であってもよい。他の例として、実行時において、ユーザ１０２は、学校教育プログラムの生徒（子供または成人）であってよく、入学試験または習熟度テストを受ける何者かであってよく、あるいは単に自身の能力への評価に関心のある何者かであってもよい。
【００１４】
ユーザ１０２は、固定電話、携帯電話、コンピュータ、マイクロフォン、ボイス・トランスデューサ、または音声信号を送信できる他の任意の通信装置を使用して、自動採点システム１０４にアクセスすることができる。ユーザ１０２と自動採点システム１０４との間の接続は、使用される通信装置の種類に依存する。例えば、ユーザ１０２と自動採点システム１０４との間の接続は、電気通信ネットワークおよび／またはデータ情報ネットワークを使用する有線または無線の接続であってもよい。
【００１５】
実行時に、自動採点システム１０４は、ユーザ１０２からの入力にもとづいてスコア１０６をもたらすことができる。スコア１０６を、ユーザ１０２へともたらすことができ、あるいは教師または教育機関などといった人物および／または団体へともたらすことができる。スコア１０６を、出力装置を介してユーザ１０２または他の人物／団体へともたらすことができる。例えば、スコア１０６を、インターネットを介してディスプレイ上に提示することができる。他の例として、スコア１０６を、自動採点システム１０４へと接続（有線または無線によって）されたプリンタにて印刷することができる。さらに他の例として、ユーザ１０２が電話を使用して自動採点システム１０４にアクセスしている場合には、自動採点システム１０４が、対話式の音声応答ユニットを使用して言葉にてスコア１０６をユーザ１０４に提示することができる。
【００１６】
図２は、学習期間において話し言葉による応答を処理するためのシステム２００のブロック図である。学習期間は、実行時にユーザ１０２の話し言葉の習熟度を評価するために、自動採点システム１０４の学習を行うために使用される。システム２００は、話し言葉による学習用の応答の入力２０２、自動採点システム１０４、および言語学的特徴の出力２１０を含んでいる。自動採点システム１０４は、言語認識システム２０４、言語学的特徴の抽出器２０６、および１つ以上の言語学的テンプレート２０８を含んでいる。
【００１７】
話し言葉による学習用の応答の入力２０２は、自動採点システム１０４の学習期間において、少なくとも１人の人物（本明細書において、「学習対象者」と称される）によってもたらされる。実行時に話し言葉の熟練度を評価するために使用される予定である各アイテムについて、学習対象者が、話し言葉による少なくとも１つの応答を自動採点システム１０４へともたらす。学習対象者は、アイテム一式について話し言葉による応答をもたらすことができる。
【００１８】
好ましくは、１名以上の学習対象者を、アイテム一式への話し言葉による応答をもたらすために使用することができる。学習対象者を、言語認識システム２０４によって受け取られる話し言葉の形態または内容に顕著な影響を有しうる人口学的、言語学的、身体的、または社会的変数の分布を参照して、選択することができる。これらの人口学的、言語学的、身体的、または社会的変数として、学習対象者の年齢、体格、性別、感覚的鋭敏さ、民族性、方言、教育、出身地または現住所、社会経済的状況、職業、または専門教育が挙げられる。また、話し言葉によるサンプルを、学習対象者の位置における時刻、信号トランスデューサの種類および状態、ならびに通信チャネルの種類および動作に応じて選択することも可能である。
【００１９】
言語認識システム２０４は、ユーザ１０２の話し言葉を受信し、この話し言葉を言語学的単位のシーケンスへと変換可能であってもよい。言語学的単位のシーケンスは、実際に話された１つ以上の単語を表わす機械による読み取りが可能な表現である。言語認識システム２０４は、ソフトウェア、ハードウェア、および／またはファームウェアの任意の組み合わせであってもよい。
【００２０】
好ましくは、言語認識システム２０４は、ソフトウェアにて実現される。例えば、言語認識システム２０４は、Ｍｉｃｒｏｓｏｆｔ社の所有であってＣａｍｂｒｉｄｇｅ  ＵｎｉｖｅｒｓｉｔｙのＥｎｇｉｎｅｅｒｉｎｇ  Ｄｅｐａｒｔｍｅｎｔのウェブ・ページ（ｈｔｔｐ：／／ｈｔｋ．ｅｎｇ．ｃａｍ．ａｃ．ｕｋ）から無料でダウンロードできるＨＴＫというソフトウェア製品であってもよい。他の例として、言語認識システム２０４は、Ｎｕａｎｃｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，  Ｉｎｃ．によって提供されている言語認識システムのうちの１つであってもよい。
【００２１】
さらに、言語認識システム２０４は、単語を、統語解析を可能にするより高次の言語学的単位へと変換するため、ＭＸＰＯＳＴなどの言語学的構文解析ソフトウェアを含むことができ、あるいはそのようなソフトウェアを実装することができる。さらに、言語学的構文解析ソフトウェアは、音節、形態素、および音素など、より低次の言語学的単位をもたらすことができる。
【００２２】
言語学的特徴の抽出器２０６が、言語認識システム２０４から言語学的単位のシーケンスを受け取る。言語学的特徴の抽出器２０６は、ソフトウェア、ハードウェア、および／またはファームウェアの任意の組み合わせであってもよい。好ましくは、言語学的特徴の抽出器２０６は、ソフトウェアにて実現される。
【００２３】
言語学的特徴の抽出器２０６は、言語認識システム２０４からの言語学的単位のシーケンスを、言語学的テンプレート２０８と比較して、言語学的特徴を生成する。言語学的テンプレート２０８を、自動採点システム１０４のデータベースまたは他のデータ構造に保管することができる。好ましくは、データベースに保管される言語学的テンプレート２０８は、学習期間に先立って選択され、言語学的特徴の抽出器２０６によって抽出されるべき特徴一式を特定する。
【００２４】
以下は、テンプレートの例であり、Ｗｉが、任意の言語学的単位を表わしており、Ｘｉが、ゼロ以上の長さの任意の言語学的単位のシーケンスを表わしており、ｉ≧１である。
・Ｗ１  （すべてのモノグラム）
・Ｗ２Ｗ３  （すべてのバイグラム）
・Ｗ４Ｗ５Ｗ６  （すべてのトリグラム）
・Ｗ７Ｗ８Ｗ９Ｗ１０  （すべてのクアッドグラム）
・Ｗ１１Ｘ１Ｗ１２  （すべてのバイ‐オーダグラム）
・Ｗ１３Ｘ２Ｗ１４Ｘ３Ｗ１５  （すべてのトリ‐オーダグラム）
モノグラムは、ただ１つの言語学的単位を含んでおり、バイグラムは、２つの言語学的単位からなるシーケンスを含んでおり、トリグラムは、３つの言語学的単位からなるシーケンスを含んでおり、クアッドグラムは、４つの言語学的単位からなるシーケンスを含んでいる。バイ‐オーダグラムは、２つの言語学的単位を、任意のものに一致する言語学的単位のシーケンスによって隔てて含んでいる。したがって、上記のオーダグラムのＸｉを、「ワイルドカード」であると考えることができる。バイ‐オーダグラムと同様、トリ‐オーダグラムは、それぞれがワイルドカードによって隔てられた３つの言語学的単位のシーケンスである。
【００２５】
言語学的特徴の抽出器２０６は、言語学的特徴の発生の抽出および定量化を行う。定量化は、言語学的特徴の一般化されたカウント（ｇｅｎｅｒａｌｉｚｅｄ  ｃｏｕｎｔ）である。一般化されたカウントは、応答における当該特徴の発生の回数の任意の関数であり、実際の発生回数、あるいは実際の発生回数の対数、倍数、または発生回数の増加／減少などといった数学的変換、などである。他の例として、一般化されたカウントは、応答における特徴の存在‐対‐非存在であってもよい。定量化は、これらに限られるわけではないが、弁別的特徴、文節、音素、音節、形態素、単語、統語、統語成分、連語、音韻句、文、段落、および長い一節など、任意の種類の言語学的単位の一般化されたカウントであってもよい。
【００２６】
特徴は、それがテンプレートに一致する場合、テンプレートのインスタンス（ｉｎｓｔａｎｃｅ）である。特徴が、その特徴がテンプレートの形式に相当する場合、テンプレートに一致する。例えば、「ｉｎ  ｔｈｅ」は、テンプレートＷ１Ｗ２のインスタンスであり、ここでＷｉは単語単位であり、ｉ≧１である。
【００２７】
学習用セットのそれぞれの応答において抽出された特徴およびそれぞれの特徴についての一般化されたカウントが、言語学的特徴の出力２１０として供給される。言語学的特徴の出力２１０は、学習用セットのすべての応答について、アイテムごとの特徴セットおよび各特徴についての一般化されたカウントを含むことができる。自動採点システム１０４は、図４および５に関して説明されるとおりに、実行時に言語学的特徴の出力２１０を使用する。
【００２８】
学習期間において、自動採点システム１０４は、さらなる動作を実行できる。例えば、学習用セットを豊かにするために、言語学的特徴の抽出器２０６が、アイテムに対して予想される１つ以上の応答のセットから、言語学的特徴および一般化されたカウントを抽出してもよい。予想される応答は、１つ以上の正しい回答または誤った回答を含むことができる。
【００２９】
他の例として、自動採点システム１０４は、以下の特徴テンプレート
・Ｗ１
・Ｗ２Ｗ３
に一致する特徴について、一般化されたカウントをより低次元のベクトル空間へと変換できる。他の特徴テンプレートも使用可能である。
【００３０】
学習期間において、自動採点システム１０４は、そのパラメータが上記低次元のベクトル空間の点を習熟度の評価へと写像するように推定されている関数を適用することができる。パラメータは、学習データから推定しておくことができる。学習データを、応答のセットに対する人間による判断、ならびに応答のセットに対応する上記低次元ベクトル空間内の点で構成することができる。
【００３１】
自動採点システム１０４は、学習期間に生成される特徴セットについて、すべての特徴が或る特徴テンプレートに一致する部分セットを計算することができる。自動採点システム１０４は、応答および部分セットの両者において生じる共有の特徴のセットを検出できる。自動採点システム１０４は、共有の特徴の一般化されたカウントの合計について、当該特徴テンプレートに一致する応答内の特徴の一般化されたカウントの合計に対する比を計算できる。この比を、以下の特徴テンプレート
・Ｗ１
・Ｗ２Ｗ３
・Ｗ４Ｗ５Ｗ６
・Ｗ７Ｗ８Ｗ９Ｗ１０
のそれぞれについて計算することができる。他の特徴テンプレートも使用可能である。さらに、自動採点システム１０４は、学習用の話し言葉による応答２０２のスコア１０６を、上述のように計算した比の幾何平均として計算することができる。
【００３２】
図３は、学習期間において話し言葉による応答を処理するための方法３００のフロー図である。ブロック３０２において、話し言葉による応答が受信される。話し言葉による応答は、回答作成型の質問に対する応答であってもよい。学習期間において、ユーザ１０２は、好ましくは、台本なしの話し言葉による応答をもたらすことができる。しかしながら、ユーザ１０２は、前もって台本に書かれた話し言葉による応答を、代わりにもたらしてもよい。
【００３３】
ブロック３０４において、話し言葉による応答が、任意の公知または開発される言語認識システムまたはプログラムによって言語学的単位のシーケンスへと変換される。ブロック３０６において、言語学的テンプレートに一致する特徴が、言語学的単位のシーケンスと予め選択されたテンプレートとの間の一致を特定することによって抽出される。一致する特徴の抽出に加えて、抽出された特徴の一般化されたカウントも実行される。ブロック３０８において、特徴セットが出力としてもたらされる。特徴セットは、抽出された特徴および一般化されたカウントを含んでいる。
【００３４】
図４は、実行時に話し言葉による応答を評価するためのシステム４００のブロック図を示している。実行時に、自動採点システム１０４が、或る者の話し言葉の習熟度を評価する。システム４００は、実行時の話し言葉による応答の入力４０２、自動採点システム１０４、およびスコアの出力４０８を含んでいる。自動採点システム１０４は、言語認識システム２０４、言語的特徴の検出器４０４、スコアの計算４０６、および学習期間において特定された言語学的特徴２１０を含んでいる。
【００３５】
実行時の話し言葉による応答の入力４０２は、実行時に或る者（本明細書においては、「テスト対象者」と称される）によってもたらされる。テスト対象者は、任意の人物であってもよい。テスト対象者が、回答作成型の質問に対して話し言葉による応答をもたらす。テスト対象者は、回答作成型の質問を、自動採点システム１０４または他の供給元から受け取ることができる。
【００３６】
言語認識システム２０４が、回答作成型の質問に応答するテスト対象者の話し言葉を処理し、言語学的単位のシーケンスを言語学的特徴の検出器４０４へと供給する。言語学的特徴の検出器４０４は、ソフトウェア、ハードウェア、および／またはファームウェアの任意の組み合わせであってもよい。好ましくは、言語学的特徴の検出器４０４は、ソフトウェアにて実現される。
【００３７】
言語学的特徴の検出器４０４は、言語認識システム２０４からの言語学的単位のシーケンスを、学習期間において抽出された言語学的特徴２１０と比較する。この比較の結果として、言語学的特徴の検出器４０４は、特徴セット２１０内の特徴のそれぞれが実行時の話し言葉による応答４０２にいくつ存在するかについて、一般化されたカウントを得ることができる。
【００３８】
スコアの計算４０６が、一般化されたカウントをスコア４０８へと変換する。あるいは、一般化されたカウントを、スコア４０８として供給してもよい。スコア４０８は、対象者の話し言葉の習熟度の評価を表わすことができる。スコアの計算４０６は、ソフトウェア、ハードウェア、および／またはファームウェアの任意の組み合わせであってもよい。好ましくは、スコアの計算４０６は、ソフトウェアにて実現される。
【００３９】
スコアの計算４０６は、統計的な分析技法を使用して、一般化されたカウントを分析することができる。例えば、スコアの計算４０６は、以下の特徴テンプレート
・Ｗ１
・Ｗ２Ｗ３
に一致する特徴について、言語学的特徴の検出器４０４からの一般化されたカウントを、より低次元のベクトル空間へと変換できる。他の特徴テンプレートも使用可能である。
【００４０】
スコアの計算４０６は、そのパラメータが学習期間において推定済みである関数を適用して、上記低次元のベクトル空間の点を習熟度の評価へと写像する。パラメータは、学習データから推定しておくことができる。学習データを、応答のセットに対する人間による判断、ならびに応答のセットに対応する上記低次元ベクトル空間内の点で構成することができる。
【００４１】
スコアの計算４０６は、学習期間に生成される特徴セットについて、すべての特徴が或る特徴テンプレートに一致する部分セットを計算することができる。スコアの計算４０６は、応答および部分セットの両者において生じる共有の特徴のセットを検出できる。スコアの計算４０６は、共有の特徴の一般化されたカウントの合計について、当該特徴テンプレートに一致する応答内の特徴の一般化されたカウントの合計に対する比を計算できる。この比を、以下の特徴テンプレート
・Ｗ１
・Ｗ２Ｗ３
・Ｗ４Ｗ５Ｗ６
・Ｗ７Ｗ８Ｗ９Ｗ１０
のそれぞれについて計算することができる。他のテンプレートも使用可能である。さらに、スコアの計算４０６は、実行時の話し言葉による応答４０２のスコア１０６を、上述のように計算した比の幾何平均として計算することができる。
【００４２】
さらに、スコアの計算４０６は、実行時の話し言葉による応答４０２において検出された特徴の数を、応答の長さによって正規化して計算できる。好ましくは、この計算を、特徴テンプレートＷ１Ｘ１Ｗ２に一致する特徴について実行することができる。しかしながら、他のテンプレートも使用可能である。
【００４３】
図５は、実行時の話し言葉による応答を評価するための方法５００のフロー図である。ブロック５０２において、話し言葉による応答が受信される。話し言葉による応答は、回答作成型の質問に対する応答である。ブロック５０４において、話し言葉による応答が、任意の公知または開発される言語認識システムまたはプログラムによって言語学的単位のシーケンスへと変換される。
【００４４】
ブロック５０６において、言語学的特徴が、言語認識システム２０４からの言語学的単位のシーケンスを、学習期間において抽出された特徴セットと比較することによって検出される。この比較により、言語学的特徴の一般化されたカウントがもたらされる。ブロック５０８において、一般化されたカウントが、スコア４０８を計算するために使用される。好ましくは、スコアが、次元の低減および回帰の技法を使用して計算される。ブロック５１０において、スコアがテスト対象者または他の当事者へともたらされる。
【００４５】
話し言葉の習熟度の評価のためのシステムおよび方法を、実施例を使用して説明することができる。この実施例では、テスト対象者が、話し言葉の習熟度のテストを受けるために、所定の電話番号をダイアルする。ひとたび接続が確立されると、自動採点システム１０４が、電話を介してテスト対象者へと指示をもたらし、テスト対象者が応答をもたらす。例えば、自動採点システム１０４は、テスト対象者に或る物語を復唱するように求めることができる。
【００４６】
物語の一例として、「男が近付いてくる車を目にしたとき、少年が通りを渡ろうとしていた。男は『危ない』と叫んで、少年の腕をつかんだ。すんでのところであった。少年が驚いて正気を失ったため、男は少年と一緒に通りを渡り、ソフトクリームを買い与えて落ち着かせた（Ａ  ｂｏｙ  ｉｓ  ｇｏｉｎｇ  ｔｏ  ｃｒｏｓｓ  ｔｈｅ  ｓｔｒｅｅｔ  ｗｈｅｎ  ａ  ｍａｎ  ｓｅｅｓ  ａ  ｃａｒ  ａｐｐｒｏａｃｈｉｎｇ．  Ｔｈｅ  ｍａｎ  ｙｅｌｌｓ  ‘ｃａｒｅｆｕｌ’  ａｎｄ  ｇｒａｂｓ  ｔｈｅ  ｂｏｙ  ｂｙ  ｔｈｅ  ａｒｍ  ｊｕｓｔ  ｉｎ  ｔｉｍｅ．  Ｔｈｅ  ｂｏｙ  ｉｓ  ｓｏ  ｓｃａｒｅｄ  ｔｈａｔ  ｔｈｅ  ｍａｎ  ｃｒｏｓｓｅｓ  ｔｈｅ  ｓｔｒｅｅｔ  ｗｉｔｈ  ｔｈｅ  ｂｏｙ  ａｎｄ  ｂｕｙｓ  ｈｉｍ  ａｎ  ｉｃｅ  ｃｒｅａｍ  ｃｏｎｅ  ｔｏ  ｃａｌｍ  ｈｉｍ  ｄｏｗｎ）」がある。テスト対象者が、この物語を「少年が通りを渡ろうとしており、車を飛ばしていた男は『危ない』と叫んだ（Ａ  ｂｏｙ  ｉｓ  ｇｏｉｎｇ  ｔｏ  ｃｒｏｓｓ  ｔｈｅ  ｓｔｒｅｅｔ  ａｎｄ  ａ  ｍａｎ  ｓｐｅｅｄｉｎｇ  ｉｎ  ｈｉｓ  ｃａｒ  ｙｅｌｌｓ  ‘ｃａｒｅｆｕｌ’）」と復唱したならば、自動採点システム１０４は、テスト対象者が物語を完全に復唱しておらず、あるいは正確に復唱していないと判断する。さらに、自動採点システム１０４は、応答にもとづいてスコア４０８をもたらす。
【００４７】
表１が、この実施例について、抽出された特徴およびそれらに関する一般化されたカウントを示している。自動採点システム１０４によって計算されるスコアは、２．３３という人間の採点者のスコアと同程度の２．８５である。すでに述べたように、自動採点システム１０４は、回答作成型の質問に対する話し言葉による応答について、採点の一貫性を犠牲にすることなく、人間の採点者よりも効率的にグレードをもたらす。
【００４８】
【表１】
2009503563.tif 000003
【００４９】
ここに示した実施の形態が、あくまで例示にすぎず、ここに示した実施の形態を、本発明の技術的範囲を限定するものとして解釈してはならないことを理解すべきである。特許請求の範囲を、特にそのように述べられていない限りは、上述した順序または要素に限定されると理解してはならない。したがって、以下の特許請求の範囲およびその均等物の技術的範囲および技術的思想に包含されるすべての実施の形態を、本発明として請求する。
【図面の簡単な説明】
【００５０】
【図１】話し言葉による応答を処理および評価するための一実施例によるシステムのブロック図である。
【図２】学習期間において話し言葉による応答を処理するための一実施例によるシステムのブロック図である。
【図３】学習期間において話し言葉による応答を処理するための一実施例による方法のフロー図である。
【図４】実行時に話し言葉による応答を評価するための一実施例によるシステムのブロック図である。
【図５】実行時に話し言葉による応答を評価するための一実施例による方法のフロー図である。
【図１】
2009503563.tif 000004
【図２】
2009503563.tif 000005
【図３】
2009503563.tif 000006
【図４】
2009503563.tif 000007
【図５】
2009503563.tif 000008
【国際調査報告】
2009503563.tif 000009
2009503563.tif 000010
2009503563.tif 000011
2009503563.tif 000012