(57)【要約】【課題】学習者の口述音声を入力し、高い精度の採点結果を出力するスピーキングテストプログラム等を提供する。【解決手段】学習者の口述音声を入力し、採点結果を出力するようにコンピュータを機能させるスピーキングテストプログラムであって、学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する音声認識エンジンと、学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する特徴量抽出手段と、信頼度と特徴量とを対応付けて予め学習したものであり、音声認識エンジンから出力された信頼度に応じて、１つ以上の特徴量を選択する特徴量選択エンジンと、特徴量と採点結果とを対応付けて予め学習したものであり、特徴量選択エンジンによって選択された特徴量に応じて、採点結果を出力する採点エンジンとしてコンピュータを機能させることを特徴とする。【選択図】図１
2018045062.tif 000002
【特許請求の範囲】
【請求項１】
学習者の口述音声を入力し、採点結果を出力するようにコンピュータを機能させるスピーキングテストプログラムであって、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する音声認識エンジンと、
学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する特徴量抽出手段と、
信頼度と特徴量とを対応付けて予め学習したものであり、前記音声認識エンジンから出力された前記信頼度に応じて、１つ以上の特徴量を選択する特徴量選択エンジンと、
特徴量と採点結果とを対応付けて予め学習したものであり、前記特徴量選択エンジンによって選択された特徴量に応じて、採点結果を出力する採点エンジンと
してコンピュータを機能させることを特徴とするスピーキングテストプログラム。
【請求項２】
口述音声及び採点結果を対応付けて教師データとして入力し、
前記音声認識エンジンは、教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
前記特徴量抽出手段は、教師データに基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
前記特徴量選択エンジンは、教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
前記採点エンジンは、前記特徴量選択エンジンによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ようにコンピュータを機能させることを特徴とする請求項１に記載のスピーキングテストプログラム。
【請求項３】
口述音声を教師データとして入力し、
前記教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力する発話環境合成手段として更に機能させ、
前記音声認識エンジンは、環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
前記特徴量抽出手段は、環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出する特徴量差分検出手段として更に機能させ、
前記特徴量選択エンジンは、前記特徴量差分検出手段から出力された特徴量と、前記音声認識エンジンから出力された信頼度とを対応付けて学習する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のスピーキングテストプログラム。
【請求項４】
前記発話環境合成手段は、発話環境音として異なるノイズを合成する
ようにコンピュータを機能させることを特徴とする請求項３に記載のスピーキングテストプログラム。
【請求項５】
前記口述テキストから抽出される特徴量は、言語的特徴量であり、
前記音声認識エンジン内部から抽出される特徴量は、音声的特徴量である
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のスピーキングテストプログラム。
【請求項６】
前記言語的特徴量は、口述テキストに基づく
のべ単語数、
異なり単語数、
Bag-of-Wordsの空間ベクトル、
Bag-of-ngramの空間ベクトル
ＬＳＡ(Latent Semantic Analysis)の次元ベクトル、
ＬＤＡ(Latent Dirichlet Allocation)の次元ベクトル、
分散表現ベクトル、
文法誤り箇所の数及び／又は種別、
難易度別の単語数
における１つ以上であり、
前記音声的特徴量は、口述音声に基づく
発話時間、
単位時間当たりの単語数、
音響尤度、
単位時間当たりの音素数
における１つ以上である
ようにコンピュータを機能させることを特徴とする請求項５に記載のスピーキングテストプログラム。
【請求項７】
前記口述音声は、当該学習者にとって他国言語となるものである
ことを特徴とする請求項１から６のいずれか１項に記載のスピーキングテストプログラム。
【請求項８】
学習者の口述音声を入力し、採点結果を出力するスピーキングテスト装置であって、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する音声認識エンジンと、
学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する特徴量抽出手段と、
信頼度と特徴量とを対応付けて予め学習したものであり、前記音声認識エンジンから出力された前記信頼度に応じて、１つ以上の特徴量を選択する特徴量選択エンジンと、
特徴量と採点結果とを対応付けて予め学習したものであり、前記特徴量選択エンジンによって選択された特徴量に応じて、採点結果を出力する採点エンジンと
を有することを特徴とするスピーキングテスト装置。
【請求項９】
口述音声及び採点結果を対応付けて教師データとして入力し、
前記音声認識エンジンは、教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
前記特徴量抽出手段は、教師データに基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
前記特徴量選択エンジンは、教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
前記採点エンジンは、前記特徴量選択エンジンによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ことを特徴とする請求項８に記載のスピーキングテスト装置。
【請求項１０】
口述音声を教師データとして入力し、
前記教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力する発話環境合成手段を更に有し、
前記音声認識エンジンは、環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
前記特徴量抽出手段は、環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出する特徴量差分検出手段を更に有し、
前記特徴量選択エンジンは、前記特徴量差分検出手段から出力された特徴量と、前記音声認識エンジンから出力された信頼度とを対応付けて学習する
ようにコンピュータを機能させることを特徴とする請求項８又は９に記載のスピーキングテスト装置。
【請求項１１】
学習者の口述音声を入力し、採点結果を出力する装置のスピーキングテスト方法であって、
前記装置は、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する第１のステップと、
学習者に基づく口述テキストから及び／又は第１のステップの処理内部から、複数の特徴量を抽出する第２のステップと、
信頼度と特徴量とを対応付けて予め学習したものであり、第１のステップで出力された前記信頼度に応じて、１つ以上の特徴量を選択する第３のステップと、
特徴量と採点結果とを対応付けて予め学習したものであり、第３のステップで選択された特徴量に応じて、採点結果を出力する第４のステップと
を有することを特徴とする装置のスピーキングテスト方法。
【請求項１２】
第４のステップの学習について、
装置は、口述音声及び採点結果を対応付けて教師データとして入力し、
教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
教師データに基づく口述テキストから及び／又は第１のステップの処理内部から、複数の特徴量を抽出し、
教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
第３のステップによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ことを特徴とする請求項１１に記載の装置のスピーキングテスト方法。
【請求項１３】
第３のステップの学習について、
装置は、口述音声を教師データとして入力し、
前記教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力し、
環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出し、
検出された前記特徴量と、認識結果としての前記信頼度とを対応付けて学習する
ことを特徴とする請求項１１又は１２に記載の装置のスピーキングテスト方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習者の口述音声から自動的に採点するスピーキングテストの技術に関する。
【背景技術】
【０００２】
語学学習のような記述問題（例えば翻訳問題）に対して、採点者は、学習者による解答文と正解文とを比較して、その一致度に応じて採点している。しかし、人による採点には、時間及びコストがかかるだけでなく、恣意的な判断が影響する場合もある。そのために、記述問題自体が、人による採点がしやすいようなものになってしまう。
【０００３】
従来、記述問題に対して、学習者による解答文を自動的に採点する技術がある（例えば特許文献１参照）。この技術によれば、E-Learningシステムと言語処理システムとが接続されている。E-Learningシステムは、学習者に出題し、その解答文を言語処理システムへ転送する。また、言語処理システムは、解答文と正解文とを言語的に比較し、その一致度をE-learningシステムへ応答する。これによって、E-learningシステムは、その一致度に応じた採点を付与する。
【０００４】
また、例えば翻訳問題に対して、学習者の解答文における表現の多様性を許容しながら、翻訳エージェントの翻訳能力を評価する技術もある（例えば特許文献２参照）。この技術によれば、解答文と正解文とが異なる表現で記述されていても、その翻訳能力を正当に評価することができる。具体的には、原言語テスト文に対する正解文と、原言語テスト文に類似する原言語参照文に対する正解翻訳文とをそれぞれ、原言語テスト文に対する解答文とを比較して翻訳正解率を算出する。
【０００５】
これら従来技術によれば、例えば一問一答の出題形式のように、記述問題に対する解答文の内容の自由度が低い場合には有効である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許２００６−２４４００３号公報
【特許文献２】特開２００４−０１３９１３号公報
【特許文献３】特表２００２−５４４５７０号公報
【非特許文献】
【０００７】
【非特許文献１】Shyamaa E. Sorour, Kazaumasa Goda and Tsunemori Mine, “Student performance Estimation Based on Topic Models Considering a Range of Lessons,” Proc.of AIED2015 pp.790-793, 2015.
【非特許文献２】Quoc Le、Tomas Mikolov、「Distributed Representations of Sentences and Documents」、[online]、［平成２８年７月１６日検索］、インターネット＜URL:http://cs.stanford.edu/~quocle/paragraph_vector.pdf＞
【非特許文献３】Hwee Tou Ng、Siew Mei Wu、Yuanbin Wu and Christian Hadiwinoto、Joel Tetreault、「The CoNLL-2013 Shared Task on Grammatical Error Correction」、[online]、［平成２８年７月１６日検索］、インターネット＜URL:http://www.comp.nus.edu.sg/~nlp/conll13st/CoNLLST01.pdf＞
【非特許文献４】相澤一美、石川慎一郎、村田年、磯達夫、上村俊彦、小川貴宏、清水伸一、杉森直樹、羽井左昭彦、望月正道、「JACET8000英単語」、[online]、［平成２８年７月１６日検索］、インターネット＜URL:http://iss.ndl.go.jp/books/R100000002-I000008184038-00＞
【非特許文献５】投野由紀夫、「CAN‐DOリスト作成・活用 英語到達度指標CEFR‐Jガイドブック」、[online]、［平成２８年７月１６日検索］、インターネット＜URL:http://www.taishukan.co.jp/book/b197158.html＞
【非特許文献６】Julius、[online]、［平成２８年７月８日検索］、インターネット＜URL:http://julius.osdn.jp/＞
【非特許文献７】Generalized Word Posterior Probability(GWPP) for Measuring reliability of Recognized Words, Frank K. Soong et al. Proc. SWIM 2004. [online]、［平成２８年９月５日検索］、インターネット＜URL:file:///C:/Users/hayah/Desktop/SoongSWIM2004.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前述した従来技術によれば、学習者の口述音声に対して自動的に採点を付与するスピーキングテストに単に適用することはできない。会話の自由度が高いスピーキングテストになるほど、事前に正解文を準備しておくことが難しく、自動的な採点の精度が得られないという課題が生じる。
【０００９】
また、解答文と正解文との言語的な一致度が低くても、学習者の解答文の意味合いが、正解文の意味合いに近いと判断すべき場合もある。
【００１０】
更に、スピーキングテストによれば、学習者における解答誤りのみならず、音声認識システムにおける認識誤りが混在する場合がある。この場合、音声認識システムに標本音声を入力することによって、その音声認識システムにおける認識誤り精度を予め取得しておくことも必要となる（例えば特許文献３参照）。
【００１１】
そこで、本発明は、学習者の口述音声に対する自動的な採点精度を高めることができるスピーキングテストプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、学習者の口述音声を入力し、採点結果を出力するようにコンピュータを機能させるスピーキングテストプログラムであって、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する音声認識エンジンと、
学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する特徴量抽出手段と、
信頼度と特徴量とを対応付けて予め学習したものであり、音声認識エンジンから出力された信頼度に応じて、１つ以上の特徴量を選択する特徴量選択エンジンと、
特徴量と採点結果とを対応付けて予め学習したものであり、特徴量選択エンジンによって選択された特徴量に応じて、採点結果を出力する採点エンジンと
してコンピュータを機能させることを特徴とする。
【００１３】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
口述音声及び採点結果を対応付けて教師データとして入力し、
音声認識エンジンは、教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
特徴量抽出手段は、教師データに基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
特徴量選択エンジンは、教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
採点エンジンは、特徴量選択エンジンによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ようにコンピュータを機能させることも好ましい。
【００１４】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
口述音声を教師データとして入力し、
教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力する発話環境合成手段として更に機能させ、
音声認識エンジンは、環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
特徴量抽出手段は、環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出する特徴量差分検出手段として更に機能させ、
特徴量選択エンジンは、特徴量差分検出手段から出力された特徴量と、音声認識エンジンから出力された信頼度とを対応付けて学習する
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
発話環境合成手段は、発話環境音として異なるノイズを合成する
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
口述テキストから抽出される特徴量は、言語的特徴量であり、
音声認識エンジン内部から抽出される特徴量は、音声的特徴量である
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
言語的特徴量は、口述テキストに基づく
のべ単語数、
異なり単語数、
Bag-of-Wordsの空間ベクトル、
Bag-of-ngramの空間ベクトル
ＬＳＡ(Latent Semantic Analysis)の次元ベクトル、
ＬＤＡ(Latent Dirichlet Allocation)の次元ベクトル、
分散表現ベクトル、
文法誤り箇所の数及び／又は種別、
難易度別の単語数
における１つ以上であり、
音声的特徴量は、口述音声に基づく
発話時間、
単位時間当たりの単語数、
音響尤度、
単位時間当たりの音素数
における１つ以上である
ようにコンピュータを機能させることも好ましい。
【００１８】
本発明のスピーキングテストプログラムにおける他の実施形態によれば、
口述音声は、当該学習者にとって他国言語となるものである
ことも好ましい。
【００１９】
本発明によれば、学習者の口述音声を入力し、採点結果を出力するスピーキングテスト装置であって、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する音声認識エンジンと、
学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する特徴量抽出手段と、
信頼度と特徴量とを対応付けて予め学習したものであり、音声認識エンジンから出力された信頼度に応じて、１つ以上の特徴量を選択する特徴量選択エンジンと、
特徴量と採点結果とを対応付けて予め学習したものであり、特徴量選択エンジンによって選択された特徴量に応じて、採点結果を出力する採点エンジンと
を有することを特徴とする。
【００２０】
本発明のスピーキングテスト装置における他の実施形態によれば、
口述音声及び採点結果を対応付けて教師データとして入力し、
音声認識エンジンは、教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
特徴量抽出手段は、教師データに基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
特徴量選択エンジンは、教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
採点エンジンは、特徴量選択エンジンによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ことも好ましい。
【００２１】
本発明のスピーキングテスト装置における他の実施形態によれば、
口述音声を教師データとして入力し、
教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力する発話環境合成手段を更に有し、
音声認識エンジンは、環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
特徴量抽出手段は、環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出する特徴量差分検出手段を更に有し、
特徴量選択エンジンは、特徴量差分検出手段から出力された特徴量と、音声認識エンジンから出力された信頼度とを対応付けて学習する
ようにコンピュータを機能させることも好ましい。
【００２２】
本発明によれば、学習者の口述音声を入力し、採点結果を出力する装置のスピーキングテスト方法であって、
装置は、
学習者の口述音声から認識された口述テキストと、その認識結果に対する信頼度とを出力する第１のステップと、
学習者に基づく口述テキストから及び／又は第１のステップの処理内部から、複数の特徴量を抽出する第２のステップと、
信頼度と特徴量とを対応付けて予め学習したものであり、第１のステップで出力された信頼度に応じて、１つ以上の特徴量を選択する第３のステップと、
特徴量と採点結果とを対応付けて予め学習したものであり、第３のステップで選択された特徴量に応じて、採点結果を出力する第４のステップと
を有することを特徴とする。
【００２３】
本発明のスピーキングテスト方法における他の実施形態によれば、
第４のステップの学習について、
装置は、口述音声及び採点結果を対応付けて教師データとして入力し、
教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力し、
教師データに基づく口述テキストから及び／又は第１のステップの処理内部から、複数の特徴量を抽出し、
教師データに基づく信頼度に応じて、１つ以上の特徴量を選択し、
第３のステップによって選択された特徴量と、教師データの採点結果とを対応付けて学習する
ことも好ましい。
【００２４】
本発明のスピーキングテスト方法における他の実施形態によれば、
第３のステップの学習について、
装置は、口述音声を教師データとして入力し、
教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力し、
環境音合成無しの口述音声から認識された口述テキストと、環境音合成有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力し、
環境音合成無しの口述音声及び環境音合成有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出し、
環境音合成無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、環境音合成有りの口述音声に基づく特徴量を検出し、
検出された特徴量と、認識結果としての信頼度とを対応付けて学習する
ことも好ましい。
【発明の効果】
【００２５】
本発明のスピーキングテストプログラム、装置及び方法によれば、学習者の口述音声に対する自動的な採点精度を高めることができる。
【図面の簡単な説明】
【００２６】
【図１】本発明のスピーキングテストプログラムにおける採点段階の機能構成図である。
【図２】音声認識エンジンを用いて抽出される特徴量を表す説明図である。
【図３】本発明のスピーキングテストプログラムにおける採点エンジンの学習段階の機能構成図である。
【図４】本発明のスピーキングテストプログラムにおける特徴量選択エンジンの学習段階の機能構成図である。
【図５】本発明におけるシーケンス図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２８】
＜採点段階＞
図１は、本発明のスピーキングテストプログラムにおける採点段階の機能構成図である。
【００２９】
「採点段階」とは、学習者の口述音声を入力し、採点エンジンを用いて採点結果を自動的に出力する処理である。例えば、学習者自身が所持する端末によって実行される処理である。
【００３０】
語学学習におけるスピーキングテストプログラムの場合、学習者の口述音声は、その学習者にとって自国語（例えば日本語）とは異なる他国言語（例えば英語）である。本発明によれば、例えば日本人が、自ら考えた解答文を英語で発音し、その口述音声に対して自動的に採点することができる。
【００３１】
図１のスピーキングテストプログラム１は、音声認識エンジン１１と、特徴量抽出部１２と、特徴量選択エンジン１３と、採点エンジン１４としてコンピュータを機能させるものである。尚、これら機能構成部の処理の流れは、スピーキングテスト装置及び方法としても理解できる。
【００３２】
［音声認識エンジン１１］
音声認識エンジン１１は、学習者の口述音声から認識された「口述テキスト」と、その認識結果に対する「信頼度」とを出力する。口述テキストは、特徴量抽出部１２へ出力される。
音声認識エンジンとしては、例えば、数万語彙の連続音声認識を実時間で実行可能なJulius（登録商標）がある（例えば非特許文献６参照）。この音声認識エンジンは、ＧＭＭ−ＨＭＭ(Gaussian Mixture Model - Hidden Markov Model)又はＤＮＮ−ＨＭＭ(Deep Neural Network - Hidden Markov Model)を用いた「音響モデル」（音響の特徴量を表すモデル）と、単語N-gram，記述文法及び単語辞書を用いた「言語モデル」（言語のつながりを表すモデル）とを搭載する。これら言語モデルや音響モデルのモジュールは、スピーキングテストの用途に応じて組み替えることができる。
【００３３】
音響モデルとは、音素毎の周波数特性を表現したものであり、一般に、隠れマルコフモデルが用いられる。
言語モデルとは、単語の並び方に関する制約を表現したものである。例えば「私(watashi)」の直後に、「が」や「は」の単語が続く確率が高い、という制約のようなものである。
【００３４】
［特徴量抽出部１２］
特徴量抽出部１２は、学習者に基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する。
【００３５】
図２は、音声認識エンジンから抽出される特徴量を表す説明図である。
【００３６】
口述テキストから抽出される特徴量は、「言語的特徴量」である。
音声認識エンジン内部から抽出される特徴量は、「音声的特徴量」である。
これら特徴量は、特徴量選択エンジン１４へ出力される。
【００３７】
＜言語的特徴量＞
言語的特徴量は、口述テキストに基づく
のべ単語数、
異なり単語数、
Bag-of-Wordsの空間ベクトル
Bag-of-ngramの空間ベクトル
ＬＳＡ(Latent Semantic Analysis)の次元ベクトル、
ＬＤＡ(Latent Dirichlet Allocation)の次元ベクトル、
分散表現ベクトル、
文法誤り箇所の数及び／又は種別、
難易度別の単語数
における１つ以上である。
【００３８】
「のべ単語数」とは、解答となる口述テキストに含まれる全ての単語（語彙）の数をいう。
「異なり単語数」とは、同じ単語は１つとして数えた単語の数をいう。尚、活用形は問わず、全て同じとみなす。
「Bag-of-Wordsの空間ベクトル」とは、テキストに含まれる各単語の出現頻度のみを表現したベクトルをいう。ここでは、単語の出現順は無視される。この空間ベクトルは、単語を軸とし、出現頻度を値として、その空間の１点にそのテキストを位置付けたものである。また、予め導出されたＩＤＦ(Inverse Document Frequency)を単語の重みとして、文章間の類似度を導出する。
「Bag-of-ngramの空間ベクトル」とは、要素個数n=1とするBag-of-Wordsを含む枠組みのベクトルをいう。連続するn個の要素が何を表すかによって表現が異なる。
「ＬＳＡ(Latent Semantic Analysis)の次元ベクトル」とは、潜在意味解析に基づくものであって、文書群とそこに含まれる用語群とから生成した次元圧縮ベクトルをいう（例えば非特許文献１参照）。ＬＳＡによれば、文書毎の用語の出現を表した文書−単語マトリックスが用いられる。これは、各行が各単語に対応し、各列が各文書に対応した疎行列である。この行列の各成分の重み付けには、ＴＦ−ＩＤＦ(Term Frequency - Inverse Document Frequency)が用いられる。行列の各成分は、その文書でその単語が使用された回数に比例した値であり、単語は、その相対的重要性を反映するべく重み付けされる。
「ＬＤＡ(Latent Dirichlet Allocation)の次元ベクトル」とは、文書中の単語の「トピック」を確率的に生成した次元圧縮ベクトルをいう（例えば非特許文献１参照）。具体的には、テキストを、各トピックグループに属する確からしさ（トピック比率）で表したものである。単語は、独立に存在しているのではなく、潜在的にいずれか１つのトピックグループに分類することができ、同じトピックグループに含まれる単語は同じ文章に出現しやすい、という特徴を利用したものである。
「分散表現(Distributed representation)」とは、テキスト中の単語を高次元で表現した実数ベクトルをいう（例えば非特許文献２参照）。意味が近い単語ほど、近いベクトルに対応させられる。加法構成性を有し、ベクトルの足し算が、意味の足し算に対応することとなる。例えばdoc2vecのようなツールがある。このようなツールを用いることで、分の意味を数百次元のベクトルで表現することができる。
「文法誤り箇所の数及び／又は種別」によれば、文法誤り箇所が多いほど、採点も低くなる傾向がある（例えば非特許文献３参照）。
「難易度別の単語数」とは、難易度付き語彙リストを用いて、難易度毎に、単語を計数したものである（例えば非特許文献４及び５参照）。
【００３９】
＜音声的特徴量＞
音声的特徴量は、口述音声に基づく
発話時間、
単位時間当たりの単語数、
音響尤度、
単位時間当たりの音素数
における１つ以上であってもよい。
【００４０】
「発話時間」とは、解答となる口述音声の時間である。
「単位時間当たりの単語数」とは、例えば口述音声を単位時間（例えば５秒）毎に区分し、その単位時間毎に単語数を検出し、それら単語数を平均した数をいう。
「音響尤度」とは、当該音素について、音響モデルを用いた統計的観点からみた尤もらしさの度合いをいう。音響尤度が高い単語ほど音響的に正しく、音響尤度が低い単語ほど音響的に誤っている傾向がある。
「単位時間当たりの音素数」とは、単位時間（例えば５秒）に検出された音素の数（話速）をいう。
【００４１】
音声認識エンジン１１が出力する「信頼度」とは、例えばＧＷＰＰ(Generalized Word Posterior Probability)等のConfidence Measureである（例えば非特許文献７参照）。信頼度の値が低いほど、音声認識の誤りが含まれる可能性が高いと判定される。
【００４２】
［特徴量選択エンジン１３］
特徴量選択エンジン１３は、信頼度と特徴量とを対応付けて予め学習したものであり、音声認識エンジン１１から出力された信頼度に応じて、１つ以上の特徴量を選択する。１つの特徴量を選択するものであってもよいし、複数の特徴量を選択する場合、言語的特徴量と音声的特徴量とが混在するものであってもよい。
【００４３】
ここで具体的には、特徴量選択エンジン１３は、信頼度が低いほど音声認識の誤りが高いために、言語的特徴量よりも、音声的特徴量が選択される。音声的特徴量は、音声認識エンジン１１による音声認識の誤りの度合いに関係なく、安定して高い精度で抽出できるパラメータである。そのために、音声的特徴量は、音声認識誤りに対して、頑健な特徴量として用いることができる。
即ち、特徴量選択エンジン１３は、
信頼度が高いほど、音声的特徴量よりも言語的特徴量を多く含む特徴量を選択し、
信頼度が低いほど、言語的特徴量よりも音声的特徴量を多く含む特徴量を選択する
ことが好ましい。
【００４４】
［採点エンジン１４］
採点エンジン１４は、特徴量と採点結果とを対応付けて予め学習したものであり、特徴量選択部１３によって選択された特徴量に応じて、採点結果を出力する。ここでは、採点エンジン１４が、自ら学習した採点モデルパラメータを内部に構築している。
採点結果は、例えば０〜１００点のように連続値であってもよいし、級や合否のような離散値であってもよい。
【００４５】
採点エンジン１４は、採点結果が連続値である場合、例えば回帰分析や、重回帰分析、Lasso回帰、Ridge回帰、ＳＶＲ(Support Vector Regression)、ＮＮ(Neural Net)のような機械学習方式を用いることができる。
また、採点結果が離散値である場合、ロジスティック回帰や、ＳＶＭ(Support Vector Machine)やＮＮのような機械学習方式を用いることができる。
採点エンジンの学習方式の選択として、教師データで線形分離可能か否かが１つの基準となる。
【００４６】
回帰分析(regression analysis)とは、統計学について、連続尺度の従属変数（目的変数）Yと、独立変数（説明変数）Xとの間にモデルを当てはめることをいう（Y＝f(X)）。最も基本的なモデルは、Y＝aX＋bである。Xが１次元であれば単回帰といい、Xが２次元以上であれば重回帰という。重回帰分析は、多変量解析の１つであって、一般的には最小二乗法が用いられる。
回帰分析の中でも、線形回帰として、Lasso回帰、Ridge回帰があり、非線形回帰として、ＳＶＲやＮＮがある。
【００４７】
ロジスティック回帰(Logistic regression)とは、ベルヌーイ分布に従う変数の統計的な分類モデルの一種である。
サポートベクター回帰とは、カーネル法と称される非線形回帰分析の１つである。パターン認識の分野で用いられているサポートベクターマシン(Support Vector Machine)の回帰バージョンである。サポートベクター回帰とは、モデルを事前に仮定することのないノンパラメトリックモデルであり、データの分布を考慮する必要はない。
ニューラルネットワーク(Neural Network)は、脳機能の特性を、計算機上のシミュレーションによって表現した数学モデルである。シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般をいう。
【００４８】
サポートベクターマシン(Support Vector Machine)は、教師あり学習を用いるパターン認識モデルの一つであって、分類や回帰に適用できる。サポートベクターマシンは、線形入力素子を用いて、２クラスのパターン識別器を構成する。教師データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。
【００４９】
＜採点エンジン・学習段階＞
図３は、本発明のスピーキングテストプログラムにおける採点エンジンの学習段階の機能構成図である。
【００５０】
「採点エンジン・学習段階」とは、教師データを入力し、採点エンジン内部で採点モデルパラメータを構築する処理である。その採点モデルパラメータは、採点エンジン内部へ組み込まれる。スピーキングテストの場合、例えばテストの運用事業者によって実行される。
【００５１】
本発明によって入力される教師データ群は、過去の多数の学習者における口述音声及び採点結果を対応付けたものである。
（口述音声）<->（採点）
Ｖ１  <->  Ａ１
Ｖ２  <->  Ａ２
Ｖ３  <->  Ａ３
・・・・・・・
教師データ群の口述音声は、音声認識エンジン１１へ入力され、その採点結果は、採点エンジン１４へ入力される。
【００５２】
［音声認識エンジン１１］
音声認識エンジン１１は、教師データの口述音声から口述テキストと、音声認識結果に対する信頼度とを出力する。口述テキストは、特徴量抽出部１２へ出力され、信頼度は、特徴量選択エンジン１３へ出力される。音声認識エンジン１１自体は、図１で前述したものと全く同じものである。
【００５３】
［特徴量抽出部１２］
特徴量抽出部１２は、教師データに基づく口述テキストから及び／又は音声認識エンジン内部から、複数の特徴量を抽出する。複数の特徴量は、特徴量選択エンジン１３へ出力される。特徴量抽出部１２自体は、図１で前述したものと全く同じものである。
【００５４】
［特徴量選択エンジン１３］
特徴量選択エンジン１３は、教師データに基づく信頼度に応じて、１つ以上の特徴量を選択する。特徴量選択エンジン１３自体は、図１で前述したものと全く同じものである。
【００５５】
［採点エンジン１４］
採点エンジン１４は、特徴量選択エンジン１３によって選択された特徴量と、教師データの採点結果とを対応付けて学習する。これによって、採点エンジン１４の内部に、採点モデルパラメータを構築する。採点エンジン１４自体は、図１で前述したものと全く同じであって、図３によって構築された採点モデルパラメータは、図１の採点段階の採点エンジン１４で用いられる。
【００５６】
＜特徴量選択エンジン・学習段階＞
図４は、本発明のスピーキングテストプログラムにおける特徴量選択エンジンの学習段階の機能構成図である。
【００５７】
「特徴量選択エンジン・学習段階」とは、教師データの口述音声を入力し、特徴量選択エンジン内部で選択モデルパラメータを構築する処理である。その選択モデルパラメータは、特徴量選択エンジンへ組み込まれる。
図４によれば、図１及び図３の機能構成部に加えて、発話環境合成部１５と、特徴量差分検出部１６を更に有する。
【００５８】
［発話環境合成部１５］
発話環境合成部１５は、教師データの口述音声に、異なる発話環境音を合成した１つ以上の口述音声を出力する。これら口述音声は、音声認識エンジン１１へ入力される。
発話環境合成部１５は、教師データとしての同一の口述音声であっても、様々なノイズが合成された音声を、音声認識エンジン１１へ入力する。これによって、同一の口述音声であれば、音声認識エンジン１１から出力された口述テキストの認識に誤りがあっても、同一の採点が付与されるものとして学習する。即ち、学習段階について、学習者の口述音声に、発話環境音におけるノイズが混在していても、採点に対する耐性が高くなるような選択モデルパラメータを構築する。発話環境音における他の例としては、発話者の口述音声を収集するマイクの周波数特性や、発話者の存する部屋の反響特性等を模擬できるエフェクターが考えられる。
【００５９】
［音声認識エンジン１１］
音声認識エンジン１１は、ノイズ無しの口述音声から認識された口述テキストと、ノイズ有りの口述音声から認識された口述テキスト及びその認識結果に対する信頼度とを出力する。このとき、ノイズ有りの口述音声の口述テキストは、ノイズ無しの口述音声の口述テキストよりも、誤認識が多く、その信頼度も低くなる。音声認識エンジン１１自体は、図１及び図３で前述したものと全く同じものである。
【００６０】
［特徴量抽出部１２］
特徴量抽出部１２は、ノイズ無しの口述音声及びノイズ有りの口述音声それぞれについて、認識された口述テキストから及び／又は音声認識エンジン内部から、１つ以上の特徴量を抽出する。言語的特徴量は、信頼度が低いほど音声認識の誤りが高い。一方で、音声的特徴量は、音声認識の誤りの影響を受けにくい。特徴量抽出部１２自体は、図１及び図３で前述したものと全く同じものである。
【００６１】
［特徴量差分検出部１６］
特徴量差分検出部１６は、ノイズ無しの口述音声に基づく特徴量に対して、所定閾値よりも差分が小さい、又は、差分が小さい順に所定数となる、ノイズ有りの口述音声に基づく特徴量を検出する。特徴量に対する所定閾値又は所定数は、予め設定されたものである。ここでは、ノイズ無しとノイズ有りとで、口述音声に基づく特徴量の差分が小さい、即ち、ノイズの影響を受けにくい特徴量を検出しようとしている。検出された１つ以上の特徴量は、特徴量選択エンジン１３へ出力される。
【００６２】
［特徴量選択エンジン１３］
特徴量選択エンジン１３は、特徴量差分検出部１６から出力された特徴量と、音声認識エンジン１１から出力された信頼度とを対応付けて学習する。これによって、特徴量選択エンジン１３の内部に、選択モデルパラメータを構築する。特徴量選択エンジン１３自体は、図１及び図３で前述したものと全く同じであって、図４によって構築された選択モデルパラメータは、図１の採点段階及び図３の採点エンジン・学習段階における特徴量選択エンジン１３で用いられる。
【００６３】
図５は、本発明におけるシーケンス図である。
【００６４】
図５によれば、スピーキングテストの事業者が運用するサーバと、学習者が所持する端末とが、ネットワークを介して接続されている。端末としては、マイク及びディスプレイのようなユーザインタフェースを予め搭載した、スマートフォンやタブレット端末であることが好ましい。
【００６５】
図５（ａ）によれば、学習段階は、スピーキングテストの事業者が運用するサーバによって実行され、採点段階は、学習者が所持する端末によって実行される。
サーバは、学習段階で生成した採点モデルパラメータ及び選択モデルパラメータを、端末へ送信する。
端末は、受信した採点モデルパラメータ及び選択モデルパラメータを保持し、学習者の口述音声から採点する。
【００６６】
図５（ｂ）によれば、学習段階及び採点段階の両方とも、スピーキングテストの事業者が運用するサーバによって実行される。
サーバは、学習段階で生成した採点モデルパラメータ及び選択モデルパラメータを保持する。
端末は、学習者の口述音声をそのまま、サーバへ送信する。
サーバは、端末から受信した口述音声から採点し、その採点結果を端末へ返信する。
【００６７】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、学習者の口述音声に対する自動的な採点精度を高めることができる。特に、会話の自由度が高いスピーキングテストであっても、事前に正解文を準備しておく必要がない。
【００６８】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６９】
１  スピーキングテストプログラム
１１  音声認識エンジン
１２  特徴量抽出部
１３  特徴量選択エンジン
１４  採点エンジン
１５  発話環境合成部
１６  特徴量差分検出部
【図１】
2018045062.tif 000003
【図２】
2018045062.tif 000004
【図３】
2018045062.tif 000005
【図４】
2018045062.tif 000006
【図５】
2018045062.tif 000007