(57)【要約】  話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための、コンピュータに実装されるシステム及び方法が開示される。該方法は、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップと、アンカーフレーズ及びターゲット単語の視覚的表現を話者へと提示するステップと、受音されデジタル化されたアンカーフレーズ及びデジタルターゲット単語を、音声エンジンによって処理するステップと、音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、複数の特徴を複数の分類器へと送信するステップと、複数の特徴から複数の分類器出力をフィードバック分類器によって導出して、複数の分類器出力をリゾルバへと送信するステップと、事前定義済みルールのセットを使用して、複数の分類器出力に少なくとも部分的に基づいてフィードバック応答をリゾルバによって選択するステップと、フィードバック応答を話者へと提示するステップとを含む。【選択図】図１
2021516770.tif 000002
【特許請求の範囲】
【請求項１】
話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための、コンピュータに実装される方法であって、
インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、
前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、
前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、
前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、
前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、
前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、
前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、
前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、
事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、
前記フィードバック応答を前記話者へと提示するステップと
を含む、コンピュータに実装される方法。
【請求項２】
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップが、さらに、前記アンカーフレーズ及び前記ターゲット単語の前記視覚的表現を前記話者へと提示するステップの、以前のインスタンスの記録に少なくとも部分的に基づく、請求項１に記載のコンピュータに実装される方法。
【請求項３】
前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素と、前記少なくとも１つの候補音素候補についての予期される音素確率とを含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップが、さらに、前記少なくとも１つの候補音素及び前記予期される音素確率に少なくとも部分的に基づく、請求項１に記載のコンピュータに実装される方法。
【請求項４】
前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素についての母音強勢の推定を含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップが、さらに、前記母音強勢の推定に少なくとも部分的に基づく、請求項１に記載のコンピュータに実装される方法。
【請求項５】
前記リゾルバが、前記音素トランスクリプトを直接受信し、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップが、さらに、前記リゾルバによって受信された前記音素トランスクリプトに少なくとも部分的に基づく、請求項１に記載のコンピュータに実装される方法。
【請求項６】
前記母音強勢の推定は、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素の、聴取可能な母音強勢の時間的配置及び聴取可能な母音強勢の質の評価を含む、請求項４に記載のコンピュータに実装される方法。
【請求項７】
前記アンカーフレーズが、発音表記システムから選択される、請求項１に記載のコンピュータに実装される方法。
【請求項８】
前記アンカーフレーズが、Color Vowel（登録商標）から選択される、請求項１に記載のコンピュータに実装される方法。
【請求項９】
機械学習要素によって、音素挿入、音素削除及び音素置換のうち少なくとも１つを検出するステップをさらに含む、請求項１に記載のコンピュータに実装される方法。
【請求項１０】
話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのシステムであって、該システムは、
少なくとも１つの物理プロセッサと、
前記少なくとも１つの物理プロセッサによって実行された際に、前記少なくとも１つの物理プロセッサに対して、
インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、
前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、
前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、
前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、
前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、
前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、
前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、
前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、
事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、
前記フィードバック応答を前記話者へと提示するステップと
を行わせる、コンピュータ実行可能な命令を含む物理メモリと
を含む、システム。
【請求項１１】
前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答をリゾルバによって選択させるステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記アンカーフレーズ及び前記ターゲット単語の前記視覚的表現を前記話者へと提示する以前のインスタンスの記録に少なくとも部分的に基づいている、請求項１０に記載のシステム。
【請求項１２】
前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素と、前記少なくとも１つの候補音素候補についての予期される音素確率とを含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記少なくとも１つの候補音素及び前記予期される音素確率に少なくとも部分的に基づいている、前請求項１１に記載のシステム。
【請求項１３】
前記コンピュータ実行可能な命令は、前記システムに、前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素についての母音強勢の推定を含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記母音強勢の推定に少なくとも部分的に基づいている、請求項１１に記載のシステム。
【請求項１４】
前記リゾルバが、前記音素トランスクリプトを直接受信し、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記リゾルバによって受信された前記音素トランスクリプトに少なくとも部分的に基づいている、請求項１１に記載のシステム。
【請求項１５】
前記母音強勢の推定は、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素の、聴取可能な母音強勢の時間的配置及び聴取可能な母音強勢の質の評価を含む、請求項１１に記載のシステム。
【請求項１６】
前記アンカーフレーズが、発音表記システムから選択される、請求項１１に記載のシステム。
【請求項１７】
１つ以上のコンピュータ実行可能な命令を含む、非一時的なコンピュータ可読媒体であって、該命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された際に、前記コンピューティングデバイスに対して、
インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節の予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、
前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、
前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、
前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、
前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、
前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、
前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、
前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、
事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、
前記フィードバック応答を前記話者へと提示するステップと
を行わせる、非一時的なコンピュータ可読媒体。
【請求項１８】
前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答をリゾルバによって選択させるステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記アンカーフレーズ及び前記ターゲット単語の前記視覚的表現を前記話者へと提示する以前のインスタンスの記録に少なくとも部分的に基づいている、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項１９】
前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素と、前記少なくとも１つの候補音素候補についての予期される音素確率とを含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記少なくとも１つの候補音素及び前記予期される音素確率に少なくとも部分的に基づいている、請求項１７に記載の非一時的なコンピュータ可読媒体。
【請求項２０】
前記音素トランスクリプトが、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語からの前記予期される音素についての少なくとも１つの候補音素についての母音強勢の推定を含み、
前記複数の分類器出力に少なくとも部分的に基づいて前記フィードバック応答を前記リゾルバによって選択するステップを前記システムに行わせる前記コンピュータ実行可能な命令は、さらに、前記母音強勢の推定に少なくとも部分的に基づいている、請求項１７に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１９年１月３１日に出願された米国非仮特許出願第１６／２６４，４００号、２０１８年６月２５日に出願された米国非仮特許出願第１６／０１７，７６２号、及び、２０１８年３月１３日に出願された米国仮特許出願第６２／６４２，４８１号の利益を主張するものであり、参照によりそれらの全体が全て本明細書に組み込まれる。
発明の分野
話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのシステム及び方法が開示され、より詳細には、アンカーフレーズ及びターゲット単語をインタラクティブゲームの一部として提示すると共に、音声エンジン出力から抽出された複数の特徴に少なくとも部分的に基づいて話者にフィードバック応答を提供することによって、話者の発音を改善するための、コンピュータに実装される方法が開示される。
【背景技術】
【０００２】
英語はアルファベット言語であるが、それは発音通りに書かれる言語ではないため、書き英語は話し英語と直接相関していない。この事実は、別の１つ以上の言語を既に流暢に話せる人が英語を志す際に、正しい発音を非常に理解しにくくするものであり、しばしば理解の妨げにもなる。例えば、文字“o”が（rosa、flor、jardineroのように）常に/o/という音を表すスペイン語とは異なり、英語では文字”o”は（単語“to”、“of”、“so”、“off”、“woman”及び“women”に示されるように）様々な音を表し得る。英語の「深い正書法」は、他のアルファベット言語（その大半は、より透明度の高い正書法を有している）とは一線を画している。他言語の話者は、しばしば、「声に出す」ことが活字内に見られる英単語を発音するための効果的な戦略であるという暗黙の仮定を捨てることについて、困難に感じる。もう１つの課題は、読み書きができる／ネイティブの英語話者は、深い正書法に気づきにくく、そのため曖昧な正書法を特徴とする単語であっても（例えば、“snow”と“plow”、“clean”と“bread”）それらの単語を「声に出せる」と信じる傾向にあることから、読みを上手く正確に行えるということである。読みの上手い人々から言語及び読みの教師が輩出されており、そのような人々は、皮肉なことに、学習に関して深い正書法の問題を過小評価する傾向があることに注意する必要がある。英語における深い正書法の問題に対する従来の対応は、音標記号によって発音を表すことである。音標記号は、音と記号との１対１対応を確立することを目的としており、これによって、単語のスペルに関わらず、その単語の音による聞こえ方が表される。単語内の音を示すために使用される米国の表音アルファベット記号の例には、以下のものが含まれる：
【数１】
2021516770.tif 000003
【０００３】
音標記号は、語学に通じた人々や他の訓練を受けた人々に、言語の音を調べるための共通言語を提供する。しかしながら、音標記号はアクセシビリティに限りがあり、活字に苦しんでいる人々にとっては、基本的にアクセスすることができない。さらに、音標記号は、様々な英語辞書に見られる広範囲の修正された音標字母のベースとなっている国際音標字母及び米国音標字母によって、多くの形式で表わされる。これらの多様な修正された音標字母に直面して、苦しむ学習者は、しばしば、単語の発音を決定するための手段として、辞書を忌避することを学習する。
【０００４】
現在のところ、既存の発音改善方法に関する問題は、多くの場合、それらの方法を用いることが困難であることや、言語の発音を改善する効果が不十分であることである。言語の発音をより効果的に改善するには、これらの問題を軽減又は回避することが望ましい。
【発明の概要】
【０００５】
以下でより詳細に説明するように、本開示は、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための様々なシステム及び方法を説明する。
【０００６】
いくつかの実施形態では、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための、コンピュータに実装される方法が開示される。該方法は、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを含む。
【０００７】
いくつかの実施形態では、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのシステムが開示される。該システムは、少なくとも１つの物理プロセッサと、前記少なくとも１つの物理プロセッサによって実行された際に、前記少なくとも１つの物理プロセッサに対して、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを行わせる、コンピュータ実行可能な命令を含む物理メモリとを含む。
【０００８】
いくつかの実施形態では、非一時的なコンピュータ可読媒体が開示される。該非一時的なコンピュータ可読媒体は、１つ以上のコンピュータ実行可能な命令を含み、コンピューティングデバイスの少なくとも１つの物理プロセッサによって実行された際に、前記コンピューティングデバイスに対して、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを行わせる。
【０００９】
任意の上述の実施形態からの特徴は、本明細書に記載される一般原則に従って、互いに組み合わせて使用されてもよい。これらの及び他の実施形態、特徴及び利点は、添付の図面及び特許請求の範囲と併せて以下の詳細な説明を読解することによって、より完全に理解されるであろう。
【００１０】
これらの一般的な及び特定の態様は、デジタルハードウェアを用いて実装されてもよく、対応するソフトウェアを用いて実装されてもよく、ハードウェアとソフトウェアとの組み合わせを用いて実装されてもよい。他の特徴は、詳細な説明、図面及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１１】
これらの図は、例示のみを目的として実施形態を示す。当業者は、以下の詳細な説明から、ここに図示される構造の代替となる実施形態が、本明細書に説明される原理から逸脱することなく使用され得ることを容易に認識するであろう。
【００１２】
【図１】図１は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェースのスクリーンショットである。
【００１３】
【図２】図２は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェースの別のスクリーンショットである。
【００１４】
【図３】図３は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェースのさらに別のスクリーンショットである。
【００１５】
【図４】図４は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェースのさらなるスクリーンショットである。
【００１６】
【図５】図５は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェースのまたさらなるスクリーンショットである。
【００１７】
【図６】図６は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法を示す発音スコアを示すチャートである。
【００１８】
【図７】図７は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法として、ユーザフィードバック及びユーザスコアリングを入力された音声データのセットに少なくとも部分的に基づいて生成するシステム７００のいくつかの実施形態の一部のブロック図である。
【００１９】
【図８】図８は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法として、フィードバック分類器によって提供されたユーザフィードバック及び総合スコアリングを入力された音声データのセットに少なくとも部分的に基づいて生成するシステムのいくつかの実施形態のブロック図である。
【００２０】
【図９】図９は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法のフローチャートである。
【００２１】
【図１０】図１０は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法の擬似コードの第１の表である。
【００２２】
【図１１】図１１は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法の擬似コードの第２の表である。
【００２３】
【図１２】図１２は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法のブロック図である。
【００２４】
図面全体を通して、同一の参照符号及び説明は、類似の要素を示すが、必ずしも同一の要素を示すわけではない。本明細書に記載の例示的な実施形態は様々な修正及び代替となる形態が可能である一方で、特定の実施形態が図面中に例として示されており、本明細書において詳細に記載される。しかしながら、本明細書に記載の例示的な実施形態は、開示の特定の形態に限定されることを意図されていない。むしろ、本開示は、添付の特許請求の範囲内に含まれる全ての修正、均等物及び代替物を網羅するものである。
【発明を実施するための形態】
【００２５】
以下の説明及び図面は例示であって、限定するものとして解釈されるべきではない。数多の特定の詳細は、本開示の完全な理解を提供するために説明されている。しかしながら、特定の例では、説明が不明瞭になることを避けるために、周知の又は従来の詳細については説明しない。
【００２６】
本明細書における「一実施形態（one embodiment）」「ある実施形態（an embodiment）」「いくつかの実施形態（some embodiments）」又はこれに類するものについての言及は、実施形態に関連して説明される特定の特徴、構造、特性、利点又は利益が、本開示の少なくとも１つの実施形態内に含まれるが、他の実施形態によって示されなくてもよいことを意味する。本明細書の様々な位置に現れる語句「いくつかの実施形態では（In some embodiments）」は、必ずしも全てが同じ実施形態について言及しているわけではなく、他の実施形態と相互に排他的な別個の又は代替となる実施形態でもない。同様に、いくつかの実施形態に係る要件であるが、他の実施形態に係る要件ではない、様々な要件が説明されている。本明細書及び図面は、限定的な意味ではなく例示的な意味において評価されるべきである。様々な修正が、特許請求の範囲に記載される範囲から逸脱することなく行われてもよい。
【００２７】
本発明者らは、音標字母間の変化のほとんどが、母音の表現内に見られることに気づいた。同様に、本発明者らは、母音に加えられる不適切な強勢が不十分又は不適切な発音の重大な原因であることは多いものの、それが不十分又は不適切な発音の考え得る唯一の原因ではないことに気づいた。いくつかの実施形態では、本明細書にて説明するシステム及び方法は、Color Vowel（登録商標）システム等の、発音のためにアンカーフレーズ及びターゲット単語を話者へと提示するインタラクティブゲーム内に組み込まれた発音システムを採用する。これに対応して、音声エンジンは、話者から受音したデジタル化された聴取可能アンカーフレーズ及びデジタル化されたターゲット単語を受信すると共に処理して、音声エンジン出力を生成し、該音声エンジン出力から複数の特徴が抽出された後、該複数の特徴から複数の分類器出力が導出される。いくつかの実施形態では、複数の分類器出力を導出する複数の分類器のうちの少なくとも１つが、機械学習要素を使用する。リゾルバは、複数の分類器出力に少なくとも部分的に基づいて、事前定義済みルールのセットを使用してフィードバック応答を自動的に選択し、該フィードバック応答を話者へと提示し、それによって話者の発音スキルを向上させる。
【００２８】
図１には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェース１００のスクリーンショットが示される。いくつかの実施形態では、ユーザインタフェース１００は、通信デバイス１０５によって表示され、通信デバイス１０５は、ゲームの名前をユーザに対して表示する名前フィールド１１０を表示する。該ユーザは、例えば、英語の発音を改善しようとする話者であって、英語が母国語又は主要言語ではない。本明細書で使用する場合、以下に限定されないが、任意の「通信デバイス」は、デスクトップコンピュータ、携帯電話、タブレット、ラップトップ又は任意の互換性のあるコンピューティングデバイスであり得、例えば、セルラー電話をサポートするＡｎｄｒｏｉｄ（登録商標）若しくはｉＯＳ（登録商標）モバイルオペレーティングシステム等であり得る。いくつかの実施形態では、名前フィールド１１０に表示される名前は“Color It Out”であり、これは、Color Vowel（登録商標）システムを採用するColor Vowel（登録商標）（“ＣＶ”）ゲームに対応している。いくつかの実施形態では、ユーザインタフェース１００は、ＣＶゲームを表すグラフィックイラスト１１５を含む。いくつかの実施形態では、グラフィックイラスト１１５は、ＣＶカードのスタックを示す画像を含み、該ＣＶカードとしては、例えば、本明細書で説明されるＣＶカード等が挙げられる。他の実施形態では、グラフィックイラスト１１５は、ＣＶカードのスタックを示す画像を含み、該画像としては、ＥＬＴＳソリューションからのColor Vowel（登録商標） Chartを含むColor Vowel（登録商標）システムで使用される物理ＣＶカード等が挙げられる。
【００２９】
いくつかの実施形態では、ユーザインタフェース１００は、ニューゲームボタン１２０を含む。いくつかの実施形態では、ユーザインタフェース１００は、ユーザが指又は他の互換可能な器具を、表示されたボタンをユーザに提示するように該ユーザのモバイルデバイスに当技術分野で一般的に知られた方法により表示されるニューゲームボタン１２０に隣接する層上に押し当てることによって、ニューゲームボタン１２０のアクティブ化を検出する。いくつかの実施形態では、ニューゲームボタン１２０に隣接する層は、例えば、Apple（登録商標）iPhone（登録商標）及びSamsung（登録商標）Galaxy（登録商標）携帯電話では、ガラス製である。しかしながら、ユーザの通信デバイス１０５は、命令を実行して直接又は間接的にウェブサーバと通信することが可能な任意のタイプの通信デバイスであり得る。
【００３０】
いくつかの実施形態では、ユーザインタフェース１００は、ユーザ支援ボタン１２５を含む。いくつかの実施形態では、ユーザ支援ボタン１２５は、“Learn to Play（遊び方を学ぶ）”とラベル付けされる。ユーザ支援ボタン１２５がアクティブ化されると、ユーザインタフェース１００にゲームの遊び方の説明が表示されると共に、新規ユーザがＣＶゲームの機能に慣れるのを助けるための例がさらに提供される。いくつかの実施形態では、ユーザインタフェース１００は、メインメニューボタン１３０を含む。いくつかの実施形態では、ユーザ支援ボタン１３０は、“Main Menu（メインメニュー）”とラベル付けされている。メインメニューボタン１３０がアクティブ化されると、ユーザインタフェース１００にユーザが選択可能なゲームオプション及び過去のパフォーマンス結果を含む複数の選択可能なオプションが表示される。
【００３１】
図２には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェース２００の別のスクリーンショットが示される。図１を簡潔に参照すると、いくつかの実施形態では、図２に示されるように、ニューゲームボタン１２０がアクティブ化された際に、それによってユーザインタフェース２００がモバイルデバイス上に表示される。いくつかの実施形態では、ユーザインタフェース２００は、通信デバイス２０５によって表示され、通信デバイス２０５は、一続きの７枚のＣＶカードの一部を表示する。この一続きの７枚のＣＶカードは、最初に表示されるＣＶカード２１０で始まり、最後に表示されるＣＶカード２１５で終わると共に、ユーザが選択可能なＣＶカード２２０を含んでいる。なお、ＣＶゲームにおいて使用される一続きの７枚のＣＶカード２１０〜２１５，２２０は例であり、任意の適切な数のＣＶカードが使用されてもよいことに留意されたい。これらの一続きの７つのＣＶカード２１０〜２１５，２２０は、最初に、８つの種々異なる色を有する８枚の利用可能なＣＶカードから選択される。いくつかの実施形態では、利用可能なＣＶカードの数は、本明細書に記載されるように、ユーザがＣＶゲームとうまく対話するにつれ、８枚から１４枚にまで増加する。最初に表示されるＣＶカード２１０は、最初に表示されるＣＶカード上部２１０Ａ及び最初に表示されるＣＶカード下部２１０Ｂを有する。同様に、最後に表示されるＣＶカード２１５は、最後に表示されるＣＶカード上部２１５Ａ及び最後に表示されるＣＶカード下部２１５Ｂを有する。ユーザが選択可能なＣＶカード２２０は、最初に表示されたＣＶカード２１０と最後に表示されたＣＶカード２１５との間に示されている。このようにして、一続きの７枚のＣＶカード２１０〜２１５，２２０のうち３枚のＣＶカード２１０，２１５，２２０がユーザに対して表示される。繰り返しになるが、表示されるカードの数は３枚のＣＶカードに限定されず、任意の適切な数が使用されてもよい。ＣＶカード２１０及び２１５と同様に、ユーザが選択可能なＣＶカード２２０は、ユーザが選択可能なＣＶカード上部２２０Ａ及びユーザ選択可能なＣＶカード下部２２０Ｂを有する。ユーザが選択可能なＣＶカードの上部２２０Ａ及び下部２２０Ｂは、ＣＶシステムに従って表示される。例として、図２に示されるように、ユーザが選択可能なＣＶカード上部２２０Ａは、“red pepper”ＣＶアンカーフレーズと、“help”ターゲット単語のグラフィック表現とを表示する。“help”ターゲット単語内の文字“e”によって設計された母音は、ユーザがＣＶゲームのルールのセットに従って正しく発音するように求められる母音であり、アンカーフレーズ内の“red pepper”の母音とマッチする母音であることを強調するために、下線が引かれている。この例では、ＣＶカード２２０の“help”ターゲット単語内の文字“e”は、ユーザが選択可能なＣＶカード上部２２０Ａのred pepperアンカーフレーズ内の文字“e”として、正しく発音される。
【００３２】
ユーザが選択可能なＣＶカード上部２２０Ａと同様に、ユーザが選択可能なＣＶカード下部２２０Ｂは、図示のように単語“put”内に下線が引かれた文字“u”によって設計された母音を包含しており、この文字“u”は、ユーザが正しく発音されるように求められる母音であると共にアンカーフレーズ“wooden hook”内の母音にマッチすることを強調するために、下線が引かれている。
【００３３】
いくつかの実施形態では、親指、他の付属器官又は互換可能な器具を使用するユーザは、一続きの７枚のＣＶカード２１０〜２１５，２２０のうち３枚の表示されたＣＶカード２１０，２１５，２２０の間を前後にスクロールすることができ、それによって、ユーザが選択可能なＣＶカード２２０をより長くタッチすることによって、任意のＣＶカードがユーザによって選択され得る。ユーザが選択可能なＣＶカード２２０を該ユーザが選択した際に、そのＣＶカード２２０が正確なサイズでターゲットＣＶカード２２５として再生成され、その場所に以前に表示されていたターゲットＣＶカードは、山札２３０上の左側に再配置される。いくつかの実施形態では、山札２３０は、マッチしたＣＶカード２２５がこの位置に移動されていないことをユーザに示すために、暗くされたグラフィックとして表示される。いくつかの実施形態では、ユーザにとって利用可能なＣＶカード２１０〜２１５，２２０のいずれもターゲットＣＶカード２２５とマッチしない場合、ユーザは、山札２３０をアクティブ化して、少なくとも１枚の追加のＣＶカードを受け取り、そこから選出することを選ぶことができる。ゲームの一部として、ユーザはＣＶカード２２０を見つけて選択する必要がある。ユーザが選択可能なＣＶカード上部２２０Ａ及びユーザが選択可能なＣＶカード下部２２０Ｂのうち少なくとも１つは、ターゲットＣＶカード２２５のターゲット単語と同じアンカーフレーズを包含し得る。ターゲットカード２２５は、ターゲットＣＶカード上部２２５Ａ及びターゲットＣＶカード下部２２５Ｂを包含し、いくつかの実施形態では、それらのうち１つだけが実際にターゲット単語を包含している。この例では、ターゲット単語は“every”であり、母音は下線付きの文字“e”で指定される。いくつかの実施形態では、ユーザは、マッチする色の母音アンカーフレーズ（この場合、“red pepper”）を選択すると共に、同じく“red pepper”アンカーフレーズを表示する選択可能なＣＶカード２２０を選択すると、ターゲット単語“help”を備えたターゲットＣＶカード２２５が山札２３０上に再配置及び表示されるように見られ、ユーザが選択可能なＣＶカード２２０は、以前にターゲットＣＶカードが占めていた場所に同様にして再配置される。したがって、ターゲット単語“every”及びマッチするターゲット単語“help”は、それぞれ山札２３０及びターゲットＣＶカード２２５上に併せて表示される。ユーザは、山札２３０上に表示されたアンカーフレーズ及びターゲット単語、並びに、ターゲットＣＶカード２２５として表示されたマッチするアンカーフレーズ及びターゲット単語、すなわち“red pepper every, red pepper help”を発音するように求められる。
【００３４】
いくつかの実施形態では、ユーザインタフェース２００はまた、最初に表示されるＣＶカード２１０上にあるＣＶカードのスタック内における表示されたカードのリストの左側にある、全てのプレイ可能なＣＶカードを（もしあれば）まとめて動かすソートボタン２３５と、ユーザが選択可能なＣＶカード２２０位置内のＣＶカード（それによって、該ＣＶカードはユーザによって容易に選択できるようにされる）又は選択可能なＣＶカード２２０として置き換えるように最初に表示されるＣＶカード２１０から動かされた他のＣＶカードとを含む。
【００３５】
柔軟性を高めるために、ユーザは、ポーズボタン２４０をアクティブ化することによりＣＶゲームを一時停止することができる。ユーザがＣＶゲームのいくつかの態様についてのさらなる情報を望む場合、ユーザが情報ボタン２４５をアクティブ化することによって、ヘルプ機能が開始され得る。
【００３６】
図３には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェース３００のスクリーンショットが示される。上述のユーザインタフェース２００と同様に、ユーザインタフェース３００は、通信デバイス３０５によって表示され、通信デバイス３０５は、ターゲットＣＶカード３１０及びユーザ選択のターゲットＣＶカード３１５を表示する。この例では、ターゲットＣＶカード３１０は、ターゲットＣＶカード上部３１０Ａ及びターゲットＣＶカード下部３１０Ｂを有する。同様に、ユーザ選択のターゲットＣＶカード３１５は、ユーザ選択のターゲットＣＶカード上部３１５Ａと、ユーザ選択のターゲットＣＶカード下部３１５Ｂとを有する。この例では、ユーザ選択のターゲットＣＶカードの下部３１５ＢがターゲットＣＶカードの上部３１０Ａ（すなわち、“gray day”）と同じアンカーフレーズを使用しているため、ユーザはユーザ選択のターゲットＣＶカード３１５を選出している。したがって、ユーザは、ターゲットＣＶカード上部３１０Ａに表示されるアンカーフレーズ及びターゲット単語と、ユーザが選択したターゲットＣＶカード下部３１５Ｂとして表示されるマッチしたアンカーフレーズ及びターゲット単語（すなわち、“gray day diversification, gray day allocation”）とを発音するように求められる。 “diversification”及び“allocation”ターゲット単語内の文字“a”によって設計された母音は、下線が引かれ、ユーザがＣＶゲームのルールのセットに従って正しく発音されるように求められる母音であると共にアンカーフレーズ“gray day”内の母音にマッチすることを強調するために、下線が引かれている。ユーザは、要求されたアンカーフレーズ、１つ目のターゲット単語、要求されたアンカーフレーズ及び２つ目のターゲット単語（すなわち、“gray day diversification, gray day allocation”）をユーザが発音を試みようとしていることを知らせるために、マイクアイコン３５０をアクティブ化する。いくつかの実施形態では、ユーザは、ユーザが発音の試みを完了したことを示すために、マイクロフォンアイコン３５０を非アクティブ化し、他の実施形態では、その試みの終わりは、本明細書に記載の音声エンジンによって自動的に認識される。
【００３７】
ソートボタン３３５、一時停止ボタン３４０及び情報ボタン３４５はそれぞれ、図２のソートボタン２３５、一時停止ボタン２４０及び情報ボタン２４５に対応しており、ＣＶカードをソートするため、ＣＶゲームを一時停止するため及び情報を表示するために、それらの機能を実行する。
【００３８】
図４には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェース４００のスクリーンショットが示される。ユーザインタフェース４００は、通信デバイス４０５によって表示され、通信デバイス４０５は、レベルステータスフィールド４５５を表示する。この例では、レベルステータスフィールド４５５は“LEVEL UP!”を表示しており、これは、以前のインタラクションのポジティブな結果によってＣＶゲームのレベルが上がったことをユーザに対して視覚的に確認する。いくつかの実施形態では、レベルを上げることは、既定数のゲーム（例えば、１つのゲーム）の完了に対応する。例えば、以下に限定されないが、ユーザがＣＶゲーム内で利用可能な一続きの７枚のＣＶカード２１０〜２１５，２２０（図２）が、最初のゲームにおいて、１４個の種々異なる色のＣＶカードのうち８個から選択される。最初のゲームが良い結果で完了すると、ゲームは次のレベル、すなわち「レベル２」に上がる。レベル２以降のゲームプレイでは、一続きの７枚のＣＶカード２１０〜２１５，２２０（図２）が選択される元となるＣＶカードの数が増加し、例えば、１４枚全ての種々異なる色のカードにまで増加する。他の実施形態では、レベルを上げることは、発音精度における既定の改善に対応する。いくつかの実施形態では、２つ以上のゲームが良い結果で完了した後、ユーザは「レベル３」に上がり、ユーザがプレイオプションによって選択するための「スキップ」、「２枚取る」及び「ワイルドカード」等の特殊カードが追加される。これらの特殊カードは、対応する有益なゲームプレイをインタラクティブゲームに追加して、ユーザとのインタラクションを強化し、ユーザの関心をより高く育てる。いくつかの実施形態では、レベルステータスフィールド４５５内のメッセージは、ＣＶゲームをプレイする彼らの努力が生産的であるため、ユーザの発音を改善しようと努力し続けることをユーザに対して暗黙的に奨励する、ユーザのための正の強化（positive reinforcement）として機能する。レベルステータスフィールド４５５の上には、レベル達成シンボル４６０が表示されている。いくつかの実施形態では、レベル達成シンボル４６０は、トロフィーのシルエットの描写であり、その中に現在のレベル数が表示されている。レベルステータスフィールド４５５の下には、フィードバックフレーズフィールド４６５が表示される。いくつかの実施形態では、フィードバックフレーズフィールド４６５は“Nice job!”と表示する。フィードバックフレーズフィールド４６５の下には、達成記述フィールド４７０が表示される。いくつかの実施形態では、達成記述フィールド４７０は、“You completed Level 2（レベル２を完了しました）”と表示する。対応する達成記述フィールド４７０のエントリは、ＣＶゲームによってサポートされる全てのレベルに使用される。図１に示されるニューゲームボタン１２０及びメインユーザボタン１３０と同様に、図４のユーザインタフェース４００は、それぞれ同じ機能を実行するニューゲームボタン４２０及びメインユーザボタン４３０を含む。
【００３９】
図５には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の例示的なユーザインタフェース５００のスクリーンショットが示される。ユーザインタフェース５００は、通信デバイス５０５によって表示され、通信デバイス５０５は、ユーザ名フィールド５７２を表示する。いくつかの実施形態では、ユーザ名フィールド５７２は、ユーザの名前（例えば、“Sarah Daniels”）を表示する。ユーザ名フィールド５７２の下には、ポイント説明フィールド５７４がある。いくつかの実施形態では、ポイント説明フィールド５７４は、対応する説明（例えば、“Blue Canoe Player Points”）を提供する。ポイント説明フィールド５７４の下には、ポイントフィールド５７６がある。いくつかの実施形態では、ポイントフィールド５７６は、ユーザが貯めたポイントの数「２００」を表示する。ポイントフィールド５７６は、特定の値には限定されず、ＣＶゲームからの任意のポイント値が表示されてもよい。ポイントフィールド５７６の下には、プレイ済ゲームフィールド５７８、連続日数フィールド５８０、及びプレイ目標達成フィールド５８２があり、これらは全て、図５に示すようにユーザの利便性のために一列に配置されるが、任意の配置が用いられてもよい。いくつかの実施形態では、プレイ済ゲームフィールド５７８は、ユーザによってプレイされたゲームの総数（例えば「１０」）を対応する記述の下に表示する。いくつかの実施形態では、連続日数フィールド５８０は、ユーザによって連続してプレイされた現在の日数（例えば「１」）を対応する記述の下に表示する。いくつかの実施形態では、プレイ目標達成フィールド５８２は、ゲームプレイ１０分以上の総日数（例えば「８」）を表示する。ＣＶゲームでは、プレイ目標は、ゲームでサポートされている任意の目標（例えば、許容される各発音）であり得る。
【００４０】
ユーザインタフェース５００は、通信デバイス５０５によって表示され、通信デバイス５０５は、ユーザスコアラベルフィールド５８４を表示する。いくつかの実施形態では、ユーザスコアラベルフィールド５８４はユーザスコアの記述（例えば、“BLUE CANOE LEARNING PRONUNCIATION SCORE（登録商標）”）を表示する。ユーザスコアラベルフィールド５８４の下には、ユーザスコアフィールド５８６がある。いくつかの実施形態では、ユーザスコアフィールド５８６は、ユーザの発音スコア（例えば「３６０」）を表示する。ユーザスコアフィールド５８６の下には、ユーザスコア凡例フィールド５８８がある。いくつかの実施形態では、ユーザスコア凡例フィールド５８８は、ユーザスコア範囲及び対応する記述（例えば、400-500 I ALWAYS UNDERSTAND YOU（私は常にあなたを理解する）”、“300-399 I USUALLY UNDERSTAND YOU（私は通常あなたを理解する）”、“200-299 I SOMETIMES UNDERSTAND YOU（私は時々あなたを理解する）”及び“100-199 I RARELY UNDERSTAND YOU（私はまれにあなたを理解する）”）を表示する。ユーザスコア凡例フィールド５８８の下には、習熟度ラベルフィールド５９０がある。いくつかの実施形態では、習熟度ラベルフィールド５９０は、ユーザ習熟度情報のラベル（例えば、“COLOR VOWEL PROFICIENCY（色母音の習熟度）”）を表示する。習熟度ラベルフィールド５９０の下には、習熟度フィールド５９２がある。いくつかの実施形態では、習熟度フィールド５９２は、アンカーフレーズについてのユーザの習熟度の少なくとも１つの測定値（例えば、“BLACK CAT”及び対応するヒストグラム、 “BLUE MOON”及び対応するヒストグラム、“BROWN COW”及び対応するヒストグラム、“GRAY DAY”及び対応するヒストグラム、“RED PEPPER”及び対応するヒストグラム）を含む。それぞれのアンカーフレーズについてのユーザ習熟度の測定値の数が利用可能なスペースを超える可能性があるため、それらの測定値は、ユーザがそれら全てを確認できるようにするために、ユーザによってスクロールされ得る。例えば、図５では、アンカーフレーズについて、ユーザ習熟度の２つの完全な測定値及び１つの部分的な測定値のみが表示されている。ユーザインタフェース５００はまた、戻るボタン５９４を含み、戻るボタン５９４は、通信デバイス５０５に前のユーザインタフェース画面を表示させるために、ユーザによってアクティブ化されてもよい。
【００４１】
図６には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法を示す発音スコアを示すチャート６００が示される。チャート６００は、ｙ軸上の発音スコア（０〜４５０のスケール）に対する、ｘ軸上の月の整数増分（０〜６ヶ月のスケール）を表す。チャート６００は、“Diego”と命名された第１のユーザ、Mariaと命名された第２のユーザ及び“John”と命名された第３のユーザのユーザ発音スコアを示す。３つのユーザの発音スコアのそれぞれにおいて、各ユーザについての発音スコアは、０ヶ月時点で各ユーザがどの位置から始まっていたかに関係なく、時間と共に増加した。チャート６００は、実際のユーザデータに基づいており、本明細書に記載の話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための方法の明確な利点を確証している。
【００４２】
図７には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法として、ユーザフィードバック及びユーザスコアリングを入力された音声データのセットに少なくとも部分的に基づいて生成するシステム７００のいくつかの実施形態の一部のブロック図が示される。いくつかの実施形態では、本明細書で参照されるＣＶゲームは、ユーザの通信デバイス７９５を介してユーザに表示されている。ユーザの通信デバイス７９５は、本明細書で説明されるように、ＣＶゲームを実行し、ユーザと対話するための命令を実行するためのプロセッサを包含する。ユーザと、ユーザの通信デバイス７９５によって表示されるＣＶゲームとの間のインタラクションは、トランスクリプト７４０及びオーディオ記録７５０を対応して生成する。トランスクリプト７４０は、ユーザに視覚的に提示された全てのアンカーフレーズ及びターゲット単語の記録と、ユーザによって発音されてユーザの通信デバイス７９５が単語となるように解釈された結果としての聴取可能アンカーフレーズ及び聴取可能ターゲット単語（１つ又は複数の単語）とを包含する。オーディオ記録７５０は、ユーザから受音した聴覚入力のデジタルオーディオ記録であって、ユーザによって話された聴取可能アンカーフレーズ及び聴取可能ターゲット単語を含む。ＣＶゲームの一部として使用される単語の語彙７３０もまた作成される。音声処理エンジン７１０は、語彙７３０、トランスクリプト７４０及びオーディオ記録７５０からのデータを受信し、処理し、解釈する命令７２０を実行する。音声処理エンジン７１０は、オーディオ波形を処理及び解釈して、母音、子音、音素、単語、フレーズ及び文などの有用な音声要素を導出する。重要なことに、音声処理エンジン７１０は、検出された単語及びそれらを構成する音素、並びに、録音内において単語及び音素が開始及び終了する時間等の有用な音声要素を検出する。いくつかの実施形態では、音声処理エンジン７１０は、音素レベルのトランスクリプト７６０を含む音声処理エンジン出力を生成する。音素レベルのトランスクリプト７６０は、検出された音素と、ユーザの音声内にて検出された母音強勢レベルの分析とを含む。いくつかの実施形態では、音素レベルのトランスクリプト７６０は、全ての音素候補のリストと、それに対応する、予期されるフレーズ内の予期される音素とマッチする確率とを包含する。いくつかの実施形態では、音素レベルのトランスクリプト７６０は音素レベルであり、予期される母音音素のそれぞれについて、ユーザによって母音に加えられた強勢の量の推定値を含む。いくつかの実施形態では、音素レベルのトランスクリプト７６０はまた、記録されたオーディオ内に予期される音素が存在しない位置、又は、予期されるものに加えて予期されない音素が検出された位置をも示す。
【００４３】
いくつかの実施形態では、音素トランスクリプト７６０を含む音声エンジン出力８０５を生成する音声処理エンジン７１０の例には、以下に記載されるものが含まれる：Speaker-Independent Phoneme Alignment Using Transition-Dependent States（遷移依存状態を使用した話者に依存しない音素調整）、John-Paul Hosom (2009)；及び、Automatic Phone Alignment, A Comparison between Speaker-Independent Models and Models Trained on the Corpus to Align（自動電話調整、話者に依存しないモデルとコーパス上で調整するよう訓練されたモデルとの比較）、Sandrine Brognaux、Sophie Roekhaut，Thomas Drugman，Richard Beaufort (2012)（これらはいずれも付録に添付され、参照によりそれらの全体が本明細書に組み込まれる）、並びに、Robert M OchshornとMax Hawkinsとのコラボレーションに基づいて音素レベルで調整を行うオープンソースプロジェクト(Gentle)（https://lowerquality.com/gentle/）（参照によりその全体が本明細書に組み込まれる）。
【００４４】
いくつかの実施形態では、母音強勢測定を含む音声エンジン出力８０５を生成する音声エンジン７１０の例には、以下に記載されるものが含まれる：Detecting Stress in Spoken English using Decision Trees and Support Vector Machines（決定木及びサポートベクターマシンを使用した話し英語における強勢の検出）、Huayang Xie，Peter Andreae，Mengjie Zhang，Paul Warren（2004）、併せて、Learning Models for English Speech Recognition（英語音声認識の学習モデル）、Huayang Xie，Peter Andreae，Mengjie Zhang，Paul Warren (2004)；Lexical Stress Classification for Language Learning Using Spectral and Segmental Features（スペクトル機能及びセグメント機能を使用した言語学習の語彙強勢分類）、Luciana Ferrer，Harry Bratt，Colleen Richey，Horacio Franco，Victor Abrash，Kristin Precoda (2014)；Lexical Stress Determination and its Application to Large Vocabulary Speech Recognition（語彙強勢決定及びその大規模語彙音声認識への応用）、Ann Marie Aull，Victor W. Zue (1985)。これらはいずれも付録に添付され、参照によりそれらの全体が本明細書に組み込まれる。
【００４５】
図８には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法として、ユーザフィードバック及びユーザスコアリングを入力された音声データのセットに少なくとも部分的に基づいて生成するシステム８００のいくつかの実施形態のブロック図が示されている。いくつかの実施形態では、音声エンジン出力８０５は、図７の音声処理エンジン７１０によって生成された音素レベルのトランスクリプト７６０である。いくつかの実施形態では、音声エンジン出力８０５は、図７の音声処理エンジン７１０によって生成された音素レベルのトランスクリプト７６０を含む。図８では、音声エンジン出力８０５は、リゾルバ８１０に送信され、リゾルバ８１０は、命令８１５を実行するためのプロセッサと特徴抽出デバイス８２０とを包含する。本明細書にて説明されるように、リゾルバ８１０は、（とりわけ、ＣＶゲームのプレイ中におけるユーザからの音声から導出された）音声エンジン出力８０５からのデータ、及び、ＣＶゲームからの入力を、ユーザの話し言葉のスキルを向上させるためのユーザへのフィードバックを生成するように処理するための事前定義済みルールのセットを包含する。音声エンジン出力８０５はまた、特徴抽出デバイス８２０によっても処理される。本明細書で使用される場合、「共通の特徴」とは、特徴抽出デバイス８２０によって生成され、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５及び総合型分類器８５７の両方に送信される特徴である。より具体的には、フィードバック型分類器は、アンカーフレーズマスタリ（ＡＰＭ）子音分類器８２５、アンカーフレーズマスタリ（ＡＰＭ）品質分類器８３０、音及び再生の品質（ＳＰＱ）非流暢性分類器８３５、音節（ＳＹＬ）追加分類器８４０、母音分類器８４５、強勢分類器８５０及び子音分類器８５５である。いくつかの実施形態では、総合型分類器は、総合型スコアリング分類器８５７である。分類器出力は、本明細書で説明されるように、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５のそれぞれによって生成されて、リゾルバ８１０へと送信されると共にリゾルバ８１０よって処理される。「共通の特徴」は、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５及び全体型分類器８５７の両方によって受信される一方で、「フィードバック特徴」は、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５によって受信されるが、総合型分類器によっては受信されず、「スコアリング特徴」は、総合型スコアリング分類器８５７によって受信されるが、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５によっては受信されない。いくつかの実施形態では、リゾルバ８１０は、共通の特徴、フィードバック特徴及び総合型特徴を受信する。
【００４６】
いくつかの実施形態では、特徴抽出デバイス８２０は、本明細書で説明されるように、音声エンジン出力８０５から１５９個の種々異なる共通の特徴を導出して、それらの特徴をフィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５及び総合型スコアリング分類器８５７へと送信すると共に、リゾルバ８１０へと直接送信する。いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、それぞれの特徴についての個別の変数を含み、これらの変数は、以下のものに対応する：検出された単語における最初の予期される音素が「Ｓ」であること（１変数）。予期される音素の数（１変数）。実際の検出された音素の数（１変数）。検出された音素のうち、正しくないと判定された数（１変数）。挿入された音素の数を、実際の検出された音素の数で割ったもの（１変数）。削除された（欠落した）音素の数を、実際の検出された音素の数で割ったもの（１変数）。全ての検出された音素の平均総信頼値（１変数）。予期される全ての音素にわたる候補音素の平均数（検出された音素についての候補数がゼロでない音素のみを考慮している）（１変数）。正しいと判定された全ての音素の平均総信頼値（１変数）。正しくないと判定された全ての音素の平均総信頼値（１変数）。挿入された母音の数（１変数）。挿入された母音の最大長（ミリ秒）（１変数）。削除された（欠落した）母音の数（１変数）。挿入された子音の数（１変数）。挿入された子音の最大長（ミリ秒）（１変数）。削除された（欠落した）子音の数（１変数）。正しくない（置換された）子音の数（１変数）。母音で置換された子音音素の数（１変数）。
【００４７】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、検出された最初の４つの弱子音のそれぞれについて、以下についての個別の変数を含む：検出された連続するそれぞれの「弱」子音についての予期される音素（４変数）。検出された連続するそれぞれの弱子音についての候補音素の数（４変数）。
【００４８】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、検出された最初の４つの弱子音のそれぞれについて、以下についての６つの個別の変数（合計２４個）を含む：検出された連続するそれぞれの弱子音についての候補音素（２４変数）。検出された連続するそれぞれの弱子音についての信頼スコア（２４変数）。
【００４９】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに以下を含む：ターゲット単語（１変数）内の予期される母音の数。ターゲット単語内の（予期される）強勢母音についての総信頼値（１変数）。ターゲット単語内の（予期される）強勢母音についての予期される音素の名前（１変数）。ターゲット単語内の（予期される）強勢母音についての推定される強勢値（０〜１０００）（１変数）。ターゲット単語内の（予期される）強勢母音の継続時間（１変数）。（予期される）強勢母音が正しいと判定された場合は「１」、そうでない場合は「０」（１変数）。（予期される）強勢母音の予期される音素が上位４つの音素候補の中にある場合は「１」、そうでない場合は「０」（１変数）。（予期される）強勢母音についての候補音素の数（１変数）。
【００５０】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、ターゲット単語内の（予期される）強勢母音についての、最初の４つの検出された候補音素のそれぞれについての個別の変数をさらに含む：（予期される）強勢母音についての連続するそれぞれの候補音素の名称（４変数）。（予期される）強勢母音（４変数）についての連続するそれぞれの候補音の総信頼度。
【００５１】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、以下をさらに含む：予期される強勢が「第二強勢」又は「無強勢」のいずれかである、ターゲット単語内の母音の数。（１変数）
【００５２】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、ターゲット単語内の最初の４つの検出された無強勢母音のそれぞれについて、以下についての個別の変数をさらに含む：ターゲット単語内の母音（４変数）。ターゲット単語内の連続するそれぞれの無強勢母音についての強勢スコア（４変数）。ターゲット単語内の連続するそれぞれの無強勢母音についての継続時間（ミリ秒）（４変数）。ターゲット単語内の連続するそれぞれの無強勢母音についての候補音の数（４変数）。
【００５３】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、ターゲット単語内の最初の４つの無強勢母音のそれぞれについて、及び、検出されたそれぞれの無強勢母音について検出された最初の６つの音素候補のそれぞれについて、以下についての６つの個別の変数（合計２４個）を含む：検出された連続する無強勢母音についての候補音素（２４変数）。検出された連続する無強勢母音についての信頼スコア（２４変数）。
【００５４】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴は、さらに、以下についての個別の変数をさらに含む：第二強勢を備えたターゲット単語内の予期される無強勢母音の数（１変数）。（予期される）全ての第二強勢母音の推定される強勢スコアの合計を、予期される第二強勢母音の数で割った値に、（予期される）強勢母音の推定される強勢を掛けたもの（１変数）。予期される全ての無強勢母音の推定される強勢スコアの合計を、予期される無強勢の数で割った値（１変数）。
【００５５】
いくつかの実施形態では、特徴抽出デバイス８２０からの１５９個の共通の特徴のそれぞれは、本明細書にて説明されるように、リゾルバ８１０、フィードバック分類器８２５〜８５５及び総合型スコアリング分類器８５７によって受信される。これらの分類器は、本明細書にて説明される特徴を受信する。該特徴には、ユーザ記録から抽出された特徴が含まれ、該ユーザ記録は、デジタルアンカーフレーズに変換される聴取可能アンカーフレーズと、デジタルターゲット単語に変換される聴取可能ターゲット単語を含み得る。
【００５６】
いくつかの実施形態では、特徴抽出デバイス８２０は、本明細書で説明されるように、音声エンジン出力８０５から４６個の種々異なるフィードバック特徴を導出して、それらの特徴をフィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５へと送信すると共に、リゾルバ８１０へと直接送信するが、総合型スコアリング分類器８５７には送信しない。いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、それぞれの特徴についての個別の変数を含み、これらの変数は、以下のものに対応する：両ＣＶフレーズにわたって音声エンジン出力８０５によって報告される最小の総アンカーフレーズ信頼度（１変数）。両ＣＶフレーズにわたって音声エンジン出力８０５によって報告される最大の総アンカーフレーズ信頼度（１変数）。発声の最後に生じる連続的な音素削除の数（１変数）。予期される発声の最後を過ぎて挿入された音素の数（１変数）。受音したアンカーフレーズ内の削除された音素の総数（１変数）。受音したアンカーフレーズ内の挿入された音素の総数（１変数）。予期される発声の前に挿入された音素の数（１変数）。
【００５７】
いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、さらに、両アンカーフレーズについての個別の変数を含み、これらの変数は、以下のものに対応する：アンカーフレーズの強勢母音内において一貫して検出された音素の名称（一貫していない場合は空）（２変数）。アンカーフレーズの強勢母音内において一貫していなかった場合又は母音が一貫して間違っていた場合は「１」、そうでない場合は「０」（２変数）。アンカーフレーズの強勢母音の全てを調べた、最上位の強勢母音候補の信頼スコア（２変数）。アンカーフレーズの強勢母音の全てを調べた、２番目のスコアの強勢母音候補の信頼スコア（２変数）。アンカーフレーズ内の検出された子音挿入の数（２変数）。アンカーフレーズ内の検出された子音削除の数（２変数）。アンカーフレーズ内の検出された子音置換の数（２変数）。
【００５８】
いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、さらに、音声エンジン出力８０５において報告されたアンカーフレーズ内のエラーの総数についての個別の変数（１変数）を含む。
【００５９】
いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、さらに、３つの最長の子音挿入と、それらの両アンカーフレーズにわたる上位２つの候補音素とについての個別の変数を含み、これらの変数は、以下のものに対応する：アンカーフレーズ内の３つの最長の子音挿入の長さ（３変数）。アンカーフレーズ内の３つの最長の子音挿入についての上位２つの候補音（６変数）。アンカーフレーズ内の３つの最長の子音挿入についての上位２つの候補の信頼値（６変数）。アンカーフレーズ内の１番目に削除された音素の名称（削除されていない場合は空）（１変数）。アンカーフレーズ内の２番目に削除された音素の名称（削除されていない場合は空）（１変数）。アンカーフレーズ内の３番目に削除された音素の名称（削除されていない場合は空）（１変数）。
【００６０】
いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、さらに、３つの最長の子音置換と、それらの上位２つの音素候補とについての個別の変数を含み、これらの変数は、以下のものに対応する：全てのアンカーフレーズにわたる最長の子音置換の長さ（３変数）。全てのアンカーフレーズにわたる３つの最長の子音置換内の上位２つの音素候補の名称（６変数）。全てのアンカーフレーズにわたる３つの最長の子音置換内の上位２つの音候補の信頼スコア（６変数）。
【００６１】
いくつかの実施形態では、特徴抽出デバイス８２０からの４６個のフィードバック特徴は、さらに、両方アンカーフレーズについての個別の変数を含み、これらの変数は、以下のものに対応する：最初のアンカーフレーズ内の削除された音素の数を、アンカーフレーズ内の音素の総数で割ったもの（２変数）。最初のＣＶパターンのターゲット単語内の削除された音素の数を、ターゲット単語内の音素の総数で割ったもの（２変数）。
【００６２】
いくつかの実施形態では、特徴抽出デバイス８２０は、本明細書で説明されるように、音声エンジン出力８０５から１４０個の種々異なるスコアリング特徴を導出して、それらの特徴を、総合型スコアリング分類器８５７へと送信すると共に、リゾルバ８１０へと直接送信するが、フィードバックタイプ分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５には送信しない。いくつかの実施形態では、特徴抽出デバイス８２０からの１４０個の種々異なる総合型特徴は、ターゲット単語の最初の５つの予期される音素と、それぞれの予期される音素についての最初の６つの候補音素とについての個別の変数を含み、これらの変数は、以下のものに対応する：ターゲット単語内の予期される音素の名称（５変数）。ターゲット単語内の予期される音素についての候補音素の数（５変数）。ターゲット単語内の予期される音素についての候補音素の名称（３０変数）。ターゲット単語内の予期される音素についての候補音素の信頼スコア（３０変数）。
【００６３】
いくつかの実施形態では、特徴抽出デバイス８２０は、本明細書で説明されるように、音声エンジン出力８０５から１４０個の種々異なるスコアリング特徴を導出して、それらの特徴を、総合型スコアリング分類器８５７へと送信すると共に、リゾルバ８１０へと直接送信するが、フィードバックタイプ分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５には送信しない。いくつかの実施形態では、特徴抽出デバイス８２０からの１４０個の種々異なる総合型特徴は、ターゲット単語の最後の５つの予期される音素と、それぞれの予期される音素についての最初の６つの候補音素とについての個別の変数を含み、これらの変数は、以下のものに対応する：ターゲット単語内の予期される音素の名称（５変数）。ターゲット単語内の予期される音素についての候補音素の数（５変数）。ターゲット単語内の予期される音素についての候補音素の名称（３０変数）。ターゲット単語内の予期される音素についての候補音素の信頼スコア（３０変数）。
【００６４】
いくつかの実施形態では、フィードバック型分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５は、リゾルバ８１０へと送信される分類器出力を生成するために、機械学習を使用する。統合型コアリング分類器８５７もまた、平均補償器８５９へと送信される出力を生成するために、機械学習を使用する。いくつかの実施形態では、各分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５，８５７は、機械学習要素を有しており、この機械学習要素は、少なくとも数千のラベル付けされた記録を使用して訓練されたランダムフォレスト分類器であって、その訓練によって、各ランダムフォレスト分類器は、各分類器８２５，８３０，８３５，８４０，８４５，８５０，８５５，８５７において探索される特徴を認識するよう学習している。
【００６５】
アンカーフレーズマスタリ（ＡＰＭ）子音分類器８２５は、ユーザ記録において、少なくとも１つの問題がアンカーフレーズ内の子音によって検出されたかどうかを分類する。
【００６６】
アンカーフレーズマスタリ（ＡＰＭ）品質分類器８３０は、ＣＶアンカーフレーズを正しく話すユーザの能力に着目し、検出されたＣＶ、色、一貫性及び強勢母音の品質について、アンカーフレーズの問題を考慮する。いくつかの実施形態では、検出されたＣＶの色の問題は、アンカーフレーズの強勢音節について、ユーザが一貫して間違った母音色を使用していることである（例えば、“silver pin”の代わりに“seelver peen”を使用）。ユーザが強勢音節について時折間違った母音色を使用している場合には、一貫性の問題が示唆される。（アンカーフレーズ内の）強勢母音は意図した母音に近いがその母音の品質が低い場合には、品質の問題が示唆される。
【００６７】
音及び再生の品質（ＳＰＱ）非流暢性分類器８３５は、録音が流暢でないかどうかを分類する。いくつかの実施形態では、音声の検出された録音が予期されるトランスクリプトに従っているように見られない場合、録音は流暢でないと判断される。例えば、ユーザがアンカーフレーズ（例えば、“see, three”）を伴わずにターゲット単語のみを話している場合、流暢でない音声が生じる。別の例では、近くにいる他の話者からの音声が受音されると、流暢でない音声が生じる。
【００６８】
音節（ＳＹＬ）追加分類器８４０は、ユーザ記録に追加された音節及びユーザ記録から削除された音節を分類する。いくつかの実施形態では、音節（ＳＹＬ）追加分類器８４０は、ユーザが録音内のターゲット単語に音節として追加したかどうか、及び、ユーザが録音内のターゲット単語から音節を削除（省略）したかどうかを分類する。
【００６９】
母音分類器８４５は、録音のターゲット単語内における無強勢母音における強勢量に関する問題（例えば、過度に強勢が強すぎる問題や、色の問題）を分類する。母音分類器はまた、強勢母音の品質問題を検出する役割も果たす。いくつかの実施形態では、強勢が強すぎる母音とは、過度に強勢がかけられたものであり、強勢が軽減されるべきである。例えば、ある強勢が強すぎる母音は、もっと“schwa（シュワー）”（uh）のように聞こえるべきである。例えば、“banana”において、１番目と３番目の音節の“a”の音は、２番目の音節（強勢音節）と比較して軽減される。いくつかの実施形態では、色の問題は、ユーザがターゲット単語の強勢母音について誤ったＣＶを話した場合に示唆される。
【００７０】
強調分類器８５０は、ターゲット単語内の強勢母音についての問題を、例えば、音節の強勢がない、音節の強勢が弱すぎる及び強勢のある音節の位置が不適切である等に分類する。いくつかの実施形態では、ユーザが録音内のどの音節においても顕著な強勢を伴わずにターゲット単語を話した場合には、音節の強勢がないことが示唆される。いくつかの実施形態では、ユーザが単一音節の単語において、録音内におけるターゲット単語内の母音を弱すぎる強勢とした又は省略した場合には、音節の強勢が弱すぎることが示唆される。いくつかの実施形態では、ユーザが録音内におけるターゲット単語の間違った音節に強勢を置いた場合には、強勢音節の位置が不適切であることが示唆される。
【００７１】
子音分類器８５５は、記録中のターゲット単語内の子音が欠落していることや子音が置換されている等の、子音に関する問題を分類する。いくつかの実施形態では、子音が欠落（省略）している問題は、子音がターゲット単語から欠落している場合に示唆される。いくつかの実施形態では、子音が置換されている問題は、ターゲット単語内の予期される子音の代わりに誤った子音が置換されている場合に示唆される。
【００７２】
リゾルバ８１０はまた、プレイ履歴デバイス８６０及びフィードバック履歴デバイス８６５からデータを受信する。プレイ履歴デバイス８６０は、各ユーザについての最近のＣＶゲームプレイの記録を受信、格納及び送信する。これに対応して、フィードバック履歴デバイス８６５は、各ＣＶゲーム中にユーザに対して提供されたフィードバックの記録を受信、格納及び送信する。例えば、リゾルバ８１０は、プレイ履歴デバイス８６０から受信したプレイ履歴及びフィードバック履歴デバイス８６５から受信したフィードバック履歴に部分的に基づいて、再挑戦機能８７０をアクティブ化するかどうかを決定すると共に、ユーザの通信デバイス８９５を介してユーザへと送信されるフィードバックデバイス８７５からのフィードバックを選択する、一連の事前定義済みルールのセットを包含する。いくつかの実施形態では、リゾルバ８１０の事前定義済みルールのセットは、ユーザのフラストレーションを軽減するために、ユーザに対する同じ再挑戦要求の数を制限する。プレイ履歴デバイス８６０から受信したプレイ履歴及びフィードバック履歴デバイス８６５から受信したフィードバック履歴に部分的に基づいたリゾルバ８１０の事前定義済みルールのセットは、ユーザに対して報告された以前の問題をユーザが直したことを決定して、“Good job!”等のポジティブなフィードバックを提供する。このポジティブなフィードバックは、リゾルバ８１０が記録についての他の問題を識別した場合であっても発生し得る。
【００７３】
いくつかの実施形態では、リゾルバは、音声エンジン出力８０５、特徴抽出デバイス８２０、分類器８２５〜８５５、再生履歴デバイス及びフィードバック履歴デバイスからデータを受信して、ユーザに対して表示するためにユーザの通信デバイス８９５へと送信される適切な出力（フィードバックデバイス８７５及び再挑戦機能８７０からの出力を含む）を決定するために使用する。いくつかの実施形態では、リゾルバ８１０は、本明細書で説明されるように、ハードコーディングされたルール及び閾値のセットを使用して、正しい出力を決定する。リゾルバ８１０の事前定義済みルールのセットは、それぞれの特定のユーザの傾向及びパターンを検出可能であり、その出力をそれに応じて調整可能である。例えば、リゾルバ８１０は、ユーザがＣＶゲーム内の所与のターンに再挑戦するように求められる回数に制限を設けることができる。基本的なオーディオ特性（例えば、クリップされたフレームの数、最小のフレームエネルギー及び生の音声エンジン出力）もまた、多くのより単純なフィードバックタイプと共に使用するためにリゾルバ８１０へと流入する。
【００７４】
いくつかの実施形態では、リゾルバ８１０の事前定義済みルールのセットはまた、ゲームを合理的かつ快適な方法で流し続けるために、再挑戦の数を制限する。「再挑戦」ターンでは、前のターンにおいて報告された問題が（十分な信頼をもって）解決されたかどうかについても、特に注意を払う。その場合、新たに異なる問題が検出された場合であっても、ユーザに対してポジティブな確認を提供する。
【００７５】
リゾルバ８１０の事前定義済みルールのセットは、ＣＶ教師との会話から及び熟練の教授経験から収集されたルールのいくつかを具体化する。例えば、いくつかの実施形態では、リゾルバ８１０は、ＳＰＱの問題を第１に優先し、続いてＡＰＭ、母音、強勢を優先し、その次に音節及び子音を含む潜在的に比較的重大でないエラータイプを優先する。
【００７６】
いくつかの実施形態では、リゾルバ８１０は、十分な信頼をもって行うことができる場合にのみ、フィードバックを提供することが可能である。しかしながら、ゲームの流れ及び教育上の理由から、エラーを検出したことを信頼している場合であっても、ユーザに対してフィードバックを毎ターンごとに提供することは望ましくない。いくつかの実施形態では、偽りのポジティブは、偽りのネガティブよりもユーザにとって悪い体験を生じさせるように扱われるため、リゾルバ８１０は、その信頼閾値を調整することによって、このことを考慮に入れる。
【００７７】
図９には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法９００のフローチャートが示されている。ステップ９０５において、いくつかの実施形態では、方法９００は、インタラクティブゲーム（例えば、ＣＶゲーム）の一部としてアンカーフレーズ及びターゲット単語を選択し、ここで、アンカーフレーズが、複数の単語を有しており、アンカーフレーズ及びターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、予期される母音が、予期される音素の一部である。ステップ９１０において、いくつかの実施形態では、方法９００は、インタラクティブゲームの一部として、アンカーフレーズ及びターゲット単語の視覚的表現を話者へと提示する。ステップ９１５において、いくつかの実施形態では、方法９００は、話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音する。ステップ９２０において、いくつかの実施形態では、方法９００は、聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換する。ステップ９２５において、いくつかの実施形態では、方法９００は、聴取可能ターゲット単語をデジタルターゲット単語へと変換する。ステップ９３０において、いくつかの実施形態では、方法９００は、音声エンジンによって音声エンジン出力を生成するために、音声エンジンによってデジタルアンカーフレーズ及びデジタルターゲット単語を処理し、ここで、音声エンジン出力が、デジタルアンカーフレーズとデジタルターゲット単語からの予期される音素についての少なくとも１つの候補音素と、該少なくとも１つの候補音素についての予期される音素確率とを有する音素トランスクリプトを含む。ステップ９３５において、いくつかの実施形態では、方法９００は、音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、該複数の特徴を複数の分類器へと送信する。ステップ９４０において、いくつかの実施形態では、方法９００は、複数の特徴から複数の分類器出力をフィードバック分類器によって導出して、該複数の分類器出力をリゾルバへと送信し、ここで、該複数の分類器の少なくとも１つが、機械学習要素を有する。ステップ９４５において、いくつかの実施形態では、方法９００は、事前定義済みルールのセットを使用して、強勢母音推定及び音素トランスクリプトに少なくとも部分的に基づいて、フィードバック応答をリゾルバによって選択する。ステップ９５０において、いくつかの実施形態では、方法９００は、フィードバック応答を話者へと提示する。
【００７８】
図１０には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法の擬似コード１０００の第１の表が示されている。いくつかの実施形態では、図８に関して説明されたリゾルバ８１０等のリゾルバは、例えば、図１０の１６個の疑似コード命令のような命令を実行するためのプロセッサを含む。これらの１６個の疑似コード命令を、以下に示す：１．平均エネルギーが最大閾値を超える場合、又は、受信されてデジタル化された話者の発音（音声）が、データのクリップされたフレームを１０ミリ秒（ｍｓ）を超えて包含している場合、SPQ_TOOLOUDを返す。SPQ_TOOLOUDは、音及び再生の品質（ＳＰＱ）の音量が大きすぎるエラーのインジケータを表す。２．平均音声エネルギーが最小閾値を下回る場合、SPQ_TOOQUIETを返す。SPQ_TOOLOUDは、音及び再生の品質（ＳＰＱ）の音量が小さすぎるエラーのインジケータを表す。３．有声音声時の平均エネルギーの最も音量の小さいフレームのエネルギーに対する比率が最小閾値を下回っている場合、SPQ_NOISEを返す。SPQ_NOISEは、音及び再生の品質（ＳＰＱ）のノイズ比のインジケータを表す。４．前述のAPM_COLOR_*の条件が満たされている場合、このエラーを返す。APM_COLOR_*はアンカーフレーズマスタリ（ＡＰＭ）の色のエラーのインジケータを表す。APM_COLOR_*は、アンカーフレーズの強勢母音について、ユーザが母音の発音内において一貫して間違っていたことを示唆する。このことは、音声エンジンによって報告された、各強勢母音の上位候補を調べることによって決定される。いくつかの実施形態では、これは、１４種の異なるエラーを表し、このアスタリスクは、（正しいものではなく）ユーザが生成した母音の名称に置き換えられる。５．SPQ_DISFLUENT分類器がSPQ_DISFLUENT_MAXより高い信頼度でSPQ_DISFLUENTを報告する場合、これをエラーとして返す。SPQ_DISFLUENT分類器は、音及び再生の品質（ＳＰＱ）の非流暢性のインジケータを表す。SPQ_DISFLUENT_MAX変数は、音及び再生の品質（ＳＰＱ）の非流暢性の最大限度の変数を表す。６．APM_CONSISTENCYの条件が満たされている場合、このエラーを返す。APM_CONSISTENCYは、アンカーフレーズの強勢母音について、一貫性が観測されなかったことを示す。このことは、音声エンジンによって報告された、各強勢母音の上位候補を調べることによって決定される。
【００７９】
７．前述のV_COLOR_*の条件が満たされている場合、このエラーを返す。V_COLOR_*変数は、母音の色のタイプを表す。V_COLOR_*は、ターゲット単語の強勢母音が正しくなかったことを示す。このことは、音声エンジンによって報告された、各強勢母音の上位候補を調べることによって決定される。この箇条書き項目は、１４種の異なるエラーを表し、このアスタリスクは、（正しいものではなく）ユーザが生成した母音の名称に置き換えられる。
【００８０】
８．APM_QUALITYがAPM_QUALITY_MAXより高い信頼度でAPM_QUALITYエラーを報告する場合、このエラーを返す。APM_QUALITY変数は、アンカーフレーズマスタリ（ＡＰＭ）品質変数を表す。APM_QUALITYは、別の種類のエラーのインジケータである。アンカーフレーズマスタリ（ＡＰＭ）は、ＣＶアンカーフレーズを正しく話すユーザの能力に関係するフィードバックカテゴリである。ＡＰＭ品質は、意図される母音に近いが母音の品質が低い（アンカーフレーズ内の）強勢母音に対応する。ＡＰＭ子音は、アンカーフレーズ内の子音の問題に対応する。９．APM_CONSONANT分類器がAPM_CONSONANT_MAXより高い信頼度でAPM_CONSONANTエラーを報告する場合、このエラーを返す。APM_CONSONANT分類器は、アンカーフレーズマスタリ（ＡＰＭ）子音識別子のエラーのインジケータを表す。１０．強勢分類器がS_NOSTRESS_MAXより高い信頼度でS_NOSTRESSエラーを報告する場合、このエラーを報告する。S_NOSTRESSエラーは、S_NOSTRESS_MAXエラーと比較して検出された母音強勢が欠如していることのインジケータを表す。１１．強勢分類器がS_UNDER_MAXより高い信頼度でS_UNDERエラーを報告する場合、このエラーを報告する。S_UNDERエラーインジケータは、S_NOSTRESS_MAX変数と比較して母音強勢が不十分な量であることを表す。１２．母音分類器がV_REDUCE_MAXより高い信頼度でV_REDUCEエラーを報告する場合、このエラーを報告する。V_REDUCEエラーインジケータは、V_REDUCE_MAX変数と比較して母音強勢の持続時間が不十分であることを表す。１３．SYL_ADDED分類器がSYL_ADDED_MAXより高い信頼度でSYL_ADDEDエラーを報告する場合、このエラーを報告する。SYL_ADDED分類器は、最大のSYL_ADDED_MAX変数より高い信頼度で、予期される単語に音節が追加されたエラーのインジケータを表す。１４．子音分類器がCON_MISSING_MAXより高い信頼度でCON_MISSINGエラーを報告する場合、このエラーを報告する。CON_MISSINGエラーインジケータは、最大のSYL_ADDED_MAX変数よりも高い信頼度で、予期される単語から欠落している子音が欠落していることを表す。１５．子音分類器がCON_SUB_MAXより高い信頼度でCON_SUBエラーを報告する場合、このエラーを報告する。CON_SUBエラーインジケータは、最大のCON_SUB_MAX変数より高い信頼度で、予期される単語から子音が欠落していることを表す。１６．上記のいずれの条件も満たされない場合、“GOOD_JOB”を返して話者に提示する。
【００８１】
図１１は、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法の擬似コード１１００の第２の表が示されている。いくつかの実施形態では、図８に関して説明されたリゾルバ８１０等のリゾルバは、例えば、図１１の４個の疑似コード命令のような命令を実行するためのプロセッサを含む。これらの４個の疑似コード命令を、以下に示す：１．これがユーザ（話者）の現在の話しターンフレーズにおける最初の試行である場合、予備フィードバックを使用する。フィードバックが“GOOD JOB”以外の場合は、ユーザに再挑戦するよう求める。２．これが再挑戦であり、予備フィードバックが“GOOD JOB”である場合、それを返し、ユーザに再び挑戦することを求めない。３．これが再挑戦であり、予備フィードバックがＳＰＱカテゴリ内にある場合、予備フィードバックを返す。ユーザの再挑戦回数が４回より少ない場合は、再び挑戦するよう求める。そうでない場合、次のターンに進ませる。４．これが再挑戦であり、フィードバックがＳＰＱエラー以外の場合：フィードバックが以前の試行と同じ場合：ユーザが３回より少ない回数再挑戦した場合は、再び挑戦するよう求める。そうでない場合、次のターンに進ませる。フィードバックが異なる（が、未だに正しくない）場合：最後のターンにおいて報告されたエラーが修正されたという信頼度を計算する。このことは、最後のターン中にエラーを報告した分類器から、このターンの“GOOD JOB”確率を調べることによって行われる。いくつかの実施形態では、“GOOD JOB”の確率が０．６を超える場合、“GOOD JOB”を報告し、ユーザに再び挑戦するよう求めない。（上記のように）以前の問題が修正されて「いない」場合は、ユーザを次のターンに進ませる。
【００８２】
図１２には、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための例示的なコンピュータに実装される方法のブロック図が示されている。
【００８３】
図１２を参照すると、本明細書に開示される１つ以上の実施形態を実装可能な、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのコンピュータに実装される方法の、本開示に係る例示的なユーザインタフェースのコンピュータシステム１２００部分のブロック図が示されている。
【００８４】
いくつかの実施形態では、コンピュータシステム１２００は、ユーザの通信デバイス１０５（図１）の一部である。他の実施形態では、コンピュータシステム１２００は、音声処理エンジン８１０（図８）の一部である。さらに他の実施形態では、コンピュータシステムは、語彙８３０（図８）、トランスクリプト８４０（図８）及びオーディオ８５０（図８）を生成する。図１〜１１のコンピュータに実装される方法（図１）。さらに他の実施形態では、コンピュータシステム１２００は、リゾルバ８１０（図８）の一部である。さらに他の実施形態では、コンピュータシステム１２００は、モバイルデバイス２０５（図２）、モバイルデバイス３０５（図３）、モバイルデバイス４０５（図４）、モバイルデバイス５０５（図５）、モバイルデバイス６０５（図６）及び各図に示された命令を実行可能な任意の他のコンピューティングデバイスの一部である。
【００８５】
コンピュータシステム１２００は、ハードウェアプロセッサ１２８２と、非一時的なコンピュータ可読記憶媒体１２８４とを含み、非一時的コンピュータ可読記憶媒体１２８４は、コンピュータプログラムコード１２８６（すなわち、実行可能な命令のセット）によってエンコードされている（すなわち、コンピュータプログラムコード１２８６を格納している）。プロセッサ１２８２は、バス１２８８を介してコンピュータ可読記憶媒体１２８４に電気的に結合される。プロセッサ１２８２はまた、バス１２８８を介してＩ／Ｏインタフェース１２９０に電気的に結合される。ネットワークインタフェース１２９２はまた、バス１２８８を介してプロセッサ９０２に電気的に接続される。ネットワークインタフェース１２９２はネットワーク１２９４に接続され、その結果、プロセッサ１２８２及びコンピュータ可読記憶媒体１２８４は、ネットワーク１２９４を介して外部要素に接続すること及び該外部要素と通信することができる。誘導ループインタフェース１２９６はまた、バス１２８８を介してプロセッサ１２８２に電気的に接続される。誘導ループインタフェース１２９６は、ネットワークインタフェース１２９２からの多様な通信経路を提供する。
【００８６】
いくつかの実施形態では、誘導ループインタフェース１２９６又はネットワークインタフェース１２９２は、光通信、マイクロ波通信又は他の適切な通信経路等、異なる通信経路で置き換えられる。データ通信ネットワークに関して説明したような動作の一部又は全部を実行する目的にコンピュータシステム１２００を使用できるようにするために、プロセッサ１２８２は、コンピュータ可読記憶媒体１２８４内にエンコードされたコンピュータプログラムコード１２８６を実行するように構成される。
【００８７】
いくつかの実施形態では、プロセッサ１２８２は、中央処理装置（ＣＰＵ）、マルチプロセッサ、分散処理システム、特定用途向け集積回路（ＡＳＩＣ）及び／又は適切な処理ユニットである。
【００８８】
いくつかの実施形態では、コンピュータ可読記憶媒体１２８４は、電子システム（又は、装置若しくはデバイス）、磁気システム、光学システム、電磁気システム、赤外線システム及び／又は半導体システムである。例えば、コンピュータ可読記憶媒体１２８４は、半導体若しくは固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、固定磁気ディスク及び／又は光ディスクを含む。光ディスクを使用するいくつかの実施形態では、コンピュータ可読記憶媒体１２８４は、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク読み出し／書き込み（ＣＤ−Ｒ／Ｗ）、デジタルビデオディスク（ＤＶＤ）及び／又はブルーレイディスクを含む。
【００８９】
いくつかの実施形態では、記憶媒体１２８４は、データ通信ネットワークに関して説明されたような動作をコンピュータシステム１２００に実行させるように構成されたコンピュータプログラムコード１２８６を格納する。
【００９０】
いくつかの実施形態では、記憶媒体１２８４は、外部コンポーネントとインタフェースするための命令１２８６を格納する。命令１２８６は、データ通信ネットワークによって読み取り可能な操作命令をプロセッサ１２８２が生成することを可能にする。
【００９１】
コンピュータシステム１２００は、Ｉ／Ｏインタフェース１２９０を含む。Ｉ／Ｏインタフェース１２９０は、外部回路に結合される。いくつかの実施形態では、Ｉ／Ｏインタフェース１２９０は、情報及びコマンドをプロセッサ１２８２に通信するためのキーボード、キーパッド、マウス、トラックボール、トラックパッド及び／又はカーソル方向キーを含む。
【００９２】
コンピュータシステム１２００はまた、プロセッサ１２８２に結合されたネットワークインタフェース１２９２を含む。ネットワークインタフェース１２９２は、コンピュータシステム１２００に対して、１つ以上の他のコンピュータシステムが接続されているネットワーク１２９４と通信することを可能にする。ネットワークインタフェース１２９２は、ＢＬＵＥＴＯＯＴＨ、ＷＩＦＩ、ＷＩＭＡＸ、ＧＰＲＳ、ＷＣＤＭＡ等の無線ネットワークインタフェース、又は、ＥＴＨＥＲＮＥＴ、ＵＳＢ、ＩＥＥＥ−１３９４等の有線ネットワークインタフェースを含む。
【００９３】
コンピュータシステム１２００はまた、プロセッサ１２８２に結合された誘導ループインタフェース１２９６を含む。誘導ループインタフェース１２９６は、コンピュータシステム１２００に対して、１つ以上の他のコンピュータシステムが接続されている外部デバイスと通信することを可能にする。いくつかの実施形態では、上記の操作は、２つ以上のコンピュータシステム１２００内に実装される。
【００９４】
コンピュータシステム１２００は、Ｉ／Ｏインタフェース１２９０を介して命令１２８６に関連する情報を受信するように構成される。該情報は、トランスポート操作に対応する調整を決定するために、バス１２８８を介してプロセッサ１２８２へと転送される。それらの命令は、続いて、コンピュータ可読媒体１２８４内に命令１２８６として格納される。
【００９５】
いくつかの実施形態では、本明細書にて説明するシステム及び方法は、発音のためにアンカーフレーズ及びターゲット単語を話者へと提示するインタラクティブゲーム内に組み込まれたColor Vowel（登録商標）システムを採用する。これに対応して、音声エンジンは、話者から受音したデジタル化された聴取可能アンカーフレーズ及びデジタル化されたターゲット単語を受信すると共に処理して、音声エンジン出力を生成し、該音声エンジン出力から複数の特徴が抽出された後、該複数の特徴から複数の分類器出力が導出される。いくつかの実施形態では、複数の分類器出力を導出する複数の分類器のうちの少なくとも１つが、機械学習要素を使用する。リゾルバは、複数の分類器出力に少なくとも部分的に基づいて、事前定義済みルールのセットを使用してフィードバック応答を自動的に選択し、該フィードバック応答を話者へと提示し、それによって話者の発音スキルを向上させる。いくつかの実施形態では、リゾルバは、複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を選択し、かつ、アンカーフレーズ及びターゲット単語の視覚的表現を話者へと提示するステップの以前のインスタンスの記録の少なくとも１つに、少なくとも１つの候補音素及びその予期される音素確率に、母音強勢の推定に、音素トランスクリプトに、デジタルアンカーフレーズ及びデジタルターゲット単語からの予期される音素についての少なくとも１つの候補音素の聴取可能な母音強勢の時間的配置及び聴取可能な母音強勢の質の評価にさらに少なくとも部分的に基づいて、フィードバック応答を選択する。
【００９６】
本明細書にて説明されるいくつかの実施形態は、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するための、コンピュータに実装される方法を含む。該方法は、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを含む。
【００９７】
本明細書にて説明されるいくつかの実施形態は、話者の話し言葉のスキルを向上させるために機械学習要素を自動的に統合するためのシステムを含む。該システムは、少なくとも１つの物理プロセッサと、前記少なくとも１つの物理プロセッサによって実行された際に、前記少なくとも１つの物理プロセッサに対して、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを行わせる、コンピュータ実行可能な命令を含む物理メモリとを含む。
【００９８】
本明細書にて説明されるいくつかの実施形態は、非一時的なコンピュータ可読媒体を含む。該非一時的なコンピュータ可読媒体は、１つ以上のコンピュータ実行可能な命令を含み、コンピューティングデバイスの少なくとも１つの物理プロセッサによって実行された際に、前記コンピューティングデバイスに対して、インタラクティブゲームの一部としてアンカーフレーズ及びターゲット単語を選択するステップであって、前記アンカーフレーズが、複数の単語を有しており、前記アンカーフレーズ及び前記ターゲット単語の両方は、強勢音節が予期される母音を共通して有しており、前記予期される母音が、予期される音素の一部である、ステップと、前記インタラクティブゲームの一部として、前記アンカーフレーズ及び前記ターゲット単語の視覚的表現を話者へと提示するステップと、前記話者から聴取可能アンカーフレーズ及び聴取可能ターゲット単語を受音するステップと、前記聴取可能アンカーフレーズをデジタルアンカーフレーズへと変換するステップと、前記聴取可能ターゲット単語をデジタルターゲット単語へと変換するステップと、前記デジタルアンカーフレーズ及び前記デジタルターゲット単語を、音声エンジン出力を生成するために音声エンジンによって処理するステップであって、前記音声エンジン出力が音素トランスクリプトを含み、前記音素トランスクリプトが予期される音素を含む、ステップと、前記音声エンジン出力から複数の特徴を特徴抽出デバイスによって抽出して、前記複数の特徴を複数のフィードバック分類器へと送信するステップと、前記複数の特徴から複数の分類器出力を前記フィードバック分類器によって導出して、前記複数の分類器出力をリゾルバへと送信するステップであって、前記複数の分類器の少なくとも１つが、機械学習要素を使用する、ステップと、事前定義済みルールのセットを使用して、前記複数の分類器出力に少なくとも部分的に基づいてフィードバック応答を前記リゾルバによって選択するステップと、前記フィードバック応答を前記話者へと提示するステップとを行わせる。
【００９９】
様々な修正が、本明細書における本開示の実施形態に対して、本開示の範囲から逸脱することなく行われ得ることが理解されよう。したがって、上記の説明は、開示を限定するものとして解釈されるべきではなく、単にその実施形態を開示するものとして解釈されるべきである。当業者は、本明細書に添付される特許請求の範囲によって定義される本発明の範囲内で、他の修正を想起するであろう。
【図１】
2021516770.tif 000004
【図２】
2021516770.tif 000005
【図３】
2021516770.tif 000006
【図４】
2021516770.tif 000007
【図５】
2021516770.tif 000008
【図６】
2021516770.tif 000009
【図７】
2021516770.tif 000010
【図８】
2021516770.tif 000011
【図９】
2021516770.tif 000012
【図１０】
2021516770.tif 000013
【図１１】
2021516770.tif 000014
【図１２】
2021516770.tif 000015
【国際調査報告】
2021516770.tif 000016