(57)【要約】  【課題】  ある言語（例えば、英語）で音声入力すべき語句や文章を他の言語（例えば、日本語）に存在する音で発音して音声入力した場合にも、発音の精度を厳密に要求することなく、音声入力された語句や文章を評価することができる評価システムを提供する。  【解決手段】  音声で入力される語句又は文章を評価する評価システム１は、第１言語（例えば、英語）の音声を入力する音声入力部１０と、第１言語の音声が表す語句又は文章を認識する音声認識装置３０と、認識された語句又は文章を評価する評価部４０とを備える。音声認識装置３０は、第１言語の音声が第１言語とは異なる第２言語（例えば、日本語）に存在する音で発音されたものとして語句又は文章を認識する。【選択図】  図１
2020052313.tif 000002
【特許請求の範囲】
【請求項１】
音声で入力される語句又は文章を評価する評価システムであって、
音声を入力する音声入力部と、
入力された音声が表す語句又は文章を認識する音声認識装置と、
前記認識された語句又は文章を評価する評価部と、
を備え、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識する、評価システム。
【請求項２】
前記音声認識装置は、
入力された音声から前記第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
を備えた、請求項１に記載の評価システム。
【請求項３】
前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備え、
前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章を認識する、請求項２に記載の評価システム。
【請求項４】
第１言語の音声を認識する音声認識装置であって、
入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
を備えた、音声認識装置。
【請求項５】
音声で入力される語句又は文章を評価する評価プログラムであって、
コンピュータを、
音声を入力する音声入力部、
入力された音声が表す語句又は文章を認識する音声認識装置、及び
前記認識された語句又は文章を評価する評価部、
として機能させ、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識する、評価プログラム。
【請求項６】
第１の言語の音声を認識する音声認識プログラムであって、
コンピュータを、
入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
として機能させる、音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声を評価する評価システム及び入力された音声を認識する音声認識装置に関する。
【背景技術】
【０００２】
人間の音声を聞き取ってテキスト化する音声認識の技術が知られている。この音声認識は、例えば、スマートスピーカ等における音声対話や電子機器の音声操作に利用されている。また、外国語学習の分野では、学習者が音声入力した外国語の発音の評価を行う評価システムにも音声認識の技術が用いられる。この評価システムでは、例えば、正解の発音と入力された音声の発音とのマッチングを行って、そのマッチングスコア（即ち、一致度）に従って入力された音声の発音を評価する（例えば、特許文献１及び２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１８／０３３９７９号
【特許文献２】特開２０１４−３８２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音声認識技術を利用した従来の評価システムでは、発音の精度の評価をするものである。したがって、かかる評価システムは、発音の精度を重視せずに外国語のスピーキングの能力を測るシステムとしては適さない。
【０００５】
例えば、所定のテーマについて、あるいは、所定の正解語句について、外国語を用いて口頭で回答するテストをする場合において、発音の精度を厳密に評価してしまうと、当該所定のテーマに沿った内容を伝える文章を生成できているか、あるいは、正解の語句が判っているか、といった能力を測ることはできない。
【０００６】
例えば、日本語を母国語とする日本人についていえば、英語の「ｒ」と「ｌ」とを区別して発音することが難しいと言われている。このため、被評価者の音声を従来の音声認識技術を用いて認識して、正解語句である「ｌａｍｐ」が音声入力されたか否かを評価する場合において、被評価者の発音が正確でないために「ｒａｍｐ」と認識されたときは、当該被評価者の回答は不正解となってしまう。
【０００７】
そこで、本発明は、ある言語（例えば、英語）で音声入力すべき語句や文章を他の言語（例えば、日本語）に存在する音で発音して音声入力した場合にも、発音の精度を厳密に要求することなく、音声入力された語句や文章を評価することができる評価システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様の評価システムは、音声で入力される語句又は文章を評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章を認識する音声認識装置と、前記認識された語句又は文章を評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識する。
【０００９】
この構成により、音声認識装置は、第１言語（例えば、英語）の音声が第２言語（例えば、日本語）に存在する音で発音されたものとして語句又は文章を認識するので、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できる。よって、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができる。
【００１０】
上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えていてよい。
【００１１】
この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなる。
【００１２】
上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備えていてよく、前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章を認識してよい。
【００１３】
この構成により、第１言語の音声の発音が正しい場合にも、その音声の内容を正しく認識できる可能性が高くなる。
【００１４】
本発明の一態様の音声認識装置は、第１言語の音声を認識する音声認識装置であって、入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。
【００１５】
この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなり、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を認識することができる。
【発明の効果】
【００１６】
本発明によれば、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。
【図２】図２は、本発明の実施の形態の音声入力部を示すブロック図である。
【図３】図３は、本発明の実施の形態の音声処理部を示すブロック図である。
【図４】図４は、本発明の実施の形態の音素認識部を示すブロック図である。
【図５】図５は、日本語の音素を示すである。
【図６】図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。
【図７】図７は、本発明の実施の形態の認識部を示すブロック図である。
【図８】図８は、本発明の実施の形態の評価部を示すブロック図である。
【図９】図９は、本発明の実施の形態の評価出力部を示すブロック図である。
【図１０】図１０は、本は発明の実施の形態の変形例の評価システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態の書取り学習支援システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００１９】
図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。図１に示すように、評価システム１は、音声入力部１０と、音声処理部２０と、音声認識装置３０と、評価部４０と、評価出力部５０とを備えている。この評価システム１の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の評価プログラムを実行することで実現される。
【００２０】
本実施の形態では、評価システム１は、日本語を母国語とする被評価者が外国語である英語の文章を音声入力し、音声入力された英語の文章を評価する。なお、本発明の評価システム１は、文章を評価するシステムに限らず、語句（即ち、単語又はフレーズ）を評価するものであってもよい。また、評価システム１は、英語を評価するものに限らず、他の言語を評価するものであってもよい。更に、評価システム１は、日本語を母国語とする被評価者のためのものに限らず、第１言語の音声を第１言語以外の第２言語を母国語とする被評価者が入力して、第１言語の語句や文章を認識して評価するものであればよい。
【００２１】
本実施の形態では、被評価者には、所定のテーマないし問題が与えられ、被評価者はこれに答える英語の文章を音声で発する。評価システム１は、この評価者の音声を入力して、当該音声をテーマないし問題に則して評価して評価結果を出力する。この評価システム１を用いることで、例えば、被評価者に対して、説明文を与えるとともに、その説明文に関する問題を与えて口頭で答えさせるというテストを行うことができる。
【００２２】
図２は、本発明の実施の形態の音声入力部を示すブロック図である。音声入力部１０は、評価者の音声の音波を変換して得られる音声信号を取得する。音声入力部１０は、マイク等の音声入力装置を用いて被評価者の音声の音波を電気信号に変換することで音声信号（振幅音声信号）を生成する。具体的には、音声入力部１０は、音波、即ち、空気の振動を、時刻を横軸とし、振幅を縦軸とするグラフで表される時系列の振幅音声信号に変換する。なお、音声入力部１０は、録音機等によって録音された音声データを読み出すことで振幅音声信号を取得してもよい。
【００２３】
本実施の形態の評価システム１は、日本語を母国語とする被評価者が音声入力した英語の文章を評価するものであるので、音声入力部１０には、日本語を母国語とする被評価者が発声した英語の文章が入力される。
【００２４】
図３は、本発明の実施の形態の音声処理部を示すブロック図である。音声処理部２０は、音声入力部１０で生成された振幅音声信号に対して、音声認識のための種々の処理を行う。例えば、音声処理部２０は、音声信号からノイズを除去する処理を行。また、音声処理部２０は、音声信号をフーリエ変換することで、横軸を周波数とし、縦軸をパワー（強度）とするグラフで表される電気信号（周波数音声信号）に変換する。
【００２５】
音声処理部２０は、更に、周波数音声信号を用いて音声認識の特徴量として、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients：ＭＦＣＣ）を算出する。音声認識装置３０における音声認識では、このＭＦＣＣが入力された音声の特徴量として用いられる。
【００２６】
図１に示すように、音声認識装置３０は、音節取得部３１と、言語変換部３２と、認識部３３と、言語変換辞書３４とを備えている。本実施の形態の音声認識装置３０は、英語の音声の特徴量を英語のテキストに変換する。この際に、音声認識装置３０は、英語の音声が日本語に存在する音で発音されたものとして語句又は文章を認識する。音声認識装置３０の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが上記の評価プログラムを実行することで実現される評価システムの一部として実現されてもよいし、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の音声認識プログラムを実行することで、音声認識装置３０単体として実現されてもよい。
【００２７】
図４は、本発明の実施の形態の音素認識部を示すブロック図である。音節取得部３１は、音声処理部２０で生成された特徴量が表す日本語の音素を認識する。図５は、日本語の音素を示す図である。日本語には、５種類の母音、１６種類の子音、及び３種類の特殊音素の合計２４種類の音素が存在し、これらを組み合わせることで単位音として「ア」（ａ）、「コ」（ｋｏ）「ジャ」（ｊａ）等の音節が作られる。ここで、音節とは、言語を使用する際に認識される音の最小単位をいう。
【００２８】
図４に示すように、音節取得部３１は、音声の特徴量から日本語の音素を認識して、それらの音素に基づいて日本語の音節を取得する。即ち、本実施の形態の音節取得部３１は、入力されている言語が英語であるにもかかわらず、英語の音素を認識するのではなく、被評価者の母国語の言語の音素を認識して、日本語の音節を取得する。図４の例では、母国語を日本語とする被評価者が「He ran through the hallway.」と発音した音声から、「ヒー  ラ  ン  ス  ルー  ザ  ホー  ル  ウェ  イ」という音節列を取得する。
【００２９】
図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。言語変換部３２は、音節取得部３１で取得された日本語の音節を言語変換辞書３４を参照して、英語の音節に変換する。このために、言語変換辞書には、日本語の音節に対応する英語の音節が記憶されている。
【００３０】
１つの日本語の音節には少なくとも１つの英語の音節が対応しており、複数の英語の音節が対応していることがある。また、１つの英語の音節が複数の日本語の音節に対応していることもある。したがって、言語変換部３２において日本語の音節を英語の音節に変換することで、複数の組み合わせの音節列が生成されることになるが、言語変換部３２は、すべての組み合わせの英語の音節列を生成する。
【００３１】
図７は、本発明の実施の形態の認識部のブロック図である。認識部３３は、言語変換部３２で得られた英語の音節列から、単語ないし文章を認識する。一般的には、言語変換部３２によって、複数の音節列が取得されているので、認識部３３は、これらの複数の音節列を入力として、それらの音節列に対応する複数の文章、即ち英語の単語列（１単語の場合もある）のテキストを出力する。
【００３２】
このために、認識部３３は、隠れマルコフモデル（ＨＭＭ）、及び／又は深層ニューラルネットモデル（例えば、ＬＳＴＭ（Long Short-Term Memory）等のＲＮＮ（Recurrent Neural Network））を用いて単語列の前後関係まで考慮して音節列に対応する文章を推定する。認識部３３による文章認識によって、複数の文章がそのスコア（確率）とともに得られる。認識部３３は、スコアが所定の閾値を超えている文章を認識結果として出力する。この結果、認識部３３が複数の文章を出力することもある。図７の例では、「He ran through the hallway.」という文章と「He run slue the whole way.」という文章とが出力されている。
【００３３】
なお、認識部３３は、語句、即ち単語又はフレーズのみを認識するものであってもよい。また、認識部３３は、音節と単語との対応関係を記憶したテーブルを参照することで、単語ないし文章を認識してもよい。
【００３４】
図８は、本発明の実施の形態の評価部を示すブロック図である。評価部４０には、音声認識装置３０（の認識部３３）から複数の英語の文章が入力される。評価部４０は、認識部３３から入力された複数の文章を評価する。本実施の形態では、評価部４０は、認識部３３から入力された複数の文章の各々について、良否の評価を行い、複数の文章の各々に「ＧＯＯＤ」又は「ＢＡＤ」の評価結果を与える。この評価にも、英語の文章（テキスト列）を入力として、評価結果を出力とするニューラルネットワークモデルを用いてもよいし、ルールベースのモデルを用いてもよい。
【００３５】
図９は、本発明の実施の形態の評価出力部５０を示すブロック図である。評価出力部５０は、評価部４０から評価結果を受けて、最終的な評価を出力する。評価出力部５０は、複数の文章に対する複数の評価結果が入力された場合には、そのうちのもっともよい評価を出力する。即ち、本実施の形態では、評価出力部５０は、評価結果の中に少なくとも１つの「ＧＯＯＤ」があれば、「ＧＯＯＤ」の評価を出力する。
【００３６】
以上の構成により、評価システム１は、日本語に存在する音で発声された英語の文章を認識することで、可能性のある複数の英語の文章が得た評価のうちの最も良い評価を最終的な評価として出力する。これにより、英語の発音の精度が多少低い場合にも、そのような発音精度の低さを無視して、正当な評価を与えることができる。
【００３７】
以上のように、本発明の実施の形態の音声認識装置３０によれば、第１言語を母国語とする者が発声した第２言語の音声を、第１言語の音節列（第１言語音節列）として認識した上で、第１音節列を第２言語の音節列（第２言語音節列）に変換して、第２言語音節列に対応する第２言語の語句又は文章を推定するので、入力された音声の第２言語としての発音の精度が低い場合にも、入力された音声を正しく認識することができる。
【００３８】
また、音声認識装置３０で認識結果として複数とおりの語句ないし文章が得られた場合に、評価部４０は、それらのすべての語句ないし文章を評価し、評価出力部５０は、複数の語句ないし文章に対する評価のうちの最も良い評価を最終的な評価結果として出力するので、語句ないし文章の内容が良くても発音が悪いために評価が下がってしまうという状況が生じる可能性を低減できる。
【００３９】
上記から明らかなように、本実施の形態の評価システム１では、入力される評価対象の言語（第１言語）と、当該言語を発生する被評価者の母国語の言語（第２言語）とをあらかじめ設定する必要がある。ただし、上記の実施の形態のように、第１言語は英語に限られず、第２言語が日本語は日本語に限られない。また、評価システムが多言語に対応していてもよく、その場合には、入力される言語（第１言語）と被評価者の母国語の言語（第２言語）とを複数の言語の中から選択してモードを設定した上で評価システム１を運用するようにしてよい。この場合には、音声認識装置３０は、モードとして選択可能な複数の第１言語と第２言語との組み合わせに対応できるように構成されている。
【００４０】
図１０は、本発明の実施の形態の変形例の評価システムを示すブロック図である。変形例の評価システム１´では、上記の実施の形態の評価システム１と比較すると、音声認識装置３０´において、音節取得部３１の代わりに、第２言語音節取得部３１１と第１言語音節取得部３１２が設けられている。
【００４１】
第２言語音節取得部３１１は、音節取得部３１と同じ構成であり、入力された音声から第２言語の音節を取得する。第１言語音節取得部３１２は、入力された音声（第１言語）から、当該音声の言語と同じ言語（第１言語）の音節を取得する。日本語を母国語とする被評価者が入力した英語の音声を評価する場合には、第２言語音節取得部３１１は、上記の音節取得部３１の例と同様に、英語の音声から日本語の音節を取得し、第１言語音節取得部３１２は、英語の音声から英語の音節を取得する。即ち、第１言語音節取得部３１２は、従来の音声認識における処理と同様の処理を行う。
【００４２】
第２言語音節取得部３１１で取得された音節列は、言語変換部３２において第１言語に変換されて認識部３３に入力される。第１言語音節取得部３１２で取得された音節列は、そのまま認識部３３に入力される。認識部３３は、言語変換部３２から入力された音節列と、第１言語音節取得部３１２から入力された音節列のすべてについて、上記の実施の形態と同様の認識処理を行うことで、複数の語句又は文章を推定する。
【００４３】
変形例の認識処理部３０´によれば、入力された音声の発音の精度が高い場合に、その精度の高さによって逆に認識精度が低下してしまう可能性を低減でき、評価システム１´は、入力音声として、精度の高い発音の音声が入力された場合にも精度の低い発音の音声が入力された場合にも、いずれも正しく評価をすることできる。よって、変形例の評価システム１´は、被評価者の発音の精度が不明である場合に好適に用いられる。
【産業上の利用可能性】
【００４４】
本発明は、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができ、音声で入力される語句又は文章を評価する評価システム等として有用である。
【符号の説明】
【００４５】
１  評価システム
１０  音声入力部
２０  音声処理部
３０  音声認識装置
３１  音節取得部
３２  言語変換部
３３  認識部
４０  評価部
５０  評価出力部
【図１】
2020052313.tif 000003
【図２】
2020052313.tif 000004
【図３】
2020052313.tif 000005
【図４】
2020052313.tif 000006
【図５】
2020052313.tif 000007
【図６】
2020052313.tif 000008
【図７】
2020052313.tif 000009
【図８】
2020052313.tif 000010
【図９】
2020052313.tif 000011
【図１０】
2020052313.tif 000012
【手続補正書】
【提出日】平成31年3月1日(2019.3.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声で入力される語句又は文章のテキストを評価する評価システムであって、
音声を入力する音声入力部と、
入力された音声が表す語句又は文章のテキストを認識する音声認識装置と、
前記認識された語句又は文章のテキストを評価する評価部と、
を備え、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する、評価システム。
【請求項２】
前記音声認識装置は、
入力された音声から前記第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章のテキストを認識する認識部と、
を備えた、請求項１に記載の評価システム。
【請求項３】
前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備え、
前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章のテキストを認識する、請求項２に記載の評価システム。
【請求項４】
第１言語の音声を認識する音声認識装置であって、
入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
を備えた、音声認識装置。
【請求項５】
音声で入力される語句又は文章を評価する評価システムであって、
音声を入力する音声入力部と、
入力された音声が表す語句又は文章を認識する音声認識装置と、
前記認識された語句又は文章を評価する評価部と、
を備え、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、
前記音声認識装置は、
入力された音声から前記第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
を備えた、評価システム。
【請求項６】
音声で入力される語句又は文章のテキストを評価する評価プログラムであって、
コンピュータを、
音声を入力する音声入力部、
入力された音声が表す語句又は文章のテキストを認識する音声認識装置、及び
前記認識された語句又は文章のテキストを評価する評価部、
として機能させ、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する、評価プログラム。
【請求項７】
音声で入力される語句又は文章を評価する評価システムであって、
音声を入力する音声入力部と、
入力された音声が表す語句又は文章を認識する音声認識装置と、
前記認識された語句又は文章を評価する評価部と、
を備え、
前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、
前記音声認識装置は、
入力された音声から前記第２言語の音節列を取得する音節取得部と、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部と、
を備えた、評価システム。
【請求項８】
第１の言語の音声を認識する音声認識プログラムであって、
コンピュータを、
入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部、
前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部、及び
前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部、
として機能させる、音声認識プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声を評価する評価システム及び入力された音声を認識する音声認識装置に関する。
【背景技術】
【０００２】
人間の音声を聞き取ってテキスト化する音声認識の技術が知られている。この音声認識は、例えば、スマートスピーカ等における音声対話や電子機器の音声操作に利用されている。また、外国語学習の分野では、学習者が音声入力した外国語の発音の評価を行う評価システムにも音声認識の技術が用いられる。この評価システムでは、例えば、正解の発音と入力された音声の発音とのマッチングを行って、そのマッチングスコア（即ち、一致度）に従って入力された音声の発音を評価する（例えば、特許文献１及び２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１８／０３３９７９号
【特許文献２】特開２０１４−３８２６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音声認識技術を利用した従来の評価システムでは、発音の精度の評価をするものである。したがって、かかる評価システムは、発音の精度を重視せずに外国語のスピーキングの能力を測るシステムとしては適さない。
【０００５】
例えば、所定のテーマについて、あるいは、所定の正解語句について、外国語を用いて口頭で回答するテストをする場合において、発音の精度を厳密に評価してしまうと、当該所定のテーマに沿った内容を伝える文章を生成できているか、あるいは、正解の語句が判っているか、といった能力を測ることはできない。
【０００６】
例えば、日本語を母国語とする日本人についていえば、英語の「ｒ」と「ｌ」とを区別して発音することが難しいと言われている。このため、被評価者の音声を従来の音声認識技術を用いて認識して、正解語句である「ｌａｍｐ」が音声入力されたか否かを評価する場合において、被評価者の発音が正確でないために「ｒａｍｐ」と認識されたときは、当該被評価者の回答は不正解となってしまう。
【０００７】
そこで、本発明は、ある言語（例えば、英語）で音声入力すべき語句や文章を他の言語（例えば、日本語）に存在する音で発音して音声入力した場合にも、発音の精度を厳密に要求することなく、音声入力された語句や文章を評価することができる評価システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様の評価システムは、音声で入力される語句又は文章のテキストを評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章のテキストを認識する音声認識装置と、前記認識された語句又は文章のテキストを評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する。
【０００９】
この構成により、音声認識装置は、第１言語（例えば、英語）の音声が第２言語（例えば、日本語）に存在する音で発音されたものとして語句又は文章のテキストを認識するので、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できる。よって、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章のテキストを評価することができる。
【００１０】
上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章のテキストを認識する認識部とを備えていてよい。
【００１１】
この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなる。
【００１２】
上記の評価システムにおいて、前記音声認識装置は、入力された音声から前記第１言語の音節列を取得する第２の音節取得部をさらに備えていてよく、前記認識部は、前記第２の音節取得部にて取得された前記第１言語の音節列からも前記第１言語の語句又は文章のテキストを認識してよい。
【００１３】
この構成により、第１言語の音声の発音が正しい場合にも、その音声の内容を正しく認識できる可能性が高くなる。
【００１４】
本発明の一態様の音声認識装置は、第１言語の音声を認識する音声認識装置であって、入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。
【００１５】
この構成により、第１言語の音声からいったん第２言語の音節列を取得して、その第２言語の音節列を第１言語の音節列に変換するので、第１言語の音声から第１言語の音節列を取得する場合と比較して、第２言語の音で第１言語を発音した場合にも、その音声の内容を正しく認識できる可能性が高くなり、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を認識することができる。
【００１６】
本発明の一態様の評価システムは、音声で入力される語句又は文章を評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章を認識する音声認識装置と、前記認識された語句又は文章を評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。
【００１７】
本発明の一態様の評価プログラムは、音声で入力される語句又は文章のテキストを評価する評価プログラムであって、コンピュータを、音声を入力する音声入力部、入力された音声が表す語句又は文章のテキストを認識する音声認識装置、及び前記認識された語句又は文章のテキストを評価する評価部として機能させ、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章のテキストを認識する。
【００１８】
本発明の一態様の評価システムは、音声で入力される語句又は文章を評価する評価システムであって、音声を入力する音声入力部と、入力された音声が表す語句又は文章を認識する音声認識装置と、前記認識された語句又は文章を評価する評価部とを備え、前記音声認識装置は、第１言語の音声が前記第１言語とは異なる第２言語に存在する音で発音されたものとして前記語句又は文章を認識し、前記音声認識装置は、入力された音声から前記第２言語の音節列を取得する音節取得部と、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部と、前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部とを備えている。
【００１９】
本発明の一態様の音声認識プログラムは、第１の言語の音声を認識する音声認識プログラムであって、コンピュータを、入力された音声から前記第１言語とは異なる第２言語の音節列を取得する音節取得部、前記第２言語の音節列を前記第１言語の音節列に変換する言語変換部、及び前記第１言語の音節列から前記第１言語の語句又は文章を認識する認識部として機能させる。
【発明の効果】
【００２０】
本発明によれば、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。
【図２】図２は、本発明の実施の形態の音声入力部を示すブロック図である。
【図３】図３は、本発明の実施の形態の音声処理部を示すブロック図である。
【図４】図４は、本発明の実施の形態の音素認識部を示すブロック図である。
【図５】図５は、日本語の音素を示すである。
【図６】図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。
【図７】図７は、本発明の実施の形態の認識部を示すブロック図である。
【図８】図８は、本発明の実施の形態の評価部を示すブロック図である。
【図９】図９は、本発明の実施の形態の評価出力部を示すブロック図である。
【図１０】図１０は、本は発明の実施の形態の変形例の評価システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態の評価システムについて、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００２３】
図１は、本発明の実施の形態の評価システムの構成を示すブロック図である。図１に示すように、評価システム１は、音声入力部１０と、音声処理部２０と、音声認識装置３０と、評価部４０と、評価出力部５０とを備えている。この評価システム１の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の評価プログラムを実行することで実現される。
【００２４】
本実施の形態では、評価システム１は、日本語を母国語とする被評価者が外国語である英語の文章を音声入力し、音声入力された英語の文章を評価する。なお、本発明の評価システム１は、文章を評価するシステムに限らず、語句（即ち、単語又はフレーズ）を評価するものであってもよい。また、評価システム１は、英語を評価するものに限らず、他の言語を評価するものであってもよい。更に、評価システム１は、日本語を母国語とする被評価者のためのものに限らず、第１言語の音声を第１言語以外の第２言語を母国語とする被評価者が入力して、第１言語の語句や文章を認識して評価するものであればよい。
【００２５】
本実施の形態では、被評価者には、所定のテーマないし問題が与えられ、被評価者はこれに答える英語の文章を音声で発する。評価システム１は、この評価者の音声を入力して、当該音声をテーマないし問題に則して評価して評価結果を出力する。この評価システム１を用いることで、例えば、被評価者に対して、説明文を与えるとともに、その説明文に関する問題を与えて口頭で答えさせるというテストを行うことができる。
【００２６】
図２は、本発明の実施の形態の音声入力部を示すブロック図である。音声入力部１０は、評価者の音声の音波を変換して得られる音声信号を取得する。音声入力部１０は、マイク等の音声入力装置を用いて被評価者の音声の音波を電気信号に変換することで音声信号（振幅音声信号）を生成する。具体的には、音声入力部１０は、音波、即ち、空気の振動を、時刻を横軸とし、振幅を縦軸とするグラフで表される時系列の振幅音声信号に変換する。なお、音声入力部１０は、録音機等によって録音された音声データを読み出すことで振幅音声信号を取得してもよい。
【００２７】
本実施の形態の評価システム１は、日本語を母国語とする被評価者が音声入力した英語の文章を評価するものであるので、音声入力部１０には、日本語を母国語とする被評価者が発声した英語の文章が入力される。
【００２８】
図３は、本発明の実施の形態の音声処理部を示すブロック図である。音声処理部２０は、音声入力部１０で生成された振幅音声信号に対して、音声認識のための種々の処理を行う。例えば、音声処理部２０は、音声信号からノイズを除去する処理を行。また、音声処理部２０は、音声信号をフーリエ変換することで、横軸を周波数とし、縦軸をパワー（強度）とするグラフで表される電気信号（周波数音声信号）に変換する。
【００２９】
音声処理部２０は、更に、周波数音声信号を用いて音声認識の特徴量として、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients：ＭＦＣＣ）を算出する。音声認識装置３０における音声認識では、このＭＦＣＣが入力された音声の特徴量として用いられる。
【００３０】
図１に示すように、音声認識装置３０は、音節取得部３１と、言語変換部３２と、認識部３３と、言語変換辞書３４とを備えている。本実施の形態の音声認識装置３０は、英語の音声の特徴量を英語のテキストに変換する。この際に、音声認識装置３０は、英語の音声が日本語に存在する音で発音されたものとして語句又は文章を認識する。音声認識装置３０の上記の機能は、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが上記の評価プログラムを実行することで実現される評価システムの一部として実現されてもよいし、プロセッサ、メモリ、補助記憶装置、各種のインタフェース等を備えたコンピュータが、本実施の形態の音声認識プログラムを実行することで、音声認識装置３０単体として実現されてもよい。
【００３１】
図４は、本発明の実施の形態の音節取得部を示すブロック図である。音節取得部３１は、音声処理部２０で生成された特徴量が表す日本語の音素を認識する。図５は、日本語の音素を示す図である。日本語には、５種類の母音、１６種類の子音、及び３種類の特殊音素の合計２４種類の音素が存在し、これらを組み合わせることで単位音として「ア」（ａ）、「コ」（ｋｏ）「ジャ」（ｊａ）等の音節が作られる。ここで、音節とは、言語を使用する際に認識される音の最小単位をいう。
【００３２】
図４に示すように、音節取得部３１は、音声の特徴量から日本語の音素を認識して、それらの音素に基づいて日本語の音節を取得する。即ち、本実施の形態の音節取得部３１は、入力されている言語が英語であるにもかかわらず、英語の音素を認識するのではなく、被評価者の母国語の言語の音素を認識して、日本語の音節を取得する。図４の例では、母国語を日本語とする被評価者が「He ran through the hallway.」と発音した音声から、「ヒー  ラ  ン  ス  ルー  ザ  ホー  ル  ウェ  イ」という音節列を取得する。
【００３３】
図６は、本発明の実施の形態の言語変換部及び言語変換辞書を示すブロック図である。言語変換部３２は、音節取得部３１で取得された日本語の音節を言語変換辞書３４を参照して、英語の音節に変換する。このために、言語変換辞書には、日本語の音節に対応する英語の音節が記憶されている。
【００３４】
１つの日本語の音節には少なくとも１つの英語の音節が対応しており、複数の英語の音節が対応していることがある。また、１つの英語の音節が複数の日本語の音節に対応していることもある。したがって、言語変換部３２において日本語の音節を英語の音節に変換することで、複数の組み合わせの音節列が生成されることになるが、言語変換部３２は、すべての組み合わせの英語の音節列を生成する。
【００３５】
図７は、本発明の実施の形態の認識部のブロック図である。認識部３３は、言語変換部３２で得られた英語の音節列から、単語ないし文章を認識する。一般的には、言語変換部３２によって、複数の音節列が取得されているので、認識部３３は、これらの複数の音節列を入力として、それらの音節列に対応する複数の文章、即ち英語の単語列（１単語の場合もある）のテキストを出力する。
【００３６】
このために、認識部３３は、隠れマルコフモデル（ＨＭＭ）、及び／又は深層ニューラルネットモデル（例えば、ＬＳＴＭ（Long Short-Term Memory）等のＲＮＮ（Recurrent Neural Network））を用いて単語列の前後関係まで考慮して音節列に対応する文章を推定する。認識部３３による文章認識によって、複数の文章がそのスコア（確率）とともに得られる。認識部３３は、スコアが所定の閾値を超えている文章を認識結果として出力する。この結果、認識部３３が複数の文章を出力することもある。図７の例では、「He ran through the hallway.」という文章と「He run slue the whole way.」という文章とが出力されている。
【００３７】
なお、認識部３３は、語句、即ち単語又はフレーズのみを認識するものであってもよい。また、認識部３３は、音節と単語との対応関係を記憶したテーブルを参照することで、単語ないし文章を認識してもよい。
【００３８】
図８は、本発明の実施の形態の評価部を示すブロック図である。評価部４０には、音声認識装置３０（の認識部３３）から複数の英語の文章が入力される。評価部４０は、認識部３３から入力された複数の文章を評価する。本実施の形態では、評価部４０は、認識部３３から入力された複数の文章の各々について、良否の評価を行い、複数の文章の各々に「ＧＯＯＤ」又は「ＢＡＤ」の評価結果を与える。この評価にも、英語の文章（テキスト列）を入力として、評価結果を出力とするニューラルネットワークモデルを用いてもよいし、ルールベースのモデルを用いてもよい。
【００３９】
図９は、本発明の実施の形態の評価出力部５０を示すブロック図である。評価出力部５０は、評価部４０から評価結果を受けて、最終的な評価を出力する。評価出力部５０は、複数の文章に対する複数の評価結果が入力された場合には、そのうちのもっともよい評価を出力する。即ち、本実施の形態では、評価出力部５０は、評価結果の中に少なくとも１つの「ＧＯＯＤ」があれば、「ＧＯＯＤ」の評価を出力する。
【００４０】
以上の構成により、評価システム１は、日本語に存在する音で発声された英語の文章を認識することで、可能性のある複数の英語の文章が得た評価のうちの最も良い評価を最終的な評価として出力する。これにより、英語の発音の精度が多少低い場合にも、そのような発音精度の低さを無視して、正当な評価を与えることができる。
【００４１】
以上のように、本発明の実施の形態の音声認識装置３０によれば、第２言語を母国語とする者が発声した第１言語の音声を、第２言語の音節列（第２言語音節列）として認識した上で、第２音節列を第１言語の音節列（第１言語音節列）に変換して、第１言語音節列に対応する第１言語の語句又は文章を推定するので、入力された音声の第１言語としての発音の精度が低い場合にも、入力された音声を正しく認識することができる。
【００４２】
また、音声認識装置３０で認識結果として複数とおりの語句ないし文章が得られた場合に、評価部４０は、それらのすべての語句ないし文章を評価し、評価出力部５０は、複数の語句ないし文章に対する評価のうちの最も良い評価を最終的な評価結果として出力するので、語句ないし文章の内容が良くても発音が悪いために評価が下がってしまうという状況が生じる可能性を低減できる。
【００４３】
上記から明らかなように、本実施の形態の評価システム１では、入力される評価対象の言語（第１言語）と、当該言語を発生する被評価者の母国語の言語（第２言語）とをあらかじめ設定する必要がある。ただし、上記の実施の形態のように、第１言語は英語に限られず、第２言語が日本語は日本語に限られない。また、評価システムが多言語に対応していてもよく、その場合には、入力される言語（第１言語）と被評価者の母国語の言語（第２言語）とを複数の言語の中から選択してモードを設定した上で評価システム１を運用するようにしてよい。この場合には、音声認識装置３０は、モードとして選択可能な複数の第１言語と第２言語との組み合わせに対応できるように構成されている。
【００４４】
図１０は、本発明の実施の形態の変形例の評価システムを示すブロック図である。変形例の評価システム１´では、上記の実施の形態の評価システム１と比較すると、音声認識装置３０´において、音節取得部３１の代わりに、第２言語音節取得部３１１と第１言語音節取得部３１２が設けられている。
【００４５】
第２言語音節取得部３１１は、音節取得部３１と同じ構成であり、入力された音声から第２言語の音節を取得する。第１言語音節取得部３１２は、入力された音声（第１言語）から、当該音声の言語と同じ言語（第１言語）の音節を取得する。日本語を母国語とする被評価者が入力した英語の音声を評価する場合には、第２言語音節取得部３１１は、上記の音節取得部３１の例と同様に、英語の音声から日本語の音節を取得し、第１言語音節取得部３１２は、英語の音声から英語の音節を取得する。即ち、第１言語音節取得部３１２は、従来の音声認識における処理と同様の処理を行う。
【００４６】
第２言語音節取得部３１１で取得された音節列は、言語変換部３２において第１言語に変換されて認識部３３に入力される。第１言語音節取得部３１２で取得された音節列は、そのまま認識部３３に入力される。認識部３３は、言語変換部３２から入力された音節列と、第１言語音節取得部３１２から入力された音節列のすべてについて、上記の実施の形態と同様の認識処理を行うことで、複数の語句又は文章を推定する。
【００４７】
変形例の認識処理部３０´によれば、入力された音声の発音の精度が高い場合に、その精度の高さによって逆に認識精度が低下してしまう可能性を低減でき、評価システム１´は、入力音声として、精度の高い発音の音声が入力された場合にも精度の低い発音の音声が入力された場合にも、いずれも正しく評価をすることできる。よって、変形例の評価システム１´は、被評価者の発音の精度が不明である場合に好適に用いられる。
【産業上の利用可能性】
【００４８】
本発明は、外国語の発音が母国語の音で発音された場合にも、当該外国語の内容を認識できるので、発音の精度を厳密に要求することなく、外国語で音声入力された語句や文章を評価することができ、音声で入力される語句又は文章を評価する評価システム等として有用である。
【符号の説明】
【００４９】
１  評価システム
１０  音声入力部
２０  音声処理部
３０  音声認識装置
３１  音節取得部
３２  言語変換部
３３  認識部
４０  評価部
５０  評価出力部