(57)【要約】【課題】ディスプレイのない環境でも、音声評価の結果をユーザが把握しやすい技術を提供する。【解決手段】音声評価装置１の制御部１１は、お手本音声データの特徴と練習者音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する。次いで、制御部１１は、お手本音声データにおいて、特定した指摘区間に対応するお手本音声データを時間軸方向に伸長し、また、指摘区間に対応するお手本音声の音量が大きくなるように、指摘区間に対応するお手本音声データのパワーを変更する。更に、制御部１１は、指摘区間の直前と直後に無音区間を挿入する。スピーカ１７からは、加工されたお手本音声データの表すお手本音声が放音される。【選択図】図１
2008040344.tif 000002
【特許請求の範囲】
【請求項１】
音声を表す第１の音声データを記憶する第１の音声データ記憶手段と、
収音した音声を表す第２の音声データを出力する収音手段と、
前記第１の音声データ記憶手段に記憶された前記第１の音声データの特徴と前記収音手段から出力される第２の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、
前記第１の音声データにおいて、前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声の態様と該指摘区間以外の区間に対応する音声データの表す音声の態様とが異なるように、該第１の音声データを加工する音声データ加工手段と、
前記音声データ加工手段により加工された第１の音声データの表す音声を、放音手段に放音させる放音制御手段と
を備えることを特徴とする音声評価装置。
【請求項２】
前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データを時間軸方向に伸長又は圧縮する
ことを特徴とする請求項１に記載の音声評価装置。
【請求項３】
前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声のピッチが高くなるように、該第１の音声データを加工する
ことを特徴とする請求項１に記載の音声評価装置。
【請求項４】
前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間の直前及び直後の少なくともいずれか一方に、無音区間を挿入する
ことを特徴とする請求項１に記載の音声評価装置。
【請求項５】
音声を表す第１の音声データから、前記音声に含まれる各音素の発音開始タイミングを特定する発音開始タイミング特定手段と、
前記発音開始タイミング特定手段により特定された発音開始タイミング付近においてエンベロープが大となる楽音データを生成する楽音データ生成手段と、
前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段と
を備えることを特徴とする音声評価装置。
【請求項６】
音声を表す第１の音声データから、該第１の音声データの表す音声のピッチを検出するピッチ検出手段と、
前記第１の音声データから、該音声データの表す音声の音量を検出する音量検出手段と、
前記ピッチ検出手段により検出されたピッチと前記音量検出手段により検出された音量とに基づいて、前記音声に含まれる音素毎に、該音素の発音開始タイミング及び発音終了タイミングを示す音素データを生成する音素データ生成手段と、
前記ピッチ検出手段により検出されたピッチと前記音素データ生成手段により生成された音素データの示す発音開始タイミング及び発音終了タイミングとに基づいて楽音データを生成する楽音データ生成手段と、
前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段と
を備えることを特徴とする音声評価装置。
【請求項７】
前記放音制御手段は、前記第１の音声データの表す音声と前記楽音データの表す音とを、両者の時間軸が一致するように前記放音手段に放音させる
ことを特徴とする請求項５又は６に記載の音声評価装置。
【請求項８】
前記第１の音声データを記憶する第１の音声データ記憶手段と、
収音し、収音した音声を表す第２の音声データを出力する収音手段と、
前記第１の音声データの特徴と前記収音手段から出力される第２の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、
前記楽音データにおいて前記指摘区間特定手段により特定された指摘区間に対応するデータを時間軸方向に伸長又は圧縮するタイムストレッチ手段と
を備え、
前記放音制御手段は、前記タイムストレッチ手段により伸長又は圧縮された楽曲データの表す音を、前記放音手段に放音させる
ことを特徴とする請求項５又は６に記載の音声評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声評価装置に関する。
【背景技術】
【０００２】
音声評価の分野においては、お手本として準備された音声データとユーザがそのお手本を模して発音した音声データの類似度を比較することによって発音の巧拙を評価する装置が提案されている。例えば、特許文献１に記載された発音採点装置は、まず、お手本として準備しておいた語学教材の音声をスピーカから放音し、その音声を模してユーザが発音した音声をマイクロフォン等を介して収録する。そして、収録した音声を分析して発音の巧拙を評価し、評価結果をディスプレイに表示するようになっている。
【特許文献１】特開２０００−３４７５６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、この種の装置では、車の中や、ほかの事をしながらなどのディスプレイを見ることができない環境下では、結果を把握することができなかった。
本発明は上述した背景の下になされたものであり、ディスプレイのない環境でも、語学採点の結果をユーザが把握しやすい技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である音声評価装置は、音声を表す第１の音声データを記憶する第１の音声データ記憶手段と、収音した音声を表す第２の音声データを出力する収音手段と、前記第１の音声データ記憶手段に記憶された前記第１の音声データの特徴と前記収音手段から出力される第２の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、前記第１の音声データにおいて、前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声の態様と該指摘区間以外の区間に対応する音声データの表す音声の態様とが異なるように、該第１の音声データを加工する音声データ加工手段と、前記音声データ加工手段により加工された第１の音声データの表す音声を、放音手段に放音させる放音制御手段とを備える。
【０００５】
この態様において、前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データを時間軸方向に伸長又は圧縮してもよい。
また、この態様において、前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間に対応する音声データの表す音声のピッチが高くなるように、該第１の音声データを加工してもよい。
また、この態様において、前記音声データ加工手段は、前記第１の音声データのうちの前記指摘区間特定手段により特定された指摘区間の直前及び直後の少なくともいずれか一方に、無音区間を挿入してもよい。
【０００６】
また、本発明の好適な態様である音声評価装置は、音声を表す第１の音声データから、前記音声に含まれる各音素の発音開始タイミングを特定する発音開始タイミング特定手段と、前記発音開始タイミング特定手段により特定された発音開始タイミング付近においてエンベロープが大となる楽音データを生成する楽音データ生成手段と、前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段とを備える。
【０００７】
また、本発明の好適な態様である音声評価装置は、音声を表す第１の音声データから、該第１の音声データの表す音声のピッチを検出するピッチ検出手段と、前記第１の音声データから、該音声データの表す音声の音量を検出する音量検出手段と、前記ピッチ検出手段により検出されたピッチと前記音量検出手段により検出された音量とに基づいて、前記音声に含まれる音素毎に、該音素の発音開始タイミング及び発音終了タイミングを示す音素データを生成する音素データ生成手段と、前記ピッチ検出手段により検出されたピッチと前記音素データ生成手段により生成された音素データの示す発音開始タイミング及び発音終了タイミングとに基づいて楽音データを生成する楽音データ生成手段と、前記楽音データ生成手段により生成された楽音データの表す音を、放音手段に放音させる放音制御手段とを備える。
【０００８】
上述した態様において、前記放音制御手段は、前記第１の音声データの表す音声と前記楽音データの表す音とを、両者の時間軸が一致するように前記放音手段に放音させてもよい。
また、上述した態様において、前記第１の音声データを記憶する第１の音声データ記憶手段と、収音し、収音した音声を表す第２の音声データを出力する収音手段と、前記第１の音声データの特徴と前記収音手段から出力される第２の音声データの特徴とを比較し、該比較結果に基づいて指摘区間を特定する指摘区間特定手段と、前記楽音データにおいて前記指摘区間特定手段により特定された指摘区間に対応するデータを時間軸方向に伸長又は圧縮するタイムストレッチ手段とを備え、前記放音制御手段は、前記タイムストレッチ手段により伸長又は圧縮された楽曲データの表す音を、前記放音手段に放音させてもよい。
【発明の効果】
【０００９】
本発明によれば、ディスプレイのない環境であっても、語学採点の結果をユーザが把握しやすくすることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の実施形態について説明する。
＜Ａ：構成＞
図１は、本実施形態である音声評価装置１のハードウェア構成の一例を示すブロック図である。音声評価装置１は、ポータブルミュージックプレーヤなどの装置であり、語学学習を支援する語学学習支援装置として機能する。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、音声評価装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶表示パネルを備え、制御部１１による制御のもとに各種の画像を表示する。操作部１４は、再生キーや採点キーなどの各種のキーを備え、練習者による操作に応じた操作信号を制御部１１に出力する。マイクロフォン１５は、音声を収音して収音した音声を表す音声信号（アナログデータ）を出力する収音手段である。音声処理部１６は、マイクロフォン１５が出力する音声信号（アナログデータ）をデジタルデータに変換して制御部１１に出力する。また、スピーカ１７に出力する音声をデジタルデータからアナログデータに変換する。スピーカ１７は、音声処理部１６から出力される音声信号に応じた強度で放音する放音手段である。なお、スピーカ１７に代えて、耳に装着可能なイヤホンやヘッドフォンを放音手段として用いることもできる。
【００１１】
記憶部１２は、図示のように、お手本音声データ記憶領域１２ａと練習者音声データ記憶領域１２ｂと楽音波形記憶領域１２ｃとを備えている。お手本音声データ記憶領域１２ａには、英語発音のお手本として予め収録されたお手本音声信号を表す音声データ（以下、「お手本音声データ」という）が記憶されている。お手本音声データは、ＷＡＶＥ形式やＭＰ３（MPEG1 Audio Layer-3）形式などのデータ形式である。このお手本音声データ記憶領域１２ａには、複数の例文（例えば、「One centimeter is tem millimeters.」など）について発音されたお手本データが、例文毎に記憶されている。練習者音声データ記憶領域１２ｂには、マイクロフォン１５によって収音されて音声処理部１６でデジタルデータに変換された音声データ（以下、「練習者音声データ」という）が記憶される。この練習者音声データも、ＷＡＶＥ形式やＭＰ３形式などのデータ形式である。楽音波形記憶領域１２ｃには、例えばギター、ピアノ等の楽器の演奏音に対応する波形のサンプル値からなる波形情報（ウェーブテーブル）が記憶されている。なお、この波形情報は、ギターやピアノの演奏音に対応する波形に限らず、例えばドラムなど、他のどのような楽器の演奏音に対応する波形のサンプル値からなる波形情報であってもよい。また、楽器の演奏音に限らず、単なる電子音に対応する波形のサンプル値からなる波形情報であってもよい。
【００１２】
図２は、音声評価装置１のソフトウェア構成の一例を示すブロック図である。図２に示す分析部１１１，採点部１１２，フィードバック内容制御部１１３，楽音生成部１１４，音声加工部１１５，混合部１１６は、制御部１１がＲＯＭ又は記憶部１２に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
【００１３】
図２において、分析部１１１は、お手本音声データと練習者音声データとから、所定時間長（例えば、「１０msec」）のフレーム単位で、ピッチ、パワー、スペクトルを検出する。スペクトルの検出にはＦＦＴ（Fast Fourier Transform）が用いられる。本実施形態においては、お手本音声データ（又は練習者音声データ）のピッチ、パワー、スペクトルを、お手本音声データ（又は練習者音声データ）の「特徴」と呼ぶ。
また、分析部１１１は、お手本音声データと練習者音声データとから検出された両者のスペクトルに基づいて、両者の対応関係を求める。お手本音声と練習者音声とは時間的に前後にずれている可能性がある。このようにお手本音声と練習者音声とが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、練習者音声データの時間軸を伸縮させる時間正規化（ＤＴＷ：Dynamic Time Warping）を行い、両者の時間軸を合わせる。このＤＴＷを行うための手法としては、この実施形態ではＤＰ（Dynamic Programming：動的計画法）を用いる。
分析部１１１は、お手本音声データから検出したお手本音声の特徴を表すデータ（お手本ピッチデータ、お手本スペクトルデータ、お手本パワーデータ）と、練習者音声データから検出した練習者音声の特徴を表すデータ（練習者スペクトルデータ，練習者ピッチデータ，練習者パワーデータ）、および対応付け結果を表す対応データを、採点部１１２及びフィードバック内容制御部１１３に出力する。
【００１４】
採点部１１２は、お手本音声データの特徴と練習者音声データの特徴とを比較し、その比較結果に基づいて採点を行う。この採点は、例えば、ピッチ、パワー、スペクトルのそれぞれの特徴について比較を行い、それぞれの特徴毎に採点を行ってもよく、また、単位区間毎（小節毎、フレーズ毎）に特徴を比較し、単位区間毎に採点を行ってもよい。
また、採点部１１２は、比較結果に基づいて、練習者が練習すべき区間を示す指摘区間特定する。指摘区間の特定方法としては、例えば、採点部１１２は、お手本音声データの特徴と練習者音声データの特徴とを、単位区間毎（例えば、小節毎、フレーズ毎）に比較し、その隔たりが予め定められた閾値以上である区間を指摘区間として特定する。具体的には、例えば、採点部１１２は、お手本音声データのピッチと練習者音声データのピッチとの差が閾値以上である区間を指摘区間として特定する。採点部１１２は、採点結果と指摘区間とを示す採点結果データを、フィードバック内容制御部１１３に出力する。
【００１５】
フィードバック内容制御部１１３は、採点部１１２で生成された採点結果を用いて、どのようなフィードバックを行うかの内容を決定し、決定した内容を示すフィードバックデータを楽音生成部１１４及び音声加工部１１５の少なくともいずれか一方に出力する。音声評価装置１が行うフィードバック処理は、「ピッチフィードバック処理」、「リズムフィードバック処理」、「加工音声フィードバック処理」の３種類に大別される。「ピッチフィードバック処理」は、お手本音声のピッチを練習者にフィードバックする処理である。「リズムフィードバック処理」は、お手本音声のリズムを練習者にフィードバックする処理である。「加工音声フィードバック処理」は、練習者が間違った箇所が練習者に分かり易いようにお手本音声を加工してユーザにフィードバックする処理である。
フィードバック内容制御部１１３は、採点部１１２で生成された採点結果を用いて、どのフィードバックを行うかを決定する。具体的には、例えば、ピッチの採点結果が悪いと判断した場合には、フィードバック内容制御部１１３は、ピッチフィードバック処理を行うことを決定し、一方、リズムの採点結果が悪いと判断した場合には、フィードバック内容制御部１１３は、リズムフィードバック処理を行うと決定する。また、区間毎（小節毎、フレーズ毎）の採点結果を参照し、採点結果が悪い区間について、加工音声フィードパック処理を行うと決定してもよい。要するに、採点部１１２で生成された採点結果を用いて、どのフィードバック処理を行うかを決定すればよい。フィードバック内容制御部１１３がどのフィードバック処理を行うかを決定する方法は様々であり、その決定方法は設計等に応じて変更可能である。
フィードバック内容制御部１１３は、「ピッチフィードバック処理」又は「リズムフィードバック処理」を行うと決定した場合には、フィードバックデータを楽音生成部１１４に出力し、一方、「加工音声フィードバック処理」を行うと決定した場合には、フィードバックデータを音声加工部１１５に出力する。
【００１６】
楽音生成部１１４は、フィードバック内容制御部１１３に指定された内容で、音声の分析結果を用いて、ピッチ・リズムなどの問題箇所とその内容をユーザに知らせるための楽音を生成し、生成した楽音データを混合部１１６に出力する。フィードバック内容制御部１１３から出力されたフィードバックデータが、「ピッチフィードバック処理」を示すデータである場合には、楽音生成部１１４は、分析部１１１によって検出されたピッチとパワーとに基づいて、お手本音声に含まれる音素毎に、該音素の発音開始タイミング、発音終了タイミング、及びピッチベンド情報を含むＭＩＤＩ（Musical Instruments Digital Interface）データ（音素データ）を生成する。次いで、楽音生成部１１４は、生成したＭＩＤＩデータに含まれる発音開始タイミング、発音終了タイミング及びピッチベンド情報に基づいて楽音データを生成する。楽音データの生成は、楽音波形記憶領域１２ｃに記憶された楽音波形を用いて行われる。この処理によって、お手本音声を模したギターの演奏音やピアノの演奏音など、お手本音声を模した楽音を表す楽音データが生成される。
【００１７】
一方、フィードバック内容制御部１１３から供給されるフィードバックデータが「リズムフィードバック処理」を示すデータである場合には、楽音生成部１１４は、お手本音声データから、お手本音声データの表す音声に含まれる各音素の発音開始タイミングを特定する。発音開始タイミングは、お手本音声に４００Ｈｚ〜４ｋＨｚのバンドパスフィルタをかけて、閾値を超えた箇所の先頭を発音開始タイミングとして検出してもよく、また、発音開始時のスペクトルを予め検出しておき、お手本音声に対してスペクトル分析を行って該当するバンドのデータのみを加算することによって発音開始タイミングを検出してもよい。発音タイミングを検出すると、楽音生成部１１４は、楽音波形記憶部１２ｃに記憶された楽音波形を用いて、特定した発音開始タイミング付近においてエンベロープが大となる楽音データを生成する。
【００１８】
図３は、生成される楽音データの内容の一例を説明するための図である。図３（ａ）は、お手本音声の音素毎のピッチと発音タイミングとを示す図である。図において、時刻ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６は、お手本音声に含まれる音素の発音開始タイミングを示している。同図（ｂ），（ｃ）は、生成される楽音データの内容の一例を示す図である。楽音生成部１１４は、同図（ｂ）や（ｃ）に示すような、発音開始タイミングｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６付近においてエンベロープが大となる楽音データを生成する。
【００１９】
音声加工部１１５は、フィードバック内容制御部１１３に指定された内容で、音声の分析結果と元の音声を用いて、問題箇所とその内容をユーザに知らせるための加工音声を生成する。この実施形態においては、音声加工部１１５は、お手本音声データにおいて、採点部１１２により特定された指摘区間に対応するお手本音声データを、予め定められた比率（１２０％、など）で時間軸方向に伸長する。また、音声加工部１１５は、採点部１１２により特定された指摘区間に対応するお手本音声の音量が大きくなるように、指摘区間に対応するお手本音声データのパワーを変更する。更に、音声加工部１１５は、採点部１１２により特定された指摘区間の直前と直後に無音区間を挿入する。
例えば、「One centimeter is ten millimeters.」という一文を練習した場合であって、「centimeter」に対応する区間が指摘区間であると採点部１１２によって特定された場合には、音声加工部１１５は、「centimeter」に対応する音声データを、時間軸方向に伸長するとともに音量が大きくなるようにパワーを変更する。時間軸方向に伸長されることによって、指摘区間の音声は間のびした音声となるから、練習者は、放音される音声を聞き分けることによって指摘区間を認識することができる。また、音声加工部１１５は、「centimeter」に対応する区間の直前と直後に無音区間を挿入する。
音声加工部１１５は、加工した音声データを、混合部１１６に出力する。
【００２０】
混合部１１６は、楽音生成部１１４から出力される楽音データと音声加工部１１５から出力される音声データとを混合してフィードバック用音声データを生成し、音声処理部１６に出力する。
このとき、決定されたフィードバック処理が「加工音声フィードバック処理」である場合には、楽音生成部１１４は楽音生成処理を行わず、楽音データは出力されないから、この場合は、混合部１１６は、混合処理を行わず、音声加工部１１５から出力されたお手本音声データを、音声処理部１６に出力する。
【００２１】
＜Ｂ：実施形態の動作＞
次に、この実施形態の動作を説明する。まず、練習者は、音声評価装置１の操作部１４を操作して、お手本音声を再生する旨を指示する。操作部１４は、操作された内容に応じた操作信号を制御部１１に出力する。
図４は、音声評価装置１の制御部１１が行う処理の流れを示すフローチャートである。制御部１１は、操作部１４から出力される操作信号に応じて、お手本音声を再生する（ステップＳ１）。すなわち、制御部１１は、お手本音声データをお手本音声データ記憶領域１２ａから読み出して音声処理部１６に供給する。音声処理部１６は、お手本音声データをＤ／Ａ変換し、アナログ信号をスピーカ１７に供給する。スピーカ１７は、供給される音声信号（アナログ信号）に応じて放音する。
【００２２】
練習者は、スピーカ１７から放音されるお手本音声を参考にして、発音を行う。このとき、練習者の音声はマイクロフォン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６によってＡ／Ｄ変換された練習者音声データは、録音開始からの経過時間を表す情報と共に、練習者音声データ記憶領域１２ｂに時系列に記憶（録音）されていく（ステップＳ２）。
【００２３】
練習者は、発音を終えると、操作部１４の採点キーを押下する。操作部１４は、操作された内容に応じた操作信号を制御部１１に出力し、制御部１１は、操作部１４から出力される操作信号に応じて採点処理を行う。まず、制御部１１は、上述した分析部１１１の処理を行う。すなわち、制御部１１は、お手本音声データ記憶領域１２ａに記憶されたお手本音声データから特徴（ピッチ、スペクトル、パワー）を検出するとともに、練習者音声データ記憶領域１２ｂに記憶された練習者音声データからも同様に特徴（ピッチ、スペクトル、パワー）を検出する（ステップＳ３）。次いで、制御部１１は、上述した採点部１１２の処理を行う。すなわち、お手本音声データの特徴と練習者音声データの特徴とを比較し、該比較結果に基づいて採点を行うと共に、指摘区間を特定する（ステップＳ４）。
【００２４】
次いで、制御部１１は、上述したフィードバック内容制御部１１３の処理を行う。すなわち、制御部１１は、採点結果に基づいて、どのようなフィードバックを行うかの内容を決定する（ステップＳ５）。
【００２５】
次いで、制御部１１は、採点結果に従って、上述した楽音生成部１１４及び音声加工部１１５の少なくともいずれか一方の処理を行って、お手本音声から別の音声を生成又は加工する（ステップＳ６）。
【００２６】
次いで、制御部１１は、上述した混合部１１６の処理、すなわち、楽音データと加工された音声データとの混合処理を行い、楽音データと加工された音声データとを混合して、音声処理部１６に供給し、音声処理部１６は制御部１１から供給されたデータをＤ／Ａ変換し、スピーカ１７に供給する。スピーカ１７は、供給された音声信号に応じて、楽音と加工されたお手本音声とを、両者の時間軸が一致するように放音する（ステップＳ７）。
【００２７】
具体的には、「ピッチフィードバック処理」が行われた場合には、スピーカ１７からはお手本音声を模した楽音（ギターの演奏音など）とお手本音声とが放音される。お手本音声は言葉として意味を成すものであるから、お手本音声を聴いたとしても、言葉の意味内容に気をとられてイントネーションを認識し難い場合がある。これに対し本実施形態においては、お手本音声を模した楽器音が放音されるから、練習者は、お手本音声のイントネーション（ピッチの変化）をより認識し易くなる。
【００２８】
また、「リズムフィードバック処理」が行われた場合には、スピーカ１７からは、お手本音声に含まれる各音素の発音開始タイミング付近においてエンベロープが大となる楽音（ドラムの演奏音など）が放音される。これにより、お手本音声の各音素の発音開始タイミングを強調して練習者に聴かせることができ、練習者は、お手本音声のリズムをより認識し易くなる。
【００２９】
また、「加工音声フィードバック処理」が行われた場合には、スピーカ１７からは、指摘区間を時間軸方向に伸長されるとともに指摘区間の前後に無音区間が挿入された音声が放音される。例えば、「One centimeter is ten millimeters.」という例文であって「centimeter」に対応する区間が指摘区間である場合には、「One」の音声が放音された後、一旦ポーズ（無音区間）が入り、ポーズの後に、「One」よりも大きい音量でかつ間延びした音声で「centimeter」の音声が放音され、その後一旦ポーズ（無音区間）が入った後に、「is ten millimeters.」の音声が放音される。これにより、指摘区間に対応する「centimeter」の音声を強調して練習者に聴かせることができ、練習者は、放音される音声を聴くことで指摘区間を把握することが容易となる。
【００３０】
このように、この実施形態においては、採点結果に応じて、加工されたお手本音声が放音されるから、練習者は、採点結果が表示されなくても、語学採点の結果を把握することができる。
また、この実施形態においては、お手本音声の抑揚・リズムなどが強調されてフィードバックされるから、練習者は、お手本音声の抑揚やリズムをより認識しやすくなる。
【００３１】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、制御部１１は、どのようなフィードバックを行うかの内容を、採点された採点結果を用いて決定した。どのようなフィードバックを行うかの決定方法は、これに限らず、例えば常にお手本音声を加工してフィードバックを行う、といったように、予め定められたフィードバック方法でフィードバック処理を行ってもよい。また、音声評価装置１の使用者が、操作部１４を操作することによってフィードバックの内容を指定する設定情報を入力し（図２に鎖線で図示）、制御部１１が入力された設定情報に基づいてどのようなフィードバックを行うかを決定してもよい。
【００３２】
（２）上述した実施形態においては、音声加工部１１５は、指摘区間に対応するお手本音声データを時間軸方向に伸長するとともに、音量を大きくし、更に、指摘区間の直前と直後に無音区間を挿入した。音声加工部１１５は、これら全ての加工処理を行う必要はなく、例えば指摘区間に対応するお手本音声データを時間軸方向に伸長する処理のみを行ってもよく、また、指摘区間の直前と直後に無音区間を挿入する処理のみを行ってもよい。
また、加工処理は、上述したものに限らず、例えば、指摘区間に対応するお手本音声データを時間軸方向に圧縮（８０％に圧縮、など）する処理でもよい。圧縮する場合には、指摘区間の音声は他の区間の音声と比較して早口になるから、この場合も、練習者は、放音される音声を聴くことで指摘区間を認識することができる。また、採点部１１２により特定された指摘区間に対応するお手本音声データの表す音声のピッチが高くなるように、お手本音声データを加工してもよい。また、音声データのうちの特定された指摘区間の直前及び直後の少なくともいずれか一方に、無音区間を挿入することによってお手本音声データを加工してもよい。
要するに、制御部１１が、特定された指摘区間に対応するお手本音声データの表す音声の放音の態様と該指摘区間以外の区間に対応する音声データの表す音声の放音の態様とが異なるように、お手本音声データを加工すればよい。
【００３３】
（３）上述した実施形態においては、「ピッチフィードバック処理」又は「リズムフィードバック処理」が選択された場合には、混合部１１６は、楽音生成部１１４から出力される楽音データと、音声加工部１１５から出力されるお手本音声データとを混合して音声処理部１６に出力した。楽音データとお手本音声データとは必ずしも混合する必要はなく、楽音生成部１１４から出力された楽音データのみを音声処理部１６に出力してもよい。この場合は、楽音生成部１１４で生成された楽音データの表す楽音のみがスピーカ１７から放音される。この場合も、練習者は、スピーカ１７から放音される楽音を聴くことで、音声のリズムやピッチを把握しやすい。
【００３４】
また、「ピッチフィードバック処理」又は「リズムフィードバック処理」において、制御部１１が、お手本音声データと練習者音声データとを比較し、該比較結果に基づいて指摘区間を特定し、特定した指摘区間に対応する楽音データを、時間軸方向に伸長または圧縮してもよい。指摘区間の特定は、上述した実施形態の「加工音声フィードバック処理」において説明した特定方法と同様の方法で行えばよい。この場合は、「加工音声フィードバック処理」と同様に、指摘区間に対応する楽音が強調されて放音されるから、練習者は、ディスプレイ（表示装置）が無くても、放音される楽音を聴くことで、指摘区間を把握することができる。
なお、指摘区間に対する加工処理は、時間軸方向の伸長（又は圧縮）処理に限らず、例えば指摘区間の音量を大きくするなどの処理であってもよく、要するに、指摘区間に対応する楽音データの表す楽音の放音の態様と該指摘区間以外の区間に対応する楽音データの表す楽音の放音の態様とが異なるように、楽音データを加工すればよい。
【００３５】
（４）上述した実施形態においては、ポータブルミュージックプレーヤである音声評価装置について説明したが、音声評価装置はこれらに限らず、携帯電話端末や、ポータブルゲーム機器、パーソナルコンピュータなどの装置であってもよい。また、液晶ディスプレイなどの表示装置を備える装置の場合には、表示装置に採点結果を表示するとともに、音声フィードバックも行って、効果を増加してもよい。
【００３６】
（５）上述した実施形態においては、音声評価装置を語学学習のために用いた形態について説明した。本発明を用いる形態はこれに限らず、例えば、歌唱練習のために用いてもよい。この場合は、お手本となる歌唱者の歌唱音声を表す音声データをお手本音声データとしてお手本音声データ記憶領域１２ａに記憶し、練習者の歌唱音声を収音して採点する。
また、楽器の演奏練習のために用いてもよい。この場合は、お手本音声データとして模範となる演奏者の演奏音を表す音声データをお手本音声データとしてお手本音声データ記憶領域に記憶し、練習者の演奏音を収音して採点する。
【００３７】
（６）上述した実施形態においては、楽音データ全体とお手本音声データ全体とを混合した。これに代えて、楽音データとお手本音声データとの一部分を部分的に混合してもよい。例えば、楽音データとお手本音声データの指摘区間に対応するデータを混合して放音してもよい。
また、上述した実施形態においては、練習者が操作部１４の採点キーを押下すると、制御部１１が採点処理を行ってフィードバック処理を行うようにした。採点処理及びフィードバック処理を行うトリガは採点キーの押下に限らず、練習者の音声を収音し終えてから所定時間経過後（例えば、３秒後）に、採点処理及びフィードバック処理を行って、フィードバック音声を放音してもよい。
【００３８】
（７）上述した実施形態では、音声評価装置１が、同実施形態に係る機能の全てを実現するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態の音声評価装置１を実現してもよい。例えば、マイクロフォンやスピーカを備える携帯電話端末と、加工機能を備える専用のコンピュータ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。
【００３９】
（８）上述した実施形態における音声評価装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音声評価装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４０】
【図１】音声評価装置１のハードウェア構成の一例を示すブロック図である。
【図２】音声評価装置１のソフトウェア構成を示すブロック図である。
【図３】楽音データの内容の一例を示す図である。
【図４】制御部１１が行う処理の流れを示すフローチャートである。
【符号の説明】
【００４１】
１…音声評価装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロフォン、１６…音声処理部、１７…スピーカ、１１１…分析部、１１２…採点部、１１３…フィードバック内容制御部、１１４…楽音生成部、１１５…音声加工部、１１６…混合部。
【図１】
2008040344.tif 000003
【図２】
2008040344.tif 000004
【図３】
2008040344.tif 000005
【図４】
2008040344.tif 000006