(57)【要約】  【課題】  携帯電話を持つユーザがいつでもどこでも手軽に自らの発音の比較判定を可能にするデータ通信システムおよび判定方法を提供すること。  【解決手段】  入力音声信号および当該入力音声信号の判定の比較対象となる比較音声信号をフレームごとに復号化するＣＥＬＰデコード処理部１２と、前記復号化された各音声信号に基づいてフレームごとに得られたスケールリングデータに基づいて両音声信号間でのフレームの対応付けを行い、対応付けられたフレームごとに所定のパラメータを比較し、この比較結果に基づいて前記入力音声信号と前記比較音声信号との一致の程度を判定するＣＰＵ１１とを備える。【選択図】図２
2005252835.tif 000002
【特許請求の範囲】
【請求項１】
通信端末と、この通信端末から送信された音声データを判定する判定装置とからなるデータ通信システムにおいて、
前記判定装置は、
判定の比較対象となる所定の長さのフレームごとに符号化された第１の音声データを送信する第１の送信手段を備え、
前記通信端末は、
前記第１の送信手段から送信された第１の音声データを受信する第１の受信手段と、
この第１の受信手段によって受信された第１の音声データに基づく第１の音声信号を出力する出力手段と、
この出力手段によって第１の音声信号が出力された後、第２の音声信号を入力する入力手段と、
この入力手段によって入力された音声信号をフレーム毎に符号化して第２の音声データを生成し、前記判定装置に送信する第２の送信手段とを備え、
更に前記判定装置は、
前記第２の送信手段により送信された第２の音声データを受信する第２の受信手段と、
前記第１の送信手段によって送信された第１の音声データと、前記第２の受信手段によって受信された音声データとをフレーム毎にパラメータ比較する比較手段と、
この比較手段に比較された結果を数値化して前記通信端末に送信する第３の送信手段と
を更に備えることを特徴とするデータ通信システム。
【請求項２】
前記判定装置は、前記第１の送信手段によって送信された第１の音声データと前記第２の受信手段によって受信された第２の音声データとを対応付けて記憶する記憶手段を更に備えることを特徴とする請求項１に記載のデータ通信システム。
【請求項３】
前記比較手段は、前記第１の送信手段によって送信された第１の音声データと前記第２の受信手段によって受信された音声データとのフレーム毎の一致の程度を判定する判定手段を含むことを特徴とする請求項１または２に記載のデータ通信システム。
【請求項４】
前記比較手段は、前記第１の音声データと前記第２の音声データについて、スケーリングデータに基づいてフレームの対応付けを行うことを特徴とする請求項１乃至３の何れか一項に記載のデータ通信システム。
【請求項５】
前記第１の音声データ、前記第２の音声データは、符号励振線形予測方式により符号化されものであることを特徴とする請求項１乃至４の何れか一項に記載のデータ通信システム。
【請求項６】
前記第１の送信手段は、前記第１の音声データを動画に含ませて送信するとともに前記第１の受信手段は前記動画を受信し、
前記通信端末は、前記第１の音声データが含まれる動画を再生表示する表示手段を更に備えることを特徴とする請求項１乃至５の何れか一項に記載のデータ通信システム。
【請求項７】
前記通信端末は、
第１の送信手段は、前記第１の音声データに対応する文字情報を前記第１の音声データとともに送信するとともに、前記第１の受信手段はこの文字情報を受信し、
前記通信端末は、前記文字情報を表示する表示手段を更に備えることを特徴とする請求項１乃至６の何れか一項に記載のデータ通信システム。
【請求項８】
前記第１の送信手段は、前記第１の音声データに動画を含ませて送信するとともに前記第１の受信手段はこの動画を受信し、
前記通信端末は、前記動画を再生表示する表示手段を更に備えることを特徴とする請求項１乃至６の何れか一項に記載のデータ通信システム。
【請求項９】
前記第１の送信手段は、前記動画と前記第１の音声データとを動画ファイルとして送信することを特徴とする請求項８に記載のデータ通信システム。
【請求項１０】
音声信号を判定する判定方法において、
判定の比較対象となる音声データを受信する受信ステップと、
この受信ステップにて受信された音声データに基づく音声信号を出力する出力ステップと、
この出力ステップによる出力の後、音声信号を入力する音声信号入力ステップと、
この音声信号入力ステップにて入力された音声信号をフレーム毎に符号化する符号化ステップと、
この符号化ステップにて符号化された音声信号と前記音声データとをフレーム毎にパラメータ比較を行う比較ステップと、
この比較ステップによる比較結果を数値化して出力する出力ステップと
からなることを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話等の通信端末から送られる音声データと比較対象となる音声データとから、前記通信端末にて入力された音声を判定するデータ通信システムおよび判定方法に関する。
【背景技術】
【０００２】
近年、コンピュータによる音声認識技術は飛躍的に向上しており、これを利用した発音学習システムが次々と開発されている。この種の発音学習システムにおいては、例えば、ディスプレイ上に表示された英文等をユーザが読み上げると、ユーザの音声がマイクを通してコンピュータの内部に供給されるとともに、これがコンピュータの内部に記録されている発音モデルと比較されるようになっている。
【０００３】
特許文献１には、前記比較を行うためのプログラムを備えた発音学習システムが開示されている。このシステムでは、ユーザがマイクなどを用いて自分の発音を録音し、この録音された内容を再生して音声認識部にて文字データに変換して、この文字データと例文データ蓄積部より供給された例文データとを比較部にて単語毎に比較して判定が行われるようになっている（例えば特許文献１参照）。
【特許文献１】特開２００２−１７５００３号公報（第３頁、図２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載のシステムでは、ユーザは比較部を備えた本体に据え付けられたマイクなどの音声入力装置を用いなくては判定を行うことができないため、いつでもどこでも手軽に比較判定を行うことで発音練習をしたいという要望に応えることが困難であった。
【０００５】
そこで、本発明は上述した実情に鑑みてなされたものであり、携帯電話を持つユーザがいつでもどこでも手軽に自らの発音の比較判定を可能にするデータ通信システムおよび判定方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
以上の課題を解決するため、請求項１に記載のデータ通信システムは、通信端末と、この通信端末から送信された音声データを判定する判定装置とからなるデータ通信システムにおいて、
前記判定装置は、
判定の比較対象となる所定の長さのフレームごとに符号化された第１の音声データを送信する第１の送信手段を備え、
前記通信端末は、
前記第１の送信手段から送信された第１の音声データを受信する第１の受信手段と、
この第１の受信手段によって受信された第１の音声データに基づく第１の音声信号を出力する出力手段と、
この出力手段によって第１の音声信号が出力された後、第２の音声信号を入力する入力手段と、
この入力手段によって入力された音声信号をフレーム毎に符号化して第２の音声データを生成し、前記判定装置に送信する第２の送信手段とを備え、
更に前記判定装置は、
前記第２の送信手段により送信された第２の音声データを受信する第２の受信手段と、
前記第１の送信手段によって送信された第１の音声データと、前記第２の受信手段によって受信された音声データとをフレーム毎にパラメータ比較する比較手段と、
この比較手段に比較された結果を数値化して前記通信端末に送信する第３の送信手段と
を更に備えることを特徴としている。
【０００７】
請求項１に記載の発明によれば、通信端末では、第１の受信手段で受信した第１の音声データに基づく第１の音声信号が出力手段より出力される。この通信端末の使用者（ユーザ）は、この第１の音声信号にしたがって入力手段より音声を入力する。また、第２の送信手段において、入力手段により入力された音声を符号化して第２の音声データが生成され、この第２の音声データが判定装置に送られる。
【０００８】
判定装置では、第２の受信手段にて第２の音声データが受信され、比較手段にて第１の音声データと第２の音声データとがフレーム毎にパラメータ比較され、第３の送信手段にてこの比較結果を数値化して、この結果が前記通信端末に送信される。
【０００９】
これにより、携帯電話を持つユーザが、第１の音声信号を手本にして、自らの発音を第２の音声信号として入力して判定装置に送ることで、いつでもどこでも手軽に自らの発音の比較判定を可能にする。
【００１０】
請求項２に記載の発明は、請求項１に記載の発明において、前記判定装置は、前記第１の送信手段によって送信された第１の音声データと前記第２の受信手段によって受信された第２の音声データとを対応付けて記憶する記憶手段を更に備えることを特徴としている
【００１１】
請求項２に記載の発明によれば、判定装置にて、一度比較を行った音声データの対を蓄積することが可能になる。
【００１２】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記比較手段は、前記第１の送信手段によって送信された第１の音声データと前記第２の受信手段によって受信された音声データとのフレーム毎の一致の程度を判定する判定手段を含むことを特徴としている。
【００１３】
請求項３に記載の発明によれば、比較手段において、第１の音声データと第２の音声データとを比較、判定することできるようになる。
【００１４】
請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の発明において、前記比較手段は、前記第１の音声データと前記第２の音声データについて、スケーリングデータに基づいてフレームの対応付けを行うことを特徴としている。
【００１５】
請求項４に記載の発明によれば、比較手段では、第１の音声データと第２の音声データとの間のフレーム対応付けが行われる。
【００１６】
請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の発明において、前記第１の音声データ、前記第２の音声データは、符号励振線形予測方式により符号化されものであることを特徴としている。
【００１７】
請求項５に記載の発明によれば、音声信号の符号化復号化方法として、既存の携帯端末網で採用されている符号励振線形予測（ＣＥＬＰ：code-excited linear prediction）方式を採用することで、この既存の携帯端末網を用いることができるようになる。
【００１８】
請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の発明において、前記第１の送信手段は、前記第１の音声データを動画に含ませて送信するとともに前記第１の受信手段は前記動画を受信し、
前記通信端末は、前記第１の音声データが含まれる動画を再生表示する表示手段を更に備えることを特徴としている。
【００１９】
請求項６に記載の発明によれば、第１の音声データとともに動画を併せて通信端末に送信することにより、ユーザは動画をチェックしながらその動画の再生時に流れる音声に合わせた音声入力が可能になり、例えば映画の一コマのセリフなどの発音の確認を容易に行うことができるようになる。
【００２０】
請求項７に記載の発明は、請求項１乃至６の何れか一項に記載の発明において、前記通信端末は、
第１の送信手段は、前記第１の音声データに対応する文字情報を前記第１の音声データとともに送信するとともに、前記第１の受信手段はこの文字情報を受信し、
前記通信端末は、前記文字情報を表示する表示手段を更に備えることを特徴としている。
【００２１】
請求項７に記載の発明によれば、第１の音声データに文字情報を付加して通信端末に送信することで、通信端末では表示手段においてこの文字情報を表示して、ユーザはこの文字情報を見ながら発音練習をすることができるようになる。
【００２２】
請求項８に記載の発明は、請求項１乃至６の何れか一項に記載の発明において、前記第１の送信手段は、前記第１の音声データに動画を含ませて送信するとともに前記第１の受信手段はこの動画を受信し、
前記通信端末は、前記動画を再生表示する表示手段を更に備えることを特徴としている。
【００２３】
請求項８に記載の発明によれば、第１の音声データとともに動画を併せて通信端末に送信することにより、ユーザは動画をチェックしながらその動画に合わせた音声入力が可能になり、例えば映画の一コマのセリフなどの発音の確認を容易に行うことができるようになる。
【００２４】
請求項９に記載の発明は、請求項８に記載の発明において、前記第１の送信手段は、前記動画と前記第１の音声データとを動画ファイルとして送信することを特徴としている。
【００２５】
請求項９に記載の発明によれば、動画と音声データとを一つのファイルとして扱うことが可能になる。
【００２６】
請求項１０に記載の判定方法は、音声信号を判定する判定方法において、
判定の比較対象となる音声データを受信する受信ステップと、
この受信ステップにて受信された音声データに基づく音声信号を出力する出力ステップと、
この出力ステップによる出力の後、音声信号を入力する音声信号入力ステップと、
この音声信号入力ステップにて入力された音声信号をフレーム毎に符号化する符号化ステップと、
この符号化ステップにて符号化された音声信号と前記音声データとをフレーム毎にパラメータ比較を行う比較ステップと、
この比較ステップによる比較結果を数値化して出力する出力ステップと
からなることを特徴としている。
【００２７】
請求項１０に記載の発明によれば、受信ステップでは、お手本となる音声データが受信され、出力ステップではこの音声データに基づく音声信号が出力される。また、音声信号の出力後に、ユーザはお手本にしたがった音声入力が行われる。符号化ステップでは、この入力された音声信号がフレーム毎に符号化されて、比較ステップでは、お手本となる音声データと、入力された音声データとがパラメータ比較され、出力ステップではこの比較結果が数値化されて出力される。
【００２８】
これにより、携帯電話を持つユーザが、第１の音声信号を手本にして、自らの発音を第２の音声信号として入力して判定装置に送ることで、いつでもどこでも手軽に自らの発音の比較判定を可能にする。
【発明の効果】
【００２９】
請求項１に記載の発明によれば、ユーザは自身の携帯端末にサービス提供者より電子メールに添付されて送られてきた手本となる音声にしたがって、音声を吹き込み録音して、当該音声を電子メールに添付して返信するだけで、入力音声信号として吹き込んだ音声と比較音声信号として手本となる音声との一致の程度を判定することが可能になり、ユーザがいつでもどこでも手軽に発音練習をする音声信号判定方法を提供することが可能になる。
【００３０】
請求項２に記載の発明によれば、判定装置にて、一度比較を行った音声データの対を蓄積することが可能になる。
【００３１】
請求項３に記載の発明によれば、比較手段において、第１の音声データと第２の音声データとを比較、判定することできるようになる。
【００３２】
請求項４に記載の発明によれば、比較手段では、第１の音声データと第２の音声データとの間のフレーム対応付けが行われる。
【００３３】
請求項５に記載の発明によれば、音声信号の符号化復号化方法として、既存の携帯端末網で採用されている符号励振線形予測（ＣＥＬＰ：code-excited linear prediction）方式を採用することで、この既存の携帯端末網を用いることができるようになる。
【００３４】
請求項６に記載の発明によれば、第１の音声データとともに動画を併せて通信端末に送信することにより、ユーザは動画をチェックしながらその動画の再生時に流れる音声に合わせた音声入力が可能になり、例えば映画の一コマのセリフなどの発音の確認を容易に行うことができるようになる。
【００３５】
請求項７に記載の発明によれば、第１の音声データに文字情報を付加して通信端末に送信することで、通信端末では表示手段においてこの文字情報を表示して、ユーザはこの文字情報を見ながら発音練習をすることができるようになる。
【００３６】
請求項８に記載の発明によれば、第１の音声データとともに動画を併せて通信端末に送信することにより、ユーザは動画をチェックしながらその動画に合わせた音声入力が可能になり、例えば映画の一コマのセリフなどの発音の確認を容易に行うことができるようになる。
【００３７】
請求項９に記載の発明によれば、動画と音声データとを一つのファイルとして扱うことが可能になる。
【００３８】
請求項１０に記載の発明によれば、ユーザは自身の携帯端末にサービス提供者より電子メールに添付されて送られてきた手本となる音声にしたがって、音声を吹き込み録音して、当該音声を電子メールに添付して返信するだけで、入力音声信号として吹き込んだ音声と比較音声信号として手本となる音声との一致の程度を判定することが可能になり、ユーザがいつでもどこでも手軽に発音練習をする音声信号判定方法を提供することが可能になる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明の実施形態を図１から図１０を参照して説明する。
図１は、本発明に係る音声信号判定装置の実施形態を示す図であり、判定システム４には、音声信号の判定を行うための判定システムサーバ５と、この判定システムサーバ５により作成された電子メールの送受信にかかわる第１メールサーバ６とが設けられている。
【００４０】
判定システムサーバ５では、音声判定の基準として手本として用いられる音声が添付された電子メールが、携帯端末１による要求に従って作成されるようになっている。また、判定システムサーバ５では、携帯端末１より送られる音声が前記手本としての音声と比較され、一致の程度が判定されるようになっている。
【００４１】
第１メールサーバ６は、インターネット（ＷＷＷ）３を通じて携帯端末１とのデータの送受信を行う送受信システム２に接続されており、判定システムサーバ５で作成された電子メールを送受信システム２に送信するとともに、携帯端末１から送受信システム２を通じて送られる電子メールを受信するようになっている。また、第１メールサーバ６は、携帯端末１に送られた音声データと、当該携帯端末１から返信された音声データとを関係づけて蓄積する記憶手段としても作用する。
【００４２】
図２は、第１メールサーバ６における記録領域管理の一例を示す模式図であり、記憶領域３３には、電子メール本文部分を記憶するメール記憶領域３５と、電子メールに添付された画像ファイル（図中では、動画ファイル）を記憶するための動画ファイル記憶領域３６と、これら記憶領域のアドレスを管理するサーバ管理領域３４とが設けられている。
【００４３】
図３は、サーバ管理領域３４の一例を具体的に示す模式図であり、サーバ管理領域３４では、ある電子メールが格納されたメール記憶領域３５内のアドレスを示すメール内容格納アドレスと、携帯端末への電子メール送信時に添付された動画ファイルの動画ファイル記憶領域３６内のアドレスを示す送信動画ファイルアドレスまたは携帯端末からの電子メール受信時に添付された動画ファイルの動画ファイル記憶領域３６内のアドレスを示す受信動画ファイルアドレスとが関連付けて管理されるようになっている。
【００４４】
また、図４は、判定システム４における判定システムサーバ５の具体的な構成の一例を示す図であり、この判定システムサーバ５には、第１メールサーバ６とのデータの送受信を行うためのＬＡＮ（ローカルエリアネットワーク）などの通信処理部１７が設けられており、第１メールサーバ６を通じて、図１の携帯端末１に送信するための音声信号（比較音声信号）が添付された電子メールの送信、携帯端末１から送られる判定対象としての音声信号（入力音声信号）が添付された電子メールの受信、判定内容が示された電子メールの送信が行われるようになっている。また、通信処理部１７にはバス１８が接続されており、受信したデータがバス１８を通じて各部に送られるようになっている一方で、ＣＰＵ１１で作成された電子メールがバス１８を通じて通信処理部１７に送られるようになっている。
【００４５】
また、判定システムサーバ５には、既存の携帯端末網における音声信号符号化方式として採用されているＣＥＬＰ方式で符号化された音声信号を復号化するＣＥＬＰデコード処理部１２が設けられている。
【００４６】
図５は、ＣＥＬＰデコード処理部１２の回路構成の一例を示す図であり、ＣＥＬＰデコード処理部１２には、音声のピッチ成分を表現するための適応符号帳２０と、その他の雑音的な成分を表現するための固定符号帳１９とが設けられている。各符号帳１９，２０では、所定区間ごとにまとめて固定符号または適応符号を増幅器２３，２２に送るようになっている。
【００４７】
固定符号帳１９で得られた固定符号は、固定符号増幅器２２にて対応する利得にて増幅されるようになっている。適応符号帳２０で得られた適応符号は、固定符号と同様に、適応符号増幅器２３にて対応する利得にて増幅されるようになっている。各増幅器に適用される利得は、ゲイン符号帳２１より送られるようになっている。各増幅器からの出力は、合成器２４にて合成されて、合成フィルタ２５に送られるようになっている。
【００４８】
合成フィルタ２５では、音声信号のスペクトル特性に基づいて求められ、送信された線形予測係数（ＬＰＣ：linear prediction coding）情報を用いて得られるフィルタ係数にて、合成器２４からの出力信号が処理されて、ポストフィルタ２６に送られるようになっている。
【００４９】
ポストフィルタ２６では、合成フィルタ２５から送られる出力信号に基づいて、聴感的に敏感な領域のスペクトル上の符号器雑音が抑えられ、合成信号が得られるようになっている。このようにして、音声の品質を向上させることができる。
【００５０】
図５においては、ポストフィルタ２６からの出力が再生音声信号として、バス１８（図４）に送られ、固定符号帳１９および適応符号帳２０から送られる固定符号および適応符号ならびにＬＰＣ情報は、特徴パラメータとしてバス１８に送られ、ゲイン符号帳２１からの利得情報はフレーム音量データとしてバス１８に送られるようになっている。
【００５１】
図４に戻り、ＣＥＬＰデコード処理部１２で復号化された入力音声信号と、比較音声信号とを用いて両音声信号のフレームの対応付けを行って両信号を比較し、またこの比較結果に応じて入力音声信号と比較音声信号との一致の程度を判定するＣＰＵ１１が設けられている。なお、ＣＰＵ１１は、システムＲＯＭ１５に格納された動作プログラムに従って、動作するようになっている。また、ＣＰＵ１１による演算の作業領域を提供するワークメモリとしてのＲＡＭ１６も設けられている。
【００５２】
また、システムＲＯＭ１５は、ＣＰＵ１１における動作プログラムとして、通信処理部１７で受信した音声の一連の判定処理のプログラム、および必要に応じて電子メールの作成プログラムなど、および出力部１４における画像出力処理のためのプログラム、通信処理部１７における通信プロトコルなどが格納されている。ＲＡＭ１６は、ＣＰＵ１１でのデータ処理のための作業領域を提供するほか、ＣＥＬＰデコード処理部１２での処理、出力部１４での画像出力処理などの際の作業領域も提供するようになっている。
【００５３】
また、ＣＰＵ１１では、入力音声信号と比較音声信号とが比較され、再現性が判定される。また、ＣＰＵ１１では、この判定結果を入力音声が添付された電子メールの送信元である携帯端末に送信するための電子メールが作成されるようになっており、前述のように作成された電子メールはバス１８を通じて通信処理部１７へ送られるようになっている。この電子メールは、システムＲＯＭ１５に格納された所定の作成プログラムにしたがって作成されてもよいし、入力部１３での入力にしたがって作成されてもよい。
【００５４】
また、ＣＰＵ１１では、例えば音声信号の処理の状況、判定処理の状況および結果、判定システムサーバ５のシステム環境の状態および設定画面などを出力部１４に表示させるための表示用のデータが作成されて、出力部１４に送られるようになっている。
【００５５】
また、判定システムサーバ５には、電子メールの作成、システムの設定などを行うためのキーボード、マウスなどを備えた入力部１３が設けられており、入力部１３にて入力されたデータはバス１８に送られるようになっている。また、判定システムサーバ５には、ディスプレイ装置などを備えた出力部１４が設けられて折、出力部１４では、ＣＰＵ１１で作成された表示用データにしたがって画面表示がされるようになっている。
【００５６】
図１に戻り、送受信システム２には、基地局１０を経由して所定の携帯端末１との接続を確立するための交換機９が設けられている。
【００５７】
また送受信システム２には、インターネット３を介して判定システムサーバ５に対する電子メールの送受信、および基地局１０を介して接続が確立された携帯端末１に対する電子メールの送受信を行う第２メールサーバ８が設けられている。
【００５８】
また送受信システム２には、携帯端末１のインターネット３との接続制御を行うとともに、図示しないＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）などの他のネットワークとの接続を管理するためのゲートウェイサーバを含むＷｅｂサーバ７が設けられている。
【００５９】
次に携帯端末１の回路構成を図６に示す。
同図において、無線部１２１は、無線によりアンテナ１０３を介して音声やデータ（メールデータ）を送受し変調／復調するなど、ＰＳＫ方式に基づく変復調、ＣＤＭＡ方式に基づく端末認証処理を行う。入力部１０４はテンキー、オフフックキー、オンフックキー、センターキー、カーソルキー、各種ファンクションキーを含むキーからなり、制御部１２２へ所有者からの各種指示をコマンド信号に変換して出力するようになっている。
【００６０】
制御部１２２は、ＷＷＷ接続制御を含む当該携帯端末を制御する。また、カメラモードにおいて撮影された画像データを静止画像ならばＪＰＥＧ圧縮して静止画ファイルを生成し、動画像ならばＭＰＥＧ−４に準拠する符号化方式で画像、音声を圧縮処理し、動画ファイルを生成するようになっている。制御部１２２は、ＣＬＥＰ系音声復号処理回路、パケットデータ生成回路、およびパケットデータ復元回路を含み、通信プロトコルに沿ったデータ処理を行うようになっている。
【００６１】
システムＲＯＭ１２２２は、当該携帯端末において、主に無線通信処理全般を制御するための基本システムプログラムや各種認証データを格納するようになっている。オーディオインターフェース１２２３は、通信データ処理部１２２１で処理される音声信号の入出力処理を行い、マイク１１４または録音用マイク１１５からの音声を入力して音声信号に変換して、音声信号をスピーカ１０１から出力するようになっている。
【００６２】
アドレスデータバス処理部１２３は、周辺回路（点線枠）とのデータの入出力タイミング等を制御・管理するようになっている。ＲＡＭ１２４は、アドレス帳データ、メールデータ等、電話モードにて使用するデータや、カメラモードにて撮影された画像データを含む静止画ファイル、動画ファイル等、機器内で生成される各種データを記憶するようになっている。プログラムＲＯＭ１２５は、書換可能なＦｌａｓｈ  ＲＯＭで構成され、各種アプリケーションプログラムを格納するようになっている。
【００６３】
また、表示モジュール系ドライバ１２８は、サブ表示部１１６、メイン表示部１０２、ＬＥＤ１１７，１１９を駆動させる。音源ＩＣ１２６は、着信音などを生成するようになっている。ＡＭＰ１２７は、音源ＩＣ１２６からの音声信号を増幅し、スピーカ１２０から出力するようになっている。撮像デバイス１３０は、ＣＣＤ、若しくはＣＭＯＳで構成され、撮像レンズ１１８により集束された映像をカラー画像として取り込むようになっている。ＤＳＰ１２９は、撮像デバイス１１８にて取り込まれた画像を符号化処理するようになっている。
【００６４】
次に本実施形態の作用について説明する。
図７は、図１に示したシステムにより音声信号判定がなされる手順を示すフローチャートであり、判定サーバ４よりインターネット３を介して送受信システム２に送られる動画ファイル付電子メールがユーザの携帯端末１に送信される（ステップＳ１）。
【００６５】
また、携帯端末１では、動画ファイル付電子メールが受信されたのがユーザにより確認され、ユーザは入力部１０４を操作して、添付された動画ファイルが再生される（ステップＳ２）。ユーザはスピーカ１０１を介して再生された動画から聞こえる比較音声に沿って発声練習を行って、音声を録音する（ステップＳ３）。ユーザは、録音した入力音声を動画ファイルに上書きし、新たに作成された動画ファイルを添付した電子メールを判定システム４に返信する（ステップＳ４）。
【００６６】
図８は、携帯端末１の動画ファイル再生時に表示される画面の一例を示す図であり、メイン表示部１０２は再生画像を表示させる画像表示領域３７および比較音声に対応するセリフ（スペル）などを表示させる文字表示領域３８とからなり、画像表示領域３８には、例えば映画の一幕が再生されるようになっており、文字表示領域３８には、この一幕における演者のセリフが表示されるようになっている。ユーザは、入力部１０４を適宜操作して、再生、録音、電子メール作成および送信などを行う。
【００６７】
判定システム２４では、判定システムサーバ５においてユーザより返信された動画ファイルに含まれる入力音声が取り出され、後述するような手順にて比較音声と比較されて、一致する程度が判定される（ステップＳ５）。また、判定システム４では、判定内容が示された電子メールが作成されて、携帯端末１に送信され（ステップＳ６）、音声判定は終了する。
【００６８】
図９は、ＣＰＵ１１における音声判定の一例の手順を示すフローチャートであり、まず所定区間（またはフレーム）ごとにＣＥＬＰデコード処理部１２より比較音声信号および入力音声信号の特徴パラメータが送られる（ステップＳ１１）。送られた特徴パラメータは、時系列データになるように処理され（ステップＳ１２）、さらに後述するスケーリングデータに基づいてフレームの対応付けが行われる（ステップＳ１３）。
【００６９】
また、ＣＰＵ１１では、所定区間における互いに対応するフレームの数が計数される（ステップＳ１４）。さらに、ＣＰＵ１１では、各音声信号の計数値が比較され、この比較結果に基づいて、入力音声のテンポと比較音声のテンポとの一致の程度が判定される（ステップＳ１５）。ここで、前記所定区間の時間内に計数されるフレーム数が多いほどフレーム間隔が短くテンポが速いと判定され、一方少ないほどフレーム間隔が長くテンポが遅いと判定される。
【００７０】
また、図１０は、ＣＰＵ１１における音声判定の他の一例の手順を示すフローチャートであり、まず所定区間ごとにＣＥＬＰデコード処理部１２より比較音声信号および入力音声信号のフレーム音声データが送られる（ステップＳ２１）。送られたフレーム音声データは、時系列データになるように処理され（ステップＳ２２）、時系列平均を１とするように規格化され、スケーリングデータが得られる（ステップＳ２３）。また、各フレームのスケーリングデータに基づいてフレームの対応付けがなされる（ステップＳ２４）。
【００７１】
また、ＣＰＵ１１では、両音声信号間でスケーリングデータの時系列での変化が比較され（ステップＳ２５）、この比較結果に基づいて、スケーリングデータの平坦性の再現性に基づいて入力音声のアクセントの比較音声に対する再現性が判定される（ステップＳ２６）。ここで、スケーリングデータの平坦性が再現されていれば比較音声と入力音声とはアクセントにおいて差がないと判定されて、再現されていなければ両音声はアクセントにおいて異なっていると判定される。
【００７２】
なお、入力音声信号および比較音声信号のそれぞれのフレームデータに基づく比較として、スケーリングデータの比較のほかに、対応するフレームにおける他の特徴パラメータ同士の比較を行うことによって、音声そのものの再現性の程度を判定しても差し支えない。
【００７３】
以上、本実施形態によれば、ユーザは自身の携帯端末にサービス提供者より電子メールに添付されて送られてきた手本となる音声にしたがって、音声を吹き込み録音して、当該音声を電子メールに添付して返信するだけで、入力音声信号として吹き込んだ音声と比較音声信号として手本となる音声との一致の程度を判定することが可能になり、ユーザがいつでもどこでも手軽に発音練習をすることができるようになる。
【００７４】
また、音声信号の符号化および復号化処理に既存の携帯端末網で採用されているＣＥＬＰ方式を採用することで、新たな通信網を設けることなく、ユーザがいつでもどこでも手軽に発音練習をすることができるようになる。
【００７５】
また、比較音声信号および入力音声信号との間で単位時間あたりのフレーム数を比較して評価することで、比較音声の再現性をテンポの面から客観的に数値化して評価することができるようになり、ユーザがいつでもどこでも手軽に発音練習をすることができるようになる。
【００７６】
また、両音声信号由来のスケーリングデータをフレーム単位で比較して評価することで、比較音声の再現性をアクセントや強弱の面から客観的に数値化して評価することができるようになり、ユーザがいつでもどこでも手軽に発音練習をすることができるようになる。
【図面の簡単な説明】
【００７７】
【図１】本実施形態を実現するシステムの概要を示す図である。
【図２】第１メールサーバ６における記録領域管理の一例を示す模式図である。
【図３】サーバ管理領域３４の一例を具体的に示す模式図である。
【図４】判定システム４における判定システムサーバ５の具体的な構成の一例を示す図である。
【図５】ＣＥＬＰデコード処理部１２の回路構成の一例を示す図である。
【図６】本実施形態で用いられる携帯端末の回路構成の一例を示す図である。
【図７】本発明に係る方法により音声信号判定がなされる手順を示すフローチャートである。
【図８】携帯端末におけるの動画ファイル再生時に表示される画面の一例を示す図である。
【図９】ＣＰＵ１１における音声判定の一例の手順を示すフローチャートである。
【図１０】ＣＰＵ１１における音声判定の他の一例の手順を示すフローチャートである。
【符号の説明】
【００７８】
１  携帯端末（通信端末）
２  送受信システム
４  判定システム（判定装置）
５  判定システムサーバ（比較手段、判定手段）
６  第１メールサーバ（第１の送信手段、第２の受信手段、第３の送信手段、記憶手段）
１０  基地局
１１  ＣＰＵ（比較手段、判定手段）
１２  ＣＥＬＰデコード処理部（比較手段、判定手段）
１７  通信処理部（第１の送信手段、第２の受信手段、第３の送信手段）
１０１  スピーカ（出力手段）
１０２  メイン表示部（表示手段）
１０３  アンテナ（第１の受信手段、第２の送信手段）
１１４  マイク（入力手段）
１２１  無線部（第１の受信手段、第２の送信手段）
１２２  制御部
１２２１  通信データ処理部（第１の受信手段、第２の送信手段）
【図１】
2005252835.tif 000003
【図２】
2005252835.tif 000004
【図３】
2005252835.tif 000005
【図４】
2005252835.tif 000006
【図５】
2005252835.tif 000007
【図６】
2005252835.tif 000008
【図７】
2005252835.tif 000009
【図８】
2005252835.tif 000010
【図９】
2005252835.tif 000011
【図１０】
2005252835.tif 000012