(57)【要約】【課題】携帯情報端末の機能を活用することにより、外国語の発話の継続を動機付ける仕組みを提供する。【解決手段】通話機能を備えた携帯情報端末１において、通話機能の実行時と同じ操作態様で、ユーザの耳に外国語の会話の模範音声を伝える音声出力部１５と、通話機能の実行時と同じ操作態様で、模範音声を真似たユーザのシャドー音声の入力を受け付ける音声入力部１６と、入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生する音声記録・再生部１０２と、再生されたシャドー音声に対する他者評価を行うことなく、ユーザが模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、記憶部１１へ累積的に記録するシャドー時間管理部１０３と、を設けたことを特徴とする。【選択図】図１
2014102324.tif 000002
【特許請求の範囲】
【請求項１】
通話機能を備えた携帯情報端末において、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段と、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段と、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段と、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段と、
を設けたことを特徴とする携帯情報端末。
【請求項２】
前記シャドー時間管理手段は、前記ユーザによるシャドー音声の記録時間、前記模範音声の再生時間、又は前記再生時間と所定の付加時間との合算時間を、当該ユーザの前記シャドー時間として計測し、計測したシャドー時間を、模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、自端末のメモリに格納するとともに、通信路で接続された外部記録装置へ格納することを特徴とする、
請求項１記載の携帯情報端末。
【請求項３】
前記音声出力手段は、前記会話についてフレーズ毎に異なる複数の話者による模範音声をフレーズ毎の模範音声ＩＤと関連付けて保持しており、
前記シャドー音声再生手段は、前記ユーザＩＤにより特定される前記ユーザのシャドー音声を、前記複数の話者のうち前記ユーザが指定した話者の模範音声ＩＤにより特定される模範音声と置き換えて再生することを特徴とする、
請求項１又は２記載の携帯情報端末。
【請求項４】
通話機能を備えた携帯情報端末により実行される方法であって、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える段階と、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける段階と、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝える段階と、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録する段階と、を含む、
シャドー音声管理方法。
【請求項５】
通話機能を備えたコンピュータを、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段、
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばスマートフォンのような携帯情報端末において、外国語の模範音声に対してユーザがシャドーイングに要した時間を累積させる技術に関する。
シャドーイングとは、直前に模範音声で発声された単語や文章を復唱する手法である。本明細書では、復唱された音声をシャドー音声、復唱された時間をシャドー時間と呼ぶ。
【背景技術】
【０００２】
情報処理装置を用いて外国語学習を行う技術は、従来より多数存在する。例えば特許文献１に開示された音声学習支援装置では、学習対象語句についての模範音声を出力した後、ユーザがどのタイミングで何を復唱したらよいかを表示部で案内する。そして、復唱音声の発音及び発声タイミングを評価する。
【０００３】
特許文献２に開示された記録再生装置では、Ｌチャンネルの模範音声の直後にこれに倣って学習者が発音した音声をＲチャンネルに記録する。その後、模範音声と記録された学習者の音声を同時に再生して発音確認する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-83434号公報
【特許文献２】特開平8-278743号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に示されるように、従来の外国語学習、特に、シャドーイングを行う技術は、模範音声を復唱しやすくしたり、復唱した学習者の音声と模範音声とを比較して評価するものが多い。つまり、発音の矯正をしながら語学学習を進めるというのが殆どであった。外国語を発話できるようになる要因の一つとして、しばしば会話の怖さや恥ずかしさの克服が指摘される。この克服には、喋る機会を多く持つこと、あるいは発話に慣れることが重要であるが、学習効果が高まらないと次に進めない等の制約があると、学習者によっては、継続しようとする動機を阻害する。
また、言葉が発話されるとき、文の構造や感情は、「抑揚」や「間」で伝えられる部分がある。同言語の話者同士では、この「抑揚」や「間」の付け方に共通の認識をもっている。外国語による会話を行うためには、このような共通の認識を身につける必要がある。これを身につけるには、「外国語の発話」及び「自己修正」の練習を大量にこなす必要がある。
【０００６】
最近はスマートフォンのような携帯情報端末が普及している。この携帯情報端末を活用することにより、外国語と身近に接することができる期待がある。
本発明は、携帯情報端末の機能を活用することにより、外国語の発話の継続を動機付ける仕組みを提供することを主たる課題とする。
【課題を解決するための手段】
【０００７】
本発明の携帯情報端末は、通話機能を備えた携帯情報端末において、前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段と、前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段と、入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段と、前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段と、を設けたことを特徴とする。
【０００８】
本発明のシャドー音声管理方法は、通話機能を備えた携帯情報端末により実行される方法であって、前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える段階と、前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける段階と、入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝える段階と、前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録する段階と、を含む。
【０００９】
本発明のコンピュータプログラムは、通話機能を備えたコンピュータを、前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段、前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段、入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段、前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段、として機能させるためのコンピュータプログラムである。
【発明の効果】
【００１０】
本発明によれば、携帯情報端末の通話機能の実行時と同じ操作態様、つまり、電話中の態様で、ユーザの耳に模範音声が伝わる。また、ユーザのシャドー音声が入力され、記録される。記録されたシャドー音声は、再度ユーザの耳に伝わる。模範音声は、ユーザの耳に遮られるので、シャドー音声の入力時に回り込むことがない。また、第三者からは、あたかも外国人と通話しているように見えるので、ユーザは、例えば外出中の任意の場所で、任意の時間帯に、外部の目を意識することなく、発話を行うことができる。
また、再生されたシャドー音声に対する他者評価を行うことなく、シャドー時間を累積的に記録するので、ユーザは、このシャドー時間の累積結果により、発話の慣れの程度を確認することができる。学習効果が高まらないと次に進めない等の制約がないので、ユーザによる発話継続の動機を阻害することもなくなる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る携帯情報端末の構成図。
【図２】（ａ）はユーザファイルのフォーマットの例示図、（ｂ）は模範音声ファイルのフォーマットの例示図、（ｃ）はシャドー音声ファイルのフォーマットの例示図、（ｄ）はシャドー時間ファイルのフォーマットの例示図。
【図３】メニュー画面の例示図。
【図４】模範音声の選択画面の例示図。
【図５】シャドーイングの開始画面の例示図。
【図６】シャドーイング実行時の処理手順を表すフローチャート。
【図７】シャドーイング時の表示画面の例示図。
【図８】シャドーイング時の表示画面の例示図。
【図９】リスニング開始時の表示画面の例示図。
【図１０】模範音声再生時の発声者を説明する図。
【図１１】模範音声再生時の発声者を説明する図。
【図１２】シャドー時間の確認画面の例示図。
【図１３】シャドーイングの履歴の確認画面の例示図。
【発明を実施するための形態】
【００１２】
図１は、本実施形態に係る携帯情報端末１の構成図である。この携帯情報端末１は、スマートフォンや高機能の携帯電話機等の通話機能を備えた情報処理装置で実現され、公衆ネットワークＮを介して、サーバ２に接続することができる。サーバ２は、携帯情報端末１にダウンロード可能な各種プログラムやデータがアップロードされている。公衆ネットワークＮは、インターネットのような不特定者がアクセス可能なネットワークである。
【００１３】
＜携帯情報端末＞
携帯情報端末１は、中央演算処理装置（ＣＰＵ）、基本ソフトウエアであるオペレーティングシステム（ＯＳ）等を格納したＲＯＭ（読取メモリ）、ＲＡＭ（書換可能メモリ）を含む。そして、ＣＰＵがＯＳ上で本発明のコンピュータプログラムを読み込んで実行することにより、携帯情報端末１を、制御部１０、記憶部１１、通信制御部１２、表示部１３、ＵＩ（ユーザインタフェース）センサ１４、音声出力部１５、及び音声入力部１６として機能させる。
【００１４】
本発明のコンピュータプログラムは、サーバ２からダウンロードすることによって取得することができる。また、このコンピュータプログラムは、携帯情報端末１の外部から接続される記録媒体に格納されていても良く、この記録媒体を携帯情報端末１に接続することによって、上記機能ブロック１０〜１６を実現させることができる。通話機能は、主として、制御部１０、記憶部１１、通信制御部１２、音声出力部１５、及び音声入力部１６により実現される。
【００１５】
制御部１０は、携帯情報端末１の各構成要素の制御を実行する。
記憶部１１は、半導体メモリやハードディスク等のストレージであり、ここに、ユーザ固有のデータであるユーザファイル１１１、模範音声として再生される模範音声ファイル１１２、録音されたシャドー音声であるシャドー音声ファイル１１３、シャドー時間を表すシャドー時間ファイル１１４が格納される。
【００１６】
通信制御部１２は、公衆ネットワークＮとの間に無線通信路を確立し、サーバ２との間の通信を制御する。表示部１３は、液晶パネルのようなディスプレイを制御し、ユーザに対してメッセージ等を提示するための表示画面を提供する。ＵＩ（ユーザインタフェース）センサ１４は、操作ボタン、タッチセンサ等の入力装置を含み、ユーザの操作による指示を制御部１０に伝える。ユーザによる操作入力がタッチセンサから行われる場合、タッチセンサは、表示部１３の表示画面上に配置される。
音声出力部１５は、例えばスピーカであり、ユーザの耳に、通話機能の実行時と同じ操作態様で、直接音声を伝える。また、音声出力部１５が音声出力端子であり、これにヘッドフォンやイヤフォンが接続された場合、あるいは骨伝導による場合は、これらを用いた通話機能の実行時と同じ操作態様で、これらを通じてユーザの耳に音声を伝える。いずれにしても、音声入力部１６への音声の入力が遮られるので、音声の回り込みが防止される。
音声入力部１６は、例えばマイクであり、通話機能の実行時と同じ操作態様で、ユーザが発する音声を音声データに変換して制御部１０へ伝える。
【００１７】
制御部１０の機能ブロック１０１〜１０３は、以下のようなものである。
ユーザ管理部１０１は、携帯情報端末１を所持するユーザに関するユーザデータ（ユーザ名、メールアドレス、携帯電話番号等）にユーザを識別するためのユーザＩＤを関連付けたユーザファイル１１１を記憶部１１に格納して管理する。図２（ａ）は、このようなユーザファイル１１１のフォーマットの例示図である。ＵＩセンサ１４によりユーザデータの変更が指示された場合、ユーザファイル１１１の情報もそれに伴って更新される。
【００１８】
音声記録・再生部１０２は、模範音声ファイル１１２及びシャドー音声ファイル１１３を記憶部１１に記録するとともに、記録された各ファイル１１２のデータを再生し、これをユーザの耳に音声として伝える。
模範音声ファイル１１２を記録する場合、音声記録・再生部１０２は、通信制御部１２を介してサーバ２から模範音声ファイル１１２を取得する。シャドー音声ファイル１１３を記録する場合、音声記録・再生部１０２は、ユーザが模範音声を真似てシャドーイングを行うことで音声入力部１６から入力された音声データ（シャドー音声）を取得する。シャドーイングは、例えば模範音声の再生後、所定時間（例えば、０．５秒程度）遅れてユーザが模範音声を真似て復唱することで行われる外国語の練習法である。そのために、音声記録・再生部１０２は、模範音声の再生後、この所定時間が経過したときにシャドー音声の記録を開始する機能を有することは勿論であるが、それだけでなく、別途の設定により、模範音声の再生と同時にシャドー音声の録音を開始し、模範音声の再生後、所定時間（例えば１．５秒）経過後に録音を終了する機能を選択することもできる。この機能により、例えば模範音声の再生が繰り返される場合に、一度聴いた模範音声のリズムに合わせて発話することができるので、発話に慣れるという観点からは、非常に効果的な練習法を実現することができる。
【００１９】
記録された模範音声ファイル１１２及びシャドー音声ファイル１１３を再生する場合、音声記録・再生部１０２は、模範音声ファイル１１２及びシャドー音声ファイル１１３を読み出し、音声出力部１５から模範音声、シャドー音声としてそれぞれ出力する。
音声記録・再生部１０２は、模範音声ファイル１１２をＵＩセンサ１４からの指示あるいは所定の順序に従って再生する。シャドー音声ファイル１１３については、シャドー音声の記録後、所定時間経過を待って自動的に再生する。所定時間は、例えば、模範音声ファイル１１２の再生が繰り返される場合は、その模範音声の再生直後である。但し、ユーザの設定により、模範音声の再生開始タイミングと同期させて再生したり、予め用意されたブランク時間の開始直後に再生するようにしても良い。
【００２０】
図２（ｂ）は、模範音声ファイル１１２のフォーマットの例示図である。模範音声は、外国語の単語、センテンス又は複数フレーズから成る会話音声である。模範音声ファイル１１２は、音声として再生される模範音声データに、模範音声を識別するための模範音声ＩＤを関連付けて構成される。携帯情報端末１は、この模範音声ファイル１１２を、上記のプログラムのインストール時或いはアプリケーションの実行時に、サーバ２から取得する。模範音声ファイル１１２には、会話のフレーズ毎に、異なる話者による模範音声をフレーズ毎の模範音声ＩＤと関連付けて保持される。
【００２１】
図２（ｃ）は、シャドー音声ファイル１１３のフォーマットの例示図である。シャドー音声ファイル１１３は、模範音声ファイル１１２の再生後に音声入力部１６から受け付けた音声データに、再生した模範音声ファイル１１２の模範音声ＩＤ及びユーザＩＤを関連付けて構成される。
【００２２】
シャドー時間管理部１０３は、再生されたシャドー音声に対する他者評価を行うことなく、模範音声に対するシャドーイングに要したシャドー時間を計測する。「他者評価」とは、例えばシャドー音声の発音形態が模範音声のものとどの程度一致したかとか、シャドー音声から読み取れた意味合いが正しかったかという評価である。このような評価は、上述したように必ずしもユーザの発話意欲を高めるとは限らないため、本実施形態では、シャドー時間の計測に止めることとしたものである。
【００２３】
シャドー時間管理部１０３は、計測したシャドー時間を、シャドーイングされた模範音声の模範音声ＩＤ及びユーザＩＤと関連付けて、記憶部１１にシャドー時間ファイル１１４として記録する。シャドー時間は、ユーザの設定により、シャドー音声の記録時間、模範音声の再生時間、あるいは模範音声の再生時間と所定の付加時間との合算時間のいずれかを選択することができる。
【００２４】
シャドー音声の記録時間は、発話時を起点とし発話が途切れた時間とする。記録時間の計測技術は、公知のものを利用することができる。模範音声の再生時間をシャドー時間とするのは、模範音声の再生のタイミングでシャドウイングを行う場合を想定している。上述したとおり、音声入力部１６への模範音声の回り込みが防止されるので、ユーザがそのようなタイミングでシャドウイングを行う場合には、その再生時間をシャドー時間とするのである。再生時間は既知なので、その時間を累積するだけで良い。付加時間は、例えば１〜５秒程度の固定時間である。付加時間は既知の再生時間にそれを加算するだけでシャドー時間を導出することができるので、計測のための機構が不要になる利点がある。
【００２５】
図２（ｄ）は、シャドー時間ファイルのフォーマットの例示図である。シャドー時間ファイル１１４は、模範音声毎に作成され、各シャドー時間ファイル１１４において、上記のいずれかのシャドー時間が累積される。シャドー時間ファイル１１４は、ある時間間隔で、通信制御部１２によりサーバ２にも送信され、バックアップや他のユーザとの平均値算出等に供される。
【００２６】
＜サーバ＞
図１に戻り、サーバ２は、ハードディスク等大容量の記録装置２１を備える。記録装置２１には、各携帯情報端末１にダウンロードされる各種コンピュータプログラム、模範音声ファイル１１２、及び各携帯情報端末１から送信されるユーザ毎のシャドー時間ファイル１１４その他のデータが格納される。サーバ２は、携帯情報端末１からの依頼により、これらのコンピュータプログラムやデータ（模範音声ファイル１１２）を提供する。
【００２７】
サーバ２は、各ユーザのシャドー時間ファイル１１４を、ユーザ毎に管理（格納及び読み出し、以下同じ）する。ユーザがグループを形成している場合には、グループ毎にシャドー時間ファイル１１４を管理する。グループ毎の管理では、模範音声ＩＤ毎にグループに属するユーザのシャドー時間の合計値、シャドー時間の平均値等を算出して、記憶装置２１に格納する。
【００２８】
＜シャドー音声管理方法＞
次に、本実施形態の携帯情報端末１及びサーバ２により行われるシャドー音声管理方法の一例を説明する。
図３は、携帯情報端末１により、本発明のコンピュータプログラムを実行したときの、表示部１１３の表示画面に表示されるメニュー画面３０の例示図である。メニュー画面３０により、ユーザは、「シャドーイング」、「シャドー時間確認」等の機能を選択することができる。また、ユーザは、これまでに行ったシャドーイングの合計時間を、メニュー画面３０の「SPEAKING TIME」により確認することができる。シャドーイングの合計時間は、シャドー時間管理部１０３がシャドー時間ファイル１１４のシャドー時間を合計することで、リアルタイムに算出される。
ユーザがこのメニュー画面３０から、所望の機能をタッチして選択すると、ＵＩセンサ１４が、選択された機能を認識し、その機能の実行指示が制御部１０に送られる。
【００２９】
＜シャドーイング＞
例えば、ユーザがメニュー画面３０から「シャドーイング」を選択したとする。この場合、表示部１１３の表示画面には、図４の模範音声の選択画面４０が表示される。選択画面４０により、ユーザは、シャドーイングを行おうとする模範音声を選択することができる。選択画面４０には、ユーザがこれまでに行ったシャドーイングの合計時間（「TOTAL」）及び今日のシャドーイングの合計時間（「TODAY」）を表す確認画面４１が表示される。
【００３０】
模範音声選択ボタン４２は、マトリクス状に配列されており、それぞれ行と列との組み合わせで特定される位置に対応した模範音声ＩＤがＵＩセンサ１４から制御部１０に送られる。模範音声選択ボタン４２は、模範音声の難易度や会話の流れに応じて、模範音声を「Ｆ〜Ｋ行」、「Ａ１」グループの「１〜１１列」に分けて配置される。例えば、「Ｆ行」、「Ａ１グループ」の「１列」の模範音声選択ボタン４２をユーザがタッチして選択することで、「Ｆ行」、「Ａ１の１列」に対応する模範音声ＩＤが制御部１０に送られる。制御部１０の音声記録・再生部１０２は、送られてきた模範音声ＩＤにより記憶部１１から該当する模範音声ファイル１１２を読み出して、選択された模範音声の再生が可能になる。また、各模範音声選択ボタン４２は、対応する模範音声のシャドー時間を視覚的に認識できるように、シャドー時間をバー表示４２１により表す。
【００３１】
ユーザが模範音声選択ボタン４２から所望の模範音声を選択すると、表示画面は、図５のシャドーイング開始画面５０に切り替わる。シャドーイング開始画面５０には、「聴く」ボタンと「演じる」ボタンが用意されている。ユーザがいずれかをタッチして選択することで、選択したボタンに対応する指示が制御部１０に送られる。
【００３２】
図５の「演じる」ボタンが選択されると、ユーザによるシャドーイングが可能となる。シャドーイングは、ユーザが表示画面を見ずに、直接通話時の態様で行うこともできるし、一旦、表示画面を見て模範音声の内容を確認した後に行うこともできる。通話中であっても、表示画面には、模範音声の内容が表示される。
図６は、シャドーイング実行時の制御部１０による処理手順を表すフローチャートであり、図７、図８は、シャドーイング実行時の表示画面である。図７、図８に示す例では、２人の話者が会話する形式で、模範音声が再生される。
【００３３】
図５の「演じる」ボタンの選択後に図７の「ACTION」ボタン７１が選択されると、制御部１０の音声記録・再生部１０２は、模範音声選択ボタン４２で選択された模範音声を再生する（Ｓ１０）。模範音声は、音声出力部１５により、ユーザの耳に伝えられる。表示部１３の表示画面には、再生される模範音声に従い、図７に示すように再生中の模範音声の各単語に対応して翻訳された日本語が表示される。図７では「ハイ、／ミスターMiller。」が表示される。模範音声は会話であるので、ユーザが表示画面を見たときに、どちらの話者が発声している状態であるかがわかるように、発声中の話者に特徴を付ける。図７では、発声中の話者（左側の人物）が、模範音声の日本語訳の表示ウインドウよりも前になるように表示される。
【００３４】
音声記録・再生部１０２は、模範音声の再生後、あるいは模範音声の再生と同時に音声入力部１６から入力されたユーザのシャドー音声の録音を開始する。また、シャドー時間管理部１０３は、ユーザが設定したタイミングで（シャドー音声の録音開始時、模範音声の再生開始時）、シャドー時間の計測を開始する（Ｓ１１）。シャドー音声は、記憶部１１３に記憶される。
【００３５】
シャドー音声の録音の終了、或いは録音開始から一定時間経過した場合に（Ｓ１２：Y、又はＳ１２：N、Ｓ１３：Y）、シャドー時間管理部１０３は、シャドー時間の計測を終了する（Ｓ１４）。なお、シャドー時間の計測に際しては、録音したシャドー音声の先頭と末尾のほぼ無音の部分をカットする。ノイズが含まれている場合があるためである。計測したシャドー時間は、一旦、制御部１０のＲＡＭに格納される。
音声記録・再生部１０２は、シャドー時間の計測終了後に、シャドー音声を再生する（Ｓ１５）。これにより、ユーザは、自身のシャドー音声を聴くことができる。ユーザは、シャドー音声の発話を終えた直後に、再生されたシャドー音声を聴くことができるために、客観的に自分の発話を確認することができる。これにより、自己修正を行うことが可能となる。なお、シャドー音声の再生は、それが繰り返されても、シャドー時間は計測されない。
【００３６】
音声記録・再生部１０２は、再生していない模範音声がある場合には、引き続き、残りの模範音声を再生する（Ｓ１６：Y、Ｓ１０）。模範音声は、会話であるために、複数の話者が交互に話すことになる。そのため、Ｓ１０〜Ｓ１６のステップは、交互の会話が終了するまで繰り返される。その間、シャドー時間が逐次累積されてＲＡＭに格納される。
会話の場面は、適宜、切り替わる。図８は、図７から話者が交代して模範音声を再生している場合の例示図である。図８では、右側の話者が表示ウィンドウの前に表示されて、外国語の模範音声に対応する日本語が表示ウィンドウ内に表示される。
【００３７】
模範音声の再生がすべて終了すると、シャドー時間管理部１０３は、ＲＡＭに格納されたシャドー時間によりシャドー時間ファイル１１４を更新する（Ｓ１６）。
以上のような処理によりシャドー時間が計測され、記憶部１１に累積的に記録される。
【００３８】
＜リスニング＞
図５において、「聴く」ボタンが選択されると、模範音声やユーザの発話内容を含むリスニングが可能になる。リスニングは、ユーザが表示画面を見ながら行うこともできるし、表示画面を見ずに、通話時の態様で行うこともできる。後者の場合であっても、表示画面には、会話の内容を表す画面が表示される。
図９は、リスニング時の表示画面の例示図である。この例では、２人の話者が会話する内容を聴取して、聞き取れたか否かを自己判定する。ユーザが図９の２人の話者の間にある「ACTION」ボタン９１をタッチして選択することで、模範音声の再生が開始される。模範音声の再生中は、図１０に示すように、どちらの話者が発声しているかがわかるように、発声している話者にマークが表示される。図１０の例では、左側の話者にマークが表示されて、左側の話者が発声していることを表している。
【００３９】
リスニングでは、図１１に示すように、２人の話者が交互に模範音声を発することになる。このとき、音声記録・再生部１０２は、シャドー音声を複数の話者の模範音声ＩＤにより特定される模範音声と置き換えて再生する機能を備えている。この機能がユーザにより選択された場合、例えば図１１の左側の話者の模範音声をシャドー音声に置き換えて再生する。これにより、ユーザは、自身の発話内容を確認することができる。
【００４０】
会話が終了した時点で、模範音声が聞き取れたか否かを自己判定する画面が表示画面に表示される。ユーザは、この画面から自己判定の結果を入力することができる。自己判定の結果は、あくまでも確認のためであり、評価とは異なる。そのため、この自己判定の結果は、サーバ２へは伝達されない。
なお、図９〜図１１の例では、２人の話者の会話形式で模範音声及びシャドー音声を再生する例を示したが、さらに多い人数による会話形式で模範音声等を再生するようにしても良い。
【００４１】
＜シャドー時間確認＞
ユーザが図３のメニュー画面３０から「シャドー時間確認」ボタンを選択すると、表示画面には、図１２のシャドー時間の確認画面が表示される。この確認画面により、ユーザは、個人及びグループのシャドー時間の確認が可能になる。
確認画面では、「マイワークアウト」の項目により、自身のシャドー時間の合計が確認できる。この場合、シャドー時間管理部１０３が、記憶部１１のシャドー時間ファイル１１４をすべて確認して、すべての模範音声についてのシャドー時間を合計した時間が表示される。
【００４２】
「メンバー平均」の項目では、ユーザが属するグループの平均のシャドー時間が確認できる。グループに属するメンバーのシャドー時間の平均値は、サーバ２により算出される。携帯情報端末１は、通信制御部１２によりサーバ２からシャドー時間の平均値を取得して表示部１３に表示する。
【００４３】
「ハードワークメンバー平均」の項目では、ユーザが属するグループで、シャドー時間が多いメンバーの平均のシャドー時間が確認できる。図１２の例では、シャドー時間が多い方から１５％のメンバーの平均のシャドー時間を表示している。これらのシャドー時間も、サーバ２により算出される。携帯情報端末１は、通信制御部１２によりサーバ２からシャドー時間が多い方から１５％のメンバーのシャドー時間の平均値を取得して表示部１３に表示する。これにより、ユーザは、グループにおける自己の発話時間の累積状況を確認することができる。
【００４４】
図１３は、シャドーイングの履歴の確認画面の例示図である。シャドーイングを行った日には、マークが表示されており、このマークを選択することで当該日付けに行ったシャドーイングによるシャドー時間が表示される。図１３の例では、１１月２日のシャドー時間「１５秒」が「SPEAK」の項目に表示される。
ユーザは、確認画面によりシャドーイングの履歴を確認でき、実際に行った発話の頻度や、それによる自身の発話の慣れの度合いを確認することができる。
【００４５】
以上のように、本実施形態の携帯情報端末１は、通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝え、また、上記の操作態様で、ユーザのシャドー音声の入力を受け付け、記録、再生する。その際、模範音声の再生タイミングに合わせてシャドー音声を入力しても、模範音声はシャドー音声と分離されるので、マイク等への回り込みが防止される。このような操作態様では、第三者からは、あたかも外国人と通話しているように見えるので、ユーザは、例えば外出中の任意の場所で、任意の時間帯に、外部の目を意識することなく、発話を行うことができる。
【００４６】
また、携帯情報端末１は、再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて累積的に記録する。ここには、学習効果が高まらないと次に進めない等の制約は一切存在しないので、ユーザは、シャドー時間の累積結果を自己評価の指標とし、模範音声との差異等を何ら気にすることなく、自分のペースで、発話を継続していくことができる。外国語の修得のために様々な技術が提案されているが、重要なのは、とにかく発話をしてみること、そして、発話に慣れることである。他者評価を行うことのない本実施形態の携帯情報端末１のような仕組みは、ユーザが感じる発話の敷居を上げないという点で効果的である。
【００４７】
シャドー時間は、ユーザによるシャドー音声の記録時間、模範音声の再生時間、あるいは、この再生時間と所定の付加時間（数秒）との合算時間として計測することができる。そのため、発話時間を計測する際の計測手段が簡易なものとなる。また、このシャドー時間を、模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、携帯情報端末１に格納するとともに、通信路で接続されたサーバ２へ格納することで、バックアップ時の対応が容易になるとともに、他のユーザとの比較も可能となる。
【００４８】
携帯情報端末１は、また、会話についてフレーズ毎に異なる複数の話者による模範音声をフレーズ毎の模範音声ＩＤと関連付けて保持し、シャドー音声を再生する際に、ユーザＩＤにより特定されるユーザのシャドー音声を、複数の話者のうちユーザが指定した話者の模範音声ＩＤにより特定される模範音声と置き換えて再生する機能も備えている。そのため、自分の発話内容を実際の会話の流れの中で確認することができるので、外国語の会話を行うことに対する怖さや恥ずかしさを克服することができる。
学習効果が高まらないと次に進めない等の制約があると、学習者によっては、継続しようとする動機を阻害する。
【符号の説明】
【００４９】
１…携帯情報端末、１０…制御部、１０１…ユーザ管理部、１０２…音声記録・再生部、１０３…シャドー時間管理部、１１…記憶部、１１１…ユーザファイル、１１２…模範音声ファイル、１１３…シャドー音声ファイル、１１４…シャドー時間ファイル、１３…表示部、１４…ＵＩセンサ、１５…音声出力部、１６…音声入力部、２…サーバ、２１…記録装置、Ｎ…公衆ネットワーク。
【図１】
2014102324.tif 000003
【図２】
2014102324.tif 000004
【図３】
2014102324.tif 000005
【図４】
2014102324.tif 000006
【図５】
2014102324.tif 000007
【図６】
2014102324.tif 000008
【図７】
2014102324.tif 000009
【図８】
2014102324.tif 000010
【図９】
2014102324.tif 000011
【図１０】
2014102324.tif 000012
【図１１】
2014102324.tif 000013
【図１２】
2014102324.tif 000014
【図１３】
2014102324.tif 000015
【手続補正書】
【提出日】平成25年3月8日(2013.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
通話機能を備えた携帯情報端末において、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段と、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段と、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段と、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段と、
を設けたことを特徴とする携帯情報端末。
【請求項２】
前記シャドー時間管理手段は、前記ユーザによるシャドー音声の記録時間、前記模範音声の再生時間、又は前記再生時間と所定の付加時間との合算時間を、当該ユーザの前記シャドー時間として計測し、計測したシャドー時間を、模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、自端末のメモリに格納するとともに、通信路で接続された外部記録装置へ格納することを特徴とする、
請求項１記載の携帯情報端末。
【請求項３】
前記音声出力手段は、前記会話についてフレーズ毎に異なる複数の話者による模範音声をフレーズ毎の模範音声ＩＤと関連付けて保持しており、
前記複数フレーズから成る会話についての模範音声を前記ユーザの耳に伝える際に、前記ユーザが話者を指定したときは、当該指定した話者の模範音声ＩＤにより特定される模範音声を、前記シャドー音声再生手段で再生される当該ユーザのシャドー音声と置き換えることを特徴とする、
請求項１又は２記載の携帯情報端末。
【請求項４】
通話機能を備えた携帯情報端末により実行される方法であって、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える段階と、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける段階と、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝える段階と、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録する段階と、を含む、
シャドー音声管理方法。
【請求項５】
通話機能を備えたコンピュータを、
前記通話機能の実行時と同じ操作態様で、ユーザの耳に、外国語の単語、センテンス又は複数フレーズから成る会話のいずれかについての模範音声を伝える音声出力手段、
前記操作態様で、前記模範音声を真似たユーザのシャドー音声の入力を受け付ける音声受付手段、
入力されたシャドー音声を記録するとともに、記録されたシャドー音声を再生し、再生されたシャドー音声を前記ユーザの耳に伝えるシャドー音声再生手段、
前記再生されたシャドー音声に対する他者評価を行うことなく、当該ユーザが前記模範音声に対するシャドーイングに要したシャドー時間を計測し、計測したシャドー時間を、前記模範音声を識別するための模範音声ＩＤ及び当該ユーザを識別するためのユーザＩＤと関連付けて、所定の記録装置へ累積的に記録するシャドー時間管理手段、
として機能させるためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
携帯情報端末１は、また、会話についてフレーズ毎に異なる複数の話者による模範音声をフレーズ毎の模範音声ＩＤと関連付けて保持しており、複数のフレーズから成る会話についての模範音声をユーザの耳に伝える際に、ユーザが話者を指定したときは、当該指定した話者の模範音声ＩＤにより特定される模範音声ＩＤにより特定される模範音声を、音声記録・再生部１０２で再生される当該ユーザのシャドー音声と置き換える機能も備えている。そのため、自分の発話内容を実際の会話の流れの中で確認することができるので、外国語の会話を行うことに対する怖さや恥ずかしさを克服することができる。