(57)【要約】【課題】携帯通信端末を利用して通信ネットワークを介してユーザ（学習者）の状況に合わせた柔軟性のある発声を伴う学習を可能にする発声学習方法および学習システムを提供する。【解決手段】無線通信部１０１、操作部１０２および表示部１０３に加えて学習者の口舌形状等を検出する検出部１０４および／又は撮像部１１０等を備える携帯通信端末１００を使用して、そのユーザである学習者が通信ネットワーク４００を介して、事業者サーバ装置２００を備え学習サービス提供事業者３００が提供する学習サービスを受ける。ユーザは、「学習メニュー」から希望するメニューを選択して、ユーザの置かれている環境に応じて発声を伴う「通常学習モード」又は発声を伴わない「無音学習モード」で学習可能にする。【選択図】図１
2005266092.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク接続機能を有する携帯通信端末を使用して、該携帯通信端末を学習サービス提供業者の事業者サーバ装置と接続し、前記携帯通信端末のユーザが発声を伴う学習を行う発声学習方法において、
前記ユーザが発声可能か否かを決定することと、発声できない場合には、前記ユーザの口舌形状を検出することと、該検出されたユーザの口舌形状に基づき音声合成して所定の音声と比較判定することとよりなることを特徴とする発声学習方法。
【請求項２】
前記口舌形状は、前記ユーザの口内に挿入される検出部により検出されることを特徴とする請求項１に記載の発声学習方法。
【請求項３】
前記口舌形状は、前記携帯通信端末の撮像部が撮影した画像に基づく画像処理により検出されることを特徴とする請求項１に記載の発声学習方法。
【請求項４】
口舌形状に加えて口の動きの強さ等も加味して前記音声合成手段で音声合成することを特徴とする請求項１、２又は３に記載の発声学習方法。
【請求項５】
前記検出された口舌形状に基づく音声を音声合成して前記ユーザが前記携帯通信端末のスピーカで聴くようにすることを特徴とする請求項１乃至４の何れかに記載の発声学習方法。
【請求項６】
学習者がネットワーク接続機能を有する携帯通信端末を使用し、該携帯通信端末で学習サービス提供業者の事業者サーバ装置から前記ネットワークを介して学習情報の提供を受けて発声を伴う学習を行う学習システムにおいて、
前記携帯通信端末は、前記学習者が発声できないとき、該学習者の口舌形状を検出する口舌形状検出手段と、該口舌形状検出手段の検出結果を前記携帯通信端末から前記事業者サーバ装置へ送信して予め記憶されたデータと比較判断する比較判断手段とを備え、該比較判断手段の判断結果を前記携帯通信端末へ送信することを特徴とする学習システム。
【請求項７】
前記口舌形状検出手段の検出結果に基づき対応する音声を合成する音声合成手段を更に備え、前記比較判断手段は、前記音声合成手段が合成した音声に基づき比較判断することを特徴とする請求項６に記載の学習システム。
【請求項８】
前記携帯通信端末は、前記音声合成手段が合成した音声を前記学習者が聴けるようにするヘッドセットを備えていることを特徴とする請求項６又は７による学習システム。
【請求項９】
前記口舌検出手段として、前記携帯通信端末が備える撮像部により撮影された画像を使用することを特徴とする請求項６、７又は８に記載の学習システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は学習システムに関し、特に学習手段として携帯通信端末を使用し、学習者が語学等の発声を伴う学習を時間、場所、周囲環境等の制約を受けることなく行えるようにする発声学習方法および学習システムに関する。
【背景技術】
【０００２】
教養や趣味として又は業務や生活上の必要に迫られて、人は種々の学習を行い、自己の必要に応じて身につけることとなる。その１例は外国語等の語学学習である。従来の語学学習は、通学スタイルが主流であった。即ち、特定の外国語等の学習希望者は、予め指定された時間に指定された場所（学校・教室）に赴き、講師の指導のもとで学習するのが一般的であった。また、語学以外にも歌や詩吟その他、学習者が発声しながら又は講師の音声を聴きながら学習する必要のあるものは多い。
【０００３】
例えば、語学学習等に関しては、ラジオ又はテレビ等の放送メディアを使用することも可能である。しかし、予め決められた時間に放送されるので、学習時間に制限されることで上述の場合と同様である。更に、放送されるラジオやテレビの放送の受信機が必要であり、場所も放送が受信可能であるという制約がある。
【０００４】
教材が郵便等により受講者に送付される通信教育の場合には、自由な時間、自由な場所で学習することは可能である。しかし、それを使用して学習するのは、送付された教材を常に持ち歩く必要がある。更に、周囲の環境により（例えば、図書館や深夜等の静寂な環境および通勤電車内等の周囲に多数の人がいる場合）、学習行為を控えなければならない。即ち、発声を伴う学習は、時間や場所を選ばずに自由に学習を行うことは極めて困難であった。
【０００５】
ところで、パーソナルコンピュータ（ＰＣ）および携帯電話機を含む携帯端末が普及し且つインターネット等のネットワークおよび通信技術が進歩した現在では、これらの手段を活用する学習も提案されている。例えば、サーバが、携帯端末に送信した学習情報に基づき学習者に学習させた学習内容をチェックし、その回答結果を返信することにより学習者が時間と場所に厳しい制約を受けることなく学習可能にする対話練習用サーバ装置又は外国語学習システム等が開示されている（例えば、特許文献１および特許文献２参照。）。
【０００６】
【特許文献１】特開２００３-３３７５２９号公報（第３-４頁、第１図）
【特許文献２】特開２００２-２５８７２９号公報（第４-５頁、第１図-第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述の如き従来の学習システムは、次の如き欠点乃至課題を有する。即ち、発声を伴う学習には、常に周囲の環境に左右され、他人への迷惑を考えると何時でも又は何処でも自由に学習することはできなかった。
【０００８】
本発明は、従来技術の上述の如き課題に鑑みなされたものであり、これらの課題を克服又は軽減する発声学習方法および学習システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の課題を解決するため、本発明の発声学習方法および学習システムは次のような特徴的な構成を採用している。
【００１０】
（１）ネットワーク接続機能を有する携帯通信端末を使用して、該携帯通信端末を学習サービス提供業者の事業者サーバ装置と接続し、前記携帯通信端末のユーザが発声を伴う学習を行う発声学習方法において、
前記ユーザが発声可能か否かを決定することと、発声できない場合には、前記ユーザの口舌形状を検出することと、該検出されたユーザの口舌形状に基づき音声合成して所定の音声と比較判定する発声学習方法。
【００１１】
（２）前記口舌形状は、前記ユーザの口内に挿入される検出部により検出される上記（１）の発声学習方法。
【００１２】
（３）前記口舌形状は、前記携帯通信端末の撮像部が撮影した画像に基づく画像処理により検出される上記（１）の発声学習方法。
【００１３】
（４）口舌形状に加えて口の動きの強さ等も加味して前記音声合成手段で音声合成する上記（１）、（２）又は（３）の発声学習方法。
【００１４】
（５）前記検出された口舌形状に基づく音声を音声合成して前記ユーザが前記携帯通信端末のスピーカで聴くようにする上記（１）乃至（４）何れかの発声学習方法。
【００１５】
（６）学習者がネットワーク接続機能を有する携帯通信端末を使用し、該携帯通信端末で学習サービス提供業者の事業者サーバ装置から前記ネットワークを介して学習情報の提供を受けて発声を伴う学習を行う学習システムにおいて、
前記携帯通信端末は、前記学習者が発声できないとき、該学習者の口舌形状を検出する口舌形状検出手段と、該口舌形状検出手段の検出結果を前記携帯通信端末から前記事業者サーバ装置へ送信して予め記憶されたデータと比較判断する比較判断手段とを備え、該比較判断手段の判断結果を前記携帯通信端末へ送信する学習システム。
【００１６】
（７）前記口舌形状検出手段の検出結果に基づき対応する音声を合成する音声合成手段を更に備え、前記比較判断手段は、前記音声合成手段が合成した音声に基づき比較判断する上記（６）の学習システム。
【００１７】
（８）前記携帯通信端末は、前記音声合成手段が合成した音声を前記学習者が聴けるようにするヘッドセットを備えている上記（６）又は（７）の学習システム。
【００１８】
（９）前記口舌検出手段として、前記携帯通信端末が備える撮像部により撮影された画像を使用する上記（６）、（７）又は（８）の学習システム。
【発明の効果】
【００１９】
本発明の学習システムによると、次の如き実用上の顕著な効果が得られる。即ち、他人への迷惑を考慮することなく、何時でも又は何処でも、学習者の都合のよい時間と場所で学習が可能である。即ち、周囲に他人がいなくて自由に発声できる場合には「通常学習モード」で発声して学習すると共に、発声が禁止され又は発生すると他人に迷惑がかかり発声不可能な場合には、学習者は発声することなく（無音状態で）単に口と舌を発声状態と同様に動かすことにより、これを口舌形状検出手段で検出し、音声合成手段で合成して学習することが可能である。この合成された音声は、学習者自身もヘッドセットを介して聴くことが可能である。
【実施例１】
【００２０】
以下、本発明による発声を伴う学習方法および学習システムの好適実施例の構成および動作を、添付図面を参照して詳細に説明する。
【００２１】
先ず、図１は、本発明による学習システムの好適実施例である語学学習システムの全体構成を示すブロック図である。この学習システム１０は、複数の携帯通信端末１００ａ、１００ｂ、・・・、１００ｎ（以下、これら携帯通信端末を総称して携帯通信端末１００という）、事業者サーバ装置２００、配信情報提供者装置３００および通信ネットワーク４００により構成される。複数の携帯通信端末１００、事業者サーバ装置２００および配信情報提供者装置３００は、通信ネットワーク４００により有線又は無線により相互接続されている。
【００２２】
次に、図２は、各携帯通信端末１００の詳細構成を示す機能ブロック図である。この携帯通信端末１００は、通話機能、ネットワーク（例えば、インターネット）接続機能および撮像機能等を備える、例えば携帯電話機等である。携帯通信端末１００は、無線通信部１０１、操作部１０２、表示部１０３、検出部１０４、送受話部１０５、マイク１０６、スピーカ１０７、ヘッドセット端子１０８、音声合成部１０９、撮像部１１０、スピーカ部１１１、記憶部１１２、制御部１１３およびアンテナ１１４を備えている。
【００２３】
携帯通信端末１００の各構成要素１０１〜１１４の所要機能を簡単に説明する。無線通信部１０１は、アンテナ１１４を介して無線基地局（図示せず）との間で無線信号を送受する。操作部１０２は、携帯通信端末１００のユーザ（この場合には、学習者）が情報入力や操作入力を行う手段であって、テンキー、スクロールキー又は決定キー等から構成される。表示部１０３は、入力情報や受信情報等の各種情報表示を行う、例えば液晶表示パネル（ＬＣＤ）等である。検出部１０４は、学習者である携帯通信端末１００のユーザの口舌形状を検出する検出手段であって、例えばユーザの口内に挿入されるマウスピース等により構成される。また、この検出部１０４は、口舌形状のみならずユーザの顔面に接触して配置され、その振動又は動く速さ等の検出手段を有してもよい。送受話部１０５は、音声信号処理を行う。
【００２４】
マイク１０６およびスピーカ１０７は、送受話部１０５への入出力を行う。ヘッドセット端子１０８は、ヘッドセット（イヤホンマイク）１２０との接続子である。音声合成部１０９は、無音状態で口舌を動かすユーザの口舌形状により発生する音声を合成する。撮像部１１０は、画像の撮像を行う、例えばＣＣＤ（電荷結合素子）カメラである。スピーカ部１１１は、ユーザに対して着信時の報知音等を出力する。記憶部１１２は、携帯通信端末１００の各種設定や各種情報（電話帳、送受信メール、画像、楽音、プログラム等）を記憶する。制御部１１３は、携帯通信端末１００の各部の制御を行い電話機能、メール機能、インターネット接続機能、撮像機能等の制御を行う。
【００２５】
尚、ヘッドセット端子１０８には、集音マイク、スピーカ、振動体（振動装置）および着呼時の応答操作や指定先への発呼操作等の簡易操作を行う操作スイッチを有するヘッドセット１２０が接続されることで、携帯通信端末１００を保持しない状態での通話等の操作が可能となっている。また、ヘッドセット１２０との接続（接続手段）は、例えば、携帯通信端末１００とヘッドセット１２０の双方に赤外線やBluetooth等の近距離無線通信機能を付加することで、無線による接続であってよい。
【００２６】
また、撮像部１１０を含む撮像機能は、テレビ電話に利用する。これにより、例えば必要に応じて講師および学習者が映像および音声を介して対話することにより、マンツーマンのチェック（学習指導）を行えるようになされている。
【００２７】
次に、図１に示されている事業者サーバ装置２００は、学習サービス（教材）の提供事業者に設置されているワークステーション・サーバ等の情報処理装置である。この事業者サーバ装置２００は、通信部、記憶部、課金処理部および制御部を備えている。
【００２８】
通信部は、通信ネットワーク４００との情報の送受を行う。記憶部は、各種情報としてユーザの個人情報や学習情報等を記憶する利用者情報データベース（ＤＢ）、学習コンテンツ（学習に供する問題や解答等の情報でテキスト、画像、動画および音声等により構成される）を記憶する学習情報ＤＢ部および画像、動画コンテンツ、トラベル案内および映画興行案内等の各種の情報（但し、学習に関連する内容）を記憶する配信情報ＤＢを有する記憶部と、携帯通信端末１００のユーザに対する課金処理として、例えばユーザから携帯通信端末１００を介して送信されたクレジットカード番号による決裁処理を行う。制御部は、事業者サーバ装置２００の各部を制御する。
【００２９】
また、情報提供者装置３００は、パーソナルコンピュータ（ＰＣ）等の情報処理装置であり、例えば旅行業者等に設置されてトラベル案内等の旅行情報を、又は映画興行者等に設置されて映画興行案内等の情報を、情報が更新される都度（又は必要に応じて）、インターネット等の通信ネットワーク４００を介して事業者サーバ装置２００に送信する。
【００３０】
次に、本発明による学習システム１０の好適実施例の動作を、主として図３〜図５のシーケンス図又はフローチャートを参照して説明する。図３は、「通常学習モード」における携帯通信端末１００および事業者サーバ装置２００間の動作を示すシーケンス図である。一方、図４は、「無音学習モード」における携帯通信端末１００および事業者サーバ装置２００間の動作を示すシーケンス図である。図５は、事業者サーバ装置２００内での動作を示すフローチャートである。
【００３１】
先ず、本発明による学習システムのユーザ（利用者又は学習者）が、適当な空き時間を利用して、例えば外国語学習を希望する場合の例を説明する。ユーザは、携帯通信端末１００を利用して事業者サーバ装置２００に接続する（ステップＡ１）。ここで、ユーザ情報（ＩＤ、パスワードおよびその他個人情報）等の登録は、事前に行われているものとする。次に、ユーザに対する所定の認証が行われる。即ち、事業者サーバ装置２００から携帯通信端末１００又はそのユーザにＩＤ、パスワード等の入力要求をする（ステップＡ２）。これに対して、ユーザは、携帯通信端末１００から事業者サーバ装置２００にＩＤ、パスワードを送信する（ステップＡ３）。そして、事業者サーバ装置２００は、このＩＤ、パスワードを受信する（ステップＡ４）。
【００３２】
次に、図６に示す如き「学習メニュー」が事業者サーバ装置２００から携帯通信端末１００のユーザに、ＩＤおよびパスワードに基づいて提示される（ステップＡ５、Ａ６）。尚、ユーザに提示される「学習メニュー」は、ユーザの過去の受講履歴（現在の受講レベル）およびユーザとの学習サービスの契約内容を参照して、ユーザが利用可能な「学習メニュー」のみが提示され又は選択結果が初期値として入力されたメニューが提示される。即ち、図６に例示する「学習メニュー」は、単語、文法、発音、・・・の如き学習内容、独語、韓国語、英語、・・・の如き学習する言語および上級、中級、初級の如き学習レベル等をユーザが選択可能に、携帯通信端末１００の表示部１０３に表示される。
【００３３】
そこで、ユーザは、携帯通信端末１００の操作部１０２のキー等を操作して学習を希望する学習コース等を「学習メニュー」から選択する（ステップＡ７）。尚、選択された「学習メニュー」とともに、学習に際して、ユーザは、音声出力を伴う学習とするか否か、即ち携帯通信端末１００への音声入力が「有音モード」であるか又は「無音モード」であるかの情報も、携帯通信端末１００から事業者サーバ装置２００へ送信される（ステップＡ８）。この携帯通信端末１００から送信された情報は、事業者サーバ装置２００に送信され読み込まれる（ステップＡ９）。
【００３４】
次に、事業者サーバ装置２００は、ユーザにより選択された内容に基づき、所定の学習情報を携帯通信端末１００に送信する（ステップＡ１０）。ユーザは、携帯通信端末１００へ送信された学習内容を受信し（ステップＡ１１）、その学習を開始する（ステップＡ１２）。即ち、ユーザは、携帯通信端末１００の表示部１０３に表示された又は音声としてスピーカ１０７から出力された学習情報（テキストや問題）に対して、操作部１０２を操作して入力するか又は検出部１０４で検出した口舌形状に基づく音声合成部１０９からの音声入力により回答を事業者サーバ装置２００へ送信する（ステップＡ１３）。
【００３５】
ユーザからの回答情報を受信した事業者サーバ装置２００は、受信した回答を判定し（集音マイク入力された音声情報の場合には、音声認識を行い）、回答に対する正誤、正解内容、点数等の添削結果を携帯通信端末１００に送信する（ステップＡ１４〜Ａ１７）。また、添削結果に基づき、ユーザ又は利用者情報ＤＢを更新する（ステップＡ１８）。
【００３６】
次に、ユーザ又は学習者の周囲が静寂な場合等で、ユーザが発音できない環境下での学習を可能にする「無音モード」時の携帯通信端末１００および事業者サーバ装置２００間の動作を、図４を参照して説明する。先ず、ユーザは、携帯通信端末１００により「無音学習モード」である旨を事業者サーバ装置２００へ送信する（ステップＢ１）。そして、携帯通信端末１００を「無音学習モード」に設定する（ステップＢ２）。事業者サーバ装置２００は、この情報を受信すると（ステップＢ３）、事業者サーバ装置２００が備える上述した学習情報ＤＢより楽音出力/入力を必要としない、画像、文字又は画像と文字の組合せからなる学習情報（例えば、図７に示す如き発音する文章と、発音の際の口舌形状の情報）を抽出する（ステップＢ４）。そして、発音指示情報として携帯通信端末１００へ送信する（ステップＢ５）。
【００３７】
そこで、「無音学習モード」に設定された携帯通信端末１００は、その検出部１０４を振動さる（ステップＢ２）。これにより、例えばユーザが学習情報に従って口・舌を動かした場合に、検出部１０４により検出されたユーザの口舌形状および／又は振動により発生する音声が、携帯通信端末１００の音声合成部１０９により音声合成され（ステップＢ６、Ｂ７）、携帯通信端末１００から事業者サーバ装置２００に送信される（ステップＢ８）。
【００３８】
次に、事業者サーバ装置２００は、携帯通信端末１００から受信したユーザの音声情報を発音チェック・判定する（ステップＢ９、Ｂ１０）。そして、この判定結果を事業者サーバ装置２００から携帯通信端末１００へ送信し（ステップＢ１１）、携帯通信端末１００はそれを受信する（ステップＢ１２）。また、事業者サーバ装置２００は、この判定結果に基づき、利用者情報ＤＢを更新する（ステップＢ１３）。
【００３９】
更に、図５のフローチャートを参照して事業者サーバ装置２００の動作を説明する。事業者サーバ装置２００は、配信事業者提供装置３００からの各種情報（画像、動画コンテンツ、トラベル案内および映画興行案内等）を記憶する（ステップＣ１、Ｃ２）。これら情報を適宜に配信するタイミングとして、例えば映画の興行案内であれば上映が行われる週末近くに、またトラベル案内であれば旅行出発時期の所定期間前に配信可能な情報として抽出する（ステップＣ３、Ｃ４）。更に、配信可能なユーザ（携帯通信端末１００）の有無を判定する（ステップＣ５、Ｃ６）。該当するユーザの携帯通信端末１００に当該情報の配信を行う（ステップＣ７）。そして、利用者情報ＤＢを更新する（ステップＣ８）。
【００４０】
尚、配信可能な携帯通信端末１００としては、例えば最近の学習テキストにおいて、映画について学習したのであれば映画の興行案内が配信可能と判断し、××国の気候風土等について学習したのであれば当該国へのトラベル案内が配信可能と判断される。また、配信情報は、学習時の回答添削情報の送信時（図３におけるステップＡ１６、Ａ１７）に、解答情報と共に送信するようにしても良い。
【００４１】
以上、本発明による学習システムの好適実施例の構成および動作を詳述した。しかし、斯かる実施例は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではないことに留意されたい。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。例えば、上述した好適実施例では、語学学習の場合について説明したが、本発明は語学学習に限定されるものではなく、発声を伴う歌や詩吟等の学習又は練習指導にも応用可能である。
【図面の簡単な説明】
【００４２】
【図１】本発明による学習システムの好適実施例である語学学習システムの全体構成を示すブロック図である。
【図２】図１中の携帯通信端末の構成を示すブロック図である。
【図３】図１および図２に示す本発明による語学学習システムにおける「通常学習モード」の動作を説明するシーケンス図である。
【図４】図１および図２に示す本発明による語学学習システムにおける「無音学習モード」の動作を説明するシーケンス図である。
【図５】携帯通信端末の動作を説明するフローチャートである。
【図６】本発明の好適実施例の語学学習システムにおける学習メニューの具体例である。
【図７】本発明で使用する携帯通信端末の主要部の具体例である。
【符号の説明】
【００４３】
１０  学習システム
１００  携帯通信端末
１０１  携帯通信部
１０２  操作部
１０３  表示部
１０４  検出部（口舌形状・振動検出手段）
１０９  音声合成部
１１０  撮像部（口舌形状検出手段）
１１２  記憶部
１２０  ヘッドセット
【図１】
2005266092.tif 000003
【図２】
2005266092.tif 000004
【図３】
2005266092.tif 000005
【図４】
2005266092.tif 000006
【図５】
2005266092.tif 000007
【図６】
2005266092.tif 000008
【図７】
2005266092.tif 000009