(57)【要約】【課題】  自分の口の形や動きを記録できる語学学習装置を提供すること。【解決手段】  本発明は、話者の口の形および動きを示すユーザ動画を撮影する撮影手段と、模範となる話者の口の形および動きを模範動画として記憶する第１の記憶手段と、前記第１の記憶手段に記憶された模範動画と前記撮影手段により撮影されたユーザ動画とから、合成動画を生成する生成手段と、前記生成手段により生成された合成動画を記憶する第２の記憶手段とを有する語学学習装置を提供する。【選択図】  図１
2006163269.tif 000002
【特許請求の範囲】
【請求項１】
話者の口の形および動きを示すユーザ動画を撮影する撮影手段と、
模範となる話者の口の形および動きを模範動画として記憶する第１の記憶手段と、
前記第１の記憶手段に記憶された模範動画と前記撮影手段により撮影されたユーザ動画とから、合成動画を生成する生成手段と、
前記生成手段により生成された合成動画を記憶する第２の記憶手段と
を有する語学学習装置。
【請求項２】
前記生成手段により生成された合成動画を表示する表示手段をさらに有する請求項１に記載の語学学習装置。
【請求項３】
前記生成手段により生成される合成動画の態様を決定するパラメータを指定するパラメータ指定手段をさらに有し、
前記生成手段が、前記パラメータ指定手段により指定されたパラメータにより決定される態様で合成動画の生成を行う
ことを特徴とする請求項１に記載の語学学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者の口の形を撮影するためのカメラを有する語学学習装置に関する。
【背景技術】
【０００２】
外国語あるいは母国語の語学学習、特に、発音あるいは発話の独習においては、ＣＤ（Compact Disk）等の記録媒体に記録された模範音声を再生し、その模範音声の真似をして発音あるいは発話するという学習方法が広く用いられている。これは模範音声の真似をすることで正しい発音を身につけることを目的とするものである。特に外国語の学習においては、母国語には無い発音を習得しなければならない場合がある。例えば、英語の「th」の発音は日本語には無いものである。このような母国語に無い発音を習得することは難しく、例えば英語を母国語とする者が「th」と発音した音声を聞いても、初めて英語を学習する日本人はその発音を真似しようにも発音方法がまったく分からないという問題がある。
【０００３】
母国語に無い発音を学習するためには、生徒（学習者）に対し模範音声を音で聞かせるだけでなく、模範音声を発声するときの口の形や動き等を映像で示し視覚的に確認させる必要がある。すなわち、まず第１には模範となる話者（先生）の口の形や動き等を映像で示す必要がある。学習者である話者（生徒）は先生の口の形や動き等を映像で確認し、その口の形や動き等を真似て発音することにより、より正確な発音方法を習得することができるものである。
ここで、学習をより効率的に進めるためには生徒自身の口の形や動き等を映像で示すことが有効である。生徒が、先生の音声を聴覚的に真似て発音することに加え、自分の口の形や動き等を視覚的に確認しながら先生の口の形や動きを真似ることにより、より正確な発音方法を習得することができるものである。
【０００４】
このように話者の口の形や動き等の映像を提示あるいは記録する技術としては、例えば非特許文献１および特許文献１〜２に記載の技術がある。非特許文献１は、話者の口を鏡に投影し、話者から見えるようにする技術を開示している。特許文献１は、音声認識システムにおいて、話者の口元の領域を横方向からビデオカメラで撮影し、唇の形状を認識することで発話された音声の音声認識精度を向上させる技術を開示している。特許文献２は、音声認識システムにおいて、発話者の調音器官（口の中および口の周辺）にあらかじめ特定のパターンを持った光を照射し、そのパターンの変化をカメラで読み取ることで調音器官の動作を認識し、音声認識制度を向上させる技術を開示している。
【非特許文献１】中村敬和、外３名、「聴覚障害児用  発声練習システム  「あいちゃんの手」」、Ｓａｖｅｍａｔｉｏｎ  Ｒｅｖｉｅｗ、株式会社山武、１９９８年８月、第１６巻、ｐ．９８−１０５
【特許文献１】特開２０００−１１２４９６号公報
【特許文献２】特開２０００−６７２１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１に記載の技術においては、話者（生徒）の口の映像は鏡に映されるものであるため、自分の口の形や動きを後からゆっくりと確認することができないという問題があった。さらに、生徒は先生の口の形や動きと自分の口の形や動きとを比較することができないため、自分の発音方法が本当に正しいのか確認することが困難であるという問題もあった。また、特許文献１、２に記載の技術においては、話者の口の動きはカメラで撮影され記録されるものの、撮影された映像は音声認識の認識率を向上させるために用いられるものであり、撮影した映像の話者へのフィードバックには何ら寄与しないという問題があった。
【０００６】
本発明は上述の事情に鑑みてなされたものであり、自分の口の形や動きを記録し、後から確認することができる語学学習装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、話者の口の形および動きを示すユーザ動画を撮影する撮影手段と、模範となる話者の口の形および動きを模範動画として記憶する第１の記憶手段と、前記第１の記憶手段に記憶された模範動画と前記撮影手段により撮影されたユーザ動画とから、合成動画を生成する生成手段と、前記生成手段により生成された合成動画を記憶する第２の記憶手段とを有する語学学習装置を提供する。
好ましい態様において、この語学学習装置が、前記生成手段により生成された合成動画を表示する表示手段をさらに有してもよい。
別の好ましい態様において、この語学学習装置が、前記生成手段により生成される合成動画の態様を決定するパラメータを指定するパラメータ指定手段をさらに有し、前記生成手段が、前記パラメータ指定手段により指定されたパラメータにより決定される態様で合成動画の生成を行ってもよい。
【発明の効果】
【０００８】
本発明によれば、ユーザ動画と模範動画とが合成されるので、語学学習を行うユーザは自分の発音、発話方法と模範話者の発話、発音方法の違いを視覚的に認識することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係る語学学習装置１の構成を示す図である。語学学習装置１は、話者の音声および口の映像を取得するマイクユニット１０、マイクユニット１０が取得した音声および映像データを処理する処理装置２０、および話者の口の画像等を表示するディスプレイ３０とから構成される。マイクユニット１０はケーブル４０を介して処理装置２０との間で信号の授受を行う。
【００１０】
図２は、マイクユニット１０の構造を示す斜視図である。カメラ１１は、例えばＣＣＤ（Charge Coupled  Devices）カメラあるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の小型撮像デバイスであって、話者（ユーザ）の映像（動画）を撮影し、その映像を示す映像信号をケーブル４０を介して出力する。ライト１２は、被写体である話者の口元を照射する光源である。マイク１３は、話者の音声を取得し、その音声を示す音声信号をケーブル４０を介して出力する。マイクユニット１０を使用する際、話者は把持部１４を手で持ち、位置決め部材１５の先端部分を自らの鼻の下に当てて使用する。位置決め部材１５は、例えば図２中に示されるように、径の異なる２本のパイプ（パイプ１５ａおよびパイプ１５ｂ）を用いてその長さを調節可能な構成としてもよい。すなわち、径の小さなパイプ１５ａを径の大きなパイプ１５ｂの内部に収納し、ネジ１５ｃを用いてパイプ１５ａを固定する構成としてもよい。あるいは、位置決め部材１５は、ある決まった長さを有する部材のみで構成してもよい。
また、把持部１４にはスイッチ１６が設けられている。スイッチ１６は、話者の操作に応じた操作信号をケーブル４０を介して出力する。スイッチ１６の詳細な機能については後述する。
【００１１】
図３は、処理装置２０のハードウェア構成を示すブロック図である。ＣＰＵ（Central Processing Unit）２１は、ＲＡＭ（Random Access Memory）２２を作業エリアとして、ＲＯＭ（Read Only Memory）２３あるいはＨＤＤ（Hard Disk Drive）２４に記憶されているプログラムを読み出して実行する。ＨＤＤ２４は、各種アプリケーションプログラムやデータを記憶する記憶装置である。本実施形態に関して、特に、ＨＤＤ２４は、語学学習プログラム、この語学学習プログラムで使用する模範動画データ、および模範動画データの音声トラックとして模範音声データを記憶している。模範動画データは、先生である話者（模範話者）が例文を発話したときの口元の映像および音声を記録したものである。模範音声は、後述するユーザ動画の記録と同様の方法で記録される。
【００１２】
画像処理部２５は、動画データが入力されると、その動画データに応じてディスプレイ３０を制御する制御信号を出力する。ディスプレイ３０は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置であり、画像処理部２５からの制御信号に従って動画を表示する。動画データの音声トラックを含む音声データはＤＡＣ２６でアナログ音声信号に変換され、スピーカ２７から音声が再生される。
話者（使用者）は、キーボード２８を操作することにより処理装置２０に対し指示入力を行うことができる。また、処理装置２０はＩ／Ｆ２９を介してケーブル４０に接続されており、マイクユニット１０と信号の授受を行うことができる。
以上の各構成要素はバス９９を介して相互に接続されている。
【００１３】
続いて、語学学習装置１の動作について説明する。話者（使用者）がキーボード２８を操作する等の方法により、語学学習プログラムの実行を指示すると、ＣＰＵ２１はＨＤＤ２４から語学学習プログラムを読み出して実行する。この語学学習プログラムを実行することにより、語学学習装置１は本実施形態に係る各機能を有する。
【００１４】
語学学習プログラムを実行すると、ＣＰＵ２１は、ＨＤＤ２４に記憶されている複数の模範動画データから１の模範動画データを選択して読み出す。ここで、１の模範動画データを選択する方法は、ＣＰＵ２１が模範動画データのリストをディスプレイ３０に表示させ、話者がキーボード２８を操作することによりその中から任意のものを選択してもよいし、語学学習プログラムに模範動画データを読み出す順番があらかじめ記憶させておき、その順番に従って自動的に模範動画データを選択する構成としてもよい。
【００１５】
ＣＰＵ２１は読み出した模範動画データを画像処理部２５に出力する。また、ＣＰＵ２１は、模範動画データの音声トラックに記録された音声データをＤＡＣ２６に出力する。これによりディスプレイ３０上には模範動画が、スピーカ２７からは模範音声が再生される。なお、模範動画データは圧縮形式のデータでも非圧縮形式のデータでもよい。圧縮形式の動画データを用いた場合、動画データを伸張処理する必要がある。その場合、本実施形態においてはＣＰＵ２１が伸張処理を行うが、伸張処理を行うための処理回路等を別途設けてもよい。
【００１６】
話者は、ディスプレイ３０上で再生された模範動画を見て、また同時にスピーカ２７から再生された模範音声を聞いて、模範音声を真似して、また、模範動画で示される口の形および口の動きを真似して発声する。発声の際、話者はマイクユニット１０の把持部１４を握り、位置決め部材１５の先端部を自分の顔の所定位置（図１では鼻と口の間）に当てる。こうすることにより、カメラ１１と話者の口との距離を一定に保つことができる。すなわち、画像における口の位置を一定に保つことができる。
【００１７】
カメラ１１は撮影した話者の口の映像の映像信号を処理装置２０に出力する。また、話者は発声している間はスイッチ１６を押し続ける。スイッチ１６は、押されている間、処理装置２０に対しスイッチ１６が押されている旨を示す押下信号を出力する。処理装置２０のＣＰＵ２１は、押下信号を受信している間は、受信した映像信号をデジタル映像データに変換してＨＤＤ２４に保存する。話者がスイッチ１６の押下をやめ、押下信号が出力されなくなると、ＣＰＵ２１は映像データの記録を停止する。すなわち、話者がスイッチ１６を押している間のみ、話者の口元の映像が記録される（こうして記録された話者の口元の映像を「ユーザ動画データ」という）。話者の発話した音声についても同様である。すなわち、話者がスイッチ１６を押している間のみ、話者の音声が記録される。
【００１８】
話者が発話を終了すると、すなわち、話者がスイッチ１６の押下を終了すると、ＣＰＵ２１は、模範動画データとユーザ動画データから、模範動画とユーザ動画を混合した混合動画データを生成する。混合動画データは、例えば以下のように生成される。ＲＡＭ２２は、動画を混合する方法を指定するパラメータＡ、および指定された混合方法における混合の態様を指定するパラメータＢとを記憶している。動画の混合方法は例えば以下に説明するものがある。図４は、動画の混合方法を例示する図である。動画の混合方法としては、例えば、模範動画Ｍとユーザ動画Ｕとを重ね合わせる方法（図４（Ａ））、模範動画Ｍとユーザ動画Ｕとを並べる方法（図４（Ｂ））、模範動画Ｍの一部にユーザ動画Ｕを挿入する方法（図４（Ｃ））、ユーザ動画Ｕの一部に模範動画Ｍを挿入する方法（図４（Ｄ））等がある。また、混合の態様を指定するパラメータとしては、例えば、模範動画とユーザ動画とを重ね合わせる混合方法において、量社の動画を重ね合わせる割合がある。すなわち、模範動画：ユーザ動画＝１：１の割合で重ね合わせる場合には、模範動画およびユーザ動画はそれぞれ同じ濃度で画面上に表示される。また例えば模範動画：ユーザ動画＝１：３の割合で重ね合わせる場合には、ユーザ動画が模範動画の３倍の濃度で画面上に表示される。
【００１９】
ＣＰＵ２１は、上述のパラメータＡおよびＢで指定される方法および態様で混合動画データを生成する。ＣＰＵ２１は、生成した混合動画データをＨＤＤ２４に記憶する。また、ＣＰＵ２１は、生成した混合動画を画像処理部２５に出力する。画像処理部２５は、混合動画データに応じた制御信号をディスプレイ３０に出力する。こうして、ディスプレイ３０には、先生の模範動画および話者（生徒）のユーザ動画が重ね合わされた混合動画が表示される。なお、合成動画の生成および再生に関して、データの合成と再生をリアルタイムで行ってもよいし、合成動画データを最初から最後まで生成してＲＡＭ２２あるいはＨＤＤ２４に記憶した後で再生してもよい。
【００２０】
＜変形例１＞
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。
上述の実施形態において、ユーザの指示入力により合成動画を生成する態様を変化させる構成としてもよい。具体的には、例えば以下のとおりである。合成動画の再生の際、ＣＰＵ２１は、ディスプレイ３０上に指示入力用のメニュー画面を表示させる。このメニュー画面には、例えば、スイッチ１６を１回押すとパラメータＢの値を１増加させ、スイッチ１６を２回押すとパラメータＢの値を１減少させるという旨のメッセージが記されている。いま、模範動画とユーザ動画の混合方法が、重ね合わせである場合について考える。パラメータＢは模範動画の濃度に対するユーザ動画の相対的濃度を示すパラメータである。また、パラメータＢの初期値は１、すなわち、模範動画Ｍとユーザ動画Ｕは１：１の濃度で重ね合わされている（図５（Ａ））。また、混合動画データの生成は、再生と同時にリアルタイムで行われている。ここで、ユーザがメニュー画面に従ってスイッチ１６を１回押すと、パラメータＢの値は１増加する。ＣＰＵ２１はパラメータＢに従って、ユーザ動画が模範動画の２倍の濃度となるようにデータを処理して両者を重ね合わせる。こうしてユーザの指示入力によりユーザ動画Ｕの濃度が濃くなる、すなわち、混合動画生成の態様が変化する（図５（Ｂ））。同様にして、混合動画生成の方法を変化させてもよい。
【００２１】
＜変形例２＞
位置決め部材１５の形状は、図２に示されるものに限られない。すなわち、ユーザの鼻と口の間に着けて使用する構成でなくてもよい。例えば、ユーザの頭部に装着して使用するヘッドギアあるいはヘッドバンドのような構造でもよい（図６）。あるいは、腕、肩、胸等、顔や頭以外の部分に装着する構成としてもよい。要するに、撮影手段であるカメラと、被写体である口との相対的位置関係を固定できる構造であればどのようなものでもよい。
【００２２】
＜他の変形例＞
変形例１で説明した構成と、変形例２で説明した構成とを組み合わせて用いてもよい。また、語学学習装置１にディスプレイ３０を設けず、語学学習装置１はユーザ動画あるいは混合動画をＨＤＤ２４あるいはＲＡＭ２２に記憶するだけでもよい。ユーザはＩ／Ｆ２９を介してＨＤＤ２４あるいはＲＡＭ２２に記憶されたデータを読み出し、パーソナルコンピュータ等の他の装置で読み出したデータを再生することができる。また、マイクユニット１０と処理装置２０との間での信号の授受は無線通信により行ってもよい。
あるいは、ユーザ動画あるいは合成動画をデータとしてＨＤＤ２４に記憶せず、リアルタイムでの再生のみ行う構成としてもよい。
また、上述の実施形態においては、ＣＰＵ２１が語学学習プログラムを実行することにより語学学習装置としての機能が実現されたが、動画の合成等の処理を専用の電子回路等のハードウェア装置を用いて実現してもよい。
また、上述の実施形態においては、ユーザ動画、模範動画、混合動画はすべてデジタルデータとして記憶される態様について説明したが、これらのうち一部または全部をアナログ信号として記憶する攻勢としてもよい。この場合ＨＤＤ２４に代わる記憶手段として磁気テープおよび磁気テープレコーダを用いてもよい。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る語学学習装置１の構成を示す図である。
【図２】マイクユニット１０の構造を示す斜視図である。
【図３】処理装置２０のハードウェア構成を示すブロック図である。
【図４】動画の混合方法を例示する図である。
【図５】別の実施形態に係る動画の混合方法を例示する図である。
【図６】別の実施形態に係るマイクユニット１０の構造を示す図である。
【符号の説明】
【００２４】
１…語学学習装置、１０…マイクユニット、１１…カメラ、１２…ライト、１３…マイク、１４…把持部、１５…位置決め部材、１６…スイッチ、２０…処理装置、２１…ＣＰＵ、２２…ＲＡＭ、２４…ＨＤＤ、２５…画像処理部、２６…ＤＡＣ、２７…スピーカ、２８…キーボード、２９…Ｉ／Ｆ、３０…ディスプレイ、４０…ケーブル、９９…バス
【図１】
2006163269.tif 000003
【図２】
2006163269.tif 000004
【図３】
2006163269.tif 000005
【図４】
2006163269.tif 000006
【図５】
2006163269.tif 000007
【図６】
2006163269.tif 000008