(57)【要約】【課題】訓練者が、正しい発音を行うための唇の形や動き等を直接的に確認することができると共に、効率良く発音の訓練を行うことができる発音訓練装置を提供する。【解決手段】訓練者音声発生位置において訓練者が発した言語である訓練者発生言語及び指導者音声発生位置において指導者が発した言語である指導者発生言語をそれぞれ認識する言語認識手段と、言語認識手段によって認識した訓練者発生言語を可視化した訓練者発生言語可視化文字に変換すると共に、言語認識手段によって認識した指導者発生言語を可視化した指導者発生言語可視化文字に変換する文字変換手段と、撮像画像内における訓練者音声可視化表示位置に訓練者発生言語可視化文字を表示する制御を行うと共に、撮像画像内における指導者音声可視化表示位置に指導者発生言語可視化文字を表示する制御を行う表示制御手段と、を備える。【選択図】図１
2010185967.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮像した訓練者の画像及び指導者の画像を含む撮像画像を表示可能な表示領域を有する表示手段と、
前記訓練者が発した音声である訓練者音声及び前記指導者が発した音声である指導者音声をそれぞれ集音可能な集音手段と、
前記集音手段によって集音した前記訓練者音声及び前記指導者音声に基づいて、該訓練者音声が発せられた訓練者音声発生位置及び該指導者音声が発せられた指導者音声発生位置をそれぞれ特定する位置特定手段と、
前記位置特定手段によって特定した前記訓練者音声発生位置と、前記表示領域に表示する撮像画像内における訓練者音声可視化表示位置とを相関付けすると共に、前記位置特定手段によって特定した前記指導者音声発生位置と、前記表示領域に表示する撮像画像内における指導者音声可視化表示位置とを相関付けする相関手段と、
前記訓練者音声発生位置において前記訓練者が発した言語である訓練者発生言語及び前記指導者音声発生位置において前記指導者が発した言語である指導者発生言語をそれぞれ認識する言語認識手段と、
前記言語認識手段によって認識した前記訓練者発生言語を可視化した訓練者発生言語可視化文字に変換すると共に、前記言語認識手段によって認識した前記指導者発生言語を可視化した指導者発生言語可視化文字に変換する文字変換手段と、
前記相関手段によって前記訓練者音声発生位置と相関付けされた前記訓練者音声可視化表示位置に前記訓練者発生言語可視化文字を表示する制御を行うと共に、前記相関手段によって前記指導者音声発生位置と相関付けされた前記指導者音声可視化表示位置に前記指導者発生言語可視化文字を表示する制御を行う表示制御手段と、
を備えることを特徴とする発音訓練装置。
【請求項２】
前記集音手段は、
前記訓練者音声及び前記指導者音声をそれぞれ集音するために、所定の水平間隔を隔てて配置された一対のマイクロフォン同士を互いに直交して配置したマイクロフォン群と、
前記訓練者音声及び前記指導者音声をそれぞれ集音するために、前記一対のマイクロフォンを構成する各マイクロフォンから前記水平間隔と同一の間隔である対向間隔を隔てて配置された対向マイクロフォンと、を備え、
前記位置特定手段は、
前記訓練者音声が、前記一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記訓練者音声発生位置を算出すると共に、
前記指導者音声が、前記一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記指導者音声発生位置を算出することを特徴とする請求項１に記載の発音訓練装置。
【請求項３】
前記言語認識手段によって認識した前記訓練者発生言語と前記言語認識手段によって認識した前記指導者発生言語とを比較して、前記訓練者発生言語が前記指導者発生言語に一致する正解判定もしくは前記訓練者発生言語が前記指導者発生言語に一致しない不正解判定を行う判定手段と、
前記判定手段による前記正解判定の結果もしくは前記不正解判定の結果を前記表示領域に表示する制御を行う判定結果表示制御手段と、
を備えることを特徴とする請求項１又は２に記載の発音訓練装置。
【請求項４】
前記文字変換手段は、前記集音手段によって集音した前記訓練者音声の音量及び前記指導者音声の音量に基づいて、前記訓練者発生言語可視化文字の大きさ及び前記指導者発生言語可視化文字の大きさをそれぞれ変化させ、
前記表示制御手段は、
前記文字変換手段によって変化させた前記訓練者発生言語可視化文字の大きさで、前記訓練者音声可視化表示位置に前記訓練者発生言語可視化文字を表示すると共に、
前記文字変換手段によって変化させた前記指導者発生言語可視化文字の大きさで、前記指導者音声可視化表示位置に前記指導者発生言語可視化文字を表示する
ことを特徴とする請求項１ないし３のいずれかに記載の発音訓練装置。
【請求項５】
前記訓練者音声可視化表示位置及び前記指導者音声可視化表示位置を、前記表示領域の任意の位置に調整する表示位置調整手段を備えることを特徴とする請求項１ないし４のいずれかに記載の発音訓練装置。
【請求項６】
前記訓練者は聴覚障害者であることを特徴とする請求項１ないし５のいずれかに記載の発音訓練装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、訓練者が発した言語及び指導者が発した言語をそれぞれ可視化した文字を表示領域に表示する発音訓練装置に関する。
【背景技術】
【０００２】
特許文献１には、一人でも容易に正しい発声又は発音練習を行うことができるようにした音声表示装置が開示されている。特許文献１の音声表示装置では、表示部が、話し手の発声又は発音を示す検出パターン形状と、予め登録された正しい発声又は発音を示す基準パターン形状とを並べて表示し、話し手は、検出パターン形状と基準パターン形状とを、表示部の画面上で並べて視認することができる。
【０００３】
したがって、話し手は、表示部の画面上に表示された検出パターン形状及び基準パターン形状を見ながら、両パターン形状の差異を無くすように、発声又は発音を繰り返すことにより、自分の発声又は発音を修正して、正しい発声又は発音を習得することができる。
【０００４】
また、特許文献２には、音源の方向を推定すると共に、推定された音源位置近傍の映像をカメラで採取し、ディスプレイに表示された前記音源位置近傍の映像上に、音源位置を表示する音源探査システムに関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３４３８９０号公報
【特許文献２】特開２００２−１８１９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記の音声表示装置では、話し手である訓練者は、画面上に表示された基準パターン形状を視認することはできるが、基準パターン形状に対応する音声を発する際の唇の形や動き等を直接的に視認することはできなかった。このため、訓練者は、直接的に唇の形や動き等を知ることができないため、検出パターンと基準パターンとの差異を無くする訓練を行う場合には、基準パターン形状に対応する音声を発することが可能な唇の形や動き等を想定し、何度も試行錯誤しながら、検出パターン形状を基準パターン形状に近づけることを繰り返さなければならなかった。
【０００７】
したがって、上記の音声表示装置では、訓練者が、検出パターン形状を基準パターン形状に近づけるまでに長時間を要することがあり、効率良く発音の訓練を行っているとは言い難かった。
【０００８】
この発明は、このような状況に鑑み提案されてものであって、訓練者が、正しい発音を行うための唇の形や動き等を直接的に確認することができると共に、効率良く発音の訓練を行うことができる発音訓練装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求１の発明に係る発音訓練装置は、カメラによって撮像した訓練者の画像及び指導者の画像を含む撮像画像を表示可能な表示領域を有する表示手段と、前記訓練者が発した音声である訓練者音声及び前記指導者が発した音声である指導者音声をそれぞれ集音可能な集音手段と、前記集音手段によって集音した前記訓練者音声及び前記指導者音声に基づいて、該訓練者音声が発せられた訓練者音声発生位置及び該指導者音声が発せられた指導者音声発生位置をそれぞれ特定する位置特定手段と、前記位置特定手段によって特定した前記訓練者音声発生位置と、前記表示領域に表示する撮像画像内における訓練者音声可視化表示位置とを相関付けすると共に、前記位置特定手段によって特定した前記指導者音声発生位置と、前記表示領域に表示する撮像画像内における指導者音声可視化表示位置とを相関付けする相関手段と、前記訓練者音声発生位置において前記訓練者が発した言語である訓練者発生言語及び前記指導者音声発生位置において前記指導者が発した言語である指導者発生言語をそれぞれ認識する言語認識手段と、前記言語認識手段によって認識した前記訓練者発生言語を可視化した訓練者発生言語可視化文字に変換すると共に、前記言語認識手段によって認識した前記指導者発生言語を可視化した指導者発生言語可視化文字に変換する文字変換手段と、前記相関手段によって前記訓練者音声発生位置と相関付けされた前記訓練者音声可視化表示位置に前記訓練者発生言語可視化文字を表示する制御を行うと共に、前記相関手段によって前記指導者音声発生位置と相関付けされた前記指導者音声可視化表示位置に前記指導者発生言語可視化文字を表示する制御を行う表示制御手段と、を備えることを特徴とする。
請求項１の発明に係る発音訓練装置によれば、表示制御手段によって、訓練者の画像及び指導者の画像を含む撮像画像内における訓練者音声可視化表示位置に訓練者発生言語可視化文字を表示する制御を行うと共に、前記撮像画像内における指導者音声可視化表示位置に指導者発生言語可視化文字を表示する制御を行う。
これにより、上記の表示領域には、訓練者の画像及び指導者の画像を含む撮像画像を表示すると同時に、該撮像画像内に訓練者発生言語可視化文字や指導者発生言語可視化文字を表示することができる。
したがって、訓練者が、表示領域に表示された訓練者発生言語可視化文字と指導者発生言語可視化文字とを比較して、該訓練者発生言語可視化文字が該指導者発生言語可視化文字とは異なることを確認することにより、訓練者自らが発した言語が指導者が発した言語とは異なることを認識することができる。
加えて、訓練者は、訓練者自らが発した言語が指導者が発した言語とは異なることを認識すると同時に、表示領域に表示された指導者の画像によって表される唇の形や動き等を直接的に確認しながら、訓練者の唇の形や動き等を指導者の唇の形や動き等に合わせることが可能となる。
これに伴って、訓練者は、訓練者自らが発する言語を指導者が発する言語に近づけるように矯正する訓練を効率良く行うことができる。
【００１０】
請求項２の発明は、請求項１において、前記集音手段は、前記訓練者音声及び前記指導者音声をそれぞれ集音するために、所定の水平間隔を隔てて配置された一対のマイクロフォン同士を互いに直交して配置したマイクロフォン群と、前記訓練者音声及び前記指導者音声をそれぞれ集音するために、前記一対のマイクロフォンを構成する各マイクロフォンから前記水平間隔と同一の間隔である対向間隔を隔てて配置された対向マイクロフォンと、を備え、前記位置特定手段は、前記訓練者音声が、前記一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記訓練者音声発生位置を算出すると共に、前記指導者音声が、前記一対のマイクロフォンに到達する時間差及び前記各マイクロフォンと前記対向マイクロフォンとの間に到達する時間差をそれぞれ用い、双曲線法によって、前記指導者音声発生位置を算出することを特徴とする。
請求項２の発明によれば、位置特定手段が、マイクロフォン群を構成する所定の間隔を隔てて配置された各一対のマイクロフォン及び各一対のマイクロフォンを構成する各マイクロフォンと対向マイクロフォンとの間にそれぞれ到達する訓練者音声や指導者音声の到達時間差を用い、双曲線法によって、訓練者音声発生位置や指導者音声発生位置を算出する。
このため、訓練者音声が発せられた位置や指導者音声が発せられた位置が順次変化した場合であっても、双曲線法により、各一対のマイクロフォンの間や、上記の各マイクロフォンと対向マイクロフォンとの間をそれぞれ通過する複数の双曲線軌跡の交点を、前記訓練者音声発生位置や前記指導者音声発生位置として定めることができる。
【００１１】
請求項３の発明は、請求項１又は２において、前記言語認識手段によって認識した前記訓練者発生言語と前記言語認識手段によって認識した前記指導者発生言語とを比較して、前記訓練者発生言語が前記指導者発生言語に一致する正解判定もしくは前記訓練者発生言語が前記指導者発生言語に一致しない不正解判定を行う判定手段と、前記判定手段による前記正解判定の結果もしくは前記不正解判定の結果を前記表示領域に表示する制御を行う判定結果表示制御手段と、を備えることを特徴とする。
請求項３の発明によれば、判定結果表示制御手段により、表示領域に、正解判定の結果もしくは不正解判定の結果を表示する制御を行う。
これにより、判定結果表示制御手段によって表示領域に表示されたいずれかの判定結果（正解判定の結果もしくは不正解判定の結果）に基づいて、訓練者は、該訓練者自らが発した言語が指導者が発した言語に一致する正しい発音ができているか否かを、一目で簡単に確認することができる。
【００１２】
請求項４の発明は、請求項１ないし３のいずれかにおいて、前記文字変換手段は、前記集音手段によって集音した前記訓練者音声の音量及び前記指導者音声の音量に基づいて、前記訓練者発生言語可視化文字の大きさ及び前記指導者発生言語可視化文字の大きさをそれぞれ変化させ、前記表示制御手段は、前記文字変換手段によって変化させた前記訓練者発生言語可視化文字の大きさで、前記訓練者音声可視化表示位置に前記訓練者発生言語可視化文字を表示すると共に、前記文字変換手段によって変化させた前記指導者発生言語可視化文字の大きさで、前記指導者音声可視化表示位置に前記指導者発生言語可視化文字を表示することを特徴とする。
請求項４の発明によれば、表示制御手段により、訓練者音声の音量に基づいて変化させた訓練者発生言語可視化文字の大きさで、訓練者音声可視化表示位置に訓練者発生言語可視化文字を表示すると共に、指導者音声の音量に基づいて変化させた指導者発生言語可視化文字の大きさで、指導者音声可視化表示位置に指導者発生言語可視化文字を表示する。
このため、訓練者は、訓練者発生言語可視化文字の大きさと指導者発生言語可視化文字の大きさとを比較して、訓練者音声の音量が指導者音声の音量に適合しているか否かを判断することができる。
【００１３】
請求項５の発明は、請求項１ないし４のいずれかにおいて、前記訓練者音声可視化表示位置及び前記指導者音声可視化表示位置を、前記表示領域の任意の位置に調整する表示位置調整手段を備えることを特徴とする。
請求項５の発明によれば、表示位置調整手段により、訓練者音声可視化表示位置及び指導者音声可視化表示位置を、表示領域の任意の位置に調整することができるため、表示領域における訓練者音声可視化表示位置及び指導者音声可視化表示位置を、該表示領域における訓練者の画像及び指導者の画像をそれぞれ遮ることがない位置に調整することが可能になる。
これにより、訓練者は、訓練者音声可視化表示位置の訓練者発生言語可視化文字及び指導者音声可視化表示位置の指導者発生言語可視化文字を、訓練者の画像及び指導者の画像からそれぞれ離して別個に確認することができる。
このため、訓練者発生言語可視化文字と指導者発生言語可視化文字との比較や、訓練者の画像と指導者の画像との比較をそれぞれ容易に行うことができる。
【００１４】
請求項６の発明は、請求項１ないし５のいずれかにおいて、前記訓練者は聴覚障害者であることを特徴とする。
請求項６の発明によれば、上記の表示領域には、聴覚障害者の画像及び指導者の画像を含む撮像画像を表示すると同時に、該撮像画像内に聴覚障害者発生言語可視化文字や指導者発生言語可視化文字を表示することができる。
したがって、聴覚障害者が、表示領域に表示された聴覚障害者発生言語可視化文字と指導者発生言語可視化文字とを比較して、該聴覚障害者発生言語可視化文字が該指導者発生言語可視化文字とは異なることを確認することにより、聴覚障害者自らが発した言語が指導者が発した言語とは異なることを認識することができる。
加えて、聴覚障害者は、聴覚障害者自らが発した言語が指導者が発した言語とは異なることを認識すると同時に、表示領域に表示された指導者の画像によって表される唇の形や動き等を直接的に確認しながら、聴覚障害者の唇の形や動き等を指導者の唇の形や動き等に合わせることが可能となる。
これに伴って、聴覚障害者は、聴覚障害者が発する言語を指導者が発する言語に近づけるように矯正する訓練を効率良く行うことができる。
【発明の効果】
【００１５】
本発明の発音訓練装置によれば、表示制御手段によって、訓練者の画像及び指導者の画像を含む撮像画像内における訓練者音声可視化表示位置に訓練者発生言語可視化文字を表示する制御を行うと共に、前記撮像画像内における指導者音声可視化表示位置に指導者発生言語可視化文字を表示する制御を行う。
これにより、上記の表示領域には、訓練者の画像及び指導者の画像を含む撮像画像を表示すると同時に、該撮像画像内に訓練者発生言語可視化文字や指導者発生言語可視化文字を表示することができる。
したがって、訓練者が、表示領域に表示された訓練者発生言語可視化文字と指導者発生言語可視化文字とを比較して、該訓練者発生言語可視化文字が該指導者発生言語可視化文字とは異なることを確認することにより、訓練者自らが発した言語が指導者が発した言語とは異なることを認識することができる。
加えて、訓練者は、訓練者自らが発した言語が指導者が発した言語とは異なることを認識すると同時に、表示領域に表示された指導者の画像によって表される唇の形や動き等を直接的に確認しながら、訓練者の唇の形や動き等を指導者の唇の形や動き等に合わせることが可能となる。
これに伴って、訓練者は、訓練者自らが発する言語を指導者が発する言語に近づけるように矯正する訓練を効率良く行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態の発音訓練装置の概略構成図である。
【図２】同発音訓練装置を構成するパーソナルコンピュータの概略ブロック図である。
【図３】同発音訓練装置が実行する処理に関するフローチャートである。
【図４】同発音訓練装置が実行する音源位置特定処理の説明図である。
【図５】同発音訓練装置が実行する表示画像座標変換処理の説明図である。
【図６】同発音訓練装置によって発音訓練を行う際にディスプレイに画像が表示された状態を示す図である。
【図７】指導者音声の音圧レベルに比べて聴覚障害者音声の音圧レベルが低いときにディスプレイに画像が表示された状態を示す図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態１を、図１ないし図７を参照しつつ説明する。図１は、本実施形態の発音訓練装置１の概略構成図である。発音訓練装置１は、測定ユニット１０と、増幅器２０と、ローパスフィルタ３０と、Ａ／Ｄ変換器４０と、パーソナルコンピュータ５０と、ビデオ入出力ユニット６０と、大型ディスプレイ７０とを備えている。
【００１８】
図１に示すように、測定ユニット１０は、支持部材１５Ａ〜１５Ｃと、基台１６と、ＣＣＤカメラ１７と、マイクロフォン支持台１８と、マイクロフォンＭ１〜Ｍ５とを備えている。基台１６は、支持部材１５Ａ〜１５Ｃの上部に配置されている。マイクロフォン支持台１８は、カメラ支持部材によって、基台１６上に支持されている。カメラ支持部材には、ＣＣＤカメラ１７が固定されている。マイクロフォン支持台１８には、マイクロフォンＭ１〜Ｍ５が、取り付けられている。
【００１９】
測定ユニット１０では、マイクロフォンＭ１及びマイクロフォンＭ４によって、一対のマイクロフォンを構成する。マイクロフォンＭ１とマイクロフォンＭ４との水平間隔は、所定の距離に保たれている。さらに、マイクロフォンＭ２及びマイクロフォンＭ３によって、他の一対のマイクロフォンを構成する。マイクロフォンＭ２とマイクロフォンＭ３との水平間隔は、マイクロフォンＭ１とマイクロフォンＭ４との水平間隔と同様に、所定の距離に保たれている。一対のマイクロフォンＭ１、Ｍ４は、他の一対のマイクロフォンＭ２、Ｍ３と直交して配置されている。一対のマイクロフォンＭ１、Ｍ４及び他の一対のマイクロフォンＭ２、Ｍ３によって、マイクロフォン群が形成されている。マイクロフォンＭ５は、各マイクロフォンＭ１〜Ｍ４よりも上方へ突出するように配置されている。マイクロフォンＭ５と、各マイクロフォンＭ１〜Ｍ４とのそれぞれの対向間隔は、マイクロフォンＭ１とマイクロフォンＭ４との水平間隔やマイクロフォンＭ２とマイクロフォンＭ３との水平間隔と同じ距離に保たれている。なお、マイクロフォンＭ５は、本発明の対向マイクロフォンの一例であり、マイクロフォンＭ１〜Ｍ５は、本発明の集音手段の一例である。
【００２０】
各マイクロフォンＭ１〜Ｍ５は、増幅器２０に接続されている。増幅器２０は、各マイクロフォンＭ１〜Ｍ５から送信された音圧信号を増幅する。増幅器２０は、ローパスフィルタ３０に接続されている。ローパスフィルタ３０によって、フィルタを通過する周波数の帯域が制限され、所定の周波数以下（ここでは４５００Ｈｚ以下）の音声信号を通過させる。ローパスフィルタ３０は、Ａ／Ｄ変換器４０に接続されている。Ａ／Ｄ変換器４０は、上記の音圧信号（アナログ信号）をディジタル信号に変換する。ディジタル信号は、パーソナルコンピュータ５０に送信される。
【００２１】
ＣＣＤカメラ１７は、ビデオ入出力ユニット６０に接続されている。ビデオ入出力ユニット６０は、ＣＣＤカメラ１７から送信された撮像信号（アナログ信号）をディジタル信号に変換する。ビデオ入出力ユニット６０によって、ディジタル信号（撮像信号）は、パーソナルコンピュータ５０に送信される。
【００２２】
パーソナルコンピュータ５０は、大型ディスプレイ７０に接続されている。符号７１は、大型ディスプレイ７０の表示領域である。なお、大型ディスプレイ７０は、本発明の表示手段の一例である。
【００２３】
図２は、パーソナルコンピュータ５０の概略ブロック図である。パーソナルコンピュータ５０は、キーボード５１と、演算処理部５２と、記憶部５３とを備えている。
【００２４】
キーボード５１は、演算処理部５２に接続されている。キーボード５１は、マイクロフォンの数、上述したマイクロフォンＭ１とマイクロフォンＭ４との間隔、マイクロフォンＭ２とマイクロフォンＭ３との間隔、マイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４とのそれぞれの間隔、ローパスフィルタ３０を通過させる周波数の設定値等を入力するために用いられる。
【００２５】
演算処理部５２は、記憶部５３、スピーカ５４及び大型ディスプレイ７０にそれぞれ接続されている。記憶部５３は、ディジタル信号（音圧信号）演算処理プログラム記憶部５３Ａと、発音訓練データ処理プログラム記憶部５３Ｂと、画像表示制御プログラム記憶部５３Ｃと、データ記憶部５３Ｄとを備えている。ディジタル信号（音圧信号）演算処理プログラム記憶部５３Ａには、後述する周波数分析処理（Ｓ５）、音源位置特定処理（Ｓ６）、表示画像座標変換処理（Ｓ８）等を実行するプログラムが記憶されている。発音訓練データ処理プログラム記憶部５３Ｂには、後述する発音訓練用言語選択処理（Ｓ３）、言語認識処理（Ｓ７）、発音訓練用言語表示位置調整処理（Ｓ９）、文字変換処理（Ｓ１０）、発音訓練正誤判定処理（Ｓ１１）を実行するプログラムが記憶されている。画像表示制御プログラム記憶部５３Ｃには、後述する発音訓練画像表示処理（Ｓ１２）を実行するプログラム等が記憶されている。また、データ記憶部５３Ｄには、大量の音声サンプルを収集して解析したメル周波数ケプストラム係数（ＭＦＣＣ）の基準データが記憶されている。
【００２６】
演算処理部５２は、後述するように、ＣＣＤカメラ１７によって撮像された発音の指導者及び聴覚障害者の各撮像画像の画像データや、指導者や聴覚障害者がそれぞれ発した音声を文字に変換した文字画像データに基づいて、上記の表示領域７１に表示する表示画像の画像信号、前記文字画像データに関する信号、指導者や聴覚障害者がそれぞれ発した音声に関する音声信号を生成する。続いて、演算処理部５２は、生成した画像信号等を大型ディスプレイ７０に送信し、表示領域７１に、撮像画像に重ね、指導者や聴覚障害者がそれぞれ発した音声に対応させた文字画像を表示する。加えて、演算処理部５２は、上記の音声信号をスピーカ５４に出力し、スピーカ５４は、音声によって指導者や聴覚障害者がそれぞれ発した言語を流す。
【００２７】
次に、演算処理部５２が表示領域７１に指導者及び聴覚障害者のそれぞれの撮像画像、該指導者や該聴覚障害者が発した音声を文字に変換した文字画像を表示する処理について説明する。聴覚障害者は、本発明の訓練者の一例である。発音訓練装置１の電源が投入されると、演算処理部５２は、図３に示すように、初期設定処理（Ｓ１）を実行する。初期設定処理（Ｓ１）では、上記のキーボード５１によって入力されたマイクロフォンの数（ここでは５個）、上述したマイクロフォンＭ１とマイクロフォンＭ４との間隔、マイクロフォンＭ２とマイクロフォンＭ３との間隔、マイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４との間隔、ローパスフィルタ３０を通過させる周波数の設定値を、データ記憶部５３Ｄに記憶する処理を実行する。
【００２８】
演算処理部５２は、初期設定処理（Ｓ１）の後に、初期画面表示処理（Ｓ２）を実行する。初期画面表示処理（Ｓ２）では、上記の画像表示制御プログラム記憶部５３Ｃに記憶されたプログラムを実行することにより、初期画像として、表示領域７１に、発声訓練用の言語の選択メニュー画面を表示する処理を実行する。指導者は、選択メニュー画面によって表示された発声訓練用の言語の内から任意の発声訓練用の言語を選択することができる。選択メニュー画面には、後述する訓練用言語表示位置調整ボタンも表示される。
【００２９】
演算処理部５２は、初期画面表示処理（Ｓ２）の後に、発音訓練用言語選択処理（Ｓ３）を実行する。発音訓練用言語選択処理（Ｓ３）では、指導者によって、上記の選択メニュー画面から、発声訓練用の言語が選択されたか否かを判断する。ここでは、演算処理部５２が、指導者によって選択された発音訓練用言語のデータ（発音訓練用言語データ）がデータ記憶部５３Ｄに記憶されているか否かを判断する。発音訓練用言語選択処理（Ｓ３）では、発音訓練用の言語が選択されたと判断するまで、該発音訓練用の言語が選択された否かの判断が繰り返し行われる。発音訓練用言語選択処理（Ｓ３）では、指導者によって選択された発音訓練用言語データに応じ、文字画像データ（例えば、「ひ」と発音してください。）を生成し、該文字画像データをデータ記憶部５３Ｄに記憶する処理を実行する。
【００３０】
演算処理部５２は、発音訓練用言語選択処理（Ｓ３）の後に、入力信号取得処理（Ｓ４）を実行する。入力信号取得処理（Ｓ４）では、指導者が発した音声（指導者音声）や聴覚障害者が発した音声（聴覚障害者音声）のそれぞれの音圧レベル（音圧信号）、指導者音声（例えば、図６中の「ひ」）に関する音声信号、聴覚障害者音声（例えば、図６中の「い」）に関する音声信号、上記の撮像信号を取得する処理を実行する。ここでは、上記のマイクロフォンＭ１〜Ｍ５によって検出された音圧信号、音声信号及び上記の撮像信号が、図２に示すように、ディジタル信号として、演算処理部５２に入力される。その後、演算処理部５２は、音圧信号（音圧レベルデータ）、音声信号（音声データ）及び撮像信号（撮像データ）を、データ記憶部５３Ｄにそれぞれ記憶する処理を実行する。
【００３１】
演算処理部５２は、入力信号取得処理（Ｓ４）の後に、周波数分析処理（Ｓ５）を実行する。周波数分析処理（Ｓ５）では、上記のディジタル信号（音圧信号）演算処理プログラム記憶部５３Ａに記憶されたプログラム（フーリエ変換処理プログラム）を用い、入力信号取得処理（Ｓ４）によって取得された音圧信号の音圧レベルを分析し、周波数のスペクトル分布を解析する処理を実行する。その後、周波数分析処理（Ｓ５）では、周波数のスペクトル分布に基づいて、ＭＦＣＣを算出する。ここでは、一例として、周波数分析処理（Ｓ５）により、指導者音声及び聴覚障害者音声の各周波数スペクトル分布に基づいて、それぞれ１２個のＭＦＣＣを算出した。加えて、周波数分析処理（Ｓ５）では、ＭＦＣＣのデータをデータ記憶部５３Ｄに記憶する処理を実行する。
【００３２】
演算処理部５２は、周波数分析処理（Ｓ５）の後に、音源位置特定処理（Ｓ６）を実行する。音源位置特定処理（Ｓ６）では、ディジタル信号（音圧信号）演算処理プログラム記憶部５３Ａに記憶されたプログラムを用い、双曲線法によって、マイクロフォン群原点位置Ｏ（図４参照。）と位置Ｐ１、Ｐ２（図４参照。）との間の水平角度θ（図４参照。）を算出する処理を実行する。水平角度θのデータは、データ記憶部５３Ｄに記憶される。マイクロフォン群原点位置Ｏは、マイクロフォンＭ１とマイクロフォンＭ４とを結ぶ直線と、マイクロフォンＭ２とマイクロフォンＭ３とを結ぶ直線とが交わる位置である。位置Ｐ１は、指導者音声が発せられた位置（指導者音声発生位置）であり、位置Ｐ２は、聴覚障害者音声が発せられた位置（聴覚障害者音声発生位置）である。図中の符号Ｌ１は、マイクロフォン群原点位置Ｏに正対した位置Ｏ１から位置Ｐ１、Ｐ２までの水平距離であり、符号Ｌ２は、マイクロフォン群原点位置Ｏから位置Ｏ１までの距離である。また、符号Ｌ４は、位置Ｏ１から下方に延ばした垂直線と、位置Ｐ１、Ｐ２から左方に向けて延ばした水平線との交点Ｏ２が、位置Ｏ１から離れた距離である。
【００３３】
水平角度θの値は、マイクロフォンＭ１とマイクロフォンＭ４との間の距離、マイクロフォンＭ２とマイクロフォンＭ３との間の距離、位置Ｐ１における指導者音声又は位置Ｐ２における聴覚障害者音声が一対のマイクロフォンＭ１、Ｍ４に到達する時間差、位置Ｐ１における指導者音声又は位置Ｐ２における聴覚障害者音声が他の一対のマイクロフォンＭ２、Ｍ３に到達する時間差によって変化する。水平角度θは、下記の式（１）を用いて算出される。なお、ＤＸは、一対のマイクロフォンＭ１、Ｍ４における指導者音声又は聴覚障害者音声の到達時間差であり、ＤＹは、他の一対のマイクロフォンＭ２、Ｍ３における指導者音声又は聴覚障害者音声の到達時間差である。
θ＝ｔａｎ−１（ＤＹ／ＤＸ）・・・（１）
【００３４】
また、音源位置特定処理（Ｓ６）では、マイクロフォンＭ１〜Ｍ４に加え、上記のマイクロフォンＭ５を用いることにより、下記の式（２）を用い、位置Ｐ１、Ｐ２からマイクロフォン群原点位置Ｏを見上げた仰角φ（図４参照。）を算出する。仰角φのデータは、データ記憶部５３Ｄに記憶される。なお、下記のＤＺ１は、マイクロフォンＭ５、Ｍ１における指導者音声又は聴覚障害者音声の到達時間差、ＤＺ２は、マイクロフォンＭ５、Ｍ２における指導者音声又は聴覚障害者音声の到達時間差、ＤＺ３は、マイクロフォンＭ５、Ｍ３における指導者音声又は聴覚障害者音声の到達時間差、ＤＺ４は、マイクロフォンＭ５、Ｍ４における指導者音声又は聴覚障害者音声の到達時間差をそれぞれ示す。
φ＝ｔａｎ−１｛（ＤＺ１＋ＤＺ２＋ＤＺ３＋ＤＺ４）／［２×√３×（√ＤＸ２＋√ＤＹ２）］｝・・・（２）
【００３５】
音源位置特定処理（Ｓ６）では、双曲線法を用いることにより、マイクロフォンＭ１とマイクロフォンＭ４との間を通過する双曲線軌跡、マイクロフォンＭ２とマイクロフォンＭ３との間を通過する双曲線軌跡、マイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４との間をそれぞれ通過する双曲線軌跡が交わる点を、位置Ｐ１、Ｐ２として算出することができる。なお、演算処理部５２は、本発明の位置特定手段の一例である。
【００３６】
演算処理部５２は、音源位置特定処理（Ｓ６）の後に、言語認識処理（Ｓ７）を実行する。言語認識処理（Ｓ７）では、発音訓練データ処理プログラム記憶部５３Ｂから言語認識プログラムを読み出す。言語認識プログラムは、日本語の認識機能を利用して単語を抽出するプログラムである。その後、言語認識処理（Ｓ７）では、言語認識プログラムによって、入力信号取得処理（Ｓ４）にて取得した指導者音声（図６中の「ひ」）及び聴覚障害者音声（図６中の「い」）の各音声信号から日本語（ここでは、「ひ」「い」）を抽出する処理を実行する。なお、演算処理部５２は、本発明の言語認識手段の一例である。また、日本語「ひ」は本発明の指導者発声言語の一例であり、日本語「い」は本発明の訓練者発声言語の一例である。
【００３７】
演算処理部５２は、言語認識処理（Ｓ７）の後に、表示画像座標変換処理（Ｓ８）を実行する。表示画像座標変換処理（Ｓ８）では、位置Ｐ１（指導者音声発生位置）及び位置Ｐ２（聴覚障害者音声発生位置）を、表示領域７１の表示位置に相関付けするための処理を実行する。ここでは、図５に示すように、表示領域７１の横方向Ｘを上記の水平角度θ、表示領域７１の縦方向を上記の仰角φと対応付けし、位置Ｐ１、Ｐ２に対応する表示領域７１の表示位置を算出する。
【００３８】
その後、演算処理部５２は、音源位置特定処理（Ｓ６）によって算出した水平角度θに任意の水平角度を加算した補正水平角度を算出する処理、該音源位置特定処理（Ｓ６）によって算出した仰角φに任意の仰角φを加算した補正仰角を算出する処理を実行する。これにより、補正水平角度に対応する表示領域７１の表示位置Ｐ５（図６参照。）及び補正仰角に対応する表示領域７１の表示位置Ｐ６（図６参照。）を、指導者７５（図６参照。）の口の画像及び聴覚障害者７６（図６参照。）の口の画像をそれぞれ遮ることがない位置に調整することができる。
【００３９】
続いて、表示画像座標変換処理（Ｓ８）では、表示位置Ｐ５、Ｐ６のデータを、データ記憶部５３Ｄに記憶する処理を実行する。なお、演算処理部５２は、本発明の相関手段の一例である。また、表示位置Ｐ５は本発明の指導者音声可視化表示位置の一例であり、表示位置Ｐ６は本発明の訓練者音声可視化表示位置の一例である。
【００４０】
演算処理部５２は、表示画像座標変換処理（Ｓ８）の後に、発音訓練用言語表示位置調整処理（Ｓ９）を実行する。発音訓練用言語表示位置調整処理（Ｓ９）では、データ記憶部５３Ｄに、上記の表示位置Ｐ５、Ｐ６の各調整データ（水平角度θ、仰角φ）が記憶されているか否かを判断する。各調整データは、上述した訓練用言語表示位置調整ボタンにより、指導者や聴覚障害者が水平角度θや仰角φを指定し、水平角度θや仰角φを任意の値に設定することができる。これにより、例えば、図６に示すように、任意に設定した値に対応する表示位置Ｐ５、Ｐ６を、指導者７５の画像や聴覚障害者７６の画像をそれぞれ遮ることがない位置に調整することができる。なお、演算処理部５２及び訓練用言語表示位置調整ボタンは、本発明の表示位置調整手段の一例である。
【００４１】
その後、発音訓練用言語表示位置調整処理（Ｓ９）では、データ記憶部５３Ｄに各調整データが記憶されていると判断した場合には、上記の表示画像座標変換処理（Ｓ８）によってデータ記憶部５３Ｄに記憶された表示位置Ｐ５、Ｐ６のデータに各調整データを上書きする処理を実行する。
【００４２】
一方、発音訓練用言語表示位置調整処理（Ｓ９）では、データ記憶部５３Ｄに各調整データが記憶されていないと判断した場合には、表示画像座標変換処理（Ｓ８）によってデータ記憶部５３Ｄに記憶された表示位置Ｐ５、Ｐ６のデータを保持する処理を実行する。
【００４３】
演算処理部５２は、発音訓練用言語表示位置調整処理（Ｓ９）の後に、文字変換処理（Ｓ１０）を実行する。文字変換処理（Ｓ１０）では、発音訓練データ処理プログラム記憶部５３Ｂから文字変換プログラムを読み出す。文字変換プログラムは、言語認識処理（Ｓ７）によって抽出された単語を文字に変換するプログラムである。ここでは、言語認識処理（Ｓ７）によって抽出した単語（「ひ」「い」）を、「ひ」の文字及び「い」の文字に変換する。後述の図６に示すように、「ひ」の文字及び「い」の文字は、表示領域７１に表示されることにより可視化される。これにより、目視にて指導者７５及び聴覚障害者７６が、「ひ」の文字及び「い」の文字を確認することができる。「ひ」「い」の各文字の画像データは、データ記憶部５３Ｄに記憶される。なお、演算処理部５２は、本発明の文字変換手段の一例である。また、文字「ひ」は本発明の指導者発声言語可視化文字の一例であり、文字「い」は本発明の訓練者発声言語可視化文字の一例である。
【００４４】
さらに、文字変換処理（Ｓ１０）では、データ記憶部５３Ｄから、入力信号取得処理（Ｓ４）によって取得した音圧レベルデータを読み出す。次に、文字変換処理（Ｓ１０）では、音圧レベルデータを、予め設定された閾値のデータと比較する。ここでは、音圧レベルと閾値のデータとを比較した結果に応じ、「ひ」「い」の各文字の大きさを、大、中、小の各大きさに設定した文字画像データを生成する。大、中、小の各大きさに設定された文字画像データは、データ記憶部５３Ｄに記憶される。なお、聴覚障害者音声の音圧レベルは、本発明の聴覚障害者音声の音量の一例であり、指導者音声の音圧レベルは、本発明の指導者音声の音量の一例である。
【００４５】
演算処理部５２は、文字変換処理（Ｓ１０）の後に、発音訓練正誤判定処理（Ｓ１１）を実行する。発音訓練正誤判定処理（Ｓ１１）では、データ記憶部５３Ｄから、ＭＦＣＣの基準データ、周波数分析処理（Ｓ５）によって算出したＭＦＣＣのデータをそれぞれ読み出す。その後、発音訓練正誤判定処理（Ｓ１１）では、前記基準データに基づいて、ＭＦＣＣの基準分布範囲を決定する。さらに、発音訓練正誤判定処理（Ｓ１１）では、上述した１２個のＭＦＣＣに基づいて、指導者音声のＭＦＣＣの分布範囲を決定すると共に、該１２個のＭＦＣＣとは異なる他の１２個のＭＦＣＣに基づいて、聴覚障害者音声のＭＦＣＣの分布範囲を決定する。続いて、発音訓練正誤判定処理（Ｓ１１）では、指導者音声のＭＦＣＣの分布範囲及び聴覚障害者音声のＭＦＣＣの分布範囲を、ＭＦＣＣの基準分布範囲とそれぞれ比較し、指導者音声のＭＦＣＣの分布範囲を含む指導者音声基準分布範囲及び聴覚障害者音声のＭＦＣＣの分布範囲を含む聴覚障害者音声基準分布範囲をそれぞれ選定する。次に、発音訓練正誤判定処理（Ｓ１１）では、聴覚障害者音声基準分布範囲が、指導者音声基準分布範囲に含まれるか否かを判断する。
【００４６】
発音訓練正誤判定処理（Ｓ１１）では、聴覚障害者音声基準分布範囲が、指導者音声基準分布範囲に含まれると判断したときは、指導者音声（例えば「ひ」）と聴覚障害者音声（「ひ」）とが一致し、聴覚障害者が指導者に合わせて正しい発声を行っている正解判定を行う。さらに、発音訓練正誤判定処理（Ｓ１１）では、正解判定の結果に応じ、判定結果表示用の文字画像データ（例えば、「正しく発音されています。」）を生成し、該文字画像データをデータ記憶部５３Ｄに記憶する。
【００４７】
一方、聴覚障害者音声基準分布範囲が、指導者音声基準分布範囲に含まれないと判断したときは、指導者音声（例えば「ひ」）と聴覚障害者音声（例えば「い」）とが一致せず、聴覚障害者が指導者とは異なる誤った発声を行っている不正解判定を行う。発音訓練正誤判定処理（Ｓ１１）では、不正解判定の結果に応じ、判定結果表示用の文字画像データ（例えば、「誤って発音されています。」）を生成し、該文字画像データをデータ記憶部５３Ｄに記憶する。なお、演算処理部５２は、本発明の判定手段の一例である。
【００４８】
演算処理部５２は、発音訓練正誤判定処理（Ｓ１１）の後に、発音訓練画像表示処理（Ｓ１２）を実行する。発音訓練画像表示処理（Ｓ１２）では、画像表示制御プログラム５３Ｃに記憶されたプログラムを用い、入力信号取得処理（Ｓ４）によって取得された撮像信号に相当する撮像画像の画像データ、文字変換処理（Ｓ１０）によって生成された文字画像データ等に基づいて、表示画像座標変換処理（Ｓ８）、発音訓練用言語表示位置調整処理（Ｓ９）によって決定された表示位置に、指導者音声や聴覚障害者音声をそれぞれ文字に変換した画像を表示する処理を実行する。なお、演算処理部５２は、本発明の表示制御手段の一例である。
【００４９】
図６には、上述した選択メニュー画面により、発音訓練用の単語として、指導者７５が「ひ」を選択し、聴覚障害者７６が指導者７５とは異なる誤った発声を行っている場合の表示画像の例を示した。上記の位置Ｐ１（図４参照。）において、指導者７５が「ひ」の音声を発すると共に、聴覚障害者７６が、「ひ」と発声しているつもりであっても「い」と発声した場合には、発音訓練画像表示処理（Ｓ１２）では、以下の処理を実行する。発音訓練画像表示処理（Ｓ１２）では、データ記憶部５３Ｄから、発音訓練用言語選択処理（Ｓ３）によって該データ記憶部５３Ｄに記憶された文字画像データ（「ひ」と発音してください。）、文字変換処理（Ｓ１０）によって該データ記憶部５３Ｄに記憶された文字画像データ（「ひ」「い」の各文字画像データ）、発音訓練正誤判定処理（Ｓ１１）によって該データ記憶部５３Ｄに記憶された文字画像データ（「誤って発音されています。」）等を読み出す。さらに、発音訓練画像表示処理（Ｓ１２）では、入力信号取得処理（Ｓ４）によって前記データ記憶部５３Ｄに記憶された撮像画像データ等を読み出す。
【００５０】
図６に示すように、発音訓練画像表示処理（Ｓ１２）では、撮像画像（指導者７５及び聴覚障害者７６）に重ねて、文字画像（「ひ」と発音してください。）を表示する。その後、表示画像座標変換処理（Ｓ８）や発音訓練用言語表示位置調整処理（Ｓ９）によってデータ記憶部５３Ｄに記憶されたデータに基づいて、表示位置Ｐ５には、円で囲まれた領域内に「ひ」の文字画像を表示すると共に、表示位置Ｐ６には、円で囲まれた領域内に「い」の文字画像を表示する。ここでは、聴覚障害者音声の音圧レベルが、指導者音声の音圧レベルと一致しており、「い」の文字画像の大きさと「ひ」の文字画像の大きさが同じ場合の画像例を示した。
【００５１】
続いて、図示するように、表示領域７１には、「誤って発音されています。」の文字画像を表示する。これにより、聴覚障害者７６に対し、該聴覚障害者７６の音声が、指導者７５の音声とは異なった音声であることや、両表示位置Ｐ５、Ｐ６における文字画像が互いに異なることを、表示領域７１の画像を通じてそれぞれ知らせることができる。聴覚障害者７６は、表示領域７１の画像を見ながら、指導者７５の唇の形や動き等を直接的に確認すると共に、表示位置Ｐ５、Ｐ６の文字画像や判定結果を表示する文字画像（「誤って発音されています。」等）を見ながら、聴覚障害者７６が発する言語を、指導者７５の発する言語（ここでは「ひ」）に近づける訓練を行う。なお、演算処理部５２は、本発明の判定結果表示制御手段の一例である。
【００５２】
一方、聴覚障害者７６が発する言語が指導者７５が発する言語（「ひ」）と一致し、上記の発音訓練正誤判定処理（Ｓ１１）によって正解判定がなされたときは、表示位置Ｐ６には、「ひ」の文字画像を表示すると共に、図６中の「誤って発音されています。」の文字画像に代えて「正しく発音されています。」の文字画像を表示する。これにより、聴覚障害者７６に対し、該聴覚障害者７６が発する言語が指導者７５が発する言語と一致していることを知らせることができる。
【００５３】
また、聴覚障害者音声の音圧レベルが、指導者音声の音圧レベルと一致しないときは、データ記憶部５３Ｄに記憶された文字画像データ（「ひ」「い」の各文字画像データ）に基づいて、図７に示すように、表示位置Ｐ５における「ひ」の文字画像と、表示位置Ｐ６における「い」の文字画像とを、異なる大きさで表示する。図示の例は、指導者音声の音圧レベルに比べて聴覚障害者音声の音圧レベルが低いため、「ひ」の文字画像に比べて「い」の文字画像を小さく表示したことを示す。
【００５４】
発音訓練画像表示処理（Ｓ１２）の後には、演算処理部５２が、発音訓練を続けるか否かを判断する（Ｓ１３）。ここでは、演算処理部５２が、発音訓練装置１の電源がオン状態又はオフ状態であることを判断する。Ｓ１３において、電源がオン状態であって発音訓練を続けると判断した場合には、上述した各処理（Ｓ２〜Ｓ１２）を繰り返して実行する。一方、Ｓ１３において、電源がオフ状態であって発音訓練を終了すると判断した場合には、上述した各処理（Ｓ２〜Ｓ１２）を終了する。
【００５５】
＜本実施形態の効果＞
本実施形態の発音訓練装置１では、発音訓練画像表示処理（Ｓ１２）によって、表示領域７１に、聴覚障害者７６及び指導者７５の各画像を表示すると同時に、表示領域７１内の表示位置Ｐ６に「い」の文字画像及び該表示領域７１内の表示位置Ｐ５に「ひ」の文字画像をそれぞれ表示することができる。
したがって、聴覚障害者７６が、表示領域７１に表示された「ひ」の文字画像と「い」の文字画像とを比較して、聴覚障害者音声（「い」）が指導者音声（「ひ」）とは異なることを確認することにより、聴覚障害者７６が発した言語が指導者７５が発した言語とは異なることを認識することができる。
加えて、聴覚障害者７６は、該聴覚障害者７６が発した言語が指導者７５が発した言語とは異なることを認識すると同時に、表示領域７１に表示された指導者７５の画像によって表される唇の形や動き等を直接的に確認しながら、聴覚障害者７６の唇の形や動き等を指導者７５の唇の形や動き等に合わせることが可能となる。
これに伴って、聴覚障害者７６は、該聴覚障害者７６が発する言語を指導者７５が発する言語に近づけるように矯正する訓練を効率良く行うことができる。
【００５６】
また、音源位置特定処理（Ｓ６）によって、位置Ｐ１における指導者音声及び位置Ｐ２における聴覚障害者音声がそれぞれ一対のマイクロフォンＭ１、Ｍ４に到達する時間差、該指導者音声及び該聴覚障害者音声が他の一対のマイクロフォンＭ２、Ｍ３に到達する時間差、該指導者音声及び該聴覚障害者音声がマイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４との間にそれぞれ到達する時間差を用い、双曲線法によって、位置Ｐ１、Ｐ２を算出する。
このため、指導者音声が発せられた位置Ｐ１や聴覚障害者音声Ｐ２が発せられた位置が順次変化した場合であっても、双曲線法により、マイクロフォンＭ１とマイクロフォンＭ４との間を通過する双曲線軌跡、マイクロフォンＭ２とマイクロフォンＭ３との間を通過する双曲線軌跡及びマイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４との間をそれぞれ通過する双曲線軌跡を、順次算出することができる。
これにより、マイクロフォンＭ１とマイクロフォンＭ４との間を通過する双曲線軌跡、マイクロフォンＭ２とマイクロフォンＭ３との間を通過する双曲線軌跡及びマイクロフォンＭ５と各マイクロフォンＭ１〜Ｍ４との間をそれぞれ通過する双曲線軌跡がそれぞれ交わる点を、指導者音声が発せられた位置Ｐ１や聴覚障害者音声が発せられた位置Ｐ２として算出することができる。
【００５７】
さらに、発音訓練画像表示処理（Ｓ１２）によって、表示領域７１に、正解判定結果表示用の文字画像（「正しく発音されています。」）もしくは不正解判定結果用の文字画像（「誤って発音されています。」）の文字画像を表示する。
これにより、表示領域７１に表示された文字画像（「正しく発音されています。」もしくは「誤って発音されています。」）に基づいて、聴覚障害者７６は、該聴覚障害者７６が発した言語が指導者７５が発した言語に一致する正しい発音ができているか否かを、一目で簡単に確認することができる。
【００５８】
加えて、聴覚障害者音声の音圧レベルが、指導者音声の音圧レベルと一致している場合には、発音訓練画像表示処理（Ｓ１２）によって、図６に示すように、表示位置Ｐ６における聴覚障害者音声の文字画像「い」の大きさが、表示位置Ｐ５における指導者音声の文字画像「ひ」の大きさと同じになる。
一方、指導者音声の音圧レベルに比べて聴覚障害者音声の音圧レベルが低い場合には、発音訓練画像表示処理（Ｓ１２）によって、図７に示すように、表示位置Ｐ６における聴覚障害者音声の文字画像「い」の大きさが、表示位置Ｐ５における指導者音声の文字画像「ひ」の大きさよりも小さくなる。
このため、聴覚障害者７６は、「い」の文字画像の大きさと「ひ」の文字画像の大きさとを比較して、聴覚障害者音声の音圧レベルが指導者音声の音圧レベルに一致するか否かを判断することができる。
【００５９】
さらに加えて、上述したように、発音訓練用言語表示位置調整処理（Ｓ９）によって、図６及び図７に示すように、表示位置Ｐ５、Ｐ６を、指導者７５の画像や聴覚障害者７６の画像をそれぞれ遮ることがない位置に調整することができる。
これにより、聴覚障害者７６は、表示位置Ｐ５における指導者音声の文字画像「ひ」及び表示位置Ｐ６における聴覚障害者音声の文字画像「い」を、聴覚障害者７６の画像及び指導者７５の画像からぞれぞれ離して別個に確認することができる。
このため、聴覚障害者音声の文字画像「い」と指導者音声の文字画像「ひ」との比較や、聴覚障害者７６の画像と指導者７５の画像との比較をそれぞれ容易に行うことができる。
【００６０】
本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において構成の一部を適宜変更して実施することができる。本実施形態の発音訓練装置は、ひとりの聴覚障害者７６に限らず、２人以上の聴覚障害者７６及び指導者７５の各撮像画像等を表示領域７１に表示し、２人以上の聴覚障害者７６が、各撮像画像を見ることにより、指導者７５の唇の形や動き等を直接的に確認しながら発音訓練を行うことに適用してもよい。これにより、一度に２人以上の聴覚障害者７６が発音訓練を行うことができ、２人以上の聴覚障害者７６が効率的に発音訓練を行うことができる。
【００６１】
また、本実施形態の発音訓練装置は、入力信号取得処理（Ｓ４）によって取得した音圧レベルデータに基づいて、各表示位置Ｐ５、Ｐ６における文字の大きさを大、中、小の３段階に設定することに限定せず、各表示位置Ｐ５、Ｐ６には、３段階以上の複数の段階に亘って設定された大きさにより、「ひ」「い」等の各文字を表示してもよい。
【００６２】
さらに、本実施形態の発音訓練装置は、指導者音声と聴覚障害者音声とが一致することを判断する方法をして、ＭＦＣＣを用いることに限定せず、入力信号取得処理（Ｓ４）によって取得した音声信号に基づいて算出した音声特徴ベクトルや、音声特徴ベクトルとＭＦＣＣとの組み合わせを用いたり、確率モデル（例えば、Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）等を用いてもよい。
【００６３】
加えて、本実施形態の発音訓練装置は、聴覚障害者７６の発音訓練に限定せず、例えば、幼児や、日本語を学習する外国人が行う発音訓練にそれぞれ適用してもよい。
【００６４】
さらに加えて、本実施形態の発音訓練装置は、単語の発音訓練に限定せず、単文や長文の発音訓練に適用してもよい。さらに、発音訓練装置は、日本語の発音訓練に限定せず、外国語の発音訓練に適用してもよい。
【００６５】
また、本実施形態の発音訓練装置は、聴覚障害者７６が指導者７５に合わせて正しい発声を行っているか否かを判定することに加え、聴覚障害者７６の発音を矯正するために、適宜のメッセージ画像等を表示領域７１に表示してもよい。例えば、表示領域７１に、唇の形や動き等を具体的に聴覚障害者７６へ知らせるメッセージ画像（例えば、「唇を丸めて発音してください。」）等を表示してもよい。これより、聴覚障害者７６は、表示領域７１に表示されたメッセージ画像等に従って発音訓練を繰り返すことにより、聴覚障害者７６の唇の形や動き等を、指導者７５の唇の形や動き等に近づけることができる。したがって、聴覚障害者７６の発音を指導者７５の発音に一致させるように矯正することができる。
【符号の説明】
【００６６】
１・・発音訓練装置、１７・・ＣＣＤカメラ、５２・・演算処理部、７０・・大型ディスプレイ、７１・・表示領域、７５・・指導者、７６・・聴覚障害者、Ｍ１〜Ｍ５・・マイクロフォン、Ｐ１・・指導者音声発生位置、Ｐ２・・聴覚障害者音声発生位置、Ｐ５、Ｐ６・・表示領域の表示位置
【図１】
2010185967.tif 000003
【図２】
2010185967.tif 000004
【図３】
2010185967.tif 000005
【図４】
2010185967.tif 000006
【図５】
2010185967.tif 000007
【図６】
2010185967.tif 000008
【図７】
2010185967.tif 000009