(57)【要約】【課題】発声動作に対応する子音の弁別を行うことができる音声検出装置を提供すること。【解決手段】この音声検出装置１０は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出部１０１と、筋電信号の所定値に対する変動値を特徴量として、部位に対応したチャネルごとに算出する特徴量算出部１０２と、当該特徴量を、チャネルごとの算出の順番に従って特徴量格納部２００にチャネルごとに格納する特徴量保存部１０３と、特徴量格納部２００に格納されているチャネルごとの特徴量に基づいてチャネルごとのピーク値と当該ピーク値の発生タイミングとを特定する子音特徴検出部１０４と、当該特定されたチャネルごとのピーク値の発生タイミングに基づいて、発声動作に対応する子音の候補を特定する子音特定部１０６と、を備える。【選択図】  図１
2004361560.tif 000002
【特許請求の範囲】
【請求項１】
発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、
当該検出された筋電信号の所定値に対する変動値を特徴量として、前記部位に対応したチャネルごとに算出する特徴量算出手段と、
当該算出したチャネルごとの特徴量を、チャネルごとの算出の順番に従って特徴量格納手段に前記チャネルごとに格納する特徴量保存手段と、
前記特徴量格納手段に格納されているチャネルごとの特徴量に基づいて前記チャネルごとのピーク値と当該ピーク値の発生タイミングとを特定する子音特徴検出手段と、
当該特定されたチャネルごとのピーク値の発生タイミングに基づいて、前記発声動作に対応する子音の候補を特定する子音特定手段と、
を備える音声検出装置。
【請求項２】
前記特徴量保存手段は、特徴量格納手段に格納されている特徴量の蓄積総時間が所定値を上回った場合に、時系列的に最も先頭の特徴量を削除して新たな特徴量を格納する、請求項１に記載の音声検出装置。
【請求項３】
前記子音特徴検出手段は、前記特徴量の増加量が第一の閾値を超え、更に減少量が第二の閾値を超えた場合に、当該特徴量の部分を前記ピーク値であると特定する、請求項１又は２に記載の音声検出装置。
【請求項４】
子音に対応させたピーク値の発生タイミングの情報を各チャネルごとに関連付けて格納する子音情報格納手段を更に備え、
前記子音特定手段は、当該子音情報格納手段に格納されている情報と、前記子音特徴検出手段が特定したピーク値の発生タイミングとに基づいて子音の候補を特定する、請求項１から３のいずれか１項に記載の音声検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声検出装置に関するものである。
【０００２】
【従来の技術】
音声検出装置では、発話における音声を音響信号として取り扱い、その音響信号を周波数分析することによって、音声情報を認識し処理する音声認識技術が採用されてきた。この音声認識技術の一例としてスペクトル包絡等が利用されている。しかし、この音声認識技術を用いて良好な音声検出結果をもたらすためには発話時にある程度の音量が必要であって、発話による音響信号が入力されない限り音声情報を検出することは不可能であった。このことから音声入力時に話者の声が周囲の人々の迷惑となるため、静けさが要求されるオフィスや図書館や各種の公共機関内などでは、このような音声検出装置を使用することは実質的に困難であった。また周囲の雑音の大きい場所では、クロストークの問題が発生し、音声検出機能が低下するという課題もあった。
【０００３】
更に近年急速に普及した携帯電話においては、電車内での利用自粛が求められている。これは携帯電話の利用の際におけるペースメーカ等の医療用電子機器への電磁波的影響だけでなく、発話することが騒音となって周囲の人々の迷惑になるというマナー的影響も指摘されている。これらの音響信号を利用する際の課題に対して、音響信号以外から音声情報を獲得する研究も従来から行われていた。音響情報以外の情報から音声情報を獲得することができれば、音声を発することなく発話することが可能となるためである。
【０００４】
この研究の一例として、口唇の視覚情報による音声認識手法が提案されている（下記特許文献１及び特許文献２参照。）。特許文献１及び特許文献２に記載の音声認識手法は、ビデオカメラ等により撮像された画像を用いた画像処理によって口唇の動きを特定している。
【０００５】
この研究の別の一例として、口の周囲の筋肉の動きに伴って発生する筋電信号を処理し、発声した母音の種類を認識する音声認識手法が提案されている（下記非特許文献１参照。）。非特許文献１に記載の音声認識手法は、筋電信号をバンドパスフィルタに通した後、閾値の交差回数をカウントして５母音（ａ、ｉ、ｕ、ｅ、ｏ）を弁別するものである。
【０００６】
この研究の別の一例として、口の周囲の筋肉の筋電信号をニューラルネットワークを用いて処理し、発話者の母音だけでなく子音も含めて検出する音声認識手法が提案されている（下記特許文献３参照。）。
【０００７】
この研究の別の一例として、顔面の３箇所の筋電信号の二乗平均平方根を用いて５母音（ａ、ｉ、ｕ、ｅ、ｏ）を認識する音声認識手法が提案されている（下記非特許文献２参照。）。この認識にはニューラルネットワークが用いられており、高い精度で認識が行えることが示されている。
【０００８】
【特許文献１】
特開昭５２−１１２２０５号公報
【特許文献２】
特開平６−４３８９７号公報
【特許文献３】
特開平７−１８１８８８号公報
【非特許文献１】
Ｎｏｂｏｒｕ  Ｓｕｇｉｅ  ｅｔ  ａｌ．，“Ａ  Ｓｐｅｅｃｈ  Ｅｍｐｌｏｙｉｎｇ  ａ  Ｓｐｅｅｃｈ  Ｓｙｎｔｈｅｓｉｚｅｒ  Ｖｏｗｅｌ  Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｆｒｏｍ  Ｐｅｒｉｏｒａｌ  ＭｕｓｃｌｅｓＡｃｔｉｖｉｔｉｅｓ  ａｎｄ  Ｖｏｗｅｌ  Ｐｒｏｄｕｃｔｉｏｎ，”ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，  Ｖｏｌ．３２，Ｎｏ．７
【非特許文献２】
真鍋、平岩、杉村、「筋電信号を用いた無発声音声認識」、インタラクション２００２論文集、２００２年、ｐ．１８１−１８２
【０００９】
【発明が解決しようとする課題】
上記特許文献１及び特許文献２に記載の音声認識手法では、ビデオカメラを設置しなければならず、その演算量も膨大なものとなる。上記特許文献３及び非特許文献１に記載の音声認識手法では、音素を基礎として認識していく方法と、単語を基礎として認識していく方法とがある。この内、単語を基礎として認識していく方法では、特定の言語に依存した認識手法となってしまうこと、及び未知の単語を認識することが不可能であるという問題点がある。それに対して、音素を基礎として認識していく方法では、特定の言語に依存しない、また未知の単語にも対応可能であるという特徴がある。以上のことから、筋電信号を用いて音声認識を行う場合には、音素を基礎とすることが望ましい。しかしながら、従来の技術では母音の認識に関しては高い精度で行えることが示されているが、子音の認識が行えるかどうかについては技術的に明確に示されていない。
【００１０】
そこで本発明では、発声動作に対応する子音の弁別を行うことができる音声検出装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
本発明者らは、上述の課題を解決することができる音声検出装置の検討を様々な角度から行った。本発明者らが行った研究から、子音を発声する場合には、測定した筋電信号に子音発声時の特徴が現れるが、その特徴が現れるタイミングは子音発声のタイミングとは一致しないことが明らかになった。更に本発明者らが行った研究から、複数の筋電信号に子音発声時の特徴が現れる場合には、それらの特徴が現れるタイミングも一致しないことも明らかになった。このことは、単純に測定した筋電信号をある特定のタイミングで切り出しても、正確な認識を行うことが困難であることを示している。この理由は、最初に発声した子音Ａと子音Ａ発声後に非常に短い時間間隔（例えば２００ｍｓ）で子音Ｂとが発声された場合には、筋電信号に見られる特徴が子音Ａを発声することによる特徴なのか、子音Ｂを発声することによる特徴なのかを識別できなければ子音Ａと子音Ｂとを認識するのができないところ、子音Ａと子音Ｂとの発声が一律でないことによる。本発明はこれらの知見に基づいてなされたものである。
【００１２】
本発明の音声検出装置は、発声動作時に発生する筋電信号を複数の部位から検出する筋電信号検出手段と、当該検出された筋電信号の所定値に対する変動値を特徴量として、部位に対応したチャネルごとに算出する特徴量算出手段と、当該算出したチャネルごとの特徴量を、チャネルごとの算出の順番に従って特徴量格納手段にチャネルごとに格納する特徴量保存手段と、特徴量格納手段に格納されているチャネルごとの特徴量に基づいてチャネルごとのピーク値と当該ピーク値の発生タイミングとを特定する子音特徴検出手段と、当該特定されたチャネルごとのピーク値の発生タイミングに基づいて、発声動作に対応する子音の候補を特定する子音特定手段と、を備える。
【００１３】
本発明の音声検出装置によれば、チャネルごとに特徴量を算出しその特徴量に基づいてチャネルごとのピーク値及びその発生タイミングを特定するので、チャネルごとのピーク値の発生時期が特定できる。従って、チャネルごとのピーク値の発生タイミングが異なる子音群を弁別できるので、発生動作に対応する子音の候補を特定できる。
【００１４】
また本発明の音声検出装置では、特徴量保存手段は、特徴量格納手段に格納されている特徴量の蓄積総時間が所定値を上回った場合に、時系列的に最も先頭の特徴量を削除して新たな特徴量を格納することも好ましい。蓄積総時間の所定値をピーク値の特定に十分な時間に設定しておけば、特徴量格納手段に余計な情報を格納することがない。
【００１５】
また本発明の音声検出装置では、子音特徴検出手段は、特徴量の増加量が第一の閾値を超え、更に減少量が第二の閾値を超えた場合に、当該特徴量の部分をピーク値であると特定することも好ましい。特徴量の増加量及び減少量が所定の閾値を超えた場合にはその特徴量の部分は上に凸な部分となるので、ピーク値であると認識できる。
【００１６】
また本発明の音声検出装置では、子音に対応させたピーク値の発生タイミングの情報を各チャネルごとに関連付けて格納する子音情報格納手段を更に備え、子音特定手段は、当該子音情報格納手段に格納されている情報と、子音特徴検出手段が特定したピーク値の発生タイミングとに基づいて子音の候補を特定することも好ましい。格納されている各チャネルごとのピーク値の発生タイミングの情報と、計測したピーク値の発生タイミングの情報とを照合するので、より正確に子音の候補を特定することができる。
【００１７】
【発明の実施の形態】
本発明の知見は、例示のみのために示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解することができる。引き続いて、添付図面を参照しながら本発明の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１８】
本発明の実施形態である音声検出装置１０について図１を用いて説明する。図１は音声検出装置１０のブロック図である。本実施形態の音声認識装置１０は、無声、すなわち、音を出さずに発声動作をする話者の発話内容を認識する音声認識装置である。音声認識装置１０は物理的には、筋電信号を取得するための電極や中央処理装置やメモリといった部分を備えて構成される。音声認識装置１０は機能的な構成要素として、筋電信号検出部１０１（筋電信号検出手段）と、特徴量算出部１０２（特徴量算出手段）と、特徴量保存部１０３（特徴量保存手段）と、子音特徴検出部１０４（子音特徴検出手段）と、子音情報出力部１０５（子音検出出力手段）と、子音特定部１０６（子音特定手段）と、特徴量格納部２００（特徴量格納手段）と、子音情報格納部２０１（子音情報格納手段）と、を備える。引き続いて各構成要素について説明する。
【００１９】
筋電信号検出部１０１は、発声動作時に発生する筋電信号を複数の部位から検出する部分である。筋電信号検出部１０１は、検出した筋電信号を特徴量算出部１０２に出力する。筋電信号検出部１０１が検出する筋電信号の例を図２（詳細は後述する）に示す。筋電信号検出部１０１は、話者が発話動作する際の口周りの筋肉（調音器官）の活動による筋電信号の変動等を取得すると共に、取得された筋電信号を増幅する。なお、高精度で音声認識をすべく、口周りの三箇所以上の筋肉の筋電信号を取得することが好ましい。本実施形態では三箇所の部位から筋電信号を取得している。
【００２０】
特徴量算出部１０２は、検出された筋電信号の所定値に対する変動値を特徴量として、各部位に対応したチャネルごとに算出する部分である。特徴量算出部１０２は算出した特徴量を特徴量保存部１０３に出力する。特徴量算出部１０２が筋電信号から特徴量を算出する方法について図３を用いて説明する。図３は特徴量算出部１０２が特徴量を算出する方法を示したフローチャートである。筋電信号検出部１０１から筋電信号が出力されると特徴量算出部１０２がその出力された筋電信号を受け取る（ステップＳ０１）。特徴量算出部１０２はその受け取った筋電信号をバッファへ蓄積する（ステップＳ０２）。このバッファは、特徴量を算出するために設定された時間窓分の筋電信号を十分に格納できる容量のものである。尚、特徴量を算出するための時間窓は数十ミリ秒であることが好ましい（詳細は後述する）。
【００２１】
特徴量算出部１０２はバッファに蓄積された筋電信号に時間窓の設定を行う（ステップＳ０３）。より具体的には、特徴量算出部１０２は筋電信号を所定時間ごとに切り出すことで時間窓の設定を行う。特徴量算出部１０２は、バッファに特徴量を算出するための時間窓分の筋電信号が蓄積された時にその特徴量を算出する（ステップＳ０４）。特徴量の算出は、各時間窓に対して筋電信号の二乗平均平方根（ＲＭＳ）を算出することで行う。ここで、二乗平均平方根は（１）式で定義される。（１）式を用いて図２に示す筋電信号から算出した特徴量を図４に示す（詳細は後述する）。
【００２２】
【数１】
2004361560.tif 000003
【００２３】
尚、特徴量としては他に、（２）式に示す筋電信号の絶対値の平均値（ＡＲＶ）等を用いることができる。また、これらを組み合わせることもでき、他の特徴量を用いることもできる。
【００２４】
【数２】
2004361560.tif 000004
【００２５】
（１）式及び（２）式のｆ（ｔ）は時刻ｔの筋電信号を表しており、Ｅは（３）式を表している。
【００２６】
【数３】
2004361560.tif 000005
【００２７】
図１に戻って、特徴量保存部１０３は、特徴量算出部１０２が算出したチャネルごとの特徴量を、チャネルごとの算出の順番に従って特徴量格納部２００に格納する部分である。特徴量格納部２００には一定時間の間に特徴量算出部１０２が算出して出力した特徴量が格納されている。特徴量保存部１０３は、新たな特徴量を特徴量格納部１１０に格納する際には、特徴量格納部１１０に格納されている特徴量の総時間が一定時間（所定値）を超えているかどうかを判断し、超えていなければそのまま新たな特徴量を格納し、超えていれば最も古い特徴量を削除して新たな特徴量を格納する。特徴量保存部１０３は一定時間毎に特徴量格納部１１０に格納されている特徴量を子音特徴検出部１０４に出力する。
【００２８】
特徴量保存部１０３が特徴量を格納する方法についてより具体的に図５及び図６を用いて説明する。図５は特徴量保存部１０３が特徴量を格納する方法を示したフローチャートである。図６は特徴量格納部２００に格納されている情報の例を示した図である。特徴量算出部１０２から特徴量が出力されると特徴量保存部１０３がその出力された特徴量を受け取る（ステップＳ１１）。特徴量保存部１０３は特徴量格納部２００に一定時間分の特徴量が格納されているか判断する（ステップＳ１２）。例えば、一定時間を各チャネルごとに５００ｍｓとした場合に、図６に示すように既に合計５００ｍｓ分の特徴量が格納されていれば、特徴量保存部１０３は一定時間分の特徴量が格納されていると判断する。特徴量保存部１０３は特徴量格納部２００に格納されている特徴量の中で最も古い特徴量を削除する（ステップＳ１３）。例えば、図６のチャネル１（ＣＨ１）の場合には、特徴量番号が１００１の特徴量を削除する。特徴量保存部１０３はステップＳ１３の後、次に説明するステップＳ１４の動作を行う。
【００２９】
ステップＳ１３において一定時間分の特徴量が特徴量格納部２００に格納されていなければ、特徴量保存部１０３は新しい特徴量を特徴量格納部２００に格納する（ステップＳ１４）。特徴量保存部１０３は特徴量を子音特徴検出部１０４に出力してから一定時間経過したかどうかを判断する（ステップＳ１５）。一定時間の経過が確認されれば、特徴量保存部１０３は特徴量格納部２００に格納されている情報を抽出して子音特徴検出部１０４に出力する（ステップＳ１６）。尚、特徴量格納部２００に格納する特徴量は、子音発生時に伴う筋肉の動きを考慮して、２００ｍｓ分から５００ｍｓ分とすることが望ましい。
【００３０】
図１に戻って、子音特徴検出部１０４は、特徴量格納部２００に格納されているチャネルごとの特徴量に基づいて、チャネルごとのピーク値とこのピーク値の発生タイミングとを特定する部分である。子音特徴検出部１０４が特徴量からピーク値の発生タイミングを検出する方法について図７を用いて説明する。図７は子音特徴検出部１０４がピーク値の発生タイミングを検出する方法を示したフローチャートである。特徴量保存部１０３から特徴量が出力されると子音特徴検出部１０４がその出力された特徴量を受け取る（ステップＳ２１）。
【００３１】
子音特徴検出部１０４は特徴量の変化量を（４）式に基づいて算出する（ステップＳ２２）。（４）式のδは、変化量を算出するための一定時間を示す。
【００３２】
【数４】
2004361560.tif 000006
子音特徴検出部１０４は、算出した変化量が閾値Ｔｈ１以上かどうかを判断する（ステップＳ２３）。変化量が閾値Ｔｈ１以上でなければステップＳ２２の処理に戻る。変化量が閾値Ｔｈ１以上であれば次の処理に移行する。子音特徴検出部１０４は、一定時間ｄ後の変化量を同様の方法で算出し、その算出した変化量が閾値Ｔｈ２以下かどうかを判断する（ステップＳ２４）。変化量が閾値Ｔｈ２以下でなければステップＳ２２の処理に戻る。変化量が閾値Ｔｈ２以下であればピーク値が発生していると特定し、子音特徴検出部１０４はその時刻ｔをピーク値の発生タイミングとして記録する（ステップＳ２５）。子音特徴検出部１０４は、この発生タイミングを各チャネルごとに子音情報出力部１０５に出力する。
【００３３】
子音情報出力部１０５は、この各チャネルごとの発声タイミングを子音特定部１０６が処理可能な形式に変換して子音特定部１０６に出力する。子音情報出力部１０５は、子音特定部１０６が採用する認識アルゴリズムに合わせた形式に変換する。子音情報出力部１０５が子音特定部１０６に出力する情報は、例えば、「チャネル１：−１００ｍｓ」「チャネル２：ナシ」「チャネル３：−２０ｍｓ」といった情報の組合せであって、これらの情報はそれぞれのチャネルにおけるピーク値のタイミングを示している。尚、「ナシ」とは発声動作においてピーク値が発生しなかったことを示している。
【００３４】
子音特定部１０６は、子音情報出力部１０５が出力するチャネルごとのピーク値の発生タイミングに基づいて、発声動作に対応する子音の候補を特定する部分である。より具体的には、子音特定部１０６は子音情報格納部２０１に格納されている情報と子音情報出力部１０５が出力する情報とのマッチングを取って、発声動作に対応する子音の候補を特定する。子音情報格納部２０１に格納されている情報の例を図８に示す。図８に示す例に拠れば、子音情報格納部２０１には、各子音に対応させて各チャネルのピーク値のタイミングが格納されている。例えば、子音情報出力部１０５が出力する情報が「チャネル１：−１００ｍｓ」「チャネル２：ナシ」「チャネル３：−２０ｍｓ」であれば、それに対応する子音は「／ｋ／」であると特定する。尚、この説明では理解を容易にするために簡略化した例を用いたが、例えばピーク値のタイミングの組合せに対して特定される子音が複数ある場合もあり、その場合には特定される子音は子音の候補として認識される。また、子音特定部１０６が採用するアルゴリズムは特に限定されるものではなく、例えば、線形識別関数やニューラルネットワークが採用される。
【００３５】
子音特定部１０６が、上述のように子音情報格納部２０１に格納されている情報に基づいて子音を特定すれば、子音が短い時間間隔（例えば、２００ｍｓ）で発声された場合にも各子音を弁別することが可能となる。子音が短い時間間隔で発声されると、子音発声に伴うピークは２回検出される。しかもそのピークの時刻はチャネルによって異なっている。ここで、単純に時間的に古く観測されたピークが始めに発声した子音によるものであり、時間的に新しく観測されたピークが後に発声した子音によるものであると判断することはできない。ここで必要なことは、どのピークがどちらの子音発声に伴うものであるかを判定することである。上述のような子音特定の手法を採用すれば、二つの子音が短い時間間隔で発声された場合に観測される筋電信号のピークがどちらの子音発声に伴うものであるかを弁別できる。
【００３６】
子音特定部１０６が、上述のように子音情報格納部２０１に格納されている情報に基づいて子音を特定すれば、母音と子音とが連続して発声された場合にも弁別することが可能となる。図９に、母音と子音とを発声したときに、子音発声時に観測される筋電信号のＲＭＳ値のピーク値が、母音発声時に観測される筋電信号のＲＭＳ値のピーク値の標準偏差の何倍離れているかを示す。図９においては、子音発声時のピーク値から母音発声時の平均値を減じて、その値を母音発声時の標準偏差で除した値が６以上であれば丸印を、その値が３以上６未満であれば三角印を、その値が３未満であればバツ印を付している。
【００３７】
母音発声時に観測される筋電信号のＲＭＳが正規分布に従うとすれば、その値が３以上であれば（図９中の丸印又は三角印）、子音発声時の筋電信号は、母音発声時の筋電信号の中に埋もれてしまわずに弁別できるといえる。さらのその値が６以上であれば（図９中の丸印）、はっきりと子音発声時のピークを確認できるものといえる。従って図９を参照すれば、子音発声時に観測した三つのチャネル（領域）の筋電信号にピークが見られる。このことは、子音発声時には筋電信号にその特徴が見られることを示している。
【００３８】
その理由として本発明者らは以下のように考えている。子音発声時には、舌や顎、軟口蓋などの器官を瞬間的に変形・移動させる必要がある。そのため、それらの器官を変形・移動させるために筋肉が突発的に活動する。この筋肉の突発的な活動が、筋電信号のピークとして観察されると考えられる。また、日本語を発声する場合には、子音が連続して発声されることはなく、また多くの場合、子音の前後には母音が発声される。母音は定常的に発声できるため、母音発声時には筋肉が発生する力も定常的であり、観測される筋電信号の振幅もある一定の範囲内に収まる。それに対して子音は突発的に発声するものであり、筋肉は突発的に大きな力を発生させる必要がある。本発明者らはこの点に着目し、子音発声時に突発的に発生する筋肉の力を筋電信号から検出し、それを基に子音発声時のタイミングを検出することとしている。
【００３９】
ただし、子音発声に寄与する筋肉全てが同時に突発的な力を発生するわけではない。例えば、「／ｔ／」「／ｐ／」「／ｋ／」などの閉鎖音を考えると、閉鎖音発声は次のような順序を踏む。まず、子音発声のために声道に閉鎖を作る。次にその閉鎖を開放し、呼気を放出することにより閉鎖音が発声される。このとき、筋肉が活動するのは、閉鎖時、開放時、呼気の放出時の三つの段階がある。それぞれの段階で用いられる筋肉は異なっており、今考えている閉鎖音を発声する場合においては、閉鎖時には舌や口唇、顎の閉鎖に関連する筋肉が、開放時には顎の開放に関連する筋肉が、呼気の放出時には肺に関連する筋肉がそれぞれ大きく活動する。
【００４０】
この三つの段階の中で重要なのは閉鎖時である。なぜならば、開放時には呼気の圧力や重力の影響によってその活動が促進されるため、筋肉が必ずしも大きな力を発生する必要はない。また呼気の放出は、子音や母音を発声する際のみならず呼吸時にも伴うものであり、その情報だけで子音の発声タイミングを検出することは難しい。それに対して閉鎖時では、重力の影響や呼気の圧力に打ち勝って閉鎖を実現しなければならず、筋肉は必ず大きな力を発生する。更に閉鎖動作に発声する子音の特徴が含まれていることから、閉鎖時に活動する筋肉の動きを捉えることが望ましい。上述の説明では、子音の一例として閉鎖音に関して説明を行ったが、他の子音についても基本的には同様である。
【００４１】
引き続いて本実施形態の音声検出装置１０についての説明を補足するために本発明者らが行った検討内容について説明する。
【００４２】
第一に、図２について詳細に説明する。図２には、子音発声時に観測される筋電信号の一例を示す。図２に示すグラフは、「／ａｋａ／」と発声した際に、顎の下部から観測された筋電信号である。図２によれば、３５００ｍｓ〜３６５０ｍｓにかけて大きな振幅が観測されていることが確認できる。これは、「／ｋ／」を発声するために行う閉鎖動作に伴う筋肉の活動が筋電信号として現れているものである。図２では、一つの子音のさらに一つの部位からの筋電信号を表しているが、他の子音及び他の部位についても同様に大きな振幅が見られる。ただし、必ずしも全ての部位から同様な筋電信号が観測されるわけではない。例えば「／ｋ／」発声時に口唇部から筋電信号を測定しても大きな振幅は観測されない。これは「／ｋ／」発声時に口唇部の筋肉はあまり活動しないことによる。しかし、全ての部位の筋電信号に大きな振幅が見られないというわけではなく、子音を発声した場合には少なくとも一つ以上の部位から観測した筋電信号に大きな振幅が生じていることを確認できる。この観点から考察すれば、筋電信号を測定する部位は複数存在することが好ましい。本実施形態では三つの部位において測定しているが、測定点はこれに限られるものではない。
【００４３】
また、図２について更に検討すると、子音発声に伴う筋電信号の大きな振幅の持続時間が約１５０ｍｓであることがわかる。他の子音、他のチャネルでの測定結果も合わせて考えれば、子音発声に伴う筋電信号の大きな振幅の持続時間は１００〜２００ｍｓであることがわかった。この考察に基づけば、筋電信号から特徴量を算出するための時間窓は、筋電信号の大きな振幅の持続時間に十分に対応するために数十ｍｓであることが好ましい。
【００４４】
第二に、図４について詳細に説明する。図４には、時間窓を５０ｍｓ、特徴量としてＲＭＳを用いた場合の特徴量の時間変化を示す。図４の例においては、時間窓として５０ｍｓを設定しており、各時間窓は直前の時間窓から２５ｍｓ遅れた時刻から開始するように設定されている。従って、特徴量が算出されるのは２５ｍｓごととなる。図４によれば、筋電信号における大きな振幅が、特徴量に変換しても表現されていることがわかる。この図４に示す特徴量に基づいて、上述の方法を用いてピークを検出する。すわなち、図４の例では、３５５０ｍｓ付近にピークがみられることを検出できればよい。
【００４５】
上述の例では特徴量のピークに着目したが、特徴量の落ち込みに着目しても子音の弁別が可能である。図１０には、特徴の落ち込みを説明するための例として、「／ａｍａ／」と発声した際の特徴量の時間変化を示す。図１０に示すグラフは、上唇の上部の筋電信号のデータ３０、頬のデータ３１、顎の下部のデータ３２を示しており、それぞれ発声動作の際の筋電信号から算出されるＲＭＳ値で示している。データ３２を参照すれば、顎の下部においては０．４〜０．５ｓｅｃにおいてＲＭＳ値の落ち込みが見られることがわかる。また、データ３０及びデータ３１と、データ３２とを比較すると、それぞれの振幅の最大値が出現するタイミングが異なっていることがわかる。このような特徴は、子音「／ｍ／」発声時の特徴であるから、この子音「／ｍ／」を弁別することが可能となる。
【００４６】
第三に、三つの部位から測定される筋電信号に基づくピークの相互関係について説明する。図１１には、「／ａｔａ／」「／ａｐａ／」「／ａｋａ／」を発声した際に、三つの部位から測定した筋電信号から算出されたピーク値のタイミングの相互関係を示している。図１１では、横軸にはチャネル１から観測されるピークの時刻からチャネル２から観測されるピークの時刻を差し引いた値を、縦軸にはチャネル２から観測されるピークの時刻からチャネル３から観測されるピークの時刻を差し引いた値をそれぞれとっている。このグラフから分かることは、子音によらず負の相関関係があることであり、これはチャネル１とチャネル３で観測されるピークがほぼ同時刻に観測されていることを示している。また、図１１から理解できることは、「／ａｐａ／」発声時にはチャネル２から観測されるピークがチャネル１及びチャネル３から観測されるピークの発生時刻よりも先行していることである。この時刻差は、前後の母音や子音によって異なっており、ピークの観測時刻によって、発声する子音のタイミングを検出できることを示している。
【００４７】
つまり、図１１では複数のチャネルから観測される筋電信号のピークの時刻差に着目しているが、実際に生成される音声との時刻差も加味することで子音の発声タイミングを検出することができることがわかる。また、複数のチャネルから観測される筋電信号のピークの時刻差のみに着目すれば、二つの子音を短い時間の間に発声した場合に、どのピークが前半に発生した子音に起因するもので、どのピークが後半に発声した子音に起因するものであるかを判定することが可能となる。この知見に基づいて、上述の子音情報格納部２０１に格納されている情報が構成されている。
【００４８】
すなわち、子音情報格納部２０１に格納されている情報は、子音発声時の音声信号が検出される時刻を基準として、ピークが観測される時刻をチャネルごとに示している。図８に示す例では、子音成分のみについての情報を格納しているが、前後の母音と子音とを組み合わせて格納していてもよい。例えば、「／ａｋａ／」「／ａｋｉ／」といった組合せに対して、各チャネルで観測されるピークの時間差が格納される。この場合には、前後の母音を基に候補を絞り込み、子音の発声タイミングの検出精度を高めることができる。
【００４９】
第四に、図７に示すピークの検出方法の別の例について図１２を用いて説明する。特徴量保存部１０３から特徴量が出力されると子音特徴検出部１０４がその出力された特徴量を受け取る（ステップＳ３１）。子音特徴検出部１０４は特徴量の変化量を上記（４）式に基づいて算出する（ステップＳ３２）。子音特徴検出部１０４は、その変化量が閾値Ｔｈ３以上かどうかを判断する（ステップＳ３３）。変化量が閾値Ｔｈ３を超えていなければステップＳ３２の処理に戻る。変化量が閾値Ｔｈ３以上であれば時刻ｔを特徴量のピークとして記録する（ステップＳ３４）。図１２に示す方法は、子音が発声されたか否かを判断するのに用いられる。
【００５０】
本実施形態によれば、特徴量算出部１０２がチャネルごとに特徴量を算出し、子音特徴検出部１０４がその特徴量に基づいてチャネルごとのピーク値及びその発生タイミングを特定するので、チャネルごとのピーク値の発生時期が特定できる。この結果に基づいて子音特定部１０６がチャネルごとのピーク値の発生タイミングが異なる子音群を弁別するので、子音特定部１０６は発生動作に対応する子音の候補を特定できる。
【００５１】
【発明の効果】
本発明によれば、チャネルごとに特徴量を算出しその特徴量に基づいてチャネルごとのピーク値及びその発生タイミングを特定するので、チャネルごとのピーク値の発生時期が特定できる。従って、チャネルごとのピーク値の発生タイミングが異なる子音群を弁別できるので、発生動作に対応する子音の候補を特定できる。従って本発明の目的とする、発声動作に対応する子音の弁別を行うことができる音声検出装置を提供することができた。
【図面の簡単な説明】
【図１】本発明の実施形態である音声検出装置の構成を示す図である。
【図２】図１の筋電信号検出部が検出する筋電信号の一例を示す図である。
【図３】図１の特徴量算出部の動作を説明するための図である。
【図４】図１の特徴量算出部が算出した特徴量の一例を示す図である。
【図５】図１の特徴量保存部の動作を説明するための図である。
【図６】図１の特徴量格納部に格納されている情報の例を示す図である。
【図７】図１の子音特徴検出部の動作を説明するための図である。
【図８】図１の子音情報格納部に格納されている情報の例を示す図である。
【図９】図１の子音特定部の動作を説明するための図である。
【図１０】特徴量の一例を示す図である。
【図１１】図１の子音特定部の動作を説明するための図である。
【図１２】図１の子音特徴検出部の動作を説明するための図である。
【符号の説明】
１０…音声検出装置、１０１…筋電信号検出部、１０２…特徴量算出部、１０３…特徴量保存部、１０４…子音特徴検出部、１０５…子音情報出力部、１０６…子音特定部、２００…特徴量格納部、２０１…子音情報格納部。
【図１】
2004361560.tif 000007
【図２】
2004361560.tif 000008
【図３】
2004361560.tif 000009
【図４】
2004361560.tif 000010
【図５】
2004361560.tif 000011
【図６】
2004361560.tif 000012
【図７】
2004361560.tif 000013
【図８】
2004361560.tif 000014
【図９】
2004361560.tif 000015
【図１０】
2004361560.tif 000016
【図１１】
2004361560.tif 000017
【図１２】
2004361560.tif 000018