(57)【要約】  本発明の目的は、無音声発声の入力装置の装着者が無音声発声を意図しているにも関わらず、実際には通常発声を行ってしまうことを検出し警告を出す装置の提供することである。無音声発声を入力する無音声発声入力デバイス（１１）と、無音声発声入力デバイスからの入力信号が通常発声であるか否か判定する判定部（１２）と、判定部の判定結果を受け、判定結果が通常発声である場合に警告を出力する警告部（１３）と、を備え、通常発声が行われた場合に装着者に対して警告を行う。
2008007616.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも無音声発声信号を入力する入力部と、
前記入力部から入力された信号の特性を分析し、分析結果が、通常発声に相等する特性に該当するものであるか判別することで、通常発声が入力されたか否かを判定する判定部と、
前記判定部での判定結果が通常発声である場合に警告を出力する警告部と、
を備えている、ことを特徴とする無音声発声の入力警告装置。
【請求項２】
前記入力部が、無音声発声を入力する無音声発声入力デバイスを備え、
前記判定部は、前記無音声発声入力デバイスから入力された入力信号が通常発声であるか否かを判定する、ことを特徴とする請求項１記載の無音声発声の入力警告装置。
【請求項３】
前記判定部は、前記無音声発声入力デバイスから入力された前記入力信号のパワー、又は、前記入力信号の自己相関関数値の最大値が予め定められた閾値以下である場合に、通常発声以外であると判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項４】
前記入力部が、通常音声を入力する通常音声入力デバイスをさらに備え、
前記判定部は、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号とを用いて、前記無音声発声入力デバイスから入力される信号が通常発声であるか否かを判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項５】
前記判定部は、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数値の最大値が予め定められた値以上であるか、前記無音声発声入力デバイスから入力される信号のピッチ周波数と、前記通常音声入力デバイスから入力される信号のピッチ周波数とが一致している場合に、通常発声であると判定する、ことを特徴とする請求項４記載の無音声発声の入力警告装置。
【請求項６】
前記判定部は、
前記無音声発声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記入力信号のパワーが予め定められた閾値よりも大の場合には、
前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値よりも大の場合には、
前記無音声発声入力デバイスから入力される信号の自己相関関数値の最大値を算出し、
前記自己相関関数値の最大値が予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記自己相関関数値の最大値が予め定められた閾値よりも大の場合には、
前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数値の最大値を求め、前記相互相関関数値の最大値が予め定められた値以上である場合に、通常発声と判定し、
前記相互相関関数値の最大値が予め定められた値よりも小の場合に、通常発声以外であると判定する、ことを特徴とする請求項４記載の無音声発声の入力警告装置。
【請求項７】
前記無音声発声入力デバイスより入力された信号を入力して通常音声に変換して出力する音声変換部と、
前記音声変換部による変換後の通常音声を出力する出力デバイスと、
を備え、
前記無音声発声入力デバイスより入力された信号を前記音声変換部で通常音声に変換し前記出力デバイスを介して装着者に対してフィードバックを行い、
前記無音声発声入力デバイスより入力された信号が通常発声であると判定した場合には、前記警告部が前記出力デバイスより警告を前記装着者に知らせる、ことを特徴とする請求項２乃至６のいずれか一に記載の無音声発声の入力警告装置。
【請求項８】
前記音声変換部と前記出力デバイスとの間に、前記音声変換部から前記装着者への前記フィードバックを抑圧する抑圧部を備え、
前記警告部が前記出力デバイスから警告を発する時には、前記音声変換部からの通常音声の前記出力デバイスへのフィードバックが抑圧される、ことを特徴とする請求項７記載の無音声発声の入力警告装置。
【請求項９】
前記無音声発声入力デバイスから入力された信号のパワーを計算するパワー計算部を備え、
前記パワー計算部の出力は前記判定部に供給され、
無音声発生時にオン状態とされる第１のスイッチを介して前記パワー計算部に接続され、前記パワー計算部から出力されるパワーを保持する第１のパワー保持部と、
通常発生時にオン状態の第２のスイッチを介して前記パワー計算部に接続され、前記パワー計算部から出力されるパワーを保持する第２のパワー保持部と、
前記第１及び第２のパワー保持部にそれぞれ保持されるパワー値から、閾値を導出する閾値計算部を備え、
前記閾値計算部で導出された閾値は前記判定部に供給され、
前記判定部は、前記パワー計算部からの出力を、前記閾値計算部で導出された前記閾値と比較して、通常発声であるか否かを判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項１０】
前記第１、第２のパワー保持部は、無音声発声時と通常発声時、それぞれ、前記第１、第２のスイッチがオンの間、複数の時間区間のパワー値の系列をそれぞれ保持し、
前記閾値計算部は、前記第１及び第２のスイッチの両方がオフとされた場合、前記第１、第２のパワー保持部にそれぞれ保持されたパワー値の系列に関する、無音声発声と通常発声時のパワーの出現頻度に対して最尤推定により、閾値を求める、ことを特徴とする請求項９記載の無音声発声の入力警告装置。
【請求項１１】
前記無音声発声入力デバイスから入力された信号のパワーを計算するパワー計算部を備え、
前記パワー計算部の出力は前記判定部に供給され、
前記パワー計算部から出力されるパワーの系列を保持するパワー保持部と、
前記パワー保持部に保持されるパワーの系列から閾値を導出する閾値計算部と、
を備え、
前記閾値計算部で導出された閾値が、前記判定部に供給され、
前記判定部は、前記パワー計算部からの出力を前記閾値計算部で導出された前記閾値と比較して、通常発声であるか否かを判定し、
前記閾値計算部は、前記パワー保持部に保持されるパワーの出現頻度を計算し、前記出現頻度の最大のピークと第２のピークの間で最小値を取るパワーの値を、閾値として計算する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項１２】
前記無音声発声入力デバイスから入力された信号の自己相関関数値を計算する自己相関計算部を備え、
前記判定部は、前記自己相関計算部で求めた自己相関関数値の最大値が予め定められた閾値よりも大きいフレームが、予め定められた個数以上連続した場合、前記入力信号は、通常発声であると判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項１３】
前記無音声発声入力デバイスから入力された信号の自己相関関数値を計算する自己相関計算部を備え、
前記判定部は、前記自己相関計算部で求めた自己相関関数値の最大値と最小値の比が、予め定められた閾値よりも大のフレームが、予め定められた個数以上連続した場合、
通常発声であると判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項１４】
前記無音声発声入力デバイスから入力された信号の自己相関関数値を計算する自己相関計算部と、
前記自己相関計算部の出力から有音か否かを判定する有音声判定部と、
前記無音声発声入力デバイスから入力された信号のピッチ周波数を計算するピッチ周波数計算部と、
を備え、
前記判定部は、前記有音声判定部の出力とピッチ周波数計算部の出力を受け、通常音声か否かを判定する、ことを特徴とする請求項２記載の無音声発声の入力警告装置。
【請求項１５】
前記有音声判定部は、前記自己相関関数値の最大値が予め決めた値以上であるフレームが予め定められた所定個数以上連続する場合に、該当区間を、有声区間と判定し、
前記判定部は、
前記有音声判定部で有声区間であると判断された区間であり、且つ、ピッチ周波数が所定周波数の範囲内である区間を、
通常発声と判定する、ことを特徴とする請求項１４記載の無音声発声の入力警告装置。
【請求項１６】
前記無音声発声入力デバイスから入力された信号のパワーを計算する第１のパワー計算部と、
前記通常音声入力デバイスから入力された信号のパワーを計算する第２のパワー計算部と、
を備え、
前記判定部は、前記第１及び第２のパワー計算部の出力を受け、前記第１及び第２のパワー計算部の出力と予め定められた閾値とから、通常音声か否かを判定する、ことを特徴とする請求項４記載の無音声発声の入力警告装置。
【請求項１７】
前記無音声発声入力デバイスから入力された信号と前記通常音声入力デバイスから入力された信号の相互相関関数を計算する相互相関計算部を備え、
前記判定部は、前記相互相関計算部からの出力値と予め定められた閾値とから、通常音声か否かを判定する、ことを特徴とする請求項４記載の無音声発声の入力警告装置。
【請求項１８】
振動又は加速度を検出するセンサを備え、前記センサの出力が前記判定部に供給され、
前記センサで振動又は加速度の検出時、前記判定部では、通常発声であると判定しないように制御する、ことを特徴とする請求項２乃至１７のいずれか一に記載の無音声発声の入力警告装置。
【請求項１９】
少なくとも無音声発声を入力する入力デバイスから入力された信号の特性を分析する工程と、
分析結果が通常発声に相等する特性に該当するか判断することで、通常発声が入力されたか否かを判定する工程と、
前記判定の結果が通常発声である場合に警告を出力する工程と、
を含む、ことを特徴とする無音声発声の入力警告方法。
【請求項２０】
無音声発声の入力装置を構成するコンピュータに、
少なくとも無音声発声を入力する入力デバイスから入力された信号の特性を分析する処理と、
分析結果が通常発声に相等する特性に該当するか判断することで、通常発声が入力されたか否かを判定する判定処理と、
前記判定の結果が通常発声である場合に警告を出力する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）本願は、先の日本特許出願２００６−１９３０１０号（２００６年７月１３日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は、無音声発声の入力警告装置と方法、およびプログラムに関する。
【背景技術】
【０００２】
従来より、第三者に聞き取ることが困難なように発声された音声を入力する、無音声入力装置が提案されている。【０００３】
例えば非特許文献１では、非可聴つぶやき音（Ｎｏｎ−Ａｕｄｉｂｌｅ  Ｍｕｒｍｕｒ；「ＮＡＭ」という）を入力するデバイスであるＮＡＭマイクロフォンが開示されている。ＮＡＭマイクロフォンは、ＮＡＭに限らず、体内伝導通常音声（Ｂｏｄｙ  Ｔｒａｎｓｍｉｔｔｅｄ  Ｏｒｄｉｎａｒｙ  Ｓｐｅｅｃｈ；「ＢＴＯＳ」という）も入力することが可能である。【０００４】
また、ＮＡＭに関連して、例えば特許文献１には、無音発声入力部で入力した無音発声音声のスペクトル包絡に関する特徴量を抽出し、抽出された特徴量を用いて無音声発声を変換（通常音声や、他者の特徴を持つ通常音声に変換）する技術が開示されている。特許文献２では、ＮＡＭマイクロフォンで入力したＮＡＭ信号を音声認識し、認識候補を音声合成で出力して確認する技術が開示されている。特許文献３には、可聴音信号を収集する第１のマイクロフォンと、非可聴音信号（ＮＡＭ）を収集する第２のマイクロフォンと、第１、第２のマイクロフォンから入力された信号を記憶する記憶手段を備え、非可聴音によって構築された音響モデルに基づいて、第２のマイクロフォンから入力された信号に対し音声認識を行い、音声認識結果のテキストを合成音声し、通常音声とみなして録音する技術が開示されている。なお、特許文献３には、第１、第２のマイクロフォンからそれぞれ入力された信号に基づき、可聴音、非可聴音の存在する区間をそれぞれ表示する構成が開示されている。さらに、特許文献４では、ＮＡＭマイクロフォンの音声を音声認識し、認識モデル等からマイクロフォン装着位置を最適に導く技術が開示されている。【０００５】
【特許文献１】特開２００５−１７３４７６号公報
【特許文献２】特開２００５−３３５６８号公報
【特許文献３】特開２００５−１４０８５８号公報
【特許文献４】特開２００５−１４０８６０号公報
【非特許文献１】中島ほか「微弱体内伝導音抽出による無音声認識」日本音響学会講演論文集、２００３年３月、３−Ｑ−１２、ｐｐ．１７５−１７６
【非特許文献２】古井、「ディジタル音声処理」、東海大学出版会、ｐｐ．６９−７２、１９８５年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
なお、上記特許文献１〜４、非特許文献１〜２の全開示内容はその引用をもって本書に繰込み記載する。
ところで、ＮＡＭマイクロフォンを使う場合に、装着者すなわち発声者がＮＡＭ発声するか通常発声するかは、装着者が意識して、発声し分けなければならない。【０００７】
このため、本来、ＮＡＭ発声すべき状況において、発声者（ＮＡＭマイクロフォンの装着者）が誤って通常発声を行ってしまうことが起こり得る。このような場合に対して、ＮＡＭ発声すべき状況であることを、直ちに発声者に警告する手段の実現が望まれる。【０００８】
なんとなれば、ＮＡＭ発声すべき状況であるにもかかわらず、誤って発声者がずっと通常発声を行うと、発声内容が第三者に聞き取られてしまう等、予期せぬ不都合、不具合を招くことにもなるからである。【０００９】
したがって、本発明の目的は、ＮＡＭ等の無音声発声を入力する入力装置の装着者からの発声が通常発声であるかを判別し、装着者が意図した通りの発声を行うことを可能とする装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本願で開示される発明は、前記課題を解決するため、概略以下の構成とされる。【００１１】
本発明の１つのアスペクトに係るシステムは、少なくとも無音声発声信号を入力する入力部と、前記入力部から入力された信号の特性を分析する分析部と、前記分析部での分析結果が、通常発声に相等する特性に該当するものであるか判別することで、通常発声が入力されたか否かを判定する判定部と、を備えている。【００１２】
本発明において、前記分析部は、前記入力部から入力された信号を、区間毎に分析し、予め定められた個数の区間にわたって連続して通常発声に対応する特性が続く場合に、前記判定手段は、無音声発声ではなく、通常発声が入力されたと判定する。【００１３】
本発明において、前記判定結果が通常発声である場合に警告を出力する警告部を備えている。【００１４】
本発明の１つのアスペクトに係る装置は、音声発声を入力する無音声発声入力デバイスと、前記無音声発声入力デバイスからの入力信号が通常発声であるか否か判定する判定部と、前記判定部の判定結果を受け、判定結果が通常発声である場合に警告を出力する警告部と、を備えている。【００１５】
本発明において、前記判定部は、入力信号のパワーが予め定められた閾値以下の場合、通常発声以外であると判定する。【００１６】
本発明において、前記判定部は、前記入力信号の自己相関関数値の最大値を算出し、前記最大値が予め定められた値以下の場合、通常発声以外である、と判定する。【００１７】
本発明は、通常音声を入力する通常音声入力デバイスを備え、前記判定部は、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号を用いて、通常発声であるか否かを判定する。【００１８】
本発明において、前記無音声発声入力デバイスは、無音声発声用のマイクロフォンである。【００１９】
本発明において、通常音声入力デバイスは、空気中を伝播してきた音声を入力する通常マイクロフォンである、ことを特徴とする。【００２０】
本発明において、前記判定部は、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数値の最大値が予め定められた値以上であれば、通常発声であると判定することを特徴とする。【００２１】
本発明において、前記判定部は、前記無音声発声入力デバイスから入力される信号のピッチ周波数と、前記通常音声入力デバイスから入力される信号のピッチ周波数が一致していれば、通常発声であると判定する。【００２２】
本発明において、前記判定部は、前記無音声発声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外である、と判定し、前記入力信号のパワーが予め定められた閾値よりも大の場合には、前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外である、と判定し、前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値よりも大の場合には、前記無音声発声入力デバイスから入力される信号の自己相関関数値の最大値を算出し、前記自己相関関数値の最大値が予め定められた閾値以下である場合に、通常発声以外である、と判定し、前記自己相関関数値の最大値が予め定められた閾値よりも大の場合には、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数を計算し、前記相互相関関数値の最大値が予め定められた値以上である場合に、通常発声である、と判定し、前記相互相関関数値の最大値が予め定められた値よりも小の場合に、通常発声以外である、と判定する、ようにしてもよい。【００２３】
本発明において、前記無音声発声入力デバイスより入力された信号を、通常音声に変換する音声変換部と、前記音声変換部による変換後の通常音声を出力する出力デバイスと、を備え、前記無音声発声入力デバイスより入力された信号を前記音声変換部で通常音声に変換して前記出力デバイスを介して装着者にフィードバックを行い、前記無音声発声入力デバイスより入力された信号が通常発声であると判定した場合には、前記警告部が前記出力デバイスより警告を装着者に知らせる構成としてもよい。本発明において、前記出力デバイスをヘッドフォンとしてもよい。【００２４】
本発明において、前記音声変換部と前記出力デバイスの間に、装着者へのフィードバックを抑圧する抑圧部を備え、前記警告部が前記出力デバイスから警告を発する時には、前記音声変換部からの通常音声の前記出力デバイスへのフィードバックが抑圧される。【００２５】
本発明において、前記無音声発声入力デバイスから入力された信号のパワーを計算するパワー計算部を備え、前記判定部は、前記パワー計算部で求めたパワー値が、予め定められた閾値よりも大きい場合、入力された音声の該当フレームは、通常発声であると判定する。【００２６】
本発明においては、前記無音声発声入力デバイスから入力された信号のパワーを計算するパワー計算部を備え、前記パワー計算部の出力は前記判定部に供給され、無音声発声時にオン状態とされる第１のスイッチを介して前記パワー計算部に接続され、前記パワー計算部から出力されるパワーを保持する第１のパワー保持部と、通常発声時にオン状態の第２のスイッチを介して前記パワー計算部に接続され、前記パワー計算部から出力されるパワーを保持する第２のパワー保持部と、前記第１及び第２のパワー保持部の値から、閾値を導出する閾値計算部を備え、前記閾値計算部で導出された閾値が、前記判定部に供給され、前記判定部は、前記パワー計算部からの出力を前記閾値計算部で導出された前記閾値と比較して、通常発声であるか否かを判定する、構成としてもよい。【００２７】
本発明において、前記第１、第２のパワー保持部は、それぞれ、前記第１、第２のスイッチがオンの間、複数の時間区間の第１、第２のパワー値の系列をそれぞれ保持し、前記閾値計算部は、前記第１及び第２のスイッチの両方がオフとされた場合、前記第１、第２のパワー値の系列に関してパワーの出現頻度に対して最尤推定により、閾値を求める、ようにしてもよい。【００２８】
あるいは、本発明においては、前記無音声発声入力デバイスから入力された信号のパワーを計算するパワー計算部を備え、前記パワー計算部の出力は前記判定部に供給され、前記パワー計算部から出力されるパワーの系列を保持するパワー保持部と、前記パワー保持部に保持されるパワーの系列から閾値を導出する閾値計算部と、を備え、前記閾値計算部で導出された閾値が、前記判定部に供給され、前記判定部は、前記パワー計算部からの出力を前記閾値計算部で導出された前記閾値と比較して、通常発声であるか否かを判定し、前記閾値計算部は、前記パワー保持部に保持されるパワーの出現頻度を計算し、出願頻度の最大のピークと第２のピークの間で最小値を取るパワーの値を、閾値として計算する構成としてもよい。【００２９】
本発明において、前記無音声発声入力デバイスから入力された信号の自己相関関数値を計算する自己相関計算部を備え、前記判定部は、前記自己相関計算部で求めた自己相関関数値が、予め定められた閾値よりも大きい場合、入力された音声の該当フレームは、通常発声であると判定する、構成としてもよい。【００３０】
本発明において、前記判定部は、前記自己相関計算部で求めた自己相関関数値の最大値が予め定められた閾値よりも大きいフレームが、予め定められた個数以上連続した場合、通常発声であると判定するようにしてもよい。【００３１】
本発明において、前記判定部は、前記自己相関計算部で求めた自己相関関数値の最大値と最小値の比が予め定められた閾値よりも大きいフレームが、予め定められた個数以上連続した場合、通常発声であると判定するようにしてもよい。【００３２】
本発明において、前記無音声発声入力デバイスから入力された信号の自己相関関数値を計算する自己相関計算部と、自己相関計算部の出力から有音か否かを判定する有音声判定部と、前記無音声発声入力デバイスから入力された信号のピッチ周波数を計算するピッチ周波数計算部と、を備え、前記判定部は、前記有音声判定部の出力とピッチ周波数計算部の出力を受け、通常発声であるか否かを判定する、ようにしてもよい。【００３３】
本発明において、前記有音声判定部は、自己相関関数値の最大値が予め決めた値以上であるフレームが予め定められた所定数以上連続する場合に、該当区間を有声区間であると判定し、前記判定部は、前記有音声判定部で有声区間であると判断された区間で、かつ、ピッチ周波数が所定周波数の範囲内である区間を通常発声であると判定する、ことを特徴とする。【００３４】
本発明において、前記無音声発声入力デバイスから入力された信号のパワーを計算する第１のパワー計算部を備え、前記通常音声入力デバイスから入力された信号のパワーを計算する第２のパワー計算部を備え、前記判定部は、前記第１のパワー計算部と前記第２のパワー計算部の出力を受け、閾値から、通常発声か否かを判定する、構成としてもよい。【００３５】
本発明において、前記判定部は、前記第１のパワー計算部の出力が第１の閾値よりも大であり、前記第２のパワー計算部の出力が第２の閾値よりも大のとき、通常発声であると判定する。【００３６】
本発明において、前記無音声発声入力デバイスから入力された信号と通常音声入力デバイスから入力された信号の相関を計算する相関計算部を備え、前記判定部は、前記相関計算部の出力と閾値から、通常発声か否かを判定する、ようにしてもよい。【００３７】
本発明において、振動を検出するセンサを備え、前記センサの出力が前記判定部に供給され、前記センサで振動又は加速度の検出時、前記判定部では、通常発声であると判定しないように制御する構成としてもよい。【００３８】
本発明の他のアスペクトに係る方法は、少なくとも無音声発声を入力する入力デバイスから入力された信号の特性を分析する工程と、分析結果が通常発声に相等する特性に該当するか判断することで、通常発声が入力されたか否かを判定する工程と、前記判定の結果が通常発声である場合に警告を出力する工程と、を含む。【００３９】
本発明に係る方法において、入力信号のパワーが予め定められた閾値以下の場合、通常発声以外であると判定する。【００４０】
本発明に係る方法において、前記入力信号の自己相関関数値の最大値を算出し、前記最大値が予め定められた値以下の場合、通常発声以外である、と判定する。【００４１】
本発明に係る方法において、前記無音声発声を入力する入力デバイスから入力される信号と、通常音声を入力する入力デバイスから入力される信号を用いて、通常発声であるか否かを判定する。本発明において、前記無音声発声を入力する入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、前記入力信号のパワーが予め定められた閾値よりも大の場合には、前記通常音声を入力する入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、前記通常音声を入力する入力デバイスから入力される信号のパワーが予め定められた閾値よりも大の場合には、前記無音声発声を入力する入力デバイスから入力される信号の自己相関関数値の最大値を算出し、前記自己相関関数値の最大値が予め定められた閾値以下である場合に、通常発声以外であると判定し、前記自己相関関数値の最大値が予め定められた閾値よりも大の場合には、前記無音声発声を入力する入力デバイスから入力される信号と、前記通常音声を入力する入力デバイスから入力される信号の相互相関関数値の最大値を求め、前記相互相関関数値の最大値が予め定められた値以上である場合に、通常発声であると判定し、前記相互相関関数値の最大値が予め定められた値よりも小の場合に、通常発声以外であると判定するようにしてもよい。【００４２】
本発明に係るコンピュータプログラムは、無音声発声の入力装置を構成するコンピュータに、少なくとも無音声発声を入力する入力デバイスから入力された信号の特性を分析する処理と、分析結果が通常発声に相等する特性に該当するか判断することで、通常発声が入力されたか否かを判定する判定処理と、前記判定の結果が通常発声である場合に警告を出力する処理と、を実行させるプログラムよりなる。【００４３】
本発明に係るプログラムにおいて、前記判定処理は、入力信号のパワーが予め定められた閾値以下の場合、通常発声以外であると判定する。【００４４】
本発明に係るプログラムにおいて、前記判定処理は、前記入力信号の自己相関関数値の最大値を算出し、前記最大値が予め定められた値以下の場合、通常発声以外である、と判定する。【００４５】
本発明に係るプログラムにおいて、前記無音声発声を入力する入力デバイスから入力される信号と、通常音声を入力する入力デバイスから入力される信号を用いて、通常発声であるか否かを判定する。
【発明の効果】
【００４６】
本発明によれば、無音声発声入力デバイスからの入力信号が、通常発声かＮＡＭ発声かを判断して、通常発声の場合は装着者に警告を行うことで、装着者は、意図した発声、すなわち無音声発声を継続かつ安定して行うことが可能となる。【００４７】
本発明によれば、無音声発声入力デバイスに加えて通常のマイクロフォンを用いることで、より確かな判断を行うことができる。【００４８】
また本発明によれば、無音声発声入力デバイスからの入力信号を通常発声に変換して常時フィードバックしておき、入力が通常発声の場合には、フィードバック音声に重畳するか、あるいは、フィードバック音声に割り込んで、装着者に警告することで、装着者は、無音声発声を継続かつ安定して行うことが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１の実施例の構成を示す図である。
【図２】本発明の第２の実施例の構成を示す図である。
【図３】本発明の第１の実施例における判定部の動作フローを表す流れ図である。
【図４】本発明の第３の実施例の構成を示す図である。
【図５】本発明の第４の実施例の構成を示す図である。
【図６】本発明の第５の実施例の構成を示す図である。
【図７】本発明の第６の実施例を説明するための図である。
【図８】本発明の第７の実施例を説明するための図である。
【図９】本発明の第８の実施例の構成を示す図である。
【図１０】本発明の第７の実施例を説明するための図である。
【図１１】本発明の第９の実施例を説明するための図である。
【図１２】本発明の第１０の実施例の構成を示す図である。
【図１３】本発明の第１１の実施例の構成を示す図である。
【図１４】本発明の第１１の実施例を説明するための図である。
【図１５】本発明の第１２の実施例の構成を示す図である。
【図１６】本発明の第１３の実施例の構成を示す図である。
【符号の説明】
【００５０】
１１  無音声発声入力デバイス
１２、１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ、１２Ｅ、１２Ｆ、１２Ｇ  判定部
１３  警告部
１４  通常マイクロフォン
１５  音声変換部
１６  ヘッドフォン
１７  抑圧部
１８  ＮＡＭ音声パワー計算部
１９  ＮＡＭ発声学習スイッチ
２０  通常発声学習スイッチ
２１  ＮＡＭ音声パワー保持部
２２  通常音声パワー保持部
２３  閾値計算部
２４  自己相関計算部
２５  ピッチ周波数計算部
２６  有音声判定部
２７  通常音声パワー計算部
２８  相互相関計算部
２９  振動センサ
【発明を実施するための最良の形態】
【００５１】
上記した本発明についてさらに詳細に説述すべく、添付図面を参照して以下に説明する。本発明は、その好ましい一実施形態において、無音声発声を入力する無音声発声入力デバイス（１１）と、前記無音声発声入力デバイスからの入力信号が通常発声であるか否か判定する判定部（１２）と、前記判定部の判定結果を受け、判定結果が通常発声である場合に警告を出力する警告部（１３）と、を備えている。【００５２】
本発明は、一実施形態の構成に加え、通常マイクロフォン（図２の１４）を備えた構成としてもよい。【００５３】
さらに、本発明は、別の実施形態において、無音声発声入力デバイスからの信号を通常音声に変換する音声変換部（図４の１５）と、音声変換部の音声出力又は警告部（１３）の出力を受ける出力デバイス（図４の１６）と、警告部からの警告出力時、音声変換部からの音声出力を抑圧する抑圧部（図４の１７）とを備えている。以下、実施例に即して説明する。
【実施例】
【００５４】
図１は、本発明の第１の実施例の構成を示す図である。図１を参照すると、本実施例は、無音声発声入力デバイス１１と、判定部１２と、警告部１３を備えている。【００５５】
無音声発声入力デバイス１１は、無音声発声を入力することを目的とするが、無音声発声以外の信号も入力することが可能である。【００５６】
無音声発声入力デバイス１１としては、好ましくは、ＮＡＭマイクロフォンが用いられる。なお、ＮＡＭマイクロフォン以外にも、咽頭マイクロフォン、接話型マイクロフォンなどの無音声発声を入力可能なデバイスを用いても良い。【００５７】
無音声発声入力デバイス１１で入力された信号（音声帯域信号）１０１は、判定部１２に入力される。信号（音声帯域信号）１０１は、無音声発声音声として出力される。【００５８】
判定部１２は、入力された信号１０１を逐次処理し、
・波形の周期性の有無、
・波形の自己相関係数、
・波形の平均パワー
のうち１つ以上を用いて、該入力音声が、通常発声であるか否かを判定する。その際、該入力音声が、通常発声であるか、無音声発声か、それ以外の信号であるかを判定するようにしてもよい。【００５９】
ここで、
・「無音声発声」とは、話者が、第三者に聞き取ることが困難なように発声された音声である。
・「通常発声」とは、人の発声のうち、無音声発声以外の発声である。
・「それ以外の信号」とは、雑音や心臓音など、人の発声したものでない信号のことをいう。【００６０】
判定部１２は、入力音声が通常発声であると判定した場合、判定結果を警告部１３に送る。警告部１３は、判定部１２から、入力音声が通常発声であるという判定結果を受け取ると、装着者に対して、「通常発声が行われていること」を、警告出力する。【００６１】
なお、本実施例において、判定部１２による判定は、
・通常発声、
・無音声発声、
・これら以外、
の３択に限定されるものではないことは勿論である。通常音声を、他（通常音声以外）から弁別できさえすればよい。【００６２】
特に制限されないが、本実施例では、警告部１３として、例えばブザーが用いられる。あるいは、ヘッドフォン、スピーカその他の音響デバイス、バイブレータなどの振動デバイス、ＬＥＤ（発光ダイオード）やＬＣＤ（液晶表示装置）などの光学デバイス、旗を上げるなどの視覚的伝達デバイス、システム外部への電気信号等でもよい。【００６３】
本実施例において、判定部１２における動作は、上記に限定されるものではない。例えば、無音声発声と通常発声とその他の信号に対応した音響モデルを備えた音声認識装置を用いて、認識尤度の大小によって、通常音声の判定を行うようにしてもよい。【００６４】
なお、本実施例において、判定部１２は、コンピュータにより実行されるプログラムによりその処理・機能を実現し、あるいは、警告部１３等のハードウエア回路（ブザー、ヘッドフォン、スピーカ等、あるいはＬＣＤ等）を制御するようにしてもよいことは勿論である。この場合、判定部１２、警告部１３はソフトウエアによる制御システムとして実装される。そして、判定部１２において、無音声発声入力デバイス１１から入力された信号１０１がアナログ信号の場合、判定部１２に内蔵される、不図示のＡ／Ｄコンバータにてデジタル信号に変換し、不図示のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）によるデジタル信号処理により、周期性、自己相関、パワー等の特性を求め、判定処理を行う。【００６５】
次に、本発明の第２の実施例を説明する。図２は、本発明の第２の実施例の構成を示す図である。本実施例は、前記第１の実施例に加えて、本発明における通常音声入力デバイスを構成する通常マイクロフォン１４を備えている。【００６６】
通常マイクロフォン１４は、無音声発声入力デバイス１１とは異なり、空気中を伝播してきた音声のみを入力するマイクロフォンである。通常マイクロフォン１４は、一般に、装着者の口唇の近くに装着される。好ましくは、ハンズフリーマイクが用いられる。通常マイクロフォン１４から入力された音声信号１０２は、判定部１２に入力される。【００６７】
判定部１２は、無音声発声入力デバイス１１から入力された信号１０１と通常マイクロフォン１４から入力された信号１０２とを入力とし、これら２つの信号を比較し、信号１０１が通常発声であるか、通常発声以外の信号であるかを判定する。【００６８】
本実施例では、判定部１２では、同じ時刻に対応する信号１０１と信号１０２を、一定時間区間毎（フレーム単位）に切り出し、図３に示す流れ図のアルゴリズムによって判定を行う。以下、図３のアルゴリズムの内容を説明する。【００６９】
はじめに、与えられた時間区間の信号１０１と信号１０２の区間平均パワーを計算し（ステップＳ１１）、各々の区間平均パワーが予め定められた規定値（閾値）以下の場合、無発声区間であることから、通常発声以外の信号と判定する（ステップＳ２０）。すなわち、信号１０１の音声パワーが予め定められた閾値（第１の閾値）以下か否か判定し（ステップＳ１２）、閾値以下の場合、ステップＳ２０へ移行する。信号１０２の区間パワーが、予め定められた閾値（第２の閾値）以下か否か判定し（ステップＳ１３）、閾値以下の場合、ステップＳ２０（通常発声以外の信号と判定）へ移行する。【００７０】
信号１０１、１０２の区間平均パワーがそれぞれ予め定められた閾値以上の場合、ＮＡＭ音声の自己相関関数を計算し（ステップＳ１４）、自己相関関数値の最大値を有声性の値とする（ステップＳ１５）。すなわち、信号１０１の周期性を計算する。【００７１】
ステップＳ１６の判定の結果、信号１０１の周期性が、予め定められた閾値（第３の閾値）よりも、周期性が低い場合には、ステップＳ２０に移行する（通常発声以外の信号と判定する）。これは、無声音であって無音声発話と通常発声の区別がつかないためである。一方、ステップＳ１６の判定の結果、有声性の値が閾値より大の場合、ステップＳ１７に移行し、信号１０１と信号１０２の相互相関関数値を計算する。【００７２】
相互相関関数値の最大値が予め定められた閾値（第４の閾値）よりも大であるか否か判定し（ステップＳ１８）、大の場合のみ、該当区間を通常発声であると判定する（ステップＳ１９）。【００７３】
該当区間を通常発声であると判定するのは、ＮＡＭ音声の区間平均パワーが閾値（第１の閾値）より大であり、通常音声の区間平均パワーが閾値（第２の閾値）より大であり、ＮＡＭ音声の自己相関の値が閾値（第３の閾値）より大であり、相互相関の値が閾値（第４の閾値）より大である場合とされる。【００７４】
本実施例によれば、信号１０１と信号１０２の相互相関関数を計算することで、通常発声であるか否かを判別しているため、身体を動かすことによって発生する雑音等の影響を低減して、より確実な判定を行うことができる。【００７５】
次に、本発明の第３の実施例について説明する。図４は、本発明の第３の実施例の構成を示す図である。本実施例は、第２の実施例に加えて、音声変換部１５と、ヘッドフォン１６、抑圧部１７を備える。【００７６】
音声変換部１５は、無音声発声入力デバイス１１からの信号１０１を、通常音声に変換する。これは、例えば特許文献１等に記載された手法による。【００７７】
音声変換部１５で通常音声に変換された信号１０３は、そのままヘッドフォン１６において、装着者にフィードバックされる（自分が発生した音声を聞くことができる）。このフィードバックは、特に、周囲がうるさい音環境の場合にも、装着者が安定した発声を行うことを助ける。【００７８】
判定部１２が、該信号１０１を通常発声と判定した場合、警告部１３は、警告音信号を生成しヘッドフォン１６に出力するとともに、抑圧部１７は、音声変換部１５の出力を抑圧する。これにより、装着者は、常時、フィードバックを聞いているヘッドフォン１６から警告音を聞くことになり、周囲の人に察知されることなく、通常発声を行ってしまったことを知ることができる。その結果、装着者は、通常発声を止め無音声発声に移行することが、簡単かつ迅速にできる。【００７９】
抑圧部１７は、単に信号を止めて無音にするスイッチで構成してもよいし、音量を下げるように動作しても良い。【００８０】
警告部１３が生成する警告音信号は、ビープ音やサイレン音、通常発話を行っている旨を知らせる録音音声などを用いることが可能である。【００８１】
ヘッドフォン１６は、通常の音響用ヘッドフォン以外に、片耳イヤホンや、骨伝導ヘッドフォンなどを用いても良い。【００８２】
例えば無音声発声入力デバイス１１としてＮＡＭマイクロフォン、ヘッドフォン１６として音響用ヘッドフォンを用いると、種類が異なるために無用の音響結合が生じ難いという効果を得ることができる。【００８３】
無音声発声入力デバイス１１とヘッドフォン１６は、一体として装着できるようになっていてもよい。あるいは、一つのデバイスを双方向に使用することで共用してもよいことは勿論である。なお、本実施例において、音声変換部１５、抑圧部１７、判定部１２、警告部１３は、コンピュータ（ＣＰＵ）で実行されるプログラムによりその処理・機能を実現するようにしてもよい。【００８４】
以上、本発明の実施例を説明したが、無音声発声入力デバイス１１から入力された信号より通常音声を検出する手法は、上記手法に限定されるものでなく、さらに、いくつかの手法を用いることができる。以下に説明する。【００８５】
本発明の第４の実施例について説明する。図５は、本発明の第４の実施例の構成を示す図である。図５を参照すると、無音声発声入力デバイス１１と、ＮＡＭ音声パワー計算部１８と、判定部１２Ａを備えている。本実施例は、図１の判定部１２を、ＮＡＭ音声パワー計算部１８と、判定部１２Ａで構成したものである。【００８６】
無音声発声入力デバイス１１は例えばＮＡＭマイクよりなり、音声を入力する。ＮＡＭ音声パワー計算部１８は、無音声発声入力デバイス１１から入力された音声の、短時間ｒｍｓ（ｒｏｏｔ  ｍｅａｎ  ｓｑｕａｒｅ）パワー（パワーの実効値）を計算する。このｒｍｓパワーの計算にあたり、
・分析フレーム長は２００ｍｓｅｃとし、
・フレームのオーバラップは無しとする。【００８７】
サンプリング周波数１６ｋＨｚの場合、３２００サンプル毎に分析を行う。該当フレームに対して、ハニング窓（Ｈａｎｎｉｎｇ  Ｗｉｎｄｏｗ）を掛け、ｒｍｓパワーを計算する。【００８８】
判定部１２は、該当フレームの短時間ｒｍｓパワーが、予め定められた閾値よりも大きい場合、入力された音声の該当フレームは、通常発声であると判定する。ＮＡＭ発声よりも通常発声の方がパワーが大きいため、これによって、通常発声していることを検出できる。なお、本実施例において、ＮＡＭ音声パワー計算部１８、判定部１２は、コンピュータ（ＣＰＵ）で実行されるプログラムによりその処理・機能を実現するようにしてもよい。【００８９】
次に、本発明の第５の実施例について説明する。図６は、本発明の第５の実施例の構成を示す図である。図６を参照すると、本実施例は、ＮＡＭマイクよりなる無音声発声入力デバイス１１と、ＮＡＭ音声パワー計算部１８と、ＮＡＭ発声学習スイッチ１９と、通常発声学習スイッチ２０と、ＮＡＭ音声パワー保持部２１と、通常音声パワー保持部２２と、閾値計算部２３と、判定部１２Ｂを備える。ＮＡＭ音声パワー保持部２１は、ＮＡＭ発声学習スイッチ１９がオンの時、ＮＡＭ音声パワー計算部１８から出力される、短時間ｒｍｓパワーの値を受け取って記憶する。【００９０】
一方、通常音声パワー保持部２２は、通常発声学習スイッチ２０がオンの時、ＮＡＭ音声パワー計算部１８の出力である短時間ｒｍｓパワーを受け取って記憶する。【００９１】
特に制限されないが、ＮＡＭ発声学習スイッチ１９と、通常発声学習スイッチ２０は、押下でオンするボタン・スイッチ等で構成してもよい。スイッチ１９、２０は押下でオン・オフとトグルするトグル・スイッチであってもよい。【００９２】
閾値計算部２３は、ＮＡＭ音声パワー保持部２１が記憶するＮＡＭ発声の短時間ｒｍｓパワーＰｎと、通常音声パワー保持部２２が記憶する通常発声の短時間ｒｍｓパワーＰｔとから、次式（１）にしたがって、閾値Ｐｔｈを求める。【００９３】
Pth = ( Pn + Pt ) / 2                   ・・・(1)【００９４】
上記のように、閾値Ｐｔｈを導出することで、予め使用前に、ユーザがＮＡＭ発声と通常発声の典型的なパワーを学習することができ、判定精度を向上することができる。なお、本実施例において、ＮＡＭ音声パワー計算部１８、閾値計算部２３、判定部１２は、コンピュータ（ＣＰＵ）で実行されるプログラムによりその処理・機能を実現するようにしてもよい。【００９５】
次に、本発明の第６の実施例について説明する。本実施例は、前記第５の実施例の変形であり、閾値の計算を学習した複数フレームに対して行う。なお、本実施例の構成は、図６と同様とされる。図７は、本発明の第６の実施例を説明するための図である。ＮＡＭ音声パワー保持部２１は、ＮＡＭ発声学習スイッチ１９がオンの間、複数のフレームについて短時間ｒｍｓパワーの値Ｐｎ（１），Ｐｎ（２），．．．，Ｐｎ（Ｎｎ）をそれぞれ保持する。【００９６】
本実施例において、通常音声パワー保持部２２は、通常発声学習スイッチ２０がオンの間、複数のフレームについて短時間ｒｍｓパワーの値Ｐｔ（１），Ｐｔ（２），．．．，  Ｐｔ（Ｎｔ）をそれぞれ保持する。【００９７】
ＮＡＭ発声学習スイッチ１９と通常発声学習スイッチ２０の両方がオフとされた時点で、閾値計算部２３は、最尤推定法によって、｛Ｐｎ（１），Ｐｎ（２），．．．，Ｐｎ（Ｎｎ）｝の系列と、｛Ｐｔ（１），Ｐｔ（２），．．．，Ｐｔ（Ｎｔ）｝の系列の閾値を計算する。すなわち、図７（横軸：パワー、縦軸：出現頻度）に示したように、ＮＡＭ音声ｎパワーの出願頻度、通常音声のパワーの出現頻度に対して、最尤推定により閾値（図７の矢線で示す）を求める。かかる構成により、判定部１２Ｂにおいて判定の基準となる閾値の精度を向上できる。【００９８】
次に、本発明の第７の実施例について説明する。本実施例は、前記第５の実施例のように、ＮＡＭ発声学習スイッチ１９と通常発声学習スイッチ２０をそれぞれ押下して、学習するのではなく、ＮＡＭマイクロフォン等の無音声発声入力デバイス１１を利用中に、通常音声判定用の閾値を、逐次学習する構成とされている。図８は、本発明の第７の実施例を説明するための図である。なお、本実施例は、図６において、通常発声学習スイッチ２０と通常音声パワー保持部２２を削除した構成としてもよい。【００９９】
ＮＡＭ音声パワー保持部２１は、ＮＡＭ発声学習スイッチ１９がオン時に、複数のフレームについて、短時間ｒｍｓパワーの値Ｐ（１），Ｐ（２），．．．，Ｐ（Ｎ）を保持する。【０１００】
閾値計算部２３は、短時間ｒｍｓパワーの系列｛Ｐ（１），Ｐ（２），．．．，Ｐ（Ｎ）｝のヒストグラム（出現頻度）を計算し、図８に示すように、出現頻度の最大のピークと第２のピークの間で最小値を取る短時間ｒｍｓパワーの値を、判定部１２Ｂ（図６参照）での閾値として計算する。【０１０１】
本実施例によれば、通常音声判定用の閾値を事前に設定したり、予め学習することなく、装置の利用中に、閾値を学習することができ、利便性、操作性、使用効率を向上させる。【０１０２】
次に、本発明の第８の実施例について説明する。図９は、本実施例の構成を示す図である。図９を参照すると、本実施例は、自己相関係数で有声性を検出するものであり、無音声発声入力デバイス１１と、自己相関計算部２４と、判定部１２Ｃとを備えている。【０１０３】
本実施例において、無音声発声入力デバイス１１はＮＡＭマイクよりなり、音声を入力する。自己相関計算部２４は、無音声発声入力デバイス１１から入力された音声の自己相関関数を計算する。この時、
・分析フレーム長は２００ｍｓｅｃとする。
・フレームのオーバラップは無しとする。
・自己相関関数の計算範囲は、３ｍｓｅｃから２０ｍｓｅｃとする。
すなわち、無音声発声入力デバイス１１から入力された音声x（i）の自己相関関数
Rｘ(τ)=(1/N)ΣN-1ｉ=0[x(i + τ)x(i)]          ・・・(2)
を遅れ時間τとして例えば３ｍｓｅｃから２０ｍｓｅｃの各値について求める（遅れ時間τの分解能は任意）。Ｎは例えば１フレーム期間のサンプル数に対応する。【０１０４】
本実施例において、判定部１２Ｃは、各フレーム毎に、自己相関計算部２４で計算された自己相関関数値の最大値を求める。例えば３ｍｓｅｃから２０ｍｓｅｃの範囲の各遅れ時間τの複数の自己相関関数値Rｘ（τ）の中から、値が最大の自己相関関数値を求める。そして、自己相関関数値の最大値が予め定められた閾値以上であるフレームが、例えば３個以上連続する範囲を有声性が高いので、通常発声であると判定する。【０１０５】
かかる構成の本実施例によれば、文末付近などのように弱いパワーで通常発声された場合にも、通常発声を検出することができる。【０１０６】
図１０（ａ）は、自己相関計算部２４が求めた自己相関関数値の一例を示す図であり、横軸が遅れ（τ）、縦軸は、自己相関関数値である。図１０（ｂ）は、自己相関関数値の時間推移を示す図であり、横軸の一つの時間区間はフレームであり、縦軸は自己相関関数値である。図１０（ｂ）において、４フレーム連続して閾値以上であるため通常発声であると判定する。本実施例において、自己相関計算部２４と、判定部１２は、コンピュータ（ＣＰＵ）で実行されるプログラムによりその処理・機能を実現するようにしてもよい。【０１０７】
次に、本発明の第９の実施例を説明する。本発明の第９の実施例の構成は、図９に示した前記第８の実施例と同一である。図１１（ａ）、図１１（ｂ）は、本発明の第９の実施例の変形例を説明する図である。【０１０８】
本実施例において、判定部１２は、各フレーム毎に、自己相関計算部２４が求めた自己相関関数値の最大値Ａ（ｔ）と最小値Ｂ（ｔ）を求め、その比ｈ（ｔ）を計算する。【０１０９】
h(t) = A(t) / B(t)            ・・・(3)【０１１０】
本実施例においては、時間的に連続した３フレームで、比ｈ（ｔ）が、全て閾値（例えば２．０）以上であれば、該当区間を通常発声と判定する。【０１１１】
かかる構成の本実施例によれば、文末付近などのように弱いパワーで通常発声された場合にも、通常発声を安定して検出することが可能となる。【０１１２】
次に、本発明の第１０の実施例について説明する。図１２は、本発明の第１０の実施例の構成を示す図である。図１２を参照すると、本実施例は、無音声発声入力デバイス１１と、自己相関計算部２４と、判定部１２Ｄと、ピッチ周波数計算部２５、有音声判定部２６とを備えている。【０１１３】
本実施例においては、１つの無音声発声入力デバイス１１（ＮＡＭマイク）のみを備え、ピッチ周波数と、有声／無声の別との両者を用いて判定することで、誤判定を減少させる。ピッチ周波数計算部２５は、変形相関法（非特許文献２）等を用いて、入力音声のピッチ周波数を計算する。この時、
・分析フレーム長は２００ｍｓｅｃとし、
・フレームのオーバラップは無しとする。【０１１４】
自己相関計算部２４は、同じ入力音声の各フレームに対して、自己相関関数を計算する。自己相関関数の計算範囲は、３ｍｓｅｃから２０ｍｓｅｃとする。【０１１５】
有音声判定部２６は、各フレーム毎に、自己相関計算部２４が求めた自己相関関数値の最大値を求め、該自己相関関数値の最大値が予め決めた値以上であるフレームが３以上連続する場合に、該当区間を有声区間であると判定する。【０１１６】
判定部１２Ｄは、
・有音声判定部２６で「有声区間である」と判断された区間であり、且つ、
・ピッチ周波数が５０Ｈｚ〜３００Ｈｚの範囲内である区間を、
「通常発声である」と判定する。【０１１７】
かかる構成の本実施例によれば、例えば文末付近などのように弱いパワーで通常発声された場合にも、通常発声を安定して検出することが可能となる。【０１１８】
なお、本実施例において、自己相関計算部２４と、判定部１２Ｄと、ピッチ周波数計算部２５、有音声判定部２６は、コンピュータ（ＣＰＵ）上で動作するプログラムによりその処理・機能を実現するようにしてもよい。【０１１９】
次に、本発明の第１１の実施例について説明する。図１３は、本発明の第１１の実施例の構成を示す図である。図１３を参照すると、本実施例は、無音声発声入力デバイス１１と、ＮＡＭ音声パワー計算部１８と、通常マイクロフォン１４と、通常音声パワー計算部２７と、判定部１２Ｅを備えている。本実施例は、２マイクで、ＮＡＭマイク入力音声のパワーと、通常マイク入力音声のパワーを利用するものである。無音声発声入力デバイス１１（ＮＡＭマイク）と通常マイクロフォン１４は、音声を入力する。ここで、ＮＡＭマイクは、耳付近の体表面に貼りつけて固定し、通常マイクロフォン１４は口の近傍に配置する。【０１２０】
ＮＡＭ音声パワー計算部１８は、ＮＡＭマイク１１から入力された音声の、短時間ｒｍｓパワーＰｎを計算する。通常音声パワー計算部２７は、通常マイクロフォン１４から入力された音声の、短時間ｒｍｓパワーＰｍを計算する。【０１２１】
この時、
・フレーム長は２００ｍｓｅｃとし、
・フレームのオーバラップは無しとする。
該当フレームに対して、ハニング窓（Ｈａｎｎｉｎｇ  Ｗｉｎｄｏｗ）を掛け、ｒｍｓパワーを計算する。【０１２２】
判定部１２Ｅは、パワーＰｎ、Ｐｍと、予め与えられた２種類の閾値Ｐｔｈ１とＰｔｈ２とを用いて、例えば図１４に示す条件で判定を行う。【０１２３】
・（Ｐｔｈ１＜Ｐｎ）且つ（Ｐｔｈ２＜Ｐｍ）の場合、通常音声、
・（Ｐｔｈ１≧Ｐｎ）且つ（Ｐｔｈ２＜Ｐｍ）の場合、外来雑音、
・（Ｐｔｈ１＜Ｐｎ）且つ（Ｐｔｈ２≧Ｐｍ）の場合、ＮＡＭ発声又は無声音、
・（Ｐｔｈ１≧Ｐｎ）且つ（Ｐｔｈ２≧Ｐｍ）の場合、無音、
と判定する。【０１２４】
すなわち、（Ｐｔｈ１＜Ｐｎ）且つ（Ｐｔｈ２＜Ｐｍ）の時のみ、通常発声であると判定する。これによって、装着者以外の音源による外来雑音を排除して、安定して通常発声を検出することが可能となる。【０１２５】
なお、本実施例において、ＮＡＭ音声パワー計算部１８と、通常音声パワー計算部２７と、判定部１２Ｅは、コンピュータ（ＣＰＵ）上で動作するプログラムによりその処理・機能を実現するようにしてもよい。【０１２６】
次に、本発明の第１２の実施例について説明する。図１５は、本発明の第１２の実施例の構成を示す図である。図１５を参照すると、本実施例は、無音声発声入力デバイス１１（ＮＡＭマイク）と、通常マイクロフォン１４と、相互相関計算部２８と、判定部１２Ｆを備える。２マイク構成で、ＮＡＭマイク入力音声と、通常マイク入力音声の相互相関が高いことで判断する。無音声発声入力デバイス１１と通常マイクロフォン１４は、音声を入力する。【０１２７】
相互相関計算部２８は、各フレーム毎に、無音声発声入力デバイス１１から入力されたＮＡＭ音声波形と、通常マイクロフォン１４から入力された通常音声波形との相互相関係数を計算する。この時、
・フレーム長は２００ｍｓｅｃとし、
・フレームのオーバラップは無しとする。【０１２８】
なお、ＮＡＭ音声ｘ（ｉ）と通常音声ｙ（ｉ）の相互相関関数
Rxy(τ)=(1/N)ΣN-1ｉ=0[x(i +τ)y(i)]             ・・・(4)
を遅れ時間τとして例えば３ｍｓｅｃから２０ｍｓｅｃの各値について求める（遅れ時間τの分解能は任意）。Ｎは例えば１フレーム期間のサンプル数に対応する。【０１２９】
判定部１２Ｆは、相互相関関数値Rxy(τ)が、予め与えられた閾値よりも大の場合に、通常発声であると判定する。その際、相互相関関数値Rxy(τ)の最大値を、予め与えられた閾値と比較する。【０１３０】
本実施例によれば、通常音声とＮＡＭ音声の相互相関係数を求めることで、装着者以外の音源による外乱を排除して、安定して通常発声を検出することが可能となる。【０１３１】
なお、本実施例において、相互相関計算部２８と、判定部１２Ｆは、コンピュータ（ＣＰＵ）上で動作するプログラムによりその処理・機能を実現するようにしてもよい。【０１３２】
次に、本発明の第１３の実施例について説明する。図１６は、本発明の第１３の実施例の構成を示す図である。図１６を参照すると、本実施例は、無音声発声入力デバイス１１（ＮＡＭマイク）と、ＮＡＭ音声パワー計算部１８と、振動センサ２９と、判定部１２Ｇを備えている。【０１３３】
本実施例において、振動センサ２９は、接触型製品（圧電センサ等の既製品）が用いられ、無音声発声入力デバイス１１（ＮＡＭマイク）の装着者の体表面もしくは衣服に固定する。振動センサ２９から判定部１２Ｇに入力されるセンサ出力信号が、「振動有り」を示している場合には、判定部１２Ｇは、通常発声であると判定しない。振動センサ２９の代わりに、加速度センサを用いてもよい。加速度センサにより、装着者の身体を通して伝わった振動や身体の動きを、ＮＡＭマイクロフォンが拾い、この振動や身体の動きが、通常発声であると誤判定される、ことを防ぐことができる。【０１３４】
本実施例は、図５に示した前記第４の実施例に振動センサ２９（又は加速度センサ）を付加したものであるが、かかる構成は、前記第６乃至第１２の実施例に対しても、同様にして、適用できる。すなわち、振動センサ（又は加速度センサ）の出力を、各実施例のそれぞれの判定部に入力し、例えば振動センサで「振動有り」を示している場合には、判定部は、通常発声であると判定しないように制御を行う。【０１３５】
なお、本実施例において、ＮＡＭ音声パワー計算部１８と、判定部１２Ｇは、コンピュータ（ＣＰＵ）上で動作するプログラムによってその処理・機能を実現するようにしてもよい。【０１３６】
上記各実施例によれば、ユーザは、無音声発声を安定・容易に継続することが可能になるので、現在音声入力のできなかった状況・用途でも音声入力を行うことができる。例えば、電話の送話器や、コンピュータの音声認識入力などに適用可能である。【０１３７】
以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。
【図１】
2008007616.tif 000003
【図２】
2008007616.tif 000004
【図３】
2008007616.tif 000005
【図４】
2008007616.tif 000006
【図５】
2008007616.tif 000007
【図６】
2008007616.tif 000008
【図７】
2008007616.tif 000009
【図８】
2008007616.tif 000010
【図９】
2008007616.tif 000011
【図１０】
2008007616.tif 000012
【図１１】
2008007616.tif 000013
【図１２】
2008007616.tif 000014
【図１３】
2008007616.tif 000015
【図１４】
2008007616.tif 000016
【図１５】
2008007616.tif 000017
【図１６】
2008007616.tif 000018
【手続補正書】
【提出日】平成19年12月28日(2007.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
（削除）
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
（削除）
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
（削除）
【請求項１８】
（削除）
【請求項１９】
（削除）
【請求項２０】
（削除）
【請求項２１】
無音声発声を入力する無音声発声入力デバイスと、
通常音声を入力する通常音声入力デバイスを備えた入力部と、
前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号とを用いて、前記無音声発声入力デバイスから入力される信号が通常発声であるか否かを判定する判定部と、
を備えている、ことを特徴とする無音声発声の入力警告装置。
【請求項２２】
前記判定部での判定結果が通常発声である場合に警告を出力する警告部を備えている、ことを特徴とする請求項２１記載の無音声発声の入力警告装置。
【請求項２３】
前記判定部は、前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数値の最大値が予め定められた値以上であるか、前記無音声発声入力デバイスから入力される信号のピッチ周波数と、前記通常音声入力デバイスから入力される信号のピッチ周波数とが一致している場合に、通常発声であると判定する、ことを特徴とする請求項２１又は２２記載の無音声発声の入力警告装置。
【請求項２４】
前記判定部は、
前記無音声発声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記入力信号のパワーが予め定められた閾値よりも大の場合には、
前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記通常音声入力デバイスから入力される信号のパワーが予め定められた閾値よりも大の場合には、
前記無音声発声入力デバイスから入力される信号の自己相関関数値の最大値を算出し、
前記自己相関関数値の最大値が予め定められた閾値以下である場合に、通常発声以外であると判定し、
前記自己相関関数値の最大値が予め定められた閾値よりも大の場合には、
前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号の相互相関関数値の最大値を求め、前記相互相関関数値の最大値が予め定められた値以上である場合に、通常発声と判定し、
前記相互相関関数値の最大値が予め定められた値よりも小の場合に、通常発声以外であると判定する、ことを特徴とする請求項２１又は２２記載の無音声発声の入力警告装置。
【請求項２５】
前記無音声発声入力デバイスより入力された信号を入力して通常音声に変換して出力する音声変換部と、
前記音声変換部による変換後の通常音声を出力する出力デバイスと、
を備え、
前記無音声発声入力デバイスより入力された信号を前記音声変換部で通常音声に変換し前記出力デバイスを介して装着者に対してフィードバックを行い、
前記無音声発声入力デバイスより入力された信号が通常発声であると判定した場合には、前記警告部が前記出力デバイスより警告を前記装着者に知らせる、ことを特徴とする請求項２１乃至２４のいずれか一に記載の無音声発声の入力警告装置。
【請求項２６】
少なくとも無音声発声信号を入力する入力部と、
前記入力部から入力された信号の特性を分析し、分析結果が、通常発声に相等する特性に該当するものであるか判別することで、通常発声が入力されたか否かを判定する判定部と、
前記判定部での判定結果が通常発声である場合に警告を出力する警告部と、
を備え、
前記入力部が、無音声発声を入力する無音声発声入力デバイスを備え、
前記判定部は、前記無音声発声入力デバイスから入力された入力信号が通常発声であるか否かを判定し、
前記無音声発声入力デバイスより入力された信号を入力して通常音声に変換して出力する音声変換部と、
前記音声変換部による変換後の通常音声を出力する出力デバイスと、
を備え、
前記無音声発声入力デバイスより入力された信号を前記音声変換部で通常音声に変換し前記出力デバイスを介して装着者に対してフィードバックを行い、
前記無音声発声入力デバイスより入力された信号が通常発声であると判定した場合には、前記警告部が前記出力デバイスより警告を前記装着者に知らせる、ことを特徴とする無音声発声の入力警告装置。
【請求項２７】
前記音声変換部と前記出力デバイスとの間に、前記音声変換部から前記装着者への前記フィードバックを抑圧する抑圧部を備え、
前記警告部が前記出力デバイスから警告を発する時には、前記音声変換部からの通常音声の前記出力デバイスへのフィードバックが抑圧される、ことを特徴とする請求項２５記載の無音声発声の入力警告装置。
【請求項２８】
前記無音声発声入力デバイスから入力された信号のパワーを計算する第１のパワー計算部と、
前記通常音声入力デバイスから入力された信号のパワーを計算する第２のパワー計算部と、
を備え、
前記判定部は、前記第１及び第２のパワー計算部の出力を受け、前記第１及び第２のパワー計算部の出力と予め定められた閾値とから、通常音声か否かを判定する、ことを特徴とする請求項２１記載の無音声発声の入力警告装置。
【請求項２９】
前記無音声発声入力デバイスから入力された信号と前記通常音声入力デバイスから入力された信号の相互相関関数を計算する相互相関計算部を備え、
前記判定部は、前記相互相関計算部からの出力値と予め定められた閾値とから、通常音声か否かを判定する、ことを特徴とする請求項２１記載の無音声発声の入力警告装置。
【請求項３０】
振動又は加速度を検出するセンサを備え、前記センサの出力が前記判定に供給され、
前記センサで振動又は加速度の検出時、前記判定部では、通常発声であると判定しないように制御する、ことを特徴とする請求項２１乃至２９のいずれか一に記載の無音声発声の入力警告装置。
【請求項３１】
少なくとも無音声発声信号を入力する入力部と、
前記入力部から入力された信号の特性を分析し、分析結果が、通常発声に相等する特性に該当するものであるか判別することで、通常発声が入力されたか否かを判定する判定部と、
振動又は加速度を検出するセンサと、
を備え、
前記センサの出力が前記判定部に供給され、
前記センサで振動又は加速度の検出時、前記判定部では、通常発声であると判定しないように制御する、ことを特徴とする無音声発声の入力警告装置。
【請求項３２】
無音声発声を入力する無音声発声入力デバイスから信号を入力する工程と、
通常音声を入力する通常音声入力デバイスから信号を入力する工程と、
前記無音声発声入力デバイスから入力される信号と、前記通常音声入力デバイスから入力される信号とを用いて、前記無音声発声入力デバイスから入力される信号が通常発声であるか否かを判定する工程と、
を含む、ことを特徴とする無音声発声の入力警告方法。
【請求項３３】
前記判定の結果が通常発声である場合に警告を出力する工程を含む、ことを特徴とする請求項３２記載の無音声発声の入力警告方法。
【請求項３４】
無音声発声の入力装置を構成するコンピュータに、
無音声発声入力デバイスから入力される信号と、通常音声入力デバイスから入力される信号とを用いて、前記無音声発声入力デバイスから入力される信号が通常発声であるか否かを判定する判定処理と、
を実行させるプログラム。
【請求項３５】
前記判定の結果が通常発声である場合に警告を出力する処理を前記コンピュータに実行させることを特徴とする請求項３４記載のプログラム。
【国際調査報告】
2008007616.tif 000019
2008007616.tif 000020
2008007616.tif 000021
2008007616.tif 000022