(57)【特許請求の範囲】
【請求項１】
話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出する調音器官形態入力部１０１と、
話者の発話モードを入力する発話モード入力部１０２と、
上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた所定の発話モードに対応した１種類の特徴データの標準パターンと比較し、音声を検出する音声検出部１０３とを具備し、
該発話モード入力部１０２により検出された発話モードが該１種類の標準パターンの上記所定の発話モードと一致した場合音声検出処理を行うことを特徴とする音声検出装置。
【請求項２】
請求項１記載の音声検出装置において該標準パターンの上記所定の発話モードを無音声発話モードとすることを特徴とする音声検出装置。
【請求項３】
話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出する調音器官形態入力部１０１と、
話者の発話モードを入力する発話モード入力部１０２と、
上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた複数の発話モードに対応した複数種類の特徴データの標準パターンの内の１種類の特徴データの標準パターンと比較し、音声を検出する音声検出部１０３とを具備し、
該発話モード入力部１０２により検出された発話モードと一致する発話モードの標準パターン１種類を標準パターン選択部１１０で選択し、音声検出処理を行うことを特徴とする音声検出装置。
【請求項４】
請求項３記載の音声検出装置において複数の標準パターンは、無音声発話モード、有声音発話モード、無声音発話モードの標準パターンを含むことを特徴とする音声検出装置。
【請求項５】
請求項３記載の音声検出装置において複数の標準パターンは、無音声発話モードおよび有声音発話モードの標準パターンを含むことを特徴とする音声検出装置。
【請求項６】
請求項１、２、３、４または５記載の音声検出装置の発話モード入力部において話者の発話の声量をマイクロホン２０２によって検出し、計測された騒音レベルに応じて発話モードを決定することを特徴とする音声検出装置。
【請求項７】
請求項６記載の音声検出装置の発話モード入力部において計測される騒音レベルの測定時間が短期間ｔ０であり、該騒音レベルに応じて発話モードを決定することを特徴とする音声検出装置。
【請求項８】
請求項６記載の音声検出装置の発話モード入力部において計測される騒音レベルの測定時間が長期間ｔ１の平均騒音レベルであり、該平均騒音レベルに応じて発話モードを決定することを特徴とする音声検出装置。
【請求項９】
請求項６記載の音声検出装置の発話モード入力部において計測される騒音レベルの指標が短期間ｔ０に計測された騒音レベルと長期間ｔ１の平均騒音レベルとの組合せにより決定され、該指標に応じて発話モードを決定することを特徴とする音声検出装置。
【請求項１０】
話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出する調音器官形態入力部１０１と、
話者の発話モードを入力する発話モード入力部１０２と、
上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた複数の発話モードに対応した複数種類の特徴データの標準パターンの内の２つ以上の種類の特徴データの標準パターンと比較し、音声を検出する音声検出部１０３とを具備し、
該発話モード入力部１０２により検出された発話モードと一致する該発話モードおよび該発話モードと類似する発話モードに対応する２種類以上の特徴データの標準パターンを標準パターン選択部１１０で選択し、音声検出処理を行うことを特徴とする音声検出装置。
【請求項１１】
請求項６記載の音声検出装置の発話モード入力部において計測される騒音レベルが、短期間ｔ０に計測された騒音レベルと長期間に計測される平均騒音レベルの２種類であり、該２種類の騒音レベルにより決定される発話モードが異なる場合、該２つの発話モードに対応する２種類の標準パターンを標準パターン選択部１１０で選択し、音声検出処理を行うことを特徴とする音声検出装置。
【請求項１２】
請求項１０記載の音声検出装置において標準パターン記憶部１１１に音声の大小、音声の高低、音声の長短を特徴とする複数の有声音発話モードの標準パターンを記憶させることを特徴とする音声検出装置。
【請求項１３】
請求項３、４、５、６または１０記載の音声検出装置の発話モード入力部において検出された発話モードに対応して、入力された音声データの機能を切り替えることを特徴とする音声検出装置。
【請求項１４】
請求項１３記載の音声検出装置における発話モードの機能として、コード化されたテキスト情報を入力する機能、特定の操作を指示するファンクション機能、入力を中止する機能を有することを特徴とする音声検出装置。
【請求項１５】
請求項１３記載の音声検出装置における発話モードの機能として、使用中のアプリケーションソフトを発話モードに応じて自動的に切り替えることを特徴とする音声検出装置。
【請求項１６】
話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出する調音器官形態入力部１０１と、
話者の発話モードを入力する発話モード入力部１０２と、
上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた無声音発話時の特徴データの標準パターンと比較し、音声を検出する音声検出部１０３とを有することを特徴とする音声検出装置。
【請求項１７】
調音器官形態入力部１０１により、話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出するステップと、
発話モード入力部１０２により、話者の発話モードを入力するステップと、
音声検出部１０３により、上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた所定の発話モードに対応した１種類の特徴データの標準パターンと比較し、音声を検出するステップとを有し、
該発話モード入力部１０２により検出された発話モードが該１種類の特徴データの標準パターンの発話モードと一致した場合音声検出処理を行うことを特徴とする音声検出方法。
【請求項１８】
調音器官形態入力部１０１により、話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出するステップと、
発話モード入力部１０２により話者の発話モードを入力するステップと、
音声検出部１０３により、上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた複数の発話モードに対応した複数種類の特徴データの標準パターンの内の１種類の特徴データの標準パターンと比較し、音声を検出するステップとを有し、
該発話モード入力部１０２により検出された発話モードと一致する発話モードの標準パターン１種類を標準パターン選択部１１０で選択し、音声検出処理を行うことを特徴とする音声検出方法。
【請求項１９】
調音器官形態入力部１０１により、話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出するステップと、
発話モード入力部１０２により話者の発話モードを入力するステップと、
音声検出部１０３により、話者の発話に基づいて上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた複数の発話モードに対応した複数種類の特徴データの標準パターンの内の２つ以上と比較し、音声を検出するステップとを有し、
該発話モード入力部１０２により検出された発話モードと一致する該発話モードおよび該発話モードと類似する発話モードに対応する２種類以上の標準パターンを標準パターン選択部１１０で選択し、音声検出処理を行うことを特徴とする音声検出方法。
【請求項２０】
話者の調音器官およびその周辺の外皮の少なくとも一部に配された正反射板からの正反射光スポットの座標位置およびその時間的変化から特徴データを抽出するステップと、
発話モード入力部１０２により話者の発話モードを入力するステップと、
音声検出部１０３により、話者の発話に基づいて上記調音器官形態入力部が話者の発話に基づいて抽出した特徴データを、あらかじめ準備しておいた無声音発話時の特徴データの標準パターンと比較し、音声を検出するステップとを有することを特徴とする音声検出方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、騒音環境下や多数の人間が同時に話し合う場面などで生ずる雑音に影響されない音声入力および検出技術として、人間の調音器官の動きから検出した音声情報をコンピュータやワープロ等の情報機器へ出力する音声検出装置に関する。
【０００２】
本発明は、声を出す発話においても、また声を出さず口まねだけの無音声発話においても音声情報の検出を可能とする技術である。このため従来の音声入力技術では使用がはばかられる、静けさが要求されるオフィス等においても、また人に聞かれたくない内容の入力にも利用でき、音声検出装置の使用領域を大幅に広げるものである。さらに本発明は、聾者、難聴者や高齢者の円滑な情報伝達を可能とするバリアフリーな機器を提供するための音声検出装置としても利用が可能である。
【０００３】
【従来の技術】
機械による音声検出装置の目標は、どのような環境下にあっても使用者の音声を正確にしかも高速に入力できることである。通常の音声検出装置では、音響としての音声周波数を分析することによって、音声情報を認識し処理する音声認識技術が採用されてきた。このための方法として、音声のスペクトル包絡やスペクトル微細構造を分離して抽出することが可能なケプストラム分析法等が利用されている。しかし、この音声認識技術では、当然のことではあるが発声による音響情報が入力されない限り発話情報を検出することは不可能であるという原理的な欠点を有していた。つまり音声入力時に話者の声が周囲の人々の迷惑となるため、静けさが要求されるオフィスや図書館などでは、このような音声検出装置を使用することができなかった。また、周囲の人に聞かれたくない内容の音声入力にも不向きであり、さらに一人で機械に向かって呟くことは、心理的にも抵抗を感じる作業である。この傾向は、周囲に人がいる場合は特に強まる。この様な欠点が音声認識装置の利用される範囲を制限し、音声入力の普及を阻害する大きな要因の一つであった。もう一つの阻害要因は、声を出してしゃべり続けることが、意外ではあるが肉体的に負担となる点である。キーボードを打ち続けるように何時間も音声入力を続けることは、声を嗄らし声帯を傷める原因になると考えられる。
【０００４】
これに対して、音響情報以外の情報から発話情報を獲得する研究も従来から行なわれていた。人間の発声に直接関与する音声器官は、専門書によって分類法は異なるが、気流機構である肺９０１、発声機構である喉頭９０２、口・鼻腔作用を受け持つ口腔９０３、鼻腔９０４、調音作用をつかさどる口唇９０５である。これら器官の配置を図９に示す（肺は図示せず）。これらの音声器官の中でも口唇９０５の視覚情報によって発話情報を得ようとする研究は以前から聴覚障害者のための技術として行われてきた。また音声認識技術に、この話者の口唇９０５の動きの視覚的情報を加味することにより音声の認識精度の向上が指摘されている（Ｃ．Ｂｒｅｇｌｅｒ，Ｈ．Ｈｉｌｄ，Ｓ．Ｍａｎｋｅ  ａｎｄ  Ａ．Ｗａｉｂｌｅ，”Ｉｍｐｒｏｖｉｎｇ  ｃｏｎｎｅｃｔｅｄ  ｌｅｔｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  ｌｉｐｒｅａｄｉｎｇ”，  Ｐｒｏｃ．ＩＥＥＥ  ＩＣＡＳＳＰ，ｐｐ．５５７−５６０，１９９３）。
【０００５】
口唇の視覚情報による発話認識手法としてはビデオカメラにより入力された画像を用いた画像処理による手法が最も一般的である。例えば特開平６−４３８９７号公報では話者の口唇９０５及びその周囲に取り付けられた１０個の反射性マーカＭ０，Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６，Ｍ７，Ｍ８，Ｍ９自体の画像をビデオカメラに取り込み、それらマーカの二次元的な動きを検出し５つの口唇特徴ベクトルの成分８０１、８０２、８０３、８０４、８０５を求め口唇の動きを観察しょうとした（図１０）。特開昭５２−１１２２０５号公報では口唇及びその周辺に貼り付けられた黒色マーカの位置をビデオカメラ走査線上から読み取ることにより音声認識精度の向上を図った。この技術は、マーカの抽出法に関して具体的な記述がなされていないが、鼻や唇により生ずる影や、ひげ、皮膚の色の違い、ほくろ、傷等により生ずる濃度差とマーカとを識別する二次元画像の前処理および特徴抽出技術が必要となる。この問題を解決するため特開昭６０−３７９３号公報では口唇上に発光ダイオードなどの高輝度マーカを４つ取り付けマーカの位置検出を容易とし、これらマーカ自体の動きをビデオカメラで撮影し、高速マルチポイントＸ−Ｙトラッカーと呼ばれる位置センサによって得られた電圧波形をパターン認識することにより達成される口唇情報解析装置を堤案した。しかし、この技術においても明室中で音声を検出しようとする場合は、話者の眼鏡や金歯等による高輝度の反射光成分の雑音を防止する手段が必要になる。このためにテレビカメラで入力された二次元画像の前処理および特徴抽出技術が必要となるが、特開昭６０−３７９３号公報にはこの技術に関する記述はなされていない。マーカを使用せずに口唇およびその周囲を直接ビデオカメラに取り込み、画像処理により音声器官の特徴抽出を行う方式もいくつか提案されている。例えば特開平６−１２４８３号公報では、口唇及びそれらの周囲の画像をカメラで取り込み、画像処理により得られた輪郭画像からバックプロパゲーション法によって発声単語の推定を行っている。特開昭６２−２３９２３１号公報では口唇画像情報を単純化するために口唇開口面積と口唇縦横比を用いた手法を提案している。特開平３−４０１７７号公報では不特定話者に対して認識を行うために発話音と口唇の動きの相関をデータベースとして所有する音声認識装置を考案している。特開平９−３２５７９３号公報においても、話者の口許を撮影した画像から得られる発話区間中の口形情報に基いて単語候補を絞り込み、音声認識技術の計算機にかかる負荷を低減しようという提案がなされている。しかしながらこれらの従来方法は、口唇及びそれら周辺の二次元画像から得られる位置情報を利用するため、画像情報を正確に入力するために唇を明瞭に開閉することが必要であり、口唇の開閉が少なく声を出さない発話（以下「無音声発話」と記述）や小声での発話、まして腹話術のように口唇をほとんど動かさずに行なう発話に対しては、口唇及びそれら周辺の動きを検出することは困難であった。また、これらの従来方法では、通常の発話モードと他の発話モードとの違いに着目して認識率向上のため無音声発話等の発話モードを利用した音声検出技術には言及していなかった。発話の状態を示す「発話モード」に関しては、課題を解決する為の手段の項で詳しく述べる。
【０００６】
ビデオカメラを用いる以外にもいくつかの方法が提案されている。口唇周囲の筋電位波形から発話情報を抽出する手法が提案されている。例えば特開平６−１２４８３号公報では画像処理の代替手段として筋電位波形の２値化情報を利用した装置を考案している。また栗田らの（「口唇の調音動作を実現する生理学モデル」，日本音響学会誌五十巻６号（１９９４），ｐｐ．４６５−４７３）では筋電位信号から口唇形状を算出するモデルを考案した。しかし筋電位による発話情報抽出は、測定用のコードが付随した電極を口唇周囲に貼り付けねばならず話者への負担が大きいという問題がある。また、パラトグラフ信号を得るために人工口蓋を装着することにより、話者の発声に伴う舌の動きを検出し、音声検出装置に利用する発明もいくつかなされている。例えば特開昭５５−１２１４９９号公報では人工口蓋付随の送信電極と舌の接触の有無を電気信号に置き換える手段を堤案した。特開昭５７−１６０４４０号公報では人工口蓋に付随する電極数の低減を図ることにより舌触りをよくする工夫を行った。特開平４−２５７９００号公報ではパラトグラフの受光信号を神経回路網に通すことにより不特定話者への対応を可能とした。舌の動き以外には特開昭６４−６２１２３号公報でブッシュロッド先端部を軟口蓋に接触させることにより軟口蓋の振動を観察する装置が堤案されている。また、音声器官、特に口腔内の舌に複数の金属ペレットを装着し、それらの位置を計測するＸ線マイクロビーム装置を用い調音器官形状と音声の関係を把握しようという研究も行なわれている（党建武，本多清志，東倉洋一，”３−Ｄ  ｏｂｓｅｒｖａｔｉｏｎ  ｏｆ  ｔｏｎｇｕｅ  ａｒｔｉｃｕｌａｔｏｒｙ  ｍｏｖｅｍｅｎｔ  ｆｏｒ  Ｃｈｉｎｅｓｅ  ｖｏｗｅｌｓ”，信学技報ＴＥＣＨＮＩＣＡＬ  ＲＥＰＯＲＴ  ＯＦ  ＩＥＩＣＥ．  ＳＰ９７−１１  （１９９７−０６））。同様に口腔内の音声器官に磁気センサを装着し、それらの位置を計測する磁気センサシステムを用いて調音運動軌道と音声の関係を把握しようという研究も行なわれている（岡留剛，鏑木時彦，鈴木紳，誉田雅彦，”テキストから調音運動へ”，日本音響学会  平成１０年度春季研究発表会  講演論文集３−７−１０  （１９９８．３））。しかしながらこれらの技術は、人体内部への装置取り付けを必要とするため自然な発話行為を妨げる可能性があり、話者への負担が大きいという欠点を有している。これらの従来方法においても、通常の発話モードと他の発話モードとの違いに着目して、認識率向上のために無音声発話等の発話モードを利用した音声検出技術には、言及していなかった。
【０００７】
上記の他に、より簡単に発話情報を検出する技術として、口唇部およびその周辺の外皮に直接光線を照射し、皮膚からの拡散反射光の状態や口唇部が光線を遮蔽する状態によって音声を検出する技術と音声認識技術とを組み合わせた音声認識システムが米国特許第３，１９２，３２１号明細書において提案されている。また、同様な技術として特開平７−３０６６９２号公報が提案されている。これは口唇及びその周辺部に光線を照射し、外皮表面からの拡散反射光を受光器で検出し上記拡散反射光の強度変化を測定することにより、発話者の音声情報を検出するものである。しかし、口唇およびその周辺には、マーカ等の反射板や正反射板は貼り付けられていない。上記反射光の強度と口唇の位置や動きの関係は必ずしも明確でないため認識処理に神経回路網（以下、ニューラルネットワーク）を利用している。この技術は明細書中にも述べられているように音声の検出精度が低く、音声認識技術の補助手段として音素を粗くカテゴリー分けする技術と説明されている。用途の一例として状況が限定され会話が予想されるゲームが特開平８−１８７３６８号公報に示されている。赤外線検出素子に限定し同様な方法で口唇周辺の血液量を計測することにより音声を検出しようとする技術が、特開平１０−１１０８９号公報で提案されている。これらは、口唇およびその周辺の動きが大きい発話に対してかろうじて有効な技術のため、口唇の開閉が少ない無音声発話や小声の入力には適用が困難であり、また明細書中でも無音声発話等の発話モードには触れられていなかった。
【０００８】
以上に示した調音器官の形態から発話を検出しようとする従来技術では、調音器官から得られた何らかの信号と音声とを関係付ける方法や装置に関しては詳しく説明されている。しかし、無音声発話に限らず、発話モードの違いによって得られる信号と音声との関係に具体的に触れている従来技術は無かった。また、この発話モードの違いによって生じる問題点とその改善手段を明確に示している従来方法はなかった。明細書中で声を出さない発話に言及している従来技術（特開平６−１２４８３号公報）は存在するが、認識率向上のための最も重要な発話モードの取り扱いについては触れられていなかった。
【０００９】
【発明が解決しようとする課題】
本発明が音声入力技術で解決しようとする課題を次に示す。これらは従来の音声認識技術では原理的に解決が不可能であり、かつ調音器官の形態情報から発話を検出しようとする従来技術においても具体的に取り扱われていなかった課題である。
（１）音声入力時に話者の声が周囲の人々の迷惑となるため、静けさが要求されるオフィスや図書館などで音声検出装置の使用がはばかられること。
（２）周囲の人に聞かれたくない内容の入力に不向きであること。
（３）一人で機械に向かって呟くことによる心理的な抵抗。
（４）声を出してしゃべり続けることによる肉体的な負担。
【００１０】
【課題を解決するための手段】
これらの課題を解決するためには、声を出す発話モード（以下：有声音発話モード）と同様にまったく声を出さない無音声発話モードにおいても音声の検出を可能とする必要がある。もしこれが可能であれば、呼気流がほとんどなく声帯が振動しない無音声発話モードでは周囲に声が出ないため、上記課題の（１），（２），（３）が解決されることになる。また、無音声発話では口の開閉量が少なくてもよく、また声帯を振動させない分、肉体的な負担も軽減されることで（４）の課題も改善される。本発明で使用する発話モードの分類を図３にまとめた。
【００１１】
従来技術では、無音声発話に限らず発話モードに関する具体的な取り扱いがないことを前述した。音声入力技術においては、無音声発話や、ささやき声、小声の発話モードは当然のことながら検討されていなかった。一方、調音器官の形態から発話を検出する技術においては、発話モードは極めて重要な概念であることが実験を通じて明らかとなった。特に無音声発話、小声の発話、通常の発話、大声の発話、と発話モードが異なると同じ音素や拍の発話であっても調音器官形態から得られる信号は変化し、発話モードに注意を払わないと、音素や拍の認識率が大幅に低下する場合があることが判明した。本発明は、従来技術では触れられていなかった、発話モードの差によって生ずる認識率の低下を解決し、特にその中でも音声入力技術において真面目に議論されていなかった無音声発話の認識率向上を目指している。このために次に示す構成を採用している。
【００１２】
入力される調音器官の形態情報から音声の認識率を高めるため、
（１）各発話モード毎に対応した標準パターンを一つ以上持つこと。
（２）音声入力しようとする発話モードの情報を音声検出装置へ入力する手段を持つこと。
（３）入力された発話モードの情報に応じた標準パターンを選択し、認識処理を行ないこの入力された音声を検出すること。
【００１３】
以上の構成において、発話モードとして無音声発話が含まれれば、上記課題が解決することになる。もちろん声を出した発話による入力も必要であり、発話モードに対応した標準パターンを切り替えて使用することが音声検出装置として要求される。
【００１４】
本発明をさらに説明する。
【００１５】
本発明によれば、上述の課題を解決するために、音声検出装置に、話者が発話する時に生ずる調音器官の運動を調音器官およびその周辺の外皮の少なくとも一部から計測して入力データを生成する調音器官形態入力部１０１（符号については図１参照、以下同様）と、話者の発話モードを入力する発話モード入力部１０２と、話者の発話に基づいて上記調音器官形態入力部により生成された入力データを、あらかじめ準備しておいた１種類の標準パターンと比較し、音声を検出する音声検出部１０３とを設け、該発話モード入力部１０２により検出された発話モードが該１種類の標準パターンの発話モードと一致した場合音声検出処理を行うようにしている。
【００１６】
この構成においては、所定の発話モードのときにのみ、音声検出が行われ、その状況にあった音声検出が行なえる。とくに、無音声発話のときにのみ検出が行われるようにすれば、オフィスでの使用や利用者の負担に関して有利となる。
【００１７】
また、復習種類の標準パターンを用意して発話モードに応じて検出態様を換えるようにすれば状況に応じた最適な音声検出を行なうことができる。この場合、複数種類の標準パターンとしては無音声発話モード、有声音発話モード、無声音発話モードの標準パターンとすることができる。または、無音声発話モードおよび有声音発話モードの標準パターンとしたりすることができる。
【００１８】
また、発話モードを、話者の発話の声量と騒音レベルとから決定してもよい。この場合、騒音レベルの測定時間を短期間ｔ0としてもよく、騒音レベルを長期間の平均騒音レベルとしてもよく、両者の組み合わせにしてもよい。
【００１９】
また、複数の発話モードに応じて複数種類の標準パターンを用意した場合に、２種類以上の発話モードを選択し、選択した発話モードに対応する２種類以上の標準パターンを用いて音声検出を行なうようにしてもよい。
【００２０】
この場合、短期間ｔ0に計測された騒音レベルに基づいて１種類の発話モードを選択し、長期間に計測される平均騒音レベルでもう１種類の発話モードを選択するようにしてもよい（１種類の発話モードが重複して選択されることもあり得る）。
【００２１】
また、音声の大小、音声の高低、音声の長短を特徴とする複数の有声音発話モードの標準パターンを利用するようにしてもよい。
【００２２】
検出された発話モードに対応して、入力された音声データの機能を切り替えるようにしてもよい。発話モードの各々に対応する機能は、例えば、コード化されたテキスト情報を入力する機能、特定の操作を指示するファンクション機能、入力を中止する機能である。また、発話モードに応じて、使用中のアプリケーションソフトを自動的に切り替えるようにしてもよい。
【００２３】
また、本発明によれば、上述の課題を解決するために、音声検出装置に、話者が発話する時に生ずる調音器官の運動を調音器官およびその周辺の外皮の少なくとも一部から計測して入力データを生成する調音器官形態入力部１０１と、話者の発話モードを入力する発話モード入力部１０２と、話者の発話に基づいて上記調音器官形態入力部により生成された入力データを、あらかじめ準備しておいた無声音発話時の標準パターンと比較し、音声を検出する音声検出部１０３とを設けるようにしている。
【００２４】
この構成においては、話者は騒音を出すこともなく、負担を伴うこともなく音声検出を行なえる。とくに、無音声発話時には、発話による調音器官の形態変化が制限され形態のバラツキが生じにくいため、精度良く音声を検出できる。
【００２５】
なお、発話の特徴は調音器官の動きに基づくものの他、種々のものを採用できる。
【００２６】
【発明の実施の形態】
以下、本発明を詳細に説明する。
【００２７】
上記課題を解決するために実施する形態として、図１に示すように大きく分けて調音器官の形態情報を入力する調音器官形態入力部１０１、入力されるデータの発話モードを音声検出部１０３へ入力する発話モード入力部１０２、入力データ中の発話情報を検出する音声検出部１０３より構成される。調音器官形態入力部１０１は、さらに調音器官の形態を測定する調音器官形態測定部１０４、測定した入力データのノイズを除去し、スムージングや正規化を行い特徴を抽出する前処理・特徴抽出部１０５、処理後の入力データを記憶する入力データ記憶部１０９により構成される。入力データ記憶部１０９は、後述する音声検出部１０３に含まれてもよい。入力データの発話モード種類を入力する発話モード入力部１０２は、発話モードを手動により入力する発話モード手動入力部１０８または、発話モードを自動的に検出する発話モード検出部１０６と発話モード選択部１０７により構成される。音声検出部１０３は、各発話モードの標準パターンをあらかじめ記憶させておく標準パターン記憶部１１１、および発話モードの種類に応じてそれに対応した標準パターンを選択する標準パターン選択部１１０、選択された標準パターンを入力データと比較することにより、入力データにもっとも近い標準パターンの音声を選択し、それを音声候補として検出する比較部１１２より構成される。
【００２８】
本発明で調音器官の形態情報を測定する装置として、実施例の中で主として使用した正反射光スポット法と名付ける技術を説明する。この正反射光スポット法の詳細は実施例の記載において説明する。また、この手法については、本出願人がすでに特願平９−４８８３９号で提案を行なっている。
【００２９】
この測定法では、調音器官およびその周辺の外皮に正反射板を貼り付け話者の調音器官の微少な角度変化と位置変化の計測を幾何光学に基づく技術により可能とすることで調音器官形状の検出精度を向上させている。具体的には発話者１５の音声器官及びその周辺に取り付けられた正反射板１２と正反射板１２へ光線１３（可視光の他、赤外線、紫外線であっても可）を照射する光源部１０と正反射板１２により正反射された光線１４により形成される正反射光スポット６９、７０を受光し、正反射光スポット投影位置を検出する位置検出センサ１６を含む位置検出部２３とから構成される（図４、図５参照）。これらの図では、正反射板１２を２枚使用した例を示しているが、特に２枚に限定されるものではない。本構成により発話者１５の発声に伴ない、音声器官及びその周辺の外皮に取り付けられた該正反射板１２の位置及び角度が変動することにより、光源部１０から照射された光線１３は反射の法則に従い一意的に該正反射板１２により反射されるため、光線の方向が変動することになる。位置検出センサ１６の面上を移動する正反射光スポット６９、７０を位置検出センサ１６が受光することにより、発話者１５の発声に伴い生ずる調音器官及びその周辺部の形状に対応する正反射光スポットの位置が検出される。検出された正反射光スポット位置は、その座標表示された情報から時間的変化及び位置変化の特徴が抽出される。特徴とあらかじめ記憶されていた各音声信号ごとの時間的変化及び位置変化の特徴を示す標準パターンとを比較し検定することにより、入力された音声の分類が行われる。この正反射光スポット法では、調音器官の微少な角度変化と位置変化を含めた情報の計測が可能なため、調音器官の変動が少ない小声の発話や、無音声発話においても調音器官の形態情報を精度良く検出することが可能となる。
【００３０】
しかし、本発明は測定法を正反射光スポット法に限定するものではない。小声や無音声発話における調音器官の動きを捉え得る計測法であれば、従来技術で示した計測技術を採用することも、（Ｋｅｎｊｉ  Ｍａｓｅ，  Ａｌｅｘ  Ｐｅｎｔｒａｎｄ，  ”Ｌｉｐ  Ｒｅａｄｉｎｇ  ：  Ａｕｔｏｍａｔｉｃ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  Ｓｐｏｋｅｎ  Ｗｏｒｄｓ”，  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  Ｐｒｏｃ．  ＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ，  １９８９）に示されるオプティカルフロー法を用いることも、その他の計測技術を採用することももちろん可能である。
【００３１】
このようにして得られた調音器官の形態情報を測定し、そのデータとその時の発話モードを音声検出部１０３に入力する。発話モードの種類は手動で入力してもよいし、実施例４に示す方法を用いて自動的に入力してもよい。また、実施例４には示さない他の方法（たとえば、ネットワーク等を通じて外部から、またはコンピュータ内部からの指示に従い発話モードを切り替える方法）を使用することも可能である。音声検出部１０３は、独自の装置で構成し検出された音声情報をパーソナルコンピュータやワードプロセッサへ出力してもよい。また、パーソナルコンピュータ中に音声検出部１０３の機能の一部をハードウエアとして実装してもよいし、ソフトウエアとして一部の機能をインストールする形態であってもよい。
【００３２】
音声検出部１０３（図１）の標準パターン記憶部１１１に記憶されている標準パターンは、不特定話者用にあらかじめ選定された標準パターンを利用してもよいし、利用者自身が、決められた所定の文章を発話モード毎に入力して特定話者用の標準パターンを作成して標準パターン記憶部１１１に記憶させてもよい。同様にニューラルネットワーク分類装置の学習機能を利用して自動的に標準パターンを更新することも可能である。この際入力する標準パターンの発話モードは、無音声発話、小声の発話、通常の発話、大声の発話の中から任意の組合わせで入力することができる。図３に示すようにこれらのモードの他、声帯を失った人や舌を損傷した人など調音器官に障害を持った人に合わせた、話者独特の発話モードや腹話術モードなども登録することが可能である。これら各発話モードの情報とそれに対応した発話データが入力されると、比較部１１２において入力された発話モードに対応した標準パターンが選択され、この標準パターンと入力データが比較され、標準パターンの中で最も近い音声パターンが認識候補として検出される。この際、比較部１１２では入力データと標準パターンの各要素との間で、例えば、類似度の演算や距離の演算、ニューラルネットワークの演算などを利用し、最尤候補を選択する処理が行われる。
【００３３】
上述した実施上の形態を決定する技術的根拠とその具体例および機能面での改善例を次の実施例に示す。
【００３４】
【実施例】
［実施例１］
本実施例では、発話モードにより調音器官形態から得られる情報がどのように変化するかを示し、それにより本発明が発話モード毎に対応した標準パターンを持たせる根拠を示す。このための測定を行なう装置の調音器官形態入力部１０１として、本実施例では図４に示した正反射光スポット投影位置を検出する位置検出センサ１６の代わりにビデオカメラを使用した。ビデオカメラは、垂直４８８画素、水平３７８画素を有するイメージサイズ１２．７ｍｍの二次元ＣＣＤを用いている。検出装置の構成と配置を図６に示す。本検出装置は光源部１０、正反射板１２、スクリーン６２、二次元ＣＣＤカメラ６１よりなる。光源部１０は、発光ダイオード６５とその電源回路６４より構成される。実験では正反射光スポット６３が目視できるよう中心波長５８０ｎｍの赤色発光ダイオードを使用した。なお、光線の動きが見えないように赤外発光ダイオードの利用も可能である。光源部１０からの光線１３は、下顎側部の点ｅ（５８）（図８参照）に配置された正反射板１２を照明する。正反射板１２からの正反射光１４は、該下顎側部ｅ（５８）の位置と角度に応じて正反射光の方向を変え、スクリーン６２面上に正反射光スポット６３として投影される。正反射光スポット６３の画像は、該二次元ＣＣＤカメラ６１により撮影され、その出力信号７４は、図７に示すように二次元ＣＣＤセンサ７１の主走査、副走査方向の信号としてＣＣＤ駆動回路７２を介して出力座標演算部７３へ出力される。スクリーン６２面上に投影される正反射光スポット６３の強度は正反射光スポット６３が当たらない部分と比較すると数倍強く、正反射光スポット６３検出のために閾値を設定することにより屋内であれば、容易に周囲の光線の影響を除去し、正反射光スポット６３のみの抽出が可能である。二次元ＣＣＤの主走査開始信号からの時間で正反射光スポット６３のＸ軸座標が求まり副走査の時間よりＹ軸座標が求められる。
【００３５】
以上説明した装置と正反射板１２の配置において、４０代男性の被験者１名に母音／ａ／を発話モードを変えながら発話させ、調音器官形態からの情報を記録した。発話モードは、無音声発話、小声の発話、通常の発話、大声の発話とした。測定の結果を図１１に示す。横軸は、タイムフレームを示し６０フレームが１秒に対応している。この図１１より入力データは、ほぼ声の大きさに従って振幅が増大していることが分かる。通常の発話モードの振幅よりも小さいが、無音声発話や小声の発話においても入力データの振幅が、十分に検出されていることが分かる。図１１から分かる明確な入力パターンの違いは、大声の発話モードでＸ座標成分の凹凸パターンが他の発話モードと比べて特に顕著な点である。さらに横軸にＸ座標成分、縦軸にＹ座標成分をプロットすることにより入力データの正反射光スポットの軌跡を描いてみると図１２のようになる。これから、発話モードによって正反射光スポットの描く軌跡パターンが異なっていることが分かる。他の音素／ｕ／の発話例を同様に図１３と図１４に示す、これによっても発話モードにより正反射光スポットの描く軌跡パターンが異なることが明確である。この正反射光スポットの軌跡は、反射板１２を貼り付けた図８に示す下顎側部の点ｅ（５８）の主に角度変化の情報を反映したものである。そのため、他の計測法を用いても下顎側部の点ｅ（５８）の角度変化情報、またはそれを代用する情報が計測できれば、発話モードによる調音器官の形態情報の差を同様に検出できることになる。このように本実施例によって従来技術では取り扱われていなかった発話モードの重要性を発見することができた。これが、本発明が各発話モード毎に対応した標準パターンを持つことの根拠である。
【００３６】
尚、測定点は下顎側部の点ｅ（５８）に限定するものではなく、口唇部、オトガイ、頬等、調音器官の形態を反映させる点であれば他の部分でもよい。
【００３７】
次の実施例２において、標準パターンを各発話モード毎に持つことの効果と発話モード間の関係を示す。
【００３８】
［実施例２］
本実施例においては、発話モード間の差異を明確にする。このため、同一及び異なる発話モード間で類似度を求め、その際の認識率と発話モード間の関係を示す。実験には、実施例１で使用した装置構成を用いて、４０代男性の被験者に対して、下顎側部の点ｅ（５８）（図８参照）を測定点として正反射光スポット法を適用した。
【００３９】
本明細書には記述しないが発話には、以前に実施し平均認識率９２．８％が得られた１９種類の音素（拍）に対する実験において、認識率が特に低かった音素（拍）の組（／ａ／，／ｕ／，／ｚａ／，／ｒａ／，／ｙａ／，／ｍａ／）を採用した。（なお、１９種類の音素（拍）は、後で実施例５に示されるものと同じである。）
上記の音素（拍）の組を発話モードを変えながら繰り返し２回で採取した。発話モードは、無音声発話、小声の発話、普通の発話、大声の発話の４種類とした。類似度の算出のため、繰り返し一回目のデータのＸ座標成分を標準パターンとし、繰り返し二回目のデータのＸ座標成分を入力データとした。
【００４０】
つづいて、認識法として最も一般的な類似度を用いる方法について簡単に説明する。
【００４１】
入力データの波形をｆ（ｘ）、標準パターンの波形をｇ（ｘ）とおくと、その正規化された類似度Ｒ（相関値とも呼ばれる）は、次の２つの式で表わされる。
【００４２】
【数１】
0003893763.tif 000002
（１）式は、波形が連続値の場合、（２）式は波形が離散値（ベクトル）の場合である。  ここで‖ｆ‖（下線はベクトルを表す）は、ｆのノルムで各ｘiの要素ｆ（ｘi）の二乗の和の平方根をとったものであり、ｎ次元空間上での原点からの距離を示している。この方法を次のように正反射光スポット法に適用した。各拍の発声から得られる光スポットのデータは、タイムフレーム毎の離散値の組（ベクトル）で表わされる。従って今回の場合は、（２）式を用いた。（２）式で両者を比較するために、発話データの位相と長さを合わせる必要があるが、位相を合わせる基準１５１の時刻は、図１５に示す発話データのＹ座標成分の凹部の下１／３値の幅の中心とした。音素（拍）のデータ長は、前半までを１６フレーム、基準の時刻を含む後半を１５フレームとし、合計３１次元のベクトルとして統一した。４つの発話モードを含む合計４８個の音素（拍）のテンプレートと入力データとの間で類似度を求め、最も近い標準パターンの音素（拍）を入力データの認識結果とした。結果の一例を図１６，図１７，図１８，図１９に示す。これらの表は、標準パターンを４種類の発話モードとし、各モードの標準パターンと無音声発話モードの入力データとで演算された類似度を示している。各表で入力データの類似度が一番１．０に近いものにアンダーラインを付した。このアンダーラインが付された部分の標準パターンの音素（拍）が認識された音素（拍）の結果となる。無音声発話の入力データと標準パターンの各発話モードの組合せにおいて、入力データ６個中いくつが正しく認識されたかで、各組の平均認識率が求められる。このようにして求めた発話モードの入力データに対する平均認識率の結果を整理して図２０にまとめた。この図２０より主対角成分の認識率が一般に高いことが分かる。対角成分の中でも特に入力データと標準パターンが共に大声の発話モードの認識率が高く、次に無音声発話モード同士の認識率が高くなっている。また、入力データと標準パターンとの間で発話のモードが隔たるに従い認識率は一般的に低くなっている。例として図２０の無音声発話入力部分をグラフ化して図２１に示す。これによれば無音声発話入力に対しては、標準パターンを無音声発話モードとすることにより、従来技術と比べて認識率が２倍改善されていることが分かる。
【００４３】
しかし、小声の発話モードと普通の発話モードにおいては、この関係は明瞭ではなく入力データと同じ発話モードの標準パターンを用いても音声情報の検出精度は相対的に低かった。また、有声音発話モード内であれば標準マップとして異なった発話モード（小声、普通、大声）を利用した方が平均認識率が高くなる場合もあった。これらに関しては、次の実施例３において触れる。以上をまとめると無音声発話モードおよび大声の発話モードにおいては、入力データと標準パターンの発話モードを揃えることにより音声の検出精度を改善できることが確認された。特に入力データが無音声発話モードの場合、標準パターンの発話モードを通常音声モードに固定した場合と比べ、無音声発話モードの標準パターンに切り替える手段を設けることで、音素（拍）の認識率が２倍改善するという効果が本実施例で示された（図２１）。また、小声の発話モードと普通の声の発話モードにおいても、入力データと同一の発話モードの標準パターンを選択し認識に使用することは最良の結果ではなかったが、かけ離れた発話モードの標準パターンを利用することに比べれば、より優れた選択であるという点で意味があった。周囲の人に迷惑をかけるために産業上の利用価値は低減するが、入力データと標準パターンの発話モードを大声モードに揃えることも本発明に含まれることは勿論である。また調音器官に障害を持つ人の各種発話モードに応じて入力データと標準パターンの発話モードを揃えることも同様に本発明に含まれるものである。
【００４４】
［実施例３］
前実施例で示したように大声の発話と無音声発話では、同じ発話モードの標準パターンと入力データによって得られる平均認識率は高く、入力データと異なる発話モードの標準パターンを用いると平均認識率は低くなっていた。この理由は大声の発話では、発話長を調整することはできても、その声の大きさは飽和レベルにあるため調整が難しく、また声の高低（ピッチ）を付与するだけの余裕が少ないからと考えられる。一方、無音声発話においては、声帯自身が振動しないため声のピッチや声の大きさが調整できないからと考えられる。つまり、これらの発話モードでは、発話による調音器官の形態が制限され形態のバラツキが生じにくいために平均認識率が高くなると考えられる。これに対して、小声や通常の発話およびその近辺の声量による有声音発話では、超音節素と呼ばれる声の大きさや声の高さおよび長さを自由に変化させて感情を込めた表現豊かな発話が行なえる。このため、小声や通常の発話およびその近辺の声量による有声音発話では結果として調音器官形態のバラツキが大きくなり、標準パターンと入力データの発話モードが同じであっても平均認識率が低下したと考えられる。その代わり標準パターンと入力データの発話モードが多少異なっても平均認識率が大きく低下しない理由にもなっていると考えられる。なお、超音節素とは、単音（文節素）が連続するときに、それらにまたがる範囲で現れる、上述したような発声上の特徴である。具体的には、音調、イントネーション、アクセント（強勢）、音の長さを指すが、突き詰めれば声の高低（ピッチ）、大小、長さに分解される。
【００４５】
本実施例においては、普通の発話モードにおいて、超音節素と呼ばれる発声上の特徴が調音器官形態からの音声データのパターンにどのような影響を与えるかを計測し、これによって得られた結果を、本発明の音声検出装置に適用する。調音器官形態入力部１０１は、実施例１および実施例２で示した装置と同じものを使用した。実験は、４０代の男性に対して、同じ音で音程が異なる単語の組を発話させ、下顎側部の点ｅ（５８）を測定点として正反射光スポット法を適用した（図８参照）。使用した単語の組は、（赤，垢）、（裂く、柵）、（箸，橋）、（豹，表）である。これらの発話データで同じ組（括弧内）に属するパターンは、類似してはいるが音程の差による変形も大きかった。例として「赤」と「垢」の発話結果の時系列データを（図２２と図２３）に示す。両者の違いをより明確にするため正反射光スポットの軌跡を（図２４と図２５）に示す。このように最も音声に超音節素を付与し易い普通の発話モードにおいて、調音器官の形態が音程によって大きく変形していることが明らかとなった。このことは、同じように音を発話しているつもりでも、調音器官の形態から得られるデータは、大きく変化している可能性を示唆している。
【００４６】
このような超音節素の違いによるパターンのバラツキを吸収するため、本発明では同じ発話モードにおいて、あえて複数の異なる特性を有する標準パターンを持たせることを発案した。この例として、音声の大小差（普通の発話と小声の発話）の標準パターンを複合して使用することで認識率の向上が図れることを次に示す。これらの標準パターンは音声の大小を変化させているが、それだけではなく他の超音節素もバラツキの範囲内で変動していると考えられる。実施例２の実験で得られた小声の発話を入力データとした場合に標準パターンとして小声の発話モードおよび普通の発話モードの２つの発話モードを用い類似度を算出し、その平均値を求めた。その結果を（図２６と図２７）に示す。これによると同一発話モードの標準パターンだけで類似度を計算していた場合の認識率５０％と比べて、認識率が８３．３％にまで改善することが分かる。以上のように、普通の発話モード近辺の声量による有音声発話においては、隣接する発話モードの標準パターンを併用することによって音声の認識率が改善されることが示された。
【００４７】
［実施例４］
実施例２および実施例３において、入力データの発話モードに応じて音声検出部１０３において使用する標準パターンの発話モードを切り替えたり併用することの効果を示した。このためには、入力データの発話モードの情報を事前に音声検出部１０３に入力する必要がある。このための最も簡単で確実な方法は、話者が発話モードをキーボードの所定のキーを押すことなどにより手動で入力することである。また、パーソナルコンピュータ２００へ音声を入力する場合は、コンピュータが次に発話するモードを指定する方法等が考えられる。しかし実際に本発明の音声検出装置を使用する場合には、逐一このような操作を行うことは煩わしく不便であった。このため、本実施例では、発話モードを自動的に検出する装置を提案し、それを使用した新しい機能の説明を行う（図２参照）。このための第一の方法として、話者の口の前にマイクロホン２０２を取り付け音声の大きさを計測し、そのレベルにより発話モードを検出する方法の具体例を説明する。実際の利用形態の一つであるパーソナルコンピュータ２００への調音器官形態情報による音声検出装置を考慮し、ヘッドセット２０１と一体となったマイクロホン２０２から、音声ボードを介してパーソナルコンピュータ２００へ音声を入力する例を図２に示す。得られた発話の声量から発話モードを決定するためには、初めに各モードに対応した声の大きさを定める必要がある。このため、発話による声量を評価する指標をＪＩＳ  Ｃ１５０２に規定されるＡ特性の騒音計を用いて図２８のように定めた。ヘッドセットに取り付けられたマイクロホンの特性は、ダイナミック型、周波数特性３００〜２０，０００Ｈｚ、単一指向性である。騒音レベルの測定は、防音室内で前記ヘッドセットを装着した発話者から１ｍの距離に騒音計のマイクロホンを配置し、騒音計による測定と同時に前記ヘッドセット２０１のマイクロホン２０２の出力電圧をモニターする。騒音として発話者に各発話モードでＡＴＲ音素バランス文の中の１０文（図２９参照）を読ませ、図２８中に示した各特性を計測した。
【００４８】
このとき得られた音響データの一例を図３０に示す。ヘッドセット２０１のマイクロホン２０２は、口との位置関係が変化しないように固定し、この時の出力を騒音計の出力値で校正した。騒音計の出力値とヘッドセット２０１のマイクロホン２０２からの出力値とは、大体比例していたが、発話内容によっては必ずしも両出力が比例する訳ではなかった。これは、各マイクロホンの方式や指向特性の違いによることと、発話する音素の呼気流の影響によるものと考えられる。また、３０代と４０代の男性被験者２名においても発話レベルの個人差は大きく、普通の発話モードにおける騒音レベルが倍程度も異なっていた。もっとも無音声発話モードにおいてはこのようなことは、起こらず騒音レベルは同じ０ホンであった。
【００４９】
また、発話モードを検出し得る他の特性として、口の開閉に伴う口唇正中部の最大開口の大きさを定規により目視で測定し図２８中に示した。さらに発話の特徴として、呼気流の有無、および声帯振動の有無を合わせて示した。これらの特徴が無音声発話と無声音発話（ささやき声等）と有声音発話（小声、普通、大声等）の間に質的な差を形成していることが分かる。この実施例中では、図３に示したささやき声の他に取り扱っていない発話モードもあるが、これらの発話モードの検出も同様に可能であり本発明の検出対象に含まれることは勿論である。
【００５０】
以上の準備を行い、ヘッドセット２０１のマイクロホン２０２より得られる出力レベルから発話モードを検出する方法を説明する。出力レベルの単位としてここでは便宜上、騒音計によって校正されたッドセットのマイクロホン出力の換算値を騒音レベル（ホン）として用いた。
【００５１】
通常騒音レベルは、騒音の平均値で表示するが、実際に発話モードを検出する時には、リアルタイム性が要求されるため平均値を利用する時間的な余裕はない。このため、音声入力の初めの短期間（ｔ０：本実施例では２００ｍｓ）における騒音レベルの最大値を検出し、その時のレベルが、所定の閾値を越える場合に発話モードを切り替える短期間の騒音レベル検出方法を利用する。
【００５２】
具体的には、図３１のフローチャートに示す次の方法を用いた。音声入力の初めの所定時間（ｔ０：本実施例においては２００ｍｓ）における騒音レベル（Ｌ（ｔ））の最大値が第１の閾値（Ｌ１：本実施例では１０ホン）以下のときは、始めの発話モードを無音声発話モードに設定する。このとき調音器官の形態からの情報が入力された場合は、無音声発話モードの標準パターンを検出に使用する。騒音レベルが第１の閾値以上で第２の閾値（Ｌ２：本実施例では３５ホン）以下の場合は、小声の発話モードに設定し、調音器官の形態からの情報を小声の発話モードの標準パターンを用いて検出する。同様に騒音レベルが第２の閾値以上で第３の閾値（Ｌ３：本実施例では７０ホン）以下の場合は、普通の発話モードに設定し、調音器官の形態からの情報を普通の発話モードの標準パターンを用いて検出する。さらに、騒音レベルが第３の閾値以上の場合は、大声の発話モードに設定し、調音器官の形態からの情報を大声の発話モードの標準パターンを用いて検出する。本方法（図３１）を用いて、４０代の男性を話者とし、下顎部の点ｅ（５８）（図８参照）を測定点として正反射光スポット法を適用した。発話内容は、実施例２と同じ音素（拍）の組（／ａ／，／ｕ／，／ｚａ／，／ｒａ／，／ｙａ／，／ｍａ／）を採用し各発話モードをランダムに２回ずつ入力した。形態情報からの入力データと選定された発話モードのデータをパーソナルコンピュータ上のメモリに記憶させ、この選定された発話モードに対応した標準パターンを用いて音素（拍）の検出を行った。その結果、標準パターンを普通の発話モードに固定した場合と比べて、平均認識率を５０．０％から６２．５％にまで改善させることができた。この効果は、さほど大きくないようであるが、４つの発話モードに対する平均の値であり、発話モードによっては実施例２で示したように大きな効果を持つものもあり、発話モード切り替えの有効性を示している。
【００５３】
一方通常の発話では、連続して話している時に発話モードが急に切り替わることは考えにくい。このような状態は、周囲からの大きな雑音によって発生する場合が多いと予想される。雑音によって発話モードが誤って切り替わることを防ぐため、長期間の平均騒音レベル検出方法を採用する。つまり音声が連続して入力される場合は平均雑音レベルＬｍを算出し、これをモニターし発話モードを選定する方法である。具体的には、発話中の騒音レベルが所定時間（ｔ1：本実施例では５００ｍｓ）の間に第５の閾値（Ｌ５：本実施例では１０ホン）を下回らない場合は、騒音レベルの平均値を算出し続けその平均値によって発話モードを決定する。決定の際の各閾値は、図２８を目処とすることができる。調音器官の形態からの情報がなく騒音レベルが所定時間（ｔ1）の間に第５の閾値（Ｌ５）を越えない場合は、発話が途切れたと考え、平均騒音レベルを新たに算出し直すことにする。この方法を図３２に示す。しかし、発話が途切れた後も発話のモードが急には変化しないことを想定すると、過去の平均騒音レベル（Ｌ’）を初期値としてこれに重み（ｗ）を設定し、新たに平均騒音レベル補正値Ｌｍ’を算出する方法も考えられる。
【００５４】
【数２】
Ｌｍ’＝｛ｗＬ’ｔ1＋Ｌｔ｝／（ｔ＋ｔ1）−−−−（３）
このように、短期間の騒音レベルから発話モードを検出する方法と長期間の平均騒音レベルから発話モードを検出する方法を示したが、これらのを組み合わせた方法も本発明に含まれる。具体的には、短期の騒音レベルと、長期の平均騒音レベルによりそれぞれ選定された発話モードが食い違う場合は、実施例３で示したように異なる複数の発話モードの標準パターンを入力された音声の認識に用いる方法である。以上の方法により、音声入力中の発話モードを自動的に検出し、標準マップの発話モードを切り替えることにより、入力音声の情報をより正確に認識することが可能となる。
【００５５】
尚、上記の閾値や時間間隔は、本実施例における実験条件で定まったものであり、使用する話者や使用される環境の騒音レベルに合わせて調整する必要がある。また、発話モードの区切り方は、必ずしも上記に示す４通りである必要はなく利用形態に合わせて変更することが可能である。
【００５６】
これとは別に、発話モードによって標準パターンを切り替えるだけではなく、さらに発話モードによって入力される情報の機能や入力先を切り替えることも発案された。具体的な例として、無音声発話の場合は、調音器官形態からの情報を音声入力に使用し、小声発話の場合は、入力された音声情報を訂正したり編集するための指示を与える機能とする。また通常発話モードが検出されたの場合は、他の人と会話を行っていると見做し、音声入力モードを切る機能を持たせる等である。さらに発話モードによって入力するアプリケーションプログラム（たとえば表計算ソフトウェアおよび文書処理ソフトウェア）を自動的に切り替えることも可能となる。この場合、通常の音声認識手法を採用してもよい。このような機能を使用者毎に発話モードに合わせて切り替えることができ、音声による入力機能を従来技術と比べて格段に豊かにすることが本発明により可能となる。
【００５７】
［実施例５］
本実施例では、正反射光スポット法以外の計測法によって得られた、調音器官の形態情報により発話モードの違いを検出する。これにより本発明が、計測技術に限定されずに効果を持つことが示される。本実施例で使用する調音器官の形態情報の計測方法は、特開昭５２−１１２２０５号公報に示される方法を採用した。この方法では、口唇部周辺の皮膚にマーカを貼り付けてそのマーカの位置を検出することによって得られる調音器官の動きから発話を検出している（図１０参照）。我々の実験では、調音器官の動きが顕著でありマーカの検出が容易なよう、図１０に示されるマーカの中で口唇正中部に当るＭ４とＭ５の２点を採用した。実験に採用したマーカは、交通標識等で利用され、再帰反射板と呼ばれる入射光線を入射して来た方向に戻すように反射する部材を採用した。これはアクリルやＰＶＣ（ポリビニルカルバゾール）などをシート状にしたものの内面にコーナーキューブに相当する微細なプリズム形状や微細な中空の球面を形成した部材である。この再帰反射板のマーカ（Ｍ４，Ｍ５）に向けて光線を照射すると、再帰反射板が輝く程に光を反射するため画像中から背景とマーカ（Ｍ４，Ｍ５）との分離が容易であるという特徴を持つている。本実施例では、図３３に示す装置を調音器官形態入力部１０１として採用した。この装置は、実施例１で示した二次元ＣＣＤカメラ６１を用いる位置検出方法をそのまま採用している。この装置は、二次元ＣＣＤカメラ６１の画面中に光スポットのみが存在する時、光スポットの座標位置を図７で示す方法で高速に算出するものである。このためマーカを用いる従来の技術で要求される画像情報の背景の中からマーカを抽出し、その位置座標を検出するという煩雑な処理に対応できなかった。これを可能とするため撮影条件を工夫し、光線１３を照射された再帰反射板を利用して、この再帰反射板からの反射光が二次元ＣＣＤカメラ６１の画面背景と比べて十分なコントラストがとれるよう暗室中で実験を行いマーカ（Ｍ４，Ｍ５）の位置情報を検出した。しかし、暗室中においても口唇の画像を撮影する際には、白い歯からの反射光がマーカからの反射光よりも強いノイズ光となりマーカ（Ｍ４，Ｍ５）の位置を正しく検出できない状態が頻発した。これを防ぐため被験者１５の顔の方向を二次元ＣＣＤカメラ６１に対して正面ではなく側面にして撮影することにより歯からの反射光をなくした。
【００５８】
以上の装置構成と撮影環境で、３０代の男性１名を被験者として、口唇部のマーカ（Ｍ４，Ｍ５）を撮影しその位置座標を検出した。入力に用いた発話の内容は、次に示す１９種類の日本語の音素および拍とした。
【００５９】
【表１】
／ａ／，／ｉ／，／ｕ／，／ｅ／，／ｏ／，／ｋａ／，／ｓａ／，／ｔａ／，／ｎａ／，／ｈａ／，／ｍａ／，／ｙａ／，／ｒａ／，ｗａ／，／ｇａ／，／ｚａ／，／ｄａ／，／ｂａ／，／ｐａ／
これらの音素（拍）を、無音声発話モードと普通の発話モードに対してそれぞれランダムに２回ずつ発音し、１回目に発話されたデータを標準パターンとし、２回目に発話されたデータを入力データとした。
【００６０】
得られたデータのうち無音声発話モードの／ａ／の例を図３４に、普通の発話モードの／ａ／の例を図３５に示す。図３４、図３５より発話モードの差は、主に上唇の動きの差に現れていると考えられる。これらのデータの認識処理には、特開昭５２−１１２２０５号公報で用いたニューラルネットワーク分類装置とは異なるが、音声等のパターンマッチングに一般に用いられているＤＰマッチング法で代用した。両方式は認識の精度で多少の違いはあるが、標準パターンと入力データのパターンが一致する程度を評価すると言う点では同じ分野の技術である。
【００６１】
標準パターンをそれぞれ無音声モードと普通の発話モードとし、入力データも同様にそれぞれ無音声モードと普通の発話モードとし、ＤＰマッチング法を用いて各標準パターンに対する各入力データの距離を算出した。入力データと最も距離が近い標準パターンに対応する音素（拍）を入力データの認識結果とした。これらの結果を分かり易く図形化したものを図３６、図３７、図３８、図３９に示した。各図の横軸は標準パターンを示し、縦軸は入力データを示す。横軸および縦軸にはそれぞれ発話された音素（拍）の種類が示されている。図中に描かれた大小の各円は、対応する横軸の標準パターンの音素（拍）と縦軸の入力データの音素（拍）との距離をＤＰマッチング法で算出し、その逆数を直径としたものである。従って、円が大きいものほど対応する横軸と縦軸のパターンが一致していることになる。また、黒く塗り潰された円は、各入力データに対する認識結果を表わす。これらの図の主対角成分が正解であり、この部分に黒い円が多いほど平均の認識率が高いことを示す。平均認識率は、図の下に表示した。
【００６２】
図３６は、入力データおよび標準パターンとも無音声発話モードとしたものである。主対角成分に黒丸が多く平均認識率が高いことが分かる。図３７は、入力データを無音声発話モードとし、標準パターンを普通の発話モードとしたものである。認識結果が主対角成分以外に分布し平均認識率が低いことが分かる。図３８は、入力データを普通の発話モードとし、標準パターンを無音声発話モードとしたものである。図３９は、入力データおよび標準パターンとも普通の発話モードとしたものである。主対角成分の黒丸は多いが、その面積は図３６（入力データおよび標準パターンとも無音声発話モード）に比べると小さいことが分かる。入力データと標準パターンの発話モードの組合わせによる平均認識率をまとめたものを図４０に示す。これによると入力データと標準パターンの発話モードをそろえた場合の方が発話の認識率が高くなり、さらに無音声発話モードの方が普通の発話モードよりも認識率が高くなることが分かる。この結果は、実施例２における顎下部に正反射スポット法を適応した場合の結果と同等であった。本実施例により、被験者が異なり、測定位置が異なり、測定法が異なっても、本発明が有効であることが示された。また、調音器官の形態情報を用いた音声検出装置において認識率を改善するためには、無音声発話モードを利用することの重要性も示された。
【００６３】
【発明の効果】
本発明の効果は、調音器官の形態情報等から発話を検出する技術において入力データと標準パターンの発話モードを限定することによって、音声の検出精度を改善することを可能とした。特に無音声発話モードを使用することにより音声の検出精度を大幅に改善するとともに音響的に声を出さなくても発話内容を検出することを可能とした。このことは、従来の音声認識技術の原理的な欠点である、音響的に声を出さなければ音声入力ができないという欠点を解決するものである。本発明によって声を出さなくてもよいため音声検出装置の利用範囲が大幅に広がることになる。また、本発明は発話モードを切り替えることによって、音声入力された情報の機能を切り替えることや複数の発話モードが混在する音声入力の認識率向上を可能とした。これにより音声による入力装置の機能を従来技術と比べて格段に豊かにすることが可能となった。
【図面の簡単な説明】
【図１】  本発明の基本構成を示すブロック図である。
【図２】  発明の実施形態の例を説明する図である。
【図３】  本発明で用いた発話モードを説明する図である。
【図４】  正反射光スポット法を説明する図である。
【図５】  正反射光スポット法の基本構成を示すブロック図である。
【図６】  実施例１，２，３で使用した正反射光スポット法の装置を示す図である。
【図７】  光スポットの座標位置検出法を説明する図である。
【図８】  正反射板の配置位置を説明する図である。
【図９】  調音器官を説明する図である。
【図１０】  従来技術のマーカ貼り付け位置を示す図である。
【図１１】  発話モード毎の入力波形／ａ／を説明する図である。
【図１２】  発話モード毎の入力データの軌跡／ａ／を説明する図である。
【図１３】  発話モード毎の入力波形／ｕ／を説明する図である。
【図１４】  発話モード毎の入力データの軌跡／ｕ／を説明する図である。
【図１５】  発話データの位相の基準を決定する方法を説明する図である。
【図１６】  入力データ（無音声発話モード）と標準パターン（無音声発話モード）との類似度を説明する図である。
【図１７】  入力データ（無音声発話モード）と標準パターン（小声の発話モード）との類似度を説明する図である。
【図１８】  入力データ（無音声発話モード）と標準パターン（普通の発話モード）との類似度を説明する図である。
【図１９】  入力データ（無音声発話モード）と標準パターン（大声の発話モード）との類似度を説明する図である。
【図２０】  発話モードの組合わせによる平均認識率を説明する図である。
【図２１】  標準パターンの発話モードに対する無音声発話モードの入力データの平均認識率を説明する図である。
【図２２】  「赤」の発話パターン（普通の発話モード）を説明する図である。
【図２３】  「垢」の発話パターン（普通の発話モード）を説明する図である。
【図２４】  「赤」の発話パターン軌跡（普通の発話モード）を説明する図である。
【図２５】  「垢」の発話パターン軌跡（普通の発話モード）を説明する図である。
【図２６】  入力データ（小声の発話モード）と２つの標準パターン（小声、普通の発話モード）の類似度の平均を説明する図である。
【図２７】  入力データ（小声の発話モード）の平均認識率を説明する図である。
【図２８】  発話モードと騒音レベルの目安を説明する図である。
【図２９】  ＡＴＲ音素バランス文の中の１０文を説明する図である。
【図３０】  ＡＴＲ音素バランス文の音響データである。
【図３１】  発話モード切り替えフローチャートである。
【図３２】  平均騒音レベル算出フローチャートである。
【図３３】  実施例５で使用した実験装置を説明する図である。
【図３４】  口唇正中部の上下唇に装着したマーカＭ４，Ｍ５の無音声発話モード／ａ／の波形データを説明する図である。
【図３５】  口唇正中部の上下唇に装着したマーカＭ４，Ｍ５の普通の発話モード／ａ／の波形データを説明する図である。
【図３６】  入力データ（無音声発話モード）と標準パターン（無音声発話モード）とのＤＰマッチング結果の説明図を説明する図である。
【図３７】  入力データ（無音声発話モード）と標準パターン（普通の発話モード）とのＤＰマッチング結果を説明する図である。
【図３８】  入力データ（普通の発話モード）と標準パターン（無音声発話モード）とのＤＰマッチング結果を説明する図である。
【図３９】  入力データ（普通の発話モード）と標準パターン（普通の発話モード）とのＤＰマッチング結果を説明する図である。
【図４０】  入力データと標準パターンの発話モードの組合わせによる平均認識率を説明する図である。
【符号の説明】
１０    光源部
１１    光ファイバーライトガイド
１２    正反射板
１３    光線
１４    正反射光
１５    被験者
１６    位置検出センサ
１７    センサ・スイッチング回路
１８    頭部固定要の棒
１９    出力座標演算部
２０    凸レンズ
２１    赤外線吸収フィルター
２２    受光面
２３    位置検出部
２４    座標記憶部
５８    正反射板１２配置位置（下顎部ｅ）
６１    二次元ＣＣＤカメラ
６２    スクリーン
６３    正反射光スポット
６４    電源回路
６５    発光ダイオード
６９    正反射光スポット
７０    正反射光スポット
７１    二次元ＣＣＤセンサ
７２    ＣＣＤ駆動回路
７３    出力座標演算部
７４    光スポット出力信号
１０１    調音器官形態入力部
１０２    発話モード入力部
１０３    音声検出部
１０４    調音器官形態測定部
１０５    前処理・特徴抽出部
１０６    発話モード検出部
１０７    発話モード選択部
１０８    発話モード手動入力部
１０９    入力データ記憶部
１１０    標準パターン選択部
１１１    標準パターン記憶部
１１２    比較部
１５１    基準
２００    パーソナルコンピュータ
２０１    ヘッドセット
２０２    マイクロホン
８０１    口唇特徴ベクトルの成分
８０２    口唇特徴ベクトルの成分
８０３    口唇特徴ベクトルの成分
８０４    口唇特徴ベクトルの成分
８０５    口唇特徴ベクトルの成分
９０１    肺
９０２    喉頭
９０３    口腔
９０４    鼻腔
９０５    口唇
９０８    上唇
９０９    下唇
Ｍ４    マーカ位置
Ｍ５    マーカ位置
【図１】
0003893763.tif 000003
【図２】
0003893763.tif 000004
【図３】
0003893763.tif 000005
【図４】
0003893763.tif 000006
【図５】
0003893763.tif 000007
【図６】
0003893763.tif 000008
【図７】
0003893763.tif 000009
【図８】
0003893763.tif 000010
【図９】
0003893763.tif 000011
【図１０】
0003893763.tif 000012
【図１１】
0003893763.tif 000013
【図１２】
0003893763.tif 000014
【図１３】
0003893763.tif 000015
【図１４】
0003893763.tif 000016
【図１５】
0003893763.tif 000017
【図１６】
0003893763.tif 000018
【図１７】
0003893763.tif 000019
【図１８】
0003893763.tif 000020
【図１９】
0003893763.tif 000021
【図２０】
0003893763.tif 000022
【図２１】
0003893763.tif 000023
【図２２】
0003893763.tif 000024
【図２３】
0003893763.tif 000025
【図２４】
0003893763.tif 000026
【図２５】
0003893763.tif 000027
【図２６】
0003893763.tif 000028
【図２７】
0003893763.tif 000029
【図２８】
0003893763.tif 000030
【図２９】
0003893763.tif 000031
【図３０】
0003893763.tif 000032
【図３１】
0003893763.tif 000033
【図３２】
0003893763.tif 000034
【図３３】
0003893763.tif 000035
【図３４】
0003893763.tif 000036
【図３５】
0003893763.tif 000037
【図３６】
0003893763.tif 000038
【図３７】
0003893763.tif 000039
【図３８】
0003893763.tif 000040
【図３９】
0003893763.tif 000041
【図４０】
0003893763.tif 000042