(57)【要約】【課題】  話者の発話期間を効率的に検出可能なマイクロホン装置を実現する。【解決手段】  超音波送出部１１１は、話者Ｓに向けて超音波を送出する。音波超音波受信部１１２は、話者Ｓの発話による音波と、話者Ｓに当たって反射した超音波と、の混合波を受信する。受信した混合波は、帯域分離部１２のＬＰＦ１２１とＢＰＦ１２２によって、音波と超音波とに分離される。検波回路１３は、超音波として分離された信号波を検波して半波整流と平滑化とを行う。微分回路１４は、検波された信号波の時間変化を検出し、話者Ｓの唇の動きに相当するを波形を抽出する。発話判定部１５は、微分回路１４によって検出された時間変化に相当する信号波の信号レベルが所定の閾値を超えているか否かを判別し、判別結果に基づいてスピーカスイッチ１６に音声出力をＯＮさせる。【選択図】  図１
2006139117.tif 000002
【特許請求の範囲】
【請求項１】
話者の発話による音波を受信して、音声を出力するマイクロホン装置であって、
話者に当てるための超音波を送出する超音波送出手段と、
話者の発話による音波を受信する音波受信手段と、
話者に当たって反射した超音波の反射波を受信する反射波受信手段と、
受信した反射波に基づいて、話者が話しているか否かを判別する発話判別手段と、
受信した音波に基づいて音声を出力する出力手段と、
を備え、
前記出力手段は、前記判別により話者が話していると判別した場合にのみ、音声を外部に出力する、
ことを特徴とするマイクロホン装置。
【請求項２】
前記音波受信手段と、前記反射波受信手段とは共通の受信手段で構成され、
前記受信手段は、前記音波と前記反射波との混合波を受信して、該混合波を電気信号に変換するものであり、
前記混合波の電気信号を、音波に相当する信号と反射波に相当する信号とに分離する分離手段をさらに備え、
前記発話判別手段は、分離された反射波の信号に基づいて、話者が発話しているか否かを判別する、
ことを特徴とする請求項１に記載のマイクロホン装置。
【請求項３】
前記分離手段は、前記混合波の信号に含まれる成分の周波数に基づいて、前記混合波を音波と超音波とに分離する、
ことを特徴とする請求項２に記載のマイクロホン装置。
【請求項４】
前記発話判別手段は、
前記反射波を検波して、信号波形を抽出する検波手段と、
前記検波手段によって抽出された信号波形に基づいて、話者の唇が発話動作を示す動きをしているか否かを判別する発話動作検出手段と、
を備える、
ことを特徴とする請求項１、２又は３に記載のマイクロホン装置。
【請求項５】
前記発話動作検出手段は、前記検波手段によって抽出された信号波形の振幅値の時間変化を検出し、該時間変化が所定の閾値より大きいか否かを判別して、話者の唇が発話動作を示す動きをしているか否かを判定する、
ことを特徴とする請求項４に記載のマイクロホン装置。
【請求項６】
前記超音波送出手段と前記受信手段とは、共通のダイナミックマイクから構成される、
ことを特徴とする請求項１乃至５のいずれか１項に記載のマイクロホン装置。
【請求項７】
話者による発話が行われているか否かを検出する、発話検出装置であって、
話者に当てるための超音波を送出する超音波送出手段と、
話者の発話による音波を受信する音波受信手段と、
話者に当たって反射した超音波の反射波を受信する反射波受信手段と、
受信した反射波に基づいて、話者が話しているか否かを判別する発話判別手段と、
を備えることを特徴とする発話検出装置。
【請求項８】
前記音波受信手段と、前記反射波受信手段とは共通の受信手段で構成され、
前記受信手段は、前記音波と前記反射波との混合波を受信して、該混合波を電気信号に変換するものであり、
前記混合波の電気信号を、音波に相当する信号と反射波に相当する信号とに分離する分離手段をさらに備え、
前記発話判別手段は、分離された反射波の信号に基づいて、話者が発話しているか否かを判別する、
ことを特徴とする請求項７に記載の発話検出装置。
【請求項９】
前記発話判別手段は、
前記反射波を検波して、信号波形を抽出する検波手段と、
前記検波手段によって抽出された信号波形に基づいて、話者の唇が発話動作を示す動きをしているか否かを判別する発話動作検出手段と、
を備える、
ことを特徴とする請求項７又は８に記載の発話検出装置。
【請求項１０】
話者の発話による音波を受信して、音声を出力するマイクロホン装置の音声出力方法であって、
話者に当てるための超音波を送出するステップと、
話者の発話による音波を受信するステップと、
話者に当たって反射した超音波の反射波を受信するステップと、
受信した反射波に基づいて、話者が話しているか否かを判別するステップと、
受信した音波に基づいて音声を出力するステップと、
を備え、
前記出力するステップでは、前記判別により話者が話していると判別した場合にのみ、音声を外部に出力する、
ことを特徴とするマイクロホン装置の音声出力方法。
【請求項１１】
話者による発話が行われているか否かを検出する発話検出方法であって、
話者に当てるための超音波を送出するステップと、
話者の発話による音波を受信するステップと、
話者に当たって反射した超音波の反射波を受信するステップと、
受信した反射波に基づいて、話者が話しているか否かを判別するステップと、
を備えることを特徴とする発話検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホン装置、発話検出装置、発話検出方法および音声出力方法に関する。
【背景技術】
【０００２】
近年、マイクロホン装置、通称「マイク」は、映像や放送の分野だけにとどまらず、活躍の舞台を様々な世界へと広げている。こうした用途の広がりに応じて、時代はますます小型且つ高性能なマイクを求めている。例えば、ナビゲーションシステムにおいては、指示を送る側と受け取る側との間の、正確な情報伝達が重要である。
【０００３】
また、近年盛んに研究が為されている音声認識の分野においても、マイクロホン装置が担う役割は大きい。例えば、マイクロホン装置が話し手以外からの音声（いわゆる雑音）を拾ってしまうことは、しばしば認識の低下（認識の劣化）を引き起こす原因となる。こうした、雑音によって起こる認識の劣化を防ぐために、雑音を除去した上で音声伝達を行うことが可能なマイクロホン装置が考えられた（例えば、特許文献１）。
【０００４】
こうした雑音の除去のような認識率改善処理を行う場合、話者が発声している時間（音声区間）の情報を取得し、発話に合わせて処理を行う必要がある。例えば、音声区間の情報を誤って取得していると、話者が話し出す前の状態と話者が既に話し始めている状態とを混同して処理を行うことになり、認識率は思うように改善されない。そこで、音声区間の情報を適切に取得するための方法として、画像認識やカメラ等を用いて人間の唇の動きを検出する研究が、ＡＴＲ（国際電気通信基礎技術研究所）等において為されている。
【特許文献１】特開２００３−１１１１８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、画像認識やカメラによって人間の唇の動きを検出する方法を用いる場合、その方法を実現するための機材自体が非常に大きなものとなり、金額も高価なものとなってしまう。また、そのシステム全体を実現するためのＣＰＵのリソースも大きなものになってしまう。
【０００６】
本発明は、上記実状に鑑みて為されたものであり、話者の発話期間を効率的に検出可能なマイクロホン装置を容易に実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の第１の観点に係るマイクロホン装置は、
話者の発話による音波を受信して、音声を出力するマイクロホン装置であって、
話者に当てるための超音波を送出する超音波送出手段と、
話者の発話による音波を受信する音波受信手段と、
話者に当たって反射した超音波の反射波を受信する反射波受信手段と、
受信した反射波に基づいて、話者が話しているか否かを判別する発話判別手段と、
受信した音波に基づいて音声を出力する出力手段と、
を備え、
前記出力手段は、前記判別により話者が話していると判別した場合にのみ、音声を外部に出力する、
ことを特徴とする。
【０００８】
前記音波受信手段と、前記反射波受信手段とは共通の受信手段で構成され、
前記受信手段は、前記音波と前記反射波との混合波を受信して、該混合波を電気信号に変換するものであり、
前記混合波の電気信号を、音波に相当する信号と反射波に相当する信号とに分離する分離手段をさらに備え、
前記発話判別手段は、分離された反射波の信号に基づいて、話者が発話しているか否かを判別することが好ましい。
【０００９】
前記分離手段は、前記混合波の信号に含まれる成分の周波数に基づいて、前記混合波を音波と超音波とに分離することが好ましい。
【００１０】
前記発話判別手段は、
前記反射波を検波して、信号波形を抽出する検波手段と、
前記検波手段によって抽出された信号波形に基づいて、話者の唇が発話動作を示す動きをしているか否かを判別する発話動作検出手段と、
を備えることが好ましい。
【００１１】
前記発話動作検出手段は、前記検波手段によって抽出された信号波形の振幅値の時間変化を検出し、該時間変化が所定の閾値より大きいか否かを判別して、話者の唇が発話動作を示す動きをしているか否かを判定することが好ましい。
【００１２】
前記超音波送出手段と前記受信手段とは、共通のダイナミックマイクから構成されることが好ましい。
【００１３】
上記目的を達成するため、本発明の第２の観点に係る発話検出装置は、
話者による発話が行われているか否かを検出する、発話検出装置であって、
話者に当てるための超音波を送出する超音波送出手段と、
話者の発話による音波を受信する音波受信手段と、
話者に当たって反射した超音波の反射波を受信する反射波受信手段と、
受信した反射波に基づいて、話者が話しているか否かを判別する発話判別手段と、
を備えることを特徴とする。
【００１４】
前記音波受信手段と、前記反射波受信手段とは共通の受信手段で構成され、
前記受信手段は、前記音波と前記反射波との混合波を受信して、該混合波を電気信号に変換するものであり、
前記混合波の電気信号を、音波に相当する信号と反射波に相当する信号とに分離する分離手段をさらに備え、
前記発話判別手段は、分離された反射波の信号に基づいて、話者が発話しているか否かを判別することが好ましい。
【００１５】
前記発話判別手段は、
前記反射波を検波して、信号波形を抽出する検波手段と、
前記検波手段によって抽出された信号波形に基づいて、話者の唇が発話動作を示す動きをしているか否かを判別する発話動作検出手段と、
を備えることが好ましい。
【００１６】
上記目的を達成するため、本発明の第３の観点に係るマイクロホン装置の音声出力方法は、
話者の発話による音波を受信して、音声を出力するマイクロホン装置の音声出力方法であって、
話者に当てるための超音波を送出するステップと、
話者の発話による音波を受信するステップと、
話者に当たって反射した超音波の反射波を受信するステップと、
受信した反射波に基づいて、話者が話しているか否かを判別するステップと、
受信した音波に基づいて音声を出力するステップと、
を備え、
前記出力するステップでは、前記判別により話者が話していると判別した場合にのみ、音声を外部に出力する、
ことを特徴とする。
【００１７】
上記目的を達成するため、本発明の第４の観点に係る発話検出方法は、
話者による発話が行われているか否かを検出する発話検出方法であって、
話者に当てるための超音波を送出するステップと、
話者の発話による音波を受信するステップと、
話者に当たって反射した超音波の反射波を受信するステップと、
受信した反射波に基づいて、話者が話しているか否かを判別するステップと、
を備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、話者の発話期間を検出可能なマイクロホン装置が実現できる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態に係るマイクロホン装置１は、図１に示すように、マイクユニット１１と、帯域分離部１２と、検波回路１３と、微分回路１４と、発話判定部１５と、スピーカスイッチ１６と、を備える。マイクユニット１１は、超音波送出部１１１と、音波超音波受信部１１２とから構成される。帯域分離部１２は、ＬＰＦ（Low Pass Filter）１２１と、ＢＰＦ（Band Pass Filter）１２２とから構成される。また、帯域分離部１２と、検波回路１３と、微分回路１４と、発話判定部１５と、スピーカスイッチ１６とは、筐体Ｋの内部に格納されている。
【００２０】
マイクユニット１１は、通常、マイクロホン装置１を用いて音声の伝達を行おうとする話者（以下、話者Ｓ）が自身の口元近辺に位置させ、発話した音声の入力口とする部分である。
超音波送出部１１１は、トランスジューサ等の小型の超音波発振器から構成され、マイクロホン装置１の電源（図示せず）がＯＮされるのに伴い、所定の周波数（例えば、４０ｋＨｚ程度）の超音波を外部の所定範囲に向けて連続的に送出する。
音波超音波受信部１１２は、ＥＣＭ（エレクトレット・コンデンサ・マイクロホン）等から構成され、話者Ｓが発した音声（音波）を集音する。また、音波超音波受信部１１２は、超音波送出部１１１により発せられた超音波の話者Ｓに当たって跳ね返った反射波を受信する。音波および超音波を受信すると、音波超音波受信部１１２は、それらを電気信号に変換して帯域分離部１２に供給する。
【００２１】
帯域分離部１２は、音波超音波受信部１１２から供給された電気信号を、その周波数に基づいて、音波に相当する信号と超音波に相当する信号とに分離する。より詳細には、ＬＰＦ１２１は音波を通過させ、ＢＰＦ１２２は超音波を通過させる。すなわち、ＬＰＦ１２１は所定の遮断周波数（約２０ｋＨｚ）以下の周波数の信号だけを通過させ、遮断周波数以上の周波数の信号を減衰させる。一方、ＢＰＦ１２２は、所定の周波数範囲（４０ｋＨｚ前後）の周波数の信号だけを通過させ、それ以外の周波数の信号を減衰させる。
【００２２】
検波回路１３は、ＢＰＦ１２２から供給された信号波形を検波する回路であり、半波整流のためのダイオードと信号波形を平滑化するためのコンデンサとから構成される。
【００２３】
微分回路１４は、検波回路１３が検波した信号波形に対し、その信号波形を時間に対して微分したものに相当する信号（振幅値の時間変化に相当する信号）を出力する回路である。ここで、検波回路１３を通過した信号は話者Ｓに当たって跳ね返った反射波であり、その時間変化に相当する信号は、話者Ｓの動作（具体的には唇の動き）を示す信号となる。この微分回路１４を通ることにより、話者Ｓの体の動き、すなわち顔の前後左右へのゆっくりとした動きを示す信号波形は抽出されず、唇の動きを示す信号波形のみが抽出される。
【００２４】
発話判定部１５は、図示するようにコンパレータ等を備え、微分回路１４から供給された、振幅値の時間変化に相当する信号が所定の閾値を超えているか否かを判別する。すなわち、話者の唇の動きの速さが検出され、この速さが所定の閾値を超えているか否かによって、話者Ｓの唇の動きが発話を示すレベルのものであるか否かを判別する。そして、閾値を超えていると判別すると、音声出力のためのスイッチのオンを要求する所定レベルの信号を、スピーカスイッチ１６に出力する。
【００２５】
スピーカスイッチ１６は、モーメンタリ型のスイッチから構成され、発話判定部１５から所定レベルの信号を供給されると、音声出力についてのスイッチをＯＮに設定する。尚、スピーカスイッチ１６は、発話判定部１５からの所定レベルの信号を受け取らない場合、音声出力をＯＦＦの状態で維持し続ける（オンに切り替えない）。より詳細には、微分回路１４によって、唇が大きく速く動いた状態が信号として出力されるので、例えば口をゆっくり大きく開けた場合や、大きく動かしてもそのまま動かない場合などは、その変化が微分回路１４でカットされ、スピーカスイッチ１６がオンにならない。
【００２６】
次に、本実施の形態に係るマイクロホン装置１が行う処理動作について、図２のフローチャートを参照して説明する。尚、ここで、話者Ｓは、図３に示すように、マイクロホン装置１を手に取り、筐体Ｋを掴んでマイクユニット１１を口元に近づけているものとする。
【００２７】
マイクユニット１１内の超音波送出部１１１は、所定の周波数の超音波を外部に対して連続的に送出する（ステップＳ１０１）。超音波の一部は話者Ｓの唇に当たり、反射波を発生させる。
【００２８】
音波超音波受信部１１２は、ステップＳ１０１の超音波の送出により、話者Ｓに当たって発生した反射波を受信する（ステップＳ１０２）。その際、話者Ｓが何か言葉を発している場合には、同時にその音声（音波）も受信する。
【００２９】
音波超音波受信部１１２は、受信した音波と超音波とを含む混合波を電気信号に変換して、帯域分離部１２に供給する。帯域分離部１２では、ＬＰＦ１２１とＢＰＦ１２２とにおいて、混合波の帯域分離を行う（ステップＳ１０３）。ここで、ＬＰＦ１２１は、周波数２０ｋＨｚ以下の信号を音波に相当するものとして通過させる。一方、ＢＰＦ１２２は、周波数が４０ｋＨｚ付近の信号が超音波に相当するものとして通過させる。ＢＰＦ１２２を通過した超音波は、検波回路１３に向けて出力される。
【００３０】
検波回路１３は、ＢＰＦ１２２を通って供給された信号を検波して、半波整流と波形の平滑化とを行い（ステップＳ１０４）、微分回路１４に供給する。
【００３１】
微分回路１４は、検波回路１３によって検波された波形に対して、時間微分に相当する処理（波形の時間変化を検出する処理）を行う（ステップＳ１０５）。そして、時間変化に相当する信号波形を、発話判定部１５に供給する。
【００３２】
発話判定部１５は、微分回路１４により出力された、時間変化に相当する信号の信号レベルが所定の閾値より大きいか否かを判別する（ステップＳ１０６）。
【００３３】
閾値よりも大きいと判別すると（ステップＳ１０６：Ｙｅｓ）、発話判定部１５は、話者Ｓの唇が大きく速く開いた、すなわち喋り始めたと判定して、スピーカスイッチ１６に所定レベルの信号を供給し、音声出力をＯＮに切り替えさせる（ステップＳ１０７）。一方、波形の時間変化が閾値以下であると判別すると（ステップＳ１０６：Ｎｏ）、発話判定部１５はスピーカスイッチ１６に信号を供給せず、音声出力のＯＮ／ＯＦＦを切り替えずにそのままの状態を維持させる。
【００３４】
以上の処理動作により、マイクロホン装置１による音声出力スイッチ（スピーカスイッチ１６）の自動切り替えが行われる。即ち、話者Ｓの唇の動きが所定の大きさや速度以上のものであると判別した場合、話者Ｓは発話していると見なされ、音声出力のスイッチがＯＮされる。
【００３５】
以上説明したように、本実施の形態に係るマイクロホン装置１によれば、超音波によって話者の唇の動きを検出することが可能であり、画像認識装置やカメラといった大型の付属装置なしに、話者の発話期間を検出することができる。
【００３６】
尚、本発明は、上記実施の形態で示した例に限定されるものではなく、様々な変形および応用が可能である。
例えば、上記実施の形態では、マイクユニット１１が超音波送出部１１１と音波超音波受信部１１２とを用いて構成されるものとした。しかし、これに限られず、例えばダイナミックマイクを用いてマイクロホン装置１を構成することも可能である。この場合、ダイナミックマイクを構成する振動板が、音波超音波受信部１１２と超音波送出部１１１との双方の役割を果たすことになる。
【００３７】
また、上記実施の形態では、音波超音波受信部１１２が音波の受信と超音波の受信との両方を行うものとしたが、音波の受信を行う音波受信部と超音波の受信を行う超音波受信部とを別個に設けるような構成としても良い。ただし、上記実施の形態のように音波の受信と超音波の受信とを同時に同じ部分（音波超音波受信部１１２）から行うことにより、話者は、音波の受信と超音波の受信とにおける指向性の違いを考慮せずに発話を行うことができる。より詳細には、図４（ａ）に示すような超音波受信部と音波受信部との指向性の違いを考慮することなく、話者Ｓは図４（ｂ）に示すように受信部の正面に位置して発話を行うことができる。
【００３８】
また、上記実施の形態では、マイクロホン装置１を、話者Ｓが筐体Ｋを掴んで保持するハンドマイクとして説明したが、マイクロホン装置１の形態はこれに限定されるものではなく、話者Ｓが自らの胸に装着するピンマイクや、上方から音声を拾うような吊マイク等としても実現可能である。また、自動車の車内のダッシュボード等に、運転者の唇に向けて設置してもよい。その際、音波の受信範囲と合わせるため、ピンマイクやダッシュボードに設置されるマイクでは超音波の送出方向を狭い範囲に限定する必要があり、逆に、吊マイクでは超音波の送出方向を広範囲に設定する必要がある。
【００３９】
また、上記実施の形態において、波形の時間変化の大小を判定するために閾値を設定するものとしたが、この閾値は特定の値に限定されない。これは、例えば、子供と大人、欧米人と日本人などでは、言葉を発する際の口の開け方が異なるためであり、それぞれのカテゴリーに合わせて閾値を設定しておくことにより、より正確に話者の発話期間を検出することが可能となる。
【００４０】
また、検波回路、微分回路等の細かい回路構成は、上記実施の形態で示した例に限定されるものではなく、個々の回路が各々の目的を達成可能に構成されていればよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係るマイクロホン装置の構成図である。
【図２】図１のマイクロホン装置が行う処理動作を説明するためのフローチャートである。
【図３】図１のマイクロホン装置が話者によって利用される際の様子を模式的に示す図である。
【図４】音波受信部と超音波受信部とが同一である場合に、音波と超音波の指向性の違いを考慮せずに発話を行えることを説明するための模式図である。
【符号の説明】
【００４２】
１  マイクロホン装置
１１  マイクユニット
１１１  超音波送出部
１１２  音波超音波受信部
１２  帯域分離部
１２１  ＬＰＦ
１２２  ＢＰＦ
１３  検波回路
１４  微分回路
１５  発話判定部
１６  スピーカスイッチ
【図１】
2006139117.tif 000003
【図２】
2006139117.tif 000004
【図３】
2006139117.tif 000005
【図４】
2006139117.tif 000006