(57)【要約】【課題】  低域から高域まで品質のよい音声を入力する。【解決手段】  特性の異なる複数のマイクロフォンで集音した音声から、それぞれ予め設定した周波数帯域の音声を抽出して合成する。【選択図】  図２
2007041371.tif 000002
【特許請求の範囲】
【請求項１】
特性の異なる複数のマイクロフォン（以下、マイクという）と、
前記各マイクで集音した音声から予め設定した周波数帯域の音声を抽出する帯域抽出手段と、
前記帯域抽出手段により抽出した音声を合成する音声合成手段とを備えることを特徴とする音声入力装置。
【請求項２】
請求項１に記載の音声入力装置において、
前記各マイクで集音した音声を記憶する音声記憶手段と、
前記音声記憶手段に記憶されている前記複数のマイクの音声の入力時間のずれを調整する時間ずれ調整手段とを備えることを特徴とする音声入力装置。
【請求項３】
請求項１または請求項２に記載の音声入力装置において、
前記複数のマイクの内の１または複数のマイクの代替音声を収録する音声収録手段と、
前記各マイクで集音した音声が利用できるか否かを判定する利用可否判定手段とを備え、
前記音声合成手段は、前記利用可否判定手段により利用不可の判定がなされた場合に、利用不可の判定がなされたマイクの代替音声を前記音声収録手段から読み出し、他のマイクの音声と合成することを特徴とする音声入力装置。
【請求項４】
請求項１〜３のいずれかの項に記載の音声入力装置において、
前記複数のマイクは、人の発話音声の体内伝導音を集音する第１マイクと、人の発話音声の空気伝導音を集音する第２マイクであり、
前記帯域抽出手段は、前記第１マイクで集音した音声から低周波数帯域の音声を抽出するとともに、前記第２マイクで集音した音声から高周波数帯域の音声を抽出することを特徴とする音声入力装置。
【請求項５】
特性の異なる複数のマイクロフォン（以下、マイクという）で集音した音声から、それぞれ予め設定した周波数帯域の音声を抽出して合成することを特徴とする音声入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の発話音声を入力する音声入力装置および方法に関する。
【背景技術】
【０００２】
二つの無指向性集音素子を各集音範囲の一部が重複するように配置し、片方の集音素子のみで集音することによって無指向性の音声入力装置として機能させるとともに、両方の集音素子で集音することによって集音範囲が重複する範囲に先鋭な指向性を持つ指向性の音声入力装置として機能させる音声入力装置が知られている（例えば、特許文献１参照）。
その音声入力装置では、ロードノイズがしきい値以下のときは無指向性に切り換え、ロードノイズがしきい値を超えるときは指向性に切り換えてハイパスフィルター処理を施すようにしている。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２０００−０８３０９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の音声入力装置では、ノードノイズが高いときはハイパスフィルター処理を施すので低周波部分が不足し、発話者の通常の発話音声と異なる不自然な音声になってしまうという問題がある。
【課題を解決するための手段】
【０００５】
特性の異なる複数のマイクで集音した音声から、それぞれ予め設定した周波数帯域の音声を抽出して合成する。
【発明の効果】
【０００６】
本発明によれば、低域から高域まで品質のよい音声を入力することができる。
【発明を実施するための最良の形態】
【０００７】
２個の特性の異なるマイクロフォン（以下、単にマイクという）として接触型マイクと非接触型マイクを備え、各マイクで集音した車両運転者の音声から品質のよい帯域の音声を抽出し、それらを合成して低音から高音までの品質のよい音声を生成する本願発明の一実施の形態を説明する。なお、本願発明を車両に適用した一実施の形態を説明するが、本願発明は車両用に限定されるものではない。
【０００８】
また、本願発明で用いるマイクは接触型マイクと非接触型マイクに限定されず、互いに周波数帯域ごとの特性を補間しあって低域から高域まで品質のよい音声を出力可能なマイクであれば、どのような種類のマイクを何個使用してもよい。ここで、マイクの特性とは、マイク自体の入力周波数に対する感度（音圧）特性や、マイクの設置方法や設置場所によるＳ／Ｎ特性などを総合的に考慮した特性であり、感度が高く雑音の少ない音声出力が得られる場合に音声出力の品質がよいとする。
【０００９】
図１は一実施の形態の構成を示す図である。接触型マイクロフォン（以下、接触型マイクという）１は、運転者の皮膚に直接、あるいは衣服を介して接触させ、運転者の発話による体内伝導音を集音して電気信号に変換するマイクである。接触型マイク１には骨伝導マイクやＮＡＭ（Non-Audible Murmur）マイクなどを用いることができる。
【００１０】
骨伝導型マイクは、発話による頭蓋骨の振動を集音するとともに、頭蓋骨に振動を与えて聴覚神経に直接、音声を伝えるマイクである。近年、携帯型電話機などに送受話用として実用化されている。一方、ＮＡＭマイクは、人体の皮膚に直接、接触させるか、または比較的薄い衣服を介して皮膚に接触させ、運転者の発話音声の体内伝導音を集音するマイクであり、日本音響学会講演論文集、２００４年３月、pp４５２〜４５３などに紹介されている。ＮＡＭマイクは、人間の皮膚と音響インピーダンスがよく似たシリコンなどの材料でエレクトレット膜をコーティングして形成され、特に１０００Ｈｚ以下の周波数領域におけるＳ／Ｎ特性が一般的な非接触型マイクよりも優れ、人間の非可聴な“つぶやき”や“独り言”を集音することができるという特徴を有している。
【００１１】
接触型マイク１は例えばステアリングホイールのスポーク部に設置し、運転者が運転中に両手をステアリングホイールから離さずに親指を接触できるようにする。あるいは、運転席シートバックの上部表面や運転席ヘッドレスト表面に設置し、運転者の肩上部や後頭部が接触できるようにする。
【００１２】
非接触型マイク２は運転者の発話音声の空気伝導音を集音して電気信号に変換するマイクであり、運転者の人体に接触させることなく発話音声を集音する。非接触型マイク２にはエレクトレットコンデンサーマイク（ＥＣＭ）などの一般的な形式のマイクを用いることができる。
【００１３】
非接触型マイク２は例えば車室内天井のマップランプ（不図示）の近くに設置する。なお、非接触型マイク２の設置場所はこの一実施の形態に設置場所に限定されず、例えばステアリングホイールやインストルメントパネルなど、運転者の発話音声を集音可能な場所であればどこでもよい。
【００１４】
処理装置１０は図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、ＡＤ／ＤＡコンバーターなどから構成され、入力音声記憶部１１と音声出力部１７の他に、ＣＰＵのソフトウエア形態により構成される遅延時間演算部１２、時間軸調整部１３、接触型マイク用ローパスフィルター１４、非接触型マイク用ハイパスフィルター１５および音声帯域合成部１６を備えている。
【００１５】
入力音声記憶部１１は、接触型マイク１および非接触型マイク２で集音した音声を一時的に記憶するＲＡＭなどのメモリである。遅延時間演算部１２は接触型マイク１と非接触型マイク２の入力音声の相互相関を計算し、二つの入力音声の入力時間のずれ、すなわち入力位相差を演算する。接触型マイク１は音源である運転者に近接しているが、非接触型マイク２は音源（運転者）からの距離が遠いため、運転者の発話音声が非接触型マイク２に到達するのに時間がかかる。そのため、二つの入力音声の入力時間にずれが生じ、非接触型マイク２の入力音声は接触型マイク１の入力音声よりも遅れて入力する。
【００１６】
時間軸調整部１３は、接触型マイク１の入力音声に対する非接触型マイク２の入力音声の遅延時間が０になるように、つまり入力位相差が０になるように二つの入力音声の基点（発話始端）を揃える。接触型マイク用ローパスフィルター１４は接触型マイク１で集音した音声から所定の周波数より高域部分を除去し、低域部分のみを出力する。接触型マイク１で集音した音声は低域から中域において高い品質が確保されるが、高域の音声の品質は非接触型マイク２に比べ劣るため、良質の低域部分を抽出する。
【００１７】
非接触型マイク用ハイパスフィルター１５は非接触型マイク２で集音した音声から所定の周波数より低域部分を除去し、高域部分のみを出力する。非接触型マイク２で集音した音声には特に低域部分に走行中のロードノイズなどの雑音が混入しており、良質の高域部分のみを抽出する。なお、ローパスフィルター１４とハイパスフィルター１５のカットオフ周波数は接触型マイク１および非接触型マイク２の特性に応じて決定する。
【００１８】
音声帯域合成部１６は、接触型マイク１と非接触型マイク２の入力音声からそれぞれ抽出した良質な帯域の音声を組み合わせ、一つの音声に合成する。音声出力部１７は合成音声を増幅して出力する。この一実施の形態から出力される音声は、携帯電話機の送話音声として用いたり、車載音声認識装置の入力音声として用いる。
【００１９】
補完用音声データベース３は、非接触型マイク２の入力音声が利用できない場合に、非接触型マイク２の入力音声に代替えするための高域音声を収録した記憶装置である。この補完用音声データベース３の作成方法については後述する。
【００２０】
図２は一実施の形態の音声入力処理を示すフローチャートである。接触型マイク１と非接触型マイク２の入力音声に対して運転者の発話開始を検出するための別個のしきい値を設け、マイク１または２の入力音声がそれらのしきい値を超えたら、運転者の発話が開始されたとして処理装置１０は図２に示す音声入力処理を開始する。なお、ＰＴＴ（Push To Talk）スイッチを設け、運転者がＰＴＴスイッチを操作したら図２に示す音声入力処理を開始するようにしてもよい。また、接触型マイク１に接触検知センサーを設け、接触型マイク１への運転者の接触が検知されたら図２に示す音声入力処理を開始するようにしてもよい。
【００２１】
ステップ１において接触型マイク１と非接触型マイク２で集音した運転者の発話音声を入力し、入力音声記憶部１１に記憶する。続くステップ２で遅延時間演算部１２により接触型マイク１と非接触型マイク２の入力音声の相互相関を計算し、接触型マイク１の入力音声に対する非接触型マイク２の入力音声の遅延時間を求める。ステップ３では時間軸調整部１３により遅延時間が０になるように二つの入力音声の基点（発話始端）を揃える。
【００２２】
ステップ４において、接触型マイク１で集音した音声に接触型マイク用ローパスフィルター１４の処理を施し、所定の周波数より高域部分を除去して低域部分のみを抽出するとともに、非接触型マイク２で集音した音声に非接触型マイク用ハイパスフィルター１５の処理を施し、所定の周波数より低域部分を除去して高域部分のみを抽出する。
【００２３】
ステップ５において非接触型マイク２からの入力音声を利用することができるか否かを判定する。非接触型マイク２は空気伝導音を集音するので、運転者の発話音声の他に、特に低域部分に車両走行中のロードノイズなどの雑音が混入する。非接触型マイク２で集音した音声の内の運転者の発話区間前後において、非接触型マイク用ハイパスフィルター１５のカットオフ周波数以上の帯域に含まれる雑音レベルが予め定めた判定しきい値を超える場合には、混入した雑音成分が大きすぎて良好なＳ／Ｎ比を確保できないと判定し、非接触型マイク２からの入力音声を利用できないとする。なお、非接触型マイク２からの入力音声がない場合も非接触型マイク２からの入力音声を利用できないとする。
【００２４】
非接触型マイク２の入力音声を利用できる場合はステップ６へ進み、音声帯域合成部１６により接触型マイク１で集音した音声の内の所定の周波数より低い低域部分と非接触型マイク２で集音した音声の内の所定の周波数より高い高域部分とを加え合わせ、低域から高域までの一つの音声に合成する。続くステップ７では合成した音声信号を増幅して携帯電話機、音声認識装置あるいは車載スピーカーへ出力する。
【００２５】
一方、非接触型マイク２の入力音声を利用できない場合はステップ８へ進み、補完用音声データベース３に記憶されている音声の中から、接触型マイク１で集音した低域音声と一致する低域音声を検索する。
【００２６】
続くステップ９で補完用音声データベース３の音声検索の結果、接触型マイク１で集音した低域音声と一致する低域音声が検索された場合はステップ１０へ進み、一致した低域音声に対応する高域音声を補完用音声として補完用音声データベース３から読み出す。そして、ステップ６で音声帯域合成部１６により接触型マイク１で集音した低域音声と補完用音声データベース３から読み出した高域補完用音声とを加え合わせ、低域から高域までの一つの音声に合成する。続くステップ７では合成した音声信号を増幅して携帯電話機、音声認識装置あるいは車載スピーカーへ出力する。
【００２７】
一方、ステップ９で接触型マイク１で集音した低域音声と一致する低域音声が検索されなかった場合はステップ１１へ進み、高域部分の音声の補完を行わずに接触型マイク１の低域音声のみを出力する。
【００２８】
なお、この一実施の形態では非接触型マイク２の代替音声を補完用音声データベース３に収録する例を示したが、接触型マイク１の代替音声、あるいは両マイク１，２の代替音声を補完用音声データベース３に収録しておき、いずれか一方のマイクで集音した音声が利用できない場合に補完用音声データベース３からそのマイクの代替音声を検索して利用するようにしてもよい。
【００２９】
図３は補完用音声データベース作成処理を示すフローチャートである。このフローチャートにより、補完用音声データベース３の作成処理を説明する。ステップ２１において補完用音声データベース作成に必要な単語を提示して運転者の発話を促す。この補完用音声データベース３は実際に一実施の形態の音声入力装置を使用するユーザー専用に作成し、この一実施の形態では運転者である。ステップ２２で運転者の発話音声を収録する。
【００３０】
ステップ２３で収録した音声に対する自動音素アライメントを行って、収録音声を音素単位に分解し、各音声に対して音声認識を行う。ステップ２４において各音素に対する音声認識結果の尤度（確からしさ）が高いか否かを判別し、認識尤度が高い場合は自動アライメント精度が高いとする。自動アライメント精度が高い場合は、補完用音声データベース３に登録可能としてステップ２５へ進み、データベース３に登録する。
【００３１】
一方、自動アライメント精度が低い場合は、補完用音声データベースベース３へ登録不可としてステップ２１へ戻り、ふたたび発話を促す。ステップ２６で予め用意した補完用音声データベース作成に必要な単語のすべてを登録したか否かを確認し、登録完了したら処理を終了し、未完了の場合はステップ２１へ戻って次の単語の発話を促す。
【００３２】
このように一実施の形態によれば、人の発話音声の体内伝導音を集音する接触型マイクと、人の発話音声の空気伝導音を集音する非接触型マイクとで音声を集音し、接触型マイクで集音した音声から低周波数帯域の音声を抽出するとともに、非接触型マイクで集音した音声から高周波数帯域の音声を抽出し、それらを合成するようにしたので、低域から高域まで品質のよい音声を入力することができる。
【００３３】
また、一実施の形態によれば、接触型マイクと非接触型マイクの入力音声の入力時間のずれを調整するようにしたので、異なる場所に異なる方法でマイクを設置した場合でも品質のよい音声を入力することができる。
【００３４】
さらに、一実施の形態によれば、非接触型マイクの代替音声を記憶しておき、非接触型マイクで集音した音声が利用できないと判定された場合に、非接触型マイクの代替音声を読み出して接触型マイクの音声と合成するようにしたので、非接触型マイクで集音した音声に雑音が混入していたり、非接触型マイクで集音できない場合でも、自然な発話音声を入力することができる。
【００３５】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、処理装置１０の接触型マイク用ローパスフィルター１４および非接触型マイク用ハイパスフィルター１５が帯域抽出手段を、処理装置１０の音声帯域合成部１６が音声合成手段を、処理装置１０の入力音声記憶部１１が音声記憶手段を、処理装置１０の遅延時間演算部１２および時間軸調整部１３が時間ずれ調整手段を、補完用音声データベース３が音声収録手段を、処理装置１０が利用可否判定手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。
【図面の簡単な説明】
【００３６】
【図１】一実施の形態の構成を示す図である。
【図２】一実施の形態の音声入力処理を示すフローチャートである。
【図３】一実施の形態の補完用音声データベース作成処理を示すフローチャートである。
【符号の説明】
【００３７】
１  接触型マイク
２  非接触型マイク
３  補完用音声データベース
１０  処理装置
１１  入力音声記憶部
１２  遅延時間演算部
１３  時間軸調整部
１４  接触型マイク用ローパスフィルター
１５  非接触型マイク用ハイパスフィルター
１６  音声帯域合成部
１７  音声出力部
【図１】
2007041371.tif 000003
【図２】
2007041371.tif 000004
【図３】
2007041371.tif 000005