(57)【要約】【課題】ブロードサイドアレイ方式の集音方法では、特定方向だけでなく特定方向と反対方向からの音も集音してしまうため、反対方向からのノイズの影響を受けやすい課題がある。【解決手段】少なくとも３つのマイクを備え、第１のマイクと、集音装置において前記第１のマイクと同じ面に配置された第２のマイクと、集音装置において第１のマイクと反対面に配置された第３のマイクと、第１のマイクと第２のマイクとで集音した音から特定方向の音声データを抽出する第１ビームフォーミング部と、第１のマイクと第３のマイクとで集音した音から前記特定方向と逆方向の音声データを抽出する第２ビームフォーミング部と、第１ビームフォーミング部及び第２ビームフォーミング部から抽出した両音声データに基づいて一方の音声データのノイズを他方の音声データで抑制するノイズキャンセル部と、を備えた集音装置。【選択図】図５
2016046769.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも３つのマイクを備えた集音装置であって、
第１のマイクと、
前記集音装置において前記第１のマイクと同じ面に配置された第２のマイクと、
前記集音装置において前記第１のマイクと反対面に配置された第３のマイクと、
前記第１のマイクと第２のマイクとで集音した音から特定方向の音声データを抽出する第１ビームフォーミング部と、
前記第１のマイクと第３のマイクとで集音した音から前記特定方向と逆方向の音声データを抽出する第２ビームフォーミング部と、
前記第１ビームフォーミング部及び第２ビームフォーミング部から抽出した両音声データに基づいて一方の音声データのノイズを他方の音声データで抑制するノイズキャンセル部と、
を備えた集音装置。
【請求項２】
前記ノイズキャンセル部が出力した音声データに基づいて、音声が示す単語の文字列を出力する音声認識部、
を備えた請求項１に記載の集音装置。
【請求項３】
前記第１ビームフォーミング部が出力した音声データと、第２ビームフォーミング部が出力した音声データと、に基づいていずれの音声データが、発話の音声データかを判定する判定部と、
前記第１ビームフォーミング部及び第２ビームフォーミングが出力する音声データと、前記判定部の判定結果と、に基づいて前記第１乃至第３のマイクで集音した音の方向と大きさとを算出する演算部と、
前記演算結果を表示する表示部と、
を備える請求項１に記載の集音装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はブロードサイドアレイ方式のマイクを備えた集音装置に関する。
【背景技術】
【０００２】
タブレット端末やＵｌｔｒａＢｏｏｋといったポータブル系デバイスでは音声認識機能は必須機能となっており、音声の認識率の向上のため複数のマイクを搭載したビームフォーミング機能が主流となりつつある。
【０００３】
ビームフォーミング機能を実現する方法の一つとして、複数のマイクをブロードサイドアレイ方式に並べ、それぞれのマイクからの信号を適切に処理する方法が開示されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５０６６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マイクをブロードサイドアレイ方式に配した場合ビームフォーミング領域（インビームエリア）と対称方向にも指向性を持つ。タブレットやスマートフォン等のポータブルデバイスの表示画面がある側にブロードサイドアレイ方式でマイクを設けた場合、そのビームフォーミング領域は、表示画面（使用者）側だけでなく、表示画面の裏面側にも指向性を有する。その結果、マイクは表示面（利用者）の反対側の雑音を拾いやすくなる。
【０００６】
また、ポータブルデバイス等で集音した装置でＶＡＤ（ＶｏｉｃｅＡｃｔｉｖｉｔｙＤｅｔｅｃｔｉｏｎ)を用いる場合、この雑音等の影響により認識率が低下する可能性が生じる。
【０００７】
また昨今のビームフォーミングはＶＡＤ機能との組み合わせで、話者の方向にビームの指向性を合わせるアダプティブ制御が取り入れられている。しかし、周囲雑音や周辺話者がいる環境下でどのくらいの雑音レベルか、あるいはマイクがどの方向を向いているか使用者には分からない。
【０００８】
本開示は、ブロードサイドアレイ方式に配置されたマイクを備えた集音装置において、よりノイズ（雑音）等の影響を抑制した集音装置を提供する。
【課題を解決するための手段】
【０００９】
本出願で開示する集音装置は、少なくとも３つのマイクを有し、第１のマイクと、集音装置において第１のマイクと同じ面に配置された第２のマイクと、集音装置において第１のマイクと反対面に配置された第３のマイクと、第１のマイクと第２のマイクとで集音した音から特定方向の音声データを抽出する第１ビームフォーミング部と、第１のマイクと第３のマイクとで集音した音から特定方向と逆方向の音声データを抽出する第２ビームフォーミング部と、第１ビームフォーミング部及び第２ビームフォーミング部から抽出した両音声データに基づいて一方の音声データのノイズを他方の音声データで抑制するノイズキャンセル部と、を備える。
【発明の効果】
【００１０】
本開示の集音装置は、マイクをブロードサイドアレイ方式に配置し、よりノイズ等の影響を抑制して集音を可能とするものである。
【図面の簡単な説明】
【００１１】
【図１】従来のポータブルデバイスでブロードサイドアレイ方式にマイクを配置した構成を示す図
【図２】従来のブロードサイドアレイ方式でマイクを配置したポータブルデバイスの上面図
【図３】実施の形態１で説明するブロードアレイ方式にマイクを配置した集音装置の図
【図４】実施の形態１で説明するブロードアレイ方式にマイクを配置した集音装置の上面図
【図５】実施の形態１で説明する集音機能の機能構成図
【図６】実施の形態１で説明する集音機能の処理を示すフローチャート
【図７】実施の形態２で説明する集音機能の機能構成図
【図８】実施の形態２で説明する集音のビーム方向を表示する際の表示例を示す図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１４】
（実施の形態１）
図１は、ポータブルデバイスに従来方式のブロードサイドアレイ方式によるマイクを配置した場合の例を示す図である。なお、以下の説明では集音装置としてポータブルデバイス１００を例に説明するが、本実施で開示する内容はポータブル装置に限定されるものではない。本実施での開示する構成を備えたものであれば、他の集音装置であっても良い。
【００１５】
ポータブルデバイス１００は、表示部１０１と、第１のマイク１０２と、第２のマイク１０３と、を備える。
【００１６】
表示部１０１は、本実施の形態では略矩形の形状を有している。表示部１０１を実現する例としては、例えばＬｉｃｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ（以下、ＬＣＤ）などがある。
【００１７】
なお、説明を簡単にするため表示部１０１矩形形状の長手方向を水平方向（Ｙ方向）、矩形形状の短手方向を垂直方向（Ｘ方向）、表示部１０１の表示面に略垂直な方向を奥行き方向（Ｚ方向）、として以下説明する。
【００１８】
第１のマイク１０２と、第２のマイク１０３と、は表示部１０１の上部あるいは下部に搭載する。２個のマイクを使用するビームフォーミング方式をとる場合、両マイクを隣接させる。
【００１９】
図２は、図１を上面（＋Ｘ方向）から見た図である。従来の２個のマイクによるビームフォーミング形式では、マイクを水平方向に２個搭載するブロードサイドアレイ方式となる為、指向性が、ビームフォーミング領域（インビームエリア）２０１と、その対称方向の領域２０２と、の両者に有することとなる。
【００２０】
本来の集音を意図する方向と反対方向の影響が比較的小さい場合、例えば、ＴＶを壁際に設置し背面が壁となるような状況では、背面の周囲環境の影響度が比較的小さいため、表示面側にブロードサイドアレイ方式の２個のマイクによるビームフォーミングを用いると集音効果を高めることができる。特に集音した音が、人の会話等でありこれを音声認識する場合には、ビームフォーミングによる音声認識率精度の向上が期待できる。
【００２１】
しかし、ポータブルデバイス等や、意図する方向以外からのノイズ等の影響が比較的大きい場合、ブロードサイドアレイ方式を用いたマイクでの集音には周囲環境、特に意図する方向と反対方向の影響を考慮する必要がある。さらに、集音した音が会話等である場合には、音声認識の認識率を高めるためにはよりこれらの点に考慮する必要がある。
【００２２】
図３は、本出願で開示するマイク構成を示したものである。ポータブルデバイス３００は、表示部３０１と、第１のマイク３０２と、第２のマイク３０３と、第３のマイク３０４と、を備える。表示部３０１、第１のマイク３０２、第２のマイク３０３は、図１の表示部１０１，第１のマイク１０２、第２のマイク１０３と、それぞれ同じであるため説明を省略する。
【００２３】
第３のマイク３０４は、第１のマイク３０２、第２のマイク３０３とは、奥行き方向に反対側に設置されている。垂直方向については、第１のマイク３０２、第２のマイク３０３と、実質的に略同一直線上となるように配置されている。
【００２４】
この結果、水平方向（Ｙ方向）において、第１のマイク３０２がセンター（中心）マイクとなり、第１のマイク３０２と第２のマイク３０３と、で前面方向のビームフォーミングを形成し、第１のマイク３０２と第３のマイク３０４とで背面方向のビームフォーミングを形成する。
【００２５】
これにより、後述するように、一方のビームフォーミングを音声取得ビームフォーミングとし、他方のビームフォーミングをノイズ取得ビームフォーミングとする、集音機能を実現する。なお第１のマイク３０２と第２のマイク３０３との間隔、及び第１のマイク３０２と第３のマイク３０４との水平方向の間隔は任意とする。
【００２６】
図４は、本実施の形態で開示するポータブルデバイス３００を上面から見た場合の図とそのビームフォーミングである。
【００２７】
使用者（話者）が、第１のマイク３０２と第２のマイク３０３とのビームフォーミング領域（インビームエリア）方向４０１にいる場合、第１のマイク３０２と第２のマイク３０３とから収音した音声をビームフォーミング、発話推定（ＶＡＤ：Ｖｏｉｃｅ  Ａｂｉｌｉｔｙ  Ｄｅｔｅｃｔｉｏｎ）した発話を第１の発話とする。一方、第１のマイク３０２と第３のマイク３０４とから収音した背面方向の領域４０２の音声をビームフォーミング、発話推定した発話を第２の発話とする。
【００２８】
ポータブルデバイス３００は、第１の発話と判定された音声データから、第２の発話と判定された音声データを利用してノイズを抑圧し、第１の発話として判定された音声データを目的の音声として音声認識させる。
【００２９】
第１のマイク３０２と第２のマイク３０３とから収音した音声が発話推定とならない、例えば第１のマイク３０２と第２のマイク３０３とのビームフォーミング領域（インビームエリア）４０１方向に話者が存在せず、第１のマイク３０２と第３のマイク３０４とのビームフォーミング領域（インビームエリア）４０２方向から音声が発せられた場合、ポータブルデバイス３００は、第１のマイク３０２と第３のマイク３０４とから収音した音声をビームフォーミング、発話推定した発話を第１の発話とし、第１のマイク３０２と第２のマイク３０３とから収音した音声をビームフォーミング、発話推定した発話を第２の発話とする。ポータブルデバイス３００は、上記と同様に、第１の発話と判定された音声データから、第２の発話と判定された音声データを利用してノイズを抑圧し、第１の発話として判定された音声データを目的の音声として音声認識させる。
【００３０】
図５は、ポータブルデバイス３００の集音機能の機能構成を示す図である。ポータブルデバイス３００は、集音機能として、第１のマイク３０２と、第２のマイク３０３と、第３のマイク３０４と、第１ビームフォーミング部５０５と、第２ビームフォーミング部５０６と、第１発話推定部５０７と、第２発話推定部５０８と、判定部５０９と、ノイズキャンセル部５１０と、音声認識部５１１と、を有する。
【００３１】
第１乃至第３のマイク（３０２〜３０４）は図３等で説明したマイクを意図する。
【００３２】
第１ビームフォーミング部５０５は、第１のマイク３０２と第２のマイク３０３と、を用いてブロードサイドアレイを利用して特定の方向から入力される音のデータ（以下、音声データ）を抽出する。本実施の形態では、この特定の方向はポータブルデバイス３００の表示部３０１が設けられている前面方向からの音声データである。
【００３３】
第２ビームフォーミング部５０６は、第１のマイク３０２と第３のマイク３０４と、を用いて同様にブロードサイドアレイを利用して特定の方向から入力される音声データを抽出する。本実施の形態では、この特定の方向はポータブルデバイス３００の表示部３０１が設けられている前面方向と反対の背面方向からの音声データである。
【００３４】
第１発話推定部５０７、第２発話推定部５０８は、それぞれ第１ビームフォーミング部５０５、及び第２ビームフォーミング部５０６から入力される音声データに基づいて入力された音声データが人による発話（会話の音声）か否かをそれぞれ推定する。
【００３５】
この第１発話推定部５０７、第２発話推定部５０８による推定には、入力される音声データから発話の音響的な特徴（量）を抽出する特徴抽出部と、抽出された特徴（量）を音声か否かを決定する決定部と、の２つの要素で構成されるが、本実施の形態では発話推定方法は任意とし、入力された音声データが発話か否かの推定を判定部５０９へ出力する。
【００３６】
一方、第１発話推定部５０７、第２発話推定部５０８は、第１ビームフォーミング部５０５、第２ビームフォーミング部５０６から入力された音声データを、判定部５０９と、ノイズキャンセル部５１０と、へ出力する。
【００３７】
判定部５０９は、第１発話推定部５０７と第２発話推定部５０８との両推定結果、及び音声データから、いずれのビームフォーミングからの音声入力が発話の音声データ、背景（雑音等）の音声データであるかを最終判定する。具体的には、いずれの音声データが第１の発話（会話等の音声）であり、他方の音声デーが第２の発話（背景のノイズ等の音声）かを判定部５０９が決定する。
【００３８】
図６は、図５で示した集音機能の処理フローを示したフローチャートである。
【００３９】
（ステップＳ６０１）第１ビームフォーミング部５０５、及び第２ビームフォーミング部５０６は、第１のマイク３０２、第２のマイク３０３、第３のマイク３０４から入力される音に基づいて、それぞれのビームフォーミングに対応した音声データを出力する。
【００４０】
（ステップＳ６０２）第１発話推定部５０７と、第２発話推定部５０８は、第１ビームフォーミング部５０５、第２ビームフォーミング部５０６からの音声データに基づいてそれぞれの音声データが人による会話等の発話か否かを推定する。
【００４１】
（ステップＳ６０３）判定部５０９は、第１発話推定部５０７、第２発話推定部５０８からの推定結果、及び音声データから取得したそれぞれの音圧情報に基づいて両者を比較する。
【００４２】
（ステップＳ６０４）
判定部５０９は、上記の比較結果から第１発話推定部５０７、第２発話推定部５０８が出力するそれぞれの音声データについて第１の発話、第２の発話の判定を行う。
【００４３】
例えば、第１発話推定部５０７からの推定が発話であり、第２発話推定部５０８からの推定が発話でない場合、第１発話推定部５０７からの音声データの音圧情報が高ければ、第１発話推定部５０７が出力する音声データが第１の発話、第２発話推定部５０８が出力する音声データが第２の発話、と判定部５０９は判定を後段のノイズキャンセル部５１０へ出力する。
【００４４】
また、別の例として、第１発話推定部５０７及び第２発話推定部５０８からの両推定が発話でない場合、判定部５０９は両方とも第２の発話と判定してノイズキャンセル部５１０へ出力する。
【００４５】
（ステップＳ６０５）ノイズキャンセル部５１０は、判定部５０９から出力させる判定情報から、第２の発話に対応する音声データをノイズとし、第１の発話に対応する音声データに対して第２の発話に対応する音声データでノイズキャンセル処理を行う。ノイズキャンセル部５１０は、処理を行った音声データを音声認識部５１１へ出力する。
【００４６】
なお、ノイズキャンセル部５１０は、判定部５０９からの判定結果が、両音声データとも第２の発話と判定された場合、無音に相当する音声データを音声認識部５１１へ出力する。
【００４７】
音声認識部５１１は、ノイズキャンセル部５１０で処理された音声データから所定言語への文字列変換を行う。
【００４８】
本実施の形態で説明した集音装置であれば、ブロードサイドアレイ方式に配置されたマイクを用いて集音した場合でも、よりノイズ等の影響を抑制して集音することが可能となる。
【００４９】
本実施の形態で開示するポータブルデバイス（集音装置）は、少なくとも３つのマイクを備え、第１のマイクと、第１のマイクと同じ面に配置された第２のマイクと、第１のマイクと反対面に配置された第３のマイクと、第１のマイクと第２のマイクとで集音した音から特定方向の音声データを抽出する第１ビームフォーミング部と、第１のマイクと第３のマイクとで集音した音から特定方向と逆方向の音声データを抽出する第２ビームフォーミング部と、第１ビームフォーミング部及び第２ビームフォーミング部から抽出した両音声データに基づいて一方の音声データのノイズを他方の音声データで抑制するノイズキャンセル部と、を備える。
【００５０】
また、本実施の形態で説明したように、ポータブルデバイスにさらに音声認識機能を備えた場合には、上記のように処理された音声データに基づいて音声認識処理を行うことで、従来と比較してより音声認識の信頼性を高めることができる。これば、特定方向の音からノイズやその他背景音を抑制し、会話等の音をより明確に取得できるためである。
【００５１】
（実施の形態２）
本実施の形態では、実施の形態１と相違する部分について主に説明する。
【００５２】
図７は本実施の形態で説明するポータブルデバイス３００の集音機能の機能構成を示す図である。実施の形態１との相違点は、演算部７１２、表示部７１３を新たに設けている点である。その他の点、については実施の形態１と同じであるため説明を省略する。
【００５３】
演算部７１２は、第１発話推定部５０７、第２発話推定部５０８が出力する音声データを取得する。さらに、演算部７１２は、判定部５０９からの判定結果も取得する。
【００５４】
演算部７１２は、両推定部からの音声データに基づいてそれぞれの音圧の大きさ、あるいは音のレベルを取得する。演算部７１２は、さらに判定部５０９の判定結果に基づいて、第１ビームフォーミング部５０５、第２ビームフォーミング部５０６が出力する音声データのいずれが第１の発話、第２の発話と判定されたかを取得する。演算部７１２はこれらの取得した情報を表示部７１３に表示するための演算を行う。
【００５５】
表示部７１３は演算部７１２により算出された演算結果を表示する。図８は表示内容の一例を示した図である。例えば、横軸、縦軸で集音方向を表し、原点からの距離で音圧、又は音のレベルを表示する。さらに、グラフの実線、破線の種類により第１の発話、第２の発話の種類を表す。
【００５６】
ポータブルデバイス３００は、第１のマイク３０２と第２のマイク３０３が集音した音声取得状況、第１のマイク３０２と第３のマイク３０４とで集音した音声取得状況を表示部７１３に表示することができる。
【００５７】
なお、ポータブルデバイス３００は表示部７１３に表示する音声取得状況を一定期間毎、例えば数秒毎に自動更新するものであってもよいし、利用者からのリクエストにより表示内容を更新するものであってもよい。
【００５８】
このようにポータブルデバイス３００が音声取得状況を表示することで利用者に実際の集音状況を示すことができる。
【００５９】
これは、例えば第１のマイク３０２と第２のマイク３０３とのビームフォーミング領域（インビームエリア）に使用者、第１のマイク３０２と第３のマイク３０４とのビームフォーミング領域（インビームエリア）に不特定の話者データが存在する場合において、不特定の話者データが第２発話推定部５０８においてで話データと推定され、かつ判定部５０９において使用者の発話データの音圧よりも高い音圧と判定された場合、第１の発話として、第１のマイク３０２と第３のマイク３０４とのビームフォーミング領域（インビームエリア）の不特定の話者の発話データ、第２の発話として第１のマイク３０２と第２のマイク３０３とのビームフォーミング領域（インビームエリア）の使用者の発話データと判定され、ノイズキャンセル部５１０へ出力される。
【００６０】
その結果、使用者の音声の音声認識精度の低下を引き起こしてしまうという弊害を生じる。この場合でも、ポータブルデバイス３００が音声取得状況を表示することで、使用者により大きい声（音圧を高める）ことを促すことが可能となる。その結果、使用者の音声の音声認識の精度を高めることが可能となる。
【００６１】
なお、ポータブルデバイス３００が、ビームフォーミングの指向性を動的に変化させる方式（アダプティブ  ビームフォーミング方式）を取る場合、演算部７１２は、ビームフォーミングの指向性、すなわち現時点で音声取得ビームフォーミング領域が、どの向きにあるのかを視覚的に取得し、それを表示部７１３に表示することも可能である。
【００６２】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００６３】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００６４】
本出願で開示した内容は、複数のマイクを搭載する集音装置等で利用することが可能である。
【符号の説明】
【００６５】
１００、３００  ポータブルデバイス
１０１、３０１  表示部
１０２、３０２  第１のマイク
１０３、３０３  第２のマイク
３０４  第３のマイク
５０５  第１ビームフォーミング部
５０６  第２ビームフォーミング部
５０７  第１発話推定部
５０８  第２発話推定部
５０９  判定部
５１０  ノイズキャンセル部
５１１  音声認識部
７１２  演算部
７１３  表示部
【図１】
2016046769.tif 000003
【図２】
2016046769.tif 000004
【図３】
2016046769.tif 000005
【図４】
2016046769.tif 000006
【図５】
2016046769.tif 000007
【図６】
2016046769.tif 000008
【図７】
2016046769.tif 000009
【図８】
2016046769.tif 000010