(57)【要約】アレイマイクは、音声信号を収集する複数のマイクと、複数のマイクのそれぞれが収集した音声信号を音源データに合成するとともに音声信号に基づいて音源定位を行う信号処理回路と、所定のデータ区間における音源データと音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して外部装置に出力する通信回路とを備える。
2020144990.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を収集する複数のマイクと、
前記複数のマイクのそれぞれが収集した前記音声信号を音源データに合成するとともに前記音声信号に基づいて音源定位を行う信号処理回路と、
所定のデータ区間における前記音源データと前記音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して外部装置に出力する通信回路と、
を備えるアレイマイク。
【請求項２】
アレイマイクと通信装置とを備えるセンサシステムであって、
前記アレイマイクは、
音声信号を収集する複数のマイクと、
前記複数のマイクのそれぞれが収集した前記音声信号を音源データに合成するとともに前記音声信号に基づいて音源定位を行う第１の信号処理回路と、
所定のデータ区間における前記音源データと前記音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して前記通信装置に出力する第１の通信回路と、を備え、
前記通信装置は、
前記所定のデータ区間における前記音源データと前記非音声信号とが連続するように前記音源データと前記非音声信号とを並び替える第２の信号処理回路と、
前記第２の信号処理回路によって並び替えられた前記音源データと前記非音声信号とを外部装置に送信する第２の通信回路とを備える、センサシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はアレイマイク及びセンサシステムに関する。
【背景技術】
【０００２】
複数のマイクを空間的に配置したものはアレイマイクと呼ばれている。音源から各マイクまでの距離が異なれば、音源からの音波が各マイクに到達するまでに要する到達時間も異なる。音源から各マイクまでの音波の到達時間の差は、音源の位置の関数として表すことができる。この原理を利用して、音源定位を行うことができる。音源定位の技術を用いることにより、例えば、ある空間における話者の位置及び方向を推定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−５５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
アレイマイクが収集した音声信号と、その音声信号を解析した結果である音源定位に関わる情報（例えば、音源の方向や音圧を示す情報）を示す非音声信号とを、例えば、特許文献１の記載のように、同一のスロット内で無線送信すると、非音声信号が音声信号に対するノイズとして作用することがある。【０００５】
本発明はこのような問題を解決し、音声信号を解析した結果である音源定位に関わる情報を示す非音声信号が音声信号に対するノイズとして作用しないように、音声信号と非音声信号とを外部装置に出力することのできるアレイマイクを提案することを課題とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明に関わるアレイマイクは、音声信号を収集する複数のマイクと、複数のマイクのそれぞれが収集した音声信号を音源データに合成するとともに音声信号に基づいて音源定位を行う信号処理回路と、所定のデータ区間における音源データと音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して外部装置に出力する通信回路とを備える。
【発明の効果】
【０００７】
本発明によれば、音声信号を解析した結果である音源定位に関わる情報を示す非音声信号が音声信号に対するノイズとして作用しないように、音声信号と非音声信号とを外部装置に出力するこができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に関わる情報処理システムの構成を示す説明図である。
【図２】本実施形態に関わるアレイマイクによる信号処理の流れを示すフローチャートである。
【図３】本実施形態に関わるアレイマイクと通信装置との間の通信における信号フォーマットの説明図である。
【図４】本実施形態に関わる通信装置による信号処理の流れを示すフローチャートである。
【図５】本実施形態に関わる通信装置とゲートウェイ装置との間の通信における信号フォーマットの説明図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態について説明する。ここで、同一符号は同一の構成要素を示すものとし、重複する説明は省略する。
図１は本実施形態に関わる情報処理システム１００の構成を示す説明図である。情報処理システム１００は、ある空間（例えば、店舗やオフィスなど）において発話された音声信号を収集及び解析し、その解析結果である雰囲気や活況度を可視化するためのシステムである。
【００１０】
情報処理システム１００は、音声信号を収集するセンサシステム１０と、収集された音声信号を解析するゲートウェイ装置４０と、音声信号の解析結果に基づいて雰囲気や活況度などの情報を可視化してユーザに提供するサーバ５０とを備える。センサシステム１０は、音声信号を収集するアレイマイク２０と、アレイマイク２０によって収集された音声信号をゲートウェイ装置４０に無線送信する通信装置３０とを備える。アレイマイク２０は、複数のマイク２３と、信号処理回路２１と、通信回路２２とを備える。通信装置３０は、信号処理回路３１と、通信回路３２とを備える。通信回路２２，３２は、ＵＳＢ（Universal Serial Bus）コントローラを備えており、アレイマイク２０と通信装置３０とは、ＵＳＢケーブルを通じて有線接続されている。通信回路３２は、無線ＬＡＮ（Local Area Network）通信モジュールを備えており、通信装置３０とゲートウェイ装置４０とは、例えば、Wi-Fi（登録商標）などの近距離無線を通じて無線接続されている。ゲートウェイ装置４０は、例えば、音声信号を解析する人口知能を搭載しており、発話の量、長さ、テンポなどから雰囲気や活況度を解析する。ゲートウェイ装置４０は、音声信号の解析結果をネットワーク６０経由でサーバ５０に送信する。ネットワーク６０は、例えば、インターネット網や移動通信網などの公衆通信網を含む。なお、信号処理回路２１，３１を区別する場合、前者を第１の信号処理回路と呼び、後者を第２の信号処理回路と呼ぶ。また、通信回路２２，３２を区別する場合、前者を第１の通信回路と呼び、後者を第２の通信回路と呼ぶ。
【００１１】
図２はアレイマイク２０による信号処理の流れを示すフローチャートである。
ステップ２０１において、各マイク２３は、音源（発話者）からの音声信号を収集する。
ステップ２０２において、信号処理回路２１は、各マイク２３から出力されるアナログ音声信号をＡ／Ｄ変換する。
ステップ２０３において、信号処理回路２１は、デジタル化された各音声信号を単一の音源データ（デジタルサウンドデータ）に合成するとともに、デジタル化された各音声信号に基づいて音源定位を行う。この音源定位により、音源の方向や音圧が解析される。
ステップ２０４において、信号処理回路２１は、音源データの信号と、音源定位に関わる情報を示す非音声信号とを整形する。
ステップ２０５において、通信回路２２は、所定のデータ区間における音源データと音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して通信装置３０に出力する。このとき、通信装置３０は、送信先の外部装置として動作する。
【００１２】
図３はアレイマイク２０と通信装置３０との間の通信における信号フォーマットの説明図である。
アレイマイク２０と通信装置３０との間の通信では、二つのチャネルＣＨ１，ＣＨ２が用いられる。一方のチャネルＣＨ１は、音源データの通信チャネルとして用いられ、他方のチャネルＣＨ２は、音源定位に関わる情報を示す非音声信号の通信チャネルとして用いられる。同図において、符号Ｄは、一定のデータ長に分割された音源データを示しており、説明の便宜上、これを単位データと呼ぶ。各単位データＤは、切れ目なく連続してチャネルＣＨ１を流れる。符号Ｔは、予め定められた一定のデータ区間を示しており、このデータ区間Ｔにおける複数の単位データＤに基づいて、音源定位の解析が行われる。符号Ｉ１，Ｉ２は、データ区間Ｔにおける複数の単位データＤについての音源定位の解析結果に関わる情報を担う非音声信号を示す。特に、Ｉ１は、音源の方向を示す情報を担う非音声信号を示す。Ｉ２は、音圧を示す情報を担う非音声信号を示す。符号Ｆは、各データ区間Ｔの先頭位置を指し示すフラグを示す。隣接する二つのフラグＦの間隔は、データ区間Ｔに等しい。「０」は、無意味な情報を示す。
【００１３】
所定のデータ区間Ｔにおける音源データと音源定位に関わる情報を示す非音声信号Ｉ１，Ｉ２とをそれぞれ別のチャネルＣＨ１，ＣＨ２を通じて通信装置３０に出力することにより、チャネルＣＨ２を流れる非音声信号Ｉ１，Ｉ２が、チャネルＣＨ１を流れる音源データに対するノイズとして作用することを回避できる。また、所定のデータ区間Ｔにおける音源データと音源定位に関わる情報を示す非音声信号Ｉ１，Ｉ２とを同期して通信装置３０に出力することにより、チャネルＣＨ２を流れる非音声信号Ｉ１，Ｉ２が、チャネルＣＨ１を流れる音源データのうちどのデータ区間の音源データに対応するのかを把握することができる。
【００１４】
図４は通信装置３０による信号処理の流れを示すフローチャートである。
ステップ４０１において、通信回路３２は、音源データと音源定位に関わる情報を示す非音声信号Ｉ１，Ｉ２とをそれぞれチャネルＣＨ１，ＣＨ２を通じて受信する。
ステップ４０２において、信号処理回路３２は、データ区間Ｔにおける音源データとその音源データに対応する非音声信号Ｉ１，Ｉ２とが連続するように音源データと非音声信号Ｉ１，Ｉ２とを並び替える。
ステップ４０３において、信号処理回路３２は、並び替えられた音源データと非音声信号Ｉ１，Ｉ２とにヘッダ情報を付加し、信号波形を整形する。ヘッダ情報の詳細については後述する。
ステップ４０４において、通信回路３２は、ステップ４０３で生成された信号をゲートウェイ装置４０に無線送信する。このとき、ゲートウェイ装置４０は、送信先の外部装置として動作する。
【００１５】
図５は通信装置３０とゲートウェイ装置４０との間の通信における信号フォーマットの説明図である。
符号Ｐは、ペイロードを示しており、一つのデータ区間Ｔにおける音源データとその音源データに対応する非音声信号Ｉ１，Ｉ２とが連続するように並び替えられた状態で一つのペイロードＰに格納されている。符号Ｈは、ヘッダ情報を示しており、ペイロードＰの先頭に付加される。符号Ｈ１は、ペイロードＰに格納されているデータ数を示しており、このデータ数は、単位データＤ及び非音声信号Ｉ１，Ｉ２のそれぞれを一つのデータとして計数したときの合計値である。単位データＤ、及び非音声信号Ｉ１，Ｉ２のそれぞれには、並びの順番を示すオフセット値が付与されている。符号Ｈ２は、ペイロードＰに格納されているデータ（単位データＤ、及び非音声信号Ｉ１，Ｉ２）のうち先頭に位置するデータのオフセット値を示す。このような信号フォーマットによれば、無意味な情報「０」を送信しなくてよいため、通信効率を高めることができる。
【００１６】
なお、上述の説明では、デジタル化された各音声信号を単一の音源データに合成する場合を例示したが、本発明はこれに限られるものではなく、例えば、デジタル化された各音声信号を二つの音源データ（例えば、人間が聴きやすい音源データ、及び機械学習に適した音源データ）に合成してもよい。この場合、アレイマイク２０と通信装置３０との間の通信では、上述の二つのチャネルＣＨ１，ＣＨ２に加えてチャネルＣＨ３が用いられる。チャネルＣＨ１は、例えば、人間が聴きやすい音源データの通信チャネルとして用いられる。チャネルＣＨ２は、例えば、機械学習に適した音源データの通信チャネルとして用いられる。ＣＨ３は、例えば、音源定位に関わる情報を示す非音声信号の通信チャネルとして用いられる。
【００１７】
なお、以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。即ち、実施形態に当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、実施形態が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【符号の説明】
【００１８】
１０…センサシステム  ２０…アレイマイク  ２１…信号処理回路  ２２…通信回路  ２３…マイク  ３０…通信装置  ３１…信号処理回路  ３２…通信回路  ４０…ゲートウェイ装置  ５０…サーバ  ６０…ネットワーク
【図１】
2020144990.tif 000003
【図２】
2020144990.tif 000004
【図３】
2020144990.tif 000005
【図４】
2020144990.tif 000006
【図５】
2020144990.tif 000007
【手続補正書】
【提出日】令和3年4月9日(2021.4.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声信号を収集する複数のマイクと、
前記複数のマイクのそれぞれが収集した前記音声信号を音源データに合成するとともに前記音声信号に基づいて音源定位を行う信号処理回路と、
所定のデータ区間における前記音源データと前記音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して外部装置に出力する通信回路と、
を備えるアレイマイク。
【請求項２】
アレイマイクと通信装置とを備えるセンサシステムであって、
前記アレイマイクは、
音声信号を収集する複数のマイクと、
前記複数のマイクのそれぞれが収集した前記音声信号を音源データに合成するとともに前記音声信号に基づいて音源定位を行う第１の信号処理回路と、
所定のデータ区間における前記音源データと前記音源定位に関わる情報を示す非音声信号とをそれぞれ別のチャネルを通じて同期して前記通信装置に出力する第１の通信回路と、を備え、
前記通信装置は、
前記所定のデータ区間における前記音源データと前記非音声信号とが連続するように前記音源データと前記非音声信号とを並び替える第２の信号処理回路と、
前記第２の信号処理回路によって並び替えられた前記音源データと前記非音声信号とを外部装置に送信する第２の通信回路とを備える、センサシステム。
【請求項３】
請求項１に記載のアレイマイクであって、
前記音源定位に関わる情報を示す非音声信号における前記所定のデータ区間の先頭は、前記データ区間の先頭位置を指し示すフラグを含む、アレイマイク。
【国際調査報告】
2020144990.tif 000008
2020144990.tif 000009
2020144990.tif 000010
2020144990.tif 000011