(57)【要約】【課題】性能を維持しつつ処理すべきクライアント装置を自動で選択し、フィルタ係数の演算量とネットワーク帯域の利用量を抑える。【解決手段】接続制御部１０は、複数のクライアント装置３からの接続要求に応じて接続を確立し、クライアント装置３の端末固有番号を受信する。ベクトル生成部は、複数チャネルの音響信号を入力とし、チャネルごとに音声区間の音響信号の大きさを非音声区間の音響信号の大きさで正規化した特徴量を得る。ベクトル分類部は、特徴量を基準ベクトルとの距離に基づいてクラスタリングし、距離が最も近いクライアント装置３の端末固有番号をラベルとして特徴量に付与する。端末選択部２２は、ラベルの所定の時間区間での出現頻度を求め、出現頻度が高い端末固有番号を接続端末番号として選択する。【選択図】図２
2016029428.tif 000002
【特許請求の範囲】
【請求項１】
ホスト装置と複数のクライアント装置を含む音声収音システムであって、
上記クライアント装置は、
上記ホスト装置へ接続要求を送信し、接続が確立すると端末固有番号を上記ホスト装置へ送信する接続制御部と、
収音した音声に基づいて生成した音響信号を上記ホスト装置へ送信する音声取得部と、
を含み、
上記ホスト装置は、
上記ホスト装置自体の端末固有番号を記憶するとともに、上記クライアント装置からの接続要求に応じて接続を確立し、上記接続を確立したクライアント装置の端末固有番号をそれぞれ記憶する接続制御部と、
上記ホスト装置および／または上記接続を確立したクライアント装置から受信する複数チャネルの音響信号を入力とし、チャネルごとに入力された音響信号が音声区間か非音声区間かを判別して、音声区間の音響信号の大きさを非音声区間の音響信号の大きさで正規化した特徴量を得るベクトル生成部と、
上記チャネルごとの特徴量を上記ホスト装置および／または上記接続を確立したクライアント装置に対応する基準ベクトルとの距離に基づいてクラスタリングし、上記距離が最も近いチャネルに対応する上記ホスト装置および／または上記接続を確立したクライアント装置の端末固有番号を上記ホスト装置の接続制御部から取得してラベルとして特徴量に付与するベクトル分類部と、
上記特徴量に付与されたラベルの所定の時間区間での出現頻度を求め、上記出現頻度が高い端末固有番号を接続端末番号として選択する端末選択部と、
を含む音声収音システム。
【請求項２】
請求項１に記載の音声収音システムであって、
上記ホスト装置は、
上記複数チャネルの音響信号のスペクトル上の特徴を表すスペクトルベクトルを得るスペクトル算出部
をさらに含み、
上記端末選択部は、上記接続端末番号として選択された端末固有番号の上記ホスト装置および／または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルに対して、接続端末番号としてまだ選択されていない端末固有番号の上記ホスト装置および／または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルとの音響的距離をそれぞれ算出し、上記音響的距離が大きい順のチャネルに対応する上記ホスト装置または上記接続を確立したクライアント装置の上記端末固有番号を上記接続端末番号としてさらに選択するものである
音声収音システム。
【請求項３】
ホスト装置と複数のクライアント装置を含む音声収音システムであって、
上記クライアント装置は、
上記ホスト装置へ接続要求を送信し、接続が確立すると端末固有番号を上記ホスト装置へ送信する接続制御部と、
収音した音声に基づいて生成した音響信号を上記ホスト装置へ送信する音声取得部と、
を含み、
上記ホスト装置は、
上記ホスト装置自体の端末固有番号を記憶するとともに、上記クライアント装置からの接続要求に応じて接続を確立し、上記接続を確立したクライアント装置の端末固有番号をそれぞれ記憶する接続制御部と、
上記ホスト装置および／または上記接続を確立したクライアント装置から受信する複数チャネルの音響信号のスペクトル上の特徴を表すスペクトルベクトルを得るスペクトル算出部と、
上記音響信号に基づいて音声が観測されていると判断可能な少なくとも１つのチャネルに該当する上記ホスト装置および／または上記接続を確立したクライアント装置の上記端末固有番号を接続端末番号として選択し、上記選択した接続端末番号の上記ホスト装置または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルに対して、接続端末番号としてまだ選択されていない端末固有番号の上記ホスト装置および／または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルとの音響的距離をそれぞれ算出し、上記音響的距離が大きい順のチャネルに対応する上記ホスト装置または上記クライアント装置の上記端末固有番号を上記接続端末番号としてさらに選択する端末選択部と、
を含む音声収音システム。
【請求項４】
請求項２または３に記載の音声収音システムであって、
上記ホスト装置は、
上記スペクトルベクトルに含まれる振幅スペクトルベクトルを用いて、特定の音源からの音声を強調および／または特定の音源以外からの音声を抑圧するためのフィルタ係数を上記接続端末番号に含まれる上記端末固有番号それぞれについて算出するフィルタ係数算出部と、
上記振幅スペクトルベクトルに対し上記フィルタ係数によるフィルタリングを行い、処理後振幅スペクトルを得るフィルタリング部と、
をさらに含む音声収音システム。
【請求項５】
請求項１から４のいずれかに記載の音声収音システムであって、
上記ホスト装置の接続制御部は、上記接続端末番号に含まれない上記端末固有番号をもつ上記接続を確立したクライアント装置へ切断通知を送信して接続を遮断するものであり、
上記クライアント装置の接続制御部は、上記切断通知を受信すると所定時間が経過した後、再度上記ホスト装置へ接続要求を送信するものであり、
上記ホスト装置の上記接続制御部は、上記クライアント装置からの再度の接続要求に応じて接続を確立し、上記再度接続を確立したクライアント装置の端末固有番号を記憶し、
上記端末選択部は、所定時間が経過すると接続端末番号の選択情報を初期化し、上記接続制御部に記憶した上記ホスト装置と、上記接続を確立したクライアント装置と、上記再度接続を確立した上記クライアント装置の中から、上記接続端末番号に含める上記端末固有番号を再度選択するものである
音声収音システム。
【請求項６】
ホスト装置自体の端末固有番号を記憶するとともに、複数のクライアント装置からの接続要求に応じて接続を確立し、上記接続を確立したクライアント装置の端末固有番号をそれぞれ記憶する接続制御部と、
上記ホスト装置および／または上記接続を確立したクライアント装置から受信する複数チャネルの音響信号を入力とし、チャネルごとに入力された音響信号が音声区間か非音声区間かを判別して、音声区間の音響信号の大きさを非音声区間の音響信号の大きさで正規化した特徴量を得るベクトル生成部と、
上記チャネルごとの特徴量を上記ホスト装置および／または上記接続を確立したクライアント装置に対応する基準ベクトルとの距離に基づいてクラスタリングし、上記距離が最も近いチャネルに対応する上記ホスト装置および／または上記接続を確立したクライアント装置の端末固有番号を上記ホスト装置の接続制御部から取得してラベルとして特徴量に付与するベクトル分類部と、
上記特徴量に付与されたラベルの所定の時間区間での出現頻度を求め、上記出現頻度が高い端末固有番号を接続端末番号として選択する端末選択部と、
を含むホスト装置。
【請求項７】
ホスト装置自体の端末固有番号を記憶するとともに、複数のクライアント装置からの接続要求に応じて接続を確立し、上記接続を確立したクライアント装置の端末固有番号をそれぞれ記憶する接続制御部と、
上記ホスト装置および／または上記接続を確立したクライアント装置から受信する複数チャネルの音響信号のスペクトル上の特徴を表すスペクトルベクトルを得るスペクトル算出部と、
上記音響信号に基づいて音声が観測されていると判断可能な少なくとも１つのチャネルに該当する上記ホスト装置および／または上記接続を確立したクライアント装置の上記端末固有番号を接続端末番号として選択し、上記選択した接続端末番号の上記ホスト装置または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルに対して、接続端末番号としてまだ選択されていない端末固有番号の上記ホスト装置および／または上記接続を確立したクライアント装置に対応するチャネルで収音した音響信号のスペクトルベクトルとの音響的距離をそれぞれ算出し、上記音響的距離が大きい順のチャネルに対応する上記ホスト装置または上記クライアント装置の上記端末固有番号を上記接続端末番号としてさらに選択する端末選択部と、
を含むホスト装置。
【請求項８】
請求項１から７のいずれかに記載のホスト装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マイクロホンやスピーカを備える音響装置を連携させ、収音した音声に対して雑音抑圧や音声強調などの音響処理を行う音声収音技術に関し、特に、利用する音響装置を選択して接続台数に従って増加する演算量を低減させる技術に関する。
【背景技術】
【０００２】
従来から、ネットワークに接続されたスマートフォンのような端末のマイクロホンで収音した複数の音声信号を利用し、目的音声を強調する手法がある（例えば、非特許文献１、２、３参照）。このような技術を利用することで、有線によるマイクロホンの接続を必要とせず、無線ＬＡＮ（Local Area Network）のようなワイヤレスのネットワークに接続されたスマートフォンのような端末のマイクロホン機能を利用し、マイクロホンアレイ処理を実現することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】加古達也、小林和則、大室仲、“非同期分散マイクアレーのための振幅スペクトルビームフォーマの提案”、日本音響学会2013年春季研究発表会講演論文集、1-P-5、2013年3月
【非特許文献２】日本電信電話株式会社、“手持ちのスマホでワイヤレスマイク機能を簡単に実現”、[online]、[平成26年7月10日検索]、インターネット<URL：http://www.ntt.co.jp/news2014/1401/140129a.html>
【非特許文献３】特開２０１４−９２７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術を用いる場合、スマートフォンの数だけマイクロホンが増えるため、各々のマイクロホンがスピーカから再生された音を拾ってしまいエコーが発生してしまう。このエコーを抑圧するためには、クライアントとなるスマートフォンとホストとなる計算機端末とのセッションの数だけエコーキャンセラのシステムが必要になる。また、エコーキャンセラシステム以外にもスマートフォンが増えれば増えるほど抑圧処理を行うためのフィルタ係数の計算に演算量が必要となり、スマートフォンの接続台数に従って演算量が増大してしまう問題がある。また、スマートフォンの接続台数が増えると、各々のスマートフォンからネットワークを利用して音声を送るため、ネットワーク帯域を逼迫してしまう問題がある。
【０００５】
この発明の目的は、これらの課題を解決するために、性能を維持しつつ処理すべきクライアント装置を自動で選択し、フィルタ係数の演算量とネットワーク帯域の使用量を抑える技術を提供することである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明の音声収音システムは、ホスト装置と複数のクライアント装置を含む。クライアント装置は、ホスト装置へ接続要求を送信し、接続が確立すると端末固有番号をホスト装置へ送信する接続制御部と、収音した音声に基づいて生成した音響信号をホスト装置へ送信する音声取得部と、を含む。ホスト装置は、ホスト装置自体の端末固有番号を記憶するとともに、クライアント装置からの接続要求に応じて接続を確立し、接続を確立したクライアント装置の端末固有番号をそれぞれ記憶する接続制御部と、ホスト装置および／または接続を確立したクライアント装置から受信する複数チャネルの音響信号を入力とし、チャネルごとに入力された音響信号が音声区間か非音声区間かを判別して、音声区間の音響信号の大きさを非音声区間の音響信号の大きさで正規化した特徴量を得るベクトル生成部と、チャネルごとの特徴量をホスト装置および／または接続を確立したクライアント装置に対応する基準ベクトルとの距離に基づいてクラスタリングし、距離が最も近いチャネルに対応するホスト装置および／または接続を確立したクライアント装置の端末固有番号をホスト装置の接続制御部から取得してラベルとして特徴量に付与するベクトル分類部と、特徴量に付与されたラベルの所定の時間区間での出現頻度を求め、出現頻度が高い端末固有番号を接続端末番号として選択する端末選択部と、を含む。
【発明の効果】
【０００７】
この発明の音声収音技術は、ネットワークに接続された複数のクライアント装置からの音響信号を一台のホスト装置に集約し、複数の音響信号を用いて音声強調等の音響処理を行う際、クライアント装置の接続数を、収音したい音源数に応じて動的に調整できる。これにより、収音上不必要なクライアント装置との通信を切断したり、あるいは音源数の変化に応じて追加したりする運用が可能になり、ホスト装置とクライアント装置との通信量、およびホスト装置上のフィルタ係数の演算量を効率化することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、音声収音再生システムの機能構成を例示する図である。
【図２】図２は、ホスト装置の機能構成を例示する図である。
【図３】図３は、クライアント装置の機能構成を例示する図である。
【図４】図４は、音声収音再生システムの処理フローを例示する図である。
【図５】図５は、マイクアレイ制御部の機能構成を例示する図である。
【図６】図６は、区間分類部の機能構成を例示する図である。
【図７】図７は、距離の計算とラベルの更新の具体例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１０】
この発明の音声収音再生技術は、ホスト装置側の処理とクライアント装置側の処理に分かれる。ホスト装置側の処理はクライアント装置側から送られた音声を集約し、ホスト装置自体が収音した音声も含めて非同期音声処理を行うことで特定の音声のみを強調する。音声の集約には非圧縮のＰＣＭ（Pulse Code Modulation）信号の利用や、音声圧縮のための音声符号化を用いる。また、処理するクライアント装置の数を制御することで演算量の削減を行う。
【００１１】
実施形態の音声収音再生システム５は、図１に示すように、ホスト装置１及びＫ（＞１）個のクライアント装置３1,…,３Kを例えば含む。音声収音再生システム５は少なくとも二組で連携することにより音声収音再生機能を実現する。この実施形態では音声収音再生システム５が二組の場合を例として説明するが、三組以上の音声収音再生システム５を用いて三つ以上の空間が互いに収音した音声を再生する構成とすることも可能である。
【００１２】
図１に示す通り、音声収音再生システム５Aと音声収音再生システム５Bとにより音声収音再生機能を実現する場合、音声収音再生システム５Aのクライアント装置３1,…,３Kが配置された空間と音声収音再生システム５Bのクライアント装置３1,…,３Kが配置された空間とはそれぞれ異なる空間である。
【００１３】
音声収音再生システム５Aのホスト装置１と音声収音再生システム５Bのホスト装置１は共に通信網９に接続される。通信網９は、接続される各装置が相互に通信可能なように構成されていればよく、例えばインターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆交換電話網、専用線などで構成することができる。
【００１４】
音声収音再生システム５Aに含まれるクライアント装置３の数と音声収音再生システム５Bに含まれるクライアント装置３の数とは同一であってもよいし、異なっていてもよい。
【００１５】
ホスト装置１は、図２に示すように、マイクロホンＭ、スピーカＳ、接続制御部１０、画面制御部１１、音声取得部１２、パケット受信部１３、エコーキャンセラ部１４、信号バッファ部１５、マイクアレイ制御部１６、音声サービス処理部１７、スピーカアレイ制御部１８、パケット送信部１９、音声再生部２０、フレーム記憶部２１及び端末選択部２２を例えば含む。
【００１６】
ホスト装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。ホスト装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。ホスト装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、ホスト装置１の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【００１７】
クライアント装置３は、図３に示すように、マイクロホンＭ、スピーカＳ、接続制御部３０、画面制御部３１、音声取得部３２、パケット送信部３３、パケット受信部３４及び音声再生部３５を例えば含む。
【００１８】
クライアント装置３は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。クライアント装置３は、例えば、中央演算処理装置の制御のもとで各処理を実行する。クライアント装置３に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、クライアント装置３の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【００１９】
クライアント装置３はホスト装置１に対して自由な配置を取ることを可能とするため、例えば、無線ＬＡＮのような無線通信ネットワークや、Bluetooth（登録商標）、ＮＦＣ（Near Field Connection）のような近距離無線通信などの無線通信機能を有する音響装置であることが望ましい。クライアント装置３は、具体的には、例えば、スマートフォン、タブレット端末、既存のテレビ会議装置や音声会議装置、テレビ、マイクロホンやスピーカを有するテレビのリモコン、マイクロホンやスピーカを内蔵もしくは外付けしたラップトップ型もしくはデスクトップ型のパーソナルコンピュータ、据置型のテレビゲーム機、テレビゲーム機のコントローラ、ポータブルゲーム機などである。
【００２０】
クライアント装置３をスマートフォンなどの汎用的な情報処理装置で実装する場合には、そのスマートフォンへクライアント装置３の処理を実装したプログラム（以下、アプリという）をインストールする必要がある。アプリの配布方法としては、スマートフォンの製造事業者や携帯通信事業者が提供するデジタルコンテンツ配信サービスを利用したアプリの配信が利用できる。また、クライアント装置３がホスト装置１にアクセスすることで、ホスト装置１に内蔵されたアプリをインストールする方法も可能である。ホスト装置１へのアクセス方法としては、例えば、上述のように、無線ＬＡＮやBluetooth（登録商標）、ＮＦＣなどを利用することができる。また、ホスト装置１からのアプリの取得だけではなく、各クライアント装置３同士がアプリを共有し導入することも可能である。クライアント装置３同士のアクセス方法としては、例えば、赤外線通信やＮＦＣなどを利用することができる。
【００２１】
図４を参照して、実施形態の音声収音再生方法を説明する。なお以下の説明では通信網９はいわゆるＩＰネットワークであるものとする。
【００２２】
ステップＳ３０において、クライアント装置３の接続制御部３０は、クライアント装置３とホスト装置１との接続制御を行う。クライアント装置３がホスト装置１へ接続するために、まず、接続先のホスト装置１のＩＰアドレスを指定する必要がある。接続先のＩＰアドレスは、例えば、画面制御部３１から受け取ったＩＰアドレスを接続先として利用する。もしくは、ホスト装置１のＩＰアドレスを固定して決める方法や、クライアント装置３が接続先のホスト装置１を探索する方法を利用することができる。
【００２３】
クライアント装置３が接続先のホスト装置１を探索する方法は、例えば、以下のような方法とすることができる。クライアント装置３の接続制御部３０は、画面制御部３１から開始信号を受け取ったあと、クライアント装置３が接続されている無線ＬＡＮ内に要求パケットをブロードキャストする。ブロードキャストした要求パケットに対して反応することができるホスト装置１が存在する場合、そのホスト装置１の接続制御部１０から返答パケットを受け取る。返答パケットに記されるＩＰアドレスを接続先とし、その接続先をパケット送信部３３に受け渡す。
【００２４】
クライアント装置３の接続制御部３０は、接続先のホスト装置１に対して利用者の認証を施すこともできる。例えば、ＰＩＮ（Personal Identification Number）コードを利用した接続制御の認証の場合、画面制御部３１から受け取ったＰＩＮコードを接続制御部３０へ送る。認証が成功した場合、ホスト装置１から承認を示すパケットを受け取り、接続を確立する。
【００２５】
クライアント装置３の接続制御部３０は、ホスト装置１から承認を示すパケットを受け取った後、クライアント装置３に予め付与された端末固有番号をホスト装置１の接続制御部１０に送る。端末固有番号とは、例えば、クライアント装置３のＭＡＣアドレスやホスト装置１との接続に使用している固定のＩＰアドレスなどである。なお、端末固有番号は「番号」には限定されず、クライアント装置３およびクライアント装置３により取得する音声のチャネルを一意に特定できる情報であれば、どのような情報であってもよい。
【００２６】
ホスト装置１から接続拒否を示すパケットを受信した場合は、パケット送信部３３に対して、パケット送信を止める指令を渡す。ホスト装置１から切断通知のパケットを受信した場合も、同様に、パケット送信部３３に対して、パケット送信を止める指令を渡す。切断通知については後述する。接続制御部３０は、パケット送信が止まった後、所定の時間が経過した後、再度要求パケットをホスト装置１の接続制御部１０へ送る。ホスト装置１が接続要求に反応し認証が成功した場合、ホスト装置１から承認パケットを受け取り、接続を確立する。
【００２７】
ステップＳ１０において、ホスト装置１の接続制御部１０は、クライアント装置３とホスト装置１との接続制御を行う。ホスト装置１の接続制御部１０は、無線ＬＡＮ内に接続されたクライアント装置３からブロードキャストされた要求パケットを受信する。要求パケットを受信したホスト装置１は、クライアント装置３の接続を受け入れることができる場合には、ホスト装置１のＩＰアドレスを通知する返答パケットをクライアント装置３に対して返信する。
【００２８】
ホスト装置１の接続制御部１０は、接続先のクライアント装置３に対して利用者の認証を施すこともできる。例えば、ＰＩＮコードを利用した認証の場合、クライアント装置３へ返答パケットを送信した後、画面制御部１１に認証開始の指示とランダムに生成したＰＩＮコードを受け渡す。利用者は、ホスト装置１の画面制御部１１に表示されたＰＩＮコードを確認し、クライアント装置３の画面制御部３１でそのＰＩＮコードを入力する。クライアント装置３の接続制御部３０はホスト装置１の接続制御部１０へ入力されたＰＩＮコードを送信する。ホスト装置１の接続制御部１０は自身が生成したＰＩＮコードと受信したＰＩＮコードとを照合し、認証が成功した場合は、承認を示すパケットを返信し、認証が失敗した場合は、接続拒否を示すパケットを返信する。認証が失敗した場合には、さらに、画面制御部１１に失敗の通知を受け渡す。
【００２９】
クライアント装置３とホスト装置１を接続する認証方法についてより詳しく説明する。
【００３０】
無線ＬＡＮ内に他に接続可能なホスト装置１が存在しない場合は、認証なしで接続するように構成してもよい。
【００３１】
クライアント装置３にあらかじめ利用者を特定するＩＤとパスワードを入力しておき、そのＩＤとパスワードをホスト装置１に送信し認証を行うように構成してもよい。
【００３２】
クライアント装置３がホスト装置１による認証を待っている任意の時間内に、ホスト装置１で指定の操作を行うようにしてもよい。例えば、クライアント装置３が接続認証を待機する２０秒の間に、ホスト装置１で音声ミュートボタンを二回押す、また、ホスト装置１で接続を許可するボタンを押す、などの方法により認証を行うように構成してもよい。
【００３３】
クライアント装置３のＭＡＣアドレスやクライアント装置３の固定のＩＰアドレスなどを事前にホスト装置１に登録しておき、登録されたクライアント装置３のみを自動で接続可能とするように構成してもよい。
【００３４】
クライアント装置３とホスト装置１とで、Bluetooth（登録商標）やＮＦＣのような近距離無線通信を利用し、ＭＡＣアドレスやＩＰアドレスなどの情報を交換し、接続を行うように構成してもよい。
【００３５】
ホスト装置１の接続制御部１０は、接続を認証した後、クライアント装置３から送られてくる端末固有番号を受け取り、フレーム記憶部２１に格納する。また、その端末固有番号をマイクアレイ制御部１６が備えるベクトル分類部に渡す。ベクトル分類部については後述する。端末固有番号は端末選択部２２から受け取る接続端末番号と破棄端末番号の識別で利用する。
【００３６】
なお、ホスト装置１自体もクライアント装置３と同様にマイクロホンを有しており、通信の接続または切断処理は行わないものの、ホスト装置１のマイクロホンで収音した音響信号もクライアント装置３で収音した音響信号と同様にステップＳ１２からＳ１７のマイクアレイ制御の対象である。そこで接続制御部１０、フレーム記憶部２１、端末選択部２２の中では、ホスト装置１の端末固有番号もクライアント装置３の端末固有番号と同様に格納されて扱われるものとする。
【００３７】
ホスト装置１の接続制御部１０は、音源の位置や話者の発話内容の変更に対応するため、所定の時間が経過するたびに、クライアント装置３との通信状況を確認し、もし通信が切断されていれば、再度クライアント装置３との接続を行う。要求パケットを各クライアント装置３の接続制御部３０から受け取った後、承認パケットを返信し、再度音声の送信を開始する。所定の時間は利用環境に応じて適切な値に設定すればよいが、例えば５分とする。
【００３８】
接続しているクライアント装置３の台数及びチャネル数は接続制御部１０によって常に監視を行う。クライアント装置３の接続台数及びチャネル数に増減があった場合は最新の台数およびチャネル数をマイクアレイ制御部１６に含まれる区間分類部１６１およびフィルタ係数算出部１６３に渡す。
【００３９】
なお以下の説明では、クライアント装置３のマイクロホンＭはクライアント装置３ごとに１つ設置されているものとして説明するが、クライアント装置３が１台の筐体の中に複数チャネルのマイクロホンＭを内蔵し、マイクロホンごとに端末固有番号およびマイクロホンのチャネル番号で識別可能であってその音声取得部１２からの出力を個々に開始／停止することができるものであれば、それぞれのマイクロホンのチャネル単位でマイクアレイ制御部１６による制御を行うものであっても良い。
【００４０】
ステップＳ３１において、クライアント装置３の画面制御部３１は、クライアント側の画面表示の制御を行う。画面制御部３１は、クライアント装置３の画面上で音声取得部３２を有効にするか、無効にするかを指定することを可能にする。画面制御部３１は、無効が指定された場合、音声取得部３２に信号を渡し、音声取得部３２を停止する。有効が指定された場合、音声取得部３２に信号を渡し、音声取得部３２を起動し維持する。
【００４１】
画面制御部３１は、クライアント装置３の画面上で音声再生部３５を有効にするか、無効にするかを指定することを可能にする。画面制御部３１は、無効が指定された場合、音声再生部３５に信号を渡し、音声再生部３５を停止する。有効が指定された場合、音声再生部３５に信号を渡し、音声再生部３５を起動し維持する。
【００４２】
画面制御部３１はパケット送信部３３の宛先ＩＰアドレスを画面上で入力させ、送信先のホスト装置１のＩＰアドレスとして決定する。入力されたＩＰアドレスはパケット送信部３０に受け渡す。もしくは、画面制御部３１は、ホスト装置１のＩＰアドレスを探索する開始ボタンを画面上に用意し、開始動作を制御する。開始ボタンが利用者によって操作されると、接続制御部３０に開始の信号を受け渡す。接続制御のために用いるＰＩＮコードの入力も同時に行う。画面制御部３１は、入力されたＰＩＮコードをパケット送信部３３に受け渡す。
【００４３】
ステップＳ１１において、ホスト装置１の画面制御部１１は、接続制御部１０から認証開始の指示とＰＩＮコードとを受け取り、受け取ったＰＩＮコードを画面上に表示させる。また、受信ポート番号を利用者から入力させ、入力されたポート番号をパケット受信部１３に受け渡す。
【００４４】
ステップＳ１２において、ホスト装置１の音声取得部１２は、ホスト装置１のマイクロホンＭから音声を収音し、収音したアナログ信号をアナログデジタル（Ａ／Ｄ）変換器を用いて、指定したサンプリング周波数でＰＣＭ信号に変換する。例えば、１６ｋＨｚサンプリングで音声を収音する。ＰＣＭ信号とした音声はエコーキャンセラ部１４に受け渡す。
【００４５】
ステップＳ３２において、クライアント装置３の音声取得部３２は、クライアント装置３のマイクロホンＭから音声を収音し、収音したアナログ信号をアナログデジタル（Ａ／Ｄ）変換器を用いて、指定したサンプリング周波数でデジタル信号に変換する。例えば、１６ｋＨｚサンプリングで音声を収音する。デジタル信号とした音声はパケット送信部３３に受け渡す。
【００４６】
ステップＳ３３において、クライアント装置３のパケット送信部３３は、固定のポート番号とＩＰアドレスに対して指定したプロトコルで、指定したＰＣＭデータ長で音声パケットを送信する。ポート番号とＩＰアドレスは画面制御部３１で利用者が入力することもできる。また、接続制御部３０で探索したホスト装置１のＩＰアドレスを受け取り送信先としてＩＰアドレスを指定することもできる。音声パケットの送信方法は、例えばＲＴＰ（Real-time Transport Protocol）で送信し、ＰＣＭデータ長を２０ミリ秒として送信する。また、送信する音声パケットは、例えばＩＰＳｅｃなどの暗号化技術によりセキュリティを確保した方法で送信してもよいし、所定の符号化方法により符号化して送信してもよい。符号化方法としては、可変ビットレートのＳＩＬＫやＯｐｕｓ、固定ビットレートのＧ．７１１などを適用することができる。このとき符号化する音声の周波数帯域は前出のサンプリング周波数と対応させても良いし、対応しない帯域としても良い。音声パケットはホスト装置１のパケット受信部１３に送信される。
【００４７】
ステップＳ１３において、ホスト装置１のパケット受信部１３は、利用者が画面制御部１０で入力したポート番号や、固定のポート番号に対して送られてきた音声パケットを受信する。パケット受信部１３は、受信した音声パケットをバッファリングして音切れを減らすようにする。また、音声パケットが暗号化されている場合は復号してＰＣＭ信号を得る。仮に、音声パケットに符号化が行われている場合は復号してデジタル信号のＰＣＭ信号に変換する。ＰＣＭ信号はエコーキャンセラ部１４に受け渡す。
【００４８】
ホスト装置１のパケット受信部１３は複数のポートに送られてきた音声パケットを同時に処理する機能を有する。受信した音声パケットをそれぞれのポートごとに暗号化の復号や音声符号化の復号を行ない、複数のＰＣＭ信号をエコーキャンセラ部１４に受け渡す。
【００４９】
ステップＳ１４において、ホスト装置１のエコーキャンセラ部１４は、音声取得部１２からのＰＣＭ信号と、他地点からのＰＣＭ信号とを受け取る。エコーキャンセラ部１４は、二つの入力のＰＣＭ信号に対し遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。また、エコーキャンセラ部１４は、他地点からのＰＣＭ信号の成分を音声取得部１２から受け取るＰＣＭ信号から取り除く処理を行う。この処理は、例えば、参考文献１に記載されたエコーキャンセラの技術を適用することができる。エコーキャンセラの処理を行った出力結果は信号バッファ部１５に受け渡す。
〔参考文献１〕特許第５０８７０２４号公報
【００５０】
また、エコーキャンセラ部１４は、パケット受信部１３からの１つもしくは複数のクライアント装置３からのＰＣＭ信号と、他地点からのＰＣＭ信号とを受け取る。エコーキャンセラ部１４は、クライアント装置３から各ポートに対して送られてきた１つ以上のＰＣＭ信号と、他地点からのＰＣＭ信号とに対し、遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。また、エコーキャンセラ部１４は、他地点からのＰＣＭ信号の成分をパケット受信部１３の各ポートで受信したＰＣＭ信号から取り除く処理を行う。この処理は、一般的な適応フィルタのアルゴリズムを用いたエコーキャンセラの処理（例えば、参考文献２参照）によって行ってもよいし、上述の参考文献１に記載されたエコーキャンセラの技術を利用してもよい。エコーキャンセラの処理を行った出力結果は信号バッファ部１５に受け渡す。
〔参考文献２〕浅野太著、“音のアレイ信号処理”、コロナ社、2011年
【００５１】
ステップＳ１５において、ホスト装置１の信号バッファ部１５は、エコーキャンセラ部１４からの複数のＰＣＭ信号を受け取り、これらのＰＣＭ信号の遅延を揃える。遅延の揃え方としては、例えば、最大相互相関を利用した遅延補正を行う。遅延を揃えた複数のＰＣＭ信号はマイクアレイ制御部１６に受け渡す。
【００５２】
ステップＳ１６において、ホスト装置１のマイクアレイ制御部１６は、信号バッファ部１５から受け取った複数のＰＣＭ信号に対して、特定音声を強調するマイクロホンアレイ処理を施し、処理後音響信号を生成する。特定音声を強調する処理は、例えば、非特許文献１に記載された非同期マイクロホンアレイ処理を利用することができる。
【００５３】
マイクアレイ制御部１６は、上記の参考文献２に記載されるように、各ＰＣＭ信号までの到達時間差を揃え、特定方向のみの音を強調するマイクロホンアレイ処理を行ってもよいし、下記の参考文献３に記載されるように、特定話者だけの音が残るように周波数スペクトル上で雑音のスペクトル成分を差し引くスペクトルサブトラクションを行ない、雑音抑圧を行ってもよい。複数の処理後音響信号と音声信号の発話者区間情報は音声サービス処理部１７に受け渡す。
〔参考文献３〕向井良等、“非定常スペクトルサブトラクションによる音源分離後の残留雑音除去”、日本音響学会秋季研究発表会、2010年
【００５４】
以下、マイクアレイ制御部１６の処理の詳細を説明する。なお、ホスト装置１の音声取得部１２からのＰＣＭ信号（デジタル音響信号）と、パケット受信部１３からの複数のＰＣＭ信号（デジタル音響信号）とは、マイクアレイ制御部１６の以降の動作では同様に扱うものとする。従って説明上もまとめてチャネルｋのデジタル音響信号として説明する。
【００５５】
マイクアレイ制御部１６は、図５に示すように、フレーム分割部１６０、区間分類部１６１、スペクトル算出部１６２、フィルタ係数算出部１６３、フィルタリング部１６４、加算器１６５、位相付与部１６６及び時間領域変換部１６７を例えば含む。区間分類部１６１は、図６に示すように、ＶＡＤ判定部１６１０、非音声パワー記憶部１６１１、Ｓ／Ｎベクトル生成部１６１２及びベクトル分類部１６１３を例えば含む。
【００５６】
フレーム分割部１６０は、信号バッファ部１５から同期後のデジタル音響信号ｓｘ１（ｉ１），…，ｓｘＫ（ｉＫ）を入力として受け取る。ｉkは同期後の時刻情報である。フレーム分割部１６０は、チャネルｋごとにデジタル音響信号ｓｘｋ（ｉｋ）を所定の時間区間であるフレームに分割する。このフレーム分割処理では、フレーム切り出し区間長（フレーム長）Ｌ点と切り出し区間のずらし幅ｍ点を任意に決めることができる。ただし、Ｌおよびｍは正整数である。例えば、切り出し区間長を２０４８点、切り出し区間のずらし幅を２５６点とする。フレーム分割部１６０は、チャネルｋごとに切り出し区間長のデジタル音響信号ｓｘｋ（ｉｋ）を切り出して出力する。さらにフレーム分割部１６０は、決められた切り出し区間のずらし幅に従い切り出し区間をずらし、チャネルｋごとに上記切り出し区間長のデジタル音響信号ｓｘｋ（ｉｋ）を切り出して出力する処理を繰り返す。以上の処理により、各チャネルｋについて各フレームのデジタル音響信号が出力される。以下では、チャネルｋのフレームｒに属するデジタル音響信号をｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）と表現する。ｒはカウントアップする数値でもよいし、時間やシーケンス番号を用いてもよい。フレーム分割部１６０は、フレームｒを端末選択部２２に受け渡す。
【００５７】
ＶＡＤ判定部１６１０は、フレーム分割部１６０から各チャネルｋの各フレームｒに属するデジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）を入力として受け取る。ＶＡＤ判定部１６１０は、入力されたデジタル音響信号を用い、各チャネルｋの各フレームｒが音声区間であるか非音声区間であるかを判定する。ＶＡＤ判定部１６１０は、例えば参考文献４に記載されたような周知技術を用い、フレームｒが音声区間であるか非音声区間であるかの判定を行う。
〔参考文献４〕Jongseo Sohn, Nam Soo Kim, Wonyong Sung, “A Statistic Model-Based Voice Activity Detection,” IEEE SIGNAL PROCESSING LETTERS, VOL.6, NO.1, 1999．
【００５８】
これらの判定に基づき、ＶＡＤ判定部１６１０は、各フレームｒに対し、音声区間であるか非音声区間であるかの判定結果を表すラベルθｒを付与する。例えば、「フレームｒが音声区間であると判定されたチャネルの個数」が「フレームｒが非音声区間であると判定されたチャネルの個数」以上である場合、ＶＡＤ判定部１６１０は、フレームｒが音声区間であると判定し、音声区間であることを表すラベルθｒをフレームｒに対して付与する。一方、「フレームｒが音声区間であると判定されたチャネルの個数」が「フレームｒが非音声区間であると判定されたチャネルの個数」未満である場合、ＶＡＤ判定部１６１０は、フレームｒが非音声区間であると判定し、非音声区間であることを表すラベルθｒをフレームｒに対して付与する。その他、チャネルｋ＝１，…，Ｋのうち、デジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）の平均パワーや平均Ｓ／Ｎが最も大きなチャネルに対する判定結果を表すラベルθｒをフレームｒに付与してもよい。また、音声区間であることを表すラベルの例はθｒ＝１であり、非音声区間であることを表すラベルの例はθｒ＝０である。ＶＡＤ判定部１６１０は、各ラベルθｒを出力する。
【００５９】
Ｓ／Ｎベクトル生成部１６１２は、フレーム分割部１６０からの各チャネルｋの各フレームｒのデジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）およびＶＡＤ判定部１６１０からのラベルθｒを入力として受け取る。Ｓ／Ｎベクトル生成部１６１２は、チャネルｋごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した特徴量を得、チャネルｋ＝１，…，Ｋに対して得られた特徴量を要素とするＳ／Ｎベクトル（特徴量列）を得て出力する。「特徴量」の例は、非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比を表す値である。「デジタル音響信号の大きさ」の例は、デジタル音響信号のパワーや絶対値、デジタル音響信号のパワーの平均値や絶対値の平均値、デジタル音響信号のパワーの合計値や絶対値の合計値、それらの正負反転値や関数値などである。「比を表す特徴量」の例は、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのもの、その逆数その他の関数値である。以下では、デジタル音響信号のパワーの平均値を「デジタル音響信号の大きさ」とし、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのものを「特徴量」とした例を示す。
【００６０】
Ｓ／Ｎベクトル生成部１６１２は、以下の処理を実行する。
【００６１】
［ステップＳ１６１２１］
Ｓ／Ｎベクトル生成部１６１２は、ｒを１に初期化する。
【００６２】
［ステップＳ１６１２２］
Ｓ／Ｎベクトル生成部１６１２は、ラベルθｒが音声区間を表すか非音声区間を表すかを判定する。
【００６３】
［ステップＳ１６１２３］
ラベルθｒが非音声区間を表す場合、Ｓ／Ｎベクトル生成部１６１２は、すべてのチャネルｋ＝１，…，Ｋについて、フレームｒに属するデジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）の平均パワーＰＮ（ｋ，ｒ）を計算し（式（１）参照）、平均パワーＰＮ（ｋ，ｒ）をｋ番目の要素とする平均パワーベクトルＰＮ（ｒ）＝（ＰＮ（１，ｒ），…，ＰＮ（Ｋ，ｒ））を非音声パワー記憶部１６１１に格納する。
【００６４】
【数１】
2016029428.tif 000003
【００６５】
［ステップＳ１６１２４］
ラベルθｒが音声区間を表す場合、Ｓ／Ｎベクトル生成部１６１２は、非音声パワー記憶部１６１１に格納されている非音声区間のフレームｒ’の平均パワーベクトルＰＮ（ｒ’）＝（ＰＮ（１，ｒ’），…，ＰＮ（Ｋ，ｒ’））を取り出す。このフレームｒ’は処理対象のフレームｒに近いことが望ましい。例えば、Ｓ／Ｎベクトル生成部１６１２は、フレームｒに時間的に最も近い非音声区間のフレームｒ’の平均パワーベクトルＰＮ（ｒ’）を取り出す。なお、非音声パワー記憶部１６１１には平均パワーベクトルの初期値も格納されている。平均パワーベクトルの初期値の例は、Ｋ個の定数（例えば１）を要素とするベクトルなどである。非音声区間の平均パワーベクトルが得られていない場合、Ｓ／Ｎベクトル生成部１６１２は、平均パワーベクトルの初期値を非音声パワー記憶部１６１１から取り出し、それをＰＮ（ｒ’）＝（ＰＮ（１，ｒ’），…，ＰＮ（Ｋ，ｒ’））とする。
【００６６】
さらにＳ／Ｎベクトル生成部１６１２は、すべてのチャネルｋ＝１，…，Ｋについて、音声区間のフレームｒに属するデジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）の平均パワーをＰＮ（ｋ，ｒ’）で除算し、正規化平均パワーＰＶ（ｋ，ｒ）を得る（式（２）参照）。
【００６７】
【数２】
2016029428.tif 000004
【００６８】
ＰＮ（ｋ，ｒ’）で除算することで各チャネルｋのデジタル音響信号の平均パワーを正規化し、各チャネルｋのマイクロホンの感度の違いによる影響を排除できる。Ｓ／Ｎベクトル生成部１６１２は、得られた正規化平均パワーＰＶ（ｋ，ｒ）をｋ番目の要素とするＳ／ＮベクトルＰＶ（ｒ）＝（ＰＮ（１，ｒ），…，ＰＮ（Ｋ，ｒ））を出力する。
【００６９】
［ステップＳ１６１２５］
未処理のデジタル音響信号が存在する場合、Ｓ／Ｎベクトル生成部１６１２はｒに１を加算した値を新たなｒとし、処理をステップＳ１６１２２に進める。未処理のデジタル音響信号が存在しない場合、Ｓ／Ｎベクトル生成部１６１２の処理を終える。
【００７０】
前述のように、非音声パワー記憶部１６１１は、平均パワーベクトルの初期値、およびＳ／Ｎベクトル生成部１６１２で得られた平均パワーベクトルＰＮ（ｒ）を格納する。
【００７１】
ベクトル分類部１６１３は、Ｓ／Ｎベクトル生成部１６１２から、Ｓ／ＮベクトルＰＶを入力として受け取る。ベクトル分類部１６１３は、入力されたＳ／ＮベクトルＰＶに対して、ＣＰＣＬベクトルとの距離を計算する。ＣＬはクラスタのラベルである。クラスタのラベルは接続順に０からカウントアップして命名してもよいし、再接続したときに同じラベルを再度割り振るために接続制御部１０から端末固有番号を受け取り、その端末固有番号をクラスタのラベルＣＬとしてもよい。ＣＰＣＬは互いに直交した接続台数Ｋ個分の基準ベクトル｛ＣＰＣＬ｝ＣＬ＝１，…，Ｋである。例えば、１個の要素のみが０以外の値（例えば１）であり、他のＫ−１個の要素がすべて０のＫ次元のベクトルを基準ベクトルＣＰＣＬとする。例えば、ｋ番目の要素が１であり、他の要素が０のＫ次元ベクトルをＣＬ＝Ｋに対応する基準ベクトルＣＰＣＬ＝ｋとする。その一例はＣＰＣＬ＝［１，０，…，０］Ｔである。Ｓ／ＮベクトルＰＶは音源から発生した音を各クライアント装置３で観測した信号の音声と雑音区間のパワー比から成り立っている。音源から出た音のパワーは空気中を伝搬する間に、距離に反比例してパワーが減衰する。そのため、異なる位置に配置された各クライアント装置３で音源の音を観測すると、音源から最も距離が近いクライアント装置３が大きな音の波を観測する。この性質から、ある時間フレームで音源から音が発せられた時、その音がどのクライアント装置３に最も近い音源なのか分類することができる。音源に近いクライアント装置３にフレームごとの音響信号をクラスタリングすることで、発話者に対応する音源の分類を行うことが出来る。
【００７２】
Ｓ／Ｎベクトルが、もしｋ番目のクライアント装置３kしか、ある音源から出た音を観測していないとすると、Ｓ／ＮベクトルＰＶ（ｋ，ｒ）はｋ番目の要素のみに値を持ち、その他の要素は０に近い値のベクトルを得る。ＣＰＣＬベクトルとＳ／ＮベクトルＰＶ（ｋ，ｒ）との距離を求め、最も距離の近いＣＰＣＬベクトルのラベルＣＬをラベルθｒに代入して更新する。Ｓ／ＮベクトルＰＶは各フレームｒごとに値にベクトルをもつ、ＰＶ（ｒ）＝［ｐ１，…，ｐｋ，…，ｐＫ］Ｔｒとなるベクトルである。ＰＶ（ｋ，ｒ）はｒ番目のフレームでｋ番目のクライアント装置３kのスカラー値ＰＶ（ｋ，ｒ）＝ｐｋを表す。
【００７３】
距離関数はコサイン類似度を用いる。コサイン類似度は［０，１］の範囲を得る関数である。コサイン類似度による距離計算は以下の式のように計算する。
【００７４】
【数３】
2016029428.tif 000005
【００７５】
ここで、ｄ（ＣＬ）はフレームrでクラスタＣＬの重心ベクトルと入力されたＳ／Ｎベクトルとの距離を表す。このコサイン類似度により観測したＰＶ（ｋ，ｒ）の最も大きな値を持つ要素の列番号と同じ列番号の要素にのみ１をもつＣＰＣＬ＝ｋ（ｋ）＝１となるＣＰＣＬ＝ｋと最も小さい値をとる。ＣＰＣＬ（ｋ）はＣＰＣＬベクトルのｋ番目の要素を表す。つまり、あるフレームｒのときに観測した音のＳ／ＮベクトルＰＶ（ｒ）が音源の分布を表すクラスタの基準ベクトルＣＰＣＬのどれに最も近いかを選択し、そのクラスタのラベルＣＬである端末固有番号をラベルθｒに代入する。ベクトル分類部１６１３は、ラベルθｒをフレーム記憶部２１及びフィルタ係数算出部１６３に渡す。
【００７６】
距離ｄ（ＣＬ）の計算及びラベルθｒの更新の具体例を図７に示す。図７の例では、フレームｒ＝２０００の音響信号は音源Ａが発しており、音源Ａに最も近いクライアント装置３1で距離が最小となるため、ラベルθｒはクライアント装置３1のＭＡＣアドレス＝XX:XX:XX:C6:0C:4Dで更新する。フレームｒ＝３０００の音響信号は音源Ｂが発しており、音源Ｂに最も近いクライアント装置３3で距離が最小となるため、ラベルθｒはクライアント装置３3のＭＡＣアドレス＝XX:XX:XX:C6:0C:4Fで更新する。
【００７７】
フレーム記憶部２１では、フレームｒごとに、ベクトル分類部１６１３からラベルθｒを受け取る。フレームｒごとに受け取ったラベルθｒからラベルの出現頻度Σθを求める。ラベルの出現頻度Σθは、ラベルθの出現頻度を表す。フレームｒのときにラベルθを受け取った場合、Σθの値に１を加算する。
【００７８】
【数４】
2016029428.tif 000006
【００７９】
Σθは任意のフレーム回数で０にクリアしてもよいし、クリアせず保持し続けてもよい。クリアするフレームは例えば端末制御部１０の処理フレームと合わせてＮｒフレームごとでもよいし、Ｎｒフレームの整数倍でもよい。フレーム記憶部２１はフレームｒごとに、スペクトル算出部１６２からフレームｒに属するｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）を周波数領域に変換して得られるスペクトルＸ（ｋ，ｆ，ｒ）、振幅スペクトルベクトルＡ（ｆ，ｒ）を受け取る。ｆは離散周波数を表すインデックスである。なお、振幅スペクトルベクトルＡ（ｆ，ｒ）のうちクライアント装置３kの振幅スペクトルはＡ（ｋ，ｆ，ｒ）と表記し、位相スペクトルベクトルφ（ｆ，ｒ）のうちクライアント装置３kの位相スペクトルはφ（ｋ，ｆ，ｒ）と表記する。また、クライアント装置３から観測された音響信号の値を一意に決定するために、ＭＡＣアドレスやＩＰアドレスなどの端末固有番号を接続制御部１０から受け取る。受け取ったスペクトルＸ（ｋ，ｆ，ｒ）、振幅スペクトルＡ（ｋ，ｆ，ｒ）、位相スペクトルφ（ｋ，ｆ，ｒ）を観測したクライアント装置３ｋと各要素の対応付けを行うため、あるフレームｒのときのｋと端末固有番号に対応付けて記録する。ベクトル分類部１６１３からクラスタ結果のラベルθｒを受け取りフレームｒと対応付けて記録する。また、ラベルθｒに対応する端末固有番号も併せて記録する。また、ラベルθｒの出現回数を端末固有番号と対応させて記録する。フィルタ係数算出部１６３から、フィルタ係数ｗｃを受け取りフレームｒと対応付けて記録する。フィルタ係数算出部１６３から、音声強調を行う際のターゲットとなる端末固有番号ｃごとの空間相関行列ＲＴｃとＲＩｃを受け取り、フレームｒと端末固有番号とを併せて記録する。
【００８０】
スペクトル算出部１６２は、フレーム分割部１６０で分割された、各チャネルｋの各フレームｒに属するデジタル音響信号ｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）を入力として受け取る。ここで、フレームｒでの各チャネルｋのデジタル音響信号ｓｘｋ（ｋ，ｒ，ｊ）を要素とするＫ次元の縦ベクトルをｘ（ｊ，ｒ）＝［ｓｘ１（１，ｒ，ｊ），…，ｓｘＫ（Ｋ，ｒ，ｊ）］Ｔと記述する。ただし、［η］Ｔは［η］の転置を表す。また、フレームｒに属するＫ次元ベクトルｘ（０，ｒ），…，ｘ（Ｌ−１，ｒ）の要素を周波数領域に変換して得られる値を要素とするＫ次元の縦ベクトルをＸ（ｆ，ｒ）と記述する。すなわち、フレームｒに属するｓｘｋ（ｋ，ｒ，０），…，ｓｘｋ（ｋ，ｒ，Ｌ−１）を周波数領域に変換して得られる値Ｘ（ｋ，ｆ，ｒ）をｋ番目の要素とするＫ次元の縦ベクトルをスペクトルベクトルＸ（ｆ，ｒ）＝［Ｘ（１，ｆ，ｒ），…，Ｘ（Ｋ，ｆ，ｒ）］Ｔと記述する。ただし、ｆは離散周波数を表すインデックスである。周波数領域への変換方法の例は、ＦＦＴ（Fast Fourier Transform）などの離散フーリエ変換である。また、Ｘ（ｋ，ｆ，ｒ）の振幅スペクトルＡ（ｋ，ｆ，ｒ）をｋ番目の要素とするＫ次元の縦ベクトルを振幅スペクトルベクトルＡ（ｆ，ｒ）＝［Ａ（１，ｆ，ｒ），…，Ａ（Ｋ，ｆ，ｒ）］Ｔと記述する。さらに、Ｘ（ｋ，ｆ，ｒ）の位相スペクトルφ（ｋ，ｆ，ｒ）をｋ番目の要素とするＫ次元の縦ベクトルを位相スペクトルベクトルφ（ｆ，ｒ）＝［φ（１，ｆ，ｒ），…，φ（Ｋ，ｆ，ｒ）］Ｔと記述する。スペクトル算出部１６２は、ｘ（ｊ，ｒ）＝［ｓｘ１（１，ｒ，ｊ），…，ｓｘＫ（Ｋ，ｒ，ｊ）］Ｔを周波数領域に変換し、フレームｒごとに、ｋ個の振幅スペクトルＡ（ｋ，ｆ，ｒ）からなる振幅スペクトルベクトルＡ（ｆ，ｒ）と、ｋ個の位相スペクトルφ（ｋ，ｆ，ｒ）からなる位相スペクトルベクトルφ（ｆ，ｒ）を得て出力する。振幅スペクトルベクトルＡ（ｆ，ｒ）と、位相スペクトルベクトルφ（ｆ，ｒ）とはフレーム記憶部２１に格納される。
【００８１】
フィルタ係数算出部１６３は、接続制御部１０から取得したフレームｒで接続している端末固有番号、ベクトル分類部１６１３から出力された各フレームｒのラベルθｒ、およびフレーム記憶部２１から読み出した振幅スペクトルベクトルＡ（ｆ，ｒ）を入力として受け取る。フィルタ係数算出部１６３は、フレーム記憶部２１から端末固有番号に対応するθｒ＝ｃとなる振幅スペクトルベクトルの空間相関行列ＲＴｃ（ｆ）と、θｒ≠ｃとなる振幅スペクトルベクトルの空間相関行列ＲＩｃ（ｆ）を呼び出す。ｃは強調する音源が含まれる端末番号、つまり端末固有番号に対応し、分類ラベル番号と呼称する。ｃは接続されている端末固有番号から任意に選ぶことができ、あるいは接続されている全ての端末固有番号に対してｃを順に選択することもできる。つまりＲＴｃ（ｆ）、ＲＩｃ（ｆ）の行列はフレームｒの時に接続している端末固有番号の種類数分ある。
【００８２】
フィルタ係数算出部１６３は、強調信号区間分類に属するＳ／ＮベクトルＰＶ（ｒ）に対応する振幅スペクトルＡ（ｋ，ｆ，ｒ）を強調するフィルタリングのためのフィルタ係数を算出する。以下の参考文献５に開示されたＳＮ比最大化ビームフォーマでは、複素スペクトルをそのまま用いて、最大固有値に対する固有ベクトルを求めてフィルタ係数としている。これに対し、この実施形態のフィルタ係数算出部１６３は、振幅スペクトルベクトルＡ（ｆ，ｒ）を用いてＳＮ比最大化ビームフォーマを構成する。すなわち、フィルタ係数算出部１６３は、以下の式（５）の一般化固有値問題を解き、最大固有値γ（ｆ）に対応する固有ベクトルの値を、各分類ラベル番号ｃの音声を強調するフィルタ係数ｗｃ（ｆ）として得る。
【００８３】
【数５】
2016029428.tif 000007
【００８４】
ここで、Ｅ［ρ］θｒ＝ｃ（下付きθｒはθｒ）は、θｒ＝ｃであるフレームｒからなる区間における、行列ρの要素の期待値からなる行列を表す。Ｅ［ρ］θｒ≠ｃは、θｒ≠ｃであるフレームｒからなる区間における、行列ρの要素の期待値からなる行列を表す。
〔参考文献５〕H. L. Van Tree, ed., “Optimum Array Processing,” Wiley, 2002.
空間相関行列ＲＴｃ（ｆ）とＲＩｃ（ｆ）は逐次的に更新していく。ＲＴｃ（ｆ）とＲＩｃ（ｆ）の逐次的な更新は、忘却係数αを用いて以下のように行う。θｒ＝ｃの場合の更新は、
【００８５】
【数６】
2016029428.tif 000008
【００８６】
となる。θｒ≠ｃの場合の更新は、
【００８７】
【数７】
2016029428.tif 000009
【００８８】
となる。更新したＲＴｃ（ｆ）とＲＩｃ（ｆ）を用いて定期的に一般化固有値問題を解き、フィルタ係数ｗｃを作成する。作成したフィルタ係数ｗｃはフレーム記憶部２１に接続している端末固有番号と併せて記録する。また、フレームｒのときに更新した各ｃの空間相関行列ＲＴｃとＲＩｃもフレームｒと端末固有番号と併せて記録する。フィルタ係数ｗｃを求めるための定期的な計算は、例えばｒが１０００フレームごとに行ってもよいし、端末固有番号の種類がｒとｒ−１のときと比べて変化があればｗｃを計算してもよい。もし、端末固有番号の種類の数が減少した場合はＲＴｃ（ｆ）とＲＩｃ（ｆ）の減少した端末固有番号ｋに対応する行ｋと列ｋを減らし、行列の次元が減少したＲ’Ｔｃ（ｆ）とＲ’Ｉｃ（ｆ）の一般化固有値問題を解き、フィルタ係数ｗｃを求める。また、端末固有番号の種類の数が増加した場合はＲＴｃ（ｆ）とＲＩｃ（ｆ）の更新を、重みを変えて逐次的に更新していく。フレームｒ−１で観測した端末固有番号の種類の数がｍとして、フレームｒでｍ＋１に増加した場合、増加前のｍ個の要素に対しては忘却係数αを用いるが、増加したｍ＋１番目の要素に対しては忘却係数βを与え更新していく。このときβ＞αである。フレームｒの振幅スペクトルがＡ（ｆ，ｒ）＝［ａ１，…，ａｍ］ＴからＡ（ｆ，ｒ）＝［ａ１，…，ａｍ，ａｍ＋１］Ｔとなり、要素の数がｍ＋１に増えたとする。このときの更新式は
【００８９】
【数８】
2016029428.tif 000010
【００９０】
とする。各行列は
【００９１】
【数９】
2016029428.tif 000011
【００９２】
となっている。また、ＲＩも同様に求める。ここで更新した行列ＲＴｃ（ｆ）とＲＩｃ（ｆ）から一般化固有値問題を解きフィルタ係数ｗｃを求める。更新した行列ＲＴｃとＲＩｃとｒを対応させてフレーム記憶部２１に記録する。フィルタ係数ｗｃも端末固有番号と対応させて記録する。一般化固有値問題を解きフィルタ係数ｗｃを求めない場合は、フレーム記憶部２１からｒが新しいフィルタ係数ｗｃを受け取る。
【００９３】
フィルタリング部１６４は、フレーム記憶部２１から読み出したフィルタ係数ｗｃ（ｆ）、およびフレーム記憶部２１から読み出した振幅スペクトルベクトルＡ（ｆ，ｒ）を入力として受け取る。フィルタリング部１６４は、振幅スペクトルベクトルＡ（ｆ，ｒ）を構成する複数個の振幅スペクトルＡ（１，ｆ，ｒ），…，Ａ（Ｋ，ｆ，ｒ）に対し、フィルタ係数ｗｃ（ｆ）＝［ｗｃ（ｆ，１），…，ｗｃ（ｆ，Ｋ）］によるフィルタリングを行い、処理後振幅スペクトルＡｃ’（ｆ，ｒ）を得て出力する。例えばフィルタリング部１６４は、以下の式（１５）のように、フィルタ係数ｗｃ（ｆ）と振幅スペクトルベクトルＡ（ｆ，ｒ）との内積を処理後振幅スペクトルＡｃ’（ｆ，ｒ）として得る。
【００９４】
【数１０】
2016029428.tif 000012
【００９５】
以上の処理により、複数個の振幅スペクトルＡ（１，ｆ，ｒ），…，Ａ（Ｋ，ｆ，ｒ）に対し、強調信号区間分類に属するＳ／ＮベクトルＰＶ（ｒ）に対応する振幅スペクトルを強調する処理が行われ、複数個の処理後振幅スペクトルＡｃ’（ｆ，ｒ）が得られる。
【００９６】
位相付与部１６６は、処理後振幅スペクトルＡｃ’（ｆ，ｒ）に、それに対応する位相スペクトルφ（ｋｃ，ｒ，ｆ，ｒ）を付与して複素スペクトルを得て出力する。この実施形態では、位相付与部１６６は、フレーム記憶部２１から各フレームｒおよび各分類ラベル番号ｃに対応する端末固有番号ｋｃ，ｒを読み出す。位相付与部１６６は、スペクトル算出部１６２から全チャネルｋに対応する位相スペクトルφ（ｋ，ｆ，ｒ）を直接受け取り、それらから端末固有番号ｋｃ，ｒに対応する位相スペクトルφ（ｋｃ，ｒ，ｆ，ｒ）を選択する。この実施形態では、フレームｒで同期して処理を行っているためバッファするための記憶部等は不要である。さらに位相付与部１６６は、フィルタリング部１６４から出力された処理後振幅スペクトルＡｃ’（ｆ，ｒ）を入力として受け取る。位相付与部１６６は、以下の式（１６）のように処理後振幅スペクトルＡｃ’（ｆ，ｒ）に位相スペクトルφ（ｋｃ，ｒ，ｆ，ｒ）を付与し、複素スペクトルＹｃ（ｆ，ｒ）を得て出力する。
【００９７】
【数１１】
2016029428.tif 000013
【００９８】
ただし、ｉは虚数単位であり、ｅｘｐは指数関数である。
【００９９】
時間領域変換部１６７は、複素スペクトルＹｃ（ｆ，ｒ）を入力として受け取り、複素スペクトルＹｃ（ｆ，ｒ）を時間領域に変換して強調音響信号ｙｃ（ｎ，ｒ）（ｎ＝０，…，Ｌ−１）を得る。ただし、ｎはサンプル点を表すインデックスである。時間領域に変換する方法としては、例えば逆フーリエ変換を用いることができる。さらに時間領域変換部１６７は、オーバーラップアド法を用いて強調音響信号ｙｃ（ｎ，ｒ）（ｎ＝０，…，Ｌ−１）を合成して時間領域の音響信号波形を得て出力する。分類ラベル番号ｃが複数存在する場合、時間領域変換部１６７は、各分類ラベル番号ｃに対応する音響信号波形を複数出力する。または、各分類ラベル番号ｃに対応する音響信号波形の同じサンプル点ごとの加算値を出力してもよい。
【０１００】
マイクアレイ制御部１６は、Ｓ／Ｎベクトル生成部１６１２が生成したＳ／ＮベクトルＰＶ、ベクトル分類部１６１３が生成したラベルθｒ、スペクトル算出部１６２が求めたスペクトルベクトルＸ（ｋ，ｆ，ｒ）を端末選択部２２へ受け渡す。
【０１０１】
ステップＳ２２において、端末選択部２２は、マイクアレイ制御部１６のフレーム分割部１６０からフレームｒの情報を受取る。フレームｒの情報を受け取ることで、端末選択部２２はマイクアレイ制御部１６と処理を同期して行うことができる。
【０１０２】
端末選択部２２は定期的に利用するクライアント装置３を更新する処理を行う。更新のフレームサイズをＮｒとする。例えばｒが１０００フレーム単位で更新を行う場合は、Ｎｒ＝１０００となる。１０００フレームは１６ｋＨｚサンプリングでフレーム分割のサイズが１０２４ポイントのときに６４秒を表す。
【０１０３】
端末選択部２２は、フレーム記憶部２１からベクトル分類部１６１３で分類されたラベルの出現頻度Σθ、スペクトル算出部１６２からスペクトルベクトルＸ（ｋ，ｆ，ｒ）を受け取る。分類されたラベルの出現頻度Σθは、ラベルθの出現頻度を表す。フレームｒのときにラベルθを受け取った場合、Σθの値に１加算していくスカラー値である。
【０１０４】
【数１２】
2016029428.tif 000014
【０１０５】
端末選択部２２では接続するクライアント装置３の上限数Ｍを任意で設定する。接続しているクライアント装置３の数が上限数Ｍ以下であれば処理を行わない。
【０１０６】
接続しているクライアント装置３が上限数Ｍを超える場合は以下の処理を行う。ラベルの出現頻度Σθが０ではないクライアント装置３がＭ以上存在する場合は、上位Ｍのラベルθを選択し、そのラベルθに対応するクライアント装置３の端末固有番号を接続端末番号に記録する。この接続端末番号と、接続端末番号に含まれない端末固有番号からなる破棄端末番号を接続制御部１０に渡す。
【０１０７】
ラベルの出現頻度Σθが０ではないクライアント装置３がＭ未満の場合、ラベルの出現頻度Σθが０ではないラベルθを選択し、そのラベルθに対応する端末の端末固有番号を接続端末番号に記録する。次に、ラベルの出現頻度Σθが最も大きいラベルθを選択し、これをｋｔとする。音響信号は観測されたものの接続端末番号に記録されなかったクライアント装置３の番号をｋｏとする。ｋｔとｋｏ＝｛ｋ｝ｋ≠ｋｔ，ｋ≠接続端末番号に対応するクライアント装置３で観測された音響信号間の音響的な距離をそれぞれ計算する。音響的な距離尺度をＳＤ（ｋｏ，ｒ；ｋｔ）とする。ＳＤ（ｋｏ，ｒ；ｋｔ）はフレームｒでのｋｏとｋｔの音響的な距離尺度を示す。距離尺度は、例えば、次式で定義されるＩダイバージェンス距離や、
【０１０８】
【数１３】
2016029428.tif 000015
【０１０９】
次式で定義される板倉−斉藤距離や、
【０１１０】
【数１４】
2016029428.tif 000016
【０１１１】
ケプストラム距離などを用いる。ケプストラム距離はＸ（ｋ，ｆ，ｒ）の対数をとり逆フーリエ変換したものをＣ（ｋ，ｆ，ｒ）として、
【０１１２】
【数１５】
2016029428.tif 000017
【０１１３】
とする。考慮するフレームｒの長さは任意の長さＲをとり、長さＲの平均値ＳＤｍｅａｎを求める。長さＲは複数の音源の情報を取得するためにＲ＞１０００とする。
【０１１４】
【数１６】
2016029428.tif 000018
【０１１５】
音響的な距離尺度は値が大きくなるほど観測信号の性質が異なることを示している。ラベルの出現回数によるクライアント装置３の選択方法では、フレームｒで観測された音響信号を最も高いＳ／Ｎで観測したクライアント装置３の端末固有番号を選択することができる。
【０１１６】
しかし、後段で利用する音声強調処理は、各クライアント装置３で観測される音圧の差を利用して音声の強調を行う。そのため、クライアント装置３の配置が密集して配置されるよりも、クライアント装置３間の距離が大きく分散的に広く配置されていることが性能向上には望ましい。音源から遠くに配置されたクライアント装置３で収音できる音響信号は、部屋の残響や雑音の混入によって音源に近い最も高いＳ／Ｎで観測できた音響信号とは音響的な距離尺度が離れている。そのため、音響的な距離尺度が大きなクライアント装置３を選択することで距離の離れたクライアント装置３を優先的に選択することができる。この距離ＳＤｍｅａｎ（ｋｏ；ｋｔ）が最も大きくなるｋｏ＿ｍａｘ＝ｍａｘｋｏＳＤｍｅａｎ（ｋｏ；ｋｔ）を接続端末番号に記録する。次に、ｋｔに出現回数が次に多いクライアント装置３を選び同様の処理を行ない、ｋｏ＿ｍａｘ＝ｍａｘｋｏＳＤｍｅａｎ（ｋｏ；ｋｔ）を接続端末番号に記録する。ｋｔとｋｏの探索は接続端末番号の数がＭになるまで行う。また、接続端末番号の数がＭ未満でｋｔの候補がなくなった場合は処理を終了する。この接続端末番号と、接続端末番号に含まれない端末固有番号からなる破棄端末番号を接続制御部１０に渡す。
【０１１７】
ホスト装置１の接続制御部１０は、端末選択部２２から接続端末番号と破棄端末番号を受け取る。破棄端末番号に対応するクライアント装置３の接続制御部３０に切断の通知を渡し、接続を遮断する。破棄端末番号がホスト装置１自体の端末固有番号であれば、通信の遮断は行わないが、音声取得部１２からの出力を遮断するなどの処理で同様に対応する。
【０１１８】
ステップＳ１７において、ホスト装置１の音声サービス処理部１７は、受け取った複数の処理後音響信号と発話者区間情報を利用し、提供している音声サービスに合わせた処理を施す。音声サービス処理部１７は、例えば、リアルタイムな音声コミュニケーションで利用するために、話者ごとの音声のパワーを調整する。音声サービス処理部１７は、また、発話者区間情報を利用して発話者が割り振られない音声に対しては、音声のパワーを小さくする。音声サービス処理部１７は、具体的には、係数Ｇを掛け合わせる。係数Ｇは、例えば０．１などの値を与える。また、発話者が割り振られる音声に対してはそれぞれの音声のパワーを求め、そのパワーが１になるよう係数Ｇを掛け合わせる。音声サービス処理部１７は、このようにそれぞれ掛け合わせて得た音声信号を足し合わせて処理後音響信号を出力する。また、音声信号を足し合わせることなく、そのまま複数の処理後音響信号を他地点へ送信してもよい。
【０１１９】
ステップＳ１８において、ホスト装置１のスピーカアレイ制御部１８は、他地点のホスト装置１の音声サービス処理部１７から受け取った音響信号を利用してスピーカアレイ処理を施し、処理後音響信号を生成する。例えば、音量や位相を制御することによりスピーカの指向性を高めエリア再生を実現する。また左右に音源を定位させるために、左右のスピーカの音量を調整し、話者がどちらから話しているかを把握することを可能にする。部屋の空間全体の音場をスピーカアレイによって制御し、スピーカが存在しない場所から音源が鳴っているような音場再生も可能にする。位相と音量を制御した処理後音響信号はパケット送信部１９に受け渡す。また、ホスト装置１のスピーカＳで再生する処理後音響信号は音声再生部２０に受け渡す。
【０１２０】
ステップＳ１９において、ホスト装置１のパケット送信部１９は、固定のポート番号とＩＰアドレスに対して指定したプロトコルで、指定したＰＣＭデータ長で音声パケットを送信する。ポート番号とＩＰアドレスは画面制御部１１で利用者が入力することもできる。また、接続制御部１０で要求パケットを送ってきたクライアント装置３のＩＰアドレスを指定することもできる。音声パケットの送信方法は、例えばＲＴＰで送信し、ＰＣＭデータ長を２０ミリ秒として送信する。また、送信する音声パケットは、例えばＩＰＳｅｃなどの暗号化技術によりセキュリティを確保した方法で送ってもよいし、所定の符号化方法により符号化して送信してもよい。符号化方法としては、可変ビットレートのＳＩＬＫやＯｐｕｓ、固定ビットレートのＧ．７１１などを適用することができる。音声パケットはクライアント装置３のパケット受信部３４に送信される。
【０１２１】
ステップＳ３４において、クライアント装置３のパケット受信部３４は、ホスト装置１のパケット送信部１９から送られてきた音声パケットを受信する。パケット受信部３４は、受信した音声パケットをバッファリングして音切れを減らす。また、音声パケットが暗号化されている場合は復号してＰＣＭ信号を得る。仮に、音声パケットに符号化が行われている場合は復号してデジタル信号のＰＣＭ信号に変換する。ＰＣＭ信号は音声再生部３５に受け渡す。
【０１２２】
ステップＳ２０において、ホスト装置１の音声再生部２０は、スピーカアレイ制御部１８から音声信号のデジタル信号を受け取る。このデジタル信号は、例えばＰＣＭ信号である。ＰＣＭ信号をデジタルアナログ（Ｄ／Ａ）変換器を用いてアナログ信号に変換し、ホスト装置１のスピーカＳを用いて再生を行う。
【０１２３】
ステップＳ３５において、クライアント装置３の音声再生部３５は、パケット受信部３４から音声信号のデジタル信号を受け取る。このデジタル信号は、例えばＰＣＭ信号である。ＰＣＭ信号をデジタルアナログ（Ｄ／Ａ）変換器を用いてアナログ信号に変換し、クライアント装置３のスピーカＳを用いて再生を行う。
【０１２４】
［変形例１］
ホスト装置１となるセットトップボックスと、クライアント装置３となるスマートフォンを同じＬＡＮ内に接続する。クライアント装置３を起動することで、ＬＡＮ内に特定のパケットをブロードキャストする。ホスト装置１は特定のパケットを受信することで、自身のＩＰアドレスを知らせるためクライアント装置３に対して特定のパケットを送信し接続を確立する。
【０１２５】
クライアント装置３は、音声入力を有効にすることでホスト装置１に音声パケットを送信する。ホスト装置１では受け取った音声パケットを処理することで、クライアント装置３の音声も収音が可能になる。さらに、クライアント装置３を増やす場合は同様に同一ＬＡＮ内にクライアント装置３を接続し、ホスト装置１と接続する。このとき、ホスト装置１の接続制御部１０は複数の接続を許可してもよいし、後から接続してきたクライアント装置３の接続を拒否する処理を行ってもよいし、最初に接続していたクライアント装置３の接続を拒否し、後に接続してきたクライアント装置３の接続を許可してもよい。マイクアレイ制御部１６は、接続制御部１０によって新たなクライアント装置３が接続されたときに、再度フィルタの係数を求める。
【０１２６】
［変形例２］
クライアント装置３とホスト装置１の音声の伝送に可変ビットレートのコーデックであるＳＩＬＫを利用したサイズの圧縮と、この発明を利用した音声強調を行う。この構成の効果を確認するために以下の構成で実験を実施し、音質とデータ量の測定を行った。クライアント装置３としてスマートフォン５台を利用する。各クライアント装置３では１６ｋＨｚサンプリングで音声を収音し、ＳＩＬＫで符号化する。符号化した音声をホスト装置１に伝送する。ホスト装置１では符号化を復号し、この発明の処理を行う。
【０１２７】
結果を表１に示す。ＳＩＬＫを利用して符号化しても、この発明の音声強調を用いることで性能の劣化はなかったことがわかる。また、無圧縮ＰＣＭのサイズ５３２ｋＢから、４８ｋＢまでサイズを圧縮することができたことがわかる。
【０１２８】
【表１】
2016029428.tif 000019
【０１２９】
このように、この発明の音声収音再生技術では、各クライアント装置で観測される音響信号のＳ／Ｎが発話者の近くでは大きくなるという仮定のもと、発話者の発話に割り振られたラベルの出現頻度から処理するクライアント装置を選ぶ。併せて、Ｓ／Ｎが高い端末から距離が離れた端末を選択するために、音響特徴の距離が遠いクライアント装置を選択する。これにより、音声強調処理の効果を引き出すとともに、広い範囲の音を収音することが可能となる。また、この処理によりクライアント装置が発話者の側だけに密集する状況を避け、決められた台数内の範囲で品質を高めるクライアント装置を選択することができる。
【０１３０】
処理するクライアント装置の台数を制限することで、演算量のリソースも最大限活用することができる。また、クライアント装置の接続の制御を行うことで、フィルタ係数の再計算のタイミング及び逐次的な行列保持により増減があっても性能を維持することができる。
【０１３１】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１３２】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１３３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１３４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１３５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１３６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【０１３７】
１  ホスト装置
３  クライアント装置
５  音声収音再生システム
９  通信網
１０、３０  接続制御部
１１、３１  画面制御部
１２、３２  音声取得部
１３、３４  パケット受信部
１４  エコーキャンセラ部
１５  信号バッファ部
１６  マイクアレイ制御部
１７  音声サービス処理部
１８  スピーカアレイ制御部
１９、３３  パケット送信部
２０、３５  音声再生部
２１  フレーム記憶部
２２  端末選択部
１６０  フレーム分割部
１６１  区間分類部
１６２  スペクトル算出部
１６３  フィルタ係数算出部
１６４  フィルタリング部
１６５  加算器
１６６  位相付与部
１６７  時間領域変換部
１６１０  ＶＡＤ判定部
１６１１  非音声データ記憶部
１６１２  Ｓ／Ｎベクトル生成部
１６１３  ベクトル分類部
【図１】
2016029428.tif 000020
【図２】
2016029428.tif 000021
【図３】
2016029428.tif 000022
【図４】
2016029428.tif 000023
【図５】
2016029428.tif 000024
【図６】
2016029428.tif 000025
【図７】
2016029428.tif 000026