(57)【要約】【課題】汎用の端末装置を自由に配置して取得した音響信号を利用して、特定の音を強調し雑音を抑圧する。【解決手段】音声取得部３１は、収音手段３０１により収音した音響信号をサーバ１へ送信する。映像取得部３２は、撮影手段により撮影した映像信号をサーバ１へ送信する。音声処理部１３は、複数チャネルの音響信号を入力とし、所定の音声処理により送信音響信号を生成する。映像選択部１５は、複数個の映像信号から任意に選択した送信映像信号を決定する。音声配信部２２は、複数チャネルの音響信号を入力として所定の音声処理により生成した配信音響信号を複数のクライアント３へ送信する。映像配信部２４は、複数個の映像信号から任意に選択された配信映像信号を複数のクライアント３へ送信する。音声再生部３３は、配信音響信号を再生する。映像表示部３４は、配信映像信号を表示する。【選択図】図２
2014110546.tif 000002
【特許請求の範囲】
【請求項１】
収音手段と撮影手段を含む複数のクライアントとサーバとを含むビデオ会議システムであって、
前記クライアントは、
前記収音手段により収音した音響信号を前記サーバへ送信する音声取得部と、
前記撮影手段により撮影した映像信号を前記サーバへ送信する映像取得部と、
前記サーバから受信する配信音響信号を再生する音声再生部と、
前記サーバから受信する配信映像信号を表示する映像表示部と、
を含み、
前記サーバは、
前記複数のクライアントから受信する複数チャネルの音響信号を入力とし、所定の音声処理により送信音響信号を生成する音声処理部と、
前記複数のクライアントから受信する複数個の映像信号から任意に選択した送信映像信号を決定する映像選択部と、
複数チャネルの音響信号を入力として前記所定の音声処理により生成した前記配信音響信号を前記複数のクライアントへ送信する音声配信部と、
複数個の映像信号から任意に選択された前記配信映像信号を前記複数のクライアントへ送信する映像配信部と、
を含み、
前記音声処理部は、
前記複数チャネルの音響信号を入力とし、チャネルごとに音声区間の前記音響信号の大きさを非音声区間の前記音響信号の大きさで正規化した特徴量を得る特徴量列取得部と、
前記複数チャネルに対して得られた特徴量からなる特徴量列をクラスタリングし、前記特徴量列が属する信号区間分類を決定する分類部と、
複数個の時間区間のそれぞれで前記音響信号を周波数領域に変換し、複数個の振幅スペクトルと位相スペクトルとを得るスペクトル算出部と、
前記複数個の振幅スペクトルに対し、前記信号区間分類のいずれかである強調信号区間分類に属する特徴量列に対応する振幅スペクトルを強調する処理を行い、複数個の処理後振幅スペクトルを得る強調処理部と、
前記処理後振幅スペクトルに前記位相スペクトルを付与して複素スペクトルを得る位相付与部と、
を含むビデオ会議システム。
【請求項２】
請求項１に記載のビデオ会議システムであって、
前記サーバは、前記送信映像信号に基づいて所定の情報を表示するための要求信号を前記複数のクライアントへ送信するコマンド送信部を含み、
前記クライアントは、前記要求信号に従って前記送信映像信号に基づく所定の情報を表示するコマンド受信部を含む
ビデオ会議システム。
【請求項３】
請求項２に記載のビデオ会議システムであって、
前記コマンド受信部は、前記送信映像信号がどのクライアントが取得した映像信号かを示す情報を表示する
ことを特徴とするビデオ会議システム。
【請求項４】
請求項１から３のいずれかに記載のビデオ会議システムであって、
前記クライアントは、スマートフォンである
ことを特徴とするビデオ会議システム。
【請求項５】
請求項１から４のいずれかに記載のビデオ会議システムであって、
前記強調処理部は、
前記強調信号区間分類に属する特徴量列に対応する振幅スペクトルを強調するフィルタリングのためのフィルタ係数を算出するフィルタ係数算出部と、
前記複数個の振幅スペクトルに対し、前記フィルタ係数によるフィルタリングを行い、前記処理後振幅スペクトルを得るフィルタリング部と、
を含むビデオ会議システム。
【請求項６】
請求項１から５のいずれかに記載のビデオ会議システムであって、
前記特徴量は、前記非音声区間の前記音響信号の大きさに対する前記音声区間の前記音響信号の大きさの比を表す
ことを特徴とするビデオ会議システム。
【請求項７】
請求項１から６のいずれかに記載のビデオ会議システムであって、
前記音声処理部は、
前記複数チャネルの音響信号をサンプリング周波数変換し、特定のサンプリング周波数の変換音響信号を得るサンプリング周波数変換部と、
前記変換音響信号をチャネル間で同期させ、前記音響信号を得る信号同期部と、
を含むビデオ会議システム。
【請求項８】
請求項１から７のいずれかに記載のビデオ会議システムであって、
前記音声処理部は、前記複素スペクトルを時間領域に変換して前記送信音響信号を得る時間領域変換部
を含むビデオ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自由に配置した複数のクライアントで収音した音響信号から特定の音を強調し雑音を抑圧するビデオ会議技術に関する。
【背景技術】
【０００２】
電話会議装置やビデオ会議装置には、特定話者の音声や特定方向のみの音声を強調し雑音を抑えるために音声強調装置が使われている。音声強調装置は、複数のマイクのサンプリング周波数が同期して収音ができるマイクアレーを利用し、マイクに到達する音の到来時間差を求める。例えば、非特許文献１には、音の到来時間差から音源の方向を推定し、位相を揃えて加算することで特定方向の音を強調することができるビームフォーミングの技術が記載されている。また、非特許文献２には、音源方向から話者を区別し特定話者の音声とその他の雑音のパワー比が最大になるフィルタを設計して特定話者の音声を強調する技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Yusuke Hioka, Kazunori Kobayashi, Ken’ichi Furuya, and Akitoshi Kataoka, “Enhancement of Sounds in a Specific Directional Area using Power Spectra Estimated from Multiple Beamforming Outputs”, HSCMA, pp.49-52, 2008.
【非特許文献２】小笠原基, 石塚健太郎, 荒木章子, 藤本雅清, 中谷智広, 大塚和弘, “SN比最大化ビームフォーマを用いたオンライン会議音声強調”, 日本音響学会2009年春季研究発表会講演論文集, pp.695-698, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のビデオ会議で使われる音声強調装置では、マイクアレーを利用して音源方向に基づいて音響信号区間を分類する手法が用いられていた。このような手法では、複数のマイクで録音するサンプリング周波数が同期されている必要があり、またマイクの相対位置関係が既知である必要があった。そのため、マイクアレーが搭載された専用のビデオ会議用端末が必要であった。
【０００５】
この発明はこのような点に鑑み、専用のビデオ会議用端末を利用することなく、汎用の端末装置を自由に配置して取得した音響信号を利用して、特定の音を強調し雑音を抑圧することができるビデオ会議技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、この発明のビデオ会議システムは、収音手段と撮影手段を含む複数のクライアントとサーバとを含む。
【０００７】
クライアントは、収音手段により収音した音響信号をサーバへ送信する音声取得部と、撮影手段により撮影した映像信号をサーバへ送信する映像取得部と、サーバから受信する配信音響信号を再生する音声再生部と、サーバから受信する配信映像信号を表示する映像表示部とを含む。
【０００８】
サーバは、複数のクライアントから受信する複数チャネルの音響信号を入力とし、所定の音声処理により送信音響信号を生成する音声処理部と、複数のクライアントから受信する複数個の映像信号から任意に選択した送信映像信号を決定する映像選択部と、複数チャネルの音響信号を入力として所定の音声処理により生成した配信音響信号を複数のクライアントへ送信する音声配信部と、複数個の映像信号から任意に選択された配信映像信号を複数のクライアントへ送信する映像配信部とを含む。
【０００９】
音声処理部は、複数チャネルの音響信号を入力とし、チャネルごとに音声区間の音響信号の大きさを非音声区間の音響信号の大きさで正規化した特徴量を得る特徴量列取得部と、複数チャネルに対して得られた特徴量からなる特徴量列をクラスタリングし、特徴量列が属する信号区間分類を決定する分類部と、複数個の時間区間のそれぞれで音響信号を周波数領域に変換し、複数個の振幅スペクトルと位相スペクトルとを得るスペクトル算出部と、複数個の振幅スペクトルに対し、信号区間分類のいずれかである強調信号区間分類に属する特徴量列に対応する振幅スペクトルを強調する処理を行い、複数個の処理後振幅スペクトルを得る強調処理部と、処理後振幅スペクトルに位相スペクトルを付与して複素スペクトルを得る位相付与部とを含む。
【発明の効果】
【００１０】
この発明のビデオ会議技術によれば、クライアントの配置やマイク感度の違いに依らず特定話者の音声の強調・抽出および雑音抑圧をすることが可能になる。また、音声だけでなくクライアントに搭載されているカメラから映像を取得することで、主として話している利用者の映像を各クライアントに配信してビデオ会議を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】ビデオ会議システムの機能構成を例示する図。
【図２】サーバおよびクライアントの機能構成を例示する図。
【図３】音声処理部の機能構成を例示する図。
【図４】クライアントの構成を例示する図。
【図５】サーバおよびクライアントの処理フローを例示する図。
【図６】映像選択部の構成を例示する図。
【図７】音声処理部の処理フローを例示する図。
【発明を実施するための形態】
【００１２】
この発明は、様々なサンプリング周波数やマイク感度の収音手段を含む複数のクライアントから取得した複数チャネルの音響信号を処理することで、特定話者の音声の強調と雑音を抑圧した音声を受聴することができるビデオ会議システムである。さらに、この発明は、クライアントに含まれる撮影手段からの映像信号をサーバに送ることで、現在どのクライアントに含まれる収音手段で取得した音が主として収音されているのかを、撮影手段で取得した複数の映像を利用して提示するインターフェース、およびビデオ会議を行うために配信する映像を選択する技術を含んでいる。
【００１３】
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１４】
［実施形態］
この実施形態は、自由に配置したサンプリング周波数やマイク感度の異なる複数のスマートフォンから取得した音響信号を利用したハンズフリーのビデオ会議システムである。
【００１５】
＜ビデオ会議システムの構成＞
図１を参照して、この実施形態のビデオ会議システム１０の構成例を説明する。ビデオ会議システム１０は、サーバ１とK(>1)台のクライアント３1,…,３Kとを含む。サーバ１とクライアント３1,…,３Kはネットワーク５に接続される。ネットワーク５は、接続される各装置が相互に通信可能なように構成されていればよく、例えばインターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などで構成することができる。また、ネットワーク５を構成する物理媒体は有線／無線の別を問わず、無線ＬＡＮ、３ＧやＬＴＥなどに代表される携帯電話回線、Bluetooth(登録商標)などを利用してもよい。
【００１６】
ビデオ会議システム１０は少なくとも2組で連携することによりビデオ会議を実現する。図１に示す通り、ビデオ会議システム１０Aとビデオ会議システム１０Bとによりビデオ会議を実現する場合、ビデオ会議システム１０Aのクライアント３1,…,３Kが配置された空間とビデオ会議システム１０Bのクライアント３1,…,３Kが配置された空間とはそれぞれ異なる空間である。ビデオ会議システム１０Aのサーバ１とビデオ会議システム１０Bのサーバ１は共にネットワーク６に接続される。ネットワーク６は、接続される各装置が相互に通信可能なように構成されていればよく、例えばインターネット、ＷＡＮ（Wide Area Network）、公衆交換電話網、専用線などで構成することができる。ビデオ会議システム１０Aに含まれるクライアント３の数とビデオ会議システム１０Bに含まれるクライアント３の数とは同一であってもよいし、異なっていてもよい。この実施形態ではビデオ会議システム１０が2組の場合を例として説明するが、3組以上のビデオ会議システム１０を用いて3つ以上の空間が1つのビデオ会議に参加しても構わない。
【００１７】
図２を参照して、この実施形態のサーバ１とクライアント３1,…,３Kの構成例を説明する。サーバ１は、K個の音声受信部１１1,…,１１K、K個の映像受信部１２1,…,１２K、音声処理部１３、音声送信部１４、映像選択部１５、映像送信部１６、端末管理部１７、音声取得部２１、音声配信部２２、映像取得部２３、映像配信部２４、コマンド送信部２５を含む。この実施形態のサーバ１は、例えばＣＰＵ（central processing unit）やＲＡＭ（random access memory）等を備える公知のコンピュータに所定のプログラムが読み込まれて構成される特別な装置である。サーバ１に入力されたデータおよび処理されたデータは、図示していないメモリに格納され、必要に応じて処理部から読み出される。
【００１８】
クライアント３1,…,３Kはそれぞれ、音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４、コマンド受信部３５、設定部３６、制御部３７、マイク等の収音手段３０１、カメラ等の撮影手段３０２、スピーカ等の再生手段３０３、液晶ディスプレイ等の表示手段３０４を含む。クライアント３1,…,３Kの位置や互いの相対位置は、未知であってもよいし、既知であってもよい。クライアント３1,…,３Kは互いに独立に動作する。収音手段３０１のマイク感度は、互いに異なっていてもよいし、同一であってもよい。また、収音手段３０１のサンプリング周波数は、互いに異なっていてもよいし、同一であってもよい。クライアント３1,…,３Kは収音手段と撮影手段と再生手段と表示手段を有している装置であればどのようなものであってもよい。クライアント３1,…,３Kの具体例は、スマートフォン、携帯電話端末、ラップトップコンピュータなどの汎用の端末装置である。
【００１９】
図３を参照して、音声処理部１３の構成例をより詳細に説明する。音声処理部１３は、入力部１０１、サンプリング周波数変換部１０２、信号同期部１０３、フレーム分割部１０４、ＶＡＤ判定部１０５、非音声パワー記憶部１０６、Ｓ／Ｎベクトル生成部１０７（特徴量列取得部）、ベクトル分類部１０８（分類部）、スペクトル算出部１０９、振幅スペクトル記憶部１１０、位相スペクトル記憶部１１１、フィルタ係数算出部１１２（強調処理部）、フィルタ係数記憶部１１３、フィルタリング部１１４（強調処理部）、位相付与部１１５、時間領域変換部１１６を含む。
【００２０】
図４を参照して、クライアント３1,…,３Kの構成例をより具体的に説明する。この具体例はクライアント３1,…,３Kをスマートフォンとして構成した場合の例である。クライアント３k(1≦k≦K)は、本体下端付近に収音手段としてマイク３０１を内蔵し、本体上端付近に撮影手段としてカメラ３０２を本体前面へ配置し、再生手段としてスピーカ３０３を本体前面へ配置し、本体前面の広範囲にわたり表示手段として矩形の液晶ディスプレイ３０４を配置する。また液晶ディスプレイは位置入力機能を備えたタッチパネルであることが望ましいが、テンキーや十字キー等の他のポインティングデバイスを備えていても構わない。この実施形態では、液晶ディスプレイ３０４上を複数の領域に分割し、それぞれ異なる情報を表示できるように構成する。この実施形態では、表示領域１（３０４１）、表示領域２（３０４２）、操作領域（３０４３）、フレーム枠（３０４４）に分割した例を用いて説明する。
【００２１】
＜ビデオ会議システムの処理＞
図５を参照して、この実施形態のビデオ会議システム１０の動作例を説明する。
【００２２】
クライアント３k(1≦k≦K)の備える設定部３６は、クライアント３kが動作するために必要な設定情報を保持し、必要に応じて各部に設定情報を提供する。設定情報は、例えば、サーバ１のIPアドレスの指定や、サーバ１の備える音声受信部１１1,…,１１Kおよび映像受信部１２1,…,１２Kのポート番号、などである。また、クライアント３kがスマートフォンであれば、撮影手段３０２として前面（フロント）のカメラを使用するか背面（リア）のカメラを使用するかの選択なども含まれ得る。設定情報は表示手段３０４を通じて利用者に呈示される設定画面から入力することができる。設定画面は、例えば、操作領域（３０４３）に「メニュー」ボタンを表示して利用者によるメニュー選択に応じて起動できるようにすればよい。
【００２３】
クライアント３kの備える制御部３７は、クライアント３kの備える各部に対して処理の開始もしくは停止を指示する制御信号を送信する。クライアント３kの利用者は、クライアント３kの操作領域（３０４３）に表示されるボタン操作により送信すべき制御信号を選択することができる。具体的には、クライアント３kは起動直後に操作領域（３０４３）に「開始」ボタンを表示して、利用者のボタン押下により、音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４に対して開始を指示する制御信号を送信する。この際同時に「開始」ボタンは「停止」ボタンに再描画される。開始を指示する制御信号を受信した音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４はそれぞれの処理を開始する。その後に利用者が「停止」ボタンを押下することで、音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４に対して停止を指示する制御信号を送信する。停止を指示する制御信号を受信した音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４はそれぞれの処理を停止する。以降の説明では、音声取得部３１、映像取得部３２、音声再生部３３、映像表示部３４はすでに制御部３７より開始を指示する制御信号を受信し処理を開始している状態であることを前提とする。
【００２４】
サーバ１の備える端末管理部１７は、通信を行なっているクライアント３1,…,３Kの数を管理する。音声受信部１１kもしくは映像受信部１２kへクライアント３k(1≦k≦K)からの通信が開始されると、通信開始の通知を受けて接続元のクライアント３kのIPアドレスを管理対象として追加する。すでに接続可能なクライアント数を超過しているなど管理対象の追加ができない場合には、音声受信部１１1,…,１１Kおよび映像受信部１２1,…,１２Kへ管理不能である旨を通知する。したがって、端末管理部１７はサーバ１が通信しているクライアント３1,…,３KのIPアドレスの最新値を保持している。
【００２５】
クライアント３kの備える音声取得部３１は、収音手段３０１を用いて観測した音をそれぞれのサンプリング周波数でＡ／Ｄ変換し、複数個のサンプル点でのデジタル音響信号xk(ik)を取得する（ステップＳ３１）。ただし、ikは時間領域のサンプル点を表す整数のインデックスである。すなわち、xk(ik)は、インデックスikで表されるサンプル点のデジタル音響信号を表す。デジタル音響信号xk(ik)の形式はどのような形式であってもよいが、この実施形態ではサンプリング周波数16kHz、量子化ビット数16bitのモノラルＰＣＭ（pulse code modulation）とする。
【００２６】
クライアント３kの音声取得部３１で得られたデジタル音響信号xk(ik)に対応する処理を行う処理系列をチャネルkと呼ぶ。すなわち、チャネルkはデジタル音響信号xk(ik)およびデジタル音響信号xk(ik)から得られる値を取り扱う。この実施形態ではK個のチャネルk=1,…,Kが存在する。
【００２７】
取得したデジタル音響信号xk(ik)はサーバ１Aへ送信される。送信プロトコルは公知の通信プロトコルを用いることができるが、この実施形態ではＲＴＰ（Real-time Transport Protocol）を用いるものとする。送信時の宛先ポート番号は設定部３７により予め設定されたポート番号である。具体的には、クライアント３1であればサーバ１の6100番ポート、クライアント３2であればサーバ１の6102番ポート、クライアント３kであればサーバ１の(6100+2(k-1))番ポートのように、規則的に順番に割り当てればよい。ただし、これに限定されず、サーバ１上で重複しない限り任意のポート番号を割り当てることができる。また、ＲＴＰで送信する場合のデータ長は任意に設定可能であるが、例えば20ミリ秒単位とすればよい。
【００２８】
サーバ１の備える音声受信部１１kは、クライアント３kから送信されるデジタル音響信号xk(ik)を受信する（ステップＳ１１）。音声受信部１１kは通信開始時に送信元のIPアドレスを端末管理部１７へ通知する。端末管理部１７により管理不能である旨の応答があった場合には受信したパケットを破棄し処理を終了する。音声受信部１１1,…,１１Kが受信したKチャネルのデジタル音響信号x1(i1),…,xK(iK)は音声処理部１３へ入力される。音声受信部１１kは必要に応じてデジタル音響信号xk(ik)をバッファリングしながら音声処理部１３へ入力してもよい。
【００２９】
クライアント３kの備える映像取得部３２は、撮影手段３０２を用いて指定したフォーマットのデジタル映像信号vk(ik)を取得する（ステップＳ３２）。ただし、ikは時間領域のサンプル点を表す整数のインデックスである。すなわち、vk(ik)は、インデックスikで表されるサンプル点のデジタル映像信号を表す。デジタル映像信号vk(ik)の形式はどのような形式であってもよいが、この実施形態では予め定めたサイズの静止画像を定期的に撮影するものとする。より具体的にはQVGAサイズ（320×240ピクセル）のJPEG圧縮した静止画像を100ミリ秒ごとに撮影する。
【００３０】
取得したデジタル映像信号vk(ik)はサーバ１へ送信される。送信プロトコルは公知の通信プロトコルを用いることができるが、この実施形態ではＵＤＰ（User Datagram Protocol）を用いるものとする。送信時の宛先ポート番号は設定部３７により予め設定されたポート番号である。具体的には、クライアント３1であればサーバ１の6200番ポート、クライアント３2であればサーバ１の6202番ポート、クライアント３kであればサーバ１の(6200+2(k-1))番ポートのように、規則的に順番に割り当てればよい。ただし、これに限定されず、サーバ１上で重複しない限り任意のポート番号を割り当てることができる。送信するUDPパケットにはシーケンス番号を付与する。撮影する画像サイズはUDPプロトコルにおけるパケットサイズの上限である64KBを超過しないようにし、1枚の画像が複数のUDPパケットに分割されないようにするのが望ましい。
【００３１】
サーバ１の備える映像受信部１２kは、クライアント３kから送信される入力デジタル映像信号vk(ik)を受信する（ステップＳ１２）。映像受信部１２kは通信開始時に送信元のIPアドレスを端末管理部１７へ通知する。端末管理部１７により管理不能である旨の応答があった場合には受信したパケットを破棄し処理を終了する。映像受信部１２1,…,１２Kが受信したKチャネルのデジタル映像信号v1(i1),…,vK(iK)は映像選択部１５へ入力される。この実施形態では、受信したUDPパケットから1枚のJPEG圧縮の静止画像が得られる度に映像選択部１５へ入力される。
【００３２】
サーバ１の備える音声処理部１３は、Kチャネルのデジタル音響信号x1(i1),…,xK(iK)に対して所定の音声処理を行うことにより特定の音声を強調し雑音を抑圧した送信音響信号yc(n)を生成する（ステップＳ１３）。ただし、nはサンプル点を表す整数のインデックスである。cは音を強調する信号区間分類（強調信号区間分類）を表す分類ラベル番号である。分類ラベル番号については後述する。また、音声処理部１３の行う「所定の音声処理」についての詳細も後述する。送信音響信号yc(n)は音声送信部１４へ入力される。
【００３３】
サーバ１の備える音声送信部１４は、ビデオ会議に参加する他のビデオ会議システム１０に含まれるサーバ１へ、入力された送信音響信号yc(n)を送信する（ステップＳ１４）。3組以上のビデオ会議システム１０を用いてビデオ会議を実施する場合には、同一の送信音響信号yc(n)をそれぞれのサーバ１へ送信すればよい。
【００３４】
サーバ１の備える映像選択部１５は、K台のクライアント３1,…,３Kから受信するK個のデジタル映像信号v1(i1),…,vK(iK)から任意に選択した送信映像信号w(n)を決定する（ステップＳ１５）。ただし、nはサンプル点を表すインデックスである。送信映像信号w(n)は映像送信部１６へ入力される。送信映像信号w(n)の選択は、サーバ１の備えるディスプレイ等の表示部（図示せず）もしくはクライアント３1,…,３Kのいずれかが備える表示部３０４における利用者の操作により行われる。
【００３５】
図６を参照して、送信映像信号w(n)を選択する操作例を説明する。図６の例はサーバ１の備える表示部において操作する場合の例である。映像選択部１５は端末管理部１７からクライアント３1,…,３Kのうち通信中であるクライアントの数を取得し、端末数の数に合わせてデジタル映像信号v1(i1),…,vK(iK)を縮小してアイコン化した画像を埋め込んだ操作画面を生成する。操作画面の「サーバのIP番号」欄にはサーバ１のIPアドレスを表示する。「受信画像」欄にはクライアント３1,…,３Kから受信したデジタル映像信号v1(i1),…,vK(iK)を縮小した画像を並べて表示する。またデジタル映像信号v1(i1),…,vK(iK)の近傍には対応するクライアント３1,…,３KのIPアドレスを表示する。利用者の操作により「受信画像」欄のいずれかの画像が選択されると、送信映像信号w(n)が決定される。サーバ１に接続するクライアントが1台である場合には、その1台が自動的に選択されるようにしてもよい。選択された送信映像信号w(n)は「送信画像」欄に表示される。
【００３６】
クライアント３kの備える表示部３０４における利用者の操作により送信映像信号w(n)を選択する場合には、図６に示す操作画面例と同様の操作画面を図４に示す表示領域２（３０４２）へ表示し、利用者の操作により選択された映像を映像選択部１５へ通知するように構成すればよい。
【００３７】
サーバ１の備える映像送信部１６は、ビデオ会議に参加する他のビデオ会議システム１０に含まれるサーバ１へ、入力された送信映像信号w(n)を送信する（ステップＳ１６）。3組以上のビデオ会議システム１０を用いてビデオ会議を実施する場合には、同一の送信映像信号w(n)をそれぞれのサーバ１へ送信すればよい。
【００３８】
サーバ１の備える音声取得部２１は、ビデオ会議に参加する他のビデオ会議システム１０に含まれるサーバ１の音声送信部１４が送信した配信音響信号y’c(n)を受信する（ステップＳ２１）。受信した配信音響信号y’c(n)は音声配信部２２へ入力される。3組以上のビデオ会議システム１０を用いてビデオ会議を実施する場合には、他のビデオ会議システム１０から受信した複数の配信音響信号を多重化して配信音響信号y’c(n)とすればよい。
【００３９】
サーバ１の備える音声配信部２２は、K台のクライアント３1,…,３Kに配信音響信号y’c(n)を送信する（ステップＳ２２）。送信プロトコルは公知の通信プロトコルを用いることができるが、この実施形態ではＲＴＰ（Real-time Transport Protocol）を用いるものとする。送信先のIPアドレスは端末管理部１７より取得し、ポート番号は予め設定されたポート番号とする。ポート番号はクライアント３k上で重複しない限り任意のポート番号を使用することができる。例えばこの実施形態では6004番ポートとする。また、ＲＴＰで送信する場合のデータ長は任意に設定可能であるが、例えば20ミリ秒単位とすればよい。
【００４０】
クライアント３kは、音声再生部３３により配信音響信号y’c(n)を受信し、再生手段３０３を用いて、その配信音響信号y’c(n)を再生する（ステップＳ３３）。音声再生部３３は必要に応じて配信音響信号y’c(n)をバッファリングしながら再生してもよい。
【００４１】
サーバ１の備える映像取得部２３は、ビデオ会議に参加する他のビデオ会議システム１０に含まれるサーバ１の映像送信部１６が送信した配信映像信号w’(n)を受信する（ステップＳ２３）。受信した配信映像信号w’(n)は映像配信部２４へ入力される。3組以上のビデオ会議システム１０を用いてビデオ会議を実施する場合には、他のビデオ会議システム１０から受信した複数の配信映像信号をフレーム分割等の手法により1つの映像信号に合成して配信映像信号w’(n)とすればよい。
【００４２】
サーバ１の備える映像配信部２４は、K台のクライアント３1,…,３Kに配信映像信号w’(n)を送信する（ステップＳ２４）。送信プロトコルは公知の通信プロトコルを用いることができるが、この実施形態ではＵＤＰ（User Datagram Protocol）を用いるものとする。送信先のIPアドレスは端末管理部１７より取得し、ポート番号は予め設定されたポート番号とする。ポート番号はクライアント３k上で重複しない限り任意のポート番号を使用することができる。例えばこの実施形態では6001番ポートとする。送信するUDPパケットにはシーケンス番号を付与する。
【００４３】
クライアント３kは、映像表示部３４により配信映像信号w’(n)を受信し、表示手段３０４を用いて、その配信映像信号w’(n)を再生する（ステップＳ３４）。この実施形態では、受信したUDPパケットから1枚のJPEG圧縮の静止画像が得られる度に表示手段３０４へその画像を表示する。
【００４４】
サーバ１の備えるコマンド送信部２５は、K台のクライアント３1,…,３Kに映像選択部１５の選択する送信映像信号w(n)に基づく要求信号を送信する（ステップＳ２５）。送信映像信号w(n)に基づく要求信号とは、例えば、クライアント３1,…,３Kから受信したK個のデジタル映像信号v1(i1),…,vK(iK)のうち、いずれの映像信号が選択されているかを示す情報などである。具体的には、送信映像信号w(n)として選択された映像信号を撮影しているクライアント３kに対しては表示手段３０４を囲むフレーム枠（３０４４）の色を第一の色（例えば、赤）とする旨を示す要求信号を送信し、送信映像信号w(n)として選択されなかった映像信号を撮影しているクライアント３kに対しては表示手段３０４を囲むフレーム枠（３０４４）の色を第二の色（例えば、青）とする旨を示す要求信号を送信する。具体的にはフレーム枠（３０４４）を描画すべき色のRGB値（例えば、赤であれば「#ff0000」、青であれば「#0000ff」など）を決められたテキストフォーマットに従って設定した文字列を要求信号として送信する。送信プロトコルは公知の通信プロトコルを用いることができるが、この実施形態ではＵＤＰ（User Datagram Protocol）を用いるものとする。送信先のIPアドレスは端末管理部１７より取得し、ポート番号は予め設定されたポート番号とする。ポート番号はクライアント３k上で重複しない限り任意のポート番号を使用することができる。例えばこの実施形態では6000番ポートとする。ＵＤＰにより送信する場合にはパケットロスを考慮して、例えば20ミリ秒ごとなど定期的に同一の要求信号を繰り返し送信することが望ましい。
【００４５】
クライアント３kの備えるコマンド受信部３５は、サーバ１から受信した要求信号に基づいて表示手段３０４に送信映像信号w(n)に基づく情報を表示する（ステップＳ３５）。例えば、そのクライアント３kが撮影した映像信号vk(ik)が送信映像信号w(n)として選択されていた場合には、表示手段３０４を囲むフレーム枠（３０４４）を第一の色（例えば、赤）で表示し、そのクライアント３kが撮影した映像信号vk(ik)が送信映像信号w(n)として選択されていなかった場合には、表示手段３０４を囲むフレーム枠（３０４４）を第二の色（例えば、青）で表示する。この際、決められたテキストフォーマットに合致しない場合や指定されたRGB値が255を超えるような不正な値であった場合などには、その要求信号を破棄して処理を終了する。このように構成することで、そのクライアント３kを利用する利用者は、ビデオ会議に参加する他のビデオ会議システム１０に含まれるクライアントに、そのクライアント３kにより撮影された映像（多くの場合その利用者の顔）が表示されているか否かを知ることが可能となる。
【００４６】
＜音声処理部の処理詳細＞
図７を参照して、音声処理部１３の動作例をより詳細に説明する。
【００４７】
入力部１０１へ、K個の音声受信部１１1,…,１１Kで受信したKチャネルの入力デジタル音響信号x1(i1),…,xK(iK)が入力される（ステップＳ１０１）。受信された複数個のチャネルk=1,…,Kの入力デジタル音響信号xk(ik)は、サンプリング周波数変換部１０２に入力される。異なるチャネルkの入力デジタル音響信号xk(ik)は、異なるクライアント３kで得られたものであるため、サンプリング周波数が異なる場合がある。サンプリング周波数変換部１０２は、すべてのチャネルk=1,…,Kの入力デジタル音響信号xk(ik)のサンプリング周波数を任意の同一のサンプリング周波数に揃える。言い換えると、サンプリング周波数変換部１０２は、複数個のチャネルk=1,…,Kの入力デジタル音響信号xk(ik)をサンプリング周波数変換し、特定のサンプリング周波数の変換デジタル音響信号cxk(ik)を複数個のチャネルk=1,…,Kについて得る。「特定のサンプリング周波数」は、クライアント３1,…,３Kのいずれか一つのサンプリング周波数であってもよいし、その他のサンプリング周波数であってもよい。「特定のサンプリング周波数」の一例は16kHzである。サンプリング周波数変換部１０２は、各クライアント３kのサンプリング周波数の公称値に基づいてサンプリング周波数変換を行う。すなわち、サンプリング周波数変換部１０２は、各クライアント３kのサンプリング周波数の公称値でサンプリングされた信号を、特定のサンプリング周波数でサンプリングされた信号に変換する。このようなサンプリング周波数変換は周知である。サンプリング周波数変換部１０２は、以上のように得た各チャネルkの変換デジタル音響信号cxk(ik)を出力する（ステップＳ１０２）。
【００４８】
信号同期部１０３は、チャネルk=1,…,Kの変換デジタル音響信号cx1(i1),…,cxK(iK)を入力として受け取る。信号同期部１０３は、変換デジタル音響信号cx1(i1),…,cxK(iK)をチャネルk=1,…,K間で同期させ、チャネルk=1,…,Kのデジタル音響信号sx1(i1),…,sxK(iK)を得て出力する（ステップＳ１０３）。以下にこの詳細を説明する。
【００４９】
クライアント３kには個体差がある。そのためクライアント３kのサンプリング周波数の公称値がfkであっても、クライアント３kがサンプリング周波数fk/αkでＡ／Ｄ変換を行う場合もある。ただしαkはクライアント３kの実際のサンプリング周波数とサンプリング周波数の公称値との間の周波数ずれを表す正のパラメータである。音響信号をサンプリング周波数fkでＡ／Ｄ変換して得られるデジタル音響信号をxk’(ik)とおくと、同じ音響信号をサンプリング周波数fk/αkでＡ／Ｄ変換して得られるデジタル音響信号はxk’(ik×αk)となる。ただし「×」は乗算演算子を表す。すなわち、サンプリング周波数の周波数ずれは、デジタル音響信号の時間領域でのタイミングずれとなって現れる。
【００５０】
サンプリング周波数変換部１０２は、各クライアント３kのサンプリング周波数の公称値fkに基づいてサンプリング周波数変換を行っている。すなわち、すべてのチャネルk=1,…,Kに共通の「特定のサンプリング周波数」をFとすると、サンプリング周波数変換部１０２は、各チャネルkのサンプリング周波数をF/fk倍にするサンプリング周波数変換を行っている。そのため、各クライアント３kの実際のサンプリング周波数がfk/αkであるとすると、各チャネルkの変換デジタル音響信号cxk(ik)のサンプリング周波数はF×αkとなる。この個体差に基づく周波数ずれは、チャネルk=1,…,K間における、変換デジタル音響信号cxk(ik)の時間領域でのタイミングずれとなって現れる。
【００５１】
信号同期部１０３は、個体差に基づく変換デジタル音響信号cxk(ik)の時間領域でのタイミングずれを減らすために、時間領域の変換デジタル音響信号cx1(i1),…,cxK(iK)をチャネルk=1,…,K間で同期させる。例えば信号同期部１０３は、チャネル間の相互相関が最大になるように、変換デジタル音響信号cx1(i1),…,cxK(iK)を時間軸方向（サンプル点方向）に互いにずらし、同期後のデジタル音響信号sx1(i1),…,sxK(iK)を得る。
【００５２】
例えば信号同期部１０３は、各チャネルkの変換デジタル音響信号cxk(ik)から、単語の発話など十分特徴的な波形の変化を観測できる長さ（例えば3秒）のサンプル列cxk(1),…, cxk(I)を取り出す（ステップＳ１０３１）。ただし、Iは正の整数を表す。次に信号同期部１０３は、取り出したサンプル列のうち1つのチャネルk’∈{1,…,K}のサンプル列cxk’(1),…,cxk’(I)を基準サンプル列とする（ステップＳ１０３２）。次に信号同期部１０３は、チャネルk’以外のチャネルk”∈{1,…,K}(k”≠k’)のサンプル列cxk”(1),…,cxk”(I)を時間軸にずらしたサンプル列cxk”(1+τk”),…,cxk”(I+τk”)と基準サンプル列cxk’(1),…,cxk’(I)との相互相関Σn{cxk”(n)×cxk’(n)}を最大にする遅延τk”を所定の探索範囲から探索し、sxk”(ik”)=cxk”(ik”+τk”)およびsxk’(ik’)=cxk’(ik’)とする（ステップＳ１０３３）。さらに信号同期部１０３は、サンプル列cxk(1),…,cxk(I)を切り出す範囲をシフトさせ（例えば1秒の時間に対応するサンプル点だけシフトさせ）、ステップＳ１０３１〜Ｓ１０３３の処理を実行する処理を繰り返し、同期後のデジタル音響信号sx1(i1),…,sxK(iK)をすべてのサンプル点について得て出力する。
【００５３】
フレーム分割部１０４は、同期後のデジタル音響信号sx1(i1),…,sxK(iK)を入力として受け取る。フレーム分割部１０４は、チャネルkごとにデジタル音響信号sxk(ik)を所定の時間区間であるフレームに分割する（ステップＳ１０４）。このフレーム分割処理では、フレーム切り出し区間長（フレーム長）L点と切り出し区間のずらし幅m点を任意に決めることができる。ただし、Lおよびmは正の整数である。例えば、切り出し区間長を2048点、切り出し区間のずらし幅を256点とする。フレーム分割部１０４は、チャネルkごとに切り出し区間長のデジタル音響信号sxk(ik)を切り出して出力する。さらにフレーム分割部１０４は、決められた切り出し区間のずらし幅に従い切り出し区間をずらし、チャネルkごとに上記切り出し区間長のデジタル音響信号sxk(ik)を切り出して出力する処理を繰り返す。以上の処理により、各チャネルkについて各フレームのデジタル音響信号が出力される。以下では、チャネルkのr番目のフレームrに属するデジタル音響信号をsxk(ik,r,0),…,sxk(ik,r,L-1)と表現する。
【００５４】
ＶＡＤ判定部１０５は、各チャネルkの各フレームrに属するデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)を入力として受け取る。ＶＡＤ判定部１０５は、入力されたデジタル音響信号を用い、各チャネルkの各フレームrが音声区間であるか非音声区間であるかを判定する（ステップＳ１０５）。ＶＡＤ判定部１０５は、例えば参考文献１に記載されたような周知技術を用い、フレームrが音声区間であるか非音声区間であるかの判定を行う。
［参考文献１］Jongseo Sohn, Nam Soo Kim, Wonyong Sung, “A Statistic Model-Based
Voice Activity Detection,” IEEE SIGNAL PROCESSING LETTERS, VOL.6, NO.1, 1999．
【００５５】
これらの判定に基づき、ＶＡＤ判定部１０５は、各フレームrに対し、音声区間であるか非音声区間であるかの判定結果を表すラベルθrを付与する。例えば、「フレームrが音声区間であると判定されたチャネルの個数」が「フレームrが非音声区間であると判定されたチャネルの個数」以上である場合、ＶＡＤ判定部１０５は、フレームrが音声区間であると判定し、音声区間であることを表すラベルθrをフレームrに対して付与する。一方、「フレームrが音声区間であると判定されたチャネルの個数」が「フレームrが非音声区間であると判定されたチャネルの個数」未満である場合、ＶＡＤ判定部１０５は、フレームrが非音声区間であると判定し、非音声区間であることを表すラベルθrをフレームrに対して付与する。その他、チャネルk=1,…,Kのうち、デジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)の平均パワーや平均Ｓ／Ｎ比が最も大きなチャネルに対する判定結果を表すラベルθrをフレームrに付与してもよい。また、音声区間であることを表すラベルの例はθr=1であり、非音声区間であることを表すラベルの例はθr=0である。ＶＡＤ判定部１０５は、各ラベルθrを出力する。
【００５６】
Ｓ／Ｎベクトル生成部１０７は、各チャネルkの各フレームrのデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)およびラベルθrを入力として受け取る。Ｓ／Ｎベクトル生成部１０７は、チャネルkごとに音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化した特徴量を得、チャネルk=1,…,Kに対して得られた特徴量を要素とするＳ／Ｎベクトル（特徴量列）を得て出力する（ステップＳ１０７）。「特徴量」の例は、非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比を表す値である。「デジタル音響信号の大きさ」の例は、デジタル音響信号のパワーや絶対値、デジタル音響信号のパワーの平均値や絶対値の平均値、デジタル音響信号のパワーの合計値や絶対値の合計値、それらの正負反転値や関数値などである。「比を表す特徴量」の例は、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのもの、その逆数その他の関数値である。以下では、デジタル音響信号のパワーの平均値を「デジタル音響信号の大きさ」とし、「非音声区間のデジタル音響信号の大きさに対する音声区間のデジタル音響信号の大きさの比」そのものを「特徴量」とした例を示す。
【００５７】
Ｓ／Ｎベクトル生成部１０７は、以下の処理を実行する。
【００５８】
［ステップＳ１０７１］
Ｓ／Ｎベクトル生成部１０７は、rを1に初期化する。
【００５９】
［ステップＳ１０７２］
Ｓ／Ｎベクトル生成部１０７は、ラベルθrが音声区間を表すか非音声区間を表すかを判定する。
【００６０】
［ステップＳ１０７３］
ラベルθrが非音声区間を表す場合、Ｓ／Ｎベクトル生成部１０７は、すべてのチャネルk=1,…,Kについて、フレームrに属するデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)の平均パワーPN(k,r)を計算し（式（１）参照）、平均パワーPN(k,r)をk番目の要素とする平均パワーベクトルPN(r)=(PN(1,r),…,PN(K,r))を非音声パワー記憶部１０６に格納する。
【００６１】
【数１】
2014110546.tif 000003
【００６２】
［ステップＳ１０７４］
ラベルθrが音声区間を表す場合、Ｓ／Ｎベクトル生成部１０７は、非音声パワー記憶部１０６に格納されている非音声区間のフレームr’の平均パワーベクトルPN(r’)=(PN(1,r’),…,PN(K,r’))を取り出す。このフレームr’は処理対象のフレームrに近いことが望ましい。例えば、Ｓ／Ｎベクトル生成部１０７は、フレームrに最も近い非音声区間のフレームr’の平均パワーベクトルPN(r’)を取り出す。なお、非音声パワー記憶部１０６には平均パワーベクトルの初期値も格納されている。平均パワーベクトルの初期値の例は、K個の定数（例えば1）を要素とするベクトルなどである。非音声区間の平均パワーベクトルが得られていない場合、Ｓ／Ｎベクトル生成部１０７は、平均パワーベクトルの初期値を非音声パワー記憶部１０６から取り出し、それをPN(r’)=(PN(1,r’),…,PN(K,r’))とする。
【００６３】
さらにＳ／Ｎベクトル生成部１０７は、すべてのチャネルk=1,…,Kについて、音声区間のフレームrに属するデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)の平均パワーをPN(k,r’)で除算し、正規化平均パワーPV(k,r)を得る（式（２）参照）。
【００６４】
【数２】
2014110546.tif 000004
【００６５】
PN(k,r’)で除算することで各チャネルkのデジタル音響信号の平均パワーを正規化し、各チャネルkのマイク感度の違いによる影響を排除できる。Ｓ／Ｎベクトル生成部１０７は、得られた正規化平均パワーPV(k,r)をk番目の要素とするＳ／ＮベクトルPV(r)=(PV(1,r),…,PV(K,r))を出力する。
【００６６】
［ステップＳ１０７５］
未処理のデジタル音響信号が存在する場合、Ｓ／Ｎベクトル生成部１０７はrに1を加算した値を新たなrとし、処理がステップＳ１０７２に進む。未処理のデジタル音響信号が存在しない場合、Ｓ／Ｎベクトル生成部１０７の処理を終える。
【００６７】
前述のように、非音声パワー記憶部１０６は、平均パワーベクトルの初期値、およびＳ／Ｎベクトル生成部１０７で得られた平均パワーベクトルPN(r)を格納する。
【００６８】
ベクトル分類部１０８は、複数個のＳ／ＮベクトルPV(r)（複数個のチャネルに対して得られた特徴量からなる特徴量列）を入力として受け取る。ベクトル分類部１０８は、入力された複数個のＳ／ＮベクトルPV(r)をクラスタリングし、各Ｓ／ＮベクトルPV(r)が属する信号区間分類（クラスタ）を決定する（ステップＳ１０８）。ベクトル分類部１０８は、複数個のＳ／ＮベクトルPN(r)（例えば、5秒間に対応する区間でのＳ／ＮベクトルPN(r)）が入力されるたびに、新たに入力されたＳ／ＮベクトルPN(r)をクラスタリング対象に追加してクラスタリングを実行してもよいし、1個のＳ／ＮベクトルPN(r)が入力されるたびに、新たに入力されたＳ／ＮベクトルPN(r)をクラスタリング対象に追加してクラスタリングを実行してもよい。クラスタリングの例は、教師なし学習であるオンラインクラスタリングなどであり、その一例はleader-followerクラスタリング（例えば、参考文献２参照）である。クラスタリングの指標となる距離にはコサイン類似度を用いることができる。コサイン類似度の距離関数は以下のように定義できる。
【００６９】
【数３】
2014110546.tif 000005
【００７０】
ただし、CLは各クラスタのラベルであり、ラベルCLは非音声区間を表すラベルθr（例えば0）以外の値（例えば、1以上の整数）をとる。PCLはクラスタCLの重心ベクトルである。d(CL)はクラスタCLの重心ベクトルPCLと入力されたＳ／ＮベクトルPV(r)との距離を表す。コサイン類似度を距離関数とするクラスタリングによって得られたラベルCLが、入力されたＳ／ＮベクトルPV(r)が属する信号区間分類を表す。ベクトル分類部１０８は、入力されたＳ／ＮベクトルPV(r)に対して得られたラベルCLをラベルθrに代入してラベルθrを更新する。これにより、音声区間のフレームrのラベルθrはラベルCLの値となり、非音声区間のフレームrのラベルθrは非音声区間を表す値となる。ベクトル分類部１０８は各フレームrのラベルθrを出力する。
［参考文献２］Richard O. Duda, Peter E. Hart, David G. Stork, “Pattern Classication,” Wiley-Interscience, 2000．
【００７１】
スペクトル算出部１０９は、フレーム分割部１０４で分割された、各チャネルkの各フレームrに属するデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)を入力として受け取る。ここで、フレームrでの各チャネルkのデジタル音響信号sxk(ik,r,j)を要素とするK次元の縦ベクトルをx(j,r)=[sx1(i1,r,j),…,sxK(iK,r,j)]Tと記述する。ただし、[η]Tは[η]の転置を表す。また、フレームrに属するK次元ベクトルx(0,r),…,x(L-1,r)の要素を周波数領域に変換して得られる値を要素とするK次元の縦ベクトルをX(f,r)と記述する。すなわち、フレームrに属するデジタル音響信号sxk(ik,r,0),…,sxk(ik,r,L-1)を周波数領域に変換して得られる値X(k,f,r)をk番目の要素とするK次元の縦ベクトルをスペクトルベクトルX(f,r)=[X(1,f,r),…,X(K,f,r)]Tと記述する。ただし、fは離散周波数を表すインデックスである。周波数領域への変換方法の例は、ＦＦＴ（Fast Fourier Transform）などの離散フーリエ変換である。また、X(k,f,r)の振幅スペクトルA(k,f,r)をk番目の要素とするK次元の縦ベクトルを振幅スペクトルベクトルA(f,r)=[A(1,f,r),…,A(K,f,r)]Tと記述する。さらに、X(k,f,r)の位相スペクトルφ(k,f,r)をk番目の要素とするK次元の縦ベクトルを位相スペクトルベクトルφ(f,r)=[φ(1,f,r),…,φ(K,f,r)]Tと記述する。スペクトル算出部１０９は、x(j,r)=[sx1(i1,r,j),…,sxK(iK,r,j)]Tを周波数領域に変換し、フレームrごとに、k個の振幅スペクトルA(k,f,r)からなる振幅スペクトルベクトルA(f,r)と、k個の位相スペクトルφ(k,f,r)からなる位相スペクトルベクトルφ(f,r)を得て出力する（ステップＳ１０９）。
【００７２】
振幅スペクトルベクトルA(f,r)は振幅スペクトル記憶部１１０に格納され、位相スペクトルベクトルφ(f,r)は位相スペクトル記憶部１１１に格納される。
【００７３】
フィルタ係数算出部１１２は、ベクトル分類部１０８から出力された各フレームrのラベルθr、および振幅スペクトル記憶部１１０から読み出した振幅スペクトルベクトルA(f,r)を入力として受け取る。ここでラベルθrがとり得る値（分類ラベル番号）のうち、音を強調する信号区間分類（強調信号区間分類）を表す分類ラベル番号をcとする。1個の分類ラベル番号cのみが設定されてもよいし、複数個の分類ラベル番号cが設定されてもよい。例えば、任意に分類ラベル番号cが決定されてもよいし、属するＳ／ＮベクトルPV(r)のノルムの平均値または合計値が大きい順に選択された1個以上の信号区間分類を強調信号区間分類として分類ラベル番号cが決定されてもよいし、属するＳ／ＮベクトルPV(r)のノルムの平均値または合計値が閾値を超える信号区間分類を強調信号区間分類として分類ラベル番号cが決定されてもよい。θr=cは、フレームrが強調信号区間分類に分類されていることを表す。
【００７４】
フィルタ係数算出部１１２は、強調信号区間分類に属するＳ／ＮベクトルPV(r)に対応する振幅スペクトルA(k,f,r)を強調するフィルタリングのためのフィルタ係数を算出する（ステップＳ１１２）。以下の参考文献３に開示されたＳＮ比最大化ビームフォーマでは、複素スペクトルをそのまま用いて、最大固有値に対する固有ベクトルを求めてフィルタ係数としている。これに対し、本形態のフィルタ係数算出部１１２は、振幅スペクトルベクトルA(f,r)を用いてＳＮ比最大化ビームフォーマを構成する。すなわち、フィルタ係数算出部１１２は、以下の式（４）の一般化固有値問題を解き、最大固有値γ(f)に対応する固有ベクトルの値を、各分類ラベル番号cの音声を強調するフィルタ係数wc(f)として得る。
【００７５】
【数４】
2014110546.tif 000006
【００７６】
また、E[ρ]θr=c（下付きθrはθr）は、θr=cであるフレームrからなる区間における、行列ρの要素の期待値からなる行列を表す。E[ρ]θr≠cは、θr≠cであるフレームrからなる区間における、行列ρの要素の期待値からなる行列を表す。式（５）（６）を求めるための区間は、例えば10秒以上の時間に対応する。またフィルタ係数wc(f)は、チャネルkに対応する係数wc(f,k)をk番目の要素とするK次元の横ベクトル[wc(f,1),…,wc(f,K)]である。フィルタ係数算出部１１２は、各インデックスfおよび各分類ラベル番号cについてフィルタ係数wc(f)を得て出力する。さらにフィルタ係数算出部１１２は、（５）（６）を求めるための区間において、θr=cである各フレームrのＳ／ＮベクトルPV(r)の要素のうち最大の要素に対応するチャネルを、最大チャネル番号kc,rとして得る。フィルタ係数算出部１１２は、フィルタ係数wc(f)と最大チャネル番号kc,rとを各分類ラベル番号cに対応付け、フィルタ係数記憶部１１３に格納する。話者の移動や雑音の変化に対応するため、フィルタ係数算出部１１２は、定期的（例えば1分置き）に、式（５）（６）を得るための区間を更新し、各フィルタ係数wc(f)および最大チャネル番号kc,rを得て、フィルタ係数記憶部１１３に格納された各フィルタ係数wc(f)および最大チャネル番号kc,rを更新する。
［参考文献３］H. L. Van Tree, ed., “Optimum Array Processing,” Wiley, 2002.
【００７７】
フィルタリング部１１４は、フィルタ係数記憶部１１３から読み出したフィルタ係数wc(f)、および振幅スペクトル記憶部１１０から読み出した振幅スペクトルベクトルA(f,r)を入力として受け取る。フィルタリング部１１４は、振幅スペクトルベクトルA(f,r)を構成する複数個の振幅スペクトルA(1,f,r),…,A(K,f,r)に対し、フィルタ係数wc(f)=[wc(f,1),…,wc(f,K)]によるフィルタリングを行い、処理後振幅スペクトルAc’(f,r)を得て出力する（ステップＳ１１４）。例えばフィルタリング部１１４は、以下の式（７）のように、フィルタ係数wc(f)と振幅スペクトルベクトルA(f,r)との内積を処理後振幅スペクトルAc’(f,r)として得る。
Ac’(f,r)=wc(f)A(f,r)      （７）
【００７８】
以上のステップＳ１１２およびＳ１１４により、複数個の振幅スペクトルA(1,f,r),…,A(K,f,r)に対し、強調信号区間分類に属するＳ／ＮベクトルPV(r)に対応する振幅スペクトルを強調する処理が行われ、複数個の処理後振幅スペクトルAc’(f,r)が得られる。
【００７９】
位相付与部１１５は、処理後振幅スペクトルAc’(f,r)に、それに対応する位相スペクトルを付与して複素スペクトルを得て出力する（ステップＳ１１５）。この実施形態では、位相付与部１１５は、フィルタ係数記憶部１１３から各フレームrおよび各分類ラベル番号cに対応する最大チャネル番号kc,rを読み出す。位相付与部１１５は、位相スペクトル記憶部１１１から全チャネルkに対応する位相スペクトルφ(k,f,r)を読み出し、それらから最大チャネル番号kc,rに対応する位相スペクトルφ(kc,r,f,r)を選択する。さらに位相付与部１１５は、フィルタリング部１１４から出力された処理後振幅スペクトルAc’(f,r)を入力として受け取る。位相付与部１１５は、以下の式（８）のように処理後振幅スペクトルAc’(f,r)に位相スペクトルφ(kc,r,f,r)を付与し、複素スペクトルYc(f,r)を得て出力する。
Yc(f,r)=Ac’(f,r)exp(iφ(kc,r,f,r))      （８）
ただし、iは虚数単位であり、expは指数関数である。
【００８０】
時間領域変換部１１６は、複素スペクトルYc(f,r)を入力として受け取り、複素スペクトルYc(f,r)を時間領域に変換して強調音響信号yc(n,r)(n=0,…,L−1)を得る。ただし、nはサンプル点を表すインデックスである。時間領域に変換する方法としては、例えば逆フーリエ変換を用いることができる。さらに時間領域変換部１１６は、オーバーラップアド法を用いて強調音響信号yc(n,r)(n=0,…,L−1)を合成して時間領域の音響信号波形を得て出力する。分類ラベル番号cが複数存在する場合、時間領域変換部１１６は、各分類ラベル番号cに対応する音響信号波形を複数出力する。または、各分類ラベル番号cに対応する音響信号波形の同じサンプル点ごとの加算値を出力してもよい。
【００８１】
この実施形態の音声処理部１３では、音声区間のデジタル音響信号の大きさを非音声区間のデジタル音響信号の大きさで正規化して得られる複数個のＳ／Ｎベクトルをクラスタリングする。そのため、自由に配置された感度が異なる収音手段を備えた複数個のスマートフォン、ラップトップコンピュータなどの端末装置で収音されたデジタル音響信号から、音源位置に基づいた信号区間分類を行うことができる。
【００８２】
また、この実施形態の音声処理部１３では、音源から収音手段３０１へ到達するまでの音圧の減衰に着目するため、クラスタリングに用いる距離尺度にコサイン類似度を使用した。さらに、この実施形態では、サンプリング周波数変換部１０２でサンプリング周波数変換を行ってチャネル間のサンプリング周波数のずれを補正し、信号同期部１０３でチャネル間での同期を行ってクライアント３1,…,３Kの個体差による影響を抑制した。そのため、各チャネルの収音手段３０１のサンプリング周波数の公称値が互いに異なっていたり、サンプリング周波数の個体差があったりしても、信号区間分類を精度よく行うことができる。
【００８３】
以上のような区間分類結果を用いて目的音区間とその他の音源区間に分類ができるため、雑音を抑圧し目的音を強調するフィルタの設計のための情報として利用できる。そのためこの実施形態では、自由に配置した複数のサンプリング周波数およびマイク感度が異なる、スマートフォン、携帯電話端末、ラップトップコンピュータなどの複数の端末装置で得られたデジタル音響信号から、特定の目的音を強調することができる。
【００８４】
＜変形例等＞
なお、この発明は上述の実施の形態に限定されるものではない。例えば、すべてのチャネルk=1,…,Kの収音手段３０１のサンプリング周波数の公称値が互いに同一であるならば、サンプリング周波数変換部１０２の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「変換デジタル音響信号」として信号同期部１０３に入力されてもよい。このような場合にはサンプリング周波数変換部１０２を設けなくてもよい。
【００８５】
さらにすべてのチャネルk=1,…,Kの収音手段３０１のサンプリング周波数の公称値が互いに同一であり、それらの個体差の影響も小さいのであれば、サンプリング周波数変換部１０２および信号同期部１０３の処理を行わなくてもよい。この場合には「入力デジタル音響信号」がそのまま「デジタル音響信号」としてフレーム分割部１０４に入力されてもよい。このような場合にはサンプリング周波数変換部１０２および信号同期部１０３を設けなくてもよい。
【００８６】
また位相付与部１１５は、最大チャネル番号kc,rに対応する位相スペクトルφ(kc,r,f,r)を処理後振幅スペクトルAc’(f,r)に付与した。しかしながら、その他のチャネルの位相スペクトルφ(k,f,r)を処理後振幅スペクトルAc’(f,r)に付与してもよい。
【００８７】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００８８】
＜発明の効果＞
上記のように、この発明のビデオ会議技術によれば、自由に配置した複数のクライアントにより、サンプリング周波数および感度が異なるマイク等の収音手段を用いて収音した音響信号であっても、特定話者の音声の強調・抽出および雑音抑圧をすることが可能になる。また、音声だけでなくクライアントに搭載されているカメラ等の撮影手段から映像を取得することで、主として話している利用者の映像を各クライアントに配信し、ビデオ通話を行うことができる。
【符号の説明】
【００８９】
１  サーバ
３  クライアント
５  ネットワーク
１０  ビデオ会議システム
１１  音声受信部
１２  映像受信部
１３  音声処理部
１４  音声送信部
１５  映像選択部
１６  映像送信部
１７  端末管理部
２１  音声取得部
２２  音声配信部
２３  映像取得部
２４  映像配信部
２５  コマンド送信部
３１  音声取得部
３２  映像取得部
３３  音声再生部
３４  映像表示部
３５  コマンド受信部
３６  設定部
３７  制御部
３０１  収音手段
３０２  再生手段
３０３  撮影手段
３０４  表示手段
【図１】
2014110546.tif 000007
【図２】
2014110546.tif 000008
【図３】
2014110546.tif 000009
【図４】
2014110546.tif 000010
【図５】
2014110546.tif 000011
【図６】
2014110546.tif 000012
【図７】
2014110546.tif 000013