(57)【要約】  【課題】  紙めくり音等の音声信号に雑音として作用する信号の影響を受けない音声信号を生成して信号処理可能とさせる音声信号補正装置および音声信号補正方法を提供する。  【解決手段】  音声を電気信号に変換する音声入力手段２と、音声入力手段２と接続され電気信号に変換された音声信号を所定の期間に時分割し、時分割された各期間中の周波数ピーク値が低域部である低域ノイズ帯域および／または高域部である紙めくり音帯域に無い場合のみ抽出する音声抽出手段４６とを有する。【選択図】  図３
2006304125.tif 000002
【特許請求の範囲】
【請求項１】
音声を電気信号に変換する音声入力手段と、音声入力手段と接続され電気信号に変換された音声信号を所定の期間に時分割し、時分割された各期間中の周波数ピーク値が低域部である低域ノイズ帯域および／または高域部である紙めくり音帯域に無い場合のみ抽出する音声抽出手段とを有することを特徴とする音声信号補正装置。
【請求項２】
音声入力手段によって電気信号に変換された音声信号を所定の期間に時分割し、時分割された各期間中の周波数ピーク値が低域部である低域ノイズ帯域および／または高域部である紙めくり音帯域に無い場合のみ抽出することを特徴とする音声信号補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マイクロフォン等の音圧取得手段に入力された音声信号に含まれる紙めくりによって発生する雑音を除去可能な音声信号補正装置および音声信号補正方法に関する。
【背景技術】
【０００２】
音声信号の入力される方向は、音楽鑑賞時のスピーカによる音源再生などには重要な意味を有する。即ち、音楽再生に際し、スピーカから発生させる音は、例えばボーカルの音声であれば、録音時に左右一対のマイクロフォン群に対してボーカルがどの位置にいて録音されたかを確定するが、左右方向のずれは、スピーカからの音を聞いている人間が自身の左右の耳から入ってきた音圧（音の大きさ）を感じ取ってボーカルの音声が聞こえてくる方向を確定している。
このような音源からの音の方向を確定することは一般的にはステレオマイクロフォンを用いて行なわれており、ステレオマイクロフォンそれぞれへの入力信号（音圧）の大きさによって算出することが可能である。
そして、このような音圧を発生する音源の方向を確定することは、例えばテレビ会議システムや会議を撮像して中継する際に、複数の参加者から発言者を自動的に特定するのに都合が良く、発言者を特定して撮像装置の撮像方向を自動的に制御することで、発言者と他者とを区別して表示できる等の効果がある。
【０００３】
ところで、音源の方向を確定するには、最も単純なものとしては、左右一対で構成するマイクロフォン群に入力される音圧の差異を計測し、入力された音圧の差異によって、大きな音圧を示したマイクロフォン側にその大きさの差異に見合った角度を算出して行うことが出来る。この場合には、マイクロフォン群の設置されている位置に対して１８０°方向の範囲で音源の方向を確定できる。
【０００４】
この音源からマイクロフォン群に入力される音声信号は、例えば、以下に表すテレビ会議システムの従来例においては、発言者がペーパー資料をめくる際の紙めくり音が、音声信号と区別がつかず、発言者として認識してしまう場合がある。
従来、インターネットを利用して行われるテレビ会議システムでは、インターネットを利用しての画像データおよび音声データの通信であるため、通信速度による制限等から、撮像画像の画質や画像の表示サイズに一拠点当り１人乃至３人程度で利用できるものしかなかった。従って、会議参加者の表情を捉えにくく発言者の特定が困難となり、的確な意思の伝達が行われにくかった。
そこで、発言者を特定して、該発言者の映像を大きく捉える等して、各会議参加者に対して発言者の意思が的確に伝達できるようにしたものがある。
例えば、『テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法』（特開２００１−３３９７０３、以下、従来例１という。）である。
【０００５】
従来例１は、『（請求項１）複数個の集音手段、少なくとも一つの発言者撮像手段、画像表示手段、及び当該集音手段から得られる発言者の音声方向情報に基づいて、当該発言者を撮像する撮像手段の撮像方向を変更する撮像制御手段とから構成されているテレビ会議システムに於いて、当該集音手段により推定された発言者の推定所在位置に向けて当該撮像制御手段が当該撮像手段の撮像方向を指向せしめる様に構成すると共に、当該撮像画像から動き画素を抽出して、その動き画素の分布を求める事によって当該発言者の画像領域上の位置を特定し、当該発言者の位置情報に基づいて、当該発言者が画像領域の所定の部位に表示される様に、当該撮像制御手段を更に制御する様に構成した事を特徴とするテレビ会議システム。』他にかかり、詳細には、図１３に表すように複数のマイクロフォン１００を用意し、各マイクロフォン１００に入力された音声信号を発言者位置検出手段１０１がそれぞれのマイクロフォン１００の信号の位相差から発言者の方向を特定している。
【０００６】
また、従来例１の中で従来技術として取り上げられている『カメラ撮影制御装置』（特開平７−１４０５２７、以下、従来例２という。）を見ると、従来例２は『（請求項１）話者の発音を感知する複数のマイクと、これらのマイク間の音の位相差を検出する位相差検出回路と、位相差検出回路により各マイク間の位相差が零となるように制御されカメラおよび複数のマイク全体の方向を制御するカメラ方向制御装置とを備えたことを特徴とするカメラ撮影制御装置。』他からなる。そして、従来例２では、図１４に表すように、マイクロフォン１１７Ａおよびマイクロフォン１１７Ｂに対してそれぞれ異なる位置にいる話者Ａおよび話者Ｂの方向を決定する。即ち、位相差検出回路１１８によって話者Ａおよび話者Ｂからの音声がマイクロフォン１１７Ａあるいはマイクロフォン１１７Ｂに到達するのに要する時間の差から生ずる位相差を求めることで行う。例えば話者Ａでは、話者Ａの発生した音声は、話者Ａからの距離がマイクロフォン１１７Ａでは近くマイクロフォン１１７Ｂでは遠いので、図１５に表すように、マイクロフォン１１７Ａでは図中上図のような波形で検出された音声が、マイクロフォン１１７Ｂでは下図のように波形は相似形であるものの到達が遅れるために横軸である時間が上図に比して若干遅れて表れる所謂位相のずれを生ずる。この位相のずれが話者Ａの方向を決定する。この場合には、マイクロフォン１１７Ｂの方が到達が遅れているため話者Ａはマイクロフォン１１７Ｂよりマイクロフォン１１７Ａに近いことが判り、しかも位相差の大小からその方向を決定することが出来る。そしてこの位相差検出回路１１８が算出した結果に基づいてカメラ方向制御装置１１９がカメラ１２０の方向を制御する。また、話者Ｂでは、マイクロフォン１１７Ａおよびマイクロフォン１１７Ｂからの距離が同じため、図１６に表すように、上図であるマイクロフォン１１７Ａに到達した音声波形および下図であるマイクロフォン１１７Ｂに到達した音声波形は共に同じ波形をなすこととなるので、位相差検出回路１１８ではちょうど中間位置であることを算出し、カメラ方向制御装置１１９が位相差検出回路１１８が算出した結果からカメラ１２０の方向を制御する。
【０００７】
また、従来例２では、図１７に表すように、マイクロフォン１１７Ｄを設け、話者Ｂと話者Ｃとの距離を算出可能とし、話者の距離によってカメラ方向制御装置１１９がカメラ１２０を制御可能にしている。即ち、話者Ｂおよび話者Ｃの音声は、マイクロフォン１１７Ａおよびマイクロフォン１１７Ｂでは同じ波形となって表れるが、マイクロフォン１１７Ｄでは話者Ｂより話者Ｃの音声の方が早く到達するので、位相差を生ずる。この位相差からカメラ方向制御装置１１９がその距離を算出可能とする。
【特許文献１】特開２００１−３３９７０３（従来例１）
【特許文献２】特開平７−１４０５２７（従来例２）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来例１や従来例２等では、マイクロフォンに入力した音声信号の位相差から発言者の方向を特定するものであるが、発言者以外の会議参加者がペーパー資料をめくると、マイクロフォンでは、該紙めくり音を拾ってしまい、各マイクロフォンに入力された音声信号を処理する際に、発言者の音声であるかペーパー資料をめくる紙めくり音であるかの区別が付かず、発言していない会議参加者を発言者と誤認してカメラの方向を制御し発言していないにも拘らず撮影してしまう場合があった。
特に紙めくり音は、他のノイズに比べその音圧が大きいので、人の音声と誤認されることが頻繁に起こっていた。しかしながら、従来のテレビ会議システムでは、この紙めくり音を除去する方法は無かった。
【０００９】
そこでこの発明は、紙めくり音等の音声信号に雑音として作用する信号の影響を受けない音声信号を生成して信号処理可能とさせる音声信号補正装置および音声信号補正方法を提供する。
【課題を解決するための手段】
【００１０】
そこで発明者は、マイクロフォン等によって取出される音声信号から、人の声を特徴的に表す音声信号部分を取出すために、
【００１１】
音声を電気信号に変換する音声入力手段と、音声入力手段と接続され電気信号に変換された音声信号を所定の期間に時分割し、時分割された各期間中の周波数ピーク値が低域部である低域ノイズ帯域および／または高域部である紙めくり音帯域に無い場合のみ抽出する音声抽出手段とを有することを特徴とする音声信号補正装置、
を提供する。
【００１２】
また、この発明では、
音声入力手段によって電気信号に変換された音声信号を所定の期間に時分割し、時分割された各期間中の周波数ピーク値が低域部である低域ノイズ帯域および／または高域部である紙めくり音帯域に無い場合のみ抽出することを特徴とする音声信号補正方法、
【００１３】
を提供する。従ってこの発明では、入力された音声信号を微小時間に時分割し、時分割した微小時間内の音声信号の周波数ピーク値が予め定める、低域部および／または高域部に無い場合のみを抽出し、出力することで、低域部では電源ノイズや環境によって発生する雑音を除去し、高域部ではペーパー資料をめくる際に発生する紙めくり音やホチキスから発生する雑音を除去した音声信号を得る。そして、低域部では音声を特徴付ける周波数帯域より小さな３００Ｈｚ以下あるいは大凡３００Ｈｚ以下を除去することで電源ノイズや環境によって発生する雑音を、効果的に除去可能である。また、特に高域部では、音声を特徴付ける周波数帯域より大きな１０００Ｈｚ以上あるいは大凡１０００Ｈｚ以上の帯域を除去することで、ホチキスから発生する雑音や紙めくり音を効果的に除去可能であり、好ましくは１３００Ｈｚ以上あるいは大凡１３００Ｈｚ以上の帯域を除去することで、より効果的に紙めくり音等を除去し、より効果的に音声信号を識別可能となる。
【発明の効果】
【００１４】
従って、この発明によれば、音声信号を微小時間に分割し、分割された微小時間内の音声信号周波数のピーク値によって発言者の音声信号でない時間帯の音声信号は除去されて音声信号が生成されるので、信号帯域のうち、低域帯域および／または高音帯域を除去して補正した音声信号を生成するので、音声信号中の人の声としての特徴をより明確にして、補正前の音声信号に含まれる雑音による人の声としての特徴の誤認を効果的に避けることが可能となる。
【発明を実施するための最良の形態】
【００１５】
第１のマイクロフォン群の左右一対のマイクロフォンそれぞれを適宜距離だけ離して設けると共に、第１のマイクロフォン群の左右一対のマイクロフォンそれぞれを第１のマイクロフォン群のそれぞれのマイクロフォンと同距離だけ離し、第１のマイクロフォン群の中心と第２のマイクロフォン群の中心とを一致させ、且つ両マイクロフォン群が直角をなすように設置させ、第１のマイクロフォン群および第２のマイクロフォン群からなるマイクロフォンアレイを設ける。
【００１６】
説明のため、マイクロフォンアレイに設けた第１のマイクロフォン群の左右マイクロフォンの方向をＸ軸、Ｘ軸に直交する第２のマイクロフォン群の左右マイクロフォンの方向をＹ軸とし、各軸の交点を０としてそれぞれの軸によって表される領域をそれぞれ第１象限から第４象限として説明する。
一方、パーソナルコンピュータには２枚のサウンドカードを設置し、サウンドカードからの出力信号をパーソナルコンピュータの中央演算装置（ＣＰＵ、以下単にＣＰＵと表す。）で処理可能にさせる。サウンドカードは、マイクロフォンアレイから入力する音声信号をパーソナルコンピュータで処理可能な音声データに変換可能であり、左右一対の入力を持ってそれぞれの入力信号をパーソナルコンピュータのＣＰＵで処理させる。
【００１７】
マイクロフォンアレイからの各マイクロフォンは、第１のマイクロフォン群の左右一対を一方のサウンドカードの左右入力に接続して音声信号を左右一対の音声信号として信号処理させ、第２のマイクロフォン群の左右一対を他のサウンドカードの左右入力に接続して音声信号を左右一対の音声信号として信号処理させる。
パーソナルコンピュータは、サウンドカードによって変換された音声データを受領可能なインターフェースを備えると共に、パーソナルコンピュータが標準的に備えるメモリ、バッファ、ＣＰＵ、キーボードやマウス等の入出力手段を備え、各手段によってサウンドカードが変換した音声データを信号処理可能である。
【００１８】
サウンドカードから出力される音声信号を入力可能に音声信号補正装置を設ける。音声信号補正装置は、パーソナルコンピュータが標準的に備えるＣＰＵやバッファ、ハードディスク等で実質的に構成され、ＣＰＵをプログラム制御することで、所定の機能を持たせる。音声信号補正装置は、入力される音声信号のうち、低域部であり低域ノイズが混在している３００Ｈｚ以下の低域ノイズ帯域を除去すると共に、高域部であり紙めくり音等が混在している帯域である１３００Ｈｚ以上の紙めくり音帯域を除去する。音声信号除去装置では、それぞれのサウンドカードから入力する音声信号を信号処理する。
【００１９】
パーソナルコンピュータでは、ＣＰＵ、バッファ、メモリを初めとする各手段が、一方のサウンドカードから入力されて音声信号除去装置によって信号補正された第１のマイクロフォン群の音声信号を受領して左右それぞれの音声信号の位相差を算出すると共に他方のサウンドカードから入力されて音声信号除去装置によって信号補正された第２のマイクロフォン群の音声信号を受領して左右それぞれの音声信号の位相差を検出する位相差検出手段を構成する。
更に、パーソナルコンピュータでは、ＣＰＵ、バッファ、メモリを初めとする各手段が、位相差検出手段が検出した第１のマイクロフォン群の位相差から音源の方向を求めると共に、第２のマイクロフォン群の位相差から音源の方向を検出し、各マイクロフォン群から検出された４つの方向のうち、両マイクロフォン群の同一象限に表れる音源の方向を選択する方向決定手段を構成する。
【００２０】
そして、方向決定手段では、同一象限に表れた第１のマイクロフォン群から検出した音源方向、第２のマイクロフォン群から検出した音源方向のうち、マイクロフォン群の軸方向により遠い方向結果、即ち例えば第２象限に音源の方向が表れた時に第２象限を構成する９０°・１８０°の２軸のうち求められた角度から遠い側の軸を構成しているマイクロフォン群（例えば１１０°であれば、９０°より１８０°側の軸が遠いので、第１のマイクロフォン群）から求めた方向を音声信号の方向として決定する。そして、該決定は、所定時間内に行った複数のサンプリングの平均値を採用する等する。
【実施例１】
【００２１】
以下にこの発明の実施例を、図面に基づき説明する。図１はこの発明の実施例を表す説明図であり、図２は会議室の状態を表す説明図であり、図３はこの発明の実施例の詳細を表す説明図であり、図４は同一波形且つ位相差をもって入力される信号を表す説明図であり（ａ）は近距離、（ｂ）は遠距離での波形を表し、図５は音源の方向の決定の手法を説明するための説明図であり、図６は位相差を決定するための説明図であり、図７は位相差を説明するための説明図であり、図８は位相差算出の式を表し、図９は位相差の方向を説明する説明図であり、図１０は紙めくり音を分析した状態を表すグラフであり、縦軸が周波数、横軸が周波数を表し横軸が時間を表し、図１１は１０００Ｈｚ前後の出現回数を表す説明図であり、図１２は遮断周波数毎の誤認回数を表す説明図である。
【００２２】
１はこの発明にかかる音源方向確定装置を用いたテレビ会議システムであり、テレビ会議システム１は、マイクロフォンアレイ２と、マイクロフォンアレイからの音量を調整するステレオタイプのマイクロフォンミキサー３と、位相差検出手段および方向検出手段を構成するパーソナルコンピュータ４とからなる。
【００２３】
マイクロフォンアレイ２は、第１のマイクロフォン群２１および第２のマイクロフォン群２２とからなり、第１のマイクロフォン群２１は１対のマイクロフォン２１ａ、２２ｂとから、第２のマイクロフォン群２２は１対のマイクロフォン２２ａ、２２ｂとからそれぞれなる。そして、第１のマイクロフォン群２１のマイクロフォン２２ａおよびマイクロフォン２１ｂは所定の間隔をもって設置固定され、第２のマイクロフォン群２２のマイクロフォン２２ａおよびマイクロフォン２２ｂも同様に所定の間隔をもって設置固定される。更に、第１のマイクロフォン群２１および第２のマイクロフォン群２２はそれぞれのマイクロフォン２１ａ、２１ｂの間隔の中心とマイクロフォン２２ａ、２２ｂの間隔の中心とで交差され、且つ直交するように設置する。従って、図１に表すように、マイクロフォン２１ａが０°の方向に設置され、マイクロフォン２１ｂが１８０°の方向に設置され、マイクロフォン２２ａが９０°の方向に設置され、マイクロフォン２２ｂが２７０°の方向に設置される。
【００２４】
マイクロフォンミキサー３はステレオタイプのマイクロフォンミキサーであり、２チャンネルのマイクロフォン入力を持ち、入力されたそれぞれの音声信号の音量を調整可能であり、更に音量調整した音声信号をそれぞれに出力可能であり、マイクロフォンミキサー３からの出力はパーソナルコンピュータ４に各マイクロフォン２１ａ、２１ｂ、２２ａ、２２ｂの音声信号として入力される。従ってマイクロフォンミキサー３は２台設け、一方のマイクロフォンミキサー３には第１のマイクロフォン群２１からの出力される１対の音声信号が入力され、他方には第２のマイクロフォン群２２から出力される１対の音声信号が入力される。尚、この実施例ではマイクロフォンミキサー３はステレオタイプのものを利用したが、４チャンネルあるいはそれ以上のチャンネルを有するもの１台でもよい。
そして、第１のマイクロフォン群２１が入力されるマイクロフォンミキサー３では、マイクロフォン２１ａおよびマイクロフォン２１ｂの音量を揃える調整が行われる。即ち、第１のマイクロフォン群２１の中心（第１のマイクロフォン群２１および第２のマイクロフォン群２２の交点位置）に音源があり音声信号が発生した場合に、マイクロフォン２１ａおよびマイクロフォン２１ｂの入力音量が同じになるように調整してある。同様に第２のマイクロフォン群２２が入力されるマイクロフォンミキサー３でも、マイクロフォン２２ａおよびマイクロフォン２２ｂの入力音量が同じになるように調整してある。尚、望ましくは、各マイクロフォン２１ａ、２１ｂ、２２ａ、２２ｂの各マイクロフォンの入力音が同じになるように調整する。
【００２５】
パーソナルコンピュータ４は、図１に表すような一般的に用いられているコンピュータであり、詳説はしないが、ＣＰＵを中心として演算処理するためのメモリやバッファを備えると共に記憶装置であるハードディスクを備え、且つ、ディスプレイ、キーボード、マウス、プリンターなどの入出力装置からなる。そして、図３に表すように、パーソナルコンピュータ４は、サウンドデバイスとしてのサウンドカード４１を備える。
サウンドカード４１は、左右２チャンネルの音声信号を入力してパーソナルコンピュータ４でデジタル処理可能とするサウンドデバイスであり、第１のマイクロフォン群２１および第２のマイクロフォン群２２で使用する４本のマイクロフォン２１ａ、２１ｂ、２２ａ、２２ｂからの信号を処理するので、２枚のサウンドカード４１ａおよび４１ｂとから構成する。そして、第１のサウンドカード４１ａには、第１のマイクロフォン群２１のマイクロフォン２１ａおよびマイクロフォン２１ｂからの音声信号をマイクロフォンミキサー３を介して入力し、第２のサウンドカード４１ｂには、第２のマイクロフォン群２２のマイクロフォン２２ａおよびマイクロフォン２２ｂからの音声信号をマイクロフォンミキサー３を介して入力する。そして、サウンドカード４１でアナログ音声信号がデジタル音声信号に変換され、パーソナルコンピュータ４による音声処理が可能になる。
【００２６】
更にパーソナルコンピュータ４では、音声抽出手段として音声信号除去装置４６を設ける。音声信号除去装置４６は、第１のサウンドカード４１ａ、第２のサウンドカード４１ｂそれぞれから、第１のマイクロフォン群２１および第２のマイクロフォン群２２が検出しサウンドカード４１でデジタル化された音声信号を入力可能に接続され、入力した音声信号を０．０５秒という微小時間に分割し、分割された時間内の音声信号の周波数ピーク値を予め定める低域ノイズ帯域である３００Ｈｚ以下である場合および紙めくり音帯域である１３００Ｈｚ以下である場合には時分割された当該時間の音声信号を除去し、周波数ピーク値がこの帯域に無い場合には当該時間の音声信号を抽出して生成し、これら帯域に周波数ピーク値がある音声信号を除去した補正された音声信号を出力する。従って、音声信号除去装置４６から出力される音声信号は３００Ｈｚより大きく１３００Ｈｚ未満の狭帯域の音声信号となる。尚、高域側である紙めくり音帯域は、テレビ会議システムのように、発言者の方向を検知するためにマイクロフォンによって得た音声情報から発言者の方向を検知する場合に、ノイズとして特に注意を要する紙めくり音を除去するための境界周波数である。
音声信号除去装置４６によって除去する低域ノイズ帯域および紙めくり音帯域は、発明者が以下のように知見し、この知見に基づいて設定される。
即ち、発明者は、テレビ会議システムを構築するに際し、マイクロフォンによって認識された音声信号には、複数のマイクロフォン間でその位相差を求める場合に人の声として有効に利用可能な音域が３００Ｈｚ〜２５００Ｈｚであることを知見した。
【００２７】
即ち、人の音声の周波数はマイクロフォンで録音してた音声信号を、サウンドカード４１で量子化しデジタル信号として処理可能とした後、高速フーリエ変換の手法を用いて周波数解析すると、大凡９０Ｈｚ〜３５００Ｈｚであることが判る。この周波数帯域は、音声信号を特徴付ける基本周波数約８２Ｈｚ〜１０５６Ｈｚと、第１フォルマンとである周波数約２００Ｈｚ〜１０００Ｈｚ、第２フォルマンとである周波数約６００Ｈｚ〜３５００Ｈｚとなっている。そしてこれらのピークのある場所から、人間の音声の周波数は、約９０Ｈｚ〜３５００Ｈｚと推定できる。
【００２８】
そして発明者は、量子化された音声信号をサンプリング周波数４４１００Ｈｚ、量子化ビット１６の音声信号として、あ行の母音全てと無音状態との周波数成分を調べたところ、母音での解析は、前記音声周波数帯域と略一致する帯域において無音状態の解析結果に比べると特徴的に大きな音となることが判ったが、低域側、特に３００Ｈｚ以下の低周波領域では電源ノイズや会議室特有の定在波や暗騒音等の雑音成分が含まれており、無音状態でも母音を分析した時の大きさに近い雑音が含まれていることを知見した。
そして、男女差による周波数分析を行った結果、男性の声と女性の声とでは、男性が大凡６００Ｈｚ〜７００Ｈｚ、女性では大凡６００Ｈｚ〜１０００Ｈｚの範囲に振幅がピークとなる周波数成分が存在することを知見した。
【００２９】
また一方で、実際に会議を行って実験をした結果、会議中にはペーパー資料をめくる時に発生する紙めくり音やホチキスで紙を止める音が比較的頻繁に発生したので、発明者は該紙めくり音の周波数帯域を分析してみた。
即ち、１秒の間に出現する最大となる振幅スペクトルと最小となる振幅スペクトルとを１２０秒間、即ち１２０サンプル取り、プロットした結果を図１０に表す。そしてサンプルした音声データは、ノートのページをめくる音（以下、ノートと略す。）、ホッチキスで紙を止める音（以下、ホチキスと略す。）、１枚の紙をくしゃくしゃに丸める音（以下、一枚と略す。）である。
【００３０】
そして、図１１に表すように、１０００Ｈｚの上下での、ホチキス、ノート、一枚それぞれのピーク周波数出現回数の分布を見ると、何れも１０００Ｈｚ以上で出現回数が多くなっていることが判った。図１１の結果から、ピーク周波数成分から人の声と紙をめくる音の区別が出来る可能性が高いことを推察した。
【００３１】
そこで、ホチキス、ノート、一枚それぞれの音をマイクロフォンで音声信号として認識させ、０．０５秒の間で出現するデータ中のピーク成分が、２０００Ｈｚ以上を除去した場合、１３００Ｈｚ以上を除去した場合、除去を行わない場合、の３通りで６０秒間（１２００回の試行）に角度出力を行ってしまった回数、即ち、人の声であると誤認した回数を調べた所、図１２に表すように、２０００Ｈｚ以上を除去した場合および周波数帯の除去を行わなかった場合に比し、１３００Ｈｚ以上を除去した場合に顕著に誤認回数が減少していることを知見した。但し、ノートでは、図１１からも判るとおり、１０００Ｈｚ以下にピークをもつ場合が最も多く出現しているからと推察できる。尚、ピーク値を求める際の期間として０．０５秒を採用しているのは、位相差検出手段４２および方向決定手段４３によって発言者の方向を検知するためのピークレベルの検出を０．０５秒ごとに行っているからである。しかしながら、時分割する時間は特に０．０５秒に固定する必要が無く、装置の性能等によって適宜決定すれば足りる。
【００３２】
そして、高域側の除去周波数を１０００Ｈｚ以上と出来ない理由は、女性の声の成分が、前述の通り大凡６００Ｈｚ〜１０００Ｈｚであり、女性の音声も高域側の除去対象となってしまい、女性の声を抽出できなくなる虞が増大するためであり、実験は行っていないが、恐らく高域側の除去周波数を下げるにつれて紙めくり音（ホチキス、ノート、一枚を合わせた総称とする。）による誤認は減少するものの、女性の声の誤認が増大するものと考えられる。従って、会議参加者が男性のみの場合などには、紙めくり音除去のための周波数を１０００Ｈｚ以上とすることは有効であり、１３００Ｈｚ以上とするよりも更に紙めくり音除去の効果がある。
そして、音声信号除去装置４６からは、低域部である低域ノイズ帯域および高域部である紙めくり音帯域を除去した音声信号が、それぞれの第１のマイクロフォン群２１、第２のマイクロフォン群２２からの音声信号として処理される。
従って、０．０５秒間の間に音声信号のピーク値が低域ノイズ帯域および紙めくり音帯域に存在した場合には、この間の音声信号を除去し、後に処理する位相差検出手段４２における位相差の検出には使用されないので、低域ノイズ帯域および紙めくり音帯域を含む、即ちこれらのノイズによる音声信号である場合には、発言者の音声信号として処理されることはない。
尚、この実施例では詳説しないが、音声信号除去装置４６での補正処理は、低域部である低域ノイズ帯域のみの除去、あるいは、高域部である紙めくり音帯域のみの除去であっても良い。
音声信号除去装置４６から出力される音声信号は位相差検出手段４２によって受理され処理される。以下特にことわらない場合には、マイクロフォン群２１の出力した信号として表される音声信号は、音声信号除去装置４６によって補正処理された音声信号を表す。
【００３３】
更にパーソナルコンピュータ４には位相差検出手段４２を備える。相差検出手段４２は、実質的にはパーソナルコンピュータ４に備えるＣＰＵ、メモリ、バッファ等により構成する。位相差検出手段４２は、入力する２つの音声信号の位相差を検出する手段であり、以下に検出の具体例を説明する。
【００３４】
図４は、音源Ｓからの距離が、マイクロフォン２１ａで５０ｃｍ、マイクロフォン２１ｂで１００ｃｍの場合の入力波形を表しており、（ａ）の波形Ｓ１がマイクロフォン２１ａで音源Ｓの音声信号を入力した信号を表し、（ｂ）の波形Ｓ２がマイクロフォン２１ｂで音源Ｓの音声信号を入力した信号を表し、横軸が時間を表し、縦軸が音声信号の振幅を表ししている。図４に表す波形は、音源Ｓにおいて手を叩いた時の音声信号である。尚、マイクロフォン２１ａ、２１ｂの入力感度は、予めミキサー３によって調整してあり、音源からの距離が同距離の場合には同じ振幅を表すように調整されている。
図４から判るとおり、音源からの距離が遠くなるほどに信号の振幅は減衰してゆく。しかしながらその波形には略相似形を成し、それぞれの波形のピーク点Ｓ３も同波形中の同じ位置に存在している。また、ピーク時の存在する箇所は、音源Ｓから遠いマイクロフォン２１ｂの方がマイクロフォン２１ａに比べ若干遅れて検出されている。この到達時間の差が位相差である。
【００３５】
そしてこの位相差を求めるに当っては、パターンマッチングによる時間差算出法を採用する。即ち、縦軸を信号の大きさ（振幅）、横軸を１秒間あたりのサンプリング周波数の回数でデジタルデータに変換したサンプル数として表す図６のように、マイクロフォン２１ａからの入力波形Ｓ１は（ａ）のように現れる。また、マイクロフォン２１ｂからの入力波形Ｓ２は（ｂ）のように現れる。そこで、入力波形Ｓ１の所定時刻における波形の一つをサンプル数方向（時間軸方向）へずらして比較を重ね、入力波形Ｓ２と相似した形状で重なった時の移動サンプル数Ｎを求めることで、移動サンプル数Ｎをサンプリング周波数で割ることによって遅延時間に変換する。この遅延時間が位相差として取扱う。
従って、図６に表す例では、移動サンプリング数Ｎが２２でありサンプリング周波数が音楽データなどの採用される４４．１ｋＨｚであるとすれば、その遅延時間は約０．０００４９９秒として求められる。
【００３６】
この実施例では、マイクロフォン２１ａとマイクロフォン２１ｂとの入力波形のずれから遅延時間を算出しこれを位相差として取扱うが、位相差は遅延時間によってのみ表されるものではなく、波形を取扱うに際しては遅延している角度差によっても表すことができ、必ずしも時間差によって位相差を表さずに遅延角度等他の計測量を採用して位相差を表してもよい。
そして、上記のような位相差の算出を、第２のマイクロフォン群２２のマイクロフォン２２ａおよびマイクロフォン２２ｂにおいても同様に行う。
このような位相差の算出を位相差検出手段４２では、０．０５秒毎に行いその都度位相差を求める。従って、第１のマイクロフォン群２１および第２のマイクロフォン群２２における位相差はそれぞれ０．０５秒毎に算出されて出力する。勿論必ずしも０．０５秒毎に行う必要はなく、求める位相差の品質によってサンプリング周波数やサンプリングする時間も適宜設定すれば足りる。
【００３７】
尚、図６のようなパターンマッチングによる時間差の算出にあたり、第１のマイクロフォン群２１および第２のマイクロフォン群２２に入力される音声波形には、会議中に資料である紙をめくる音や、会議室の環境による反響音、会議室や周囲の環境により定在する定在波や暗騒音等、発言者の音声信号の位相差を算出するのに適さない波形も重畳しているため、これらの不要波形を予め取除いて得た波形に基づき上記のような位相差を検出することで、更に位相差の品質向上が図れる。
即ち、発明者は会議室においてマイクロフォン２１ａ等で得られる音声波形を高速フーリエ変換等によって周波数解析を行う等して周波数の特性を考察した結果、９０Ｈｚ乃至３５００Ｈｚが人間の声の周波数として取扱う周波数帯域であることを知見した。そして、このうち低域の周波数帯域では電源ノイズの存在を知見し、更に会議中にめくる紙の発生する紙ノイズは高域の周波数帯域の成分として発生している音を知見したので、位相差を求める際に使用する周波数帯域を３００Ｈｚ乃至２５００Ｈｚ程度にすると、良子な位相差の検出が可能であるので、該帯域以外の周波数成分を除去して行う。ただし、これら周波数成分の除去も必ずしも行わなければならないものではなく、低域の周波数帯域のみあるいは高域の周波数帯域のみ等を除去する、あるいは除去を行わない等適宜処理すれば足りる。
【００３８】
更にパーソナルコンピュータ４には方向決定手段４３を備える。方向決定手段４３は、実質的にはパーソナルコンピュータ４に備えるＣＰＵ、メモリ、バッファ等により構成する。方向決定手段４３は、位相差検出手段４２が検出した第１のマイクロフォン群２１および第２のマイクロフォン群２２の位相差を入力し、該入力した位相差からマイクロフォンアレイ２に対する音源の方向を検出し決定する手段である。
方向決定手段４３が行う方向決定の原理は図７の原理による。
即ち、図７は第１のマイクロフォン群２１のマイクロフォン２１ａおよびマイクロフォン２１ｂに入力される音声信号の方向決定の原理を表しており、マイクロフォン２１ａおよびマイクロフォン２１ｂ間の距離をｄ、音源からの音波をＳ０とする。
【００３９】
音源から発生された音波Ｓ０は、マイクロフォン２１ａおよびマイクロフォン２１ｂ間の距離に対して第１のマイクロフォン群２１から十分に遠い場合には、略同じ角度でマイクロフォン２１ａおよびマイクロフォン２１ｂへ到達する。この時の到達角度は第１のマイクロフォン群２１の方向に垂直な方向に対してθｓである。マイクロフォン２１ａおよびマイクロフォン２１ｂそれぞれからＳ０に垂直な方向に線分を引くと、第１のマイクロフォン群２１の方向である線分ｄとマイクロフォン２１ａからＳ０に垂直に引いた線分との成す角度は角度θｓとなるが、このマイクロフォン２１ａおよびマイクロフォン２１ｂそれぞれからＳ０に垂直な方向に引いた線分間の距離ξが、マイクロフォン２１ｂに到達するためにマイクロフォン２１ａより余分に掛る距離、即ち遅延距離となって現れる。
【００４０】
そして遅延距離ξは、『ξ＝ｄsinθｓ』によって求めることができる。そして音速ｖは温度条件によって若干の最はあるものの同一条件下では一定なので、遅延時間をτで表せば遅延時間は遅延距離ξを用いて『τ＝ξ/ｖ』なので、『τ＝ｄ/sinθｓ』によって求めることができるので、音源の方向θｓは、遅延時間τあるいは遅延距離ξから（距離ｄと音速ｖは既知量である。）図８に表す式によって求めることができる。
そこで方向決定手段４３では、位相差検出手段４２から入力した第１のマイクロフォン群２１の位相差である遅延時間によって方向θｓを検出する。検出された音源の方向θｓは、図５に表すように、第１のマイクロフォン群２１および第２のマイクロフォン群２２によって区切られる領域Ｍ１乃至領域Ｍ４のうち領域Ｍ１および領域Ｍ２のいずれかの方向θ１である。これは、音源Ｓが領域Ｍ２に存在していたとしても、図８に表す式からは角度のみが決定できることに起因している。
【００４１】
また、方向決定手段４３では同様の方向検出作業を第２のマイクロフォン群２２においても行うので、第１のマイクロフォン群２１同様に第２のマイクロフォン群２２の位相差によって検出される音源の方向θｓは、方向θ２として検知されるので、図５において領域Ｍ２および領域Ｍ３のいずれかの方向である。
そこで、方向決定手段４３では、第１のマイクロフォン群２１の位相差によって検出されたθ１が０°乃至９０°、９０°乃至１８０°のいずれであるかと、第２のマイクロフォン群２２の位相差によって検出されたθ２が９０°乃至１８０°、１８０°乃至２７０°のいずれであるかとにより組合わせ、同一の領域に現れた方向、図５に表す例では領域Ｍ２に現れた方向に音源があることを求める。
【００４２】
更に方向決定手段４３では、第１のマイクロフォン群２１から検出した方向θ１が０°あるいは１８０°と成す大きさ（第１のマイクロフォン群２１の方向と成す角度）と、第２のマイクロフォン群２２から検出した方向θ２が９０°あるいは２７０°と成す大きさ（第２のマイクロフォン群２２の方向と成す角度）とを比較し、その大きさが大きい方の方向を音源の方向θｓと決定する。このように方向決定手段４３がθ１あるいはθ２の何れかを採用するように構成するのは、一対のマイクロフォンの設置方向に近いほど、角度変化（音源の方向の変化）に対する位相差の変化が少ないので、言い換えれば、一対のマイクロフォンによる音声信号の位相差が大きいほど方向決定時に誤差が多くなるので、位相差の少なかった方のマイクロフォン群によって求めた方向を音源の方向と決定する方が誤差が少なくなることに起因しており、より誤差の少ない音源の方向θｓを検知することが可能となる。
【００４３】
尚、方向決定手段４３の音源の方向θｓの決定に際しては、それぞれのマイクロフォン群２１、２２からの角度が４５°付近では、それぞれのマイクロフォン群２１、２２の位相差から算出した方向θ１あるいはθ２はいずれも比較的正確な値となるので、４５°付近の例えば３０°を閾値として予め定めておき、いずれの検出した方向θ１あるいはθ２も当該マイクロフォン群からの角度が大きい場合には、両方の方向θ１およびθ２の値の平均値を用い、何れかがこの閾値より当該マイクロフォン群の方向に近い場合には（この場合、必ず他方はこの閾値より大きくなるので）、他方の方向を用いるように構成し、音源の方向θｓの正確度を向上させるように構成する他の実施例としてもよい。
【００４４】
更にパーソナルコンピュータ４には、ビデオカメラ制御装置５に対して方向決定手段４３で決定された音源の方向θｓを数値に変換して、ビデオカメラ制御装置５でビデオカメラ６の制御を可能等させる音源方向出力装置４４を設ける。
音源方向出力装置４４は、音源の方向θｓをビデオカメラ制御装置５に制御させる方向指示信号に変換して出力可能である。
更にパーソナルコンピュータ４には、音声出力装置４５を備える。音声出力装置４５は、サウンドカード４１の入力した音声信号を増幅して出力する装置であり、パーソナルコンピュータ４に備えるインターフェース（図示せず）を介してスピーカシステム８と接続され、音声信号を出力してスピーカシステム８から発言者の音声を出力させる。
【００４５】
ビデオカメラ制御装置５は、音源方向出力装置４４とパーソナルコンピュータ４に備えるインターフェース（図示せず）を介して接続されビデオカメラによる撮像が可能であると共に、撮像する方向を入力する音源の方向θｓに基づいて変更可能である。
従って、ビデオカメラ制御装置５では、音源の方向θｓを撮像するので、発言者の映像を撮像可能である。
更にビデオカメラ制御装置５は、撮像した映像信号を映像通信用ＰＣ６へ出力可能に接続され、撮像した映像を映像通信用ＰＣ６へ出力する。
このビデオカメラ制御装置５は、３６０°全域に回転させて撮像するための装置としては高価となってしまうので、ビデオカメラ制御装置５を複数のビデオカメラおよび所定角度回動可能な回転制御装置とから構成させ、予めテレビ会議室の撮像範囲を割当てて決めておき、音源方向出力装置４４の出力する音源の方向θｓによって撮像するカメラ映像を切替えて撮像させるように構成してもよい。また、音源の方向θｓによって撮像するカメラを切替える信号を音源方向出力装置４４が出力するように構成してもよい。
【００４６】
映像通信用ＰＣ６は、インターネット環境と接続可能に構成され、インターネット環境を通じて他所に存在するテレビ会議システムと通信可能であり、ビデオカメラ制御装置５の撮像した映像を該テレビ会議システムに送信可能であると共に、他所のテレビ会議システムから、他所のテレビ会議室を撮像した映像信号を受信可能である。また映像通信用ＰＣ６は、テレビ会議システム１に参加している各会議者毎に設置されるディスプレイ装置７と接続され、ディスプレイ装置７に他所の会議の映像およびビデオカメラ制御装置５によって撮像した映像を適宜切替えてあるいは適宜場所に表示させるよう信号出力可能である。
尚、上記実施例では、定点に設置されるマイクロフォンアレイ２によって発言者の音声を取得し、発言者の方向を決定する場合を説明したが、会議参加者一人一人にマイクロフォンを設置し、発言があった参加者、即ちマイクロフォンに音声入力があった参加者を発言者として認識し、音声入力のあったマイクロフォンを検知してカメラを該マイクロフォン設置位置へ向ける等の制御をするテレビ会議システムであっても、上記実施例同様に、発言はしていないにも拘らず、紙めくり等により雑音を参加者の発言として誤認してしまわないようにする場合にも利用可能である。
尚、上記実施例においては、０．０５秒間に入力された音声信号のピーク値に着目した処理を行っているが、この音声信号分割時間は０．０５秒に限らず、装置の性能等によっては更に小さく分割した時間あるいは大きく分割した時間を用いても良い。
【産業上の利用可能性】
【００４７】
この発明は、遠隔地相互において行うテレビ会議システムの発言者を撮像させるために利用することができ、発言していない会議参加者の発生した紙めくり音等の雑音による誤認を防止するので、上記実施例に拘らず、紙めくり音等の雑音が人の声と誤認されない必要のある場合に利用可能である。
更には、会議参加者全員にマイクロフォンを設置し、音声入力のあったマイクロフォンを特定することで発言者を特定する場合などにも、この発明を用いれば、発言していない会議参加者の紙めくり等による雑音に反応してしまうことを防止できる。
【図面の簡単な説明】
【００４８】
【図１】この発明の実施例を表す説明図
【図２】会議室の状態を表す説明図
【図３】この発明の実施例の詳細を表す説明図
【図４】同一波形且つ位相差をもって入力される信号を表す説明図であり（ａ）は近距離、（ｂ）は遠距離での波形を表す
【図５】音源の方向の決定の手法を説明するための説明図
【図６】位相差を決定するための説明図
【図７】位相差を説明するための説明図
【図８】位相差算出の式を表す
【図９】位相差の方向を説明する説明図
【図１０】紙めくり音を分析した状態を表すグラフであり、縦軸が周波数、横軸が周波数を表し横軸が時間を表す
【図１１】１０００Ｈｚ前後の出現回数を表す説明図
【図１２】遮断周波数毎の誤認回数。
【図１３】従来例１の構成を表す説明図
【図１４】従来例２の構成を表す説明図
【図１５】従来例２の波形が遅延している状態を表す説明図
【図１６】従来例２の遅延していない状態を表す説明図
【図１７】従来例２の他の構成を表す説明図
【符号の説明】
【００４９】
１  テレビ会議システム
２  マイクロフォンアレイ
２１  第１のマイクロフォン群
２２  第２のマイクロフォン群
３  マイクロフォンミキサー
４  パーソナルコンピュータ
４１  サウンドカード
４１ａ  第１のサウンドカード
４１ｂ  第２のサウンドカード
４２  位相差検出手段
４３  方向決定手段
４４  音源方向出力装置
４５  音声出力装置
４６  音声信号除去装置
５  ビデオカメラ制御装置
６  映像通信用ＰＣ
７  ディスプレイ装置
【図１】
2006304125.tif 000003
【図２】
2006304125.tif 000004
【図３】
2006304125.tif 000005
【図４】
2006304125.tif 000006
【図５】
2006304125.tif 000007
【図６】
2006304125.tif 000008
【図７】
2006304125.tif 000009
【図８】
2006304125.tif 000010
【図９】
2006304125.tif 000011
【図１１】
2006304125.tif 000012
【図１２】
2006304125.tif 000013
【図１３】
2006304125.tif 000014
【図１４】
2006304125.tif 000015
【図１５】
2006304125.tif 000016
【図１６】
2006304125.tif 000017
【図１７】
2006304125.tif 000018
【図１０】
2006304125.tif 000019