(57)【要約】【課題】  複数話者の音声を合成して発音するシステムにおいて、多数の話者による発声を可能としつつ、聞き手にとって異なる話者の音声を区別可能とする手段を提供する。【解決手段】  音声信号処理サーバ１３は、端末装置１１の各々から参加者１９の音声信号を受信する。累積時間データ生成部１３２は、各音声信号により示される発言時間の累計を示す累計時間データを生成する。端末装置選択部１３３は累計時間データに基づき、発言時間の長い参加者１９の端末装置１１を所定数だけ選択する。音像位置割当部１３５は、選択された端末装置１１の各々に異なる音像位置を割り当て、音声信号加工部１３６は各音声信号の音像位置が割り当てられた音像位置と一致するように加工処理を行う。音像位置の調整の行われた音声信号はミキシングされ、端末装置１１に送信される。【選択図】      図１
2006180251.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置から音声信号を受け取る入力手段と、
前記入力手段により前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する累積時間データ生成手段と、
前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する選択手段と、
前記選択手段により選択された複数の端末装置の各々に対し、互いに異なる音像位置を割り当てる割当手段と、
前記選択手段により選択された複数の端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、前記割当手段により当該端末装置に割り当てられた音像位置を有する音声信号に加工するとともに、前記選択手段により選択されなかった端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、所定の音像位置を有する音声信号に加工する加工手段と、
前記加工手段により加工された音声信号を出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項２】
前記割当手段は、一の端末装置に割り当てられている一の音像位置を他の音像位置に変更するとき、当該一の端末装置に対し、前記一の音像位置から前記他の音像位置に時間の経過に伴い推移する音像位置を割り当てる
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記選択手段により選択された複数の端末装置の各々に関し、当該端末装置から受け取られた音声信号の周波数特性を示す周波数特性データを生成する周波数特性特定手段を備え、
前記割当手段は、任意の２つの音像位置を割り当てる端末装置から受け取られた音声信号の前記周波数特性データの間の類似性が所定の条件を満たすように、前記選択手段により選択された複数の端末装置の各々に対し音像位置を割り当てる
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項４】
複数の端末装置から音声信号を受け取る入力手段と、
前記入力手段により前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する累積時間データ生成手段と、
前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する選択手段と、
前記選択手段により選択された複数の端末装置の各々に対し、互いに異なる周波数特性を割り当てる割当手段と、
前記選択手段により選択された複数の端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、前記割当手段により当該端末装置に割り当てられた周波数特性を有する音声信号に加工するとともに、前記選択手段により選択されなかった端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、所定の周波数特性を有する音声信号に加工する加工手段と、
前記加工手段により加工された音声信号を出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項５】
前記割当手段は、一の端末装置に割り当てられている一の周波数特性を他の周波数特性に変更するとき、当該一の端末装置に対し、前記一の周波数特性から前記他の周波数特性に時間の経過に伴い推移する周波数特性を割り当てる
ことを特徴とする請求項４に記載の音声信号処理装置。
【請求項６】
複数の端末装置から音声信号を受け取る処理と、
前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する処理と、
前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する処理と、
前記選択された複数の端末装置の各々に対し、互いに異なる音像位置を割り当てる処理と、
前記選択された複数の端末装置から音声信号が受け取られたとき、当該音声信号を、当該端末装置に割り当てられた音像位置を有する音声信号に加工するとともに、前記選択された端末装置以外の端末装置から音声信号が受け取られたとき、当該音声信号を、所定の音像位置を有する音声信号に加工する処理と、
前記加工された音声信号を出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
複数の端末装置から音声信号を受け取る入力手段と、
前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する処理と、
前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する処理と、
前記選択された複数の端末装置の各々に対し、互いに異なる周波数特性を割り当てる処理と、
前記選択された複数の端末装置から音声信号が受け取られたとき、当該音声信号を、当該端末装置に割り当てられた周波数特性を有する音声信号に加工するとともに、前記選択手段により選択された端末装置以外の端末装置から音声信号が受け取られたとき、当該音声信号を、所定の周波数特性を有する音声信号に加工する処理と、
前記加工された音声信号を出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議等の状況下において、音響機器を用いた複数話者による同時発声を可能とする音声信号処理技術に関する。
【背景技術】
【０００２】
多地点に配置された話者が参加する音声会議において、各話者の音声が聞き手に区別可能となるように、各話者の音声の音像定位を異ならせる技術がある。そのような技術においては、各話者の近傍に配されたマイクから入力される音声信号を左右２チャンネルの音声信号に分離した後、各チャンネルの音声信号に音圧調整を行うことにより、当該音声信号により示される音声の音像位置を変更する。その際、話者毎に異なる音圧調整が行われる結果、話者毎の音声が異なる音像位置に配置される。その後、音圧調整の行われた話者毎の音声信号が加算され、聞き手の近傍に配置されたスピーカに出力される。その結果、スピーカから複数話者の音声が同時に発せられても各音声の音像位置が異なるため、聞き手は各話者の音声を区別することができる。そのような従来技術を開示した文献として、例えば特許文献１がある。
【特許文献１】特開平１１−１２７４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術による場合、話者の数に応じた音像位置が設けられる。そのため、話者の数が増えるに従い隣り合う音像位置間の距離が短くなり、隣り合う音像位置に配置された異なる話者の音声間を聞き手が区別することが困難となる。
【０００４】
上記の状況に鑑み、本発明は、複数話者の音声を合成して発音するシステムにおいて、多数の話者による発声を可能としつつ、聞き手にとって異なる話者の音声を区別可能とする手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明は、複数の端末装置から音声信号を受け取る入力手段と、前記入力手段により前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する累積時間データ生成手段と、前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する選択手段と、前記選択手段により選択された複数の端末装置の各々に対し、互いに異なる音像位置を割り当てる割当手段と、前記選択手段により選択された複数の端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、前記割当手段により当該端末装置に割り当てられた音像位置を有する音声信号に加工するとともに、前記選択手段により選択されなかった端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、所定の音像位置を有する音声信号に加工する加工手段と、前記加工手段により加工された音声信号を出力する出力手段とを備えることを特徴とする音声信号処理装置を提供する。
【０００６】
かかる構成の音声信号処理装置によれば、異なる話者の音声信号が異なる所定数の音像位置に動的に配置されるため、話者が多数であり、音声信号を送信してくる端末装置の数が多い場合であっても、隣り合う音像位置間の間隔が一定以上に保たれる。その結果、生成される合成音声信号を再生して得られる音声に含まれる異なる話者の音声が聞き手によって混同されるという不都合が防止される。
【０００７】
また、好ましい態様において、前記割当手段は、一の端末装置に割り当てられている一の音像位置を他の音像位置に変更するとき、当該一の端末装置に対し、前記一の音像位置から前記他の音像位置に時間の経過に伴い推移する音像位置を割り当てるように構成してもよい。
【０００８】
かかる構成の音声信号処理装置によれば、端末装置に割り当てられる音像位置に変更が加えられる場合においても、滑らかに音像位置が移動する音声を示す合成音声信号が生成されるため、合成音声信号を再生して得られる音声の聞き手が、同じ話者の音声を捕捉することが容易となる。
【０００９】
また、他の好ましい態様において、前記音声信号処理装置は、前記選択手段により選択された複数の端末装置の各々に関し、当該端末装置から受け取られた音声信号の周波数特性を示す周波数特性データを生成する周波数特性特定手段を備え、前記割当手段は、任意の２つの音像位置を割り当てる端末装置から受け取られた音声信号の前記周波数特性データの間の類似性が所定の条件を満たすように、前記選択手段により選択された複数の端末装置の各々に対し音像位置を割り当てるように構成してもよい。
【００１０】
かかる構成の音声信号処理装置によれば、異なる話者の音声信号の周波数特性が互いに近似する場合にそれらの音像位置を一定以上離す等により、合成音声信号を再生して得られる音声の聞き手が、異なる話者の音声を混同する不都合をより確実に回避することができる。
【００１１】
さらに、本発明は、複数の端末装置から音声信号を受け取る入力手段と、前記入力手段により前記複数の端末装置の各々から過去の所定期間内に受け取られた音声信号の持続時間の累積値を示す累積時間データを生成する累積時間データ生成手段と、前記累積時間データに基づき、前記複数の端末装置の中から所定数の複数の端末装置を選択する選択手段と、前記選択手段により選択された複数の端末装置の各々に対し、互いに異なる周波数特性を割り当てる割当手段と、前記選択手段により選択された複数の端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、前記割当手段により当該端末装置に割り当てられた周波数特性を有する音声信号に加工するとともに、前記選択手段により選択されなかった端末装置から前記入力手段により音声信号が受け取られたとき、当該音声信号を、所定の周波数特性を有する音声信号に加工する加工手段と、前記加工手段により加工された音声信号を出力する出力手段とを備えることを特徴とする音声信号処理装置を提供する。
【００１２】
かかる構成の音声信号処理装置によれば、異なる話者の音声信号に対し異なる周波数特性を持つように加工処理が施され、異なる話者の音声が区別可能な合成音声信号が生成されると同時に、周波数特性の数が所定数に限られており、それらが動的に異なる話者の音声信号に割り当てられるため、話者が多数であり、音声信号を送信してくる端末装置の数が多い場合であっても、加工処理後の音声信号の周波数特性間に一定以上の差異が保たれる。その結果、生成される合成音声信号を再生して得られる音声に含まれる異なる話者の音声が聞き手によって混同されるという不都合が防止される。
【００１３】
また、好ましい態様において、前記割当手段は、一の端末装置に割り当てられている一の周波数特性を他の周波数特性に変更するとき、当該一の端末装置に対し、前記一の周波数特性から前記他の周波数特性に時間の経過に伴い推移する周波数特性を割り当てるように構成してもよい。
【００１４】
かかる構成の音声信号処理装置によれば、端末装置に割り当てられる周波数特性に変更が加えられる場合においても、滑らかに周波数特性が変化する音声を示す合成音声信号が生成されるため、合成音声信号を再生して得られる音声の聞き手が、同じ話者の音声を捕捉することが容易となる。
【００１５】
また、本発明は、上記の音声信号処理装置により行われる処理をコンピュータに実行させるプログラムを提供する。
【発明を実施するための最良の形態】
【００１６】
［１．第１実施形態］
［１．１．音声会議システムの構成］
図１は、本発明の第１実施形態にかかる音声会議システム１の構成を示したブロック図である。音声会議システム１は、互いに異なる場所にいる会議参加者が、音声により会議を行うことを可能とするシステムである。音声会議システム１は、複数の通信機器を相互に接続するネットワーク１０と、ネットワーク１０に各々接続された複数の端末装置１１と、端末装置１１の各々に接続されたヘッドセット１２と、ネットワーク１０に接続された音声信号処理サーバ１３を備えている。
【００１７】
複数の端末装置１１およびヘッドセット１２の各々は、会議の参加者１９の各々により使用される。音声会議システム１を利用した会議に参加可能な参加者の数、すなわち端末装置１１およびヘッドセット１２の数は任意に変更可能であり、さらに会議の進行中に参加者の構成が変動してもよい。
【００１８】
図１に示すように、異なる参加者１９および当該参加者１９が使用する端末装置１１およびヘッドセット１２を互いに区別する必要がある場合には、それぞれ、参加者１９−ｎ、端末装置１１−ｎおよびヘッドセット１２−ｎのように、末尾に「−ｎ」を付してそれらを区別する。ただし、「ｎ」は任意の自然数である。また、異なる参加者１９および当該参加者１９が使用する端末装置１１およびヘッドセット１２を互いに区別する必要がない場合には、それぞれ、単に参加者１９、端末装置１１およびヘッドセット１２と呼ぶ。
【００１９】
ネットワーク１０は、有線または無線により相互接続された１以上の中継装置を備え、異なる通信機器間のデータの中継を行う。ネットワーク１０は、インターネット等の利用者を限定しないオープンネットワークであってもよいし、イントラネットやインターネットプロトコル以外の通信プロトコルを用いるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のいずれであってもよい。
【００２０】
端末装置１１は、参加者１９の音声を示す音声信号を音声信号処理サーバ１３に送信するとともに、音声信号処理サーバ１３から他の参加者１９の音声を示す音声信号が合成された合成音声信号を受信する装置であり、例えば、汎用のパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、専用端末装置等のいずれであってもよい。端末装置１１は、ヘッドセット１２から入力されるアナログ音声信号をデジタル音声信号に変換するとともにデジタル音声信号をアナログ音声信号に変換してヘッドセット１２に出力する音声信号処理部１１１と、音声信号処理部１１１から音声信号を受け取ってネットワーク１０に送出する音声信号送信部１１２と、ネットワーク１０から音声信号を受け取って記憶部１１４に書き込む音声信号受信部１１３と、端末装置１１の制御プログラム等を記憶するとともに他の構成部のワークエリアとして利用される記憶部１１４を備えている。
【００２１】
ヘッドセット１２は、参加者１９の音声を示すアナログ音声信号を生成して端末装置１１に出力するマイクと、端末装置１１から入力されるアナログ音声信号を音声に変換して発音するヘッドフォンを備えている。ヘッドセット１２のヘッドフォンは左入力および右入力を備え、左右異なる音を発音可能なステレオヘッドフォンである。
【００２２】
音声信号処理サーバ１３は、複数の端末装置１１の各々から音声信号を受信し、受信した音声信号に対し、音像位置調整およびミキシングの処理を行って合成音声信号を生成し、生成した合成音声信号を複数の端末装置１１の各々に送信する装置である。音声信号処理サーバ１３は、ネットワーク１０から音声信号を受信する音声信号受信部１３１と、過去の所定時間内に受信した音声信号により示される音声の持続時間の累積値を送信元である端末装置１１の各々に関し示す累積時間データを生成する累積時間データ生成部１３２と、累積時間データ等に基づき音空間に配置すべき音声信号の出所となる所定数の端末装置を選択する端末装置選択部１３３と、各端末装置１１から受信される音声信号の周波数特性を特定し周波数特性データを生成する周波数特性特定部１３４と、音声信号の出所である端末装置１１の各々に対し当該音声信号が音空間において配置されるべき音像位置を割り当てる音像位置割当部１３５と、音声信号の各々の音像位置が音像位置割当部１３５により割り当てられた音像位置となるように音声信号を加工し調整済の音声信号を生成する音声信号加工部１３６と、調整済の音声信号をミキシングして合成音声信号を生成するミキシング部１３７と、合成音声信号をネットワーク１０に送信する音声信号送信部１３８と、音声信号処理サーバ１３の制御プログラム等を記憶するとともに他の構成部のワークエリアとして利用される記憶部１３９を備えている。また、記憶部１３９は、端末装置選択部１３３が所定数の端末装置を選択するための条件および音像位置割当部１３５が音像位置を各端末装置１１に割り当てるための条件を示す条件データを格納した条件データベース１３９１を記憶している。
【００２３】
多人数の参加者１９が参加する会議においては、仮に音像位置割当部１３５が全ての参加者１９の音声に対し固定的に異なる音像位置を割り当てると、隣り合う音像位置との距離が短くなる。その結果、類似する音声に対し近接する音像位置が割り当てられ、それらの音声により同時に発言がなされると、それらの音声に対し音像位置調整が行われたとしても、ミキシング後の音声は聞き手にとって判別困難なものとなる。そこで、端末装置選択部１３３はその時々に音像位置割当部１３５により音像位置の割当が行われるべき音声を所定数だけ選択することにより、音像位置の数を制限するのである。すなわち、音像位置割当部１３５は、端末装置選択部１３３により選択された端末装置１１にのみ、音像位置の割当を行う。その結果、隣り合う音像位置間の距離が一定以上狭くなることはなく、上記のような問題が生じない。
【００２４】
ところで、端末装置選択部１３３による端末装置１１の選択および音像位置割当部１３５による音像位置の割当は条件データベース１３９１に含まれる条件データに従い行われる。端末装置選択部１３３および音像位置割当部１３５は各々、選択もしくは割当の処理において累積時間データ生成部１３２により生成される累積時間データを用いる。累積時間データは、過去の所定時間内における各参加者１９の発言時間の累計値を示すデータであり、時間の経過とともに常時変化している。従って、端末装置選択部１３３により選択される端末装置１１および音像位置割当部１３５によりそれらの端末装置１１に割り当てられる音像位置は動的に変化する。
【００２５】
また、音像位置割当部１３５は、音像位置の割当を行うにあたり、周波数特性特定部１３４により生成される周波数特性データを用いることもできる。周波数特性データは、各参加者１９の音声の特徴を示すデータである。
【００２６】
音声信号受信部１３１により受信された音声信号は、その出所である端末装置１１に対し音像位置割当部１３５により割り当てられる音像位置を有するように音声信号加工部１３６で調整された後、ミキシング部１３７でミキシングされ、音声信号送信部１３８により各端末装置１１に送信される。以上が音声信号処理サーバ１３の動作の概要である。
【００２７】
続いて、条件データベース１３９１の説明を行う。図２は、条件データベース１３９１の内容を例示した図である。条件データベース１３９１は、複数のレコード（図２の各データ行）を含み、各レコードは条件データと、その条件データの内容が他の条件データの内容と競合する場合にいずれを優先するかを示す優先度を含んでいる。優先度は整数値であり、数が小さいほど優先度が高いことを示す。以下、図２に例示される条件データの説明を行う。ただし、条件データの種類は以下に説明するものに限られない。まず、条件データ「ポジション数：６」は、音像位置割当部１３５により音声に対し割り当てられる音像位置の数を６とすることを指示している。以下、音像位置割当部１３５により音声に割り当てられる音像位置を、聞き手の左から右にかけて「ポジション１」、「ポジション２」、・・・のように呼ぶ。これらの音像位置は、聞き手の正面を基準（０度）とし、左方向（負）もしくは右方向（正）への傾きの角度により特定される。例えば、ポジション１〜６は、それぞれ「−５０度」、「−３０度」、「−１０度」、「＋１０度」、「＋３０度」および「＋５０度」のように特定される。
【００２８】
条件データ「監視期間：２０分」は、累積時間データ生成部１３２および周波数特性特定部１３４に対し、音声信号受信部１３１により受信された音声信号のうち、過去２０分間分のものを利用することを指示している。この場合、累積時間データ生成部１３２は過去２０分間に受信された音声信号に基づき各端末装置１１から受信した音声信号の持続時間を算出することにより参加者１９の各々の発言時間の累計値を示す累計時間データを生成し、周波数特性特定部１３４は過去２０分間に受信された音声信号に対し周波数分析を行うことにより参加者１９の各々の音声信号の周波数特性を示す周波数特性データを生成することになる。
【００２９】
条件データ「移動速度：２０秒」は、音像位置割当部１３５が、ある端末装置１１から受信する音声信号に割り当てている音像位置を変更する場合に、２０秒間で音像位置の移動が完了するように、徐々に音像位置の変更を行うことを指示している。類似の指示を行う条件データとして、例えば条件データ「移動時間：１度／秒」のような条件データを用いるようにしてもよい。この条件データは、音像位置割当部１３５に、音像位置を変更する際、それまで割り当てていた音像位置から新たに割り当てたい音像位置に向け、１秒間に１度の角速度で徐々に移動させるように音像位置の変更を行うことを指示している。
【００３０】
条件データ「常設保留ポジション：ポジション４」は、音声信号受信部１３１が受信した音声信号が、その時点で端末装置選択部１３３により選択されている端末装置１１以外の端末装置１１から送信されたものである場合に、その音声信号により示される音声をポジション４に配置することを指示している。常設保留ポジションには、次に説明する一時的保留ポジションの場合と異なり、端末装置選択部１３３により選択されている端末装置１１から送信された音声信号により示される音声が配置されることはない。
【００３１】
条件データ「一時的保留ポジション：ポジション３」は、音声信号受信部１３１が受信した音声信号が、その時点で端末装置選択部１３３により選択されている端末装置１１以外の端末装置１１から送信されたものであり、さらに条件データ「常設保留ポジション：ポジション４」により示されるポジション４に対し、個別に音声信号により示される音声をポジション３に配置することを指示している。すなわち、常設保留ポジションが本来、端末装置選択部１３３により選択されている端末装置１１から送信された音声信号のために確保されているポジションであるのに対し、一時的保留ポジションは一時的に他の端末装置１１から送信された音声信号のために利用されることが許可されたポジションである。
【００３２】
条件データ「累積時間ランキング１：ポジション６」は、累積時間データ生成部１３２により生成される累積時間データにより、過去の所定時間において発言時間の最も長かったとされる参加者１９の端末装置１１に対し、ポジション６を割り当てることを指示している。この場合、過去の所定時間とは、条件データ「監視期間：２０分」により示される２０分間である。
【００３３】
条件データ「周波数特性類似度＞０．９０→間隔２以上」は、周波数特性特定部１３４により生成される周波数特性データにより示される周波数特性が互いに類似している音声に対し、間隔が２以上離れている音像位置を割り当てることを指示している。ここで、間隔とは、２つのポジション間に含まれる他のポジションの数に１を加えた数である。例えば、ポジション１とポジション４の間隔は「３」となる。周波数特性類似度とは、２つの音声信号の周波数特性の類似度を示す指標であり、周波数特性データに基づき音像位置割当部１３５により算出される。周波数特性の類似度を示す指標としては様々なものが考えられるが、以下の説明においては例として、２つの音声信号の周波数特性を各々示すグラフの相違度を用いることとする。より具体的には、音像位置割当部１３５は以下のように周波数特性類似度を算出するものとする。
（ａ）周波数特性データより、各音声信号の周波数特性を示すグラフを描く。その際、縦軸に音圧レベル（ｄＢ）をとり、横軸に周波数（Ｈｚ）の対数をとる。
（ｂ）（ａ）において描いたグラフと横軸とに囲まれる図形の面積が所定値Ｓとなるように、音圧レベルを全周波数帯域にわたり増加もしくは減少させる。すなわち、グラフを縦軸方向に上下させる。これは、音声信号により示される音声のボリュームを上下させ、異なる音声間の全体的なボリュームを合わせることを意味する。
（ｃ）２つの音声信号に関し、（ｂ）においてボリューム調整を行ったグラフを重ね合わせた場合に、各グラフと横軸とに囲まれる図形の間の重複部分の面積ｓを算出する。
（ｄ）（ｂ）において用いたＳと、（ｃ）において算出したｓからＲ＝ｓ／Ｓを算出し、このＲを２つの音声信号に関する周波数特性類似度とする。
【００３４】
上記のように算出されるＲは０以上１以下の値をとり、その値が大きいほど２つの音声信号の周波数特性が類似していることを示す。条件データ「周波数特性類似度＞０．９０→間隔３以上」に従う場合、２つの音声信号の周波数特性類似度が０．９０より大きい場合、それらの音声信号により示される音声が３以上の間隔をあけて配置されるように、端末装置１１に対し音像位置の割当が行われることになる。
【００３５】
条件データ「端末ＩＤ「０１２３」：ポジション１」は、端末装置１１のネットワーク１０における識別子である端末ＩＤが「０１２３」である端末装置１１にポジション１を割り当てることを指示している。すなわち、ポジション１は特定の端末装置１１の使用者である参加者１９のために確保され、その参加者１９の発言時間の長短によってポジション１が他の参加者１９の音声に割り当てられることはない。このような条件データは、例えば、会議の司会者のように、必ずしも発言時間は長くないが、常に同じ音像位置にその音声が配置されることが全ての聞き手にとって好都合であるような場合に用いられる。
【００３６】
条件データ「デフォルトポジション：端末ＩＤ順」は、音声信号の送信元の端末装置１１の端末ＩＤの大小に従い、各音声信号により示される音声に音像位置の割り当てを行うことを音像位置割当部１３５に指示している。この条件データに対応付けられている優先度は「９」であり、他の条件データと比較して優先度が低い。すなわち、この条件データは、他の条件データにより音像位置が一意に定まらない場合に用いられる条件を示している。例えば、会議の開始直後にはまだ累積時間データが生成されていないため、条件データ「累積時間ランキング１：ポジション６」等の条件データによっては最初の発言者の音声のポジションが定まらない。そのような場合、条件データ「デフォルトポジション：端末ＩＤ順」により、発言した参加者１９の使用する端末装置１１の端末ＩＤの小さい順にポジション１、ポジション２、・・・のように音声が配置されることになる。
【００３７】
［１．２．音声会議システムの動作］
続いて、複数の参加者１９が音声会議システム１を用いて会議を行う場合の音声会議システム１の動作を説明する。まず、会議に参加する参加者１９は各自の端末装置１１を操作して、端末装置１１と音声信号処理サーバ１３との間に通信コネクションを確立させる。音声信号処理サーバ１３は、複数の端末装置１１の各々との間に通信コネクションを確立するが、それら複数の通信コネクションは音声信号処理サーバ１３により割り当てられるコネクションＩＤにより識別される。通信コネクションの確立の方法は従来技術によるものと同様であるので、説明を省略する。端末装置１１は、各々、任意のタイミングで音声信号処理サーバ１３との間に通信コネクションを確立することができるので、参加者１９は任意のタイミングで会議に参加したり、会議から離脱したりすることができる。
【００３８】
端末装置１１と音声信号処理サーバ１３との間に通信コネクションの確立が行われると、端末装置１１の記憶部１１４には、音声信号処理サーバ１３から受信される音声信号を所定時間分（例えば５秒間分）だけＦＩＦＯ（Ｆｉｒｓｔ−ｉｎ  Ｆｉｒｓｔ−ｏｕｔ）により一時的に記憶するデータバッファ１１４１が確保される。ただし、後述するように端末装置１１が音声信号処理サーバ１３から受信する音声信号は左右２チャンネルであるため、データバッファ１１４１は、左右２チャンネルの音声信号を所定時間分だけ記憶可能なように、その記憶容量が決定される。
【００３９】
同様に、音声信号処理サーバ１３の記憶部１３９には、確立された通信コネクションごとに、端末装置１１から受信される音声信号を条件データベース１３９１（図２参照）に含まれる条件データ「監視期間：２０分」で示される時間分（すなわち２０分間分）だけＦＩＦＯにより一時的に記憶するデータバッファ１３９２が確保される。これらのデータバッファはコネクションＩＤにより識別され、音声信号処理サーバ１３においては、異なる端末装置１１から受信した音声信号は異なるデータバッファ１３９２に順次記憶される。音声信号処理サーバ１３が端末装置１１から受信する音声信号はモノラルであるため、データバッファ１３９２の記憶容量はデータバッファ１１４１と異なり、１チャンネルの音声信号を２０分間分だけ記憶可能なように、その記憶容量が決定される。
【００４０】
また、音声信号処理サーバ１３は、端末装置１１の各々にコネクションＩＤを割り当てると同時に、コネクションＩＤを割り当てた端末装置１１から端末ＩＤを取得し、割り当てたコネクションＩＤと端末ＩＤとの対応表を作成する。図３は、音声信号処理サーバ１３において作成されるコネクションＩＤと端末ＩＤの対応表の例を示している。音声信号処理サーバ１３はこの対応表に従い、コネクションＩＤにより、そのコネクションＩＤにより特定される通信コネクションを用いた通信の相手の端末装置１１を特定することができる。例えば、コネクションＩＤ「００２３」に端末ＩＤ「０１２３」が対応付けられている場合、コネクションＩＤ「００２３」で識別されるデータバッファ１３９２には、端末ＩＤ「０１２３」で特定される端末装置１１から送信された音声信号が記憶されることになる。
【００４１】
上記のように、端末装置１１と音声信号処理サーバ１３との間に通信コネクションが確立されると、参加者１９は端末装置１１に接続されたヘッドセット１２を用いて発言を行うことができる。参加者１９が発音した音声は、ヘッドセット１２のマイクによりアナログ音声信号に変換され、端末装置１１の音声信号処理部１１１に入力される。音声信号処理部１１１はヘッドセット１２から受け取ったアナログ音声信号をデジタル音声信号に変換した後、変換後の音声信号を含むデータパケットを生成する。
【００４２】
図４は、音声信号が複数のデータパケットに含まれる様子を模式的に示した図である。音声信号処理部１１１は、音声信号を先頭から順に所定のデータ長の音声信号ブロックに分割する。音声信号処理部１１１は、音声信号ブロックの間の順序を示すブロック番号を音声信号ブロックの前に付加する。さらに、音声信号処理部１１１はブロック番号の前に、コネクションＩＤ、送信元ＩＤおよび送信先ＩＤを順次付加する。送信元ＩＤは端末装置１１の端末ＩＤであり、送信先ＩＤは音声信号処理サーバ１３のネットワーク１０におけるＩＤ（以下、「サーバＩＤ」と呼ぶ）である。さらに、音声信号処理部１１１は、ブロック番号等を付加した音声信号ブロックの前および後に、一連のデータの区切りを示すデータとして、ＨＯＤ（Ｈｅａｄ  ｏｆ  Ｄａｔａ）およびＥＯＤ（Ｅｎｄ  ｏｆ  Ｄａｔａ）を付加する。このように生成されたＨＯＤで始まりＥＯＤで終わる一連のデータがデータパケットである。
【００４３】
音声信号処理部１１１は、上記のように生成したデータパケットを順次、音声信号送信部１１２に引き渡し、音声信号送信部１１２は受け取ったデータパケットを順次、ネットワーク１０に送出する。ネットワーク１０に含まれる中継装置は、送信先ＩＤによりネットワーク１０において特定される通信機器へ到達可能な通信経路を示すルーティングテーブルを記憶しており、端末装置１１から送出されたデータパケットに含まれる送信先ＩＤに基づき、ルーティングテーブルに従い送信先ＩＤにより特定される通信機器へ到達可能な通信経路上の隣接する中継装置にデータパケットを転送する。その結果、データパケットは音声信号処理サーバ１３に送り届けられる。ルーティングテーブルの更新方法等は従来技術によるものと同様であるので、説明を省略する。
【００４４】
ネットワーク１０を介して上記のように音声信号処理サーバ１３に送り届けられたデータパケットは、音声信号処理サーバ１３の音声信号受信部１３１により受信される。音声信号受信部１３１は、受信したデータパケットに含まれるコネクションＩＤに従い、当該コネクションＩＤにより識別されるデータバッファ１３９２のうち、当該データパケットに含まれるブロック番号に応じた領域に、当該データパケットに含まれる音声信号ブロックを記憶させる。端末装置１１から送出された複数のデータパケットは、各々、ネットワーク１０において通過する通信経路が異なる結果、送出順に音声信号処理サーバ１３に受信されるとは限らない。しかしながら、音声信号受信部１３１により、ブロック番号に応じた順序でデータバッファ１３９２に音声信号ブロックが記憶される結果、データバッファ１３９２に記憶される一連の音声信号は、端末装置１１においてデータパケットに分割される前の音声信号を再現したものとなる。データパケットの一部が何らかの理由で音声信号処理サーバ１３に到達しなかった場合には、音声信号処理サーバ１３が到達しなかったデータパケットに含まれる音声信号を前後の音声信号に基づき補間する等の処理を行うが、それらの処理は従来技術によるものと同様であるため、説明を省略する。
【００４５】
上記のように、音声信号受信部１３１により、複数の端末装置１１の各々から受信される音声信号が、過去所定の期間分だけ、対応するコネクションＩＤにより識別されるデータバッファ１３９２に記憶される。ただし、各データバッファ１３９２に記憶される音声信号には、参加者１９が発言をしていない時の音、すなわちほぼ無音を示す信号も混在している。そこで、累積時間データ生成部１３２は、所定時間間隔で、各データバッファ１３９２に記憶されている音声信号から、振幅の絶対値が所定の閾値を超える部分を取り出し、取り出した音声信号の部分の時間を示す累積時間データを生成する。以下、例として、累積時間データ生成部１３２は５秒間隔で累積時間データを生成するものとする。累積時間データには、その生成に用いられた音声信号の記憶されていたデータバッファ１３９２を識別するコネクションＩＤが対応付けられている。すなわち、累積時間データは、対応付けられているコネクションＩＤにより識別される端末装置１１の参加者１９による過去の所定時間内の発言時間の累積を示している。
【００４６】
累積時間データ生成部１３２がデータバッファ１３９２に記憶されている音声信号から参加者１９の発言を示す部分を取り出す際には、例えば音声信号の振幅が所定の閾値を超えた後、所定時間（例えば２秒間）はたとえ振幅が所定の閾値以下となっても、発言が継続しているものとみなすようにしてもよい。そうすれば、参加者１９による発言において言葉と言葉の間に小休止があるような場合にも、それらの一連の発言時間が累積時間データに反映される。
【００４７】
また、端末装置１１から音声信号処理サーバ１３に対し、参加者１９の発言がない期間の音声信号を送信しないようにし、累積時間データ生成部１３２は端末装置１１により受信された音声信号により示される音声の発音時間を単純に累積するようにしてもよい。その場合、音声信号の送信元である端末装置１１の音声信号送信部１１２において、音声信号のうち振幅が所定の閾値を超える部分のみをデータパケットとしてネットワーク１０に送出するようにすればよいので、データの通信量が削減される。
【００４８】
累積時間データ生成部１３２は、上記のように５秒間隔で累積時間データを生成すると、生成した累積時間データを端末装置選択部１３３および音像位置割当部１３５に引き渡す。
【００４９】
端末装置選択部１３３は、累積時間データ生成部１３２から累積時間データを受け取ると、受け取った累積時間データに基づき、記憶部１３９に記憶されている条件データベース１３９１に含まれる条件データに従って、複数の参加者１９の使用する端末装置１１から、参加者１９の過去の所定期間における累積発言時間の長い順に所定数だけ選択する。図２に例示される条件データベース１３９１によれば、音像位置の総数は６であるが、常設保留ポジションとしてポジション４が保留され、端末ＩＤ「０１２３」の端末装置１１にポジション１が確保されているため、端末装置選択部１３３は、累積時間データにより示される累積時間が長い参加者１９の端末装置１１から順に、４つの端末装置１１を選択する。ただし、上記のように選択された４つの端末装置１１に、端末ＩＤが「０１２３」であるものが含まれている場合、その端末装置１１には既にポジション１が確保されているため、端末装置選択部１３３はさらに１つの端末装置１１を選択する。
【００５０】
端末装置選択部１３３による端末装置１１の選択処理は、より具体的には、累積時間データにより示される累積時間の長い順に累積時間データを並べた場合の上位のものを選択し、選択した累積時間データに対応付けられたコネクションＩＤを選択することにより行われる。端末装置選択部１３３は、上記のように選択したコネクションＩＤを、例えば対応する累積時間の長い順に並べ、選択データとして周波数特性特定部１３４および音像位置割当部１３５に引き渡す。端末装置選択部１３３は５秒間隔で累積時間データを受け取るので、端末装置選択部１３３もまた５秒間隔で選択データを周波数特性特定部１３４および音像位置割当部１３５に引き渡すことになる。
【００５１】
周波数特性特定部１３４は、端末装置選択部１３３から選択データを受け取ると、選択データに含まれるコネクションＩＤの各々に関し、対応付けられたデータバッファ１３９２に記憶されている音声信号に関する周波数分析を行い、各周波数と音声信号に含まれる当該周波数の音圧レベルとの関係を示す周波数特性データを生成する。周波数特性特定部１３４は、生成した周波数特性データを音像位置割当部１３５に引き渡す。周波数特性特定部１３４による音像位置割当部１３５に対する周波数特性データの引き渡しも５秒間隔で行われる。
【００５２】
音像位置割当部１３５は、端末装置選択部１３３から選択データを受け取るとともに、周波数特性特定部１３４から選択データに含まれるコネクションＩＤに各々対応する周波数特性データを受け取ると、受け取ったデータに基づき、条件データベース１３９１に含まれる条件データに従い、端末装置１１に対する音像位置の割当処理を以下のように行う。
【００５３】
例えば、選択データが「００３４，００１５，０００４，０００９」であり、選択データに含まれるコネクションＩＤに対応付けられた端末ＩＤ（図３参照）が「０２７８，０３０１，００４１，００８４」であった場合、音像位置割当部１３５は、条件データ「累積時間ランキング１：ポジション６」に従って、ポジション６を累積時間のランキング１位である端末ＩＤ「０２７８」に対応するコネクションＩＤ「００３４」に割り当てる。同様に、コネクションＩＤ「００１５」にはポジション２が、コネクションＩＤ「０００４」にはポジション５が、コネクションＩＤ「０００９」にはポジション３が割り当てられる。
【００５４】
図５は、上記のように音像位置割当部１３５により各ポジションがコネクションＩＤに割り当てられる結果、いずれの参加者１９の音声がいずれのポジションに配置されるかを模式的に示した図である。図５において、ポジション１には、端末ＩＤ「０１２３」の端末装置１１を使用する参加者１９の音声が固定的に配置されている。また、ポジション２、３、５および６には、それぞれ、端末ＩＤが「０３０１」、「００８４」、「００４１」および「０２７８」の端末装置１１を使用する参加者１９の音声が配置されているが、これらの配置は参加者１９の発言時間の累積値に基づき一時的に定められた配置であり、これらの配置は動的に変化する。また、ポジション４には、ポジション１〜３、５または６のいずれにも割り当てられていない１または複数の端末装置１１を使用する参加者１９により発言がなされた場合に、その参加者１９の音声が配置される。さらに、ポジション３には、ポジション１〜３、５または６のいずれにも割り当てられていない異なる端末装置１１を使用する２名の参加者１９により同時に発言がなされた場合に、例えばそれら２名のうち、後から発言を開始した参加者１９の音声が一時的に配置される。
【００５５】
続いて、音像位置割当部１３５は、条件データ「周波数特性類似度＞０．９０→間隔２以上」に従い、上記のように各コネクションＩＤに割り当てたポジションに必要な修正を加える。具体的には、音像位置割当部１３５は上記のように各ポジションに割り当てたコネクションＩＤに対応する周波数特性データから２つを順次選択して、それらの周波数特性データから既に説明した方法により周波数特性類似度を算出する。そして、音像位置割当部１３５は、条件データ「周波数特性類似度＞０．９０→間隔２以上」により示される条件に反するポジションの割当が行われている場合、条件を満たすようにポジションの割り当て変更を行う。
【００５６】
例えば、ポジション２を割り当てられたコネクションＩＤ「００１５」に対応する周波数特性データと、ポジション３を割り当てられたコネクションＩＤ「０００９」に対応する周波数特性データから算出された周波数特性類似度が０．９５であった場合、音像位置割当部１３５は、例えばコネクションＩＤ「０００９」にポジション５を割り当て、ポジション５が割り当てられていたコネクションＩＤ「０００４」にポジション３を割り当てることにより、隣り合うポジションの音声信号が一定以上類似することがないようにするのである。ただし、複数のコネクションＩＤに対しどのようにポジションを割り当てても条件データ「周波数特性類似度＞０．９０→間隔２以上」を満たすことができないような場合、音像位置割当部１３５は、例えば隣り合うコネクションＩＤに対応する音声信号間の周波数特性類似度が最小となるような配置を選択するなど、所定のルールに従いポジションの割り当てを行う。
【００５７】
音像位置割当部１３５は、上記のように各コネクションＩＤに対しポジションの割り当てを行うと、各ポジションに割り当てられたコネクションＩＤを示す音像位置割当データを生成する。例えば、図５に例示したポジションの割り当てを行った場合、音像位置割当部１３５により生成される音像位置割当データは、［００２３：−５０度、００１５：−３０度、０００９（一時的保留）：−１０度、（常設保留）：＋１０度、０００４：＋３０度、００３４：＋５０度］となる。音像位置割当部１３５は、音像位置割当データを生成し、音声信号加工部１３６に引き渡す。
【００５８】
音像位置割当部１３５による音声信号加工部１３６に対する音像位置割当データの引き渡しは、通常、５秒間隔で行われる。ただし後述するように、音像位置割当部１３５は音像位置の割当を変更する必要が生じた場合には、変更にかかるコネクションＩＤに割り当てられる音像位置が徐々に移動するように、音像位置割当データの生成および引き渡しをより短い時間間隔で行う。
【００５９】
音声信号加工部１３６は記憶部１３９に確保されている全てのデータバッファ１３９２に関し、新たに書き込まれる音声信号の振幅を常時監視し、振幅の絶対値が所定の閾値を超えた場合、そのデータバッファ１３９２に対応する参加者１９の発言があったものと判断して、その音声信号に対し音像位置の調整処理を行う。音声信号加工部１３６は、音声信号に対する音像位置の調整処理を行う場合、音像位置割当部１３５から最後に受け取った音像位置割当データに従い、その音像位置を決定する。
【００６０】
例えば、端末ＩＤ「０３０１」の参加者１９により発言があったとする。その結果、端末ＩＤ「０３０１」に対応するコネクションＩＤ「００１５」（図３参照）で特定されるデータバッファ１３９２に書き込まれる音声信号が、所定の閾値を超えることになる。その場合、音声信号加工部１３６は最後に受け取った音像位置割当データからコネクションＩＤ「００１５」を検索する。今、音像位置割当部１３５により割り当てられている音像位置が図５に例示のものであるとすると、音声信号加工部１３６は最後に受け取った音像位置割当データにコネクションＩＤ「００１５」が含まれていることを発見し、さらにそのコネクションＩＤに「−３０度」が対応付けられていることを発見する。そこで、音声信号加工部１３６は、コネクションＩＤ「００１５」で特定されるデータバッファ１３９２に書き込まれた音声信号の音像位置が「−３０度」で示される位置、すなわち左前方の位置となるように音声信号に対し加工処理を行う。すなわち、音声信号加工部１３６は音声信号の複製を２組生成し、その一方に対し増幅率ａ（ａ＞１）を乗じてその振幅を増幅させると同時に、他方に対し増幅率ｂ（ｂ＜１）を乗じてその振幅を減少させる。そのように振幅の調整を行った２組の音声データを、それぞれ左チャンネルおよび右チャンネルの音声信号とすることにより、データバッファ１３９２に書き込まれた音声信号の音像位置が左前方となるようにするのである。
【００６１】
また、例えば端末ＩＤ「００７５」の参加者１９により発言があったとする。その結果、端末ＩＤ「００７５」に対応するコネクションＩＤ「００２１」（図３参照）で特定されるデータバッファ１３９２に書き込まれる音声信号が、所定の閾値を超えることになる。その場合、音声信号加工部１３６は最後に受け取った音像位置割当データからコネクションＩＤ「００２１」を検索する。音像位置割当部１３５により割り当てられている音像位置が図５に例示のものである場合、音声信号加工部１３６は音像位置割当データの中にコネクションＩＤ「００２１」を発見できない。その場合、音声信号加工部１３６は音像位置割当データにおいて（常設留保）に対応付けられている「＋１０度」に従い、コネクションＩＤ「００２１」で特定されるデータバッファ１３９２に書き込まれた音声信号の音像位置が「＋１０度」で示される位置、すなわち前方やや右の位置となるように音声信号に対し加工処理を行う。
【００６２】
音声信号加工部１３６は、上記のように振幅が所定の閾値を超えた音声信号に対し音像位置の調整処理を行い、左右２チャンネル、すなわちステレオとなった音声信号をミキシング部１３７に引き渡す。ミキシング部１３７は、音声信号加工部１３６から１人の参加者１９の音声を示すステレオの音声信号を受け取ると、受け取ったステレオの音声信号をそのまま音声信号送信部１３８に引き渡す。また、ミキシング部１３７は、音声信号加工部１３６から２人以上の参加者１９の音声を示すステレオの音声信号を受け取ると、受け取った音声信号を左右各々のチャンネル毎にミキシングし、ミキシングにより生成したステレオの合成音声信号を音声信号送信部１３８に引き渡す。また、ミキシング部１３７は、音声信号加工部１３６から音声信号を受け取らない間は、振幅０を示すステレオの音声信号を生成し、生成した音声信号を音声信号送信部１３８に引き渡す。
【００６３】
音声信号送信部１３８は、ミキシング部１３７からステレオの音声信号を受け取ると、受け取った音声信号を含むデータパケットを生成する。図６は、音声信号送信部１３８においてデータパケットが生成される様子を模式的に示した図である。音声信号送信部１３８により生成されるデータパケットには、音声信号送信部１１２により生成されるデータパケット（図４参照）と異なり、音声信号ブロックの代わりに、左チャンネルの音声信号および右チャンネルの音声信号を各々所定のデータ長に分割した左音声信号ブロックおよび右音声信号ブロックが含まれている。また、音声信号処理サーバ１３はその時点で会議に参加している全ての参加者１９の端末装置１１に音声信号を送信する必要があるため、音声信号送信部１３８は、その時点で確立されている全ての通信コネクションに関し、その通信コネクションを特定するコネクションＩＤをヘッダに含むデータパケットを複数同時に生成する。各データパケットに含まれる送信先ＩＤは、コネクションＩＤに対応する端末ＩＤ（図３参照）である。
【００６４】
音声信号送信部１３８は、上記のように生成したデータパケットを順次ネットワーク１０に送出する。ネットワーク１０に送出されたデータパケットは各々に含まれる送信先ＩＤに基づき、各々の端末装置１１に送り届けられる。各端末装置１１の音声信号受信部１１３はデータパケットを受信すると、受信したデータパケットに含まれる左音声信号ブロックおよび右音声信号ブロックを、ブロック番号に応じたデータバッファ１１４１の領域に順次書き込んでゆく。その一方で、音声信号処理部１１１はデータバッファ１１４１に書き込まれた音声信号を左右の各々に関し順次、アナログ音声信号に変換し、ヘッドセット１２のヘッドフォンの左入力および右入力にそれぞれ出力する。ヘッドセット１２のヘッドフォンは、左入力および右入力に入力された音声信号を各々音に変換し発音する。ヘッドセット１２から発音される音は、異なる場所にいる参加者１９の各々の音声をミキシングしたものであるが、異なる参加者１９の発言による音声が異なる音像位置に配置された音であるため、同時に複数の参加者１９が発言を行った場合であっても、聞き手はそれらの発言を容易に判別することができる。
【００６５】
ところで、上述したように、累積時間データ生成部１３２は５秒間隔で累積時間データを生成し、端末装置選択部１３３は５秒間隔で選択データを生成する。周波数特性特定部１３４は５秒間隔で、選択データに含まれるコネクションＩＤの各々に対応する音声信号に関する周波数特性データを生成する。従って、音像位置割当部１３５は５秒間隔で、端末装置選択部１３３から選択データを、また周波数特性特定部１３４から周波数特性データを受け取り、それらに基づき音像位置の割当処理を行う。
【００６６】
音像位置の割当に変更がない場合、音像位置割当部１３５は５秒間隔で同じ内容の音像位置割当データを生成し、音声信号加工部１３６に引き渡す。一方、音像位置の割当を変更する必要が生じた場合、音像位置割当部１３５は５秒間隔よりも短い時間間隔、例えば０．１秒間隔で、変更にかかるコネクションＩＤの音像位置が変更前の音像位置から変更後の音像位置に徐々に移動するように音像位置割当データを生成し、音声信号加工部１３６に引き渡す。
【００６７】
図７は、図５に例示した音像位置の割当が行われている状態で、コネクションＩＤ「００２１」で特定される通信コネクションを用いた端末装置１１の参加者１９が頻繁に発言を行った結果、過去２０分間の累積発言時間のランキングに変動が生じた場合に、音像位置割当部１３５がコネクションＩＤ「００２１」に対し音像位置を割り当てる様子を模式的に示した図である。図７（ａ）は、累積時間データにより示される発言時間の累積値のランキングに変更が生じる前の状態を示している。
【００６８】
図７（ａ）の状態でコネクションＩＤ「００２１」に対応する参加者１９の発言時間の累積値のランキングが４位となると、コネクションＩＤ「０００９」に割り当てられていたポジション３が、コネクションＩＤ「００２１」に割り当てられることになる。その場合、音像位置割当部１３５は、条件データベース１３９１（図２参照）に含まれる条件データ「移動時間：２０秒」に従い、１秒間に１度の角速度（２０度÷２０秒＝１度／秒）で、徐々にポジション４の位置からポジション３の位置に移動する音像位置をコネクションＩＤ「００２１」に割り当てる。より具体的には、音像位置割当部１３５は以下の音像位置割当データを０．１秒間隔で順次音声信号加工部１３６に引き渡す。
［００２３：−５０度、００１５：−３０度、００２１（一時的保留）：＋９．９度、（常設保留）：＋１０度、０００４：＋３０度、００３４：＋５０度］
［００２３：−５０度、００１５：−３０度、００２１（一時的保留）：＋９．８度、（常設保留）：＋１０度、０００４：＋３０度、００３４：＋５０度］
［００２３：−５０度、００１５：−３０度、００２１（一時的保留）：＋９．７度、（常設保留）：＋１０度、０００４：＋３０度、００３４：＋５０度］
［００２３：−５０度、００１５：−３０度、００２１（一時的保留）：＋９．６度、（常設保留）：＋１０度、０００４：＋３０度、００３４：＋５０度］
（以下、同様）
【００６９】
上記のように、新たにランキング４位になったコネクションＩＤ「００２１」の音像位置としては、即時にポジション３を示す「−１０度」が指定されるのではなく、それまでのポジションを示す「＋１０度」から「−１０度」に向かい、徐々に左に移動するように、０．１秒間隔で変化する角度が指定される。音声信号加工部１３６は、上記のような音像位置割当データを０．１秒間隔で順次受け取り、受け取った音像位置割当データに従った音像位置にコネクションＩＤ「００２１」に対応する参加者１９の音声が配置されるように加工処理を行う。その結果、ミキシング部１３７によりミキシングされた音声信号において、コネクションＩＤ「００２１」に対応する参加者１９の音声が時間の経過に伴い前方やや右から前方やや左に移動していくことになる。図７（ｂ）は音像位置の移動開始後、１０秒が経過した時点の状態を示し、図７（ｃ）は移動が完了した後の状態を示している。
【００７０】
上記のように、音像位置が滑らかに変更される結果、同じ発言者の音声が突然、ある音像位置から他の音像位置にジャンプすることがなく、会議の音声の聞き手にとって、ある発言が同じ発言者のものか異なる発言者のものかを把握しやすくなる。しかしながら、音像位置を滑らかに変更するか、すばやく変更するかは条件データベース１３９１に含める移動速度もしくは移動時間を指示する条件データのパラメータを変更することにより任意に変更可能である。すなわち、移動速度もしくは移動時間を指示する条件データを条件データベース１３９１に含めない等により、音像位置が即座に変更後の位置に移動されるようにしてもよい。
【００７１】
上述したように、音声会議システム１によれば、会議に参加している参加者１９の数が多数となった場合であっても、所定数の音像位置が適宜異なる参加者１９の音声に割り当てられる結果、隣り合う音像位置の間隔が狭くなり過ぎることがなく、聞き手が隣接する音像位置に配置された異なる参加者１９の音声を混同する不都合が防止される。
【００７２】
なお、一度ポジションを確定したらランキング外になるまで、そのままのポジションを維持するようにしてもよい。
【００７３】
ところで、音声信号処理サーバ１３および端末装置１１は、専用のハードウェアにより実現されてもよいし、音声信号の入出力が可能な汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。音声信号処理サーバ１３が汎用コンピュータにより実現される場合、累積時間データ生成部１３２、端末装置選択部１３３、周波数特性特定部１３４、音像位置割当部１３５、音声信号加工部１３６およびミキシング部１３７は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。また、音声信号処理サーバ１３の音声信号受信部１３１および音声信号送信部１３８は、汎用コンピュータがデータパケットをネットワーク１０との間で送受信するために備える入出力インタフェースと、アプリケーションプログラムに含まれる各モジュールに従ったデータパケットの生成および組み立てに関するＣＰＵの処理により、汎用コンピュータの機能として実現される。
【００７４】
また、音声会議システム１において、各音像位置に配置されている音声の話者を聞き手が特定可能なように、聞き手に対し表示もしくは音による通知を行う機能を付加するように構成してもよい。例えば、音声信号処理サーバ１３は音声信号を端末装置１１に送信するとともに、図５に示したようなその時点における参加者１９の配置図を示す画像データを端末装置１１に送信する。その場合、端末装置１１は表示部を備え、音声信号処理サーバ１３から送信される画像データに従い、参加者１９の配置図を表示部に表示させる。その結果、聞き手である全ての参加者１９は、ヘッドセット１２のヘッドフォンから発音される音に含まれるいずれの音声がいずれの参加者１９の発言であるかを容易に確認することができる。また、例えば音声信号加工部１３６において、各音像位置に配置されている参加者１９の氏名やニックネーム等を読み上げた音声示す音声信号を所定時間間隔で合成し、合成した音声信号に対し音像位置の調整処理を行って、ミキシング部１３７に引き渡すようにしてもよい。その場合、ミキシング部１３７において参加者１９の発言を示す音声信号と発言者の氏名等を読み上げる合成音声信号が各々同じ音像位置に配置されてミキシングされる結果、聞き手である参加者１９はいずれの音像位置に配置された音声がいずれの参加者１９の発言を示すものであるかを容易に知ることができる。
【００７５】
また、音声会議システム１において、端末装置１１と音声信号処理サーバ１３との間で送受信されるデータパケットに含まれる音声信号を暗号化するように構成してもよい。その場合、音声信号送信部１１２および音声信号送信部１３８において、送信される音声信号が暗号化された後、データブロックに分割され、データパケットに含められる。また、音声信号受信部１３１および音声信号受信部１１３は、データパケットに含まれるデータブロックを組み立てた後、それを復号化して音声信号を復元する。このように音声信号を暗号化すると、会議の内容が第三者に漏洩することが防止される。
【００７６】
［１．３．変形例］
上述した音声会議システム１においては、端末装置１１の各々は互いに離れた位置に配置され、ネットワーク１０を介して音声信号処理サーバ１３との間でデータ通信を行うことにより、多地点間の会議を実現する。しかしながら、本発明の第１実施形態は、ネットワーク１０を介することなく、各端末装置１１が直接、音声信号処理サーバ１３に接続するように変形することもできる。そのような変形を加えた音声会議システムは、例えば数十名が一同に介して会議を行うような場合に便利なシステムである。
【００７７】
また、上述したサーバにおける音像位置割当処理や音声信号処理を各端末装置で行うようにしてもよい。その場合、例えば各端末装置１１は、条件データベース１３９１、端末装置選択部１３３、周波数特性特定部１３４、音像位置割当部１３５、音声信号加工部１３６およびミキシング部１３７を備え、一方で音声信号処理サーバ１３はそれらの構成部を備えず、各端末装置１１から受信した音声信号をミキシングせずに複数トラックの音声信号として、累積時間データとともに各端末装置１１に送信する。各端末装置１１は音声信号処理サーバ１３から受信した複数トラックの音声信号および累積時間データを用いて、所定数の音声信号の選択および選択した音声信号に対する音像位置の割当等を行う。
【００７８】
さらに、上述した音声信号処理サーバ１３と同様の構成を備えた複数の端末装置がピアツーピアで相互接続され、音声会議システムを構成するようにしてもよい。その場合、例えば、各端末装置１１は参加者１９の音声信号を他の全ての端末装置１１に送信するとともに、他の全ての端末装置１１から各々の参加者１９の音声信号を受信する。端末装置１１は、そのように受信した複数の音声信号に対し、上述した音声信号処理サーバ１３における場合と同様の音声信号の選択処理、音像位置の割当処理等を行う。
【００７９】
［２．第２実施形態］
上記の第１実施形態の音声会議システム１においては、異なる参加者１９の発言を示す音声信号に対し異なる音像位置を割り当てることにより、異なる参加者１９の発言を聞き手が混同することを防止可能な音声信号が生成された。第２実施形態の音声会議システム２においては、異なる参加者１９の発言を示す音声信号に対し異なる周波数特性を割り当てることにより、異なる参加者１９の発言を聞き手が混同することを防止可能な音声信号が生成される。音声会議システム２は、音声会議システム１とその構成および動作において多くの点で共通している。従って、以下の説明においては音声会議システム２が音声会議システム１と異なる点のみ説明する。また、音声会議システム２の構成部のうち、音声会議システム１の構成部と同様もしくは対応するものには同じ符合を付す。
【００８０】
［２．１．音声会議システムの構成および動作］
図８は、音声会議システム２の構成を示したブロック図である。音声会議システム２の音声信号処理サーバ１３は、音声会議システム１の音声信号処理サーバ１３が備える音像位置割当部１３５の代わりに、周波数特性割当部２３５を備えている。周波数特性割当部２３５は、選択データにより示されるコネクションＩＤの各々に対し、異なる周波数特性を割り当てる。複数の周波数特性を互いに異ならせる方法は様々に考えられるが、本実施形態においては例として、中心周波数が異なるパラメトリックイコライザによる処理を異なる話者の音声信号に対し行うことにより、各々の音声信号の周波数特性が互いに大きく異なるようにする。従って、周波数特性割当部２３５は、各コネクションＩＤに対し異なる中心周波数を割り当てる。図９は、周波数特性割当部２３５により異なる中心周波数がコネクションＩＤに割り当てられる様子を模式的に示した図である。
【００８１】
周波数特性割当部２３５は、端末装置選択部１３３から受け取る選択データおよび周波数特性特定部１３４から受け取る周波数特性データに基づき、条件データベース１３９１に含まれる条件データに従って各中心周波数に対するコネクションＩＤの割当を行うと、その結果を示す周波数特性割当データを音声信号加工部１３６に引き渡す。図９に示される中心周波数の割当が行われる場合、周波数特性割当データは［００２３：５．０ｋＨｚ、００１５：５．９ｋＨｚ、０００９（一時的保留）：７．０ｋＨｚ、（常設保留）：８．５ｋＨｚ、０００４：１０．６ｋＨｚ、００３４：１３．４ｋＨｚ］となる。
【００８２】
音声信号加工部１３６は、データバッファ１３９２に順次記憶される音声信号のうち、振幅が所定の閾値を超えたものに対し、最後に受け取った周波数特性割当データに従い、パラメトリックイコライザの処理、すなわち図９において各中心周波数を有するグラフに示されるような周波数特性のフィルタ処理を施し、生成した音声信号をミキシング部１３７に引き渡す。ミキシング部１３７は各々の参加者１９に関し異なる周波数特性のフィルタ処理の施された音声信号を受け取ると、それらをミキシングして１つの音声信号を生成する。そのように音声信号処理サーバ１３により生成された音声信号は、ネットワーク１０を介して全ての端末装置１１に送信され、ヘッドセット１２を介して音として発音される。ここで、音声会議システム２における音声信号処理サーバ１３から端末装置１１に送信される音声信号はモノラルの音声信号でよく、従ってヘッドセット１２が備えるヘッドフォンもモノラルヘッドフォンでよい。
【００８３】
上記のように、ヘッドセット１２のヘッドフォンから発音される音は、会議における発言を示す音声をミキシングしたものである。ただし、ミキシングされた音声において、異なる参加者１９による発言を示す音声は大きく異なる周波数特性を備えるように調整されているため、聞き手は異なる参加者１９による発言を容易に区別することができる。その際、会議に参加している参加者１９の数が多数となった場合であっても、所定数の周波数特性が適宜異なる参加者１９の音声に割り当てられる結果、隣り合う中心周波数により特定される周波数特性間の差異が一定程度、常に維持される。その結果、聞き手が異なる参加者１９の音声を混同する不都合が常に防止される。
【００８４】
音声会議システム２においても、音声会議システム１における音像位置割当部１３５と同様に、周波数特性割当部２３５は中心周波数の割当に変更が生じた場合、時間の経過に伴い徐々に中心周波数を変更前から変更後のものに変化させるように、周波数特性割当データの生成および音声信号加工部１３６への引き渡しを行う。その結果、聞き手は音声の周波数特性に変更が加えられた場合であっても、同じ発言者の音声を容易に捕捉することができる。
【００８５】
第２実施形態に関しても、第１実施形態と同様に、音声信号処理サーバ１３および端末装置１１は、専用のハードウェアにより実現されてもよいし、音声信号の入出力が可能な汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、音声会議システム２において、各中心周波数の割り当てられた音声の話者を聞き手が特定可能なように、聞き手に対し表示もしくは音による通知を行う機能を付加するように構成してもよい。また、音声会議システム２において、音声信号に暗号化を施すようにしてもよい。さらに、第２実施形態において、第１実施形態における変形例と同様の変形を加えることもできる。
【００８６】
また、第１実施形態における音像位置の割り当てを、第２実施形態における周波数特性の割り当てに組み合わせるようにしてもよい。その場合、音声信号処理サーバ１３は、音像位置割当部１３５と周波数特性割当部２３５の両方を備え、端末装置選択部１３３により選択された音声信号の各々に、異なる音像位置と異なる周波数特性の両方を割り当てる。その結果、たとえ近い音像位置に類似音色の音声信号が配置されたような場合でも、それらの周波数特性が異なるように加工が施される結果、聞き手にとっては異なる発言者の音声をより容易に聞き分けることができるようになる。なお、互いに近い音像位置に配置される音声信号に対しては、互いに大きく異なる周波数特性を割り当てることにより、聞き手にとってより聞き分け易い音声を提供可能な音声会議システムを構成することも可能である。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１実施形態にかかる音声会議システムの構成を示したブロック図である。
【図２】本発明の第１実施形態にかかる条件データベースの内容を例示した図である。
【図３】本発明の第１実施形態にかかるコネクションＩＤと端末ＩＤの対応表を例示した図である。
【図４】本発明の第１実施形態にかかる音声信号とデータパケットの関係を模式的に示した図である。
【図５】本発明の第１実施形態にかかる音像位置の割当の様子を模式的に示した図である。
【図６】本発明の第１実施形態にかかる音声信号とデータパケットの関係を模式的に示した図である。
【図７】本発明の第１実施形態にかかる音像位置の移動の様子を模式的に示した図である。
【図８】本発明の第２実施形態にかかる音声会議システムの構成を示したブロック図である。
【図９】本発明の第２実施形態にかかる周波数特性の割当の様子を模式的に示した図である。
【符号の説明】
【００８８】
１・２…音声会議システム、１０…ネットワーク、１１…端末装置、１２…ヘッドセット、１３…音声信号処理サーバ、１１１…音声信号処理部、１１２・１３８…音声信号送信部、１１３・１３１…音声信号受信部、１１４・１３９…記憶部、１３２…累積時間データ生成部、１３３…端末装置選択部、１３４…周波数特性特定部、１３５…音像位置割当部、１３６…音声信号加工部、１３７…ミキシング部、２３５…周波数特性割当部、１１４１・１３９２…データバッファ、１３９１…条件データベース。
【図１】
2006180251.tif 000003
【図２】
2006180251.tif 000004
【図３】
2006180251.tif 000005
【図４】
2006180251.tif 000006
【図５】
2006180251.tif 000007
【図６】
2006180251.tif 000008
【図７】
2006180251.tif 000009
【図８】
2006180251.tif 000010
【図９】
2006180251.tif 000011