(57)【要約】【課題】  複数話者の音声を合成して発音するシステムにおいて、聞き手が聞く必要があると考える音声部分のみを発音可能とする手段を提供する。【解決手段】  音声信号処理サーバ１３は、端末装置１１の各々から参加者１９の音声信号を受信し、データバッファ１３９３に各々区別可能なように記憶する。抽出部１３３はデータバッファ１３９３に記憶された音声信号から、予め参加者１９の各々の希望に応じて端末装置１１の各々から送信された指定データに従い、参加者１９が聞きたいと思う発言者の音声を示すものを抽出する。抽出部１３３により抽出された音声信号はミキシング部１３４によりミキシングされた後、音声信号処理サーバ１３から端末装置１１に送信される。その結果、参加者１９は自分の希望する発言者の音声のみを聞くことができる。【選択図】      図１
2006203548.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る音声信号入力手段と、
前記音声信号入力手段により受け取られた音声信号および属性データを対応付けて記憶する音声信号記憶手段と、
任意の属性を指定する属性指定データを受け取る属性指定データ入力手段と、
前記音声信号記憶手段に記憶された音声信号のうち、前記属性指定データにより指定された属性を示す属性データに対応付けて記憶されている音声信号を抽出する抽出手段と、
前記抽出手段により抽出された音声信号を出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項２】
任意の属性を指定する属性指定データを受け取る属性指定データ入力手段と、
複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る音声信号入力手段と、
前記音声信号入力手段により受け取られた音声信号のうち、前記属性指定データにより指定された属性を示す属性データとともに受け取られた音声信号を抽出する抽出手段と、
前記抽出手段により抽出された音声信号を出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項３】
前記抽出手段により複数の音声信号が抽出された場合、当該複数の音声信号をミキシングするミキシング手段をさらに備え、
前記出力手段は、前記抽出手段により音声信号が１のみ抽出された場合は当該音声信号を出力し、前記抽出手段により複数の音声信号が抽出された場合は前記ミキシング手段によりミキシングされた音声信号を出力する
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項４】
前記属性指定データ入力手段は、一の端末装置から前記属性指定データを受け取り、
前記出力手段は、当該一の端末装置に音声信号を出力する
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項５】
前記属性データは音声信号の出力元の端末装置の識別子であり、
前記属性指定データは１以上の端末装置の識別子を指定するデータである
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項６】
前記複数の端末装置はネットワークを介して前記音声信号入力手段と接続されており、
前記識別子は前記ネットワーク上で端末装置に割り当てられたアドレスである
ことを特徴とする請求項５に記載の音声信号処理装置。
【請求項７】
前記属性データは音声信号の生成された時刻を示す時刻データであり、
前記属性指定データは任意の時間帯を指定する時間帯指定データであり、
前記抽出手段は、前記時間帯指定データにより指定された時間帯に含まれる時刻を示す時刻データに対応付けられた音声信号を抽出する
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項８】
一の種類の属性を示す属性データと他の種類の属性を示す属性データとの対応関係を示す対応データを記憶する対応データ記憶手段をさらに備え、
前記抽出手段は、前記音声信号入力手段により受け取られた一の種類の属性データに代えて、前記対応データに従い当該属性データに対応する他の種類の属性データを用いて、音声信号の抽出を行う
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項９】
前記対応データは、端末装置の識別子と当該端末装置を使用する話者の属性を示す話者データとの対応関係を示し、
前記音声信号入力手段は、音声信号とともに当該音声信号の出力元の端末装置の識別子を属性データとして受け取り、
前記属性指定データ入力手段は、話者の属性を指定するデータを属性指定データとして受け取り、
前記抽出手段は、前記属性指定データにより指定された属性を示す話者データに対応する端末装置の識別子を前記対応データに従い特定し、特定した識別子とともに受け取られた音声信号を抽出する
ことを特徴とする請求項８に記載の音声信号処理装置。
【請求項１０】
複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る処理と、
受け取った音声信号および属性データを対応付けて記憶する処理と、
任意の属性を指定する属性指定データを受け取る処理と、
前記音声信号のうち、前記属性指定データにより指定された属性を示す属性データに対応付けて記憶されている音声信号を抽出する処理と、
抽出した音声信号を出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
任意の属性を指定する属性指定データを受け取る処理と、
複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る処理と、
受け取った音声信号のうち、前記属性指定データにより指定された属性を示す属性データとともに受け取った音声信号を抽出する処理と、
抽出した音声信号を出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議等の状況下において、音響機器を用いた複数話者による同時発声を可能とする音声信号処理技術に関する。
【背景技術】
【０００２】
多地点に配置された者が、通信回線に接続された音響機器を用いて、音声会議に参加することを可能とする技術がある。すなわち、各地点に配置された音響機器により拾音された各々の話者の音声を示す音声信号は各々中央装置に送信され、中央装置においてミキシングされた後、各音響機器に送信される。その結果、各地点に配置された音響機器からは、多地点に配置された話者の音声がミキシングされた音声が発音され、音声会議が成立する。そのような従来技術を開示した文献として、例えば特許文献１がある。
【特許文献１】特開平１１−１２７４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来技術による場合、会議の参加者は全ての話者の音声を聞くことになる。そのため、参加者は、全ての音声の中から自分が聞く必要があると考える音声を判別する必要があった。また、記録された過去の会議の音声を再生して聞く場合にも、聞き手は会議の全ての音声を聞く必要があり、上記と同様の問題があった。
【０００４】
上記の状況に鑑み、本発明は、複数話者の音声を合成して発音するシステムにおいて、聞き手が聞く必要があると考える音声部分のみを発音可能とする手段を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明は、複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る音声信号入力手段と、前記音声信号入力手段により受け取られた音声信号および属性データを対応付けて記憶する音声信号記憶手段と、任意の属性を指定する属性指定データを受け取る属性指定データ入力手段と、前記音声信号記憶手段に記憶された音声信号のうち、前記属性指定データにより指定された属性を示す属性データに対応付けて記憶されている音声信号を抽出する抽出手段と、前記抽出手段により抽出された音声信号を出力する出力手段とを備えることを特徴とする音声信号処理装置を提供する。
【０００６】
かかる構成の音声信号処理装置によれば、記憶された音声信号のうち、聞き手が希望する属性を備える音声信号のみが抽出され出力される結果、聞き手にとって不要な音声を含まない音声の再生が可能となる。
【０００７】
また、本発明は、任意の属性を指定する属性指定データを受け取る属性指定データ入力手段と、複数の端末装置から出力される音声信号を当該音声信号の属性を示す属性データとともに受け取る音声信号入力手段と、前記音声信号入力手段により受け取られた音声信号のうち、前記属性指定データにより指定された属性を示す属性データとともに受け取られた音声信号を抽出する抽出手段と、前記抽出手段により抽出された音声信号を出力する出力手段とを備えることを特徴とする音声信号処理装置を提供する。
【０００８】
かかる構成の音声信号処理装置によれば、リアルタイムで入力される音声信号のうち、聞き手が希望する属性を備える音声信号のみが抽出され出力される結果、聞き手にとって不要な音声を含まない音声の再生が可能となる。
【０００９】
また、好ましい態様において、前記抽出手段により複数の音声信号が抽出された場合、当該複数の音声信号をミキシングするミキシング手段をさらに備え、前記出力手段は、前記抽出手段により音声信号が１のみ抽出された場合は当該音声信号を出力し、前記抽出手段により複数の音声信号が抽出された場合は前記ミキシング手段によりミキシングされた音声信号を出力するように構成してもよい。
【００１０】
かかる構成の音声信号処理装置によれば、複数の話者の音声を示す音声信号を個別に出力する場合と比較し、出力される信号量が少なくなる。
【００１１】
また、好ましい態様において、前記属性指定データ入力手段は、一の端末装置から前記属性指定データを受け取り、前記出力手段は、当該一の端末装置に音声信号を出力するように構成してもよい。
【００１２】
かかる構成の音声信号処理装置によれば、端末装置の使用者の希望に応じて抽出された音声信号が当該使用者の端末装置に出力される結果、各々の聞き手に応じた音声信号の提供が可能となる。
【００１３】
また、好ましい態様において、前記属性データは音声信号の出力元の端末装置の識別子であり、前記属性指定データは１以上の端末装置の識別子を指定するデータであるように構成してもよい。
【００１４】
かかる構成の音声信号処理装置によれば、端末装置の識別子により、聞き手が聞きたいと思う音声信号が特定される。
【００１５】
また、好ましい態様において、前記複数の端末装置はネットワークを介して前記音声信号入力手段と接続されており、前記識別子は前記ネットワーク上で端末装置に割り当てられたアドレスであるように構成してもよい。
【００１６】
かかる構成の音声信号処理装置によれば、ネットワークアドレスにより、聞き手が聞きたいと思う音声信号が特定される。
【００１７】
また、好ましい態様において、前記属性データは音声信号の生成された時刻を示す時刻データであり、前記属性指定データは任意の時間帯を指定する時間帯指定データであり、前記抽出手段は、前記時間帯指定データにより指定された時間帯に含まれる時刻を示す時刻データに対応付けられた音声信号を抽出するように構成してもよい。
【００１８】
かかる構成の音声信号処理装置によれば、聞き手が指定する時間帯において発言された音声を示す音声信号のみが抽出され、不要な時間帯の音声信号を聞き手が選択する必要がなくなる。
【００１９】
また、好ましい態様において、前記音声信号処理装置は一の種類の属性を示す属性データと他の種類の属性を示す属性データとの対応関係を示す対応データを記憶する対応データ記憶手段をさらに備え、前記抽出手段は、前記音声信号入力手段により受け取られた一の種類の属性データに代えて、前記対応データに従い当該属性データに対応する他の種類の属性データを用いて、音声信号の抽出を行うように構成してもよい。
【００２０】
かかる構成の音声信号処理装置によれば、音声信号に直接対応付けられている属性データとは異なる種類の属性により、聞きたい音声を抽出するための条件を指定することが可能となる。
【００２１】
また、好ましい態様において、前記対応データは、端末装置の識別子と当該端末装置を使用する話者の属性を示す話者データとの対応関係を示し、前記音声信号入力手段は、音声信号とともに当該音声信号の出力元の端末装置の識別子を属性データとして受け取り、前記属性指定データ入力手段は、話者の属性を指定するデータを属性指定データとして受け取り、前記抽出手段は、前記属性指定データにより指定された属性を示す話者データに対応する端末装置の識別子を前記対応データに従い特定し、特定した識別子とともに受け取られた音声信号を抽出するように構成してもよい。
【００２２】
かかる構成の音声信号処理装置によれば、音声信号が端末装置の識別子により特定可能な場合であっても、聞き手は音声信号の話者の属性により、聞きたいと思う音声の抽出を指定することができる。
【００２３】
また、本発明は、上記の音声信号処理装置により行われる処理をコンピュータに実行させるプログラムを提供する。
【発明を実施するための最良の形態】
【００２４】
［１．第１実施形態］
［１．１．音声会議システムの構成］
図１は、本発明の第１実施形態にかかる音声会議システム１の構成を示したブロック図である。音声会議システム１は、互いに異なる場所にいる会議参加者が、音声により会議を行うことを可能とするシステムである。音声会議システム１は、複数の通信機器を相互に接続するネットワーク１０と、ネットワーク１０に各々接続された複数の端末装置１１と、端末装置１１の各々に接続されたヘッドセット１２と、ネットワーク１０に接続された音声信号処理サーバ１３を備えている。
【００２５】
複数の端末装置１１およびヘッドセット１２の各々は、会議の参加者１９の各々により使用される。音声会議システム１を利用した会議に参加可能な参加者の数、すなわち端末装置１１およびヘッドセット１２の数は任意に変更可能であり、さらに会議の進行中に参加者の構成が変動してもよい。
【００２６】
図１に示すように、異なる参加者１９および当該参加者１９が使用する端末装置１１およびヘッドセット１２を互いに区別する必要がある場合には、それぞれ、参加者１９−ｎ、端末装置１１−ｎおよびヘッドセット１２−ｎのように、末尾に「−ｎ」を付してそれらを区別する。ただし、「ｎ」は任意の自然数である。また、異なる参加者１９および当該参加者１９が使用する端末装置１１およびヘッドセット１２を互いに区別する必要がない場合には、それぞれ、単に参加者１９、端末装置１１およびヘッドセット１２と呼ぶ。
【００２７】
ネットワーク１０は、有線または無線により相互接続された１以上の中継装置を備え、異なる通信機器間のデータの中継を行う。ネットワーク１０は、インターネット等の利用者を限定しないオープンネットワークであってもよいし、イントラネットやインターネットプロトコル以外の通信プロトコルを用いるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のいずれであってもよい。
【００２８】
端末装置１１は、参加者１９の音声を示す音声信号を音声信号処理サーバ１３に送信するとともに、音声信号処理サーバ１３から他の参加者１９の音声を示す音声信号が合成された合成音声信号を受信する装置であり、例えば、汎用のパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、専用端末装置等のいずれであってもよい。端末装置１１は、所定時間ごとにクロック信号を発する発振器を備え発せられたクロック信号をカウントすることにより現在の時刻を示す時刻データを生成する計時部１１１と、端末装置１１が音声信号処理サーバ１３から受信すべき音声信号の属性を指定する指定データをネットワーク１０に送信する指定データ送信部１１２と、ヘッドセット１２から入力されるアナログ音声信号をデジタル音声信号に変換しその時点における時刻データを対応づけて音声信号送信部１１４に引き渡すとともに記憶部１１６に記憶されているデジタル音声信号をアナログ音声信号に変換してヘッドセット１２に出力する音声信号処理部１１３と、音声信号処理部１１３から音声信号および時刻データを受け取ってネットワーク１０に送出する音声信号送信部１１４と、ネットワーク１０から音声信号を受け取って記憶部１１６に書き込む音声信号受信部１１５と、端末装置１１の制御プログラム等を記憶するとともに他の構成部のワークエリアとして利用される記憶部１１６を備えている。また、端末装置１１の各々には互いに異なる端末ＩＤが予め割り当てられており、記憶部１１６に記憶されている。
【００２９】
ヘッドセット１２は、参加者１９の音声を示すアナログ音声信号を生成して端末装置１１に出力するマイクと、端末装置１１から入力されるアナログ音声信号を音声に変換して発音するヘッドフォンを備えている。
【００３０】
音声信号処理サーバ１３は、複数の端末装置１１の各々から音声信号を受信し、受信した複数の音声信号をミキシングもしくはグループ化した後、複数の端末装置１１の各々に送信する装置である。音声信号処理サーバ１３は、ネットワーク１０から指定データを受信して記憶部１３９に書き込む指定データ受信部１３１と、ネットワーク１０から音声信号および時刻データを受信して記憶部１３９に書き込む音声信号受信部１３２と、記憶部１３９に記憶された音声信号のうち所定の条件を満たす音声信号を抽出する抽出部１３３と、抽出部１３３により抽出された複数の音声信号をミキシングして合成音声信号を生成するミキシング部１３４と、抽出部１３３により抽出された音声信号もしくはミキシング部１３４により生成された合成音声信号をネットワーク１０に送信する音声信号送信部１３５と、音声信号処理サーバ１３の制御プログラム等を記憶するとともに他の構成部のワークエリアとして利用される記憶部１３９を備えている。
【００３１】
記憶部１３９は、予め会議データ１３９１および参加者データ１３９２を記憶している。会議データ１３９１は、過去に音声会議システム１により開催された会議および将来開催予定の会議の参加者等を示すデータである。図２は会議データ１３９１の内容を例示した図である。会議データ１３９１は、会議ＩＤ、日付、時間帯、議題、参加者ＩＤおよび役割の項目からなるレコードを、日付および時間帯順に複数含んでいる。各レコードは各会議に対応している。各レコードの参加者ＩＤの項目には、参加者の数に応じて複数の参加者ＩＤが含まれ得る。また、各レコードの役割の項目には、参加者ＩＤで特定される各参加者の会議における役割を示すデータが含まれる。役割を示すデータとしては、例えば「司会」、「発表者」、「通訳」、「ゲスト」、「一般参加者」等がある。例えば、現在が２００４年１２月１日の朝であるとすると、例えば会議ＩＤ「２００４０００１」で特定される会議（以下、会議「２００４０００１」のように呼ぶ）は、既に過去に開催された会議の参加者等の記録を示す。一方、例えば会議「２００４０３１５」は将来開催される予定の会議の参加者等を示す。
【００３２】
参加者データ１３９２は、音声会議システム１を用いて会議に参加可能な者の氏名等を示すデータである。図３は参加者データ１３９２の内容を例示した図である。ただし、図３においては、会議「２００４０３１５」への参加者に関するレコードをピックアップして例示している。参加者データ１３９２は、参加者ＩＤ、氏名、所属、役職およびパスワードの項目からなるレコードを複数含んでいる。参加者データ１３９２に含まれる参加者ＩＤは、会議データ１３９１に含まれる参加者ＩＤと共通である。参加者データ１３９２において、各レコードは各々異なる人物に対応しているため、参加者ＩＤがレコード間で重複して用いられることはないが、会議データ１３９１に含まれる参加者ＩＤは、同じ人物が異なる会議に参加することが可能であるため、異なるレコードに同じ参加者ＩＤが含まれ得る。会議データ１３９１および参加者データ１３９２は、例えば音声会議システム１の管理者により作成され、必要に応じて更新される。
【００３３】
全ての参加者１９には、予め、音声会議システム１の管理者等から参加者データ１３９２に登録されている各人の参加者ＩＤおよびパスワードが通知されている。また、会議データ１３９１の各レコードに含まれる参加者ＩＤの各々に対応する参加者１９には、予め、音声会議システム１の管理者等から、当該レコードに含まれる会議ＩＤ、日付、時間帯、議題および役割が通知されている。
【００３４】
［１．２．音声会議システムの動作］
続いて、複数の参加者１９が音声会議システム１を用いて会議を行う場合の音声会議システム１の動作を、会議「２００４０３１５」が開催される場合を例として説明する。図４は、会議「２００４０３１５」が開催される際の参加者１９、端末装置１１、端末装置１１と音声信号処理サーバ１３との間に確立されるコネクション、音声信号処理サーバ１３のデータバッファの対応関係を示す図である。会議データ１３９１（図２参照）に示されるように、会議「２００４０３１５」へは、参加者ＩＤ「０４２５」、「００２５」、「３７４７」、「００７４」、「０３６２」および「９１２５」が割り当てられている６名の参加者１９が参加する。以下、それら６名の参加者を、順に参加者１９−１、参加者１９−２、・・・、参加者１９−６とする。
【００３５】
まず、参加者１９−１〜６の各々は、端末装置１１−１〜６を操作して、端末装置１１と音声信号処理サーバ１３との間に通信コネクションを確立させる。例として、端末装置１１−１〜６の各々には、端末ＩＤ「００４１」、「０３０１」、「０２７８」、「００７５」、「０１２３」および「００８４」が割り当てられているものとする。音声信号処理サーバ１３は、端末装置１１−１〜６の各々との間に通信コネクションを確立し、確立した通信コネクションの各々にコネクションＩＤを割り当てる。通信コネクションの確立の方法は従来技術によるものと同様であるので、説明を省略する。端末装置１１は、各々、任意のタイミングで音声信号処理サーバ１３との間に通信コネクションを確立することができるので、参加者１９は任意のタイミングで会議に参加したり、会議から離脱したりすることができる。以下、例として、音声信号処理サーバ１３は端末装置１１−１〜６の各々との間に確立される通信コネクションに対し、それぞれコネクションＩＤ「０００４」、「００１５」、「００３４」、「００２１」、「００２３」および「０００９」を割り当てるものとする。
【００３６】
音声信号処理サーバ１３は、上記のように端末装置１１との間に通信コネクションを確立すると、確立した通信コネクションを介して受信される音声信号を一時的に記憶するためのデータバッファ１３９３を記憶部１３９に確保する。以下、音声信号処理サーバ１３が端末装置１１−１〜６の各々との間に確立した通信コネクションのそれぞれのために確保するデータバッファをデータバッファ１３９３−１〜６とする。データバッファ１３９３−１〜６には対応する通信コネクションのコネクションＩＤが対応付けられ、当該コネクションＩＤにより、各々のデータバッファ１３９３に記憶される音声信号が、いずれの通信コネクションを介して受信されたものであるかが識別される。一方、端末装置１１もまた、通信コネクションの確立に際して、音声信号処理サーバ１３から受信する音声信号を一時的に記憶するためのデータバッファ１１６１を記憶部１１６に確保する。
【００３７】
また、音声信号処理サーバ１３は、端末装置１１との間に通信コネクションを確立する際、端末装置１１から端末ＩＤを取得し、当該端末装置１１に割り当てたコネクションＩＤと端末ＩＤとの対応関係を示すデータを作成する。図５は音声信号処理サーバ１３において作成されるコネクションＩＤと端末ＩＤの対応関係を示すデータの例を示している。音声信号処理サーバ１３はこのデータに従い、コネクションＩＤにより、そのコネクションＩＤにより特定される通信コネクションを用いた通信の相手の端末装置１１を特定することができる。
【００３８】
上記のように端末装置１１と音声信号処理サーバ１３との間に通信コネクションの確立が行われると、続いて参加者１９は端末装置１１を操作して、参加者ＩＤおよびパスワードを音声信号処理サーバ１３に送信し、音声信号処理サーバ１３は受信した参加者ＩＤおよびパスワードの組合せが参加者データ１３９２（図３参照）に含まれる参加者ＩＤおよびパスワードの組合せと一致するかを判定することにより、参加者１９の認証を行う。その判定により参加者１９が正しく認証されると、続いて参加者１９は端末装置１１を操作して、参加したい会議の会議ＩＤ「２００４０３１５」を音声信号処理サーバ１３に送信する。音声信号処理サーバ１３は会議データ１３９１（図２参照）を参照し、受信した会議ＩＤ「２００４０３１５」に対応するレコードの参加者ＩＤの項目に、先に受信した参加者ＩＤが含まれているかを判定することにより、参加者１９が会議「２００４０３１５」への参加資格を有することを確認する。
【００３９】
音声信号処理サーバ１３は、上記判定により参加者１９が会議「２００４０３１５」への参加資格を有することを確認すると、会議「２００４０３１５」の参加者１９の各々について対応するコネクションＩＤ等の各種属性を示す対応データ１３９４を生成し、記憶部１３９に記憶する。図６は会議「２００４０３１５」に関する対応データ１３９４の内容を例示した図である。ただし、図６は会議「２００４０３１５」への参加者の全てに関し、上記のように音声信号処理サーバ１３により会議への参加資格の確認が行われた後の対応データ１３９４を示している。対応データ１３９４は、コネクションＩＤ、端末ＩＤ、参加者ＩＤ、氏名、所属、役職および役割の項目からなるレコードを複数含んでいる。対応データ１３９４の各レコードは会議への参加者に対応している。
【００４０】
音声信号処理サーバ１３は、各々の参加者１９について会議への参加資格があることを確認すると、その参加者１９が用いている端末装置１１と音声信号処理サーバ１３との間で確立されている通信コネクションのコネクションＩＤに対し、先に生成したコネクションＩＤと端末ＩＤの対応関係を示すデータ（図５参照）に基づき、対応する端末ＩＤを特定する。また、音声信号処理サーバ１３は、端末装置１１から受信した参加者ＩＤを検索キーとして参加者データ１３９２（図３参照）からレコードを検索し、検索したレコードに含まれる氏名、所属および役職を特定する。さらに、音声信号処理サーバ１３は、端末装置１１から受信した会議ＩＤを検索キーとして会議データ１３９１（図２参照）からレコードを検索し、検索したレコードの役割の項目に含まれるデータのうち、端末装置１１から受信した参加者ＩＤに対応するものを特定する。音声信号処理サーバ１３は上記のように各々特定したデータを対応付け、対応データ１３９４のレコードとして格納する。
【００４１】
上記のように生成される対応データ１３９４に含まれる各項目は、参加者１９の異なる種類の属性を示している。すなわち、コネクションＩＤは参加者１９の使用する通信コネクションを示し、端末ＩＤは参加者１９の使用する端末装置１１を示し、氏名、所属、役職および役割は、各々、その名称により示される参加者１９の属性を示している。さらに、対応データ１３９４の各レコードは、後述するように、参加者ＩＤにより各参加者１９の音声を示す音声信号と対応付けられる。その結果、対応データ１３９４は各音声信号の属性をも意味するデータとなる。すなわち、例えば氏名「ササキ  コウジ」は、参加者ＩＤ「０４２５」に対応付けられた音声信号の話者の氏名を示すデータである。
【００４２】
音声信号処理サーバ１３は、会議データ１３９１に従い、会議「２００４０３１５」の開催日時である２００４年１２月１日１３：００になると、会議「２００４０３１５」に関し生成されている対応データ１３９４に従い、端末装置１１−１〜６の各々との間で音声信号の送受信を開始する。その結果、参加者１９−１〜６はヘッドセット１２を用いて会議の参加者に対し発言を行うとともに、他の参加者の発言を聞くことができるようになる。以下、そのための音声会議システム１の動作を説明する。
【００４３】
参加者１９の発音した音声は、ヘッドセット１２のマイクによりアナログ音声信号に変換され、端末装置１１の音声信号処理部１１３に入力される。音声信号処理部１１３はヘッドセット１２から受け取ったアナログ音声信号をデジタル音声信号に変換した後、変換後の音声信号を含むデータパケットを生成する。
【００４４】
図７は、音声信号が複数のデータパケットに含まれる様子を模式的に示した図である。音声信号処理部１１３は、音声信号を先頭から順に所定のデータ長の音声信号ブロックに分割する。音声信号処理部１１３は、音声信号ブロックの間の順序を示すブロック番号を音声信号ブロックの前に付加する。さらに、音声信号処理部１１３はブロック番号の前に、コネクションＩＤ、送信元ＩＤおよび送信先ＩＤを順次付加する。送信元ＩＤは端末装置１１の端末ＩＤであり、送信先ＩＤは音声信号処理サーバ１３のネットワーク１０におけるＩＤである。さらに、音声信号処理部１１３は、その時点で計時部１１１から受け取った時刻データを、音声信号ブロックの後に付加する。音声信号処理部１１３は、そのように各種データの付加された音声信号ブロックの前および後に、一連のデータの区切りを示すデータとして、ＨＯＤ（Ｈｅａｄ  ｏｆ  Ｄａｔａ）およびＥＯＤ（Ｅｎｄ  ｏｆ  Ｄａｔａ）を付加する。このように生成されたＨＯＤで始まりＥＯＤで終わる一連のデータがデータパケットである。
【００４５】
データパケットに含まれる時刻データは、正確にはデータパケットの生成時刻を示すデータであるが、参加者１９による発声からデータパケットの生成までの時間が十分に短い場合、時刻データは、当該音声信号ブロックに対応する音声が参加者１９により発せられた時刻もしくは当該音声信号ブロックが生成された時刻を示すデータである。従って、時刻データは、当該音声信号ブロックの属性を示す属性データの一種であると言える。
【００４６】
音声信号処理部１１３は、上記のように生成したデータパケットを順次、音声信号送信部１１４に引き渡し、音声信号送信部１１４は受け取ったデータパケットを順次、ネットワーク１０に送出する。ネットワーク１０に含まれる中継装置は、送信先ＩＤによりネットワーク１０において特定される通信機器へ到達可能な通信経路を示すルーティングテーブルを記憶しており、端末装置１１から送出されたデータパケットに含まれる送信先ＩＤに基づき、ルーティングテーブルにより送信先ＩＤにより特定される通信機器へ到達可能な通信経路上の隣接する中継装置にデータパケットを転送する。その結果、データパケットは音声信号処理サーバ１３に送り届けられる。ルーティングテーブルの更新方法等は従来技術によるものと同様であるので、説明を省略する。
【００４７】
ネットワーク１０を介して上記のように音声信号処理サーバ１３に送り届けられたデータパケットは、音声信号処理サーバ１３の音声信号受信部１３２により受信される。音声信号受信部１３２は、受信したデータパケットに含まれるコネクションＩＤに従い、当該コネクションＩＤに対応するデータバッファ１３９３の当該データパケットに含まれるブロック番号に応じた領域に、当該データパケットに含まれる音声信号ブロックを記憶させる。端末装置１１から送出された複数のデータパケットは、各々、ネットワーク１０において通過する通信経路が異なる結果、送出順に音声信号処理サーバ１３に受信されるとは限らない。しかしながら、音声信号受信部１３２により、ブロック番号に応じた順序でデータバッファ１３９３に音声信号ブロックが記憶される結果、データバッファ１３９３に記憶される一連の音声信号は、端末装置１１においてデータパケットに分割される前の音声信号を再現したものとなる。データパケットの一部が何らかの理由で音声信号処理サーバ１３に到達しなかった場合には、音声信号処理サーバ１３により到達しなかったデータパケットに含まれる音声信号が前後の音声信号に基づき補間される等の処理が行われるが、それらの処理は従来技術によるものと同様であるため、説明を省略する。
【００４８】
図８は、端末装置１１−１〜６の各々から送信された音声信号が、音声信号処理サーバ１３のデータバッファ１３９３−１〜６に各々記憶される様子を模式的に示した図である。既に述べたように、データバッファ１３９３−１〜６は会議「２００４０３１５」の参加者の各々の音声信号を記憶するために確保されており、参加者に対応するコネクションＩＤにより、いずれの参加者の音声信号を記憶するためのデータバッファであるかが識別可能となっている。例えば、コネクションＩＤ「０００４」に対応するデータバッファ１３９３−１には、コネクションＩＤ「０００４」により特定される通信コネクションを介して端末装置１１−１より受信した音声信号ブロックがブロック番号に従い組み立てられ、参加者１９−１の音声を示す音声信号が復元される。ただし、データバッファ１３９３において復元される音声信号には、各音声信号ブロックとともにデータパケットに含まれていた時刻データが、音声信号における各音声信号ブロックの位置に対応付けて記憶されている。従って、データバッファ１３９３に記憶されているデータによれば、音声信号の各部分により示される音声が発声された時刻が特定可能である。
【００４９】
ところで、参加者１９の各々は端末装置１１を操作して音声信号処理サーバ１３に指定データを送信することにより、特定の属性を備えた音声信号のみを自分の使用する端末装置１１に送信するよう、音声信号処理サーバ１３に指示を与えることができる。既定の状態、すなわち参加者１９が指示データを端末装置１１から音声信号処理サーバ１３に送信していない状態では、音声信号処理サーバ１３はデータバッファ１３９３−１〜６に記憶される音声信号の全てを、順次、ミキシングした後、端末装置１１に送信する。一方、参加者１９が指示データを端末装置１１から音声信号処理サーバ１３に送信した後は、音声信号処理サーバ１３はデータバッファ１３９３−１〜６に記憶される音声信号のうち、指定データにより示される条件を満たす音声信号を抽出し、抽出した音声信号のみをミキシングして端末装置１１に送信する。これらの音声信号処理サーバ１３による処理は、端末装置１１−１〜６の各々に関し個別に行われる。従って、以下、端末装置１１−１に対し、音声信号処理サーバ１３から音声信号が送信される場合を例として、その具体的な動作を説明する。
【００５０】
まず、音声信号処理サーバ１３が端末装置１１−１から指定データを受信していない場合、抽出部１３３はデータバッファ１３９３−１〜６の各々から、音声信号のサンプリングレートに等しい周期で新たに書き込まれた音声信号の各サンプルを読み出し、読み出した音声信号をミキシング部１３４に引き渡す。ミキシング部１３４は抽出部１３３から受け取ったサンプルを加算して１つのサンプルを生成し、生成したサンプルを順次音声信号送信部１３５に引き渡す。このようにミキシング部１３４から順次音声信号送信部１３５に引き渡されるサンプルは、全体として、参加者１９−１〜６の音声をミキシングした音声を示す合成音声信号である。
【００５１】
音声信号送信部１３５は、ミキシング部１３４から合成音声信号を受け取ると、受け取った合成音声信号を用いてデータパケットを生成し、生成したデータパケットを順次、ネットワーク１０に送出する。音声信号送信部１３５がデータパケットを生成する方法は、音声信号送信部１１４がデータパケットを生成する方法と同様である（図７参照）。ただし、この場合、データパケットに含まれる送信元ＩＤは音声信号処理サーバ１３のＩＤであり、送信先ＩＤは端末装置１１−１の端末ＩＤである。また、本実施形態においては端末装置１１において時刻データが利用されることはないので、音声信号処理サーバ１３から送出されるデータパケットには時刻データが含まれないようにしてもよい。
【００５２】
音声信号送信部１３５からネットワーク１０に送出されたデータパケットは含まれる送信先ＩＤに基づき、端末装置１１−１に送り届けられる。端末装置１１−１の音声信号受信部１１５はデータパケットを受信すると、受信したデータパケットに含まれる音声信号ブロックをブロック番号に応じたデータバッファ１１６１の領域に順次書き込んでゆく。その一方で、音声信号処理部１１３はデータバッファ１１６１に書き込まれた音声信号をアナログ音声信号に変換し、ヘッドセット１２のヘッドフォンにそれぞれ出力する。ヘッドセット１２のヘッドフォンは、音声信号処理部１１３から入力された音声信号を音に変換し発音する。その結果、参加者１９−１は、自分を含む全ての参加者の発言を聞くことができ、会議「２００４０３１５」の他の参加者との間で議論を行うことができる。
【００５３】
次に、端末装置１１−１から音声信号処理サーバ１３に対し指定データが送信される場合の音声会議システム１の動作について説明する。端末装置１１−１の指定データ送信部１１２は、参加者１９−１の操作に応じて、指定データ１３９５−１を生成し音声信号処理サーバ１３に送信する。指定データは、例えば［役職＝部長  ｏｒ  役割＝ゲスト  ｏｒ  （所属＝海外部  ａｎｄ  役職＝一般職員）］のような形式のデータである。この指定データは、対応データ１３９４（図６参照）に示される属性に基づき、音声信号処理サーバ１３がいずれの参加者１９の音声信号を端末装置１１−１に送信すべきかを指示している。
【００５４】
端末装置１１−１から送信された指定データは、音声信号処理サーバ１３の指定データ受信部１３１に受信され、記憶部１３９に端末装置１１−１のコネクションＩＤ「０００４」とともに一時的に記憶される。以下、記憶部１３９に記憶された指定データを、その送信元である端末装置１１−１〜６の各々に応じて、指定データ１３９５−１〜６と呼ぶ（図１参照）。すなわち、例えば指定データ１３９５−１にはコネクションＩＤ「０００４」が対応付けられている。抽出部１３３は指定データ１３９５−１が記憶部１３９に記憶されている場合、対応データ１３９４から指定データ１３９５−１の条件を満たすレコードを抽出し、抽出したレコードのコネクションＩＤを取り出す。例えば指定データ１３９５−１が［役職＝部長  ｏｒ  役割＝ゲスト  ｏｒ  （所属＝海外部  ａｎｄ  役職＝一般職員）］である場合、抽出部１３３は役職が「部長」であるレコードのコネクションＩＤ「０００４」、役割が「ゲスト」であるレコードのコネクションＩＤ「０００９」、所属が「海外部」であり役職が「一般職員」であるレコードのコネクションＩＤ「００２３」を抽出する。
【００５５】
抽出部１３３は、上記のように抽出したコネクションＩＤに、指定データ１３９５−１に対応付けられて記憶されているコネクションＩＤ「０００４」が含まれていない場合には、抽出したコネクションＩＤに、コネクションＩＤ「０００４」を追加する。ただし、上記の例の場合、コネクションＩＤ「０００４」は既に抽出されているため、コネクションＩＤの追加の処理は行われない。このように、抽出したコネクションＩＤに指定データの送信元の端末装置１１のコネクションＩＤを追加する結果、以下に説明する抽出部１３３およびミキシング部１３４の処理において当該端末装置１１から送信された音声信号が当該端末装置１１に送信される音声信号にミキシングされ、参加者１９が自分の発言を含む会議全体の音声を聞くことができるのである。
【００５６】
抽出部１３３は、上記のように抽出したコネクションＩＤに対応するデータバッファ１３９３から音声信号のサンプルを順次読み出しミキシング部１３４に引き渡す。この場合、コネクションＩＤ「０００４」、「００２３」および「０００９」に対応するデータバッファ１３９３−１、データバッファ１３９３−５およびデータバッファ１３９３−６からサンプルが読み出され、ミキシング部１３４に引き渡されることになる。
【００５７】
ミキシング部１３４はデータバッファ１３９３−１、データバッファ１３９３−５およびデータバッファ１３９３−６から読み出されたサンプルを順次受け取ると、受け取ったサンプルを加算して１つのサンプルを生成し、生成したサンプルを順次音声信号送信部１３５に引き渡す。このようにミキシング部１３４から順次音声信号送信部１３５に引き渡されるサンプルは、全体として、参加者１９−１、参加者１９−５および参加者１９−６の音声をミキシングした音声を示す合成音声信号である。
【００５８】
音声信号送信部１３５は、ミキシング部１３４から合成音声信号を受け取ると、受け取った合成音声信号をコネクションＩＤ「０００４」により特定される端末装置１１−１に送信する。合成音声信号は端末装置１１−１に受信され、ヘッドセット１２−１により音に変換されて発音される。その結果、参加者１９−１は、指定データにより指定した希望する参加者１９の音声のみを含む会議の音声を聞くことができる。
【００５９】
端末装置１１−１〜６は各々異なる指定データを音声信号処理サーバ１３に送信することができ、抽出部１３３は端末装置１１−１〜６の各々について、指定データにより示される異なる条件で音声信号の抽出を行う。抽出部１３３により端末装置１１−１〜６の各々について抽出された音声信号は、個別にミキシング部１３４によりミキシングされ、音声信号送信部１３５から対応する端末装置１１に送信される。従って、参加者１９−１〜６は、会議における発言のうち、各自の希望する参加者の発言のみを聞くことができる。また、指定データ受信部１３１は端末装置１１−１〜６の各々から新たに受け取った指定データを、既に記憶部１３９に記憶されている指定データ１３９５−１〜６に上書きするため、参加者１９−１〜６は指定データを音声信号処理サーバ１３に送信し直すことにより、任意のタイミングでヘッドセット１２から発せられる音に含まれる発言の話者の構成を変更することができる。
【００６０】
会議「２００４０３１５」が終了すると、音声信号処理サーバ１３はデータバッファ１３９３−１〜６に記憶されている音声信号（図８参照）を含む音声記録ファイルを生成し、記憶部１３９に記憶する。その結果、記憶部１３９には、過去に開催された会議の音声を各々記録した複数の音声記録ファイルが音声記録ファイル群１３９６として記憶されることになる。
【００６１】
図９は、音声記録ファイル群１３９６に含まれる音声記録ファイルの内容を模式的に示した図である。音声記録ファイルには、データバッファ１３９３の各々に記憶された音声信号が、対応付けられている時刻データにより示される時刻が互いに一致するように時系列的に配置された状態で格納される。また、音声記録ファイルに格納されている音声信号の各々には、対応データ１３９４（図６参照）の対応するレコードに含まれる参加者ＩＤ、氏名、所属、役職および役割の項目が対応付けられる。さらに、音声記録ファイルには、会議データ１３９１（図２参照）の対応するレコードに含まれる会議ＩＤ、日付、時間帯および議題の項目が管理データとして追加される。音声信号処理サーバ１３は、そのように構成された音声記録ファイルに、例えば会議ＩＤをファイル名に付して記憶部１３９に記憶させる。以下、例えばファイル名が「２００４０３１５」である音声記録ファイルを、音声記録ファイル「２００４０３１５」と呼ぶ。
【００６２】
音声会議システム１の利用が許可されている者、すなわち参加者データ１３９２（図３参照）にデータが登録されている者は、音声信号処理サーバ１３に記憶されている音声記録ファイルを用いて、過去の会議の音声を聞くことができる。以下、参加者１９−ｘが会議「２００４０３１５」の音声を聞く場合の音声会議システム１の動作を説明する。ここで、参加者１９−ｘは会議「２００４０３１５」の参加者である必要はない。
【００６３】
参加者１９−ｘは端末装置１１−ｘを操作して、端末装置１１−ｘと音声信号処理サーバ１３との通信コネクションの確立、認証等の処理を行わせた後、過去の会議のリストを要求する要求データを端末装置１１−ｘから音声信号処理サーバ１３に送信する。その要求に応じて、音声信号処理サーバ１３は会議データ１３９１（図２参照）を用いて、会議リストを示す画面データを生成し、端末装置１１−ｘに送信する。その結果、端末装置１１−ｘの表示部には会議リストを含む画面が表示される。図１０は、端末装置１１−ｘの表示部に表示される画面を例示した図である。この画面において、参加者１９−ｘがいずれかの会議のデータ行を選択し、「ＯＫ」ボタンを押下する操作を行うと、端末装置１１−ｘは選択されたデータ行に含まれる会議ＩＤを音声信号処理サーバ１３に送信する。ここで、参加者１９−ｘは会議「２００４０３１５」を選択し、音声信号処理サーバ１３に会議ＩＤ「２００４０３１５」が送信されたものとする。
【００６４】
音声信号処理サーバ１３は、端末装置１１−ｘから会議ＩＤ「２００４０３１５」を受信すると、音声記録ファイル「２００４０３１５」を音声記録ファイル群１３９６から読み出す。音声信号処理サーバ１３は、音声記録ファイル「２００４０３１５」に含まれる会議の時間帯を示すデータと、音声信号に各々対応付けられている参加者の氏名等のデータを用いて、参加者選択および時間帯指定の画面を示す画面データを生成する。音声信号処理サーバ１３は生成した画面データを端末装置１１−ｘに送信する。その結果、端末装置１１−ｘの表示部には先に選択した会議の参加者リストを含む画面が表示される。
【００６５】
図１１は、端末装置１１−ｘの表示部に表示される画面を例示した図である。この画面において、参加者１９−ｘが音声を聞きたい参加者の選択、音声を聞きたい時間帯の指定および無声部分を削除するか否かの選択ボタンの選択を行った後、「ＯＫ」ボタンの押下操作を行うと、端末装置１１−ｘは参加者１９−ｘの操作に応じた指定データを生成し、音声信号処理サーバ１３に送信する。以下、ユーザにより図１１に例示した参加者の選択、時間帯の指定および無声部分の削除の選択が行われたものとする。
【００６６】
この場合、端末装置１１−ｘが音声信号処理サーバ１３に送信する指定データは、［（参加者ＩＤ＝０４２５  ｏｒ  参加者ＩＤ＝００２５  ｏｒ  参加者ＩＤ＝００７４  ｏｒ  参加者ＩＤ＝０３６２）  ａｎｄ  （時刻データ≧１３：２０  ａｎｄ  時刻データ≦１４：００）  ａｎｄ  （レベル≧１０  ｏｒ  レベル≦−１０）］のようになる。ここで、レベルとは音声信号の振幅を示し、［（レベル≧１０  ｏｒ  レベル≦−１０）］は、音声信号のうち振幅が１０以上または−１０以下のもののみを抽出することにより、振幅が１０と−１０の間のものは無声部分であるとしてカットすることを指示している。
【００６７】
音声信号処理サーバ１３の指定データ受信部１３１は、端末装置１１−ｘから指定データを受信すると、受信した指定データを記憶部１３９に一時的に記憶する。以下、記憶部１３９に記憶された指定データを指定データ１３９５と呼ぶ。指定データ１３９５が記憶部１３９に書き込まれると、抽出部１３３は音声記録ファイル「２００４０３１５」（図９参照）に含まれる音声信号のうち、指定データ１３９５の条件を満たす部分を抽出する。より具体的には、参加者ＩＤ「０４２５」、「００２５」、「００７４」および「０３６２」に対応付けられた音声信号をまず選択し、選択した音声信号から、１３：２０〜１４：００の時間帯に含まれる時刻を示す時刻データに対応付けられた部分を取り出す。
【００６８】
さらに、抽出部１３３は取り出した複数の音声信号に含まれるサンプルを先頭から順次読み出し、同じ時刻に対応するサンプルの振幅がいずれも−１０より大きく１０より小さい期間が所定時間（例えば５秒間）以上継続する部分を発見すると、その部分を順次削除する。このように、振幅が−１０より大きく１０より小さい期間が所定時間以上継続することを削除の条件とするのは、発言が継続中における言葉の切れ目等の無声部分がカットされてしまわないようにするためである。
【００６９】
抽出部１３３は、上記のように音声信号の抽出を行うと、得られた音声信号をミキシング部１３４に引き渡す。ミキシング部１３４は抽出部１３３から受け取った音声信号をミキシングし、生成した合成音声信号を音声信号送信部１３５に引き渡す。音声信号送信部１３５はミキシング部１３４から受け取った合成音声信号を端末装置１１−ｘに送信する。その結果、端末装置１１−ｘに接続されたヘッドセット１２−ｘのヘッドフォンからは、参加者１９−ｘの希望する会議における希望する時間帯の希望する参加者の音声のみが発音される。また、所定時間以上誰も発言しなかった部分の音声信号はカットされ、全体として発音される音声の時間が短くなる。
【００７０】
以上のように、音声会議システム１によれば、会議に参加するものは自分が聞きたいと思う参加者の発言のみを聞きながら会議に参加できる。従って、例えば社長や部長といったキーパーソンの発言のみを聞きながら会議に参加したい参加者にとって都合がよい。
【００７１】
また、音声会議システム１によって過去の会議の記録音声を聞く場合、自分が聞きたいと思う参加者の発言のみを聞くことができる。従って、キーパーソンの発言のみを聞きたい場合、通訳の音声は聞く必要がない場合、外国語を話す者の発言は聞く必要がない場合など、それらの音声部分以外の部分のみを聞くことができ、聞く者にとって都合がよい。その場合、記録音声を聞くために要する時間も短くて済む。
【００７２】
上記のように、音声会議システム１を用いれば、会議の参加者のうち、特定の参加者の発言のみを聞くことができるため、聞き手は各参加者の発言を個別に取り出して聞くことにより、各参加者の意見をより容易に理解することもできる。
【００７３】
ところで、上記の実施形態においては、音声記録ファイルには会議に参加する全ての参加者１９の音声信号が含まれるものとして説明した。しかしながら、例えば音声会議システム１の管理者等により、予め音声記録ファイルに含めるべき音声信号の条件を指定する指定データを記憶部１３９に記憶させておき、その指定データに従って抽出部１３３が抽出した音声信号のみを音声記録ファイルに含めるようにしてもよい。そうすれば、音声記録ファイルのサイズを小さくすることができる。
【００７４】
また、上記の実施形態においては、参加者１９はヘッドセット１２を用いて会議に参加するものとして説明した。しかしながら、参加者１９は指向性の強いマイクおよび発する音をビーム制御可能なスピーカアレイ等を備えたハンズフリーの音響装置をヘッドセット１２の代わりに用いるようにしてもよい。
【００７５】
また、上記の実施形態においては、音声信号処理サーバ１３により端末装置１１から受信された音声信号は、いったんデータバッファ１３９３に記憶された後、抽出部１３３による抽出処理に利用されるものとして説明した。しかしながら、音声信号処理サーバ１３が音声信号のサンプルを順序どおりに受信可能な状況においては、音声信号受信部１３２は受信した音声信号のサンプルをデータバッファ１３９３に記憶することなく抽出部１３３に引き渡すようにしてもよい。その場合、抽出部１３３は受け取ったサンプルのうち指定データ１３９５の条件を満たすもののみを順次ミキシング部１３４に引き渡す。
【００７６】
また、上記の実施形態においては、会議に参加する参加者１９はいずれも会議における発言が可能なものとして説明した。しかしながら、一部の参加者１９には発言を許可せず、傍聴のみを可能とするようにしてもよい。
【００７７】
また、音声会議システム１において、端末装置１１と音声信号処理サーバ１３との間で送受信されるデータパケットに含まれる音声信号を暗号化するように構成してもよい。その場合、音声信号送信部１１４および音声信号送信部１３５において、送信される音声信号が暗号化された後、データブロックに分割され、データパケットに含められる。また、音声信号受信部１３２および音声信号受信部１１５は、データパケットに含まれるデータブロックを組み立てた後、それを復号化して音声信号を復元する。このように音声信号を暗号化すると、会議の内容が第三者に漏洩することが防止される。
【００７８】
また、上記の実施形態においては、音声信号の各部分の生成時刻を示す時刻データが端末装置１１により生成され、音声信号に対応付けられるものとして説明した。しかしながら、端末装置１１においては時刻データの生成および対応付けを行うことなく、音声信号処理サーバ１３が計時部を備えるようにし、音声信号を端末装置１１から受信した時点で、その時点の時刻を示す時刻データを受信した音声信号に対応付けるようにしてもよい。その場合、時刻データの示す時刻は参加者１９の発言が行われた時刻に通信に要した時間を加えた時刻となるが、通信に要する時間が無視できる程度に短い場合には、音声信号処理サーバ１３が音声信号を受信した時刻を発言の時刻とみなすことができる。また、音声信号処理サーバ１３において時刻データを生成する際に、通信に要する推定時間を現在時刻より差し引いた時刻を示す時刻データを生成することにより、時刻データにより示される時刻と発言の時刻との誤差を小さくするようにしてもよい。
【００７９】
また、音声信号処理サーバ１３および端末装置１１は、専用のハードウェアにより実現されてもよいし、音声信号の入出力が可能な汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。音声信号処理サーバ１３が汎用コンピュータにより実現される場合、抽出部１３３およびミキシング部１３４は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。また、音声信号処理サーバ１３の音声信号受信部１３２および音声信号送信部１３５は、汎用コンピュータがデータパケットをネットワーク１０との間で送受信するために備える入出力インタフェースと、アプリケーションプログラムに含まれる各モジュールに従ったデータパケットの生成および組み立てに関するＣＰＵの処理により、汎用コンピュータの機能として実現される。
【００８０】
［１．３．変形例］
上述した音声会議システム１においては、端末装置１１の各々は互いに離れた位置に配置され、ネットワーク１０を介して音声信号処理サーバ１３との間でデータ通信を行うことにより、多地点間の会議を実現する。しかしながら、本発明の実施形態は、ネットワーク１０を介することなく、各端末装置１１が直接、音声信号処理サーバ１３に接続するように変形することもできる。そのような変形を加えた音声会議システムは、例えば数十名が一同に介して会議を行うような場合に便利なシステムである。
【００８１】
図１２は、ネットワーク１０を介することなく、端末装置１１が直接、音声信号処理サーバ１３に接続されて構成される音声会議システム１０１を示した図である。音声会議システム１０１において、端末装置１１の音声信号送信部１１４は音声信号ブロックを含むデータパケットを生成することはなく、音声信号処理部１１３により生成される音声信号をそのままの形式で音声信号処理サーバ１３に出力する。音声信号処理サーバ１３の音声信号受信部１３２は、データパケットを受信することはなく、各々の端末装置１１から音声信号をそのままの形式で受け取る。音声信号処理サーバ１３において、各々の端末装置１１から入力される音声信号は音声信号処理サーバ１３の音声信号受信部１３２に設けられた複数の入力端子のＩＤにより互いに区別される。すなわち、音声会議システム１０１の音声信号処理サーバ１３においては、コネクションＩＤの代わりに入力端子のＩＤが用いられる。
【００８２】
また、音声会議システム１０１において、音声信号処理サーバ１３の音声信号送信部１３５はミキシング部１３４により生成される音声信号をそのままの形式で、音声信号処理サーバ１３に接続されている各々の端末装置１１に対し出力する。端末装置１１の音声信号受信部１１５は、音声信号処理サーバ１３から入力される音声信号をそのまま音声信号処理部１１３に引き渡す。
【００８３】
音声会議システム１０１においては、端末装置１１および音声信号処理サーバ１３において音声信号を音声信号ブロックに分割してデータパケットに含めたり、データパケットに含まれる音声信号ブロックを組み立てて音声信号を復元したりする処理が不要であるので、システムが音声会議システム１と比べ簡素化され、また処理速度も音声会議システム１と比べ高速化することが可能となる。また、音声会議システム１においては、音声信号をネットワーク１０を介して送信するために、アナログ音声信号とデジタル音声信号の間の変換が必要とされたが、音声会議システム１０１においてはアナログ音声信号のままで全ての処理を行うことも可能である。また、一部の処理をアナログ音声信号を用いて行い、他の処理をデジタル音声信号を用いて行うようにしてもよい。
【００８４】
［２．第２実施形態］
上述した音声会議システム１においては、音声信号の抽出処理およびミキシング処理は、音声信号処理サーバ１３において行われる。以下に説明する第２実施形態にかかる音声会議システム２は、音声信号の抽出処理およびミキシング処理が、音声信号処理サーバ１３ではなく端末装置１１の各々において行われる。音声信号の抽出処理およびミキシング処理は会議に参加する参加者１９の各々について行われる必要があるため、音声信号処理サーバ１３の処理能力が高くない場合において、一般的に音声会議システム２は音声会議システム１よりも速い処理を実現可能である。
【００８５】
図１３は音声会議システム２の構成を示したブロック図である。音声会議システム２の構成および機能は音声会議システム１のものと多くの部分が共通しているため、以下、音声会議システム２が音声会議システム１と異なる点のみを説明する。また、図１３において、上述した音声会議システム１の構成部（図１参照）と同じ構成部もしくは対応する機能を有する構成部には、音声会議システム１における場合と同じ符合が付されている。
【００８６】
音声会議システム２においては、音声信号の抽出の条件を指定する指定データを端末装置１１から音声信号処理サーバ１３に送信する必要がないため、端末装置１１は指定データ送信部１１２を備えておらず、また音声信号処理サーバ１３は指定データ受信部１３１を備えていない。また、音声会議システム２においては、音声信号の抽出処理および抽出された音声信号のミキシング処理が各々の端末装置１１において行われるため、音声信号処理サーバ１３は抽出部１３３およびミキシング部１３４を備えず、端末装置１１が抽出部１３３およびミキシング部１３４を備えている。さらに、音声会議システム２においては、音声記録ファイルの記憶は端末装置１１において行われる。
【００８７】
音声会議システム２においては、端末装置１１が音声信号処理サーバ１３との間で会議のための通信コネクションを確立した後、音声信号処理サーバ１３から端末装置１１に対し、会議データ１３９１（図２参照）の該当するレコードと、対応データ１３９４（図６参照）が送信される。また、音声信号処理サーバ１３との間で会議のための通信コネクションを確立している端末装置１１の構成に変更が生じた場合、音声信号処理サーバ１３はその変更を反映した対応データ１３９４を端末装置１１に送信する。端末装置１１は対応データ１３９４を受信すると、受信した対応データ１３９４を記憶部１１６に一時的に記憶する。
【００８８】
会議中において、参加者１９の音声を示す音声信号のサンプルが端末装置１１から音声信号処理サーバ１３に送信され、各々、データバッファ１３９３に記憶されると、音声信号送信部１３５が新たにデータバッファ１３９３に記憶された音声信号のサンプルを同じ時刻における複数の音声を示すサンプルとしてグループ化し、順次端末装置１１の各々に送信する。すなわち、音声信号処理サーバ１３から端末装置１１に送信される音声信号は、個々の参加者１９の音声を示す音声信号がミキシングされていない状態のものであり、いずれの端末装置１１にも同じ内容の音声信号が送信されることになる。
【００８９】
端末装置１１は、音声信号処理サーバ１３から複数の音声信号を示すサンプルを順次受信すると、受信したサンプルの各々をデータバッファ１１６１−１〜ｎの各々に順次記憶してゆく。すなわち、データバッファ１１６１−１〜ｎには、会議に参加している参加者１９−１〜ｎの各々の音声信号が個別に記憶される。
【００９０】
例えば、参加者１９−１は、端末装置１１−１を操作して、発言を聞きたいと思う参加者を指定する。端末装置１１−１は、参加者１９−１の操作に応じて指定データを生成し、指定データ１３９５として記憶部１１６に一時的に記憶する。端末装置１１の抽出部１３３は、記憶部１１６に記憶されている指定データ１３９５および対応データ１３９４に従い、データバッファ１１６１−１〜ｎに記憶される音声信号から参加者１９−１が指定した条件を満たす音声信号を抽出し、ミキシング部１３４に引き渡す。ミキシング部１３４は抽出部１３３から受け取った音声信号をミキシングして合成音声信号を生成し、音声信号処理部１１３に引き渡す。その結果、ヘッドセット１２−１からは、音声会議システム１における場合と同様に、参加者１９−１の希望する参加者の発言のみを含む音声が発音される。
【００９１】
会議が終了すると、端末装置１１はデータバッファ１１６１−１〜ｎに記憶されている音声信号、先に音声信号処理サーバ１３から受信した会議データ１３９１の該当するデータおよび対応データ１３９４を用いて、音声記録ファイル（図９参照）を作成し、記憶部１１６に記憶する。
【００９２】
参加者１９は、過去の会議の記録音声を聞きたい場合、音声記録ファイル群１３９６に含まれる音声記録ファイルのリストを端末装置１１に表示させ、記録音声を聞きたい会議を選択する。さらに、参加者１９は選択した会議の参加者のうち、発言を聞きたい参加者を選択し、必要に応じて聞きたい発言の時間帯等を指定する。その操作に応じて、端末装置１１は指定データを生成し指定データ１３９５として記憶部１１６に一時的に記憶した後、抽出部１３３による抽出処理を開始する。すなわち、端末装置１１の抽出部１３３は、参加者１９の指定する会議に関する音声記録ファイルに含まれる音声信号から、指定データ１３９５により示される条件を満たす音声信号を抽出する。
【００９３】
抽出部１３３により抽出された音声信号はミキシング部１３４に引き渡され、ミキシング処理された後、音声信号処理部１１３を介してヘッドセット１２のヘッドフォンに出力され、発音される。音声会議システム２においては、参加者１９が過去の会議の記録音声を聞きたい場合、音声信号処理サーバ１３と端末装置１１との間に通信コネクションが確立される必要がない。
【００９４】
以上説明したように、音声会議システム２によっても、音声会議システム１における場合と同様に、参加者１９は希望する発言者の発言のみを聞きながら会議に参加したり、過去の会議の記録音声のうち、希望する発言者の発言のみを聞くことができる。
【００９５】
第２実施形態に関しても、第１実施形態と同様に、音声信号処理サーバ１３および端末装置１１は、専用のハードウェアにより実現されてもよいし、音声信号の入出力が可能な汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。また、音声会議システム２においても、音声会議システム１と同様の変形を行うことが可能である。
【図面の簡単な説明】
【００９６】
【図１】本発明の第１実施形態にかかる音声会議システムの構成を示したブロック図である。
【図２】本発明の第１実施形態にかかる会議データの内容を例示した図である。
【図３】本発明の第１実施形態にかかる参加者データの内容を例示した図である。
【図４】本発明の第１実施形態にかかる参加者ＩＤ、端末ＩＤ、コネクションＩＤおよびデータバッファの対応関係を示す図である。
【図５】本発明の第１実施形態にかかるコネクションＩＤと端末ＩＤの対応表を例示した図である。
【図６】本発明の第１実施形態にかかる対応データの内容を例示した図である。
【図７】本発明の第１実施形態にかかる音声信号とデータパケットの関係を模式的に示した図である。
【図８】本発明の第１実施形態にかかるデータバッファに音声信号が記憶される様子を模式的に示した図である。
【図９】本発明の第１実施形態にかかる音声記録ファイルの内容を模式的に示した図である。
【図１０】本発明の第１実施形態にかかる端末装置の表示部に表示される画面を例示した図である。
【図１１】本発明の第１実施形態にかかる端末装置の表示部に表示される画面を例示した図である。
【図１２】本発明の第１実施形態の変形例にかかる音声会議システムの構成を示した図である。
【図１３】本発明の第２実施形態にかかる音声会議システムの構成を示したブロック図である。
【符号の説明】
【００９７】
１・２・１０１…音声会議システム、１０…ネットワーク、１１…端末装置、１２…ヘッドセット、１３…音声信号処理サーバ、１９…参加者、１１１…計時部、１１２…指定データ送信部、１１３…音声信号処理部、１１４・１３５…音声信号送信部、１１５・１３２…音声信号受信部、１１６・１３９…記憶部、１３１…指定データ受信部、１３３…抽出部、１３４…ミキシング部、１１６１・１３９３…データバッファ、１３９１…会議データ、１３９２…参加者データ、１３９４…対応データ、１３９５…指定データ、１３９６…音声記録ファイル群。
【図１】
2006203548.tif 000003
【図２】
2006203548.tif 000004
【図３】
2006203548.tif 000005
【図４】
2006203548.tif 000006
【図５】
2006203548.tif 000007
【図６】
2006203548.tif 000008
【図７】
2006203548.tif 000009
【図８】
2006203548.tif 000010
【図９】
2006203548.tif 000011
【図１０】
2006203548.tif 000012
【図１１】
2006203548.tif 000013
【図１２】
2006203548.tif 000014
【図１３】
2006203548.tif 000015