(57)【要約】【課題】会議に参加しているノードと音源識別子の対応を動的に変更し、ノードにおいて会議に参加している各ノードと音源識別子を正確に対応付けて聴覚情景を合成するための装置および方法を提供する。【解決手段】ノード内の音声信号データ受信装置１は、音声信号ストリーム受信部（１０１）にて結合信号データと結合信号を聴覚情景合成するための音源識別子が列挙された音源識別子データとから構成される音声信号ストリームを受信し、第１識別子リスト受信部（１０２）にて会議に参加しているノードの識別子のリスト（ノード識別子リスト）を受信し、第２識別子リスト生成部（１０３）にて当該ノード識別子リストを用いてノードと音声信号ストリーム内の音源識別子データに含まれる音源識別子とを対応づけるリストを作成し、音声信号ストリーム復号部（１０４）にて結合信号と音源識別子とを復号し聴覚情景合成する。【選択図】        図１
2009111787.tif 000002
【特許請求の範囲】
【請求項１】
音声信号データを受信する音声信号データ受信装置であって、
１つ以上のノードからの音声信号データから生成された結合信号データと前記結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子を含む音源識別子データとが含まれた音声信号ストリームを受信する手段と、
前記ノードを識別するノード識別子を含む第１識別子リストを受信する手段と、
前記音声信号ストリームに含まれた前記第１識別子リスト内のノード識別子と前記音源識別子データに含まれた音源識別子とを対応付ける第２識別子リストを生成する手段と、
前記第２の識別子リストと、前記音声信号ストリームに含まれた結合信号データとを用いて、前記１つ以上のノードからの音声信号を聴覚情景合成する手段と
を備えたことを特徴とする音声信号データ受信装置。
【請求項２】
前記音声信号ストリームを受信する手段は、前記音声信号ストリームに多重化された前記ノードを識別するノード識別子を含む第３識別子リストをさらに受信し、
前記第２識別子リストを生成する手段は、前記第１識別子リスト内のノード識別子と前記第３識別子リスト内のノード識別子とを用いて、前記第２識別子リストを生成することを特徴とする請求項１に記載の音声信号データ受信装置。
【請求項３】
前記第１識別子リストは、リアルタイムアプリケーション用の転送制御プロトコルのソースを記述するパケットとして受信されることを特徴とする請求項１または２に記載の音声信号データ受信装置。
【請求項４】
音声信号データを受信する音声信号データ受信装置であって、
１つ以上のノードからの音声信号データから生成された結合信号データと前記結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子を含む音源識別子データとが含まれた音声信号ストリームと、前記ノードを識別するノード識別子を含み前記音声信号ストリームに多重化された識別子リストとを受信する手段と、
前記音声信号ストリームに多重化された前記識別子リスト内のノード識別子と前記音源識別子データに含まれた音源識別子とを対応付ける第２識別子リストを生成する手段と、
前記第２識別子リストと、前記音声信号ストリームに含まれた結合信号データとを用いて、前記１つ以上のノードからの音声信号を聴覚情景合成する手段と
を備えたことを特徴とする音声信号データ受信装置。
【請求項５】
前記識別子リストまたは前記第３識別子リストは、リアルタイムアプリケーション用の転送プロトコルのペイロード部分に貢献したソースのリストとして受信されることを特徴とする請求項２ないし４のいずれかに記載の音声信号データ受信装置。
【請求項６】
音声信号データを送信する音声信号データ送信装置であって、
１つ以上のノードからの音声信号データと前記ノードを識別するノード識別子とを受信する手段と、
受信した前記ノードの識別子を含む第１識別子リストを生成する手段と、
前記第１識別子リスト内のノード識別子と、前記音声信号データを結合した結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子とを対応付ける第２識別子リストを生成する手段と、
前記１つ以上のノードからの音声信号データから前記結合信号データを生成し、前記第２識別子リストに含まれた音源識別子から音源識別子データを生成し、前記音声信号データおよび前記音源識別子データを含む音声信号ストリームを生成する手段と、
前記音声信号ストリームを送信する手段と、
第１識別子リストを送信する手段と
を備えたことを特徴とする音声信号データ送信装置。
【請求項７】
受信した前記ノードの識別子を含む第３識別子リストを生成する手段をさらに備え、
前記音声信号ストリームを送信する手段は、前記第３識別子リストを前記音声信号ストリームと多重化して送信することを特徴とする請求項６に記載の音声信号データ送信装置。
【請求項８】
前記第１識別子リストは、リアルタイムアプリケーション用の転送制御プロトコルのソースを記述するパケットとして送信されることを特徴とする請求項６または７に記載の音声信号データ送信装置。
【請求項９】
音声信号データを送信する音声信号データ送信装置であって、
１つ以上のノードからの音声信号データと前記ノードを識別するノード識別子とを受信する手段と、
受信した前記ノードの識別子を含む識別子リストを生成する手段と、
前記識別子リスト内のノード識別子と、前記音声データを結合した結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子とを対応付ける第２識別子リストを生成する手段と、
前記１つ以上のノードからの音声信号データから前記結合信号データを生成し、前記第２識別子リストに含まれた音源識別子から音源識別子データを生成し、前記音声信号データおよび前記音源識別子データを含む音声信号ストリームを生成する手段と、
前記識別子リストを前記音声信号ストリームと多重化して送信する手段と
を備えたことを特徴とする音声信号データ送信装置。
【請求項１０】
前記識別子リストまたは前記第３識別子リストは、リアルタイムアプリケーション用の転送プロトコルのペイロード部分に貢献したソースのリストとして送信されることを特徴とする請求項７ないし９のいずれかに記載の音声信号データ送信装置。
【請求項１１】
音声信号データ受信装置において音声信号データを受信する音声信号データ受信方法であって、
１つ以上のノードからの音声信号データから生成された結合信号データと前記結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子を含む音源識別子データとが含まれた音声信号ストリームを受信するステップと、
前記ノードを識別するノード識別子を含む第１識別子リストを受信するステップと、
前記音声信号ストリームに含まれた前記第１識別子リスト内のノード識別子と前記音源識別子データに含まれた音源識別子とを対応付ける第２識別子リストを生成するステップと、
前記第２識別子リストと、前記音声信号ストリームに含まれた結合信号データとを用いて、前記１つ以上のノードからの音声信号を聴覚情景合成するステップと
を含むことを特徴とする音声信号データ受信方法。
【請求項１２】
前記音声信号ストリームを受信するステップは、前記音声信号ストリームに多重化された前記ノードを識別するノード識別子を含む第３識別子リストをさらに受信し、
前記第２識別子リストを生成するステップは、前記第１識別子リスト内のノード識別子と前記第３識別子リスト内のノード識別子とを用いて、前記第２識別子リストを生成することを特徴とする請求項１１に記載の音声信号データ受信方法。
【請求項１３】
音声信号データ受信装置において音声信号データを受信する音声信号データ受信方法であって、
１つ以上のノードからの音声信号データから生成された結合信号データと前記結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子を含む音源識別子データとが含まれた音声信号ストリームと、前記ノードを識別するノード識別子を含み前記音声信号ストリームに多重化された識別子リストとを受信するステップと、
前記音声信号ストリームに多重化された前記識別子リスト内のノード識別子と前記音源識別子データに含まれた音源識別子とを対応付ける第２識別子リストを生成するステップと、
前記第２識別子リストと、前記音声信号ストリームに含まれた結合信号データとを用いて、前記１つ以上のノードからの音声信号を聴覚情景合成するステップと
を備えたことを特徴とする音声信号データ受信方法。
【請求項１４】
音声信号データ送信装置において音声信号データを送信する音声信号データ送信方法であって、
１つ以上のノードからの音声信号データと前記ノードを識別するノード識別子とを受信するステップと、
受信した前記ノードの識別子を含む第１識別子リストを生成するステップと、
前記第１識別子リスト内のノード識別子と、前記音声信号データを結合した結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子とを対応付ける第２識別子リストを生成するステップと、
前記１つ以上のノードからの音声信号データから前記結合信号データを生成し、前記第２識別子リストに含まれた音源識別子から音源識別子データを生成し、前記音声信号データおよび前記音源識別子データを含む音声信号ストリームを生成するステップと、
前記音声信号ストリームを送信するステップと、
第１識別子リストを送信するステップと
を含むことを特徴とする音声信号データ送信方法。
【請求項１５】
受信した前記ノードの識別子を含む第３識別子リストを生成するステップをさらに備え、
前記音声信号ストリームを送信するステップは、前記第３識別子リストを前記音声信号ストリームと多重化して送信することを特徴とする請求項１４に記載の音声信号データ送信方法。
【請求項１６】
音声信号データ送信装置において音声信号データを送信する音声信号データ送信方法であって、
１つ以上のノードからの音声信号データと前記ノードを識別するノード識別子とを受信するステップと、
受信した前記ノードの識別子を含む識別子リストを生成するステップと、
前記識別子リスト内のノード識別子と、前記音声信号データを結合した結合信号データから前記１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子とを対応付ける第２識別子リストを生成するステップと、
前記１つ以上のノードからの音声信号データから前記結合信号データを生成し、前記第２識別子リストに含まれた音源識別子から音源識別子データを生成し、前記音声信号データおよび前記音源識別子データを含む音声信号ストリームを生成するステップと、
前記識別子リストを前記音声信号ストリームと多重化して送信するステップと
を含むことを特徴とする音声信号データ送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声・音響信号データを送信・受信する音声信号データ受信装置、送信装置およびその方法に関する。
【背景技術】
【０００２】
従来、ＩＰネットワーク上で音声通信を行うＶｏＩＰ（Voice over Internet Protocol）技術を用いた、ＩＰ電話やインターネット電話の利用が増大している。ＶｏＩＰでは、音声データをパケット化し、ＩＰネットワークを介して送受信することで、音声通信を可能としている。ＶｏＩＰでは、通常、音声データの伝送にRealtime Transport Protocol（ＲＴＰ：リアルタイム転送プロトコル）が用いられ、ＲＴＰでのデータの送受信を制御するために、ＲＴＰ Control Protocol（ＲＴＣＰ：ＲＴＰ制御プロトコル）が用いられる（例えば、非特許文献１）。ＶｏＩＰ技術の利用は単なる１対１の音声通信にとどまらず、多数の利用者間での複数話者通話においても利用されている。複数話者通話での接続形態はさまざまあり、各利用者の端末をサーバに接続させる形態や、各利用者の端末を相互に接続させる形態などがある。
【０００３】
一方、複数の音源信号を（例えば、モノラル信号に）結合して結合信号とし、また複数の音源信号を分析して受信側において聴覚情景を合成するために使用される聴覚パラメータを求め、結合信号と聴覚パラメータを送信し、受信側で当該結合信号と当該聴覚パラメータから聴覚情景を合成する方法が知られている（例えば、特許文献１参照）。当該方法はＢＣＣ（Binaural Cue Coding）方式と呼ばれる。ＢＣＣ方式における複数の音源信号の分析では、複数の音源信号を周波数領域において、エネルギーを比較等することにより、周波数帯域ごとに占有的な音源を決定する。聴覚パラメータとしては、前記周波数帯域を定義するための情報と空間音響的なパラメータ（両耳間強度差、両耳間時間差、頭部伝達関数など）が挙げられている。さらに別の実現例として、空間音響的パラメータの代わりに、各周波数帯域でどの音源が占有的かを識別する識別子（音源識別子）が挙げられている。前者の聴覚パラメータの場合、受信側では、送信側より送られた空間音響的なパラメータで規定される聴覚情景のみを合成可能である。後者の聴覚パラメータの場合は、受信側で、各音源を自由な位置に配置した聴覚情景の合成が可能となる。また、送信側と受信側で、あらかじめ周波数帯域を定義する情報を共有している場合は、周波数帯域を定義する情報を送信する必要が無いことは明らかである。
【０００４】
また、上記の結合信号と聴覚パラメータから聴覚情景を合成する方法を適用した複数話者通話が可能な会議システムが知られている（例えば、特許文献１参照）。すなわち従来の会議システムは、複数のノード（すなわち話者）からサーバへ音源信号が送信され、サーバにおいてノードからの音源信号を結合および分析して結合信号と聴覚パラメータを各ノードに送信し、各ノードにおいて当該結合信号と聴覚パラメータから聴覚情景を合成する会議システムである。このシステム会議では、聴覚パラメータとして、前記各周波数帯域の音源識別子を送信すれば、各ノードにおいて、他のノードの音源信号（すなわち、他の話者の音声信号）を自由に配置した聴覚情景の合成が可能となる。複数の話者の音声を聴取する際に、各話者の音声が別々の方向から聞こえることで、音声の了解度が上がることが知られている。
【０００５】
【特許文献１】米国特許第７１１６７８７号明細書
【非特許文献１】H. Schulzrinne, S. Casner, R. Frederick, V. Jacobson, "RTP:A Transport Protocol for Real-Time Applications", RFC1889, January 1996、インターネット<ＵＲＬ：http://www.ietf.org/rfc/rfc1889.txt>
【非特許文献２】L-E. Jonsson, G. Pelletier, K. Sandlund, " RObust Header Compression (ROHC): A Link-Layer Assisted Profile for IP/UDP/RTP", RFC4362, January 2006、インターネット<ＵＲＬ：http://www.ietf.org/rfc/rfc4362.txt>
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数話者通話の会議システムにおいては、会議の途中で参加してくるノード、または会議から離脱する場合があり、ノードにおいて、会議中におけるノードの参加または離脱の状況に応じて、会議に参加している各ノードと音源識別子を正確に対応付けて聴覚情景を合成することができないという問題がある。
【０００７】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、会議中におけるノードの参加または離脱の状況に応じて、会議に参加しているノードと音源識別子の対応を動的に変更し、ノードにおいて会議に参加している各ノードと音源識別子を正確に対応付けて聴覚情景を合成するための装置（ノード、サーバ）および方法を提供することにある。
【課題を解決するための手段】
【０００８】
このような問題を鑑み、本発明は、結合信号を所定の方法により符号化した結合信号データと結合信号を聴覚情景合成するための音源識別子が列挙された音源識別子データとから構成される音声信号ストリームを受信し、さらにノードの識別子（ノード識別子）のリスト（ノード識別子リスト）を受信し、受信したノード識別子リストから、ノードと音声信号ストリーム内の音源識別子データに含まれる音源識別子を対応づけるリストを作成し、結合信号と音源識別子とを復号し聴覚情景合成する（すなわち、音声信号ストリームを復号する）音声信号データ受信装置および方法を提供する。
【０００９】
したがって、本発明に係る音声信号データ受信装置は、１つ以上のノードからの音声信号データから生成された結合信号データと当該結合信号データから１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子を含む音源識別子データとが含まれた音声信号ストリームを受信する手段と、ノードを識別するノード識別子を含む識別子リストを受信する手段と、受信した識別子リスト内のノード識別子と音源識別子とを対応付ける第２識別子リストを生成する手段と、第２識別子リストと、前記音声信号ストリームに含まれた結合信号データを用いて、１つ以上のノードからの音声信号を聴覚情景合成する手段とを備える。
【００１０】
一実施形態では、識別子リストを受信する手段が第１識別子リストを受信するのとは別に、音声信号ストリームを受信する手段が音声信号ストリームに多重された第３識別子リストを受信するように構成することができる。あるいは、識別子リストを受信する手段を省略し、音声信号ストリームを受信する手段が音声信号ストリームに多重された識別子リストを受信するように構成することができる。
【００１１】
また、本発明は、各ノードから音声信号データとノード識別子データを受信し、ノードと音源識別子との対応を表すリストを作成し、当該リストを用いて音源識別子データを生成し、結合信号を所定の方法により符号化した結合信号データと音源識別子データとから構成される音声信号ストリームを生成し、音声信号ストリームとノード識別子のリストとを各ノードへ送信する音声信号データ送信装置および方法を提供する。
【００１２】
したがって、１つ以上のノードからの音声信号データと当該ノードを識別するノード識別子を受信する手段と、受信したノードの識別子を含む識別子リストを生成する手段と、識別子リスト内のノード識別子と音声データを結合した結合信号データから１つ以上のノードからの音声信号を聴覚情景合成するための音源識別子とを対応付ける第２識別子リストを生成する手段と、１つ以上のノードからの音声信号データから結合信号データを生成し、第２識別子リストに含まれた音源識別子から音源識別子データを生成し、音声信号データおよび音源識別子データを含む音声信号ストリームを生成する手段と、音声信号ストリームを送信する手段と、識別子リストを送信する手段とを備える。
【００１３】
一実施形態では、識別子リストを送信する手段が第１識別子リストを受信するのとは別に、音声信号ストリームを送信する手段が第３識別子リストを音声信号ストリームに多重して送信するように構成することができる。あるいは、識別子リストを受信する手段を省略し、音声信号ストリームを送信する手段が識別子リストを音声信号ストリームに多重して送信するように構成することができる。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、複数話者通話の会議システムにおいて、ノードに備えられた音声信号データ受信装置は、会議に参加している複数のノードの音声信号を結合した結合信号データと当該結合信号を聴覚情景合成するための音源識別子データとを含む音声信号ストリームを受信し、各ノードと各ノードに対して付与された音源識別子とを対応付けし、音声信号ストリームを復号することができ、また、サーバに備えられた音声信号データ送信装置は、ノードにおいて行われる会議に参加しているノードと音源識別子の対応付けに整合した音源識別子データを生成して音声信号データ受信装置に提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。なお、以下の説明および図面においては、同一または類似する要素には同一または類似の符号を用い、重複する説明は省略する。
【００１６】
（実施例１）
図１は、本発明の第１の実施例にかかる音声信号データ受信装置を示している。図１に示す音声信号データ受信装置１は、音声信号ストリーム受信部１０１と、第１識別子リスト受信部１０２と、第２識別子リスト生成部１０３と、音声信号ストリーム復号部１０４とを有する。
【００１７】
音声信号復号部１０１は、後述する音声信号データ送信装置２から音声信号ストリームを受信し、音声信号ストリーム復号部１０４へ出力する。音声信号ストリームは、会議に参加している１つまたは複数のノードの音声信号を結合した結合信号から生成された結合信号データと当該結合信号を聴覚情景合成するための音源識別子データとを含む。
【００１８】
第１識別子リスト受信部１０２は、音声信号データ送信装置２から第１識別子リストを受信し、第２識別子リスト生成部１０３へ出力する。第１識別子リストは、現在会議に参加しているノードを識別するためのノード識別子を含む。第１識別子リストの受信タイミングは限定されず、音声信号ストリームと同期していなくてもよい。
【００１９】
図２は、音声信号データ送信装置２から受信する第１識別子リストの一例を示している。図２に示す例では、第１識別子リストは、セッションごとに変更される可能性がある第１ノード識別子と、基本的にはセッションごとに変更されず不変的な第２ノード識別子より構成されている。例えば、第１識別子リスト受信部１０２は、リアルタイムアプリケーション用の転送制御プロトコルにしたがって第１識別子リストを受信するように構成することができる。
【００２０】
図３は、第１識別子リストをリアルタイムアプリケーション用の転送制御プロトコルにおけるソース記述用パケットとして受信する例を説明する図である。図３の例では、図２の第１識別子リストを、リアルタイムアプリケーション用の転送制御プロトコルにおけるソース記述用パケットであるＲＴＣＰのＳＤＥＳ（Source Description）パケットとして受信する例を示している。ＲＴＣＰのＳＤＥＳパケットでは、ヘッダと、ＳＳＲＣ（synchronization source）またはＣＳＲＣ（contributing source）と、ＳＤＥＳアイテムとで構成されるチャンクで構成される。この例では、各チャンクに各ノードの第１ノード識別子および第２ノード識別子が格納される。第１ノード識別子としてはＳＳＲＣを用い、第２ノード識別子としてはＳＤＥＳアイテムを用いる。ＳＤＥＳアイテムには少なくともＣＮＡＭＥアイテムが含まれるため、第２ノード識別子には少なくともノードの別名を定義するＣＮＡＭＥ（Canonical Name）が含まれる。ＳＤＥＳアイテムにＣＮＡＭＥ以外のアイテムが含まれている場合は、第２ノード識別子としてそれらをＣＮＡＭＥとあわせて用いても良い。
【００２１】
第２識別子リスト生成部１０３は、第１識別子リストよりノードと音源識別子とを対応付ける第２識別子リストを生成する。そして、生成した第２識別子リストを音声信号ストリーム復号部１０４へ出力する。
【００２２】
図４は、第２識別子リストの一例を示している。図４に示す例では、第２識別子リストは、第１ノード識別子、第２ノード識別子、音源識別子により構成されている。
【００２３】
音声信号ストリーム復号部１０４は、第２識別子リストを用いて、音声信号ストリームを復号し（すなわち、結合信号データと音源識別子データを復号して結合信号を聴覚情景合成し）、復号音声信号を得る。復号音声信号は、再生部(図示せず)へ出力される。
図５は、本発明の第１の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートを示している。
【００２４】
音声信号ストリーム受信部１０１にて、音声信号ストリームを受信する（Ｓ１０１）。
【００２５】
次いで、第２識別子リスト生成部１０３にて、ノードと音源識別子とを対応付ける第２識別子リストを生成する（Ｓ１０２）。第２識別子リストの生成方法については、図６を参照して後述する。
【００２６】
次いで、音声信号ストリーム復号部１０４にて、音声信号ストリームを復号する（Ｓ１０３）。また、音声信号ストリーム復号部１０４から再生部(図示せず)へ、復号音声信号を出力する（Ｓ１０４）。
【００２７】
処理を終了する命令があるか無いかを確認し（Ｓ１０５）、ある場合は終了、無い場合はステップＳ１０１より繰り返す。ただし処理を終了する命令の入力方法は限定されない。
【００２８】
図６は、本発明の第１の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートにおける第２識別子リストの生成（Ｓ１０２）の方法の一例を示している。
【００２９】
まず以前に第２識別子リストを生成し保持しているか否かを確認する（Ｓ１０２１）。保持していない場合、すなわち初めて第２識別子リストを生成する場合は、ステップＳ１０２４へ進む。
【００３０】
保持している場合は、前回のステップＳ１０２の実施後に、新たに第１識別子リストを受信しているか確認する（Ｓ１０２２）。前記の通り、第１識別子リストの受信タイミングは任意である。第１識別子リストを受信していない場合は、新たに第２識別子リストを生成せず、ステップＳ１０３へ進む。ステップＳ１０３では、以前に生成して保持している第２識別子リストを音声信号ストリームの復号に用いる。新たに第１識別子リストを受信している場合は、ステップＳ１０２３へ進む。
【００３１】
新たに受信した第１識別子リストが、最後に第２識別子リストを生成する際に受信した第１識別子リストから変更されているか否かを確認する（Ｓ１０２３）。このステップは、保持している第２識別子リストに記載されていない識別子が、新たに第１識別子リストに記載されているか否かの確認に置き換えてもよい。変更されていない場合は、新たに第２識別子リストを生成せず、ステップＳ１０３へ進む。変更されている場合は、ステップＳ１０２４へ進む。
【００３２】
第１識別子リストより、第２識別子リストを生成する（Ｓ１０２４）。第２識別子リストは、第１識別子リストに含まれるノード識別子と音声信号ストリーム内の音源識別子データに含まれる音源識別子との対応付けができるように生成される。第２識別子リストの生成方法は、図３に示したような第１識別子リストの上位の識別子から音源識別子を付与する方法である。なお、第１識別子リストをそのまま用いるのではなく、第１識別子リストを並び替え、それに音源識別子を付与してもよい。並び替えの基準としては、第１ノード識別子でも第２ノード識別子でもよく、その基準は限定されない。第１識別子リスト内のノード識別子への音源識別子の付与方法を、あらかじめ音声信号ストリームの生成側と共有することで、ノードにおいて、音声信号ストリームを生成する際と同じノードと音源識別子の対応付けが可能となる。
【００３３】
図７は、第１識別子リストに変更があった場合に生成される第２識別子リストの一例を示している。
【００３４】
変更前は第１識別子リストには３ノードが掲載されていたため、音源識別子は２ビットで表現できていたが、変更後は第１識別子リストに５ノードが掲載されているため、音源識別子は３ビットで表現された新しい音源識別子となる。このように、音声信号ストリームの生成時に関与したノード（すなわち、音声信号ストリーム内の音源識別子データに含まれる音源識別子と対応するノード）が変更されても、受信装置においてノードと音源識別子を対応付ける第２識別子リストが生成できる。上述の例では音源識別子のビット数を可変としていたが、固定としてもよいことは自明である。
【００３５】
図８は、本発明の第１の実施例にかかる音声信号データ受信装置の音声信号ストリーム復号部１０４の一例を示している。
【００３６】
図８に示す例では、音声信号ストリームは結合信号データと音源識別子データとを含んでおり、音声信号ストリーム復号部１０４は、音声信号ストリーム分離部１０４１と、結合信号データ復号部１０４２と、空間音響パラメータ生成部１０４３と、聴覚情景合成部１０４４とを有している。
音声信号ストリーム分離部１０４１では、音声信号ストリームを結合信号データと音源識別子データとに分離し、結合信号データを結合信号データ復号部１０４２へ、音源識別子データを空間音響パラメータ生成部１０４３へ出力する。音声信号ストリーム内の音源識別子データが所定の方法により符号化されている場合は、復号した後に出力する。
【００３７】
結合信号データ復号部１０４２は、所定の方法により結合信号データを復号結合信号に復号し、聴覚情景合成部１０４４へ出力する。
【００３８】
空間音響パラメータ生成部１０４３は、音源識別子データ、第２識別子リストおよび指示信号より、空間音響パラメータを生成する。指示信号には、各ノードを聴覚情景上のどこに配置するかが記述されている。
【００３９】
聴覚情景合成部１０４４は、復号結合信号と空間音響パラメータとを用いて、所定の方法により聴覚情景合成し、復号音声信号を出力する。
【００４０】
なお、結合信号データ復号部１０４２と聴覚情景合成部１０４４とを１つにし、結合信号を復号しながら聴覚情景合成を実行してもよい。
【００４１】
さらに、結合信号データ復号部１０４２、空間音響パラメータ生成部１０４３、及び聴覚情景合成部１０４４を１つにし、結合信号の復号、空間音響パラメータの生成をしながら聴覚情景合成を実行してもよい。
【００４２】
図９は、本発明の第１の実施例にかかる音声信号データ受信装置の音声信号ストリーム復号部１０４の一例の動作を説明するフローチャートを示している。
【００４３】
音声信号ストリーム分離部１０４１にて、音声信号ストリームを結合信号データと音源識別子データとに分離する（Ｓ１０４１）。音声信号ストリーム内の音源識別子データが所定の方法により符号化されている場合は、音源識別子データに復号する。
【００４４】
次いで、結合信号データ復号部１０４２にて、所定の方法により結合信号データを復号し、復号結合信号を生成する（Ｓ１０４２）。
【００４５】
また、空間音響パラメータ生成部１０４３にて、音源識別子データ、第２識別子リストおよび指示信号より、空間音響パラメータを生成する（Ｓ１０４３）。
【００４６】
次いで、聴覚情景合成部１０４４にて、復号結合信号と空間音響パラメータとを用いて、所定の方法にて聴覚情景合成して復号音声信号を生成し（Ｓ１０４４）、復号音声信号を出力する（Ｓ１０４５）。
【００４７】
ただし、ステップＳ１０４３は、ステップＳ１０４２の前あるいはステップＳ１０４２と同時に実行されてもよく、ステップＳ１０４２とステップＳ１０４３の実行順序は限定されない。
【００４８】
なお、上述のとおり結合信号データ復号部１０４２と聴覚情景合成部１０４４とを１つにする場合は、ステップＳ１０４２とステップＳ１０４４は１つのステップとなり、結合信号データ復号部１０４２、空間音響パラメータ生成部１０４３、及び聴覚情景合成部１０４４を１つにする場合は、ステップＳ１０４２、ステップ１０４３、及びステップＳ１０４４は１つのステップとなる。
【００４９】
図１０は、空間音響パラメータ生成部１０４３の動作の一例を説明する図である。  
指示信号には、前記のとおり各ノードを聴覚情景上のどこに配置するか記述されている。ここでは、第２ノード識別子とそのノードの音声が聞こえてくる方向（音源方向）で構成されるが、指示信号の構成を限定するものではない。音源方向は聴取者（すなわち、ユーザ）にとって正面を０度とし、正面から右半面が正の角度、左半面が負の角度で表されている。第２識別子リストは、第１ノード識別子、第２ノード識別子および音源識別子で構成され、音声信号ストリームの生成側と復号側では、周波数帯域を定義する情報（すなわち、エネルギー比較等することにより占有的な音源が決定される周波数帯域の中心周波数や帯域幅に関する情報）は共有しているとする。第２識別子リストと音源識別子データとにより、各周波数帯域に対してどの音源識別子が与えられているか判断し、第２識別子リストの音源識別子とノード識別子との対応より、周波数帯域と占有ノードとの対応を判断（決定）する。そして、周波数帯域と占有ノードとの対応と、各ノードの音源方向を指示する指示信号とから、周波数帯域と音源方向の対応を判断（決定）し、各周波数帯域に対して対応する音源方向の空間音響パラメータP(i, a)（iは周波数帯域インデックス、aは音源方向）を生成する。空間音響パラメータは所定の方法で算出しても良いし、あらかじめ各音源方向に対して算出して保持しておき、保持している空間音響パラメータを出力しても良く、その方法は限定されない。
【００５０】
なお、この例では結合信号データを復号した後に聴覚情景合成を実行していたが、前記のとおり結合信号を復号しながら聴覚情景合成を実行してもよい。たとえば、ある周波数帯域に対応する結合信号データの一部を復号し、当該周波数帯域に対応する空間音響パラメータを生成して、当該周波数帯域において聴覚情景合成を行うという処理を周波数帯域ごとに行い、それを結合して全周波数帯域の信号とした後、復号音声信号として出力してもよい。
【００５１】
また、この例では、音声信号ストリームの生成側と復号側で周波数帯域を定義する情報を共有しているものとして説明したが、例えば、複数話者通話が開始される時点で、音声信号ストリームの生成側から復号側へ通知されるようにしてもよく、音声信号ストリームに含めて通知してもよい。
【００５２】
（実施例２）
図１１は、本発明の第２の実施例にかかる音声信号データ受信装置を示している。図１１に示す音声信号データ受信装置１は、音声信号ストリーム・第３識別子リスト受信部１０５と、第１識別子リスト受信部１０２と、第２識別子リスト生成部１０６と、音声信号ストリーム復号部１０４とを有する。
【００５３】
以下、第２の実施例の音声信号データ受信装置と第１の実施例にかかる音声信号データ受信装置との相違点について説明する。
【００５４】
音声信号ストリーム・第３識別子リスト受信部１０５は、音声信号ストリームと第３識別子リストとを受信する。音声信号ストリームと第３識別子リストとは、多重化された状態で受信される。例えば、音声信号ストリーム・第３識別子リスト受信部１０５は、リアルタイムアプリケーション用の転送制御プロトコルにしたがって音声信号ストリームと第３識別子リストとを受信するように構成することができる。
【００５５】
図１２は、第３識別子リストの一例を説明する図である。図１２に示す例では、第３識別子リストは、セッションごとに変更される可能性がある第１ノード識別子より構成される。
【００５６】
図１３は、第３識別子リストをリアルタイムアプリケーション用の転送プロトコルのペイロード部分に貢献したソース（Contributing Sourceとも言われる）のリストとして受信する例を説明する図である。図１３の例では、図１２の第３識別子リストを、リアルタイムアプリケーション用の転送プロトコルのペイロード部分に貢献したソースをリストするＲＴＰヘッダのＣＳＲＣリストに格納するとともに、音声信号ストリームを、ＲＴＰペイロードに格納して、ＲＴＰパケットとしている。ＲＴＰヘッダのＣＳＲＣリストは、一般的にＲＴＰパケットのストリームに貢献しているノードのＳＳＲＣを記載するように用意されたフィールドである。
【００５７】
また、ＣＳＲＣリストを含むＲＴＰヘッダは所定の方法（たとえば、非特許文献２参照）により圧縮されていてもよく、その圧縮方法および圧縮の有無は限定されない。
【００５８】
第２識別子リスト生成部１０６は、第３識別子リストと第１識別子リストを用いて、ノードと音源識別子を対応付ける第２識別子リストを生成する。この際、必ずしも第１識別子リストと第３識別子リストの両方を用いる必要はなく、どちらかのリストを優先的に用いてもよい。
【００５９】
図１４は、本発明の第２の実施例にかかる音声信号データ受信装置１の動作を説明するフローチャートを示している。ここでは、本発明の第１の実施例にかかる音声データ受信装置のフローチャートとの相違点について説明する。
【００６０】
音声信号ストリーム・第３識別子リスト受信部１０５にて、音声信号ストリームと第３識別子リストとを受信する（Ｓ１０６）。
【００６１】
第２識別子リスト生成部１０６にて、第３識別子リストと第１識別子リストを用いて、ノードと音源識別子を対応付ける第２識別子リストを生成する（Ｓ１０７）。
【００６２】
次いで、音声信号ストリーム復号部１０４にて、音声信号ストリームを復号し、音声信再生部(図示せず)へ出力する（Ｓ１０３，Ｓ１０４）。
【００６３】
図１５は、本発明の第２の実施例にかかる音声信号データ受信装置１の動作を説明するフローチャートにおける第２識別子リストの生成（Ｓ１０６）の一例を示している。図１５に示す例では、音声信号ストリームと一緒に受信する第３識別子リストを優先的に用いて第２識別子リストを生成しており、少なくとも第３識別子リストは必ず用いるが、第１識別子リストは用いない場合もある。
【００６４】
第２識別子リストを保持しているか否かを確認し（Ｓ１２０１）、保持していない場合はステップＳ１０７４へ進む。保持している場合は、ステップＳ１０７１へ進む。
【００６５】
新たに受信した第３識別子リストが、最後に第２識別子リストを生成する際に受信した第３識別子リストから変更されているか否かを確認する（Ｓ１０７１）。このステップは、受信した第３識別子リストに記載されているすべての識別子が保持している第２識別子リストに記載されているか否かを確認するステップに置き換えても良い。変更されている場合は、ステップＳ１０７４へ進む。
【００６６】
変更されていない場合は、第１識別子リストを受信しているか否かを確認する（Ｓ１０７２。第２識別子リストを受信していない場合は、第２識別子リストを最後に生成してから、第３識別子リストおよび第１識別子リストに変更がないまたは受信していないため、新たに第２識別子リストを生成する必要がない。したがって、第２識別子リストは新たに生成せず、音声信号ストリームの復号には最後に生成した第２識別子リストを用いる。
【００６７】
第１識別子リストを受信している場合は、新たに受信した第１識別子リストが、最後に第２識別子リストを生成する際に用いた第１識別子リストから変更されているか否かを確認する（Ｓ１０７３）。このステップは、受信した第１識別子リストに記載されているすべての識別子が保持している第２識別子リストに記載されているか否かを確認するステップに置き換えてもよい。変更されていない場合は、第３識別子リストおよび第１識別子リストに変更がないため、新たに第２識別子リストを生成する必要がない。したがって、第２識別子リストは新たに生成せず、音声信号ストリームの復号には最後に生成した第２識別子リストを用いる。変更されている場合は、ステップＳ１０７４へ進む。
【００６８】
第３識別子リストを用いて第２識別子リストを生成する（Ｓ１０７４）。第１識別子リストを受信しており、かつ最後に第２識別子リストを生成した際に用いた第１識別子リストから変更されている場合、第１識別子リストも用いて第２識別子リストを生成する。
【００６９】
なお、第１識別子リストを優先的に用いて第２識別子リストを生成する場合は、ステップＳ１０７１と、ステップＳ１０７２およびＳ１０７３との順序が入れ替わる。
【００７０】
図１６は、第２識別子リストの生成（Ｓ１０７４）の第１の動作例を説明する図である。図１６に示す例では、新たに受信した第３識別子リストのみを用いて、第２識別子リストを生成する。新たに受信した第３識別子リストは、最後に第２識別子リストを生成した際に用いた第３識別子リストから、新たな第１ノード識別子「09」が追加されている。すなわち、新たに受信した第３識別子リストには、保持している第２識別子リストには記載されていない第１ノード識別子「09」が記載されている。そこで、保持している第２識別子リストに第１ノード識別子「09」を追加し、これに対応する音源識別子を所定の方法により割り当て、新たな第２識別子リストを生成する。しかしながら、第１ノード識別子「09」に対応する第２ノード識別子は、第３識別子リストからでは不明であるため、仮の第２ノード識別子を記載しておく（ここでは「Unknown1」）。この後に新たに第１識別子リストを受信し、第１ノード識別子「09」に対応する第２ノード識別子が明らかになった場合に、前記の仮の第２ノード識別子を更新する。
【００７１】
前記本発明の第１の実施例のように、第１識別子リストのみで第２識別子リストを生成する場合は、第１識別子リストを受信する任意のタイミングでのみ第２識別子リストを生成する。そのため、現在保持している第２識別子リストには記載されておらず、未受信の第１識別子リストに記載されているノード識別子に対応した音源識別子を含む音声信号ストリームを受信すると、受信した音声信号ストリームを生成するときに送信側で用いた第２識別子リストと、現在保持している第２識別子リストの同期が取れず（すなわち、第２識別子リストが異なっており）、不明な音源識別子を含むために復号できない。一方で本例のように、例え音声信号ストリームに含まれる新たな音源識別子に対応したノード識別子が記載された第１識別子リストを受信していなくとも、音声信号ストリームと多重化された第３識別子リストに当該音源識別子に対応したノード識別子が記載されていれば、少なくとも不明な音源識別子が存在しないように第２識別子リストを生成できるため復号可能である。
【００７２】
図１７は、第２識別子リストの生成（Ｓ１０７４）の第２の動作例を説明する図である。図１７に示す例では、新たに受信した第３識別子リストおよび第１識別子リストを用いて、第２識別子リストを生成する。新たに受信した第１識別子リストは、最後に第２識別子リストを生成した際に用いた第１識別子リストから、新たな第１ノード識別子「09」、およびそれに対応する第２ノード識別子「ddd@WWW」が追加されている。すなわち、新たに受信した第１識別子リストには、保持している第２識別子リストには記載されていない第１ノード識別子「09」、およびそれに対応する第２ノード識別子「ddd@WWW」が記載されている。一方、新たに受信した第３識別子リストは、最後に第２識別子リストを生成した際に用いた第３識別子リストから、新たな第１ノード識別子「09」、および「876」が追加されている。すなわち、新たに受信した第３識別子リストには、保持している第２識別子リストには記載されていない第１ノード識別子「09」および「876」が記載されている。そこで、保持している第２識別子リストに第１ノード識別子「09」および「876」を追加し、これに対応する音源識別子を所定の方法により割り当て、新たな第２識別子リストを生成する。ここで、第１ノード識別子「09」に対応する第２ノード識別子は、受信した第１識別子リストにより明らかであるため記載されているが、第１ノード識別子「876」に対応する第２ノード識別子は不明であるため、前記第２識別子リストの生成（Ｓ１０７４）の第１の動作例と同様に仮の第２ノード識別子（ここでは、「Unknown1」）が記載される。そして、この後に第１識別子リストを新たに受信して第１ノード識別子「876」に対応する第２ノード識別子が明らかになると、第２識別子リストに記載の第１ノード識別子「876」に対応する仮の第２ノード識別子は更新される。この例では、第３識別子リストに記載のノード識別子は第２識別子リストに記載されるため、第３識別子リストを優先的に用いて第２識別子リストを生成している。
【００７３】
（実施例３）
図１８は、本発明の第３の実施例にかかる音声信号データ受信装置を示している。図１８に示す音声信号データ受信装置１は、音声信号ストリーム・第３識別子受信部１０５と、第２識別子リスト生成部１０７と、音声信号復号部１０４とを有する。
【００７４】
以下、第３の実施例の音声信号データ受信装置と第２の実施例にかかる音声信号データ受信装置との相違点について説明する。
【００７５】
第２識別子リスト生成部１０７は、第３識別子リストを用いてノードと音源識別子を対応付ける第２識別子リストを生成する。
【００７６】
図１９は、本発明の第３の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートを示している。
【００７７】
第２識別子リスト生成部１０７にて、第３識別子リストを用いてノードと音源識別子とを対応付ける第２識別子リストを生成する（Ｓ１０８）。
【００７８】
図２０は、本発明の第３の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートにおける第２識別子リストの生成（Ｓ１０８）の方法の一例を示している。
【００７９】
以下、第３の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートにおける第２識別子リストの生成（Ｓ１０８）の方法と、第２の実施例にかかる音声信号データ受信装置の動作を説明するフローチャートにおける第２識別子リストの生成（Ｓ１０６）の方法との相違点について説明する。
【００８０】
ステップＳ１０７１にて、第３識別子リストが変更されていると判断された場合は、ステップＳ１０８１へ進み、第３識別子リストを用いて、第２識別子リストを生成する（Ｓ１０８１）。
【００８１】
図２１は、第２識別子リストの生成（Ｓ１０８１）の動作の一例を説明する図である。図２１に示す例は、図１６において第１識別子リストが無く、第２識別子リストが第１ノード識別子と音源識別子によって構成されていることを除けば同様である。
【００８２】
（実施例４）
図２２は、本発明の第４の実施例にかかる音声信号データ送信装置を示している。図２２に示す音声信号データ送信装置２は、音声信号データ・ノード識別子受信部２０１と、第１識別子リスト生成部２０２と、第２識別子リスト生成部２０３と、音声信号データ復号部２０４と、音声信号ストリーム生成部２０５と、音声信号ストリーム送信部２０６と、第１識別子送信部２０７とを有する。
【００８３】
音声信号データ・ノード識別子受信部２０１は、１つ以上のノードから送信される音声信号データおよびノード識別子を受信する。ノード識別子の例としては、上記実施例１乃至３で説明した第１ノード識別子および第２ノード識別子などがある。受信した音声信号データは音声信号ストリーム生成部２０４へ出力し、ノード識別子は第１識別子リスト生成部２０２へ出力する。
【００８４】
図２３は、ノード識別子がリアルタイムアプリケーション用の転送プロトコルのソースの識別子としてノードから送信され音声信号データ・ノード識別子受信部２０１により受信される例を示す図である。図２３に示す例では、リアルタイムアプリケーション用の転送プロトコルのソースの識別子が格納されるＲＴＰヘッダのＳＳＲＣに、ノード識別子を格納し、さらに音声信号データはＲＴＰペイロードに格納され、ノード識別子と音声信号データが１つのＲＴＰパケットとして送信される。また、ノード識別子をＳＳＲＣとすることは、ノード識別子として前記第１ノード識別子を利用しているといえる。なお、この例において、ＲＴＰヘッダ部は所定の方法により圧縮されていてもよい。
【００８５】
音声信号データとノード識別子は、多重化された状態で受信しても、別々に受信してもよく、受信形式は限定されない。
【００８６】
第１識別子リスト生成部２０２は、受信したノード識別子よりノード識別子が列挙された第１識別子リストを生成する。生成する第１識別子リストの一例としては、図２に示した第１識別子リストがある。図２に示した例では、第１識別子リストは２種類のノード識別子（第１ノード識別子と第２ノード識別子）により構成されているが、２種類以上のノード識別子で構成されていればよく、第１識別子リストの構成は限定されない。生成した第１識別子リストは、第２識別子リスト生成部２０３および第１識別子リスト送信部２０７へ出力される。
【００８７】
第２識別子リスト生成部２０３は、第１識別子リストを用いて各ノード識別子に音源識別子を割り当て、ノードと音源識別子を対応付ける第２識別子リストを生成する。生成する第２識別子リストの一例としては、図４に示した第２識別子リストがある。図４に示した例では、第２識別子リストは２種類のノード識別子（第１ノード識別子と第２ノード識別子）と音源識別子とにより構成されているが、１種類以上のノード識別子とそれに割り当てられる音源識別子から構成されていればよく、第２識別子リストの構成は限定されない。
【００８８】
ここで、第１識別子リストと第２識別子リストは、必ずしも別のリストとして生成する必要は無く、１つのリストとして生成して使い分けても良い。図４に示した第２識別子リストの一例は、図２に示した第１識別子リストの一例に、割り当てられる音源識別子を追加した構成となっている。たとえば、図４に示した第２識別子リストを生成し、第１ノード識別子の列と第２ノード識別子の列を第１識別子リストとして用い、当該リスト全体を第２識別子リストとして用いても良い。この場合、音声信号データ送信装置２は、第１識別子リスト生成部２０２と第２識別子リスト生成部２０３をまとめて、１つの「識別子リスト生成部」として有しても良い。
【００８９】
音声信号データ復号部２０４は、各ノードからの音声信号データを所定の方法により復号した復号音声信号データを、音声信号ストリーム生成部２０５へ出力する。
【００９０】
音声信号ストリーム生成部２０５は、復号音声信号データおよび第２識別子リストを用いて、所定の方法により音声信号ストリームを生成し、音声信号ストリーム送信部２０６へ出力する。
【００９１】
音声信号ストリーム送信部２０６は、音声信号ストリームを所定の送信先（ノード）へ送信する。
【００９２】
第１識別子リスト送信部２０７は、第１識別子リストを所定の送信先（ノード）へ送信する。
【００９３】
なお、第１識別子リストは、リアルタイムアプリケーション用の転送制御プロトコルのソース記述用パケットとしてもよく、リアルタイムアプリケーション用の転送制御プロトコルのソース記述用パケットとしてＲＴＣＰにおけるＳＤＥＳパケットを使用する例は、図３を参照して説明したとおりである。
【００９４】
図２４は、本発明の第４の実施例にかかる音声信号データ送信装置２の動作を説明するフローチャートを示している。
【００９５】
音声信号データ・ノード識別子受信部２０１にて、音声信号データ、およびノード識別子を受信する（Ｓ２０１）。
【００９６】
第１識別子リスト生成部２０２にて、受信したノード識別子より、ノード識別子が列挙された第１識別子リストを生成する（Ｓ２０２）。
【００９７】
第２識別子リスト生成部２０３にて、第１識別子リストより、ノードと音源識別子を対応付ける第２識別子リストを生成する（Ｓ２０３）。
【００９８】
ここで、上述のとおり第１識別子リストと第２識別子リストを別々に生成せず、１つの識別子リストを生成して当該識別子リストを第１識別子リストおよび第２識別子リストとして使い分ける場合は、ステップＳ２０２とステップＳ２０３は１つの「識別子リストを生成する」ステップとして処理される。
【００９９】
音声信号データ復号部２０４にて、音声信号データを所定の方法により復号音声信号データに復号する（Ｓ２０４）。ここで、所定の音声信号データの復号方法は、すべての音声信号データに対して同一の方法であってもよく、異なる方法でもよい。また復号音声信号データは、必ずしも完全に復号された音声信号（時間領域の信号で再生可能な信号）である必要は無く、通常の音声信号の復号方法における中間的なデータ（たとえば、周波数領域における変換係数等）であってもよい。
【０１００】
ステップＳ２０２，Ｓ２０３およびＳ２０４の実行順序は、ステップＳ２０３がステップＳ２０２よりも後に実行されていればよく、実行順序は限定されない。
【０１０１】
音声信号ストリーム生成部２０５にて、復号音声信号データと第２識別子リストより、所定の方法により音声信号ストリームを生成する（Ｓ２０５）。
【０１０２】
音声信号ストリーム送信部２０６にて、音声信号ストリームを所定の送信先（ノード）へ送信する（Ｓ２０６）。
【０１０３】
第１識別子リスト送信部２０７にて、第１識別子リストを所定の送信先（ノード）へ送信する（Ｓ２０７）。
【０１０４】
ステップＳ２０６およびＳ２０７は、どちらを先に実行してもあるいは同時に実行してもよく、実行順序に限定されない。またステップＳ２０７は、所定の時間間隔において実行してもよい。
【０１０５】
処理を終了する命令があるか無いかを確認し（Ｓ２０８）、ある場合は終了、無い場合はステップＳ２０１より繰り返す。ただし、処理を終了する命令の入力方法は限定されない。
【０１０６】
図２５は、本発明の第４の実施例にかかる音声信号データ送信装置２の音声信号ストリーム生成部２０５の一例を示す図である。図２５に示す例では、音声信号ストリームは結合信号データと音源識別子データとを含んでおり、音声信号ストリーム生成部２０５は、復号音声信号結合部２０５１と、結合信号データ生成部２０５２と、音源識別子データ生成部２０５３と、結合信号データ・音源識別子データ多重化部２０５４とを有している。
【０１０７】
復号音声信号結合部２０５１は、復号された復号音声信号データを所定の方法により結合し、結合信号を結合信号データ生成部２０５２へ出力する。
【０１０８】
結合信号データ生成部２０５２は、結合信号から所定の方法により結合信号データを生成し、データ多重化部２０５４へ出力する。なお、生成方法として、たとえば通常の音声符号化、音響符号化方法を利用してもよい。
【０１０９】
音源識別子データ生成部２０５３は、受信した復号音声信号データおよび第２識別子リストより、音源識別子データを生成し、データ多重化部２０５４へ出力する。なお、音源識別子データを所定の方法により符号化した後、データ多重化部２０５４へ出力してもよい。
【０１１０】
データ多重化部２０５４は、結合信号データと音源識別子データとを多重化し、音声信号ストリームとして出力する。
【０１１１】
なお、結合信号データ生成部２０５２と音源識別子データ生成部２０５３とを１つにし、結合信号データを生成しながら音源識別子データを生成するように構成してもよい。
【０１１２】
図２６は、本発明の第４の実施例にかかる音声信号データ送信装置２の音声信号ストリーム生成部２０５の一例の動作を説明するフローチャートである。
【０１１３】
復号音声信号結合部２０５１にて、復号音声信号データを所定の方法により結合し、結合信号を生成する（Ｓ２０５１）。なお、結合方法として、復号音声信号データを飽和加算してもよい。また、結合信号は１チャネルの信号であってもよく、１チャネル以上の信号であってもよい。
【０１１４】
結合信号データ生成部２０５２にて、所定の方法により結合信号から結合信号データを生成する（Ｓ２０５２）。なお、結合データの生成方法として、音声符号化方式や音響符号化方式を用いて符号化してもよい。
【０１１５】
音源識別子データ生成部２０５３にて、復号音声信号データおよび第２識別子リストより、音源識別子データを生成する。以下に生成方法の一例を説明するが、生成方法はこれに限定されない。上述のとおり、周波数領域において、各復号音声信号データのエネルギーの比較等により、周波数帯域ごとに占有的な復号音声信号データを決定する。復号音声信号データは送信元のノードのノード識別子と関連付けられ、周波数帯域ごとに、占有的な復号音声信号データの送信元ノードのノード識別子を割り当てる。ノードと音源識別子とを対応付ける第２識別子リストを用いて、各周波数帯域に対して、割り当てられたノード識別子に対応する音源識別子を割り当てる。この結果の一例としては、図１０の周波数帯域と占有ノードとの対応の表がある。そして、各周波数帯域の音源識別子を１つのデータとして並べ、音源識別子データを生成する。なお並べ方として、周波数帯域のインデックスの昇順に並べてもよい。
【０１１６】
データ多重化部２０５４にて、結合信号データと音源識別子データを多重化し、音声信号ストリームを生成して（Ｓ２０５４）、出力する（Ｓ２０５５）。ただし、多重化方法は限定されない。
【０１１７】
なお、ステップＳ２０５２とステップＳ２０５３を１つにし、結合信号データを生成しながら音源識別子データを生成してもよい。たとえば、ある周波数帯域に対応する結合信号データの一部を生成し、当該周波数帯域に対応する占有的な復号音声信号データを決定するとともに送信元ノードのノード識別子を割り当て、第２識別子リストを用いて当該周波数帯域における音源識別子を生成するという処理を周波数帯域ごとに行い、それを結合して全周波数帯域の結合信号データおよび音源識別子データとして出力してもよい。
【０１１８】
（実施例５）
図２７は、本発明の第５の実施例にかかる音声信号データ送信装置を示している。図２７に示す音声信号データ送信装置２は、音声信号データ・ノード識別子受信部２０１と、第１識別子リスト生成部２０２と、第２識別子リスト生成部２０３と、音声信号データ復号部２０４と、音声信号ストリーム生成部２０５と、第１識別子リスト送信部２０７と、第３識別子リスト生成部２０８と、音声信号ストリーム・第３識別子リスト送信部２０９とを有する。
【０１１９】
以下、第５の実施例にかかる音声信号データ送信装置と第４の実施例にかかる音声信号データ送信装置との相違点について説明する。
【０１２０】
第５の実施例にかかる音声信号データ送信装置の音声信号データ・ノード識別子受信部２０１は、受信した各ノード識別子を第１識別子リスト生成部２０２に加えるとともに、第３識別子リスト生成部２０８へも出力する点が、本発明の第４の実施例にかかる音声信号データ送信装置と異なる。
【０１２１】
第３識別子リスト生成部２０８は、受信したノード識別子と第１識別子リスト生成部２０２からの第１識別子リスト生成の情報より第３識別子リストを生成し、音声信号ストリーム・第３識別子リスト送信部２０９へ出力する。
【０１２２】
生成する第３識別子リストの一例としては、図１２に示した第３識別子リストがある。図１２に示した例では、第３識別子リストは第１ノード識別子のみにより構成されているが、１種類以上のノード識別子で構成されていればよく、第３識別子リストの構成はこれに限定されない。
【０１２３】
なお、前記本発明の第４の実施例にかかる音声信号データ送信装置における第１識別子リスト生成部２０２および第２識別子リスト生成部２０３と同様に、必ずしも第３識別子リストを第１識別子リストおよび第２識別子リストと別々に生成する必要は無く、１つの識別子リストとして生成して、当該識別子リストの全体または一部を各識別子リストとして使い分けてもよい。この場合、音声信号データ送信装置は、第１識別子リスト生成部２０２、第２識別子リスト生成部２０３および第３識別子リスト生成部２０８を、１つの「識別子リスト生成部」として有してもよい。なお、第１識別子リスト生成部２０２、第２識別子リスト生成部２０３および第３識別子リスト生成部２０８のすべてを１つの「識別子リスト生成部」とせずに、いずれかはまとめるが、いずれかは別々に有するという構成でもよいことは自明である。
【０１２４】
音声信号ストリーム・第３識別子リスト送信部２０９は、音声信号ストリームと第３識別子リストとを多重化し、所定の送信先（ノード）へ送信する。
【０１２５】
第３識別子リストをＲＴＰヘッダのＣＳＲＣリストとし、音声信号ストリームをＲＴＰペイロードとしてＲＴＰパケットに格納する場合の例は、図１３に示したとおりである。
【０１２６】
図２８は、本発明の第５の実施例にかかる音声信号データ送信装置の動作を説明するフローチャートである。
【０１２７】
以下、本発明の第４の実施例にかかる音声信号データ送信装置のフローチャートとの相違点について説明する。
【０１２８】
第３識別子リスト生成部２０８にて、受信したノード識別子と第１識別子リスト生成部２０２からの第１識別子リスト生成の情報より第３識別子リストを生成する（Ｓ２０９）。第１識別子リスト生成部からの情報は、受信装置において、第１識別子リストと第３識別子リストを受信した際に、どちらのリストから第２識別子リストを生成しても同一のリストとなるようにするための情報である。この情報の例としては、生成された第１識別子リストと、第１識別子リストから第２識別子リストを生成する手順が考えられる。
【０１２９】
上述の例では、第１識別子リストを生成した後に第３識別子リストを生成していたが、順序は逆でも良い。その際には、第３識別子リスト生成部２０８より第１識別子リスト生成部へ、上述と同様の情報が送られる。
【０１３０】
ここで、上述のとおり第１識別子リスト、第２識別子リストおよび第３識別子リストを別々に生成せず、１つの識別子リストを生成して当該識別子リストを各識別子リストとして使い分ける場合は、ステップＳ２０２、ステップＳ２０３およびステップＳ２０９は１つのステップとして処理される。また、第１識別子リスト、第２識別子リストおよび第３識別子リストのうちいずれかを１つの識別子リストとし、他のいずれかを別々の識別子リストとして生成する場合は、ステップＳ２０２、ステップＳ２０３およびステップＳ２０９のうち、別々の識別子リストとして生成する識別子リストに対応するステップのみを別々にし、残りを１つのステップとして処理されてもよいことは自明である。
【０１３１】
音声信号ストリーム・第３識別子リスト送信部２０９にて、音声信号ストリームと第３識別子リストとを多重化し、所定の送信先（ノード）へ送信する（Ｓ２１０）。
【０１３２】
（実施例６）
図２９は、本発明の第６の実施例にかかる音声信号データ送信装置を示している。図２９に示す音声信号データ送信装置２は、音声信号データ・ノード識別子受信部２０１と、第２識別子リスト生成部２１１と、音声信号データ復号部２０４と、音声信号ストリーム生成部２０５と、第３識別子リスト生成部２１０と、音声信号ストリーム・第３識別子リスト送信部２０９とを有する。
【０１３３】
以下、第６の実施形態に係る音声信号データ送信装置と第５の実施例にかかる音声信号データ送信装置との相違点について説明する。
【０１３４】
第６の実施形態に係る音声信号データ送信装置の第３識別子リスト生成部２１０は、受信したノード識別子より第３識別子リストを生成し、第２識別子リスト生成部２１１、及び音声信号ストリーム・第３識別子リスト送信部２０９へ出力する。第２識別子リスト生成部２１１は、第３識別子リストを用いてノードと音源識別子を対応付ける第２識別子リストを生成する。
【０１３５】
なお、上記本発明の第５の実施例にかかる音声信号データ送信装置における第２識別子リスト生成部２０３と第３識別子リスト生成部２０８と同様に、必ずしも第３識別子リストを第２識別子リストと別々に生成する必要は無く、１つの識別子リストとして生成して、当該識別子リストの全体または一部を各識別子リストとして使い分けてもよい。この場合、音声信号データ送信装置は、第２識別子リスト生成部２１１と第３識別子リスト生成部２１０とを、１つの「識別子リスト生成部」として有してもよい。
【０１３６】
図３０は、本発明の第６の実施例にかかる音声信号データ送信装置の動作を説明するフローチャートである。
【０１３７】
以下、第６の実施例にかかる音声信号データ送信装置のフローチャートと第５の実施例にかかる音声信号データ送信装置のフローチャートとの相違点について説明する。
【０１３８】
第３識別子リスト生成部２１０にて、受信したノード識別子より第３識別子リストを生成する（Ｓ２１１）。
【０１３９】
第２識別子リスト生成部２１１にて、第３識別子リストを用いてノードと音源識別子を対応付ける第２識別子リストを生成する（Ｓ２１２）。
【０１４０】
なお、上述のとおり第２識別子リストと第３識別子リストとを別々に生成せず、１つの識別子リストを生成して当該識別子リストを各識別子リストとして使い分けてもよく、この場合は、ステップＳ２１１とステップＳ２１２は１つのステップとして処理してよい。
【０１４１】
図３１は、本発明の音声信号データ受信装置１および送信装置２を用いた電話会議システム３を示す図である。
【０１４２】
電話会議サーバ３０１は、上述の音声信号データ送信装置２を有しており、ノード３０２からの音声信号データとノード識別子を受信し、音声信号ストリームと、第１識別子リストまたは第１識別子リストおよび第３識別子リストとを、ノード３０２へ送信する。
【０１４３】
ノード３０２は、上述の音声信号データ受信装置１を有しており、音声信号ストリームと、第１識別子リストまたは第１識別子リストおよび第３識別子リストとを、電話会議サーバ３０１から受信し、復号音声信号を生成する。また、ノード３０２は、電話会議サーバ３０１へ、音声信号とノード識別子を所定の方法により送信する。
【図面の簡単な説明】
【０１４４】
【図１】本発明の第１の実施例にかかる音声信号データ受信装置を示すブロック図である。
【図２】第１識別子リストの一例を示す図である。
【図３】第１識別子リストをＲＴＣＰのＳＤＥＳパケットとした例を説明する図である。
【図４】第２識別子リストの一例を示す図である。
【図５】本発明の第１の実施例にかかる音声信号データ受信装置の動作を示すフローチャートである。
【図６】第２識別子リストの生成の一例を示すフローチャートである。
【図７】第１識別子リストに変更があった場合に生成される第２識別子リストの一例を示す図である。
【図８】音声信号ストリーム復号部の一例を示すブロック図である。
【図９】音声信号ストリーム復号部の一例の動作を示すフローチャートである。
【図１０】空間音響パラメータ生成部の動作を説明する図である。
【図１１】本発明の第２の実施例にかかる音声信号データ受信装置を示すブロック図である。
【図１２】第３識別子リストの一例を示す図である。
【図１３】第３識別子リストをＲＴＰヘッダのＣＳＲＣリストとした例を説明する図である。
【図１４】本発明の第２の実施例にかかる音声信号データ受信装置の動作を示すフローチャートである。
【図１５】第２識別子リストの生成の一例を示すフローチャートである。
【図１６】第２識別子リストの生成の第１の動作例を説明する図である。
【図１７】第２識別子リストの生成の第２の動作例を説明する図である。
【図１８】本発明の第３の実施例にかかる音声信号データ受信装置を示すブロック図である。
【図１９】本発明の第３の実施例にかかる音声信号データ受信装置の動作を示すフローチャートである。
【図２０】第２識別子リストの生成の一例を示すフローチャートである。
【図２１】第２識別子リストの生成の動作の一例を説明する図である。
【図２２】本発明の第１の実施例にかかる音声信号データ送信装置を示すブロック図である。
【図２３】ノード識別子と音声信号データをＲＴＰパケットに格納された例を示す図である。
【図２４】本発明の第４の実施例にかかる音声信号データ送信装置の動作を示すフローチャートである。
【図２５】音声信号ストリーム生成部の一例を示すブロック図である。
【図２６】音声信号ストリームの生成の一例を示すフローチャートである。
【図２７】本発明の第５の実施例にかかる音声信号データ送信装置を示すブロック図である。
【図２８】本発明の第５の実施例にかかる音声信号データ送信装置の動作を示すフローチャートである。
【図２９】本発明の第６の実施例にかかる音声信号データ送信装置を示すブロック図である。
【図３０】本発明の第６の実施例にかかる音声信号データ送信装置の動作を示すフローチャートである。
【図３１】本発明の音声信号データ受信装置および送信装置を用いた電話会議システムを示す図である。
【符号の説明】
【０１４５】
１  音声信号データ受信装置
１０１  音声信号ストリーム受信部
１０２  第１識別子リスト受信部
１０３  第２識別子リスト生成部
１０４  音声信号ストリーム復号部
１０４１  音声信号ストリーム分離部
１０４２  結合信号データ復号部
１０４３  空間音響パラメータ生成部
１０４４  聴覚情景合成部
１０５  音声信号ストリーム・第３識別子リスト受信部
１０６  第２識別子リスト生成部
１０７  第２識別子リスト生成部
２  音声信号データ送信装置
２０１  音声信号データ・ノード識別子受信部
２０２  第１識別子リスト生成部
２０３  第２識別子リスト生成部
２０４  音声信号データ復号部
２０５  音声信号ストリーム生成部
２０５１  復号音声信号結合部
２０５２  結合信号データ生成部
２０５３  音源識別子データ生成部
２０５４  データ多重化部
２０６  音声信号ストリーム送信部
２０７  第１識別子リスト送信部
２０８  第３識別子リスト生成部
２０９  音声信号ストリーム・第３識別子リスト送信部
２１０  第３識別子リスト生成部
２１１  第２識別子リスト生成部
３  電話会議システム
【図１】
2009111787.tif 000003
【図２】
2009111787.tif 000004
【図３】
2009111787.tif 000005
【図４】
2009111787.tif 000006
【図５】
2009111787.tif 000007
【図６】
2009111787.tif 000008
【図７】
2009111787.tif 000009
【図８】
2009111787.tif 000010
【図９】
2009111787.tif 000011
【図１０】
2009111787.tif 000012
【図１１】
2009111787.tif 000013
【図１２】
2009111787.tif 000014
【図１３】
2009111787.tif 000015
【図１４】
2009111787.tif 000016
【図１５】
2009111787.tif 000017
【図１６】
2009111787.tif 000018
【図１７】
2009111787.tif 000019
【図１８】
2009111787.tif 000020
【図１９】
2009111787.tif 000021
【図２０】
2009111787.tif 000022
【図２１】
2009111787.tif 000023
【図２２】
2009111787.tif 000024
【図２３】
2009111787.tif 000025
【図２４】
2009111787.tif 000026
【図２５】
2009111787.tif 000027
【図２６】
2009111787.tif 000028
【図２７】
2009111787.tif 000029
【図２８】
2009111787.tif 000030
【図２９】
2009111787.tif 000031
【図３０】
2009111787.tif 000032
【図３１】
2009111787.tif 000033