(57)【要約】  本発明に係る結合装置（３０５）は、複数の符号化ビットストリーム（１１６）のうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部（５０１）と、複数のダウンミックスサブストリーム（１１５）のうち、複数のアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリーム（１１５）のみを結合することにより、結合ダウンミックスサブストリーム（１２１）を生成する第１結合部（５０４）と、複数のパラメータサブストリーム（１１３）のうち、複数のアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリーム（１１３）のみを結合することにより、結合パラメータサブストリーム（１２２）を生成する第２結合部（５０６）とを備える。
2010090019.tif 000002
【特許請求の範囲】
【請求項１】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える
結合装置。
【請求項２】
前記第１結合部は、
前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、
前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、
前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備える
請求項１記載の結合装置。
【請求項３】
前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、
前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、
前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、
前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、
（１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、
（２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、
（３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信する
請求項１又は２記載の結合装置。
【請求項４】
前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信する
請求項１〜３のいずれか１項に記載の結合装置。
【請求項５】
前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信する
請求項１〜４のいずれか１項に記載の結合装置。
【請求項６】
前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出する
請求項１〜５のいずれか１項に記載の結合装置。
【請求項７】
前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、前記単一の結合ダウンミックスサブストリームを生成し、
前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、前記単一の結合パラメータサブストリームを生成し、
前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信する
請求項１又は２記載の結合装置。
【請求項８】
前記結合装置は、さらに、
前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、
前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信する
請求項７記載の結合装置。
【請求項９】
前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成する
請求項８記載の結合装置。
【請求項１０】
前記第２結合部は、
前記複数のパラメータサブストリームが、異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、
前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成する
請求項１〜９のいずれか１項に記載の結合装置。
【請求項１１】
前記結合装置は、さらに、
当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
請求項１０記載の結合装置。
【請求項１２】
前記結合装置は、さらに、
前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
請求項１０記載の結合装置。
【請求項１３】
前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、
前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、
前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成する
請求項２記載の結合装置。
【請求項１４】
前記第１結合部は、さらに、
前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、
前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成する
請求項１３記載の結合装置。
【請求項１５】
前記第２結合部は、
複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、
前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、
前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、
前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備える
請求項１３記載の結合装置。
【請求項１６】
複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項１記載の結合装置とを含み、
前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む
遠隔通信システム。
【請求項１７】
複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項８記載の結合装置とを含み、
前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、
前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する
遠隔通信システム。
【請求項１８】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合方法であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出ステップと、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合ステップと、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合ステップと、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信ステップとを含む
結合方法。
【請求項１９】
請求項１８記載の結合方法をコンピュータに実行させる
プログラム。
【請求項２０】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する集積回路であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結合装置、遠隔通信システム及び結合方法に関し、特に、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含み、複数のサイトの各々から送信される複数の符号化ビットストリームを結合する結合装置に関する。
【背景技術】
【０００２】
近年、パラメトリック符号化技術は、その高い符号化効率及び音像再生という利点のため、オーディオ符号化分野において非常に積極的に発展している。伝統的な波形符号化方法と比較すると、パラメトリック符号化方法は、人間の聴覚システムの限界を広げるだけでなく、サウンドシーン特性を捉えることによってオーディオ入力信号をモデル化できる。当該技術分野において周知の技術には、パラメトリックステレオ及びＭＰＥＧサラウンドに関連する符号化方法等がある。【０００３】
典型的なパラメトリック符号化装置１００を図１に示す。図１に示すパラメトリック符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。【０００４】
Ｔ−Ｆ変換部１０１は、時間信号である複数のオーディオ入力信号１１０を複数の周波数信号１１１に変換する。【０００５】
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。【０００６】
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラル又はステレオの中間ダウンミックス信号１１２を生成する。パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からパラメータを抽出し、抽出したパラメータを含むパラメータサブストリーム１１３を出力する。【０００７】
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。【０００８】
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を圧縮し、圧縮した信号を含むダウンミックスサブストリーム１１５を出力する。【０００９】
このように、当該パラメトリック符号化されたオーディオストリームは、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを含む。【００１０】
なお、実際には、この２つのサブストリームは、単一のオーディオストリームに多重化される。しかし、後述の説明を分かりやすくするために、エンコーダにおける多重化処理及びデコーダにおける逆多重化処理については説明を省略する。【００１１】
典型的なパラメトリック復号装置２００を図２に示す。このパラメトリック復号装置２００は、ダウンミックスデコーダ２０１と、Ｔ−Ｆ変換部２０２と、パラメータ合成部２０３と、Ｆ−Ｔ変換部２０４とを備える。【００１２】
ダウンミックスデコーダ２０１は、受信したダウンミックスサブストリーム１１５を、モノラル又はステレオの時間信号２１３に復号する。【００１３】
Ｔ−Ｆ変換部２０２は、時間信号２１３を、パラメトリック分析ドメインに再度変換することにより周波数信号２１４を生成する。【００１４】
パラメータ合成部２０３は、受信したパラメータサブストリーム１１３から導かれる情報に従って周波数信号２１４を合成することにより複数の変換信号２１５を生成する。【００１５】
Ｆ−Ｔ変換部２０４は、変換信号２１５を、時間ドメインへ逆変換することにより複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、単一の信号入力としての同一の空間的音像を知覚的に表す。【００１６】
上述の符号化手順は、パラメトリックエンコーダの２つの特徴を示す。すなわちそれらは、送信チャネル数の削減から得られる高い符号化効率と、空間的に関連するパラメータの合成によって実現されるリアルなアコースティックシーンの再構築である。【００１７】
これら２つの特徴のため、パラメトリックエンコーダは、遠隔通信システムにおいて特に好んで採用される。そのようなシステムにおける各通信サイトは、複数話者からの複数のオーディオ入力信号１１０を入力とし、通常、遠隔地においてもリアルな臨場感が得られる効果を期待できる。【００１８】
図３は、４つの遠隔会議サイト３０１Ａ〜３０１Ｄを含む遠隔通信システム３００を示す図である。なお、サイト３０１Ａ〜３０１Ｄを特に区別しない場合には、サイト３０１と記す。【００１９】
各サイト３０１（例えば、サイト３０１Ａ）で、パラメトリックコーデックが採用される。当該サイト３０１は、取得したオーディオ入力信号１１０の全てをパラメトリック符号化することにより、符号化ビットストリーム１１６（ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを含む）を生成する。また、生成された符号化ビットストリーム１１６は、他の３つのサイト３０１Ｂ〜３０１Ｄに送信される。【００２０】
一方、各サイト３０１は、受信した符号化ビットストリーム１１６をそれぞれパラメトリック復号する（当該符号化ビットストリーム１１６は、３つのダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ、及びＤｍｘＤと、３つのパラメータサブストリームＰａｒａｓＢ、ＰａｒａｓＣ、及びＰａｒａｓＤとを含む）。【００２１】
しかしながら、一般的に、セットアップ要求を満たしつつ送信帯域を妥当な程度に低く保つためには、複数の送信サイトから複数の符号化ビットストリーム１１６を単一の受信サイトへの直接送信することは困難である。よって、各サイト３０１が確実に単一のオーディオストリームのみを受信し送信するために、結合装置（多地点接続装置：ＭＣＵ３０５）が導入されて全サイト３０１Ａ〜３０１Ｄに接続されている。【００２２】
このＭＣＵ３０５は、各サイト３０１のために、演算上効率がよい方法で、受信した複数の符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合する。理想的には、結合ビットストリーム１２４は、あたかも、他のサイト３０１からの複数の符号化ビットストリーム１１６の全てが、単一の仮想サイトにおいて符号化されたようなストリームに近似されるべきである。【００２３】
これを実現するため、図４に示すような単純な結合方法を設計可能である。図４は、ＭＣＵ３０５の機能構成を示すブロック図である。図４に示すようにＭＣＵ３０５は、３つの独立したパラメトリックデコーダ４０１〜４０３と、加算部４０４と、パラメトリックエンコーダ４０５とを備える。【００２４】
３つのパラメトリックデコーダ４０１〜４０３は、各サイト３０１（例えば、サイト３０１Ａ）のために、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）からの符号化ビットストリーム１１６の全てを復号することにより、時間ドメインの復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄを生成する。【００２５】
加算部４０４は、生成された復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄ加算することにより加算信号４１２を生成する。【００２６】
パラメトリックエンコーダ４０５は、加算信号４１２を再符号化することにより結合ビットストリーム１２４を生成する。【００２７】
このような単純なケースでさえも、Ｎ個のサイトを接続する遠隔通信システムにおいて、ＭＣＵ３０５がＮ個の独立したタンデムパラメトリック復号及び符号化するプロセスを必要とすることが分かる。その結果、ＭＣＵ３０５の演算量が多くなり、これにより信号伝送の遅延量が増加する。また、この演算量は、サイト数の増加にともなって線形的に増加する。よって、ＭＣＵ３０５で、リアルタイム処理を要するアプリケーションを実行することが困難である。【００２８】
また、遅延時間が少なく演算量が少ないＭＣＵ３０５を設計するには、パラメトリック符号化の利点をさらに利用する必要がある。つまり、そのオーディオストリームフォーマットは、演算上効率的な方法で２つ以上のストリームを単一の信号ストリームに結合する機能を実現可能にする。より詳しくは、当該ダウンミックスサブストリームをダウンミックス符号化ドメインにおいて結合することが可能であり、パラメータサブストリームをパラメータ分析ドメインにおいて結合することが可能である。【００２９】
効率的なＭＣＵの設計を扱う同様の方法が従来技術にもいくつかある。【００３０】
例えば、特許文献１は、複数のパラメトリック符号化オーディオ信号を効率的に結合する方法を提案している。しかしながら、特許文献１においては、簡潔さを追求するために、ダウンミックス結合とパラメータ結合とは独立している。さらに、当該ダウンミックス結合方法においては、非常におおざっぱな結合方法を用いた偏った方法が示されているだけである。また、当該パラメータ結合方法においては、異なるパラメータ分析ドメインを用いる際の課題への対処がなされていない。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】米国特許出願公開第２００８／０００８３２３号明細書
【非特許文献】
【００３２】
【非特許文献１】Ｓ．−Ｗ．Ｈｕａｎｇら、  「Ａ  ｌｏｗ  ｃｏｍｐｌｅｘｉｔｙ  ｄｅｓｉｇｎ  ｏｆ  ｐｓｙｃｈｏ−ａｃｏｕｓｔｉｃ  ｍｏｄｅｌ  ｆｏｒ  ＭＰＥＧ−２／４  ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  ｃｏｎｓｕｍｅｒ  ｅｌｅｃｔｒｏｎｉｃｓ，  Ｎｏｖ．  ２００４
【非特許文献２】Ｔ−Ｈ  Ｔｓａｉら、  「Ａｎ  ＭＤＣＴ−ｂａｓｅｄ  ｐｓｙｃｈｏａｃｏｕ−ｓｔｉｃ  ｍｏｄｅｌ  ｃｏ−ｐｒｏｃｅｓｓｏｒ  ｄｅｓｉｇｎ  ｆｏｒ  ＭＰＥＧ−２／４  ＡＡＣ  ａｕｄｉｏ  ｅｎｃｏｄｅｒ」、Ｐｒｏｃ．  Ｏｆ  ｔｈｅ  ７ｔｈ  Ｉｎｔ．  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｄｉｇｉｔａｌ  ａｕｄｉｏ  ｅｆｆｅｃｔｓ，２００４
【非特許文献３】Ｉ．Ｄｉｍｋｏｖｉａｅら、「Ｆａｓｔ  ｓｏｆｔｗａｒｅ  ｉｍｐｌｅｍｅｎ−ｔａｔｉｏｎ  ｏｆ  ＭＰＥＧ  ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｅｎｃｏｄｅｒ」、  １４ｔｈ  Ｉｎｔ．Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ＤＳＰ，２００２
【発明の概要】
【発明が解決しようとする課題】
【００３３】
パラメトリックオーディオ符号化方法は、その高い符号化効率及びサウンドシーン再生という特徴のために、実際の通信システムにおいて好まれる。このシナリオを実現するためには、ある実務的な課題に取り組まなければならない。すなわち、パラメトリック符号化された複数のオーディオストリームを、いかにして低演算量で単一のストリームに結合するかという課題である。【００３４】
そこで、本発明は、演算量を低減できる結合装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記目的を達成するために、本発明の一形態に係る結合装置は、複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える。【００３６】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては結合処理を行わない。このように、本発明の一形態に係る結合装置は、各サイトがアクティブであるか否かを考慮することによって演算量を低減できる。【００３７】
また、前記第１結合部は、前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備えてもよい。【００３８】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては復号処理を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。【００３９】
また、前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、（１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、（２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、（３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信してもよい。【００４０】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブなサイトが複数存在する場合、当該複数の非アクティブなサイトに対して、共通の結合ビットストリームを送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。【００４１】
また、前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信してもよい。【００４２】
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが２個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。【００４３】
また、前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信してもよい。【００４４】
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが１個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。【００４５】
また、前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出してもよい。【００４６】
この構成によれば、本発明の一形態に係る結合装置は、パラメータストリームに含まれる情報を用いて、アクティブ符号化ビットストリームを容易に検出できる。【００４７】
また、前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、前記単一の結合ダウンミックスサブストリームを生成し、前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、前記単一の結合パラメータサブストリームを生成し、前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信してもよい。【００４８】
この構成によれば、本発明の一形態に係る結合装置は、全サイトで共用される単一の結合ビットストリームのみを生成する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量をさらに低減できる。【００４９】
また、前記結合装置は、さらに、前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信してもよい。【００５０】
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。【００５１】
また、前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成してもよい。【００５２】
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いてパラメータを更新することにより、自サイトが送信した符号化ビットストリームの信号成分を除外できる。【００５３】
また、前記第２結合部は、前記複数のパラメータサブストリームが、異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成してもよい。【００５４】
この構成によれば、本発明の一形態に係る結合装置は、複数のパラメータサブストリームが異なるパラメータ表現基準で表現されている場合でも、効率的に結合パラメータサブストリームを生成できる。【００５５】
また、前記結合装置は、さらに、当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。【００５６】
この構成によれば、本発明の一形態に係る結合装置は、ビットレートを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。【００５７】
また、前記結合装置は、さらに、前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。【００５８】
この構成によれば、本発明の一形態に係る結合装置は、ビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。【００５９】
また、前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成してもよい。【００６０】
この構成によれば、本発明の一形態に係る結合装置は、符号化ビットストリームを時間ドメインまで復号しない。つまり、本発明の一形態に係る結合装置は、時間−周波数変換及びその逆変換を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。【００６１】
また、前記第１結合部は、さらに、前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成してもよい。【００６２】
この構成によれば、本発明の一形態に係る結合装置は、複数の復号ダウンミックスサブストリームのスペクトルパワーを中間結合ダウンミックスサブストリームにおいて保存できる。【００６３】
また、前記第２結合部は、複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備えてもよい。【００６４】
この構成によれば、本発明の一形態に係る結合装置は、パラメータのうちのいくつかを、パラメトリック分析ドメインにおいて結合するとともに更新する。これにより、本発明の一形態に係る結合装置では、パラメータはダウンミックスサブストリームの結合方法と合致する。【００６５】
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む。【００６６】
この構成によれば、本発明の一形態に係る遠隔通信システムは、非アクティブな符号化ビットストリームに対しては結合処理を行わない。これにより、本発明の一形態に係る遠隔通信システムは、結合装置の演算量を低減できる。【００６７】
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する。【００６８】
この構成によれば、本発明の一形態に係る遠隔通信システムでは、各サイトは、結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。【００６９】
なお、本発明は、このような結合装置及び遠隔通信システムとして実現できるだけでなく、結合装置に含まれる特徴的な手段をステップとする結合方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。【００７０】
さらに、本発明は、このような結合装置又は遠隔通信システムの機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
【発明の効果】
【００７１】
以上より、本発明は、少ない遅延と少ない演算量を実現しながら複数のパラメトリック符号化オーディオストリームを結合する結合装置を提供できる。この特徴は、複数のサイトを接続する遠隔会議システムのような複数サイト間通信システムをリアルタイムで利用するには非常に魅力的な特徴である。
【図面の簡単な説明】
【００７２】
【図１】図１は、一般的なパラメトリック符号化装置のブロック図である。
【図２】図２は、一般的なパラメトリック復号装置のブロック図である。
【図３】図３は、従来の遠隔通信システムの構成を示す図である。
【図４】図４は、従来のＭＣＵのブロック図である。
【図５】図５は、本発明の実施の形態１に係る遠隔通信システムの構成を示す図である。
【図６】図６は、本発明の実施の形態１に係る、パラメトリックオーディオ符号化におけるパラメータ表現基準を示す図である。
【図７】図７は、本発明の実施の形態１に係るダウンミックスエンコーダのブロック図である。
【図８】図８は、本発明の実施の形態１に係るＭＣＵのブロック図である。
【図９】図９は、本発明の実施の形態１に係るダウンミックスサブストリーム結合部のブロック図である。
【図１０】図１０は、本発明の実施の形態１に係るＱＭＦドメインからＭＤＣＴドメインへの周波数マッピング方法を示す図である。
【図１１】図１１は、本発明の実施の形態１に係るパラメータサブストリーム結合部のブロック図である。
【図１２】図１２は、本発明の実施の形態１に係るＭＣＵの処理量を示す図である。
【図１３】図１３は、本発明の実施の形態１に係るＭＣＵによる結合処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが１個の場合の動作を示す図である。
【図１５】図１５は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが２個の場合の動作を示す図である。
【図１６】図１６は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが３個の場合の動作を示す図である。
【図１７】図１７は、本発明の実施の形態２に係るＭＣＵのブロック図である。
【図１８】図１８は、本発明の実施の形態２に係るＭＣＵの動作を示す図である。
【図１９】図１９は、本発明の実施の形態２に係るＭＣＵによる結合処理のフローチャートである。
【図２０】図２０は、本発明の実施の形態２に係るＭＣＵの処理量を示す図である。
【図２１】図２１は、本発明の実施の形態２に係るパラメトリック復号装置のブロック図である。
【図２２Ａ】図２２Ａは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。
【図２２Ｂ】図２２Ｂは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。
【図２３】図２３は、本発明の実施の形態３に係るＭＣＵのブロック図である。
【図２４】図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部のブロック図である。
【図２５Ａ】図２５Ａは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２５Ｂ】図２５Ｂは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２５Ｃ】図２５Ｃは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２６Ａ】図２６Ａは、本発明の実施の形態３に係る、パラメータ基準を示す図である。
【図２６Ｂ】図２６Ｂは、本発明の実施の形態３に係る、パラメータ基準を示す図である。
【図２７】図２７は、本発明の実施の形態４に係るＭＣＵのブロック図である。
【図２８】図２８は、本発明の実施の形態４に係るパラメータサブストリーム結合部のブロック図である。
【発明を実施するための形態】
【００７３】
以下に記載する実施の形態は、本発明に係るさまざまな進歩性の原理を単に例示するものである。ここに記載する詳細な内容を多様に変形しうることは当業者にとって自明であると解釈される。それゆえ、本発明の範囲は、ここに記載する具体的かつ説明的な内容によってではなく、請求の範囲によってのみ限定されるものである。
【００７４】
本発明に係るＭＣＵを用いた方法を、４つのサイトを接続する遠隔会議システム（遠隔通信システム）を例にとって以下に説明する。さらに多くのサイトを接続する遠隔会議システムをおこなう場合のＭＣＵについては、このケースから簡単に一般化することができる。
【００７５】
また、以下に記載する実施の形態においては、従来のパラメトリック符号化方法によって符号化されたオーディオストリームの結合について詳細に述べる。説明を簡単にするため、ダウンミックス信号は、ＡＡＣエンコーダで符号化されるモノラル信号であるとする。なお、以下に示す複数の実施の形態は、他のパラメトリック符号化ビットストリームフォーマットをサポートするために一般化できる。
【００７６】
（実施の形態１）
図５は、本発明の実施の形態１に係る遠隔通信システム３００Ａの構成を示す図である。
【００７７】
遠隔通信システム３００Ａは、例えば、遠隔会議システムである。この遠隔通信システム３００Ａは、４つのサイト３０１（３０１Ａ〜３０１Ｄ）と、多地点接続装置である結合装置（ＭＣＵ３０５Ａ）とを含む。また、４つのサイト３０１と、ＭＣＵ３０５Ａとは、ネットワークを介して接続されている。
【００７８】
各サイト３０１は、それぞれ、図１に示す符号化装置１００及び図２に示す復号装置２００を備える。
【００７９】
各符号化装置１００は、当該サイト３０１に接続された複数のマイクにより取得された複数のオーディオ入力信号１１０をパラメトリック符号化することにより、ダウンミックスサブストリーム１１５と、パラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。ダウンミックスサブストリーム１１５は、複数のオーディオ入力信号１１０がダウンミックスされた信号であり、パラメータサブストリーム１１３は、ダウンミックスサブストリーム１１５を複数のオーディオ入力信号に復元するための情報である。
【００８０】
また、各符号化装置１００は、生成した符号化ビットストリーム１１６をＭＣＵ３０５Ａへ送信する。
【００８１】
例えば、複数のオーディオ入力信号１１０の各々は、複数の話者の各々の音声に対応する。
【００８２】
ＭＣＵ３０５Ａは、複数のサイト３０１により送信された複数の符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成する。この結合ビットストリーム１２４は、結合ダウンミックスサブストリーム１２１と結合パラメータサブストリーム１２２とを含む。また、ＭＣＵ３０５Ａは、生成した結合ビットストリーム１２４を複数のサイト３０１へ送信する。
【００８３】
具体的には、ＭＣＵ３０５Ａは、各サイト３０１に対して、当該サイト３０１以外のサイトから送信された符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成し、生成した結合ビットストリーム１２４を当該サイト３０１へ送信する。
【００８４】
例えば、ＭＣＵ３０５Ａは、サイト３０１Ａに対して、サイト３０１Ｂ〜３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ビットストリーム１２４（結合ダウンミックスサブストリームＤｍｘＢＣＤ及び結合パラメータサブストリームＰａｒａｓＢＣＤを含む）を生成し、当該結合ビットストリーム１２４をサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、サイト３０１Ｂに対しては、サイト３０１Ａ、３０１Ｃ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣＤ及び結合パラメータサブストリームＰａｒａｓＡＣＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｃに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｄに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｃから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成する。
【００８５】
また、各サイト３０１の復号装置２００は、ＭＣＵ３０５Ａから送信された結合ビットストリーム１２４を復号することにより、複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、当該サイト３０１に接続された複数のスピーカにより出力される。
【００８６】
図１に示される符号化装置１００を以下詳細に説明する。
【００８７】
図１に示す符号化装置１００は、複数のオーディオ入力信号１１０をパラメトリック符号化することにより、モノラルのダウンミックスサブストリーム１１５とパラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。
【００８８】
この符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。
【００８９】
Ｔ−Ｆ変換部１０１は、時間ドメインの複数のオーディオ入力信号１１０をハイブリッドドメインの複数の周波数信号１１１に変換する。
【００９０】
例えば、サイト３０１Ａから、ＮＡ個のオーディオ入力信号１１０がパラメトリック符号化装置１００に入力されるとする。Ｔ−Ｆ変換部１０１は、ＮＡ個のオーディオ入力信号１１０を、効率のよい非均一周波数解像度を用いて、下記（式１）で表されるハイブリッドドメインのＮＡ個の周波数信号１１１に変換する。
【００９１】
【数１】
2010090019.tif 000003
【００９２】
ここで、ｎは、時間を示すタイムスロットインデックスである。また、ｋは、周波数を示すハイブリッドバンドインデックスである。
【００９３】
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。
【００９４】
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラルの中間ダウンミックス信号１１２を生成する。
【００９５】
パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からオブジェクトパラメータを抽出する。また、パラメータ抽出部１０２Ｂは、抽出したオブジェクトパラメータを量子化することによりパラメータサブストリーム１１３を生成する。
【００９６】
具体的には、パラメータ抽出部１０２Ｂは、オブジェクトパラメータを、聴覚心理モデルに基づいて決定した時間周波数解析の解像度で、時間−周波数関数として分析する。例えば、パラメータ抽出部１０２Ｂは、ハイブリッドドメイン全体を、図６に示されるように、Ｐ×Ｑ個のパラメータタイルにグループ化する。また、人間の聴覚システムの周波数解像度に近似させるためには、全周波数帯域をカバーするパラメータバンドｍの数Ｑは、２、３個のみ（低いビットレートを適用する場合）から２８個まで（高品質処理をおこなう場合）の任意の数に設定できる。また、過渡的なふるまいを改善するために分離されたパラメータセットｌは、固定時間セグメント（約２０〜３０ｍｓ）をカバーする。
【００９７】
また、ダウンミックス部１０２Ａは、中間ダウンミックス信号１１２に含まれる、パラメータタイル（ｌ，ｍ）（ｌ＝１，・・・，Ｐ；ｍ＝１，・・・，Ｑ）ごとのダウンミックス信号成分を、下記（式２）に従って生成する。
【００９８】
【数２】
2010090019.tif 000004
ここで、ｄｉ（ｌ，ｍ）は、各オーディオ入力信号１１０（各周波数信号１１１）用に予め決定されたスケールファクタである。また、ファクタｅ（ｌ，ｍ）は、信号成分のパワーを調整するために用いられる。すなわち、中間ダウンミックス信号１１２における信号成分のパワーが、スケーリング済みの全周波数信号１１１のパワーと概ね同じになるように演算される。つまり、下記（式３）の関係が満たされるようにｅ（ｌ，ｍ）が決定される。
【００９９】
【数３】
2010090019.tif 000005
【０１００】
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２の全信号成分を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。
【０１０１】
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を符号化することによりダウンミックスサブストリーム１１５を生成する。
【０１０２】
また、パラメータ抽出部１０２Ｂは、パラメータタイル（ｌ，ｍ）ごとに、オブジェクトパラメータを抽出する。典型的には、このオブジェクトパラメータはそれぞれ以下を含む。
【０１０３】
（ａ）オブジェクトレベル差（ＯＬＤ）：複数の周波数信号１１１間の、対応するパラメータタイルにおけるパワー比を示す。
【０１０４】
（ｂ）絶対エネルギーパラメータ（ＮＲＧ）：複数の周波数信号１１１のうち、最大エネルギーを有する周波数信号１１１の絶対オブジェクトエネルギーを示す。
【０１０５】
（ｃ）オブジェクト間の相互相関（ＩＯＣ）：複数の周波数信号間の、対応するパラメータタイルの類似度を示す。
【０１０６】
（ｄ）ダウンミックスゲイン（ＤＭＧ）：対応するパラメータタイルをダウンミックス処理する際のゲインを示す。
【０１０７】
例えば、パラメータ抽出部１０２Ｂは、これらのパラメータを、下記（式５）〜（式９）を用いて算出する。
【０１０８】
【数４】
2010090019.tif 000006
【０１０９】
【数５】
2010090019.tif 000007
【０１１０】
【数６】
2010090019.tif 000008
【０１１１】
【数７】
2010090019.tif 000009
【０１１２】
また、パラメータ抽出部１０２Ｂは、このオブジェクトパラメータを、他のヘッダ情報とともに量子化することによりパラメータサブストリーム１１３を生成する。
【０１１３】
同様の符号化手順に従って、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）も、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを生成する。
【０１１４】
次に、ダウンミックスエンコーダ１０４の構成を説明する。図７は、ダウンミックスエンコーダ１０４の構成を示すブロック図である。
【０１１５】
図７に示されるように、ダウンミックスエンコーダ１０４は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）変換部６０１と、符号化部６０２と、制御部６０３とを備える。
【０１１６】
ＭＤＣＴ変換部６０１は、時間ドメインのダウンミックス時間信号１１４を、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット６１１に変換する。
【０１１７】
制御部６０３は、実際の時間に依存するマスク済み閾値（音響心理学モデル）の推定値を、音響心理学で既知のルールを用いて算出する。
【０１１８】
符号化部６０２は、量子化ノイズが制御部６０３により算出されたマスク済み閾値以下に保たれるように、ＭＤＣＴ係数セット６１１を効率的に量子化及び符号化する。これにより、符号化部６０２は、ダウンミックスサブストリーム１１５を生成する。
【０１１９】
なお、ＭＣＵ３０５Ａが、複数の符号化ビットストリーム１１６を結合するためには、各サイト３０１Ａ〜３０１Ｄが備える符号化装置１００は、以下にあげる２つの追加要求を満たす必要がある。
【０１２０】
（１）ＮＲＧパラメータをＭＣＵ３０５Ａへ送信する。
【０１２１】
（２）ダウンミックスサブストリーム１１５は、固定的なブロックタイプ（つまり、ロングブロックタイプ）を用いるＡＡＣ方式によって符号化する。
【０１２２】
なお、ダウンミックスサブストリーム１１５を符号化する方式としてＡＡＣ方式を用いる場合を述べたが、これに限ったものではなく、ＡＡＣ−ＬＤ方式又はＨＥ−ＡＡＣ方式を用いてもよい。また、それ以外にも高効率なステレオ・モノラルの音声符号化方式であれば、ＣＥＬＰ方式を用いてもよいが、ＭＤＣＴなどの直行変換技術を用いた符号化方式を用いる場合の方が、本発明の効果がより高くなる。
【０１２３】
また、ここでは、直行変換技術の代表としてＭＤＣＴ方式を用いた例を述べているが、もちろんこれに限ったものではなく、ＦＦＴ方式又はＭＤＳＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）方式を用いてもよい。
【０１２４】
次に、本発明の実施の形態１に係るＭＣＵ３０５Ａの構成を説明する。
【０１２５】
図８は、ＭＣＵ３０５Ａの構成を示すブロック図である。
【０１２６】
図８に示すようにＭＣＵ３０５Ａは、検出部５０１と、ダウンミックスサブストリーム結合部５０４（第１結合部）と、パラメータサブストリーム結合部５０６（第２結合部）と、送信部５０８とを備える。
【０１２７】
検出部５０１は、所定の時間間隔ごとに、当該時間間隔内において、複数のサイト３０１のうちアクティブサイト及び非アクティブサイトを検出する。ここで、アクティブサイトとは、有効な符号化ビットストリーム１１６を送信しているサイトであり、非アクティブサイトとは、アクティブサイト以外のサイトである。具体的には、アクティブサイトとは、現在音声が送信されているサイトであり、非アクティブサイトとは、現在音声が送信されていないか、所定の閾値以下の音声信号がやりとりされているか、あるいは音声信号をやりとりしていないと制御信号などで明示的に指定されているサイトである。例えば、アクティブサイトで取得される複数のオーディオ入力信号１１０の最大の音量は所定の閾値以上であり、非アクティブサイトで取得される複数のオーディオ入力信号１１０の全ての音量は所定の閾値未満である。
【０１２８】
例えば、検出部５０１は、複数のパラメータサブストリーム１１３に含まれる情報を用いて各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを検出する。例えば、検出部５０１は、ＮＲＧパラメータが所定の値未満のパラメータサブストリーム１１３の送信元のサイトを非アクティブサイトと判定する。
【０１２９】
なお、検出部５０１は、その他のパラメータ、又はダウンミックスサブストリーム１１５を参照することにより、各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。例えば、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値以上である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１をアクティブサイトであると判定し、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値未満である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１を非アクティブサイトであると判定してもよい。また、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の音量差又は音量の変化率に応じて、当該符号化ビットストリーム１１６の送信元のサイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。
【０１３０】
また、検出部５０１は、検出結果に基づき、アクティブサイトの数及び非アクティブサイトの数を算出する。
【０１３１】
ダウンミックスサブストリーム結合部５０４は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のダウンミックスサブストリーム１１５を結合することにより、複数の結合ダウンミックスサブストリーム１２１を生成する。
【０１３２】
具体的には、非アクティブサイトが存在する場合、ダウンミックスサブストリーム結合部５０４は、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを結合することにより、結合ダウンミックスサブストリーム１２１を生成する。
【０１３３】
より具体的には、ダウンミックスサブストリーム結合部５０４は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のダウンミックスサブストリーム１１５のうち、当該サイト３０１以外のサイト３０１から送信された複数のダウンミックスサブストリーム１１５を結合することにより、当該サイト３０１に対応する結合ダウンミックスサブストリーム１２１を生成する。
【０１３４】
パラメータサブストリーム結合部５０６は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のパラメータサブストリーム１１３を結合することにより、複数の結合パラメータサブストリーム１２２を生成する。
【０１３５】
具体的には、非アクティブサイトが存在する場合、パラメータサブストリーム結合部５０６は、アクティブサイトから送信されたパラメータサブストリーム１１３のみを結合することにより、結合パラメータサブストリーム１２２を生成する。
【０１３６】
さらに具体的には、パラメータサブストリーム結合部５０６は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のパラメータサブストリーム１１３のうち、当該サイト３０１以外のサイト３０１から送信された複数のパラメータサブストリーム１１３を結合することにより、当該サイト３０１に対応する結合パラメータサブストリーム１２２を生成する。
【０１３７】
送信部５０８は、結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を含む結合ビットストリーム１２４を、対応するサイト３０１へ送信する。
【０１３８】
以下、ダウンミックスサブストリーム結合部５０４の構成を説明する。
【０１３９】
図９は、ダウンミックスサブストリーム結合部５０４の構成を示すブロック図である。図９に示すようにダウンミックスサブストリーム結合部５０４は、復号部７００と、加算部７０４と、スケーリング部７０５と、符号化部７０６とを備える。なお、図９では、サイト３０１Ａへ送信する一つの結合ダウンミックスサブストリーム１２１を生成する場合を示している。
【０１４０】
復号部７００は、複数のダウンミックスサブストリーム１１５（ＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤ）を復号（逆符号化及び逆量子化）することによって、それぞれに対応する、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット７１０（ｃｏｅｆＢ、ｃｏｅｆＣ及びｃｏｅｆＤ）を生成する。ここで、逆符号化及び逆量子化とは、図７に示す符号化部６０２により行われたＡＡＣ符号化の逆演算である。また、復号部７００は、ダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤを逆符号化及び逆量子化する逆符号化部７０１〜７０３を備える。
【０１４１】
なお、復号部７００は、図９に示すように３つの逆符号化部７０１〜７０３を備え、３つのダウンミックスサブストリーム１１５を当該３つの逆符号化部７０１〜７０３により並列に処理してもよいし、１又は２の逆符号化部を備え、３つのダウンミックスサブストリーム１１５を時分割で処理してもよい。
【０１４２】
また、復号部７００は、複数のダウンミックスサブストリーム１１５のうち、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを復号する。
【０１４３】
加算部７０４は、全ＭＤＣＴ係数セット７１０（復号ダウンミックスサブストリーム）を加算することにより結合ＭＤＣＴ係数セット７１１（中間結合ダウンミックスサブストリーム）を生成する。
【０１４４】
スケーリング部７０５は、加算された結合ＭＤＣＴ係数セット７１１をスケーリングすることにより結合ＭＤＣＴ係数セット７１２（ｃｏｅｆＢＣＤ）を生成する。具体的には、スケーリング部７０５は、複数のＭＤＣＴ係数セット７１０のスペクトルパワーが結合ＭＤＣＴ係数セット７１２において保存されるように、結合ＭＤＣＴ係数セット７１１をスケーリングする。
【０１４５】
ここで、本発明においては、結合ダウンミックスサブストリーム１２１は、異なる周波数範囲で異なる結合ゲインを伴って、全ダウンミックスサブストリーム１１５を線形結合した結果として得られる。
【０１４６】
注意を喚起すべき点は、ハイブリッドドメインは時間−周波数解像度を有するが、ＭＤＣＴドメインは周波数解像度のみを有するということである。その結果、結合ゲインをＭＤＣＴ係数セットに適用する場合、ハイブリッドドメインにおける値をＭＤＣＴドメインにおける値に近似する必要がある。
【０１４７】
本発明において適用される近似方法は、ハイブリッドドメインにおけるパラメータセットの分離を無視し、パラメータバンド分離方法をＭＤＣＴドメインに直接マッピングする方法である（なお、異なるパラメータバンドの分離方法を単一の統一パラメータバンド分離方法に統合する方法については、後述する）。言い換えると、図１０に示されるように、パラメトリック符号化プロセスに用いられるパラメータバンドの数がＱ（パラメータサブストリームに含まれるヘッダ情報）であるならば、ＭＤＣＴ周波数サブセットＩｍの数は、（ｍ＝１，２，・・・，Ｑ）であり、パラメータバンドｍは、サブセットＩｍ、例えば（ｑｍ−，ｑｍ＋）と同じ周波数範囲をカバーする。
【０１４８】
上記ＭＤＣＴスペクトル分割に基づけば、分割ダウンミックス係数セットの結合ゲインは、異なる応用例に応じて、以下のように柔軟に設計することができる。
【０１４９】
実施の形態１では、複数の符号化オーディオオブジェクトの全てが重要である場合、信号成分の増幅も減衰も好ましくない。そのような場合には、結合ダウンミックス係数を均一化するための共通スケーリングファクタを適用するパワー保存技術を採用する。
【０１５０】
すなわち、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤは下記（式８）で表される。
【０１５１】
【数８】
2010090019.tif 000010
【０１５２】
ここで、ｉはＭＤＣＴ係数インデックスであり、ｍはサブセットインデックスである。つまり、ｉは、下記（式９）となる。
【０１５３】
【数９】
2010090019.tif 000011
【０１５４】
また、上付き記号は、対応するパラメータのサイトインデックスを表す。
【０１５５】
また、結合ゲインは、スペクトルパワーを保存するように、下記（式１０）を用いて算出される。
【０１５６】
【数１０】
2010090019.tif 000012
【０１５７】
符号化部７０６は、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤを、量子化及び符号化することにより送信用の結合ダウンミックスサブストリーム１２１（ＤｍｘＢＣＤ）を生成する。
【０１５８】
なお、一般的に、知覚エンコーダ（例えば、ＡＡＣエンコーダ）は、音響心理学の見地から知られるルールに従って、時間ドメインシーケンスにおける複素ＦＦＴから導かれる音響心理学マスカを用いて、信号間の無関連性について検証する。しかしながら、本発明に係るＭＣＵ３０５Ａにおいては、演算量が少なく遅延時間が短いことという要求事項を満たすために、ダウンミックス結合は、ＭＤＣＴドメインに限っておこなわれる。つまり、ＭＤＣＴドメインから時間ドメインへのドメイン変換はどのようなものであっても認められない。
【０１５９】
当該課題は、いくつかの従来技術によって解決される。例えば、従来技術において、演算量が少なく高品質な、ＭＤＣＴに基づく音響心理学モデルを求めることができる。主要なアイデアは、複素ＦＦＴスペクトルを実数のＭＤＣＴスペクトルに置き換えること、及び、スペクトラム・フラットネス測定によってトーン性を求めることである。
【０１６０】
従来技術については、例えば、上記非特許文献１〜３に詳述されている。
【０１６１】
上記技術に従って、次のように符号化部７０６を設計することができる。まず、ＭＤＣＴドメインにおいて、結合ＭＤＣＴ係数セット用の正確な音響心理学マスカを算出する。また、ＡＡＣエンコーダと類似の方法で、残りの量子化及び符号化を実施する。出力結果は、結合ダウンミックスサブストリーム１２１として、サイト３０１Ａのパラメトリック復号装置２００へ送信される。同様の手順が、他の全サイトに対しても実行される。つまり、この手順は、Ｎ個のサイトを接続するシステム対して、Ｎ回実施される。
【０１６２】
次に、パラメータサブストリーム結合部５０６の構成を説明する。
【０１６３】
図１１は、パラメータサブストリーム結合部５０６の構成を示すブロック図である。図１１に示すようにダウンミックスサブストリーム結合部５０４は、逆量子化部７５０と、パラメータ結合部７５５と、パラメータ更新部７５６と、量子化部７５７とを備える。また、図１１では、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
【０１６４】
逆量子化部７５０は、複数のパラメータサブストリーム１１３（ＰａｒａｓＢ、ＰａｒａｓＣ及びＰａｒａｓＤ）を逆量子化することによって、それぞれ対応するパラメータ７６１に復元する。ここで、逆量子化とは、図１に示すパラメータ抽出部１０２Ｂにより行われた量子化の逆演算である。
【０１６５】
パラメータ結合部７５５は、全パラメータ７６１を結合することにより結合パラメータ７６３及び７６４を生成する。
【０１６６】
パラメータ更新部７５６は、結合パラメータ７６４を更新することにより更新パラメータ７６５を生成する。
【０１６７】
また、パラメータ結合部７５５は、全パラメータ７６１に対して同一の結合ゲインを用いて結合する。その結果として、このダウンミックス結合プロセスは付加的パラメータに影響されない。よって、アクティブサイトが複数である場合、パラメータ更新部７５６は、結合パラメータ７６４としてＮＲＧパラメータ及びＯＬＤパラメータのみを更新する。
【０１６８】
例えば、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブサイトである場合を例に説明を行う。この場合、パラメータサブストリーム結合部５０６は、サイト３０１Ｂ及び３０１Ｄから送信されたパラメータサブストリーム１１３を結合する。
【０１６９】
更新後のＮＲＧパラメータは、サイトｋ（ｋ＝Ｂ，Ｄ）における最大ＮＲＧパラメータである。つまり、パラメータ更新部７５６は、下記（式１１）を用いて更新後のＮＲＧパラメータを算出する。
【０１７０】
【数１１】
2010090019.tif 000013
【０１７１】
また、パラメータ更新部７５６は、更新後のＯＬＤパラメータを、下記（式１２）を用いて全オブジェクトについて算出する。なお、オブジェクトとは、複数のオーディオ入力信号１１０のそれぞれを示す。
【０１７２】
【数１２】
2010090019.tif 000014
【０１７３】
ここで、オブジェクトインデックスｉは、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＤである。
【０１７４】
量子化部７５７は、結合パラメータ７６３及び更新パラメータ７６５を量子化することにより結合パラメータサブストリーム１２２を生成する。
【０１７５】
なお、Ｎ個のサイトを接続する遠隔会議システムでは、通常、（効率的に送信されたビットストリームを有する）アクティブサイトはＮ１個（Ｎ１≦Ｎ）のみであり、残りの（Ｎ−Ｎ１）個のサイトは非アクティブである。
【０１７６】
また、そのようなシステムにおいて、ＭＣＵ３０５Ａは、部分的復号処理をＮ回、結合処理をＮ回、部分的符号化処理をＮ回おこなう必要がある。しかしながら、この場合、それらの非アクティブサイトには同一の結合ダウンミックスサブストリーム１２１が配信される。つまり、非アクティブサイトが通常存在する場合には、当該結合方法は冗長性をともなうことを意味する。
【０１７７】
よって、本発明の実施の形態１に係るＭＣＵ３０５Ａでは、結合及び符号化処理の前にアクティブサイトの数を考慮することにより、ＭＣＵ３０５Ａの演算量をさらに削減する。
【０１７８】
具体的には、送信部５０８は、アクティブサイトが１つ又は２つのみであるときは、受信した符号化ビットストリーム１１６を配信先サイトへ直接切り替え送信する。これにより、ＭＣＵ３０５Ａの演算量をさらに削減することができる。
【０１７９】
より詳細には、非アクティブサイトの数が２以上の場合、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５を結合することにより、全ての非アクティブサイトに対して共通の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、全てのアクティブサイトから送信された複数のパラメータサブストリーム１１３を結合することにより、全ての非アクティブサイトに対して共通の結合パラメータサブストリーム１２２を生成する。また、送信部５０８は、上記共通の結合ダウンミックスサブストリーム１２１及び共通の結合パラメータサブストリーム１２２を含む共通の結合ビットストリーム１２４を、全ての非アクティブサイトへ送信する。
【０１８０】
また、アクティブサイトの数が２の場合、送信部５０８は、２個のアクティブサイトのうち一方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの他方へ送信する。また、送信部５０８は、２個のアクティブサイトのうち他方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの一方へ送信する。
【０１８１】
また、アクティブサイトの数が１の場合、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま、全ての非アクティブサイトへ送信する。
【０１８２】
図１２は、本発明に係るＭＣＵ３０５Ａと、通常のＭＣＵとの演算量を示す図である。また、図１３は、ＭＣＵ３０５Ａによる結合処理のフローチャートである。
【０１８３】
図１３に示すように、まず、検出部５０１は、アクティブサイトの数Ｎ１を検出する（Ｓ１０１）。
【０１８４】
次に、検出部５０１は、アクティブサイトの数Ｎ１が１であるか否かを判定する（Ｓ１０２）。
【０１８５】
アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま全ての非アクティブサイトへ送信する（Ｓ１０３）。つまり、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６は、結合処理を行わない。また、送信部５０８は、１個のアクティブサイトへは、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
【０１８６】
なお、アクティブサイトの数が０の場合も、送信部５０８は、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
【０１８７】
このように、アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数は、全てゼロとなる。
【０１８８】
図１４は、４つのサイト３０１のうち１つのサイト３０１Ａのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１４に示すように、サイト３０１Ａのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを非アクティブなサイト３０１Ｂ、３０１Ｃ及び３０１Ｄへ送信する。
【０１８９】
一方、アクティブサイトの数Ｎ１が２以上の場合（Ｓ１０２でＮｏ）、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５に部分的復号処理を行うことにより、複数のＭＤＣＴ係数セット７１０を生成する（Ｓ１０４）。
【０１９０】
次に、検出部５０１は、アクティブサイトの数Ｎ１が２であるか否かを判定する（Ｓ１０５）。
【０１９１】
アクティブサイトの数Ｎ１が２の場合（Ｓ１０５でＹｅｓ）、ダウンミックスサブストリーム結合部５０４は、当該２つのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該２つのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０６）。
【０１９２】
次に、送信部５０８は、ステップＳ１０６で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全ての非アクティブサイトへ送信する（Ｓ１０７）。
【０１９３】
また、送信部５０８は、２個のアクティブサイトのうち、一方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま他方のアクティブサイトへ送信し、他方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま一方のアクティブサイトへ送信する（Ｓ１０８）。
【０１９４】
このように、アクティブサイトの数Ｎ１が２である場合（Ｓ１０５でＹｅｓ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１と同じ２となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
【０１９５】
図１５は、４つのサイト３０１のうち２つのサイト３０１Ａ及び３０１Ｂのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１５に示すように、サイト３０１Ａ及びサイト３０１Ｂのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡをアクティブなサイト３０１Ｂへ送信し、サイト３０１Ｂから送信されたダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢをアクティブなサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを非アクティブなサイト３０１Ｃ及び３０１Ｄへ送信する。
【０１９６】
一方、アクティブサイトの数Ｎ１が３以上の場合（Ｓ１０５でＮｏ）、ダウンミックスサブストリーム結合部５０４は、当該３以上のアクティブサイトに対応するＭＤＣＴ係数セット７１０を全て結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該３以上のアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０９）。
【０１９７】
次に、送信部５０８は、ステップＳ１０９で生成した１つの結合ダウンミックスサブストリーム１２１及び１つの結合パラメータサブストリームを全ての非アクティブサイトへ送信する（Ｓ１１０）。
【０１９８】
次に、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのそれぞれへ送信する結合ビットストリーム１２４を生成する。
【０１９９】
まず、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのうち１つのアクティブサイトを選択し、選択したアクティブサイトへ送信する結合ビットストリーム１２４を生成する。
【０２００】
具体的には、ダウンミックスサブストリーム結合部５０４は、選択したアクティブサイト以外の全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより選択したアクティブサイト用の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、選択したアクティブサイト以外の全てのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより選択したアクティブサイト用の結合パラメータサブストリーム１２２を生成する（Ｓ１１１）。
【０２０１】
次に、送信部５０８は、ステップＳ１１１で生成した結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリームを、選択したアクティブサイトへ送信する（Ｓ１１２）。
【０２０２】
次に、ダウンミックスサブストリーム結合部５０４は、アクティブサイトの数Ｎ１から１を減算することにより、新たなアクティブサイトの数Ｎ１を算出し（Ｓ１１３）、新たなアクティブサイトの数Ｎ１が０より大きい場合（Ｓ１１４でＹｅｓ）、次のアクティブサイトを選択し、選択したアクティブサイトに対してステップＳ１１１以降の処理を行う。つまり、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトに対して、ステップＳ１１１〜Ｓ１１４の処理を繰り返す。
【０２０３】
このように、非アクティブサイトが２個以上存在し、かつアクティブサイトの数Ｎ１が３以上である場合（Ｓ１０５でＮｏ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数はＮ１＋１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、非アクティブサイトへの送信用の結合処理の数及び部分的符号化処理の数が削減される。
【０２０４】
なお、非アクティブサイトが存在しない場合、つまり、アクティブサイトの数Ｎ１が全サイト数Ｎに等しい場合には、ステップＳ１０９及びＳ１１０の処理は行われない。つまり、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数はＮ１回となる。
【０２０５】
図１６は、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１６に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを非アクティブなサイト３０１へ送信する。
【０２０６】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣをサイト３０１Ａへ送信する。
【０２０７】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣをサイト３０１Ｂへ送信する。
【０２０８】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢをサイト３０１Ｃへ送信する。
【０２０９】
以上のように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が１の場合には、復号処理、結合処理及び符号化処理を行わない。また、ＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が２の場合には、アクティブサイトへ送信する結合ビットストリーム１２４を生成しない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
【０２１０】
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが存在する場合には、当該非アクティブサイトから送信された符号化ビットストリーム１１６を結合しない。具体的には、ＭＣＵ３０５Ａは、非アクティブサイトから送信されたダウンミックスサブストリーム１１５の復号処理を行わない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
【０２１１】
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが複数存在する場合には、当該複数の非アクティブサイトに対して共通の結合ビットストリーム１２４を生成する。これにより、ＭＣＵ３０５Ａは、非アクティブサイトへの送信用の結合ビットストリーム１２４を生成する処理を省略できるので演算量を削減できる。
【０２１２】
このように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数が１又は２という特別なケースを考慮に入れることにより、演算量を削減できる。
【０２１３】
例えば、本発明の実施の形態１の効果を説明するために、複数のサイト（例えば、８つ）を接続する遠隔会議システムの例をあげる。実際には、通信期間のほとんどにおいて、同時にアクティブ状態になる通信サイトはせいぜい３つ程度である場合が多い。この場合、本発明に係るＭＣＵ３０５Ａを採用すれば、従来のＭＣＵに対して演算量を１５％〜４０％にまで削減することができる。
【０２１４】
（実施の形態２）
ＭＣＵ３０５Ａが行う処理の中で、部分的符号化処理は、音響マスカの生成処理とダブルループの量子化処理とを含むため、演算量が最も多い。よって、実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトが複数（Ｎ１＞２）である場合、部分的な符号化を１回のみおこなうことによって、演算量をさらに削減することができる。
【０２１５】
図１７は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの構成を示す図である。
【０２１６】
図１７に示すＭＣＵ３０５Ｂは、実施の形態１に係るＭＣＵ３０５Ａに対して、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの処理が、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６の処理と異なる。なお、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの基本構成は、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６と同様である。
【０２１７】
また、ＭＣＵ３０５Ｂは、ＭＣＵ３０５Ａの構成に加え、さらに、補助情報生成部５０７を備える。
【０２１８】
ダウンミックスサブストリーム結合部５０４Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたダウンミックスサブストリーム１１５を結合することにより単一の結合ダウンミックスサブストリーム１２１を生成する。
【０２１９】
具体的には、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに関して部分的復号処理を行った後、復号された全ＭＤＣＴ係数セット７１０を単一の結合ＭＤＣＴ係数セット７１２に結合する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、当該結合ＭＤＣＴ係数セット７１２を部分的に符号化することにより、全サイトに配信される単一の結合ダウンミックスサブストリーム１２１を生成する。
【０２２０】
パラメータサブストリーム結合部５０６Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより単一の結合パラメータサブストリーム１２２を生成する。
【０２２１】
補助情報生成部５０７は、アクティブサイトのそれぞれに対応する、複数の補助情報１２３を生成する。この補助情報１２３は、単一の結合ダウンミックスサブストリーム１２１及び単一の結合パラメータサブストリーム１２２の信号成分のうち、対応するアクティブサイトにより送信された符号化ビットストリーム１１６に対応する信号成分を特定するための情報である。なお、補助情報１２３に関しては後述する。
【０２２２】
送信部５０８は、上記単一の結合ダウンミックスサブストリーム１２１、及び単一の結合パラメータサブストリーム１２２を全てのサイト３０１へ送信する。また、送信部５０８は、複数の補助情報１２３の各々を、対応するアクティブサイトへ送信する。
【０２２３】
図１８は、本発明の実施の形態２に係る遠隔通信システム３００Ｂにおける、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合のＭＣＵ３０５Ｂの処理を模式的に示す図である。図１８に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合、ＭＣＵ３０５Ｂは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＤ及びパラメータサブストリームＰａｒａｓＤとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを全てのサイト３０１Ａ〜３０１Ｄへ送信する。
【０２２４】
また、ＭＣＵ３０５Ｂは、アクティブサイトであるサイト３０１Ａ、３０１Ｂ及び３０１Ｄへ、それぞれ補助情報１２３Ａ、１２３Ｂ及び１２３Ｄを送信する。なお、補助情報１２３Ａ、１２３Ｂ及び１２３Ｄは、それぞれ、サイト３０１Ａ、３０１Ｂ及び３０１Ｄに対応する補助情報１２３である。
【０２２５】
図１９は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの結合処理のフローチャートである。また、図２０は、本発明の実施の形態１及び実施の形態２に係るＭＣＵ３０５Ａ及び３０５Ｂと、通常のＭＣＵとの演算量を示す図である。
【０２２６】
なお、図１９に示すステップＳ１０１〜Ｓ１０４の処理は、図１３と同様なので、説明は省略する。
【０２２７】
ステップＳ１０４の後、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６Ｂは、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより、１つの結合パラメータサブストリーム１２２を生成する（Ｓ２０５）。
【０２２８】
次に、送信部５０８は、ステップＳ２０５で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全てのサイトへ送信する（Ｓ２０６）。
【０２２９】
このように、アクティブサイトの数Ｎ１が２以上である場合（Ｓ１０２でＮｏ）、図２０に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
【０２３０】
本発明の実施の形態２の効果を説明するために、８つのサイトを接続する遠隔会議の例を再度参照する。この場合、実施の形態２に係るＭＣＵ３０５Ｂを採用すれば、通常のＭＣＵに対して演算量を１５％未満にまで削減することができる。
【０２３１】
以下、補助情報１２３について説明する。
【０２３２】
ＭＣＵ３０５Ｂの目的は、実施の形態１で説明したように、送信先のサイト以外の他の全てのサイトからの符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合することである。よって、実施の形態２のように、結合ビットストリーム１２４が全ての符号化ビットストリーム１１６を結合したものである場合、各サイト３０１は、結合ビットストリーム１２４内の干渉ストリーム（自身が送信した符号化ビットストリーム１１６の成分）を除去する必要がある。
【０２３３】
本発明においては、ＭＣＵ３０５Ｂは、全パラメータ情報を含む共通の結合パラメータサブストリーム１２２を生成する。また、各サイト３０１は、当該共通の結合パラメータサブストリーム１２２を用いて、パラメトリック復号処理において、結合ビットストリーム１２４内の干渉ストリームをミュートする。これにより、本発明の実施の形態２に係る遠隔通信システム３００Ｂは、干渉ストリームの除去をパラメータドメインで実現する。
【０２３４】
例えば、上述の４つのサイト３０１を接続する遠隔会議システムの例において、アクティブサイトはサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。共通の結合パラメータサブストリーム１２２は、次にあげるステップを通して構築される。
【０２３５】
（１）オブジェクト数は、サイト３０１Ａ、３０１Ｂ及び３０１Ｄのオブジェクト数が合計されたものである。つまり、共通の結合パラメータサブストリーム１２２に含まれる全オブジェクトの数は、Ｎｔｏｔａｌ＝ＮＡ＋ＮＢ＋ＮＤで表される。
【０２３６】
（２）結合されるパラメータは、Ａ、Ｂ、Ｄの順に並べられる。例えば、オブジェクトレベル差は、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＢ，ＮＡ＋ＮＢ＋１，・・・，Ｎｔｏｔａｌであるとき、ＯＬＤｉ（ｌ，ｍ）で表される。
【０２３７】
また、共通の結合パラメータサブストリーム１２２は、共通の結合ダウンミックスサブストリーム１２１とともに各サイトへ配信される。各サイトにおけるパラメトリック復号の最終目的は、自サイトからの干渉ストリームの入力を除く全オーディオ入力を合成（つまりアップミックス）することである。
【０２３８】
描画マトリックスをカスタマイズ設計することにより、パラメトリックオーディオ復号の最終目的を達成することができる。より詳しくは、自サイトからの干渉オブジェクトを除去するためには、ＭＣＵ３０５Ｂで何らかの新たな補助情報１２３が生成され、当該受信サイトに送信されるべきである。この補助情報１２３とは、例えば、干渉オブジェクトのインデックスである。各サイトが備える復号装置２００Ｂは、この補助情報１２３を用いることにより、パラメトリックオーディオ符号化の描画マトリックスにおいて、干渉オブジェクトにはゼロゲインを設定することができる。結果的に干渉オブジェクトがミュートされれば理想的である。
【０２３９】
具体的には、補助情報生成部５０７は、アクティブサイトの各々に対して、単一の結合パラメータサブストリーム１２２に含まれるパラメータのうち、当該アクティブサイトにより送信されたパラメータサブストリーム１１３に対応するパラメータを特定するための補助情報１２３を生成する。
【０２４０】
より詳細には、補助情報生成部５０７は、補助情報１２３として、共通の結合パラメータサブストリーム１２２に含まれるオブジェクト数（ＮＢ）及び開始オブジェクトインデックス（ＮＡ＋１）を、結合パラメータサブストリーム１２２とともに、サイト３０１Ｂへ送信する。
【０２４１】
図２１は、本発明の実施の形態２に係るサイトが備えるパラメトリック復号装置２００Ｂの構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、重複する説明は省略する。図２１に示す復号装置２００Ｂは、図２に示す復号装置２００の構成に加え、さらに、パラメータ変換部２０５を備える。
【０２４２】
この復号装置２００Ｂは、補助情報１２３を用いて、単一の結合ビットストリーム１２４の信号成分のうち、当該復号装置２００Ｂを備えるサイト３０１により送信された符号化ビットストリーム１１６に対応する信号成分を除去した複数のオーディオ出力信号２１６を生成する。
【０２４３】
具体的には、パラメータ変換部２０５は、後続のパラメトリック復号化のために、任意に設計されたＮｓｐｅａｋｅｒ×Ｎｔｏｔａｌ（Ｎｓｐｅａｋｅｒはサイト３０１Ｂにおけるスピーカの数を表す）サイズの描画マトリックスのうち、補助情報１２３を用いてコラムＮＡ＋１からコラムＮＡ＋ＮＢまでのマトリックス要素をゼロに設定する。このことは、ＮＡ＋１からＮＡ＋ＮＢの全オブジェクトのゲインがＮｓｐｅａｋｅｒ個のスピーカにおいてゼロであることを意味する。その結果、サイト３０１Ｂにおける干渉オブジェクトはミュートされ、他のサイトからの残りのオーディオオブジェクトが要望に応じて再生される。
【０２４４】
以上より、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、単一の結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２のみを生成することにより、演算量を低減できる。
【０２４５】
また、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトごとに補助情報１２３を生成する。これにより、各サイト３０１は、単一の結合ダウンミックスサブストリーム１２１から、自サイトが送信した符号化ビットストリーム１１６の信号成分を除外できる。
【０２４６】
（実施の形態３）
パラメータの結合にあたり、実際には、異なるサイトからのパラメータサブストリーム１１３は異なるパラメータ表現基準を有していてもよい。なぜなら、各サイト３０１は、異なるビットレートを利用可能であり、異なるオブジェクト特性が表現されているからである。本発明に係る実施の形態３に係るＭＣＵ３０５Ｃは、異なるパラメータ表現基準で表現されたパラメータの結合をサポート可能である。
【０２４７】
なお、パラメータ表現基準とは、具体的には、パラメータタイルの分割方法（分割間隔）である。
【０２４８】
以下では、２つのパラメータサブストリーム１１３、例えば、サイト３０１ＢからのパラメータサブストリームＰａｒａｓＢと、サイト３０１ＣからのパラメータサブストリームＰａｒａｓＣとがＭＣＵ３０５に入力される例を説明する。ここで、パラメータサブストリームＰａｒａｓＢは、Ｎ１個のオブジェクトに対し、合計で（Ｐ１×Ｑ１）個のパラメータタイルで表され、パラメータサブストリームＰａｒａｓＣは、Ｎ２個のオブジェクトに対し、合計で（Ｐ２×Ｑ２）個のパラメータタイルで表されるとする。
【０２４９】
ここで一般的には、下記（式１３）が成り立つ。
【０２５０】
【数１３】
2010090019.tif 000015
【０２５１】
なぜなら、２つの独立した符号化サイトにおいては、信号特性及び利用可能なビットレートが異なるからである。ここでは、図２２Ａ及び図２２Ｂに示すように、普遍性を失うことなく、下記（式１４）が成り立つと仮定する。
【０２５２】
【数１４】
2010090019.tif 000016
【０２５３】
図２３は、本発明の実施の形態３に係るＭＣＵ３０５Ｃの構成を示すブロック図である。なお、図８と同様の要素には同一の符号を付しており、重複する説明は省略する。
【０２５４】
図２３に示すＭＣＵ３０５Ｃは、パラメータサブストリーム結合部５０６Ｃの構成が、図８に示すパラメータサブストリーム結合部５０６と異なる。
【０２５５】
図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部５０６Ｃの構成を示すブロック図である。なお、図１１と同様の要素には同一の符号を付しており、重複する説明は省略する。また、図２４では、上記パラメータサブストリームＰａｒａｓＢとＰａｒａｓＣとを結合する場合を示している。
【０２５６】
図２４に示すパラメータサブストリーム結合部５０６Ｃは、図１１に示す構成に加え、さらに、パラメータ基準統一部７５４を備える。
【０２５７】
このパラメータ基準統一部７５４は、複数のパラメータサブストリーム１１３が、異なるパラメータ表現基準で表現されている場合、複数のパラメータ７６１のパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータ７６２を生成する。
【０２５８】
パラメータ結合部７５５は、全統一パラメータ７６２を結合することにより結合パラメータ７６３を生成する。
【０２５９】
本発明において、そのようなハイブリッドパラメータ表現基準を持つストリームの結合プロセスは、次に述べる２原則に従って設計される。
【０２６０】
（１）過渡的なふるまいを可能な限り捉えること。
【０２６１】
（２）ダウンミックス信号の品質を劣化させないために、結合パラメータサブストリーム１２２のビット消費を妥当な値に保つこと。
【０２６２】
第２原則を利用するためには、パラメータサブストリーム１１３のビット消費の概算値を導き出す必要がある。Ｎ１個のオブジェクトに対するパラメータ表現を含むＰａｒａｓＢの例を検討する。この場合、ＯＬＤが（Ｎ１×Ｐ１×Ｑ１）個、ＮＲＧが（Ｐ１×Ｑ１）個、ＩＯＣが（Ｎ１×（Ｎ１−１）×Ｐ１×Ｑ１／２）個、ＤＭＧが（Ｎ１×Ｐ１×Ｑ１）個ある。パラメータタイプにかかわらず、同一のビットコストが当該パラメータに適用されるとする。結果的には、ヘッダ情報を無視することにより、ＰａｒａｓＢの総ビット消費ｂｉｔ＿ｃｏｕｎｔ１を下記（式１５）のように近似することができる。
【０２６３】
【数１５】
2010090019.tif 000017
【０２６４】
ゆえに、ハイブリッドパラメータ表現基準に対し、総ビット消費ｂｉｔ＿ｃｏｕｎｔｏｒｉｇは、下記（式１６）で表される。
【０２６５】
【数１６】
2010090019.tif 000018
【０２６６】
同様の方法で、以下のような異なる構成で表現される全パラメータに対し、考えうる３つのビットコストが下記（式１７）〜（式１９）を用いて算出される。
【０２６７】
（１）最大ビット消費（精細なパラメータ表現基準）
【０２６８】
【数１７】
2010090019.tif 000019
【０２６９】
（２）中程度のビット消費（パラメータセットを細分割する場合のみのパラメータ表現基準）
【０２７０】
【数１８】
2010090019.tif 000020
【０２７１】
（３）最小ビット消費（粗いパラメータ表現基準）
【０２７２】
【数１９】
2010090019.tif 000021
【０２７３】
上記に基づいて異なるパラメータ表現基準を統一するために、パラメータ表現基準間に知能スイッチを備える３つの統一方法を提案する。
【０２７４】
第１の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち精細なパラメータバンドＱ１と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２とを有する精細なパラメータ表現基準を採用することができる。
【０２７５】
この例では、図２５Ａに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ１）個のタイルを用いる精細な基準を統一基準として採用する。
【０２７６】
第２の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２を有する中程度のパラメータ表現基準を採用することができる。
【０２７７】
この例では、図２５Ｂに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ２）個のタイルを用いる中程度の基準を統一基準として採用する。
【０２７８】
第３の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち粗いパラメータセットＰ１を有する粗いパラメータ表現基準を採用することができる。
【０２７９】
この例では、図２５Ｃに示されるとおり、パラメータ基準統一部７５４は、（Ｐ１×Ｑ２）個のタイルを用いる粗い基準を統一基準として採用する。
【０２８０】
当然のことながら、パラメータ基準統一部７５４は、統一後のものと異なる基準のパラメータの全てを、統一後の基準に相当するまで拡大又は縮小する必要がある。
【０２８１】
パラメータ基準統一部７５４は、パラメータを拡大する場合、パラメータ表現基準を、古い大きなパラメータタイル基準から新しい小さなタイル基準へと、つまり、図２６Ａから図２６Ｂへと精細化する。古いタイル（ｌ，ｍ）が（ｌ’，ｍ’）から（ｌ’＋Δｌ，ｍ’＋Δｍ）の新しい小さいタイルをカバーする場合、古いタイルに定義されたパラメータは、新しいタイルへ複製される。例えば、パラメータ基準統一部７５４は、下記（式２０）を用いて新しいＯＬＤを算出する。
【０２８２】
【数２０】
2010090019.tif 000022
【０２８３】
ここで、ｉはオブジェクトインデックスである。
【０２８４】
また、ＩＯＣ、ＮＲＧ及びＤＭＧ等、他のパラメータタイプを有するパラメータも同様に精細化することができる。
【０２８５】
一方、パラメータを縮小するには、パラメータ表現基準を、複数の古い小さなタイルから１つの新しい大きなタイルへ、つまり図２６Ｂから図２６Ａへ平均化する。この場合、異なるパラメータタイプは異なる平均化方法で平均化される。
【０２８６】
例えば、パラメータ基準統一部７５４は、タイル（ｌ，ｍ）上の新しいＮＲＧパラメータを、下記（式２１）を用いて算出できる。
【０２８７】
【数２１】
2010090019.tif 000023
【０２８８】
これに基づき、パラメータ基準統一部７５４は、新しいＯＬＤパラメータを、下記（式２２）を用いて算出できる。
【０２８９】
【数２２】
2010090019.tif 000024
【０２９０】
また、パラメータ基準統一部７５４は、新しいＩＯＣパラメータを、下記（式２３）を用いて算出できる。
【０２９１】
【数２３】
2010090019.tif 000025
【０２９２】
また、パラメータ基準統一部７５４は、新しいＤＭＧパラメータを、下記（式２４）及び（式２５）のいずれかを用いて算出できる。
【０２９３】
【数２４】
2010090019.tif 000026
【０２９４】
あるいは、加重平均を用いる場合は、パラメータ基準統一部７５４は、下記（式２５）を用いて新しいＤＭＧパラメータを算出できる。
【０２９５】
【数２５】
2010090019.tif 000027
【０２９６】
ここで、Ｓ（ｕ，ｖ）は、タイル（ｕ，ｖ）の領域を表す。
【０２９７】
以上により、本発明の実施の形態３に係るＭＣＵ３０５Ｃは、異なる基準で表現されたパラメータを結合できる。
【０２９８】
（実施の形態４）
本発明の実施の形態４では、実施の形態３に係るＭＣＵ３０５Ｃの変形例について説明する。本発明の実施の形態４に係るＭＣＵ３０５Ｄは、統一されたパラメータ表現基準を相互作用的に切り替える能力を有する。
【０２９９】
図２７は、本発明の実施の形態４に係るＭＣＵ３０５Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同一の符号を付しており、重複する説明は省略する。
【０３００】
図２７に示すＭＣＵ３０５Ｄは、図２３の構成に加え、さらに、パラメータ基準選択部５０２を備える。また、パラメータサブストリーム結合部５０６Ｄの構成が、図２３に示すパラメータサブストリーム結合部５０６Ｃと異なる。
【０３０１】
パラメータ基準選択部５０２は、複数のパラメータ表現基準のうち一つを選択し、選択したパラメータ表現基準を示す選択信号５１１をパラメータサブストリーム結合部５０６へ出力する。例えば、パラメータ基準選択部５０２は、図２５Ａ〜図２５Ｃに示す３つのパラメータ表現基準（詳細なパラメータ表現基準、中程度のパラメータ表現基準及び粗いパラメータ表現基準）のうち一つを選択する。
【０３０２】
具体的には、パラメータ基準選択部５０２は、基準切り替えのメカニズムを、例えば、ＭＣＵ３０５Ｄから複数のサイト３０１への送信に用いることができる現在のビットレート５１０、又は対応する結合パラメータサブストリーム１２２のビットコストに応じて決定することができる。これは、以下にあげる３つのステップを通して実現可能である。
【０３０３】
（１）まず、ＭＣＵ３０５Ｄが結合ストリームを受信サイトに配信する際、高いビットレートを利用可能な場合、又は最大ビット消費が妥当である場合は、パラメータ基準選択部５０２は、詳細なパラメータ表現基準を選択する。これは、下記（式２６）のように表される。
【０３０４】
【数２６】
2010090019.tif 000028
【０３０５】
ここで、ｂｒは実際のＭＣＵ配信ビットレートを表し、ｂ０は結合ストリーム配信のために予め定義された高いビットレートを表し、ｂ１は予め定義された低いビットレート値を表し、ｃは予め定義された閾値、例えば、１．５〜２．０の間の実数を表す。
【０３０６】
（２）上記条件が満たされなかった場合には、パラメータ基準選択部５０２は、ＭＣＵ配信のために認められたビットレート条件が厳しすぎるかどうか、又は、中程度のビット消費が妥当かどうかをテストする。すなわち、パラメータ基準選択部５０２は、下記（式２７）が満たされるか否かを判定する。
【０３０７】
【数２７】
2010090019.tif 000029
【０３０８】
上記に当てはまる場合、パラメータ基準選択部５０２は、中程度のパラメータ表現基準を選択する。
【０３０９】
（３）上記条件のいずれも満たさない場合は、統一パラメータ表現基準は、パラメータ基準選択部５０２は、粗いパラメータ表現基準を選択する。
【０３１０】
なお、パラメータ基準選択部５０２は、ビットレート及びビットコストの両方に基づき、パラメータ表現基準を選択してもよいし、ビットレート及びビットコストの一方のみに基づき、パラメータ表現基準を選択してもよい。
【０３１１】
図２８は、パラメータサブストリーム結合部５０６Ｄの構成を示す図である。なお、図２４と同様の要素には同一の符号を付しており、重複する説明は省略する。また、４つのサイトを接続する遠隔会議システムにおいて、アクティブサイトがサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。また、図２８は、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
【０３１２】
図２８に示すパラメータサブストリーム結合部５０６Ｄでは、パラメータ基準統一部７５４Ｄの構成が、図２４に示すパラメータ基準統一部７５４と異なる。
【０３１３】
パラメータ基準統一部７５４Ｄは、選択信号５１１で示されるパラメータ表現基準に、複数のパラメータ７６１を変換することにより統一パラメータ７６２を生成する。
【０３１４】
以上より、本発明の実施の形態４に係るＭＣＵ３０５Ｄは、ビットレート又はビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリーム１１３を効率的に統合できる。
【０３１５】
以上、本発明の実施の形態に係る結合装置及び遠隔通信システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０３１６】
例えば、上記実施の形態１〜４では、ダウンミックスサブストリーム結合部５０４又は５０４Ｂが、複数のダウンミックスサブストリーム１１５をＭＤＣＴドメイン（スペクトルドメイン）において結合する例を述べたが、図４に示す従来例のように、複数のダウンミックスサブストリーム１１５を時間ドメインで結合してもよい。
【０３１７】
また、上記実施の形態１〜４に係る結合装置、符号化装置及び復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０３１８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３１９】
また、本発明の実施の形態１〜４に係る、結合装置、符号化装置及び復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０３２０】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０３２１】
また、上記実施の形態１〜４に係る、遠隔通信システム、結合装置、符号化装置、復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０３２２】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０３２３】
また、上記の結合装置による結合方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る結合装置による結合方法は、上記に限定されるものではない。例えば、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０３２４】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０３２５】
本発明は、結合装置に適用できる。また、本発明は、当該結合装置を用いる遠隔会議システムに適用できる。
【符号の説明】
【０３２６】
１００  符号化装置
１０１、２０２  Ｔ−Ｆ変換部
１０２  アナライザ
１０２Ａ  ダウンミックス部
１０２Ｂ  パラメータ抽出部
１０３、２０４  Ｆ−Ｔ変換部
１０４  ダウンミックスエンコーダ
１１０  オーディオ入力信号
１１１  周波数信号
１１２  中間ダウンミックス信号
１１３、ＰａｒａｓＡ、ＰａｒａｓＢ、ＰａｒａｓＣ、ＰａｒａｓＤ  パラメータサブストリーム
１１４  ダウンミックス時間信号
１１５、ＤｍｘＡ、ＤｍｘＢ、ＤｍｘＣ、ＤｍｘＤ  ダウンミックスサブストリーム
１１６  符号化ビットストリーム
１２１、ＤｍｘＡＢＣ、ＤｍｘＡＢＤ、ＤｍｘＡＣＤ、ＤｍｘＢＣＤ、ＤｍｘＡＢ、ＤｍｘＡＣ、ＤｍｘＢＣ  結合ダウンミックスサブストリーム
１２２、ＰａｒａｓＡＢＣ、ＰａｒａｓＡＢＤ、ＰａｒａｓＡＣＤ、ＰａｒａｓＢＣＤ、ＰａｒａｓＡＢ、ＰａｒａｓＡＣ、ＰａｒａｓＢＣ  結合パラメータサブストリーム
１２３、１２３Ａ、１２３Ｂ、１２３Ｄ  補助情報
１２４  結合ビットストリーム
２００、２００Ｂ  復号装置
２０１  ダウンミックスデコーダ
２０３  パラメータ合成部
２０５  パラメータ変換部
２１３  時間信号
２１４  周波数信号
２１５  変換信号
２１６  オーディオ出力信号
３００、３００Ａ、３００Ｂ  遠隔通信システム
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ、３０１Ｄ  サイト
３０５、３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ  ＭＣＵ
４０１、４０２、４０３  パラメトリックデコーダ
４０４、７０４  加算部
４０５  パラメトリックエンコーダ
４１１Ｂ、４１１Ｃ、４１１Ｄ  復号信号
４１２  加算信号
５０１  検出部
５０２  パラメータ基準選択部
５０４、５０４Ｂ  ダウンミックスサブストリーム結合部
５０６、５０６Ｂ、５０６Ｃ、５０６Ｄ  パラメータサブストリーム結合部
５０７  補助情報生成部
５０８  送信部
５１０  ビットレート
５１１  選択信号
６０１  ＭＤＣＴ変換部
６０２  符号化部
６０３  制御部
６１１、７１０、ｃｏｅｆＢ、ｃｏｅｆＣ、ｃｏｅｆＤ  ＭＤＣＴ係数セット
７００  復号部
７０１、７０２、７０３  逆符号化部
７０５  スケーリング部
７０６  符号化部
７１１、７１２、ｃｏｅｆＢＣＤ  結合ＭＤＣＴ係数セット
７５０  逆量子化部
７５４、７５４Ｄ  パラメータ基準統一部
７５５  パラメータ結合部
７５６  パラメータ更新部
７５７  量子化部
７６１  パラメータ
７６２  統一パラメータ
７６３、７６４  結合パラメータ
７６５  更新パラメータ
【図１】
2010090019.tif 000030
【図２】
2010090019.tif 000031
【図３】
2010090019.tif 000032
【図４】
2010090019.tif 000033
【図５】
2010090019.tif 000034
【図６】
2010090019.tif 000035
【図７】
2010090019.tif 000036
【図８】
2010090019.tif 000037
【図９】
2010090019.tif 000038
【図１０】
2010090019.tif 000039
【図１１】
2010090019.tif 000040
【図１２】
2010090019.tif 000041
【図１３】
2010090019.tif 000042
【図１４】
2010090019.tif 000043
【図１５】
2010090019.tif 000044
【図１６】
2010090019.tif 000045
【図１７】
2010090019.tif 000046
【図１８】
2010090019.tif 000047
【図１９】
2010090019.tif 000048
【図２０】
2010090019.tif 000049
【図２１】
2010090019.tif 000050
【図２２Ａ】
2010090019.tif 000051
【図２２Ｂ】
2010090019.tif 000052
【図２３】
2010090019.tif 000053
【図２４】
2010090019.tif 000054
【図２５Ａ】
2010090019.tif 000055
【図２５Ｂ】
2010090019.tif 000056
【図２５Ｃ】
2010090019.tif 000057
【図２６Ａ】
2010090019.tif 000058
【図２６Ｂ】
2010090019.tif 000059
【図２７】
2010090019.tif 000060
【図２８】
2010090019.tif 000061
【手続補正書】
【提出日】平成22年8月18日(2010.8.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結合装置、遠隔通信システム及び結合方法に関し、特に、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含み、複数のサイトの各々から送信される複数の符号化ビットストリームを結合する結合装置に関する。
【背景技術】
【０００２】
近年、パラメトリック符号化技術は、その高い符号化効率及び音像再生という利点のため、オーディオ符号化分野において非常に積極的に発展している。伝統的な波形符号化方法と比較すると、パラメトリック符号化方法は、人間の聴覚システムの限界を広げるだけでなく、サウンドシーン特性を捉えることによってオーディオ入力信号をモデル化できる。当該技術分野において周知の技術には、パラメトリックステレオ及びＭＰＥＧサラウンドに関連する符号化方法等がある。
【０００３】
典型的なパラメトリック符号化装置１００を図１に示す。図１に示すパラメトリック符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。
【０００４】
Ｔ−Ｆ変換部１０１は、時間信号である複数のオーディオ入力信号１１０を複数の周波数信号１１１に変換する。
【０００５】
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。
【０００６】
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラル又はステレオの中間ダウンミックス信号１１２を生成する。パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からパラメータを抽出し、抽出したパラメータを含むパラメータサブストリーム１１３を出力する。
【０００７】
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。
【０００８】
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を圧縮し、圧縮した信号を含むダウンミックスサブストリーム１１５を出力する。
【０００９】
このように、当該パラメトリック符号化されたオーディオストリームは、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを含む。
【００１０】
なお、実際には、この２つのサブストリームは、単一のオーディオストリームに多重化される。しかし、後述の説明を分かりやすくするために、エンコーダにおける多重化処理及びデコーダにおける逆多重化処理については説明を省略する。
【００１１】
典型的なパラメトリック復号装置２００を図２に示す。このパラメトリック復号装置２００は、ダウンミックスデコーダ２０１と、Ｔ−Ｆ変換部２０２と、パラメータ合成部２０３と、Ｆ−Ｔ変換部２０４とを備える。
【００１２】
ダウンミックスデコーダ２０１は、受信したダウンミックスサブストリーム１１５を、モノラル又はステレオの時間信号２１３に復号する。
【００１３】
Ｔ−Ｆ変換部２０２は、時間信号２１３を、パラメトリック分析ドメインに再度変換することにより周波数信号２１４を生成する。
【００１４】
パラメータ合成部２０３は、受信したパラメータサブストリーム１１３から導かれる情報に従って周波数信号２１４を合成することにより複数の変換信号２１５を生成する。
【００１５】
Ｆ−Ｔ変換部２０４は、変換信号２１５を、時間ドメインへ逆変換することにより複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、単一の信号入力としての同一の空間的音像を知覚的に表す。
【００１６】
上述の符号化手順は、パラメトリックエンコーダの２つの特徴を示す。すなわちそれらは、送信チャネル数の削減から得られる高い符号化効率と、空間的に関連するパラメータの合成によって実現されるリアルなアコースティックシーンの再構築である。
【００１７】
これら２つの特徴のため、パラメトリックエンコーダは、遠隔通信システムにおいて特に好んで採用される。そのようなシステムにおける各通信サイトは、複数話者からの複数のオーディオ入力信号１１０を入力とし、通常、遠隔地においてもリアルな臨場感が得られる効果を期待できる。
【００１８】
図３は、４つの遠隔会議サイト３０１Ａ〜３０１Ｄを含む遠隔通信システム３００を示す図である。なお、サイト３０１Ａ〜３０１Ｄを特に区別しない場合には、サイト３０１と記す。
【００１９】
各サイト３０１（例えば、サイト３０１Ａ）で、パラメトリックコーデックが採用される。当該サイト３０１は、取得したオーディオ入力信号１１０の全てをパラメトリック符号化することにより、符号化ビットストリーム１１６（ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを含む）を生成する。また、生成された符号化ビットストリーム１１６は、他の３つのサイト３０１Ｂ〜３０１Ｄに送信される。
【００２０】
一方、各サイト３０１は、受信した符号化ビットストリーム１１６をそれぞれパラメトリック復号する（当該符号化ビットストリーム１１６は、３つのダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ、及びＤｍｘＤと、３つのパラメータサブストリームＰａｒａｓＢ、ＰａｒａｓＣ、及びＰａｒａｓＤとを含む）。
【００２１】
しかしながら、一般的に、セットアップ要求を満たしつつ送信帯域を妥当な程度に低く保つためには、複数の送信サイトから複数の符号化ビットストリーム１１６を単一の受信サイトへの直接送信することは困難である。よって、各サイト３０１が確実に単一のオーディオストリームのみを受信し送信するために、結合装置（多地点接続装置：ＭＣＵ３０５）が導入されて全サイト３０１Ａ〜３０１Ｄに接続されている。
【００２２】
このＭＣＵ３０５は、各サイト３０１のために、演算上効率がよい方法で、受信した複数の符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合する。理想的には、結合ビットストリーム１２４は、あたかも、他のサイト３０１からの複数の符号化ビットストリーム１１６の全てが、単一の仮想サイトにおいて符号化されたようなストリームに近似されるべきである。
【００２３】
これを実現するため、図４に示すような単純な結合方法を設計可能である。図４は、ＭＣＵ３０５の機能構成を示すブロック図である。図４に示すようにＭＣＵ３０５は、３つの独立したパラメトリックデコーダ４０１〜４０３と、加算部４０４と、パラメトリックエンコーダ４０５とを備える。
【００２４】
３つのパラメトリックデコーダ４０１〜４０３は、各サイト３０１（例えば、サイト３０１Ａ）のために、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）からの符号化ビットストリーム１１６の全てを復号することにより、時間ドメインの復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄを生成する。
【００２５】
加算部４０４は、生成された復号信号４１１Ｂ、４１１Ｃ及び４１１Ｄ加算することにより加算信号４１２を生成する。
【００２６】
パラメトリックエンコーダ４０５は、加算信号４１２を再符号化することにより結合ビットストリーム１２４を生成する。
【００２７】
このような単純なケースでさえも、Ｎ個のサイトを接続する遠隔通信システムにおいて、ＭＣＵ３０５がＮ個の独立したタンデムパラメトリック復号及び符号化するプロセスを必要とすることが分かる。その結果、ＭＣＵ３０５の演算量が多くなり、これにより信号伝送の遅延量が増加する。また、この演算量は、サイト数の増加にともなって線形的に増加する。よって、ＭＣＵ３０５で、リアルタイム処理を要するアプリケーションを実行することが困難である。
【００２８】
また、遅延時間が少なく演算量が少ないＭＣＵ３０５を設計するには、パラメトリック符号化の利点をさらに利用する必要がある。つまり、そのオーディオストリームフォーマットは、演算上効率的な方法で２つ以上のストリームを単一の信号ストリームに結合する機能を実現可能にする。より詳しくは、当該ダウンミックスサブストリームをダウンミックス符号化ドメインにおいて結合することが可能であり、パラメータサブストリームをパラメータ分析ドメインにおいて結合することが可能である。
【００２９】
効率的なＭＣＵの設計を扱う同様の方法が従来技術にもいくつかある。
【００３０】
例えば、特許文献１は、複数のパラメトリック符号化オーディオ信号を効率的に結合する方法を提案している。しかしながら、特許文献１においては、簡潔さを追求するために、ダウンミックス結合とパラメータ結合とは独立している。さらに、当該ダウンミックス結合方法においては、非常におおざっぱな結合方法を用いた偏った方法が示されているだけである。また、当該パラメータ結合方法においては、異なるパラメータ分析ドメインを用いる際の課題への対処がなされていない。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】米国特許出願公開第２００８／０００８３２３号明細書
【非特許文献】
【００３２】
【非特許文献１】Ｓ．−Ｗ．Ｈｕａｎｇら、  「Ａ  ｌｏｗ  ｃｏｍｐｌｅｘｉｔｙ  ｄｅｓｉｇｎ  ｏｆ  ｐｓｙｃｈｏ−ａｃｏｕｓｔｉｃ  ｍｏｄｅｌ  ｆｏｒ  ＭＰＥＧ−２／４  ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  ｃｏｎｓｕｍｅｒ  ｅｌｅｃｔｒｏｎｉｃｓ，  Ｎｏｖ．  ２００４
【非特許文献２】Ｔ−Ｈ  Ｔｓａｉら、  「Ａｎ  ＭＤＣＴ−ｂａｓｅｄ  ｐｓｙｃｈｏａｃｏｕ−ｓｔｉｃ  ｍｏｄｅｌ  ｃｏ−ｐｒｏｃｅｓｓｏｒ  ｄｅｓｉｇｎ  ｆｏｒ  ＭＰＥＧ−２／４  ＡＡＣ  ａｕｄｉｏ  ｅｎｃｏｄｅｒ」、Ｐｒｏｃ．  Ｏｆ  ｔｈｅ  ７ｔｈ  Ｉｎｔ．  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｄｉｇｉｔａｌ  ａｕｄｉｏ  ｅｆｆｅｃｔｓ，２００４
【非特許文献３】Ｉ．Ｄｉｍｋｏｖｉａｅら、「Ｆａｓｔ  ｓｏｆｔｗａｒｅ  ｉｍｐｌｅｍｅｎ−ｔａｔｉｏｎ  ｏｆ  ＭＰＥＧ  ａｄｖａｎｃｅｄ  ａｕｄｉｏ  ｅｎｃｏｄｅｒ」、  １４ｔｈ  Ｉｎｔ．Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ＤＳＰ，２００２
【発明の概要】
【発明が解決しようとする課題】
【００３３】
パラメトリックオーディオ符号化方法は、その高い符号化効率及びサウンドシーン再生という特徴のために、実際の通信システムにおいて好まれる。このシナリオを実現するためには、ある実務的な課題に取り組まなければならない。すなわち、パラメトリック符号化された複数のオーディオストリームを、いかにして低演算量で単一のストリームに結合するかという課題である。
【００３４】
そこで、本発明は、演算量を低減できる結合装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記目的を達成するために、本発明の一形態に係る結合装置は、複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える。
【００３６】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては結合処理を行わない。このように、本発明の一形態に係る結合装置は、各サイトがアクティブであるか否かを考慮することによって演算量を低減できる。
【００３７】
また、前記第１結合部は、前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備えてもよい。
【００３８】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブな符号化ビットストリームに対しては復号処理を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。
【００３９】
また、前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、（１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、（２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、（３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信してもよい。
【００４０】
この構成によれば、本発明の一形態に係る結合装置は、非アクティブなサイトが複数存在する場合、当該複数の非アクティブなサイトに対して、共通の結合ビットストリームを送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
【００４１】
また、前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信してもよい。
【００４２】
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが２個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
【００４３】
また、前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信してもよい。
【００４４】
この構成によれば、本発明の一形態に係る結合装置は、アクティブサイトが１個の場合、当該アクティブサイトから送信された符号化ビットストリームをそのまま送信する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量を低減できる。
【００４５】
また、前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出してもよい。
【００４６】
この構成によれば、本発明の一形態に係る結合装置は、パラメータストリームに含まれる情報を用いて、アクティブ符号化ビットストリームを容易に検出できる。
【００４７】
また、前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、前記単一の結合ダウンミックスサブストリームを生成し、前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、前記単一の結合パラメータサブストリームを生成し、前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信してもよい。
【００４８】
この構成によれば、本発明の一形態に係る結合装置は、全サイトで共用される単一の結合ビットストリームのみを生成する。これにより、本発明の一形態に係る結合装置は、結合処理の回数を削減できるので、演算量をさらに低減できる。
【００４９】
また、前記結合装置は、さらに、前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信してもよい。
【００５０】
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
【００５１】
また、前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成してもよい。
【００５２】
この構成によれば、各サイトは、本発明の一形態に係る結合装置により送信された補助情報を用いてパラメータを更新することにより、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
【００５３】
また、前記第２結合部は、前記複数のパラメータサブストリームが、異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成してもよい。
【００５４】
この構成によれば、本発明の一形態に係る結合装置は、複数のパラメータサブストリームが異なるパラメータ表現基準で表現されている場合でも、効率的に結合パラメータサブストリームを生成できる。
【００５５】
また、前記結合装置は、さらに、当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。
【００５６】
この構成によれば、本発明の一形態に係る結合装置は、ビットレートを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。
【００５７】
また、前記結合装置は、さらに、前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備えてもよい。
【００５８】
この構成によれば、本発明の一形態に係る結合装置は、ビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリームを効率的に統合できる。
【００５９】
また、前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成してもよい。
【００６０】
この構成によれば、本発明の一形態に係る結合装置は、符号化ビットストリームを時間ドメインまで復号しない。つまり、本発明の一形態に係る結合装置は、時間−周波数変換及びその逆変換を行わない。これにより、本発明の一形態に係る結合装置は、演算量を低減できる。
【００６１】
また、前記第１結合部は、さらに、前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成してもよい。
【００６２】
この構成によれば、本発明の一形態に係る結合装置は、複数の復号ダウンミックスサブストリームのスペクトルパワーを中間結合ダウンミックスサブストリームにおいて保存できる。
【００６３】
また、前記第２結合部は、複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備えてもよい。
【００６４】
この構成によれば、本発明の一形態に係る結合装置は、パラメータのうちのいくつかを、パラメトリック分析ドメインにおいて結合するとともに更新する。これにより、本発明の一形態に係る結合装置では、パラメータはダウンミックスサブストリームの結合方法と合致する。
【００６５】
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む。
【００６６】
この構成によれば、本発明の一形態に係る遠隔通信システムは、非アクティブな符号化ビットストリームに対しては結合処理を行わない。これにより、本発明の一形態に係る遠隔通信システムは、結合装置の演算量を低減できる。
【００６７】
また、本発明の一形態に係る遠隔通信システムは、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する前記結合装置とを含み、前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する。
【００６８】
この構成によれば、本発明の一形態に係る遠隔通信システムでは、各サイトは、結合装置により送信された補助情報を用いて、自サイトが送信した符号化ビットストリームの信号成分を除外できる。
【００６９】
なお、本発明は、このような結合装置及び遠隔通信システムとして実現できるだけでなく、結合装置に含まれる特徴的な手段をステップとする結合方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００７０】
さらに、本発明は、このような結合装置又は遠隔通信システムの機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
【発明の効果】
【００７１】
以上より、本発明は、少ない遅延と少ない演算量を実現しながら複数のパラメトリック符号化オーディオストリームを結合する結合装置を提供できる。この特徴は、複数のサイトを接続する遠隔会議システムのような複数サイト間通信システムをリアルタイムで利用するには非常に魅力的な特徴である。
【図面の簡単な説明】
【００７２】
【図１】図１は、一般的なパラメトリック符号化装置のブロック図である。
【図２】図２は、一般的なパラメトリック復号装置のブロック図である。
【図３】図３は、従来の遠隔通信システムの構成を示す図である。
【図４】図４は、従来のＭＣＵのブロック図である。
【図５】図５は、本発明の実施の形態１に係る遠隔通信システムの構成を示す図である。
【図６】図６は、本発明の実施の形態１に係る、パラメトリックオーディオ符号化におけるパラメータ表現基準を示す図である。
【図７】図７は、本発明の実施の形態１に係るダウンミックスエンコーダのブロック図である。
【図８】図８は、本発明の実施の形態１に係るＭＣＵのブロック図である。
【図９】図９は、本発明の実施の形態１に係るダウンミックスサブストリーム結合部のブロック図である。
【図１０】図１０は、本発明の実施の形態１に係るＱＭＦドメインからＭＤＣＴドメインへの周波数マッピング方法を示す図である。
【図１１】図１１は、本発明の実施の形態１に係るパラメータサブストリーム結合部のブロック図である。
【図１２】図１２は、本発明の実施の形態１に係るＭＣＵの処理量を示す図である。
【図１３】図１３は、本発明の実施の形態１に係るＭＣＵによる結合処理のフローチャートである。
【図１４】図１４は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが１個の場合の動作を示す図である。
【図１５】図１５は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが２個の場合の動作を示す図である。
【図１６】図１６は、本発明の実施の形態１に係るＭＣＵのアクティブサイトが３個の場合の動作を示す図である。
【図１７】図１７は、本発明の実施の形態２に係るＭＣＵのブロック図である。
【図１８】図１８は、本発明の実施の形態２に係るＭＣＵの動作を示す図である。
【図１９】図１９は、本発明の実施の形態２に係るＭＣＵによる結合処理のフローチャートである。
【図２０】図２０は、本発明の実施の形態２に係るＭＣＵの処理量を示す図である。
【図２１】図２１は、本発明の実施の形態２に係るパラメトリック復号装置のブロック図である。
【図２２Ａ】図２２Ａは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。
【図２２Ｂ】図２２Ｂは、本発明の実施の形態２に係る、パラメータ基準の一例を示す図である。
【図２３】図２３は、本発明の実施の形態３に係るＭＣＵのブロック図である。
【図２４】図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部のブロック図である。
【図２５Ａ】図２５Ａは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２５Ｂ】図２５Ｂは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２５Ｃ】図２５Ｃは、本発明の実施の形態３に係る、統一パラメータ基準の一例を示す図である。
【図２６Ａ】図２６Ａは、本発明の実施の形態３に係る、パラメータ基準を示す図である。
【図２６Ｂ】図２６Ｂは、本発明の実施の形態３に係る、パラメータ基準を示す図である。
【図２７】図２７は、本発明の実施の形態４に係るＭＣＵのブロック図である。
【図２８】図２８は、本発明の実施の形態４に係るパラメータサブストリーム結合部のブロック図である。
【発明を実施するための形態】
【００７３】
以下に記載する実施の形態は、本発明に係るさまざまな進歩性の原理を単に例示するものである。ここに記載する詳細な内容を多様に変形しうることは当業者にとって自明であると解釈される。それゆえ、本発明の範囲は、ここに記載する具体的かつ説明的な内容によってではなく、請求の範囲によってのみ限定されるものである。
【００７４】
本発明に係るＭＣＵを用いた方法を、４つのサイトを接続する遠隔会議システム（遠隔通信システム）を例にとって以下に説明する。さらに多くのサイトを接続する遠隔会議システムをおこなう場合のＭＣＵについては、このケースから簡単に一般化することができる。
【００７５】
また、以下に記載する実施の形態においては、従来のパラメトリック符号化方法によって符号化されたオーディオストリームの結合について詳細に述べる。説明を簡単にするため、ダウンミックス信号は、ＡＡＣエンコーダで符号化されるモノラル信号であるとする。なお、以下に示す複数の実施の形態は、他のパラメトリック符号化ビットストリームフォーマットをサポートするために一般化できる。
【００７６】
（実施の形態１）
図５は、本発明の実施の形態１に係る遠隔通信システム３００Ａの構成を示す図である。
【００７７】
遠隔通信システム３００Ａは、例えば、遠隔会議システムである。この遠隔通信システム３００Ａは、４つのサイト３０１（３０１Ａ〜３０１Ｄ）と、多地点接続装置である結合装置（ＭＣＵ３０５Ａ）とを含む。また、４つのサイト３０１と、ＭＣＵ３０５Ａとは、ネットワークを介して接続されている。
【００７８】
各サイト３０１は、それぞれ、図１に示す符号化装置１００及び図２に示す復号装置２００を備える。
【００７９】
各符号化装置１００は、当該サイト３０１に接続された複数のマイクにより取得された複数のオーディオ入力信号１１０をパラメトリック符号化することにより、ダウンミックスサブストリーム１１５と、パラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。ダウンミックスサブストリーム１１５は、複数のオーディオ入力信号１１０がダウンミックスされた信号であり、パラメータサブストリーム１１３は、ダウンミックスサブストリーム１１５を複数のオーディオ入力信号に復元するための情報である。
【００８０】
また、各符号化装置１００は、生成した符号化ビットストリーム１１６をＭＣＵ３０５Ａへ送信する。
【００８１】
例えば、複数のオーディオ入力信号１１０の各々は、複数の話者の各々の音声に対応する。
【００８２】
ＭＣＵ３０５Ａは、複数のサイト３０１により送信された複数の符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成する。この結合ビットストリーム１２４は、結合ダウンミックスサブストリーム１２１と結合パラメータサブストリーム１２２とを含む。また、ＭＣＵ３０５Ａは、生成した結合ビットストリーム１２４を複数のサイト３０１へ送信する。
【００８３】
具体的には、ＭＣＵ３０５Ａは、各サイト３０１に対して、当該サイト３０１以外のサイトから送信された符号化ビットストリーム１１６を結合することにより結合ビットストリーム１２４を生成し、生成した結合ビットストリーム１２４を当該サイト３０１へ送信する。
【００８４】
例えば、ＭＣＵ３０５Ａは、サイト３０１Ａに対して、サイト３０１Ｂ〜３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ビットストリーム１２４（結合ダウンミックスサブストリームＤｍｘＢＣＤ及び結合パラメータサブストリームＰａｒａｓＢＣＤを含む）を生成し、当該結合ビットストリーム１２４をサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、サイト３０１Ｂに対しては、サイト３０１Ａ、３０１Ｃ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣＤ及び結合パラメータサブストリームＰａｒａｓＡＣＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｃに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｄから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、ＭＣＵ３０５Ａは、サイト３０１Ｄに対しては、サイト３０１Ａ、３０１Ｂ及び３０１Ｃから送信された符号化ビットストリーム１１６を結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成する。
【００８５】
また、各サイト３０１の復号装置２００は、ＭＣＵ３０５Ａから送信された結合ビットストリーム１２４を復号することにより、複数のオーディオ出力信号２１６を生成する。この複数のオーディオ出力信号２１６は、当該サイト３０１に接続された複数のスピーカにより出力される。
【００８６】
図１に示される符号化装置１００を以下詳細に説明する。
【００８７】
図１に示す符号化装置１００は、複数のオーディオ入力信号１１０をパラメトリック符号化することにより、モノラルのダウンミックスサブストリーム１１５とパラメータサブストリーム１１３とを含む符号化ビットストリーム１１６を生成する。
【００８８】
この符号化装置１００は、Ｔ−Ｆ（時間−周波数）変換部１０１と、アナライザ１０２と、Ｆ−Ｔ（周波数−時間）変換部１０３と、ダウンミックスエンコーダ１０４とを備える。
【００８９】
Ｔ−Ｆ変換部１０１は、時間ドメインの複数のオーディオ入力信号１１０をハイブリッドドメインの複数の周波数信号１１１に変換する。
【００９０】
例えば、サイト３０１Ａから、ＮＡ個のオーディオ入力信号１１０がパラメトリック符号化装置１００に入力されるとする。Ｔ−Ｆ変換部１０１は、ＮＡ個のオーディオ入力信号１１０を、効率のよい非均一周波数解像度を用いて、下記（式１）で表されるハイブリッドドメインのＮＡ個の周波数信号１１１に変換する。
【００９１】
【数１】
2010090019.tif 000062
【００９２】
ここで、ｎは、時間を示すタイムスロットインデックスである。また、ｋは、周波数を示すハイブリッドバンドインデックスである。
【００９３】
アナライザ１０２は、変換された周波数信号１１１を２つの方法で分析する。このアナライザ１０２は、ダウンミックス部１０２Ａと、パラメータ抽出部１０２Ｂとを備える。
【００９４】
ダウンミックス部１０２Ａは、複数の周波数信号１１１からモノラルの中間ダウンミックス信号１１２を生成する。
【００９５】
パラメータ抽出部１０２Ｂは、複数の周波数信号１１１からオブジェクトパラメータを抽出する。また、パラメータ抽出部１０２Ｂは、抽出したオブジェクトパラメータを量子化することによりパラメータサブストリーム１１３を生成する。
【００９６】
具体的には、パラメータ抽出部１０２Ｂは、オブジェクトパラメータを、聴覚心理モデルに基づいて決定した時間周波数解析の解像度で、時間−周波数関数として分析する。例えば、パラメータ抽出部１０２Ｂは、ハイブリッドドメイン全体を、図６に示されるように、Ｐ×Ｑ個のパラメータタイルにグループ化する。また、人間の聴覚システムの周波数解像度に近似させるためには、全周波数帯域をカバーするパラメータバンドｍの数Ｑは、２、３個のみ（低いビットレートを適用する場合）から２８個まで（高品質処理をおこなう場合）の任意の数に設定できる。また、過渡的なふるまいを改善するために分離されたパラメータセットｌは、固定時間セグメント（約２０〜３０ｍｓ）をカバーする。
【００９７】
また、ダウンミックス部１０２Ａは、中間ダウンミックス信号１１２に含まれる、パラメータタイル（ｌ，ｍ）（ｌ＝１，・・・，Ｐ；ｍ＝１，・・・，Ｑ）ごとのダウンミックス信号成分を、下記（式２）に従って生成する。
【００９８】
【数２】
2010090019.tif 000063
ここで、ｄｉ（ｌ，ｍ）は、各オーディオ入力信号１１０（各周波数信号１１１）用に予め決定されたスケールファクタである。また、ファクタｅ（ｌ，ｍ）は、信号成分のパワーを調整するために用いられる。すなわち、中間ダウンミックス信号１１２における信号成分のパワーが、スケーリング済みの全周波数信号１１１のパワーと概ね同じになるように演算される。つまり、下記（式３）の関係が満たされるようにｅ（ｌ，ｍ）が決定される。
【００９９】
【数３】
2010090019.tif 000064
【０１００】
Ｆ−Ｔ変換部１０３は、中間ダウンミックス信号１１２の全信号成分を、時間ドメインに逆変換することにより、ダウンミックス時間信号１１４を生成する。
【０１０１】
ダウンミックスエンコーダ１０４は、ダウンミックス時間信号１１４を符号化することによりダウンミックスサブストリーム１１５を生成する。
【０１０２】
また、パラメータ抽出部１０２Ｂは、パラメータタイル（ｌ，ｍ）ごとに、オブジェクトパラメータを抽出する。典型的には、このオブジェクトパラメータはそれぞれ以下を含む。
【０１０３】
（ａ）オブジェクトレベル差（ＯＬＤ）：複数の周波数信号１１１間の、対応するパラメータタイルにおけるパワー比を示す。
【０１０４】
（ｂ）絶対エネルギーパラメータ（ＮＲＧ）：複数の周波数信号１１１のうち、最大エネルギーを有する周波数信号１１１の絶対オブジェクトエネルギーを示す。
【０１０５】
（ｃ）オブジェクト間の相互相関（ＩＯＣ）：複数の周波数信号間の、対応するパラメータタイルの類似度を示す。
【０１０６】
（ｄ）ダウンミックスゲイン（ＤＭＧ）：対応するパラメータタイルをダウンミックス処理する際のゲインを示す。
【０１０７】
例えば、パラメータ抽出部１０２Ｂは、これらのパラメータを、下記（式５）〜（式９）を用いて算出する。
【０１０８】
【数４】
2010090019.tif 000065
【０１０９】
【数５】
2010090019.tif 000066
【０１１０】
【数６】
2010090019.tif 000067
【０１１１】
【数７】
2010090019.tif 000068
【０１１２】
また、パラメータ抽出部１０２Ｂは、このオブジェクトパラメータを、他のヘッダ情報とともに量子化することによりパラメータサブストリーム１１３を生成する。
【０１１３】
同様の符号化手順に従って、他のサイト３０１（サイト３０１Ｂ、３０１Ｃ及び３０１Ｄ）も、ダウンミックスサブストリーム１１５とそれに対応するパラメータサブストリーム１１３とを生成する。
【０１１４】
次に、ダウンミックスエンコーダ１０４の構成を説明する。図７は、ダウンミックスエンコーダ１０４の構成を示すブロック図である。
【０１１５】
図７に示されるように、ダウンミックスエンコーダ１０４は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）変換部６０１と、符号化部６０２と、制御部６０３とを備える。
【０１１６】
ＭＤＣＴ変換部６０１は、時間ドメインのダウンミックス時間信号１１４を、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット６１１に変換する。
【０１１７】
制御部６０３は、実際の時間に依存するマスク済み閾値（音響心理学モデル）の推定値を、音響心理学で既知のルールを用いて算出する。
【０１１８】
符号化部６０２は、量子化ノイズが制御部６０３により算出されたマスク済み閾値以下に保たれるように、ＭＤＣＴ係数セット６１１を効率的に量子化及び符号化する。これにより、符号化部６０２は、ダウンミックスサブストリーム１１５を生成する。
【０１１９】
なお、ＭＣＵ３０５Ａが、複数の符号化ビットストリーム１１６を結合するためには、各サイト３０１Ａ〜３０１Ｄが備える符号化装置１００は、以下にあげる２つの追加要求を満たす必要がある。
【０１２０】
（１）ＮＲＧパラメータをＭＣＵ３０５Ａへ送信する。
【０１２１】
（２）ダウンミックスサブストリーム１１５は、固定的なブロックタイプ（つまり、ロングブロックタイプ）を用いるＡＡＣ方式によって符号化する。
【０１２２】
なお、ダウンミックスサブストリーム１１５を符号化する方式としてＡＡＣ方式を用いる場合を述べたが、これに限ったものではなく、ＡＡＣ−ＬＤ方式又はＨＥ−ＡＡＣ方式を用いてもよい。また、それ以外にも高効率なステレオ・モノラルの音声符号化方式であれば、ＣＥＬＰ方式を用いてもよいが、ＭＤＣＴなどの直行変換技術を用いた符号化方式を用いる場合の方が、本発明の効果がより高くなる。
【０１２３】
また、ここでは、直行変換技術の代表としてＭＤＣＴ方式を用いた例を述べているが、もちろんこれに限ったものではなく、ＦＦＴ方式又はＭＤＳＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）方式を用いてもよい。
【０１２４】
次に、本発明の実施の形態１に係るＭＣＵ３０５Ａの構成を説明する。
【０１２５】
図８は、ＭＣＵ３０５Ａの構成を示すブロック図である。
【０１２６】
図８に示すようにＭＣＵ３０５Ａは、検出部５０１と、ダウンミックスサブストリーム結合部５０４（第１結合部）と、パラメータサブストリーム結合部５０６（第２結合部）と、送信部５０８とを備える。
【０１２７】
検出部５０１は、所定の時間間隔ごとに、当該時間間隔内において、複数のサイト３０１のうちアクティブサイト及び非アクティブサイトを検出する。ここで、アクティブサイトとは、有効な符号化ビットストリーム１１６を送信しているサイトであり、非アクティブサイトとは、アクティブサイト以外のサイトである。具体的には、アクティブサイトとは、現在音声が送信されているサイトであり、非アクティブサイトとは、現在音声が送信されていないか、所定の閾値以下の音声信号がやりとりされているか、あるいは音声信号をやりとりしていないと制御信号などで明示的に指定されているサイトである。例えば、アクティブサイトで取得される複数のオーディオ入力信号１１０の最大の音量は所定の閾値以上であり、非アクティブサイトで取得される複数のオーディオ入力信号１１０の全ての音量は所定の閾値未満である。
【０１２８】
例えば、検出部５０１は、複数のパラメータサブストリーム１１３に含まれる情報を用いて各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを検出する。例えば、検出部５０１は、ＮＲＧパラメータが所定の値未満のパラメータサブストリーム１１３の送信元のサイトを非アクティブサイトと判定する。
【０１２９】
なお、検出部５０１は、その他のパラメータ、又はダウンミックスサブストリーム１１５を参照することにより、各サイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。例えば、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値以上である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１をアクティブサイトであると判定し、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の最大の音量が所定の閾値未満である場合、当該符号化ビットストリーム１１６の送信元のサイト３０１を非アクティブサイトであると判定してもよい。また、検出部５０１は、対応する符号化ビットストリーム１１６に含まれる複数のオーディオ入力信号１１０の音量差又は音量の変化率に応じて、当該符号化ビットストリーム１１６の送信元のサイト３０１がアクティブサイトであるか非アクティブサイトであるかを判定してもよい。
【０１３０】
また、検出部５０１は、検出結果に基づき、アクティブサイトの数及び非アクティブサイトの数を算出する。
【０１３１】
ダウンミックスサブストリーム結合部５０４は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のダウンミックスサブストリーム１１５を結合することにより、複数の結合ダウンミックスサブストリーム１２１を生成する。
【０１３２】
具体的には、非アクティブサイトが存在する場合、ダウンミックスサブストリーム結合部５０４は、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを結合することにより、結合ダウンミックスサブストリーム１２１を生成する。
【０１３３】
より具体的には、ダウンミックスサブストリーム結合部５０４は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のダウンミックスサブストリーム１１５のうち、当該サイト３０１以外のサイト３０１から送信された複数のダウンミックスサブストリーム１１５を結合することにより、当該サイト３０１に対応する結合ダウンミックスサブストリーム１２１を生成する。
【０１３４】
パラメータサブストリーム結合部５０６は、検出部５０１により検出されたアクティブサイトの数（非アクティブサイトの数）に応じて、複数のパラメータサブストリーム１１３を結合することにより、複数の結合パラメータサブストリーム１２２を生成する。
【０１３５】
具体的には、非アクティブサイトが存在する場合、パラメータサブストリーム結合部５０６は、アクティブサイトから送信されたパラメータサブストリーム１１３のみを結合することにより、結合パラメータサブストリーム１２２を生成する。
【０１３６】
さらに具体的には、パラメータサブストリーム結合部５０６は、複数のサイト３０１の各々に対して、複数のアクティブサイトから送信された複数のパラメータサブストリーム１１３のうち、当該サイト３０１以外のサイト３０１から送信された複数のパラメータサブストリーム１１３を結合することにより、当該サイト３０１に対応する結合パラメータサブストリーム１２２を生成する。
【０１３７】
送信部５０８は、結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を含む結合ビットストリーム１２４を、対応するサイト３０１へ送信する。
【０１３８】
以下、ダウンミックスサブストリーム結合部５０４の構成を説明する。
【０１３９】
図９は、ダウンミックスサブストリーム結合部５０４の構成を示すブロック図である。図９に示すようにダウンミックスサブストリーム結合部５０４は、復号部７００と、加算部７０４と、スケーリング部７０５と、符号化部７０６とを備える。なお、図９では、サイト３０１Ａへ送信する一つの結合ダウンミックスサブストリーム１２１を生成する場合を示している。
【０１４０】
復号部７００は、複数のダウンミックスサブストリーム１１５（ＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤ）を復号（逆符号化及び逆量子化）することによって、それぞれに対応する、ＭＤＣＴドメイン（スペクトルドメイン）のＭＤＣＴ係数セット７１０（ｃｏｅｆＢ、ｃｏｅｆＣ及びｃｏｅｆＤ）を生成する。ここで、逆符号化及び逆量子化とは、図７に示す符号化部６０２により行われたＡＡＣ符号化の逆演算である。また、復号部７００は、ダウンミックスサブストリームＤｍｘＢ、ＤｍｘＣ及びＤｍｘＤを逆符号化及び逆量子化する逆符号化部７０１〜７０３を備える。
【０１４１】
なお、復号部７００は、図９に示すように３つの逆符号化部７０１〜７０３を備え、３つのダウンミックスサブストリーム１１５を当該３つの逆符号化部７０１〜７０３により並列に処理してもよいし、１又は２の逆符号化部を備え、３つのダウンミックスサブストリーム１１５を時分割で処理してもよい。
【０１４２】
また、復号部７００は、複数のダウンミックスサブストリーム１１５のうち、アクティブサイトから送信されたダウンミックスサブストリーム１１５のみを復号する。
【０１４３】
加算部７０４は、全ＭＤＣＴ係数セット７１０（復号ダウンミックスサブストリーム）を加算することにより結合ＭＤＣＴ係数セット７１１（中間結合ダウンミックスサブストリーム）を生成する。
【０１４４】
スケーリング部７０５は、加算された結合ＭＤＣＴ係数セット７１１をスケーリングすることにより結合ＭＤＣＴ係数セット７１２（ｃｏｅｆＢＣＤ）を生成する。具体的には、スケーリング部７０５は、複数のＭＤＣＴ係数セット７１０のスペクトルパワーが結合ＭＤＣＴ係数セット７１２において保存されるように、結合ＭＤＣＴ係数セット７１１をスケーリングする。
【０１４５】
ここで、本発明においては、結合ダウンミックスサブストリーム１２１は、異なる周波数範囲で異なる結合ゲインを伴って、全ダウンミックスサブストリーム１１５を線形結合した結果として得られる。
【０１４６】
注意を喚起すべき点は、ハイブリッドドメインは時間−周波数解像度を有するが、ＭＤＣＴドメインは周波数解像度のみを有するということである。その結果、結合ゲインをＭＤＣＴ係数セットに適用する場合、ハイブリッドドメインにおける値をＭＤＣＴドメインにおける値に近似する必要がある。
【０１４７】
本発明において適用される近似方法は、ハイブリッドドメインにおけるパラメータセットの分離を無視し、パラメータバンド分離方法をＭＤＣＴドメインに直接マッピングする方法である（なお、異なるパラメータバンドの分離方法を単一の統一パラメータバンド分離方法に統合する方法については、後述する）。言い換えると、図１０に示されるように、パラメトリック符号化プロセスに用いられるパラメータバンドの数がＱ（パラメータサブストリームに含まれるヘッダ情報）であるならば、ＭＤＣＴ周波数サブセットＩｍの数は、（ｍ＝１，２，・・・，Ｑ）であり、パラメータバンドｍは、サブセットＩｍ、例えば（ｑｍ−，ｑｍ＋）と同じ周波数範囲をカバーする。
【０１４８】
上記ＭＤＣＴスペクトル分割に基づけば、分割ダウンミックス係数セットの結合ゲインは、異なる応用例に応じて、以下のように柔軟に設計することができる。
【０１４９】
実施の形態１では、複数の符号化オーディオオブジェクトの全てが重要である場合、信号成分の増幅も減衰も好ましくない。そのような場合には、結合ダウンミックス係数を均一化するための共通スケーリングファクタを適用するパワー保存技術を採用する。
【０１５０】
すなわち、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤは下記（式８）で表される。
【０１５１】
【数８】
2010090019.tif 000069
【０１５２】
ここで、ｉはＭＤＣＴ係数インデックスであり、ｍはサブセットインデックスである。つまり、ｉは、下記（式９）となる。
【０１５３】
【数９】
2010090019.tif 000070
【０１５４】
また、上付き記号は、対応するパラメータのサイトインデックスを表す。
【０１５５】
また、結合ゲインは、スペクトルパワーを保存するように、下記（式１０）を用いて算出される。
【０１５６】
【数１０】
2010090019.tif 000071
【０１５７】
符号化部７０６は、結合ＭＤＣＴ係数セットｃｏｅｆＢＣＤを、量子化及び符号化することにより送信用の結合ダウンミックスサブストリーム１２１（ＤｍｘＢＣＤ）を生成する。
【０１５８】
なお、一般的に、知覚エンコーダ（例えば、ＡＡＣエンコーダ）は、音響心理学の見地から知られるルールに従って、時間ドメインシーケンスにおける複素ＦＦＴから導かれる音響心理学マスカを用いて、信号間の無関連性について検証する。しかしながら、本発明に係るＭＣＵ３０５Ａにおいては、演算量が少なく遅延時間が短いことという要求事項を満たすために、ダウンミックス結合は、ＭＤＣＴドメインに限っておこなわれる。つまり、ＭＤＣＴドメインから時間ドメインへのドメイン変換はどのようなものであっても認められない。
【０１５９】
当該課題は、いくつかの従来技術によって解決される。例えば、従来技術において、演算量が少なく高品質な、ＭＤＣＴに基づく音響心理学モデルを求めることができる。主要なアイデアは、複素ＦＦＴスペクトルを実数のＭＤＣＴスペクトルに置き換えること、及び、スペクトラム・フラットネス測定によってトーン性を求めることである。
【０１６０】
従来技術については、例えば、上記非特許文献１〜３に詳述されている。
【０１６１】
上記技術に従って、次のように符号化部７０６を設計することができる。まず、ＭＤＣＴドメインにおいて、結合ＭＤＣＴ係数セット用の正確な音響心理学マスカを算出する。また、ＡＡＣエンコーダと類似の方法で、残りの量子化及び符号化を実施する。出力結果は、結合ダウンミックスサブストリーム１２１として、サイト３０１Ａのパラメトリック復号装置２００へ送信される。同様の手順が、他の全サイトに対しても実行される。つまり、この手順は、Ｎ個のサイトを接続するシステム対して、Ｎ回実施される。
【０１６２】
次に、パラメータサブストリーム結合部５０６の構成を説明する。
【０１６３】
図１１は、パラメータサブストリーム結合部５０６の構成を示すブロック図である。図１１に示すようにパラメータサブストリーム結合部５０６は、逆量子化部７５０と、パラメータ結合部７５５と、パラメータ更新部７５６と、量子化部７５７とを備える。また、図１１では、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
【０１６４】
逆量子化部７５０は、複数のパラメータサブストリーム１１３（ＰａｒａｓＢ、ＰａｒａｓＣ及びＰａｒａｓＤ）を逆量子化することによって、それぞれ対応するパラメータ７６１に復元する。ここで、逆量子化とは、図１に示すパラメータ抽出部１０２Ｂにより行われた量子化の逆演算である。
【０１６５】
パラメータ結合部７５５は、全パラメータ７６１を結合することにより結合パラメータ７６３及び７６４を生成する。
【０１６６】
パラメータ更新部７５６は、結合パラメータ７６４を更新することにより更新パラメータ７６５を生成する。
【０１６７】
また、パラメータ結合部７５５は、全パラメータ７６１に対して同一の結合ゲインを用いて結合する。その結果として、このダウンミックス結合プロセスは付加的パラメータに影響されない。よって、アクティブサイトが複数である場合、パラメータ更新部７５６は、結合パラメータ７６４としてＮＲＧパラメータ及びＯＬＤパラメータのみを更新する。
【０１６８】
例えば、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブサイトである場合を例に説明を行う。この場合、パラメータサブストリーム結合部５０６は、サイト３０１Ｂ及び３０１Ｄから送信されたパラメータサブストリーム１１３を結合する。
【０１６９】
更新後のＮＲＧパラメータは、サイトｋ（ｋ＝Ｂ，Ｄ）における最大ＮＲＧパラメータである。つまり、パラメータ更新部７５６は、下記（式１１）を用いて更新後のＮＲＧパラメータを算出する。
【０１７０】
【数１１】
2010090019.tif 000072
【０１７１】
また、パラメータ更新部７５６は、更新後のＯＬＤパラメータを、下記（式１２）を用いて全オブジェクトについて算出する。なお、オブジェクトとは、複数のオーディオ入力信号１１０のそれぞれを示す。
【０１７２】
【数１２】
2010090019.tif 000073
【０１７３】
ここで、オブジェクトインデックスｉは、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＤである。
【０１７４】
量子化部７５７は、結合パラメータ７６３及び更新パラメータ７６５を量子化することにより結合パラメータサブストリーム１２２を生成する。
【０１７５】
なお、Ｎ個のサイトを接続する遠隔会議システムでは、通常、（効率的に送信されたビットストリームを有する）アクティブサイトはＮ１個（Ｎ１≦Ｎ）のみであり、残りの（Ｎ−Ｎ１）個のサイトは非アクティブである。
【０１７６】
また、そのようなシステムにおいて、ＭＣＵ３０５Ａは、部分的復号処理をＮ回、結合処理をＮ回、部分的符号化処理をＮ回おこなう必要がある。しかしながら、この場合、それらの非アクティブサイトには同一の結合ダウンミックスサブストリーム１２１が配信される。つまり、非アクティブサイトが通常存在する場合には、当該結合方法は冗長性をともなうことを意味する。
【０１７７】
よって、本発明の実施の形態１に係るＭＣＵ３０５Ａでは、結合及び符号化処理の前にアクティブサイトの数を考慮することにより、ＭＣＵ３０５Ａの演算量をさらに削減する。
【０１７８】
具体的には、送信部５０８は、アクティブサイトが１つ又は２つのみであるときは、受信した符号化ビットストリーム１１６を配信先サイトへ直接切り替え送信する。これにより、ＭＣＵ３０５Ａの演算量をさらに削減することができる。
【０１７９】
より詳細には、非アクティブサイトの数が２以上の場合、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５を結合することにより、全ての非アクティブサイトに対して共通の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、全てのアクティブサイトから送信された複数のパラメータサブストリーム１１３を結合することにより、全ての非アクティブサイトに対して共通の結合パラメータサブストリーム１２２を生成する。また、送信部５０８は、上記共通の結合ダウンミックスサブストリーム１２１及び共通の結合パラメータサブストリーム１２２を含む共通の結合ビットストリーム１２４を、全ての非アクティブサイトへ送信する。
【０１８０】
また、アクティブサイトの数が２の場合、送信部５０８は、２個のアクティブサイトのうち一方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの他方へ送信する。また、送信部５０８は、２個のアクティブサイトのうち他方から送信された符号化ビットストリーム１１６をそのまま、２個のアクティブサイトの一方へ送信する。
【０１８１】
また、アクティブサイトの数が１の場合、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま、全ての非アクティブサイトへ送信する。
【０１８２】
図１２は、本発明に係るＭＣＵ３０５Ａと、通常のＭＣＵとの演算量を示す図である。また、図１３は、ＭＣＵ３０５Ａによる結合処理のフローチャートである。
【０１８３】
図１３に示すように、まず、検出部５０１は、アクティブサイトの数Ｎ１を検出する（Ｓ１０１）。
【０１８４】
次に、検出部５０１は、アクティブサイトの数Ｎ１が１であるか否かを判定する（Ｓ１０２）。
【０１８５】
アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、送信部５０８は、アクティブサイトから送信された符号化ビットストリーム１１６をそのまま全ての非アクティブサイトへ送信する（Ｓ１０３）。つまり、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６は、結合処理を行わない。また、送信部５０８は、１個のアクティブサイトへは、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
【０１８６】
なお、アクティブサイトの数が０の場合も、送信部５０８は、符号化ビットストリーム１１６及び結合ビットストリーム１２４を送信しない。
【０１８７】
このように、アクティブサイトの数Ｎ１が１である場合（Ｓ１０２でＹｅｓ）、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数は、全てゼロとなる。
【０１８８】
図１４は、４つのサイト３０１のうち１つのサイト３０１Ａのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１４に示すように、サイト３０１Ａのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡを非アクティブなサイト３０１Ｂ、３０１Ｃ及び３０１Ｄへ送信する。
【０１８９】
一方、アクティブサイトの数Ｎ１が２以上の場合（Ｓ１０２でＮｏ）、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトから送信された複数のダウンミックスサブストリーム１１５に部分的復号処理を行うことにより、複数のＭＤＣＴ係数セット７１０を生成する（Ｓ１０４）。
【０１９０】
次に、検出部５０１は、アクティブサイトの数Ｎ１が２であるか否かを判定する（Ｓ１０５）。
【０１９１】
アクティブサイトの数Ｎ１が２の場合（Ｓ１０５でＹｅｓ）、ダウンミックスサブストリーム結合部５０４は、当該２つのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該２つのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０６）。
【０１９２】
次に、送信部５０８は、ステップＳ１０６で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全ての非アクティブサイトへ送信する（Ｓ１０７）。
【０１９３】
また、送信部５０８は、２個のアクティブサイトのうち、一方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま他方のアクティブサイトへ送信し、他方のアクティブサイトから送信された符号化ビットストリーム１１６をそのまま一方のアクティブサイトへ送信する（Ｓ１０８）。
【０１９４】
このように、アクティブサイトの数Ｎ１が２である場合（Ｓ１０５でＹｅｓ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１と同じ２となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
【０１９５】
図１５は、４つのサイト３０１のうち２つのサイト３０１Ａ及び３０１Ｂのみがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１５に示すように、サイト３０１Ａ及びサイト３０１Ｂのみがアクティブな場合、ＭＣＵ３０５Ａは、サイト３０１Ａから送信されたダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡをアクティブなサイト３０１Ｂへ送信し、サイト３０１Ｂから送信されたダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢをアクティブなサイト３０１Ａへ送信する。また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを非アクティブなサイト３０１Ｃ及び３０１Ｄへ送信する。
【０１９６】
一方、アクティブサイトの数Ｎ１が３以上の場合（Ｓ１０５でＮｏ）、ダウンミックスサブストリーム結合部５０４は、当該３以上のアクティブサイトに対応するＭＤＣＴ係数セット７１０を全て結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより非アクティブサイト用の１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、当該３以上のアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより、非アクティブサイト用の１つの結合パラメータサブストリーム１２２を生成する（Ｓ１０９）。
【０１９７】
次に、送信部５０８は、ステップＳ１０９で生成した１つの結合ダウンミックスサブストリーム１２１及び１つの結合パラメータサブストリームを全ての非アクティブサイトへ送信する（Ｓ１１０）。
【０１９８】
次に、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのそれぞれへ送信する結合ビットストリーム１２４を生成する。
【０１９９】
まず、ＭＣＵ３０５Ａは、３個以上のアクティブサイトのうち１つのアクティブサイトを選択し、選択したアクティブサイトへ送信する結合ビットストリーム１２４を生成する。
【０２００】
具体的には、ダウンミックスサブストリーム結合部５０４は、選択したアクティブサイト以外の全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４は、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより選択したアクティブサイト用の結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６は、選択したアクティブサイト以外の全てのアクティブサイトに対応するパラメータサブストリーム１１３を結合することにより選択したアクティブサイト用の結合パラメータサブストリーム１２２を生成する（Ｓ１１１）。
【０２０１】
次に、送信部５０８は、ステップＳ１１１で生成した結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリームを、選択したアクティブサイトへ送信する（Ｓ１１２）。
【０２０２】
次に、ダウンミックスサブストリーム結合部５０４は、アクティブサイトの数Ｎ１から１を減算することにより、新たなアクティブサイトの数Ｎ１を算出し（Ｓ１１３）、新たなアクティブサイトの数Ｎ１が０より大きい場合（Ｓ１１４でＹｅｓ）、次のアクティブサイトを選択し、選択したアクティブサイトに対してステップＳ１１１以降の処理を行う。つまり、ダウンミックスサブストリーム結合部５０４は、全てのアクティブサイトに対して、ステップＳ１１１〜Ｓ１１４の処理を繰り返す。
【０２０３】
このように、非アクティブサイトが２個以上存在し、かつアクティブサイトの数Ｎ１が３以上である場合（Ｓ１０５でＮｏ）、図１２に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数はＮ１＋１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、非アクティブサイトへの送信用の結合処理の数及び部分的符号化処理の数が削減される。
【０２０４】
なお、非アクティブサイトが存在しない場合、つまり、アクティブサイトの数Ｎ１が全サイト数Ｎに等しい場合には、ステップＳ１０９及びＳ１１０の処理は行われない。つまり、図１２に示すように、部分的復号処理の数、結合処理の数及び部分的符号化処理の数はＮ１回となる。
【０２０５】
図１６は、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合のＭＣＵ３０５Ａの処理を模式的に示す図である。図１６に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｃがアクティブな場合、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＣ及び結合パラメータサブストリームＰａｒａｓＡＢＣを非アクティブなサイト３０１へ送信する。
【０２０６】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＢＣ及び結合パラメータサブストリームＰａｒａｓＢＣをサイト３０１Ａへ送信する。
【０２０７】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＣ及びパラメータサブストリームＰａｒａｓＣとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＣ及び結合パラメータサブストリームＰａｒａｓＡＣをサイト３０１Ｂへ送信する。
【０２０８】
また、ＭＣＵ３０５Ａは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢ及び結合パラメータサブストリームＰａｒａｓＡＢをサイト３０１Ｃへ送信する。
【０２０９】
以上のように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が１の場合には、復号処理、結合処理及び符号化処理を行わない。また、ＭＣＵ３０５Ａは、アクティブサイトの数Ｎ１が２の場合には、アクティブサイトへ送信する結合ビットストリーム１２４を生成しない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
【０２１０】
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが存在する場合には、当該非アクティブサイトから送信された符号化ビットストリーム１１６を結合しない。具体的には、ＭＣＵ３０５Ａは、非アクティブサイトから送信されたダウンミックスサブストリーム１１５の復号処理を行わない。これにより、ＭＣＵ３０５Ａは、演算量を削減できる。
【０２１１】
また、本発明の実施の形態１に係るＭＣＵ３０５Ａは、非アクティブサイトが複数存在する場合には、当該複数の非アクティブサイトに対して共通の結合ビットストリーム１２４を生成する。これにより、ＭＣＵ３０５Ａは、非アクティブサイトへの送信用の結合ビットストリーム１２４を生成する処理を省略できるので演算量を削減できる。
【０２１２】
このように、本発明の実施の形態１に係るＭＣＵ３０５Ａは、アクティブサイトの数が１又は２という特別なケースを考慮に入れることにより、演算量を削減できる。
【０２１３】
例えば、本発明の実施の形態１の効果を説明するために、複数のサイト（例えば、８つ）を接続する遠隔会議システムの例をあげる。実際には、通信期間のほとんどにおいて、同時にアクティブ状態になる通信サイトはせいぜい３つ程度である場合が多い。この場合、本発明に係るＭＣＵ３０５Ａを採用すれば、従来のＭＣＵに対して演算量を１５％〜４０％にまで削減することができる。
【０２１４】
（実施の形態２）
ＭＣＵ３０５Ａが行う処理の中で、部分的符号化処理は、音響マスカの生成処理とダブルループの量子化処理とを含むため、演算量が最も多い。よって、実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトが複数（Ｎ１＞２）である場合、部分的な符号化を１回のみおこなうことによって、演算量をさらに削減することができる。
【０２１５】
図１７は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの構成を示す図である。
【０２１６】
図１７に示すＭＣＵ３０５Ｂは、実施の形態１に係るＭＣＵ３０５Ａに対して、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの処理が、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６の処理と異なる。なお、ダウンミックスサブストリーム結合部５０４Ｂ及びパラメータサブストリーム結合部５０６Ｂの基本構成は、ダウンミックスサブストリーム結合部５０４及びパラメータサブストリーム結合部５０６と同様である。
【０２１７】
また、ＭＣＵ３０５Ｂは、ＭＣＵ３０５Ａの構成に加え、さらに、補助情報生成部５０７を備える。
【０２１８】
ダウンミックスサブストリーム結合部５０４Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたダウンミックスサブストリーム１１５を結合することにより単一の結合ダウンミックスサブストリーム１２１を生成する。
【０２１９】
具体的には、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに関して部分的復号処理を行った後、復号された全ＭＤＣＴ係数セット７１０を単一の結合ＭＤＣＴ係数セット７１２に結合する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、当該結合ＭＤＣＴ係数セット７１２を部分的に符号化することにより、全サイトに配信される単一の結合ダウンミックスサブストリーム１２１を生成する。
【０２２０】
パラメータサブストリーム結合部５０６Ｂは、アクティブサイトの数が２以上の場合、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより単一の結合パラメータサブストリーム１２２を生成する。
【０２２１】
補助情報生成部５０７は、アクティブサイトのそれぞれに対応する、複数の補助情報１２３を生成する。この補助情報１２３は、単一の結合ダウンミックスサブストリーム１２１及び単一の結合パラメータサブストリーム１２２の信号成分のうち、対応するアクティブサイトにより送信された符号化ビットストリーム１１６に対応する信号成分を特定するための情報である。なお、補助情報１２３に関しては後述する。
【０２２２】
送信部５０８は、上記単一の結合ダウンミックスサブストリーム１２１、及び単一の結合パラメータサブストリーム１２２を全てのサイト３０１へ送信する。また、送信部５０８は、複数の補助情報１２３の各々を、対応するアクティブサイトへ送信する。
【０２２３】
図１８は、本発明の実施の形態２に係る遠隔通信システム３００Ｂにおける、４つのサイト３０１のうち３つのサイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合のＭＣＵ３０５Ｂの処理を模式的に示す図である。図１８に示すように、サイト３０１Ａ、３０１Ｂ及び３０１Ｄがアクティブな場合、ＭＣＵ３０５Ｂは、ダウンミックスサブストリームＤｍｘＡ及びパラメータサブストリームＰａｒａｓＡと、ダウンミックスサブストリームＤｍｘＢ及びパラメータサブストリームＰａｒａｓＢと、ダウンミックスサブストリームＤｍｘＤ及びパラメータサブストリームＰａｒａｓＤとを結合することにより、結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを生成し、当該結合ダウンミックスサブストリームＤｍｘＡＢＤ及び結合パラメータサブストリームＰａｒａｓＡＢＤを全てのサイト３０１Ａ〜３０１Ｄへ送信する。
【０２２４】
また、ＭＣＵ３０５Ｂは、アクティブサイトであるサイト３０１Ａ、３０１Ｂ及び３０１Ｄへ、それぞれ補助情報１２３Ａ、１２３Ｂ及び１２３Ｄを送信する。なお、補助情報１２３Ａ、１２３Ｂ及び１２３Ｄは、それぞれ、サイト３０１Ａ、３０１Ｂ及び３０１Ｄに対応する補助情報１２３である。
【０２２５】
図１９は、本発明の実施の形態２に係るＭＣＵ３０５Ｂの結合処理のフローチャートである。また、図２０は、本発明の実施の形態１及び実施の形態２に係るＭＣＵ３０５Ａ及び３０５Ｂと、通常のＭＣＵとの演算量を示す図である。
【０２２６】
なお、図１９に示すステップＳ１０１〜Ｓ１０４の処理は、図１３と同様なので、説明は省略する。
【０２２７】
ステップＳ１０４の後、ダウンミックスサブストリーム結合部５０４Ｂは、全てのアクティブサイトに対応するＭＤＣＴ係数セット７１０を結合及びスケーリングすることにより、結合ＭＤＣＴ係数セット７１２を生成する。次に、ダウンミックスサブストリーム結合部５０４Ｂは、生成した結合ＭＤＣＴ係数セット７１２を符号化及び量子化することにより１つの結合ダウンミックスサブストリーム１２１を生成する。また、パラメータサブストリーム結合部５０６Ｂは、全てのアクティブサイトから送信されたパラメータサブストリーム１１３を結合することにより、１つの結合パラメータサブストリーム１２２を生成する（Ｓ２０５）。
【０２２８】
次に、送信部５０８は、ステップＳ２０５で生成した１つの結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２を全てのサイトへ送信する（Ｓ２０６）。
【０２２９】
このように、アクティブサイトの数Ｎ１が２以上である場合（Ｓ１０２でＮｏ）、図２０に示すように、部分的復号処理の数は、アクティブサイトの数Ｎ１となり、結合処理の数及び部分的符号化処理の数は１回となる。つまり、非アクティブサイトに対する部分的復号処理が削減されるとともに、結合処理の数及び部分的符号化処理の数が１回に削減される。
【０２３０】
本発明の実施の形態２の効果を説明するために、８つのサイトを接続する遠隔会議の例を再度参照する。この場合、実施の形態２に係るＭＣＵ３０５Ｂを採用すれば、通常のＭＣＵに対して演算量を１５％未満にまで削減することができる。
【０２３１】
以下、補助情報１２３について説明する。
【０２３２】
ＭＣＵ３０５Ｂの目的は、実施の形態１で説明したように、送信先のサイト以外の他の全てのサイトからの符号化ビットストリーム１１６を単一の結合ビットストリーム１２４に結合することである。よって、実施の形態２のように、結合ビットストリーム１２４が全ての符号化ビットストリーム１１６を結合したものである場合、各サイト３０１は、結合ビットストリーム１２４内の干渉ストリーム（自身が送信した符号化ビットストリーム１１６の成分）を除去する必要がある。
【０２３３】
本発明においては、ＭＣＵ３０５Ｂは、全パラメータ情報を含む共通の結合パラメータサブストリーム１２２を生成する。また、各サイト３０１は、当該共通の結合パラメータサブストリーム１２２を用いて、パラメトリック復号処理において、結合ビットストリーム１２４内の干渉ストリームをミュートする。これにより、本発明の実施の形態２に係る遠隔通信システム３００Ｂは、干渉ストリームの除去をパラメータドメインで実現する。
【０２３４】
例えば、上述の４つのサイト３０１を接続する遠隔会議システムの例において、アクティブサイトはサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。共通の結合パラメータサブストリーム１２２は、次にあげるステップを通して構築される。
【０２３５】
（１）オブジェクト数は、サイト３０１Ａ、３０１Ｂ及び３０１Ｄのオブジェクト数が合計されたものである。つまり、共通の結合パラメータサブストリーム１２２に含まれる全オブジェクトの数は、Ｎｔｏｔａｌ＝ＮＡ＋ＮＢ＋ＮＤで表される。
【０２３６】
（２）結合されるパラメータは、Ａ、Ｂ、Ｄの順に並べられる。例えば、オブジェクトレベル差は、ｉ＝１，・・・ＮＡ，ＮＡ＋１，・・・，ＮＡ＋ＮＢ，ＮＡ＋ＮＢ＋１，・・・，Ｎｔｏｔａｌであるとき、ＯＬＤｉ（ｌ，ｍ）で表される。
【０２３７】
また、共通の結合パラメータサブストリーム１２２は、共通の結合ダウンミックスサブストリーム１２１とともに各サイトへ配信される。各サイトにおけるパラメトリック復号の最終目的は、自サイトからの干渉ストリームの入力を除く全オーディオ入力を合成（つまりアップミックス）することである。
【０２３８】
描画マトリックスをカスタマイズ設計することにより、パラメトリックオーディオ復号の最終目的を達成することができる。より詳しくは、自サイトからの干渉オブジェクトを除去するためには、ＭＣＵ３０５Ｂで何らかの新たな補助情報１２３が生成され、当該受信サイトに送信されるべきである。この補助情報１２３とは、例えば、干渉オブジェクトのインデックスである。各サイトが備える復号装置２００Ｂは、この補助情報１２３を用いることにより、パラメトリックオーディオ符号化の描画マトリックスにおいて、干渉オブジェクトにはゼロゲインを設定することができる。結果的に干渉オブジェクトがミュートされれば理想的である。
【０２３９】
具体的には、補助情報生成部５０７は、アクティブサイトの各々に対して、単一の結合パラメータサブストリーム１２２に含まれるパラメータのうち、当該アクティブサイトにより送信されたパラメータサブストリーム１１３に対応するパラメータを特定するための補助情報１２３を生成する。
【０２４０】
より詳細には、補助情報生成部５０７は、補助情報１２３として、共通の結合パラメータサブストリーム１２２に含まれるオブジェクト数（ＮＢ）及び開始オブジェクトインデックス（ＮＡ＋１）を、結合パラメータサブストリーム１２２とともに、サイト３０１Ｂへ送信する。
【０２４１】
図２１は、本発明の実施の形態２に係るサイトが備えるパラメトリック復号装置２００Ｂの構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており、重複する説明は省略する。図２１に示す復号装置２００Ｂは、図２に示す復号装置２００の構成に加え、さらに、パラメータ変換部２０５を備える。
【０２４２】
この復号装置２００Ｂは、補助情報１２３を用いて、単一の結合ビットストリーム１２４の信号成分のうち、当該復号装置２００Ｂを備えるサイト３０１により送信された符号化ビットストリーム１１６に対応する信号成分を除去した複数のオーディオ出力信号２１６を生成する。
【０２４３】
具体的には、パラメータ変換部２０５は、後続のパラメトリック復号化のために、任意に設計されたＮｓｐｅａｋｅｒ×Ｎｔｏｔａｌ（Ｎｓｐｅａｋｅｒはサイト３０１Ｂにおけるスピーカの数を表す）サイズの描画マトリックスのうち、補助情報１２３を用いてコラムＮＡ＋１からコラムＮＡ＋ＮＢまでのマトリックス要素をゼロに設定する。このことは、ＮＡ＋１からＮＡ＋ＮＢの全オブジェクトのゲインがＮｓｐｅａｋｅｒ個のスピーカにおいてゼロであることを意味する。その結果、サイト３０１Ｂにおける干渉オブジェクトはミュートされ、他のサイトからの残りのオーディオオブジェクトが要望に応じて再生される。
【０２４４】
以上より、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、単一の結合ダウンミックスサブストリーム１２１及び結合パラメータサブストリーム１２２のみを生成することにより、演算量を低減できる。
【０２４５】
また、本発明の実施の形態２に係るＭＣＵ３０５Ｂは、アクティブサイトごとに補助情報１２３を生成する。これにより、各サイト３０１は、単一の結合ダウンミックスサブストリーム１２１から、自サイトが送信した符号化ビットストリーム１１６の信号成分を除外できる。
【０２４６】
（実施の形態３）
パラメータの結合にあたり、実際には、異なるサイトからのパラメータサブストリーム１１３は異なるパラメータ表現基準を有していてもよい。なぜなら、各サイト３０１は、異なるビットレートを利用可能であり、異なるオブジェクト特性が表現されているからである。本発明に係る実施の形態３に係るＭＣＵ３０５Ｃは、異なるパラメータ表現基準で表現されたパラメータの結合をサポート可能である。
【０２４７】
なお、パラメータ表現基準とは、具体的には、パラメータタイルの分割方法（分割間隔）である。
【０２４８】
以下では、２つのパラメータサブストリーム１１３、例えば、サイト３０１ＢからのパラメータサブストリームＰａｒａｓＢと、サイト３０１ＣからのパラメータサブストリームＰａｒａｓＣとがＭＣＵ３０５に入力される例を説明する。ここで、パラメータサブストリームＰａｒａｓＢは、Ｎ１個のオブジェクトに対し、合計で（Ｐ１×Ｑ１）個のパラメータタイルで表され、パラメータサブストリームＰａｒａｓＣは、Ｎ２個のオブジェクトに対し、合計で（Ｐ２×Ｑ２）個のパラメータタイルで表されるとする。
【０２４９】
ここで一般的には、下記（式１３）が成り立つ。
【０２５０】
【数１３】
2010090019.tif 000074
【０２５１】
なぜなら、２つの独立した符号化サイトにおいては、信号特性及び利用可能なビットレートが異なるからである。ここでは、図２２Ａ及び図２２Ｂに示すように、普遍性を失うことなく、下記（式１４）が成り立つと仮定する。
【０２５２】
【数１４】
2010090019.tif 000075
【０２５３】
図２３は、本発明の実施の形態３に係るＭＣＵ３０５Ｃの構成を示すブロック図である。なお、図８と同様の要素には同一の符号を付しており、重複する説明は省略する。
【０２５４】
図２３に示すＭＣＵ３０５Ｃは、パラメータサブストリーム結合部５０６Ｃの構成が、図８に示すパラメータサブストリーム結合部５０６と異なる。
【０２５５】
図２４は、本発明の実施の形態３に係るパラメータサブストリーム結合部５０６Ｃの構成を示すブロック図である。なお、図１１と同様の要素には同一の符号を付しており、重複する説明は省略する。また、図２４では、上記パラメータサブストリームＰａｒａｓＢとＰａｒａｓＣとを結合する場合を示している。
【０２５６】
図２４に示すパラメータサブストリーム結合部５０６Ｃは、図１１に示す構成に加え、さらに、パラメータ基準統一部７５４を備える。
【０２５７】
このパラメータ基準統一部７５４は、複数のパラメータサブストリーム１１３が、異なるパラメータ表現基準で表現されている場合、複数のパラメータ７６１のパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータ７６２を生成する。
【０２５８】
パラメータ結合部７５５は、全統一パラメータ７６２を結合することにより結合パラメータ７６３を生成する。
【０２５９】
本発明において、そのようなハイブリッドパラメータ表現基準を持つストリームの結合プロセスは、次に述べる２原則に従って設計される。
【０２６０】
（１）過渡的なふるまいを可能な限り捉えること。
【０２６１】
（２）ダウンミックス信号の品質を劣化させないために、結合パラメータサブストリーム１２２のビット消費を妥当な値に保つこと。
【０２６２】
第２原則を利用するためには、パラメータサブストリーム１１３のビット消費の概算値を導き出す必要がある。Ｎ１個のオブジェクトに対するパラメータ表現を含むＰａｒａｓＢの例を検討する。この場合、ＯＬＤが（Ｎ１×Ｐ１×Ｑ１）個、ＮＲＧが（Ｐ１×Ｑ１）個、ＩＯＣが（Ｎ１×（Ｎ１−１）×Ｐ１×Ｑ１／２）個、ＤＭＧが（Ｎ１×Ｐ１×Ｑ１）個ある。パラメータタイプにかかわらず、同一のビットコストが当該パラメータに適用されるとする。結果的には、ヘッダ情報を無視することにより、ＰａｒａｓＢの総ビット消費ｂｉｔ＿ｃｏｕｎｔ１を下記（式１５）のように近似することができる。
【０２６３】
【数１５】
2010090019.tif 000076
【０２６４】
ゆえに、ハイブリッドパラメータ表現基準に対し、総ビット消費ｂｉｔ＿ｃｏｕｎｔｏｒｉｇは、下記（式１６）で表される。
【０２６５】
【数１６】
2010090019.tif 000077
【０２６６】
同様の方法で、以下のような異なる構成で表現される全パラメータに対し、考えうる３つのビットコストが下記（式１７）〜（式１９）を用いて算出される。
【０２６７】
（１）最大ビット消費（精細なパラメータ表現基準）
【０２６８】
【数１７】
2010090019.tif 000078
【０２６９】
（２）中程度のビット消費（パラメータセットを細分割する場合のみのパラメータ表現基準）
【０２７０】
【数１８】
2010090019.tif 000079
【０２７１】
（３）最小ビット消費（粗いパラメータ表現基準）
【０２７２】
【数１９】
2010090019.tif 000080
【０２７３】
上記に基づいて異なるパラメータ表現基準を統一するために、パラメータ表現基準間に知能スイッチを備える３つの統一方法を提案する。
【０２７４】
第１の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち精細なパラメータバンドＱ１と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２とを有する精細なパラメータ表現基準を採用することができる。
【０２７５】
この例では、図２５Ａに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ１）個のタイルを用いる精細な基準を統一基準として採用する。
【０２７６】
第２の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち精細なパラメータセットＰ２を有する中程度のパラメータ表現基準を採用することができる。
【０２７７】
この例では、図２５Ｂに示されるとおり、パラメータ基準統一部７５４は、（Ｐ２×Ｑ２）個のタイルを用いる中程度の基準を統一基準として採用する。
【０２７８】
第３の統一方法として、パラメータ基準統一部７５４は、ハイブリッドパラメータ表現基準を持つパラメータサブストリームを統合するために、パラメータバンドＱ１及びＱ２のうち粗いパラメータバンドＱ２と、パラメータセットＰ１及びＰ２のうち粗いパラメータセットＰ１を有する粗いパラメータ表現基準を採用することができる。
【０２７９】
この例では、図２５Ｃに示されるとおり、パラメータ基準統一部７５４は、（Ｐ１×Ｑ２）個のタイルを用いる粗い基準を統一基準として採用する。
【０２８０】
当然のことながら、パラメータ基準統一部７５４は、統一後のものと異なる基準のパラメータの全てを、統一後の基準に相当するまで拡大又は縮小する必要がある。
【０２８１】
パラメータ基準統一部７５４は、パラメータを拡大する場合、パラメータ表現基準を、古い大きなパラメータタイル基準から新しい小さなタイル基準へと、つまり、図２６Ａから図２６Ｂへと精細化する。古いタイル（ｌ，ｍ）が（ｌ’，ｍ’）から（ｌ’＋Δｌ，ｍ’＋Δｍ）の新しい小さいタイルをカバーする場合、古いタイルに定義されたパラメータは、新しいタイルへ複製される。例えば、パラメータ基準統一部７５４は、下記（式２０）を用いて新しいＯＬＤを算出する。
【０２８２】
【数２０】
2010090019.tif 000081
【０２８３】
ここで、ｉはオブジェクトインデックスである。
【０２８４】
また、ＩＯＣ、ＮＲＧ及びＤＭＧ等、他のパラメータタイプを有するパラメータも同様に精細化することができる。
【０２８５】
一方、パラメータを縮小するには、パラメータ表現基準を、複数の古い小さなタイルから１つの新しい大きなタイルへ、つまり図２６Ｂから図２６Ａへ平均化する。この場合、異なるパラメータタイプは異なる平均化方法で平均化される。
【０２８６】
例えば、パラメータ基準統一部７５４は、タイル（ｌ，ｍ）上の新しいＮＲＧパラメータを、下記（式２１）を用いて算出できる。
【０２８７】
【数２１】
2010090019.tif 000082
【０２８８】
これに基づき、パラメータ基準統一部７５４は、新しいＯＬＤパラメータを、下記（式２２）を用いて算出できる。
【０２８９】
【数２２】
2010090019.tif 000083
【０２９０】
また、パラメータ基準統一部７５４は、新しいＩＯＣパラメータを、下記（式２３）を用いて算出できる。
【０２９１】
【数２３】
2010090019.tif 000084
【０２９２】
また、パラメータ基準統一部７５４は、新しいＤＭＧパラメータを、下記（式２４）及び（式２５）のいずれかを用いて算出できる。
【０２９３】
【数２４】
2010090019.tif 000085
【０２９４】
あるいは、加重平均を用いる場合は、パラメータ基準統一部７５４は、下記（式２５）を用いて新しいＤＭＧパラメータを算出できる。
【０２９５】
【数２５】
2010090019.tif 000086
【０２９６】
ここで、Ｓ（ｕ，ｖ）は、タイル（ｕ，ｖ）の領域を表す。
【０２９７】
以上により、本発明の実施の形態３に係るＭＣＵ３０５Ｃは、異なる基準で表現されたパラメータを結合できる。
【０２９８】
（実施の形態４）
本発明の実施の形態４では、実施の形態３に係るＭＣＵ３０５Ｃの変形例について説明する。本発明の実施の形態４に係るＭＣＵ３０５Ｄは、統一されたパラメータ表現基準を相互作用的に切り替える能力を有する。
【０２９９】
図２７は、本発明の実施の形態４に係るＭＣＵ３０５Ｄの構成を示すブロック図である。なお、図２３と同様の要素には同一の符号を付しており、重複する説明は省略する。
【０３００】
図２７に示すＭＣＵ３０５Ｄは、図２３の構成に加え、さらに、パラメータ基準選択部５０２を備える。また、パラメータサブストリーム結合部５０６Ｄの構成が、図２３に示すパラメータサブストリーム結合部５０６Ｃと異なる。
【０３０１】
パラメータ基準選択部５０２は、複数のパラメータ表現基準のうち一つを選択し、選択したパラメータ表現基準を示す選択信号５１１をパラメータサブストリーム結合部５０６へ出力する。例えば、パラメータ基準選択部５０２は、図２５Ａ〜図２５Ｃに示す３つのパラメータ表現基準（詳細なパラメータ表現基準、中程度のパラメータ表現基準及び粗いパラメータ表現基準）のうち一つを選択する。
【０３０２】
具体的には、パラメータ基準選択部５０２は、基準切り替えのメカニズムを、例えば、ＭＣＵ３０５Ｄから複数のサイト３０１への送信に用いることができる現在のビットレート５１０、又は対応する結合パラメータサブストリーム１２２のビットコストに応じて決定することができる。これは、以下にあげる３つのステップを通して実現可能である。
【０３０３】
（１）まず、ＭＣＵ３０５Ｄが結合ストリームを受信サイトに配信する際、高いビットレートを利用可能な場合、又は最大ビット消費が妥当である場合は、パラメータ基準選択部５０２は、詳細なパラメータ表現基準を選択する。これは、下記（式２６）のように表される。
【０３０４】
【数２６】
2010090019.tif 000087
【０３０５】
ここで、ｂｒは実際のＭＣＵ配信ビットレートを表し、ｂ０は結合ストリーム配信のために予め定義された高いビットレートを表し、ｂ１は予め定義された低いビットレート値を表し、ｃは予め定義された閾値、例えば、１．５〜２．０の間の実数を表す。
【０３０６】
（２）上記条件が満たされなかった場合には、パラメータ基準選択部５０２は、ＭＣＵ配信のために認められたビットレート条件が厳しすぎるかどうか、又は、中程度のビット消費が妥当かどうかをテストする。すなわち、パラメータ基準選択部５０２は、下記（式２７）が満たされるか否かを判定する。
【０３０７】
【数２７】
2010090019.tif 000088
【０３０８】
上記に当てはまる場合、パラメータ基準選択部５０２は、中程度のパラメータ表現基準を選択する。
【０３０９】
（３）上記条件のいずれも満たさない場合は、統一パラメータ表現基準は、パラメータ基準選択部５０２は、粗いパラメータ表現基準を選択する。
【０３１０】
なお、パラメータ基準選択部５０２は、ビットレート及びビットコストの両方に基づき、パラメータ表現基準を選択してもよいし、ビットレート及びビットコストの一方のみに基づき、パラメータ表現基準を選択してもよい。
【０３１１】
図２８は、パラメータサブストリーム結合部５０６Ｄの構成を示す図である。なお、図２４と同様の要素には同一の符号を付しており、重複する説明は省略する。また、４つのサイトを接続する遠隔会議システムにおいて、アクティブサイトがサイト３０１Ａ、３０１Ｂ及び３０１Ｄの３つであるとする。また、図２８は、サイト３０１Ａへ送信する一つの結合パラメータサブストリーム１２２を生成する構成のみを示している。
【０３１２】
図２８に示すパラメータサブストリーム結合部５０６Ｄでは、パラメータ基準統一部７５４Ｄの構成が、図２４に示すパラメータ基準統一部７５４と異なる。
【０３１３】
パラメータ基準統一部７５４Ｄは、選択信号５１１で示されるパラメータ表現基準に、複数のパラメータ７６１を変換することにより統一パラメータ７６２を生成する。
【０３１４】
以上より、本発明の実施の形態４に係るＭＣＵ３０５Ｄは、ビットレート又はビットコストを考慮することによって、異なるパラメータ表現基準を持つパラメータサブストリーム１１３を効率的に統合できる。
【０３１５】
以上、本発明の実施の形態に係る結合装置及び遠隔通信システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０３１６】
例えば、上記実施の形態１〜４では、ダウンミックスサブストリーム結合部５０４又は５０４Ｂが、複数のダウンミックスサブストリーム１１５をＭＤＣＴドメイン（スペクトルドメイン）において結合する例を述べたが、図４に示す従来例のように、複数のダウンミックスサブストリーム１１５を時間ドメインで結合してもよい。
【０３１７】
また、上記実施の形態１〜４に係る結合装置、符号化装置及び復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０３１８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３１９】
また、本発明の実施の形態１〜４に係る、結合装置、符号化装置及び復号装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０３２０】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０３２１】
また、上記実施の形態１〜４に係る、遠隔通信システム、結合装置、符号化装置、復号装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０３２２】
また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０３２３】
また、上記の結合装置による結合方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る結合装置による結合方法は、上記に限定されるものではない。例えば、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０３２４】
更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０３２５】
本発明は、結合装置に適用できる。また、本発明は、当該結合装置を用いる遠隔会議システムに適用できる。
【符号の説明】
【０３２６】
１００  符号化装置
１０１、２０２  Ｔ−Ｆ変換部
１０２  アナライザ
１０２Ａ  ダウンミックス部
１０２Ｂ  パラメータ抽出部
１０３、２０４  Ｆ−Ｔ変換部
１０４  ダウンミックスエンコーダ
１１０  オーディオ入力信号
１１１  周波数信号
１１２  中間ダウンミックス信号
１１３、ＰａｒａｓＡ、ＰａｒａｓＢ、ＰａｒａｓＣ、ＰａｒａｓＤ  パラメータサブストリーム
１１４  ダウンミックス時間信号
１１５、ＤｍｘＡ、ＤｍｘＢ、ＤｍｘＣ、ＤｍｘＤ  ダウンミックスサブストリーム
１１６  符号化ビットストリーム
１２１、ＤｍｘＡＢＣ、ＤｍｘＡＢＤ、ＤｍｘＡＣＤ、ＤｍｘＢＣＤ、ＤｍｘＡＢ、ＤｍｘＡＣ、ＤｍｘＢＣ  結合ダウンミックスサブストリーム
１２２、ＰａｒａｓＡＢＣ、ＰａｒａｓＡＢＤ、ＰａｒａｓＡＣＤ、ＰａｒａｓＢＣＤ、ＰａｒａｓＡＢ、ＰａｒａｓＡＣ、ＰａｒａｓＢＣ  結合パラメータサブストリーム
１２３、１２３Ａ、１２３Ｂ、１２３Ｄ  補助情報
１２４  結合ビットストリーム
２００、２００Ｂ  復号装置
２０１  ダウンミックスデコーダ
２０３  パラメータ合成部
２０５  パラメータ変換部
２１３  時間信号
２１４  周波数信号
２１５  変換信号
２１６  オーディオ出力信号
３００、３００Ａ、３００Ｂ  遠隔通信システム
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ、３０１Ｄ  サイト
３０５、３０５Ａ、３０５Ｂ、３０５Ｃ、３０５Ｄ  ＭＣＵ
４０１、４０２、４０３  パラメトリックデコーダ
４０４、７０４  加算部
４０５  パラメトリックエンコーダ
４１１Ｂ、４１１Ｃ、４１１Ｄ  復号信号
４１２  加算信号
５０１  検出部
５０２  パラメータ基準選択部
５０４、５０４Ｂ  ダウンミックスサブストリーム結合部
５０６、５０６Ｂ、５０６Ｃ、５０６Ｄ  パラメータサブストリーム結合部
５０７  補助情報生成部
５０８  送信部
５１０  ビットレート
５１１  選択信号
６０１  ＭＤＣＴ変換部
６０２  符号化部
６０３  制御部
６１１、７１０、ｃｏｅｆＢ、ｃｏｅｆＣ、ｃｏｅｆＤ  ＭＤＣＴ係数セット
７００  復号部
７０１、７０２、７０３  逆符号化部
７０５  スケーリング部
７０６  符号化部
７１１、７１２、ｃｏｅｆＢＣＤ  結合ＭＤＣＴ係数セット
７５０  逆量子化部
７５４、７５４Ｄ  パラメータ基準統一部
７５５  パラメータ結合部
７５６  パラメータ更新部
７５７  量子化部
７６１  パラメータ
７６２  統一パラメータ
７６３、７６４  結合パラメータ
７６５  更新パラメータ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合装置であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える
結合装置。
【請求項２】
前記第１結合部は、
前記複数のダウンミックスサブストリームのうち、前記アクティブ符号化ビットストリームに含まれる前記ダウンミックスサブストリームのみを復号することにより複数の復号ダウンミックスサブストリームを生成する復号部と、
前記複数の復号ダウンミックスサブストリームを加算することにより１以上の中間結合ダウンミックスサブストリームを生成する加算部と、
前記１以上の中間結合ダウンミックスサブストリームを符号化することにより１以上の前記結合ダウンミックスサブストリームを生成する符号化部とを備える
請求項１記載の結合装置。
【請求項３】
前記第１結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のダウンミックスサブストリームのうち、当該サイト以外のサイトから送信された複数のダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合ダウンミックスサブストリームを生成し、
前記第２結合部は、前記複数のサイトの各々に対して、前記複数のアクティブ符号化ビットストリームに含まれる前記複数のパラメータサブストリームのうち、当該サイト以外のサイトから送信された複数のパラメータダウンミックスサブトストリームを結合することにより、当該サイトに対応する結合パラメータサブストリームを生成し、
前記送信部は、前記結合ダウンミックスサブストリーム及び前記結合パラメータサブストリームを含む結合ビットストリームを、対応するサイトへ送信し、
前記複数の符号化ビットストリームのうち、前記アクティブ符号化ビットストリーム以外の符号化ビットストリームである非アクティブ符号化ビットストリームの数が２以上の場合、
（１）前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のダウンミックスサブストリームを結合することにより共通結合ダウンミックスサブストリームを生成し、
（２）前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数のパラメータサブストリームを結合することにより共通結合パラメータサブストリームを生成し、
（３）前記送信部は、前記共通結合ダウンミックスサブストリーム及び前記共通結合パラメータサブストリームを含む共通結合ビットストリームを、前記２以上の非アクティブ符号化ビットストリームの送信元のサイトへ送信する
請求項１又は２記載の結合装置。
【請求項４】
前記アクティブ符号化ビットストリームの数が２の場合、前記送信部は、前記２個のアクティブ符号化ビットストリームの一方である第１符号化ビットストリームをそのまま、前記２個のアクティブ符号化ビットストリームの他方である第２符号化ビットストリームの送信元のサイトへ送信し、前記第２符号化ビットストリームをそのまま前記第１符号化ビットストリームの送信元のサイトへ送信する
請求項１〜３のいずれか１項に記載の結合装置。
【請求項５】
前記アクティブ符号化ビットストリームの数が１の場合、前記送信部は、前記アクティブ符号化ビットストリームをそのまま、当該アクティブ符号化ビットストリームの送信元のサイト以外のサイトへ送信する
請求項１〜４のいずれか１項に記載の結合装置。
【請求項６】
前記検出部は、前記複数のパラメータサブストリームに含まれる情報を用いて、前記アクティブ符号化ビットストリームを検出する
請求項１〜５のいずれか１項に記載の結合装置。
【請求項７】
前記第１結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームを結合することにより、前記単一の結合ダウンミックスサブストリームを生成し、
前記第２結合部は、全てのアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームを結合することにより、前記単一の結合パラメータサブストリームを生成し、
前記送信部は、前記単一の結合ダウンミックスサブストリーム及び前記単一の結合パラメータサブストリームとを含む単一の結合ビットストリームを、前記複数のサイトの全てへ送信する
請求項１又は２記載の結合装置。
【請求項８】
前記結合装置は、さらに、
前記アクティブ符号化ビットストリームの送信元であるアクティブサイトの各々に対して、前記単一の結合ビットストリームの信号成分のうち、当該アクティブサイトにより送信された前記符号化ビットストリームに対応する信号成分を特定するための補助情報を生成する補助情報生成部を備え、
前記送信部は、複数の前記補助情報の各々を、対応するアクティブサイトへ送信する
請求項７記載の結合装置。
【請求項９】
前記補助情報生成部は、前記アクティブサイトの各々に対して、前記単一の結合パラメータサブストリームに含まれるパラメータのうち、当該アクティブサイトにより送信された前記パラメータサブストリームに対応するパラメータを特定するための前記補助情報を生成する
請求項８記載の結合装置。
【請求項１０】
前記第２結合部は、
前記複数のパラメータサブストリームが、異なるパラメータ表現基準で表現されている場合、当該複数のパラメータサブストリームのパラメータ表現基準を、単一の統一パラメータ表現基準に変換することにより、複数の統一パラメータを生成するパラメータ基準統一部を備え、
前記第２結合部は、前記複数の統一パラメータを結合することにより、前記結合パラメータサブストリームを生成する
請求項１〜９のいずれか１項に記載の結合装置。
【請求項１１】
前記結合装置は、さらに、
当該結合装置から前記複数のサイトへの送信に用いることができる現在のビットレートに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
請求項１０記載の結合装置。
【請求項１２】
前記結合装置は、さらに、
前記結合パラメータサブストリームのビット数を示すビットコストに応じて、複数のパラメータ表現基準から前記統一パラメータ表現基準を選択するパラメータ基準選択部を備える
請求項１０記載の結合装置。
【請求項１３】
前記ダウンミックスサブストリームは、前記複数のオーディオ入力信号がダウンミックスされた後、スペクトルドメインに変換されたうえで、符号化されており、
前記復号部は、前記ダウンミックスサブストリームを復号することにより、前記スペクトルドメインの前記復号ダウンミックスサブストリームを生成し、
前記加算部は、前記スペクトルドメインの前記複数の復号ダウンミックスサブストリームを加算することにより前記１以上の中間結合ダウンミックスサブストリームを生成する
請求項２記載の結合装置。
【請求項１４】
前記第１結合部は、さらに、
前記複数の復号ダウンミックスサブストリームのスペクトルパワーが前記中間結合ダウンミックスサブストリームにおいて保存されるように、前記中間結合ダウンミックスサブストリームをスケーリングするスケーリング部を備え、
前記符号化部は、前記スケーリング部によりスケーリングされた前記中間結合ダウンミックスサブストリームを符号化することにより前記結合ダウンミックスサブストリームを生成する
請求項１３記載の結合装置。
【請求項１５】
前記第２結合部は、
複数のパラメータサブストリームを逆量子化することにより複数の逆量子化パラメータを生成する逆量子化部と、
前記逆量子化パラメータを結合することにより結合パラメータを生成するパラメータ結合部と、
前記結合パラメータに含まれるパラメータのうち一部のパラメータを更新することにより更新パラメータを生成するパラメータ更新部と、
前記結合パラメータに含まれるパラメータのうち前記一部以外のパラメータと、前記更新パラメータとを量子化することにより、前記結合パラメータサブストリームを生成する量子化部とを備える
請求項１３記載の結合装置。
【請求項１６】
複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項１記載の結合装置とを含み、
前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含む
遠隔通信システム。
【請求項１７】
複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む符号化ビットストリームを生成する符号化装置を含む複数のサイトと、
前記複数のサイトにより送信された複数の前記符号化ビットストリームを結合することにより結合ビットストリームを生成し、生成した前記結合ビットストリームを前記複数のサイトへ送信する請求項８記載の結合装置とを含み、
前記複数のサイトの各々は、さらに、前記結合ビットストリームを復号することにより、オーディオ出力信号を生成する復号装置を含み、
前記復号装置は、前記補助情報を用いて、前記単一の結合ビットストリームの信号成分のうち、当該復号装置を備えるサイトにより送信された前記符号化ビットストリームに対応する信号成分を除去した前記オーディオ出力信号を生成する
遠隔通信システム。
【請求項１８】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する結合方法であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出ステップと、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合ステップと、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合ステップと、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信ステップとを含む
結合方法。
【請求項１９】
請求項１８記載の結合方法をコンピュータに実行させる
プログラム。
【請求項２０】
複数のサイトの各々から送信された、複数のオーディオ入力信号がダウンミックスされたダウンミックスサブストリームと、当該ダウンミックスサブストリームを複数のオーディオ入力信号に復元するためのパラメータサブストリームとを含む複数の符号化ビットストリームを結合する集積回路であって、
前記複数の符号化ビットストリームのうち、所定の時間内において、有効な符号化ビットストリームであるアクティブ符号化ビットストリームを検出する検出部と、
複数の前記ダウンミックスサブストリームのうち、複数の前記アクティブ符号化ビットストリームに含まれる複数の前記ダウンミックスサブストリームのみを結合することにより、結合ダウンミックスサブストリームを生成する第１結合部と、
複数の前記パラメータサブストリームのうち、前記複数のアクティブ符号化ビットストリームに含まれる複数の前記パラメータサブストリームのみを結合することにより、結合パラメータサブストリームを生成する第２結合部と、
前記結合ダウンミックスサブストリームと前記結合パラメータサブストリームとを含む結合ビットストリームを前記複数のサイトへ送信する送信部とを備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010090019.tif 000089
【図２】
2010090019.tif 000090
【図３】
2010090019.tif 000091
【図４】
2010090019.tif 000092
【図５】
2010090019.tif 000093
【図６】
2010090019.tif 000094
【図７】
2010090019.tif 000095
【図８】
2010090019.tif 000096
【図９】
2010090019.tif 000097
【図１０】
2010090019.tif 000098
【図１１】
2010090019.tif 000099
【図１２】
2010090019.tif 000100
【図１３】
2010090019.tif 000101
【図１４】
2010090019.tif 000102
【図１５】
2010090019.tif 000103
【図１６】
2010090019.tif 000104
【図１７】
2010090019.tif 000105
【図１８】
2010090019.tif 000106
【図１９】
2010090019.tif 000107
【図２０】
2010090019.tif 000108
【図２１】
2010090019.tif 000109
【図２２Ａ】
2010090019.tif 000110
【図２２Ｂ】
2010090019.tif 000111
【図２３】
2010090019.tif 000112
【図２４】
2010090019.tif 000113
【図２５Ａ】
2010090019.tif 000114
【図２５Ｂ】
2010090019.tif 000115
【図２５Ｃ】
2010090019.tif 000116
【図２６Ａ】
2010090019.tif 000117
【図２６Ｂ】
2010090019.tif 000118
【図２７】
2010090019.tif 000119
【図２８】
2010090019.tif 000120
【国際調査報告】
2010090019.tif 000121
2010090019.tif 000122
2010090019.tif 000123
2010090019.tif 000124
2010090019.tif 000125
2010090019.tif 000126