(57)【要約】  本発明は、信号処理方法及び装置に関するものであり、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置に関する。この信号処理方法は、ミックス信号及びソース信号のうち１つ以上を受信する段階と、ミックス信号及びソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する段階と、を含み、統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする。
2010506230.tif 000002
【特許請求の範囲】
【請求項１】
ミックス信号及びソース信号のうち１つ以上を受信する段階と、
前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する段階と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法。
【請求項２】
前記統合付加情報は、前記統合ソース信号間の関係情報、前記統合ソース信号及び前記ミックス信号間の関係情報、前記統合ソース信号に対応するエネルギー情報のうち１つ以上を含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項３】
１つ以上のソース信号を用いて前記統合ソース信号を生成する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項４】
ユーザからグルーピング選択信号を受信する段階をさらに含み、
前記生成する段階は、前記グルーピング選択信号に基づいて行なわれることを特徴とする、請求項１に記載の信号処理方法。
【請求項５】
前記ミックス信号及び合成ソース信号のうち１つ以上を受信する段階と、
統合制御情報を受信する段階と、
前記統合付加情報及び前記統合制御情報を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングする段階と、をさらに含み、
前記統合制御情報は、１つ以上のソース信号が１つにグルーピングされた統合ソース信号に適用可能であることを特徴とする、請求項１に記載の信号処理方法。
【請求項６】
ミックス信号及びソース信号のうち１つ以上を受信する受信部と、
前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置。
【請求項７】
ミックス信号及びソース信号のうち１つ以上を受信する段階と、
前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する段階と、
前記受信した付加情報を用いて統合ソース信号に対応する統合付加情報を生成する段階と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法。
【請求項８】
ミックス信号及びソース信号のうち１つ以上を受信し、前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する受信部と、
前記受信された付加情報を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置。
【請求項９】
ミックス信号及びソース信号のうち１つ以上を受信する段階と、
統合制御情報を受信する段階と、
前記ミックス信号、前記ソース信号、及び前記統合制御情報のうち１つ以上を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングする段階と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法。
【請求項１０】
ミックス信号及びソース信号のうち１つ以上を受信する受信部と、
統合制御情報を受信し、前記ミックス信号、前記ソース信号、及び前記統合制御情報のうち１つ以上を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングするリミキシング部と、を含み、
前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置。
【請求項１１】
多重化された第１ミックス信号及び付加情報から前記第１ミックス信号または前記付加情報を獲得する段階と、
ユーザミックスパラメータを獲得する段階と、
前記第１ミックス信号または前記付加情報と前記ユーザミックスパラメータとを用いてリミックス信号を生成する段階と、を含み、
前記第１ミックス信号は、１つ以上のソース信号を含み、前記付加情報は、リミックスされるソース信号と前記第１ミックス信号との関係を表すことを特徴とする信号処理方法。
【請求項１２】
ユーザから第２ミックス信号を獲得する段階と、
前記第１ミックス信号と前記第２ミックス信号が同一でない場合、前記付加情報を前記第２ミックス信号に対する付加情報に変形する段階と、をさらに含み、
前記リミックス信号を生成する段階は、前記変形された付加情報、前記ユーザミックスパラメータ及び前記第２ミックス信号を用いてリミックス信号を生成する段階を含むことを特徴とする、請求項１１に記載の信号処理方法。
【請求項１３】
前記リミックス信号を生成する段階は、
前記変形された付加情報及び前記第２ミックス信号のうち１つ以上に含まれているタイミング情報を用いて、前記変形された付加情報と前記第２ミックス信号との時刻同期を合わせる段階を含むことを特徴とする、請求項１２に記載の信号処理方法。
【請求項１４】
ユーザから第２ミックス信号を獲得する段階と、
前記付加情報と前記第２ミックス信号がマッチングされる場合、前記付加情報、前記ユーザミックスパラメータ及び前記第２ミックス信号を用いてリミックス信号を生成する段階と、をさらに含むことを特徴とする、請求項１１に記載の信号処理方法。
【請求項１５】
前記付加情報と前記第２ミックス信号がマッチングされるか否かは、前記ミックス信号と前記付加情報とのマッチングの有無を表す識別情報を用いて判断されることを特徴とする、請求項１４に記載の信号処理方法。
【請求項１６】
前記リミックス信号を生成する段階は、
前記付加情報及び前記第２ミックス信号のうち１つ以上に含まれているタイミング情報を用いて、前記変形された付加情報と前記第２ミックス信号との時刻同期を合わせる段階を含むことを特徴とする、請求項１１に記載の信号処理方法。
【請求項１７】
１つ以上のソース信号を含むミックス信号を獲得する段階と、
前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す付加情報を獲得する段階と、
前記ミックス信号及び前記付加情報を多重化する段階と、
を含むことを特徴とする信号処理方法。
【請求項１８】
前記多重化は、前記ミックス信号と前記付加情報を単純に結合し、前記ミックス信号の付加領域に前記付加情報を含め、または、前記ミックス信号と前記付加情報を１つのパケット単位に結合することによってなることを特徴とする、請求項１７に記載の信号処理方法。
【請求項１９】
ミックス信号から第１識別情報を抽出し、付加情報から第２識別情報を獲得する段階と、
前記第１識別情報と前記第２識別情報が一致する場合、前記付加情報及び前記ミックス信号を用いてリミックス信号を生成する段階と、を含み、
前記付加情報は、ソース信号とミックス信号間の関係を表すことを特徴とする信号処理方法。
【請求項２０】
前記ミックス信号は、１つ以上のソース信号がダウンミキシングされたミックス信号を含み、
前記リミックス信号を生成する段階は、前記ミックス信号を用いてリミックス信号を生成する段階であることを特徴とする、請求項１９に記載の信号処理方法。
【請求項２１】
１つ以上のソース信号を含むミックス信号から第１識別情報を抽出するコアデコーディング部と、
付加情報から第２識別情報を抽出する付加情報デコーディング部と、
前記第１識別情報と前記第２識別情報とが一致するか否か判断し、制御信号を発生させる識別情報読取部と、
前記制御信号によって、前記付加情報、前記ミックス信号及びユーザから獲得された制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、
を含むことを特徴とする信号処理装置。
【請求項２２】
多重化された第１ミックス信号及び付加情報から獲得された前記第１ミックス信号を記憶するミックス信号記憶部と、
前記多重化された第１ミックス信号及び付加情報から獲得された前記付加情報を記憶する付加情報記憶部と、
前記第１ミックス信号または前記付加情報及びユーザから得られた制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、
を含むことを特徴とする信号処理装置。
【請求項２３】
ユーザから第２ミックス信号を獲得するミックス信号入力部と、
前記付加情報を前記第２ミックス信号に対する付加情報に変形する付加情報変形部と、をさらに含み、
前記リミックスレンダリング部は、前記第２ミックス信号及び前記変形された付加情報を用いてリミックス信号を生成することを特徴とする、請求項２２に記載の信号処理装置。
【請求項２４】
１つ以上のソース信号を含むミックス信号を獲得する段階と、
付加情報を獲得する段階と、
ユーザミックスパラメータを獲得する段階と、
前記ミックス信号のドメインと前記付加情報のドメインが同一である場合、前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、
前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、またはリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法。
【請求項２５】
前記ミックス信号のドメインと前記付加情報のドメインが異なる場合、前記ミックス信号のドメインと前記付加情報のドメインとを一致させる段階をさらに含み、
前記リミックス信号を生成する段階は、ドメインが一致している前記ミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する段階であることを特徴とする、請求項２４に記載の信号処理方法。
【請求項２６】
前記ドメインを一致させる段階は、
前記付加情報のドメインを前記ミックス信号のドメインに変換する段階を含むことを特徴とする、請求項２５に記載の信号処理方法。
【請求項２７】
前記ミックス信号のドメインは、ＭＤＣＴドメイン、ＱＭＦドメイン、サブバンドドメイン、または時間ドメインであることを特徴とする、請求項２６に記載の信号処理方法。
【請求項２８】
前記ドメインを一致させる段階は、
前記ミックス信号のドメインを前記付加情報のドメインに変換する段階を含むことを特徴とする、請求項２５に記載の信号処理方法。
【請求項２９】
前記付加情報のドメインは、ＭＤＣＴドメイン、ＱＭＦドメイン、サブバンドドメイン、または時間ドメインであることを特徴とする、請求項２８に記載の信号処理方法。
【請求項３０】
前記付加情報は、前記リミックスされるソース信号のレベル、前記リミックスされるソース信号間のレベル、または前記リミックスされるソース信号と前記ミックス信号間のレベルを表す情報を含むことを特徴とする、請求項２４に記載の信号処理方法。
【請求項３１】
前記ユーザミックスパラメータは、ユーザから提供された制御情報を用いて生成されることを特徴とする、請求項２４に記載の信号処理方法。
【請求項３２】
前記付加情報は、前記リミックスされるソース信号間の時間遅延、または前記リミックスされるソース信号と前記ミックス信号間の時間遅延を表す情報を含むことを特徴とする、請求項２４に記載の信号処理方法。
【請求項３３】
前記付加情報は、前記リミックスされるソース信号間の相関、または前記リミックスされるソース信号と前記ミックス信号間の相関を表す情報を含むことを特徴とする、請求項２４に記載の信号処理方法。
【請求項３４】
前記付加情報は、前記リミックスされるソース信号が前記ミックス信号にミックスされる度合を表す情報を含むことを特徴とする、請求項２４に記載の信号処理方法。
【請求項３５】
１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、
付加情報を獲得する付加情報デコーディング部と、
前記ミックス信号のドメインと前記付加情報のドメインが同一である場合、前記ミックス信号、前記付加情報及びユーザミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、
前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、またはリミックスされるソース信号と前記ミックス信号との関係を表し、前記ユーザミックスパラメータは、ユーザから提供された制御情報を用いて生成されることを特徴とする信号処理装置。
【請求項３６】
前記ミックス信号のドメインと前記付加情報のドメインが異なる場合、前記ミックス信号のドメインと前記付加情報のドメインとを一致させるドメイン変換部をさらに含み、
前記リミックス信号を生成するリミックスレンダリング部は、ドメインが一致している前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階であることを特徴とする、請求項３５に記載の信号処理装置。
【請求項３７】
前記ドメイン変換部は、
前記付加情報のドメインを前記ミックス信号のドメインに変換する付加情報ドメイン変換部を含むことを特徴とする、請求項３６に記載の信号処理装置。
【請求項３８】
前記ドメイン変換部は、
前記ミックス信号のドメインを前記付加情報のドメインに変換するミックス信号ドメイン変換部を含むことを特徴とする、請求項３６に記載の信号処理装置。
【請求項３９】
１つ以上のソース信号を含むミックス信号を獲得する段階と、
第１付加情報を獲得する段階と、
ミックスパラメータを獲得する段階と、
前記ミックス信号、前記第１付加情報、及び前記ミックスパラメータを用いてリミックス信号を生成する段階と、を含み、
前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であることを特徴とする信号処理方法。
【請求項４０】
前記第１付加情報を前記第２付加情報に復元する段階をさらに含み、
前記リミックス信号を生成する段階は、前記ミックス信号、前記第２付加情報、及び前記ミックスパラメータを用いることによって実行されることを特徴とする、請求項３９に記載の信号処理方法。
【請求項４１】
前記第１付加情報は、第２付加情報に比べて情報量が少ないことを特徴とする、請求項４０に記載の信号処理方法。
【請求項４２】
前記第１付加情報は、前記第２付加情報を正規化して生成されることを特徴とする、請求項４１に記載の信号処理方法。
【請求項４３】
前記第１付加情報または第２付加情報は、前記ミックス信号と一緒に前記リミックス信号を生成する時に、時刻同期問題を解決するためのタイミング情報を含むことを特徴とする、請求項３９に記載の信号処理方法。
【請求項４４】
前記第１付加情報または第２付加情報は、前記リミックスされるソース信号の最大制御値に対するガイド情報を含むことを特徴とする、請求項３９に記載の信号処理方法。
【請求項４５】
前記ガイド情報は、前記リミックスされるソース信号全体に同一に適用され、または、各リミックスされるソース信号ごとに独立して適用されることを特徴とする、請求項４４に記載の信号処理方法。
【請求項４６】
前記第１付加情報または第２付加情報は、各ソース信号が含まれるチャネルを表すチャネル識別情報を含むことを特徴とする、請求項３９に記載の信号処理方法。
【請求項４７】
１つ以上のソース信号を含むミックス信号を獲得する段階と、
前記ソース信号のうちリミックスされるソース信号を獲得する段階と、
前記ミックス信号及び前記リミックスされるソース信号を用いて第１付加情報を生成する段階と、
前記第１付加情報を第２付加情報に変形する段階と、を含み、
前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理方法。
【請求項４８】
前記第２付加情報をより量子化及び符号化に適合する第３付加情報に変換する段階をさらに含むことを特徴とする、請求項４７に記載の信号処理方法。
【請求項４９】
前記第３付加情報を量子化及び符号化する段階をさらに含むことを特徴とする、請求項４７に記載の信号処理方法。
【請求項５０】
前記変形段階は、
前記第１付加情報を正規化する前記第２付加情報を生成する段階を含むことを特徴とする、請求項４７に記載の信号処理方法。
【請求項５１】
第１ミックス信号及び第１付加情報を獲得する段階と、
第２ミックス信号を獲得する段階と、
前記第１ミックス信号と前記第２ミックス信号とを比較した結果を用いて前記第１付加情報を第２付加情報に変形する段階と、を含み、
前記第１付加情報は、前記第１ミックス信号をリミックスするのに必要な情報であり、前記第２付加情報は、前記第２ミックス信号をリミックスするのに必要な情報であることを特徴とする信号処理方法。
【請求項５２】
前記第２付加情報を独立して出力し、または前記第２付加情報と前記第２ミックス信号を多重化して出力する段階をさらに含むことを特徴とする、請求項５１に記載の信号処理方法。
【請求項５３】
１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、
第１付加情報を獲得する付加情報デコーディング部と、
前記ミックス信号、前記第１付加情報、及びミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、
前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であり、前記ミックスパラメータは、ユーザから獲得された制御情報を用いて生成されることを特徴とする信号処理装置。
【請求項５４】
前記第１付加情報を前記第２付加情報に復元する付加情報復元部をさらに含み、
前記リミックスレンダリング部は、前記ミックス信号、前記第２付加情報、及び前記ミックスパラメータを用いて前記リミックス信号を生成することを特徴とする、請求項５３に記載の信号処理装置。
【請求項５５】
１つ以上のソース信号を含むミックス信号及びリミックスされるソース信号を用いて第１付加情報を生成する付加情報生成部と、
前記第１付加情報を第２付加情報に変形する付加情報変形部と、
前記第２付加情報を符号化する付加情報エンコーディング部と、を含み、
前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び装置に関するものであり、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、ステレオ信号が最も頻繁に生成され、消費者たちに最も広く用いられている。最近ではマルチチャネル信号が益々広く利用されてきている。しかし、かかるミックス信号は、ミックス信号を構成するソース信号単位ではなくチャネル信号単位に処理されるという制約がある。したがって、チャネル信号単位にミックス信号を処理する場合、ミックス信号を構成する特定ソース信号のみを独立して処理できないという問題点がある。例えば、映画を見る際に俳優たちの音声に対するボリュームは一定に維持しながら、バックグラウンドミュージックのボリュームのみを上げることは不可能である。
【０００３】
一方、ステレオチャネルの場合、あるソースの信号に残響（reverberation）のような効果を追加すると、１つのソースの信号に各チャネル（左側チャネル、右側チャネル）別に属性が追加される。言い換えると、残響効果が追加された特定ソースの左側信号、及び残響効果が追加された特定ソースの右側信号は、１つのソースに該当する信号であるとしても１つのソース信号として取り扱われず、それぞれ独立した２つのソース信号として取り扱われる。ところが、ミックス信号をソース信号別にリミックスする際に、付加情報及び制御情報はソース信号別に処理すべきなので、各ソース信号に対して付加情報（及び制御情報）を全て処理しなければならないという問題点がある。
【０００４】
また、従来はミックス信号及び付加情報を多重化して伝送するから、ミックス信号と付加情報を独立して抽出できないという問題点があった。
【０００５】
また、ミックス信号と付加情報のドメインが異なる場合に、ドメインを一致させる方法がないため、問題点があった。
【０００６】
また、付加情報をそのまま伝送する場合、情報量が増えるという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記のような問題点を解決するために案出されたもので、その目的は、ミックス信号をソース信号別にリミックスする際に、関連あるソース信号を１つのソース信号にグルーピングすることによってユーザが容易に制御できるようにするミックス信号の信号処理方法及び装置を提供することにある。
【０００８】
上記のような問題点を解決するために、本発明は、ユーザがミックス信号及び付加情報を独立して伝送する信号処理方法及び装置を提供することに目的がある。
【０００９】
また、本発明は、ミックス信号または付加情報を独立して抽出してリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。
【００１０】
また、本発明は、付加情報を新しいミックス信号に合わせて変形する信号処理方法及び装置を提供することに目的がある。
【００１１】
また、本発明は、ミックス信号及び付加情報を同一のドメインに変換する信号処理方法及び装置を提供することに目的がある。
【００１２】
また、本発明は、同一のドメインを持つミックス信号及び付加情報を用いてリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。
【００１３】
また、本発明は、ミックス信号及び付加情報のドメインが異なる場合、ミックス信号のドメインと付加情報のドメインとを一致させてリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。
【００１４】
また、本発明は、付加情報を少ない情報量を有するように変形するエンコーディング方法及び装置を提供することに目的がある。
【００１５】
また、本発明は、変形された付加情報を用いてミックス信号をソース信号単位に制御できるミックス信号デコーディング方法及び装置を提供することに目的がある。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する段階と、前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する段階と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法を提供する。
【００１７】
また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する受信部と、前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置を提供する。
【００１８】
また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する段階と、前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する段階と、前記受信した付加情報を用いて統合ソース信号に対応する統合付加情報を生成する段階と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法を提供する。
【００１９】
また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信し、前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する受信部と、前記受信した付加情報を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置を提供する。
【００２０】
また、上記目的を達成するために、本発明は、多重化された第１ミックス信号及び付加情報から前記第１ミックス信号または前記付加情報を独立して獲得する段階と、ユーザミックスパラメータを獲得する段階と、前記第１ミックス信号または前記付加情報と前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記第１ミックス信号は、１つ以上のソース信号を含み、前記付加情報は、リミックスされるソース信号と前記第１ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。
【００２１】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す付加情報を獲得する段階と、前記ミックス信号及び前記付加情報を多重化する段階と、を含むことを特徴とする信号処理方法を提供する。
【００２２】
また、上記目的を達成するために、本発明は、ソース信号から第１識別情報を抽出し、付加情報から第２識別情報を獲得する段階と、前記第１識別情報と前記第２識別情報とが一致する場合、前記付加情報及び前記ソース信号を用いてリミックス信号を生成する段階と、を含み、前記付加情報は、リミックスされるソース信号間の関係を表すことを特徴とする信号処理方法を提供する。
【００２３】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号から第１識別情報を抽出するコアデコーディング部と、付加情報から第２識別情報を抽出する付加情報デコーディング部と、前記第１識別情報と前記第２識別情報との一致の有無を判断して制御信号を発生させる識別情報読取部と、前記制御信号によって前記付加情報、前記ミックス信号及びユーザから獲得された制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
【００２４】
また、上記目的を達成するために、本発明は、多重化された第１ミックス信号及び付加情報から獲得された前記第１ミックス信号を記憶するミックス信号記憶部と、前記多重化された第１ミックス信号及び付加情報から獲得された前記付加情報を記憶する付加情報記憶部と、前記第１ミックス信号または前記付加情報及びユーザから得られた制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
【００２５】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、付加情報を獲得する段階と、ユーザミックスパラメータを獲得する段階と、前記ミックス信号のドメインと前記付加情報のドメインとが同じ場合、前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、または、リミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。
【００２６】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、付加情報を獲得する付加情報デコーディング部と、前記ミックス信号のドメインと前記付加情報のドメインとが同じ場合、前記ミックス信号、前記付加情報及びユーザミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、または、リミックスされるソース信号と前記ミックス信号との関係を表し、前記ユーザミックスパラメータは、ユーザから提供された制御情報を用いて生成されることを特徴とする信号処理装置を提供する。
【００２７】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、第１付加情報を獲得する段階と、ミックスパラメータを獲得する段階と、前記ミックス信号、前記第１付加情報、及び前記ミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であることを特徴とする信号処理方法を提供する。
【００２８】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号のうちリミックスされるソース信号を獲得する段階と、前記ミックス信号及び前記リミックスされるソース信号を用いて第１付加情報を生成する段階と、前記第１付加情報を第２付加情報に変形する段階と、を含み、前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理方法を提供する。
【００２９】
また、上記目的を達成するために、本発明は、第１ミックス信号及び第１付加情報を獲得する段階と、第２ミックス信号を獲得する段階と、前記第１ミックス信号と前記第２ミックス信号とを比較した結果を用いて前記第１付加情報を第２付加情報に変形する段階を含み、前記第１付加情報は、前記第１ミックス信号をリミックスするのに必要な情報であり、前記第２付加情報は、前記第２ミックス信号をリミックスするのに必要な情報であることを特徴とする信号処理方法を提供する。
【００３０】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、第１付加情報を獲得する付加情報デコーディング部と、前記ミックス信号、前記第１付加情報、及びミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であり、前記ミックスパラメータは、ユーザから獲得された制御情報を用いて生成されることを特徴とする信号処理装置を提供する。
【００３１】
また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号及びリミックスされるソース信号を用いて第１付加情報を生成する付加情報生成部と、前記第１付加情報を第２付加情報に変形する付加情報変形部と、前記第２付加情報を符号化する付加情報エンコーディング部と、を含み、前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理装置を提供する。
【発明の効果】
【００３２】
本発明による信号処理方法及び装置によれば、ミックス信号をソース信号別にリミックスする際に、特定効果の加えられたそれぞれのチャネル信号（例:残響効果の加えられた左側チャネル信号、残響効果の加えられた右側チャネル信号）がグルーピングされて１つのソースを構成するため、ユーザは、それぞれのソースを制御することなく、グルーピングされたソース統合ソースのみを制御することが可能になる。
【００３３】
また、本発明による信号処理方法及び装置によれば、ユーザはある分類（例:ドラム）に属する多数の楽器（例：バスドラム、ハイハット、ロータム、スネアドラム、シンバル等の音）を全体的に一度に制御することが可能になる。
【００３４】
また、本発明による信号処理方法及び装置によれば、連関性あるソース信号を１つのソース信号にグルーピングすることによって、ユーザはソース信号をそれぞれ制御することなくグルーピングされたソースを制御すればいいため、ミックス信号のリミキシングをより容易で便利にすることができる。
【００３５】
また、本発明による信号処理方法及び装置によれば、ミックス信号をソース信号別に調節でき、ミックス信号と付加情報を独立して伝送でき、付加情報を新しいミックス信号に合わせて変形することができる。
【００３６】
また、本発明による信号処理方法及び装置によれば、ミックス信号及び付加情報を同じドメインに変換し、同じドメインを持つミックス信号及び付加情報を用いてリミックス信号を生成することができる。
【００３７】
また、本発明による信号処理方法及び装置によれば、ミックス信号のドメインと付加情報のドメインとが異なる場合、付加情報のドメインをミックス信号のドメインに変換し、付加情報及びミックス信号を用いてリミックス信号を生成することによって演算量を減少させることができる。
【００３８】
また、本発明による信号処理方法及び装置によれば、変形された付加情報を用いてミックス信号をソース信号別に調節できる信号処理方法及び装置を提供することができる。
【００３９】
また、本発明による信号処理方法及び装置によれば、付加情報を変形して少ない情報量で付加情報を生成し、これを伝送することによって、データ伝送量を減らすことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施例による第１信号処理装置のブロック図である。
【図２】ステレオ信号を用いる場合の図１の第１の信号処理装置を示す詳細ブロック図である。
【図３】本発明の一実施例によるメディア信号を処理するためのドメインである。
【図４】本発明の一実施例による第２の信号処理装置のブロック図である。
【図５】本発明の一実施例による第３の信号処理装置のブロック図である。
【図６】ステレオ信号を用いる場合の図５の第３の信号処理装置を示す詳細ブロック図である。
【図７】本発明の一実施例による第４の信号処理装置のブロック図である。
【図８】通常のエンコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。
【図９】通常のデコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。
【図１０】本発明の一実施例による第５の信号処理装置のブロック図である。
【図１１】本発明の一実施例による第６の信号処理装置のブロック図である。
【図１２】本発明の一実施例による第７の信号処理装置のブロック図である。
【図１３】本発明の一実施例による信号処理方法のフローチャートである。
【図１４】本発明の一実施例による第８の信号処理装置のブロック図である。
【図１５】本発明の一実施例による第９の信号処理装置のブロック図である。
【図１６】本発明の一実施例による信号処理方法のフローチャートである。
【図１７】本発明の一実施例による第１０の信号処理装置のブロック図である。
【図１８】本発明の一実施例による第１１の信号処理装置のブロック図である。
【図１９】図１８に示す付加情報抽出部の詳細ブロック図である。
【図２０】本発明の一実施例による付加情報を変形する方法を示すグラフである。
【図２１】本発明の一実施例による付加情報を変形する方法を示すグラフである。
【図２２】本発明の一実施例によるミックス信号の変形例を示す図である。
【図２３】本発明の一実施例による多重化装置及び逆多重化装置示す図である。
【図２４】本発明の一実施例によるミックス信号及び付加情報が多重化された信号を示す図である。
【図２５】本発明の一実施例によるミックス信号または付加情報を独立的に抽出してリミックス信号を生成する方法を示すフローチャートである。
【図２６】本発明の一実施例による第１２の信号処理装置のブロック図である。
【図２７】本発明の一実施例による第１３の信号処理装置のブロック図である。
【図２８】本発明の一実施例による信号処理方法を示すフローチャートである。
【図２９】本発明の一実施例による信号処理方法を示すフローチャートである。
【図３０】本発明の一実施例による第１４の信号処理装置のブロック図である。
【図３１】本発明の一実施例による第１５の信号処理装置のブロック図である。
【図３２】本発明の一実施例による第１６の信号処理装置のブロック図である。
【図３３】本発明の一実施例による第１７の信号処理装置のブロック図である。
【図３４】本発明の一実施例による信号処理方法を示すフローチャートである。
【図３５】本発明の一実施例による信号処理方法を示すフローチャートである。
【図３６】本発明の一実施例による第１８の信号処理装置のブロック図である。
【図３７】本発明の一実施例による第１９の信号処理装置のブロック図である。
【図３８】本発明の一実施例による信号処理方法を示すフローチャートである。
【図３９】本発明の一実施例による信号処理方法を示すフローチャートである。
【図４０】本発明の一実施例による第２０の信号処理装置のブロック図である。
【図４１】本発明の一実施例による第２１の信号処理装置のブロック図である。
【図４２】本発明の一実施例による第２２の信号処理装置のブロック図である。
【図４３】本発明の一実施例による第２３の信号処理装置のブロック図である。
【図４４】本発明の一実施例による第２４の信号処理装置のブロック図である。
【図４５】本発明の一実施例による信号処理方法を示すフローチャートである。
【図４６】本発明の一実施例による第２５の信号処理装置のブロック図である。
【図４７】図４６の第２５の信号処理装置を示す詳細ブロック図である。
【図４８】本発明の一実施例による第２６の信号処理装置のブロック図である。
【図４９】本発明の一実施例による付加情報処理部を示すブロック図である。
【図５０】本発明の一実施例による付加情報を新しく適用するミックス信号に好適に変換するトランスコーダを示す図である。
【図５１】本発明の一実施例による第２７の信号処理装置のブロック図である。
【図５２】本発明の一実施例による信号処理方法を示すフローチャートである。
【図５３】本発明の一実施例による信号処理方法を示すフローチャートである。
【発明を実施するための形態】
【００４１】
以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、本明細書及び請求範囲に用いられた用語や単語は通常的または辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適宜定義することができるという原則に立ち、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を限定するためのものではない。したがって、本出願時点においてこれらに代える様々な均等物と変形例が存在できることは明らかである。
【００４２】
図１は、本発明の一実施例による第１の信号処理装置のブロック図である。この第１の信号処理装置は、付加情報生成部１０３及び付加情報エンコーディング部１０５を含む。
【００４３】
図１を参照すると、付加情報生成部１０３は、通常のミックス信号１０１及び該ミックス信号を構成するソース信号１０２を用いて付加情報１０４を生成する。ミックス信号１０１は、モノ（mono）、ステレオ（stereo）及びマルチチャネルオーディオ信号（multi-channel audio signal）とすることができる。ソース信号１０２は、ミックス信号１０１を構成するソース信号の一部または全部になり得る。付加情報１０４は、ミックス信号をソース信号単位に処理するのに用いられる情報のことを指す。付加情報１０４は、ミックス信号をリミキシングするためのミックスパラメータを含む。このミックスパラメータには、エンコーダでソース信号を用いて生成されたエンコーダミックスパラメータ（Encoder mix parameter）を含み、選択的にミックス信号のみを用いて生成されたブラインドミックスパラメータ（Blind mix parameter）を含むことができる。ミックスパラメータの例には、それぞれのソース信号に対するゲイン値及びサブバンドパワー（subband power）などがある。付加情報１０４に対する具体的な定義及び生成方法は、図２で説明する。本発明は、また、ミックス信号を構成するソース信号１０２のみを用いて付加情報１０４を生成することもできる。付加情報エンコーディング部１０５は、生成された付加情報１０４をエンコーディングし、符号化された付加情報信号１０６を生成する。ミックス信号１０１及び付加情報信号１０６は、デコーディング装置に伝送される。
【００４４】
図２は、ステレオ信号を用いる場合における、図１に示す第１の信号処理装置の詳細ブロック図である。前述したように、本発明で用いられるミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号２０１を基準にして説明する。
【００４５】
【数１】
2010506230.tif 000003
【００４６】
【数２】
2010506230.tif 000004
【００４７】
【数３】
2010506230.tif 000005
【００４８】
本発明の目的は、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、該ソース信号を含むステレオ信号を修正することにある。これらソース信号を、互いに異なるゲインファクターを持ちながらステレオ信号にリミックスすることができる。リミックス信号を下の式２のように表現することができる。
【００４９】
【数４】
2010506230.tif 000006
【００５０】
ここで、ｃi及びｄiは、リミックスされるＭ個のソース信号に対する新しいゲインファクターである。ｃi及びｄiをデコーダ端より提供することができる。この場合、付加情報生成部２０６は、ステレオ信号２０１及びＭ個のソース信号２０２を用いて付加情報２０７を生成することができる。
【００５１】
【数５】
2010506230.tif 000007
【００５２】
図２を参照すると、第１信号処理装置に、通常のステレオ信号２０１及びステレオ信号２０１に含まれるＭ個のソース信号２０２が入力される。ステレオ信号２０１は、付加情報と同期化するためにある程度遅延され、出力信号として直接用いることができる。付加情報を生成するために、ステレオ信号２０１及びソース信号２０２は、フィルターバンク２０３を通じて時間−周波数ドメインのサブバンド別信号２０４及び２０５に分解される。すなわち、ステレオ信号２０１及びソース信号は時間−周波数ドメインで処理される。この時間−周波数ドメインについては図３で後述する。サブバンド別信号２０４は、各サブバンドの中心周波数で同様にプロセシングされる。特定の周波数でステレオ信号２０１のサブバンド対２０４はｘ1（ｋ）及びｘ2（ｋ）で表示される。ここで、ｋはサブバンド信号の時間インデックス（time index）である。同様に、Ｍ個のソース信号２０２のサブバンド信号２０５は、ｓ1（ｋ），ｓ2（ｋ），…，ｓM（ｋ）で表示される。明瞭な表現のために、サブバンド（周波数）インデックスを使用しなかった。
【００５３】
【数６】
2010506230.tif 000008
【００５４】
【数７】
2010506230.tif 000009
【００５５】
【数８】
2010506230.tif 000010
【００５６】
【数９】
2010506230.tif 000011
【００５７】
【数１０】
2010506230.tif 000012
【００５８】
【数１１】
2010506230.tif 000013
【００５９】
【数１２】
2010506230.tif 000014
【００６０】
ここで、α∈［０，１］は、下の式６のように指数的に減少する推定ウィンド（estimation window）の時定数を決定する。
【００６１】
【数１３】
2010506230.tif 000015
【００６２】
【数１４】
2010506230.tif 000016
【００６３】
【数１５】
2010506230.tif 000017
【００６４】
同様に、ｂiは、下の式８のように計算される。
【００６５】
【数１６】
2010506230.tif 000018
【００６６】
図３は、本発明の一実施例によるメディア信号を処理するためのドメインを示す。前述したように、オーディオ信号及び付加情報は、図３に示すような時間−周波数ドメインのサブバンド別信号として処理される。この時間−周波数ドメインのサブバンド別信号は知覚的に誘導される。例えば、約２０ｍｓの長さを持つサイン波分析窓及び統合窓（sine analysis and synthesis window）を持つＳＴＦＴ（Short Time Fourier transform）を用いてサブバンド別信号を生成できる。この時、ＳＴＦＴ係数は、１つのグループがＥＲＢ（equivalent rectangular bandwidth）の約２倍となる帯域幅を持つようにグループ化されることができる。
【００６７】
図４は、本発明の一実施例による第２の信号処理装置のブロック図である。図４を参照すると、ダウンミキシング部４０２は、複数のソース信号４０１を合算して１つの和信号（sum signal）４０４を生成する。第２信号処理装置は、第１信号処理装置とは違い、ステレオ信号を伝送する代わりに和信号４０４を伝送する。付加情報生成部４０３は、ソース信号４０１を用いて付加情報４０５を生成する。付加情報４０５は、各ソース信号に対応するサブバンドパワー及びゲインファクターを含む。また、付加情報４０５は、リミックスレンダリング部における遅延に対応するパラメータを含むことができる。第１信号処理装置におけると略同様に、付加情報４０５は、より量子化及び符号化に適合した他の値に変換して伝送されることができる。付加情報エンコーディング部４０６は、生成された付加情報４０５を用いて、符号化された付加情報信号４０７を生成する。生成された和信号４０４及び付加情報信号４０７はデコーディング装置に伝送される。本発明はまた、ダウンミキシング部４０２を有しないエンコーディング装置を含む。この場合、ソース信号４０１は、和信号４０４に変換されず、各ソース信号４０１が直接伝送される。
【００６８】
図５は、本発明の一実施例による第３の信号処理装置のブロック図である。この第３の信号処理装置は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含む。
【００６９】
図５を参照すると、ミックス信号５０１及び付加情報信号５０２が第３信号処理装置に入力される。ミックス信号５０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。付加情報デコーディング部５０３は、付加情報信号５０２をデコーディングして付加情報５０４を生成する。付加情報５０４は、伝送されたオーディオ信号５０１に含まれたソース信号のゲインファクター及びサブバンドパワーなどを含む。リミックスレンダリング部５０５には、ユーザが直接提供する制御情報を用いて生成されたユーザミックスパラメータ（user−mix parameter）５０６が入力されることができる。リミックスレンダリング部５０５は、ミックス信号５０１、伝送された付加情報５０４及びユーザミックスパラメータ５０６を用いてリミックス信号５０７を生成する。リミックス信号を生成する方法についての具体的な説明は、図６で後述する。リミックス信号５０７を、伝送されたミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルミックス信号（Eq−channel mix signal）として生成されたり、または、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルミックス信号（Up−channel mix signal）として生成することができる。
【００７０】
図６は、ステレオ信号を用いる場合における、図５の第３の信号処理装置を示す詳細ブロック図である。前述したように、伝送されたミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号６０１とする。
【００７１】
【数１７】
2010506230.tif 000019
【００７２】
【数１８】
2010506230.tif 000020
【００７３】
【数１９】
2010506230.tif 000021
【００７４】
サブバンド別リミックス信号６０９は、下の式１０のように表現されることができる。
【００７５】
【数２０】
2010506230.tif 000022
【００７６】
リミックス信号６０９を生成するために、最小二乗推定法（least squares estimation）が用いられることができる。サブバンド別ミックス信号６０４ｘ1（ｋ）及びｘ2（ｋ）が与えられると、下の式１１のように、互いに異なるゲインを持つサブバンド別リミックス信号６０９をサブバンド別ミックス信号６０４の線形組合せとして推定することができる。
【００７７】
【数２１】
2010506230.tif 000023
【００７８】
ここで、ｗ11（ｋ）, ｗ12（ｋ）, ｗ21（ｋ）及びｗ22（ｋ）は、重み係数（weighting factor）である。この時、生成される推定エラー（estimation error）は、下の式１２のように定義されることができる。
【００７９】
【数２２】
2010506230.tif 000024
【００８０】
【数２３】
2010506230.tif 000025
【００８１】
【数２４】
2010506230.tif 000026
【００８２】
【数２５】
2010506230.tif 000027
【００８３】
【数２６】
2010506230.tif 000028
【００８４】
同様に、ｗ21及びｗ22を、下の式１５のように生成することができる。
【００８５】
【数２７】
2010506230.tif 000029
【００８６】
【数２８】
2010506230.tif 000030
【００８７】
【数２９】
2010506230.tif 000031
【００８８】
万一、ミックス信号６０４の位相が互いに同期したり（coherent）、または、ほとんど同期化するとしたら、下の式１７のように表現される値が１に近づくようになる。
【００８９】
【数３０】
2010506230.tif 000032
【００９０】
この時、重み係数を、下の式１８のように表現することができる。
【００９１】
【数３１】
2010506230.tif 000033
【００９２】
このように生成されたサブバンド別リミックス信号６０９は、前述したように、逆フィルターバンク６１０を通じて時間−ドメインのリミックス信号６１１に変換される。リミックス信号６１１は、ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータｃi及びｄiを用いてそれぞれのソース信号を独立的にリミックスして生成されたリミックス信号と略同様に聞こえる。
【００９３】
以上では２チャネルステレオ信号のリミキシングに焦点を合わせた。しかし、前述したように、本発明は、ステレオ信号に制限されず、マルチチャネルオーディオ信号、例えば５．１チャネルオーディオ信号をリミキシングすることまで拡張可能である。当業者は、本明細書で記述されたステレオ信号と略同様にしてマルチチャネルオーディオ信号をリミキシングすることができる。この場合に、上記の式１１を下の式１９のように書き直すことができる。
【００９４】
【数３２】
2010506230.tif 000034
【００９５】
選択的に、ミックス信号のチャネルのうちの特定のチャネルはリミックスせずにそのまま残すようにすることができる。例えば、５．１サラウンドチャネルに対して、２つの後方チャネルは修正せずに、前方チャネルにのみリミキシングを適用するようにすることができる。この場合に、２または３チャネルリミキシングアルゴリズムが前方チャネルに適用される。
【００９６】
図７は、本発明の一実施例による第４の信号処理装置のブロック図である。第４の信号処理装置は、付加情報デコーディング部７０３、空間情報統合部７０５及びリミックスレンダリング部７０７を含む。
【００９７】
図７を参照すると、ソース信号の和信号７０１及び付加情報信号７０２が第４の信号処理装置に入力される。付加情報デコーディング部７０３は、付加情報信号７０２をデコーディングして付加情報７０４を生成する。付加情報７０４は、ゲインファクター、遅延定数及びサブバンドパワーなどを含む。付加情報統合部７０５は、付加情報７０４を用いて、和信号７０１を複数のソース信号７０６に分離する。リミックスレンダリング部７０７は、ソース信号７０６を用いてリミックス信号７０９を生成できる。この時、リミックスレンダリング部７０７は、付加情報として伝送されたミックスパラメータを用いてリミックス信号７０９を生成できる。また、リミックスレンダリング部７０７は、選択的に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ７０８を用いてリミックス信号７０９を生成することができる。
【００９８】
図８は、通常のエンコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。ミックス信号８０１は、通常のエンコーディング装置８０３により符号化され、符号化されたミックス信号８０５に変換される。ミックス信号８０１は、チャネル別信号またはソース信号になることができる。通常のエンコーディング装置８０３は、ＡＡＣ、ＭＰ３エンコーダなどのような従来のエンコーディング装置だけでなく、今後開発されるエンコーディング装置を含む。本発明によるリミックス信号エンコーディング装置８０４は、ミックス信号８０１及びミックス信号に含まれるソース信号８０２を用いて付加情報信号８０６を生成する。多重化部８０７は、符号化されたミックス信号８０５及び付加情報信号８０６を用いてビットストリーム８０８を生成する。前述したように、付加情報信号８０６は従来装置と互換性を持つように、従来のミックス信号フォーマット内の補助データ領域に挿入されることができる。
【００９９】
図９は、通常のデコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。逆多重化部９０２は、伝送されたビットストリーム９０１から符号化されたミックス信号９０３及び付加情報信号９０４を分離する。その後、通常のデコーディング装置９０５は、符号化されたミックス信号９０３をデコーディングし、本発明によるリミックス信号デコーディング装置９０７で用いられうるようなミックス信号９０６を生成する。通常のデコーディング装置９０５は、ＡＡＣ、ＭＰ３デコーダなどのような従来のデコーディング装置だけでなく、今後開発されるデコーディング装置を含む。ミックス信号９０６は、チャネル別信号またはソース信号になることができる。本発明によるリミックス信号デコーディング装置９０７は、付加情報信号９０４及びユーザミックスパラメータ９０８のうち少なくとも１つを用いてミックス信号９０６をリミックス信号９０９に変換できる。
【０１００】
図１０は、本発明の一実施例による第５の信号処理装置のブロック図である。図１０を参照すると、第５の信号処理装置は、ミックス信号デコーディング部１００１、パラメータ生成部１００２、及びリミックスレンダリング部１００８を含む。選択的に、エフェクタ（Effecter）１０１１を含むことができる。パラメータ生成部１００２は、ブラインドミックスパラメータ生成部１００３、ユーザミックスパラメータ生成部１００４、及びリミックスパラメータ生成部１００５を含むことができる。リミックスパラメータ生成部１００５は、Ｅｑミックスパラメータ生成部１００６を含み、選択的にアップミックスパラメータ生成部１００７を含むことができる。また、リミックスレンダリング部１００８は、Ｅｑミックスレンダリング部１００９を含み、選択的にアップミックスレンダリング部１０１０を含むことができる。
【０１０１】
ミックス信号デコーディング部１００１は、エンコーディング端から伝送された符号化されたミックス信号をデコーディングしてミックス信号を生成する。パラメータ生成部１００２は、エンコーディング端から伝送された付加情報及びユーザ制御情報（または、構成情報）を受信する。このユーザ制御情報は、エンコーダ端から伝送されずにデコーダ端で生成されても良い。ユーザミックスパラメータ生成部１００４は、ユーザ制御情報を用いてユーザミックスパラメータを生成する。エンコーダ端から伝送された付加情報には、エンコーダミックスパラメータ（Encoder Mix Parameter）を含むことができる。また、ブラインドミックスパラメータ生成部１００３は、ミックス信号を用いてブラインドミックスパラメータ（Blind−Mix Parameter）を生成することができる。エンコーダミックスパラメータとブラインドミックスパラメータは、択一的にリミックスパラメータ生成部１００５に入力される。
【０１０２】
リミックスパラメータ生成部１００５は、付加情報及びユーザミックスパラメータを用いてリミックスパラメータを生成する。このリミックスパラメータを、リミックス信号のチャネルに適用されうるように生成することができる。リミックスパラメータ生成部１００５に含まれるＥｑミックスパラメータ生成部１００６は、ミックス信号のチャネル数と同じチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成し、リミックスパラメータ生成部１００５に含まれうるアップミックスパラメータ生成部１００７は、ミックス信号のチャネル数よりも多いチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成する。リミックスパラメータはリミックスレンダリング部１００８に入力される。
【０１０３】
リミックスレンダリング部１００８に含まれるＥｑミックスレンダリング部１００９は、リミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルリミックス信号（Eq−channel remix signal）を生成する。リミックスレンダリング部１００８に含まれうるアップミックスレンダリング部１０１０は、アップミックスパラメータ生成部１００７で生成されたリミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルリミックス信号（Up−channel remix signal）を生成する。アップミックスレンダリング部１０１０は、Ｅｑチャネルレンダリング部１００９で生成されたリミックス信号を用いてアップチャネルリミックス信号を生成しても良い。
【０１０４】
したがって、第５信号処理装置は、エンコーディング端から伝送されたミックス信号をそのまま出力したり、Ｅｑチャネルリミックス信号として出力したり、または、アップチャネルリミックス信号として出力することができる。選択的に、リミックスレンダリング部は、エフェクタ１０１１から提供される情報を用いて、リミックス信号に多様な効果を与えることができる。
【０１０５】
図１１は、本発明の一実施例による第６の信号処理装置のブロック図である。図１１を参照すると、第６の信号処理装置において、エンコーダは、統合付加情報生成部１１０３、統合付加情報エンコーディング部１１０４を含み、デコーダは、統合付加情報デコーディング部１１０５、リミックスレンダリング部１１０６を含む。
【０１０６】
【数３３】
2010506230.tif 000035
【０１０７】
【数３４】
2010506230.tif 000036
【０１０８】
ソース信号１１０２は、１つ以上のソース信号（Ｓ1_L，Ｓ1_R，Ｓ2_L，Ｓ2_R，…，ＳM_L，ＳM_R）全体を指す用語である。ソース信号（Ｓ1_L，Ｓ1_R，Ｓ2_L，Ｓ2_R，…，ＳM_L，ＳM_R）とは、本発明の信号処理装置で１つのオブジェクトとして取り扱われる信号のことをいい、ソース信号別に付加情報が存在できる。付加情報については後述する。ソース信号のうち‘Ｓ1_L’は、１番目のソース信号（例：特定の楽器信号）Ｓ1に特定効果が加えられて左側チャネルに流入する信号であり、ソース信号のうち‘Ｓ1_R’は、１番目のソース信号Ｓ1に特定効果が加えられて右側チャネルに流入する信号である。上の図２に関する説明で言及したように、１つのソース信号（例：特定の楽器信号）であってもある効果（例：残響（reverberation）効果）が適用されるとチャネル別属性が追加されるので、各チャネルに流入する信号は別のソース信号をそれぞれ構成する。
【０１０９】
【数３５】
2010506230.tif 000037
【０１１０】
【数３６】
2010506230.tif 000038
【数３７】
2010506230.tif 000039
【０１１１】
付加情報とは、ソース信号（Ｓ1_L，Ｓ1_R，Ｓ2_L，Ｓ2_R，…，ＳM_L，ＳM_R）にそれぞれ適用されうる情報である。この付加情報は、図１及び図２に基づいて説明したように、ゲインファクター（ａi，ｂi）、サブバンドパワー（E｛si2(k)｝）のうち１つ以上を含むことができる。ソース信号が‘Ｓ1_L’である時、付加情報はａ1_L、Ｂ1_L、E｛si_L2(k)｝で表現され、ソース信号が‘Ｓ1_R’の時、付加情報は、ａ1_R、Ｂ1_R、E｛si_R2(k)｝で表現される。ソース信号（Ｓ1_L，Ｓ1_R，Ｓ2_L，Ｓ2_R，…，ＳM_L，ＳM_R）に必要な付加情報を全て列挙すると、下記の通りである。
【０１１２】
【数３８】
2010506230.tif 000040
【０１１３】
【数３９】
2010506230.tif 000041
【０１１４】
【数４０】
2010506230.tif 000042
【０１１５】
【数４１】
2010506230.tif 000043
【０１１６】
【数４２】
2010506230.tif 000044
【０１１７】
【数４３】
2010506230.tif 000045
【０１１８】
統合付加情報エンコーディング部１１０４は、統合付加情報生成部１１０３により生成された統合付加情報をエンコーディングし、統合付加情報ビットストリームを生成する。
【０１１９】
統合付加情報デコーディング部１１０５は、受信した統合付加情報ビットストリームをデコーディングして統合付加情報を抽出する。
【０１２０】
【数４４】
2010506230.tif 000046
【０１２１】
図１２は、本発明の一実施例による第７の信号処理装置のブロック図である。図１１に基づいて説明された第６の信号処理装置との差異点を概略的に説明すると、第６の信号処理装置ではミックス信号１１０１及びソース信号１１０２から統合付加情報が生成されるのに対し、図１２に示す第７の信号処理装置では、ソース信号１２０１がダウンミックス部１２１０でダウンミキシングされて合成ソース信号Ｓ(ｎ)が生成され、このソース信号１０２がダウンミックスされる過程で統合付加情報が抽出される。以下、図１２を参照しつつ、第７の信号処理装置について具体的に説明する。
【０１２２】
図１２を参照すると、本発明の第７の信号処理装置において、エンコーダは、ダウンミックス部１２１０、統合付加情報生成部１２２０、及び統合付加情報エンコーディング部１２３０を含み、デコーダは、統合付加情報デコーディング部１２６０、付加情報統合部１２７０、及びリミックスレンダリング部１２８０を含む。
【０１２３】
ダウンミックス部１２１０は、ソース信号１２０１をダウンミックスして合成ソース信号Ｓ(ｎ)を生成する。ダウンミックス部１２１０は、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なうもので、ここでの合成ソース信号Ｓ(ｎ)は、図４に基づいて説明された和信号（sum signal）Ｓ(ｎ)４０４と同じものであっても良いが、本発明がこれに限定されるわけではない。統合付加情報生成部１２２０は、ソース信号１０２から統合付加情報を生成する。ここで、統合付加情報生成部１２２０は、付加情報ではなく統合付加情報を生成する以外は、図４に基づいて説明された付加情報生成部４０３と略同様の機能を行なう。統合付加情報エンコーディング部１２３０は、統合付加情報生成部１２２０により生成された統合付加情報をエンコーディングして統合付加情報ビットストリームを生成する。
【０１２４】
【数４５】
2010506230.tif 000047
【０１２５】
図１３は、本発明の一実施例による信号処理方法を示すフローチャートである。本発明の一実施例による信号処理方法を、図１１及び図１２に基づいて説明された本発明の第６の信号処理装置及び第７の信号処理装置により具現することができる。
【０１２６】
図１３を参照すると、まず、信号処理装置のエンコーダ（以下、‘エンコーダ’と略す。）は、１つ以上のソース信号を用いて統合ソース信号を生成する（Ｓ１３１０段階）。ここで、統合ソース信号は、１つ以上のソース信号がグルーピングされた信号である。Ｓ１３１０段階を、ユーザから受信したグルーピング選択信号に基づいて行うことができる。言い換えると、ユーザがどのソース信号とどのソース信号をグルーピングするかを選択できる。その後、エンコーダは、Ｓ１３１０段階で生成された統合ソース信号を用いて統合付加情報を生成する（Ｓ１３２０段階）。統合付加情報を生成する過程は、図１１に基づいて説明されたのと同様なので、その説明は省略する。一方、Ｓ１３２０段階で統合ソース信号を利用せずにミックス信号またはソース信号を用いて統合付加情報を生成しても良い。その後、エンコーダは、Ｓ１３２０段階で生成された統合付加情報をエンコーディングする（Ｓ１３３０段階）。
【０１２７】
すると、信号処理装置のデコーダ（以下、‘デコーダ’と略す。）は、エンコーダにより生成されたミックス信号（または合成ソース信号）及び統合付加情報を受信する（Ｓ１３４０段階）。デコーダは、Ｓ１３４０段階で受信した統合付加情報をデコーディングする（Ｓ１３５０段階）。そして、デコーダは、ユーザから統合制御情報を受信する（Ｓ１３６０段階）。その後、Ｓ１３６０段階で受信した統合制御情報、及びＳ１３５０段階でデコーディングされた統合付加情報を用いてミックス信号（または合成ソース信号）をリミキシングする（Ｓ１３７０段階）。
【０１２８】
図１４は、本発明の一実施例による第８の信号処理装置のブロック図である。図１４〜図１６に基づいて説明される各実施例は、統合付加情報をエンコーダではなくデコーダで生成する例である。図１４を参照すると、第８の信号処理装置において、エンコーダは、付加情報生成部１４３０及び付加情報エンコーディング部１４４０を含み、デコーダは、付加情報デコーディング部１４５０、統合付加情報生成部１４６０、及びリミックスレンダリング部１４７０を含む。
【０１２９】
【数４６】
2010506230.tif 000048
【０１３０】
【数４７】
2010506230.tif 000049
【０１３１】
図１５は本発明の一実施例による第９の信号処理装置のブロック図である。図１４に基づいて説明された第８の信号処理装置との差異点を概略的に説明すると、図１５に示す第９の信号処理装置では、ソース信号１５１０がダウンミックス部１５２０でダウンミキシングされることで合成ソース信号Ｓ(ｎ)が生成される。以下、図１５を参照しつつ、第９の信号処理装置について具体的に説明する。
【０１３２】
第９の信号処理装置において、エンコーダは、ダウンミックス部１５２０、付加情報生成部１５３０、及び付加情報エンコーディング部１５４０を含み、デコーダは、付加情報デコーディング部１５５０、統合付加情報生成部１５６０、及び付加情報統合部１５７０、リミックスレンダリング部１５８０を含む。
【０１３３】
ダウンミックス部１５２０は、ソース信号１５１０をダウンミックスして合成ソース信号Ｓ(ｎ)を生成する。同様に、ダウンミックス部１５２０は、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なう。付加情報生成部１５３０は、ソース信号Ｓ(ｎ)から付加情報を生成する。付加情報エンコーディング部１５４０は、付加情報をエンコーディングして付加情報ビットストリームを生成する。
【０１３４】
付加情報デコーディング部１５５０は、受信した付加情報ビットストリームをデコーディングして付加情報を抽出する。統合付加情報生成部１５６０は、付加情報を用いて統合付加情報を生成する構成要素であり、第３実施例における統合付加情報生成部１５７０と略同様の構成要素である。付加情報統合部１５７０及びリミックスレンダリング部１５８０は、図１２の付加情報統合部１２７０及びリミックスレンダリング部１２８０とそれぞれ略同様の構成要素である。
【０１３５】
図１６は、本発明の一実施例による信号処理方法を示すフローチャートである。本発明の一実施例による信号処理方法は、図１４及び図１５に基づいて説明された本発明の第８の信号処理装置及び第９の信号処理装置により具現されることができる。
【０１３６】
図１６を参照すると、信号処理装置のエンコーダは、ミックス信号及びソース信号のうち１つ以上を用いて付加情報を生成する（Ｓ１６１０段階）。その後、エンコーダは、Ｓ１６１０段階で生成された付加情報をエンコーディングする（Ｓ１６２０段階）。
【０１３７】
一方、信号処理装置のデコーダは、ミックス信号（または合成ソース信号）及び付加情報を受信する（Ｓ１６３０段階）。その後、デコーダは、Ｓ１６３０段階で受信した付加情報をデコーディングする（Ｓ１６４０段階）。そして、デコーダは、Ｓ１６４０段階でデコーディングされた付加情報を用いて統合付加情報を生成する（Ｓ１６５０段階）。続いて、デコーダは、ユーザから統合制御情報を受信する（Ｓ１６６０段階）。その後、デコーダは、Ｓ１６６０段階で受信した統合制御情報、及びＳ１６５０で生成された統合付加情報を用いて、ミックス信号（または合成ソース信号）をリミキシングする（Ｓ１６７０段階）。
【０１３８】
図１７は、本発明の一実施例による第１０の信号処理装置のブロック図である。図１７を参照すると、第１０の信号処理装置は、逆多重化部１７１０、ミックス信号記憶部１７２０、付加情報記憶部１７４０及びリミックスレンダリング部１７６０を含む。
【０１３９】
逆多重化部１７１０は、ミックス信号及び付加情報をパーシングし、それぞれミックス信号記憶部１７２０及び付加情報記憶部１７４０に送る。ミックス信号記憶部１７２０及び付加情報記憶部１７４０は、逆多重化部１７１０から受け取ったミックス信号及び付加情報をそれぞれ記憶する。信号デコーディング装置は、ユーザがミックス信号１７３０または付加情報１７５０を利用しようとする場合、ミックス信号記憶部１７２０または付加情報記憶部１７４０からミックス信号１７３０または付加情報１７５０を独立的に抽出して出力する。
【０１４０】
ユーザがリミックス信号１７７０を要求する場合、デコーディング装置は、ミックス信号１７３０、付加情報及びユーザミックスパラメータを用いてリミックス信号１７７０を生成して出力する。このユーザミックスパラメータを、ユーザから受け取った制御情報を用いて生成することができる。デコーディング装置は、ユーザの要求に応じてリミックス信号１７７０を出力したり、または、ミックス信号１７３０や付加情報１７５０を直接出力することができる。後者の場合、ユーザは、出力したミックス信号１７３０または付加情報１７５０と新しいミックス信号または新しい付加情報を用いてリミックス信号１７７０を生成することができる。
【０１４１】
図１８は、本発明の一実施例による第１１の信号処理装置のブロック図である。図１８を参照すると、第１１の信号処理装置は、ミックス信号入力部１８２０、付加情報抽出部１８３０及びリミックスレンダリング部１８６０を含む。
【０１４２】
第１１の信号処理装置は、エンコーディング装置または付加情報提供サーバーなどから伝送されてきた付加情報を記憶する。第１１の信号処理装置は、ミックス信号に対する付加情報を直接生成して記憶しても良い。第１１の信号処理装置は、ミックス信号入力部１８２０を用いてユーザからミックス信号１８１０を受信する。付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と同じミックス信号があるか検索する。ユーザが入力したミックス信号１８１０と同じミックス信号がある場合、付加情報抽出部１８３０は、その信号からミックス信号に対する付加情報信号を抽出し、抽出した付加情報をリミックスレンダリング部１８６０に送る。
【０１４３】
付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と同じミックス信号がない場合、一定の共通点を持つミックス信号を検索する。付加情報抽出部１８３０は、共通点を持つミックス信号のうち、ユーザから受け取ったミックス信号１８１０に最も似ているミックス信号を抽出し、抽出したミックス信号に対する付加情報を抽出する。付加情報抽出部１８３０は、抽出した付加情報がユーザにより入力されたミックス信号１８１０を調節することはできるが、時刻同期や速さ等に差がある場合、ユーザにより入力されたミックス信号１８１０を調節できるように付加情報を変形する。
【０１４４】
リミックスレンダリング部１８６０は、ミックス信号入力部１８２０及び付加情報抽出部１８３０から受信したミックス信号及び付加情報または変形された付加情報を用いてリミックス信号１８７０を出力する。付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と一定の共通点を持つミックス信号がない場合、受け取ったミックス信号１８１０に対する付加情報を直接生成してこれをリミックスレンダリング部１８６０に送ったり、または、付加情報を使用せずにユーザから受け取ったミックス信号１８１０のみを再生しても良い。
【０１４５】
図１９は、図１８に示す付加情報抽出部の詳細ブロック図である。図１９を参照すると、付加情報抽出部１８３０は、比較部１９３０及び付加情報変形部１９４０を含む。
【０１４６】
第１１の信号処理装置は、信号提供サーバーまたはユーザから新しいミックス信号１９２０を受信する。比較部１９３０は、デコーディング装置に記憶されているミックス信号１９１０とユーザまたは信号提供サーバーから受け取った新しいミックス信号１９２０とを比較する。デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０とが同一である場合、記憶されているミックス信号１９１０に対する付加情報を新しいミックス信号に対する付加情報として利用できる。信号デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０が時刻同期や再生速度等で微細な差がある場合、記憶されているミックス信号１９１０に対する付加情報を新しいミックス信号１９２０に対する付加情報に変形して利用することができる。すなわち、信号デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０とを比較し、両ミックス信号が同一でない場合、付加情報変形部１９４０を用いて付加情報を変形する。
【０１４７】
付加情報を変形する方法については、図２０〜図２２を参照して説明する。付加情報変形部１９４０は、変形された付加情報を出力する。デコーディング装置は、ユーザから受け取ったミックス信号及び変形された付加情報を用いて新しいミックス信号をリミキシングする。
【０１４８】
図２０及び図２１は、本発明の一実施例による付加情報を変形する方法を示すグラフである。デコーディング装置は、エンコーディング装置または別のサーバーからミックス信号２００１及びこれに対する付加情報２００３を受信して記憶する。デコーディング装置は、ミックス信号２００１を受信し、ミックス信号２００１に対する付加情報２００３を直接生成して記憶しても良い。デコーディング装置が記憶しているミックス信号２００１及びこれに対する付加情報２００３が、図２０及び図２１に示されている。
【０１４９】
図２０で、デコーディング装置に記憶されているミックス信号及びこれに対する付加情報は、伝送及び記憶の効率から、ＭＰ３ファイルなどの圧縮された信号形態とする。例えば、デコーディング装置は、“November rain”というミックス信号２００１及びこれに対する付加情報２００３を、エンコーディング装置からＭＰ３ファイルとして伝送されて記憶しているとする。ユーザは、リミックスされていない“November rain”という曲を無損失のＣＤ信号として持っているとする時、この無損失のＣＤ信号を、デコーディング装置に記憶されている付加情報を用いてリミックス信号として再生することができる。
【０１５０】
デコーディング装置に記憶されている“November rain”曲に対する付加情報はＭＰ３ファイルであり、ユーザがリミックスしようとする信号はＣＤ信号であるから、ＭＰ３ファイルとして記憶されている付加情報は、ＣＤ信号に合う付加情報に変形されなければならない。デコーディング装置は、新しいミックス信号２００２をリミックスするために記憶していた付加情報２００３を抽出しこれを新しい付加情報２００４に変形する。図２０で、新しくリミックスするミックス信号２００２は元のミックス信号２００１よりも時間遅延されている。ＭＰ３ファイルは、圧縮率を高めるためにミックス信号の始部と終部の休止区間２００５を省略する場合が多い。したがって、デコーディング装置は、ＭＰ３ファイルとされている付加情報２００３も同様に休止区間２００５分だけ時間遅延し、新しい付加情報２００４を生成しなければならない。
【０１５１】
図２１を参照すると、ユーザがリミックスしようとする新しいミックス信号２１０２は、デコーディング装置に記憶されているミックス信号２１０１よりも周波数が低い。すなわち、新しいミックス信号２１０２は、記憶していたミックス信号２１０１よりも時間軸方向に延びている。したがって、デコーディング装置は、付加情報２１０３を新しいミックス信号２１０２に合わせて変形しなければならない。デコーディング装置は、記憶されているミックス信号２１０１と新しいミックス信号２１０２とを比較し、付加情報２１０３も新しいミックス信号に合う付加情報２１０４に変形する。デコーディング装置は、付加情報２１０３を時間に関して延ばして新しいミックス信号２１０４を生成することができる。デコーディング装置は、変形された付加情報２１０４を用いて新しいミックス信号２１０２をリミキシングする。
【０１５２】
図２２は、本発明の一実施例によるミックス信号の変形例を示す図である。図２２の上図を参照すると、元のミックス信号１２０１には、図示のような位置で録音されたピアノ信号２２０１、バイオリン信号２２０２及びボーカル信号２２０３が含まれている。この時、新しいミックス信号２２０２は、図２２の下図のように変形された位置で録音された信号と仮定する。デコーディング装置は、デコーディング装置に記憶されていたミックス信号２００１，２１０１と、ユーザがリミックスしようとする新しいミックス信号２００２，２１０２とを比較する。新しいミックス信号２００２，２１０２は、元のミックス信号２００１，２１０１に含まれているソース信号の位置が変形されて録音された信号であるから、新しいミックス信号２００２，２１０２に対する付加情報２００４，２１０４も変形されなければならない。
【０１５３】
図２２の上図と下図で、バイオリン信号２２０２は位置が同一であり、ピアノ信号２２０１及びボーカル信号２２０３のみ位置が互いに変わっているので、デコーディング装置は、バイオリン信号２２０２に対する付加情報はそのままにし、ピアノ信号２２０１に対する付加情報とボーカル信号２２０３に対する付加情報のみを互いに変えることで新しい付加情報２２０２を生成できる。
【０１５４】
図２３は、本発明の一実施例による多重化装置及び逆多重化装置を示す図である。図２３を参照すると、多重化装置２３０１は独立的に伝送されるミックス信号及び付加情報を受信し、これを多重化する。多重化装置２３０１は、エンコーディング装置またはデコーディング装置と別個に存在できる。例えば、エンコーディング装置がミックス信号及びこれに対する付加情報を独立的に出力する場合、多重化装置２３０１は、デコーディング装置に含まれてまたはデコーディング装置の前に位置し、エンコーディング装置から独立的に伝送されたミックス信号及び付加情報を多重化することで、これら両信号を１つの信号として管理できる。
【０１５５】
逆多重化装置２３０２は、ミックス信号と付加情報が１つの信号として一緒に伝送される場合、ミックス信号と付加情報をパーシングして分離する。ユーザは、ミックス信号または付加情報を独立的に使用しようとする場合、逆多重化装置２３０２を用いてミックス信号と付加情報を分離できる。逆多重化装置２３０２も同様に、信号エンコーディング装置または信号デコーディング装置と別個として存在できる。
【０１５６】
図２４は、本発明の一実施例によるミックス信号及び付加情報が多重化された信号を示す図である。図２４を参照すると、エンコーディング装置またはデコーディング装置に含まれている多重化部またはエンコーディング及びデコーディング装置とは独立している多重化装置は、ミックス信号及びミックス信号に対する付加情報を単純に結合した形態２４０１に多重化したり、または、ミックス信号の補助領域（ancillary data）部分にミックス信号に対する付加情報を含めた形態２４０２に多重化することができる。また、多重化部または多重化装置は、ミックス信号と付加情報をフレーム単位にまたは一定の単位ごとに結合して多重化された信号２４０２を生成することもできる。
【０１５７】
図２５は、本発明の一実施例によるミックス信号または付加情報を独立的に抽出してリミックス信号を生成する方法を示すフローチャートである。図２５を参照すると、デコーディング装置は、第１ミックス信号及びこれに対する付加情報を受信し、これを分離して記憶する（Ｓ２５０１）。デコーディング装置は、ユーザから第２ミックス信号を受信する（Ｓ２５０２）。デコーディング装置は、第１ミックス信号に第２ミックス信号と同じミックス信号があるか判断する（Ｓ２５０３）。第２ミックス信号と同じ第１ミックス信号がデコーディング装置に記憶されている場合、デコーディング装置は、第１ミックス信号に対する付加情報を抽出する（Ｓ２５０７）。デコーディング装置は、第２ミックス信号及び抽出した付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。デコーディング装置は、第１ミックス信号に第２ミックス信号と同じ信号がない場合、第１ミックス信号のうち、第２ミックス信号と一定の共通点を持つ第１ミックス信号があるか判断する（Ｓ２５０４）。デコーディング装置は、第２ミックス信号と一定の共通点がある第１ミックス信号がない場合、第２ミックス信号に対する付加情報を直接生成する（Ｓ２５０８）。デコーディング装置は、第２ミックス信号及び新しく生成した付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。デコーディング装置は、第２ミックス信号とビットレートやレベル、波形、容量などが共通する第１ミックス信号がある場合、なかでも最も類似する第１ミックス信号を抽出する（Ｓ２５０５）。デコーディング装置は、第１ミックス信号に対する付加情報を第２ミックス信号に対する付加情報に変形する（Ｓ２５０６）。デコーディング装置は、第２ミックス信号及び変形された付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。
【０１５８】
図２６は、本発明の一実施例による第１２の信号処理装置のブロック図である。第１２の信号処理装置は、付加情報生成部２６０３、識別情報生成部２６０５、コアエンコーディング部２６０６、及び付加情報エンコーディング部２６０４を含む。
【０１５９】
付加情報生成部２６０３は、ミックス信号２６０１及びソース信号２６０２から付加情報を生成する。識別情報生成部２６０５は識別情報を生成する。ここで、識別情報とは、ミックス信号と付加情報とのマッチングの有無を表すためにそれぞれに同一に与えられる情報のことをいい、ランダムに生成された任意のコードであっても良く、ミックス信号２６０１またはソース信号２６０２のメタデータを含むコードであっても良く、任意のコード及びメタデータコードが結合された形態であっても良い。ランダムに生成された任意のコードである場合、少なくとも数十ビットから数千ビットになりうる。ここでメタデータとは、作曲者、アルバム名、演奏者、レコード製作社、リミックス可能楽器などを含む情報でありうるが、本発明はこれに限定されない。識別情報を付加情報に挿入することができ、したがって、識別情報の挿入された付加情報を独立的に用いられることができる。
【０１６０】
【数４８】
2010506230.tif 000050
【０１６１】
図２７は、本発明の一実施例による第１３の信号処理装置のブロック図である。第１３の信号処理装置は、コアデコーディング部２７０１、付加情報デコーディング部２７０２、識別情報読取部２７０３、及びリミックスレンダリング部２７０４を含む。
【０１６２】
【数４９】
2010506230.tif 000051
【０１６３】
識別情報読取部２７０３は、コアデコーディング部２７０１により抽出された第１識別情報及び付加情報デコーディング部２７０２により抽出された第２識別情報が互いに一致するか否か判断し、その結果として制御信号を発生させる。互いに一致しない場合、再生不可という制御信号を発生させ、互いに一致する場合には再生可能という制御信号を発生させることができる。
【０１６４】
リミックスレンダリング部２７０４は、識別情報読取部２７０３により発生した制御信号に応じて、付加情報を用いてリミックス信号を生成する。この付加情報は、付加情報デコーディング部２７０２によりデコーディングされた付加情報とし、ミックス信号は、コアデコーディング部２７０１によりデコーディングされたミックス信号とすれば良い。リミックスレンダリング部２７０４は、このようなリミックス信号の生成において、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成することができる。
図２８は、本発明の一実施例による信号処理方法を示すフローチャートである。図２８に示す信号処理方法の順序は、図２６に示す第１２の信号処理装置により具現することができる。図２８を参照すると、まず、ミックス信号及びソース信号を用いて付加情報を生成する（Ｓ２８０１）。その後、識別情報をランダムに生成するか否かを決定する（Ｓ２８０２）。識別情報をランダムに生成すると決定する場合（Ｓ２８０２の‘Ｙｅｓ’）は、ランダムにすなわち無作為的にコードを発生させて識別情報を生成する（Ｓ２８０３）。
【０１６５】
もし、Ｓ２８０２段階で、識別情報をランダムに生成しないと決定する場合（Ｓ２８０２の‘Ｎｏ’）、ミックス信号またはソース信号のメタデータ（例：作曲者、アルバム名、演奏者、レコード製作社、リミックス可能楽器等）を収集または獲得する（Ｓ２８０４）。メタデータを収集または獲得する方法は、ミックス信号から抽出しても良く、情報提供者サーバーに接続して受け取っても良いが、本発明はこれに限定されない。その後、Ｓ２８０４段階で収集されたメタデータを用いて識別情報を生成する（Ｓ２８０５）。この時、Ｓ２８０３段階でランダムに生成された任意のコードと、Ｓ２８０５段階で生成された識別情報を結合しても良い。Ｓ２８０３段階及びＳ２８０５段階で生成された識別情報をそれぞれミックス信号及び付加情報に挿入する（Ｓ２８０６）。
【０１６６】
図２９は、本発明の一実施例による信号処理方法を示すフローチャートである。図２９に示す信号処理方法の順序は、図２７に示す第１３の信号処理装置により具現することができる。
【０１６７】
まず、ミックス信号及び付加情報を受信する（Ｓ２９０１）。ここで、ミックス信号は識別情報を含むミックス信号であり、付加情報は識別情報を含む情報でありうる。その後、Ｓ２９０１段階で受信したミックス信号から第１識別情報を抽出し、付加情報から第２識別情報を抽出する（Ｓ２９０２）。その後、Ｓ２９０２段階で抽出された第１識別情報及び第２識別情報が互いに一致するか否か判断する（Ｓ２９０３）。第１識別情報と第２識別情報とが互いに一致しない場合、ミックス信号と付加情報は互いにマッチングされないものと判断し、手順を終了する（Ｓ２９０３の‘Ｎｏ’）。Ｓ２９０３段階の判断結果、第１識別情報と第２識別情報とが互いに一致する場合（Ｓ２９０３の‘Ｙｅｓ’）、ミックス信号と付加情報は互いにマッチングされるものであるから、付加情報を用いてリミックス信号を生成する（Ｓ２９０４）。この時、Ｓ２９０４段階は、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成する段階でありうる。
【０１６８】
図３０は、本発明の一実施例による第１４の信号処理装置のブロック図である。図２６に基づいて説明された第１２の信号処理装置との差異点を概略的に説明すると、第１２の信号処理装置では、ミックス信号２６０１及びソース信号２６０２から付加情報が生成されるのに対し、図３０に示す第１４の信号処理装置では、ソース信号３００１がダウンミキシング部３００２でダウンミキシングされて和信号が生成され、このソース信号３００１がダウンミキシングされる過程で付加情報が抽出される。以下、図３０を参照しつつ、第１４の信号処理装置について具体的に説明する。
【０１６９】
図３０を参照すると、第１４の信号処理装置は、ダウンミキシング部３００１、付加情報生成部３００３、識別情報生成部３００６、コアエンコーディング部３００４、及び付加情報エンコーディング部３００５を含む。
ダウンミキシング部３００２は、１つ以上のソースで構成されるソース信号３００１をダウンミキシングして和信号Ｓ(ｎ)を生成する。これは、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なう。付加情報生成部３００３は、１つ以上のソースで構成されるソース信号３００１から付加情報を生成する。ここで、付加情報は、各ソース信号に対応するサブバンドパワー及びゲインファクターを含むことができ、付加情報は、リミックスレンダリング部における遅延に対応するパラメータを含むことができる。
【０１７０】
識別情報生成部３００６は、識別情報を生成する構成要素であり、図２６に示す識別情報生成部２６０５と略同様なので、その具体的な説明は省略する。コアエンコーディング部３００４は、識別情報生成部３００６により生成された識別情報を和信号Ｓ(ｎ)に挿入し、識別情報を含む和信号Ｓ(ｎ)'を生成する。付加情報エンコーディング部３００５は、識別情報生成部３００６により生成された識別情報を付加情報に挿入し、識別情報を含む付加情報ｓｉ'を生成する。
【０１７１】
図３１は、本発明の一実施例による第１５の信号処理装置のブロック図である。この第１５の信号処理装置は、上記の図２７に基づいて説明された第１３の信号処理装置と比較する時、識別情報を含むミックス信号及び付加情報を受信する代わりに、識別情報を含む和信号Ｓ(ｎ)'及び付加情報を受信し、受信した和信号Ｓ(ｎ)'を付加情報統合部３１０１によって多数個のソース信号に分離する以外は、略同様である。
【０１７２】
図３１を参照すると、第１５の信号処理装置は、付加情報統合部３１０１、コアデコーディング部３１０３、付加情報デコーディング部３１０２、識別情報読取部３１０４、及びリミックスレンダリング部３１０５を含む。
【０１７３】
【数５０】
2010506230.tif 000052
【０１７４】
【数５１】
2010506230.tif 000053
【０１７５】
図３２は、本発明の一実施例による第１６の信号処理装置のブロック図である。図３０に基づいて説明された第１４の信号処理装置との差異点を説明すると、第１４の信号処理装置では、ソース信号３００１がダウンミキシング部３００２でダウンミキシングされて和信号が生成されるのに対し、第１６の信号処理装置では、ソース信号３２０１がダウンミックスされず、そのまま識別情報が挿入されるという点以外は、略同様に構成される。以下、図３２を参照しつつ、第１４の信号処理装置との差異点を中心に説明する。
【０１７６】
第１４の信号処理装置は、付加情報生成部３２０２、識別情報生成部３２０５、コアエンコーディング部３２０４、及び付加情報エンコーディング部３２０３を含む。付加情報生成部３２０２、識別情報生成部３２０５、及び付加情報エンコーディング部３２０３は、図３０で説明された付加情報生成部３００３、識別情報生成部３００６、及び付加情報エンコーディング部３００５とそれぞれ略同様の構成要素であるから、その説明は省略する。
【０１７７】
コアエンコーディング部３２０４は、多数のソースからなるソース信号３２０１のうち１つ以上のソース（すなわち、ソース信号（））に識別情報を挿入する。
【０１７８】
図３３は、本発明の一実施例による第１７の信号処理装置のブロック図である。図３１に基づいて説明された第１５の信号処理装置との差異点を説明すると、第１５の信号処理装置では、和信号Ｓ(ｎ)が付加情報統合部３１０１により別個のソース信号に分離されるのに対し、第１７の信号処理装置では、和信号Ｓ(ｎ)が受信されるのではなく別個のソース信号３３０１が受信されるため、付加情報統合部３３０１が存在しない点が異なり、それ以外の内容は略同様である。すなわち、第１７の信号処理装置は、コアデコーディング部３３０１、付加情報デコーディング部３３０２、識別情報読取部３３０７、及びリミックスレンダリング部３３０８を含み、これは、図３１のコアデコーディング部３１０３、付加情報デコーディング部３１０２、識別情報読取部３１０４、及びリミックスレンダリング部３１０５とそれぞれ略同様の構成要素であるから、その説明は省略する。
【０１７９】
図３４は、本発明の一実施例による信号処理方法を示すフローチャートである。図３４に示す信号処理方法の順序を、図３０及び図３２に示す第１４の信号処理装置または第１６の信号処理装置によりそれぞれ具現することができる。図３４を参照すると、まず１つ以上のソース信号をダウンミックスして和信号を生成する（第２の例に限って該当）（Ｓ３４０１）。その後、Ｓ３４０１の１つ以上のソース信号を用いて付加情報を生成する（Ｓ３４０２）。その後、図２８に基づいて説明されたＳ２８０２段階〜Ｓ２８０５段階と同じ段階を行なう（Ｓ３４０３〜Ｓ３４０６）。その後、Ｓ３４０４段階及びＳ３４０６段階で生成された識別情報を和信号（第３の例では１つ以上のソース信号）、及び付加情報にそれぞれ挿入する（Ｓ３４０７）。
【０１８０】
図３５は、本発明の一実施例による信号処理方法を示すフローチャートである。図３５に示す信号処理方法の順序は、図３１及び図３３に示す第１５の信号処理装置及び第１７の信号処理装置によりそれぞれ具現されることができる。
【０１８１】
図３５を参照すると、和信号（第３例では１つ以上のソース信号）及び付加情報を受信する（Ｓ３５０１）。和信号（または１つ以上のソース信号）から第１識別情報を抽出し、付加情報から第２識別情報を抽出する（Ｓ３５０２）。その後、第１識別情報と第２識別情報が一致することを条件（Ｓ３５０３の‘Ｎｏ’）として和信号を再生する。このようにソース信号を再生する際に、ソース信号をなす各ソース（各ソース信号）別にリミキシングしてリミックス信号を生成することができる。
【０１８２】
図３６は、本発明の一実施例による第１８の信号処理装置のブロック図である。本発明の一実施例による第１８の信号処理装置は、ミックス信号（または和信号、ソース信号）にはいかなる情報も挿入せずに、付加情報にのみ所定の情報を挿入する方式である。
【０１８３】
図３６を参照すると、本発明の一実施例による第１８の信号処理装置は、固有情報抽出部３６０２及び付加情報エンコーディング部３６０３を含む。
【０１８４】
固有情報抽出部３６０２は、ミックス信号３６０１（和信号またはソース信号）から固有情報を抽出する。ここで、固有情報とは、特定ミックス信号にのみ現れる固有な信号を有するものであり、ミックス信号と他の信号とを区別づける情報のことをいい、例えば、ミックス信号の特定区間のサンプルの値になることができ、サンプルの長さ及びミックス信号の特定区間のサンプルの値を含んでも良いが、本発明はこれに限定されない。例えば、固有情報が‘サンプルの長さ’及び‘始めてから３秒の地点から連続した３個のサンプルの値’とすれば、ミックス信号のサンプリング周波数が４４．１ＫＨｚで、総時間が３：１２．４５である曲の場合、サンプルの長さは下記の通りである。
【０１８５】
【数５２】
2010506230.tif 000054
【０１８６】
そして、始めてから３秒の地点から３個のサンプルの値のうち、１番目のサンプルの値が５０（Ｌ１）、１９６（Ｒ１）で、２番目のサンプルの値が５４２１（Ｌ２）、４５１５（Ｒ２）で、３番目のサンプルの値が１８５４２（Ｌ３）、１５４８７（Ｒ３）である場合、固有情報は、サンプルの長さとサンプルの値を結合した値である“８４８７０４５、５０（Ｌ１）、１９６（Ｒ１）、５４２１（Ｌ２）、４５１５（Ｒ２）、１８５４２（Ｌ３）、１５４８７（Ｒ３）”となることができる。
【０１８７】
付加情報エンコーディング部３６０３は、固有情報抽出部３６０２により抽出された特定ミックス信号３６０１の固有情報をそれに該当する付加情報ｓｉに挿入し、固有情報の含まれた付加情報ｓｉ'を生成する。
【０１８８】
図３７は、本発明の一実施例による第１９の信号処理装置のブロック図である。図３７を参照すると、第１９の信号処理装置は、固有情報抽出部３７０２、付加情報エンコーディング部３７０３、識別情報読取部３７０４、及びリミックスレンダリング部３７０５を含む。
【０１８９】
固有情報抽出部３７０２は、ミックス信号（和信号またはソース信号）から第１固有情報を抽出する。第１固有情報を抽出する方式は、図３６のエンコーディング装置の固有情報抽出部３６０２で固有情報を抽出する方式と同一にすることができる。付加情報エンコーディング部３７０３は、固有情報の含まれた付加情報ｓｉ'から第２固有情報を抽出する。識別情報読取部３７０４は、固有情報抽出部３７０２により抽出された第１固有情報及び付加情報エンコーディング部３７０３により抽出された第２固有情報が一致するか否か判断して制御信号を発生させる。リミックスレンダリング部３７０５は、識別情報読取部３７０４の制御信号によって付加情報を用いてミックス信号（または和信号、ソース信号）を再生する。
【０１９０】
図３８は、本発明の一実施例による信号処理方法を示すフローチャートである。図３８を、図３６に示す第１８の信号処理装置により具現することができる。まず、ミックス信号（和信号またはソース信号）及び付加情報を受信する（Ｓ３８０１）。その後、Ｓ３８０１段階で受信したミックス信号（和信号またはソース信号）から固有情報を抽出する（Ｓ３８０２）。Ｓ３８０２段階で抽出した固有情報を、Ｓ３８０１段階で受信した付加情報に挿入する（Ｓ３８０３）。
【０１９１】
図３９は、本発明の一実施例による信号処理方法を示すフローチャートである。図３９を、図３７に示す第１９の信号処理装置により具現することができる。まず、ミックス信号（和信号またはソース信号）を受信する（Ｓ３９０１）。その後、Ｓ３９０１段階で受信したミックス信号（和信号またはソース信号）から第１固有情報を抽出する（Ｓ３９０２）。そして、Ｓ３９０１段階で受信した付加情報から第２固有情報を抽出する（Ｓ３９０３）。その後、Ｓ３９０２段階で受信した第１固有情報とＳ３９０３段階で受信した第２固有情報とが一致するか否か判断し、一致する場合（Ｓ３９０４の‘Ｙｅｓ’）は、付加情報を用いてミックス信号（和信号またはソース信号）を再生する（Ｓ３９０５）。もちろん、ミックス信号（和信号またはソース信号）を再生する際に、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成することができる。
【０１９２】
図４０は、本発明の一実施例による第２０の信号処理装置のブロック図である。図４０を参照すると、第２０の信号処理装置は、ミックス信号デコーディング部４００１、ミックス信号ドメイン変換部４００３、付加情報デコーディング部４００６及びリミックスレンダリング部４００４を含む。第２０の信号処理装置は、エンコーディング装置からミックス信号及び付加情報を伝送される。付加情報は、レベル情報、時間遅延情報、相関情報、ミックス情報などを含む。
【０１９３】
ここで、レベル情報は、リミックスされるソース信号のレベルを含むことができ、リミックスされるソース信号間の相対的なレベルや、またはリミックスされるソース信号とミックス信号間の相対的なレベルを含むことができる。また、ミックス信号のレベルを別に付加情報に含めることができる。時間遅延情報は、リミックスされるソース信号間の時間遅延情報、またはリミックスされるソース信号とミックス信号間の時間遅延情報を含むことができる。相互相関情報は、リミックスされるソース信号間の相互相関情報、リミックスされるソース信号とミックス信号間の相互相関情報、またはミックス信号間の相互相関情報を含むことができる。ミックス情報は、特定ソースがミックス信号にミックスされる度合を表す情報であり、例えば、特定ソースが右側に位置する効果が出るようにミックスしたい場合、左側チャネルより右側チャネルにより大きい大きさで含まれるようにミックスを行なうことができる。このように、ミックス情報は、各ソースが各チャネルにミックスされる度合を表すことができる。ミックス情報は、大きさだけでなく、ミックスに関連した時間遅延、相関関係などの情報を含むことが可能である。
【０１９４】
上記デコーディング装置は、同一エンコーディング装置からミックス信号及び付加情報を受信しても良いが、別個のエンコーディング装置からミックス信号及び付加情報のそれぞれを受信しても良い。エンコーディング装置がミックス信号及び付加情報を１つのビットストリーム形態としてデコーディング装置に伝送する場合、デコーディング装置は、ビットストリームを逆多重化することによって、ミックス信号はミックス信号デコーディング部４００１に送られ、付加情報は付加情報デコーディング部４００６に送られる。
【０１９５】
ミックス信号デコーディング部４００６は、符号化されたミックス信号を復号化する。第２０信号処理装置は、サブバンドドメインでミックス信号及び付加情報を用いてリミックス信号を生成できる。ミックス信号ドメイン変換部４００３は、ミックス信号のドメインを付加情報のドメインと同じサブバンドドメインに変換する。付加情報デコーディング部４００６は、付加情報をデコーディングし、デコーディングされた付加情報をリミックスレンダリング部４００４に送る。リミックスレンダリング部４００４は、ミックス信号ドメイン変換部４００３から付加情報と同じサブバンドドメインを持つミックス信号を受け取り、付加情報デコーディング部４００６からサブバンドドメインの付加情報を受け取る。
【０１９６】
また、リミックスレンダリング部４００４は、ユーザから制御情報を受信し、該制御情報を用いてユーザミックスパラメータを生成する。リミックスレンダリング部４００４は、同じドメイン上のミックス信号及び付加情報、そしてユーザミックスパラメータを用いてリミックス信号を生成する。第２０の信号処理装置は、元のミックス信号を復元した後、元のミックス信号に含まれているソース信号を調節してリミックス信号を生成したり、または、元のミックス信号を復元せずに付加情報及びユーザミックスパラメータを用いて直接リミックス信号を生成することができる。逆ドメイン変換部４００５は、生成されたリミックス信号を元のドメイン、例えば、時間ドメインに変換する。
【０１９７】
図４１は、本発明の一実施例による第２１の信号処理装置のブロック図である。図４１の実施例は、ミックス信号のドメインと付加情報のドメインをそれぞれ変換してドメインを一致させることを特徴とし、ミックス信号に対してのみドメイン変換を行なう図４０の実施例と異なる。図４１を参照すると、第２１の信号処理装置は、ミックス信号デコーディング部４１０１、付加情報デコーディング部４１０２、ミックス信号ドメイン変換部４１０３、付加情報ドメイン変換部４１０６及びリミックスレンダリング部４１０４を含む。
【０１９８】
ミックス信号デコーディング部４１０１は、エンコーディング装置から受信しまたはあらかじめ記憶しておいたミックス信号を抽出して復号化する。付加情報デコーディング部４１０２は、エンコーディング装置から受信しまたはデコーディング装置で生成して記憶していた付加情報を抽出してこれを復号化する。ミックス信号と付加情報を、同一エンコーディング装置から受信しても良く、異なる装置から別個に受信しても良い。また、付加情報は、デコーディング装置で直接生成されても良い。付加情報デコーディング部４１０２は、付加情報を復号化する。
【０１９９】
ミックス信号ドメイン変換部４１０３及び付加情報ドメイン変換部４１０６はそれぞれミックス信号及び付加情報を同一ドメイン、例えば、ＱＭＦドメインに変換する。例えば、ミックス信号がＭＤＣＴドメイン上の信号であり、付加情報がＱＭＦドメイン上の信号である場合が考えられる。サブバンド符号化のためには、エイリアシングを引き起こすことなく帯域をフィルターバンクで分割し、低いサンプリング周波数にする。周波数分割に使われるフィルターの１つが、直交ミラーフィルターＱＭＦ（Quadrature Mirror Filter）である。エイリアシングを相殺させながら高い効率が得られる周波数分割方法の他の方法として、ＭＤＣＴ（Modified Discrete Cosine Transform；変形離散余弦変換）方法がある。ＭＤＣＴは、５１２サンプルを一度に時間信号から周波数信号に変換する方法であり、ＦＦＴのような高速アルゴリズムを用いて乗算回数などを大幅に減らすことができる。ＱＭＦドメイン上の信号は、ＱＭＦにより周波数分割されて変換された信号を意味し、ＭＤＣＴドメイン上の信号は、ＭＤＣＴ方法により周波数分割されて変換された信号を意味する。ＭＤＣＴ方法を用いて付加情報をＭＤＣＴドメインに変換したり、ＱＭＦ方法を用いてミックス信号をＱＭＦドメインに変換したり、または、他の方法を用いてミックス信号と付加情報を同一ドメイン上の信号に変換することができる。
【０２００】
リミックスレンダリング部４１０４は、ミックス信号ドメイン変換部４１０３から受け取ったミックス信号と付加情報ドメイン変換部４１０６から受け取った同一ドメインの付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。逆ドメイン変換部４１０５は、リミックス信号を人が知覚できるように時間ドメインに変換して出力する。
【０２０１】
図４２は、本発明の一実施例による第２２の信号処理装置のブロック図である。図４２の実施例は、付加情報のドメインのみを変換するという点が、ミックス信号に対するドメイン変換を行なう図４０及び図４１の実施例と区別される。図４２を参照すると、デコーディング装置は、ミックス信号デコーディング部４２０１、付加情報デコーディング部４２０２、付加情報ドメイン変換部４２０３及びリミックスレンダリング部４２０４を含む。
【０２０２】
ミックス信号と付加情報のドメインが異なる場合、第２２の信号処理装置は、リミックス信号を生成するためにミックス信号と付加情報のドメインを一致させる。ミックス信号と付加情報をいずれもドメイン変換したり、または、ミックス信号を付加情報のドメインに変換したりしても良いが、ミックス信号はそのままにし、付加情報のドメインをミックス信号のドメインに変換しても良い。付加情報は、ミックス信号よりも情報量が少ないので、付加情報をミックス信号のドメインに変換すると、ミックス信号を付加情報のドメインに変換することに比べて演算量が減少する。ミックス信号デコーディング部４２０１はミックス信号を受信し、これを復号化してリミックスレンダリング部４２０４に送る。付加情報デコーディング部４２０１は、付加情報を受信しこれを復号化する。付加情報ドメイン変換部４２０３は、付加情報をミックス信号と同じドメイン、例えば、サブバンドドメインに変換する。リミックスレンダリング部４２０４は、同じドメイン上のミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。
【０２０３】
図４３は、本発明の一実施例による第２３の信号処理装置のブロック図である。図４３を参照すると、第２３の信号処理装置は、ミックス信号デコーディング部４３０１、付加情報デコーディング部４３０２及びリミックスレンダリング部４３０４を含む。デコーディング装置は、ミックス信号と付加情報を受信する。ミックス信号デコーディング部４３０１はミックス信号を復号化し、付加情報デコーディング部４３０２は付加情報を復号化する。ミックス信号と付加情報のドメインが同一なので、デコーディング装置は、別のドメイン変換を行なわない。リミックスレンダリング部４３０４は、復号化されたミックス信号、復号化された付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。ミックス信号と付加情報のドメインが同一なことからドメイン変換を行なわないので、ドメイン変換に要求される演算量及び複雑さが減少する。
【０２０４】
図４４は、本発明の一実施例による第２４の信号処理装置のブロック図である。図４４を参照すると、第２４の信号処理装置は、ミックス信号デコーディング部４４０１、付加情報デコーディング部４４０５，４４０２、付加情報ドメイン変換部４４０３及びリミックスレンダリング部４４０４を含む。このデコーディング装置は、ミックス信号と付加情報のドメインが同一か否か判断する。ミックス信号と付加情報のドメインが同一でない場合、デコーディング装置は、付加情報デコーディング部４４０２及び付加情報ドメイン変換部４４０３を用いて付加情報をドメイン変換する。デコーディング装置は、付加情報ドメイン変換部４４０３を用いて付加情報のドメインをミックス信号のドメインと同じドメインに変換する。
【０２０５】
ミックス信号と付加情報のドメインが同一な場合、デコーディング装置は、付加情報デコーディング部４４０６を用いて付加情報を処理する。付加情報デコーディング部４４０６は、付加情報を復号化し、復号化した付加情報をリミックスレンダリング部４４０４に送る。リミックスレンダリング部４４０４は、付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号を生成する。
【０２０６】
図４５は、本発明の一実施例による信号処理方法を示すフローチャートである。図４５を参照すると、信号処理装置は、ミックス信号、付加情報及びユーザミックスパラメータを獲得する（Ｓ４５０1）。信号処理装置は、ミックス信号と付加情報が同一ドメイン上の信号か否か判断する（Ｓ４５０2）。デコーディング装置は、ミックス信号と付加情報のドメインが同一な場合、ミックス信号及び付加情報をそれぞれ復号化し、復号化されたミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する（Ｓ４５０4）。
【０２０７】
デコーディング装置は、ミックス信号と付加情報のドメインが同一でない場合、ミックス信号のドメインと付加情報のドメインを一致させる（Ｓ４５０3）。デコーディング装置は、ミックス信号と付加情報をそれぞれドメイン変換して同一ドメインに変換したり、または、ミックス信号のドメインを付加情報のドメインに変換できる。また、デコーディング装置は、付加情報のドメインをミックス信号のドメインに変換しても良い。ドメインが変換され、ミックス信号のドメインと付加情報のドメインが同一になった場合、デコーディング装置は、ミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する（Ｓ４５０4）。
【０２０８】
図４６は、本発明の一実施例による第２５の信号処理装置のブロック図である。図４６を参照すると、第２５の信号処理装置は、付加情報処理部４６０３を含む。第２５の信号処理装置は、ミックス信号４６０１を直接デコーディング装置に伝送しても良いが、ミックス信号４６０１が複数である場合は、ミックス信号４６０１を１つまたは２つのダウンミックス信号にダウンミキシングして伝送しても良い。図示してはいないが、ミックス信号の伝送効率のためにミックス信号４６０１は符号化して伝送されることができる。
【０２０９】
付加情報処理部４６０３は、ミックス信号４６０１及びソース信号４６０２を用いて付加情報を生成する。ソース信号４６０２はミックス信号４６０１に含まれていても良く、ミックス信号４６０１に含まれていない別のソース信号であっても良い。
【０２１０】
付加情報処理部４６０３は、生成された付加情報を変形することができる。すなわち、付加情報処理部４６０３は、付加情報を正規化（normalization）したり、または、付加情報の一部をデフォルト値に定めることによって付加情報量を減らすことができる。付加情報処理部４６０３は、変形された付加情報をエンコーディングしてデコーディング装置に伝送する。
【０２１１】
【数５３】
2010506230.tif 000055
【数５４】
2010506230.tif 000056
【０２１２】
【数５５】
2010506230.tif 000057
【０２１３】
付加情報変形部４７０８は、サブバンド別付加情報４７０７を変形する。すなわち、付加情報変形部４７０８は、サブバンド別付加情報４７０７を新しいゲインファクター及び新しいショート−タイムサブバンドパワーなどのような新しい付加情報４７０９に変形する。付加情報変形部４７０８は、新しい付加情報４７０９を用いて表現されるミックス信号が元のミックス信号４７０１と同じ値を持つように付加情報を変形する。すなわち、ゲインファクターとソース信号との積で表現されるミックス信号４７０１は、値は同一であるが新しいゲインファクターと新しいソース信号を用いて「’」のように表現できる。
【０２１４】
この時、新しいゲインファクターａi’，ｂi’のうち１つをデフォルト値に設定すると、エンコーディング装置は、デフォルト値に設定されたゲインファクターを伝送する必要がなくなる。エンコーディング装置は、付加情報をより量子化及び符号化に適合した他の値に変換することもできる。付加情報エンコーディング部４７１０は、変形された付加情報４７０９をエンコーディングしてデコーディング装置に伝送したり、または、変形された付加情報４７０９を量子化及び符号化に適合した値に変換した後、これをエンコーディングしてデコーディング装置に伝送する。
【０２１５】
図４８は、本発明の一実施例による第２６の信号処理装置のブロック図である。図４８を参照すると、第２６の信号処理装置は、ダウンミキシング部４８０２及び付加情報処理部４６０３を含み、付加情報処理部４６０３は、付加情報生成部４８０３、付加情報変形部４８０４及び付加情報エンコーディング部４８０５を含む。図４７に示す第２５の信号処理装置と図４８に示す第２６の信号処理装置の差異点は、付加情報を生成するために用いられる情報にある。図４７に示す第２５の信号処理装置は、ソース信号及びミックス信号を用いて付加情報を生成するが、図４８に示す第２６の信号処理装置は、ソース信号のみを用いて付加情報を生成する。
【０２１６】
ダウンミキシング部４８０２は、ソース信号４８０１をダウンミキシングしてデコーディング装置に伝送する。付加情報処理部４６０３は付加情報を生成し、これをエンコーディングしてデコーディング装置に伝送する。付加情報生成部４８０３は、ソース信号４８０１の全部または一部を用いて付加情報を生成できる。付加情報変形部４８０４は、付加情報生成部４８０３が生成した付加情報を、伝送効率などのために新しい付加情報に変形する。付加情報変形部４８０４は、変形された付加情報を量子化及びエンコーディングなどに適合した値に変換することができる。付加情報エンコーディング部４８０５は、変形された付加情報をエンコーディングしてデコーディング装置に伝送したり、または、変形された付加情報を量子化などのために変換した後、変換された付加情報をエンコーディングしてデコーディング装置に伝送する。
【０２１７】
【数５６】
2010506230.tif 000058
【０２１８】
【数５７】
2010506230.tif 000059
【０２１９】
また、ミックス信号を構成するのに発生しうる信号間の干渉現象の影響を相殺するために、下の式２５のような値を伝送することができる。
【０２２０】
【数５８】
2010506230.tif 000060
【数５９】
2010506230.tif 000061
【０２２１】
【数６０】
2010506230.tif 000062
【０２２２】
【数６１】
2010506230.tif 000063
【０２２３】
【数６２】
2010506230.tif 000064
【０２２４】
【数６３】
2010506230.tif 000065
【０２２５】
【数６４】
2010506230.tif 000066
【０２２６】
付加情報は、前述したゲインファクター、ショート−タイムサブバンドパワー、時間遅延情報、相関情報、ミックス情報の他にも様々な情報を含むことができる。例えば、付加情報がミックス信号と一緒に生成されない場合、時刻同期などの不一致によって再生に問題が生じることがある。したがって、付加情報にタイミング情報を含むことができる。また、タイミング情報は、ミックス信号に含まれたり、または、付加情報及びミックス信号に全て含まれることができる。したがって、タイミング情報を用いて付加情報がミックス信号と一緒に再生される時にシンク問題を解決できる。ここで、タイミング情報は実時間または相対的時間に対する情報でありうる。または、タイミング情報は、ミックス信号の特性によって判断できる情報を含む。
【０２２７】
同一ソースでもってミックスしたミックス信号であっても、ミックス方法や符号化方法によって信号間に差が発生することがある。例えば、ＣＤに収録された音楽とＭＰ３に変換された音楽間には時刻同期などで差が発生する場合がある。このような場合、ＭＰ３と一緒に多重化された付加情報はＣＤに用いられる場合に時刻同期などの問題から再生の正確度に影響を与えることがある。このような場合、多重化された信号と付加情報を新しく用いる信号と比較し、付加情報を新しく用いる信号に合うように変形することも可能である。
【０２２８】
図５０は、本発明の一実施例による付加情報を、新しく適用するミックス信号に合わせて変換するトランスコーダである。図５０を参照すると、入力１ ５００１は多重化された信号であり、入力２ ５００２は付加情報を新しく適用するミックス信号である。場合によって、入力１ ５００１を、ミックス信号と付加情報が共に入力することができる。トランスコーダ５００３は、入力１ ５００１に含まれたミックス信号と入力２ ５００２のミックス信号とを比較し、それに基づいて付加情報を変換する役割を果たす。出力５００４は、変換された付加情報であっても良く、または、入力２の信号と付加情報が多重化されて出力されても良い。
【０２２９】
また、エンコーディング装置で付加情報を生成する時、アプリケーション（application）によって付加情報の量を調節することが可能である。例えば、特定オブジェクトをミューティング可能なアプリケーションが、特定オブジェクトをパニングのみするアプリケーションに比べてより多くの情報を必要とする。したがって、付加情報を生成するエンコーディング装置から音質を保障できる最大制御に対するガイド情報を、デコーディング装置に提供することができる。ガイド情報を、全てのソース信号に同一に適用したり、または、各ソース信号ごとに独立して適用することができる。
【０２３０】
また、付加情報には、モノまたは多チャネルの特定チャネルを指示する識別子を含むことができる。マルチソースが入力され、ミックス信号及び付加情報が生成される場合を仮定する。マルチソースはソースによってモノであっても、２個のチャネルを持つステレオであっても、または２個を超えるチャネルを持つマルチチャネルであっても良い。ソースがマルチチャネルを持つ場合、各チャネルを独立したソースと仮定して処理することが可能である。
【０２３１】
例えば、ステレオチャネルを持つソースの場合、Ｋ番目の入力ソースがモノであり、Ｋ＋１番目の入力ソースがステレオである場合を考えることができる。この場合に、Ｋ番目の入力ソースがｎ番目の処理ソースであるとすれば、Ｋ＋1番目の入力ステレオソースの最初のチャネルはｎ＋1番目の処理ソースと認識し、Ｋ＋１番目の入力ステレオソースの２番目のチャネルはｎ＋２番目の処理ソースと認識し、１つの入力ソースをチャネル別にそれぞれ１つの処理ソース、すなわち、２つの処理ソースと認識して符号化することが可能である。
【０２３２】
このような場合、合計Ｎ個の処理ソースが存在する場合、各処理ソースのタイプをビット列に含める必要がある。例えば、ｎ番目の処理ソースはモノ信号であり、ｎ＋１番目の処理ソースはステレオソースの１番目のチャネルに対応し、ｎ＋２番目の処理ソースはｎ＋１番目の処理ソースと一緒に構成されるステレオソースの２番目のチャネルに対応することを表す情報を伝送する必要がある。ここで、ステレオソースの処理ソースが常に隣接して伝送されるとすれば、処理ソースタイプは、モノ、１番目のチャネル、２番目のチャネルのように３種類に制限されることがわかる。
【０２３３】
図５１は、本発明の一実施例による第２７の信号処理装置のブロック図である。図５１を参照すると、第２７の信号処理装置は、逆多重化部５１０２、ミックス信号デコーディング部５１０５、付加情報デコーディング部５１０４、付加情報復元部５１０５、及びリミックスレンダリング部５１０６を含む。
【０２３４】
多重化されたミックス信号及び第１付加情報５１０１が逆多重化部５１０２に入力されると、逆多重化部５１０２は、符号化されたミックス信号と第１付加情報を分離し、符号化されたミックス信号はミックス信号デコーディング部５１０３に伝送され、符号化された第１付加情報は付加情報デコーディング部５１０４に伝送される。第１付加情報は、ミックス信号をリミックスするのに用いられる第２付加情報を変形した情報のことを指す。
【０２３５】
ミックス信号デコーディング部５１０３は、符号化されたミックス信号を復号化してミックス信号を生成し、付加情報デコーディング部５１０４は、符号化された第１付加情報を復号化して第１付加情報を生成する。その後、付加情報復元部５１０５は、生成された第１付加情報を元の第２付加情報に復元する。付加情報復元部５１０５は選択的に存在する。すなわち、本発明による第２７の信号処理装置は、第１付加情報を用いてリミックス信号を生成するように構成されても良く、第２付加情報を用いてリミックス信号を生成するように構成されても良い。第１付加情報または第２付加情報、及び復号化されたミックス信号は、リミックスレンダリング部５１０６に伝送される。リミックスレンダリング部５１０６は、第１付加情報または第２付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号５１０７を生成できる。ユーザミックスパラメータは、ユーザから獲得された制御情報を用いて生成することができる。
【０２３６】
図５２は、本発明の一実施例による信号処理方法を示すフローチャートである。図５２を参照すると、付加情報生成部４９０１は、ミックス信号またはソース信号を用いて付加情報を生成する（Ｓ５２０１）。付加情報変形部４９０２は、生成された付加情報を変形する（Ｓ５２０２）。付加情報転換部４９０３は、変形された付加情報を他の形態に変換する（Ｓ５２０３）。付加情報量子化部４９０４は、変換された付加情報を量子化する（Ｓ５２０４）。付加情報エンコーディング部４９０５は、量子化された付加情報をエンコーディングしてデコーディング装置に伝送する（Ｓ５２０５）。
【０２３７】
【数６５】
2010506230.tif 000067
【０２３８】
【数６６】
2010506230.tif 000068
【０２３９】
図５３は、本発明の一実施例による信号処理方法を示すフローチャートである。図５３を参照すると、本発明による信号処理装置は、変形された付加情報を受信する（Ｓ５３０１）。変形された付加情報は、変形されたゲインファクター及び変形されたサブバンドパワーを含む。前述したように、変形されたゲインファクターのうち１つの値は特定値にデフォルトされているので、デコーディング装置は、変形された付加情報のうちデフォルトされなかったゲインファクター及びサブバンドパワーのみを受信すればよい。
【０２４０】
エンコーディング装置が付加情報を変形すると、それによってソース信号も変形されるので、新しいソース信号が生成されたと見なすことができる。したがって、エンコーディング装置は、新しく生成されたソース信号及び新しく生成されたソース信号に対する付加情報を伝送することとなる。エンコーディング装置が付加情報を変形する場合、ゲインファクターとソース信号がいずれも変形されるので、ゲインファクターとソース信号との積で構成されるミックス信号は、元の信号と同一である。デコーディング装置は変形された付加情報を受信してこれをデコーディングする。その後、変形された付加情報を用いて元の付加情報を生成する。デコーディング装置には、ユーザが提供する制御情報を入力することができる。
【０２４１】
その後、変形された付加情報は、元の付加情報に復元される（Ｓ５３０２）。場合によっては、元の付加情報に復元せずに、変形された付加情報を直接利用しても良い。デコーディング装置は、ミックス信号、制御情報、元の付加情報を用いてリミックス信号を生成できる（Ｓ５３０３）。また、本発明によるデコーディング装置は、元の付加情報ではなく変形された付加情報を用いてリミックス信号を生成することも可能である。デコーディング装置が生成するリミックス信号は、エンコーディング装置の付加情報の変形の有無と関係がない。
【産業上の利用可能性】
【０２４２】
以上ではいくつかの実施例に挙げて本発明を具体的に説明してきたが、これら実施例は本発明を理解を助けるために提示されたもので、本発明の範囲がこれら実施例に制限されることはない。当業者には本発明の技術的思想の範囲内で様々な変形が可能であるということが理解でき、したがって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。
【図１】
2010506230.tif 000069
【図２】
2010506230.tif 000070
【図３】
2010506230.tif 000071
【図４】
2010506230.tif 000072
【図５】
2010506230.tif 000073
【図６】
2010506230.tif 000074
【図７】
2010506230.tif 000075
【図８】
2010506230.tif 000076
【図９】
2010506230.tif 000077
【図１０】
2010506230.tif 000078
【図１１】
2010506230.tif 000079
【図１２】
2010506230.tif 000080
【図１３】
2010506230.tif 000081
【図１４】
2010506230.tif 000082
【図１５】
2010506230.tif 000083
【図１６】
2010506230.tif 000084
【図１７】
2010506230.tif 000085
【図１８】
2010506230.tif 000086
【図１９】
2010506230.tif 000087
【図２０】
2010506230.tif 000088
【図２１】
2010506230.tif 000089
【図２２】
2010506230.tif 000090
【図２３】
2010506230.tif 000091
【図２４】
2010506230.tif 000092
【図２５】
2010506230.tif 000093
【図２６】
2010506230.tif 000094
【図２７】
2010506230.tif 000095
【図２８】
2010506230.tif 000096
【図２９】
2010506230.tif 000097
【図３０】
2010506230.tif 000098
【図３１】
2010506230.tif 000099
【図３２】
2010506230.tif 000100
【図３３】
2010506230.tif 000101
【図３４】
2010506230.tif 000102
【図３５】
2010506230.tif 000103
【図３６】
2010506230.tif 000104
【図３７】
2010506230.tif 000105
【図３８】
2010506230.tif 000106
【図３９】
2010506230.tif 000107
【図４０】
2010506230.tif 000108
【図４１】
2010506230.tif 000109
【図４２】
2010506230.tif 000110
【図４３】
2010506230.tif 000111
【図４４】
2010506230.tif 000112
【図４５】
2010506230.tif 000113
【図４６】
2010506230.tif 000114
【図４７】
2010506230.tif 000115
【図４８】
2010506230.tif 000116
【図４９】
2010506230.tif 000117
【図５０】
2010506230.tif 000118
【図５１】
2010506230.tif 000119
【図５２】
2010506230.tif 000120
【図５３】
2010506230.tif 000121
【国際調査報告】
2010506230.tif 000122
2010506230.tif 000123
2010506230.tif 000124