(57)【要約】  本発明は、信号処理方法及び装置に関するもので、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置を提供する。この信号処理方法は、ミックス信号ビットストリームから１つ以上のソース信号を含むミックス信号を抽出する段階と、付加情報ビットストリームから付加情報を抽出する段階と、ユーザミックスパラメータを獲得する段階と、これらミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、ここで、付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分され、データ領域は、１つ以上のフレームデータ領域及び１つ以上の第２ヘッダ領域を含む構成とした。【選択図】図１１
2010505143.tif 000002
【特許請求の範囲】
【請求項１】
ミックス信号ビットストリームから１つ以上のソース信号を含むミックス信号を抽出する段階と、
付加情報ビットストリームから付加情報を抽出する段階と、
ユーザミックスパラメータを獲得する段階と、
前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、
前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分されることを特徴とする信号処理方法。
【請求項２】
前記第１ヘッダ領域は、前記ソース信号の名前、前記ソース信号の特性、前記ソース信号の数、サブバンド数、及びサンプリング周波数情報のうち少なくとも１つを含む、請求項１に記載の信号処理方法。
【請求項３】
前記第１ヘッダ領域は、選択的にパニング及びゲインに対するリミキシング範囲、及びユーザミックスパラメータ情報のうち少なくとも１つを含む、請求項２に記載の信号処理方法。
【請求項４】
前記データ領域は、１つ以上の第２ヘッダ領域を含み、前記第２ヘッダ領域は、前記ソース信号のゲイン情報を含む、請求項１に記載の信号処理方法。
【請求項５】
前記データ領域は、１つ以上のフレームデータ領域を含み、前記フレームデータ領域は、前記ソース信号のパワー情報を含む、請求項１に記載の信号処理方法。
【請求項６】
前記フレームデータ領域は、データタイプ情報をさらに含む、請求項５に記載の信号処理方法。
【請求項７】
前記データタイプ情報によって前記フレームデータ領域は前記ソース信号のゲイン情報をさらに含む、請求項５に記載の信号処理方法。
【請求項８】
１つ以上のソース信号を用いてミックス信号を獲得する段階と、
前記ソース信号のうちリミックスされるソース信号を獲得する段階と、
前記ミックス信号及び前記リミックスされるソース信号を用いて付加情報を生成する段階と、
前記ミックス信号及び前記付加情報を用いてそれぞれミックス信号ビットストリーム及び付加情報ビットストリームを生成する段階と、を含み、
前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分されることを特徴とする信号処理方法。
【請求項９】
ミックス信号成分のうち非知覚領域に埋め込まれた付加情報を抽出する段階と、
前記付加情報及び前記ミックス信号を用いてリミックス信号を生成する段階と、
を含むことを特徴とする信号処理方法。
【請求項１０】
前記付加情報を抽出する段階は、
前記付加情報のヘッダ領域から前記付加情報の埋め込まれた領域の大きさ情報を抽出する段階と、
前記大きさ情報を用いて前記ミックス信号から前記付加情報を抽出する段階と、
を含む、請求項９に記載の信号処理方法。
【請求項１１】
前記付加情報のヘッダ領域は、前記ミックス信号の最下位ビットに埋め込まれた、請求項１０に記載の信号処理方法。
【請求項１２】
前記リミックス信号を生成する段階は、
ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータを用いて前記リミックス信号を生成する段階を含む、請求項９に記載の信号処理方法。
【請求項１３】
ミックス信号及び前記ミックス信号に含まれたソース信号を用いて前記ミックス信号をリミキシングするための付加情報を生成する段階と、
前記付加情報を前記ミックス信号成分のうち非知覚領域に埋め込む段階と、
を含むことを特徴とする信号処理方法。
【請求項１４】
前記付加情報は、前記非知覚領域にサンプルプレーン順またはビットプレーン順に埋め込まれる、請求項１３に記載の信号処理方法。
【請求項１５】
前記付加情報は、前記サンプルプレーンまたは前記ビットプレーンに上位ビットから挿入され、あるいは下位ビットから挿入される、請求項１４に記載の信号処理方法。
【請求項１６】
前記付加情報が埋め込まれる領域の大きさは、前記ミックス信号のマスキング限界値を用いて前記付加情報が埋め込まれるブロック別に求められる、請求項１３に記載の信号処理方法。
【請求項１７】
第１オーディオ信号成分のうち非知覚領域に埋め込まれた結合信号を抽出する段階と、
前記結合信号を無損失復号化して前記非知覚領域に対応する信号成分を復元する段階と、
前記復元された信号成分と前記第１オーディオ信号を用いて前記第２オーディオ信号を生成する段階と、を含み、
前記第２オーディオ信号は、前記結合信号が埋め込まれる前の元信号であることを特徴とする信号処理方法。
【請求項１８】
前記結合信号は、前記第１オーディオ信号成分のうち非知覚領域に位置する信号成分を無損失符号化した信号成分及び付加情報を含む、請求項１７に記載の信号処理方法。
【請求項１９】
前記第１オーディオ信号と前記付加情報を用いて第３オーディオ信号を生成する、請求項１８に記載の信号処理方法。
【請求項２０】
オーディオ信号成分のうち非知覚領域に位置する信号成分を無損失符号化する段階と、
前記無損失符号化された信号成分及び付加情報を結合して結合信号を生成する段階と、
前記結合信号を前記非知覚領域に埋め込む段階と、
を含むことを特徴とする信号処理方法。
【請求項２１】
ミックス信号成分のうち非知覚領域に存在する付加情報を抽出する段階と、
前記付加情報が抽出されたミックス信号を符号化する段階と、
前記符号化されたミックス信号及び前記付加情報を用いてビットストリームを生成する段階と、を含み、
前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法。
【請求項２２】
前記符号化段階は、
前記付加情報のシンク情報を抽出する段階と、
前記シンク情報を用いて前記ミックス信号のフレーム開始位置を決定する段階と、
を含む、請求項２１に記載の信号処理方法。
【請求項２３】
ビットストリームから符号化されたミックス信号及び付加情報を抽出する段階と、
前記符号化されたミックス信号を復号化する段階と、
前記復号化されたミックス信号成分のうち非知覚領域に前記付加情報を埋め込む段階と、を含み、
前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法。
【請求項２４】
ミックス信号成分のうち非知覚領域に埋め込まれた符号化された付加情報を抽出する埋め込み信号デコーディング部と、
前記符号化された付加情報をデコーディングして付加情報を生成する付加情報デコーディング部と、
前記付加情報及び前記ミックス信号を用いてリミックス信号を生成するリミックスレンダリング部と、
を含むことを特徴とする信号処理装置。
【請求項２５】
ミックス信号の識別情報を獲得する段階と、
前記識別情報にマッチングするソース制御情報を獲得する段階と、
前記ソース制御情報及び前記ミックス信号を用いてリミックス信号を生成する段階と、
を含むことを特徴とする信号処理方法。
【請求項２６】
前記ミックス信号の識別情報は、前記ミックス信号の付加情報である、請求項２５に記載の信号処理方法。
【請求項２７】
前記ソース制御情報は、ソース別ゲインファクタを含む、請求項２５に記載の信号処理方法。
【請求項２８】
前記ソース制御情報は時間によって変化し、前記ソース制御情報の適用時点に対する情報をさらに含む、請求項２７に記載の信号処理方法。
【請求項２９】
前記ミックス信号にマッチングするソース制御情報が１つ以上である場合、ソース制御情報の目録を表示する段階をさらに含み、
ユーザから特定ソース制御情報に対する選択命令が入力されると、選択されたソース制御情報を読み取って出力する、請求項２５に記載の信号処理方法。
【請求項３０】
前記ソース制御情報の目録は、前記ミックス信号のソース情報を含み、前記選択命令は、一部のソースに関するものであり、前記出力する段階は、選択されたソースに該当するソース制御情報を読み取って出力する段階である、請求項２９に記載の信号処理方法。
【請求項３１】
前記ミックス信号にマッチングするソース制御情報は記憶しておいた値であるか、ユーザから受信した値である、請求項２５に記載の信号処理方法。
【請求項３２】
ミックス信号の処理装置と連係している信号処理装置であって、
ミックス信号の識別情報別ソース制御情報が記憶されているメモリと、
ミックス信号の識別情報に基づいて、前記ミックス信号にマッチングするソース制御情報を前記メモリから読み取り、前記ミックス信号の処理装置に出力する制御部と、
を含むことを特徴とする信号処理装置。
【請求項３３】
インターフェースを出力するためのディスプレイをさらに含み、
前記ミックス信号にマッチングするソース制御情報は、メモリに記憶された値であるか、ユーザから受信した値である、請求項３２に記載の信号処理装置。
【請求項３４】
ミックス信号に該当するソース制御情報を読み取る段階と、
前記ソース制御情報を記憶し、あるいは伝送する段階と、を含み、
前記ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むことを特徴とする信号処理方法。
【請求項３５】
前記ソース制御情報は、他のユーザのミックス信号制御装置に伝送される、請求項３４に記載の信号処理方法。
【請求項３６】
ミックス信号に該当するソース制御情報が記憶されているメモリと、
他のユーザのミックス信号制御装置と通信するための通信部と、
前記ソース制御情報を、前記通信部を通じて前記他のユーザのミックス信号制御装置に伝送するようにする制御部と、
を含むことを特徴とする信号処理方法。
【請求項３７】
ミックス信号に該当する付加情報及び制御情報を受信する段階と、
前記付加情報及び前記制御情報に基づいて、前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成する段階と、
を含むことを特徴とする信号処理方法。
【請求項３８】
前記制御情報はソース別チャネル別ゲインファクタ及び出力チャネル構成情報のうち１つ以上を含む、請求項３７に記載の信号処理方法。
【請求項３９】
前記ミックス信号を用いて前記付加情報を生成する段階をさらに含む、請求項３７に記載の信号処理方法。
【請求項４０】
ミックス信号に該当する制御情報を受信するための通信部と、
前記制御情報及び付加情報に基づいて、前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成するパラメータ生成部と、
を含むことを特徴とする信号処理装置。
【請求項４１】
１つ以上のソース信号を含むミックス信号を獲得する段階と、
ミックスパラメータを獲得する段階と、
前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する段階と、
前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成する段階と、を含み、
前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法。
【請求項４２】
前記ミックスパラメータは、ユーザから獲得された制御情報を用いて生成される、請求項４１に記載の信号処理方法。
【請求項４３】
１つ以上の第１ソース信号を含む第１ミックス信号を生成する段階と、
前記ミックス信号に含まれていない第２ソース信号を生成する段階と、
前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成する段階と、
前記第１ミックス信号及び前記第２ミックス信号を用いてリミックス信号を生成する段階と、
を含むことを特徴とする信号処理方法。
【請求項４４】
前記第２ミックス信号は、前記第１ソース信号のゲインを下げて生成される、請求項４３に記載の信号処理方法。
【請求項４５】
ユーザからソース信号選択情報を獲得する段階をさらに含み、
前記ソース信号選択情報によって、前記リミックス信号は、前記第１ソース信号または前記第２ソース信号のうち前記ユーザが選択したソース信号のみを含む、請求項４３に記載の信号処理方法。
【請求項４６】
前記リミックス信号を生成するための付加情報を生成する段階と、
前記リミックス信号を生成するためのユーザミックスパラメータを生成する段階と、
をさらに含む、請求項４３に記載の信号処理方法。
【請求項４７】
前記第１ミックス信号に対する第１付加情報及び前記第２ソース信号に対する第２付加情報を獲得する段階をさらに含み、
前記リミックス信号を生成するための付加情報は、前記第１付加情報及び前記第２付加情報を用いて生成される、請求項４６に記載の信号処理方法。
【請求項４８】
ユーザから制御情報を獲得する段階をさらに含み、
前記ユーザミックスパラメータは、前記制御情報を用いて生成される、請求項４６に記載の信号処理方法。
【請求項４９】
前記制御情報は、前記ユーザが前記第１ソース信号または前記第２ソース信号を表し、ディスプレイ装置に表示される視覚ツールを用いて生成される、請求項４８に記載の信号処理方法。
【請求項５０】
前記視覚ツールは、アイコン、テキスト、ボタン、画面上の特定の領域を含む、請求項４９に記載の信号処理方法。
【請求項５１】
前記視覚ツールは、エンコーディング装置から伝送されるか、エンコーディング装置から伝送された他の視覚ツールを変形して形成されるか、あるいは、前記ユーザによって生成された、視覚ツールである、請求項４９に記載の信号処理方法。
【請求項５２】
１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、
前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する付加情報生成部と、
前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含み、
前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理装置。
【請求項５３】
１つ以上の第１ソース信号を含む第１ミックス信号を生成するミックス信号デコーディング部と、
前記第１ミックス信号に含まれていない第２ソース信号を生成するソース信号デコーディング部と、
前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成するミックス信号変形部と、
前記第１ミックス信号及び前記第２ミックス信号を用いてリミックス信号を生成するリミックス信号生成部と、
を含むことを特徴とする信号処理方法。
【請求項５４】
前記リミックス信号は、前記第１ソース信号または前記第２ソース信号のうち、前記ユーザが選択したソース信号のみを含む、請求項５３に記載の信号処理装置。
【請求項５５】
前記第１ミックス信号に対する第１付加情報及び前記第２ソース信号に対する第２付加情報を用いて前記リミックス信号を生成するための付加情報を生成する付加情報変形部をさらに含む、請求項５３に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び装置に関するもので、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、ステレオ信号が最も頻繁に生成され、消費者に最も広く利用されている。最近では、マルチチャネル信号が益々広く利用されてきている。しかし、これらのミックス信号は、ミックス信号を構成するソース信号単位ではなく、チャネル信号単位で処理されるという限界がある。したがって、チャネル信号単位でミックス信号を処理する場合、ミックス信号を構成する特定ソース信号のみを独立して処理できないという問題点がある。例えば、映画を見ながら俳優たちの音声のボリュームを一定に維持したまま、背景音楽のボリュームのみを上げることは不可能である。また、付加情報のビットストリームを構成する方法がまだ定められておらず、付加情報を記憶するのに問題点がある。
【０００３】
また、記録媒体にメディア信号を記憶する場合、該メディア信号に対する付加情報を記憶できる補助データ領域が存在しない場合がある。したがって、このような場合には、メディア信号をソース信号単位で処理できないという問題点がある。また、付加情報を別途記憶したり、または別途伝送する場合には一般的なオーディオ信号フォーマットとの互換性において問題点がある。
【０００４】
また、ユーザがミックス信号（または合成ソース信号）をソース別に、すなわち、ソース信号別にリミキシングしてミックス信号を再生させた後、過去にリミキシングしたミックス信号を後で再生したい場合には、過去に入力した制御情報をそのまま再び入力しなければならないという問題がある。
【０００５】
また、チャネル単位でミックス信号を処理するため、ミックス信号に含まれたソース信号をユーザが提供する特定のソース信号に置き替えることが不可能であるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の問題点を解決するために、本発明は、ミックス信号及び付加情報を用いてリミックス信号を生成する方法を提供することを課題とする。
【０００７】
また、本発明は、リミックス信号を生成するのに用いられる付加情報のビットストリームを構成する方法を提供することを課題とする。
【０００８】
また、本発明は、付加情報を用いてメディア信号をソース信号単位で処理するために、メディア信号に対する付加情報を埋め込む符号化／復号化方法及び装置を提供することを課題とする。
【０００９】
また、本発明は、ミックス信号のリミックスにおいて、ユーザが入力した制御情報を記憶させた後に、後でそのミックス信号をリミキシングするのに用いることができるようにするミックス信号制御方法及び装置を提供することを課題とする。
【００１０】
また、本発明は、特に、パニング効果またはフェーディング効果を特定区間に適用する際に、制御情報のデータ容量を最小化できるミックス信号のインターフェース表示方法及び装置を提供することを課題とする。
【００１１】
また、本発明は、ミックス信号に含まれるソース信号が別途存在しない場合に、ソース信号と類似する信号を用いてソース信号別付加情報を生成する方法を提供することを課題とする。
【００１２】
また、本発明は、デコーディング装置でミックス信号を用いて該ミックス信号をリミックスするための付加情報を生成する方法及び装置を提供することを課題とする。
【００１３】
また、本発明は、ミックス信号に含まれた特定のソース信号を、ユーザが提供するソース信号に置き換える方法及び装置を提供することを課題とする。
【００１４】
また、本発明は、ユーザがソース信号を用いてミックス信号を変形できる信号処理方法及び装置を提供することを課題とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、ミックス信号ビットストリームから１つ以上のソース信号を含むミックス信号を抽出する段階と、付加情報ビットストリームから付加情報を抽出する段階と、ユーザミックスパラメータを獲得する段階と、前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分され、前記データ領域は、１つ以上のフレームデータ領域及び１つ以上の第２ヘッダ領域を含むことを特徴とする信号処理方法を提供する。
【００１６】
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号からリミックスされるソース信号を獲得する段階と、前記ミックス信号及び前記リミックスされるソース信号を用いて付加情報を生成する段階と、前記ミックス信号及び前記付加情報を用いて各々ミックス信号ビットストリーム及び付加情報ビットストリームを生成する段階と、を含み、前記付加情報ビットストリームは、第１ヘッダ領域とデータ領域とに区分され、前記データ領域は、１つ以上のフレームデータ領域及び１つ以上の第２ヘッダ領域を含むことを特徴とする信号処理方法を提供する。
【００１７】
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた付加情報を抽出する段階と、前記付加情報及び前記ミックス信号を用いてリミキシング信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【００１８】
また、上記課題を解決するために、本発明は、ミックス信号及び前記ミックス信号に含まれたソース信号を用いて前記ミックス信号をリミキシングするための付加情報を生成する段階と、前記付加情報を前記ミックス信号成分のうち非知覚領域に埋め込む段階と、を含むことを特徴とする信号処理方法を提供する。
【００１９】
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた結合信号を抽出する段階と、前記結合信号を無損失復号化し、前記非知覚領域に対応する信号成分を復元する段階と、前記復元された信号成分を用いて前記結合信号の抽出されたミックス信号を復元する段階と、を含み、前記結合信号は、前記ミックス信号成分のうち非知覚領域に位置する信号成分を無損失符号化した信号成分及び付加情報を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
【００２０】
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に位置する信号成分を無損失符号化する段階と、前記無損失符号化された信号成分及び付加情報を結合して結合信号を生成する段階と、前記結合信号を前記非知覚領域に埋め込む段階と、を含むことを特徴とする信号処理方法を提供する。
【００２１】
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に存在する付加情報を抽出する段階と、前記付加情報の抽出されたミックス信号を符号化する段階と、前記符号化されたミックス信号及び前記付加情報を用いてビットストリームを生成する段階と、を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
【００２２】
また、上記課題を解決するために、本発明は、ビットストリームから符号化されたミックス信号及び付加情報を抽出する段階と、前記符号化されたミックス信号を復号化する段階と、前記復号化されたミックス信号成分のうち非知覚領域に前記付加情報を埋め込む段階と、を含み、前記付加情報は、前記ミックス信号をリミキシングするための情報を含むことを特徴とする信号処理方法を提供する。
【００２３】
また、上記課題を解決するために、本発明は、ミックス信号成分のうち非知覚領域に埋め込まれた符号化された付加情報を抽出する埋め込み信号デコーディング部と、前記符号化された付加情報をデコーディングして付加情報を生成する付加情報デコーディング部と、前記付加情報及び前記ミックス信号を用いてリミキシング信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。
【００２４】
また、上記課題を解決するために、本発明は、ミックス信号の識別情報を受信する段階と、前記ミックス信号とマッチングされるソース制御情報を読み取って出力する段階と、を含むことを特徴とする信号処理方法を提供する。
【００２５】
また、上記課題を解決するために、本発明は、ミックス信号の処理装置と連係している信号処理装置であって、ミックス信号の識別情報別ソース制御情報が記憶されているメモリと、ミックス信号の識別情報に基づいて、前記ミックス信号とマッチングするソース制御情報を前記メモリから読み取り、前記ミックス信号の処理装置に出力する制御部と、を含むことを特徴とする信号処理装置を提供する。
【００２６】
また、上記課題を解決するために、本発明は、ミックス信号に該当するソース制御情報を読み取る段階と、前記ソース制御情報を第２ミックス信号制御装置に伝送する段階と、を含み、前記ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むことを特徴とする信号処理方法を提供する。
【００２７】
また、上記課題を解決するために、本発明は、ミックス信号に該当するソース制御情報が記憶されているメモリと、第２ミックス信号制御装置と通信するための通信部と、前記ソース制御情報を前記通信部を通じて第２ミックス信号制御装置に伝送するようにする制御部と、を含むことを特徴とする信号処理方法を提供する。
【００２８】
また、上記課題を解決するために、本発明は、ミックス信号に該当する付加情報及び制御情報を受信する段階と、前記付加情報及び前記制御情報に基づいて、前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【００２９】
また、上記課題を解決するために、本発明は、ミックス信号に該当する制御情報を受信するための通信部と、前記制御情報及び付加情報に基づいて前記ミックス信号をアップミックスするためのアップミキシングパラメータを生成するパラメータ生成部と、を含むことを特徴とする信号処理装置を提供する。
【００３０】
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、ミックスパラメータを獲得する段階と、前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する段階と、前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成する段階と、を含み、前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。
【００３１】
また、上記課題を解決するために、本発明は、ミックス信号に含まれた特定の第１ソース信号を調節して第１リミックス信号を生成する段階と、前記ミックス信号に含まれていない別の第２ソース信号を生成する段階と、前記第１リミックス信号及び前記第２ソース信号を用いて第２リミックス信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【００３２】
また、上記課題を解決するために、本発明は、１つ以上の第１ソース信号を含む第１ミックス信号を獲得する段階と、前記第１ミックス信号に含まれていない第２ソース信号を獲得する段階と、前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成する段階と、を含むことを特徴とする信号処理方法を提供する。
【００３３】
また、上記目的を解決するために、本発明は、通信網を通じてユーザ端末と結合するソース信号提供サーバで行なうソース信号提供方法であって、前記ユーザ端末からソース信号の選択情報を獲得する段階と、前記選択情報によって、選択されたソース信号に対する付加情報を生成する段階と、前記選択されたソース信号及び前記付加情報を前記ユーザ端末に伝送する段階と、を含み、前記付加情報は、前記ソース信号を用いてリミックス信号を生成するのに用いられる情報であることを特徴とする信号処理方法を提供する。
【００３４】
また、上記課題を解決するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、前記ミックス信号に含まれた特定空間を表す信号成分を用いて付加情報を生成する付加情報生成部と、前記ミックス信号、前記ミックスパラメータ、及び前記付加情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記付加情報は、前記ミックス信号に含まれたソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理装置を提供する。
【００３５】
また、上記課題を解決するために、本発明は、ミックス信号に含まれた特定の第１ソース信号を調節して第１リミックス信号を生成するリミックスレンダリング部と、前記ミックス信号に含まれていない他の第２ソース信号を生成するソース信号生成部と、前記第１リミックス信号及び前記第２ソース信号を用いて第２リミックス信号を生成するレコーディング部と、を含むことを特徴とする信号処理装置を提供する。
【００３６】
また、上記課題を解決するために、本発明は、１つ以上の第１ソース信号を含む第１ミックス信号を獲得するミックス信号デコーディング部と、前記第１ミックス信号に含まれていない第２ソース信号を獲得するソース信号デコーディング部と、前記第１ミックス信号及び前記第２ソース信号を用いて第２ミックス信号を生成するミックス信号変形部と、を含み、前記第２ミックス信号は、前記第１ソース信号及び前記第２ソース信号のうち、ユーザが選択したソース信号のみを含むことを特徴とする信号処理装置を提供する。
【発明の効果】
【００３７】
本発明に係る信号処理方法及び装置によれば、リミックス信号を生成するのに必要な付加情報のビットストリームを構成する方法を規定することによってデータをより効率的に管理し、かつ、該ビットストリームで構成されたデータは互いに互換性を持つことができるという効果が得られる。
【００３８】
また、本発明に係る信号処理方法及び装置によれば、オーディオ信号をコーディングするに当たり、低いビット率を持つ付加情報を用いてオーディオ信号に含まれた特定のソース信号をリミックスすることができる。この場合、ソース信号をリミキシングするための付加情報が必要となる。本発明は、この付加情報をオーディオ信号に埋め込むことによって、補助データ領域が存在しない記憶媒体や、補助データ領域が存在しないデータフォーマットにリミックス信号を再生できる方法及び装置を提供するという効果がある。
【００３９】
また、本発明による信号処理方法及び装置によれば、ミックス信号をリミックスするに当たり、ユーザが入力した制御情報を記憶させた後、後でそのミックス信号をリミキシングするのに利用できるため、ユーザが希望通りにリミキシングしたミックス信号を特別な操作なしに反復再生できるという効果がある。
【００４０】
また、本発明による信号処理方法及び装置によれば、パニング効果またはフェーディング効果を特定区間に適用するに当たり、区間内における制御情報を除外させても、以降同じ効果を奏するソース制御情報を再生できるため、制御情報のデータ容量を最小化できるという効果がある。
【００４１】
また、本発明による信号処理方法及び装置によれば、ユーザにより記憶されたソース制御情報がミックス信号またはミックス信号の付加情報とは独立して流通され、他のユーザによっても消費することができるため、ミックス信号をリミキシングしたユーザは編曲者または編集者となることができるという効果がある。
【００４２】
また、本発明による信号処理方法及び装置によれば、低いビット率を持つ付加情報を用いてミックス信号に含まれた特定のソース信号をリミキシングすることができる。また、別のソース信号が存在しないミックス信号からソース信号別パラメータを生成できるという効果を提供する。
【００４３】
また、本発明による信号処理方法及び装置によれば、デコーディング装置でミックス信号を用いてソース信号別パラメータを生成できるという効果を提供する。また、ユーザが直接生成したソース信号が合成されたミックス信号を生成するという効果を提供する。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施例による第１信号処理装置のブロック図である。
【図２】ステレオ信号を用いる場合、図１に示す第１信号処理装置の詳細ブロック図である。
【図３】本発明の一実施例によるメディア信号を処理するためのドメインである。
【図４】本発明の一実施例による第２信号処理装置のブロック図である。
【図５】本発明の一実施例による第３信号処理装置のブロック図である。
【図６】ステレオ信号を用いる場合、図５に示す第３信号処理装置の詳細ブロック図である。
【図７】本発明の一実施例による第４信号処理装置のブロック図である。
【図８】通常のエンコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。
【図９】通常のデコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。
【図１０】本発明の一実施例による第５信号処理装置のブロック図である。
【図１１】本発明の一実施例によるミックス信号ビットストリーム及び付加情報ビットストリームのデータ構造を示す図である。
【図１２】図１０に示す付加情報ビットストリームの詳細データ構造を示す図である。
【図１３】本発明の一実施例による第６信号処理装置のブロック図である。
【図１４】図１３に示す第６信号処理装置を構成する埋め込み部の詳細ブロック図である。
【図１５】本発明の一実施例による付加情報を埋め込む方法を示す図である。
【図１６】本発明の一実施例による付加情報を再構成したデータ構造を示す図である。
【図１７】本発明の一実施例による埋め込まれた付加情報を用いてオーディオ信号をデコーディングする第７信号処理装置のブロック図である。
【図１８】元信号を保存しながら付加情報を埋め込む本発明の一実施例による第８信号処理装置を構成する埋め込み部の詳細ブロック図である。
【図１９】本発明の一実施例による元信号を保存しながら付加情報を埋め込む方法を示す図である。
【図２０】元信号を完全に復元する本発明の一実施例による第８信号処理装置のブロック図である。
【図２１】本発明の一実施例による２つのチャネルのオーディオ信号に付加情報を埋め込む第１方法を示す図である。
【図２２】本発明の一実施例による２つのチャネルのオーディオ信号に付加情報を埋め込む第２方法を示す図である。
【図２３】本発明の一実施例による埋め込まれた付加情報を除去する第９信号処理装置のブロック図である。
【図２４】本発明の一実施例による付加情報が埋め込まれたミックス信号のビットストリームを生成する第１０信号処理装置のブロック図である。
【図２５】図２４に示す第１０信号処理装置の詳細ブロック図である。
【図２６】本発明の一実施例によるミックス信号に付加情報を埋め込む第１１信号処理装置のブロック図である。
【図２７】本発明の一実施例によるミックス信号を制御するための第１１信号処理装置のブロック図である。
【図２８】本発明の一実施例によるパニング効果において、始点情報、終点情報並びに始点及び終点におけるゲインファクタを説明するための図である。
【図２９】本発明の一実施例によるフェーディング効果において、始点情報、終点情報並びに始点及び終点におけるゲインファクタを説明するための図である。
【図３０】本発明の一実施例によるソース制御情報の目録を表示した画面例を示す図である。
【図３１】本発明の一実施例によるソース制御情報の目録を表示した画面例を示す図である。
【図３２】本発明の一実施例によるミックス信号を制御するための第１２信号処理装置のブロック図である。
【図３３】本発明の一実施例によるミックス信号処理方法を示すフローチャートである。
【図３４】本発明の一実施例によるソース制御情報が生成されて用いられる過程を示す図である。
【図３５】本発明の一実施例によるミックス信号を制御するための第１３信号処理装置のブロック図である。
【図３６】本発明の一実施例によるミックス信号処理方法を示すフローチャートである。
【図３７】本発明の一実施例によるミックス信号を制御するための第１４信号処理装置のブロック図である。
【図３８】本発明の一実施例によるミックス信号処理方法を示すフローチャートである。
【図３９】本発明の一実施例による付加情報を生成する方法を示すフローチャートである。
【図４０】本発明の一実施例による特定のソース信号を替えるための第１５信号処理装置を示すブロック図である。
【図４１】本発明の一実施例による第１６信号処理装置のブロック図である。
【図４２】本発明の一実施例による第１７信号処理装置のブロック図である。
【図４３】本発明の一実施例によるミックス信号変形部の内部ブロック図である。
【図４４】本発明の一実施例によるソース信号提供サーバを用いて信号処理する方法を示す図である。
【図４５】本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。
【図４６】本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。
【発明を実施するための形態】
【００４５】
以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、本明細書及び請求範囲に用いられた用語や単語は通常的または辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適宜定義することができるという原則に立ち、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を限定するためのものではない。したがって、本出願時点においてこれらに代わる様々な均等物と変形例が存在しうることは明らかである。
【００４６】
図１は、本発明の一実施例による第１信号処理装置のブロック図である。この第１信号処理装置は、付加情報生成部１０３及び付加情報エンコーディング部１０５を含む。
【００４７】
図１を参照すると、付加情報生成部１０３は、通常のミックス信号１０１及びミックス信号を構成するソース信号１０２を用いて付加情報１０４を生成する。ミックス信号１０１は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができる。ソース信号１０２は、ミックス信号１０１を構成するソース信号の一部を含んでもよく、全部を含んでもよい。付加情報１０４は、ミックス信号をソース信号単位で処理するのに用いられる情報のことを指す。付加情報１０４は、ミックス信号をリミキシングするためのミックスパラメータを含む。このミックスパラメータには、エンコーダでソース信号を用いて生成されたエンコーダミックスパラメータを含み、選択的にミックス信号のみを用いて生成されたブラインドミックスパラメータを含むことができる。ミックスパラメータの例には、それぞれのソース信号に対するゲイン値及びサブバンドパワーなどがある。付加情報１０４に対する具体的な定義及び生成方法は、図２で説明する。本発明は、また、ミックス信号を構成するソース信号１０２のみを用いて付加情報１０４を生成することもできる。付加情報エンコーディング部１０５は、生成された付加情報１０４をエンコーディングし、符号化された付加情報信号１０６を生成する。ミックス信号１０１及び付加情報信号１０６は、デコーディング装置に伝送される。
【００４８】
図２は、ステレオ信号を用いる場合の、図１に示す第１信号処理装置の詳細ブロック図である。前述したように、本発明で用いられるミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号２０１を基準にして説明する。
【００４９】
【数１】
2010505143.tif 000003
【００５０】
【数２】
2010505143.tif 000004
【００５１】
【数３】
2010505143.tif 000005
【００５２】
本発明の目的は、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、該ソース信号を含むステレオ信号を修正することにある。これらソース信号は互いに異なるゲインファクタを持ちながらステレオ信号にリミックスすることができる。リミックス信号は式２のように表現することができる。
【００５３】
【数４】
2010505143.tif 000006
【００５４】
ここで、ｃi及びｄiは、リミックスされるＭ個のソース信号に対する新しいゲインファクタである。ｃi及びｄiはデコーダ端より提供することができる。この場合、付加情報生成部２０６は、ステレオ信号２０１及びＭ個のソース信号２０２を用いて付加情報２０７を生成することができる。
【００５５】
上述の如く、本発明の目的は、通常のステレオ信号と若干の付加情報が与えられる場合に、ステレオ信号をソース信号単位でリミックスすることにある。本発明におけるように、ごく少ない量の付加情報を用いて上記の式１で表現されるミックス信号から上記の式２で表現されるリミックス信号を完璧に生成することは不可能である。
【００５６】
【数５】
2010505143.tif 000007
【００５７】
図２を参照すると、第１信号処理装置に通常のステレオ信号２０１及びステレオ信号２０１に含まれるＭ個のソース信号２０２が入力される。ステレオ信号２０１は、付加情報と同期させるためにある程度ディレーされ、出力信号として直接用いることができる。付加情報を生成するために、ステレオ信号２０１及びソース信号２０２は、フィルタバンク２０３を通じて時間−周波数ドメインのサブバンド別信号２０４及び２０５に分解される。すなわち、ステレオ信号２０１及びソース信号は時間−周波数ドメインで処理される。この時間−周波数ドメインについては図３で後述する。サブバンド別信号２０４は、各サブバンドの中心周波数で同様に処理される。特定の周波数でステレオ信号２０１のサブバンド対２０４はｘ1（ｋ）及びｘ2（ｋ）で表示される。ここで、ｋはサブバンド信号の時間インデックスである。同様に、Ｍ個のソース信号２０２のサブバンド信号２０５は、ｓ1（ｋ），ｓ2（ｋ），…，ｓM（ｋ）で表示される。明瞭な表現のために、サブバンド（周波数）インデックスを使用しなかった。
【００５８】
これらのソース信号２０２のサブバンド信号２０５が与えられると、付加情報生成部２０６は、サブバンド別にショート−タイムサブバンドパワーＥ｛ｓi2（ｋ）｝を生成する。また、付加情報生成部２０６は、ステレオ信号２０１のサブバンド対２０４を用いて、サブバンド別にゲインファクタａi及びｂiを生成する。このゲインファクタａi及びｂiは、外部から直接与えることができる。このサブバンド別ショート−タイムサブバンドパワー及びゲインファクタを用いてサブバンド別付加情報２０７が生成される。付加情報生成部２０６は、ショート−タイムサブバンドパワー及びゲインファクタの他にステレオ信号に関連した他の情報を付加情報２０７として生成できる。付加情報エンコーディング部２０８は、サブバンド別付加情報２０７を用いて、符号化された付加情報信号２０９を生成する。
【００５９】
多数のステレオ信号２０１に対して、ゲインファクタａi及びｂiは不変とする。ａi及びｂiが時間ｋによって変化するとすれば、これらゲインファクタは時間の関数として生成される。これらゲインファクタは直接量子化及び符号化せずに、まず、より量子化及び符号化に適合した他の値に変形することができる。また、Ｅ｛ｓi2（ｋ）｝はステレオ信号２０１のサブバンドパワーに相対的な値に正規化することができる。これは、ステレオ信号を効率的に符号化する目的で通常のエンコーディング装置が用いられる場合に、本発明を相対的に変化に強くさせる。例えば、ａi及びｂiは、式３で表現されるゲイン及びデシベル（dB）単位のレベル差に変換して伝送することができる。
【００６０】
【数６】
2010505143.tif 000008
【００６１】
また、Ｅ｛ｓi2（ｋ）｝は付加情報として直接符号化されるのではなく、式４で表現されるステレオ信号に相対的に定義された値に変換して伝送することができる。
【００６２】
【数７】
2010505143.tif 000009
【００６３】
ショート−タイムサブバンドパワーを生成するために、本発明は単一ポール平均を使用する。すなわち、Ｅ｛ｓi2（ｋ）｝は、式５のように計算することができる。
【００６４】
【数８】
2010505143.tif 000010
【００６５】
【数９】
2010505143.tif 000011
【００６６】
【数１０】
2010505143.tif 000012
【００６７】
ここで、ｆsはサブバンドサンプリング周波数を表す。例えば、Ｔ＝４０ｍｓを利用できる。
【００６８】
【数１１】
2010505143.tif 000013
【００６９】
【数１２】
2010505143.tif 000014
【００７０】
同様に、ｂiは、式８のように計算される。
【００７１】
【数１３】
2010505143.tif 000015
【００７２】
図３は、本発明の一実施例によるメディア信号を処理するためのドメインを示す。前述したように、オーディオ信号及び付加情報は、図３に示すような時間−周波数ドメインのサブバンド別信号として処理される。この時間−周波数ドメインのサブバンド別信号は知覚的に誘導される。例えば、約２０ｍｓの長さを持つサイン波分析窓及び統合窓を持つＳＴＦＴ（Short Time Fourier transform）を用いてサブバンド別信号を生成できる。この時、ＳＴＦＴ係数は、１つのグループがＥＲＢ（equivalent rectangular bandwidth）の約２倍となる帯域幅を持つようにグループ化することができる。
【００７３】
図４は、本発明の一実施例による第２信号処理装置のブロック図である。図４を参照すると、ダウンミキシング部４０２は、複数のソース信号４０１を合算して１つの和信号４０４を生成する。第２信号処理装置は、第１信号処理装置とは違い、ステレオ信号を伝送する代わりに和信号４０４を伝送する。付加情報生成部４０３は、ソース信号４０１を用いて付加情報４０５を生成する。付加情報４０５は、各ソース信号に対応するサブバンドパワー及びゲインファクタを含む。また、付加情報４０５は、リミックスレンダリング部におけるディレーに対応するパラメータを含むことができる。第１信号処理装置におけると略同様に、付加情報４０５は、より量子化及び符号化に適合した他の値に変換して伝送することができる。付加情報エンコーディング部４０６は、生成された付加情報４０５を用いて、符号化された付加情報信号４０７を生成する。生成された和信号４０４及び付加情報信号４０７はデコーディング装置に伝送される。本発明はまた、ダウンミキシング部４０２を有しないエンコーディング装置を含む。この場合、ソース信号４０１は、和信号４０４に変換されず、各ソース信号４０１が直接伝送される。
【００７４】
図５は、本発明の一実施例による第３信号処理装置のブロック図である。この第３信号処理装置は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含む。
【００７５】
図５を参照すると、ミックス信号５０１及び付加情報信号５０２が第３信号処理装置に入力される。ミックス信号５０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。付加情報デコーディング部５０３は、付加情報信号５０２をデコーディングして付加情報５０４を生成する。付加情報５０４は、伝送されたオーディオ信号５０１に含まれたソース信号のゲインファクタ及びサブバンドパワーなどを含む。リミックスレンダリング部５０５には、ユーザが直接提供する制御情報を用いて生成されたユーザミックスパラメータ５０６を入力することができる。リミックスレンダリング部５０５は、ミックス信号５０１、伝送された付加情報５０４及びユーザミックスパラメータ５０６を用いてリミックス信号５０７を生成する。リミックス信号を生成する方法についての具体的な説明は、図６で後述する。リミックス信号５０７は、伝送されたミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルミックス信号として生成するか、または、ミックス信号のチャネル数より多いチャネル数を持つアップチャネルミックス信号として生成することができる。
【００７６】
図６は、ステレオ信号を用いる場合における、図５の第３信号処理装置を示す詳細ブロック図である。前述したように、伝送されたミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号６０１とする。
【００７７】
図６を参照すると、ステレオ信号６０１は、フィルタバンク６０３を通じて時間−周波数ドメインのサブバンド別信号６０４に分解される。図６に示すように、特定の周波数におけるサブバンド別信号６０４はｘ1（ｋ）及びｘ2（ｋ）で表現される。付加情報デコーディング部６０５は、伝送された付加情報信号６０２を復号化し、サブバンド別付加情報６０６を生成する。また、リミックスレンダリング部６０７に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ６０８を入力することができ、ユーザミックスパラメータ６０８はサブバンド別に提供することができる。前述したように、付加情報６０６は、リミックスされるＭ個のソース信号に対するサブバンド別ゲインファクタ（ａi及びｂi）及びＥ｛ｓi2（ｋ）｝で表現されるサブバンドパワーを含む。
【００７８】
【数１４】
2010505143.tif 000016
【００７９】
リミックスレンダリング部６０７で生成されたリミックス信号６０９を生成する方法は、次の通りである。
【００８０】
【数１５】
2010505143.tif 000017
【００８１】
【数１６】
2010505143.tif 000018
【００８２】
サブバンド別リミックス信号６０９は、式１０のように表現することができる。
【００８３】
【数１７】
2010505143.tif 000019
【００８４】
リミックス信号６０９を生成するために、最小二乗推定法を用いることができる。サブバンド別ミックス信号６０４ｘ1（ｋ）及びｘ2（ｋ）が与えられると、式１１のように、互いに異なるゲインを持つサブバンド別リミックス信号６０９がサブバンド別ミックス信号６０４の線形結合として推定することができる。
【００８５】
【数１８】
2010505143.tif 000020
【００８６】
ここで、ｗ11（ｋ），ｗ12（ｋ），ｗ21（ｋ）及びｗ22（ｋ）は、重み係数である。このとき、生成される推定誤差は、式１２のように定義することができる。
【００８７】
【数１９】
2010505143.tif 000021
【００８８】
重み係数ｗ11（ｋ），ｗ12（ｋ），ｗ21（ｋ）及びｗ22（ｋ）は平均自乗誤差Ｅ｛ｅ12（ｋ）｝及びＥ｛ｅ22（ｋ）｝が最小となるようにサブバンド別に生成することができる。このとき、推定誤差ｅ1（ｋ）及びｅ2（ｋ）がｘ1（ｋ）及びｘ2（ｋ）に直交する時に、平均自乗誤差が最小となることを利用することができる。生成されるｗ11（ｋ）及びｗ12（ｋ）は、式１３のように表現することができる。
【００８９】
【数２０】
2010505143.tif 000022
【００９０】
ここで、Ｅ｛ｘ12｝、Ｅ｛ｘ22｝及びＥ｛ｘ1ｘ2｝は、直接生成することができるが、Ｅ｛ｘ1ｙ1｝及びＥ｛ｘ2ｙ1｝は、伝送された付加情報６０６（例えば、Ｅ｛ｓi2｝、ａi、ｂi）及びユーザが提供する制御情報６０８（例えば、ゲインファクタｃi及びｄi）を用いて、式１４のように生成することができる。
【００９１】
【数２１】
2010505143.tif 000023
【００９２】
同様に、ｗ21及びｗ22を式１５のように生成することができる。
【００９３】
【数２２】
2010505143.tif 000024
【００９４】
ここで、Ｅ｛ｘ1ｙ2｝及びＥ｛ｘ2ｙ2｝は、式１６のように表現することができる。
【００９５】
【数２３】
2010505143.tif 000025
【００９６】
ミックス信号６０４の位相が互いに同期しているか、ほとんど同期している場合、式１７で表現される値が１に近づく。
【００９７】
【数２４】
2010505143.tif 000026
【００９８】
この時、加重値は、式１８のように表現することができる。
【００９９】
【数２５】
2010505143.tif 000027
【０１００】
このように生成されたサブバンド別リミックス信号６０９は、前述したように、逆フィルタバンク６１０を通じて時間−ドメインのリミックス信号６１１に変換される。リミックス信号６１１は、ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータｃi及びｄiを用いてそれぞれのソース信号を独立的にリミックスして生成されたリミックス信号と略同様に聞こえる。
【０１０１】
以上では２チャネルステレオ信号のリミキシングに焦点を当てた。しかし、前述したように、本発明は、ステレオ信号に限定されず、マルチチャネルオーディオ信号、例えば５．１チャネルオーディオ信号をリミキシングすることにまで拡張可能である。当業者は、本明細書で記述されたステレオ信号と略同様にしてマルチチャネルオーディオ信号をリミキシングすることができる。この場合に、上記の式１１は式１９のように書き直すことができる。
【０１０２】
【数２６】
2010505143.tif 000028
【０１０３】
選択的に、ミックス信号のチャネルのうちの特定のチャネルはリミックスせずにそのまま残すようにすることができる。例えば、５．１サラウンドチャネルに対して、２つの後方チャネルは修正せずに、前方チャネルにのみリミキシングを適用するようにすることができる。この場合に、２または３チャネルリミキシングアルゴリズムが前方チャネルに適用される。
【０１０４】
図７は、本発明の一実施例による第４信号処理装置のブロック図である。第４信号処理装置は、付加情報デコーディング部７０３、付加情報統合部７０５及びリミックスレンダリング部７０７を含む。
【０１０５】
図７を参照すると、ソース信号の和信号７０１及び付加情報信号７０２が第４信号処理装置に入力される。付加情報デコーディング部７０３は、付加情報信号７０２をデコーディングして付加情報７０４を生成する。付加情報７０４は、ゲインファクタ、ディレー定数及びサブバンドパワーなどを含む。付加情報統合部７０５は、付加情報７０４を用いて、和信号７０１を複数のソース信号７０６に分離する。リミックスレンダリング部７０７は、ソース信号７０６を用いてリミックス信号７０９を生成する。この時、リミックスレンダリング部７０７は、付加情報として伝送されたミックスパラメータを用いてリミックス信号７０９を生成できる。また、リミックスレンダリング部７０７は、選択的に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ７０８を用いてリミックス信号７０９を生成することができる。
【０１０６】
図８は、通常のエンコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。ミックス信号８０１は、通常のエンコーディング装置８０３により符号化され、符号化されたミックス信号８０５に変換することができる。ミックス信号８０１は、チャネル別信号またはソース信号になりうる。通常のエンコーディング装置８０３は、ＡＡＣ、ＭＰ３エンコーダなどのような従来のエンコーディング装置だけでなく、今後開発されるエンコーディング装置を含む。本発明によるリミックス信号エンコーディング装置８０４は、ミックス信号８０１及びミックス信号に含まれるソース信号８０２を用いて付加情報信号８０６を生成する。多重化部８０７は、符号化されたミックス信号８０５及び付加情報信号８０６を用いてビットストリーム８０８を生成する。前述したように、付加情報信号８０６は従来の装置と互換性を持つように、従来のミックス信号フォーマット内の補助データ領域に挿入することができる。
【０１０７】
図９は、通常のデコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。逆多重化部９０２は、伝送されたビットストリーム９０１から符号化されたミックス信号９０３及び付加情報信号９０４を分離する。その後、通常のデコーディング装置９０５は、符号化されたミックス信号９０３をデコーディングし、本発明によるリミックス信号デコーディング装置９０７で用いられうるようなミックス信号９０６を生成する。通常のデコーディング装置９０５は、ＡＡＣ、ＭＰ３デコーダなどのような従来のデコーディング装置だけでなく、今後開発されるデコーディング装置を含む。ミックス信号９０６は、チャネル別信号またはソース信号になりうる。本発明によるリミックス信号デコーディング装置９０７は、付加情報信号９０４及びユーザミックスパラメータ９０８のうち少なくとも１つを用いてミックス信号９０６をリミックス信号９０９に変換できる。
【０１０８】
図１０は、本発明の一実施例による第５信号処理装置のブロック図である。図１０を参照すると、第５信号処理装置は、ミックス信号デコーディング部１００１、パラメータ生成部１００２、及びリミックスレンダリング部１００８を含む。選択的に、エフェクタ１０１１を含むことができる。パラメータ生成部１００２は、ブラインドミックスパラメータ生成部１００３、ユーザミックスパラメータ生成部１００４、及びリミックスパラメータ生成部１００５を含むことができる。リミックスパラメータ生成部１００５は、Ｅｑミックスパラメータ生成部１００６を含み、選択的にアップミックスパラメータ生成部１００７を含むことができる。また、リミックスレンダリング部１００８はＥｑミックスレンダリング部１００９を含み、選択的にアップミックスレンダリング部１０１０を含むことができる。
ミックス信号デコーディング部１００１は、エンコーディング端から伝送された符号化されたミックス信号をデコーディングしてミックス信号を生成する。パラメータ生成部１００２は、エンコーディング端から伝送された付加情報及びユーザ制御情報（または、構成情報）を受信する。ユーザ制御情報はエンコーダ端から伝送されずに、デコーダ端で生成されても良い。ユーザミックスパラメータ生成部１００４は、ユーザ制御情報を用いてユーザミックスパラメータを生成する。エンコーダ端から伝送された付加情報にはエンコーダミックスパラメータを含むことができる。また、ブラインドミックスパラメータ生成部１００３は、ミックス信号を用いてブラインドミックスパラメータを生成することができる。エンコーダミックスパラメータとブラインドミックスパラメータは択一的にリミックスパラメータ生成部１００５に入力される。
【０１０９】
リミックスパラメータ生成部１００５は、付加情報及びユーザミックスパラメータを用いてリミックスパラメータを生成する。このリミックスパラメータはリミックス信号のチャネルに適用されうるように生成することができる。リミックスパラメータ生成部１００５に含まれるＥｑミックスパラメータ生成部１００６は、ミックス信号のチャネル数と同じチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成し、リミックスパラメータ生成部１００５に含まれうるアップミックスパラメータ生成部１００７は、ミックス信号のチャネル数よりも多いチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成する。リミックスパラメータはリミックスレンダリング部１００８に入力される。
【０１１０】
リミックスレンダリング部１００８に含まれるＥｑミックスレンダリング部１００９は、リミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルリミックス信号を生成する。リミックスレンダリング部１００８に含まれうるアップミックスレンダリング部１０１０は、アップミックスパラメータ生成部１００７で生成されたリミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルリミックス信号を生成する。アップミックスレンダリング部１０１０は、Ｅｑチャネルレンダリング部１００９で生成されたリミックス信号を用いてアップチャネルリミックス信号を生成しても良い。
【０１１１】
したがって、第５信号処理装置は、エンコーディング端から伝送されたミックス信号をそのまま出力したり、Ｅｑチャネルリミックス信号として出力したり、または、アップチャネルリミックス信号として出力することができる。選択的に、リミックスレンダリング部はエフェクタ１０１１から提供される情報を用いて、リミックス信号に多様な効果を与えることができる。
【０１１２】
図１１は、本発明の一実施例によるミックス信号ビットストリーム及び付加情報ビットストリームのデータ構造を示す図である。図１１を参照すると、データ構造は、ミックス信号ビットストリーム１１０１及び付加情報ビットストリーム１１０２を含む。付加情報ビットストリーム１１０２は、ヘッダ領域１１０３及びデータ領域１１０４を含む。前述したように、本発明による信号処理装置は、図１１に示すデータ構造を持つビットストリームを受信する。信号処理装置は、ミックス信号ビットストリーム１１０１をデコーディングして１つ以上のソース信号を含むミックス信号を獲得し、付加情報ビットストリーム１１０２をデコーディングして付加情報を獲得する。
【０１１３】
付加情報は、ソース信号のうちリミックスされるソース信号とミックス信号との関係を表す情報を含む。例えば、付加情報は、レベル情報、時間遅延情報、相互相関情報、ミックス情報などを含む。
【０１１４】
ここで、レベル情報は、リミックスされるソース信号のレベルを含むことができ、リミックスされるソース信号同士の相対的なレベルや、リミックスされるソース信号とミックス信号間の相対的なレベルを含むことができる。また、ミックス信号のレベルを別に付加情報に含めることができる。
【０１１５】
時間遅延情報は、リミックスされるソース信号同士の時間遅延情報、または、リミックスされるソース信号とミックス信号間の時間遅延情報を含むことができる。相互相関情報は、リミックスされるソース信号同士の相互相関情報、または、リミックスされるソース信号とミックス信号間の相互相関情報、ミックス信号同士の相互相関情報を含むことができる。
【０１１６】
ミックス情報は、特定ソースがミックス信号にミックスされる程度を表す情報で、例えば、特定ソースが右側に位置する効果が現れるようにミックスしたい場合、左側チャネルよりも右側チャネルにより大きい大きさで含まれるようにミックスを行なうことができる。このようにミックス情報は、各ソースが各チャネルにミックスされる程度を表すことができる。ミックス情報は、大きさの他に、ミックスに関連した時間遅延、相関関係などの情報を含むことが可能である。
【０１１７】
本発明による信号処理装置は、付加情報ビットストリーム１１０２からミックスパラメータを獲得できる。ミックスパラメータは、ユーザが提供する制御情報を用いて生成される。このミックスパラメータは、エンコーディング装置で生成するか、または、デコーディング装置で生成することができる。デコーディング装置で生成される場合に、デコーディング装置はユーザから制御情報を受信し、該制御情報を用いてミックスパラメータを生成する。本発明による信号処理装置は、上記のミックス信号、付加情報及びミックスパラメータを用いてリミックス信号を生成する。次に、付加情報ビットストリームに含まれる情報について説明する。
【０１１８】
図１２は、図１０に示す付加情報ビットストリームの詳細データ構造である。図１２を参照すると、ヘッダ領域１２０１はヘッダ１ １２０３を含み、データ領域１２０２は複数のフレームデータ１２０４及び複数のヘッダ２ １２０５を含む。ヘッダ１ １２０３には、ミックス信号に含まれるソース信号の名前、ソース信号の特性、及び再生方法などのようなハイレベル情報を含む。
【０１１９】
また、ヘッダ１ １２０３は、ソース信号のゲイン、ソース信号の数、サブバンド数などを含むことができる。また、ヘッダ１ １２０３は、選択的にソース信号の再生方法／構成方法を含むことができる。例えば、選択的にあらかじめ定められたユーザミックスパラメータを含めて上記再生方法／構成方法を規定できる。
【０１２０】
また、ヘッダ１ １２０３は、選択的にゲイン及びパニングに対するリミキシング範囲を含むことができる。本発明による信号処理装置で、ミックス信号、付加情報、及びユーザミックスパラメータを用いてリミックス信号を生成する。この時、適当な程度の制御、例えば、特定のソース信号のエネルギーを＋２０ｄＢ〜−２０ｄＢ程度調節したりすることは、再生品質に大きな影響を与えない。しかし、特定ソース信号のエネルギーを完全に抑圧するか、または、過度に大きく変形する場合には、再生品質の低下につながりうる。したがって、本発明による信号処理装置で調整可能な最大のゲイン、減衰レベルを設定し、再生品質を保障できる方法を提案する。例えば、減衰は最大−４０ｄＢまで可能にする等の方法を用いることができる。この場合に、ユーザが−８０ｄＢまで減衰するように調節する場合、実際デコーディング装置はこれをそのまま行なわずに、−４０ｄＢまでの減衰を行なうように動作する。この時、ユーザに指示した減衰を行わずに、あらかじめ定められたレベルまで減衰が行なわれていることを知らせることができる。
【０１２１】
フレームデータ１２０４は、各サブバンド内に正規化されたソースパワーを含んでもよい。また、フレームデータ１２０４は、各フレームに含まれるデータタイプに関する情報を含んでもよい。例えば、１番目のデータタイプである場合、フレームデータ１２０４は最小の情報を含む。例えば、付加情報と関連したソースパワーのみを含んでもよい。２番目のデータタイプである場合、フレームデータ１２０４は追加的にアップデートされるゲインを含む。これは、時間によって変わるミキシングゲインを用いてリミックス信号を生成する場合に有用である。３番目及び４番目のデータタイプである場合、フレームデータ１２０４は、将来の使用のために保存領域に割り当てることができる。万一、ビットストリームが放送用に用いられる場合に、保存領域は、放送信号のチューニングを合わせるために必要な情報（例えば、サンプリング周波数、サブバンド数等）を含んでもよい。
【０１２２】
図１３は、本発明の一実施例による第６信号処理装置のブロック図である。第６信号処理装置は、付加情報生成部１３０３、付加情報エンコーディング部１３０５及び埋め込み部１３０７を含む。
【０１２３】
図１３を参照すると、ミックス信号１３０１及びソース信号１３０２が第６信号処理装置に入力される。前述したように、ミックス信号１３０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。本明細書では便宜上、ステレオ信号として説明するが、本発明がこれに限定されることはない。付加情報生成部１３０３は、ミックス信号１３０１及びソース信号１３０２を用いて付加情報１３０４を生成する。付加情報１３０４は、ミックス信号に含まれたソース信号がミックス信号チャネルにミックスされる程度を表すミックス情報、ミックス信号に含まれたソース信号同士の時間遅延情報またはソース信号とミックス信号チャネル間の時間遅延情報、及び、ミックス信号に含まれたソース信号同士の相互相関情報またはソース信号とミックス信号チャネル間の相互相関情報を含む。
【０１２４】
付加情報エンコーディング部１３０５は、付加情報１３０４を用いて、伝送及び記憶のための付加情報信号１３０６を生成する。埋め込み部１３０７は、付加情報信号１３０６をミックス信号１３０１に埋め込む。この時、“デジタル信号埋め込み技法”を用いることができる。“デジタル信号埋め込み技法”を用いると、ＰＣＭ型のミックス信号１３０１に音質歪み無しで付加情報を埋め込むことができる。
【０１２５】
【数２７】
2010505143.tif 000029
【０１２６】
“デジタル信号埋め込み技法”には、ビット置換符号化方法、反響挿入方法、帯域拡散通信法などがある。ビット置換符号化方法は、量子化されたミックス信号サンプルの最下位ビットを変形して所望の情報を挿入する方法で、最下位ビットの変形はミックス信号の品質にほとんど影響を与えないという特性に着目した方法である。反響挿入方法は、人の耳に聞こえない程度の小さな大きさの反響をミックス信号に挿入する方法である。帯域拡散通信法は、離散コサイン変換、離散フーリエ変換等を通じてミックス信号を周波数領域に変換した後に、二進数にした所望の情報をＰＮ（Pseudo Noise）シーケンスに帯域拡散し、周波数領域に変換されたミックス信号に追加する方法である。本発明では、上記埋め込み方法の中でもビット置換符号化方法を中心にして記述するが、本発明がビット置換符号化方法に限定されるわけではない。
【０１２７】
図１４は、図１３に示す第６信号処理装置を構成する埋め込み部の詳細ブロック図である。埋め込み部１３０７は、バッファ１４０３、マスキング限界値計算部１４０５、ビットストリーム再構成部１４０７及びミックス信号エンコーディング部１４０９を含む。上記ビット置換符号化方法によって付加情報をミックス信号成分の非知覚領域に埋め込むことができる。この時、非知覚領域の大きさ（以下、Ｋ値という。）は、最下位１ビットのみを使用するのではなく、あらかじめ定められた方法によって特定領域のＫ（Ｋ＞０）ビットを使用することができる。例えば、あらかじめ定められた方法とは、心理音響モデルによるマスキング限界値を求め、このマスキング限界値によって適当なビットを割り当てることをいう。
【０１２８】
図１４を参照すると、ミックス信号１４０１は、バッファ１４０３を介してミックス信号エンコーディング部１４０９に入力される。マスキング限界値計算部１４０５は、入力されたミックス信号１４０１の特性に関する情報１４０４を用いて、一定の区間（例えば、ブロック）別にマスキング限界値を求める。また、マスキング限界値計算部１４０５は、マスキング限界値を用いて、聴覚的な歪みを発生させずに変更できるＫ値を求める。すなわち、付加情報１４０２をミックス信号１４０１に埋め込むのに使用できるビット数をブロック別に割り当てる。本明細書で、ブロックとは、フレーム中に存在する１つのＫ値を用いて挿入されたデータ単位のことをいう。１つのフレームには１つ以上の複数のブロックが存在でき、したがって、フレームの長さ固定の場合、ブロックの長さは、ブロックの個数が増加するにつれて減少する。
【０１２９】
ビットストリーム再構成部１４０７は、Ｋ値を含むように付加情報を再構成することができる。この時、再構成された付加情報には、シンクワード、エラー検出コードまたはエラー訂正コードなどが含まれる。ミックス信号エンコーディング部１４０９は、再構成された付加情報１４０８をミックス信号１４０１に埋め込み、付加情報の埋め込まれたミックス信号１４１０を出力する。前述したように、再構成された付加情報１４０８は、上記ミックス信号のＫビット内に埋め込まれる。Ｋ値は再構成された付加情報１４０８に挿入されてデコーディング装置に伝送され、デコーディング装置では該Ｋ値を用いてミックス信号から付加情報を抽出することができる。
【０１３０】
付加情報がブロック別にミックス信号に埋め込まれる過程には多様な方法が用いられる。第１の方法は、単に、ミックス信号の下位Ｋビットのみを０に置換した後、付加情報を加える方法である。例えば、Ｋ値が３で、ミックス信号の１サンプルデータが１１１０１１０１で、埋め込むべき付加情報データが１１１である場合、１１１０１１０１の下位３ビットを０に替えて１１１０１０００にした後、付加情報データ１１１を加算して１１１０１１１１とする。
【０１３１】
第２の方法は、ディザリング方法を用いるもので、まず、付加情報データをミックス信号の下位Ｋビットから減算した後に、該ミックス信号をＫ値に基づいて再量子化し、再量子化したミックス信号に対して付加情報データを加算する方法である。例えば、Ｋ値が３で、ミックス信号の１サンプルデータが１１１０１１０１で、埋め込むべき付加情報データが１１１である場合、この１１１０１１０１から１１１を引いて１１１００１１０にし、下位３ビット以上に対して再量子化して１１１０１０００（四捨五入を適用）にし、その後に１１１を加算して１１１０１１１１にする。
【０１３２】
ミックス信号に埋め込まれる付加情報は、任意のビットストリームであるために白色雑音的な特性を持つことができないという可能性もある。ミックス信号に白色雑音形態の信号が加えられるのが音質特性の上で有利なため、付加情報を白色化する過程を行なった後にミックス信号に加えることができる。白色化は、シンクワードを除外した付加情報信号に適用することができる。本発明でいう白色化とは、ミックス信号の音量が全ての周波数領域で同一または類似な大きさを持つランダムな信号とすることを指す。また、付加情報をミックス信号に埋め込む過程に、付加情報にノイズシェービング技法を適用して聴覚的歪みを最小化できる。本発明でいうノイズシェービングとは、量子化過程で生成される量子化ノイズのエネルギーが可聴周波数帯域以上の高周波数帯域に移動するようにノイズ特性を変形させるか、該当のミックス信号からマスキング限界値を求め、該マスキング限界値に対応する時変フィルタを生成し、このフィルタによって量子化過程で発生するノイズの特性を変形させる過程のことを指す。
【０１３３】
図１５には、本発明の一実施例による付加情報を埋め込む方法を示す。付加情報は、様々な方式でミックス信号に埋め込むことができ、図１５は、サンプルプレーン順に付加情報を埋め込む方式に該当する。この埋め込み方法は、Ｋビット単位で該当のブロックに対する付加情報を分散して埋め込む。図示の如く、Ｋ値が４で、１ブロック１５０５がＮ個のサンプル１５０４で構成された場合、付加情報は、各サンプルの下位４ビットに埋め込むことができる。前述の如く、本発明は、各サンプルの下位４ビットにのみ付加情報を埋め込むことに限定されるわけではない。そして、各サンプルの下位Ｋビット内で、付加情報は、図１５に示すように上位ビットから埋め込むか（ＭＳＢ（Most Significant Bit） first）、または、下位ビットから埋め込む（ＬＳＢ（Least Significant Bit） first）ことができる。
【０１３４】
同図で、矢印１５０３は埋め込まれる方向を表し、括弧中の数字はデータ整列順序を表す。付加情報が埋め込まれる領域で埋め込み可能なビット数よりも埋め込むべき付加情報のビット数が小さい場合には、残っているビットを０で埋めたり（１５０６）、ランダム信号を入れたり、または、元のミックス信号に替えることができる。例えば、ブロックを構成するサンプル数Ｎが１００で、Ｋ値が４の場合、該ブロックに埋め込み可能なビット数Ｗは、Ｗ＝Ｎ＊Ｋ＝１００＊４＝４００ビットとなる。埋め込むべき付加情報のビット数Ｖが３９０ビットである場合（すなわち、Ｖ＜Ｗである場合）、残りの１０ビットは０で埋めたり、ランダム信号を入れたり、元のミックス信号に替えたり、データの終わりを知らせる末端ビット列で埋めたり、または、これらを組み合わせて埋めることができる。末端ビット列とは、該当のブロックにおいて付加情報の終わりを知らせるビット列のことをいう。たとえ、図１５はブロック別に残っているビットを埋めるとしたが、本発明は、挿入フレーム別に残っているビットを上記のような方法で埋めても良い。
【０１３５】
図１６は、本発明の一実施例による付加情報を再構成したデータ構造を示す。前述の如く、付加情報は、ビットストリーム再構成部でシンクワード１６０３とＫ値１６０４を含むように再構成することができる。また、再構成過程で、付加情報信号が伝送または記憶過程で損傷したか否かを判断できる少なくとも１つのエラー検出コードまたはエラー訂正コード１６０６，１６０８（以下、‘エラー訂正コード’と総称する。）を、再構成された付加情報信号に含むことができる。エラー訂正コードはＣＲＣ（Cyclic Redundancy Check）を含む。エラー訂正コードは、２段階に分けて含むことができるが、Ｋ値の含まれたヘッダ１６０１に対するエラー訂正コード１ １６０６と付加情報データ１６０７に対するエラー訂正コード２ １６０８を含むことができる。その他、其の他情報１６０５が単独で付加情報信号に含まれうる。其の他情報１６０５には付加情報の埋め込み方法に対する識別情報などを含むことができる。
【０１３６】
図１７は、本発明の一実施例による埋め込まれた付加情報を用いてオーディオ信号をデコーディングする第７信号処理装置のブロック図である。第７信号処理装置は、埋め込み信号デコーディング部１７０２、付加情報デコーディング部１７０４及びリミキシング部１７０６を含む。
【０１３７】
図１７を参照すると、埋め込み信号デコーディング部１７０２は、ミックス信号１７０１から付加情報信号１７０３を検出できる。付加情報デコーディング部１７０４は付加情報信号を復号化し、付加情報１７０５を生成する。リミックスレンダリング部１７０６は、付加情報１７０５及びミックス信号１７０１を用いて、リミックス信号１７０８を生成する。この時、リミックスレンダリング部１７０６は、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ１７０７を利用できる。
【０１３８】
図１８は、元信号を保存しながら付加情報を埋め込む本発明の一実施例による第８信号処理装置を構成する埋め込み部の詳細ブロック図である。第８信号処理装置は、図１３に示す第６信号処理装置と略同様であり、同一部分についての詳細な説明は省略する。第６信号処理装置との差異点は、エンコーディング装置を構成する埋め込み部が異なるように構成されているという点である。
【０１３９】
図１８を参照すると、ミックス信号１８０１は、バッファ１８０３を介してミックス信号エンコーディング部１８０９に入力される。マスキング限界値計算部１８０５は、ミックス信号１８０１の特性に関する情報１８０４を用いてマスキング限界値を計算し、マスキング限界値を用いてＫ値１８０６を求める。ビットストリーム再構成部１８０７は、付加情報信号１８０２が埋め込まれる領域のミックス信号データ１８１１を除去せずに、ミックス信号データ１８１１と付加情報信号１８０２とを結合するように再構成する。再構成方法については図１９でより詳細に説明される。ミックス信号エンコーディング部１８０９は、再構成された信号１８０８をミックス信号１８０１に埋め込むことができる。
【０１４０】
図１９は、本発明の一実施例による元信号を保存しながら付加情報を埋め込む方法を示す図である。説明の便宜上、ミックス信号の１チャネル１９０１を構成する１つのブロックに付加情報を挿入するとして説明する。図１９を参照すると、ミックス信号１９０１の成分は、付加情報が埋め込まれない領域１９０２と埋め込まれる領域１９０３とに分けられる。埋め込まれる領域１９０３のミックス信号は、無損失符号化１９０４過程を経る。その後、無損失符号化されたミックス信号及び付加情報信号１９０５は結合及びエンコーディングされ、結合信号１９０７を形成する。その後、結合信号１９０７はミックス信号に埋め込まれ、結合信号の埋め込まれたミックス信号１９０８を生成する。
【０１４１】
こうすることによって、デコーディング装置では、必要な場合、結合信号１９０７を用いて、元のミックス信号１９０１を完璧に復元できる。上記方法が可能な理由は、埋め込むべき付加情報信号のデータ量が埋め込み可能なデータ量よりも実際に小さく、よって、無損失符号化されたミックス信号を挿入する空間を確保できるためである。単純に付加情報信号を埋め込む方法は、知覚的に埋め込まれた信号と元の信号が同一であることから歪みは生じないが、完全に同一な信号ではないため、完全な元の信号の復元が必要な場合、上記方法を用いることができる。
【０１４２】
図２０は、元信号を完全に復元する本発明の一実施例による第８信号処理装置のブロック図である。第８信号処理装置は、埋め込み信号デコーディング部２００２、無損失デコーディング部２００４及びリプレーシング部２００６を含む。
【０１４３】
図２０を参照すると、埋め込み信号デコーディング部２００２は、結合信号が埋め込まれたミックス信号２００１から、結合信号２００３を抽出する。無損失デコーディング部２００４は、結合信号２００３を用いて結合信号の埋め込まれた領域に対応するミックス信号２００５を復元する。リプレーシング部２００６は、復元されたミックス信号２００５を用いて元の信号２００７を生成する。
【０１４４】
【数２８】
2010505143.tif 000030
【０１４５】
図２１は、本発明の一実施例による２チャネルのミックス信号に付加情報を埋め込む第１の方法を示す。この第１の方法は、各チャネルのフレームが複数のブロック（長さＢ）で構成された場合に、付加情報を少なくとも１チャネルを持つミックス信号に挿入する方法に関する。図示の如く、Ｋ値は、各チャネル別及びブロック別にそれぞれ異なる値を有するか、または、同一値を有することができる。Ｋ1、Ｋ2、Ｋ3及びＫ4値は、フレーム全体に対して１回伝送されるフレームヘッダ内に記憶することができ、該フレームヘッダはＬＳＢに位置することができる。この場合に、ヘッダはビットプレーン単位で挿入することができ、付加情報データはサンプル単位で交互に挿入するか、または、ブロック単位で交互に挿入することができる。図２１は、フレーム内のブロック個数が２の場合を示し、したがって、ブロックの大きさＢはＮ／２となる。この場合に、フレームに挿入されたビット数は（Ｋ1＋Ｋ2＋Ｋ3＋Ｋ4）＊Ｂとなる。
【０１４６】
図２２は、本発明の一実施例による２チャネルのミックス信号に付加情報を埋め込む第２の方法を示す。第２の方法は、付加情報を２チャネルに分けて埋め込むもので、その順序をＬＳＢ（またはＭＳＢ）からビットプレーン順に２チャネルに交互に挿入する方法と、サンプル単位で交互に挿入する方法とを混合したものである。この方法は、フレーム単位とするか、または、図示のようにブロック単位とすることができる。図２２に示すように、１乃至Ｃ（ハッチング部分）はヘッダに対応する部分で、挿入フレームシンクワードの探索を容易にするためにＬＳＢまたはＭＳＢにビットプレーン順に挿入することができる。Ｃ＋１以上（非ハッチング部分）はヘッダ以外の部分で、付加情報データを読み取りやすくするようにサンプル単位で２チャネルに交互に挿入することができる。Ｋ値は、各チャネル及びブロック別に異なる値を持つか、または、同一の値を持つことができる。
【０１４７】
図２３は、本発明の一実施例による埋め込まれた付加情報を除去する第９信号処理装置を示すブロック図である。コンテンツに対する著作権保護などの目的で、付加情報が挿入されているミックス信号から付加情報のみを除去したり変形させたりして、それ以上リミックスのための付加情報が残らないようにする方法である。
【０１４８】
図２３を参照すると、分析部２３０２は、付加情報の埋め込まれたミックス信号２３０１を分析し、付加情報の埋め込まれた領域に関する情報などのような埋め込み情報２３０３を抽出する。除去部２３０４は、埋め込み情報２３０３を用いて、付加情報の埋め込まれたミックス信号２３０１から付加情報を除去し、付加情報の除去されたミックス信号２３０５を生成する。このとき、付加情報を除去するために様々な方法を用いることができる。その第一の方法は、分析部２３０２を通じてミックス信号から、埋め込まれた付加情報の存在の有無を確認し、埋め込まれたレベル値などを見出して除去範囲を確定する。その後、正確に付加情報の埋め込まれたビット列を除去する。第二の方法は、分析部２３０２を通じて音質に歪みを生じさせずに、埋め込み可能なランダムノイズのレベル値（Ｋ値に類似する）を見出し、それに該当するランダム信号を添加して挿入された付加情報を破壊するものである。第三の方法は、オールパスフィルタを用いて信号を変形させるものである。第四の方法は、最下位１ビットを任意のランダム信号に替えることによって、シンクワード情報を除去するものである。
【０１４９】
図２４は、本発明の一実施例による付加情報が埋め込まれたミックス信号のビットストリームを生成する第１０信号処理装置のブロック図である。図２４を参照すると、エンコーディング装置は、付加情報抽出部２４０１、ミックス信号エンコーディング部２４０２、及び多重化部２４０３を含む。付加情報の埋め込まれたミックス信号をエンコーディング（例えば、ＡＡＣ（Advanced Audio Coding）エンコーディング）しなければならない場合が発生しうる。この時、一般的なＡＡＣエンコーディングをする場合に、埋め込まれた情報の強じん性が非常に欠けるため、エンコーディングする過程で完全に消滅することがある。しかし、エンコーディングされる前に付加情報の埋め込まれたミックス信号から付加情報を抽出した後にミックス信号を圧縮符号化すると、圧縮されたミックス信号と一緒に付加情報を伝送することができる。このような方法を下記に詳細に説明する。
【０１５０】
まず、付加情報抽出部２４０１は、付加情報の埋め込まれたミックス信号から付加情報を抽出する。付加情報の抽出方法は、図１で説明した方法とすれば良い。その後、ミックス信号エンコーディング部２４０２は、付加情報の抽出されたミックス信号を圧縮符号化し、多重化部２４０３は、符号化されたミックス信号及び付加情報を多重化してビットストリームを生成する。付加情報が空間情報であれば、多重化されたビットストリームは空間情報を持つ圧縮されたビットストリームになり得る。例えば、AAC+MPEG サラウンド信号になり得る。
【０１５１】
この時、付加情報がＰＣＭ型のミックス信号と時間的に整列されて使われる信号であれば、符号化されるミックス信号のフレーム単位と付加情報の挿入される単位とが整列される必要がある。付加情報の抽出過程からわかるフレームシンク情報を用いてミックス信号のエンコーディング開始位置を合わせる過程が必要である。また、埋め込まれた情報のフレーム長情報を用いてミックス信号のフレーム長を決定することができる。該フレーム長情報を用いる方法については後述する。上記のような方法で生成された最終ビット列は、データレートが非常に低いながらも付加情報を持っているため、マルチチャネル信号を非常に低いビット率を持つ信号として生成し、記憶及び伝送に非常に便利に使用することができる。
【０１５２】
図２５は、図２４に示す第１０信号処理装置の詳細ブロック図である。図２５を参照すると、エンコーディング装置は、バッファリング部２５０５をさらに含むことができる。また、エンコーディング装置の構成要素である付加情報抽出部２５０１は、シンク情報抽出部２５０２、ヘッダ情報抽出部２５０３、及びペイロード抽出部２５０４を含む。
【０１５３】
まず、シンク情報抽出部２５０２は、付加情報の埋め込まれたミックス信号Ｌｏ’，Ｒｏ’から付加情報のシンク情報を抽出する。シンク情報が見つけられると、該当のシンク情報の最初のサンプルに対応する位置がフレームシンク値となり、このフレームシンク値をバッファリング部２５０５に伝達される。バッファリング部２５０５は、フレームシンク値を用いてフレームの開始位置を把握し、該当の位置からミックス信号フレーム長分のデータをバッファリングし、これをミックス信号エンコーディング部２５０６に伝達する。
【０１５４】
一方、ヘッダ情報抽出部２５０３は、シンク情報を抽出した後に存在する付加情報のヘッダ領域をデコーディングし、復号化に必要なヘッダ情報を抽出する。該ヘッダ情報は、付加情報に含まれるデータ情報に該当するペイロード情報を復号化するのに用いることができる。この時、ヘッダ領域から抽出された付加情報のフレーム長情報をバッファリング部２５０５またはミックス信号エンコーディング部２５０６に伝達できる。ミックス信号エンコーディング部２５０６は、フレーム長情報を用いてミックス信号のフレーム長を決定できる。
【０１５５】
ペイロード抽出部２５０４は、付加情報のうちシンク情報及びヘッダ情報を除外した実際のデータ情報を抽出する。ミックス信号エンコーディング部２５０６は、シンク情報及びフレーム長情報を用いてミックス信号を符号化する。その後、多重化部２５０７は、符号化されたミックス信号及び付加情報を用いてビットストリームを生成する。
【０１５６】
図２６は、本発明の一実施例によるミックス信号に付加情報を埋め込む第１１信号処理装置のブロック図である。図２６を参照すると、第１１信号処理装置は、逆多重化部２６０１、ミックス信号デコーディング部２６０２、及び埋め込み部２６０３を含む。
【０１５７】
逆多重化部２６０１は、ビットストリームを逆多重化し、符号化されたミックス信号及び該ミックス信号に埋め込む付加情報を抽出する。その後、ミックス信号デコーディング部２６０２は、符号化されたミックス信号を復号化し、復号化されたミックス信号Ｌd及びＲdを出力する。埋め込み部２６０３は、復号化されたミックス信号に付加情報を埋め込み、付加情報の埋め込まれたミックス信号Ｌd’及びＲd’を生成する。ミックス信号は、ＣＤなどのＰＣＭ信号記憶媒体に記憶及び伝送することができる。
【０１５８】
図２７は、本発明の一実施例によるミックス信号を制御するための第１１信号処理装置のブロック図である。図２７を参照すると、第１１信号処理装置は、ミックス信号制御装置２７１０及びミックス信号処理装置２７２０を含む。ミックス信号制御装置２７１０は、ミックス信号処理装置２７２０と連係しており、制御部２７１１、メモリ２７１２、入力部２７１３、ディスプレイ２７１４、及び通信部２７１５を含む。ここで、ミックス信号処理装置２７２０は、図５に基づいて説明した第３信号処理装置と同様であり、その説明は省略する。
【０１５９】
メモリ２７１２は、ミックス信号の識別情報別ソース制御情報が記憶されている記憶装置である。この場合、ミックス信号の識別情報は、付加情報デコーディング部２７２３から受信したミックス信号の付加情報ｓｉであっても良く、ミックス信号２７２１それ自体であっても良い。一方、ソース制御情報は、ソース別チャネル別ゲインファクタを含むことができ、ここで、ゲインファクタは、図６と共に上述したゲインファクタ（ｃi及びｄi）６０８と同一なものとすれば良いが、本発明がこれに限定されるわけではない。また、ゲインファクタｃi及びｄiが時間によって変化する場合、時間インデックスｋを付けてｃi(ｋ)、ｄi(ｋ)（ｋは時間インデックス）で表記すると、上記の式１０は、下記の式２０のように書き直すことができる。
【０１６０】
【数２９】
2010505143.tif 000031
【０１６１】
一方、ソース制御情報は、特定区間におけるパニング効果に関する制御情報を含むことができ、例えば、２分２４秒から２分４２秒までの区間で人の音声信号が右側チャネルから左側チャネルに徐々に移動するようにすることがパニング効果である。この場合、始点情報（例：ｋs＝２分２４秒）、終点情報（例：ｋf＝２分４２秒）、始点におけるゲインファクタ（例：ｃi(ｋs)＝１、ｄi(ｋs)＝０）、終点におけるゲインファクタ（ｃi(ｋf)＝０、ｄi(ｋf)＝１）のみを含み、始点及び終点間におけるゲインファクタ（ｃi(ｋ)、ｄi(ｋ)、ここで、ｋs＜ｋ＜ｋf）は含まない。
【０１６２】
図２８は、本発明の一実施例によるパニング効果の場合、始点情報、終点情報、並びに始点及び終点におけるゲインファクタを説明するための図である。図２８を参照すると、ｋ＝ｋs（始点）及びｋ＝ｋf（終点）におけるゲインファクタｃi，ｄiが表示されており、始点及び終点間のゲインファクタはハッチング表示されている。始点及び終点におけるゲインファクタがソース制御情報としてメモリ２７１２に記憶されていると、それらの区間におけるゲインファクタ（ハッチング部分）は制御部２７１１により生成することができる。
【０１６３】
また、ソース制御情報は、特定区間におけるフェーディング効果に関する制御情報を含むことができ、例えば、１分２４秒から１分４２秒までの区間で女性の音声信号が徐々に高まるか、または、徐々に低くなるということがフェーディング効果である。この場合も、パニング効果の場合と同様に、始点情報（例：ｋs＝１分２４秒）、終点情報（例：ｋf＝１分４２秒）、始点におけるゲインファクタ（例：ｃi(ｋs)＝０、ｄi(ｋs)＝０）、終点におけるゲインファクタ（ｃi(ｋf)＝１、ｄi(ｋf)＝１）のみを含み、始点及び終点間におけるゲインファクタ（ｃi(ｋ)、ｄi(ｋ)、ここで、ｋs＜ｋ＜ｋf）は含まない。
【０１６４】
図２９は、本発明の一実施例によるフェーディング効果の場合、始点情報、終点情報並びに、始点及び終点におけるゲインファクタを説明するための図である。図２９の場合も、図２８の場合と同様に、始点及び終点区間におけるゲインファクタ（ハッチング部分）は、メモリ２７１２に記憶されていなくても制御部２７１１により生成することができる。
【０１６５】
制御部２７１１は、メディア信号の識別情報に基づいてミックス信号とマッチングするソース制御情報ｃiをメモリ２７１２から読み取り、これをミックス信号処理装置２７２０に出力する。好ましくは、ミックス信号とマッチングする制御情報ｃiが存在する場合、制御部２７１１はソース制御情報の目録を表示する。
【０１６６】
図３０及び３１は、本発明の一実施例によるソース制御情報の目録を表示した画面の例である。図３１は、ソース制御情報の目録にソース情報まで表示した画面である。以降、ユーザから入力部２７１３を通じて特定ソース制御情報に対する選択命令が入力されると、選択されたソース制御情報ｃiをメモリ２７１２から読み取ってミックス信号処理装置２７２０に出力する。もし、図３１に表示された画面を用いて１つのミックス信号に含まれているソース（例：ピアノ、バイオリン、女性ボーカル、フルート）の中から１つ（例：女性ボーカル）に対する選択命令が入力された場合、制御部２７１１は、選択されたソース（例：女性ボーカル）に該当するソース制御情報（例：ｃｉ＝[ｃ3(ｋ)、ｄ3(ｋ)]）のみを出力する。また、入力部を通じて選択されたソース制御情報に関して変更されたソース制御情報が入力される場合、制御部２７１１は、変更されたソース制御情報をメモリ２７１２に記憶する。
【０１６７】
一方、ミックス信号にマッチングするソース制御情報ｃiがメモリ２７１２に記憶されていない場合、制御部２７１１は、ソース制御情報を入力できる画面をディスプレイ２７１４を通じて出力した後、入力部２７１３を通じてソース制御情報が入力されると、ミックス信号の識別情報にマッチングさせ、メモリ２７１２に記憶する。
【０１６８】
入力部２７１３は、ソース制御情報、ソース制御情報変更命令、ソース制御情報選択命令などを入力するための入力装置である。
【０１６９】
ディスプレイ２７１４は、ソース制御情報入力画面、ソース制御情報の目録、ソース制御情報選択画面などが表示される表示装置である。
【０１７０】
通信部２７１５は、制御部２７１１の制御によって、ソース制御情報ｃiを第２リミックス制御装置（図示せず）に通信網を通じて送信するための構成要素で、ここで、ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むエンコーディングされたビット列でありうる。第２リミックス制御装置（図示せず）については図３４〜図３６に基づいて後述する。
【０１７１】
図３２は、本発明の一実施例によるミックス信号を制御するための第１２信号処理装置のブロック図である。図３２を参照すると、第１２信号処理装置は、ミックス信号制御装置３２１０及びミックス信号処理装置３２２０を含む。ミックス信号制御装置３２１０は、ミックス信号処理装置３２２０と連携しており、制御部３２１１、メモリ３２１２、入力部３２１３、及びディスプレイ３２１４を含む。ここで、ミックス信号処理装置３２２０は、図７に基づいて説明された第４信号処理装置と同一であり、その説明は省略する。
【０１７２】
一方、第１２信号処理装置に含まれる制御装置３２１０の制御部３２１１、メモリ３２１２、入力部３２１３、及びディスプレイ３２１４は、上記の第１１信号処理装置に含まれる制御装置２７１０における同一名称の構成要素とその機能が略同様なので、それぞれの構成要素についての説明は省略する。
【０１７３】
図３３は、本発明の一実施例によるミックス信号処理方法を示すフローチャートである。図３３を参照すると、まず、ユーザが多数のミックス信号のうちリミキシングしようとする特定のミックス信号を選択する（Ｓ３３０１段階）。すると、ミックス信号処理装置は、ミックス信号の付加情報をデコーディングする。ミックス信号制御装置は、ミックス信号の識別情報（ミックス信号またはミックス信号の付加情報）をミックス信号処理装置または外部装置から受信する（Ｓ３３０２段階）。その後、ミックス信号制御装置はＳ３３０２段階で受信したミックス信号の識別情報に基づいて、Ｓ３３０１段階で選択されたミックス信号にマッチングするソース制御情報が記憶されているか否かを照会する（Ｓ３３０３段階）。
【０１７４】
記憶されているソース制御情報が存在する場合（Ｓ３３０４段階の‘Ｙｅｓ’）、ソース制御情報の目録をディスプレイに表示する（Ｓ３３０５段階）。ソース制御情報の目録の例は、上述した図３０及び図３１と同様である。ユーザが特定ソース制御情報全体または一部ソースに対する選択命令を入力する（Ｓ３３０５段階）。例えば、図３０のような画面が表示された状態で、２番目のリミックス情報（“２．リミックス情報２”）をクリックするか、図３１のような画面が表示された状態で２番目のリミックス情報（“２．リミックス情報２”）の“ピアノ”のアイコンをクリックする。すると、ミックス信号処理装置は、Ｓ３３０５段階で選択されたソース制御情報全体または一部ソースを読み取ってミックス信号処理装置に出力する（Ｓ３３０６段階）。すると、ミックス信号処理装置は、Ｓ３３０６段階で出力されたソース制御情報を受信した後、そのソース制御情報によってミックス信号をリミキシングする（Ｓ３３０８段階）。もし、ユーザがソース制御情報の一部または全部を変更する場合（Ｓ３３０９段階）、変更された制御情報を記憶する（Ｓ３３１０段階）。
【０１７５】
記憶されているソース制御情報が存在しない場合（Ｓ３３０４の‘Ｎｏ’）、ユーザがソース制御情報の記憶を選択するか否か判断する（Ｓ３３１１段階）。もし、ユーザがソース制御情報の記憶を選択する場合（Ｓ３３１１段階の‘Ｙｅｓ’）、ミックス信号制御装置はソース制御情報入力画面を表示し、ユーザがソース制御情報を入力するとそのソース制御情報を受信する（Ｓ３３１２段階）。その後、ミックス信号制御装置は、Ｓ３３１２段階で受信したソース制御情報をミックス信号の識別情報にマッチングさせて記憶する（Ｓ３３１３段階）。
【０１７６】
図３４は、本発明の一実施例によるソース制御情報が生成されて用いられる過程を示す図である。図３４を参照すると、第１ミックス信号制御装置３４０１がソース制御情報ｃｉを、通信網を通じて制御情報提供サーバ３４０３に提供するか、第２ミックス信号制御装置３４０２に直接伝送する。ここで、第１ミックス信号制御装置３４０１は、上記の図２７または図３２に基づいて説明されたミックス信号制御装置２７１０，３２１０と同一のものでもよい。一方、ソース制御情報ｃｉを受信した第２ミックス信号制御装置３４０２は、ソース制御情報ｃｉを用いて該当のミックス信号をリミックスする。第２ミックス信号制御装置３４０２についての具体的な説明は、図３５に基づいて後述する。
【０１７７】
図３５は、本発明の一実施例によるミックス信号を制御するための第１３信号処理装置のブロック図であり、図３６は、本発明の一実施例によるミックス信号制御方法を示すフローチャートである。まず、図３５を参照すると、第１３信号処理装置は、第２ミックス信号制御装置３５１０及びミックス信号処理装置３５２０を含む。第２ミックス信号制御装置３５１０は、ミックス信号処理装置３５２０と連係しており、通信部３５１１、入力部３５１２、制御部３５１３、及びディスプレイ３５１４を含む。ここで、ミックス信号処理装置３５２０は、上記の図５に基づいて説明された第３信号処理装置と同様なので、その説明は省略する。
【０１７８】
通信部３５１１は、ミックス信号に該当する１つ以上のソース制御情報ｃｉを受信するための構成要素である。ここで、１つ以上のソース制御情報ｃｉはそれぞれビット列を構成しても良いが、１つのビット列に構成されても良い。また、ソース制御情報ｃｉは、エンコーディング装置で生成されたもの（ci(preset)）であっても良く、一般ユーザにより生成されたもの（ci(UCC)）であっても良い。入力部３５１２は、受信した１つ以上のソース制御情報ｃｉのうち１つが選択されるようにするための入力装置である。制御部３５１３は、入力部３５１２を通じて選択されたソース制御情報ｃｉをミックス信号処理装置３５２０に出力するようにする。ディスプレイ３５１４は、１つ以上のソース制御情報を表示するための表示装置である。
【０１７９】
図３６を参照すると、第２ミックス信号制御装置３５１０は、まず、ミックス信号に該当する１つ以上のソース制御情報を受信する（Ｓ３６０１段階）。すると、ソース制御情報のリストを表示する（Ｓ３６０２段階）。ユーザが、表示されたソース制御情報の中から１つを選択すると（Ｓ３６０３段階の‘Ｙｅｓ’）、選択されたソース制御情報をミックス信号処理装置３５２０に出力する（Ｓ３６０４段階）。
【０１８０】
図３７は、本発明の一実施例によるミックス信号を制御するための第１４信号処理装置のブロック図である。図３７を参照すると、本発明のさらに他の実施例によるミックス信号制御装置３７１０は、パラメータ生成部３７１３及びアップミックスレンダリング部３７１４を含む。
【０１８１】
パラメータ生成部３７１３は、付加情報３７１２、制御情報ｃｉを受信してアップミキシングパラメータＵＰＢＳを生成する。付加情報３７１２に代えてミックス信号３７１１を受信し、ミックス信号３７１１に基づいて付加情報３７１２を生成しても良い。一方、制御情報ｃｉは、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタｇ及び出力チャネル構成情報ｃｆを含む概念で、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタｇは、上記の図６に基づいて説明されたゲインファクタｃi及びｄi６０８と同一のものとなりうるが、本発明はこれに限定されるものではない。パラメータ生成部３７１３が生成するアップミキシングパラメータＵＰＢＳ（Upmix Parameter Bit Stream）はミックス信号３７１１のチャネル数よりも多いチャネル数にレンダリングしようとする場合、これに対応するパラメータである。アップミキシングパラメータは、他の装置に伝送されうるようにエンコーディングされたビット列で構成することができる。
【０１８２】
アップミックスレンダリング部３７１４は、アップミキシングパラメータＵＰＢＳ及びミックス信号３７１１を受信し、アップチャネルミックス信号ＵＣＭＳ（Up−channel Mix Signal）を出力する。ここで、アップチャネルミックス信号ＵＣＭＳは、ミックス信号３７１１のチャネル数よりも多いチャネル数を持つ。
【０１８３】
図３８は、本発明の一実施例によるミックス信号処理方法を示すフローチャートである。まず、ミックス信号に該当する付加情報を受信し（Ｓ３８０１段階）、ソース別ゲインファクタ、チャネル別ゲインファクタ及びサブバンド別ソース別ゲインファクタ及び出力チャネル構成情報を含む制御情報を受信する（Ｓ３８０２段階）。その後、Ｓ３８０１段階で受信した付加情報及びＳ３８０２段階で受信した制御情報を用いてアップミキシングパラメータを生成する（Ｓ３８０３段階）。その後、このアップミキシングパラメータ及びミックス信号を用いてリミキシングされたアップミックスミックス信号を生成する（Ｓ３８０４段階）。
【０１８４】
図３９は、本発明の一実施例による付加情報を生成する方法を示すフローチャートである。エンコーディング装置で付加情報を生成するためには別のソース信号が必要である。ところが、多くのミックス信号において、ミックス信号に含まれたソース信号が別に存在しない場合がある。このような場合に、ミックス信号に含まれたソース信号と類似する信号を用いて付加情報を生成できる。この付加情報は、ゲイン値、サブバンドパワーなどのようなパラメータを含む。
【０１８５】
図３９を参照すると、ミックス信号が入力されると（Ｓ３９０１）、該ミックス信号の別のソース信号が独立して存在するか否かを判断する（Ｓ３９０２）。別のソース信号が存在する場合に、当該ソース信号を用いて付加情報を生成する（Ｓ３９０４）。別のソース信号が存在しない場合は、ミックス信号に対するMIDIファイルが存在するか判断する（Ｓ３９０３）。MIDIファイルが存在する場合は、MIDIファイルを用いて付加情報を生成する（Ｓ３９０６）。例えば、MIDIファイルを用いて特定のソース信号（例えば、ピアノ音）を生成し、該特定のソース信号を用いて付加情報を生成できる。
【０１８６】
MIDIファイルが存在しない場合は、下記の方法を用いて付加情報を生成すれば良い。その第一の方法は、特定のソース信号と類似する音域帯を使用する楽器を用いて付加情報を生成するものである（Ｓ３９０５）。例えば、ボーカルの場合、ボーカルに似た音域帯を使用する楽器を用いて付加情報を生成することができる。第二の方法は、ミックス信号のうち、特定の空間を表す音成分を用いて付加情報を生成するものである（Ｓ３９０５）。例えば、ボーカルの場合、ミックス信号のうち、中央の空間を表す音成分を分析してボーカルと見なし、この音成分を用いて付加情報を生成できる。第三の方法は、第一の方法と第二の方法とを結合したものである。すなわち、特定のソース信号と類似する音域帯を使用する楽器を用いる他、ミックス信号のうち特定の空間を表す音成分を用いて付加情報を生成する（Ｓ３９０５）。その後、これらミックス信号及び付加情報を用いてミックス信号ファイルを生成することができる（Ｓ３９０７）。
【０１８７】
図４０は、本発明の一実施例による特定のソース信号を置き換える第１５信号処理装置を示すブロック図である。第１５信号処理装置は、リミックスレンダリング部４００２、制御部４００３、再生部４００４、ソース信号生成部４００５、メモリ４００８、レコーディング部４００９及び記録媒体４０１１を含むことができる。同図において、再生部４００４はスピーカとしたが、本発明はこの実施例に限定されることはない。
【０１８８】
図４０を参照すると、ミックス信号４００１がリミックスレンダリング部４００２に入力される。リミックスレンダリング部４００２は、付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号を生成する。ユーザミックスパラメータは、ユーザから獲得された制御情報を用いて生成される。例えば、ミックス信号に含まれた特定のソース信号（例えば、ボーカル信号）のゲインを下げ、または、黙音状態にすることでリミックス信号を生成できる。
【０１８９】
制御部４００３は、リミックス信号を、スピーカ４００４を通じて出力することができる。この時、リミックス信号を出力する過程で、新しいソース４００６を、ソース信号生成部４００５を通じて入力することができる。新しいソース４００６は、ユーザにより提供されるか、別の装置を用いて提供することができる。その後、ソース信号生成部４００５で生成されたソース信号はメモリ４００８に記憶することができる。レコーディング部４００９は、リミックス信号とメモリ４００８に記憶された新しいソース信号を用いて新しいリミックス信号４０１０を生成できる。例えば、ミックス信号に含まれたピアノ信号を黙音としてリミックス信号を生成し、このリミックス信号を出力する過程でユーザが直接演奏して生成されたピアノ信号を入力することで新しいリミックス信号を生成することができる。また、ユーザにより生成されたピアノ信号はメモリに記憶された後、当該リミックス信号と合成され、新しいリミックス信号を生成するのに用いることができる。新しいミックス信号４０１０は記録媒体４０１１に記憶され、外部に出力される（４０１２）。記録媒体４０１１は、本発明による信号処理処置に含まれてもよいし、または独立して存在してもよい。
【０１９０】
図４１は、本発明の一実施例による第１６信号処理装置のブロック図である。図４１を参照すると、第１６信号処理装置は、第１付加情報生成部４１０３、第１付加情報エンコーディング部４１０４、第２付加情報生成部４１０６及び第２付加情報エンコーディング部４１０７を含む。エンコーディング装置は、ミックス信号４１０１をデコーディング装置に伝送する。エンコーディング装置は、ミックス信号４１０１を直接デコーディング装置に伝送しても良いが、ミックス信号４１０１が複数である場合はミックス信号４１０１を１つまたは２つのダウンミックス信号にダウンミキシングして伝送しても良い。図示してはいないが、ミックス信号伝送効率のためにミックス信号４１０１は、量子化及び符号化されて伝送することができる。
【０１９１】
【数３０】
2010505143.tif 000032
【０１９２】
例えば、ミックス信号４１０１に含まれているソース信号４１０２はドラムとベース信号であり、ミックス信号４１０１に含まれていないソース信号４１０５はボーカル１、ボーカル２、ボーカル３及びピアノとバイオリン信号と仮定する。このとき、第１付加情報生成部４１０３は、ミックス信号４１０１及びミックス信号に含まれているドラム及びベース信号４１０２を用いてドラム及びベース信号を調節するための第１付加情報を生成する。以下、ミックス信号４１０１に含まれているソース信号４１０２に対する付加情報を第１付加情報とし、ミックス信号４１０１に含まれていないソース信号４１０５に対する付加情報を第２付加情報とする。
【０１９３】
第２付加情報生成部４１０６は、ボーカル１乃至３及びピアノとバイオリン信号を用いて第２付加情報を生成する。第２付加情報は、ミックス信号４１０１に含まれていないソース信号４１０５をソース信号別に調節するための情報である。第１付加情報及び第２付加情報は、ゲインファクタ、サブバンド別パワーやディレー定数などを含む。第１付加情報エンコーディング部４１０４は、第１付加情報生成部４１０３が生成した第１付加情報をエンコーディングしてデコーディング装置に伝送する。第２付加情報エンコーディング部４１０７は、第２付加情報生成部４１０６で生成した第２付加情報をエンコーディングしてデコーディング装置に伝送する。ミックス信号４１０１に含まれていないソース信号４１０５及びこれに対する第２付加情報は、エンコーディング装置外で生成しても良い。
【０１９４】
すなわち、ミックス信号４１０１に含まれていないソース信号４１０５及びこれに対する第２付加情報は、エンコーディング装置とは別個のソース信号提供サーバで生成してデコーディング装置に提供しても良く、ユーザにより直接生成しても良い。デコーディング装置は、ミックス信号４１０１に含まれているソース信号４１０２及びミックス信号に含まれていないソース信号４１０５を用いて新しいミックス信号を生成できる。上の例で、ユーザは、好みによってミックス信号４１０１に含まれているソース信号４１０２からベース信号のみを選択し、ミックス信号４１０１に含まれていないソース信号４１０５からボーカル１及びピアノ音のみを選択し、ベース信号、ボーカル１、ピアノ音を含む新しいミックス信号を生成できる。
【０１９５】
ユーザはソース信号提供サーバ及びデコーディング装置から、ミックス信号４１０１に含まれていないソース信号４１０５のそれぞれを受信することができる。ユーザは個別に受信したそれぞれのソース信号４１０５を用いて新しいミックス信号を生成することができる。
【０１９６】
図４２は、本発明の一実施例による第１７信号処理装置のブロック図である。図４２を参照すると、第１７信号処理装置は、ミックス信号変形部４２０３、付加情報変形部４２０７及びリミキシング部４２１１を含む。第１７信号処理装置は、エンコーディング装置から受信するか、またはあらかじめ記憶しておいたミックス信号４２０１及びミックス信号４２０１に含まれていないソース信号４２０２を抽出する。ミックス信号変形部４２０３は、ミックス信号４２０１及びミックス信号に含まれていないソース信号４２０２を用いてミックス信号４２０１を変形する。
【０１９７】
すなわち、ミックス信号変形部４２０３は、ユーザからソース信号選択情報４２０８を受信し、ミックス信号４２０１に含まれているソース信号とミックス信号４２０１に含まれていないソース信号４２０２のうち、ユーザが選択したソース信号のみを含む新しいミックス信号４２０４を生成する。付加情報変形部４２０７は、ユーザからソース信号選択情報４２０８を受信し、新しいミックス信号４２０４をソース信号別に調節できる付加情報４２０９を生成する。以下、新しいミックス信号４２０４に対する付加情報を第３付加情報４２０９とする。付加情報変形部４２０７は、ミックス信号４２０１をソース信号別に調節するための第１付加情報４２０５及びミックス信号に含まれていないソース信号４２０２を調節するための第２付加情報４２０６を用いて新しいミックス信号４２０４に対する第３付加情報４２０９を生成できる。
【０１９８】
また、付加情報変形部４２０７は、ミックス信号４２０１及びミックス信号４２０１に含まれていないソース信号４２０２を用いて直接第３付加情報４２０９を生成することができる。リミキシング部４２１１は、ユーザから制御情報４２１０を受信し、ミックス信号変形部４２０３から変形されたミックス信号４２０４を受信し、付加情報変形部４２０７から新しいミックス信号４２０４に対する第３付加情報４２０９を受信する。リミキシング部４２１１は、制御情報４２１０、変形されたミックス信号４２０４及びこれに対する第３付加情報４２０９を用いてリミキシングされたミックス信号４２１２を生成する。
【０１９９】
図４２には示していないが、第１７信号処理装置は、ソース信号を表現するアイコンを抽出し、これを変形し、または新しいアイコンを生成できるようなアイコン処理部を含むことができる。ユーザは、ミックス信号に含まれているソース信号を調節する時に各ソース信号を象徴するアイコンを使用することができる。アイコンは、ソース信号の楽器や歌手の顔などを表現するイメージや、楽器名などを説明するテキストを含んでもよい。ユーザは、エンコーディング装置が伝送したソース信号のアイコンを用いてソース信号を調節することができる。また、ユーザは、エンコーディング装置が伝送したソース信号のアイコンを所望の通りに変形して使用しても良い。また、ユーザは、ソース信号を提供するサーバに接続してソース信号のアイコンを受信し、これを使用しても良い。また、ユーザは、ソース信号のアイコンを直接生成し、これをソース信号と連動して使用しても良い。
【０２００】
図４３は、本発明の一実施例によるミックス信号変形部の内部ブロック図である。図４３を参照すると、ミックス信号変形部４２０３は、ソース信号抽出部４３０１、制御部４３０２及び信号変形部４３０３を含む。ソース信号抽出部４３０１はソース信号を抽出する。このとき、ソース信号は、ミックス信号に含まれているソース信号及びミックス信号に含まれていないソース信号を含む。制御部４３０２は、ユーザからソース信号選択情報４３０４を受け取る。制御部４３０２は、ソース信号抽出部４３０１でユーザが選択したソース信号を抽出し、これを信号変形部４３０３に送る。信号変形部４３０３は、ユーザが選択したソース信号を用いて新しいミックス信号を生成する。すなわち、信号変形部４３０３は、ユーザの選択に応じて、ミックス信号に含まれているソース信号のうち特定のソース信号を新しいミックス信号から除外し、ミックス信号に含まれていないソース信号のうち特定のソース信号を新しいミックス信号に含めることで、ユーザが選択したソース信号を含む新しいミックス信号を生成する。ユーザは好みによって所望のソース信号を選択し、元のミックス信号を新しいミックス信号に変形することができる。
【０２０１】
図４４は、本発明の一実施例によるソース信号提供サーバを用いて信号処理する方法を示す図である。図４４を参照すると、ユーザは、ユーザ端末４４０２を用いてソース信号提供サーバ４４０１に接続する。ユーザ端末４４０２は、ユーザＰＣ、携帯電話、ＰＤＡ、ＰＭＰなど、通信網を通じてサーバに接続できる装置を含む。ソース信号提供サーバ４４０１は、ミックス信号には含まれていないがミックス信号と一緒に再生されうるソース信号を含む。ソース信号提供サーバ４４０１は、ミックス信号と同じ拍子、速さなどを持っており、ミックス信号と一緒に演奏できるように同期しているソース信号を含んでいる。例えば、November rainという曲をドラム、ベース、ギター、ピアノで演奏する時に、各ソース信号は同一の曲に対して同一の速さと拍子で演奏される。この時、ソース信号のうち、ドラムとベース信号のみがミックス信号に含まれているとする場合、ユーザは、ソース信号提供サーバに接続してNovember rainという曲を演奏したギターまたはピアノ信号をダウンロードすることができる。
【０２０２】
ユーザは、ダウンロードしたギターまたはピアノ信号を元のミックス信号と一緒に再生させることができる。ユーザは、ソース信号提供サーバ４４０１に接続して所望の曲を選択する。ソース信号提供サーバ４４０１は、ユーザが所望する曲に対して現在含んでいるソース信号目録を表示する。ユーザは、ソース信号提供サーバ４４０１が表示するソース信号から所望のソース信号を選択する。ソース信号提供サーバ４４０１は、ユーザが選択したソース信号を抽出し、ユーザ端末４４０２に伝送する。ソース信号提供サーバ４４０１は、場合によって、ユーザが選択したソース信号に対する付加情報を生成し、これをソース信号と一緒にユーザ端末４４０２に伝送することができる。ユーザは、デコーディング装置を用いて、ソース信号提供サーバ４４０１からのソース信号及び元のミックス信号に含まれているソース信号から新しいミックス信号を生成することができる。
【０２０３】
ユーザは、ソース信号提供サーバ４４０１からソース信号を受信しても良いが、直接特定曲に対するソース信号を生成しても良い。ユーザは、ミックス信号に含まれているソース信号及び直接生成したソース信号を用いて元のミックス信号を変形して新しいミックス信号を生成することができる。ソース信号提供サーバ４４０１は、ソース信号の他に、ソース信号のアイコンを含むことができる。ユーザは、ソース信号提供サーバ４４０１に接続し、ソース信号のアイコンをダウンロードして使用することができる。また、ユーザは、ソース信号提供サーバ４４０１から受信したソース信号のアイコンを変形して使用することができる。
【０２０４】
図４５は、本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。図４５を参照すると、本発明による信号処理装置は、エンコーディング装置から受信するか、またはあらかじめ記憶しておいたミックス信号を抽出する。この信号処理装置は、ミックス信号に含まれているソース信号を抽出する（Ｓ４５０１）。以下、ミックス信号に含まれているソース信号を第１ソース信号とし、ミックス信号に含まれていないソース信号を第２ソース信号とする。信号処理装置は、エンコーディング装置から受け取ったり、ソース信号提供サーバ４４０１から受け取ったり、または、ユーザが直接生成した第２ソース信号を抽出する（Ｓ４５０２）。信号処理装置は、第１ソース信号及び第２ソース信号を用いてミックス信号を変形する（Ｓ４５０３）。すなわち、信号処理装置は、第１ソース信号と第２ソース信号のうち、ユーザが選択したソース信号のみを含む新しいミックス信号を生成する。
【０２０５】
図４６は、本発明の一実施例によるミックス信号を変形する方法を示すフローチャートである。図４６を参照すると、本発明による信号処理装置は、ソース信号を抽出する（Ｓ４６０１）。ここで、ソース信号は、ミックス信号に含まれている第１ソース信号及びミックス信号に含まれていない第２ソース信号を含む。この信号処理装置は、ユーザにより選択されたソース信号を受信する（Ｓ４６０２）。信号処理装置は、ユーザが選択したソース信号を用いて新しいミックス信号を生成する（Ｓ４６０３）。信号処理装置は、元のミックス信号に含まれているソース信号のうち、ユーザが所望しないソース信号は除去し、ミックス信号に含まれていないソース信号のうち、ユーザが所望するソース信号はミックス信号に加えることによって、ユーザが選択したソース信号のみを含む新しいミックス信号を生成する。信号処理装置は、新しいミックス信号をソース信号別に調節するために新しいミックス信号に対する第３付加情報を生成する（Ｓ４６０４）。
【０２０６】
本発明による信号処理装置は、ミックス信号に対する第１付加情報及びミックス信号に含まれていないソース信号に対する第２付加情報を用いて新しいミックス信号に対する第３付加情報を生成できる。また、信号処理装置は、第１及び第２付加情報を使用せずに第３付加情報を生成することができる。すなわち、信号処理装置は、新しいミックス信号を生成した後、生成されたミックス信号を用いて新しいミックス信号に対する第３付加情報を直接生成しても良い。信号処理装置はユーザから制御情報を受信する（Ｓ４６０５）。信号処理装置は、ユーザから受信した制御情報及び第３付加情報を用いて新しいミックス信号をソース信号別に制御できるようなリミックスされたミックス信号を生成する（Ｓ４６０６）。
【０２０７】
以上では幾つかの実施例に挙げて本発明を具体的に説明してきたが、これらの実施例は、本発明の理解を助ける説明のために提示されたもので、本発明の範囲を制限するためのものではない。当業者には、本発明の技術的思想を逸脱しない範囲内で様々な変形が可能であるということが理解でき、よって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。
【図１】
2010505143.tif 000033
【図２】
2010505143.tif 000034
【図３】
2010505143.tif 000035
【図４】
2010505143.tif 000036
【図５】
2010505143.tif 000037
【図６】
2010505143.tif 000038
【図７】
2010505143.tif 000039
【図８】
2010505143.tif 000040
【図９】
2010505143.tif 000041
【図１０】
2010505143.tif 000042
【図１１】
2010505143.tif 000043
【図１２】
2010505143.tif 000044
【図１３】
2010505143.tif 000045
【図１４】
2010505143.tif 000046
【図１５】
2010505143.tif 000047
【図１６】
2010505143.tif 000048
【図１７】
2010505143.tif 000049
【図１８】
2010505143.tif 000050
【図１９】
2010505143.tif 000051
【図２０】
2010505143.tif 000052
【図２１】
2010505143.tif 000053
【図２２】
2010505143.tif 000054
【図２３】
2010505143.tif 000055
【図２４】
2010505143.tif 000056
【図２５】
2010505143.tif 000057
【図２６】
2010505143.tif 000058
【図２７】
2010505143.tif 000059
【図２８】
2010505143.tif 000060
【図２９】
2010505143.tif 000061
【図３０】
2010505143.tif 000062
【図３１】
2010505143.tif 000063
【図３２】
2010505143.tif 000064
【図３３】
2010505143.tif 000065
【図３４】
2010505143.tif 000066
【図３５】
2010505143.tif 000067
【図３６】
2010505143.tif 000068
【図３７】
2010505143.tif 000069
【図３８】
2010505143.tif 000070
【図３９】
2010505143.tif 000071
【図４０】
2010505143.tif 000072
【図４１】
2010505143.tif 000073
【図４２】
2010505143.tif 000074
【図４３】
2010505143.tif 000075
【図４４】
2010505143.tif 000076
【図４５】
2010505143.tif 000077
【図４６】
2010505143.tif 000078
【手続補正書】
【提出日】平成21年10月15日(2009.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ミックス信号の識別情報を獲得する段階と、
前記識別情報にマッチングするソース制御情報を獲得する段階と、
前記ソース制御情報及び前記ミックス信号を用いてリミックス信号を生成する段階と、
を含むことを特徴とする信号処理方法。
【請求項２】
前記ミックス信号の識別情報は、前記ミックス信号の付加情報である、請求項１に記載の信号処理方法。
【請求項３】
前記ソース制御情報は、ソース別ゲインファクタを含む、請求項１に記載の信号処理方法。
【請求項４】
前記ソース制御情報は時間によって変化し、前記ソース制御情報の適用時点に対する情報をさらに含む、請求項３に記載の信号処理方法。
【請求項５】
前記ミックス信号にマッチングするソース制御情報が１つ以上である場合、ソース制御情報の目録を表示する段階をさらに含み、
ユーザから特定ソース制御情報に対する選択命令が入力されると、選択されたソース制御情報を読み取って出力する、請求項１に記載の信号処理方法。
【請求項６】
前記ソース制御情報の目録は、前記ミックス信号のソース情報を含み、前記選択命令は、一部のソースに関するものであり、前記出力する段階は、選択されたソースに該当するソース制御情報を読み取って出力する段階である、請求項５に記載の信号処理方法。
【請求項７】
前記ミックス信号にマッチングするソース制御情報は記憶しておいた値であるか、ユーザから受信した値である、請求項１に記載の信号処理方法。
【請求項８】
ミックス信号の処理装置と連係している信号処理装置であって、
ミックス信号の識別情報別ソース制御情報が記憶されているメモリと、
ミックス信号の識別情報に基づいて、前記ミックス信号にマッチングするソース制御情報を前記メモリから読み取り、前記ミックス信号の処理装置に出力する制御部と、
を含むことを特徴とする信号処理装置。
【請求項９】
インターフェースを出力するためのディスプレイをさらに含み、
前記ミックス信号にマッチングするソース制御情報は、メモリに記憶された値であるか、ユーザから受信した値である、請求項８に記載の信号処理装置。
【請求項１０】
ミックス信号に該当するソース制御情報を読み取る段階と、
前記ソース制御情報を記憶し、あるいは伝送する段階と、を含み、
前記ソース制御情報は、ミックス信号を識別するためのミックス信号の識別情報を含むことを特徴とする信号処理方法。
【請求項１１】
前記ソース制御情報は、他のユーザのミックス信号制御装置に伝送される、請求項１０に記載の信号処理方法。
【請求項１２】
ミックス信号に該当するソース制御情報が記憶されているメモリと、
他のユーザのミックス信号制御装置と通信するための通信部と、
前記ソース制御情報を、前記通信部を通じて前記他のユーザのミックス信号制御装置に伝送するようにする制御部と、
を含むことを特徴とする信号処理装置。
【国際調査報告】
2010505143.tif 000079
2010505143.tif 000080
2010505143.tif 000081
2010505143.tif 000082
2010505143.tif 000083