(57)【要約】本発明は信号符号化システム（１００）に関する。プレ‐エンコーダ（１０３）は信号を符号化して、事前符号化信号を生成する。さらにプレ‐エンコーダ（１０３）は、事前符号化信号と一緒に信号記憶装置（１０５）に格納される符号化支援データを生成する。信号記憶装置（１０５）から信号を検索する場合に、その信号をデコーダ（１１１）にて復号化し、この複合化した信号に電子透かしを挿入して、電子透かし付与信号を生成する。次いで、この電子透かしを付与した信号をリ‐エンコーダ（１１７）にて、できれば前記プレ‐エンコーダでの符号化速度とは異なる符号化速度で再-符号化する。リ‐エンコーダ（１１７）は、符号化支援データに応答して前記電子透かし付与信号を再-符号化すべく動作する。このように、符号化支援データは記憶装置に格納する前の符号化にて生成することができ、この符号化支援データは、検索時に電子透かし付与信号を再-符号化するのを促進するのに用いることができる。本発明は、事前符号化処理を一度行なうのに対し、再-符号化処理は頻繁に行なう、例えばクライアント-サーバの音楽ダウンロードアプリケーションのようなアプリケーションに特に有利である。
2007510938.tif 000002
【特許請求の範囲】
【請求項１】
信号を受信する受信手段と；
受信した信号を事前符号化して、事前符号化信号を生成するプレ‐エンコーダと；
電子透かし処理手段と；
を具えており、前記電子透かし処理手段が：
前記事前符号化信号を復号化して、復号化信号を生成するデコーダと；
前記復号化信号に電子透かしを挿入して、電子透かし付与信号を生成する電子透かし埋め込み器と；
前記電子透かし付与信号を再-符号化して、電子透かし付与符号化信号を生成するリ‐エンコーダと；
を具え、且つ
前記プレ‐エンコーダが符号化支援データを生成すべく動作し、且つ前記リ‐エンコーダが前記符号化支援データに応答して前記電子透かし付与信号を再-符号化すべく動作し得るようにした、信号符号化システム。
【請求項２】
前記プレ‐エンコーダは前記符号化支援データを前記事前符号化信号内に含むべく動作し得る、請求項１に記載の信号符号化システム。
【請求項３】
前記プレ‐エンコーダは前記事前符号化信号の少なくとも１つの付属データセクションに前記符号化支援データを含むべく動作し得る、請求項２に記載の信号符号化システム。
【請求項４】
前記事前符号化信号を格納するための記憶手段も具えている、請求項１に記載の信号符号化システム。
【請求項５】
前記記憶手段は前記符号化支援データを格納すべく動作し得る、請求項４に記載の信号符号化システム。
【請求項６】
前記プレ‐エンコーダは前記事前符号化信号の符号化速度とは異なる符号化速度に関連する符号化パラメータを生成し、且つこの符号化パラメータを前記符号化支援データ内に含むべく動作し得る、請求項１に記載の信号符号化システム。
【請求項７】
前記符号化支援データは符号化時の量子化制御データを含む、請求項１に記載の信号符号化システム。
【請求項８】
前記符号化支援データは符号化時のスケールファクタデータを含む、請求項１に記載の信号符号化システム。
【請求項９】
前記スケールファクタデータは、第１符号化速度と第２符号化速度との間のスケールファクタのオフセット値に関連したスケールファクタオフセットを含む、請求項８に記載の信号符号化システム。
【請求項１０】
前記第１符号化速度は、前記事前符号化データ信号の符号化速度であり、前記第２符号化速度は前記電子透かし付与符号化信号の符号化速度である、請求項９に記載の信号符号化システム。
【請求項１１】
前記符号化支援データはスケールファクタ値を含まない、請求項９に記載の信号符号化システム。
【請求項１２】
前記リ‐エンコーダは、第１符号化速度に関連するスケールファクタオフセット及びスケールファクタ値に応答して再-符号化スケールファクタを決定することによって第２符号化速度にて電子透かし付与符号化信号を生成すべく動作し得る、請求項９に記載の信号符号化システム。
【請求項１３】
前記プレ‐エンコーダは、前記第２符号化速度のスケールファクタをシフトしたバージョンによって前記事前符号化信号のスケールファクタを置き換えるべく動作し得る、請求項９に記載の信号符号化システム。
【請求項１４】
前記符号化支援データは符号化速度にほぼ無関係の符号化パラメータを含む、請求項１に記載の信号符号化システム。
【請求項１５】
前記符号化支援データは第１符号化速度に関連する第１符号化パラメータを含み、且つ前記リ‐エンコーダは、第１符号化パラメータに応答して、第２符号化速度に関連する第１の対応する符号化パラメータを決定する手段を具えている、請求項１に記載の信号符号化システム。
【請求項１６】
前記符号化支援データは知覚モデルのデータを含む、請求項１に記載の信号符号化システム。
【請求項１７】
前記リ‐エンコーダは前記プレ‐エンコーダと協調するフレームを作動すべく動作し得る、請求項１に記載の信号符号化システム。
【請求項１８】
前記信号はオーディオ信号である、請求項１に記載の信号符号化システム。
【請求項１９】
前記事前符号化信号はＭＰＥＧオーディオ圧縮標準規格に従って事前符号化される、請求項１８に記載の信号符号化システム。
【請求項２０】
前記信号はビデオ信号である、請求項１に記載の信号符号化システム。
【請求項２１】
請求項４に記載の信号符号化システムを具えると共に、前記プレ‐エンコーダは多数の信号を事前符号化すべく動作し、前記記憶手段はこれら多数の事前符号化した信号を格納すべく動作し、前記電子透かし処理手段は複数の信号に電子透かしを個々に埋め込むべく動作し、且つ前記電子透かしを埋め込んだ複数の信号を配信する手段も具えている信号配信システム。
【請求項２２】
信号を受信するステップと；
該信号を事前符号化して、事前符号化信号を生成するステップと；
前記事前符号化に関連する符号化支援データを生成するステップと；
前記事前符号化信号を復号化して、復号化信号を生成するステップと；
前記復号化信号に電子透かしを挿入して、電子透かし付与信号を生成するステップと；
前記符号化支援データに応答して前記電子透かし付与信号を再-符号化して、電子透かし付与符号化信号を生成するステップと；
を具えている信号符号化方法。
【請求項２３】
信号を受信する手段と；
前記信号を事前符号化して第１符号化速度で事前符号化信号を生成し、且つ第１符号化速度に関連する少なくとも１つのスケールファクタと、前記第１符号化速度とは異なる第２符号化速度に関連する少なくとも１つのスケールファクタとの間の関連性を示すスケールファクタのオフセットデータを含む符号化支援データを生成すべく動作し得るプレ‐エンコーダと；
前記符号化支援データのスケールファクタオフセットデータに応答して、前記事前符号化信号を第２符号化速度で再-符号化すべく動作し得るリ‐エンコーダと；
を具えている信号符号化システム。
【請求項２４】
前記プレ‐エンコーダは前記符号化支援データを前記事前符号化信号内に含むべく動作する、請求項２３に記載の信号符号化システム。
【請求項２５】
前記プレ‐エンコーダは、前記事前符号化信号のスケールファクタを前記第２符号化速度のスケールファクタをシフトしたバージョンで置き換えるべく動作し得る、請求項２３に記載の信号符号化システム。
【請求項２６】
信号を受信するステップと；
第１符号化速度で事前符号化信号を生成すべく前記信号を事前符号化するステップと；
第１符号化速度に関連する少なくとも１つのスケールファクタと、第１符号化速度とは異なる第２符号化速度に関連する少なくとも１つのスケールファクタとの間の関連性を示すスケールファクタのオフセットデータを含む符号化支援データを生成するステップと；
前記符号化支援データのスケールファクタオフセットデータに応答して、前記信号又は事前符号化信号を第２符号化速度で再-符号化するステップと；
を具えている信号符号化方法。
【請求項２７】
請求項２２又は請求項２６に記載の方法を実施可能にするコンピュータプログラム。
【請求項２８】
請求項２７に記載のコンピュータプログラムを具えている記録担体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号符号化システム及び信号の符号化方法、特に信号に電子透かしを埋め込むことに関する。
【背景技術】
【０００２】
著作権資料の違法な配信は、著作権所有者からこの資料に対する正当な著作権使用料を奪い、この違法配信資料の供給者には連続違法配信を促す利益を与えることになる。インターネットによって行なわれる容易な転送に照らして、芸術的な表現物又は限られた配信権利を有する他の資料の如き、著作権が保護されるべきコンテンツ資料は広範囲に違法配信されやすい。圧縮したオーディオファイルを格納し、且つ送信するＭＰ３フォーマットは、オーディオ記録の広範囲の配信を容易にした。例えば、歌曲の３０又は４０メガバイトのデジタルＰＣＭ（パルス符号変調）オーディオ記録は、３又は４メガバイトのＭＰ３ファイルに圧縮することができる。このＭＰ３ファイルは、インターネットへの典型的な５６kbpsのダイヤル-アップ回線を用いて、数分でユーザのコンピュータにダウンロードすることができる。このことは、悪意のある者が、ＭＰ３で符号化した歌曲をダウンロードするための直接ダイヤル-インサービスを提供できることを意味している。ＭＰ３で符号化した歌曲の違法コピーは、その後ソフトウェア又はハードウェアデバイスによって演じさせたり、或いは慣例のＣＤプレーヤでの再生用に圧縮解除して、再書き込み可能なＣＤに格納したりすることができる。
【０００３】
著作権保護コンテンツ資料の複製を制限する多数の技法が提案されている。セキュア・デジタル・ミュージック・イニシアティブ（ＳＤＭＩ）等は、認定されていないコピーを防ぐために「デジタル電子透かし」の使用を提唱している。
【０００４】
デジタル電子透かしは上述したシナリオに照らしてコピー防止用に用いることができる。しかしながら、デジタル電子透かしの使用は、コピーの阻止に限定されず、電子透かしを例えば電子コンテンツ配信システムを介して配信されるファイルに埋め込んで、それを例えばインターネットで違法にコピーされたコンテンツを追跡するのに用いる所謂犯罪科学捜査追跡用にも用いることができる。電子透かしはさらに、放送局（例えば、コマーシャル）のモニタ用に、又は認証目的等に用いることもできる。
【０００５】
電子透かしは一般に、非圧縮信号に埋め込んだ場合に最良の性能を発揮し、生の圧縮信号に電子透かしを埋め込む既知の技法は幾つかある。
【０００６】
国際特許出願公開WO 02/091374 A1には、電子透かしフィルタを用いることにより生の非圧縮オーディオ信号に電子透かしを付与する方法が記載されている。この方法では、生の非圧縮信号ｘ〔ｎ〕をフィルタｗ’〔ｎ〕によって線形フィルタリング処理することにより電子透かし信号を埋め込む。即ち、
ｙ〔ｎ〕＝ｘ〔ｎ〕＋α・（ｘ〔ｎ〕*ｗ’〔ｎ〕）                    （１）
ここで、αは電子透かしを埋め込む強さに対応するスケーリングファクタであり、ｙ〔ｎ〕は電子透かしを付与した出力信号であり、*は畳み込み演算を示し、ｗ’〔ｎ〕は電子透かしフィルタのインパルス応答を示している。上記等式を並び変えると次のようになる。
ｙ〔ｎ〕＝ｘ〔ｎ〕*（１＋α・ｗ’〔ｎ〕）＝ｘ〔ｎ〕*ｗ〔ｎ〕      （２）
ここに、ｗ〔ｎ〕＝１＋α・ｗ’〔ｎ〕である。このことは、前記WO 02/091374 の手法が入力信号ｘ〔ｎ〕を電子透かしフィルタｗ〔ｎ〕によってフィルタリング処理することと等価であることを示している。
【０００７】
電子透かしの埋め込みを符号化ビットストリームに直接適用する技法も提案されているが、本来こうした埋め込み方式は、少なくとも符号化によるアーチファクトの大きさ程度の別なアーチファクトを引き起こすため、電子透かしの高品質埋め込みにはあまり好適でない。さらにビットストリームに電子透かしを付与することについては、国際特許出願公開WO 01/49363 A1、又は２０００年２月にパリで開催された第１０８回のＡＥＳ（オーディオ・エンジニアリング・ソサイエティ）協議会にて、Christian Neubauer及びJ. Urgen Herreにより発表された前刷り5101における“Audio watermarking of MPEG-2 AAC bitstreams”にて見ることができる。
【０００８】
多くのアプリケーションにとって、電子透かしの付与は、容認できないか又は不所望な量の計算上の複雑さを来たすことになる。例えば、多くのオーディオサーバ-クライアントアーキテクチャでは、個々に電子透かしを付与して、圧縮した原信号のコピーをクライアントが得るようにすることが所望される。このようにすれば、ダウンロードしたコンテンツを追跡し且つアプリケーションをストリームすることができる。このようなアプリケーションでは、各デジタルオーディオ項目の要求によって電子透かしを個々に埋め込み、それに引き続き適当なフォーマットに圧縮することになる。多数の同時要求が出現するアプリケーションでは、電子透かしを埋め込むこと及びオーディオ信号を符号化することに関連する計算上の複雑さが顕著になり、容認できないほどになる。
【０００９】
さらに、主として多数のコンテンツ項目を格納するクライアントサービスアプリケーションは、コンテンツ項目に対する圧縮表現を利用して、オンラインでの必要記憶量を減らす傾向にある。例えば、ミュージックを配信するミュージッククライアントサーバは、典型的にはそのオーディオ信号をＭＰＥＧ，ＡＡＣ、ＷＭＡのような圧縮フォーマットで格納することができる。
【００１０】
従って、非圧縮ドメインにて動作する電子透かしアルゴリズムを利用するためには、格納済みの圧縮信号を非圧縮信号に変換してから電子透かしを埋め込み、その後、この電子透かしを付与した信号を配信するために圧縮ドメインにて動作する信号に逆変換する必要がある。
【００１１】
例えば、前記WO 02/091374のフィルタに基づく電子透かし付与方法を利用するためには、格納済みの圧縮信号を先ず生の非圧縮信号に変換する。次いで、前記等式（１）又は（２）に従う動作によって電子透かしを埋め込むことができ、これにて得られた信号を圧縮信号に逆変換することができる。
【００１２】
しかしながら、このような手法には多数の欠点がある。これらの欠点には、例えば、その手法のプロセスが追加の復号化及び符号化処理を必要とし、特に、電子透かしを付与した非圧縮信号の再-符号化が複雑になりがちで、しかもリソースを要求することになる、と云うことが含まれる。従って、必要とされる処理が複雑さを増すことになり、計算上の負荷もかなりなものとなる。これにより、例えばコスト及び/又は電力消費量が増すことになる。さらに、追加の処理遅延も生じることになる。
【００１３】
このようなことからして、信号符号化の改善システムは有利であり、特に、複雑さを軽減し、品質を改善し、電力消費量を低減し、コストを削減し、性能を改善し、及び/又は処理遅延を減らすことは有利である。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
従って、本発明の目的は上述した欠点の１つ以上を単独で、又は任意の組み合わせで軽減、緩和又は除去することにある。
【課題を解決するための手段】
【００１５】
本発明の第１の要点によれば、信号を受信する受信手段と；受信した信号を事前符号化して、事前符号化信号を生成するプレ‐エンコーダと；電子透かし処理手段と；を具えており、前記電子透かし処理手段が：前記事前符号化信号を復号化して、復号化信号を生成するデコーダと；前記復号化信号に電子透かしを挿入して、電子透かし付与信号を生成する電子透かし埋め込み器と；前記電子透かし付与信号を再-符号化して、電子透かし付与符号化信号を生成するリ‐エンコーダと；を具え、且つ前記プレ‐エンコーダが符号化支援データを生成すべく動作可能で、前記リ‐エンコーダが前記符号化支援データに応答して前記電子透かし付与信号を再度符号化すべく動作するようにした信号符号化システムが提供される。
【００１６】
本発明によれば信号に電子透かしを埋め込み易くなる。特に本発明は、圧縮ドメインにて格納されており、且つ圧縮ドメインにて配信又は通信される信号に非圧縮ドメインの電子透かしの埋め込みを容易にすることができる。本発明によれば特に、復号化に関わる全処理の複雑性及び/又は計算リソースを低減させることができる。本発明によれば追加的に、又は択一的に、信号符号化機器のコストを下げたり、及び/又はその機器の処理能力を高めたりすることができる。さらに、電力消費量及び/又は処理遅延も低減させることができる。場合によっては、再-符号化電子透かし付与信号の品質を改善することができる。本発明は特に、個々の電子透かしをクライアントの要求に応答して特定の信号に埋め込むことができるクライアント-サーバアプリケーションに有利である。
【００１７】
信号は、例えばオーディオミュージック信号を含むオーディオビジュアル信号とするのが好適である。例えば、本発明によれば、記憶手段に格納されている歌がクライアントによって要求された際に、これら個々の歌に専用の電子透かしを埋め込むシステムを容易に実現することができる。
【００１８】
プレ‐エンコーダ及びリ‐エンコーダの構成は同じとするのが好適であるが、これらのエンコーダは必ずしも同じか、又は同様な符号化規格を用いる必要はない。さらに、プレ‐エンコーダとリ‐エンコーダの符号化速度は相違させ、事前符号化速度は再-符号化速度よりも高くするのが好適である。信号符号化システムはデジタル信号処理を用いて動作させるのが好適であるが、実施例によっては、アナログ信号処理を部分的又は全体的に用いることもできる。符号化支援データは、再-符号化処理とコンパチブルにするのが好適であり、このようにすれば、リ‐エンコーダの処理を予め避けたり、促進させたり、強化したり、或いは低減させたりすることができる。
【００１９】
クライアント-サーバアプリケーションでの事前符号化は、信号に対して一度（又は数回）行なうことができるのに対し、再-符号化は、信号が要求される度に行なうことができる。従って、符号化支援データを生成することによるプレ‐エンコーダの複雑性の増加は、典型的には再-符号化処理の複雑性が減少する観点からして微々たるものである。
【００２０】
信号はいずれもオーディオ信号とするのが好適であるが、オーディオビジュアル信号を含む他の信号を用いることもできる。信号は、例えば歌、又はオーディオクリップのようなコンテンツ項目に対応するものとすることができる。
【００２１】
本発明の好適例によれば、プレ‐エンコーダが符号化支援データを前記事前符号化信号に含めるべく動作し得るようにする。このようにすれば、符号化支援データを十分に記憶し、制御し、管理し、且つ配信することができる。例えば、事前符号化信号が検索される際に、符号化支援データを自動的に検索することができる。
【００２２】
本発明の他の好適例によれば、プレ‐エンコーダが事前符号化信号の少なくとも１つの付属データセクション内に符号化支援データを含むべく動作し得るようにする。多くの符号化標準規格は付属のデータセクションを具えており、これらのセクションにおけるデータは、本来符号化されるコンテンツ信号の一部を構成するものではない。このようなデータセクションは特に、符号化支援データに好適な記憶手段を提供することができる。
【００２３】
本発明のさらに他の好適例によれば、記憶手段が符号化支援データを格納すべく動作し得るようにする。このようにすれば、符号化を実用的で、しかも能率的に実施することができる。
【００２４】
本発明の他の好適例によれば、プレ‐エンコーダが事前符号化信号の符号化速度とは異なる符号化速度に関連する符号化パラメータを生成し、且つこの符号化パラメータを前記符号化支援データ内に含むべく動作し得るようにする。
【００２５】
これにより、符号化支援データを種々の符号化速度での再-符号化用に用いることを可能にするか、又は容易にする。従って、電子透かし処理手段によって符号化の速度変換を行なうこともできる。追加のデータ速度で符号化支援データを生成することに関連する複雑性の追加増加は、再-符号化処理の複雑性を減少させることができることに鑑みて容認できる程度にすることができる。
【００２６】
本発明のさらに他の好適例によれば、符号化支援データが符号化時の量子化制御データを含むようにする。量子化制御データはビットの配信、従って、信号スペクトルにわたる量子化雑音を決定することができる。例えば、ＭＰＥＧのレイヤIIでは、量子化はビット割り当てデータによって制御され、ＭＰ３及びＡＡＣでは、量子化はスケールファクタデータによって制御される。
【００２７】
本発明の他の好適例によれば、符号化支援データが符号化のスケールファクタデータを含むようにする。これは符号化支援データに含ませるのに特に有利なパラメータである。スケールファクタデータはリ‐エンコーダにて有効に再使用することができ、スケールファクタの決定は典型的に符号化作業のうちで最も複雑な作業の１つであるので、符号化処理の複雑性をかなり減らすことができる。スケールファクタはさらに種々の符号化速度にて用いるのが好適である。
【００２８】
本発明のさらに他の好適例によれば、スケールファクタデータが、第１符号化速度と第２符号化速度との間のスケールファクタのオフセット値に関連したスケールファクタオフセットを含むようにする。種々の符号化速度に対するスケールファクタは、典型的にはオフセットを別にすれば、似たもの又は同程度のものとすることができる。従って、第２符号化速度に対するスケールファクタオフセットを決定すること及び/又はこのスケールファクタを格納することだけで、符号化支援データ及び/又は処理が少なくて済む。
【００２９】
本発明の他の好適例によれば、第１符号化速度を事前符号化データ信号の符号化速度とし、第２符号化速度を電子透かし付与符号化信号の符号化速度とする。このようにすれば、事前符号化信号と電子透かしを付与した符号化信号との間に有効な速度変換を適用することができる。再-符号化は、ごく僅かな符号化支援データと簡易決定のスケールファクタを要求するだけで行なうことができる。
【００３０】
本発明のさらに他の好適例によれば、符号化支援データはスケールファクタ値を含まないようにする。特に、符号化支援データにおけるスケールファクタに関連する情報だけはスケールファクタのオフセット（異なる符号化速度に関連するオフセット）とすることができる。これにより処理工程数を減らし、特に記憶量を減らすことができる。付属のデータセクションを用いて符号化支援データを格納する実施例では、符号化支援データを、利用できる限定記憶容量内にフィットさせることができる。
【００３１】
本発明の他の好適例によれば、リ‐エンコーダが、第１符号化速度に関連するスケールファクタオフセット及びスケールファクタ値に応答して再-符号化スケールファクタを決定することによって第２符号化速度にて電子透かし付与符号化信号を発生すべく動作し得るようにする。例えば、リ‐エンコーダは第１符号化速度の既存のスケールファクタからスケールファクタオフセットを差し引くことによって簡単にスケールファクタを決定することができる。
【００３２】
本発明のさらに他の好適例によれば、プレ‐エンコーダが、第２符号化速度のスケールファクタをシフトしたバージョンによって事前符号化信号のスケールファクタを置き換えるべく動作し得るようにする。このようにすれば、事前符号化信号に対する帯域幅が第２符号化速度に対応する低い帯域幅となる。リ‐エンコーダは事前符号化信号のスケールファクタからスケールファクタのオフセットを差し引くことによって、第２符号化速度に対応する正確なスケールファクタを決定することができる。これにより、特に、種々のエンコーダが用いられ、且つ第１符号化速度に対して得られるスケールファクタと第２符号化速度に対して得られるスケールファクタとの差がスケールファクタオフセットによって十分正確に表されない場合に、再-符号化信号の品質を改善することができる。
【００３３】
本発明の他の好適例によれば、符号化支援データが、符号化速度にほぼ無関係の符号化パラメータを含むようにする。符号化速度に無関係の符号化パラメータは、例えば複数の符号化速度に対してほぼ同じとすることができ、これらのパラメータはエンコーダによって直接用いることができ、これにより処理の複雑性が軽減される。符号化速度に無関係の符号化パラメータは、例えば量子化による符号化エラーの時間的分布を改善するためにＡＡＣ符号化規格にて用いられる時間的ノイズ整形（ＴＮＳ）パラメータを含むことができる。符号化速度に無関係の符号化パラメータの他の例には、例えば変換に用いられるブロックサイズを制御するためにＡＡＣ及びＭＰ３（ＭＰＥＧ-ＬIII）符号化規格にて用いられるウィンドウスイッチングパラメータがある。長いブロックは一般に擬似-静止信号に用いられるが、短いブロックはもっと過渡的な信号間隔に用いられる。  
【００３４】
本発明の好適例によれば、符号化支援データが、第１符号化速度に関連する第１符号化パラメータを含み、且つリ‐エンコーダが第１符号化パラメータに応答して第２符号化速度に関連する第１の対応する符号化パラメータを決定する手段を具えるようにする。
【００３５】
特に、符号化パラメータは、符号化速度の関数として既知か、又は予測可能な変数を有することができる。リ‐エンコーダはこの関数を評価して、第２符号化データ速度に好適な符号化パラメータの値を決定することができる。このようにすることにより、再-符号化を容易にすることができる。
【００３６】
本発明の好適例によれば、符号化支援データが知覚モデルのデータを含むようにする。知覚モデルのデータは典型的には符号化速度に比較的無関係とすることができ、これは特に異なるデータ速度での再-符号化に用いるのに好適である。この知覚モデルデータのフォーマットは、電子透かしの埋め込み及び/又は再-符号化処理にとって最善のフォーマットとするのが好適である。制限帯域幅の知覚モデルデータだけを用いることができる。さらに、知覚モデルデータは電子透かしの埋め込みに整合する臨界帯域に変換することができるも、これらの帯域は必ずしもリ‐エンコーダの帯域と同じとする必要はない。
【００３７】
本発明の好適例によれば、リ‐エンコーダがプレ‐エンコーダと協調するフレームを作動すべく動作し得るようにする。これはとりわけ実践的な実施を許容し、特に各フレームを個々に及び/又は独立して処理できるようにする。
【００３８】
好ましくは、信号はオーディオ信号又はビデオ信号とし、また事前符号化信号はMPEGオーディオ及び/又はビデオ圧縮規格に従って事前符号化する信号とするのが好適である。MPEGオーディオ圧縮規格は、例えばMPEG符号化規格とすることができ、これは特に、アドバンスド・オーディオ・コーディング（ＡＡＣ）規格とすることができる。
【００３９】
本発明の好適例によれば、上述したような信号符号化システムを具えると共に、プレ‐エンコーダが多数の信号を事前符号化すべく動作し、記憶手段がこれら多数の事前符号化した信号を格納すべく動作し、電子透かし処理手段が複数の信号に電子透かしを個々に埋め込むべく動作し、且つ前記電子透かしを埋め込んだ複数の信号を配信する手段も具えている信号配信システムが提供される。
【００４０】
従って、本発明によれば複数の信号に電子透かしを個々に有効に埋め込むことができる。各信号に埋め込む電子透かしは相違させるのが好適である。配信する手段は、例えばインターネットのような外部配信媒体にインタフェースする手段とすることができる。このようにすれば特に、中央サーバが複数のクライアントによって個々に要求される多数のコンテンツ項目を格納するクライアント-サーバアプリケーションに好適である。
【００４１】
本発明の第２の要点によれば、信号を受信するステップと；該信号を事前符号化して、事前符号化信号を生成するステップと；事前符号化に関連する符号化支援データを生成するステップと；事前符号化信号を復号化して、復号化信号を生成するステップと；復号化信号に電子透かしを挿入して、電子透かし付与信号を生成するステップと；符号化支援データに応答して電子透かし付与信号を再度符号化して、電子透かしが付与された符号化信号を生成する再-符号化ステップと；を具えている信号符号化方法が提供される。
【００４２】
本発明の第３の要点によれば、信号を受信する手段と；信号を事前符号化して第１符号化速度で事前符号化信号を生成し、且つ第１符号化速度に関連する少なくとも１つのスケールファクタと、第１符号化速度とは異なる第２符号化速度に関連する少なくとも１つのスケールファクタとの間の関連性を示すスケールファクタのオフセットデータを含む符号化支援データを生成すべく動作するプレ‐エンコーダと；符号化支援データのスケールファクタオフセットデータに応答して、事前符号化信号を第２符号化速度で再度符号化すべく動作するリ‐エンコーダと；を具えている信号符号化システムが提供される。
【００４３】
こうして再-符号化を符号化支援データに基づいて有効に行なうことができる。第２符号化速度に対するスケールファクタの決定は符号化処理及び計算リソースの複雑性を低減させ、且つ符号化支援データに必要なデータ量を減らすことができる。
【００４４】
本発明の第４の要点によれば、信号を受信するステップと；第１符号化速度で事前符号化信号を生成すべく前記信号を事前符号化するステップと；第１符号化速度に関連する少なくとも１つのスケールファクタと、第１符号化速度とは異なる第２符号化速度に関連する少なくとも１つのスケールファクタとの間の関連性を示すスケールファクタのオフセットデータを含む符号化支援データを生成するステップと；前記符号化支援データのスケールファクタオフセットデータに応答して、前記信号又は事前符号化信号を第２符号化速度で再度符号化するステップと；を具えている信号符号化方法が提供される。
【００４５】
本発明のこれら及び他の要点、特徴並びに利点は以下説明する実施例についての説明から明らかになるであろう。
【発明を実施するための最良の形態】
【００４６】
本発明の好適な実施例を、図面を参照して詳細に説明する。
【００４７】
以下、オーディオコンテンツ項目の中央記憶装置へのアクセスを許可するオーディオクライアントサーバアプリケーションに適用可能な本発明の実施例に的を絞って説明する。しかしながら、本発明はこのようなアプリケーションに限定されるものでなく、他の多くの信号符号化アプリケーションにも適用可能であることはいずれ明らかになるであろう。実施例をさらに、符号化規格の一つであるアドバンスト・オーディオ・コーディング（ＡＡＣ）の例を参照して説明するが、本発明は他の多くの符号化規格に同等に適用できることは明らかである。
【００４８】
オーディオのダウンロードサービスは大衆に広まりつつある。サーバ側では、多種多様な歌曲をカバーしているデータベースを加入者が利用できるようにしている。オフラインのプレコーディング段階では、種々のビジネスモデルが用いられている。かなり精巧なオーディオダウンロードサービスでは、クライアントは、圧縮したオーディオコンテンツ項目の個々に電子透かしを付与したコピーを得ることができる。これはダウンロード時のコンテンツを個々に追跡し、且つアプリケーションをストリーミングすることに便宜を図る（犯罪の科学捜査追跡）。
【００４９】
このようなアプリケーションでは、コンテンツ項目に対する要求に応答して、非圧縮ドメインのコンテンツ項目に電子透かしを加える。その後にコンテンツ項目を符号化する。オンラインでの記憶スペースを節約するために、データベースをＡＡＣ（アドバンスド・オーディオ・コーディング）のような不可逆圧縮フォーマットに符号化することがよくある。従って、コンテンツは電子透かしを付加する前に復号化する必要があり、この復号化にて得られた信号を配信用に再-符号化する。
【００５０】
図1は本発明の実施例による信号符号化システム１００を示す。この実施例のシステムは、クライアントが中央サーバからオーディオコンテンツを検索し得るクライアント-サーバダウンロードアプリケーションを具えている。
【００５１】
信号符号化システム１００はソース（図示せず）からオーディオ信号を受信すべく動作し得る受信機１０１を具えている。ソースは外部ソースとするか、又は取り外し可能な記憶媒体（例えば、コンパクトディスク）のような内部ソースとすることができる。受信機１０１は適当なフォーマットのオーディオ信号、本例ではデジタルパルス符号変調（ＰＣＭ）信号を受信する。
【００５２】
受信機は、オーディオ信号を適当な事前符号化信号に符号化すべく動作するプレ‐エンコーダ１０３に結合されている。本実施例におけるこのプレ‐エンコーダは、受信したPCM信号をＡＡＣ符号化して、適当な符号化速度を有するＡＡＣ事前符号化信号を生成する。プレ‐エンコーダ１０３は信号記憶装置１０５に結合されており、これは事前符号化信号を信号記憶装置１０５に格納すべく動作する。特定実施例におけるプレ‐エンコーダ１０３は多数の歌曲を事前符号化して、これらを個々に信号記憶装置１０５に格納することができる。
【００５３】
プレ‐エンコーダ１０３はさらに符号化支援データプロセッサ１０７にも結合されている。この符号化支援データプロセッサ１０７は符号化支援データを生成すべく動作し、この符号化支援データによって事前符号化信号のその後の符号化又は再-符号化を促進したり、支援したりすることができる。本実施例における符号化支援データは主として、プレ‐エンコーダ１０３によって用いられるのと同じ符号化規格による信号の符号化に関連させるが、他の実施例では、他の符号化規格を用い、この規格に符号化支援データを関連させるか又は符号化規格に完全、或いは部分的に無関係とすることもできる。本実施例における符号化支援データプロセッサ１０７は、プレ‐エンコーダ１０３によって事前符号化される全てのコンテンツ項目に対する符号化支援データを生成する。
【００５４】
図１では、符号化支援データプロセッサ１０７を別個の機能モジュールとして示してあるが、プレ‐エンコーダ１０３と符号化支援データプロセッサ１０７を一緒にして構成し得ることは明らかである。例えば、理論上は、プレ‐エンコーダ１０３を二度実行させることができ、一度目は（例えば、１９２kbit/sの）事前符号化データ速度で、次に（例えば、９６kbit/sの）符号化速度で実行させることができる。しかしながら、殆どの計算集中モジュールの場合に、得られる結果はビット速度に無関係であり、速度歪みモジュールだけを各ビット速度に対して一度づつの二度実行させることができるだけである。符号化支援データプロセッサ１０７によって生成される符号化支援データは特に、後の符号化速度（例えば、９６kbit/s）での符号化によって得られるパラメータを含むことができる。ＡＡＣの場合、これらのパラメータは、例えばスケール-ファクタ、セクション-データ及びパルス-データとすることができる。本実施例では、事前符号化データベースの全体をこのプロシージャに従って生成する。
【００５５】
信号記憶装置１０５は電子透かし処理ユニット１０９に結合されている。この電子透かし処理ユニット１０９は、信号記憶装置１０５に結合され、且つ検索した事前符号化信号を復号化すべく動作し得るデコーダ１１１を具えている。このデコーダ１１１は、電子透かし埋め込み器１１３に結合されており、復号化した信号をこれに供給すべく動作可能である。電子透かし埋め込み器１１３は任意の適切なアルゴリズムに従って復号化信号に電子透かしを埋め込むべく動作し得る。例えば、電子透かし埋め込み器１１３は国際特許出願公開WO 02/091374 A1に記載されているアルゴリズムに従って電子透かしを復号化信号に埋め込むべく動作することができる。従って、本実施例によれば、事前符号化信号は、例えば圧縮信号とし、復号化信号は非圧縮信号とすることができる。従って、本実施例によれば、非圧縮ドメインにて有効に埋め込む電子透かしと合成する圧縮信号を有効に記憶させることができる。
【００５６】
電子透かし埋め込み器１１３は、電子透かしを付与した信号を再-符号化して電子透かし付与符号化信号を生成すべく動作し得るリ‐エンコーダ１１７に結合されている。電子透かし付与符号化信号は、圧縮符号化信号とするのが好適であり、これは典型的には事前符号化信号の符号化速度よりも低い符号化速度に圧縮する。
【００５７】
電子透かし処理ユニットはさらに、信号記憶装置１０５に結合された符号化支援データ検索器１１５も具えている。符号化支援データ検索器１１５は、目下電子透かしを付与しようとするコンテンツ項目に関連する符号化支援データを検索すべく動作し得る。実施例によっては、デコーダ１１１が事前符号化信号と符号化支援データの双方を自動的に検索できるようにすることができ、また幾つかの実施例では、符号化支援データ検索器１１５を信号記憶装置１０５でなく、デコーダ１１１に結合させることもできる。この後者のケースは、典型的には、支援データがビットストリームの付属部分にて搬送される場合である。
【００５８】
符号化支援データ検索器１１５は、リ‐エンコーダ１１７にも結合されており、これに符号化支援データを供給すべく動作する。リ‐エンコーダ１１７は、符号化支援データに含まれている情報の幾つか、又はその全てを用いて電子透かし付与信号を再-符号化すべく動作する。これは実質上主観的な品質を改善し、しかも再-符号化処理によって必要とされる処理を容易にすると共にその処理の複雑性を低減し、これにより電子透かし処理ユニット１０９の複雑性が十分に低減し、その処理能力が向上する。
【００５９】
リ‐エンコーダ１１７は、電子透かしを付与した符号化信号を一人以上のクライアントに配信すべく動作する配信プロセッサ１１９に結合されている。本実施例の配信プロセッサ１１９は、インターネットへのインタフェースを具えており、これによりコンテンツ項目を既存の非専用手段を介して配信することができる。
【００６０】
このように、本実施例では、コンテンツ項目を要求し、そのコンテンツ項目を事前符号化したビットストリームを復号化して、コンテンツに電子透かしを付与する。再-符号化段では、スケール-ファクタ、セクション-データ及びパルスデータのような符号化支援データを用いて電子透かし付与コンテンツを符号化する。例えば、ＴＮＳ及びブロック-スイッチングデータのような情報を含んでいる他の符号化支援データは、事前符号化信号のビットストリームから直接コピーする。その結果、リ‐エンコーダは、セクション-データにて搬送される使用可能なコード-ブック情報に基づいた量子化及び符号化を行なうだけで済む。電子透かしを付与するから、スペクトル係数の尺度は予め選択したコード-ブックにて適合させなくて済む。この場合には、コード-ブックの境界に対してクリッピングを行なうことができる。このクリッピングはその場合に0.1%以下にて生じ、これは感知されるオーディオ品質には悪影響を及ぼさないことを実験的に確かめた。
【００６１】
実際のアプリケーションがさらに、クライアントからの要求を受け取ったり、コンテンツ項目をクライアントに配信したり、信号記憶装置におけるコンテンツ項目のコレクションを管理したり、コンテンツ項目を作成したりする等の機能性も含むことは明らかである。しかしながら、このような機能性の実現は当業者には周知であるので、これについてはここでは詳述しない。
【００６２】
符号化支援データは、信号記憶装置１０５内に別個に記憶させるのではなくて、事前符号化信号そのものに含ませるのが好適である。多くの符号化標準規格は、信号を復号化するのには直接必要とされない追加のデータを含めることを許容している。従って、多くの符号化標準規格は、追加のデータを包含させることができる付属のデータセクションを  符号化信号に含めることができるようにしている。例えば、ＡＡＣは、データストリームエレメント（ＤＳＥ）又はフィルエレメント（ＦＩＬ）として知られている付属のデータセクションにデータを含めることができるようにしている。符号化支援データを事前符号化信号そのものに格納することによって、符号化支援データを自動的に格納し、検索し、且つ事前符号化信号と一緒に配信することができ、これにより動作が促進される。
【００６３】
本実施例におけるリ‐エンコーダ１１７は、電子透かし付与信号の再-符号化に用いることのできる符号化支援データから符号化パラメータを生成すべく動作可能である。本実施例における事前符号化信号及び電子透かし付与符号化信号の符号化速度は異なり、特に、リ‐エンコーダ１１７の符号化速度は事前符号化信号の符号化速度よりも低い。このように、例えば１９２kbpsの事前符号化信号は９６kbpsに再-符号化される。幾つかの実施例では、リ‐エンコーダ１１７の符号化速度を変えることができ、これは特に、例えばユーザによる要求に応答して、各コンテンツの項目毎に変えることができる。
【００６４】
リ‐エンコーダ１１７は符号化支援データのデータを処理して、そのデータを採用符号化速度に適えさせるべく動作し得る。実施例によっては、符号化支援データに、種々のデータ速度に関連付けた符号化パラメータを含めることができ、リ‐エンコーダ１１７は単に、当面の符号化速度にふさわしい符号化パラメータを選択して使用することができる。オーディオ用電子透かしに対する最適な検出能にとっては、事前符号化のＡＡＣビット速度を再-符号化ビット速度よりも高くするのが好適であることを実験的に確かめた。
【００６５】
特に、幾つかの符号化パラメータは、符号化速度にほぼ無関係とすることができ、リ‐エンコーダ１１７はこれらのパラメータを直接用いることができる。場合によっては、これらの符号化パラメータを（別々又は付属のデータセクションではなく）事前符号化信号に本質的に含めることができ、しかも事前符号化信号から直接抽出して、再-符号化処理に用いることができる。
【００６６】
このようなパラメータの一例にスケールファクタの帯域幅がある。符号化速度が高い場合には、高い数のスケールファクタを符号化することができる。この場合、高い符号化速度に対するスケールファクタは、低いビット速度に対して得られるスケールファクタ指数にまで符号化することができる。斯様なパラメータの他の例として、ＡＡＣ符号化標準規格のＴＮＳ及びブロック-マッチングパラメータがある。
【００６７】
実施例によっては、プレ‐エンコーダ１０３は事前符号化信号の符号化速度以外の符号化速度に関連する符号化データを生成すべく動作することができる。例えば、プレ‐エンコーダ１０３はスケールファクタ、セクションデータ及びパルスデータのような符号化パラメータを第２符号化速度で生成することができる。これらの符号化パラメータは符号化支援データに含めて、事前符号化信号の付属データセクションに格納しておき、後に再-符号化に用いることができる。
【００６８】
さらに、又は代案として、符号化支援データは、直接取り出されるのではなくて、再-符号化速度に適用できるが、リ‐エンコーダ１１７によって使用できる符号化パラメータを取り出すべく処理し得る符号化パラメータを包含することができる。例えば、幾つかの符号化パラメータは、符号化速度と予定した、又は予め評価した関係を持つことができる。特に、符号化速度の関数としての、幾つかの符号化パラメータの変動は正確に、又は近似的に知ることができ、この関数を符号化支援データの符号化パラメータに適用して、リ‐エンコーダ１１７の符号化速度に対する適切な値を見つけることができる。
【００６９】
符号化パラメータの特殊な例は、スケールファクタの帯域に対してどのコードブックを用いるかを指示するセクションデータを含む。当業者に明らかなように、コードブックは、スケールし、且つ量子化したスペクトル係数を可変調ハフマンコードワードに変換するのに用いることができる。
【００７０】
他の例は、スペクトル係数における異常値を表すのに用いられるパルスデータである。スペクトルデータのダイナミックスが高い場合には、複雑性の低いコードブックを用いることができるように、単一のスペクトル成分を抽出するのが有利である。パルスデータはこれら抽出成分の位置及び大きさを表す。
【００７１】
他の例として、符号化支援データが符号化スケールファクタデータを含むようにすることができる。当業者に明らかなように、スケールファクタは量子化する前にスペクトルデータをスケールするのに用いられる。スペクトル係数の大きさを小さくすればするほど量子化が粗くなる。典型的には、フレーム当たりのスケールファクタ帯域毎に１つのスケールファクタが存在する。スケールファクタ帯域は、おおよそ臨界帯域に対応する幅を有する余弦変換係数のグループを表す。
【００７２】
実施例によっては、リ‐エンコーダの符号化速度に関連するスケールファクタをプレ‐エンコーダ１０３によって決定し、符号化支援データとして格納することができる。
【００７３】
しかしながら、符号化支援データは特定のスケールファクタを含まず、むしろ事前符号化信号のスケールファクタに適用し得るスケールファクタオフセットを含むようにして、異なる符号化速度でスケールファクタを生成するのが好適である。例えば、リ‐エンコーダはこの例では、事前符号化信号のスケールファクタを抽出し、且つこれらのスケールファクタを符号化支援データのスケールファクタオフセット値によってオフセットすることにより第２符号化速度に対するスケールファクタを単に生成することができる。
【００７４】
ＡＡＣ符号化の特殊な例として、スケールファクタは、スペクトルデータを量子化器による量子化に適した範囲にスケールするのに用いられる。スケールファクタは量子化エラーを直接制御する。スケールファクタはスケールファクタの帯域毎に計算される。スケールファクタ帯域の帯域幅は臨界帯域程度の大きさに相当する。スケールファクタ曲線の形状は主としてスペクトル信号エネルギー及びマスクド閾値によって決定される。スケールファクタ曲線のオフセットは主として符号化速度によって決定される。信号を同じエンコーダで２つの符号化速度で符号化する場合、スケールファクタの形状は典型的には似たものとなる。異なるエンコーダを用いる場合には、スケールファクタに大きなずれが生じ得る。オフセット及び符号化速度の差に応じて、能動（ゼロでない）スケールファクタの数は異なる符号化速度に対して相違する。
【００７５】
図２は異なる符号化速度に対するスケールファクタの例を示す。特に、図２は６４kbit/sのAAC符号化信号２０１と、１２８kbit/sのAAC符号化信号２０３に対するスケールファクタの例を示す。これから明らかなように、これらのスケールファクタのシフトは周波数スペクトルに亘って殆ど一定である。なお、１２８kbit/sに対して得られるスケールファクタの数は６４kbit/sに対して得られるそれよりも高い。これは、符号化の帯域幅が高いビット速度で得られる帯域幅の方が高くなるからである。
【００７６】
スケールファクタはＡＡＣの場合、‘グローバルゲイン’と称される第１の非ゼロスケールファクタに対して差分的に符号化される。典型的には、６４kbit/sの符号化ビット速度の場合、セグメントファイルデータは約６kbit/sのデータ速度を必要とする。これは、スケールファクタを差分的に符号化することによって僅か数kbit/sに減らすことができる。さらにビット速度を減らすために、事前符号化信号のスケールファクタを、符号化速度の低いスケールファクタのシフトしたものと置き換えることができる。オフセットは、ビットストリームに関連するスケールファクタ曲線間の総オフセットに相当する。従って、この実施例では、電子透かし処理ユニットのデコーダがスケールファクタを引き出して、これらのスケールファクタを、事前符号化信号を復号化する前に符号化支援データのスケールファクタオフセットによって相殺する。リ‐エンコーダは事前符号化信号のスケールファクタを直接引き出して、これらを再-符号化用に用いることができる。
【００７７】
スケールファクタオフセットを用いる符号化支援データは電子透かしの埋め込みが行なわれているか、否かに関係なく再-符号化用に用いることができることは、当業者に明らかである。
【００７８】
好ましくは、プレ‐エンコーダ、デコーダ及びリ‐エンコーダは整列したフレームで動作し得るようにする。電子透かしの追加はスペクトル係数をごく僅かしか変更しないため、再量子化するこれらの値による復号化後のスペクトル係数はほぼ同じとなる。従って、電子透かしを十分な堅牢性で首尾よく付与するために、信号記憶にスペクトル係数を表すのに用いられる符号化速度は、再-符号化後における速度よりも高くするのが好適であることに留意すべきである。
【００７９】
本発明はハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む適切な形態にて実現することができる。しかしながら、本発明は、少なくとも部分的に、１つ又はそれ以上のデータプロセッサ及び/又はデジタル信号プロセッサで実行するコンピュータソフトウェアとして実施するのが好適である。本発明の実施例の要素及びコンポーネントは任意の適切な手法にて物理的、機能的且つ論理的に実行させることができる。実際上、機能性は単一ユニットか、複数ユニットで実施させるか、又は他の機能ユニットの一部として実施させることができる。このように、本発明は単一ユニットにて実施させるか又は種々のユニットとプロセッサと間に物理的、且つ機能的に配信させることができる。
【００８０】
本発明を好適実施例につき説明したが、本発明はこれまでに述べた特定形態のものに限定されるものでなく、特許請求の範囲の記載を逸脱することなく幾多の変更を加え得ることは勿論である。なお、特許請求の範囲の記載において、「具える」と言うことは、他の要素又はステップの存在を除外するものではない。さらに、個々に列記したが、複数の手段、要素又はステップは、例えば単一のユニット又はプロセッサによって実行させることができる。また、異なる請求項に個々の特徴を含めることができるが、これらは有利に組み合わせることができるのであって、それぞれの異なる請求項の包括事項は、こうした特徴の組み合わせが容易でないか、及び/又は有利でないと云うことを意味しているのではない。さらに、単数表現は複数のものを除外するものではない。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施例による信号符号化システムを示す概略図である。
【図２】種々の符号化速度に対するスケールファクタの例を示す図である。
【図１】
2007510938.tif 000003
【図２】
2007510938.tif 000004
【国際調査報告】
2007510938.tif 000005
2007510938.tif 000006
2007510938.tif 000007