(57)【特許請求の範囲】
【請求項１】
対話型及び従来型の広告、電子商取引の勧誘及びメッセージ、世論調査、ビデオゲーム、対話型の音楽ビデオ、及びコンピュータプログラムを含むグループから選択された付加用ディジタルデータを事前準備されたディジタルメディアファイルに埋め込むためのプロセスであって、
符号化手段により、前記事前準備されたディジタルメディアファイルを、該ディジタルメディアファイルの周波数領域における係数による表現に符号化して、該ディジタルメディアファイルを圧縮するステップと、
前記符号化手段により前記係数の組を選択するステップであって、各係数の組が、前記圧縮されたディジタルメディアファイル内の連続する複数の前記係数からなる、ステップと、
前記符号化手段により、前記付加用ディジタルデータを、百キロビット／秒のオーダーのレートで符号化されたディジタルメディアファイルの前記係数の各組中の係数に数千ビット／秒のオーダーのレートで埋め込んで、そのような埋め込まれたデータを含むメディアファイルを生成することにより、ユーザが、前記事前準備されたディジタルメディアファイルと前記埋め込まれた付加用データの両方を再生装置によって復号して再生することができるようにするためのステップと、
を含み、
前記符号化手段は、前記埋め込むステップにおいて、前記係数の各組中の複数の係数の最下位ビットのパリティを用いて、該係数の各組中の係数に前記付加用ディジタルデータの単一ビットを埋め込むことからなる、プロセス。
【請求項２】
前記符号化手段が、フーリエ変換、コサイン変換、サイン変換及びウェーブレット変換のうちの少なくとも１つの離散変換によって前記係数を準備する、請求項１のプロセス。
【請求項３】
前記係数が、前記符号化手段により、周波数係数と位相係数の一方または両方として選択される、請求項１のプロセス。
【請求項４】
前記符号化手段により、前記付加用データが埋め込まれていないメディアファイルの再生状態に対する、前記付加用データが埋め込まれたメディアファイルの再生状態についてのユーザが識別可能な劣化を最小限にしつつ、前記係数の最下位ビットの前記パリティーにより、データのビットが埋め込まれる、請求項１のプロセス。
【請求項５】
ステガノグラフィック符号化を使用する請求項１のプロセスであって、前記符号化手段により前記付加用データがビットストリームに変換され、該符号化手段は、前記付加用データが埋め込まれていないメディアファイルの再生状態に対する、前記付加用データが埋め込まれたメディアファイルの再生状態についてのユーザが識別可能な劣化が最小になるように、前記付加用データを埋め込む前記ディジタルメディアファイル内の位置を選択することからなる、プロセス。
【請求項６】
ディジタルウォーターマーキングされた前記ディジタルメディアファイルに、前記符号化手段により、前記付加用データが埋め込まれる、請求項１のプロセス。
【請求項７】
前記ディジタルメディアファイルが、オーディオ、画像、ビデオ、２次元スプラインデータポイント、３次元スプラインデータポイント、及び体積型データファイルのうちの少なくとも１つである、請求項１のプロセス。
【請求項８】
前記ディジタルメディアファイルが、MPEGフォーマットにおけるオーディオファイルとビデオファイルのうちの少なくとも１つである、請求項１のプロセス。
【請求項９】
前記ディジタルメディアファイルが、JPEGフォーマットにおける画像ファイルである、請求項１のプロセス。
【請求項１０】
前記スプラインデータが、ベジェ曲線かNURBSである、請求項７のプロセス。
【請求項１１】
前記符号化手段により、前記体積型データが、３次元DCTまたは３次元高速フーリエ変換を使用して圧縮される、請求項７のプロセス。
【請求項１２】
前記ディジタルメディアファイルが、オーディオ、画像、ビデオ、２次元スプライン、３次元スプライン、体積型情報、及びマルチメディア情報のうちの１つを含む、請求項１のプロセス。
【請求項１３】
対話型及び従来型の広告、電子商取引の勧誘及びメッセージ、世論調査、ゲーム、対話型の音楽ビデオ、及びコンピュータプログラムを含むグループから選択された付加用ディジタルデータを事前準備されたディジタルメディアファイルに埋め込むためのシステムであって、
該システムが、符号化装置、及び再生装置を備え、
前記符号化装置が、
前記事前準備されたディジタルメディアファイルを、該ディジタルメディアファイルの周波数領域における係数による表現に符号化して、該ディジタルメディアファイルを圧縮するための第１の符号化手段と、
係数の組を選択するための手段であって、各係数の組が、前記圧縮されたディジタルメディアファイル内の連続する複数の前記係数からなる、手段と、
前記付加用ディジタルデータを、百キロビット／秒のオーダーのレートで符号化されたディジタルメディアファイルの前記係数の各組中の係数に数千ビット／秒のレートで埋め込んで、そのような埋め込まれたデータを含むメディアファイルを生成することにより、ユーザが、前記事前準備されたディジタルメディアファイルと前記埋め込まれた付加用データの両方を前記再生装置で復号して再生することができるようにするための第２の符号化手段
を備え、
前記第２の符号化手段は、前記係数の各組中の複数の係数の最下位ビットのパリティを用いて、該係数の各組中の係数に前記付加用ディジタルデータの単一ビットを埋め込むことからなる、システム。
【請求項１４】
前記事前準備されたディジタルメディアファイルが、オーディオ、画像、ビデオ、２次元スプライン、３次元スプライン、体積型情報、及びマルチメディア情報のうちの少なくとも１つである、請求項１３のシステム。
【請求項１５】
前記第１の符号化手段が、フーリエ変換、コサイン変換、サイン変換及びウェーブレット変換のうちの１つによって前記係数を準備する、請求項１４のシステム。
【請求項１６】
前記第１の符号化手段が、周波数係数と位相係数の一方または両方として前記係数を選択する、請求項１３のシステム。
【請求項１７】
前記第２の符号化手段が、前記付加用データが埋め込まれていないメディアファイルの再生状態に対する、前記付加用データが埋め込まれたメディアファイルの再生状態についてのユーザが識別可能な劣化を最小限にしつつ、前記係数の最下位ビットの前記パリティーに応答して、データのビットを埋め込む、請求項１３のシステム。
【請求項１８】
付加用ディジタルデータを圧縮されたディジタル情報ストリームに埋め込むためのプロセスであって、
符号化手段により、前記圧縮されたディジタル情報ストリームを、該ディジタル情報ストリームの周波数領域における係数による表現として符号化するステップと、
前記符号化手段により係数の組を選択するステップであって、各係数の組が、前記符号化されたディジタル情報ストリーム内の連続する複数の前記係数からなる、ステップと、
前記符号化手段により、前記付加用ディジタルデータを百キロビット／秒のオーダーのレートで符号化されたディジタル情報ストリームの前記係数の各組中の係数に少なくとも数千ビット／秒のオーダーのレートで埋め込んで、そのような埋め込まれたデータを含むストリームを生成することにより、ユーザが再生装置を用いて、前記ディジタル情報ストリームと前記埋め込まれた付加用ディジタルデータの両方を復号して再生することができるようにするためのステップ
を含む、プロセス。
【請求項１９】
対話型及び従来型の広告、電子商取引の勧誘及びメッセージ、世論調査、ゲーム、対話型の音楽ビデオを含むグループから選択された付加用ディジタルデータをディジタル情報ストリームに埋め込むためのプロセスであって、
符号化手段により、前記ディジタル情報ストリームを、前記ディジタル情報ストリームの周波数領域における係数による表現に符号化して、該ディジタル情報ストリームを圧縮するステップと、
前記符号化手段により係数の組を選択するステップであって、各係数の組が、前記圧縮されたディジタル情報ストリーム内の連続する複数の係数からなる、ステップと、
前記符号化手段により、前記付加用ディジタルデータを百キロビット／秒のオーダーのレートで符号化されたディジタル情報ストリームの前記係数の組中の係数に数千ビット／秒のレートで埋めこんで、そのような埋め込まれたデータを含むデータファイルを生成することにより、ユーザが再生装置を用いて、前記ディジタル情報ストリームと前記埋め込まれた付加用ディジタルデータの両方を復号して再生することができるようにするためのステップ
を含む、プロセス。
【請求項２０】
対話型及び従来型の広告、電子商取引の勧誘及びメッセージ、世論調査、ゲーム、対話型の音楽ビデオ、及びコンピュータプログラムを含むグループから選択された付加用ディジタルデータを圧縮されたディジタル情報ストリームに埋め込むためのプロセスであって、
符号化手段により、前記圧縮されたディジタル情報ストリームを、該ディジタル情報ストリームの周波数領域における係数による表現として符号化するステップと、
前記符号化手段により係数の組を選択するステップであって、各係数の組が、前記符号化されたディジタル情報ストリーム内の連続する複数の前記係数からなる、ステップと、
前記符号化手段により、前記付加用ディジタルデータを百キロビット／秒のオーダーのレートで符号化されたディジタル情報ストリームの前記係数の各組中の係数に数千ビット／秒のオーダーのレートで埋め込んで、そのような埋め込まれたデータを含むメディアファイルを生成することにより、ユーザが、前記ディジタル情報ストリームと前記埋め込まれた付加用ディジタルデータの両方を復号して再生することができるようにするためのステップ
を含み、
前記符号化手段は、前記埋め込むステップにおいて、前記係数の各組中の複数の係数の最下位ビットのパリティを用いて、該係数の各組中の係数に前記付加用ディジタルデータの単一ビットを埋め込むことからなる、プロセス。
【発明の詳細な説明】
［発明の分野］
本発明は、一般的には、ディジタル情報を、オーディオ、画像及びビデオメディアファイル、体積型データファイル、２次元及び３次元スプライン及び他のデータファイル等に符号化する技術を改良することに関連している。より具体的には、本発明は、それらのメディアファイル、特に、圧縮されたオーディオ、画像、ビデオ、３次元及びその他のメディアファイルなどに、簡単な著作権情報または所有権情報あるいは関連する制限情報を符号化する際に、比較的短いシーケンスと区別される、大きなデータシーケンスを、シームレスかつフレキシブルに埋め込むことができるようにすること（但し、これに限定されるわけではない）に関連する。この技術は、他の種類の圧縮データファイル及びフォーマットにも同様に有効である。
［背景］
従来、データは、アナログ形式で表現されたメディア情報及びフォーマットに埋め込まれることが多い。この技術は、例えば、テレビやラジオにおいてテキストのような補助データを伝送する場合に広く使用されている。しかしながら、この技術では、一般的に、高ビットレートのディジタルデータを伝送することはできない。
【０００１】
ウォーターマーキングデータ（電子透かし用データ）も、メディアの劣化や（人為的）操作から防護するために埋め込まれている。典型的なウォーターマーキング（電子透かし技術）は、メディアファイルに共通に適用されるタイプの変換において保持される信号の全体的特性を利用する。これらの技法もまた、かなり低ビットレートに制限される。実際のところ、オーディオ用ウォーターマーキング技法におけるビットレートは、１秒当たりわずか数十データビットの程度である。
【０００２】
高ビットレートの使用を可能にするディジタルメディアの低ビット信号領域（信号ドメイン）にデータを埋め込んだ場合には、そのようなデータは、圧縮されていないか、または、かなり低い圧縮レートのみが可能である。その上、多くの現在の圧縮ファイルフォーマットは、そのような信号領域表現を使用せず、従って、この技法の使用には適さない。さらに、この技法は、音声ファイルにデータを符号化するために使用されるときには、可聴ノイズを発生しがちである。
【０００３】
かかる技術及び関連する技術及び用途について記載している先行特許には、米国特許第4,379,947号（オーディオと同時にデータを送信する処理に関する）、同第5,185,800号（精神聴覚基準に基づく適応量子化を用いて変換ディジタル放送信号にビット割り当てを使用することに関する）、同第5,687,236号（ステガノグラフィー：電子迷彩技術）、同第5,710,834号（グラフィックイメージ中を伝送されるコード信号）、同5,832,119号（実験データ中に埋め込まれた制御信号により制御するシステムに関する）、同第5,850,481号（埋め込み式文書に関するが、任意のデータまたはコンピュータコードに関するものではない）、同第5,889,868号（ディジタルデータにおけるディジタルウォーターマーク）及び同第5,893,067号（オーディオ信号に隠されたエコーデータ）がある。
【０００４】
上記技術に関連する先行文献には、Bender.W.D.Gruhl,M.Morimoto及びA.Luによる「Techniques for data hiding」（IBM Systems Journal,Vol.35,Nos.3&4,1996,p.313-336）、MPEG Spec-ISO/IEC 11172,part I-3,Informatin Technology-Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbit/s（Copyright 1993,ISO/IEC）、ID3v2 Spec（http://www.id3.org/casy.html 及びhttp://www.id3.org/id3v2.3.0.html）がある。
【０００５】
マルチメディアデータラベリング、特に、低ビットレート情報符号化においてウォーターマークを使用する著作権ラベリングの概要については、Langelaar,G.C.他の「Copy Protection For Multimedia Data based on Labeling Techniques」に記載されている。（http://www-it.et.tudelft.nl/html/research/smash/public/benlx96/benelux_cr.html）。
【０００６】
上述の「MPEG Spec」及び「ID3v2 Spec」文献に特に関連して、我々は、「Process Of And System For Seamlessly Embedding Executable Program Code Into Media File Formats Such As MP3 And The Like For Execution By Digital Media Player And Viewing Systems」と題する同時係属中の米国特許出願において、本発明の埋め込み概念のいくつかを適用する技法について開示している。もっとも、それは、ディジタルメディア再生装置において、１つ以上の事前準備されたオーディオ、ビデオ、静止画像、３次元または他の一般的に非圧縮のメディアフォーマットに、付加的なグラフィック、インタラクティブな及び／または電子商取引のコンテンツ表現を有する事前準備された提示物を追加する拡張機能を組み込むことに特化したものであるが。
【０００７】
しかしながら、前述したように、本発明は、より広くは、圧縮フォーマットにデータ埋め込むこと、及び、データの周波数表現を、一般的には、フーリエ変換、離散コサイン変換、ウェーブレット変換、あるいは、他の周知の関数によって符号化することに関連する。本発明は、メディアの圧縮ディジタル表現に高レートのデータを埋め込むものであり、これには、圧縮データの周波数表現の係数の下位ビットを変更することによるものが含まれる。これによって、高速に符号化及び復号化を行うという利益も得られる。なぜなら、長々とした追加の復号化／符号化処理を行うことなく、圧縮されたメディアの係数を直接変換することができるからである。本発明の技術は、ウォーターマーキングと組み合わせて使用することができる。但し、この場合、ウォーターマーキングは、データの符号化処理の前に適用される。
【０００８】
上記したLangelaar他による文献は、以下の追加の先行技術文献を参照しており、それらについて説明している。
J.Zhao, E.Kochの「Embedding Robust Labels into Images for Copyright Protection」（Proceedings of the International Congress on Intellectual Property Rights for Specialized Information, Knowledge and New Technologies, Vienna, Austria, August 1995）、
E.Koch, J.Zhaoの「Towards Robust and Hidden Image Copyright Labeling」（Proceedings IEEE Workshop on Nonlinear Signal and Image Processing, Neos Marmaras,June 1995）、
F.M.Boland,J.J.K O Ruanaidh, C.Dautzenbergの「Watermarking Digital Images for Copyright Protection」（Proceedings of the 5th International Conference on Image Processing and its Applications,No.410,Endinburgh,July,1995）。
【０００９】
以下のLangelaarによる他の論文にもMPEG圧縮ビデオフォーマットのラベリングが開示されている。
G.C Langelaar, R.L.Lagendijk, J.Biemondの「Real-time Labeling Methods for MPEG Compressed Video」（18th Symposium on Information Theory in the Benelux,15-16 May 1997, Veldhoven, The Netherlands）。
【００１０】
これから詳しく説明するように、これらのZhao、Koch,Boland他及びLangelaar他による文献には、本発明が用いる技術のコンポーネントに部分的に類似した符号化技術のアプローチが開示されているが、本発明が取り組み、本発明によって得られるところの所望の利点を得つつ全体的な問題を解決することを見越したものでも、それらの問題を解決するべく実際上適合したものでもない。
【００１１】
先ず、上記したZhao及びKochのアプローチについて説明する。このアプローチでは、JPEGベースの技術を用いて画像に信号を埋め込む。（［JPEG］Digital Compression and Coding of Continuous-tone Still Images,Part 1:Requirements and guidelines,ISO/IEC DIS 10918-1）。先ず、８×８ブロックDCT内の係数の中間の周波数範囲から選択した３つの係数の大きさの順に信号を符号化する。そして、これら３つの係数間の順序関係における９つの順列を次の３つのグループに分ける。すなわち、「１」のビットを符号化するグループ（HML、MHL及びHHL）、「０」のビットを符号化するグループ（MLH、LMH及びLLH）、「データなし」を符号化する第３のグループ（HLM、LHM及びMMM）である。彼ら（Zhao及びKoch）は、この技法をビデオデータのウォーターマーキングにも拡張している。この技法は、変更に対して頑強で（ロバスト性があり）、かつ、柔軟性があるが、大量のデータを符号化することはできない。なぜなら、それらは、符号化されているデータの近くにデータがあるところのブロックを変更することができるだけであり、さもなくば、「データなし」を符号化するよう係数を変更しなければならないからである。この技法は、また、係数の大規模な順序関係を変更しなければならないので、データを厳密に変更しなければならない。より詳しく後述するように、これらのデメリットは、係数内の単一ビットだけを変更することによってデータを符号化する本発明の技法によって克服される。
【００１２】
Boland、Ruanaidh、及びDautzenbergについては、彼らは、DCTウォルシュ変換（DCT Walsh Transform）、または、画像のウェーブレット変換を生成する技法を用い、選択した係数に１を加えて「１」ビットを符号化するか、または、選択した係数から１を引いて「０」ビットを符号化する。この技法は、一見したところでは、本発明のコンポーネントの１面に幾分類似しているように見えるが、本発明によって除去される極めて重大な制限、すなわち、符号化された画像を元の画像と比較することによってのみ情報を抽出することができるという制限を有している。このことは、メディアファイルのウォーターマークされたコピー、及び、ウォーターマークされていないコピーを、ウォーターマーキングのために同時に送らなければならないということを意味する。これは、かなり厳しい制限であるが、最下位ビット符号化技術の使用を新規に組み込んだ本発明によって解消される。
【００１３】
かかる最下位ビット符号化技法は既に提案されているが、本発明のようには実施されていない。例えば、Langelaar、Langendijk及びBiemondの文献は、DCT係数を表す可変長コード（VLC）の最下位ビットを変更することによってMPEGビデオストリーム内のデータを符号化する技法について教示している。Langelaar他の符号化方式では、VLC値のみの置き換えを可能にすることによってファイルの長さを一定に維持する。それらのVLC値は、同じ長さの別の値で置き換えることができ、１だけ大きさが異なっている。この符号化方式は、ファイルを単純に横断して、全ての適切なVLC値を変更するものである。しかしながら、彼ら（Langelaar、Langendijk及びBiemond）の技法の欠点は、適切なVLC値が、比較的少ない（１．４Ｍビット／秒ビデオファイルにおいて１６７／秒であり、従って、１４０万ビットの情報中わずか１６７ビットを符号化できるだけである）ということである。
【００１４】
これに対して、本発明の技法をビデオに適用した場合には、近傍の係数のグループまたは組を一緒に変更できるようにすることによって、かかる制限は除去され、かつ、ファイル長を一定に保持しつつはるかに高いビットレートを実現することができる。本発明の技法は、また、はるかに大量の情報を知覚上の影響を生じずに記憶することを可能にする。なぜなら、本発明の技法では、変更される係数の選択を精神知覚モデルが決定することができるからである。
【００１５】
実際、従来技術とは異なり、本発明による改良された技法では、前記した文献によるレート（３００ビット／秒のオーダー）よりも数桁大きなレートで、オーディオ、画像、又はビデオファイルへのディジタル情報の符号化が可能である。後述するように、本発明は、実際に、128,000ビット／秒オーディオファイルに３０００ビット／秒のデータストリームを簡単に埋め込むことができる。
【００１６】
従来技術では、比較的短いシーケンスのデータだけをメディアファイルに埋め込んでいる。すなわち、典型的には、単純な著作権情報や所有権情報を符号化している。本発明の技法によれば、コンピュータプログラム全体、マルチメディア注釈、または、長い追加の通知事項などの全く新たな部類のコンテンツをメディアファイルに含めることが可能である。前記同時係属中の出願に記載しているように、メディアファイルに埋め込まれたコンピュータプログラムは、商取引、対話型コンテンツ、対話型広告及び従来型の広告、世論調査、ＣＤやコンサートチケットの購入などの電子商取引の勧誘を含む、あらゆる種類の拡張された統合型業務処理メディア、また、ユーザのマウスの動きに反応し、かつ、音楽のビートに同調したゲームや対話型の音楽ビデオのような完全にリアクティブなコンテンツを操作することができる。これによって、テレビや、ソニーのウォークマン（商標）や任天堂のゲームボーイ（商標）のようなポータブル装置、Rio及びNomadなどのポータブルMP3プレーヤといったソフトウエア及びハードウエアプラットホームに、販売のポイントを音楽と統合することができる。本発明によれば、新しいビジネスモデルを作成することもできる。例えば、歌曲のコピーをやめさせようとしているレコード会社があった場合に、コピーをやめさせるのではなく、自由でオープンな音楽の配信を促進し、これによって、埋め込まれた広告及び電子商取引メッセージを、潜在的な顧客である最大限の聴視者に届けるようにすることができる。
［本発明の目的］
従って、本発明の主な目的は、上記した従来技術の制限及び欠点を被ることなく、圧縮されたオーディオ、画像、ビデオ及び他のメディアファイル等にデータを埋め込むための新規で改良されたプロセス（処理）、システム及び装置を提供することであり、従来技術とは対照的に、大きなデータシーケンスを、シームレスにかつ容易にそれらの圧縮されたデータメディアファイルに埋め込めるようにし、他の追加のコンテンツ（補足用コンテンツ）の中でもとりわけ、コンピュータプログラム全体、マルチメディア注釈、及び長い追加の通信事項（但し、これらに限定されるわけではない）を含む新しい部類のコンテンツを追加できるようにすることである。
【００１７】
本発明の他の目的は、ディジタルウォーターマーキングを使用することも可能な新規な処理を提供することである（但し、ウォーターマーキングはデータ符号化処理の前に適用される）。
【００１８】
本発明のさらに他の目的は、より一般的かつ汎用的に適用可能であり、体積型データファイル、２次元及び３次元スプラインデータポイントファイル、及び他のデータファイルを包含する、新規な埋め込み技術を提供することである。
【００１９】
本発明のさらに他の目的については後述するが、より具体的には特許請求の範囲に示されている。
［概要］
従って、本発明をより広い観点の１つから要約すると、本発明には、事前準備された圧縮ディジタルメディアファイルに補足用のディジタルデータを埋め込むための処理（プロセス）が含まれる。この処理は、圧縮ディジタルメディアファイルを事前準備されたメディアファイル情報の１組の係数表現として符号化するステップと、選択した係数に補助的ディジタルデータの一部を埋め込んで、ユーザが事前準備されたメディアファイル情報と埋め込まれた補助的データの両方をデコードして再生することができるようにするために、埋め込まれたデータを含むメディアファイルを生成するステップ、を含む。
【００２０】
好適かつ最良の実施態様、構成及び技法については、添付図面を参照して詳細に後述する。
［本発明の好適な実施態様の説明］
前述したように、本発明のプロセス及びシステムの重要な用途は、補足用の比較的大量のデータを、周波数領域変換によって圧縮されている事前準備されたメディアファイルに追加することと、ソースメディアを近似するか、または、ソースメディアを表す１組の係数を提供することである。このような大量の補足用ディジタルデータは、シームレスかつ容易にファイルに埋め込まれる。されに、これは、補足用データをディジタルメディア再生装置によって抽出できるようにし、かつ、既存のメディアプレーヤとの下位互換性が維持されるようなやり方で行われる。
【００２１】
適切な圧縮メディアフォーマットは、メディアファイルを信号領域から１組の関数係数（function coefficient）に変換（例えば、フーリエ変換、サイン変換、コサイン変換、ウェーブレット変換、及びそれらのバリエーション）することによって、そのメディアファイルを圧縮するものである。かかる圧縮メディアフォーマットでは、前述したように、１組の係数は、オリジナルのデータファイルよりもコンパクトな表現であるにもかかわらず、ソースメディア（元のメディア）を近似する。
【００２２】
本発明が使用する適切な圧縮メディアフォーマットの例には、前述の文献に記載されているMP3、MP2、MPEG及びJPEGフォーマットが含まれるが、これらには限定されない。圧縮メディアには、ディジタルウォーターマークなどの追加の埋め込みデータを含めることができる。
【００２３】
圧縮メディアに埋め込むことが可能なデータには、テキストファイル、データベースファイル、（Java（登録商標）ファイル、Macromedia Director、ShockwaveまたはFlash、Perl、VRML、TCL、Visual Basic、マシンコード（機械語）、または、バイトコードのような）実行可能なプログラムコード、画像ファイル、オーディオファイル、３次元ファイル、または、cab（キャブ）、jar（ジャー）またzip（ジップ）等の任意のアーカイブフォーマットが含まれるが、これらには限定されない。
【００２４】
元の事前準備されたメディアファイルコンテンツと補足用の埋め込みデータコンテンツの両方を提示するための再生装置には、メディアファイルを再生し、または、表示することが可能な任意のコンピュータシステムが含まれる。プレーヤの具体的な例には、ポータブルミュージックプレーヤ、パーソナルディジタルアシスタント（個人用携帯型情報端末：PDA）、ウェブTV、ディジタルテレビ、カーステレオ、家庭用オーディオシステム、ビデオウォール（video wall）、コンソール及びポータブルゲーム装置等が含まれるが、これらには限定されない。
【００２５】
図面に示した種々のシステム及び応用に関連してより詳細に後述するように、本発明の実施の基礎をなすのは、係数に少しの変更を加えることによってディジタルデータ信号のビットを符号化するための新規な技術である。事前準備されたデータファイルは、ディジタル形式で記憶され、送信されるので、その少しの変更は完全に保持される。しかしながら、高いビットレートの情報を符号化するために使用される場合には、これらの技術は、データファイルの変更に対して常に頑強であるとは限らず、データが破損する場合がある。頑強性（ロバスト性）は、データのくり返しによって、及び、変更する係数を注意深く選択することによって改善することができる。しかし、本発明の技術の意図した用途の多くにおいて、頑強性は、ユーザの圧縮メディアの再生体験を過度におとしめることなく最大限の情報をを符号化することに比べれば優先順位は低い。
【００２６】
ここで、図１を参照する。例えば、前述したオーディオ、画像、ビデオ、３次元又は他のマルチメディアデータ等のようなメディアファイルは、前述し、図５の信号波形及び係数ベースのテーブルに例示的に示すように、フーリエ変換、コサイン変換、サイン変換、ウェーブレット変換、あるいは、関連する離散変換表現を使用してメディアデータの係数表現（このように表記されている）への周波数変換を行うことによって符号化される。係数表現への変換によって、圧縮メディアファイルコンテンツフォーマットが生成される。事前準備されたメディアファイルがすでに係数表現に符号化されている場合には、この変換ステップは、もちろん、それ以上必要ではない。しかしながら、更なる圧縮ステップを使用することもできる。
【００２７】
従って、圧縮メディアファイルコンテンツは、より詳しく後述するように、任意の周知のタイプの符号化処理において、メディアファイルに埋め込むための補足用のデータコンテンツ（「データ」）に結合された状態で図示されている。このような追加のデータは、前述したように、オーディオ、ビデオ、画像、データベース、テキスト、実行可能コード、または、用途特化型データ等（但し、これらに限定されない）を含む、任意のディジタルデータである。こうして、既存のファイルフォーマットとの下位互換性に影響を与えることなく、かつ、ユーザのメディアファイル再生体験に実質的に影響を与えることなく、補足用の埋め込みデータを有するメディアファイルが生成される。さらに、所望であれば、図１の変換ステップは、符号化処理の一部とすることができ、任意選択的な圧縮ステップを含むことも可能である。あるいは、それらを追加の別個のステップとして適用することもできる。かかる変換、圧縮及び符号化処理を結合すると、実際に、知覚的符号技術を使用して、データを埋め込む係数を選択することが可能にある。
【００２８】
大まかな概要の説明を続ける。図２に復号及び再生について示しているが、後でより詳しく説明する復号化処理（このように表記されている）は、補足用のデータをメディアファイルに埋め込むための図１で使用する符号化処理の種類に依存する。典型的には、復号化処理は、周知のように符号化処理の単純な逆処理を伴う。図示のように、メディアファイルは、復号化処理において通常は変化しない。これは、データを除去することができないことがしばしばあるということの他に、そうすることが、図２に示す再生環境におけるメディアプレーヤやビューアーによるユーザの再生体験を一般的には改善することにはならないからである。しかしながら、補足用のデータを、周知のチェックサムやディジタル署名により検証（「検証プロセス」）して、データが、図１において最初に符号化されて埋め込まれたデータとビット毎に同一であることを保証することができる。
【００２９】
さらに、再生環境においては、メディアプレーヤと実行環境は、図２に示すメディアプレーヤボックスとデータ操作環境ボックス間のSYNC線によって、互いに通信することができ、これによって、補足用データの実行を、メディアファイルコンテンツの再生と同期化することができる。
【００３０】
ステガノグラフィック技術を使用するデータ符号化の可能性は、引用文献に既に記載されている。本発明の技法へのそのような応用例を図３に示す。図３では、埋め込まれる補足用のデータは、ビットストリームコードに変換される。この場合、データのバイトは、ビット毎の表現として抽出され、これによって、データのバイトを、メディアファイル中に小さな変更（または修飾）として挿入することができる。データビット埋め込むメディアファイルコンテンツ内における適切な位置の選択（このように表記されている）は、ユーザのファイル再生体験に与える影響を最小限にして、実際のメディアコンテンツになすことができる小さな変更を識別することに基づく。しかしながら、かかる変更は、自動化復号処理、及び回復された情報によって容易に検出することができるようなものでなければならない。
【００３１】
図３の「実行可能コードの挿入」のステップでは、いくつかのステガノグラフィック符号化処理（前述した引用文献に記載されたものを含む）の任意の１つを使用することができる。メディアコンテンツを１組の関数係数として表現する本発明によれば、データビットは、好ましくは、いくつかの選択された係数の最下位ビットを変更する技法によって埋め込まれる。これについては、さらに詳しく後述する。
【００３２】
埋め込まれた実行可能コードを伴う生成されたメディアファイルは、この場合も、下位互換性があり、いくつかの場合には、埋め込み処理によるユーザの再生体験の劣化はわずかであり、完全に許容可能なものである。
【００３３】
本発明の符号化技術と共にディジタルウォーターマーキングを使用する場合には、図４のシステムを使用することができる。この場合、メディアファイルのウォーターマーキング処理は、符号化処理（このように表記されている）によってデータを埋め込む前に実行される。ディジタルウォーターマーキング処理としては、前述の引用文献に記載されたものを含み、多くの異なるタイプのものを用いることができる。大部分のウォーターマークは頑強であり、従って、メディアファイルの変更によっては簡単に除去されず、このため、それより後の図４に示すデータを埋め込むための「符号化処理」によっては影響されない。しかしながら、いくつかのデータ埋め込み技術は、メディアファイルの変更に対して頑強ではないため、データの埋め込みは、ウォーターマーキングの後で行われる。こうして、埋め込みデータを有するウォーターマークされたメディアファイルが生成され、このファイルは、頑強なウォーターマークを有しており、内部に埋め込まれた補足用のデータを含んでいる。
【００３４】
従来のウォーターマーキング技術は、例えば、オーディオについて１秒当たり約２２（２進数：２２ビット）といった、比較的低いビットレートでデータを埋め込むことができるに過ぎない。本発明によれば、１秒当たり３０００ビット以上のデータを、128,000ビット／秒のビットレートで符号化されたMP3オーディオファイルに簡単に埋め込むことができた。
【００３５】
実際、我々は、本発明のこれらの種々の符号化技術のいくつかについて予備的な試験を成功裏に実施した。我々は、Natalie Merchantによる「Jealousy」という歌曲から取り出したオーディオファイルを使用し、フラウンホーファー（Fraunhofer）のMP3encエンコーダを用いて 128ｋビット／秒で（MPEG）MP3として符号化した。符号化したファイルの部分は３０秒の長さであり、大きさは、720キロバイトである。選択した主な符号化技法は、Phase/Magnitude Frequency-Domain Low-Bit Coding（位相／振幅  周波数領域下位ビット符号化）技法であり、ファイル内にデータを符号化した間隔は一様ではなかった。
【００３６】
うまくいった結果を以下の表に示す。
【００３７】
【表１】
0004429563.tif 000002
【００３８】
オーディオメディアファイルへの応用に関して、さらに、図６のオーディオファイルデータと符号化システムを参照して説明する。
【００３９】
図１に示す一般的な方式と同様に、図６の事前準備されたオーディオファイルは、それが、係数領域にまだ符号化されていない場合には、前述した変換によって係数領域に圧縮される。しかしながら、このステップは、オーディオファイルが、既に、上記したテストにおけるMPEGオーディオコンテンツの場合のようなDCT領域に符号化されているフォーマットである場合には不要である。図６においては、前述した図３のステガノグラフィック技術を使用するシステムの場合と同様に、オーディオファイルに埋め込まれる補足用データは、ビットストリームに変換される。
【００４０】
次に、本発明に従ってデータビットの埋め込みを実施するために、好ましくは一定間隔で、オーディオファイル変換の適切な係数の組を選択する。前述したように、本発明は、選択した係数の単一のビットのみを変更すればよく、この点、大規模な順序付けが係数の関係において変化する（例えば、前述したZhao及びKochの文献のような）従来技術とは異なる。この組は、オーディオファイル内の連続する一連の係数を単純に選ぶことによって選択することができる。好適な技法は、オーディオデータ内の広範囲の周波数（図５）を符号化する１組の係数を選択することである。
【００４１】
図６において、データビットストリーム内の各ビットについて、ビットを符号化するために、選択された係数と符号化される次のデータビットを結合し、係数を再変倍（「リスケール」）する。可能であれば、これは、量子化及びリスケールのステップと共に（または関連して）行われるのが好ましく、これにより、変更する係数を、元の係数と所望の値の近さの度合いに基づいて選択することができる。さらに、量子化及びリスケールの後に、この決定のよりどころとなるほど多くのデータはない。
【００４２】
さらに、リスケールを、既に符号化されたオーディオファイルの適切な位置において、ファイルの大きさを一定に維持するという追加の制約を伴った状態で行うことができる。このような場合において、フレームレートを維持しつつ単一の係数を単にリスケールすることによってはビットを符号化することができない場合には、複数の係数を変更して、それらの圧縮された表現が同じ長さのままであり、従って、オーディオファイルの乱れが最小になるようにすることができる。
【００４３】
この符号化は、LSB符号化処理、あるいは、好ましくは、LSBパリティー符号化（図５）によって実施することができる。かかるパリティー符号化によれば、変更する係数についてより多くの選択を行うことができる。
【００４４】
図５の表に示す例示的な係数ベースの表現を参照すると、係数のパリティーを、それらを加算することによって計算することができる。すなわち、
１２＋１５＋５＋３＋１０＋６＋１２＋１＝６４
である。６４は偶数なので、これらの係数において現在符号化されているビット値は０である。しかしながら、この係数の組において１を符号化することが所望される場合には、パリティーを奇数にするだけでよい。これは、任意の振幅値または位相値を選択して、１を加えるか引くことによって行うことができる。値のこの選択は、任意に行うことができ、あるいは、前述したMPEG符号化処理において現在使用されている精神聴覚学（または心理音響学）的モデルのタイプに基づいて行うことができる。
【００４５】
これは、振幅、周波数領域下位ビット符号化（magnitude frequency-domain low-bit coding）によるデータの符号化において、一連の係数の下位ビットのパリティーを使用する場合を例示している。１例として、一連の係数、たとえば８個の係数においてデータ情報の単一ビットを符号化したい場合を想定する。本発明によれば、最初(第一)の係数の下位ビットを単に変更するのではなく、８個の下位ビットのパリティーを変更することによって符号化を実施する。アルゴリズムによって１組の連続する係数が検査され、下位ビットが抜き出され、それらのうちのいくつがセットされているかが計数される。従って、本発明の技法によれば、セットされているビットの和が偶数（パリティ）であろうと奇数（パリティー）であろうと、データの単一ビットを符号化することができる。これによって、どの係数（もしあれば）を変更するかを決定することにおいてアルゴリズム選択が提供されるという利点が得られる。
【００４６】
代替的には、この技法を、より高次のパリティを使用して、より広い範囲の値に適用することができる。１例として、３２個の係数の下位ビットを足し合わせて、その結果のモジュロ４（４で除したときの余り）を計算することによって、２つの８個の係数領域にわたって符号化することができるのと同じ量のデータを、３２個の係数にわたって符号化することができる。これによって、同量のデータをストリームに挿入できるわけではないが、どの係数を変更するかを選択する際のフレキシビリティが増すことになる。
【００４７】
本明細書で引用した文献に記載されているものを含む周知のタイプの符号化処理を本発明の実施において使用することができるということを、例えば図１の実施態様の全体像に関連して説明したが、前述したMPEGレイヤIIIオーディオファイル（MP3）の好適な符号化処理を、そのようなMPEGオーディオストリームについて以下で詳細に説明する。以下の説明では、＄xxという表記を、１６進符号化オクテットを示すために使用する。例えば、＄00は、２進数00000000を表す。このフレームは、ISO-8859-1（ASCII）文字の「EXEC」である。ID3v２規格書に記載されているように、この後には、４オクテットのサイズ（Size）ヘッダーと２オクテットのフラグ（Flag）ヘッダーが続く。この後には、フレーム内において、ISO-8859-1テキスト符号化を使用することを表すために＄00か、または、ISO/IEC 10646-1（ユニコード）テキスト符号化を使用することを表すために$01が続く（これらのテキスト符号化は後で言及する）。ヘッダーは最初に作成され、実行可能コードの説明とそれを埋め込んだ方法の説明を含んでいる。最初のオクテットは、符号のない数であって、グループ化されてビットを表す係数の数を示している。これは、ほとんどの場合８である。この後には、ヘッダー＋実行可能コードの長さを表す８オクテットの符号のない数が続く。次は、IETF RFC 2045（これについては後でも参照する）に記載されているようにISO 8859-1（ASCII）符号化MIMEタイプの実行可能コンテンツであり、その後には、$00が続く。例えば、前述したMacromedia FlashファイルのMIMEタイプは、「application/ex-shockwave-flash」である。この後には、$00で終了するISO-8859-1（ASCII）における実行可能コードの説明が続く。さらに、この後には、図２に関連して説明したように、チェックサムがない場合には$00であり、チェックサムがある場合には$01である１つのオクテットが続く。チェックサムがある場合には、この後には、実行可能コードのオクテットを合計し、その結果のモジュロ２５６を取ることによって生成される、チェックサムの単一オクテットが続く。これは有用である。なぜなら、これによって、実行可能コードを実行する前にこの実行可能コード検査して、間違った命令を実行する原因となりうる伝送エラーが存在する可能性を少なくすることができるからである。
【００４８】
このヘッダーは、実行可能コンテンツの始めに配置される。次に、各オクテットを順に検査し、そのビットを、最上位ビットから最下位ビットへの順でビットストリームに配置することによって、ヘッダー＋コンテンツの全パッケージが、ビットストリームに変換される。ビットストリームが生成されると、それをMPEGオーディオファイルに埋め込む必要がある。これを行うために、本明細書に記載した任意の技法を使用することができる。１つの好適な技法は、前述したLSBパリティー符号化を使用することである。この場合、（任意の数を使用することができるが）８個の係数からなるグループのパリティーを変更することができる。この８個の係数からなるグループは、データファイルの７番目の係数毎に選択することによって選び出される。このようにして、１組５６個の係数において全部で７ビットを符号化することができ、この場合、係数のグループの各々は、広範囲の周波数を表す係数を含む。前述のパリティー符号化技法を使用して、データが完全に埋め込まれるまで、各組の係数におけるビットを符号化することができる。データが大きすぎてファイルに収まらない場合には、ビットを表すのに８個の係数より少ない係数のパリティーを使用することができる。但し、その場合には、聴感の品質が低下する場合がある。8個以外の数の係数を使用する場合には、データファイルの最初のバイトが、８個の係数を使用して符号化され、次に、最初のバイトにおいて指定された数の係数を使用して続くすべてのバイトが符号化される。
【００４９】
図２に関連して説明した本発明の好適な実施態様では、復号化処理は、既に詳細に説明した符号化処理を単に逆にしたものである。最初のオクテットがオーディオデータから抜き出され、そのれ基づいて、後続の全てのビットが同様に抜き出される。ヘッダー内に符号化されたチェックサムがある場合には、実行可能コードのオクテットが合計され、その結果のモジュロ２５６がとられ、符号化されているチェックサムと比較される。それらが等しければ、実行が続行される。
【００５０】
MIMEタイプの実行可能コードに基づいて、適切な実行環境を例にとって説明する。既に説明したapplication/x-shockwave-flashタイプの場合の参考実行環境は、Macromedia によって、Flash Standardsウェブページ（http://www.macromedia.com/software/flash/open/）に記載されている。
【００５１】
この場合、実行環境が呼び出されて、オーディオファイルの再生と同時に実行可能コードの実行を開始する。追加のアプリケーションプログラミングインターフェース（API）を、実行環境に関して定義して、再生が行われている間に、オーディオファイルに関連する実行環境の正確な振る舞いを制御することができる。
【００５２】
本発明の符号化処理及び復号化処理のコンポーネントにおいて有用な上述の技術についての更なる詳細は以下の参考文献に記載されている。
【００５３】
【表２】
0004429563.tif 000003
【００５４】
図６の例示的なMPEGオーディオ及びビデオファイル（及び後述する図８のビデオファイル）の使用についてさらに説明を続ける。例えば、既に引用したMPEG及びMP3に関する文献を参照すると、ファイルの周波数表現における振幅係数の最下位ビットを使用して、プログラムコンテンツを符号化する（いわゆる、振幅、周波数領域下位ビット符号化）。例えば、どの係数を変更するかを決定するために、繰り返し可能な擬似ランダムシーケンスを使用するか、あるいは、単に係数を１０番目毎に単に変更することによって、例えば音楽ファイルにおいて符号化する必要があるデータ量に依存して、データを少しの割合の係数中に記憶することができる。ハフマン符号化の追加ステップを使用してデータをさらに圧縮するMP3フォーマットに適用される場合には、ハフマン符号化の前に係数を変更することができる。この場合には、ファイルサイズがわずかに変化するであろう。代替の本発明の好適な実施態様では、前述したように、符号化処理の後に係数を変更し、または、リスケールする。これによって、ファイルサイズの増加が回避され、また、データ抽出（データ抜き出し）処理をより迅速に実行することができる。
【００５５】
埋め込みデータを有するウォーターマーキングされたオーディオファイルと同様に、画像ファイルを図７に示すように埋め込むことができる。図示のように、画像ファイルがまだ符号化されていない場合は、画像ファイルを係数領域に変換するだけでよい。画像ファイルが、DCT領域で符号化される前述したJPEGのようなフォーマットである場合には、このステップは不要である。この場合も、選択された１組の係数は、好ましくは、画像データにおける広い範囲の周波数を包含している。パリティー符号化は、データビット符号化の係数のリスケールにおいて好適であり、前述したように、変更する係数についてより多くの選択を可能にする。
【００５６】
図８は、図６に類似しているが、オーディオファイルではなくビデオファイルの変換−圧縮に関する構成を示している。
【００５７】
図９のデータ符号化は、図７のそれと同様の経路を辿るが、３次元モデリングの領域全体にわたって使用される２次元及び３次元スプラインデータポイントに関するものである。それらは、係数表現を使用して既に表現されており、２次元または３次元における助変数方程式（parametric equation）の係数を符号化する。このようなスプラインの典型的なタイプの例には、ベジェ曲線やNURBS（non-uniform rational B-spline）がある。データビットストリーム埋め込みのために選択された係数の組は、単に、スプラインデータポイントファイルにおける連続する一連の係数とすることができる。
【００５８】
本発明の汎用性を示す更なる例として、図１０に、本発明の原理を体積（容積）型（volumetric）データファイルにおける補足用データの符号化に適用した例を示す。体積型データは、「ボクセル」、すなわち、３次元ピクセルを使用して空間的なデータセットを表すために使用される。ボクセルは、一般的に３次元配列をなしており、例えば、３次元空間モデル、磁気共鳴像（MRI）データ、空間的温度分布などのようなものを表すために、３次元モデリングツール及び環境によって使用される。現在のところ、このような体積型データ用の共通の圧縮技術は存在しないので、図示のように、係数領域への変換が必要である。これは、３次元DCTまたは３次元高速フーリエ変換といった周知の３次元変換を使用して実施される。
【００５９】
例えば、圧縮されたオーディオファイル及びビデオファイルの変換周波数表現の大きさを表す係数、すなわち振幅係数の最下位ビットを好適に使用することについて説明したが、位相周波数領域下位ビット符号化のような他の技術を使用することもできる。この場合は、メディアファイルの変換周波数表現の位相係数（図５）の最下位ビットがプログラムを符号化するために使用される。この実施態様は、データを符号化するために、大きさを表す係数ではなくて位相係数を使用すること以外は、オーディオコンテンツの場合と同じである。なぜなら、人間の耳は、音の大きさに対する感度よりも音の位相に対する感度の方が極めて鈍く、再生中に聞こえる音の歪みは少ないであろうからである。
【００６０】
当業者には他の変更態様も考えつくであろうが、そのようなものも、特許請求の範囲に規定された本発明の思想及び範囲内のものである。
【図面の簡単な説明】
【図１】  本発明の好適な実施態様に従って動作する、データ符号化処理及びシステムの概要を示すブロック図兼流れ図である。
【図２】  図１のデータを埋め込まれたメディアファイルの復号処理の概要を示す図１と同様の図である。復号されたデータは、メディアプレーヤまたはビューアーによって再生される。
【図３】  符号化処理において本明細書で説明したステガノグラフィック技術を用いた場合の図１と同様の図である。
【図４】  本発明の符号化処理と共にディジタルウォーターマーキング処理を使用した場合の構成を示す。
【図５】  本発明に有用な係数領域パリティー符号化処理において使用するための、例示的な信号波形と、フーリエ変換をベースとして圧縮した後の係数ベースの信号表現を示す。
【図６】  特にオーディオデータのステガノグラフィック符号化に関するより詳細なブロック図兼流れ図であり、オーディオデータは、本発明のプロセスに従って、係数領域に変換されて圧縮され、データを埋め込まれ、そして、ディジタル的にウォーターマーキングされる。
【図７】  図６に類似しているが、画像ファイル内のデータを符号化する場合の構成を示している。この場合も、画像データは係数領域に変換されて圧縮される。
【図８】  図６に類似しているが、ビデオファイル内のデータを符号化する場合の構成を示している。この場合も、ビデオデータは係数領域に変換されて圧縮される。
【図９】  データポイントの２次元または３次元スプラインにおけるデータの符号化に適用した場合の構成を示す。
【図１０】  体積型データファイルのデータを符号化する場合の構成を示す。
【図１】
0004429563.tif 000004
【図２】
0004429563.tif 000005
【図３】
0004429563.tif 000006
【図４】
0004429563.tif 000007
【図５】
0004429563.tif 000008
【図６】
0004429563.tif 000009
【図７】
0004429563.tif 000010
【図８】
0004429563.tif 000011
【図９】
0004429563.tif 000012
【図１０】
0004429563.tif 000013