(57)【特許請求の範囲】
【請求項１】
異なる相対的重要度を互いに有する複数のデータアイテムを含むデータを、情報マテリアル内に埋め込むデータ埋込装置において、
上記各データアイテムを符号化する符号化プロセッサと、
上記符号化データアイテムと埋め込み可能なデータ量の制限であるデータ埋込容量制限を有する上記情報マテリアルとを結合する結合プロセッサと、
上記相対的重要度の順序によって符号化データアイテムを選択するとともに、上記結合プロセッサを制御して上記選択された符号化データアイテムを上記データ埋込容量制限内で埋め込む制御プロセッサとを備え、
上記制御プロセッサは、上記データ埋込容量制限に達するまで、重要度のより高いデータアイテムが重要度の低いデータアイテムよりも先に埋め込まれるように上記符号化データアイテムを選択し、
上記制御プロセッサは、上記情報マテリアルの埋込可能容量を決定し、上記データ埋込容量制限内において十分なデータ埋込容量が得られるまで、上記データ埋込容量制限内で埋め込まれていない少なくとも１つのデータアイテムを待ち行列に入れ、上記結合プロセッサを制御して該少なくとも１つの待ち行列に入れられたデータアイテムを選択し、該選択されたデータアイテムを上記情報マテリアルに埋め込むことを特徴とするデータ埋込装置。
【請求項２】
上記結合プロセッサは、上記制御プロセッサと協動して、上記データアイテムのそれぞれが、上記データ埋込容量制限の割合が上記相対的重要度に基づいて上記符号化データアイテムに割り当てられるように符号化及び埋め込まれるように、上記情報マテリアルが有する上記データ埋込容量制限内で埋め込むために選択された上記符号化データアイテムと上記情報マテリアルとを結合することを特徴とする請求項１記載のデータ埋込装置。
【請求項３】
上記制御プロセッサは、上記選択されたデータアイテムを、少なくとも１つのエラー訂正符号に基づいて符号化し、該符号化データアイテムは、該エラー訂正符号によって導入される冗長データを含み、上記結合プロセッサは、該符号化プロセッサと協動し、上記相対的重要度に基づいて、上記データ埋込容量制限を割り当てるとともに、上記符号化データアイテムに含まれる量の該冗長データを生成することを特徴とする請求項１記載のデータ埋込装置。
【請求項４】
上記結合プロセッサは、上記選択されたデータアイテムを、該データアイテムの相対的重要度に比例して適用される適用強度に基づいて埋め込むことを特徴とする請求項１記載のデータ埋込装置。
【請求項５】
上記符号化プロセッサは、上記選択されたデータアイテムを、少なくとも１つのエラー訂正符号に基づいて符号化し、該符号化データアイテムは、該エラー訂正符号によって導入される冗長データを含み、上記結合プロセッサは、該符号化プロセッサと連動し、上記相対的重要度に基づいて、上記データ埋込容量制限を割り当てるとともに、上記符号化データアイテムに含まれる量の該冗長データ及び上記適用強度を生成することを特徴とする請求項４記載のデータ埋込装置。
【請求項６】
上記符号化プロセッサは、所定のデータシーケンスを生成するとともに、該所定のデータシーケンスを上記選択されたデータアイテムのシンボルで変調することによって、上記データアイテムを符号化し、上記変調された所定のデータシーケンスと上記情報マテリアルとを結合し、上記所定のデータシーケンスは、上記データアイテムのより広範な拡散が上記データ埋込容量制限に基づいてより重要なデータアイテムに対して提供されるように割り当てられることを特徴とする請求項１乃至５のいずれか１項記載のデータ埋込装置。
【請求項７】
上記所定のデータシーケンスは、擬似ランダムシンボル又はビットシーケンスであることを特徴とする請求項６記載のデータ埋込装置。
【請求項８】
上記データアイテムは、上記データが埋め込まれる上記情報マテリアルのコンテンツを表す、又は属性を示すメタデータを含むことを特徴とする請求項１乃至７のいずれか１項記載のデータ埋込装置。
【請求項９】
上記メタデータは、他のメタデータより高い所定の相対的重要度を付与されるユニークマテリアル識別子（Unique Material Identifier）を含んでいることを特徴とする請求項８記載のデータ埋込装置。
【請求項１０】
上記ユニークマテリアル識別子は、それぞれがデータアイテムを表し、異なる相対的重要度を有する複数のデータフィールドを含んでいることを特徴とする請求項９記載のデータ埋込装置。
【請求項１１】
上記結合プロセッサは、上記符号化プロセッサと協動し、上記データ埋込容量制限に達したときには、上記選択されたデータアイテムを埋め込まないことを特徴とする請求項１乃至１０のいずれか１項記載のデータ埋込装置。
【請求項１２】
埋め込まれる上記データアイテムの上記相対的重要度を示すデータを受信し、上記符号化プロセッサ及び上記結合プロセッサを、上記相対的重要度に基づいて上記データアイテムを符号化して埋め込むとともに、上記選択したデータアイテムに適用された符号化と埋込の少なくとも１つを示す制御情報を上記情報マテリアルに埋め込むように制御する制御プロセッサを備える請求項１乃至１１のいずれか１項記載のデータ埋込装置。
【請求項１３】
上記情報マテリアルは、画像であることを特徴する請求項１乃至１２のいずれか１項記載のデータ埋込装置。
【請求項１４】
上記請求項１乃至１３のいずれか１項記載のデータ埋込装置を用いて情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生装置において、
上記情報マテリアルから上記埋め込まれた符号化データアイテムの再生バージョンを検出及び生成する検出プロセッサと、
上記データアイテムの相対的重要度に基づいて、上記再生された符号化データアイテムに適用された符号化に従い、上記データアイテムを復号及び再生する復号プロセッサとを備えるデータ検出及び再生装置。
【請求項１５】
請求項１３記載のデータ埋込装置を用いて情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生装置において、
上記情報マテリアルから上記埋め込まれた符号化データアイテムの再生バージョンを検出及び再生する検出プロセッサと、
上記データアイテムの相対的重要度に基づいて上記データアイテムを復号及び再生する復号プロセッサとを備え、
上記検出プロセッサは、上記データアイテムに適用された符号化及び埋込の少なくとも１つを示す制御情報を検出及び再生し、
上記復号プロセッサは、該制御情報に基づいて上記データアイテムを復号及び再生することを特徴とするデータ検出及び再生装置。
【請求項１６】
異なる相対的重要度を互いに有する複数のデータアイテムを含むデータを、情報マテリアル内に埋め込むデータ埋込方法において、
上記各データアイテムを符号化するステップと、
上記相対的重要度の順序によって符号化データアイテムを選択するステップと、
上記選択された符号化データアイテムと上記情報マテリアルとを、該情報マテリアルが有するデータ埋込容量制限内で結合し、該データ埋込容量制限に達するまで、重要度のより高いデータアイテムが重要度の低いデータアイテムよりも先に埋め込まれるように、該データ埋込容量制限内で該選択した符号化データアイテムを該情報マテリアルに埋め込むステップと、
上記情報マテリアルの埋込可能容量を決定するステップと、
上記データ埋込容量制限内において十分なデータ埋込容量が得られるまで、上記データ埋込容量制限内で埋め込まれていない少なくとも１つのデータアイテムを待ち行列に入れるステップと、
少なくとも１つの待ち行列に入れられたデータアイテムを選択し、該選択されたデータアイテムを上記情報マテリアルに埋め込むステップと
を有するデータ埋込方法。
【請求項１７】
上記埋め込まれるデータアイテムの上記相対的重要度を示すデータが供給され、上記データアイテムの符号化及び結合を、上記データアイテムの供給された相対的重要度に基づいて実行するステップと、
上記データアイテムに適用された符号化及び結合の少なくとも１つを示す制御情報を埋め込むステップとを有する請求項１６記載のデータ埋込方法。
【請求項１８】
請求項１６記載のデータ埋込方法によって情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生方法において、
上記情報マテリアルから埋め込まれた符号化データを検出し、符号化データアイテムの再生バージョンを生成するステップと、
上記データアイテムの相対的重要度に基づいて、上記再生された符号化データアイテムに適用された符号化に従い、上記データアイテムを復号及び再生するステップとを有するデータ検出及び再生方法。
【請求項１９】
請求項１７記載のデータ埋込方法によって情報マテリアルに埋め込まれたデータを検出及び再生するデータ検出及び再生方法において、
上記情報マテリアルから埋め込まれた符号化データを検出し、符号化データアイテムの再生バージョンを生成するステップと、
上記データアイテムの相対的重要度に基づいて、上記再生された符号化データアイテムに適用された符号化に従い、上記データアイテムを復号及び再生するステップとを有し、
上記符号化データアイテムの再生バージョンを生成するステップでは、
上記データアイテムに適用された符号化及び結合の少なくとも１つを示す制御情報を検出及び再生し、
上記データアイテムを復号及び再生するステップでは、上記制御情報に基づいて、該データアイテムを復号及び再生するデータ検出及び再生方法。
【請求項２０】
コンピュータにより実行可能な命令を提供するコンピュータプログラムであって、データプロセッサ上にロードされると、該データプロセッサに請求項１乃至１３のいずれか１項記載のデータ埋込装置として機能させるコンピュータプログラム。
【請求項２１】
コンピュータにより実行可能な命令を含むコンピュータプログラムであって、データプロセッサ上にロードされると、該データプロセッサに請求項１６乃至１９のいずれか１項記載の方法における各ステップをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２２】
請求項２０又は請求項２１記載のコンピュータプログラム記録されたコンピュータ読出可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データを情報マテリアルに埋め込む方法及び装置、並びに情報マテリアルに埋め込まれたデータを検出し、再生する方法及び装置に関する。
【０００２】
ここで用いている情報マテリアルとは、１つ以上のビデオマテリアル、オーディオマテリアル、データマテリアルを含む。本明細では、ビデオマテリアルは、静止画像及び動画像である。
【０００３】
【従来の技術】
ステガノグラフィ（Steganography）は、データをビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアルに、データがマテリアルの中で知覚できない方法で埋め込む技術分野のものである。
【０００４】
ウォータマークは、ビデオマテリアル、オーディオマテリアル、データマテリアル等のマテリアル内に埋め込まれたデータである。ウォータマークはマテリアル内において知覚可能でも知覚不可能であってもよい。
【０００５】
ウォータマークは、様々な目的で使用することができる。マテリアル所有者の知的財産権の侵害からマテリアルを保護したり、侵害を追跡する目的に、ウォータマークを用いることが知られている。例えば、ウォータマークはマテリアルの所有者を識別することができる。
【０００６】
ウォータマークは、マテリアルから取り除くのが困難だという点で“強固”であると言える。ウォータマークが強固であるということは、ウォータマークを除去、あるいは、蓄積及び／又は伝送のためのビデオ編集又は圧縮等の正当な処理を行おうとして何らかの方法で処理されたマテリアルの出所を追跡するのに有用である。また、ウォータマークは、ウォータマークを除去又はマテリアルを処理しようとする試みを検出するのに有用な処理により、容易に損傷を受けやすいという点では「脆弱（fragile）」とも言える。
【０００７】
可視的なウォータマークは、例えば、顧客がインターネット上で画像を見て、それを購入したいか否かを決定することはできるが、顧客が購入しそうなウォータマークが付されていない画像へのアクセスはできないようにするのに有用である。ウォータマークは画像を劣化させるが、できれば、顧客によってウォータマークを除去することができないことが好ましい。可視的なウォータマークは、それらが埋め込まれたマテリアルの出所を判別するのにも用いられる。
【０００８】
米国の特許番号５，９３０，３６９（コックス等（Cox et al））には、マテリアルを変換領域に変換し、データを変換領域の画像に加えることによって、ウォータマークを形成することが提案されている。画像と、それらの画像の離散ウェーブレット変換（Discrete Wavelet Transform）との例では、変換領域において加えられるデータは、変換領域内に形成される複数のサブバンドのうちの１つのウェーブレット係数と結合される。一般的に、追加されるデータは、擬似ランダムビットシーケンス（Pseudo Random Bit Sequence、以下、ＰＲＢＳという。）のような所定のデータシーケンスを変調するように配置されている。例えば、追加されるデータの各ビットは、ＰＲＢＳのコピーを変調するように配置されており、このコピーは、例えば変換領域の画像の１つのサブバンドに加えられる。その画像はその後、空間領域に逆変換される。
【０００９】
画像から埋め込まれたデータを検出し、再生することが望ましいときは、その画像を再び変換領域に変換して、サブバンドの変換係数と検出装置には既知のＰＲＢＳとの相関を求めることによって、埋め込まれているデータは、変換領域のサブバンドから再生される。データは相関結果から検出される。
【００１０】
一般的に、埋込データは画像のような情報マテリアルに与えるいかなる知覚可能な効果を最小限に抑えることが好ましい。なお、マテリアルにも施されるあらゆる処理の結果により導入されるエラーにもかかわらず、情報マテリアルから埋込データを正確に再生する可能性を増やすことも好ましい。
【００１１】
【課題を解決するための手段】
本発明に係るデータ埋込装置は、異なる相対的重要度を互いに有する複数のデータアイテムを含むデータを、情報マテリアル内に埋込み、各データアイテムを符号化する符号化プロセッサと、上記符号化データアイテムと上記埋込可能なデータ量の制限であるデータ埋込容量制限を有する上記情報マテリアルとを結合する結合プロセッサと、上記相対的重要度の順序によって符号化データアイテムを選択するとともに、上記結合プロセッサを制御して上記選択された符号化データアイテムを上記データ埋込容量制限内で埋め込む制御プロセッサとを備え、上記制御プロセッサは、上記データ埋込容量制限に達するまで、重要度のより高いデータアイテムが重要度の低いデータアイテムよりも先に埋め込まれるように上記符号化データアイテムを選択する。
【００１２】
画像などの情報マテリアルへデータを埋め込むことは、データ埋込に要求される強度を高めることによって埋め込まれたデータの再生可能性を高めること、及び埋め込まれた画像に視覚的に認知可能な効果をもたらすことの間に折衷関係（compromise）をもたらす。
【００１３】
さらに、埋め込まれるデータが多いと情報マテリアルは劣化してしまうため、情報マテリアルに埋込可能なデータ量は、上述の折衷関係によって制限される。さらに、情報マテリアル自身の帯域幅にも物理的制限があるため、情報マテリアルに埋込可能なデータ量は制限される。例えば画像のように典型的にはデータのフレームに分割される情報マテリアルの場合、画像フレーム内のデータ量には物理的制約があるため、埋込可能なデータ量にも制約が出てくる。このことは、特に、ＰＲＢＳを変調し、変調されたＰＲＢＳを変換領域画像表示又は空間領域画像表示のいずれかによって変換領域画像マテリアルに付加することによってデータアイテムが画像に埋め込まれている場合において著しい。これは、埋め込まれるデータと共にＰＲＢＳを調節することにより、拡散スペクトル信号を発生し、情報マテリアルに追加されるデータ量が著しく増加するからである。
【００１４】
情報マテリアルに埋め込まれるデータは、複数のデータアイテムを含む。例えば、いくつかのデータアイテムは他のデータアイテムより重要である。情報マテリアルがビデオ画像であるとした例において、ビデオ画像に埋め込まれるデータアイテムはコンテンツ又は画像の属性などを表すメタデータアイテムを含み、画像の所有者が特に重要なメタデータであってもよい。そして、ビデオ画像が生成された場所、対話のスクリプトのような他のメタデータは、あまり重要でないメタデータであってもよい。
【００１５】
本発明の実施の形態においては、限られた情報マテリアルのデータ埋込容量の制限内で相関的重要度が異なるデータアイテムを埋め込む際の技術的問題に取り組む。そのために、符号化プロセッサ及び埋込プロセッサは、埋込データ容量の制限内でデータアイテムが重要であればあるほど、より良く保護されるよう、データの符号化及び／又は埋め込む量を調節し、データ再生の可能性を高めるように構成されている。より重要なデータアイテムは、より重要でないデータアイテムよりも多くの利用可能容量を得る。
【００１６】
本発明の実施の形態において、上記符号化プロセッサは、上記データアイテムを、少なくとも１つのエラー訂正符号に基づいて符号化し、上記符号化データアイテムは、上記エラー訂正符号によって導入される冗長データを含み、上記結合プロセッサは、上記符号化プロセッサと連動し、上記相対的重要度に基づいて、大量の上記データ埋込容量制限を割り当てるとともに、上記符号化データアイテムに含まれる量の上記冗長データ及び上記適用強度を生成する。本実施の形態によれば、制限された埋込容量は、重要度に従って割り当てられ、より重要なデータに対しては与えられる冗長データ（redundancy）が多くなる。これは、例えば、割り当てられるコードが関連するデータアイテムの相対的重要度に応じて調整されるなかで、各データアイテムに分離エラー訂正符号を供給することによって実現される。したがって、より強力な符号がより冗長データ量を発生し、より多くの制限された埋込容量を占められる。それゆえに、エラー訂正符号も影響を及ぼすため選択され、符号化データアイテムから総合データ量を制限されたデータ埋込容量内に格納することができる。
【００１７】
また、本発明の別の実施の形態において、上記結合プロセッサは、上記データアイテムを、上記データアイテムの相対的重要度に比例して適用される適用強度に基づいて埋め込む。したがって、より重要なデータは、情報マテリアルの知覚効果向上の可能性を犠牲としてではあるが、再生される可能性が高い。また、符号化プロセッサは、適用強度に比例して埋め込まれるデータの符号化バージョンを生成するために、ＰＲＢＳのような所定のデータシーケンスの符号化バージョンを復調してもよい。したがって、埋込データのいかなる視覚的知覚効果も減少する。
【００１８】
また、本発明の別の実施の形態において、上記符号化プロセッサは、所定のデータシーケンスを生成するとともに、該所定のデータシーケンスを上記データアイテムのシンボルで変調することによって、上記データアイテムを符号化し、上記変調された所定のデータシーケンスと上記情報マテリアルとを結合し、上記所定のデータシーケンスは、上記データアイテムのより広範な拡散が上記データ埋込容量制限に基づいて、より重要なデータアイテムに対して提供されるように割り当てられる。
【００１９】
ＰＲＢＳのような所定のデータシーケンスを生成することよりデータを埋め込むとともに、所定のデータシーケンスを埋め込まれるデータに合わせて変調し、変調されたデータシーケンスと情報マテリアルと結合することによって、埋込データの拡散スペクトラム信号が生成されるという効果がある。したがって、データアイテムを生成するために上述のような複数のシーケンスを生成すれば、より重要なアイテムにより多くのデータ埋込容量を割り当てられるようになる。より重要なデータアイテムにより多くのデータシーケンスを割り当てるか、あるいは、より重要なデータアイテムにより長いデータシーケンスを割り当てるかすることで実現される。それは、埋め込まれたデータを再生させるための検出器がデータが埋め込まれた情報マテリアルを対応する所定のデータシーケンスと関連付け、データを再生させることができることによる。これは、ＰＲＢＳのような所定のデータシーケンスの特性であり、他のデータアイテムを埋め込むのに用いられる他のＰＲＢＳは、検出中のデータのＰＲＢＳにとってのノイズとして現れる。
【００２０】
好ましい実施の形態において、データアイテムは情報マテリアルのコンテンツメタデータを表示する。例えば、データアイテムはUniversal Material Identifiers(ＵＭＩＤ)であり、ＵＭＩＤのデータアイテムはデータフィールドである。
【００２１】
発明の実施の形態は、あらゆる情報マテリアルから検出し再生するデータのアプリケーションを捜すのだが、ある特定アプリケーションの発明はビデオ画像又はオーディオ信号を埋込み検出し再生するデータである。
【００２２】
本発明の更なる側面及び機能は、特許請求の範囲に定義している。
【００２３】
【発明の実施の形態】
本発明の実施の形態を、ビデオ画像にデータを埋め込むウォータマーキングシステムを参照して説明する。どのような種類のデータでも画像に埋め込むことができる。なお、都合が良いことに、画像に埋め込まれたデータは、画像を表し、又は画像自体のコンテンツの属性を識別するメタデータであってもよい。メタデータの例としては、ユニバーサルマテリアル識別子（Universal Material Identifier：ＵＭＩＤ）がある。ＵＭＩＤ用の提案されている構造は、２０００年３月号のＳＭＰＴＥジャーナルに記載されている。ＵＭＩＤの構造の詳細について後述する。
【００２４】
ウォータマーキングシステム
図１は、ウォータマーキングシステムの構成を示すブロック図であり、ウォータマーキングシステム１０は、ウォータマークをビデオ画像１１５内に埋め込み、ウォータマーク付き画像１２５からウォータマークを再生及び除去する。ウォータマーキングシステム１０は、図１に示すように、ウォータマークをビデオ画像に埋め込む画像プロセッサ１００と、ウォータマークを検出及び再生するとともに、ビデオ画像からウォータマークを除去、すなわち「洗浄（washing）」する復号画像プロセッサ１０２とを備える。
【００２５】
ウォータマークをビデオ画像に埋め込む画像プロセッサ１００は、強度アダプタ１８０と、ウォータマーク埋込器１２０とを備える。ウォータマーク埋込器１２０は、ウォータマークを、ソース１１０から生成されたビデオ画像１１５に埋め込むように構成され、画像ウォータマーク付き画像１２５を生成する。ビデオ画像に埋め込まれるウォータマークは、ＵＭＩＤを表すデータ１７５から形成されている。データ１７５は、例えば様々なメタデータのアイテムを表す。また、データ１７５は、例えばＵＭＩＤである。一般的に、メタデータアイテムは、ビデオ画像のコンテンツを識別する。なお、コンテンツ、又は画像の他の属性を識別する異なる種類のメタデータを、ウォータマークを形成するために用いることができることは明らかである。好ましい実施の形態では、ウォータマーク埋込器１２０は、強度アダプタ１８０からの特別な適用強度１８５に基づいて、ＵＭＩＤをビデオ画像１１５に埋め込む。強度アダプタ１８０は、ビデオ画像１１５に対するウォータマークの強度を決定する。適用強度は、ウォータマーク付き画像１２５を見る人に対する知覚可能ないかなる影響も最小限にしながら、ウォータマークを再生できるように決定される。ウォータマークを埋め込んだ後、画像は、伝送、蓄積、あるいは例えば画像を圧縮符号化する等の方法により更なる処理が施される。この後続する処理及び伝送は、図１においては線１２２として、概略的に示されている。
【００２６】
図１に示すように、ウォータマークを検出及び除去する復号画像プロセッサ１０２は、ウォータマークデコーダ１４０と、ストレージ１５０と、画像ウォータマーク付き画像１２５からウォータマークを除去するウォータマーク除去器１３０とを備える。
【００２７】
ウォータマークデコーダ１４０は、ウォータマーク付きビデオ画像からウォータマークを検出し、この実施の形態では、画像ウォータマーク付き画像１２５からメタデータアイテムの再生バージョンを生成する。ウォータマーク除去器１３０は、画像ウォータマーク付き画像１２５からできる限りウォータマークを除去することにより、再生画像１３５を生成する。ある実施の形態では、ウォータマーク除去器１３０は、画像から実質的に跡を残さずウォータマークを除去する機能を有す。そして、再生画像１３５は、ストレージ１５０に記憶され、後の処理のために伝送又はルーティングされる。
【００２８】
ウォータマーク埋込器
ウォータマーク埋込器１２０について、図２を参照しながら、さらに詳細に説明する。図２において、図１に示される同じ回路には、同じ符号を付している。図２に示すように、ウォータマーク埋込器１２０は、擬似ランダムシーケンス発生器２２０と、エラー訂正符号発生器２００と、ウェーブレット変換器２１０と、逆ウェーブレット変換器２５０と、変調器２３０と、結合器２４０とを備える。
【００２９】
第１の実施の形態に基づくエラー訂正符号発生器
ここで、本発明の第１の実施の形態を提供するエラー訂正符号発生器２００について、詳細に説明する。図３は、エラー訂正符号発生器の具体的な構成を示すブロック図である。図１、２に示す回路と同じ回路には、同じ符号を付している。図３に示すように、符号化され、ビデオ画像に埋め込まれるデータは、異なる種類のメタデータをそれぞれ運ぶパラレル導線１７５.１、１７５.２、１７５.３を介して供給される。
【００３０】
この実施の形態では、メタデータを３種類としている。３種類のメタデータは、３つのパラレル導線１７５.１、１７５.２，１７５.３を介して供給される。明らかなように、メタデータには、様々な種類のものがあり、これらは、一般的に、ビデオ画像信号のコンテンツに関連し又は表している。１つのチャンネル上のメタデータは、ＵＭＩＤであり、他の複数のチャンネル上のメタデータは、場所、時間、所有者の識別、ビデオ画像の中に表示される会話の翻訳、又はメタデータの他の種類である。
【００３１】
図３に示すように、３種類のメタデータは、制御プロセッサＣ＿Ｐに供給される。３種類のメタデータは、符号化され、ビデオ画像に埋め込まれる。第１のチャンネル１７５.１上のメタデータの種類は、ビデオ画像１１５のプログラムコンテンツの種類、例えば現代事情、コメディ、スポーツ又は軽い演芸であり、第２のチャンネル１７５.２上のメタデータの種類は、ビデオ画像に含まれる人々の間で交わされる議論の翻訳、例えば会見者及び会見される人の会話の翻訳であり、第３のチャンネル１７５.３上のメタデータの種類は、ビデオ画像を録画中のカメラの設定である。
【００３２】
図３に示す実施の形態では、３つのメタデータの種類は、制御プロセッサＣ＿Ｐの左から右に向かって重要度が増すように表現されていると考えられている。制御プロセッサＣ＿Ｐには、制御チャンネルＣ＿ＣＨＮを介して、３つのメタデータの種類に利用可能なデータ埋込容量を示す制御情報も供給される。さらに、他の実施の形態では、制御チャンネルＣ＿ＣＨＮは、各入力チャンネル１７５.１、１７５.２、１７５.３で受信されるメタデータの相対的重要度を示す制御情報表示を運ぶ。あるいは、この図において、相対的重要度は予め決まっており、すなわちメタデータアイテムの重要度の順番は予め決まっており、したがって、重要度の順序が増えるにつれ、それぞれのパラレルチャンネルを介して制御プロセッサＣ＿Ｐに供給される。
【００３３】
制御プロセッサＣ＿Ｐは、それぞれの相対的重要度に従って、３つのメタデータの種類に対する埋込データ容量の相対的な割当てを決定する。これらの各種類に付与される保護は、この相対的重要度に従って割り当てられる。この結果、第１のチャンネル１７５.１で受信されるプログラム種類メタデータは、接続チャンネル２０２.１を介して第１のエンコーダＥＮＣ.１に供給される。エンコーダＥＮＣ.１は、制御プロセッサＣ＿Ｐにより選択され、制御チャンネルＣＮＴ.１から受信された制御信号で示されるエラー訂正符号、又は予め割り当てられたエラー訂正符号に従って、メタデータの第１の種類を符号化する。例えば、エラー訂正符号は、略１／３の符号化率、すなわちソースデータ対符号化データの比が１：３（比率１／３）を提供するブロック符号である。第２のメタデータアイテムは、第２の接続チャンネル２０２.２を介して第２のエンコーダＥＮＣ.２に供給される。
【００３４】
第１のエンコーダＥＮＣ.１と同様に、第２のエンコーダＥＮＣ.２に供給されるデータの第２の種類は、所定のエラー訂正符号、又は制御チャンネルＣＮＴ.２で受信される制御情報で示されるエラー訂正符号によって、符号化される。したがって、メタデータの第２の種類の相対的に低減された重要度は、第１のエンコーダＥＮＣ.１に適用されるよりも強力でない第２のエンコーダＥＮＣ.２に適用されるエラー訂正符号を予め割り当て、又は選択するために使用される。メタデータアイテムに符号化されたフォームで付加される冗長データの量自体は、第１のエンコーダＥＮＣ.１に比べて減少される。例えば、第２のエンコーダＥＮＣ.２は１／２の符号化率に基づいて動作する。
【００３５】
第３のチャンネル１７５.３で受信される第３のメタデータに対しては、この実施の形態の制御プロセッサは、いずれの符号化も適用せず、第３の種類のメタデータアイテムは、接続チャンネル２０２.３を介して多重化ユニットＭＵＸに供給される。多重化ユニットＭＵＸは、第３のメタデータアイテムの種類のデータアイテムを、第１及び第２のエンコーダＥＮＣ.１、ＥＮＣ.２から供給される符号化データアイテムに結合して、多重化データストリームを形成し、この多重化データストリームを接続チャンネル２０５を介して、図２に示す結合器２４０に供給する。
【００３６】
本発明は、ある特定のエラー訂正符号化方式に限定されるものでなく、ＵＭＩＤを符号化するのに、例えばＢＣＨ（Bose-Chaudhuri-Hocquenghem）符号、リードソロモン符号、畳込み符号を用いることができる。畳込み符号の場合には、データは、同じ畳込み符号を使用して符号化され、相対的なデータの重要度を反映させるためにパンクチャ化することができる。
【００３７】
上述の他の実施の形態に示すように、パラレルチャンネル１７５で受信されるメタデータの相対的重要度は、エラー訂正符号発生器２００には知られない。なお、この場合、メタデータアイテムの相対的重要度は、制御チャンネルＣ＿ＣＨＮを介して制御プロセッサＣ＿Ｐに供給される。この相対的重要度は、ユーザによって選択され、あるいはメニューオプションに基づいて、事前に選択される。同様に、利用可能なデータ埋込容量は、制御プロセッサＣ＿Ｐには知られない、又は動的に変化する。したがって、他の実施の形態では、制御プロセッサＣ＿Ｐは、相対的重要度に基づいて、各メタデータアイテムに適用される符号化量を決定し、利用可能な埋込容量制限内でデータアイテムを符号化する。ところで、この他の実施の形態においては、各メタデータアイテムを符号化するのに使用されたエラー訂正符号を示す制御データを埋め込む必要がある。それに加えて、各メタデータアイテム用の各符号化メタデータアイテムの位置に表示が、符号化データストリームに埋め込まれる。
【００３８】
第２の実施の形態に基づくエラー訂正符号発生器
本発明の第２の実施の形態を提供するエラー訂正符号発生器２００は、メタデータアイテム１７５が供給され、エラー訂正符号化データを生成する。一実施の形態として、エラー訂正符号化データは、ウォータマークデータ１７５として供給されたＵＭＩＤと結合された冗長データを有する。様々なエラー訂正符号化方式がＵＭＩＤを符号化するのに使用できることが好ましい。なお、本発明の実施の形態に基づいて、ＵＭＩＤを符号化するためにエラー訂正符号発生器２００で用いられたエラー訂正符号は、組織的符号である。組織的符号の一例としては、ＵＭＩＤの２４８ソースビットと２６３ビットの冗長パリティビットとからなる５１１ビットのコードワードを出力するＢＣＨ（Bose-Chaudhuri-Hocquenghem）符号がある。これを図４に示す。図４では、後述するが、ＵＭＩＤは３つのデータフィールドしか有しないように書かれている。これは単なる例示にすぎない。データフィールドＤ１、Ｄ２、Ｄ３を用いて、本発明の実施の形態を説明する。
【００３９】
本発明は、ある特定のエラー訂正符号化方式に限定されるものでなく、ＵＭＩＤを符号化するのに、例えば他のＢＣＨ符号、リードソロモン符号、畳込み符号を用いることができる。なお、符号化方式は、組織的符号に基づいて、データアイテム（ＵＭＩＤ）を符号化するように構成されなければならない。この場合、ソースデータは、符号化方式によって加えられた冗長ビットを符号化されたフォームで有するように見える。
【００４０】
データ埋込プロセッサ
図２に示すように、エラー訂正符号化メタデータアイテム２０５は、変調器２３０の第１の入力端子に供給される。擬似ランダムシーケンス発生器２２０は、ＰＲＢＳ２２５を出力し、ＰＲＢＳ２２５は変調器２３０の第２の入力端子に供給される。変調器２３０は、擬似ランダムシーケンス発生器２２０によって発生されたＰＲＢＳの各コピーを、エラー訂正符号化メタデータアイテムの各ビットで変調する。好ましい実施の形態では、データは、ＰＲＢＳの各ビットをバイポーラ形式（「１」が＋１、「０」が−１）で表し、符号化ＵＭＩＤの対応するビットが「０」のときはＰＲＢＳの各ビットの極性を反転し、対応するビットが「１」のときは極性を反転しないことにより、変調される。そして、変調ＰＲＢＳは、結合器２４０の第１の入力端子に供給される。結合器２４０には、第２の入力端子を介して画像が供給され、ＰＲＢＳ変調データが画像に埋め込まれる。なお、データは変換領域において画像と結合される。
【００４１】
ウォータマークのデータを表す拡散スペクトラム信号を生成する擬似ランダムシーケンス発生器２２０を用いることによって、画像に埋め込まれるデータの強度を低減すことができる。変調ＰＲＢＳが加えられた変換領域における画像のデータの相関を求めることにより、変調データビットを検出し、判定することができる所謂相関符号化ゲインを有する相関出力信号が、生成される。このようにして、画像に加えられるデータの強度を低減することができ、これによって、空間領域画像上で知覚できるいかなる影響も低減することができる。また、拡散スペクトラム信号を用いることにより、データがより多くの変換領域データシンボルに拡散されるので、本来備わっている画像の強固性を向上させることができる。
【００４２】
図２に示すように、ウェーブレット変換器２１０は、ソース１１０からビデオ画像１１５が供給され、ウェーブレット画像２１５を結合器２４０に出力する。したがって、ウェーブレット画像２１５は、空間領域からウェーブレット変換領域（以下、単に変換領域ともいう）に変換されている。結合器２４０は、強度アダプタ１８０から供給される適用強度に基づいて、ＰＲＢＳ変調データを変換領域における表現（以下、変換領域の画像ともいう）の画像に加える。そして、ウォータマーク付きウェーブレット画像２４５は、画像ウォータマーク付き画像１２５を生成するために、逆ウェーブレット変換器２５０により空間領域に変換される。結合器２４０の動作については、後で詳しく説明する。
【００４３】
当業者は、ウェーブレット変換及びその変形を熟知している。ウェーブレット変換の詳細については、例えば、１９９９年発行、シー・バイレンス著「本当に親しみやすいウェーブレットのガイド（A Really Friendly Guide to Wavelets）」（C Valens, 1999 c.valens@minless.com）に記載されている。
【００４４】
本発明の実施の形態において、データはウェーブレット変換領域において画像内埋め込まれているが、本発明は、ウェーブレット変換だけに限定されるものではない。本発明では、どのような変換、例えば離散コサイン変換又はフーリエ変換を使用して、画像にデータを加えることができる。さらに、データを、画像の変換領域に変換することなく、空間領域の画像に加えることもできる。
【００４５】
ここで、結合器２４０の動作について詳細に説明する。結合器２４０は、ウェーブレット変換器２１０からウェーブレット画像２１５が、変調器２３０から変調ＰＲＢＳが、強度アダプタ１８０から適用強度１８５が供給される。結合器２４０は、ビットの値にかかわらず、変調ＰＲＢＳの各ビットに、±１にスケーリングされた係数αを加えることにより、ウォータマーク２３５をウェーブレット画像２１５に埋め込む。ウェーブレット画像２１５の選択された部分はウォータマーク２３５を埋め込むため使用される。ウェーブレット画像２１５の所定の領域の各係数は、以下の式により、符号化される。
【００４６】
Ｘｉ’＝Ｘｉ＋αｎＷｉ  （１）
ここで、Ｘｉはｉ番目のウェーブレット係数であり、αｎはｎ番目のＰＲＢＳに対する強度であり、Ｗｉはバイポーラフォームにおける変調ＰＲＢＳのｉ番目のビットである。
【００４７】
ここで、結合器の具体的構成及びその動作について、図５、６を参照しながら、詳細に説明する。図５において、結合器２４０は、変換領域画像をフレームストレージ２３６に供給する接続チャンネル２１５を介して変換領域画像が供給される。フレームストレージ２３６は、変換領域データのフレームを記憶する。結合器２４０は、ＰＲＢＳ（変調ＰＲＢＳデータ）を用いた拡張された後の、拡散スペクトラム符号化及びエラー訂正符号化されたデータが供給される。この実施の形態において、このエラー訂正及び拡散スペクトラム符号化されたフォームのデータ量が、フレームストレージ２３６内の画像フレームに埋め込まれる。したがって、埋め込むことができるデータ量の限界は、画像フレームのデータ量、及び埋め込まれたデータの影響に耐え得る画像の自然さに基づいて定められる。符号化データは、この容量内で画像データの各フレームに埋め込まれる総合データ量を形成する。このため、フレームストレージ２３６は、ウェーブレット変換領域の画像を表すデータのフレームを記憶する。埋め込まれるデータは、結合プロセッサ２３７に供給され、結合プロセッサ２３７は、埋め込まれるデータを、フレームストレージ２３６内に記憶されているウェーブレット変換領域画像の選択された部分に埋め込む。また、結合器２４０は、結合プロセッサ２３７に接続された制御プロセッサ２３８を備える。制御プロセッサ２３８は、強度アダプタ１８０から適用強度１８５が供給され、上記式（１）に示すように、適用強度１８５に基づいて、情報マテリアルへの変調ＰＲＢＳ２２５データの結合を制御する。また、制御プロセッサ２３８は、利用可能なデータ埋込容量をモニタし、そして、この利用可能なデータ埋込容量に基づいて、変調ＰＲＢＳを情報マテリアルに結合する。利用可能なデータ埋込容量を表す信号は、図３に示すエラー訂正符号発生器の制御プロセッサＣ＿Ｐ、変調器２３０等のウォータマーク埋込器１２０の他の部分に送られる。
【００４８】
図６は、一次ウェーブレット変換を示す図である。このウェーブレット変換は、ウェーブレット領域に変換され、フレームストレージ２３６に記憶されている画像のフレームを表している。ウェーブレット変換画像ＷＴ＿ＩＭＧは、画像が分割されたサブバンドを表す４つのウェーブレット領域を有する。ウェーブレットは、水平周波数が低く、垂直周波数が低いサブバンドｌＨ１ｌＶ１、水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１、水平周波数が低く、垂直周波数が高いサブバンドｌＨ１ｈＶ１、水平周波数が高く、垂直周波数が高いサブバンドｈＨ１ｈＶ１から構成される。
【００４９】
本発明の実施の形態では、埋め込まれるデータは、垂直周波数が低く、水平周波数が高いサブバンドｈＨ１ｌＶ１と、水平周波数が低く、垂直周波数が高いサブバンドｌＨ１ｈＶ１にだけ書き込まれる。
【００５０】
２つのサブバンドｈＨ１ｌＶ１及びｌＨ１ｈＶ１にだけデータを埋め込むことによって、埋め込まれたデータを検出できる可能性は高まり、一方、埋め込まれたデータが得られた画像に及ぼす影響は、低減される。なぜならば、水平周波数が高く、垂直周波数も高いサブバンドｈＨ１ｈＶ１のウェーブレット係数は、例えば圧縮、符号化等によって乱される可能性があるからである。ＪＰＥＧ（Joint Photographic Experts group）のような圧縮符号化処理は、画像の高周波成分を削減することにより、画像を圧縮符号化する。したがって、このサブバンドｈＨ１ｈＶ１にデータを書き込むことにより、埋め込まれたデータを再生できる可能性は低減する。逆に、垂直周波数が低く、水平周波数も低いサブバンドｌＨ１ｌＶ１にも、データは書き込まれない。これは、人間の目は、画像の低周波数成分に対して敏感であるためである。したがって、垂直周波数が低く、水平周波数が低いサブバンド周波数へのデータ書き込みは、画像をより一層劣化させる効果をもたらす。妥協案として、データは、水平周波数が高く、垂直周波数が低いサブバンドｈＨ１ｌＶ１と、垂直周波数が低く、水平周波数が高いサブバンドｌＨ１ｈＶ１に加えられる。
【００５１】
第１の実施の形態に基づくデコーダ図１に示す復号画像プロセッサ１０２内のウォータマークデコーダ１４０の動作について、図７を参照しながら、詳細に説明する。なお、図１と同じ回路には、同じ符号を付している。ウォータマークデコーダ１４０は、画像ウォータマーク付き画像１２５が供給され、ＵＭＩＤの再生バージョンを出力する。ウォータマークデコーダ１４０は、ウェーブレット変換器３１０と、擬似ランダムシーケンス発生器３２０と、相関器３３０と、エラー訂正デコーダ３５０とを備える。他の実施の形態として、ウォータマークデコーダ１４０は、後で簡単に説明する分析プロセッサ３６０を備えていてもよい。
【００５２】
ウェーブレット変換器３１０は、画像ウォータマーク付き画像１２５を変換領域に変換し、これによって、ウォータマークデータを再生することができる。そして、結合器２４０によって、ＰＲＢＳ変調データが加えられたウェーブレット係数は、ウェーブレット係数のサブバンドｈＨ１ｌＶ１，ｌＨ１ｈＶ１から読み出される。そして、これらのウェーブレット係数は、ウォータマーク埋込器において用いられた対応するＰＲＢＳとの相関がとられる。通常、相関は、以下の式（２）で表され、ここで、Ｘｎはｎ番目のウェーブレット係数であり、Ｒｎは、擬似ランダムシーケンス発生器３２０によって発生されたＰＲＢＳのｎ番目のビットである。
【００５３】
【数１】
0004542293.tif 000002
【００５４】
そして、相関Ｃｎの結果の相対的な符号は、ウォータマーク埋込器内でこのビットを表すのに用いられた符号に対応した埋込データのビットの値を示している。この方法で再生されたデータビットは、エラー訂正符号化ＵＭＩＤを表しており、エラー訂正符号化データは、エラー訂正デコーダ３５０によって、後述するように、復号される。ウォータマーク除去器１３０において、再生データアイテムを用い、ウォータマーク埋込器１２０において実行される動作と逆の動作を行うことにより、ウォータマークをビデオ画像から除去することができる。
【００５５】
図８は、エラー訂正デコーダ３５０の具体的な構成を示す図であり、図７に示す回路と同じ回路には、同じ符号を付している。一般的に、図８に示すデコーダは、図３に示すエンコーダによって実行される符号化とは逆の処理を行うことは明らかである。したがって、相関器３３０からの再生した埋込データストリームは、制御チャンネル３４５を介して制御プロセッサＣ＿Ｐ.Ｄに供給される。３つのデータの種類が符号化された際の所定の順番及び重要度に基づいて、制御プロセッサＣ＿Ｐ.Ｄは、各３つのメタデータの種類に対応した符号化データアイテムを分離して、それらを接続チャンネル３４７.１、３４７.２、３４７.３に供給する。そして、第１、第２の符号化データアイテムは、それぞれ第１デコーダＤＥＣ.１、第２のデコーダＤＥＣ.２に供給され、第３のメタデータアイテムのための第３のデータアイテムのデータは、符号化されていないので、直接出力プロセッサＯＵＴ＿Ｐに供給される。第１及び第２のデコーダＤＥＣ.１、ＤＥＣ.２は、図３に示されるエラー訂正符号発生器２００の第１、第２のエンコーダＥＮＣ.１、ＥＮＣ.２によって適用されたエラー訂正符号に適した復号アルゴリズムを使用して、符号化データアイテムを復号する。そして、再生されたデータアイテムは、出力プロセッサＯＵＴ＿Ｐに供給され、それぞれの出力チャンネル１４５.１、１４５.２、１４５.３から出力される。
【００５６】
図３に示されるエラー訂正符号発生器２００が適用された符号化の配列において、制御プロセッサは、ダイナミックにセットされ、接続チャンネル３４５に伝送され、再生したデータストリームには制御情報が含まれる。制御情報は、それぞれ第１と第２のメタデータアイテムが使用されるエラー訂正符号を示し提供する。それ相当に、制御情報は、再生したデータストリーム内に配置された各符号化されたデータアイテムも示し提供する。本実施の形態によれば、制御プロセッサＣ＿Ｐ.Ｄに従って、制御チャンネルＣＮＴ＿Ｄ.１、ＣＮＴ＿Ｄ.２によってコントロール信号が第１と第２の復号処理に使用されるデコーダに示すように提供されている。復号処理は、適用されたり、又は異なる復号処理が、データアイテムを符号化するエンコーダＥＮＣ.１、ＥＮＣ.２によって使用されるエラー訂正符号と同様に使用される。
【００５７】
代替される実施の形態において、異なるメタデータアイテムは異なるＰＲＢＳを使用し、相対的重要度と比例して埋め込まれる。変調器２３０の導入例は、図９に示される各メタデータアイテムの相対的重要性に比例して、データに応じて埋込影響を与える。図９において、擬似ランダムシーケンス発生器２２０からの３つのパラレル接続チャンネル２２５.１、２２５.２、２２５.３は、それぞれ第１、第２、第３のＰＲＢＳを発生し示される。符号化器からのデータは、デマルチプレックスプロセッサ２０７から接続チャンネルを介して受信される。この図表例において、３つのメタデータの種類は、マルチプレックスのエラー訂正符号発生器２００から受信され、デマルチプレックスプロセッサ２０７は、３つのメタデータの種類に応じてデータアイテムを分離し影響を与えるためと推測される。本実施の形態において、エラー訂正符号発生器２００は、３つの各データ種類からエラー訂正符号を適用されると推測されるが、代替される実施の形態では、異なる符号は第１の実施の形態に使用できる。
【００５８】
３つの各データ種類のための符号化されたデータアイテムは、それぞれの相関器Ｃ１、Ｃ２、Ｃ３に別々に伝送される。３つのメタデータの種類の相関的重要度は、相関器Ｃ１、Ｃ２、Ｃ３のために左から右に行くにつれ、増加すると推測される。各相関器はそれぞれＰＲＢＳ２２５を受信し、符号化されたデータアイテムのデータ信号に応じてＰＲＢＳ２２５を変調する。
【００５９】
図９に示すように、最重要のメタデータアイテムは、最長のＰＲＢＳ Ｐ＿１の６００ビットを提供するために、第１のメタデータアイテムのデータビットが最多量に拡散する。したがって、第２のメタデータアイテムの次に最長のＰＲＢＳ Ｐ_２の４００ビットを提供するために、第２のメタデータアイテムのシンボルは減少された量に従って拡散する。重要度の低いデータ種類においてのみ、ＰＲＢＳ Ｐ＿３の２００ビットは最小量拡散提供され使用される。３つの各結合器Ｃ１、Ｃ２、Ｃ３から構成されたＰＲＢＳは加算器ＡＤＤによりその後結合される。
【００６０】
変調ＰＲＢＳを合わせて結合することによって、複合信号ＣＳは３つの各メタデータアイテムのために拡散スペクトル信号を有効に提供しもたらす。複合信号は、図２で示し既に詳述したように、そこで結合器２４０によって画像と結合される。
【００６１】
図８を参照に既に詳述している通り、３つのメタデータの種類は、ウォータマークデコーダ１４０の相関器３３０から画像を再生される。なお、３つのメタデータの種類を検出し分離するため、図８の相関器は３つのＰＲＢＳ Ｐ＿１、Ｐ＿２、Ｐ＿３の効果を適用し、それぞれ第１、第２、第３メタデータアイテムを再生するために、変換領域画像を分離相関する。これは、３種類のメタデータアイテムを抽出するため、拡散スペクトル符号化データが追加されて画像データシンボルWIに相関される各３つのＰＲＢＳ Ｐ＿１、Ｐ＿２、Ｐ＿３は図１０に表されている。相関器は、倍率器Ｃ＿ＭＴ及び加算器Ｃ＿ＡＤＤによって図式的に表されている。第１の最重要データの場合、最長ＰＲＢＳ Ｐ＿１は、第２又は第３のＰＲＢＳより高い相関結果を発生し、それによって、第２及び第３のメタデータアイテムに関して、第１メタデータアイテムの検出の可能性を増加される。同様に、第２のメタデータアイテムは、第３のメタデータアイテムより正確に再生されやすい。
【００６２】
データを埋め込む拡散スペクトル符号化は、このような方法で埋め込みができるデータ量の限界を表現すると考えられることが望ましい。なぜならば、これは他の変調ＰＲＢＳが、欠如したＰＲＢＳに対してノイズを表しているためである。正確なＰＲＢＳが、データを埋め込むのに使用されるＰＲＢＳを配列する時に、あまりノイズが高くないため相関出力結果でカバーでき、データを再生できる。したがって、最大限のＰＲＢＳは合わせて追加できるが、埋め込まれたデータと欠如したＰＲＢＳの相関から再生できる埋め込まれたデータは、埋め込まれるデータのための制限のある容量を表すと考えることができる。それゆえに、それぞれの各データ種類にとって分配されるＰＲＢＳの長さ又は数量は、相対的重要度に応じて決定できる。代替される実施の形態の場合、データ種類単位当たりの重複する異なる量が提供されるため、データもエラー訂正符号発生器２００により符号化され、そして、重要度に応じて分離ＰＲＢＳに結合される。
【００６３】
図１１は、第２の本発明の実施の形態に従って、エラー訂正デコーダ３５０’のブロック構成図に詳細に説明し提供している。図１１において、相関器３３０によってビデオ画像１１５から再生したエラー訂正符号化されたメタデータは、エラープロセッサ４００によって接続チャンネル３４５から受信されている。本発明の実施の形態をわかりやすく説明すると、メタデータアイテムは、ＵＭＩＤと考えられる。符号化されたＵＭＩＤも、再生プロセッサ４０４によって接続チャンネル３４５から受信される。
【００６４】
図６に戻り、図６に示す分析プロセッサ３６０の目的について以下に説明する。分析プロセッサ３６０は、以前のＵＭＩＤ−１又は以後のＵＭＩＤ−１ ＵＭＩＤからのデータフィールドの価値を取って代わるであろうが、再生プロセッサ４０４が、誤ったＵＭＩＤのデータフィールドを決定するにあたって任意に補助し提供する。この結果、分析プロセッサ３６０は、再生された以前又は以後のＵＭＩＤからウォータマーク付き画像１２５のコンテンツ、同様に、検出し再生された誤ったＵＭＩＤを比較し変調される。分析プロセッサ３６０は、信号表示が再生された誤ったＵＭＩＤからの画像コンテンツと再生された以前及び/又は以後のＵＭＩＤ ＵＭＩＤ−１、ＵＭＩＤ＋１からの画像コンテンツの間に比較され発生し変調される。例えば、画像中の色の柱状図を比較することができる。この比較の信号表示は、接続チャンネル３７０を介して、再生プロセッサ４０４に伝送される。
【００６５】
再生プロセッサ４０４は、画像コンテンツの比較を表す信号を使用し、以前のＵＭＩＤ−１又は以後のＵＭＩＤ＋１に応じて誤ったＵＭＩＤのデータフィールドかどうかを決定する。したがって、例えば、再生された誤ったＵＭＩＤからの画像コンテンツは、再生されたＵＭＩＤ−１の以前のＵＭＩＤからの画像コンテンツに類似されるように比較し決定され、その後、ＵＭＩＤのデータフィールドは、以前のＵＭＩＤから引き出したデータ値に置換するべきである。例えば、クリップＩＤの代表であるデータフィールドは、以前のＵＭＩＤ−１からクリップＩＤを置換するべきである。
【００６６】
エラープロセッサ４００は、ＵＭＩＤの再生を試みるためにエラー検出及び／又は訂正処理を行う。
【００６７】
エラー訂正符号があるエラー数を訂正し、あるエラー数を検出する。一般的に、訂正できる数より検出できるエラー数の方が大きい。このように、エラーを検出するエラー訂正符号能力は、一般的にエラーを訂正する復号能力より優れている。
【００６８】
再生され符号化されたＵＭＩＤのエラー数は、エラー訂正符号化からＵＭＩＤを再生するには大きすぎる。なお、エラープロセッサは、訂正が可能か検出する機能が備わっている。例えば、ＢＣＨ符号、つまりＢＣＨ符号のための復号処理は、訂正が適用されている時、訂正が不可能なことを示すことができる。
【００６９】
あるいは、エラープロセッサ４００は、符号化されたＵＭＩＤのエラー数を検出するために、最初にエラー検出処理を行う。所定の境界よりエラー数が多い時は、符号化されたＵＭＩＤは、符号化されたＵＭＩＤのエラーが多すぎるため再生することが決められない。結果的に、エラー訂正符号を復号できる数よりエラー数の方が多いため、所定の境界は符号化されたＵＭＩＤが間違って復号する可能性を減らすようセットされる。主として、境界はエラー訂正デコーダによってエラー訂正できるエラー数、そして不正確に復号されるのが多きすぎるため、エラー数の可能性を減少されるとおりに妥協しセットされる。
【００７０】
もし符号化されたＵＭＩＤがエラーがありすぎるとすれば、ＵＭＩＤを再生しようと誤ったＵＭＩＤに再生処理を行い、再生プロセッサ４０４が制御チャンネル４０８を介して再生プロセッサ４０４を制御する。
【００７１】
エラープロセッサ４００が、符号化されたＵＭＩＤを表しエラー数を決めると、その後制御プロセッサ４０６は出力チャンネル１４５から出力されるＵＭＩＤの再生版を行うことができる符号化ＵＭＩＤを復号するエラープロセッサ４００を制御する。なお、この再生されたＵＭＩＤは、データ格納４１０内の制御プロセッサ４０６も制御し格納する。
【００７２】
再生プロセッサ４０４の作業に戻ると、図１１に示される本発明の実施の形態は、いつもＵＭＩＤを符号化されるシステマティクなエラー訂正符号の特質を利用する。図４に示すように、ソースデータであるＵＭＩＤは符号化された電信暗号文字の一部として表される。そのようなものとして、再生プロセッサ４０４は、エラーがある形状であっても、ＵＭＩＤにアクセスできるようになっている。再生プロセッサ４０４は、以後のＵＭＩＤをデータ格納４１０に復号し再生し格納するまで、局部的に誤ったＵＭＩＤを格納する。したがって、再生プロセッサ４０４は、そこでＵＭＩＤのデータフィールドである以前の復号できたＵＭＩＤ及び以後の復号できたＵＭＩＤの１つか両方を比較する。これは、ＵＭＩＤ−１とＵＭＩＤ＋１が再生された以前及び以後のＵＭＩＤを代表する図１２で表され、現在のＵＭＩＤ０を示している。ハッシュセクションで表されているように、ＵＭＩＤ０は再生できないものと考えられる。
【００７３】
ＵＭＩＤからデータを再生するため、再生プロセッサ４０４は、ＵＭＩＤのデータフィールドの値を比較する。ＵＭＩＤはクリップを識別し、又はＵＭＩＤが埋め込まれたビデオ画像（クリップＩＤ）を扱うクリップＩＤを含む。したがって、例えば、第１データフィールドＤ１を表す。クリップＩＤ Ｄ１がＵＭＩＤ−１及びＵＭＩＤ＋１内のものと同様である時、再生できないＵＭＩＤ０のデータフィールドＤ１は、クリップＩＤのＵＭＩＤ−１及びＵＭＩＤ＋１内のものと同様である可能性がある。それがゆえ、再生プロセッサ４０４はＵＭＩＤ−１及びＵＭＩＤ＋１のデータフィールドＤ１を比較し、同等である時、この値にＵＭＩＤ０のデータフィールドＤ１をセットする。
【００７４】
この時点で、制御プロセッサ４０６は、そこで適用し符号化されたＵＭＩＤを復号しようと試みる。もし第１データフィールドＤ１を置換した後も正確に復号される数が少なければ、未だに符号化されたＵＭＩＤにエラー数が存在するために、それゆえＵＭＩＤを再生するためにエラー訂正符号を使用することができる。この数が所定の境界より少ないときは、置換されたデータフィールドＤ１が適用し符号化されたＵＭＩＤは、エラープロセッサ４００に伝送される。前述のエラープロセッサ４００は、エラー訂正符号化によって符号化されたＵＭＩＤを再生できるかを決め、それにより、第２、第３データフィールドＤ２、Ｄ３を含むすべてのＵＭＩＤを再生する。
【００７５】
代りに、第１データフィールドＤ１を置換後も、またもしも適用し符号化されたＵＭＩＤが未だに復号できないとしたら、第２、第３データフィールドＤ２とＤ３は以前と以後のＵＭＩＤのために再生プロセッサ４０４によって比較される。データフィールドＤ２は、例えば時間符号になる。そのように、ビデオ画像１１５の連続するフレームに各ＵＭＩＤが埋め込まれているため、第２データフィールドＤ２のデータは直線的に連続するＵＭＩＤ間で増加すると予想される。その結果、再生プロセッサ４０４は、第２データフィールドＤ２を比較し、もしこれらが所定の境界より少なく違っているならば、そこでエラーに符号化されたＵＭＩＤ０のデータフィールドＤ２は、以前と以後のＵＭＩＤの第２データフィールドのデータ値間で補間することによって計算される。したがって、第２データフィールドＤ２が置換された後、制御プロセッサ４０６は、その後エラープロセッサ４００へ冗長データと再生された符号化されたＵＭＩＤを送り込み、もう一度ＵＭＩＤの復号を試みるか、ただ単に再生されたＵＭＩＤとして出力する。
【００７６】
第２データフィールドＤ２を比較する時、以前と以後のＵＭＩＤのデータフィールドは、所定の境界より量が多く違っていれば、その後分離ビデオクリップに関して、以前と以後の画像フレームからＵＭＩＤを再生されると予想される。データフィールドのようにまた実際ＵＭＩＤ全体としては、以前又は以後の再生されたＵＭＩＤから対応するフィールドによって置換される。同等ビデオクリップに応じて以前又は以後のＵＭＩＤを決定するに従って、ＵＭＩＤ０が再生された時、以前と以後のフレームのビデオ画像１１５コンテンツは比較される。再生されたＵＭＩＤ０の画像は少し後に説明される。したがって、再生されるＵＭＩＤの第２データフィールドＤ２は、以前のＵＭＩＤ又は以後のＵＭＩＤの第２データフィールドＤ２と同じ値にセットされ、そして復号が再適用される。デフォルトとして、誤ったＵＭＩＤは以前のＵＭＩＤと置換される。
【００７７】
再生されたＵＭＩＤの第３データフィールド値間で相関が存在すれば、それでこの相関はエラー符号化されたＵＭＩＤの第３データフィールドＤ３値を推定されるのに使用されるのが望ましい。
【００７８】
すべてのＵＭＩＤのデータフィールドが補間又は置換によって推定された後、エラー訂正復号機３５０は、符号化されたＵＭＩＤをもう一度復号しようと試みる。符号化されたＵＭＩＤが訂正可能であれば、その時符号化されたＵＭＩＤは再生されたＵＭＩＤとして復号され、出力される。なお、万が一訂正不可能であれば、その時は補間された後の適用されたフォームのＵＭＩＤは再生されたＵＭＩＤとして正しく、出力されると予想される。ＵＭＩＤが補間によって正確に再生されるため、なおすべてのエラーが符号化されたＵＭＩＤに多重同等ビットとして表示されるように、符号化されたＵＭＩＤは未だにエラー訂正デコーダ３５０によって訂正は不可能であると考えられる。
【００７９】
エラー訂正、置換及び／又は補間によって一度ＵＭＩＤが再生されれば、その時好都合に、ウォータマーク付き画像１２５のＵＭＩＤからのエラービットを置換する。これは、根本的にエラーのないウォータマーク付き画像を提供し、以後処理がウォータマークを利用できるようにするために、ウォータマーク付き画像１２５を再生成する。
【００８０】
ここで、図１３Ａ、１３Ｂを参照して、ＵＭＩＤの構造を簡単に説明する。ＵＭＩＤは、ＳＭＰＴＥジャーナル２０００年３月に記載されている。図２１Ａ図に拡張ＵＭＩＤを示し、拡張ＵＭＩＤは、図２１Ｂに示す基本ＵＭＩＤからなる３２バイトの第１セットと、シグネチャメタデータからなる３２バイトの第２セットを有している。すなわち、拡張ＵＭＩＤの３２ビットの第１セットは基本ＵＭＩＤである。構成要素は以下のようになっている。
【００８１】
・この第１セットをＳＭＰＴＥ ＵＭＩＤとして識別するための１２バイトのユニバーサルラベル。これは、ＵＭＩＤが識別するマテリアルのタイプを定めるとともに、グローバル的にユニークなマテリアル番号とローカル的にユニークなインスタンス番号を作成する方法も定める。
【００８２】
・ＵＭＩＤの残りの長さを定める１バイトの長さ値。
【００８３】
・同じマテリアル番号を持つ異なるマテリアルインスタンスを区別するのに用いられる３バイトのインスタンス番号。
【００８４】
・各クリップを識別するのに用いられる１６バイトのマテリアル番号。各マテリアル番号は同じマテリアルの関連するインスタンスについては同じである。
【００８５】
１セットのパックされたメタデータアイテムとしての、シグネチャメタデータからなる３２バイトの第２セットは、拡張ＵＭＩＤを作成するのに用いられる。拡張ＵＭＩＤは、基本ＵＭＩＤのすぐ後にシグネチャメタデータがくるものであり、シグネチャメタデータは以下の成分からなる。
【００８６】
・コンテンツユニット作成の日時を識別する８バイトの日時コード。
【００８７】
・コンテンツユニット作成時の空間座標を定める１２バイトの値。
【００８８】
・国、団体、ユーザの各コードを登録する４バイトのコードが３グループ。
【００８９】
ＵＭＩＤ構造の詳細な説明は、係属中の英国特許出願番号０００８４３２．７に記載されている。
【００９０】
更なる実施の形態において、ウェーブレット係数が追加されたＰＲＢＳの適用強度１８５は、相対的重要度に応じて適用できる。それなりに重要なデータは、高適用強度を与えられる可能性がある。
【００９１】
代替される実施の形態では、結合器２４０内の制御プロセッサ２３８は、相対的重要度に従って複数のデータアイテムを形成し、情報マテリアルによって用意された埋込データ容量の限界内にこの相対的重要度の順序に従ってデータアイテムを選択的に埋め込んでもよい。このように、もし埋込容量が限界に近づいたなら最重要データアイテム後に重要度の低いデータアイテムは、埋込容量内で待ち行列に入れられ埋め込まれる。既に説明の通り、低重要度データアイテムは、結合器プロセッサ２３７によって埋め込まれるデータアイテムに十分可能な埋込容量に近づくまで待ち行列に入れられる。データ埋込容量は、情報マテリアルの特徴の結果として又はより重要なアイテムの埋込削減、それによってより重要なデータアイテムがより収容可能なようにとの要求からダイナミックに変更される可能性がある。埋込可能容量は、制御プロセッサ２３８によって決定され、結合器プロセッサ２３７によって制御される。データアイテムは、この目的のためデータ格納（表示されていない）に一時的に格納され待ち行列に入れられる。
【００９２】
データアイテムは、コンテンツを記述したメタデータ又はデータが埋め込まれた前記情報マテリアルの属性が表され提供されているものを含んでいる可能性がある。メタデータは、例えば他のメタデータより高い所定の相対的重要度を与えられたＵＭＩＤが含まれ可能性がある。
【００９３】
本発明の目的からかけ離れることなく、色々な修正が実施の形態に施される。実施の形態において、埋め込まれるデータは変換領域の画像に追加されても、代替される実施の形態においてデータは変換領域で表され、空間領域に逆変換され、空間領域のデータへ追加される。
【００９４】
【図面の簡単な説明】
【図１】  ウォータマークシステムの構成を示すブロック図である。
【図２】  図１に示されるウォータマーク埋込器の構成を示すブロック図である。
【図３】  図２で示されるウォータマーク埋込器を構成するエラー訂正符号発生器の構成を示すブロック図である。
【図４】  組織的エラー訂正符号を使用して図２で示されるエラー訂正符号発生器によって符号化された代表的なＵＭＩＤの構成を示す図である。
【図５】  図２で示されるウォータマーク埋込器を構成する結合器の構成を示すブロック図である。
【図６】  データが結合される代表的な変換領域画像を示す図である。
【図７】  図１に示されているウォータマークデコーダの構成を示すブロック図である。
【図８】  図７で示されるウォータマークデコーダを構成するエラー訂正デコーダの構成を示すブロック図である。
【図９】  本発明の更なる実施の形態に基づき、図２で示される結合器を構成する変調器の構成を示すブロック図である。
【図１０】  本発明の更なる実施の形態に基づき、図７で示されるウォータマークデコーダを構成する変調器の動作を説明する図である。
【図１１】  本発明の更なる実施の形態に基づき、エラー訂正符号発生器の構成を示すブロック図である。
【図１２】  図１１で示されるエラー訂正デコーダを構成する再生プロセッサによって行われるデータアイテム再生の処理を説明するための図である。
【図１３Ａ】  基本及び拡張ＵＭＩＤの構造を示す図である。
【図１３Ｂ】  基本及び拡張ＵＭＩＤの構造を示す図である。
【図１】
0004542293.tif 000003
【図２】
0004542293.tif 000004
【図３】
0004542293.tif 000005
【図４】
0004542293.tif 000006
【図５】
0004542293.tif 000007
【図６】
0004542293.tif 000008
【図７】
0004542293.tif 000009
【図８】
0004542293.tif 000010
【図９】
0004542293.tif 000011
【図１０】
0004542293.tif 000012
【図１１】
0004542293.tif 000013
【図１２】
0004542293.tif 000014
【図１３Ａ】
0004542293.tif 000015
【図１３Ｂ】
0004542293.tif 000016