(57)【要約】  媒体間のわずかな変動を強調することによって回復可能である情報を媒体内に反復的に埋め込むシステム及び方法について記述している。多くの実施例においては、知覚モデルを使用することにより、埋め込まれた情報が人間の観察者にとって明白となる可能性が低い媒体の部分を識別している。本発明の一実施例は、媒体の形態において情報をレンダリングする段階と、搬送媒体から複数の媒体の部分を選択する段階と、レンダリング済みの媒体の少なくとも一部分を搬送媒体の選択された部分のそれぞれと合成することにより、変更済みの媒体の部分を形成する段階であって、変更済みの媒体の部分に対する変更は、人間の観察者にとって明白ではない、段階と、変更済みの媒体の部分を使用して変更済みの搬送媒体を生成する段階と、を含む。
2009503948.tif 000002
【特許請求の範囲】
【請求項１】
搬送媒体内に情報を埋め込む方法であって、
前記情報を媒体の形態においてレンダリングする段階と、
前記搬送媒体から複数の媒体の部分を選択する段階と、
前記レンダリング済みの媒体の少なくとも一部分を前記搬送媒体の前記選択された部分のそれぞれと合成することにより、変更済みの媒体の部分を形成する段階であって、前記変更済みの媒体の部分に対する前記変更は、人間の観察者には明白ではない段階と、
前記変更済みの媒体の部分を使用して変更済みの搬送媒体を生成する段階と、を備える方法。
【請求項２】
請求項１に記載の方法において、
前記搬送媒体は、ビデオシーケンスを備え、
前記各搬送媒体の部分は、１つのビデオフレームであり、そして、
前記レンダリング済みの媒体は、画像である方法。
【請求項３】
請求項２に記載の方法において、さらに、
前記レンダリング済みの媒体を表す画像の形状を変化させる段階を、備える方法。
【請求項４】
請求項１に記載の方法において、
前記レンダリング済みの媒体の一部分を前記各搬送媒体の前記部分と合成する段階は、知覚モデルに従って前記レンダリング済みの媒体を変更する段階を含む方法。
【請求項５】
請求項１に記載の方法において、
前記搬送媒体の部分と合成される前記レンダリング済みの媒体の前記部分は、擬似ランダム的に選択される方法。
【請求項６】
請求項１に記載の方法において、
前記搬送媒体は、オーディオシーケンスを備え、
前記搬送媒体の部分のそれぞれは、オーディオのセクションであり、そして、
前記レンダリング済みの媒体は、オーディオシーケンスである方法。
【請求項７】
請求項１に記載の方法において、
前記搬送媒体は、ビデオを備え、
前記レンダリング済みの媒体は、それを通じてビデオを投影又は記録可能であるレンズを備える方法。
【請求項８】
請求項１に記載の方法において、
前記情報は、前記媒体に関係したメタデータを備える方法。
【請求項９】
請求項１に記載の方法において、
前記情報は、ビデオ再生の時刻及び場所を識別する方法。
【請求項１０】
請求項１に記載の方法において、
前記情報は、前記媒体の著作権所有者又は受領者を識別する方法。
【請求項１１】
請求項１に記載の方法において、
前記情報は、データベースに関する参照を含む方法。
【請求項１２】
埋め込まれた媒体を搬送媒体からアンカバーする方法において、
前記搬送媒体から複数の媒体の部分を選択する段階と、
前記各媒体の部分の少なくとも一部分を選択する段階と、
前記媒体の部分からの前記一部分を強調する段階と、
前記媒体の部分からの前記一部分を合成する段階と、を備える方法。
【請求項１３】
請求項１２に記載の方法において、
前記媒体の部分の一部分を強調する段階は、高域通過フィルタを媒体のそれぞれの部分に適用する段階を備える方法。
【請求項１４】
請求項１２に記載の方法において、
前記媒体の部分の一部分を強調する段階は、前記埋め込まれた媒体を除外した前記搬送媒体を、前記埋め込まれた媒体を含む前記搬送媒体から減算する段階を備える方法。
【請求項１５】
請求項１２に記載の方法において、
前記搬送媒体は、ビデオシーケンスを備え、
前記埋め込まれた媒体は、デジタル画像を備え、
媒体のそれぞれの部分は、ビデオフレームであり、前記強調される各ビデオフレームの一部分は、ピクセルのグループを含む方法。
【請求項１６】
請求項１２に記載の方法において、
前記各媒体の部分の一部分を１つに合成する段階は、前記各媒体の部分の一部分を１つに平均化する段階を備える方法。
【請求項１７】
請求項１２に記載の方法において、
前記埋め込まれた媒体は、前記媒体の部分の前記一部分の前記合成の後に、装置によって認識される方法。
【請求項１８】
請求項１２に記載の方法において、
前記搬送媒体は、オーディオシーケンスを備え、
前記埋め込まれた媒体は、オーディオシーケンスを備え、
前記各オーディオの部分は、前記オーディオシーケンスの部分を備え、
前記各オーディオシーケンスの部分の前記一部分は、オーディオサンプルのグループを備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、デジタル媒体に関するものであり、更に詳しくは、搬送媒体内に埋め込まれた安全であって、知覚不能であると共に、ロバストな媒体マークに関するものであり、この媒体マークは、搬送媒体を識別するべく、認識可能な画像にレンダリング可能である。
【背景技術】
【０００２】
デジタル媒体のデジタル的な表現、保存、配布、及び複製は、廉価であって、使用が容易であると共に、媒体の品質が維持されるため、非常に一般的になっている。しかしながら、これらの利点に起因し、インーネット上におけるデジタル画像及びビデオの認可されていない配布などの著作権が保護された事物の広範で違法な配布及び使用が可能になっている。
【０００３】
認可されていない使用からデジタル媒体を保護するために、多数の様々な方法が提示されている。例えば、安全な通信及び配布を実現するには、デジタル暗号化技術が有効である。しかしながら、暗号化されたコンテンツを人間が観察又は聴取可能な形態において暗号解読又は提示すれば、コンテンツを再記録可能であり、保護されていない複製を入手可能である。
【０００４】
受領者情報の媒体内への埋め込みによる媒体のマーキングは、認可されていない方式で媒体を受領してコンテンツを使用する個人を識別するのに有用であろう。更には、媒体内に埋め込まれた所有権情報により、複写制限について通知すると共に、媒体の所有権を明確化することも可能である。
【０００５】
媒体にマーキングする１つの方法は、変更解除したファイルから判読可能であると共に再生の際には無視される注釈をデジタル媒体ファイルフォーマットに追加する方法である。しかしながら、この情報は、ファイルを再記録するか又は別のフォーマットに変換した場合に、消失可能である。
【０００６】
ビデオ媒体内においてロバストで永久的なマークを実現するために、再生の際に著作権情報を表示する可視的なオーバーレイ画像が提案されている。オーバーレイされた画像は、変更に対してロバストであり、且つ、判読が容易である。しかしながら、この方法は、オーバーレイされた画像がオリジナルのビデオを妨げ、この結果、閲覧品質が低下するため、マーキングされたビデオの品質を低下させる可能性を有している。更には、オーバーレイされた画像は、明白であり、従って、識別が容易であって、上書き又はクロッピングによって除去可能である。
【０００７】
デジタルウォーターマーキングは、別の方法であり、いくつかの異なる変形が提案されている。多くの一般的なデジタルウォーターマーキング方式は、空間又は時間の特定の位置に機械可読操作を導入することにより、デジタル媒体内にデジタルビットシーケンスを埋め込む段階を伴っている。読み出しの際には、ソフトウェアを使用することにより、これらの操作を解釈すると共に、埋め込まれたメッセージをアセンブルするべく使用されるデジタルビットシーケンスを導出している。操作を解釈するには、空間又は時間における操作の位置に関する知識が必要である。操作が歪曲された（例えば、誤配置又は弱化された）場合には、読み出し（これは、検出とも呼ぶ）が、しばしば、困難又は不可能となる。歪曲は、クロッピング、回転、別のファイルフォーマットへの変換、及びフレームレートの変更などの媒体の単純な処理の際に発生可能である。更には、マークを除去するために、攻撃者は、操作の意図的な誤配置を適用可能であり、この操作の意図的な誤配置は、シフト、回転、及び再生速度の変動などの知覚不能なわずかな歪曲の組み合わせによって実現可能である。公開されているツールが、これらの操作のいくつかを自動的に適用しており、これらは、攻撃とも呼ばれている。現時点におけるデジタルウォーターマーキングアルゴリズムは、しばしば、歪曲されたコンテンツ内の誤配置を認識するべく、十分に強力ではない（このプロセスをレジストレーションとも呼んでいる）。この結果、意図的な誤配置により、デジタルウォーターマークを判読不能にすることが可能である。
【０００８】
又、機械可読操作は、以下に説明する別のセキュリティリスクに対しても脆弱である。機械可読操作の検出には、通常、実行された操作に関する知識が必要である。従って、ウォーターマークの回避を試みる者は、ウォーターマークの判読又は埋め込みを観察することにより、操作の場所及び意味を突き止めることが可能である。この観察は、埋め込み又は検出プロセスを分析又はリバースエンジニアリングすることにより、実行可能である。この後に、熟練した攻撃者は、操作を除去又は反転させることにより、ウォーターマークを事実上除去可能である。ウォーターマークの除去に加えて、前述のリバースエンジニアリング法によれば、ウォーターマーク内に埋め込まれた情報の変更が可能である。これは、操作の位置が秘密キーによって暗号化されている場合にも当て嵌まる。通常、同一のキーを埋め込みと検出に使用しているため、秘密キーの使用によって提供される保護は、限定的である。攻撃者は、暗号化されている場合にも、埋め込み又は検出アプリケーションを分析又はリバースエンジニアリングし、場所に対するアクセスを得ることが可能である。更には、検出及び埋め込みアプリケーションを分析することにより、秘密キーを観察することも可能である。
【０００９】
レジストレーション及びセキュリティに加えて、多損失圧縮及びフィルタリングに対するロバスト性も、マルチメディアコンテンツの知覚不能なマーキングにおける重要な要素である。ウォーターマーキングの際には、通常、機械可読情報の隠蔽に適すると共にマーキングされたコンテンツの人間による知覚にあまり寄与しないデジタル媒体のエリアを操作することにより、メッセージをデジタル媒体内に埋め込んでいる。このようなデジタル媒体内のエリアの例は、微細な詳細情報（即ち、高周波数）を含むエリアを含んでいる。しかしながら、これらのエリアは、コンテンツが許容可能な品質を維持した状態において、変更又は除去可能である。例えば、ＭＰＥＧ２及びＨ．２６４などの一般的な多損失圧縮方式においては、デジタル媒体ファイルのサイズを低減し、これにより、その内部に保存されているウォーターマーク情報を除去するべく、この知覚的に重要ではない情報を削除している。従って、多損失圧縮方式などを使用した媒体の圧縮により、結果的に、ウォーターマーク情報の一部又は全部が削除されることになる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ウォーターマーキング研究の初期における焦点は、デジタルスチール画像であった。ビデオウォーターマーク法は、通常、それぞれのビデオフレームに対するスチール画像ウォーターマークの適用に基づいている。この理由は、それぞれのビデオフレームに対するスチール画像ウォーターマークの適用は、明白であると共に、実装が容易であるという点にある。しかしながら、この方法は、埋め込まれた情報を収集するべく時間ドメインを有効に使用してはいない。ウォーターマークの検出は、通常、個々のフレームからのなんらかの情報を回復可能である場合にのみ、正常に行われる。この方法は、ビデオフレームの関連したエリアのレジストレーションの失敗又は破壊に起因してウォーターマークをフレーム内において判読不能である場合には、しばしば、機能しない。更には、個々の画像及びウォーターマークがフレーム間において変化する状態でフレームをウォーターマーキングした場合には、ウォーターマークを弱化させるべく１つのビデオ内の類似したフレームを１つに平均化可能であるため、ウォーターマークは、攻撃の影響を受け易くなる。フレームのそれぞれが同一のウォーターマークを含んでいる場合には、これらのフレームを使用することにより、それぞれのフレーム内に存在しているウォーターマークの構造を分析して理解した後に、ウォーターマークを除去可能である。
【００１１】
更には、デジタルウォーターマーキングのプロセスは、通常、オリジナルの画像と埋め込むメッセージの複雑な変換を伴っている。このような複雑な変換の例は、ＤＣＴ、高速フーリエ、又はウェーブレット変換である。これらの変換の実行に必要な計算は、時間集約的なプロセスであり、これは、（例えば、再生又はダウンロードの際に）リアルタイムでデジタルウォーターマークを埋め込む際には、大きな制約となろう。更には、ウォーターマーキング法は、通常、明確に定義された変更から構成されており、従って、異なる圧縮フォーマット、セキュリティ、又は性能要件を採用するための変形の柔軟性がほとんど許容されていない。
【００１２】
本発明は、一般に、デジタル及びアナログ媒体に関するものであり、更に詳しくは、搬送媒体内において情報を反復的に埋め込むシステム及びプロセスに関するものであり、この情報は、搬送媒体を識別するべく、アンカバー可能である。
【課題を解決するための手段】
【００１３】
本発明の一実施例は、情報を媒体の形態においてレンダリングする段階と、搬送媒体から複数の媒体の部分を選択する段階と、レンダリング済みの媒体の少なくとも一部を搬送媒体の選択された部分のそれぞれと合成することにより、変更済みの媒体の部分を形成する段階であって、変更済みの媒体の部分に対する変更は、人間の観察者には明白ではない、段階と、変更済みの媒体の部分を使用して変更済みの搬送媒体を生成する段階と、を含んでいる。
【００１４】
更なる実施例においては、搬送媒体は、ビデオシーケンスを含んでおり、搬送媒体の部分のそれぞれは、単一のビデオフレームであり、レンダリング済みの媒体は、画像である。
【００１５】
又、別の実施例は、レンダリング済みの媒体を表す画像の形状を変化させる段階をも含んでいる。
【００１６】
又、更なる実施例においては、レンダリング済みの媒体の部分を搬送媒体の部分のそれぞれと合成する段階は、レンダリング済みの媒体を知覚モデルに従って変更する段階を含んでいる。
【００１７】
又、別の実施例においては、搬送媒体の部分と合成されるレンダリング済みの媒体の部分は、擬似ランダム的に選択されている。
【００１８】
更に別の実施例においては、搬送媒体は、オーディオシーケンスを含んでおり、搬送媒体の部分のそれぞれは、オーディオのセクションであり、レンダリング済みの媒体は、オーディオシーケンスである。
【００１９】
更に別の実施例においては、搬送媒体は、ビデオを含んでおり、レンダリング済みの媒体は、それを通じてビデオが投影又は録画されるレンズを含んでいる。
【００２０】
更に別の実施例においては、情報は、媒体に関係したメタデータを含んでいる。
【００２１】
更に別の実施例においては、情報は、ビデオ再生の時刻及び場所を識別している。
【００２２】
更に別の実施例においては、情報は、媒体の著作権所有者又は受領者を識別している。
【００２３】
別の更なる実施例においては、情報は、データベースに対する参照を含んでいる。
【００２４】
又、更に別の実施例は、搬送媒体から複数の媒体の部分を選択する段階と、媒体の部分のそれぞれの少なくとも一部分を選択する段階と、媒体の部分からの一部分を強調する段階と、媒体の部分からの一部分を合成する段階と、を含んでいる。
【００２５】
又、更に別の実施例においては、媒体の部分の一部分を強調する段階は、埋め込まれた媒体を除外した搬送媒体を埋め込まれた媒体を含む搬送媒体から減算する段階を含んでいる。
【００２６】
又、更に別の実施例においては、搬送媒体は、ビデオシーケンスを含んでおり、埋め込まれた媒体は、デジタル画像を含んでおり、媒体のそれぞれの部分は、ビデオフレームであり、強調されるそれぞれのビデオフレームの部分は、ピクセルのグループを含んでいる。
【００２７】
又、更なる別の実施例においては、媒体の部分のそれぞれの一部分を１つに合成する段階は、媒体の部分のそれぞれの一部分を１つに平均化する段階を含んでいる。
【００２８】
又、別の更なる実施例においては、埋め込まれた媒体は、媒体の部分の一部分を合成した後に装置によって認識されている。
【００２９】
別の更なる実施例においては、搬送媒体は、オーディオシーケンスを含んでおり、埋め込まれた媒体は、オーディオシーケンスを含んでおり、オーディオの部分のそれぞれは、オーディオシーケンスの部分を有しており、オーディオシーケンスの部分のそれぞれのものの一部分は、オーティオサンプルのグループを含んでいる。
【発明を実施するための最良の形態】
【００３０】
図面において、一般に、同様の参照符号により同一の部分を参照している。又、図面は、その縮尺が必ずしも正確ではなく、その代わり、一般に、本発明の原理を例示することにその力点が置かれている。
【００３１】
次に、添付図面を参照すれば、本発明の実施例に従って媒体マークを埋め込むと共にアンカバーするシステム及び方法が示されている。多くの実施例においては、媒体マークは、媒体シーケンス又は媒体のコレクション内に反復的に埋め込まれる情報の形態を有しており、埋め込まれた情報は、通常、人間の観察者にとって知覚不能である。但し、媒体マークを構成している情報は、回復可能であると共に、回復された後には、通常、人間にとって理解可能となるように設計されている。いくつかの実施例においては、媒体シーケンス又は媒体のコレクション内の媒体の選択された部分からの情報を強調及び合成することにより、媒体マークをアンカバーしている。媒体マークを媒体内に反復的に埋め込んでいる実施例においては、複数の媒体の部分からの情報を合成することにより、基礎を構成している媒体情報との関係においてマークを増幅している。マークを媒体内において反復的に埋め込むことにより、媒体の操作によって媒体マークを除去することが困難になる。更には、媒体マークを媒体シーケンス内に埋め込むことにより、媒体シーケンス又は媒体のコレクションは、再フォーマッティングや記録段階によって発生するものなどの品質の劣化の後にも、媒体マークを保持可能である。
【００３２】
本発明の実施例による媒体マークの埋め込み及びアンカバーのプロセスは、非対称である。埋め込み及びアンカバープロセスは、異なるプロセスであって、異なるアルゴリズムによって実装されている。媒体マークをアンカバーする際に必要とされる又は取得される情報は、媒体マークを媒体から除去するのに十分なものではない。更には、埋め込み及びアンカバーのプロセスは、通常、コンピュータによって実行されるが、実際の認識及び解釈は、通常、人間によって実行される。
【００３３】
媒体シーケンスがビデオフレームのシーケンスである実施例においては、媒体マークは、ビデオシーケンスのフレームからの画像情報と反復的に合成される視覚情報の形態を有することができる。多くの実施例においては、レンダリングされたビデオフレーム内における視覚情報の存在を人間の観察者が知覚する可能性を低減するべく、知覚マスクを使用して視覚情報とビデオフレームの画像情報を合成している。
【００３４】
その他の実施例においては、媒体マークは、オーディオシーケンス内に定期的に埋め込まれるオーディオ情報であるか又は画像のコレクション内の類似の場所に埋め込まれる視覚情報である。媒体マークは、デジタル媒体内に挿入されたデジタル情報であってよく、或いは、アナログプロセスを使用して挿入することも可能である。本発明の実施例による媒体マークを使用することにより、媒体の受領者を識別し、特定の媒体シーケンス又は媒体のコレクションの配布を追跡可能である。更には、媒体マークを使用することにより、アーカイブ情報を媒体内に埋め込み、複写の制御を実行し、放送の監視を実行すると共に／又は、秘密通信を配布可能である。
【００３５】
［媒体マークを埋め込むシステム］
媒体を配布する本発明によるシステムの一実施例が図１に示されている。システム１０は、ネットワーク１４を介して複数の装置に接続された幾つかのサーバー１２を含んでいる。図示の実施例においては、ネットワークは、ケーブルテレビネットワークであり、ネットワークに接続されている装置の１つは、ケーブルモデム１７を介してネットワークに接続されたコンピュータ１６である。ネットワークに接続されている別の装置は、出力をテレビ２０に供給しているケーブルボックス１８である。
【００３６】
サーバー１２は、ネットワークに接続された装置に対して供給可能な媒体を保存している。多くの実施例においては、サーバーと装置間における媒体の転送は、暗号化を使用して保護されている。媒体は、通常、伝送に必要なデータ量を低減するべく圧縮されている。サーバーから受信した暗号化済みの媒体は、通常、レンダリングのために暗号解読及び圧縮解除されるが、暗号解読及び圧縮解除プロセスの一部は、暗号解読及び圧縮解除された媒体内に媒体マークを埋め込む段階を含んでいる。ケーブルボックス１８などの消費者電子装置によって受信された媒体の場合には、暗号解読及び埋め込みプロセスは、しばしば、ハードウェアによって実行されている。暗号化済みの媒体ソフトウェアを受信する装置が（例えば、コンピュータ１６などのように）構成可能なものである際には、媒体内の媒体マークの暗号解読、圧縮解除、及び／又は埋め込みは、ハードウェア内によって、或いは、クライアントソフトウェアを使用することにより、実行可能である。暗号解読及び圧縮解除された媒体内における媒体マークの埋め込みが完了すれば、その媒体が複写又は転送された場合にも、媒体マークが媒体内に存在することになる。多くの実施例においては、媒体マークは、媒体を受信及び暗号解読した装置に一意である。いくつかの実施例においては、媒体マークは、コンテンツを受信した日時に関する情報と、受信装置又はユーザーの識別情報を含んでいる。日付、時刻、及び識別情報などの埋め込む情報は、サーバーから入手することも可能であり、媒体と共に供給することも可能であり、或いは、装置が、自身のシリアル番号及びその内部クロックからの日付及び時刻などのローカルに保存されている情報を使用することも可能である。暗号化された媒体を圧縮している実施例においては、圧縮解除の前又は後に、媒体マークを媒体内に埋め込み可能である。媒体マークを埋め込む技法については、後程更に説明する。
【００３７】
尚、図１に示されている実施例は、ケーブルテレビネットワークを含んでいるが、本発明のその他の実施例は、ネットワークに接続されたサーバー及び装置間の通信を実現するべく、その他のネットワーキング技術を包含可能である。更には、媒体を受信すると共に媒体マークを埋め込み可能な本発明の実施例による装置は、ケーブルボックス及びコンピュータに限定されるものではない。様々な接続された及び接続されていない消費者電子装置及び演算装置の中の任意のものにより、媒体マークを本発明の実施例に従って埋め込み可能である。
【００３８】
図１に示されている実施例は、ネットワークを介した媒体の配布と、配布の後の媒体マークの埋め込みを伴っている。本発明の多くの実施例は、媒体の配布の前に媒体内に媒体マークを埋め込む段階を伴っている。いくつかの実施例においては、媒体マークは、サーバーによって（例えば、ヘッドエンドにおいて）媒体内に埋め込まれている。媒体マークがサーバーによって埋め込まれるか、或いは、埋め込む情報がサーバーによって決定された際に、サーバーは、埋め込まれる媒体マークに関する情報を記録可能である。例えば、サーバーは、要求者の請求情報に関する情報及び／又は受信装置並びに伝送される媒体及び情報に関する通信プロトコルに関する情報を保存可能である。多くの実施例においては、媒体の配布又は処理の際に、複数の媒体マークを同時に又は異なる段階において媒体内に埋め込んでいる。個々のマークを追加するそれぞれの配布又は処理段階を、アンカバーされたマークから追跡可能である。更には、本発明の実施例に従って媒体マークを埋め込むプロセスは、大部分の従来のウォーターマーキング技術と互換性を有しており、従って、媒体マークは、大きな障害を伴うことなしに、同一媒体内において従来のウォーターマーキング技術と共存可能である。従って、本発明の実施例を使用することにより、ウォーターマーキングされた媒体内に媒体マークを埋め込み可能であり、或いは、媒体マークを含むメディアに対してウォーターマークを適用可能である。
【００３９】
本発明の一実施例による媒体内に媒体マークを埋め込む能力を有する消費者電子装置の一実施例が図２に示されている。消費者電子装置４０は、メモリ４６、Ｉ／Ｏコントローラ４８、及びビデオコンバータ５０に接続されたプロセッサ４４を含んでいる。Ｉ／Ｏコントローラ４８は、ネットワークインターフェイス装置５２、入力インターフェイス装置５４、追加メモリ５６、及びオーディオ出力装置５８に接続されている。図示の実施例においては、ネットワークインターフェイス装置５２は、ネットワークに接続されており、このネットワークを介して媒体を受信する。受信した媒体をレンダリングのためにプロセッサによって操作している。前述のように、プロセッサによって実行可能な操作の１つが、媒体内への媒体マークの埋め込みである。プロセッサは、ファームウェア又はソフトウェアを使用して構成されたマイクロプロセッサの形態であってよい。或いは、この代わりに、プロセッサは、デジタル信号処理回路の一部として又はＡＳＩＣ（Application Specific Integrated Circuit）として実装可能である。多くの実施例においては、マイクロプロセッサ及びその他の回路の組み合わせを使用してプロセッサを実装している。尚、図２には、特定のアーキテクチャが示されているが、本発明の実施例は、任意の様々な消費者電子装置、組込型の装置、及び演算装置の形態をとることができる。例えば、本発明の実施例は、ＶＨＳテーププレーヤー、ＤＶＤプレーヤー、ビデオプロジェクター、カメラ、デジタルビデオキャムコーダー、媒体データを処理するパーソナルコンピュータ、ハンドヘルド型のビデオ再生装置（携帯電話機及びゲーム機を含む）、及びビデオを処理可能なパーソナルオーガナイザを包含可能である。
【００４０】
［媒体マークの埋め込み］
以上の説明には、本発明の実施例に従って媒体内に媒体マークを埋め込む能力を有するシステムの説明が含まれている。本発明の一実施例に従って媒体内に媒体マークを埋め込むのに使用可能なプロセスが図３に示されている。プロセス６０は、媒体マークを生成する段階（６２）と、次いで、マークを埋め込む媒体の部分を選択する段階（６４）と、を伴っている。次いで、媒体マークを媒体の部分と合成することにより、マークが埋め込まれた変更済みの媒体の部分を形成している（６６）。次いで、マークを埋め込む更なる媒体が素材しているかどうかに関する判定（６８）を実行している。更なる媒体が存在している場合には、更なる媒体が存在しなくなる時点まで、媒体の別の部分を選択し、媒体マークを媒体の部分と合成する。更なる媒体が存在しなくなったら、複数の媒体の部分を再合成することによってプロセスを終了させる（７０）。尚、多くの実施例においては、媒体マークは、媒体の部分の再生に伴ってそれらの媒体の部分と合成されていることから、再合成は不要である。
【００４１】
以上において概説したプロセスにおいては、媒体マークを埋め込む媒体は、媒体シーケンス又は媒体のコレクションの一部であってよい。後程、更に詳しく説明するように、媒体マークを媒体シーケンス又は媒体のコレクション内の媒体の部分のそれぞれと合成することは必須ではない。媒体マークを媒体の部分の中のいくつかのものとのみ合成する際には、変更済みの媒体の部分を変更されてはいない媒体の部分と合成することにより、媒体マークが埋め込まれた媒体を生成している。以下の説明は、以上において概説したプロセスの更に詳細な態様に焦点を当てている。
【００４２】
［媒体マークの生成］
前述のように、本発明の実施例による媒体マークは、通常、人間が理解可能な形態において表現された情報の形態を有している。例えば、ビデオシーケンス又は画像のコレクション内に埋め込まれる媒体マークは、文字及び／又は画像を包含可能である。又、特定のサイズ、形状、テクスチャ、フォントタイプ、又はシンボルの場所により、情報を表現することも可能である。オーディオシーケンス内に埋め込まれる媒体マークは、サウンド、メロディ、又は発話された言葉を包含可能である。又、いくつかの実施例においては、媒体マークは、バーコード又はＯＣＲフォントなどの機械が理解可能な情報を包含することも可能である。
【００４３】
媒体マーク内に包含可能な情報は、その種類がほとんど無限である。多くの実施例においては、媒体マークは、受領者、所有者、及び／又は伝送又は表示の日時に関する情報を含んでいる。又、媒体マークは、大量の情報のハッシュコード及び／又はその他の情報（データベースレコードなど）に対するインデックスなどの情報を包含することも可能である。いくつかの実施例においては、媒体マークは、許容されたワークフロー、媒体に対する変更、許容された複写の数、又は媒体ファイルの複写の許容された受領者を示す配布又は処理制限に関する情報を含んでいる。
【００４４】
［ビデオシーケンス又は画像コレクション内において使用する媒体マークの生成］
ビデオシーケンス又は画像のコレクション内に埋め込み可能な媒体マークを生成するプロセスが図４に示されている。プロセス７２は、埋め込む情報を決定する段階（７４）と、情報をエンコードする段階（７６）と、エンコード済みの情報をレンダリングする段階（７８）と、を含んでいる。
【００４５】
前述のように、媒体マーク内に埋め込み可能な情報は、実質的に無限である。情報は、人間が理解可能な及び／又は機械が理解可能なものであってよい。埋め込む情報の決定が完了したら、情報をエンコードしている。情報は、一連の英数シンボルとして単純にエンコード可能であり、次いで、これらがレンダリングされることになる。その他の実施例においては、レンダリングの前に、基本情報を変更している。多くの実施例においては、情報を圧縮、誤り識別又は補正情報によって補完、及び／又は暗号化可能である。レンダリングプロセスは、エンコード済みの情報を使用して媒体を生成する段階を伴っている。ビデオシーケンス又は画像のコレクション内に埋め込まれる媒体マークの場合には、エンコード済みの情報を画像としてレンダリングしている。オーディオシーケンス内に埋め込まれる媒体マークの場合には、エンコード済みの情報をオーディオシーケンスに変換している。
【００４６】
［媒体マークとしてレンダリングするための情報のエンコーディング］
本発明の実施例に従って情報をエンコーディングする段階は、媒体マーク内に含まれている情報を表現する方式を決定する段階を伴っている。前述のように、ビデオシーケンス又は画像のコレクション内に埋め込まれた媒体マークは、文字及び／又は画像を包含可能であり、オーディオシーケンス内に埋め込まれた媒体マークは、サウンド、メロディ、又は発話された言葉を包含可能である。
【００４７】
いくつかの実施例においては、情報は、大きなシンボル及び／又は（例えば、ビデオフレームの高さの約１／４の高さなどの）Ａｒｉａｌなどの単純なフォントを使用して表現されている。大きなシンボルは、微細な詳細情報をほとんど具備しておらず、従って、相対的に低周波数の成分からほとんど構成されている。低周波数の成分は、非常にロバストであり、且つ、ビデオが、圧縮、録画、及びフィルタリングなどの様々なプロセスを通じて劣化した後にも、ビデオ内に留まることになる。これらのシンボルは、アルファベットのシンボルなどのように、容易な認識のために人間にとって親しみ深いものになるように或いは、例えば、水平又は垂直の真っ直ぐなラインではなく、垂直で丸いラインなどのように、埋め込まれた際にほとんど可視状態とはならないように、或いは、垂直及び水平バーのように互いの間に最大の差を具備するように、更に選択可能である。埋め込まれた情報を表すためのシンボルを選択する際の更なる考慮事項は、例えば、効率的に保存及び適用可能なブロックなどの、それらを機械によって適用することができる効率性である。
【００４８】
いくつかの実施例においては、情報は、シンボルの場所によって表現されている。フレームサイズをいくつかの異なる領域に論理的に分割し、シンボルを領域内において有効化又は無効化することによって情報をコーディングしている。多くの実施例においては、特定の場所におけるシンボルの存在又は不存在を使用することにより、バイナリ情報をエンコードしている。いくつかの実施例においては、媒体マークを除去するべく平均化されるマーキング済みのビデオがそれぞれのカテゴリ内において共通情報を維持するように、同一カテゴリの情報を同一場所に保存している。情報は、同一場所において有意な値を具備するべく、階層的な方法によって更に構築されている。例えば、異なる時間コードと同一の郵便番号を含むいくつかの映画を平均化した場合には、郵便番号情報は、平均化手順によっては弱化されることがない。異なる領域からの複写を平均化した場合には、互いに近接すると共に大きくは異なっていない郵便番号からの第１桁が維持されることになる。
【００４９】
その他の実施例においては、一緒に平均化されるマーキング済みのビデオが、恐らくは、オーバーラップを伴うことなしにいくつかの判読可能なマークを含むように、共通の要素を持たないいくつかのエリアからマークの場所を選択している。
【００５０】
実施例のグループは、映画がマーキングされていることを識別するべく、情報をエンコードして固定されたシンボルを固定された場所に提供している。媒体のいくつかの異なる複写からのフレームを合成することにより、埋め込まれた媒体マークを除去するべく試みた場合には、媒体のすべての複写には存在していない媒体マーク内の情報を弱化可能である。しかしながら、それぞれの複写の媒体マーク内に含まれている共通的な情報（即ち、固定された場所における固定されたシンボル）をアンカバー可能である。
【００５１】
情報の表現に加えて、エンコーディングプロセスは、媒体マーク内に含まれている情報を圧縮又は保護するべく設計された更なるプロセスと、媒体の後続の処理によって情報内に導入される誤りを訂正するべく設計されたプロセスと、を伴うことができる。本発明の一実施例による誤り訂正コードの圧縮及び埋め込みを伴う情報のエンコーディングプロセスが図５に示されている。このプロセス９０は、情報を提供する段階（９２）を含んでおり、次いで、これを圧縮し（９４）、圧縮の後に、処理して誤り訂正情報を生成し、これを圧縮済みの情報に追加している（９６）。誤り訂正のための追加情報は、潜在的な誤判読を訂正すると共に、アンカバーされた媒体マークの認識の際に消失した又は認識不能なシンボルを回復するべく使用可能な冗長性を追加している。
【００５２】
情報をエンコードして媒体マークを形成する際には、様々なプロセスの中の任意のものを適用可能である。本発明の一実施例による暗号化を伴う情報の別のエンコーディングプロセスが図６に示されている。プロセス９０'は、情報を提供する段階（９２'）を伴っており、次いで、これを圧縮し（９４'）、暗号化している（９６'）。媒体マーク内に含まれた情報を暗号化することにより、媒体内において情報を安全に伝送可能である。多くの実施例においては、（ビデオ又はオーディオフォーマットにおいて）暗号化された情報を含む媒体マークを使用することにより、媒体内において秘密メッセージを送信可能である。前述の説明から明らかなように、様々な異なるエンコーディング技法及びプロセスの中のいずれかのものを使用することにより、媒体マークとしてレンダリングする前に、情報をエンコード可能である。エンコーディングプロセスの特性は、通常、媒体内に保存される情報、その情報の後続の使用法、及び情報の予想される劣化、並びに、マーク内に保存された情報と関連する情報の可用性に依存している。
【００５３】
［媒体マークを形成するためのエンコーディング済み情報のレンダリング］
媒体マーク内に収容することが望ましい情報のエンコーディングが完了したら、エンコーディング済みの情報を媒体としてレンダリングすることにより、本発明の実施例による媒体マークを生成可能である。ビデオシーケンス又は画像のコレクション内に埋め込む媒体マークの場合には、エンコーディング済みの情報は、通常、画像としてレンダリングされており、オーディオシーケンス内に埋め込む媒体マークの場合には、エンコーディング済みの情報は、通常、オーディオシーケンスとしてレンダリングされている。
【００５４】
シンボルとしてエンコーディングされた情報をビデオシーケンス又は画像のコレクション内に埋め込む実施例においては、シンボルが背景とは異なる色及び輝度情報を具備するように、シンボルを画像内にレンダリング可能である。いくつかの実施例においては、媒体マークを形成する画像の背景は、中間グレーである。中間グレーの背景色を有するエリアは、通常、媒体マークを埋め込んだ後に、ビデオフレームを変更することにはならない。いくつかの実施例においては、シンボルは、シンボルのアウトラインにおいて強力なコントラストを提供するべく、明るい境界を有する暗いコンテンツを具備するようにレンダリングされている。多くの実施例においては、最も明るい及び最も暗いエリアは、中間グレーから略８％だけ変化している。８ビットのグレー画像の場合には、ピクセル値は、０〜２５５の範囲を有している。中間グレーは、１２７のピクセル値を具備しており、最低及び最大ピクセル値は、それぞれ、約１０７及び１４７である。更には、相対的に強力な埋め込みを実現するべく、それぞれの文字ラインの端点が相対的に暗くなるように、文字を認識するべく使用される知覚的に重要なエリアを相対的に強力なマークによって強調することも可能である。相対的に強力な埋め込みは、コンテンツが劣化した場合にも、アンカバーされた媒体マーク内において相対的に良好な判読可能性を提供可能である。
【００５５】
本発明の実施例による媒体マークのレンダリングプロセスの一部として、画像生成に続いて、様々なフィルタ及び／又は変換を適用可能である。フィルタ及び変換の結果として得られる変形は、通常、アンカバーされた媒体マークの人間による認識を妨げることはないが、これらの変化は、機械を使用した媒体マークの場所の検出を複雑化させ、この結果、自動認識に対する改善された保護を実現可能である。本発明の一実施例によるビデオシーケンス又は画像のコレクション内に埋め込む媒体マークのレンダリングプロセスが図７に示されている。プロセス１００は、エンコーディング済みの情報を使用して画像を生成する段階（１０２）と、生成された画像に対してフィルタを適用する段階（１０４）と、を含んでいる。図示の実施例においては、フィルタは、約０．５のシグマと約０．５の標準偏差を有するガウスぼかしである。ガウスぼかしを適用することにより、マーキング済みのコンテンツ内において可視状態となり得る強力なエッジを除去可能である。フィルタを適用した後に、画像を変換している（１０６）。図示の実施例においては、この変換は、擬似ランダム形状変形を画像に適用する段階を伴っている。例えば、−５〜＋５度の回転、画像サイズの−１０％〜＋１０％の位置シフト、及び水平及び垂直方向における＋１０％〜−１０％の引き伸ばしを適用している。但し、その他の実施例においては、その他の擬似ランダム変形を適用可能である。
【００５６】
いくつかの実施例においては、擬似ランダム変形の適用は、変形のパラメータを導出可能な擬似ランダムシーケンスを生成するための秘密キーの使用法に依存している。暗号化キーは、ユーザーが供給することも可能であり、或いは、ランダムに生成することも可能である。媒体マークを生成するべく先程概説した方式において擬似ランダム変形を適用した場合には、暗号化キーに関する知識を伴うことなしには、埋め込まれた媒体から媒体マークを完全に除去することは不可能である。従って、本発明によるシステムの多くの実施例は、媒体マークが埋め込まれている媒体から暗号化キーを使用して媒体マークを除去できるようにするべく、暗号化キーを保存している。暗号化キーは、検出には不要であるため、媒体マークを除去しない場合には、媒体マークを埋め込んだ後に破棄可能である。
【００５７】
図７を参照して前述したフィルタ及び変形に加えて、本発明の実施例は、様々なフィルタ、変換、又はデータ操作プロセスの中の任意のものを媒体マークのレンダリングにおいて利用可能である。例えば、ビデオシーケンス又は画像のコレクション内に埋め込む画像マークのレンダリングは、テクスチャ、フォントタイプ、又はシンボル形状の変更を包含可能である。通常、基本的なレンダリング済みの媒体との関係において実行される処理は、媒体マークが使用される特定のアプリケーションの要件に基づいて決定される。
【００５８】
本発明の実施例によるレンダリング済みの媒体マークが図８に示されている。媒体マーク２１０は、形状変形が適用された画像２００にレンダリングされたテキスト情報２０５及びグラフィック２０６を含んでいる。図示の実施例においては、テキスト情報２０５及びグラフィック２０６は、明るい境界領域２０７及び暗い内部領域２０８によってレンダリングされている。この画像に対して適用された形状変形の少なくとも１つは、画像の部分的な回転であり、この結果、テキスト情報のラインは、画像のエッジに対して平行に延長してはいない。その他の実施例においては、単一の色又は領域の異なる組み合わせを使用してテキスト及びグラフィックをレンダリング可能である。更には、様々なその他のフィルタ、変換、及び／又はプロセスを使用することにより、画像内においてその他の変形を生成可能である（前述の説明を参照されたい）。更には、媒体マーク内のラインを分割するフィルタ又はフォントを使用可能であり、且つ、擬似ランダム雑音パターンを媒体マークに適用することにより、埋め込み済みの媒体マークの視認性を更に低下させることも可能である。
【００５９】
［媒体マークを埋め込む媒体の選択］
前述のように、本発明の実施例による媒体マークは、媒体内に反復的に埋め込まれている。媒体マークを時間的に拡散させれば、アンカバープロセスにおいて媒体のいくつかの部分からの結果を時間に伴って蓄積する必要があるため、媒体マークのロバスト性を向上させることができる。媒体マークは、一般に、媒体の単一の部分から回復することは不可能であるが、媒体のそれぞれの部分が、トータルな検出結果に寄与している。非常に劣化した媒体を処理する際には（媒体の個々の部分において媒体マークが大幅に弱化されている場合にも）、相対的に長い媒体の期間を使用すると共に、媒体の相対的に詳細な部分を処理することにより、しばしば、媒体マークをアンカバー可能である。多くの実施例においては、媒体の全体にわたって媒体マークを分布させる段階は、媒体マークを定期的なインターバルで埋め込む媒体の部分を選択する段階を伴っている。その他の実施例においては、媒体マークを埋め込む媒体の部分は、その媒体の部分の特性に基づいて選択している。例えば、媒体マークの存在が結果的に観察可能となる可能性が低い媒体の部分にのみ、媒体マークを埋め込み可能である。
【００６０】
本発明の一実施例による媒体マークを埋め込む媒体の部分を選択するプロセスが図９に示されている。プロセス２２０は、媒体の第１部分を選択する段階（２２２）と、媒体の既定の部分をスキップする段階（２２４）と、更なる媒体が残っているかどうかを判定する段階（２２６）と、更なる媒体がなくなる時点まで媒体の別の部分を選択する段階（２２２）を含んでいる。本プロセスは、更なる媒体がなくなった時点で終了している（２２８）。
【００６１】
このプロセスを使用してビデオシーケンスからフレームを選択している本プロセスの実施例においては、デジタルビデオのすべてのフレームに、又はデジタルビデオのＮ個のフレームごとに、又はデジタルビデオのランダムな複数のフレーム内に、媒体マークを埋め込み可能である。多くの実施例においては、媒体マークの第１部分をＮ個のフレームごとに埋め込んでおり、媒体マークの第２の部分をデジタルビデオのＭ個のフレームごとに埋め込んでいる。媒体マークの異なる部分を媒体の全体にわたって反復的に埋め込むことにより、媒体マークを見出す際の難しさと、媒体から媒体マークを除去する際の複雑性を増大させることができる。
【００６２】
媒体マークを埋め込む媒体の部分を選択する別のプロセスが図１０に示されている。このプロセス２４０は、媒体の部分を検査することにより（２４２）、その媒体の部分が、基準の組に従って媒体マークを埋め込む（２４６）のに適した特性を具備しているかどうかを判定する段階（２４４）を含んでいる。例えば、この基準は、媒体内における変化及び／又は背景雑音のレベルを包含可能である。媒体マークは、高レベルの変化及び／又は背景雑音を含む媒体の部分に埋め込まれた際には、検出される可能性が低くなる。媒体の部分の特性が適切であると判定された場合には、媒体マークを埋め込むべく、その媒体の部分を選択する（２４６）。本プロセスは、更なる媒体が残っているかどうかを判定している（２４８）。更なる媒体が存在している場合には、次の部分の特性を検査する（２４２）。すべての媒体の検査が完了したら、本プロセスは終了する（２５０）。
【００６３】
多くの実施例においては、前述のプロセスの組み合わせを使用することにより、媒体マークを埋め込む媒体の部分を選択可能である。更には、本発明の実施例に従い、その他のプロセスを使用することにより、媒体マークを埋め込む媒体の部分を判定することも可能である。
【００６４】
［媒体マークと媒体の合成］
様々な技法を使用し、本発明の実施例に従って媒体マークを媒体と合成可能である。このプロセスの特性は、通常、媒体の特性と、特定のアプリケーションに規定されている不可視性、性能、及びフォーマット要件に依存している。
【００６５】
前述のように、媒体の特性は、媒体マークと媒体の合成に使用するプロセスに影響を与える。媒体は、圧縮又は圧縮解除可能であり、本発明の実施例による媒体マークは、圧縮又は圧縮解除された媒体情報と合成可能である。
【００６６】
本発明の一実施例による媒体マークを媒体と合成するプロセスが図１１に示されている。このプロセス２６０は、（必要に応じて）オリジナルの媒体の部分を埋め込みドメインに変換する段階（２６２）を含んでいる。埋め込みドメインへの変換が完了したら、媒体マークの情報を包含するように、オリジナルの媒体の部分を形成する情報を変更している（２６４）。これらの変更は、通常、媒体の単一の部分内において目立つものではない。いくつかの媒体の部分にわたる選択された場所における弱い変更の分布は、空間及び時間ドメインを利用しており、この結果、媒体内における三次元（即ち、高さ、幅、及び時間）マークの埋め込みが実現されている。
【００６７】
以上の説明のおいては、埋め込みドメインを参照している。埋め込みドメインとは、媒体マークを埋め込み可能である情報の特性である。例えば、ビデオのフレーム又は画像用の埋め込みドメインは、空間又は周波数ドメインであってよい。媒体の部分がビデオのフレームである多くの実施例においては、埋め込みドメインは、圧縮解除された空間ドメインである。
【００６８】
本発明の実施例による媒体の部分の変更は、媒体マークが埋め込まれる媒体の部分の埋め込みドメインに適した様々な方法の中の任意のものによって実行可能である。媒体マークをビデオフレーム又は画像と合成している多くの実施例においては、合成は、オリジナルのビデオフレームの輝度成分に対する媒体マークのピクセルごとの加算である。中間グレー値がフレームを変更することなく、且つ、埋め込まれるグラフィックが正又は負の数値から構成されるように、中間グレーレベルの背景上にレンダリングされた媒体マークから中間グレーの値を減算している。レンダリング済みの媒体マークの相対的に明るい及び暗いエリアのみが媒体の部分に変更を導入している。
【００６９】
本発明の一実施例によるビデオフレームの部分を変更するプロセスが図１２に示されている。このプロセス２８０は、知覚マスクを媒体マークに適用する段階（２８２）と、埋め込み強度を表す重みを媒体マークに適用する段階（２８４）と、マスキング及び重み付けされた媒体マークをビデオフレーム又は画像のピクセルと合成する段階（２８６）と、を含んでいる。このプロセスにおいては、知覚マスクの使用を参照している。知覚マスクを使用することにより、変更が観察者にとって明白となる可能性が低い領域に媒体の部分の変更を制限している。知覚マスクについては、後程、更に詳しく説明する。
【００７０】
多くの実施例においては、マーキング及び重み付けされた媒体マークとビデオフレーム及び画像のピクセルの合成を次式に従って実行している。
【００７１】
Ｓx,y,f＝Ｏx,y,f＋(Ｃx,y−(Ｖ/２))＊Ｍx,y,f＊Ｒ
【００７２】
ここで、Ｓx,y,fは、マーキングされたビデオのフレーム番号ｆ内の位置ｘ，ｙにおけるピクセルである。Ｓは、許容されたピクセル値の範囲内となるように限定されている。Ｏx,y,fは、オリジナルのマーキングされていないビデオのフレームｆ内の位置ｘ，ｙにおけるピクセルである。Ｃx,yは、レンダリングされた媒体マーク画像の位置ｘ，ｙにおけるピクセルである。Ｖ/２は、媒体のグレー値である。Ｍx,y,fは、フレーム番号ｆ内の位置ｘ，ｙにおける知覚モデルの計算結果である。Ｒは、ビデオフレーム又は画像に適用される変更の強度と、従って、それらの変更が有するであろう視認性の程度、並びに、コンテンツの変更に対する媒体マークの抵抗力を決定するロバスト性の値である。相対的に大きなＲの値は、相対的に可視性が高いが変更に対して相対的に大きな抵抗力を有するマークを埋め込むことになり、この結果、このマークは、媒体マーキングされたビデオの相対的に低品質のバージョンにおいて早期に検出可能である。好適な実施例においては、Ｒは、１の値を具備している。
【００７３】
その他の実施例においては、媒体マークをビデオから減算しており、且つ、いくつかの実施例においては、背景（即ち、情報を含んでいない媒体マークのエリア）のみをマーキングしており、結果的に、ネガ画像を埋め込んでいる。いくつかの実施例においては、類似したフレーム間における差として、媒体マークをエンコーディングしている。類似性を閾値によって計測している。この閾値は、固定することも可能であり、或いは、例えば、フレームの５％が、少なくとも１つのその他の類似したフレームを具備するグループ内に存在するように、ビデオから動的に決定することも可能である。エンコーディングの時点において、互いに類似したフレーム間に差を導入している。媒体マークによってカバーされたエリア内のフレーム間に差を導入することにより、媒体マークをコーディングしている。これらのエリアは、視認性又はセキュリティを考慮して選択可能である。
【００７４】
前述のように、本発明の多くの実施例は、輝度以外のドメインにおいてビデオ又は画像を変更している。いくつかの実施例においては、個々の又はいくつかの色成分値を変更している。色成分は、Ｌａｂ、ＲＧＢ、ＹＵＶ、ＨＳＬ、及びＣＭＹＫなどの色空間から導出可能である。搬送媒体をその処理ドメインに変換するための処理パワーにより、埋め込みドメインの選択肢を判定可能である。これは、再生又はダウンロードの際の埋め込みなどのマークの効率的な適用を必要とするアプリケーションに特に適している。再生のために媒体を圧縮解除する場合には、圧縮解除されたドメインを使用可能であり、例えば、ＹＵＶピクセルフォーマットにおけるように、輝度ドメインを利用可能である場合には、輝度の圧縮解除されたピクセルドメインを使用してマークを適用可能である。例えば、ダウンロードの際などのように、圧縮されたドメインにおいてビデオを利用可能である場合には、更に後述するように、圧縮されたドメインにおいてマークを適用可能である。
【００７５】
［知覚モデル］
媒体マークと媒体の部分の合成に関する前述の説明においては、知覚マスクの適用を参照している。知覚マスクは、通常、媒体の部分を分析すると共に媒体の部分に対する変更が人間の観察者によって理解されにくい場所を識別するべく、知覚モデルを使用して生成されている。本発明の実施例による知覚モデルは、一般に、マスキングされた媒体マークとの合成によって生成される媒体の部分に対する変更が、媒体の部分に対する変化を知覚する人間の能力が低い領域内において相対的に大きなものとなるように、媒体マークと合成されるマスクを生成している。多くの実施例においては、知覚マスクは、媒体の部分の変更を実行する際に実行可能である知覚不能な最大の変更を定義している。
【００７６】
媒体マークとビデオフレーム及び画像を合成するための知覚マスクを生成する際には、人間の視覚系の特性を考慮している。人間の視覚系の特性は、エリアの局所的又は時間的な隣接部の特性の観点におけるビデオフレーム又は画像に対する変更（即ち、媒体マークの埋め込まれた情報）を観察する人間の能力を定義している。このような特性は、輝度、コントラスト、雑音、色、並びに、時間及び空間において生じるこれらの特性の変化を含んでいる。例えば、非常に暗い又は明るいエリア、コントラストを含むエリア、シーンの変化などの以前の又は後続するフレームとは異なるエリア、並びに、大量の高周波数情報を含むエリアにおいては、フレームに対する変更は知覚されにくい。又、本発明の実施例による知覚モデルにおいては、使用される表示装置に応じたビデオの異なる知覚に対応するべく、そのビデオが表示される装置について考慮することも可能である。
【００７７】
以下、本発明の一実施例によるビデオフレーム又は画像内のそれぞれのピクセルにおける許容変更量を示す知覚マスクを生成する方法について説明する。以下の式においては、Ｐx,y,fは、フレーム番号ｆ内の位置ｘ，ｙにおける輝度のピクセル値を表している。Ｖは、このピクセル値の最大値である。更には、Ｍは、後述するいくつかの個々の知覚特性の分析によって結果的に得られる知覚不能性値Ｍ１x,y,f、Ｍ２x,y,f、及びＭ３x,y,fの加重和である。その他の実施例においては、Ｍは、同一又はその他の知覚不能性値の関数として形成可能である。
【００７８】
Ｍ１x,y,fは、Ｐx,y,f用の空間コントラストマスキングの尺度であり、且つ、Ｐx,y,f及び隣接するピクセルの間の絶対差の平均として計測されるそのピクセルのコントラストである。次式は、３×３ピクセルのエリアにおけるこの計算を定義しており、これは、６４０×４８０ピクセルのフレームサイズに適している。
【００７９】
【数１】
2009503948.tif 000003
【００８０】
このＭ１x,y,fの式は、計算の数を増大させると共に、更に大きなフレームサイズ用の更に大きな半径を使用することにより、６４０×４８０を上回るフレームサイズ又は６４０×４８０を下回るフレームサイズに対応したピクセルエリアに容易に適合可能である。
【００８１】
Ｍ２x,y,fは、Ｐx,y,fの輝度であり、且つ、以下の式に定義されているように、非常に暗い及び非常に明るいエリアにおける更に大きな値を具備している。
【００８２】
Ｍ２＝｜Ｐx,y,f−Ｖ/２｜
【００８３】
ここで、Ｖ/２は、中間グレーである。
【００８４】
Ｍ３x,y,fは、時間コントラストマスキングであり、且つ、Ｐx,y,fと以前のフレームの同一位置におけるピクセルの間の絶対差であって、即ち、Ｍ３x,y,f＝｜Ｐx,y,f-1−Ｐx,y,f｜である。
【００８５】
プロセスの一部として、知覚不能性値Ｍ１〜Ｍ３を、０〜１の範囲の値を具備するように正規化している。Ｍ１〜Ｍ３は、特定の又は一般的ではないフレームコンテンツにおける極端な値を回避するべく、最大値に更に限定可能である。
【００８６】
知覚不能性値の加重和は、次式によって判定されている。
【００８７】
Ｍx,y,f＝(Ｗ１＊Ｍ１x,y,f＋Ｗ２＊Ｍ２x,y,f＋Ｗ３＊Ｍ３x,y,f)/(Ｗ１＋Ｗ２＋Ｗ３)
【００８８】
ここで、Ｗ１は、Ｍ１用の重みであり、Ｗ２は、Ｍ２用の重みであり、Ｗ３は、Ｍ３用の重みである。
【００８９】
重みＷ１、Ｗ２、Ｗ３は、知覚マスクに対する知覚特性の影響を決定しており、これらは、視認性試験又はビデオコンテンツに従って微調整可能である。好適な実施例においては、Ｍ１及びＭ３は、１の重みを具備しており、Ｍ２は、０．５の重みを具備している。
【００９０】
前述の説明は、空間ドメインとの関係における知覚マスクの生成について記述している。多くの実施例においては、圧縮されたコンテンツをマーキングする際に、圧縮に使用した情報を知覚モデルに使用している。ＭＰＥＧ１及びＭＰＥＧ２において使用されている一般的な圧縮成分は、モーションベクトルを含んでおり、これらは、異なる場所における先行するフレームのフレームコンテンツの再使用を通知している。モーションベクトルは、関連する動きの量を決定しており、これは、知覚モデルのための重要な特性である。長いモーションベクトル又は消失したモーションベクトルを有するフレームは、通常、以前のフレームに対する類似性を非常にわずかしか有していない。又、圧縮されたフレーム又は圧縮されたエリアのサイズも、フレーム又はエリア内における雑音又は周波数の量の標識となることができる。多くの周波数が存在している場合には、フレームは、大量の情報を含んでいると共に、知覚的な劣化を伴うことなしにマーキング可能である。圧縮情報を使用して知覚マスクを生成することにより、時間を所要する分析を伴うことなしに、画像の構造及び特性に関する価値ある情報が得られる。このデータを使用することにより、埋め込みの前に媒体マークを知覚的に成形すると共に、埋め込み強度を特定のエリア内において動的に適合可能である。
【００９１】
いくつかの実施例においては、ビデオシーケンス又は画像のコレクション用の知覚モデルの生成を一度だけ実行し、ビデオシーケンス又は画像のコレクションのいくつかの個々のマーキングされた複製に対して適用している。又、生成された情報は、圧縮することも可能であり、電子的に伝送することも可能であり、且つ、後の段階において適用することも可能である。例えば、知覚モデルは、別個に保存可能であり、且つ、保存された媒体の変更を伴うことなしに、ビデオシーケンス又は画像のコレクションのそれぞれの再生の際に適用可能である。別個の視覚モデルの保存により、柔軟な方式でイネーブル、ディスエーブル、又は変更可能である時間的なマークを実現可能である。
【００９２】
本発明による埋め込みプロセスの例示用の例が図１３に示されている。「ＡＢＣ １２(C)」というメッセージ３０１をエンコード及びレンダリングして媒体マーク３０５を形成している。埋め込みの際には、埋め込みの際に変更されるエリアについて知覚マーク３１０を生成している。媒体マーク３０５と、この場合には地球であるビデオフレーム３１５を知覚マスク３１０に従って合成することにより、埋め込まれた媒体マークを有するフレーム３２０を生成している。
【００９３】
知覚モデルは、類似したフレームについては類似した結果を付与することになるため、多くの実施例においては、媒体マークは、類似したフレーム内において類似した方式によって埋め込まれている。類似したフレームにおいて類似した結果を生成する能力によれば、２つの視覚的に類似したフレームに導入されている差を比較することによって媒体マークの特性を判定するという統計的分析の使用を防止可能である。更には、それぞれのフレーム内において類似した方法によって媒体マークを埋め込むことにより、媒体マークが埋め込まれているビデオシーケンスのフレームを１つに平均化するか又はビデオシーケンスのフレームの順序を変更することによって生成される任意の新しいビデオシーケンス内に媒体マークが存在することになる可能性を増大させている。
【００９４】
多くの実施例においては、知覚モデルを単純化可能であり、且つ、埋め込まれたシンボル及び変更対象のピクセルの量及びサイズを性能要件に従って変更可能である。更には、オリジナルのビデオをいくつかのセクションに分割し、異なる媒体マークによってマーキングすることにより、大量の情報を隠蔽可能である。
【００９５】
［媒体マークと圧縮された媒体の合成］
いくつかの実施例においては、圧縮された要素を変更することにより、変更を実行している。知覚モデルの分析及び実際の合成段階を、ＤＣＴ、ウェーブレット、及び高速フーリエなどの一般的な圧縮ドメインにおいて実行可能である。媒体マークを、フレームと共に、特定のドメイン内において表現及び合成している。ＭＰＥＧ１、ＭＰＥＧ２、及びＭＰＥＧ４において使用されているＤＣＴドメインの場合には、空間コントラスト尺度Ｍ１は、Ｐx,y,fを含むブロックのすべてのＤＣＴ成分の絶対和であり、輝度尺度Ｍ２は、ＤＣ成分の値から導出されており、時間コントラスト尺度Ｍ３は、現在及び以前のフレームにおける周波数間の絶対差の合計である。ＤＣＴ圧縮されたフレームと媒体マークの合成は、対応するＤＣＴ係数の加算であり、且つ、次のように算出可能である。
マーキング済みのフレームのＤＣＴ成分＝オリジナルのビデオのＤＣＴ成分＋（媒体マークのＤＣＴ成分−媒体グレー値のＤＣＴ成分）＊Ｍ＊Ｒ
【００９６】
別の実施例においては、ウェーブレット又は高速フーリエドメインなどの異なるドメインにおいて媒体マークを埋め込んでいる。変換されたドメイン内において媒体マークを媒体の部分と合成した場合には、媒体マークは、その変換されたドメイン又は空間ドメインにおいて人間による認識が可能となる。例えば、オリジナルビデオの変換されたドメインにおいて、空間的なマークの表現を埋め込み可能であり（アンカバーされた媒体マークは、変換されたドメインにおいて認識可能であり、高速フーリエ変換された画像内において観察した場合に、画像が可視状態となる）、或いは、変換されたマークの表現がオリジナルドメインの変換されたドメインにおいて埋め込まれる。変換されたドメインにおける空間的な情報の埋め込みは、結果的に、アーチファクトをもたらす可能性があり、これらは、人間による判読が可能なシンボルとしてではなく、むしろ、雑音として認識されることになる。
【００９７】
いくつかの実施例においては、情報を複数の埋め込みドメインにおいて埋め込んでいる。複数のドメインに情報を配置することにより、媒体マークが埋め込まれている媒体の操作によって結果的に媒体マーク情報が除去される可能性を低減可能である。又、異なるドメインは、例えば、異なる場所及び時間において同一のコンテンツ内に適用されたいくつかの独立したマークを保護するべく、それぞれのユーザーとは独立的に埋め込まれる異なる情報の搬送手段として機能することも可能である。
【００９８】
［埋め込み位置の変更］
別の実施例においては、埋め込み位置を暗号プロセスによって保護することにより、媒体マークの認可されていない除去を防止している。このプロセスは、キー又はキーシーケンスに従って埋め込み場所を変化させる段階を伴っている。このキーシーケンスは、時間インターバルをおいて擬似ランダム的に生成することも可能であり、或いは、埋め込まれるペイロードから生成することも可能であり、或いは、ユーザーが供給することも可能である。本発明のいくつかの実施例においては、それぞれのフレーム内において変形を適用しており、フレームの同一の場所を使用することにより、その他のものよりも強力なマークを埋め込んでいる。これらの変形は、フレームごとに、且つ、異なる映画内の同一のフレームにおいて、異なっている。これらの変形は、キーに関する知識を伴わない状態における埋め込みプロセスの完全な反転を防止している。媒体マークのアンカバー又は認識に必要ではないため、このキーは非対称である。キーは、媒体マークを埋め込み及び除去するためにのみ必要である。このキーは、除去が不要である場合には、埋め込みの後に破棄可能である。
【００９９】
本発明のその他の実施例においては、別のキー又はキーシーケンスを使用し、フレーム内におけるグラフィックの位置を変化させることにより、フレームシーケンスに変形を適用している。このキーシーケンスは、時間インターバルをおいて擬似ランダム的に生成することも可能であり、或いは、埋め込まれるペイロードから生成することも可能であり、或いは、ユーザーが供給することも可能である。このキーシーケンスに応じて、異なるフレームシーケンスが、グラフィックを異なる位置に含むことになり、結果的に得られる映画のインターバルは、異なるマークを含むことになる。コンテンツを除去するための試みは、通常、映画の全体に適用されており、且つ、１つのインターバルに影響を与え得る場合には、マークは、その他のインターバルにおいて大きな影響を受けないため、セキュリティが向上する。このキーシーケンスは、アンカバーの際に媒体マークの同一の位置によってフレームシーケンスを識別するのに有用であることから、アンカバーのために保存可能である。
【０１００】
［オーディオ内における媒体マークの埋め込み］
以上において概説した実施例の多くは、ビデオに対する媒体マークの適用について記述しているが、ビデオについて説明したものと同様の方式により、オーディオ媒体マークをオーディオに追加可能である。媒体マークは、信号トーン又は発話された言葉又は数字から構成された短いオーディオである。媒体マーク（オーディオマーク）は、弱い聴取不能な方式で媒体コンテンツ内に反復的に埋め込まれている。一実施例においては、オーディオマークを知覚的に成形することにより、変更が聴取されにくい場所に強力なマークを適用している。これらは、多くのその他の可聴周波数が存在している期間である。高域通過フィルタをオーディオに適用すると共に、オーディオマークの短い長さのサブセクションを平均化することにより、アンカバーを実行している。
【０１０１】
多くの実施例においては、オーディオ媒体マークは、長さがＳ秒であり、知覚的に成形されおり、且つ、オーディオに対して反復的に追加されている。検出の際には、デジタルオーディオを、長さがＳ秒のセクションに分割している。これらのセクションを、隠蔽されたサウンドを人間が聴取可能になる時点まで、高域通過フィルタによって処理し、平均化している。
【０１０２】
［レンズを使用したビデオ内における媒体マークの埋め込み］
本発明の実施例は、デジタル技法に加えて、アナログ技法を使用することにより、媒体マークを媒体内に埋め込み可能である。本発明の一実施例によるレンズを使用して媒体マークをビデオシーケンス内に埋め込み可能なシステムの一実施例が図１３Ａに示されている。このシステムは、ビデオプロジェクタ６０５又はレコーダーを有するレンズ６１０を使用することにより、媒体マークをアナログビデオ内に埋め込んでいる。レンズ６１０を使用し、ビデオの投影又は記録の際にマークを埋め込んでいる。レンズ６１０は、１つ又は複数の半透明文字６１５を含んでいる。文字６１５は、媒体マークとして機能すると共に、ビデオの識別情報を表している。このレンズを通じてビデオを投影した際に、表示されたビデオ上に識別情報がオーバーレイされることにより、投影されたビデオ上に文字がわずかに重畳され、この結果、本発明に開示されているデジタルプロセスに類似した投影されたビデオに対する変更が生成される。これらの文字の透明度は、これらの文字が、通常、投影された画像上において知覚不能となるように十分に弱く（例示を目的として図１３Ａに示されている）、但し、投影されたビデオをわずかに変更するように十分に強くなるように、調節されている。この結果、これらの変化は、通常、再録画されたコンテンツのデジタルバージョンから、本発明に開示されている手順によってアンカバー可能である。別の実施例においては、レンズは、プロジェクターに対して堅固に固定されており、或いは、改竄防止機能を有するシールによってシーリングされている。このアプリケーションは、投影されたビデオ内においてシネマ識別情報を隠蔽すると共に、録画時点において映画のコンテンツを保護するために有用である。別の実施例においては、媒体マークの埋め込みは、カメラレンズによって実行されており、これを使用し、録画に使用されたカメラを識別している。
【０１０３】
［媒体マークのアンカバー］
本発明の実施例による媒体内に埋め込まれた媒体マークをアンカバーする段階は、通常、媒体マークが埋め込まれている媒体の部分の間のわずかな差を強調するべく設計されたプロセスの使用を伴っている。差を強調することにより、結果的に、埋め込みプロセスによって導入された媒体のわずかな変化が強調されることになる。媒体のいくつかのインターバルにわたって結果を蓄積することにより、これらの差を認識のために表示可能である。多くの実施例においては、抽出された媒体マークの認識及び解釈は、人間によって実行されている。人間の知覚能力は、しばしば、劣化した画像又はオーディオの認識に非常に適している。いくつかの実施例においては、媒体の複数の部分からの情報を合成することによって媒体マークをアンカバーしており、情報の合成に伴って検査を実行している。媒体の異なる部分からの複数の部分を使用する能力は、媒体マークをアンカバーするための媒体の同期化が不要であることを意味している。情報の合成と同時に検査を実行している場合には、ユーザーは、十分な明瞭性を有するように媒体マークがアンカバーされた際に、合成プロセスを停止可能である。その他の実施例においては、媒体のすべての部分を合成するか又は媒体の既定の部分を合成可能であり、次いで、検査を実行している。
【０１０４】
本発明の一実施例による媒体内に埋め込まれた媒体マークをアンカバー、認識、及び解釈するためのプロセスが図１４に示されている。プロセス３４０は、媒体の第１の部分を選択する段階（３４２）と、媒体の更なる部分からの情報を第１の部分と合成して媒体マークを強調する段階（３４４）と、を含んでいる。次いで、合成された情報を検査し（３４６）、媒体マークが、認識を実行するのに十分な明瞭性を有するようにアンカバーされたかどうかに関する判定を実行している（３４８）。媒体マークのアンカバーが不十分である場合には、媒体マークがアンカバーされる時点まで、媒体の更なる部分からの情報を以前に合成されている情報と合成する（３４４）。媒体マークのアンカバーが完了したら、認識（３５０）を実行可能である。
【０１０５】
多くの実施例において、媒体の部分からの情報を合成して媒体マークを強調する段階は、高域通過フィルタを伴っている。これは、ピクセルを取り囲むＮ×Ｎ（例えば、９×９）のピクセルエリアにおけるヒストグラムストレッチに対応した値を割り当てることにより、それぞれのフレームのそれぞれのピクセルを処理することによって実装可能である。この操作は、高域通過フィルタの特定のバージョンである。いくつかの実施例においては、アンカバープロセスは、キーとは独立的に適用されており、且つ、そのコンテンツにのみ従って、ビデオのすべての場所を処理している。その他の実施例においては、媒体を前述のキーによって定義されたインターバルにおいて処理している。多くの実施例においては、コントラストエンハンスメント、アンシャープンマスク、ヒストグラムストレッチなどのヒストグラム機能、ａｕｔｏ  ｔｏ  ｌｅｖｅｌｓ、及びソーベルフィルタ又はその他のエッジ検出フィルタのようなフィルタによるフィルタリングの適用などのその他の処理を使用して媒体マークを強調している。いくつかの実施例においては、複数のフレームを平均化した後に、フィルタリングプロセスを適用している。その他の実施例においては、複数のフレームをフィルタリングした後に、フィルタリングされたフレームを平均化して媒体マークを強調している。
【０１０６】
本発明の一実施例によるビデオシーケンス内に埋め込まれた媒体マークをアンカバーするプロセスが図１５に示されている。前述のように、アンカバープロセスは、媒体の異なる部分に共通するわずかな情報を強調する段階を伴っている。図示の実施例においては、再録画、再エンコーディング、又はフィルタリングなどのなんらかの変換を潜在的に経験したマーキング済みのビデオに対してアンカバープロセスを適用している。
【０１０７】
第１に、媒体マークを包含可能であるビデオシーケンスをアンカバープロセス用に選択している（４０５）。ビデオのフレームをビデオシーケンスから取得している（４１０）。必要に応じて、フレームを検出ドメインに変換している。いくつかの実施例においては、検出ドメインを圧縮解除している。このフレームから、媒体マークを強調するのに適したピクセルの関連エリアを選択している（４１５）。媒体マークの埋め込み以降にビデオが経験した劣化に応じて、媒体マークに起因した変化は、それぞれのフレームのいくつかのエリアにおいては、相対的に強力であり、従って、媒体マークのアンカバーに相対的に適している可能性がある。適切なエリアは、以前のフレームと比べて差を具備しているピクセルエリア、大量の低周波数情報を含んでいるピクセルのエリア、又は媒体マークのアンカバーに全般的に適したピクセルのエリアを包含可能である。次いで、ピクセルのエリア内のわずかな差を強調している（４２０）。
【０１０８】
次いで、アンカバーされたフレームを合成可能であり（４２５）、その結果を検出のために人間の観察者に対して提示可能である（４３０）。いくつかの実施例においては、次いで、この結果を使用することにより、データベースエントリを調査し、機械の録画動作を停止し、或いは、ビデオが違法な複製物であると所有者又はオリジナルの受領者に対して通知可能である。
【０１０９】
多くの実施例においては、わずかな差を強調するプロセスは、それぞれの色ドメイン（赤、緑、及び青など）内においてそれぞれのフレームｆのそれぞれの位置ｘ，ｙにおいてそれぞれのピクセルＰx,y,fについて以下のプロセスを適用する段階を伴っている。このプロセスは、Ｎ×Ｎ高域通過フィルタの適用を伴っている（先程の説明を参照されたい）。
【０１１０】
Ａ．エリアＧx,y,fを選択する。これは、ピクセルＰx,y,fを取り囲むエリアである。この例においては、Ｇx,y,fのサイズは、９×９ピクセルのエリアであり、この場合には、(ｘ−４，ｙ−４)、(ｘ＋４，ｙ−４)、(ｘ−４，ｙ＋４)、(ｘ＋４，ｙ＋４)という４つのコーナーのピクセル位置によって定義されている。エリアのサイズ、幅、及び高さは、ビデオ及び／又はフレームの分解能に対して適用された変更に応じて変化可能である。
【０１１１】
Ｂ．エリアＧx,y,fにおけるヒストグラムストレッチを算出することによってエリアＧx,y,f内のピクセル間の差を強調する。次いで、次式に従い、値Ｌｐ'x,y,f（ヒストグラムストレッチの結果）をピクセルＰx,y,fの位置に保存する。
【０１１２】
Ｌｐ'x,y,f＝(ｐx,y,f−Ｌｍｉｎx,y,f)＊Ｖ/(Ｌｍａｘx,y,f−Ｌｍｉｎx,y,f)
【０１１３】
ここで、Ｌｍｉｎx,y,f＝エリアＧx,y,f内のピクセルの最小値であり、Ｌｍａｘx,y,f＝エリアＧx,y,f内のピクセルの最大値であり、Ｌｐ'x,y,f＝ピクセルＰx,y,fにおけるこのヒストグラムストレッチの結果であり、Ｖ＝最大ピクセル値であり、最小ピクセル値は、０である。
【０１１４】
Ｃ．次式に示されているように、すべてのフレームにおけるＬｐ'の平均値としてアンカバーされた媒体マークの位置ｘ，ｙにおける対応するピクセルＥx,yを判定することにより、それぞれの位置（ｘ，ｙ）におけるそれぞれのピクセルごとに処理されたフレームを平均化する。
【０１１５】
【数２】
2009503948.tif 000004
【０１１６】
ここで、Ｎｆ＝アンカバープロセスに使用されるマーキング済みのフレームの合計数であり、Ｅx,y＝位置ｘ，ｙにおけるアンカバーされた媒体マークのピクセルである。
【０１１７】
いくつかの実施例においては、前述のアルゴリズムの段階Ｂは、コントラストエンハンスメント、アンシャープンマスク、高域通過フィルタ、ヒストグラムストレッチ、ヒストグラムイコライゼーション、及びエッジ検出フィルタによって実装されるものなどのエッジ検出を含んでいる。最良の結果は、ビデオのコンテンツ及び劣化に応じて変化可能である。任意の所与のアプリケーションにおける認識のために最良の結果を選択するべく、異なるアンカバー法からの結果を人間の操作者によって分析可能である。
【０１１８】
いくつかの実施例においては、例えば、ピクセルの代わりに、ＤＣＴ圧縮されたフレーム内のＤＣ係数などの圧縮成分を直接的に使用して検出を実行している。ＭＰＥＧ１、ＭＰＥＧ２、又はＨ．２６４などのＤＣＴ圧縮されたビデオを使用する際には、分析対象のエリアとしてＤＣＴブロックを取得可能である。或いは、この代わりに、ビデオシーケンスが（例えば、６４０×４８０ピクセルなどの）十分な分解能を具備している場合には、個々のピクセルの代わりに、ＤＣ成分を分析することも可能である。
【０１１９】
本発明の一実施例に従って媒体マークをアンカバーするには、オリジナルのビデオシーケンスは不要であるが、オリジナルのビデオにアクセスすることにより、アンカバーされた媒体マークの明瞭性を大幅に改善可能である。処理の前に、媒体マークによってマーキングされたフレームからオリジナルのビデオフレームを減算可能である。
【０１２０】
本発明の一実施例によるビデオシーケンスに適用されたアンカバープロセスの例示用の例が図１６に示されている。実証を目的として可視状態である埋め込まれた媒体マークを有する３つのデジタル映画フレーム５０５、５１０、５１５が示されている。前述のように、それぞれのビデオフレーム５０５、５１０、５１５を処理して媒体マークを強調している。この処理により、３つの変更されたフレーム５２０、５２５、５３０が、それぞれ生成されている。前述のように、変更されたフレーム５２０、５２５、５３０を合成することにより、可視状態にある人間による判読が可能なアンカバーされた媒体マーク５４０を取得している。
【０１２１】
ビデオシーケンス又は画像のコレクション内において媒体マークをアンカバーする際には、人間の視覚系は、通常、レジストレーションを実行する能力を有していると共に、ビデオシーケンス又は画像のコレクションに対して適用された回転、シフト、及びストレッチングなどの変換によるあらゆる形状的な歪曲にも拘わらず、文字を認識可能である。形状的な歪曲の原因は、キャムコーダーによる再録画などのビデオの処理の際に導入された形状的な変換を包含可能である。更には、ビデオが、ウォーターマークを破壊するべく意図的に適用された形状的変換を経験している場合にも、或いは、ビデオが（例えば、圧縮、変換、色変換、雑音の追加などによって）大幅に劣化している場合にも、アンカバーされた媒体マークは、依然として判読可能である。
【０１２２】
［媒体マークの機械認識］
別の実施例においては、媒体マークは、コンピュータ判読可能情報から構成されている。アンカバー手順によってアンカバーされた後に、アンカバーされた媒体マークは、自動読み出しを実現するべく、機械によって解釈される。機械可読情報は、文字（ＯＣＲ−ＡやＯＣＲ−ＢなどのＯＣＲフォント）、バーコード（例えば、リニアバーコード、スタックドバーコード、２Ｄバーコード）、又はコンピュータによって認識可能なシンボルなどの機械可読要素を包含可能である。バーコードの例は、ＵＰＣ、Ｉｎｔｅｒｌｅａｖｅｄ  ２  ｏｆ  ５、コード３９、コード９３、コード１２８、ＥＡＮ、ＰＤＦ４１７などのスタックドバーコードシンボロジー、マトリックスコードとも呼ばれる２Ｄバーコード、Ａｚｔｅｃコード、Ｂｕｌｌｓｅｙｅ、ＤａｔａＧｌｙｐｈｓ、Ｄａｔａｍａｔｒｉｘ、Ｄｏｔ  Ｃｏｄｅのようなシンボロジーなどのシンボロジーを含んでいる。認識のために、バーコード判読、パターン認識、又は光学文字認識が使用されている。
【０１２３】
［媒体マークの除去］
埋め込みプロセスにおいては、ビデオデータの一部のみを変更している。しかしながら、アンカバーには、ビデオデータのすべてを使用している。この結果、アンカバーされた媒体マークを認識可能である場合にも、アンカバープロセスを分析又はリバースエンジニアリングすることによって個々の変更の正確な場所を観察することは不可能である。従って、除去のためには、埋め込み位置及び変更が判明しなければならないため、媒体マークは、認可されていない除去に対して保護されている。但し、媒体マーク、埋め込みパラメータ、及びすべての後続の変更が判明した場合には、埋め込みプロセスを反転可能である。媒体マークを除去する必要が場合には、埋め込みプロセスを反転させることにより、まるでマーキングされなかったかのように、ビデオを残すことが可能である。媒体マークを除去するプロセスは、基本的に、埋め込みプロセスに関する知識を使用し、埋め込みプロセスを逆に適用する段階を伴っている。
【０１２４】
［アプリケーションの説明］
前述のシステム及び技法は、実質的に無制限のアプリケーションの範囲において使用可能である。以下は、本発明の実施例によるシステム及びプロセスが有用であるアプリケーションの一連の例として提供するものである。
【０１２５】
［秘密の又は著作権保護された情報の認可されていない配布の追跡］
多くの産業が直面している問題は、情報の認可されていない配布である。本発明の実施例によるシステム及びプロセスを使用することにより、媒体の受領又は表示の時点において媒体情報内に媒体マークを埋め込み可能である。それぞれの配布された複製物を受領者識別番号及びタイムスタンプなどの情報によって一意にマーキング可能であり、且つ、複製物が、公開されるか、又は情報を所有するべく認可されていないエンティティ又は個人によって所有されている場合には、情報をアンカバー可能であり、且つ、媒体の受領者であると共に認可されていない配布の恐らくは原因であるエンティティ又は人物を識別可能である。
【０１２６】
多くの例において、秘密の又は著作権保護された情報は、製造及び認可された配布の際に、いくつかの異なるエンティティ及び／又は個人の間において伝達されている。いくつかの実施例においては、供給の前に、情報の最後の受領者と関連付けられた媒体マークを埋め込むことにより、認可を伴うことなしに情報が配布された地点を突き止めることが可能である。次いで、媒体に追加されている最後の媒体マークに基づいて、認可されていない配布の原因であるエンティティ又は個人を識別可能である。
【０１２７】
著作権保護された情報を配布する一般的な例は、ネットワークを介した媒体プレーヤーに対する著作権保護された媒体の配布である。多くの実施例においては、プレーヤーは、セットトップボックス又はパーソナルコンピュータなどの消費者電子装置である。著作権保護された媒体は、通常、圧縮及び暗号化された形態でプレーヤーに配布されている。暗号解読の後に、本発明の実施例に従って媒体マークを媒体内に埋め込み可能である。媒体マークは、プレーヤーの所有者に関係した情報と、伝送又は再生の時刻を識別する情報と、を包含可能である。情報の受領者が判明している場合には、媒体を供給するサーバー（又は、ヘッドエンド）が、埋め込み対象の情報を生成可能である。又、サーバーは、埋め込まれた情報を、ユーザーの請求情報及び受信装置に関する詳細情報などのトランザクションに関する追加情報を収容するデータベース内に保存することも可能である。その他の実施例においては、プレーヤーが、プレーヤー識別番号及び時刻などの情報を維持しており、保存及び／又は再生の際に、この情報を媒体マークとして埋め込んでいる。
【０１２８】
認可されていない配布が一般的な問題である更なる例は、媒体の製造である。製造の際には、コンテンツは、媒体の製造者に大きな損害をもたらしうる認可されていない配布に対して特に脆弱である。多くの実施例においては、媒体の受領者及び媒体の受領の時刻を識別する媒体マークを製造の様々な段階において媒体内に埋め込んでいる。複製物が公開された場合には、媒体マークをアンカバー可能であり、原因である人物又はエンティティを識別可能である。
【０１２９】
以上、概説した実施例の多くにおいては、配布された媒体について知覚モデルを生成しているか、保存しているか、又は媒体と共に配布している。この場合には、媒体内に埋め込まれる媒体マークとして知覚モデルを使用可能である。その他の実施例においては、媒体マークを媒体内に埋め込むたびに、知覚モデルを生成している。
【０１３０】
［所有権の立証］
媒体が公開された場合に、媒体の著作権の所有者であることを証明することが困難な場合がある。多くの実施例においては、コンテンツの所有権を証明するべく、媒体マークを媒体内に埋め込んでいる。いくつかの実施例においては、媒体マークは、著作権保護されたコンテンツの所有権情報又は識別情報を含んでいる。このマークは、自動的に判読可能であり、且つ、その存在又は不存在を評価することにより、配布を制限又は許容可能であり、或いは、媒体を配布した供給源がその媒体の正当な流通業者であることを検証可能である。又、これは、コンテンツに関連した権利の入手に関心を持っているエンティティ又は個人が、埋め込まれた媒体マークをアンカバーすることによってコンテンツの所有者を識別できるように、使用することも可能である。所有者を識別する媒体マークの別の使用法は、例えば、特定の所有者又は所有者のグループによって所有されているコンテンツにインターネットを通じてアクセス可能であるものなどの公的に利用可能なデータベース内においてコンテンツを自動的に識別し、更なる配布を防止するというものである。最後に、このマークを使用することにより、紛争の場合に所有権を証明可能である。
【０１３１】
［ロバストなメタ情報の保存］
長期の保存及び記録保管の際には、偶発的に削除されたり、或いは、判読不能となるために、媒体と共に保存された情報が消失可能である。本発明の多くの実施例は、媒体マークを使用して媒体に関する情報を保存するべく構成されている。媒体マークを使用して情報を保存することにより、フォーマット変更の後の情報の取得を実現可能であり、これには、追加のストレージ空間が不要である。
【０１３２】
［複製の制御］
多くの実施例においては、強力な機械可読媒体マークを媒体内に埋め込み可能である。次いで、プレーヤーにより、媒体マークを使用して媒体の再生及び／又は記録を制御可能である。プレーヤーは、媒体マークをアンカバーし、媒体を再生するのに必要な権限を突き止めることができる。プレーヤーは、適切な権限を具備している場合には、その媒体を再生可能であり、そうでない場合には、再生を拒絶可能である。
【０１３３】
［放送の監視］
又、本発明の実施例による機械可読媒体マークは、テレビ又はラジオ局によって放送される媒体内に埋め込むことも可能である。次いで、受信機装置により、機械可読媒体マークを使用し、放送されたコンテンツを自動的に記録すると共に、放送の周波数及び時間を追跡可能である。媒体内に埋め込まれる媒体マークは、それぞれの作品及び放送に別個のものであってよい。
【０１３４】
［秘密の通信］
前述のように、媒体マークを使用することにより、媒体を使用して秘密情報を伝達可能である。媒体の伝送は、観察可能であるが、媒体が追加の媒体マークを含んでいるという事実は、明白ではなく、これを使用することにより、媒体コンテンツ以外の情報の伝送のその他の者による観察を許容することなしに、情報を伝送可能である。
【０１３５】
［公的に表示された媒体の識別］
公的に表示される媒体は、しばしば、再記録の対象となる。多くの実施例において、公的な表示の時刻及び／又は場所を識別する媒体マークを、公的に表示される媒体内に埋め込んでいる。公的な表示の際に媒体が再記録される場合には、認可されていない再記録の際に媒体マークを埋め込み、この情報をアンカバーすることにより、その再記録が実行された場所における公的に表示された媒体の将来の再記録を防止することができよう。
【０１３６】
以上の説明は、本発明の多くの特定の実施例を含んでいるが、これらは、本発明の範囲に対する制限としてではなく、その一実施例の例として解釈する必要がある。従って、本発明の範囲は、示されている実施例によってではなく、添付の請求項及びその等価物によって判定されることを要するものである。
【図面の簡単な説明】
【０１３７】
【図１】本発明の一実施例による媒体配布システムを示す概略図である。
【図２】本発明の一実施例によるビデオシーケンス及び／又はオーディオシーケンス内に媒体マークを埋め込むべく構成された消費者電子装置を示す概略図である。
【図３】本発明の一実施例による媒体内に媒体マークを埋め込むプロセスを示すフローチャートである。
【図４】本発明の一実施例によるビデオシーケンス又は画像のコレクション内に埋め込み可能な媒体マークを生成するプロセスを示すフローチャートである。
【図５】本発明の一実施例による媒体マーク内において使用される情報をエンコードするプロセスを示すフローチャートである。
【図６】本発明の別の実施例による媒体マーク内において使用される情報をエンコードするプロセスを示すフローチャートである。
【図７】本発明の一実施例による媒体マークをレンダリングするプロセスを示すフローチャートである。
【図８】本発明の一実施例による形状変形が適用された画像にレンダリングされたテキスト情報の媒体マークの一例を示す図である。
【図９】本発明の一実施例による媒体マークを埋め込む媒体の既定の部分を選択するプロセスを示すフローチャートである。
【図１０】本発明の別の実施例による媒体のコンテンツに従って媒体マークを埋め込む媒体の部分を選択するプロセスを示すフローチャートである。
【図１１】本発明の一実施例による媒体マークと媒体の部分を合成するプロセスを示すフローチャートである。
【図１２】本発明の一実施例による知覚モデルを使用して媒体の部分を変更し、媒体マークからの情報を包含するプロセスを示すフローチャートである。
【図１３】本発明の更に別の実施例による「ＡＢＣ １２(C)」というテキストを有する識別グラフィックを含む媒体マークを知覚的に成形し、地球を示すビデオフレームと合成する埋め込みプロセスの例示用の例を示す図である。
【図１３Ａ】本発明の更に別の実施例によるアナログビデオの投影又は記録の際におけるレンズによる媒体マークの適用の例示用の例を示す図である。
【図１４】本発明の一実施例による媒体マークをアンカバーするプロセスのフローチャートである。
【図１５】本発明の一実施例による結果を蓄積することによって媒体マークをアンカバーするプロセスのフローチャートである。
【図１６】本発明の別の実施例によるいくつかのビデオフレーム内のデータ操作を強調し、結果を合成することによって媒体マークをアンカバーするアンカバープロセスの例示用の例を示す図である。
【図１】
2009503948.tif 000005
【図２】
2009503948.tif 000006
【図３】
2009503948.tif 000007
【図４】
2009503948.tif 000008
【図５】
2009503948.tif 000009
【図６】
2009503948.tif 000010
【図７】
2009503948.tif 000011
【図８】
2009503948.tif 000012
【図９】
2009503948.tif 000013
【図１０】
2009503948.tif 000014
【図１１】
2009503948.tif 000015
【図１２】
2009503948.tif 000016
【図１３】
2009503948.tif 000017
【図１３Ａ】
2009503948.tif 000018
【図１４】
2009503948.tif 000019
【図１５】
2009503948.tif 000020
【図１６】
2009503948.tif 000021
【国際調査報告】
2009503948.tif 000022