(57)【要約】【課題】  ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置を提供する。【解決手段】  ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階、及び前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階を含むビデオウォーターマーキング方法。【選択図】  図１
2005341525.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスの場面転換を検出する段階と、
前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階と、
前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、を含むビデオウォーターマーキング方法。
【請求項２】
前記イメージ複雑度計算に用いられるフレームは各場面の最初のイントラフレームである請求項１に記載のビデオウォーターマーキング方法。
【請求項３】
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項２に記載のビデオウォーターマーキング方法。
【請求項４】
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項３に記載のビデオウォーターマーキング方法。
【請求項５】
前記イメージ複雑度が最小イメージ複雑度を超える時に前記係数は、前記イメージ複雑度に所定の比例定数値を乗算して得られ、前記イメージ複雑度が最小イメージ複雑度以下である時に前記係数は、最小イメージ複雑度に前記比例定数値を乗算して得られる請求項１に記載のビデオウォーターマーキング方法。
【請求項６】
前記場面転換如何はBフレームのマクロブロックタイプの動き補償方向によって判断される請求項１に記載のビデオウォーターマーキング方法。
【請求項７】
ビデオシーケンスの場面転換を検出する段階と、
前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する第１係数を得る段階と、
前記ビデオシーケンスのインターフレームの動きベクトルを大きさによってウォーターマークの挿入強度を決定する第2係数を得る段階と、
イントラフレームに対しては前記第１係数によって決定された挿入強度によってビデオシーケンスにウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数によって決定された挿入強度によってウォーターマークを挿入する段階と、を含むビデオウォーターマーキング方法。
【請求項８】
前記イメージ複雑度計算に用いられるフレームは各場面の最初のイントラフレームである請求項７に記載のビデオウォーターマーキング方法。
【請求項９】
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項８に記載のビデオウォーターマーキング方法。
【請求項１０】
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項９に記載のビデオウォーターマーキング方法。
【請求項１１】
前記イメージ複雑度が最小イメージ複雑度を超える時に前記第1係数は、前記イメージ複雑度に所定の比例定数値を乗算して得られ、前記イメージ複雑度が最小イメージ複雑度以下である時に前記第１係数は、最小イメージ複雑度に前記比例定数値を乗算して得られる請求項７に記載のビデオウォーターマーキング方法。
【請求項１２】
前記第2係数は前記インターフレームの動きベクトルの大きさ区間別に決定される請求項７に記載のビデオウォーターマーキング方法。
【請求項１３】
場面転換はBフレームのマクロブロックタイプの動き補償方向によって決定される請求項７に記載のビデオウォーターマーキング方法。
【請求項１４】
前記挿入されるウォーターマークはウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させて得られる請求項７に記載のビデオウォーターマーキング方法。
【請求項１５】
ビデオシーケンスの場面転換を検出する場面転換検出部と、
前記検出された場面の１つまたはそれ以上のフレームでウォーターマークの挿入強度を決定するのに用いる場面のイメージ複雑度を計算するイメージ複雑度計算部と、
前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、を含むビデオウォーターマーキング装置。
【請求項１６】
前記ウォーターマーク挿入部は、ビデオシーケンスにウォーターマークを挿入する時の挿入強度を前記イメージ複雑度と前記ビデオシーケンスのインターフレームの動きベクトルの大きさとを考慮して決定し、前記挿入強度によって前記ビデオシーケンスにウォーターマークを挿入する請求項１５に記載のビデオウォーターマーキング装置。
【請求項１７】
前記イメージ複雑度計算部は前記イメージ複雑度計算に各場面の最初イントラフレームを使用する請求項１５に記載のビデオウォーターマーキング装置。
【請求項１８】
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数により決定される請求項１７に記載のビデオウォーターマーキング装置。
【請求項１９】
前記イメージ複雑度は前記AC係数のうち一部の係数の絶対値の和で決定される請求項１８に記載のビデオウォーターマーキング装置。
【請求項２０】
前記イメージ複雑度が最小イメージ複雑度を超える時に前記イメージ複雑度計算部は前記イメージ複雑度に所定の比例定数値を乗算して前記イメージ複雑度を計算し、前記イメージ複雑度が最小イメージ複雑度以下である時に前記イメージ複雑度は最小イメージ複雑度に前記比例定数値を乗算して得られる請求項１５に記載のビデオウォーターマーキング装置。
【請求項２１】
場面転換検出部はBフレームのマクロブロックタイプの動き補償方向によって場面転換如何を決定する請求項１５に記載のビデオウォーターマーキング装置。
【請求項２２】
前記ウォーターマーク挿入部は、ウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させてビデオシーケンスに挿入されるウォーターマークを得る請求項１５に記載のビデオウォーターマーキング装置。
【請求項２３】
入力されたビデオシーケンスに関する権限によってウォーターマークに含まれるウォーターマークメッセージを決定する段階と、
前記ビデオシーケンスの各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定する段階と、
決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、
前記ビデオシーケンスに挿入されたウォーターマークを検出し、検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱う段階と、を含むウォーターマーキングを用いたビデオコンテンツの保護方法。
【請求項２４】
前記ウォーターマークの挿入強度を決定する段階は、各場面の最初イントラフレームで場面単位のイメージ複雑度を計算して第１係数を得る段階と、各インターフレームの動きベクトルの大きさによって第２係数を得る段階、イントラフレームに対しては前記第１係数によって挿入強度を決定し、インターフレームに対しては前記第１係数及び第２係数によって挿入強度を決定する請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
【請求項２５】
前記イメージ複雑度はDCT領域のAC係数のうち一部の係数を用いて計算する請求項２４に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
【請求項２６】
前記ビデオシーケンスの各場面はBフレームのマクロブロックタイプの動き補償方向によって区別する請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
【請求項２７】
前記挿入されるウォーターマークは前記決定されたウォーターマークメッセージをウォーターマークキーを通じて帯域拡散させて得られる請求項２３に記載のウォーターマーキングを用いたビデオコンテンツの保護方法。
【請求項２８】
入力されたビデオシーケンスの権限によってウォーターマークに含まれるウォーターマークメッセージを決定するメッセージ決定部と、
前記ビデオシーケンスの場面転換を検出し、検出された各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定し、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、
前記ビデオシーケンスに挿入されたウォーターマークを検出するウォーターマーク検出部と、
前記検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱うビデオコンテンツ管理部と、を含むウォーターマーキングを用いたビデオコンテンツの保護装置。
【請求項２９】
前記ウォーターマークの挿入部は各場面の最初イントラフレームで場面単位のイメージ複雑度を計算して第１係数を得、各インターフレームの動きベクトルの大きさによって第2係数を得、イントラフレームに対しては前記第１係数による挿入強度でウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数による挿入強度でウォーターマークを挿入する請求項２８に記載のウォーターマーキングを用いたビデオコンテンツの保護装置。
【請求項３０】
前記ビデオシーケンスでBフレームのマクロブロックタイプの動き補償方向によって場面転換如何を検出する場面転換検出部をさらに含む請求項２８に記載のウォーターマーキングを用いたビデオコンテンツの保護装置。
【請求項３１】
請求項１ないし１４と、請求項２３ないし２７のうち何れか１項に記載の方法を実行するためのコンピュータ可読プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオウォーターマーキングに係り、より詳細には、ビデオウォーターマーキング方法及び装置と、ビデオウォーターマーキングを用いたビデオコンテンツの保護方法及び装置に関する。
【背景技術】
【０００２】
デジタル技術の発展につれて膨大な量のデジタルマルチメディアデータが利用しやすくなった。デジタル情報は、アナログ情報とは違って品質の損失なしに安価で大量コピー可能な特徴を有する。デジタル情報のこのような特徴は著作権の保護という観点からは問題になりうる。デジタルコンテンツに関する著作権の保護方案として議論されている技術の１つが、デジタルウォーターマーキング(Digital Water marking)技術である。
【０００３】
ウォーターマーキング技法は、デジタルコンテンツにユーザのID(Identification)や自分だけの情報を挿入することによって、デジタルコンテンツの不法な複製を防止し、デジタルコンテンツに関する著作権を保護し、所有権を主張できる根拠を提示可能にする技術である。
【０００４】
このようなウォーターマーキング技法は、不法な複製や配布から所有権を証明でき、ウォーターマークを除去しようとする攻撃がある場合にも、本当の機能を発揮しようとするならば、次のような条件を満たさねばならない。
【０００５】
・非可視性(Invisibility)
ウォーターマークを挿入した後にも原本コンテンツの変化がほとんどなく、ウォーターマークの挿入如何を感知できなくすべきである。これはコンテンツの品質を低下させないというウォーターマークの特性を意味するが、挿入されたウォーターマークが視覚的に見えなくすべきである。一部の応用分野では可視的なウォーターマーキング技法を使用することもある。一方、イメージではない、一般のコンテンツの場合には非可視性は非認知性(Imperceptibility)と呼ばれる。
【０００６】
・強じん性(Robustness)
ウォーターマークを信号の重要な部分に挿入して転送や保存のために圧縮する時にウォーターマークの歪曲が発生してはならない。そして、転送中に生じうるノイズや色々な形の変形と攻撃があっても挿入されたウォーターマークを抽出できる特性を強じん性という。強じん性の場合も応用分野によって意図的に弱い(fragile)ウォーターマーキング技法を使用する時がある。これは主に認証用として多用され、Semi-Fragil技法を用いて不法操作の正確な位置なども探し出せる。
【０００７】
・明確性(Unambiguity)
抽出されたウォーターマークが確実な所有権を主張できるように攻撃などに対して正確性を保持すべきである。
【０００８】
・原本なしに抽出(Blindness)
原本映像なしにウォーターマーキングされた映像のみでウォーターマークを検出しなければならない。これはウォーターマーキング技法をオンライン上や多様な応用分野への適用において、正しい所有権者を区別せねばならない現実性を考慮する時、必要な機能である。
【０００９】
・保安性(Security)
関連したキー値等を知っている場合にウォーターマークを確認できなければならない。
この他にも挿入される情報の量(Capacity)、多重ウォーターマーキング(multiple watermarking)など多くの要求条件を満たさねばならない。
【００１０】
一方、最近では、デジタル放送受信機にハードディスクを内蔵した新たなフラットフォームが登場した。ユーザはこのような機器を用いて個人的な目的でテレビ放送を時間変換再生(Time-shift  play)のために保存して使用できるが、現在、このような行為は許容される行為範ちゅうに含まれる。しかし、著作権保護のために一度保存された放送データは、その後には他の装置に複製されてはならない。
【００１１】
このように保存される放送データに複製制御情報を挿入し、これを検出するのにウォーターマーキング技法が用いられる。例えば、ウォーターマークに含まれるコピー制御情報として‘copy  never’と‘copy  freely’を置き、前者が含まれた放送データの場合には他の装置へのコピーを禁止し、後者の場合には他の装置へのコピーを許容しうる。すなわち、デジタル放送受信機は放送データに含まれたコピー制御情報を確認し、その情報が‘copy never’である場合には他の装置、例えばコンピュータやPVRなどの装置への放送データのコピーを禁止する。
【００１２】
デジタル放送プログラムまたはVODサービスで提供される映画についてはリアルタイム(または準リアルタイム)でウォーターマーキングできる方法が必要である。現在までリアルタイムビデオウォーターマーキングを具現するためにいろいろな方法が提案された。例えば、非特許文献１では、圧縮領域でVLC(Variable  Length  Coding)のコードワードを変更してウォーターマークを挿入する方法が提案されている。しかし、VLC領域でウォーターマークを挿入すれば、不法な攻撃に脆弱な短所がある。非特許文献２では、多解像度ビデオ分析を用いた場面単位のウォーターマークが提案されている。この方式はビデオシーケンスを場面単位に分割し、それぞれの場面に対して時間軸に対するウェーブレット(Wavelet)変換を行う。この方法は場面に基づいてウォーターマークを挿入する方法である。しかし、この方式は計算の複雑性のために現実的にはリアルタイム処理に難点がある。
これにより、少ない計算によるリアルタイムビデオウォーターマーキングの必要性が台頭されている。
【非特許文献１】「Watermarkng Digital Image and Video Data」（ G．C．Langelaarら）
【非特許文献２】「Multiresolution Scene-Based Video Watermarking Using Perceptual Models」（ M．K．Swanson ）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は前述した必要性によって案出されたものであって計算上の効率の高いリアルタイム(または準リアルタイム)ビデオウォーターマーキングの方法及び装置を提供することをその目的とする。
また本発明は、リアルタイムビデオウォーターマーキング技法を用いたビデオコンテンツの保護方法及び装置を提供することを他の目的とする。
本発明の目的は前述した目的によって制限されず、言及されていないさらに他の目的は下記の記載より当業者に明確に理解されるものであろう。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明の一実施例によるビデオウォーターマーキング方法は、ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する段階と、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、を含む。
【００１５】
前記目的を達成するために、本発明の他の実施例によるビデオウォーターマーキング方法は、ビデオシーケンスの場面転換を検出する段階と、前記検出された場面の１つまたはそれ以上のフレームで場面のイメージ複雑度を計算して場面単位のウォーターマークの挿入強度を決定する第１係数を得る段階と、前記ビデオシーケンスのインターフレームの動きベクトルを大きさによってウォーターマークの挿入強度を決定する第２係数を得る段階と、イントラフレームに対しては前記第１係数によって決定された挿入強度によってビデオシーケンスにウォーターマークを挿入し、インターフレームに対しては前記第１係数及び第２係数によって決定された挿入強度によってウォーターマークを挿入する段階と、を含む。
【００１６】
前記目的を達成するために、本発明の一実施例によるビデオウォーターマーキング装置は、ビデオシーケンスの場面転換を検出する場面転換検出部と、前記検出された場面の１つまたはそれ以上のフレームでウォーターマークの挿入強度を決定するのに用いる場面のイメージ複雑度を計算するイメージ複雑度計算部と、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、を含む。
【００１７】
前記目的を達成するために、本発明の一実施例によるウォーターマーキングを用いたビデオコンテンツの保護方法は、入力されたビデオシーケンスに関する権限によってウォーターマークに含まれるウォーターマークメッセージを決定する段階と、前記ビデオシーケンスの各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定する段階と、決定された挿入強度によってビデオシーケンスにウォーターマークを挿入する段階と、前記ビデオシーケンスに挿入されたウォーターマークを検出し、検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱う段階と、を含む。
【００１８】
前記目的を達成するために、本発明の一実施例によるウォーターマーキングを用いたビデオコンテンツの保護装置は、入力されたビデオシーケンスの権限によってウォーターマークに含まれるウォーターマークメッセージを決定するメッセージ決定部と、前記ビデオシーケンスの場面転換を検出し、検出された各場面の最初イントラフレームのイメージ複雑度を用いて場面単位でウォーターマークの挿入強度を決定し、前記決定された挿入強度によってビデオシーケンスにウォーターマークを挿入するウォーターマーク挿入部と、前記ビデオシーケンスに挿入されたウォーターマークを検出するウォーターマーク検出部と、前記検出されたウォーターマークに含まれたメッセージによって前記ビデオシーケンスを取扱うビデオコンテンツ管理部と、を含む。
【発明の効果】
【００１９】
本発明によれば、少ない計算量によりリアルタイムビデオウォーターマーキングが可能である。また、本発明によれば、リアルタイムビデオウォーターマーキング技法を用いたビデオコンテンツ保護機能を有する放送受信機やビデオ再生装置の生産が可能である。
【発明を実施するための最良の形態】
【００２０】
以下、添付された図面を参照してより詳細な実施例を説明する。
・ウォーターマーキング方法の応用実施例
図１は、本発明の一実施例に係るコピー防止機能を有する放送受信機の構成を示すブロック図である。
【００２１】
放送受信機100はMPEG方式でコーディングされた放送信号を受信し、これをデコーディングして放送コンテンツを再生可能にする。
ネットワークインターフェース部102は受信された放送信号を復調してデジタル信号に変換させる。デジタル信号には複数のプログラムが含まれうる。逆多重化部104はこのように複数のプログラムが多重化されたデジタル信号からユーザが選択したプログラムを抽出する。一方、有料放送プログラムの場合にスクランブルされた状態で放送されて有料ユーザのみが視聴可能にする。スクランブル解除部(descrambler)106はスクランブルされたプログラムのスクランブルを解除する。
【００２２】
逆多重化及びスクランブル解除されたプログラムはMPEGデコーダ108を通じてデコーディングされる。デコーディングされたビデオ情報はビデオ信号生成部110を通じてビデオ信号として出力され、デコーディングされたオーディオ情報はオーディオ信号生成部112を通じてオーディオ信号として出力される。
【００２３】
放送受信機100は受信されたプログラムをハードディスクのような不揮発性保存媒体である保存部122に保存して、ユーザをして放送時間でなくてもプログラムを視聴可能にする。プログラムに対する正当な権利を有するユーザがプログラムを一時的にあるいは永久的に保存し、これを再生することは許容される行為であるが、保存されたプログラムを他の装置にコピーする行為は著作権と関連して問題になる。
【００２４】
したがって、放送受信機100はプログラムを保存する時に付加的な情報を挿入してプログラムに関する権限によってプログラムへの接近を制限することもある。この実施例で付加情報は放送プログラムにプログラムに関する権限を意味するウォーターマークを挿入する。例えば、スクランブルされて受信される有料チャンネルのプログラムに対しては“コピー防止”を意味するウォーターマークを挿入し、自由に使用可能なプログラムについては“コピー可能”を意味するウォーターマークを挿入する。もし、プログラムに関する権限が3回再生である場合、プログラムに“3回再生”を意味するウォーターマークを挿入する。もし、3回再生可能なプログラムを一回再生した場合には再び“2回再生”を意味するウォーターマークを挿入する。一方、望ましくは不法なコピーなどの著作権侵害行為の発生時に、著作権侵害を誘発した行為者が誰であるかが分かるようにウォーターマークに放送受信機100が有する固有一キーを含める。
【００２５】
一方、放送プログラムに対するウォーターマーキングはリアルタイム(または準リアルタイム)で行われる必要があるが、リアルタイムウォーターマーキングの場合に多くの計算時間を必要とする。すなわち、動映像プログラムのあらゆるフレームに対していちいちウォーターマーク挿入強度を演算する場合にはあまりにも多くの計算量を必要とする。本発明の実施例は場面(scene)転換を検出して場面単位でウォーターマークの挿入強度を決定する。このために、場面転換検出部118は逆多重化されたプログラムの場面転換如何を決定する。場面転換如何が決定されれば、ウォーターマーク挿入部120はプリバッファ116に臨時に保存されているプログラムにウォーターマークを挿入する。ウォーターマーキングされたプログラムは保存部122に保存される。
【００２６】
ウォーターマーキングされたプログラムを実行しようとすれば、臨時にビットバッファ124に保存してMPEGデコーダ108でデコーディングする。この時、ウォーターマーク検出部114はプログラムに挿入されたウォーターマークを検出する。検出されたウォーターマークに含まれたメッセージはビデオコンテンツ管理部126に伝えられる。もし、これ以上再生できないプログラムであれば、ビデオコンテンツ管理部126は放送受信機100でプログラムを再生不能にする。もし、再生可能なプログラムであれば、ビデオコンテンツ管理部126は放送受信機100でプログラムを再生することを妨害しない。一方、他の装置にプログラムをコピーしようとする時、コピー防止状態の場合にビデオコンテンツ管理部126は放送受信機100の他の装置へのプログラムのコピーをできなくする。
【００２７】
一方、この実施例では放送受信機100毎に固有メッセージをウォーターマークに含めるが、かかる場合にユーザが故意で放送受信機100を変更させてコピー防止されたプログラムを他の装置にコピーする場合でも、不法コピーされたプログラムに挿入されたウォーターマークを検出して不法流出させたユーザを探し出せる。
【００２８】
ウォーターマーキングを用いてビデオコンテンツを保護できる装置の例として放送受信機を説明したが、これは例示的なものであって、ウォーターマーキングを用いてビデオコンテンツを保護する如何なる装置でも本発明の技術的範囲に含まれると解釈せねばならない。
【００２９】
・ウォーターマーク挿入装置
図２は、本発明の一実施例に係るウォーターマーク挿入装置の構成を示すブロック図である。この実施例ではDCT基盤のビデオコーディングされたビデオストリームに関するウォーターマーキングを中心に説明する。
ウォーターマーク挿入装置200はDCT基盤のビデオコーディング方式、例えばMPEG-2コーディング方式でコーディングされた元のビデオストリームを入力されてウォーターマークされたビデオストリームを出力する。
【００３０】
まず、元のビデオストリームが入力されれば、可変長逆符号化部210は可変長符号化されたビデオストリームを可変長逆符号化する。可変長逆符号化を経てマクロブロック(Macro Block；以下、MBと称する)タイプ情報と、動きベクトル及び量子化されたDCT映像を得られる。
【００３１】
場面転換検出部240はビデオシーケンスの場面転換如何を判断する。この実施例ではMBタイプを用いてビデオシーケンスの場面転換如何を判断するが、これについては後述する。場面転換如何に関する情報はイメージ複雑度計算部230に伝えられる。
逆量子化部220は量子化されたDCT映像を逆量子化してDCT映像を得る。
【００３２】
イメージ複雑度計算部230はDCT映像の複雑度を計算する。計算されたイメージ複雑度はウォーターマーク挿入部250に伝えられてウォーターマーク挿入強度を決定するのに用いられる。イメージ複雑度は場面単位で類似した特性を有するが、この実施例ではこれを用いて場面単位で場面を代表する１つまたは一部のフレームを用いてイメージ複雑度を計算する。
【００３３】
ウォーターマーク挿入部250は動きベクトル大きさとイメージ複雑度とを受け取ってウォーターマーク挿入強度を決定し、決定されたウォーターマーク挿入強度によってDCT映像をウォーターマーキングする。ウォーターマークされたDCT映像は量子化部260を経て量子化されて可変長符号化部270を経て可変長符号化されてウォーターマークビデオストリームに含まれる。ウォーターマーク挿入部250については図3を通じて後述する。
【００３４】
図２のウォーターマーク挿入装置200はMPEG方式(MPEG-2またはMPEG-4)でコーディングされたビデオストリームに対してウォーターマーキングすることを例示として説明した。しかし、ビデオコーディングされていないビデオに対してもウォーターマーキングすることも可能である。この場合にはビデオをMPEG方式でコーディングする過程で得られたDCT映像にウォーターマーキングする。
【００３５】
一方、図２の実施例はMPEG方式でコーディングされたビデオストリームについてのウォーターマーキングを説明したが、これは例示的なものである。すなわち、ウェーブレット基盤のビデオコーディング方式でコーディングされたビデオストリームの場合にも場面転換を検出して場面の代表フレームに関するイメージ複雑度を計算してウォーターマーク挿入強度を決定することも可能である。
【００３６】
図３は、ウォーターマーク挿入部の構成をさらに詳細に示すブロック図である。
ウォーターマーク挿入部300は、ウォーターマークメッセージを決定するメッセージ決定部310と、ウォーターマーク挿入部300の固有一キー値であるウォーターマークキーを保存するウォーターマークキー保存部320と、ウォーターマーク生成部330と、ウォーターマーク挿入強度決定部340と、乗算器350及び加算器360を含む。
【００３７】
ウォーターマークメッセージ決定部310はウォーターマークに含まれたウォーターマークメッセージを決定する。本発明の実施例でウォーターマークに含まれたウォーターマークメッセージはビデオに関する権限によって決定される。例えば、“再生１回”や“コピー可能”を意味するウォーターマークメッセージなどがありえる。
【００３８】
ウォーターマーク生成部330はウォーターマークキー値でウォーターマークメッセージを帯域拡散してウォーターマークを生成する。例えば、ウォーターマークメッセージとウォーターマークキー値とをモジュラス演算してウォーターマークを生成する。
ウォーターマーク挿入強度決定部340はウォーターマーク挿入強度を決定するが、動きベクトル大きさ及びイメージ複雑度などを入力されてウォーターマーク挿入強度を決定する。ウォーターマーク挿入強度の決定に関するさらに詳細な説明は後述する。
ウォーターマークはウォーターマーク挿入強度と乗算器350で乗算される。次いで、DCT映像及び加算器360で加算される。
【００３９】
・ウォーターマーク挿入過程
ビデオシーケンスに関するウォーターマーク挿入過程については図4を通じて説明する。
まず、ビデオシーケンスの場面転換を検出する(S410)。次いで、場面を代表する１つまたは一部のフレームを用いて映像の複雑度を計算する(S420)。映像の複雑度を計算した後、映像の複雑度を用いてウォーターマーク挿入強度を決定する第１係数を決定する(S430)。そして、各フレームがインターフレームであるか否かを判断し(S440)、インターフレームである場合には動きベクトル大きさによって第２係数を決定する(S450)。インターフレームは第１係数及び第２係数でウォーターマーク挿入強度を決定してウォーターマークを挿入し、インターフレームでない場合には第１係数でウォーターマーク挿入強度を決定してウォーターマークを挿入する(S460)。インターフレームはビデオシーケンスの他のフレームを参照してコーディングされるフレームを意味し、MPEG方式のビデオコーディングにおけるPフレームまたはBフレームがこれに該当する。インターフレームでないフレームはイントラフレームともいい、他のフレームを参照せずにコーディングされるフレームを意味する。MPEG方式のビデオコーディングでIフレームがイントラフレームに該当する。
【００４０】
・場面転換検出過程
図５は、本発明の一実施例に係る場面転換検出過程を示す図面である。図５の実施例で場面転換検出は計算を簡略化するためにBフレームのMBタイプを使用する。(a)のように場面S２及びS２の転換がB１フレームより生じた場合にB１及びB２フレームの大部分のMBタイプは逆方向動き補償になる。なぜなら、B１、Ｉ２またはＰ２の場合にほぼ類似した映像であるからである。(b)のように場面Ｓ１及びＳ２の転換がＢ２フレームより生じた場合にB1フレームの大部分のMBタイプは順方向動き補償になり、Ｂ２フレームの大部分のMBタイプは逆方向動き補償になる。(c)のように場面Ｓ１とＳ２の転換がＩ２またはＰ２で発生した場合にＢ１とＢ２フレームの大部分のMBタイプは逆方向動き補償になる。
【００４１】
もし、場面転換が発生しない場合であれば、(a)、(b)、(c)のようにＢ１及びＢ２フレームの大部分のMBタイプが特定の動き補償にはならない。すなわち、MBタイプの動き補償方向を判断して容易に場面転換如何を判断しうる。
【００４２】
・ウォーターマーク挿入強度
図6は、本発明の一実施例に係る挿入強度を決定するパラメータを説明するための図面である。(a)はイメージ複雑度を計算する領域を示し、(b）は動きベクトルの大きさ領域によって第２係数値を決定することを示す。
【００４３】
場面単位によってウォーターマーク挿入強度が決定されるが、各場面を代表する１つまたは一部フレームから場面のイメージ複雑度を計算する。例えば、場面に含まれた最初イントラフレームからイメージ複雑度を計算する。(a)は場面の最初イントラフレームのDCTブロックを示す。DCTブロックで(0,0)はDC成分であってイメージ複雑度計算では除き、AC成分だけでイメージ複雑度を計算する。実際に、あらゆるAC成分でイメージ複雑度を計算してもよく、(a)のように一部のAC成分だけでイメージ複雑度を計算しても良い。イメージ複雑度は多様な方式で決定しても良いが、この実施例では計算を簡単にするために絶対値の和で数学式1のように計算する。
【００４４】
【数１】
2005341525.tif 000003
【００４５】
ICはイメージ複雑度を意味し、Aはイメージ複雑度を計算する領域を意味する。DCT(ｉ,ｊ)はDCTブロックの(ｉ,ｊ)ブロックピクセルのDCT係数を意味する。
図６でA={(0,1),(0,2),(0,3),(1,0),(1,1),(1,2),(2,0),(2,1),(3,0)}である。
場面でイメージ複雑度は数式１のようにDCTブロック毎に異ならせて計算できるが、数式２のようにフレーム全体に対して１つに決定することもできる。
【００４６】
【数２】
2005341525.tif 000004
【００４７】
kはDCTブロックの番号を意味し、nは１フレームに含まれたDCTブロックの数を意味する。
イメージ複雑度が計算されれば、ウォーターマーク挿入強度を決定する第１係数(α)は次のように決定されうる。
【００４８】
If 場面転換発生
映像の複雑度(IC)計算；
If(IC＞最小複雑度)
α=定数×IC；
Else
α=定数×最小複雑度；
Else
既に計算されたα使用
End
【００４９】
イントラフレームの場合に第１係数(α)だけで挿入強度を決定するが、インターフレームの場合には動きベクトルの大きさによってウォーターマーク挿入強度を増加させうる。(b)では動きベクトルの大きさを示しており、動きベクトルの大きさによって領域を二領域に分離した。領域１は動きベクトルが小さいことを意味し、領域２は動きベクトルが大きいことを意味する。もし、動きベクトルが(4,5)であれば、領域２に属する。動きベクトルが大きい場合には大きな第２係数(β)を与え、動きベクトルが小さい場合には小さな第２係数(β)を与える。すなわち、動きベクトルの大きさが決まった場合に第２係数は数式３のように計算されうる。
【００５０】
【数３】
2005341525.tif 000005
【００５１】
ここで、β１及びβ２は各々領域１及び領域２の第２係数であり、β２の値がβ１の値より大きい。
一方、図6では領域を２つに分けたが、領域をさらに細分化することも可能である。
第１係数と第２係数とが決定されれば、ウォーターマーキングされたDCT映像は数式4により決定されうる。
【００５２】
【数４】
2005341525.tif 000006
【００５３】
Iは映像のDCT領域での係数を意味し、I’はウォーターマークされた映像のDCT領域での係数を意味する。変更されるDCT領域の係数はAC成分のうち1つ以上の領域を使用する。α及びβは各々第１係数と第２係数とを意味し、Wはウォーターマークを意味する。イントラフレームの場合にも数式4によりウォーターマーキングされたDCT映像を決定できるが、第１係数だけを用いて数式5によりウォーターマーキングされたDCT映像を決定することもできる。前者の場合には第２係数はβ１値を有する。
【００５４】
【数５】
2005341525.tif 000007
【００５５】
図７は、本発明の一実施例によってビデオシーケンスにウォーターマーキングを適用することを示す図面である。
ビデオシーケンスがある時、場面１と場面２との転換が検出された場合に場面１のイメージ複雑度は場面１の最初のイントラフレーム710で計算し、場面２のイメージ複雑度は場面２の最初イントラフレーム720で計算しうる。
ウォーターマーク挿入強度の場合、イントラフレームは場面のイメージ複雑度(IC)だけで挿入強度を決定できるが、インターフレームの場合には場面のイメージ複雑度(IC)と動きベクトル(MV)との大きさを何れも考慮して挿入強度を決定する。
【００５６】
-シミュレーション
シミュレーションは本発明に係る実施例の性能をテストするために行われた。シミュレーションは標準イメージシーケンスに対して行われ、実際に放送ビデオシーケンスを受信して行った。シミュレーションされたビデオシーケンスは2309個の352X288サイズのフレームを有する9個の標準イメージシーケンスより構成される。イメージはMPEG-2方式でコーディングされたイメージである。実際放送されたビデオシーケンスは320X240の大きさを有するMPEG-2方式でコーディングされた3000個のフレームである。図8の(a)はAC係数により計算されたイメージ複雑度を示す。ラインプロット(Lined-plot)は第1係数(α)を意味する。(b)は動きベクトルの大きさによって分類された領域を示す。(b)で動きベクトルは大きさによって4つの領域に分け、明るい色の場合に動きベクトルが大きい領域である。
図９Ａないし図９Ｃは、各々ウォーターマークされたイメージと各種攻撃がある時のウォーターマークの検出結果を示す。
【産業上の利用可能性】
【００５７】
本発明は、デジタルコンテンツの不法な複製を防止し、デジタルコンテンツに関する著作権を保護し、所有権を主張可能にするウォーターマーキング技法が用いられる全ての分野に好適に適用されうる。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施例に係るコピー防止機能を有する放送受信機の構成を示すブロック図である。
【図２】本発明の一実施例に係るウォーターマーク挿入装置の構成を示すブロック図である。
【図３】ウォーターマーク挿入部の構成をさらに詳細に示すブロック図である。
【図４】本発明の一実施例に係るウォーターマーク挿入過程を示すフローチャートである。
【図５】本発明の一実施例に係る場面転換検出過程を示す図面である。
【図６】本発明の一実施例に係る挿入強度を決定するパラメータを説明するための図面である。
【図７】本発明の一実施例によってビデオシーケンスにウォーターマーキングを適用することを示す図面である。
【図８】本発明の実施例によって計算されたイメージ複雑度及び動きベクトルの大きさに係るフレームの領域分類の実験結果を示す図面である。
【図９Ａ】本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。
【図９Ｂ】本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。
【図９Ｃ】本発明の実施例によってウォーターマーキングされたイメージに対する多様な攻撃がある場合のウォーターマーク検出結果を示す図面である。
【符号の説明】
【００５９】
１０２  チューナ
１０４  逆多重化部
１０６  スクランブル解除部
１０８  ＭＰＥＧデコーダ
１１０  ディスプレイ信号生成部
１１２  オーディオ信号生成部
１１４  ウォーターマーク検出部
１１６  プリバッファ
１１８  場面転換検出部
１２０  ウォーターマーク挿入部
１２２  保存部
１２４  ビットバッファ
１２６  ビデオコンテンツ管理部
【図１】
2005341525.tif 000008
【図２】
2005341525.tif 000009
【図３】
2005341525.tif 000010
【図４】
2005341525.tif 000011
【図５】
2005341525.tif 000012
【図６】
2005341525.tif 000013
【図７】
2005341525.tif 000014
【図８】
2005341525.tif 000015
【図９Ａ】
2005341525.tif 000016
【図９Ｂ】
2005341525.tif 000017
【図９Ｃ】
2005341525.tif 000018