(57)【特許請求の範囲】
【請求項１】
映像の符号化ストリームに対して，所定の情報を電子透かしとして埋め込む電子透かし埋め込み方法において，
入力した映像の符号化ストリームをデコーダにより映像データに復号化する過程と，
前記デコーダで検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する過程と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし埋め込み条件のもとで，所定の情報を埋め込む過程と，
前記所定の情報が埋め込まれたビデオフレームをエンコードする過程とを有する
ことを特徴とする電子透かし埋め込み方法。
【請求項２】
電子透かしが埋め込まれた映像の符号化ストリームから埋め込み情報を検出する電子透かし検出方法において，
入力した映像の符号化ストリームをデコーダにより映像データに復号化する過程と，
前記デコーダで検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する過程と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし検出条件のもとで，埋め込み情報を検出する過程とを有する
ことを特徴とする電子透かし検出方法。
【請求項３】
映像の符号化ストリームに対して，所定の情報を電子透かしとして埋め込む電子透かし埋め込み装置において，
入力した映像の符号化ストリームを映像データに復号化するデコーダと，
該デコーダで検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する埋め込み強度設定手段と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし埋め込み条件のもとで，所定の情報を埋め込む電子透かし埋め込み処理手段と，
前記所定の情報が埋め込まれたビデオフレームをエンコードするエンコーダとを備える
ことを特徴とする電子透かし埋め込み装置。
【請求項４】
電子透かしが埋め込まれた映像の符号化ストリームから埋め込み情報を検出する電子透かし検出装置において，
入力した映像の符号化ストリームを映像データに復号化するデコーダと，
該デコーダで検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する埋め込み強度設定手段と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし検出条件のもとで，埋め込み情報を検出する電子透かし検出処理手段とを備える
ことを特徴とする電子透かし検出装置。
【請求項５】
映像の符号化ストリームに対して，所定の情報を電子透かしとして埋め込むためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
映像の符号化ストリームを入力し，その符号化ストリームのビットレートを検出して映像データに復号化する処理と，
前記検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する処理と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし埋め込み条件のもとで，所定の情報を埋め込む処理と，
前記所定の情報が埋め込まれたビデオフレームをエンコードする処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする電子透かし埋め込みプログラムを記録した記録媒体。
【請求項６】
電子透かしが埋め込まれた映像の符号化ストリームから埋め込み情報を検出するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって，
映像の符号化ストリームを入力し，その符号化ストリームのビットレートを検出して映像データに復号化する処理と，
前記検出した符号化ストリームのビットレートに適応して，高いビットレートに対しては埋め込み強度を弱め低いビットレートに対しては埋め込み強度を強めた，電子透かし埋め込み強度を決定する処理と，
前記復号化した映像データのビデオフレームに対して，前記埋め込み強度および鍵情報で規定される電子透かし検出条件のもとで，埋め込み情報を検出する処理とを，
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする電子透かし検出プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，映像の符号化ストリームに対する電子透かしの埋め込み，およびその電子透かしの検出の技術に関し，特にＭＰＥＧビデオ等の符号化ストリームに適用する，画品質低下の小さい電子透かし埋め込みを可能とした透かし強度のビットレート適応設定型電子透かし処理方式に関する。
【０００２】
【従来の技術】
図６および図７を用いて，従来の電子透かし処理の構成を説明する。
【０００３】
図６は，従来の電子透かし埋め込み系の構成を示している。ＭＰＥＧ２の符号化ストリームに対する電子透かし埋め込みは，映像データに対して行う。まず，入力したＭＰＥＧ２のストリームを，ＭＰＥＧ２デコーダ５１で映像データに復号化し，例えばＹＵＶの輝度信号および色差信号からなる映像データに再生する。電子透かし埋め込み処理部５２では，その映像データに映像フレーム単位で透かし情報の埋め込みを行う。
【０００４】
電子透かし埋め込み処理部５２による埋め込み処理は，通常，鍵情報および埋め込み強度等の埋め込み条件を規定するパラメータのもとで行われ，画像フレームに埋め込み情報を埋め込んだ後，再度，ＭＰＥＧ２エンコーダ５３によってエンコードして符号化ストリームとして出力する。
【０００５】
図７は，従来の電子透かし検出系の構成を示している。まず電子透かしが埋め込まれたＭＰＥＧ２の符号化ストリームを入力し，ＭＰＥＧ２デコーダ６１によってデコードする。そのデコードした映像フレームから電子透かし検出処理部６２によって埋め込み情報を検出する。このとき，検出条件として，埋め込み条件と同一のパラメータが用いられる。
【０００６】
【発明が解決しようとする課題】
このような電子透かし処理にあっては，電子透かしとして埋め込んだ透かし情報による画像品質の低下が問題になる。電子透かしは，一般に著作権等を主張できるように，コンテンツ所有者側がコンテンツに権利主張のための情報を直接埋め込むものであるが，画像にそのような情報を強い画素値（埋め込み強度が大）で埋め込むと，その影響が雑音として目視される。一方，埋め込み強度を小さくすると，透かし検出ができなくなる場合がある。
【０００７】
したがって，電子透かしの埋め込み処理において，その強度設定は画像品質と透かし検出確率の関係を評価実験により明確にし，適正に決定しなければならない。しかし，ＭＰＥＧ２のコンテンツは種々の符号化条件でエンコードされるため，コンテンツ対応に埋め込み強度を調整することは多大の労力を要している。
【０００８】
本発明は上記問題点の解決を図り，符号化画質の差異を識別し，画質に見合った埋め込み強度を自動設定することにより，主観的な画質劣化防止および雑音等に対する耐性確保という相反する要求を満足させる電子透かしの埋め込みを実現することを目的とする。
【０００９】
【課題を解決するための手段】
本発明では，このような課題を解決するため，入力したＭＰＥＧ２等の映像符号化ストリームをデコーダで復号化する過程においてストリームのビットレートを検出し，その検出値から自動的に埋め込み強度を設定する手段を具備することを特徴とする。
【００１０】
これにより，検出したビットレートに対応して，高画質の高レートストリームについては透かしが目立たないように埋め込み強度を弱め，低画質の低レートストリームについては埋め込み強度を強めるようにしているので，画質低下の小さい電子透かし埋め込みを行うことができる。
【００１１】
本発明は，ハードウェア回路を用いて実現することも，ソフトウェアプログラムをコンピュータに実行させることによって実現することも可能である。そのソフトウェアプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【００１２】
【発明の実施の形態】
図１ないし図５に従って，本発明の実施の形態を説明する。
【００１３】
図１は，本発明に係る電子透かし処理における透かし埋め込み系の構成を示す。電子透かし埋め込み装置１０は，外部装置２０のＭＰＥＧ２エンコーダ２１によって生成されたＭＰＥＧ２の符号化ストリームに対して，電子透かしの埋め込み処理を行う。電子透かし埋め込み処理は映像データに対して行うため，まず入力したＭＰＥＧ２のストリームを，ＭＰＥＧ２デコーダ１１で映像データに復号化する。ここでは，ＹＵＶの輝度信号および色差信号からなる映像データに再生され，再生された映像データは，電子透かし埋め込み処理部１２に映像のフレーム単位で入力される。
【００１４】
一方，ＭＰＥＧ２デコーダ１１では，ＭＰＥＧ２の復号化過程においてストリームのヘッダ情報に対するパラメータ値として規定されている情報から，入力したＭＰＥＧ２ストリームの符号化ビットレートを検出し，埋め込み強度設定部１３に対して出力する。
【００１５】
埋め込み強度設定部１３では，検出したビットレートに対応して埋め込み強度を制御する。一般に，映像に対して電子透かしを埋め込むことは，雑音を重畳することと同様であるため，埋め込み強度を強めることはそれだけ雑音が目立つことになる。したがって，原画としての画質が良い，高いビットレートに対しては透かしが目立つので埋め込み強度を弱め，透かしが目立たない低いビットレートに対しては強度を強めても差し支えない。
【００１６】
一方，埋め込み強度は，透かし攻撃に対する耐性を保つため，画質低下が目立たない範囲で大きくする必要がある。
【００１７】
このようなビットレートと埋め込み強度の関係は，予め画質および透かし検出の評価実験を行い，その実験によって得られた統計データをもとに適切に定めたテーブルとして埋め込み強度設定部１３に備えておき，このテーブルを参照して埋め込み強度を決定する。これにより，ビットレートに対して適用性の高い埋め込み強度の設定による電子透かし埋め込み処理を実現することができる。
【００１８】
図２に，ビットレートと電子透かしの埋め込み強度との関係テーブルの例を示す。この例では，ＭＰＥＧ２の画像で，フレーム画素数が７０４×４８０ピクセル，フレームレートが３０フレーム／秒の画像に対して，評価実験によって定めたビットレートと埋め込み強度の関係を示している。埋め込み強度は，標準値のようなものが設定されており，この標準値は各電子透かし方法に応じて異なる。図２の例では，その標準値に対する倍率を示したものとなっており，具体的な数値は特に示していない。これは一例であり，電子透かしの埋め込み強度については，各方式ごとに記述方式が違う。また，対象となる画像の種別に応じてビットレートと透かしの埋め込み強度との関係が変わってくる。具体的には，画像のフレーム画素数（１画面のピクセル数），フレームレート（１秒間に何フレーム表示されるか）が重要となる。また，ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＥＧ４は，各々圧縮効率も若干違っており，これも重要である。これより，圧縮方式とフレーム画像サイズ，フレームレートを組にして，それぞれのケースごとにビットレートと埋め込み強度とが設定されることになる。関係テーブルへの設定値は，各々の必要なケースについてあらかじめ実験的にどのくらいの数値が適切かを求めて決定すればよい。
【００１９】
電子透かし埋め込み処理部１２では，埋め込み情報を，鍵情報および埋め込み強度として与えられる埋め込み条件のもとで映像信号に埋め込む。鍵情報は，整数値や実数値，ビット値，キャラクタ値などで設定されるのが一般的である。与え方としては，プログラムなどにあらかじめ組み込んでおいてもよいし，処理の過程において入力することも可能である。電子透かし埋め込み処理部１２の詳細は，図３を用いて後述する。
【００２０】
透かしが埋め込まれた映像信号は，ＭＰＥＧ２エンコーダ１４によりエンコードされ，その符号化ストリームには，透かし情報が埋め込まれている。このときの符号化ビットレートは，電子透かし埋め込み装置１０に入力したストリームのビットレートと同一になるようにＭＰＥＧ２エンコーダ１４に対してレート設定を行う。
【００２１】
図３に従って，電子透かし埋め込み処理部１２の構成例を説明する。基本的に本発明は，どのような電子透かし方法にも適用可能である。ここでは映像フレームへの埋め込み方法の一例として，映像の空間周波数領域の周波数係数の大きさを，前述した埋め込み強度分だけ変化させることによって，透かし情報を埋め込む方法を用いるものとする。なお，映像データは，ＤＣＴ変換（離散コサイン変換）を用いて周波数領域に展開する。
【００２２】
図３（Ａ）は，電子透かし埋め込み処理部１２の一例を示したものであり，映像フレームを２次元ＤＣＴ変換するために，まずブロック分割部１２１により，例えば１６×１６画素の画素ブロックにブロック分割する。その画素ブロックを２次元ＤＣＴ部１２２により２次元ＤＣＴ変換して，図３（Ｂ）に示すような空間周波数領域に展開する。ここで，ｕ，ｖはそれぞれ空間周波数であり，周波数領域のサイズは，画素ブロックと同一の１６×１６である。
【００２３】
透かし埋め込み部１２３では，この周波数ブロックの特定の係数Ｆ（ｕ，ｖ）に対して，埋め込み強度に相当した変化を与えることにより，透かしを埋め込む。その例は，次の公知の文献１に述べられているので概要を説明する。
［文献１］：中村，小川，高嶋“ディジタル画像の著作権保護のための周波数領域における電子透かし方式”，ＳＣＳＩ’９７−２６Ａ。
【００２４】
（１）埋め込み情報をＡ，Ｂ，Ｃ等のキャラクタ情報とし，キャラクタ文字をアスキーコード等の２進数に展開しておく。その２進コードの埋め込みは，複数のＤＣＴブロックを使って１ＤＣＴブロックに１ビットずつ割り当てる。例えば，８ビットコードであれば８個のＤＣＴブロックが必要であり，３２ビットコードであれば３２個のＤＣＴブロックを使って透かし情報を埋め込む。
【００２５】
（２）ＤＣＴブロックのｕ−ｖ座標のどの位置に透かし情報の１ビット分を埋め込むかは，乱数生成器１２４によって生成した乱数により決定する。鍵情報として，例えばＭ系列乱数発生の初期値を与え，発生した数列Ｍｎ  （ｎ＝１，２，…）の所定のｎ＝Ｎに対する値ＭＮ  に基づきｕ−ｖ上の位置を決定し，その位置のＤＣＴ係数Ｆ（ｕ，ｖ）について，１ビット情報の‘０’，‘１’に対応させて，透かし強度ｈに応じた変化を与える。
【００２６】
（３）上記（２）の処理を，上記（１）で規定した複数のＤＣＴブロックについて全て行い，映像フレームに対して透かし埋め込みを行う。
【００２７】
なお，このような透かし埋め込みの内容として，次の文献２の方法を適用してもよい。
［文献２］：中村，小川，富岡，高嶋“電子透かしにおける平行移動・切り取り耐性向上の一手法”，ＳＣＳＩ’９９  Ｊａｎｕａｒｙ    ２６−２９，１９９９。
【００２８】
以上のようにして，埋め込み情報の内容に対応してＤＣＴ係数を変化させ，次に，２次元ＩＤＣＴ部１２５において逆離散コサイン変換（ＩＤＣＴ）を行い，画像再合成部１２６で画像データに戻し，電子透かしが埋め込まれた映像フレームを出力する。
【００２９】
図４は，本発明に係る電子透かし処理における透かし検出系の構成を示す。図４に従って，本実施の形態における透かし検出処理を説明する。電子透かし検出装置３０は，入力した透かしが埋め込まれたＭＰＥＧ２のストリームをＭＰＥＧ２デコーダ３１で映像データに復号化し，電子透かし検出処理部３２に映像のフレーム単位で入力する。一方，ＭＰＥＧ２デコーダ３１では，ＭＰＥＧ２の復号化過程においてＭＰＥＧ２ストリームの符号化ビットレートを検出し，埋め込み強度設定部３３に対して出力する。
【００３０】
埋め込み強度設定部３３では，埋め込みの際に用いた埋め込み強度をビットレートから逆算定する。もし，埋め込み強度が既知であれば，ここで埋め込み強度をビットレートから逆算定する処理は不要であるが，伝送路を介して入力してきたストリームから，透かしを検出する際には必要である。
【００３１】
電子透かし検出装置３０における埋め込み強度設定部３３の機能は，電子透かし埋め込み装置１０における埋め込み強度設定部１３と同一であり，電子透かし検出処理部３２では，与えられた鍵情報および埋め込み強度の条件のもとで埋め込み情報を検出する。ただし，透かし検出時に埋め込み強度を設定不要な電子透かし方法もある。
【００３２】
基本的に本発明による電子透かしの検出は，どのような電子透かし方法を用いた場合にも適用可能である。図５は，電子透かし検出処理部３２の構成の一例を示す。電子透かしが埋め込まれた映像フレームを，ブロック分割部３２１により例えば１６×１６画素の画素ブロックに分割し，その画素ブロックを２次元ＤＣＴ部３２２でＤＣＴ変換して周波数領域に展開後，鍵情報に基づき乱数生成器３２４で生成した数列を用いて，透かし検出部３２３において，透かしが埋め込まれているＤＣＴ係数を特定し，そのＤＣＴ係数を透かし強度ｈで量子化して，ＤＣＴ係数に重畳されている埋め込み情報１ビット分の‘０’，‘１’の何れかを算定する。その内容は，上記文献１の記載のとおりである。
【００３３】
以上の図１〜図５の説明では，ＭＰＥＧ２の符号化ストリームに対する電子透かし埋め込みおよび電子透かし検出について説明したが，ＭＰＥＧビデオの他の標準であるＭＰＥＧ１，ＭＰＥＧ４のような他の映像符号化方式についても全く同一の方法で適用でき，ＭＰＥＧ２をＭＰＥＧ１あるいはＭＰＥＧ４に置き替えれば，これらの符号化ストリームに対して，ビットレートに対応して埋め込み強度を自動設定する電子透かし埋め込み処理および電子透かし検出処理が実現できる。すなわち，本発明によるビットレート適応型電子埋め込み強度設定方法は，符号化ストリームからレート検出できる映像符号化方式の全てに対して適用できるものである。
【００３４】
図１〜図５に示す処理を，ソフトウェアプログラムを利用して実現する場合，そのプログラムが記録されたフロッピィ・ディスクやＣＤ−ＲＯＭ等の外部記憶媒体，または通信回線等を通して，そのプログラム・コードをコンピュータ内に取り込み，それをインストールし，コンピュータに実行させることによって実現することができる。そのソフトウェアプログラムが行う処理内容は，図１〜図５の説明から明らかであるので，処理フローチャートを用いた説明は省略する。
【００３５】
【発明の効果】
本発明では，電子透かしの埋め込み強度を映像符号化ビットレートから自動設定する手段を備えているため，種々のレート条件でエンコードされたコンテンツに対して，画質低下の小さい電子透かし埋め込みを実現できる。本発明は，ＭＰＥＧビデオの標準であるＭＰＥＧ１，ＭＰＥＢ２，およびＭＰＥＧ４の他，符号化ストリームからレート検出できる映像符号化方式の全てに対して適用することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る電子透かし埋め込み系の構成を示す図である。
【図２】ビットレートと電子透かしの埋め込み強度との関係テーブルの例を示す図である。
【図３】電子透かし埋め込み処理部を説明する図である。
【図４】本発明の実施の形態に係る電子透かし検出系の構成を示す図である。
【図５】電子透かし検出処理部を説明する図である。
【図６】従来の電子透かし埋め込み系の構成を示す図である。
【図７】従来の電子透かし検出系の構成を示す図である。
【符号の説明】
１０  電子透かし埋め込み装置
１１  ＭＰＥＧ２デコーダ
１２  電子透かし埋め込み処理部
１３  埋め込み強度設定部
１４  ＭＰＥＧ２エンコーダ
２０  外部装置
２１  ＭＰＥＧ２エンコーダ
３０  電子透かし検出装置
３１  ＭＰＥＧ２デコーダ
３２  電子透かし検出処理部
３３  埋め込み強度設定部
【図１】
0003566924.tif 000002
【図２】
0003566924.tif 000003
【図３】
0003566924.tif 000004
【図４】
0003566924.tif 000005
【図５】
0003566924.tif 000006
【図６】
0003566924.tif 000007
【図７】
0003566924.tif 000008