(57)【要約】【課題】低ビットレートのＭＰＥＧ−４  Ｖｉｓｕａｌ符号化データに、情報が損失することのないように電子透かしを合成し、且つ、電子透かしを合成した際の画質劣化が目立たないようにすることを目的とする。【解決手段】ＭＰＥＧ−４符号化部２と、電子透かし合成部４とを連動して動作させることで、ＭＰＥＧ−４符号化処理により情報が損失しないようにする。更に、量子化パラメータ修正部３と、符号量調整部５とを備えることにより、電子透かしを合成することによる画質劣化を視覚的に知覚されないようにＭＰＥＧ−４符号化データを修正することができる。【選択図】図１１
2006081065.tif 000002
【特許請求の範囲】
【請求項１】
画像をｍ×ｎ画素（ｍ，ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数をＭ×Ｎ組（Ｍ，Ｎ＞０）の前記ブロックで構成されるマクロブロック毎に決定される量子化ステップサイズで量子化し、符号化する動画圧縮符号化装置であって、符号化済みの符号量から次マクロブロックの目標符号量と量子化ステップサイズを設定する設定手段と、前記設定された量子化ステップサイズが所定の範囲にある場合に限り、前記量子化ステップサイズで量子化された前記周波数変換係数からｉ種類（０＜ｉ≦ｍ×ｎ）の成分を選択して修正する電子透かし合成手段と、前記電子透かし合成された前記量子化された前記周波数変換係数を前記符号化して得られる符号量と前記目標符号量とを比較して、所定の条件を満たす場合に前記量子化された前記周波数変換係数のうち、前記ｉ種類の成分とは異なるｊ種類（０≦ｊ≦ｍ×ｎ）の成分を修正して、再度、符号化する符号量調整手段とを備える動画圧縮符号化装置。
【請求項２】
請求項１に記載の動画圧縮符号化装置において、前記設定した量子化ステップサイズが、前記所定の範囲になく、しきい値ｑｔｈ１としきい値ｑｔｈ２とで定められる範囲に含まれる場合に、前記設定した量子化ステップサイズが、（ｑｔｈ１＋ｑｔｈ２）／２以下ならば、前記設定した量子化ステップサイズから修正値Δｑ（Δｑ＞０）を減算したものを、（ｑｔｈ１＋ｑｔｈ２）／２より大きいならば、前記設定した量子化ステップサイズに前記修正値Δｑを加算したものを量子化ステップサイズとして設定し直す再設定手段を、更に、備える動画圧縮符号化装置。
【請求項３】
前記電子透かし合成手段は、前記量子化ステップサイズで量子化された前記周波数変換係数のうち、前記ｉ種類の成分として選択するのは、ｉ＝１であり、直流成分（（０，０）成分）であり、隣接する２組の前記ブロックの前記直流成分係数の差で表される画像特徴量の分布により、前記マクロブロックを構成する前記Ｍ×Ｎ組の前記ブロックの前記直流成分係数からＬ組（Ｌ＜Ｍ×Ｎ）を選択し、前記選択した直流成分係数値と前記量子化ステップサイズと合成する電子透かしデータとで定まる修正値を前記選択した直流成分係数値に加算することを特徴とする、請求項１または請求項２に記載の動画圧縮符号化装置。
【請求項４】
前記符号量調整手段は、前記量子化された前記周波数変換係数を符号化して得られる符号量が前記目標符号量を超える場合、前記ｊ種類の成分のうち、非ゼロの周波数係数を、各々±Δｆ（Δｆ＞０）の範囲内で修正した後に、符号化して得られる符号量を最小にする値に変更することを特徴とする請求項１から請求項３のいずれかに記載の動画圧縮符号化装置。
【請求項５】
コンピュータに、画像をｍ×ｎ画素（ｍ，ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数をＭ×Ｎ組（Ｍ，Ｎ＞０）の前記ブロックで構成されるマクロブロック毎に決定される量子化ステップサイズで量子化し、符号化する手段を実行させる動画圧縮符号化プログラムであって、符号化済みの符号量から次マクロブロックの目標符号量と量子化ステップサイズを設定する設定手段と、前記設定された量子化ステップサイズが所定の範囲にある場合に限り、前記量子化ステップサイズで量子化された前記周波数変換係数からｉ種類（０＜ｉ≦ｍ×ｎ）の成分を選択して修正する電子透かし合成手段と、前記電子透かし合成された前記量子化された前記周波数変換係数を符号化して得られる符号量と前記目標符号量とを比較して、所定の条件を満たす場合に前記量子化された前記周波数変換係数のうち、前記ｉ種類の成分とは異なるｊ種類（０≦ｊ≦ｍ×ｎ）の成分を修正して、再度、符号化する符号量調整手段とを実行させるための機能を備える動画圧縮符号化プログラム。
【請求項６】
請求項５に記載の動画圧縮符号化プログラムにおいて、前記設定した量子化ステップサイズが、前記所定の範囲になく、しきい値ｑｔｈ１としきい値ｑｔｈ２とで定められる範囲に含まれる場合に、前記設定した量子化ステップサイズが、（ｑｔｈ１＋ｑｔｈ２）／２以下ならば、前記設定した量子化ステップサイズから修正値Δｑ（Δｑ＞０）を減算したものを、（ｑｔｈ１＋ｑｔｈ２）／２より大きいならば、前記設定した量子化ステップサイズに前記修正値Δｑを加算したものを量子化ステップサイズとして設定し直す再設定手段を、更に、コンピュータに実行させる機能を備える動画圧縮符号化プログラム。
【請求項７】
前記電子透かし合成手段は、前記量子化ステップサイズで量子化された前記周波数変換係数のうち、前記ｉ種類の成分として選択するのは、ｉ＝１であり、直流成分（（０，０）成分）であり、隣接する２組の前記ブロックの前記直流成分係数の差で表される画像特徴量の分布により、前記マクロブロックを構成する前記Ｍ×Ｎ組の前記ブロックの前記直流成分係数からＬ組（Ｌ＜Ｍ×Ｎ）を選択し、前記選択した直流成分係数値と前記量子化ステップサイズと合成する電子透かしデータとで定まる修正値を前記選択した直流成分係数値に加算することを特徴とする、請求項５または請求項６に記載の動画圧縮符号化プログラム。
【請求項８】
前記符号量調整手段は、前記量子化された前記周波数変換係数を前記符号化して得られる符号量が前記目標符号量を超える場合、前記ｊ種類の成分のうち、非ゼロの周波数係数を、各々±Δｆ（Δｆ＞０）の範囲内で修正した後に、符号化して得られる符号量を最小にする値に変更することを特徴とする請求項５から請求項７のいずれかに記載の動画圧縮符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データの中に視覚的にわからないように別な情報を埋め込む電子透かし技術に関する。
【背景技術】
【０００２】
近年、インターネットのブロードバンド化や携帯電話の高性能化が急速に進むなど、ユビキタスネットワーク社会に向けてのインフラの整備や技術革新が着実に進んでいる。そのような社会では、デジタル・コンテンツ流通事業が本格化すると期待されている。特に、動画配信は、キラー・アプリケーションとして注目を集めている。
【０００３】
しかし、デジタルデータはコピーしても全く品質が劣化しないため、誰もが容易に不正コピーをして流通させることが可能である。その結果、ファイル交換ソフトを用いた音楽ファイル不正流通が、社会問題にまでなった。今後、本格化すると考えられる動画配信でも同様の問題が起こる可能性があり、安全なデジタル・コンテンツ流通を実現するための基盤作りが急務となっている。
【０００４】
そのような背景の下、画像やオーディオなどのデジタル・コンテンツの著作権を保護するための一手法として、デジタルデータに人間に知覚されないように著作権情報等のデータを埋め込む電子透かし技術の研究が盛んに行なわれている（非特許文献１、非特許文献２参照）。
【０００５】
静止画に電子透かしを合成する代表的な方法としては、例えば、画像の画素値（空間領域）に直接認証情報等を埋め込む方法と、離散コサイン変換やウェーブレット変換の変換係数（周波数領域）に認証情報等を埋め込む方法があり、いずれの方法についても数多くの合成手法が提案されている。動画も、静止画の集合として考えることができるため、各フレームデータに静止画への手法を適用することで電子透かしを合成することができる。
【０００６】
動画は、情報量が膨大であり、保存・蓄積し、配信を行う際には、通常、圧縮符号化を行う。圧縮符号化方式としては、ＭＰＥＧ国際標準が用いられることが多い。その際、動画への電子透かし合成方法としては、フレーム単位に非圧縮画像データに合成し、その後、圧縮符号化する方式を用いるのが一般的である（非特許文献３参照）。
【非特許文献１】松井甲子雄著「電子透かしの基礎」森北出版、１９９８年８月
【非特許文献２】「日経エレクトロニクス」日経ＢＰ社、１９９７年２月２４日（Ｐ１４９−１６２）
【非特許文献３】荒木他：“ウェーブレット変換を用いた動画像向け電子透かし方式”，映像情報メディア学会誌，Ｖｏｌ．５４，Ｎｏ．１１（２０００−１１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
これら従来手法は、画像データには冗長な領域が存在し、冗長な領域のデータを別のデータに置き換えても、視覚的に問題にならないという事実に基づいている。
【０００８】
一方、ＭＰＥＧ国際標準に代表される動画像の圧縮符号化は、フレーム間の相関を利用した情報量削減と、量子化による画像の冗長な領域の情報量削減とを組み合わせて行なっており、特に、符号化レートの制御においては、量子化ステップサイズを変えることによる冗長な領域の情報量削減が、本質的な役割を果たしている。
【０００９】
従って、動画データを圧縮符号化する際に削除対象にする個所と、従来手法で動画データに電子透かしを合成する際に操作対象にする個所とは共通しており、圧縮符号化した動画像データに、既存の手法で電子透かしを合成する場合、合成することができる情報量は、符号化レートが低いほど少なくなる。しかし、蓄積や放送用途でＭＰＥＧ−１またはＭＰＥＧ−２符号化した動画データには、圧縮符号化した後も、冗長な領域は十分に残っており、従来手法で電子透かしを合成しても問題にはならない。
【００１０】
ところが、携帯電話などのモバイル機器向けに、例えば、ＭＰＥＧ−４  Ｖｉｓｕａｌ方式により低符号化レートで圧縮符号化した動画データは、圧縮符号化により冗長領域の画像情報がほとんど除去されてしまう。更に、符号化レート、絵柄によっては非冗長領域の画像情報も一部失われ、圧縮符号化によるブロックノイズが顕著になり、視覚的に画質劣化が知覚できるような画像データが用いられることもある。そのような動画データでは、従来のように、視覚的に知覚できない範囲で、画像の冗長領域のデータを別データに置き換える手法では、電子透かしを合成することはできない。
【００１１】
本発明は、この課題を解決するものであり、動画を低符号化レートで圧縮符号化し、冗長領域がほとんど除去されてしまい、圧縮符号化によるブロックノイズが顕著に現れているような動画データであっても合成可能であり、かつ、合成することによる画質劣化が視覚的に問題にならない電子透かし合成方法を提案することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために本発明の動画圧縮符号化装置は、
画像をｍ×ｎ画素（ｍ，ｎ＞０）のブロックに分割し、前記ブロック毎、画素値データを周波数変換して得られる周波数変換係数をＭ×Ｎ組（Ｍ，Ｎ＞０）の前記ブロックで構成されるマクロブロック毎に決定される量子化ステップサイズで量子化し、符号化する動画圧縮符号化装置であって、符号化済みの符号量から次マクロブロックの目標符号量と量子化スケールを設定する設定手段と、前記設定された量子化ステップサイズが所定の範囲にある場合に限り、前記量子化ステップサイズで量子化された前記周波数変換係数からｉ種類（０＜ｉ≦ｍ×ｎ）の成分を選択して修正する電子透かし合成手段と、前記電子透かし合成された前記量子化された前記周波数変換係数を前記符号化して得られる符号量と前記目標符号量とを比較して、所定の条件を満たす場合に前記量子化された前記周波数変換係数のうち、前記ｉ種類の成分とは異なるｊ種類（０≦ｊ≦ｍ×ｎ）の成分を修正して、再度、符号化する符号量調整手段とを備える。
【００１３】
このような処理構成により、次のように動画データに電子透かしを合成することができる。動画データを圧縮符号化する前に電子透かしを合成すると、圧縮符号化の際に一部の情報が損失してしまうが、電子透かし合成処理を圧縮符号化処理と連動させ、圧縮符号化のうち、非可逆圧縮処理である周波数変換処理と量子化処理を行なった後の量子化周波数変換係数に対して電子透かし合成処理を行なうことができる。
【００１４】
また、動画圧縮符号化の際に、目標符号化レートと画像を符号化した符号量とにより次に用いる量子化ステップサイズが設定されるため、設定された量子化ステップサイズによっては、電子透かしを合成することにより、画質の劣化が視覚的に目立つ場合もあるが、電子透かし合成処理と圧縮符号化処理とを連動させ、量子化ステップサイズが比較的小さく、冗長領域が残り、電子透かしを合成しても、視覚的に知覚できない部分や、量子化ステップサイズが十分大きく、ブロックノイズが顕著に現れており、電子透かしを合成して生じる画質劣化が、量子化による画質劣化と区別できない部分だけを選択して、電子透かしを合成することが可能になる。
【００１５】
更に、特定の量子化ステップサイズの場合のみに電子透かしを合成すると、動画データによっては、合成できる電子透かしの情報量が少なくなってしまうが、動画圧縮符号化の際の符号化処理は、一般的に、動画データの特徴に最適化されていないため、電子透かしを合成した周波数成分を除く量子化された周波数成分係数を、視覚的に問題のない範囲で修正して生成される符号量を調整することにより、次のマクロブロックで用いる量子化ステップサイズを電子透かしを合成するのに適したものに設定することができ、合成することができる電子透かしの情報量を増やすことが可能になる。
【発明の効果】
【００１６】
本発明の動画圧縮符号化装置、または動画圧縮符号化プログラムによれば、動画データを圧縮符号化する前に電子透かしを合成すると、圧縮符号化の際に一部の情報が損失してしまうが、電子透かし合成処理を圧縮符号化処理と連動させ、圧縮符号化の非可逆圧縮処理後の量子化周波数変換係数に対して電子透かし合成処理を行ない、その後、可逆圧縮処理により、圧縮符号化データを得ることで、情報を失うことなく電子透かしを合成することができる。
【００１７】
また、動画圧縮符号化の際の量子化ステップサイズが十分小さい時には、量子化された周波数変換係数を修正しても画質の劣化を視覚的に知覚するのは困難であり、十分に大きい場合には、量子化された周波数変換係数を修正しなくてもブロックノイズが顕著に現れており、電子透かしを合成することによる画質の劣化は、量子化によるブロックノイズに紛れ込んでしまい問題にならないが、それ以外の場合には、電子透かしを合成することで画質の劣化が知覚されやすいため、量子化ステップサイズが十分に小さい、または、大きいマクロブロックのみに電子透かしを合成することで、電子透かしを合成することによる画質の劣化が視覚的に問題にならないように合成することが可能になる。
【００１８】
更に、動画圧縮符号化の際の符号化処理は、一般的に、動画データの特徴に最適化されていないが、画像の特徴に合わせ、符号量を最小化するように、量子化された周波数変換係数のうち、電子透かしが合成された周波数成分を除く係数値を調整することで、量子化スケールを修正したり、電子透かしを合成したりすることによるビットレートの増加を抑え、同時に、情報量の多い画像でもより小さな量子化ステップサイズで量子化することを可能にし、同じビットレートの場合に、画像をより高画質化することができる。
【００１９】
更に、特定の量子化ステップサイズの場合のみに電子透かしを合成すると、動画データによっては、合成できる電子透かしの情報量が少なくなってしまうが、電子透かしを合成した周波数成分を除く量子化された周波数成分係数を、視覚的に問題のない範囲で修正することで、生成される符号量を調整することができ、次のマクロブロックで用いる量子化ステップサイズを電子透かしを合成するのに適したものに設定することで、合成することができる電子透かしの情報量を増やすことが可能になる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について説明する前に、まず、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の処理概要について説明する。
【００２１】
図１は、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の処理構成図を示す。ＭＰＥＧ−４  Ｖｉｓｕａｌでは、ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）と呼ばれる単位で符号化を行う。（最も単純な場合には、ＶＯＰはフレームに相当する。）図１において、入力部１０では、圧縮符号化する動画データがＶＯＰ単位で入力され、各ＶＯＰは、１６×１６画素単位のマクロブロックに分割される。
【００２２】
動き検出・符号化部１１は、動き検出部１１１、マクロブロックタイプ設定部１１２、動きベクトル符号化部１１３とから構成されており（図２）、動き検出部１１１では、入力部１０から入力されたマクロブロックデータと参照用画像記憶部１６で蓄積されている参照用画像データとを用いて動きベクトルを算出し、マクロブロックタイプ設定部１１２では動き検出の結果をもとに、マクロブロックタイプが設定され、ノンイントラマクロブロックの場合のみ動きベクトル符号化部１１３で可変長符号化が行われる。
【００２３】
予測部１２では、動き検出・符号化部２で算出された動きベクトルと参照用画像記憶部１６で蓄積されている参照用画像データとを用いて、予測画像が生成される。
【００２４】
変換部１３は、予測誤差生成部１３１、ＤＣＴ部１３２、量子化部１３３とから構成されており（図３）、予測誤差生成部１３１では、ノンイントラマクロブロックの場合のみ入力部１０から入力されたマクロブロックデータと予測部で生成された予測画像とから生成される誤差画像マクロブロックデータを出力し、イントラマクロブロックの場合には、入力部１０から入力されたマクロブロックデータをそのまま出力し、ＤＣＴ部１３２に入力する。ＤＣＴ部１３２では、予測誤差生成部１３１から出力されたマクロブロックデータを８×８画素のブロックごとに２次元離散コサイン変換（ＤＣＴ）を行い、量子化部１３３では、ＤＣＴ部１３２から出力された２次元ＤＣＴ係数を量子化する。
【００２５】
ＤＣＴ符号化部１４は、ＤＣ／ＡＣ予測部１４１、スキャン部１４２、可変長符号化部１４３から構成され（図４）、ＤＣ／ＡＣ予測部１４１では、変換部１３から出力された２次元量子化ＤＣＴ係数と隣接するマクロブロックの２次元ＤＣＴ係数をもとに予測される値とから２次元量子化ＤＣＴ係数誤差成分を算出し、スキャン部１４２では、ＤＣ／ＡＣ予測部で求めた２次元量子化ＤＣＴ係数誤差成分を符号化する順番に並び替え、可変長符号化部１４３では、スキャン部１４２で並び替えた２次元量子化ＤＣＴ係数誤差成分を符号化する。
【００２６】
参照用画像生成部１５は、逆量子化部１５１、逆ＤＣＴ部１５２、画像再構成部１５３とから構成され（図５）、逆量子化部１５１では、変換部１３で出力される２次元量子化ＤＣＴ係数を逆量子化し、逆ＤＣＴ部１５２では、逆量子化部１５１で逆量子化された２次元ＤＣＴ係数に逆ＤＣＴを行い、画像再構成部１５３では、逆ＤＣＴ部１５２で出力された画素値により画像を再構成する。ノンイントラマクロブロックの場合には、予測部で生成された予測画像の画素値を加算して画像を再構成する。参照用画像記憶部１６では、参照用画像生成部１５で再構成された画像が蓄積される。
【００２７】
パラメータ設定部１７では、動き検出・符号化部１１とＤＣＴ符号化部１４から出力される符号量をもとに、次マクロブロックを符号化する際の量子化パラメータを設定し、出力部１８では、動き検出・符号化部１１とＤＣＴ符号化部１４から出力される符号とをＭＰＥＧ−４  Ｖｉｓｕａｌ符号化データとして出力する。
【００２８】
以上のように構成されたＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の処理構成図について、図６に示すフローチャートを用いてその動作を説明する。第１に入力部に、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化を行なう動画データを読み出しておく（Ｓ１）。第２に、ＭＰＥＧ−４符号化パラメータを初期化しておく（Ｓ２）。次に、動画データをＶＯＰ単位でマクロブロックに分割し、マクロブロック毎、動き検出・符号化処理を行なう（Ｓ３）。動き検出・符号化処理の動作については、図７に示しており、まず、蓄積されている参照用画像を用いて動き検出を行ない、動きベクトルを求める（Ｓ３１）。次いで、動き検出の結果を用いてマクロブロックタイプを設定し（Ｓ３２）、ノンイントラマクロブロックの場合には、動きベクトルを符号化し、出力部に出力する（Ｓ３３）。
【００２９】
動き検出・符号化処理の次には、参照用画像と動きベクトルを用いて、予測画像を生成し（Ｓ４）、更に、変換処理を行なう（Ｓ５）。変換処理の動作については、図８に示しており、まず、入力したマクロブロックデータと、予測画像データとを用いて予測誤差を生成する（Ｓ５１）。ただし、イントラマクロブロックについては、マクロブロックデータをそのまま予測誤差データとする。次いで、予測誤差データを８×８画素のブロック毎に対し、２次元ＤＣＴを施し（Ｓ５２）、パラメータ設定部から入力された量子化スケールを用いて２次元ＤＣＴ係数を量子化する（Ｓ５３）。
【００３０】
変換処理の次には、ＤＣＴ符号化処理を行なう（Ｓ６）。ＤＣＴ符号化処理の動作については、図９に示しており、まず、隣接するブロックの量子化２次元ＤＣＴ係数を用いてＤＣ／ＡＣ予測を行ない、量子化２次元ＤＣＴ係数誤差を算出する（Ｓ６１）。次いで、スキャンにより、符号化を行なう順番に量子化２次元ＤＣＴ係数を並び替え（Ｓ６２）、可変長符号化し、出力部に出力する（Ｓ６３）。
【００３１】
ＤＣＴ符号化処理の次には、参照用画像生成処理を行なう（Ｓ７）。参照用画像生成処理の動作については、図１０に示しており、まず、変換部で算出した量子化２次元ＤＣＴ係数を逆量子化する（Ｓ７１）。次いで、逆量子化した２次元ＤＣＴ係数に逆ＤＣＴを施し、参照用画像の予測誤差を生成する（Ｓ７２）。最後に、予測画像と参照用画像の予測誤差とを加算して参照用画像を生成し（Ｓ７３）、参照用画像記憶部に蓄積する。ただし、イントラマクロブロックの場合には、参照用画像の予測誤差をそのまま参照用画像として蓄積する。
【００３２】
参照用画像生成処理の次には、出力した符号量をもとに、次のマクロブロックを符号化する際に用いる量子化パラメータを設定する（Ｓ８）。ステップＳ３からステップＳ８までの処理をマクロブロック単位に行ない、１ＶＯＰの処理が終了したら、次のＶＯＰのタイプを設定する（Ｓ９）。ステップＳ３からステップＳ９までの処理を全ＶＯＰに対して繰り返し行ない、動画データを全て読み出して符号化した時点で処理を終了する。
【００３３】
以上を踏まえて、以下に、本発明の実施の形態について、図を用いて説明する。
【００３４】
（実施の形態）
図１１は本発明の処理構成図を示す。本発明においては、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化処理に電子透かし合成処理を連動させて動作させるように構成されており、ＭＰＥＧ−４符号化部２、量子化パラメータ設定部３、電子透かし合成部４、符号量調整部５とから構成される。
【００３５】
ＭＰＥＧ−４符号化部２は、基本的に、ＭＰＥＧ−４符号化部１と同じ処理構成をしており、入力部１０と、動き検出・符号化部１１と、予測部１２と、変換部１３と、ＤＣＴ符号化部１４と、参照用画像生成部１５と、参照用画像記憶部１６と、パラメータ設定部１７と、出力部１８とから構成される。ＭＰＥＧ−４符号化部２がＭＰＥＧ−４符号化部１と異なるのは、変換部１３に入力される量子化パラメータが、量子化パラメータ修正部で修正された量子化パラメータである点、変換部で算出された量子化２次元ＤＣＴ係数を電子透かし合成部に出力する点、および符号量調整部５で修正された量子化２次元ＤＣＴ係数をＤＣＴ符号化部１４と参照用画像生成部１５に入力する点である。
【００３６】
量子化パラメータ修正３は、パラメータ設定部１７で設定された量子化パラメータを修正し、ＭＰＥＧ−４符号化処理部２に渡す。
【００３７】
電子透かし合成部４は、ブロック設定部４１と、係数操作部４２とから構成され（図１２）、ブロック設定部４１では、予め設定された方法で、電子透かし合成を行なうブロックを設定し、係数操作部４２では、ブロック設定部４１で設定されたブロックの、量子化２次元ＤＣＴ係数を修正する。
【００３８】
符号量調整部５では、係数操作部４２で修正された係数以外の量子化２次元ＤＣＴ係数を修正し、ＭＰＥＧ−４符号化処理部２に渡す。その際、修正後の量子化２次元ＤＣＴ係数には、ＭＰＥＧ−４符号化処理部２で出力する符号量が、修正前の量子化２次元ＤＣＴ係数を用いた場合よりも小さくなるものを選択する。
【００３９】
以上のように構成された本発明の電子透かし合成方法の処理構成図について、図１３に示すフローチャートを用いてその動作を説明する。ただし、各部の詳細のうち、ＭＰＥＧ−４符号化に関する処理の動作については、すでに説明したので、詳細の説明は省略する。
【００４０】
まず、第１に入力部に、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化を行なう動画データと合成する電子透かしデータを読み出しておく（Ｓ１０１）。
【００４１】
次に、ＭＰＥＧ−４符号化パラメータを初期化しておく（Ｓ１０２）。その際、量子化パラメータとしては、しきい値ｑｔｈ１よりも小さい値を設定しておく。
【００４２】
次に、動画データをＶＯＰ単位でマクロブロックに分割し、マクロブロック毎、動き検出・符号化処理を行なう（Ｓ１０３）。
【００４３】
次に、参照用画像と動きベクトルを用いて、予測画像を生成し（Ｓ１０４）、更に、変換処理を行なう（Ｓ１０５）。ここで、変換処理の中で、量子化処理（図８参照）の際に用いるパラメータは、量子化パラメータ修正部３から入力されるものとする。
【００４４】
次に、電子透かし合成処理を行う（Ｓ１０６）。電子透かし合成処理の動作については、図１４に示しており、まず、予め設定された方法で、どのブロックに電子透かしを合成するかを設定する（Ｓ８１）。設定されたブロックに関しては、埋め込みを行なう電子透かし情報と量子化２次元ＤＣＴ係数値により決定される修正値を量子化２次元ＤＣＴ係数に加算または減算して電子透かしを合成する（Ｓ８２）。
【００４５】
電子透かし合成処理の次には、符号量調整のための量子化２次元ＤＣＴ係数の修正を行う（Ｓ１０７）。その方法は、電子透かし合成処理で、電子透かしを合成しなかったブロックの直流成分（ＤＣ成分）を除く量子化ＤＣＴ係数のうち、非ゼロの係数を、符号を変えずに、絶対値が小さくなるように修正するというものである。
【００４６】
次に、ＤＣＴ符号化処理を行ない（Ｓ１０８）、その次に、参照用画像生成処理を行なう（Ｓ１０９）。
次に、出力した符号量をもとに、次のマクロブロックを符号化する際に用いる量子化パラメータを設定する（Ｓ１１０）。このとき、既に出力された符号総量と符号化レートをもとに決定された量子化パラメータｑが、しきい値ｑｔｈ１としきい値ｑｔｈ２の間にある場合には、量子化パラメータを修正する。量子化パラメータの修正方法としては、ｑ≦（ｑｔｈ１＋ｑｔｈ２）／２の場合には、量子化スケールｑから修正値Δｑ（Δｑ＞０）を減算し、ｑ＞（ｑｔｈ１＋ｑｔｈ２）／２の場合には、量子化スケールｑに修正値Δｑを加算するものとする。
ステップＳ１０３からステップＳ１１０までの処理をマクロブロック単位に行ない、１ＶＯＰの処理が終了したら、次のＶＯＰのタイプを設定する（Ｓ１１１）。更に、ステップＳ１０３からステップＳ１１１までの処理を全ＶＯＰに対して繰り返し行ない、動画データを全て読み出して符号化した時点で処理を終了する。
次に、電子透かし合成処理部の処理例について説明する。その手順は以下に述べるとおりである。
マクロブロックを構成する４組の８×８画素の輝度ブロック（図１５）のうち、量子化ＤＣ係数が最小であるブロックを、電子透かしを合成するブロックとして選択する。同じ値のブロックが複数ある場合には、ブロック番号の最も小さいものを選択ブロックとする。次に、選択したブロックの量子化ＤＣ係数を操作する。その方法は、操作する量子化ＤＣ係数の最下位ビットを合成する電子透かしデータのビット値と置き換えるというものである。
以上のように本発明の実施の形態によれば、電子透かし埋め込み処理をＭＰＥＧ−４符号化処理と連動させ、非可逆変換処理後の量子化ＤＣＴ係数を操作することにより、情報を損失することなくＭＰＥＧ−４符号化データに埋め込むことができる。
【００４７】
なお、本実施形態では、ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化処理に連動して電子透かしを合成する例で説明したが、ＭＰＥＧ−１符号化処理やＭＰＥＧ−２符号化処理でも本質的に処理構成は同じであり、同様の処理で電子透かしを合成できる。また、電子透かし合成を行うブロックの選択方法、電子透かしの合成方法、ならびに符号量調整部における量子化ＤＣＴ係数の操作方法は、上述の方法に限らず、別の方法でもよい。また、一部のフレームや一部のマクロブロックだけに本処理を行なってもよい。
【産業上の利用可能性】
【００４８】
本発明にかかる動画圧縮符号化処理と動画圧縮符号化プログラムは、動画圧縮符号化装置または動画圧縮符号化方法、及びコンピュータに動画圧縮符号化手段を実行させるためのプログラム等として有用である。
【図面の簡単な説明】
【００４９】
【図１】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の処理構成図
【図２】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の動き検出・符号化部の処理構成図
【図３】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の変換部の処理構成図
【図４】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化のＤＣＴ符号化部の処理構成図
【図５】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の参照用画像生成部の処理構成図
【図６】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の処理を示すフローチャート
【図７】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の動き検出・符号化部の処理を示すフローチャート
【図８】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の変換部の処理を示すフローチャート
【図９】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化のＤＣＴ符号化部の処理を示すフローチャート
【図１０】ＭＰＥＧ−４  Ｖｉｓｕａｌ符号化の参照用画像生成部の処理を示すフローチャート
【図１１】本発明の電子透かし合成方法の処理構成図
【図１２】本発明の電子透かし合成方法の電子透かし合成部の処理構成図
【図１３】本発明の電子透かし合成方法の処理を示すフローチャート
【図１４】本発明の電子透かし合成方法の電子透かし合成部の処理を示すフローチャート
【図１５】マクロブロックを構成する４組の輝度ブロックの説明図
【符号の説明】
【００５０】
１    ＭＰＥＧ−４符号化部
１０    入力部
１１    動き検出・符号化部
１２    予測部
１３    変換部
１４    ＤＣＴ符号化部
１５    参照用画像生成部
１６    参照用画像記憶部
１７    パラメータ設定部
１８    出力部
１１１    動き検出部
１１２    マクロブロックタイプ設定部
１１３    動きベクトル符号化部
１３１    予測誤差生成部
１３２    ＤＣＴ部
１３３    量子化部
１４１    ＤＣ／ＡＣ予測部
１４２    スキャン部
１４３    可変長符号化部
１５１    逆量子化部
１５２    逆ＤＣＴ部
１５３    画像再構成部
２    ＭＰＥＧ−４符号化部
３    量子化パラメータ修正部
４    電子透かし合成部
４１    ブロック設定部
４２    係数操作部
５    符号量調整部
６    電子透かしデータ入力部
【図１】
2006081065.tif 000003
【図２】
2006081065.tif 000004
【図３】
2006081065.tif 000005
【図４】
2006081065.tif 000006
【図５】
2006081065.tif 000007
【図６】
2006081065.tif 000008
【図７】
2006081065.tif 000009
【図８】
2006081065.tif 000010
【図９】
2006081065.tif 000011
【図１０】
2006081065.tif 000012
【図１１】
2006081065.tif 000013
【図１２】
2006081065.tif 000014
【図１３】
2006081065.tif 000015
【図１４】
2006081065.tif 000016
【図１５】
2006081065.tif 000017