(57)【特許請求の範囲】
【請求項１】
透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度を求める第１ステップと、
上記コンテンツ情報から検出された第２の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度を求める第２ステップと、
上記各状態変化量に依存して求められた複数組の変更個所および変更程度の中から、透かし情報埋め込み後のコンテンツ情報または透かし情報に対する品質要求度に応じて、最適な状態変更個所と変更程度を選択する第３ステップとを有し、
上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる状態変更を加えることを特徴とする情報埋込み方法。
【請求項２】
透かし情報の埋め込み対象となるコンテンツ情報を複数のブロックに分割し、前記第１、第２ステップで上記ブロック毎に前記状態変更個所および変更程度を求め、上記情報ブロック毎に一組の変更個所と変更程度を選択することを特徴とする請求項１に記載の情報埋め込み方法。
【請求項３】
透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、透かし情報埋め込みに適した状態変更個所と変更程度とを求める第１ステップと、
上記コンテンツ情報から検出された上記第１の状態変化量とは異なる第２の状態変化量に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、
上記修正された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする情報埋込み方法。
【請求項４】
透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、
上記コンテンツ情報から検出された第１の状態変化量に依存して、予め用意された複数の変更率指定規則のうちの１つを選択する第１ステップと、
上記コンテンツ情報から検出された第２の状態変化量に依存して、透かし情報の埋め込みに適した該コンテンツ情報の状態変更箇所候補を求める第２ステップと、
上記状態変更箇所候補の中から、上記第１ステップで選択された変更率指定規則が指定する変更率に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、
上記選択された変更箇所で上記コンテンツ情報の状態を変更することを特徴とする情報埋込み方法。
【請求項５】
前記コンテンツ情報を複数のブロックに分割し、前記第１ステップで上記情報ブロック毎に前記複数の変更率指定規則のうちの１つを選択して、前記第２ステップで上記情報ブロック毎に前記変更個所候補を求め、前記第３ステップで上記ブロック毎に上記選択された変更率指定規則に従った変更箇所の選択を行うことを特徴とする請求項４に記載の情報埋め込み方法。
【請求項６】
前記複数の変更率指定規則が、前記コンテンツ情報の変更の容易度と変更率との関係を定義しており、前記第３ステップにおいて、前記第２ステップで求められた変更箇所候補に基いて上記コンテンツ情報の変更容易度の値を算出し、上記変更箇所候補の中から、前記選択された変更率指定規則が示す上記算出された変更容易度と対応する変更率に従った個数の変更箇所を選択することを特徴とする請求項４または請求項５に記載の情報埋め込み方法。
【請求項７】
複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
処理対象となる静止画フレームから検出された画素間の状態変化に依存して画素状態の変更個所と変更程度を求める第１ステップと、
上記処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された被写体の動き量に依存して、該処理対象となる静止画フレームの画素状態の変更個所と変更程度を求める第２ステップと、
上記第１、第２ステップで求めた画素状態の変更個所と変更程度の中から、透かし情報埋め込み後の画質または透かし情報に対する品質要求に応じて、上記静止画フレームに適用する画素状態の変更個所と変更程度の組を選択する第３ステップとを有し、
上記選択された変更箇所と変更程度に従って、上記処理対象となる静止画フレームに透かし情報となる画素の変更を加えることを特徴とする情報埋込み方法。
【請求項８】
前記各静止画フレームを複数の画像ブロックに分割し、各画像ブロック毎に前記第１、第２、第３ステップを実行することを特徴とする請求項７に記載の情報埋め込み方法。
【請求項９】
複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
上記各静止画フレームから検出された画素間の状態変化に依存して画素状態の変更個所と変更程度とを求める第１ステップと、
上記静止画フレーム間の関係から求まる被写体の動き量に依存して、上記第１ステップで求めた画素状態の変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、
上記修正された変更箇所と変更程度に従って、上記静止画フレームに透かし情報となる画素変更を加えることを特徴とする情報埋込み方法。
【請求項１０】
複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、
処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された被写体の動き量に依存して、予め用意された複数の変更率指定規則のうちの１つを選択する第１ステップと、
上記処理対象となる静止画フレームから検出される画素間の状態変化に依存して、該静止画フレームにおける画素状態の変更箇所候補を求める第２ステップと、
上記変更箇所候補の中から、上記第１ステップで選択された変更率指定規則が指定する変更率に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、
上記選択された変更箇所で上記静止画フレームの画素状態を変更することを特徴とする情報埋込み方法。
【請求項１１】
前記各静止画フレームを複数の画像ブロックに分割し、画像ブロック毎に前記複数の変更率指定規則のうちの１つを選択して、上記画像ブロック毎に前記変更個所候補を求め、上記選択された変更率指定規則に従った変更箇所の選択を行うことを特徴とする請求項１０に記載の情報埋め込み方法。
【請求項１２】
透かし情報の埋め込みに適した状態変更箇所として互いに異なった判定結果を与える性質の異なった複数種類の状態変化量をもつ画像コンテンツ情報を対象として、上記コンテンツ情報の少なくとも２つの状態変化量に着目して、それぞれの状態変化量に依存した画素状態の変更個所と変更程度を求めるための手段と、
上記各状態変化量に基づいて求められた複数組の変更個所および変更程度の中から、予め指定された選択基準に従って上記コンテンツ情報または透かし情報に最適な一組の変更個所と変更程度を選択するための手段と、
上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えるための手段とを有することを特徴とする情報埋込み装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報埋込み方法および装置に関し、特に、ディジタル化された静止画あるいは動画等のコンテンツ情報にコピー制御情報や著作権情報などの情報を埋め込むための方法および装置に関する。
【０００２】
【従来の技術】
近年、画像や音楽などがコンテンツがディジタル化され、記憶媒体あるいは通信ネットワークを介して流通されるようになってきた。このようなディジタル化されたコンテンツ情報の著作権を保護するために、コンテンツ情報に人間の視聴覚では気付かない程度の変更を加える形でコピー制御情報や著作権情報を埋め込むことによって、データ処理装置を利用したコンテンツ情報のコピー回数の制限、あるいは不正コピーされたコンテンツ情報から著作権者の特定を可能にする電子透かし技術が重要視されている。
【０００３】
電子透かし技術の実用化には、次の２つの要求を満たす必要がある。
(1) コンテンツ情報の劣化の抑制：
例えば、画像データを対象とした電子透かし情報の埋め込みにおいて、画像に加えた変更がコンテンツの鑑賞の妨げないようにすること。すなわち、コンテンツ情報の一部に加えた変更が人間の視聴覚には目立たないこと。
【０００４】
(2) 耐久性の向上：
画像処理や音声処理を加えても埋め込み情報、すなわち、コンテンツ情報に加えた変更が劣化し難いこと。
上記条件を満たすためには、コンテンツの性質に応じて、コンテンツの変更個所と、変更の程度あるいは強度を最適化する必要がある。以下、コンテンツ情報として代表的な画像を例にして、従来の電子透かし技術を分析する。
【０００５】
画像データの場合、一般に、画像の状態変化が比較的平坦な領域では、画素（ピクセル）の状態値（輝度あるいは色）に不適切な変更を加えると、変更箇所に不自然さが目立つ。しかしながら、被写体のエッジ部分のように画素値の変動の激しい部分では画素に比較的大きな変更を加えても人間の目には目立たないと言う性質がある。この性質に着目して、例えば、情報処理学会論文誌、Vol.38、No.12、1997、第2640頁〜第2647頁には、透かし情報を埋め込むべき画像フレームの輝度変動を分析することによって被写体のエッジ部分を特定し、画素値の変更が目立ちにくい上記エッジ部分では大きな変更を加え、画素値の変更が目立ち易い部分には変更を加えないか、加えるとしても変更の程度を小さくするエッジ保存型電子透かし技術が提案されている。
【０００６】
電子透かし情報の埋め込み対象は、静止画像に限られず、動画も対象となる。動画データは、時系列的に配列された複数の静止画フレームから構成されており、動画の鑑賞中にフレームの送りを止めることによって、個々のフレームを静止画として鑑賞する場合がある。
【０００７】
【発明が解決しようとする課題】
上記理由から、動画を対象とした電子透かし情報の埋込みにおいては、画素値の変更個所が静止画状態でも動画状態でも目立たないようにする必要があり、静止画としての性質と動画としての性質の両方を考慮して、変更画素と変更程度を最適化することが望まれる。しかしながら、動画を対象とした電子透かし情報の埋込みに関する従来技術は、例えば、1995 Symposium on Cryptography and    Information Security, 31-Gで報告された方式では、静止画としての性質のみが考慮されている。また、1995 Symposium on Cryptography and Information    Security, 31-Fで報告された方式は、動画としての性質のみを考慮しており、静止画的性質と動画的性質の両方を考慮して画素値の変更個所と変更強度を最適化した例は未だ報告されていない。
【０００８】
また、画素値変更の目立ちやすさは、例えば、輝度変動のような一つの性質だけで決まるものではなく、色変動のように輝度以外の性質によっても異なる。従って、静止画あるいは動画に透かし情報を埋め込む場合は、これら複数の性質を考慮して、変更個所と変更の度合い（変更強度）とを最適化する必要があるが、従来の電子透かし技術は、画像の一つの性質に依存して画素値変更を最適化しており、複数の性質を考慮した最適化技術は報告されていない。
【０００９】
本発明の第１の目的は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質を考慮して変更個所と変更強度を最適化することにある。
本発明の第２の目的は、特に、動画的性質と静止画的性質の両方を考慮して変更個所と変更強度を最適化した動画への透かし情報埋め込み方法および装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記第１目的を達成するために、本発明による情報埋込み方法は、透かし情報の埋め込み対象となるコンテンツ情報が備える複数の性質について、それぞれの性質に依存した変更個所と変更程度を求めるステップと、上記各性質に依存して求められた複数組の変更個所および変更程度の中から、上記コンテンツ情報に適用する一組の変更個所と変更程度を選択するステップとを有し、上記選択された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
実際の応用においては、上記透かし情報の埋め込み対象となるコンテンツ情報を複数のブロックに分割し、各情報ブロック毎に前記複数組の変更個所および変更程度を求め、上記各情報ブロック毎に一組の変更個所と変更程度を選択する。
【００１１】
尚、上記選択ステップでは、変更が目立たないことを優先する場合には、例えば、性質毎に選択した複数組の変更個所についての論理積（AND）演算結果を最終的な変更個所とし、変更個所の個数が最小となるようにすればよい。逆に、変更結果の耐久性を優先する場合は、性質毎に選択した複数組の変更個所の論理和（OR）演算結果を最終的な変更個所とし、変更箇所の数が最大となるようにすればよい。
【００１２】
上記第１目的を達成するために、本発明による情報埋込み方法の他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して変更個所と変更程度とを求める第１ステップと、上記コンテンツ情報が備える上記第１の性質とは異なる第２の性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記コンテンツ情報に透かし情報となる変更を加えることを特徴とする。
【００１３】
上記第１目的を達成するために、本発明による情報埋込み方法の更に他の形態は、透かし情報の埋め込み対象となるコンテンツ情報が備える第１の性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記コンテンツ情報が備える第２の性質に依存して、該コンテンツ情報の変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記コンテンツ情報の状態を変更することを特徴とする。
本発明によれば、上記複数の規則のそれぞれを上記コンテンツ情報の１つの性質に応じて変更個所と変更程度を規定する内容とし、上記コンテンツ情報の別の性質に依存して選択された一つの規則を適用することによって、上記コンテンツ情報が備える複数の性質を考慮した形で変更個所と変更程度を決定できる。
【００１４】
上記第２の目的を達成するため、本発明は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームから検出された静止画的性質に依存して変更個所と変更程度を求める第１ステップと、上記処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、変更個所と変更程度を求める第２ステップと、上記第２ステップで求めた変更個所と変更程度の中から、上記静止画フレームに適用する変更個所と変更程度の組を選択する第３ステップとを有し、上記選択された変更箇所と変更程度に従って、上記処理対象となる静止画フレームに透かし情報となる画素の変更を加えることを特徴とする。
【００１５】
上記第２の目的を達成するため、本発明の他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、上記各静止画フレームが備える静止画的性質に依存して変更個所と変更程度とを求める第１ステップと、上記静止画フレーム間の関係から求まる動画的性質に依存して、上記第１ステップで求めた変更個所と変更程度の少なくとも一部を修正する第２ステップとを有し、上記修正された変更箇所と変更程度に従って、上記静止画フレームに透かし情報となる画素変更を加えることを特徴とする。
【００１６】
上記第２の目的を達成するため、本発明の更に他の形態は、複数の静止画フレームから構成される動画データの一部に変更を加えることによって透かし情報を埋め込む情報埋込み方法において、処理対象となる静止画フレームと他の１つの静止画フレームに含まれる画像間の関係から検出された動画的性質に依存して、予め用意された複数の規則のうちの１つを選択する第１ステップと、上記処理対象となる静止画フレームから検出される静止画的性質に依存して、該静止画フレームにおける変更箇所候補を求める第２ステップと、上記変更箇所候補の中から上記第１ステップで選択された規則に基いて少なくとも１つの変更箇所を選択する第３ステップとを有し、上記選択された変更箇所で上記静止画フレームの画素状態を変更することを特徴とする。
【００１７】
実際の応用においては、上記各静止画フレームを複数の画像ブロックに分割し、各画像ブロック毎に上述した一連の処理ステップする。また、静止画的性質としては、例えば、各静止画フレーム内あるいは各画像ブロック内の輝度の変動を考慮すればよい。動画的性質としては、画像の動き量、すなわち静止画フレーム間の動きベクトルの大きさを考慮すればよい。
【００１８】
本発明による情報埋め込み装置は、上述した各ステップをプログラム処理によって実行するプロセッサと、処理対象となるコンテンツ情報、その他のデータを格納するための記憶装置とによって構成される。その具体的な構成は、以下に説明する実施例によって一層明確になると思われる。
【００１９】
【発明の実施の形態】
本発明の第１の実施例を図１〜図８を参照して説明する。
本実施例では、コンテンツ情報として動画を考える。動画データは時系列的な複数の静止画フレームから構成されており、各静止画フレームの画素の一部に変更を加えることによって、動画に透かし情報を埋め込むことができる。以下に述べる実施例では、各静止画フレームから選ばれた特定の画素に対して、人間の目に違和感を与えない範囲で輝度を変更する。
【００２０】
図１は、本発明による透かし情報の埋め込みを実施するためのハードウェア構成を示し、１は、透かし情報の埋め込み対象となる動画データ、透かし情報、後述する各種の規則等のデータを入力し、透かし情報の埋め込まれた動画像を出力するための入出力装置、２は中央処理装置（プロセッサ）、３は、上記入出力装置から入力された動画データや透かし情報が埋め込まれた動画データを蓄積するための記憶装置を示す。上記記憶装置３は、透かし情報の埋め込み処理に必要な動画データ以外に、中央処理装置が利用する各種データ、規則、プログラム等の蓄積にも利用される。実際の応用においては、プログラムや計算機データを蓄積するための記憶装置は、大きな記憶容量を要する画像蓄積用の記憶装置とは別に用意されるが、ここでは、簡単化のために１つの記憶装置として示してある。
【００２１】
中央処理装置２は、動画を構成する個々の静止画フレームについて、時間軸上で所定フレーム遅れて現れる後続フレームと比較することによって被写体の動き（動画としての性質）を検出し、各フレームの画像が備える静止画としての性質と、上記動き検出で得られた動画的性質の両方を反映させて、透かし情報の埋め込み位置となる画素の選択と画素値の変更量とを決定する。
【００２２】
図２は、上記中央処理装置２が実行するプログラム動作を通して実現される本発明の電子透かし情報埋め込みの第１実施例を示す機能ブロック図である。
機能ブロック２０〜２５は上記中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３５は記憶装置３内に形成されるデータファイルを示しており、例えば、３１は、複数の静止画フレームからなる動画データが格納される動画ファイル、３２は、図５に例示する複数の規則を記憶するための規則ファイル、３３は、上記各静止画フレームを分割して得られる所定サイズの画像ブロック毎に適用すべき規則を記憶するための使用規則ファイル、３４は、動画を構成する各静止画像に埋め込むべき透かし情報を記憶するための挿入情報ファイル、３５は、透かし情報が埋め込まれた動画データを格納するための情報挿入動画ファイルである。
【００２３】
また、２１は、ユーザによって入出力装置１から入力された動画データ、規則データ、透かし情報をそれぞれ上記ファイル３１、３２、３４に書き込むと共に、ユーザからの要求に応じて、情報挿入画像ファイル３５から透かし情報埋め込み済みの動画データを読み出し、これを入出力装置１の表示画面に出力するための入出力ルーチンであり、２０は、上記入出力ルーチンと、動画を構成する各静止画フレーム毎に、後述する静止画間動き検出ルーチン２２、規則選択ルーチン２３、変更個所決定ルーチン２４および画素状態の変更ルーチン２５を順次に起動して透かし情報の埋め込みを実現する制御ルーチンを示す。
【００２４】
静止画間動き検出ルーチン２２は、透かし情報の埋め込み対象として着目中の各静止画（以下、着目フレームという）について、時間軸上でKフレーム後に現れる静止画（以下、参照フレームという）と比較し、上記着目フレーム中に含まれる被写体の動きを検出する。この動き検出処理は、図３で詳述するように、着目フレームを所定サイズ、例えば、１６画素×８画素（＝１２８画素）の複数の画像ブロックに分割し、各画像ブロック毎に参照ブロックとの間の動きベクトルを求める。着目フレームと参照フレームとの間のフレーム間隔を示すパラメータＫの値（例えば、K＝１０）は、本システムの利用者が任意に指定できる。
【００２５】
規則選択ルーチン２３は、静止画間動き検出ルーチン２２から、各画像ブロック毎の動きベクトルを受け取り、この動きベクトルの大きさに応じて、規則集合ファイル３２に記憶してある複数の規則の中の一つを選択し、ブロック別適用規則として使用規則ファイル３３に記憶する。
【００２６】
変更個所決定ルーチン２４は、図７で詳述するように、着目フレームに含まれる静止画像を分析し、各画像ブロック毎の変更容易度を求めた後、上記変更容易度と使用規則ファイル３３から取り出した適用規則とに従って、着目フレーム内の各画像ブロック毎の輝度変更個所（画素）と変更量とを決定する。
変更ルーチン２５は、上記変更個所決定ルーチン２４から着目フレームの各画像ブロック毎の輝度変更個所（画素）と変更量を受け、挿入情報ファイル３４で指定された透かし情報に従って、上記画像ブロック内の画素の状態（輝度）を変更する。
【００２７】
例えば、上記動画を構成する各静止画が７２０×４８０画素からなる場合、これを１６×８画素単位に分割すると、１フレームが４５×６０（＝２７００）個のブロックに分割される。上記フレームに埋め込む透かし情報を６ビット情報（数値０〜６３で表される６４種類の文字コード）とした場合、各ビットに４５０個のブロックを割り当てることができる。
１つのフレームを構成する上記２７００個のブロックをＮ個の文字コードと対応したＮグループに分け、各グループ内において、２７００／Ｎ個のブロックを上記６ビット情報に割り当てると、１ビット当り４５０／Ｎ個のブロックを割り当てることができる。
【００２８】
透かし情報を構成するビットパターンの各ビットを静止画フレーム内の互いに離散した位置関係にある複数の画像ブロックと予め対応付けておき、例えば、あるビット位置にビット情報“１”を書き込む場合は、上記ビット位置と対応した複数の画像ブロックにおいて、上記変更箇所決定ルーチン２４が指定する画素位置で輝度を指定量だけ明るくし、ビット情報“０”を書きこむ場合は、上記決定ルーチン２４が指定する画素位置で輝度を指定量だけ暗くすることによって、各フレームにＮ個の文字コードを透かし情報として埋め込むことができる。
フレーム内の画像の状態によっては、輝度の変更が許されないブロックもでてくるが、各ビットにフレーム内で互いに離散した位置関係にある複数の画像ブロックを割り当てておけば、確率的に少なくとも１つのブロックで輝度変更が可能となり、透かし情報を確実に挿入することができる。
【００２９】
上述した画像ブロックとビット情報との対応関係は、透かし情報が与えられた時点で予めテーブル化して挿入情報ファイル３５に記憶しておき、変更ルーチン２５が、上記挿入情報ファイル３５を参照することによって各ブロック毎の書き込み情報を判断できるようにしておく。
【００３０】
尚、透かし情報は、上記６ビット情報に代えて８ビット情報を適用してもよい。また、上述したように各ビットと画像ブロックとを対応付ける代わりに、例えば、上記６ビット情報で表記できる６４種類の各文字コードと画像ブロックとを対応づけておき、文字コードの有無によって対応する画像ブロックの画素状態を変化させるようにしてもよい。各画素の輝度状態が、例えば、０〜１２７の１２８段階ある場合、変更箇所として指定された各画素について、輝度の段階を指定量だけ変更する代わりに、各画素の輝度変更は１段階に固定して、輝度変更する画素数を上記指定量に応じて可変にするようにしてもよい。
【００３１】
図３は、静止画間動き検出ルーチン２２の詳細フローチャートを示す。
ここで必要とする動き検出は、例えば、日経BP出版センター発行の「ディジタル画像圧縮の基礎」、pp.44-47、１９９６年に示される公知の技術により実現できる。動き検出の結果は、動きベクトルと被写体画像の差分の最小二乗和とで表され、これらの両方の値をしようすることによって、画像の動きに応じた精密な情報挿入制御が可能となるが、説明を簡単化するために、ここでは、動き検出結果を動きベクトルで代表させ、最小二乗和については省略した説明とする。
【００３２】
図に示すように、先ず、動画ファイル３１から着目フレームよりKフレームだけ後に位置した後フレームを参照フレームとして取り出し（ステップ２２１）、着目フレームを１６画素×８画素のブロックに分割する（ステップ２２２）。上記着目フレームの最初のブロックに着目し（ステップ２２３）、着目ブロックと上記後フレームとの間の動きを検出し、求めた動きベクトルを規則選択ルーチン２３に渡す（ステップ２２４）。次に、着目フレームの全ブロックを処理したか否かを判定し（ステップ２２５）し、全ブロックを処理済みの場合はこのルーチンを終了し、そうでない場合は、次のブロックを着目ブロックにして（ステップ２２６）、動きベクトル検出ステップ２２４を繰り返す。
【００３３】
上記静止画間動き検出の結果、図４に示すように、着目フレームの各ブロック２２０ａと対応して動きベクトル２２０ｂを示す動きベクトルテーブル２２０が形成され、その内容が検出ルーチン２２から規則選択ルーチン２３に与えられることになる。
【００３４】
規則選択ルーチン２３は、例えば、図５に示すように、動きベクトルの大きさに応じて選択すべき透かし強度指定テーブルを特定する複数の判定基準Ｒ１、Ｒ２、Ｒ３．．．を有し、着目フレーム内の各ブロック毎に、上記動き検出ルーチン２２で検出された動きベクトル量（絶対値）と対応した規則を上記規則集合ファイル３２から取り出し、画像ブロックと対応させて使用規則ファイル２３に記憶する。
【００３５】
規則集合ファイル３２に用意される規則（強度指定テーブル）３２０は、例えば、図６に示すように、静止画におけるブロックの変更容易度３２０ａとブロック内変更率３２０ｂとの関係を定義している。上記変更容易度３２０ａは、各ブロック毎にどの程度まで輝度変更しても目立たないかを示しており、ここでは、各ブロックで許容される輝度変更量の１画素当りの平均値、すなわち、１画素当り前述の１２８段階のうちの何段階分の輝度変更が許容されるかで表す。また、上記ブロック内変更率３２０ｂは、１ブロック内の何％の画素（ピクセル）を変更するかを表す。
後述するように、静止画フレームの１つのブロックで状態変更可能な画素候補が複数見つかった場合、これら複数個の画素候補の中から上記変更率で指定された個数の画素が輝度変更の対象画素として選択される。従って、上記変更率は、変更画素の位置とブロック内での画素の変更程度とを同時に指定している。
【００３６】
判定基準Ｒ１、Ｒ２、Ｒ３．．．は、動きベクトルが大きいブロックほど、同一の容易度に対してブロック内変更率の高い規則を適用するように、動きベクトルと規則（強度指定テーブル３２０）との関係を記述している。
【００３７】
図７は、変更個所決定ルーチン２４の詳細フローチャートを示す。
先ず、着目フレームの各ブロックについて、例えば、次の手順で、変更容易度を求める（ステップ２４１）。各着目フレームについて、例えば、電子情報通信学会論文誌、Ｄ−２、第Ｊ７９−Ｄ−２巻、第８号、第1347−1353頁に記載された特性をもつ画像フィルタリングによってし、人間の目には知覚できない、コンテンツの参照に妨害にならない範囲内でのノイズ除去（画素値変更）処理を施し、フィルタリング後の画像と元の画像とを差をとることによって、変更量を示す画像データ（以下、差画像フレームという）を生成する。上記フィルタリングは、コンテンツの参照に妨害にならない範囲内での画像処理であるから、上記差画像フレームは、着目フレームに対して許容される画素値変更の候補位置と変更量とを示している。そこで、上記差画像フレームを着目フレームと同様に複数のブロックに分割し、各ブロック毎に画素値（輝度の変更量）の累積値を求め、これをブロック画素数で割ることによって、各ブロックの１画素当りの平均的な輝度変更量、すなわち、図６に示した変更容易度３２０ａを求める。
【００３８】
次に、上記差フレームの各ブロックにおいて、画素値の大きい画素（ピクセル）から順に画素を選択することによってピクセルの変更容易順序を求める（ステップ２４２）。ブロック内の二つの画素ｐ１、ｐ２に対して同一の輝度量で変更を加えた場合、もし、ｐ１の方がｐ２よりも変更容易順序が高ければ、ｐ１の方がｐ２よりも輝度変更が目立たない。
【００３９】
この状態で、着目フレームの最初のブロックに着目して（ステップ２４３）、使用規則ファイル３３から上記着目ブロックと対応する規則（テーブル３２０）を読み出し、上記規則に従って、上記ステップ２４１で既に算出してある最初のブロックの変更容易度３２０ａと対応するブロック内変更率３２０ｂを求める（ステップ２４４）。これによって、上記着目ブロック内の１２８個のピクセルのうち何ピクセルを変更するかが決まる。次に、上記着目ブロックの１２８個のピクセルの中から、ステップ２４２で求めた変更容易順序の高いものから順に、上記ブロック内変更率３２０ｂで示された個数のピクセルを選択し、変更ルーチン２５に指示する（ステップ２４５）。この後、着目フレームの全ブロックについて処理済みか否かを判定し（ステップ２４６）、全ブロックを処理済みの場合にはこのルーチンを終了し、そうでない場合は、着目フレーム内の次のブロックを着目ブロックとし（ステップ２４７）、変更率決定ステップ２４４に戻る。
【００４０】
変更ルーチン２５では、挿入情報ファイル３４を参照して上記着目ブロックに書き込むべき透かし情報を特定し、上記着目ブロック内の１２８個のピクセルのうち、上記変更箇所決定ルーチン２４から指示されたピクセルについて、上記透かし情報に対応した輝度変更を行う。
上記実施例では、ピクセルの輝度の変更量を１段階に固定し、着目ブロック内での輝度変更ピクセルの個数を変えることにより、変更量を制御している。
しかしながら、前述したように、各々のピクセルの輝度変更量を可変御することも可能である。
【００４１】
上述したように、本実施例では、動画を構成する静止画フレーム間の関係を示す動きベクトル（動画的性質）に依存して適用規則を選択し、静止画フレーム内の各ブロックに含まれる被写体の状態（静止画的性質）に依存して決まる輝度変更可能なピクセル群の中から、輝度変更すべきピクセルを上記適用規則に基づいて決定するようにしている。従って、本実施例によれば、透かし情報を挿入するための画素状態の変更位置および変更量の決定に際して、動画と静止画の両方の性質を反映させており、画質劣化を抑制し情報の耐性を向上した透かし情報の埋め込みが可能となる。
【００４２】
図８は、図６に示した規則３２０の変形例を示す。
この例では、ブロックの変更容易度３２０ａと対応して、ブロック内変更率３２０ｂの他に、ピクセル毎の輝度変更量３２０ｃを定義しておくことによって、輝度変更が目立たない動きのあるフレームでは、変更ピクセル数を増やすだけでなく、個々のピクセルの変更量も増加した形で透かし情報の埋め込めるようにしたものである。
【００４３】
図９は、本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図である。
機能ブロック２０〜２８は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２で説明した第１実施例と共通する要素には同一の符号を付してある。第１実施例では、規則集合ファイル３２に複数の規則を用意し、着目フレームの各ブロック毎に、動きベクトルに応じて適用規則を選択するようにしていたが、本実施例では、全てのブロックに対して予め使用規則ファイル３３に格納しておいた１つの規則３２０を適用する。
【００４４】
変更率１の決定ルーチン２６は、静止画間の動き検出ルーチン２２から受け取った着目フレーム内の各ブロックの動きベクトルの大きさに依存して、着目ブロック毎のブロック内変更率を決定し、その結果を変更率１ファイル３６Ａに記憶する。上記ブロック内変更率を決定は、動きベクトルが大きくなるに従って変更率が高くなるように、予め動きベクトルの大きさと変更率との関係を定義した変換テーブルを参照することによって実現できる。
【００４５】
静止画分析ルーチン２７は、図２で説明した変更個所と量の決定ルーチン２４と同様の処理によって各ブロックの変更容易度３２０ａを算出し、使用規則ファイル３３に用意された規則３２０に従って、着目ブロック内の変更率３２０ｂを決定し、その結果を変更率２ファイル３６Ｂに記憶する。
【００４６】
本実施例では、このように、同一の着目ブロックについて、動画的性質である動きベクトルに応じて決定した変更率１と、静止画的性質である変更容易度に応じて決定した変更率２のうちの一方を、変更率決定ルーチン２８によって選択する。変更率決定ルーチン２８は、例えば、輝度変更後の画質を優先するために、上記２つの変更率のうち値の小さい方を選択し、これを変更率ファイル３７に記憶する。もし、埋め込み後の透かし情報の耐性を優先したい場合は、上記２つの変更率のうち値の大きい方を選択すればよい。
【００４７】
変更個所決定ルーチン２４'は、第１実施例における変更箇所決定ルーチン２４と同様の方法で、着目ブロック内の輝度変更可能ピクセルを求め、使用規則ファイル３３の適用規則に代わって、上記変更率ファイル３７に設定された変更率を使用して、変更容易順序の高いピクセルから順に所定個数のピクセルを選択し、これを輝度変更の対象ピクセルとして変更ルーチン２５に通知する。
【００４８】
上述したように、第２の実施例は、動画的性質である動きベクトルによって決まる第１の変更率と、静止画的性質である画像状態によって決まる第２の変更率のうちの一方を選択的に適用することによって、画質劣化の抑制と情報の耐性を向上した透かし情報の埋め込みを可能としている。
【００４９】
図１０は、本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図である。
機能ブロック２０〜２９は中央処理装置２が実行する処理ルーチン（プログラム）、機能ブロック３１〜３７は記憶装置３内に形成されるデータファイルを示しており、図２、図９で説明した第１、第２実施例と共通する要素には同一の符号を付してある。
【００５０】
静止画分析ルーチン２７は、第２実施例と同様に、着目フレームの静止画的性質に基いて、各ブロック毎の変更率を決定し、変更率２ファイル３６Ｂに記憶する。変更率調整ルーチン２９は、静止画間動き検出ルーチン２２から受け取った各ブロック毎の動きベクトルに依存して、上記変更率２ファイル３６Ｂから読み出した変更率２の値を増減し、適用変更率として変更率ファイル３７に記憶する。変更箇所決定ルーチン２４'は、上記変更率ファイル３７に記憶された変更率を適用して、第２実施例と同様に輝度変更の対象ピクセルを決定し、これを変更ルーチン２５に通知する。
【００５１】
上記第３の実施例では、静止画的性質によって決まる変更率２を動画的性質である動きベクトルに応じて調整することによって、最終的な適用変更率を求め、輝度変更ピクセルを決定している。
【００５２】
以上の第１〜第３の実施例では、動画を対象とし、動画的性質と静止画的性質の両方を反映して、透かし情報の埋め込み位置を決定する情報の埋込み方法について説明したが、本発明の技術思想は、上記実施例に限定されるものではなく、例えば、静止画を対象とした透かし情報の埋め込みにおける輝度の変動と色の変動の如く、コンテンツが備える異なる２つの性質を反映して情報の埋め込み位置を決定する他の実施例、音声に代表される画像以外の他のコンテンツにも応用可能である。
また、上述した各実施例では、本発明の方法が中央処理装置２によるソフトウェア（ルーチン２０〜２９）の実行によって実現されているが、これらのソフトウエアがもつ機能の一部は専用化されたハードウェアで実現してもよい。
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、コンテンツが備える複数の性質を反映して、状態の変更個所、および／または変更程度を最適化することによって、コンテンツ価値（画質、音質など）の劣化を抑制し、埋め込み情報の耐久性を高めた透かし情報の埋め込みが可能となる。また、本発明を時系列的に配列された複数の静止画フレームから構成される動画データに適用した場合、画素状態の変更個所と変更量を最適化できるため、画質の劣化を表面化することなく、耐久性のある透かし情報の埋め込みが可能となる。
【図面の簡単な説明】
【図１】本発明の電子透かし情報埋め込みを実施するためのハードウェア構成図。
【図２】本発明による電子透かし情報埋め込みの第１の実施例を示す機能ブロック図。
【図３】図２における静止画間動き検出ルーチン２２の詳細を示すフローチャート。
【図４】静止画間動き検出ルーチン２２によるブロック毎の動き検出の結果を示す図。
【図５】図２における規則選択ルーチン２３が備える規則選択の判定基準を示す図。
【図６】情報埋込み規則の１例を示す図。
【図７】図２における変更箇所決定ルーチン２４の詳細を示すフローチャート。
【図８】情報埋込み規則の他の例を示す図。
【図９】本発明による電子透かし情報埋め込みの第２の実施例を示す機能ブロック図。
【図１０】本発明による電子透かし情報埋め込みの第３の実施例を示す機能ブロック図。
【符号の説明】
１：入出力装置、２：中央処理装置、３：記憶装置、
２０：制御ルーチン、２１：入出力ルーチン、２２：静止画間動き検出ルーチン、２３：規則選択ルーチン、２４：変更箇所決定ルーチン、２５：変更ルーチン、２６：変更率１の決定ルーチン、２７：静止画分析ルーチン、
２８：変更率決定ルーチン、２９：変更率調整ルーチン、３１：動画ファイル、３２：規則集合ファイル、３３：使用規則ファイル、３４：挿入情報ファイル、３５：情報挿入動画ファイル、３６：変更率ファイル、
３７：適用変更率ファイル、２２０：動きベクトル記憶テーブル、
３２０：変更率決定規則
【図１】
0003698901.tif 000002
【図２】
0003698901.tif 000003
【図３】
0003698901.tif 000004
【図４】
0003698901.tif 000005
【図５】
0003698901.tif 000006
【図６】
0003698901.tif 000007
【図７】
0003698901.tif 000008
【図８】
0003698901.tif 000009
【図９】
0003698901.tif 000010
【図１０】
0003698901.tif 000011