(57)【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記画像データの動きを判定する動き判定手段と、
前記動き判定手段において、動き有りと判定された画像データを選択する選択手段と、
前記選択された画像データに基づいた情報データに透かし情報を重畳する重畳手段とを有し、
前記情報データは、直交変換され、量子化された画像データ、または、動きベクトルデータであり、
前記重畳手段は、前記動き判定手段で、動き有りと判定されなかった画像データに対しては、透かし情報を重畳しないことを特徴とする画像処理装置。
【請求項２】
前記情報データは、前記画像データを所定画素数で構成されたブロック単位で直交変換された低周波成分の画像データであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動き判定手段は、前記画像データの動き判定を所定画素数で構成されたブロック単位で行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記重畳手段は、動き有りのブロックが所定数以上あるフレームに対して前記透かし情報を重畳することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記入力手段によって入力される画像データは、直交変換、量子化、可変長符号化された画像データであり、前記入力手段は、前記可変長符号化された画像データを可変長復号化する可変長復号化手段を有し、前記重畳手段は、前記可変長復号化手段によって可変長復号化された画像データに対して前記透かし情報を重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重畳手段によって前記透かし情報が重畳された画像データを可変長符号化する可変長符号化手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
画像データを入力する入力工程と、
前記画像データの動きを判定する動き判定工程と、
前記動き判定工程において、動き有りと判定された画像データを選択する選択工程と、
前記選択された画像データに基づいた情報データに透かし情報を重畳する重畳工程とを有し、
前記情報データは、直交変換され、量子化された画像データ、または、動きベクトルデータであり、
前記重畳工程は、前記動き判定工程で、動き有りと判定されなかった画像データに対しては、透かし情報を重畳しないことを特徴とする画像処理方法。
【請求項８】
前記情報データは、前記画像データを所定画素数で構成されたブロック単位で直交変換された低周波成分の画像データであることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
請求項７又は８に記載の画像処理方法の各工程をコンピュータに実行させるためのコンピュータプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データに透かし情報を埋め込む画像処理装置、画像処理方法及び画像処理プログラムが記憶されたコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来からの画像記録／再生装置としては、アナログ映像信号を磁気テープに記録するビデオテープレコーダがあるが、複写を繰り返すと画像劣化もあり、不正利用などの著作権問題もそれほどクローズアップされてこなかった。
これに対して、映像信号をデジタル化し、時には圧縮符号化するなどを施したデジタル画像データは、取り扱いが容易であり、磁気テープに記録するデジタルＶＴＲに記録できるばかりでなく、コンピュータの記憶装置に記憶したり、通信回線を介して伝送できたりする。このデジタル化された画像データは、記録したり伝送したりしても画像の劣化がほとんどないため、不正流用が懸念されている。
【０００３】
この不正流用を防ぐ方法として、画像データの著作権者、発信元、管理番号、流通経路等々のＩＤ情報データとしてのデジタル透かし（ウォーターマーキング）を画像に入れることが知られている。デジタル透かしとは、画像を見るユーザーからは解らないように、こっそりと透かし情報を画像に混入させ、不正流用された画像の流出元や径路を、後から確認できるようにするものである。この場合、透かし情報を入れることによる画像の劣化を極力抑えることと、画像から透かしだけを抜き取ることができないように混入すること、また透かし情報を入れることによってデータ量が大幅に増加するのを防ぐこと等が重要になってくる。
【０００４】
動画像にデジタル透かしを入れる場合は、フレーム毎に透かし情報を混入するとそのデータ量が膨大になるため、一部のフレームのみに入れる方式が提案されている。ただし、あまり透かしを入れるフレーム間隔を広げすぎると、動画像の一部を不正流用された場合の抑止効果が薄れてしまう。
【０００５】
【発明が解決しようとする課題】
上述のように、動画像の一部のフレームにデジタル透かしを入れる場合、数フレームに渡って画像が変化しない部分にデジタル透かしを入れると、前後フレームと比較することで、画像に変化が無いにも関わらずデータが変化しているために、デジタル透かしが入っていることが明らかになってしまうばかりか、デジタル透かしの位置までも明らかになってしまう問題があった。それ故に、そのフレームだけを抜くなど、透かしだけを抜き取ることも容易になってしまう。
【０００６】
上述したような背景から本願発明の一つの目的は、透かし情報の有無やその場所が明らかになるのを防ぐとともに、透かし情報を入れることによる画像の劣化及びデータ量の増加を抑え、かつ、埋め込まれた透かし情報に対する攻撃耐性を有する画像処理装置、画像処理方法及びその画像処理プログラムが記憶されたコンピュータ読み取り可能な記録媒体を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを入力する入力手段と、前記画像データの動きを判定する動き判定手段と、前記動き判定手段において、動き有りと判定された画像データを選択する選択手段と、前記選択された画像データに基づいた情報データに透かし情報を重畳する重畳手段とを有し、前記情報データは、直交変換され、量子化された画像データ、または、動きベクトルデータであり、前記重畳手段は、前記動き判定手段で、動き有りと判定されなかった画像データに対しては、透かし情報を重畳しないことを特徴とする。
【０００８】
また、本発明の画像処理方法は、画像データを入力する入力工程と、前記画像データの動きを判定する動き判定工程と、前記動き判定工程において、動き有りと判定された画像データを選択する選択工程と、前記選択された画像データに基づいた情報データに透かし情報を重畳する重畳工程とを有し、前記情報データは、直交変換され、量子化された画像データ、または、動きベクトルデータであり、前記重畳工程は、前記動き判定工程で、動き有りと判定されなかった画像データに対しては、透かし情報を重畳しないことを特徴とする。
【０００９】
また、本発明のコンピュータ読み取り可能な記憶媒体は、本発明の画像処理方法の各工程をコンピュータに実行させるためのコンピュータプログラムを格納することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の第１の実施例を説明する。
図１は、本発明を動画像を記録再生可能なビデオカメラに適用した場合の第１の実施例を構成を示すブロック図である。
図１において、撮影レンズ１００を通してＣＣＤ（charge coupled device）等の撮像素子１０１に結像された被写体像は電気信号に変換され、カメラ信号処理回路１０２で所定の信号処理を行うことで、デジタル画像データに変換される。前記デジタル画像データは、圧縮符号化回路１０３で後述する圧縮符号化処理されて、記録再生回路１０４により記録媒体１０５に記録される。尚、記録媒体１０５としてはハードディスク、メモリカード、ビデオテープ等を使用すればよい。
【００１１】
透かし情報発生回路１０６は、原著作権者、編集隣接著作権者、及び利用者情報等の利権関係とか、発信元や流通経路を明確にするための透かし情報を発生する回路であり、これらの透かし情報は操作部１０７を操作することにより作成することができる。
透かし情報発生回路１０６によって発生された透かし情報は、圧縮符号化回路１０３により符号化処理中に画像データに埋め込まれる。この処理の詳細は後述する。
【００１２】
記録媒体１０５に記録された符号化された画像データは、記録再生回路１０４により再生され、復号化回路１０８によって復号処理される。復号処理された画像データは透かし情報分離回路１０９に入力される。
透かし情報分離回路１０９では、復号化回路１０８から出力された画像データから透かし情報を分離処理する。透かし情報分離回路１０９で処理された画像データは表示器１１０へ出力され、表示される。また、透かし情報分離回路１０９は、分離された透かし情報を操作部１０７に指示に応じて表示器１１０へ出力する。
【００１３】
つまり、透かし情報分離回路１０９では、透かし情報すべてを表示器１１０へ供給して表示させることもできるし、操作部１０７の指示により透かし情報の中で必要な情報（たとえば、著作者情報）だけを表示器１１０へ供給して表示させることもできる。更に、透かし情報を表示器１１０へ全く供給しないようにし、透かし情報を表示器１１０に表示させないこともできる。
表示器１１０では、透かし情報分離回路１０９から透かし情報が供給された時は、前記透かし情報を画像データと共にモニタに表示する。
【００１４】
ここで、表示器１１０の表示例を図２に示す。
図２（ａ）は、文字情報で埋め込まれた透かし情報のうち、原著作者情報をオンスクリーン表示した例である。この例では、文字情報なので、表示器１１０内のキャラクタジェネレータを用いて表示文字を作り出している。
図２（ｂ）は、透かし情報が図２（ａ）のように文字情報ではなく、画像情報として埋め込まれていた場合で、この例では原著作者情報を画像に重ねて表示した例である。
図２（ｃ）は、この映像が、どの流通経路で配布されたかを表示する例である。この例では、ＴＶのオンエアで配布されたことを表している。
図２（ｄ）は、透かし情報をオフにした時の表示例である。
【００１５】
次に、圧縮符号化回路１０３の詳細を図３を参照しながら説明する。図３は、第１の実施例の圧縮符号化回路１０３の詳細ブロック図である。
図３において、カメラ信号処理回路１０２から圧縮符号化回路１０３に入力された画像データは、ブロック分割回路２０１により水平８画素、垂直８画素で構成されるブロックに分割され、ブロック化された画像データは動き検出回路２０６と加算器２０２とに供給される。
【００１６】
動き検出回路２０６では、ブロック単位で画像データの動きを判定する。図４に示すように、現在のフレーム（ｋフレーム）とひとつ前のフレーム（ｋ−１フレーム）とで、ブロックデータの比較を行ってブロック単位での画像データの動きを判定している。ここでは、ブロック単位で現フレームと前フレームとの差分値を計算し、その差分値に応じて現ブロックの動きを判定している。つまり、差分値が大きければ動き有りと判定し、差分値が小さければ動き無しと判定する。
【００１７】
動き検出回路２０６で、動き有りと判定された図５に示すようなブロックは、ブロック選択回路２０７で選択される。そして、その動き有りと判定されたブロックに対して、透かし情報発生回路１０６で発生された透かし情報が、加算器２０２を介して画像データに重畳される。
但し、ブロック選択回路２０７は、フレームカウンタ２０８に従って所定のフレーム間隔を目安に、かつ所定数のブロックに動きが検出されたフレームに対してのみ透かし情報を埋め込むように制御している。すべてのフレームの画像データに透かし情報を重畳するのではなく、固定のフレーム間隔で、或いはランダムなフレーム間隔で透かし情報を動きのあるブロックの画像データに重畳する。
【００１８】
ここで、第１の実施例での画像データに透かし情報を重畳する方法について述べる。
透かし情報を画像データに埋め込む際は、画像の冗長度（ノイズマージン）を考慮し、コード化された透かし情報を埋め込む。
本実施例では、動きの有るブロック毎に透かし情報の１ビットを埋め込む。複数ブロックに渡って埋め込むことにより、全体で複数ビットの透かし情報を埋め込む。また、透かし情報の埋め込み順は、透かし情報を復号するために所定の規則を決めておかなければならないが、本実施例では画面の左上から動きの有るブロックに対して透かし情報を順次埋め込むようにする。図５に透かし情報を埋め込む順番の例を示し、ブロックに付された番号が透かし情報を埋め込む順番を示している。
【００１９】
図３に戻ると、ＤＣＴ回路２０３では、加算器２０２から出力された画像データを前記ブロック単位でＤＣＴ（Discrete Cosine Transform）変換を行う。尚、ＤＣＴ回路２０３では、フレーム単位でのＤＣＴ変換モード（８×８画素ブロックでのＤＣＴ変換）と、フィールド単位でのＤＣＴ変換モード（８×８画素ブロックを第１のフィールドと第２のフィールドのおのおの４×８ブロックに分割し、ＤＣＴ変換する）とを有し、動き検出回路２０６の動き結果に基づいて、これらモードを切り換えている。つまり、動き有りと判定されたときはフィールド変換モード、それ以外はフレーム変換モードを選択して直交変換を行う。
【００２０】
ＤＣＴ回路２０３で変換された画像データは、量子化回路２０４により量子化され、可変長符号化回路２０５によってハフマン符号化等の可変長符号化を行い、データ圧縮される。このようにして圧縮符号化処理されたデータは、前述したように、記録再生回路１０４により記録媒体１０５に記録される。
尚、上記透かし情報としては、情報を符号化した符号透かし情報であっても良いし、輝度情報や色情報で表現される画像透かし信号でも良い。
【００２１】
本実施例では、動きの有る画像の空間の一部に透かし情報を埋め込むことで、復号化した画像では、透かし情報はほとんど検出できなくなるが、符号化された画像には透かし情報が残り続けるという効果を有する。
また、動画像のうち、動きが検出された部分にのみ透かし情報を埋め込むので、データ量の増加を防ぐと共に、静止した画像には透かし情報が入っていないため、前後の画像を比較してデータの変化により透かし情報を抽出するようなことはできない。したがって、第三者が透かしが入っている事実や場所を突き止めることが不可能となる効果があり、動画像の切り出しや改ざんをされても、デジタル透かし情報を抜き取ることができないため、動画像の不正流用の抑止効果があるばかりでなく、動画像の不正使用を突き止めることが可能になる効果がある。さらに、透かし情報を動きのある部分のみに入れることで、透かし情報の埋め込みよる画像劣化を視覚上目立たなくするという効果も有する。
【００２２】
以下、図面を参照しながら第２の実施例を説明する。
第２の実施例は、全体の構成は第１の実施例と同様であり、図１を用いてすでに説明した通りである。但し、圧縮符号化回路１０３の内部構成が第１の実施例と異なり、以下では、圧縮符号化回路１０３の構成及び処理を説明する。
図６は、第２の実施例の圧縮符号化回路１０３の詳細ブロック図である。
図６において、圧縮符号化回路１０３に入力された画像データは、ブロック分割回路３０１により水平８画素、垂直８画素で構成されるブロックに分割され、ブロック化された画像データは動き検出回路３０６とＤＣＴ回路３０２とに供給される。
【００２３】
動き検出回路３０６では、第１の実施例の動き検出回路２０６と同様な処理によってブロック毎の画像の動きを判定する。
ＤＣＴ回路３０２では、前記ブロック単位でＤＣＴ係数に変換され、量子化回路３０３で量子化される。また、ＤＣＴ回路３０２では、第１の実施例と同様にフレーム変換モードとフィールド変換モードとを有し、動き検出回路３０６の出力に応じてモード選択される。
【００２４】
動き検出回路３０６で、動き有りと判断された図５に示すようなブロックは、ブロック選択回路３０７で選択される。そして、その動き有りのブロックに対して、透かし情報発生回路１０６で発生された透かし情報が、加算器３０４を介して量子化された画像データに重畳される。但し、ブロック選択回路３０７は、第１の実施例と同様にフレームカウンタ３０８に従って所定のフレーム間隔を目安に、かつ所定数のブロックに動きが検出されたフレームに対してのみ透かし情報を埋め込むように制御している。すべてのフレームの画像データに透かし情報を重畳するのではなく、固定のフレーム間隔で、或いはランダムなフレーム間隔で透かし情報を動きのあるブロックの画像データに重畳する。
【００２５】
可変長符号化回路３０５では、加算器３０４から出力された画像データをハフマン符号化等の可変長符号化を行い、データ圧縮した上で、記録再生回路１０４へ出力する。
ここで、第２の実施例での画像データに透かし情報を重畳する方法について述べる。
透かし情報を画像データに埋め込む際は、画像の冗長度（ノイズマージン）を考慮し、コード化された透かし情報を埋め込む。
【００２６】
本実施例では、動きの有るブロック毎に透かし情報の１ビットを埋め込む。本実施例ではＤＣＴ変換された、交流成分の低周波数成分のデータに透かし情報を埋め込む。これは、後段の可変長符号化回路３０５で用いられるハフマン符号の符号化効率や拡大縮小変換など、あらゆる攻撃に対して耐性を持たせるためである。
【００２７】
上述のように透かし情報を複数ブロックに渡って埋め込むことにより、全体で複数ビットの透かし情報を埋め込む。また、透かし情報の埋め込み順は、透かし情報を復号するために所定の規則を決めておかなければならないが、本実施例では画面の左上から動きの有るブロックに対して透かし情報を順次埋め込むようにする。図５に透かし情報を埋め込む順番の例を示し、図に示されたブロック番号が透かし情報を埋め込む順番を示している。
【００２８】
本実施例は、第１の実施例とは異なり、ＤＣＴ変換後の空間周波数成分に、動きの有るブロックに対して透かし情報を埋め込むもので、第１の実施例よりも攻撃に対する耐性に優れる。尚、本実施例では周波数成分に変換する方式としてＤＣＴ変換を用いたが、それに限るものではなくＦＦＴ（fast fourier transform）を利用して周波数成分に変換しても良い。
【００２９】
また、第１の実施例と同様に、動きの有る画像の周波数空間の一部に透かし情報を埋め込むことで、デコードした画像では、透かし情報はほとんど検出できなくなるが、符号化された画像には透かし情報が残り続けるという効果を有する。また、動画像のうち、動きが検出された部分にのみ透かし情報を埋め込むので、データ量の増加を防ぐと共に、静止した画像には透かし情報が入っていないため、前後の画像を比較してデータの変化により透かし情報を抽出するようなことはできない。したがって、第三者が透かしが入っている事実や場所を突き止めることが不可能となる効果があり、動画像の切り出しや改ざんをされても、デジタル透かし情報を抜き取ることができないため、動画像の不正流用の抑止効果があるばかりでなく、動画像の不正使用を突き止めることが可能になる効果がある。さらに、透かし情報を動きのある部分のみに入れることで、透かし情報の埋め込みよる画像劣化を視覚上目立たなくするという効果も有する。
【００３０】
以下、図面を参照しながら第３の実施例を説明する。
図７は、本発明の第３の実施例の画像処理装置の構成を示すブロック図である。
図７において、圧縮符号化された画像データが記録された記録媒体４０１から再生回路４０２によって読み出される。記録媒体４０１は、ハードディスク、ＲＡＭ、ビデオテープ、ＤＶＤ等で構成されている。
【００３１】
記録媒体４０１に記録されている画像データは図８のように構成された符号化回路を用いて符号化されたものである。
図８は、記録媒体４０１に記録された符号化された画像データを生成するための符号化回路の構成を示すブロック図である。
図８において、ブロック化回路５０１において入力された画像データを、水平８画素、垂直８画素で構成されたブロックに分割する。ブロック化回路５０１でブロック分割された画像データは、前記ブロック単位でＤＣＴ変換処理され、量子化回路５０３により量子化され、可変長符号化回路５０４によってハフマン符号化等の可変長符号化される。
【００３２】
図７の説明に戻り、再生回路４０２により再生された符号化された画像データは、透かし埋め込み回路４０３により、操作部４０７の指示に応じて透かし情報発生回路４０６から発生された透かし情報が埋め込まれる（詳細は後述する）。配信サーバ４０４は、透かし埋め込み回路４０３から出力された画像データをデジタルネットワーク４０５に流す。
【００３３】
次に、透かし埋め込み回路４０３の詳細を図９を用いて説明する。
図９は、透かし埋め込み回路４０３の詳細ブロック図である。
図９において、可変長復号化回路６０１では再生回路４０２から再生された符号化された画像データを可変長復号化する。可変長復号化回路６０１から出力される画像データは周波数成分の画像データとなる。可変長復号化回路６０１で復号化された周波数成分の画像データは、透かし情報を重畳するための加算器６０２及び逆量子化回路６０４へ出力される。
【００３４】
逆量子化回路６０４では、可変長復号化回路６０１で復号化された画像データの逆量子化を行う。その逆量子化された画像データは逆ＤＣＴ回路６０５により、前記ブロック単位で逆ＤＣＴ変換されて、周波数成分データから符号化前の画像データに戻される。
動き検出回路６０６では、逆ＤＣＴ回路６０５から出力された画像データを前記ブロック単位で動き判定する。動きの判定方法は、第１の実施例で説明した方法と同様である。
【００３５】
動き検出回路６０６で、動き有りと判定された図５に示すようなブロックは、ブロック選択回路６０７で選択され、その動き有りと判定されたブロックに対して透かし情報発生回路４０６で発生された透かし情報が加算器６０２で復号された画像データに重畳される。但し、ブロック選択回路６０７は、第１の実施例と同様にフレームカウンタ６０８に従って所定のフレーム間隔を目安に、かつ所定数のブロックに動きが検出されたフレームに対してのみ透かし情報を埋め込むように制御している。すべてのフレームの画像データに透かし情報を重畳するのではなく、固定のフレーム間隔で、或いはランダムなフレーム間隔で透かし情報を動きのあるブロックの画像データに重畳する。尚、透かし情報の埋め込み方法は、第２の実施例で説明した方法と同様である。
加算器６０２から出力された画像データは、可変長符号化回路６０３により再度可変長符号化され、配信サーバ４０４へ出力される。
【００３６】
本実施例では、符号化された画像データに、透かし情報（著作権情報等）を新たに埋め込んで、ネットワークを介して配信することができるので、配信される画像データの著作権を保護することが可能となる。
また、動きの有る画像の周波数空間の一部に透かし情報を埋め込むことで、復号化した画像では、透かし情報はほとんど検出できなくなるが、符号化された画像には透かし情報が残り続けるという効果を有する。
【００３７】
また、動画像のうち、動きが検出された部分にのみ透かし情報を埋め込むので、データ量の増加を防ぐと共に、静止した画像には透かし情報が入っていないため、前後の画像を比較してデータの変化により透かし情報を抽出するようなことはできない。したがって、第三者が透かしが入っている事実や場所を突き止めることが不可能となる効果があり、動画像の切り出しや改ざんをされても、デジタル透かし情報を抜き取ることができないため、動画像の不正流用の抑止効果があるばかりでなく、動画像の不正使用を突き止めることが可能になる効果がある。さらに、透かし情報を動きのある部分のみに入れることで、透かし情報の埋め込みよる画像劣化を視覚上目立たなくするという効果も有する。
【００３８】
以下、図面を参照しながら第４の実施例を説明する。
第４の実施例は、全体の構成は第１の実施例と同様であり、図１を用いてすでに説明した通りである。但し、圧縮符号化回路１０３の内部構成が第１の実施例と異なり、以下では、圧縮符号化回路１０３の構成及び処理を説明する。
図１０は、第４の実施例の圧縮符号化回路１０３の詳細ブロック図である。第４の実施例ではＭＰＥＧ-１或いはＭＰＥＧ-２に準拠した圧縮符号化を実行する。
ＭＰＥＧ-１、ＭＰＥＧ-２では、例えば図１１に示すような画面タイプの並びで符号化処理を行う。
【００３９】
ＭＰＥＧでは、画像にＩピクチャ、Ｐピクチャ、Ｂピクチャという３つのタイプを規定している。
Ｉピクチャ（図１１のｎ、ｎ＋６フレーム）は、フレーム内符号化（Intra符号化）を行う。Ｐピクチャ（図１１のｎ＋３フレーム）は、フレーム間順方向予測符号化を行う。例えば、ｎ＋３フレームはｎ＋６の画像を参照して動き補償符号化を行う。Ｂピクチャ（図１１のｎ＋１，ｎ＋２，ｎ＋４，ｎ＋５フレーム）は、双方向予測符号化を行う。Ｂピクチャは、前後のＩピクチャやＰピクチャを基に、動き補償符号化を行う。
本実施例では、Ｐピクチャに対して透かし情報を埋め込む様にした。以下ではＰピクチャの処理のみ説明する。尚、Ｂピクチャにも透かし情報を同様な処理で埋め込んでも当然良い。
【００４０】
図１０において、入力されたデジタル画像データはブロック分割回路７０１で水平８画素、垂直８画素で構成されるブロックに分割される。ブロック分割された画像データは、差分器７０２により後述する動き補償回路７０７から出力された画像データと差分されて、ＤＣＴ回路７０３へ出力される。ＤＣＴ回路７０３では、前記ブロック単位でＤＣＴ変換される。
ＤＣＴ変換された画像データは、量子化回路７０４により量子化される。量子化された画像データは、逆量子化回路７０８に送られて後述する局部復号が実施されると共に、可変長符号化回路７０５によりハフマン符号化等の可変長符号化処理される。
【００４１】
一方、逆量子化回路７０８では、量子化回路７０４から出力された画像データを逆量子化し、逆ＤＣＴ回路７０９により符号化前の画像データに局部復号される。
この局部復号された画像データは、動き補償回路７０７に供給され、所定の期間保持され、そして現在の入力値である画像データと比較を行い動き検出（動きベクトル検出）を行う。動き補償回路７０７は、動き検出結果に従って、動き補償を行うための該当部の画像データを差分器７０２に供給する。
【００４２】
また、動き補償回路７０７は、本実施例では（１６×１６）画素のブロック単位で動き検出を行い、前記動きベクトルデータを検出している。前記動きベクトルは、ゲート回路７１０と加算器７１１に供給される。
ゲート回路７１０では、透かし情報発生回路１０６より発生された透かし情報を、動きベクトルのレベルが所定レベル以上の時に通過するように制御する。つまり、動きベクトルが所定レベル以上の時に透かし情報がゲート回路７１０を通過し、加算器７１１によって動きベクトルデータに透かし情報が重畳される。動きベクトルが所定レベル以下の時は透かし情報はゲート回路７１０を通過できず、透かし情報は動きベクトルデータに重畳されない。
【００４３】
加算器７１１から出力された動きベクトルデータは多重化回路７０６により符号化された画像データに多重化されて記録再生回路１０４へ出力される。
尚、本実施例では一つの動きベクトルの移動を透かし情報のビット列の１ビットに対応させる。動きベクトルを複数組み合わせて透かし情報とする。いくつの動きベクトルを用いるか、またどのような順序で透かし情報の１ビットを付加して行くかは、透かし情報を復元する際に必要なので、当然あらかじめその規則は決めている。
【００４４】
本実施例では、動き検出から得られる動きベクトルのうち、動きの大きい部分の動きベクトルに透かし情報を埋め込むことで、画像の見えない部分に透かし情報が埋め込むことができる。画像を劣化させることがない。
また、第三者には透かしが入っている事実や場所を突き止めることが不可能となる効果があり、動画像の切り出しや改ざんをされても、デジタル透かし情報を抜き取ることができないため、動画像の不正流用の抑止効果があるばかりでなく、動画像の不正使用を突き止めることが可能になる効果がある。
【００４５】
本発明は複数の機器（たとえばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえばデジタルＶＴＲ、デジタルカメラ、デジタルテレビ）からなる装置に適用してもよい。
【００４６】
また前述した実施例の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施例の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本願発明の範疇に含まれる。
【００４７】
またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４８】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施例の機能が実現される場合にもかかるプログラムコードは本願発明の実施形態に含まれることは言うまでもない。
【００４９】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本願発明に含まれることは言うまでもない。
【００５０】
【発明の効果】
以上の説明から明らかなように、本発明は、前後の画像を比較してデータの変化により透かし情報を抽出するようなことはできず、第三者が透かしが入っている事実や場所を突き止めることが不可能となる効果がある。これにより、画像の切り出しや改ざんをされても、デジタル透かし情報を抜き取ることができないため、画像の不正流用の抑止効果があるばかりでなく、画像の不正使用を突き止めることが可能になるという効果がある。
さらに、透かし情報の埋め込みによるデータ量の増大を抑えるとともに、画像劣化を視覚上目立たなくするという効果も有する。
【図面の簡単な説明】
【図１】本発明をビデオカメラに適用した場合の第１の実施例の構成を示すブロック図である。
【図２】本発明に係わる画像の表示例を示す図である。
【図３】第１の実施例の圧縮符号化回路１０３の詳細ブロック図である。
【図４】ブロックの動きを判断処理を説明するための図である。
【図５】フレーム内で動き有りのブロックを示す図である。
【図６】第２の実施例の圧縮符号化回路１０３の詳細ブロック図である。
【図７】本発明の第３の実施例の画像処理装置の構成を示すブロック図である。
【図８】記録媒体４０１に記録された符号化された画像データを生成するための符号化回路の構成を示すブロック図である。
【図９】透かし埋め込み回路４０３の詳細ブロック図である。
【図１０】第４の実施例の圧縮符号化回路１０３の詳細ブロック図である。
【図１１】ＭＰＥＧ符号化処理における画面タイプの並びの例を示す図である。
【符号の説明】
１０１                          撮像素子
１０２                          カメラ信号処理回路
１０３                          圧縮符号化回路
１０４                          記録媒体
１０６、４０６                  透かし情報発生回路
２０１、３０１、７０１          ブロック分割回路
２０２、３０４、６０２、７１１  加算器
２０３、３０２、７０３          ＤＣＴ回路
２０４、３０３、５０３、７０４  量子化回路
２０５、３０５、５０４、７０５  可変長符号化回路
２０６、３０６、６０６          動き検出回路
２０７、３０７、６０７          ブロック選択回路
２０８、３０８、６０８          フレームカウンタ
４０３                          透かし埋め込み回路
６０１                          可変長復号化回路
６０５、７０９                  逆ＤＣＴ回路
７０２                          差分器
７０６                          多重化回路
７０７                          動き補償回路
７０８                          逆量子化回路
７１０                          ゲート回路
【図１】
0004035257.tif 000002
【図２】
0004035257.tif 000003
【図３】
0004035257.tif 000004
【図４】
0004035257.tif 000005
【図５】
0004035257.tif 000006
【図６】
0004035257.tif 000007
【図７】
0004035257.tif 000008
【図８】
0004035257.tif 000009
【図９】
0004035257.tif 000010
【図１０】
0004035257.tif 000011
【図１１】
0004035257.tif 000012