(57)【特許請求の範囲】
【請求項１】
入力画像を予め設定された大きさのブロックに区切る第１の手段と、
前記第１の手段で区切られたブロックの内からマーカ情報を埋め込む複数のブロックを決定する第２の手段と、
前記第２の手段で決定された複数のブロックにマーカ情報を埋め込む第３の手段を備えた画像位置ズレ検出用マーカ埋め込み装置であって、
前記第３の手段は、前記第２の手段で決定された複数のブロックの各々に、所定量ずつの位置ズレを与えたマーカ情報を埋め込むとともに、マーカ情報を埋め込んだブロックと該ブロックに埋め込んだマーカ情報に与えた位置ズレとの関係を示すテーブルを保持することを特徴とする画像位置ズレ検出用マーカ埋め込み装置。
【請求項２】
前記第３の手段は、単一もしくは複数のＤＣＴ係数の基底信号の加算あるいは減算によりマーカ情報を埋め込むことを特徴とする請求項１に記載の画像位置ズレ検出用マーカ埋め込み装置。
【請求項３】
前記第３の手段は、前記第２の手段で決定された複数のブロック内においてそれぞれ２つのサブブロックを選択し、該２つのサブブロックのどちらかにマーカ情報を埋め込むことを特徴とする請求項１または２に記載の画像位置ズレ検出用マーカ埋め込み装置。
【請求項４】
前記第３の手段は、入力画像が動画像の場合、前記テーブルを複数種類作成し、フレームごとに前記複数種類のテーブルの情報の中の任意の１つの情報を利用してマーカ情報を埋め込むことを特徴とする請求項１ないし３のいずれか１つに記載の画像位置ズレ検出用マーカ埋め込み装置。
【請求項５】
前記第３の手段は、フレームごとに前記複数種類のテーブルの情報の中の任意の１つの情報を利用してマーカ情報を埋め込む処理を輪還の順に適用することを特徴とする請求項４に記載の画像位置ズレ検出用マーカ埋め込み装置。
【請求項６】
請求項１ないし５のいずれか１つの画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、該画像の位置ズレを検出する画像位置ズレ検出装置であって、
前記テーブルに保持されている、マーカ情報を埋め込んだブロックと該ブロックに埋め込んだマーカ情報に与えた位置ズレとの関係から、埋め込まれたマーカ情報の位置を特定する第４の手段と、
前記第４の手段で特定された位置の情報に基づいて画像の位置ズレを算出する第５の手段とを備えたことを特徴とする画像位置ズレ検出装置。
【請求項７】
前記第５の手段は、前記第４の手段で特定された位置の、前記第３の手段でマーカが埋め込まれたブロックからマーカ情報と相互相関を持つ値を抽出する抽出手段を有することを特徴とする請求項６に記載の画像位置ズレ検出装置。
【請求項８】
前記第５の手段は、前記第４の手段で特定された位置を中心に位置ズレの許容値の範囲内で画素１ラインずつずらしながら、マーカ情報埋め込み位置のブロックおよびその近傍の各ブロックから前記マーカ情報と相互相関を持つ値を取得し、取得された値の絶対値を、前記ずらしでのずらし量(x,y)が同一のものごとに、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるずらし量(x,y)を画像の位置ズレとして検出することを特徴とする請求項７に記載の画像位置ズレ検出装置。
【請求項９】
前記第５の手段は、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、前記抽出手段により抽出された値の絶対値を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるインデックスに対応する位置ズレを画像の位置ズレとして検出することを特徴とする請求項７に記載の画像位置ズレ検出装置。
【請求項１０】
請求項２に記載の画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、
前記抽出手段は、前記マーカ情報と相互相関を持つ値として、前記マーカ情報が埋め込まれたＤＣＴ係数に対応するＤＣＴ係数を抽出することを特徴とする請求項７に記載の画像位置ズレ検出装置。
【請求項１１】
前記第５の手段は、前記第４の手段で特定された位置を中心に位置ズレの許容値の範囲内で１画素１ラインずつずらしながら、マーカ情報埋め込み位置のブロックおよびその近傍の各ブロックから前記マーカ情報が埋め込まれたＤＣＴ係数に対応するＤＣＴ係数を取得し、取得されたＤＣＴ係数の絶対値を、前記ずらしでのずらし量(x,y)が同一のものごとに、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるずらし量(x,y)を画像の位置ズレとして検出することを特徴とする請求項１０に記載の画像位置ズレ検出装置。
【請求項１２】
前記第５の手段は、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、前記抽出手段により抽出されたＤＣＴ係数の絶対値を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるインデックスに対応する位置ズレを画像の位置ズレとして検出することを特徴とする請求項１０に記載の画像位置ズレ検出装置。
【請求項１３】
請求項３に記載の画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、
前記第５の手段は、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、マーカ情報が埋め込まれたブロック内の２つのサブブロックについての、前記マーカ情報と相互相関を持つ値の大小関係がマーカ埋め込み時の該マーカ情報の大小関係と一致するかどうかを判定し、前記インデックスが同じであるブロックごとに、一致するブロック数を、マーカ情報埋め込み位置での全ブロックについて累計し、該累計が最大になるインデックスに対応する位置ズレを画像の位置ズレとして検出することを特徴とする請求項７に記載の画像位置ズレ検出装置。
【請求項１４】
請求項３に記載の画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、
前記第５の手段は、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、マーカ情報が埋め込まれたブロック内の２つのサブブロックについてのマーカ情報と相互相関を持つ値の絶対値差分を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値になるインデックスに対応する位置ズレを画像の位置ズレとして検出することを特徴とする請求項７に記載の画像位置ズレ検出装置。
【請求項１５】
前記第５の手段は、前記累積に代えて平均による値を用いることを特徴とする請求項８，９，１１，１２および１４のいずれか１つに記載の画像位置ズレ検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像の位置ズレを検出するための画像位置ズレ検出用マーカ埋め込み装置および画像位置ズレ検出装置に関し、特に、非可逆圧縮が施された静止画像や動画像についても耐性を持って位置ズレを検出できる画像位置ズレ検出用マーカ埋め込み装置および画像位置ズレ検出装置に関する。
【背景技術】
【０００２】
静止画像や動画像が編集されたり攻撃されたりした場合、再生画像の位置が原画像の位置からずれることがある。画像位置ズレの検出技術は、このように位置ズレが生じる可能性のある静止画像や動画像について、どのくらい位置ズレが生じたかを検出するための技術である。
【０００３】
画像位置ズレの検出技術は、製作者(画像制作者)の意図通りに画像が再生されるように画像の位置を補正したり、電子透かしを検出したりするためなどに利用される。
【０００４】
特許文献１には、電子透かしのような副次的な情報が埋め込まれた画像あるいは信号に加えられた幾何変換を補正した後にその副次的な情報を抽出することにより、信頼性の高い情報の抽出を行う画像処理装置が記載されている。
【０００５】
特許文献２には、電子透かし検出前に空間方向の同期を正しく回復した後、動画像用電子透かしを検出することが記載されている。
【０００６】
引用文献３には、画像の切り出し、スケーリング及び回転などの攻撃があった場合で、埋め込んだ透かし情報を検出できるな電子透かし埋め込み装置が記載されている。
【０００７】
特許文献４には、２つの画像間の位置ずれを検出する位置ずれ検出装置が記載されている。
【特許文献１】特開２００２−３５４２２１号公報
【特許文献２】特開２００６−２９５６８８号公報
【特許文献３】特開２００２−３２５２３３号公報
【特許文献４】特開２００４−１４５４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の画像処理装置は、副次的な情報とともに位置合わせ信号を埋め込み、この位置合わせ信号を用いて幾何変換量を補正するのもであり、非可逆圧縮に対する耐性は考慮されていない。
【０００９】
引用文献２，３に記載された装置は、透かし情報そのものを利用して画像の位置ズレを検出するものであり、これでも非可逆圧縮に対する耐性は考慮されていない。
【００１０】
特許文献４の位置ずれ検出装置は、２つの画像データ間の位置ずれ量を検出するために、画像データから少なくとも１つ以上の周波数における位相を求め、この位相の差に基づいて画像間の位置ずれ量を求めるものであり、これでも非可逆圧縮に対する耐性は考慮されていない。
【００１１】
本発明の目的は、非可逆圧縮が施された静止画像や動画像についても耐性を持って位置ズレを検出できる位置ズレ検出装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明の画像位置ズレ検出用マーカ埋め込み装置は、入力画像を予め設定された大きさのブロックに区切る第１の手段と、前記第１の手段で区切られたブロックの内からマーカ情報を埋め込む複数のブロックを決定する第２の手段と、前記第２の手段で決定された複数のブロックにマーカ情報を埋め込む第３の手段を備えた画像位置ズレ検出用マーカ埋め込み装置であって、前記第３の手段は、前記第２の手段で決定された複数のブロックの各々に、所定量ずつの位置ズレを与えたマーカ情報を埋め込むとともに、マーカ情報を埋め込んだブロックと該ブロックに埋め込んだマーカ情報に与えた位置ズレとの関係を示すテーブルを保持する点に第１の特徴がある。
【００１３】
また、本発明の画像位置ズレ検出用マーカ埋め込み装置は、前記第３の手段が、単一もしくは複数のＤＣＴ係数の基底信号の加算あるいは減算によりマーカ情報を埋め込む点に第２の特徴がある。
【００１４】
また、本発明の画像位置ズレ検出用マーカ埋め込み装置は、前記第３の手段が、前記第２の手段で決定された複数のブロック内においてそれぞれ２つのサブブロックの組合せを選択し、該２つのサブブロックのどちらかにマーカ情報を埋め込む点に第３の特徴がある。
【００１５】
また、本発明の画像位置ズレ検出用マーカ埋め込み装置は、前記第３の手段が、入力画像が動画像の場合、前記テーブルを複数種類作成し、フレームごとに前記複数種類のテーブルの情報の中の任意の１つの情報を利用してマーカ情報を埋め込む点に第４の特徴がある。
【００１６】
また、本発明の画像位置ズレ検出用マーカ埋め込み装置は、前記第３の手段が、フレームごとに前記複数種類のテーブルの情報の中の任意の１つの情報を利用してマーカ情報を埋め込む処理を輪還の順に適用する点に第５の特徴がある。
【００１７】
本発明の画像位置ズレ検出装置は、前記画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、該画像の位置ズレを検出する画像位置ズレ検出装置であって、前記テーブルに保持されている、マーカ情報を埋め込んだブロックと該ブロックに埋め込んだマーカ情報に与えた位置ズレとの関係から、埋め込まれたマーカ情報の位置を特定する第４の手段と、前記第４の手段で特定された位置の情報に基づいて画像の位置ズレを算出する第５の手段とを備えた点に第１の特徴がある。
【００１８】
また、本発明の画像位置ズレ検出装置は、前記第５の手段が、前記第４の手段で特定された位置の、前記第３の手段でマーカが埋め込まれたブロックからマーカ情報と相互相関を持つ値を抽出する抽出手段を有する点に第２の特徴がある。
【００１９】
また、本発明の画像位置ズレ検出装置は、前記第５の手段が、前記第４の手段で特定された位置を中心に位置ズレの許容値の範囲内で画素１ラインずつずらしながら、マーカ情報埋め込み位置のブロックおよびその近傍の各ブロックから前記マーカ情報と相互相関を持つ値を取得し、取得された値の絶対値を、前記ずらしでのずらし量(x,y)が同一のものごとに、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるずらし量(x,y)を画像の位置ズレとして検出する点に第３の特徴がある。
【００２０】
また、本発明の画像位置ズレ検出装置は、前記第５の手段が、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、前記抽出手段により抽出された値の絶対値を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるインデックスに対応する位置ズレを画像の位置ズレとして検出する点に第４の特徴がある。
【００２１】
また、本発明の画像位置ズレ検出装置は、上記の第２の特徴を有する画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、前記抽出手段が、前記マーカ情報と相互相関を持つ値として、前記マーカ情報が埋め込まれたＤＣＴ係数に対応するＤＣＴ係数を抽出する点に第５の特徴がある。
【００２２】
また、本発明は、前記第５の特徴を有する画像位置ズレ検出装置において、前記第５の手段が、前記第４の手段で特定された位置を中心に位置ズレの許容値の範囲内で１画素１ラインずつずらしながら、マーカ情報埋め込み位置のブロックおよびその近傍の各ブロックから前記マーカ情報が埋め込まれたＤＣＴ係数に対応するＤＣＴ係数を取得し、取得されたＤＣＴ係数の絶対値を、前記ずらしでのずらし量(x,y)が同一のものごとに、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるずらし量(x,y)を画像の位置ズレとして検出する点に第６の特徴がある。
【００２３】
また、本発明は、前記第５の特徴を有する画像位置ズレ検出装置において、前記第５の手段が、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、前記抽出手段により抽出されたＤＣＴ係数の絶対値を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値をとるインデックスに対応する位置ズレを画像の位置ズレとして検出する点に第７の特徴がある。
【００２４】
また、本発明の画像位置ズレ検出装置は、前記第３の特徴を有する画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、前記第５の手段が、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、マーカ情報が埋め込まれたブロック内の２つのサブブロックについての、前記マーカ情報と相互相関を持つ値の大小関係がマーカ埋め込み時の該マーカ情報の大小関係と一致するかどうかを判定し、前記インデックスが同じであるブロックごとに、一致するブロック数を、マーカ情報埋め込み位置での全ブロックについて累計し、該累計が最大になるインデックスに対応する位置ズレを画像の位置ズレとして検出する点に第８の特徴がある。
【００２５】
また、本発明の画像位置ズレ検出装置は、前記第３の特徴を有する画像位置ズレ検出用マーカ埋め込み装置でマーカ情報が埋め込まれた画像を入力とし、前記第５の手段が、マーカ情報埋め込み時に与えた位置ズレをインデックスとし、該インデックスが同じであるブロックごとに、マーカ情報が埋め込まれたブロック内の２つのサブブロックについてのマーカ情報と相互相関を持つ値の絶対値差分を、マーカ情報埋め込み位置での全ブロックについて累積し、該累積が最大値になるインデックスに対応する位置ズレを画像の位置ズレとして検出する点に第９の特徴がある。
【００２６】
さらに、本発明の画像位置ズレ検出装置は、前記第５の手段が、前記累積に代えて平均による値を用いる点に第１０の特徴がある。
【発明の効果】
【００２７】
本発明では、位置ズレ検出用のマーカ情報を画像に埋め込み、編集や攻撃などで該画像に位置ズレが起きた場合に、非可逆圧縮(量子化を含む符号化)後でマーカ情報との間で相互相関を持つ値(DCT係数)のエネルギが分散して低くなる性質を利用するので、非可逆圧縮が施された静止画像や動画像についても耐性を持って確実に画像の位置ズレを検出できる。
【発明を実施するための最良の形態】
【００２８】
本発明では、MPEGやJPEGなどの量子化が予め決められたブロックごとに行われる非可逆圧縮方式で処理された画像についても高耐性で位置ズレの検出を可能にするため、位置ズレ検出用のマーカ情報に位置ズレを与えてブロックに埋め込む。
【００２９】
編集や攻撃で画像に位置ズレが起きた場合、非可逆圧縮(量子化を含む符号化)後、マーカ情報と相互相関を持つ値は、該位置ズレに従ってエネルギが分散して低くなるので、該値を抽出することによって画像の位置ズレを検出できる。
【００３０】
以下、図面を参照して本発明を説明する。まず、本発明に係る画像位置ズレ検出用マーカ埋め込み装置について説明する。なお、以下では、マーカが埋め込まれた画像が、MPEGやJPEGなどに従ってDCTにより非可逆圧縮されるものとする。したがって、マーカは、非可逆圧縮後ではDCT係数として埋め込まれ、DCT係数は、マーカと相互相関を持つ値となる。また、画像位置ズレ検出用のマーカ情報を単にマーカと称する。
【００３１】
図１は、本発明に係るマーカ埋め込み装置の第１実施形態を示すブロック図である。第１実施形態のマーカ埋め込み装置は、単一のサブブロックにマーカを埋め込む。画像の位置ズレは、画像が位置ズレを起こした場合にDCT係数のエネルギが分散して低くなる性質を利用して検出できる。
【００３２】
第１実施形態のマーカ埋め込み装置は、入力画像をマクロブロックごとに分割するブロック分割手段11、選択されたマクロブロックにマーカを埋め込むマーカ埋め込み手段12、マーカ埋込位置情報13-1とズレ情報13-2を格納するテーブル13、およびズレ付与手段14を備える。
【００３３】
入力画像は、ブロック分割手段11に入力される。ブロック分割手段11は、入力画像の輝度信号をマクロブロック(MB)に相当する16(画素)x16(ライン)ごとに分割する。なお、入力画像は、静止画像であっても動画像であってもよい。
【００３４】
マーカ埋め込み手段12は、まず、ブロック分割手段11で分割されたMBの中からマーカ埋め込み位置のMBを選択する。テーブル13は、マーカ埋込位置情報13-1を格納し、マーカ埋込位置情報13-1は、マーカ埋め込み位置のMB番号を含む。マーカ埋め込み手段12は、マーカ埋込位置情報13-1に従ってマーカ埋め込み位置のMBを選択する。ここでは、全部でMxN個のMBを選択する(M,N>0)が、マーカ埋め込みによる画質劣化が目立たないようにするため、隣接するMBを避けて選択するのが好ましい。
【００３５】
次に、マーカ埋め込み手段12は、選択されたMxN個のMBにマーカを埋め込む。マーカの埋め込みは、MBを構成するサブブロックSB(8(画素)x8(ライン))のうちの1つに対して行う。また、MxN個のMBをN個ずつのM個の集合(集合0,集合1,・・・)に分け、同じ集合に属するMB内でのマーカ埋め込み位置は同一とし、異なる集合に属するMB内でのマーカ埋め込み位置は互いに異ならせる。テーブル13は、ズレ情報13-2を格納し、ズレ情報13-2は、各集合に属するMBのSBに対して与える位置ズレを含む。ズレ付与手段14は、ズレ情報13-2に従って、マーカ埋め込み手段12がマーカを埋め込む際のマーカ埋め込み位置にズレを与える。
【００３６】
例えば、マーカが埋め込まれるSBの位置ズレ(平行移動量)を、集合0に属するMBでは(0,0)、集合1に属するMBでは(1,1)、…などとしてマーカを埋め込む。マーカは、種々の手法で埋め込むことができるが、例えば、MB中で上記のように平行移動された位置のSBの輝度信号に対し、特定のDCT係数の基底信号を加算あるいは減算することで行う。具体例では、マーカをDCT係数(1,1)の基底信号とし、これをSBの輝度信号に加算する。このマーカを埋め込んだ画像を非可逆圧縮(DCT)すると、DCT係数(1,1)はマーカと相互相関を持つ値となる。DCT係数(1,1)の基底信号の加算あるいは減算は、DCT係数(1,1)への定数の加算あるいは減算と等価である。マーカは透かしとして埋め込まれるので、原画像の乱れは殆どない。
【００３７】
M=8,N=10である場合、各集合(集合0,集合1,・・・,集合7)とそれに対応する平行移動量を、例えば、以下のように設定する。
集合0:(0,0)，集合1:(1,1)，集合1:(2,2)，集合3:(3,3)，集合4:(4,4)，
集合5:(-3,-3)，集合6:(-2,-2)，集合7:(-1,-1)
【００３８】
図２は、各集合(集合0,集合1,・・・)に対するマーカ埋め込み位置の例を示し、格子はMB境界を示し、網掛け部分はマーカ埋め込み位置のMBを示し、太線はマーカを埋め込むSBを示している。ここでは、集合0:(0,0)，集合1:(1,1)，集合1:(2,2)，集合3:(3,3)，集合4:(4,4)を図示している。
【００３９】
以上のようにマーカ埋め込みを行ったフレームで静止画を構成できる。動画像の場合は、以上のマーカ埋め込みを数フレームに渡って行うが、埋め込んだマーカが目立たないように、マーカ埋め込み位置のMBをフレームごとに異ならせるのが好ましい。また、ある決められた複数フレーム内の各フレームでマーカ埋め込み位置のMBを異ならせ、これを周期として同じ処理を繰り返すようにすれば処理負担を軽減できる。これは、テーブル13を複数種類作成しておき、フレームごとにそれらのテーブルの中の１つのテーブルを利用してマーカ情報を埋め込むこと、フレームごとに複数種類のテーブルの中の１つのテーブルを輪還の順に利用してマーカ情報を埋め込むことにより実現できる。
【００４０】
図３は、テーブル13が格納する情報の例を示す図である。同図において、MB番号は、マーカ埋込位置情報13-1に相当し、マーカ埋め込み位置のMBを示している。また、ズレ量は、ズレ情報13-2に相当し、マーカ埋め込み位置の各MBのSBに対して与える位置ズレとそれが属する集合を示している。なお、グループは、処理対象が動画像の場合のフレームに相当する。
【００４１】
ここでは、最初のフレーム(グループ1)では、集合0,2,・・・に属する、MB番号10,26,・・・のMBをマーカ埋め込み位置とし、SBに対して与える位置ズレをそれぞれ(0,0),(2,2),・・・とし、次のフレーム(グループ2)では、集合1,・・・に属する、MB番号11,・・・のMBをマーカ埋め込み位置とし、SBに与える位置ズレをそれぞれ(1,1),・・・とすることを示している。
【００４２】
第１実施形態のマーカ埋め込み装置では、マーカ埋め込み位置のMBの単一のSBだけを使用するものとしたが、マーカ埋め込み位置のMBの中の2つのSBを使用し、両SBを利用して画像の位置ズレを検出するようにすることもできる。これを、第２実施形態のマーカ埋め込み装置として以下に説明する。
【００４３】
第２実施形態のマーカ埋め込み装置では、マーカ埋め込み位置のMBにおいて、着目する2つのSBのうちの一方にマーカを埋め込む。このマーカ埋め込みでも、埋め込む位置をずらし、特定のDCT係数の基底信号を加算あるいは減算することで行うことは第１実施形態と同様である。マーカを埋め込んだ画像に位置ズレが起こると、両SBのDCT係数のエネルギの差分の合計が殆ど変わらなくなる、あるいは両SBの大小比較の分布が均一になるという性質を利用して画像の位置ズレを検出できる。ブロック構成は、第１実施形態と同様であるので図示省略する。
【００４４】
第２実施形態のマーカ埋め込みでは、第１実施形態と同じ手法を採用するが、マーカ埋め込み位置のMBの中の予め定めた任意の2つのSBの一方にマーカを埋め込む。その際、より大きな値を埋め込むことができる方のSBに対してマーカを埋め込む。このようにして、マーカを埋め込んだSBと埋め込まないSBについてのDCT係数の絶対値の差分が大きくなるようにしておく。
【００４５】
次に、本発明に係る画像位置ズレ検出装置について説明する。図４は、本発明に係る画像位置ズレ検出装置の第１実施形態を示すブロック図である。
【００４６】
第１実施形態の画像位置ズレ検出装置は、DCT係数のエネルギが画像の位置ズレにより分散して低くなる性質を利用するものであり、図１のマーカ埋め込み装置でマーカを埋め込んだ画像を処理対象とする。
【００４７】
第１実施形態の画像位置ズレ検出装置は、マーカ位置特定手段41、ズレ算出手段42、およびマーカ埋込位置情報43-1とズレ情報43-2を格納しているテーブル43を備える。テーブル43の内容は、図１のテーブル13と同じであり、したがって、各グループに対し、マーカを埋め込んだ位置のMBは、画像位置ズレ検出装置側でも既知である。
【００４８】
マーカ位置特定手段41は、図１のマーカ埋め込み装置でマーカを埋め込んだ画像を入力画像とし、該入力画像をMBごとに分割するとともに、テーブル43が格納しているマーカ埋込位置情報43-1を基にマーカ埋め込み位置のMBを特定する。
【００４９】
ズレ算出手段42は、マーカ埋め込み位置のMB内の埋め込みに用いたSBおよびその近傍のSBのDCT係数を抽出し、これを基に画像の位置ズレを算出する。
【００５０】
具体的には、マーカ埋め込み位置のMB内の埋め込みに用いたSBを中心に位置ズレの許容量の範囲内で1画素1ラインずつずらしながら、8(画素)x8(ライン)ブロックについてのDCT係数を取得し、ずらし量(x,y)ごとに取得されたMxN箇所のDCT係数の絶対値を累積する。これを複数フレームに渡って行う。そして、絶対値の累積を最大値とするずらし量(x,y)を画像の位置ズレとして検出する。これは、DCT係数の絶対値の累積を最大値とするSBの探索処理である。
【００５１】
図５，図６は、マーカ位置特定手段41およびズレ算出手段42での処理を概念的に示す図であり、図５は画像の位置ズレが(0,0)の場合、図６はその位置ズレが(-2,-2)の場合である。
【００５２】
図５において、マーカ位置特定手段41は、マーカを埋め込んだ画像を入力画像とし、該入力画像をMBごとに分割する(同図(a))とともに、テーブル43が格納しているマーカ埋込位置情報43-1を基にマーカ埋め込み位置のMBを特定する(同図(b))。
【００５３】
次に、ズレ算出手段42は、マーカ埋め込み位置のMB内の埋め込みに用いたSBを中心としてズレの許容量の範囲内(同図(c)の探索範囲内、例えば±8画素)で1画素1ラインずつずらしながら、8(画素)x8(ライン)ブロック(SB)についてのDCT係数を取得し、ずらし量(x,y)ごとに取得されたMxN箇所のDCT係数の絶対値を累積する。これを複数フレームに渡って行う。そして、絶対値の累積を最大値とするずらし量(x,y)を画像の位置ズレとして検出する。この場合、ずらし量(0,0)のときのMxN箇所のDCT係数の絶対値の累積が最大値となるので、ズレ算出手段42は、画像の位置ズレを(0,0)と算出する。
【００５４】
図６においては、図５と同様に、マーカ位置特定手段41が、入力画像をMBごとに分割する(同図(a))とともに、マーカ埋め込み位置のMBを特定し(同図(b))、ズレ算出手段42が、同図(c)の探索範囲内でSBについてのDCT係数を取得し、ずらし量(x,y)ごとに取得されたMxN箇所のDCT係数の絶対値を累積する。この場合は、ずらし量(-2,-2)のときのMxN箇所のDCT係数の絶対値の累積が最大値となるので、ズレ算出手段42は、画像の位置ズレを(-2,-2)と算出する。
【００５５】
ズレ算出手段42では、動画像符号化の動きベクトル探索で一般的に採用されている探索処理の手法を利用できる。すなわち、最初に大まかに、例えば1画素1ラインおきにSBについてのDCT係数を取得し、その後、その絶対値の累積を最大値とする画素領域の周辺で1画素1ラインずつずらしながら探索処理を実行して最終的にDCT係数の絶対値の累積を最大値とするずらし量を求めるという手法を採用できる。これにより探索処理の回数を少なくしてズレ算出処理の高速化を図ることができる。これは、以下の実施形態でも同様に適用できる。
【００５６】
また、DCT係数を取得する処理は、DCT係数の基底信号と相互相関を持つ値を取得する処理と等価であるので、仮に、画像に対してスケーリングなどの処理が施された場合には、8x8のDCT係数の基底信号を同様にスケーリングしたものを求め、それとの間で相互相関を持つ値を求めることにより、画像の位置ズレを検出できる。これも、以下の実施形態で同様に適用できる。
【００５７】
処理対象が動画像で、マーカの埋め込み位置を各フレームで異ならせ、これを数フレーム周期で周期的に行う場合、各フレームがどのグループに属するかを知る必要がある。このための何らかの情報を挿入しておくことも可能であるが、先頭の数フレームについて全てのグループに対する処理を行い、ずらし量(x,y)に対する絶対値和の分布を見ることで各フレームがどのグループに属するかを特定できる。正しいグループとして処理している場合は分布にばらつきが生じるが、誤ったグループとして処理している場合は分布が均一化する。以降のフレームは周期的なマーカ埋め込みであるので、これらがどのグループに属するかが分かる。これも、以下の実施形態で同様に適用できる。
【００５８】
次に、本発明に係る画像位置ズレ検出装置の第２実施形態について説明する。第２実施形態の画像位置ズレ検出装置も、DCT係数のエネルギが画像の位置ズレにより分散して低くなる性質を利用するものであり、図１のマーカ埋め込み装置でマーカを埋め込んだ画像を処理対象とする。ブロック構成は、第１実施形態と同様であるので図示省略する。
【００５９】
第２実施形態の画像位置ズレ検出装置は、ズレ算出のために探索処理を行わず、埋め込み位置のMBの所定SB内についてのDCT係数を取得し、これを基に画像の位置ズレを算出するという点で第１実施形態の画像位置ズレ検出装置と異なる。
【００６０】
具体的には、マーカ埋め込み位置のMBの左上SBについてのDCT係数を取得し、埋め込み時に同じ位置ズレを与えたSBについてのDCT係数の絶対値を累積する。埋め込み時に同じ位置ズレを与えたSBかどうかは、マーカ埋込位置情報とズレ情報を格納しているテーブルから分かる。このテーブルに基づき、埋め込み時に与えた位置ズレをインデックスとし、インデックスが同じ、つまり、マーカ埋め込み時に与えた位置ズレが同じSBについてのDCT係数の絶対値を累積する。そして、絶対値の累積を最大値とするインデックスに対応する位置ズレを画像の位置ズレとする。すなわち、あるインデックスに対する絶対値の累積値が他のものと比較し大きい場合、絶対値の累積値を最大とするインデックスに対応する位置ズレが求める画像の位置ズレであると判断する。
【００６１】
図７，図８は、第２実施形態でのズレ算出処理を概念的に示す図であり、図７は画像の位置ズレが(0,0)の場合、図８はその位置ズレが(-2,-2)の場合である。
【００６２】
図７において、まず、マーカを埋め込んだ画像を入力画像とし、該入力画像をMBごとに分割する(同図(a))とともに、テーブルが格納しているマーカ埋込位置情報を基にマーカ埋め込み位置のMBを特定する(同図(b))。次に、マーカ埋め込み位置のMBの左上SBについてのDCT係数を取得し、マーカ埋め込み時にSBに与えた位置ズレをインデックスとし、インデックスごとに取得されたDCT係数の絶対値を累積する(同図(c))。これを複数フレームに渡って行う。そして、絶対値の累積を最大値とするインデックスに対応する位置ズレを画像の位置ズレとして検出する。この場合、(0,0)の位置ズレを与えたSBについてのDCT係数の絶対値の累積が最大値となるので、画像の位置ズレは(0,0)と検出される。
【００６３】
図８においては、図７と同様に、入力画像をMBごとに分割する(同図(a))とともに、マーカ埋め込み位置のMBを特定し(同図(b))、同図(c)の左上SBについてのDCT係数を取得し、マーカ埋め込み時にSBに与えた位置ズレをインデックスとし、インデックスごとに取得されたDCT係数の絶対値を累積する(同図(c))。この場合は、(2,2)だけ位置ズレを与えたSBについてのDCT係数の絶対値の累積が最大値となるので、画像の位置ズレは(-2,-2)と算出される。
【００６４】
次に、本発明に係る画像位置ズレ検出装置の第３実施形態について説明する。第３実施形態の画像位置ズレ検出装置は、マーカ埋め込み位置のMBにおいて着目する2つのSBについてのDCT係数のエネルギの差分や分布と画像の位置ズレとの関係を利用するものであり、第２実施形態のマーカ埋め込み装置でマーカを埋め込んだ画像を処理対象とする。ブロック構成は、第１実施形態と同様であるので図示省略する。
【００６５】
ズレ算出では、第２実施形態のマーカ埋め込み装置でマーカを埋め込んだ画像を処理対象とし、該画像をMBごとに分割するとともに、テーブルが格納しているマーカ埋込位置情報を基にマーカ埋め込み位置のMBを特定し、ズレ情報を基にマーカ埋め込み位置のMBの埋め込みに使用した2つのSBのDCT係数の差分を基に画像の位置ズレを算出する。
【００６６】
具体的には、マーカ埋め込み位置のMB内の埋め込みに使用したSBのDCT係数を取得した後、以下の2つの手法(A),(B)のいずれかにより画像の位置ズレを算出する。テーブルのマーカ埋込位置情報およびズレ情報から、マーク埋め込み位置の各MB、マーク埋め込みに使用したSBに対して与えた位置ズレは分かる。
【００６７】
(A)この位置ズレをインデックスとする。MB内の2つのSBについて取得されたDCT係数の大小関係を求める。そして、この大小関係がマークを埋め込んだ時の大小関係と一致するかどうかを判定し、インデックスごとに、一致するブロック数を、マーカ情報埋め込み位置での全ブロックについて累計する。この累計が最大になるインデックスに対応する位置ズレを画像の位置ズレとして検出する。つまり、あるインデックスに対する累計が他のものと比較し飛びぬけて大きい場合、累計が最大になるインデックスに対応する位置ズレが画像の位置ズレであると判断する。
【００６８】
(B)この位置ズレをインデックスとする。MB内の2つのSBについて取得されたDCT係数の絶対値差分を求め、インデックスごとの絶対値差分を、マーカ情報埋め込み位置での全ブロックについて累積する。このとき、絶対値差分の累積値が最大になるインデックスに対応する位置ズレを画像の位置ズレとして検出する。つまり、あるインデックスに対する累積値が他のものと比較し飛びぬけて大きい場合、累積値が最大になるインデックスに対応する位置ズレが画像の位置ズレであると判断する。
【００６９】
以上の実施形態において、集合の数(マーカ埋め込み時に与える位置ズレの種類)を多くすればするほど、そのままで精度よく画像の位置ズレを検出できる。しかし、それに伴って処理負担が増加する。
【００７０】
画像の位置ズレが起こってもそれが横(X軸)あるいは縦(Y軸)方向の平行移動である場合にはDCT係数の分散が比較的小さく、量子化後でも比較的多く残っているという性質を利用して、少ない数の集合から軽い処理負担で画像の位置ズレを検出できる。例えば、集合を位置ズレ(0,0),(1,1),・・・,(7,7)とし、まず、上述のようにしてDCT係数の絶対値和が最大になる箇所を求め、次に、該箇所の近傍で探索処理を行えばよい。
【図面の簡単な説明】
【００７１】
【図１】本発明に係るマーカ埋め込み装置の第１実施形態を示すブロック図である。
【図２】各集合に対するマーカ埋め込み位置の例を示す図である。
【図３】テーブルが格納する情報の例を示す図である。
【図４】本発明に係る画像位置ズレ検出装置の第１実施形態を示すブロック図である。
【図５】マーカ位置特定およびズレ算出の処理を概念的に示す図(画像の位置ズレが(0,0)の場合)である。
【図６】マーカ位置特定およびズレ算出の処理を概念的に示す図(画像の位置ズレが(-2,-2)の場合)である。
【図７】本発明に係る画像位置ズレ検出装置の第２実施形態でのズレ算出処理を概念的に示す図(画像の位置ズレが(0,0)の場合)である。
【図８】本発明に係る画像位置ズレ検出装置の第２実施形態でのズレ算出処理を概念的に示す図(画像の位置ズレが(-2,-2)の場合)である。
【符号の説明】
【００７２】
11・・・ブロック分割手段、12・・・マーカ埋め込み手段、13-1,43-1・・・マーカ埋込位置情報、13-2,43-2・・・ズレ情報、13,43・・・テーブル、14・・・ズレ付与手段、41・・・マーカ位置特定手段、42・・・ズレ算出手段
【図１】
0004934849.tif 000002
【図２】
0004934849.tif 000003
【図３】
0004934849.tif 000004
【図４】
0004934849.tif 000005
【図５】
0004934849.tif 000006
【図６】
0004934849.tif 000007
【図７】
0004934849.tif 000008
【図８】
0004934849.tif 000009