(57)【特許請求の範囲】
【請求項１】
ＭＰＥＧ標準の符号化方式による画像データへ別の情報を多重化する方法であって、
１ブロックを構成するＤＣＴ係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、
ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化ＤＣＴ係数を選択し、
前記選択された量子化ＤＣＴ係数を逆量子化して元のＤＣＴ係数を得、
前記元のＤＣＴ係数に対応する前記埋め込み強度の値を用いて、該元のＤＣＴ係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、
前記元のＤＣＴ係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のＤＣＴ係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化することを特徴とする情報多重化方法。
【請求項２】
請求項１記載の情報多重化方法において、ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いるＤＣＴ係数として輝度を表わすＤＣＴ係数を選択することを特徴とする情報多重化方法。
【請求項３】
請求項１記載の情報多重化方法において、ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いるＤＣＴ係数として色差を表わすＤＣＴ係数を選択することを特徴とする情報多重化方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の情報多重化方法において、各ピクチャを構成するブロックの画素値のエントロピーを計算することにより情報の多重化に適したブロックを選定することを特徴とする情報多重化方法。
【請求項５】
請求項２と請求項３を組み合わせた情報多重化方法であって、輝度を表すＤＣＴ係数と色差を表わすＤＣＴ係数に別々の情報を多重化することを特徴とする情報多重化方法。
【請求項６】
請求項１乃至５のいずれか１項に記載の情報多重化方法において、ブロックの画像の画素値行列をｐi,j、情報多重化を行ったＤＣＴ係数をdctk,l，［ｐ１i,j］，［ｐ２i,j］は［ｐi,j］をそれぞれ、（０，０）およびｋ，ｌ）成分を０に変更、（０，０）および（ｋ，ｌ）成分以外の値をすべて０に変更して得られる画素値行列としたとき、集合Ｌover＝｛（ｍ，ｎ）｝｜ｐｍ，ｎ＜０ｏｒｐｍ，ｎ＞Ｍ｝において（ただし、Ｍは画素値の最大値）、Ｌoverが空集合でないときに限り、
【数１】
0003601566.tif 000010
の変換を行うことにより、多重化した情報を保持したまま情報を多重化したＤＣＴ係数の変更により各ピクチャを構成するブロックの全画素値が所定の範囲内に収まるように類似したブロックの画像を再構成することを特徴とする情報多重化方法。
【請求項７】
請求項１乃至６のいずれか１項に記載の情報多重化方法において、多重化する情報を画像データの著作権情報あるいは配布先の利用者に対応する個別の情報とすることを特徴とする情報多重化方法。
【請求項８】
ＭＰＥＧ標準の符号化方式による符号化画像に著作権情報を付加する情報付加装置と、著作権情報をＭＰＥＧ符号化画像から分離する情報分離装置とを備えた著作権保護システムにおいて、
前記情報付加装置は、
１ブロックを構成するＤＣＴ係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化ＤＣＴ係数を選択し、該量子化ＤＣＴ係数を逆量子化してＤＣＴ係数を得、前記元のＤＣＴ係数に対応する前記埋め込み強度の値を用いて、該元のＤＣＴ係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、前記元のＤＣＴ係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のＤＣＴ係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化して、符号化画像データに情報を多重化する第１手段と、
ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロックの量子化のステップ値を表わす量子化特性値の値を所定の値で除算して剰余値を求め、前記量子化特性値の値を、多重化すべき情報の値が前記剰余値と等しい場合は変更させず、等しくない場合は、予め定めた値だけ変更するようにして、量子化特性値に情報を多重化する第２手段と、
を有し、前記第１手段と第２手段の組み合わせで著作権情報をＭＰＥＧ画像に付加することを特徴とする著作権保護システム。
【請求項９】
請求項８記載の著作権保護システムにおいて、情報分離装置は、情報負荷装置の第１手段と第２手段の組み合わせで多重化された情報を分離し、これらを比較することにより画像および著作権情報の改竄の有無を判定する手段を有することを特徴とする著作権保護システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報多重化方法および著作権保護システムに関し、詳しくは、ＭＰＥＧ標準の符号化方式により作成したデジタル画像を、デジタル通信網すなわち有線または無線放送網などの公衆網ないし専用網および情報記録媒体を用いて情報発信・入手・利用を行う際に著作権を保護するのに最適な情報多重化方法およびそれを利用した著作権保護システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットの急速な普及や、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｋ）の登場、デジタル情報圧縮技術（ＭＰＥＧ：Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｉｍａｇｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐなど）の発達により、デジタル画像の情報発信・入手が盛んとなってきた。ＤＶＤなどといったデジタル記憶媒体中に記憶されているデジタル画像はＷｒｉｔｅ−Ｏｎｃｅ方式と呼ばれる、再生装置からのデジタル出力はマスターディスクからのみといった形式をとっているが、本質的な著作権保護にはなっていない。
【０００３】
一方、ＭＰＥＧなどのデジタル画像符号化方式のデータ自体に対する著作権保護については、従来は著作権情報を単にデジタル画像のユーザデータラベルに書き込むだけのもの、もしくは、ＭＰＥＧのビットストリーム中のデータを単純に他のデータに書き換えるだけといった方法がとられており、画質の大きな劣化を伴うものであった。また、画素値を表すビット列の低位ビットを多重化する著作権情報にしたがって変更するなど、画質を考慮した著作権情報多重化方式も提案されているが、画像データを再符号化することにより多重化した著作権情報が簡単に消えてしまうといった問題があった。
【０００４】
【発明が解決しようとする課題】
現在提案されているデジタル画像の著作権保護技術は、画像の劣化が大きく、誰にでも簡単に著作権情報の書換えもしくは著作権情報を消去することが容易である問題点があった。また、デジタル画像自体を暗号化する方法が考えられるが、正当な手続きの後、デジタル画像にかけられた暗号の復号を行った画像に対して同様の問題点があった。
【０００５】
本発明の目的は、高い画像の品質を保ったままデジタル画像に著作権情報などの情報を多重化し、情報多重化画像と同様の品質を保ったままの多重化情報への改竄に対しては計算量が困難な強度を持ち、デジタル画像および多重化情報への改竄の有無の事実の判定ができる、ＭＰＥＧ符号化されたデジタル画像に対して画像符号化のシンタックスに適合した情報多重化方法および著作権保護システムを提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、著作権管理センタ側に著作権保護対象であるデジタル画像の著作権情報をＭＰＥＧ符号化方式のシンタックスに適合し、かつデジタル画像の画質が劣化しないようにデジタル画像データの情報多重化可能領域に対して著作権情報を多重化する手段を備え、該著作権管理センタ側にある著作権データベースに情報コンテンツの著作権登録を行うことにより、著作権保護を実現することを特徴とする。
情報多重化は、ＭＰＥＧ符号化画像データの１ブロックを構成するＤＣＴ係数行列の各々の係数に対して情報多重化に用いる埋め込み強度の値を予め設定しておき、ＭＰＥＧ符号化画像データ中の各ピクチャを構成するブロック内から情報多重化に用いる量子化ＤＣＴ係数を選択し、前記選択された量子化ＤＣＴ係数を逆量子化して元のＤＣＴ係数を得、前記元のＤＣＴ係数に対応する前記埋め込み強度の値を用いて、該元のＤＣＴ係数の取りうる値の範囲を、各小区間の幅が前記埋め込み強度の値となる小区間に分割し、前記元のＤＣＴ係数の値を、小区間ごとに予め定めておいた多重化されうる情報の割り付けにもとづき、前記元のＤＣＴ係数の値の最近傍の小区間の境界値を基準として、多重化すべき情報を表わす前記境界値に隣接する小区間内の所定の値になるように変更した後、再量子化する、ことにより行うことを基本とする。
【０００７】
本発明によれば、作成済みのＭＰＥＧ画像に対しても著作権情報の多重化が可能であり、高い画像の品質を保ったままデジタル画像に著作権情報を多重化し、デジタル画像および著作権情報への改竄の有無の判定が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明が適用される著作権保護システムの全体的ブロック図である。情報コンテンツ提供者１は、作成した原デジタル画像２に著作権情報の書込および著作権登録を行うために、暗号化装置３であらかじめ配布されている著作権管理センタ６の公開鍵４を用いて暗号化し、該暗号化されたデジタル画像７を有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて著作権管理センタ６へ送る。
【０００９】
著作権管理センタ６は、情報コンテンツ提供者１から暗号化されたデジタル画像７を受け取り、復号化装置８で該著作権管理センタ６の秘密鍵９を用いて復号化してデジタル画像１０を得る。そして、まず、この復号化されたデジタル画像１０が過去に著作権登録されていないかどうかを著作権情報二重登録防止装置１１で調べる。これは、デジタル画像１０に既に著作権情報二重登録防止フラグが多重化されているかどうかチエックすることで行う。ここで、受け取ったデジタル画像１０が著作権登録済みでない場合にのみ、著作権情報多重化装置１３により、誤り訂正符号化処理を施した著作権情報１２の情報多重化、さらに著作権情報二重登録防止フラグを情報多重化し、著作権情報データベース２３へ著作権登録を行う。その後、著作権管理センタ６は、暗号化装置１４で情報コンテンツ提供者の公開鍵１５を用いて暗号化処理を行い、該暗号化された著作権情報多重化済みのデジタル画像１６を、有線あるいは無線の伝送路または蓄積媒体による配送経路を用いて情報コンテンツ提供者１に送る。
【００１０】
情報コンテンツ提供者１は、暗号化された著作権情報多重化済みのデジタル画像１６を復号化装置１７で情報コンテンツ提供者の秘密鍵１８を用いて復号化し、画像フォーマットに適合した形式の著作権情報多重化済みのデジタル画像１９を得る。
【００１１】
この著作権情報多重化済みのデジタル画像１９が有線あるいは無線の伝送路、もしくは、ＤＶＤ，ＣＤ−ＲＯＭといったデジタル情報記憶媒体による流通および配送経路５を用いて、情報コンテンツ利用者２０に提供される。情報コンテンツ利用者２０は、著作権情報抽出処理装置２１を用いることにより、デジタル画像１９から著作権情報２２を簡単に得ることができる。
【００１２】
以下の実施例の説明では、ＭＰＥＧ標準で符号された動画像データを著作権情報多重化対象のデジタル画像とする。
【００１３】
ＭＰＥＧ標準の符号化方式による画像データは、図２のような構造を持っている。ここで、動画像の各フレームまたはフィールドの情報はピクチャスタートコード（ＰＳＣ）に続くピクチャ層以下に記述される。
各フレームまたはフィールド情報は、図３のように、Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ（動画像のあるフレーム、あるいはフィールド全体の情報を持つデータ、以下Ｉピクチャという）、ＰｒｅｄｉｃｔｉｖｅＰＰｉｃｔｕｒｅ（過去のフレーム、あるいはフィールドとの差分情報からなるデータ、以下Ｐピクチャという）、Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ（過去および未来のフレームあるいはフィールドとの差分情報からなるデータ、以下Ｂピクチャという）の３種類のピクチャ形式で符号化される。ＰピクチャおよびＢピクチャでは時間的に離れた他の画像を参照画像とし、その画像との差分値のみを画像情報として符号化している。また、ピクチャはブロックに細分され、ブロック単位でＤＣＴ（離散コサイン）変換を行い、適当な量子化係数で量子化され、ハフマン符号化される。
【００１４】
各フレームのフィールド情報は、スライススタートコード（ＳＳＣ）に続くスライス層以下にあるマクロブロック層（ＭＢ）内にあり、輝度情報Ｙを表すブロック層が４つ、色差情報Ｃｂ、Ｃｒを表すブロック層が２つ、計６つのブロック層により表される。
【００１５】
各マクロブロック層は、そのマクロブロックの種類に応じて、量子化特性値、動きベクトルのパラメタ値、ブロック層の個数値、ブロック層などから構成され、大別すると４種類ある。それぞれ一般的に、イントラマクロブロック、動き保証ありマクロブロック、動き保証なしマクロブロック、動き保証あり符号化不要マクロブロックと呼ばれる。イントラマクロブロックは、動きは保証を行わず、画像情報をそのまま符号化しており、常に６つのブロック層を持っている。動き保証ありマクロブロックは、動きベクトルが示す画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っている。動き保証なしマクロブロックは、このマクロブロックと同座標の画像を参照画像として用い、その画像との差分値を符号化している。すなわち、動きベクトルのパラメタ値を持っていない。動き保証あり符号化不要マクロブロックは、動きベクトルにより参照される画像との差分がないものである。動きベクトルは持っている。すなわち、動きベクトルのパラメタ値を持っている。
【００１６】
次に、ＭＰＥＧ標準で符号化された画像データを著作権情報多重化対象デジタル画像とする本発明の二、三の実施例について詳述する。
【００１７】
〈実施例１〉
図４は、本発明の第一の実施例の著作権管理センタの構成図である。この実施例は、ピクチャがブロックに細分化され、ＤＣＴ変換されたブロックの画像情報を表すＤＣＴ係数の値を変更することにより、著作権情報を符号化画像データに多重化して著作権保護を実現するものである。
【００１８】
著作権保護対象であるＭＰＥＧ標準の符号化方式で符号化された画像データ（符号化画像）３９は、まず、著作権情報二重登録防止装置４０に送られる。著作権情報二重登録防止装置４０は、あらかじめ定義された著作権情報二重登録防止フラグ位置情報３８を使って、著作権情報二重登録防止フラグ抽出処理部２４で符号化画像３９に秘密裏に多重化されている著作権情報二重登録防止フラグ２５を抽出し、著作権情報二重登録検証部２６で入力された符号化画像３９が過去に著作権登録されていないかを調べる。符号化画像３９が過去に著作権登録されていない場合のみ、符号化画像４６を著作権情報多重化装置４２内にあるＭＰＥＧ標準符号構文解析処理部２７に送る。一方、符号化画像３９が過去に著作権登録されている場合は、既に登録済みである出力４１を情報コンテンツ提供者に通知する。
【００１９】
著作権情報多重化装置４２のＭＰＥＧ標準符号構文解析処理部２７は、符号化画像４６を受け取ると、各ブロック毎の画像情報２８に該符号化画像を分離する。各ブロック単位に分割された画像は、著作権情報多重化ブロック選定処理部２９により、各フレームを構成するブロックのうち、イントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックに対して、それぞれブロックの画素値のエントロピーを計算され、あらかじめ決められたしきい値３０よりブロックの画素値のエントロピーが大きい場合は、このブロックの画像情報を表すＤＣＴ係数が著作権情報多重化処理部３１に送られ、あらかじめ決められたしきい値３０よりブロックの画素値のエントロピーが小さい場合は、そのブロックの画像情報に対して処理は施されず、そのまま出力バッファ４４へ送られる。
【００２０】
著作権情報多重化処理部３１は、乱数生成器３２に乱数生成鍵３３を入力することにより乱数３４を生成し、これを利用して送られてきたブロックのＤＣＴ係数行列のうちひとつのＤＣＴ係数を選ぶ。乱数生成鍵３３は著作権者のみが知っている情報である。著作権情報多重化処理部３１では、選ばれたひとつのＤＣＴ係数に対して著作権情報１２を１ｂｉｔずつ多重化し、このプロセスを繰り返すことにより全著作情報１２を多重化する。
【００２１】
ここで、著作権情報多重化処理部３１は、選ばれたＤＣＴ係数ｄｃｔｋ，ｌの値に対して、情報多重化ステップ幅３５であるｒａｎｇｅ、情報多重化量子化マトリックス３６である［ｑ′ｉ，ｊ］、マクロブロックの量子化特性値ｑｕａｎｔ、ＭＰＥＧのストリーム内の量子化マトリックス［ｑｉ，ｊ］を用いて、α、β、γをそれぞれ、
【００２２】
【数２】
0003601566.tif 000002
【００２３】
としたとき、多重化したい情報がγｍｏｄ２と等しい場合、
【００２４】
【数３】
0003601566.tif 000003
【００２５】
多重化したい情報がγｍｏｄ２と等しくない場合、
【００２６】
【数４】
0003601566.tif 000004
【００２７】
の変換を行なうことにより、著作権情報５６を多重化する。図５は、この概要を示した図である。ここで、βが埋め込み強度を示す。
【００２８】
情報を多重化したブロックには、情報を多重化したＤＣＴ係数とは別のＤＣＴ係数に情報多重化済みフラグを多重化する。また、著作権情報１２を多重化していないブロックは、著作権情報１２を多重化したＤＣＴ係数に著作権情報多重化未済のフラグを多重化する。
【００２９】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【００３０】
ここで、著作権情報多重化を行うことにより、著作権情報多重化済み画像の画素値がデコーダの解釈不能値をとりうる場合がある。デコーダの解釈不能画素値をとる可能性があるのは、著作権情報多重化を行ったブロックであるため、これらのブロックのＤＣＴ係数に対して、次のようにして修正を行う。
【００３１】
ブロックの画像の画素値行列をｐｉ，ｊ、情報多重化を行ったＤＣＴ係数をｄｃｔｋｌ、［ｐ１ｉ，ｊ］［ｐ２ｉ，ｊ］［ｐｉ，ｊ］をそれぞれ、（０、０）および（ｋ、ｌ）成分を０に変更、（０、０）および（ｋ、ｌ）成分以外の値をすべて０に変更したＤＣＴ行列を逆量子化・逆ＤＣＴ変換して得られる画素値行列としたとき、集合Ｌｏｖｅｒ＝｛（ｍ、ｎ）｜ｐｍ，ｎ＜０ｏｒｐｍ，ｎ＞Ｍ｝において（Ｍの画素値の取り最大値で、８ビット構成では２５５である）、Ｌｏｖｅｒが空集合でないときに限り、
【００３２】
【数５】
0003601566.tif 000005
【００３３】
の変換を行うことにより、著作権多重化を行ったＤＣＴ係数行列［ｄｃｔ′ｉ，ｊ］を得る。図６は、この概要を示した図で、白棒グラフが多重化直後のＤＣＴ係数の値、黒棒グラフが修正後のＤＣＴ係数の値である。
【００３４】
ＤＣＴ係数行列［ｄｃｔ′ｉ，ｊ］をＤＣＴ変換・逆量子化・可変長符号割り当てを行い、ＭＰＥＧ標準の符号化方式に変換する。
【００３５】
以上の処理を行うことにより、入力画像データ３９に対して、著作権情報１２が多重化され且つあらゆるＭＰＥＧデコーダに解釈可能なＭＰＥＧ標準の符号化方式による画像データが得られる。著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報を抽出するための秘密情報３７を著作権情報データベース４３に登録する。処理が終ったＭＰＥＧ標準の符号化方式による画像データは出力バッファ４４にためられ、著作権情報多重化済み画像データ４５として出力される。
【００３６】
著作権者は情報コンテンツ利用者に対して、この著作権情報多重化済みのＭＰＥＧ標準の符号化方式による画像データ４５を提供する。流通している情報コンテンツの不正な二次利用や複製に対して、不正使用された情報コンテンツが時間的に一部分残っていれば、情報コンテンツの画質が少々劣化していても、その被害となった対象の情報コンテンツがその著作権者のものであることを著作権者本人のみが知っている乱数生成鍵を用いることで著作権情報を抽出することで証明できる。
【００３７】
〈実施例２〉
図７は、本発明の第二の実施例の著作権管理センタの構成図である。この実施例は、予め著作権情報を割り当てたタイルを用意し、マクロブロックの動きベクトルが多重化したい著作権情報が割り当てられたタイルを指すように、マクロブロック層にある動きベクトルのパラメータ値を変更することにより、著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００３８】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ（符号化画像）４７は、まず、著作権情報二重登録防止装置４８に送られる。著作権情報二重登録防止装置４８は、著作権情報二重登録防止フラグ位置情報４９を使って、著作権情報二重登録防止フラグ抽出処理部５０で符号化画像４７に秘密裏に多重化されている著作権情報二重登録防止フラグ５１を抽出し、著作権情報二重登録検証部５２で入力された符号化画像４７が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置４８では、著作権情報が既に登録されている場合は著作権情報済み出力５３を行い、符号化画像が過去に著作権登録されていない場合にのみ、符号化画像５４を著作権情報多重化装置５５に送る。
【００３９】
著作権情報多重化装置５５内にあるＭＰＥＧ標準符号構文解析装置５６は、ＭＰＥＧ標準の符号化された画像データ５４を受け取ると、マクロブロック毎の情報５７に分割する。それらのマクロブロックのうち、マクロブロック選定処理部５８により動き保証ありマクロブロックの情報５９が、著作権情報多重化処理部６０に送られる。
【００４０】
動きベクトルのパラメータには、水平成分・垂直成分それぞれ、ｍｏｔｉｏｎ＿ｃｏｄｅとｍｏｔｉｏｎ＿ｒがあり、現在のマクロブロックの動きベクトルの値ｍｖは、参照画像とのフレーム間隔を表すｆ＿ｃｏｄｅ、前マクロブロックの動はベクトルｐ＿ｍｖを使って、
【００４１】
【数６】
0003601566.tif 000006
【００４２】
と計算される。
【００４３】
著作権情報多重化処理部６０は、動き保証ありマクロブロックが持っている動きベクトルの値に対して１ｂｉｔずつ著作権情報を多重化する。具体的には、著作権情報を割り付けたタイルの幅をｓｔｒとしたとき、多重化したい著作権情報が
【００４４】
【外１】
0003601566.tif 000007
【００４５】
と等しい場合は変化させず、多重化したい著作権情報が
【００４６】
【外２】
0003601566.tif 000008
【００４７】
と等しくない場合は、動きベクトルの値の変更により、参照画像および差分値が変化し、差分画像の画素値を表すＤＣＴ係数の値を再符号化する必要があるため、多重化したい著作権情報が
【００４８】
【外３】
0003601566.tif 000009
【００４９】
と等しくなるような動きベクトルのうち、再符号化した差分画像のＤＣＴ係数を表す可変長符号の符号長が最小となるような動きベクトルを検索し、動きベクトルをその値に変更する。
【００５０】
上記変更した動きベクトルり値を〔数６〕を使って逆算し、動きベクトルのパラメータｍｏｔｉｏｎ＿ｃｏｄｅ′とｍｏｔｉｏｎ＿ｒ′を得、本来の動きベクトルのパラメータ値ｍｏｔｉｏｎ＿ｃｏｄｅとｍｏｔｉｏｎ＿ｒをｍｏｔｉｏｎ＿ｃｏｄｅ′とｍｏｔｉｏｎ＿ｒ′に変更することで、ＭＰＥＧ標準で符号化された画像データを生成する。
【００５１】
画像再符号化処理部６１は、動きベクトルの著作権情報を多重化した動きベクトルが示す参照画像と画像バッファ６２の原画像との差分画像を求め、その差分画像の差分値をＤＣＴ係数および量子化を行い、本来のＤＣＴ係数を新たに符号化した符号に置き換えたのち、現在のフレーム画像を画像バッファ６２に蓄える。  同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。すべてのフレームに処理を施すことにより、著作権情報の多重化を行ったＭＰＥＧ標準の符号化方式による画像データを得る。
【００５２】
著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報を抽出するための秘密情報６８を著作権情報データベース６６に登録する。こうして、処理が終了した画像データは出力バッファ６４に送られ、著作権情報多重化済み画像データ６５が出力される。
【００５３】
情報コンテンツ利用者は、この著作権情報を多重化されたＭＰＥＧ標準の符号化方式による画像データを入手する。情報コンテンツ利用者は著作権情報抽出装置に該画像データを入力することによりその画像の著作権情報を得ることができる。すなわち、著作権情報抽出装置（図１の２１）は、ＭＰＥＧ標準の符号化方式による画像データを受け取り、各フレーム毎に画像を復号する。復号されたフレーム内の各マクロブロックの動きベクトルのパラメタから動きベクトルを計算し、著作権情報の抽出を行う。その後、著作権情報抽出装置は、この抽出した著作権情報を繋ぎ合わせて再構成し、著作権情報を情報コンテンツ利用者に提示する。
【００５４】
〈実施例３〉
図８は、本発明の第三の実施例の著作権管理センタの構成図である。この実施例は、マクロブロック層にある量子化特性値を変更することにより著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００５５】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ６９は、まず、著作権情報二重登録防止装置７０に送られる。著作権情報二重登録防止フラグ抽出処理部７２は、著作権情報二重登録防止フラグ位置情報７１を用いて符号化画像６９に秘密裏に多重されている著作権情報二重登録防止フラグ７３を抽出し、その情報を使って、著作権情報二重登録検証部７４は、入力された符号化画像６９が過去に著作権登録されていないか調べる。このようにして、既に登録されている画像データに対しては、著作権情報登録済みの出力７５を行い、入力された符号化画像が過去に著作権登録されていない場合のみ、符号化画像７６を著作権情報多重化装置７７に送る。
【００５６】
ＭＰＥＧ標準で符号化されたの画像データは、各フレーム内のマクロブロック毎に動的に量子化の粒度を変更するための量子化特性値が用意されている。著作権情報多重化装置７７内にあるＭＰＥＧ標準符号構文解析処理部７８は、符号化画像７６を受け取り、各マクロブロック毎の情報７９に画像データを分割し、量子化特性値ありマクロブロック抽出処理部８０により、各マクロブロックが振り分けられ、量子化特性値を持っているマクロブロック８１が著作権情報多重化処理部８４に送られ、、量子化特性値を持っていないマクロブロック８２はそのまま出力バッファ４６へ送られる。
【００５７】
著作権情報多重化処理部８４は、量子化特性値の値に対して、著作権情報８７を１ｂｉｔずつ多重化する。具体的には、量子化特性値quantを、多重化したい著作権情報がquant mod２と等しい場合は変化させず、多重化したい著作権情報がquant mod２と等しくない場合は、quantの値を絶対値の値が１減少するように±１することで、量子化特性値に著作権情報１２を多重化する。
【００５８】
同様の手法を用いて、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に著作権情報二重登録防止フラグを情報多重化する。
【００５９】
処理が終了した画像データは出力バッファ８３に送られ、著作権情報多重化済み画像データ８５を出力する。また、著作権管理センタは、ＭＰＥＧデータに多重化した著作権情報８７を抽出するための秘密情報８８を著作権情報データベース８６に登録する。
【００６０】
情報コンテンツ利用者は、入手した著作権情報を多重化されたＭＰＥＧ標準の符号化方式による画像データ８５を著作権情報抽出装置に送ることで、その情報コンテンツの著作権者を知ることができる。すなわち、著作権情報抽出装置は、入手されたＭＰＥＧ標準の符号化方式による画像データを構文解析し、マクロブロック層の量子化特性値を得る。そして、各量子化特性値から著作権情報を抽出し、再構成することで、情報コンテンツの著作権情報を情報コンテンツ利用者に提示する。
【００６１】
〈実施例４〉
上記各実施例を種々組み合わせて、著作権保護システムを構築することも可能である。図９に、一例として上記の３つを組み合わせた第四の実施例を示す。すなわち、この実施例は、ブロックの画像情報を示すＤＣＴ係数の値およびマクロブロック層にある動きベクトル値のパラメタおよび量子化特性値にそれぞれ著作権情報の項目を割り振ることで、著作権情報を多重化したＭＰＥＧ標準の符号化方式による画像データを生成するものである。
【００６２】
多重化を行うにあたり、予め多重化する著作権情報を二つの項目に分割し、それぞれ著作権情報Ａ、著作権情報Ｂとする。
【００６３】
著作権保護対象であるＭＰＥＧ標準の符号化方式の画像データ８９は、まず、著作権情報二重登録防止装置９０に送られる。著作権情報二重登録防止フラグ抽出部９２では、秘密裏に多重化されている著作権情報二重登録防止フラグ９３を抽出する。著作権情報二重登録検証部９４では、入力された符号化画像８９が過去に著作権登録されているかを調べる。このようにして、著作権情報二重登録防止装置９０は、入力された符号化画像８９が過去に著作権登録されていない場合にのみ、符号化画像９６を著作権情報多重化装置９７に送り、符号化画像８９が過去に著作権登録されている場合は、著作権情報登録済み出力９５を行なう。
【００６４】
著作権情報多重化装置９７内にあるＭＰＥＧ標準符号構文解析装置９８は、符号化画像９６を受け取ると、各マクロブロック毎の情報９９に分割し、著作権情報多重化処理部１００に送る。
【００６５】
著作権情報多重化処理部１００は、受けとった各マクロブロック毎の情報９９が量子化特性値をもっている場合は、マクロブロック層にある量子化特性値を変換することにより、著作権情報１０１の情報Ａを情報多重化する。また同時に、受けとった各マクロブロック毎の情報９９が動き補償ありマクロブロックの場合にのみ、マクロブロック層にある動きベクトルのパラメタから動きベクトルを計算し、これを〔数６〕を用いて変換することにより、著作権情報１０１の情報Ｂを情報多重化し、画像バッファ１０２を用いて画像再符号化処理部１０３でＤＣＴ係数を再符号化する。処理が終ったマクロブロックの画像は画像バッファ１０２に蓄えられる。
【００６６】
これらの処理と同時に、著作権情報多重化処理部１００は、受けとった各マクロブロック毎の情報９９がイントラマクロブロックおよび動き保証ありマクロブロックと動き保証なしマクロブロックのブロックの場合は、それぞれブロックの画素値のエントロピーを計算し、あらかじめ決められたエントロピーの閾値１０４よりブロックの画素値のエントロピーが大きい場合、情報多重化を行う。
【００６７】
ＤＣＴ係数の値への著作権情報多重化については、著作権情報１０１の情報ＡとＢそれぞれのハッシュ値を計算し、この値を情報多重化する。具体的には、秘密情報である乱数発生鍵１０５を用いて乱数発生器１０６で乱数１０７を発生させ、これを用いてＤＣＴ係数行列内の著作権情報多重化を行うＤＣＴ係数を選定し、この値を〔数３〕、〔数４〕を用いて変更することにより、著作権情報１０１の情報Ａおよび情報Ｂのハッシュ値および動きベクトル・量子特性値に多重化された情報を抽出するための各個人別秘密情報１０８を情報多重化し、その後、〔数５〕を用いて画素値のレンジオーバの処理を施す。
【００６８】
同様の手法を用いて、ＤＣＴ係数領域には、著作権管理センタのみが知っている秘密情報を使って得られる間隔毎に、著作権情報二重登録防止フラグを情報多重化する。処理が終った画像は出力バッファ１０９に送られ、著作権情報多重化済み画像データ１１０を出力する。
【００６９】
情報コンテンツ利用者は、入手したＭＰＥＧ標準の符号化方式による画像データ１１０の著作権情報を知りたい場合、このデータを著作権情報抽出装置に入力する。著作権情報抽出装置は、画像データを受け取り復号を行う。そして、マクロブロック層にある動きベクトルのパラメータから動きベクトルを算出し、情報抽出を行い、これを再構成することにより著作権情報Ａを得る。また、マクロブロック層にある量子化特性値から情報抽出を行い、これを再構成することにより著作権情報Ｂを得る。さらに、秘密情報である乱数発生鍵を用いて、各フレームを構成するブロックの画像情報を表すＤＣＴ係数から情報抽出を行い、これを再構成することにより著作権情報Ａおよび著作権情報Ｂそれぞれのハッシュ値を得る。このハッシュ値と先に得た著作権情報Ａおよび著作権情報Ｂのハッシュ値を比較することで、情報コンテンツ利用者が入手したＭＰＥＧ標準の符号化方式による画像データの改竄事実の有無を判定することができる。著作権情報抽出装置は、情報コンテンツの著作権情報と共に、海賊版でない正規の情報コンテンツであることを情報コンテンツ利用者に提示する。
【００７０】
以上、各実施例では、著作権保護システムにおいて、ＭＰＥＧ符号化画像データに著作権情報を多重化するとしたが、本発明の情報多重化方法は、原理的に多重化情報を著作権情報に限る必要はない。
【００７１】
また、著作権保護システムを対象とする場合でも、多重化する情報を配布先の利用者ユーザに対応する個別の情報とすることにより、不正コピーを防止するシステムを提供できる。
【００７２】
【発明の効果】
以上説明したように、本発明によると、符号化されたデジタル画像に対して、著作権情報やその他の情報を情報コンテンツに多重化することで可能で、既存の符号化されたデジタル画像データに対して原画像が無くとも適用できる。著作権保護システムを対象とした場合、デジタル画像と著作権情報を分離不能にすることで、多重化している著作権情報への改竄を困難にしており、従来の方式よりも高い安全性を持った著作権保護方式システムが実現できる。
また、情報コンテンツ利用者が自分の手元で簡単に著作権情報を入手することができるため、情報コンテンツの販売促進や、海賊版流出の抑止、著作権に対する利用者のモラル向上につながる。また、コンテンツ利用者が簡単に手元で検証できる著作権情報と検証ができない配布先である情報コンテンツ利用者のユーザ情報とを同時に多重化することで、利用者の簡単な著作権情報検証と不正コピー防止といった、より高度な著作権保護も行なうことができる。
【図面の簡単な説明】
【図１】本発明の一実施例の著作権保護システムの全体構成図である。
【図２】ＭＰＥＧ標準の符号化方式による画像データの構造を示す図である。
【図３】各ピクチャの参照関係を示す図である。
【図４】著作権保護システムにおける著作権情報管理センタの第１の実施例の構成図である。
【図５】ＤＣＴ係数への情報多重化方法の概要を示す図である。
【図６】画素のレンジオーバに対する対処方法の概要を示す図である。
【図７】著作権保護システムにおける著作権情報管理センタの第２の実施例の構成図である。
【図８】著作権保護システムにおける著作権情報管理センタの第３の実施例の構成図である。
【図９】著作権保護システムにおける著作権情報管理センタの第４の実施例の構成図である。
【符号の説明】
１  情報コンテンツ提供者
２  原デジタル画像
３  情報コンテンツ提供者側暗号化装置
４  著作権管理センタの公開鍵
５  無線および有線の伝送路または流通および配送経路
６  著作権管理センタ
７  暗号化されたデジタル画像
８  著作権管理センタ側復号化装置
９  著作権管理センタの秘密鍵
１０  復号化されたデジタル画像
１１  著作権情報二重登録防止装置
１２  著作権情報
１３  著作権情報多重化装置
１４  著作権管理センタ側暗号化装置
１５  情報コンテンツ提供者の公開鍵
１６  暗号化された著作権情報多重化済みデジタル画像
１７  情報コンテンツ側復号化装置
１８  情報コンテンツ提供者の秘密鍵
１９  著作権情報多重化済みデジタル画像
２０  情報コンテンツ利用者
２１  著作権情報抽出装置
２２  抽出された著作権情報
【図１】
0003601566.tif 000011
【図２】
0003601566.tif 000012
【図３】
0003601566.tif 000013
【図４】
0003601566.tif 000014
【図５】
0003601566.tif 000015
【図６】
0003601566.tif 000016
【図７】
0003601566.tif 000017
【図８】
0003601566.tif 000018
【図９】
0003601566.tif 000019