(57)【特許請求の範囲】
【請求項１】
画像信号の１画面分を、複数画素からなるブロック単位に分割し、このブロック単位に、スペクトラム拡散信号からなる付加情報の１チップを割り当てて、前記画像信号に前記付加情報を重畳し、前記付加情報を重畳した前記ブロック単位の画像信号を離散コサイン変換してデータ圧縮して伝送するようにする方法であって、
前記ブロック単位毎に、当該ブロック内での画像信号のばらつき度を求め、その求めたばらつき度が大きいほど、前記重畳する付加情報の重畳レベルを大きくするように制御するようにした
ことを特徴とする画像信号への情報付加方法。
【請求項２】
請求項１に記載の画像信号への情報付加方法において、
前記ブロック単位の画像信号を、さらにサブブロックに分割し、前記サブブロック毎のばらつきから前記ブロック内での画像信号のばらつき度を求める
ことを特徴とする画像信号のへの情報付加方法。
【請求項３】
画像信号の１画面分を、複数画素からなるブロック単位に分割するブロック化手段と、
付加情報をスペクトラム拡散信号として発生する付加情報発生手段と、
前記ブロック化手段からのブロック単位の画像信号に、前記付加情報発生手段からのスペクトラム拡散信号の１チップを割り当てて、前記画像信号に前記付加情報を重畳する重畳手段と、
前記ブロック単位毎に、当該ブロック内での画像信号のばらつき度を求めるばらつき度の検出手段と、
前記付加情報発生手段と前記重畳手段との間に設けられ、前記ばらつき度の検出手段で求められた前記ブロック毎のばらつき度が大きいほど、前記付加情報発生手段からのスペクトラム拡散信号の１チップ毎の前記付加情報の重畳レベルを大きくするように制御する重畳レベル制御手段と、
前記重畳手段からのブロック単位の画像信号を離散コサイン変換してデータ圧縮するデータ圧縮手段と、
を備えることを特徴とする画像信号への情報付加装置。
【請求項４】
請求項３に記載の画像信号への情報付加装置において、
前記ばらつき度の検出手段は、前記ブロック単位の画像信号を、さらにサブブロックに分割し、前記サブブロック毎のばらつきを検出し、
前記重畳レベル制御手段は、前記サブブロック毎のばらつきから前記ブロック内での画像信号のばらつき度を求める
ことを特徴とする画像信号のへの情報付加装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号に、その再生画像にできるだけ影響のないように付加情報をスペクトラム拡散して微小レベルで重畳して伝送するようにする画像信号への情報付加方法および情報付加装置に関する。
【０００２】
【従来の技術】
デジタルＶＴＲやＭＤ（ミニディスク）記録再生装置などのデジタル情報記録装置が普及しており、さらには、記録機能を備えたＤＶＤ（デジタルビデオディスクあるいはデジタルバーサタイルディスク）装置も登場するようになってきている。これらのデジタル情報記録装置においては、主情報信号としてのデジタル画像信号やデジタルオーディオ信号、さらにはコンピュータ等用のデータに付随して、種々の付加情報信号が記録可能とされる。
【０００３】
この場合、この付加情報信号はデジタル信号であり、例えばデジタル情報信号のブロック単位のデータに付加されるヘッダ部や、その他のＴＯＣ（Ｔａｂｌｅｏｆ  Ｃｏｎｔｅｎｔｓ）のエリアなど、デジタル情報信号とは領域的に区別されるようなエリアに記録されるものとして、デジタル情報信号に対して付加される。
【０００４】
【発明が解決しようとする課題】
以上のように、従来の主情報信号に付加情報を重畳して記録するなどして伝送するシステムの場合、付加情報信号はヘッダ部などのデジタル情報信号に直接的に重畳するのではなく、間接的な部分に付加するようにしている。このため、フィルタリングや改ざんにより、比較的容易に付加情報信号が欠落してしまい、記録装置や再生装置で、必要な付加情報信号を検出することが不可能になる場合を生じる。特に、付加情報信号として、不正な複製を防止するための制御情報や、著作権情報などが付加される場合、このような付加情報信号の欠落のため、当初の目的を達成できない状態を現出しまうことになる。
【０００５】
また、上述のような間接的な部分への付加情報信号の付加の場合には、デジタル情報信号をアナログ信号に変換したときには、主情報信号しか得られないため、付加情報信号は欠落してしまうことになる。このことは、付加情報信号として上述のような複製防止制御信号を重畳して、不正なデジタル情報信号の複製が防止できるような施策が施されていても、アナログ信号に変換されたときには、もはや複製防止施策は全く意味を成さなくなってしまう状態になることを意味している。
【０００６】
以上のような付加情報信号の欠落の問題点およびアナログ信号に変換したときの問題点を解決する付加情報信号の重畳方式として、本出願人は、先に、複製防止制御信号などの付加情報信号をスペクトラム拡散し、このスペクトラム拡散した付加情報信号を画像信号に重畳して、画像信号をデジタル記録あるいはアナログ記録する方式を提案している（特願平７−３３９９５９号参照）。
【０００７】
この方式においては、拡散符号として用いる、例えばＰＮ（Ｐｓｅｕｄｏｒａｎｄｏｍ  Ｎｏｉｓｅ）系列の符号（以下、ＰＮ符号という）を十分に早い周期で発生させて、これを付加情報信号に対して掛け合わせることによりスペクトラム拡散し、狭帯域、高レベルの複製防止制御信号などの付加情報信号を、画像信号には影響を与えることのない広帯域、微小レベルの信号に変換させる。そして、このスペクトラム拡散された付加情報信号、すなわち、スペクトラム拡散信号をアナログ画像信号に重畳して記録媒体に記録するようにする。この場合、記録媒体に記録する画像信号は、アナログ、デジタルのどちらでも可能である。
【０００８】
この方式においては、複製防止制御信号などの付加情報信号は、画像信号と同一時間、同一周波数内に重畳されるため、例えば違法に複製しようとする者が、重畳された複製防止制御信号を画像信号から取り除くことは難しい。一方、逆スペクトラム拡散することにより重畳された複製防止制御信号などの付加情報信号を検出して、利用することは可能である。
【０００９】
以上のようにして、画像信号とともに複製防止制御信号を確実に記録装置側に提供することができると共に、この記録装置側において、この複製防止制御信号を検出し、検出した複製防止制御信号に応じた複製制御を確実に行うことができる。
【００１０】
ところで、上述のように、画像信号に、付加情報を重畳する場合に、画像信号から付加情報を除去するわけではないので、前述もしたように、画像信号の再生画像に影響を与えることのない微小レベルで、付加情報を画像信号に重畳する必要がある。しかし、微小レベルとはいっても、主情報信号から確実にスペクトラム拡散信号を検出できることが重要であり、できるだけ重畳レベルを大きくして誤検出の確率を下げることが望まれる。
【００１１】
このため、スペクトラム拡散信号を画像信号に重畳する場合には、再生画像への影響の低減と、付加情報の誤検出確率の低下のいずれかを犠牲にして、両者について、妥協できる重畳レベルで、付加情報としてのスペクトラム拡散信号を画像信号に重畳するようにしなければならなかった。
【００１２】
この発明は、以上の点にかんがみ、再生画像への影響の低減と、付加情報の誤検出確率の低下のいずれをも満足することができる情報付加方法および情報付加装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するため、請求項１の発明においては、
画像信号の１画面分を、複数画素からなるブロック単位に分割し、このブロック単位に離散コサイン変換して前記画素信号をデータ圧縮すると共に、前記ブロック単位に、スペクトラム拡散信号からなる付加情報の１チップを割り当てて、前記画像信号に前記付加情報を重畳する方法であって、
前記ブロック単位毎に、当該ブロック内での画像信号のばらつき度を求め、その求めたばらつき度に応じて、前記重畳する付加情報の重畳レベルを制御するようにした
ことを特徴とする画像信号への情報付加方法を提供する。
【００１４】
人間の視覚特性として、例えば輝度変化が少ない平坦な画像の場合には、これに微小なノイズを付加すると、当該ノイズが目に付きやすいが、変化の激しい画像の場合には、それにノイズを付加しても気付きにくいという性質がある。
【００１５】
上述の請求項１の発明においては、画像信号のブロック単位毎にスペクトラム拡散信号の１チップを割り当てて付加情報を重畳するのであるが、当該１チップ当たりの重畳レベルを、ブロック単位の画像信号のばらつき度に応じて制御する。すなわち、例えば、ブロック内の画像が平坦で、ばらつき度が小さいものであるときには、当該チップの重畳レベルは小さい値に設定し、また、ブロック内の画像が変化の激しい、ばらつき度が大きいものであるときには、当該チップの重畳レベルは大きくする。
【００１６】
このようにばらつき度に応じて、スペクトラム拡散信号の重畳レベルを大きくすることができるため、重畳される付加情報が画像上、目立たない上に、付加情報の誤検出確率を下げることができる。
【００１７】
すなわち、平坦な画像の場合には、付加情報の重畳量が減るが、後述するように、この平坦な画像の場合には、画像と拡散符号との相関が小さくなり、後述するようにもともと検出感度が高い画像に相当するため、重畳量が減っても誤検出の確率が上がってしまうことはない。一方、ばらつきが大きい画像の場合には、後述するようにスペクトラム拡散信号の検出確率は悪いのであるが、この発明の場合には、重畳レベルが大きくされて、重畳量が増えるために、検出感度が高くなるものである。
【００１８】
以上の画像のばらつき度と、スペクトラム拡散信号の検出感度との関係をさらに説明する。
【００１９】
画像信号にスペクトラム拡散信号が重畳された信号Ｓｉから、スペクトラム拡散信号を検出するときの逆スペクトラム拡散時の評価関数φは、
0004003098.tif 000002
となる。Ｖｉは画像信号等の主情報信号、ｐｉはＰＮ符号などの拡散符号、ｋｉは係数をそれぞれ示している。
【００２０】
この（１）式において、第１項目は、画像信号等の主情報信号と拡散符号との相関を表し、第２項目がスペクトラム拡散信号と拡散符号との相関を表すものである。この（１）式から、主情報信号例えば画像信号と拡散符号との相関がなければ、あるいは小さければ、スペクトラム拡散信号の検出感度は大きく、逆に、画像信号と拡散符号との相関が大きいときには、スペクトラム拡散信号の検出感度が小さくなってしまうことが分かる。
【００２１】
そして、今、１画面当たりのチップ数（＝ブロック数）をＮ、画像分の分散（ばらつき度に相当）をσｖ、拡散符号分の分散をσｐ、相関係数をγとすると、
γ≒（１／Ｎ）・ΣＶｉ・ｐｉ／（σｖ・σｐ）
となる。
【００２２】
ここで、σｐ＝１であるので、
ΣＶｉ・ｐｉ≒γ・Ｎ・σｖ
となり、（１）式の第１項目は、ほぼ画像分のばらつき分σｖに比例することになる。したがって、画像のばらつき度が小さければ、画像信号と拡散符号との相関分が小さく、（１）式の第１項目が小さくなるので、検出感度が大きくなる。また、画像のばらつき度が大きければ、画像信号と拡散符号との相関分が大きくなり、（１）式の第１項目が大きくなるので、検出感度が低くなるのである。
【００２３】
したがって、上述もしたように、請求項１の発明によれば、ブロック毎のばらつき度に応じて、スペクトラム拡散信号の１チップ当たりの重畳レベルが、スペクトラム拡散信号の検出感度が小さくなる部分では大きくされ、スペクトラム拡散信号の検出感度が大きくなる部分では小さくされるので、スペクトラム拡散信号である付加情報の誤検出の確率が低くなる。しかも、このように重畳レベルを制御した場合には、前述したように、人間の視覚特性により、付加情報が画像上、目に付くことが防止される。
【００２４】
また、請求項２の発明においては、請求項１に記載の画像信号への情報付加方法において、
前記ブロック単位の画像信号を、さらにサブブロックに分割し、前記サブブロック毎のばらつきを考慮して前記付加情報の重畳レベルを制御することを特徴とする。
【００２５】
この請求項２の発明によれば、サブブロック毎にばらつき度が検出され、そのサブブロック単位のばらつき度から、ブロック内でのばらつき度を求めることができるので、ブロック内における局所的に大きなばらつきがあっても、それに左右されることなく、ブロック毎の適切なばらつき度を検出することができる。
【００２８】
【発明の実施の形態】
以下、この発明による画像信号への情報付加方法および装置の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態は、画像信号が映像信号であって、この映像信号を、ＭＰＥＧ２方式などのＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）を用いた圧縮方式によりデジタル圧縮し、その圧縮映像信号をネットワークを通じて伝送する、あるいは記録媒体に記録するなどの方法により伝送する場合に、デジタル映像信号に、例えば複製防止制御信号の付加情報信号をスペクトラム拡散して重畳する場合である。
【００２９】
この実施の形態においては、図２（Ａ）に示すように、映像信号は、その１画面分（１フレームあるいは１フィールド）を、例えば水平方向×垂直方向＝８画素×８画素からなる矩形領域毎のブロックＢＬに分割し、そのブロックＢＬ単位でＤＣＴ処理して圧縮するようにする。そして、付加情報はスペクトラム拡散信号として、拡散符号の１チップが１ブロックＢＬに割り付けられるようにして、映像信号に重畳する。
【００３０】
そして、この実施の形態では、映像信号に対して、スペクトラム拡散信号の１チップの値が「０」のときには正のレベル（デジタル信号レベル）として、「１」のときには負のレベルとして、付加情報としてのスペクトラム拡散信号を映像信号に重畳するものである。そして、１チップとして重畳するレベルは、映像信号の再生画像に対する影響が最小限に押さえられる微小レベルとされる。
【００３１】
なお、この実施の形態は、付加情報として複製防止制御信号を重畳するものであり、伝送されたデジタル映像信号についての複製防止制御を行うことができるようにする場合である。この複製防止制御信号は、例えば第１世代の複製のみは許可するなどの世代制限を内容とするものでもよいし、映像信号の複製の禁止または許可を示す信号でもよく、１ビットあるいは数ビットで構成されるものである。
【００３２】
また、以下の実施の形態では、スペクトラム拡散信号は、映像信号のうちの輝度信号Ｙに重畳され、色信号Ｃには、重畳しない。色信号Ｃにもスペクトラム拡散信号を重畳することも勿論可能である。しかし、映像信号の色信号の伝送には、例えば色差信号などの２つの位相軸の成分により行って、これら２軸の位相により色を再現するようにするため、スペクトラム拡散信号を色信号に重畳すると、微小レベルであっても、色相の変化となってしまうので、比較的目立ちやすく、色相変化に影響なくスペクトラム拡散信号を重畳することが困難である。このため、この実施の形態では、輝度信号にのみスペクトラム拡散信号を重畳するものとする。ただし、説明の簡単のため、以下の説明においては、輝度信号Ｙと色信号Ｃとを区別することなく、映像信号という表現を用いる。
【００３３】
図１は、この実施の形態の場合の情報付加装置の例を示すブロック図である。入力されたアナログ映像信号Ｖｉは、Ａ／Ｄ変換部１１でデジタル信号に変換され、有効画面切り出し部１２に供給されて、同期信号部分が除去された後に、ブロック分割部１３に供給される。
【００３４】
ブロック分割部１３では、デジタル映像信号は、図２（Ａ）に示すように、その１画面分毎について、水平×垂直＝８画素×８画素のブロックＢＬ単位に分割される。そして、このブロック分割部１３からのブロックＢＬ単位のデータが、付加情報の重畳部１４に供給される。そして、後述するように、スペクトラム拡散信号からなる付加情報が、この重畳部１４に供給されて、スペクトラム拡散信号の１チップがブロックＢＬ単位のデータに丁度割り当てられるように重畳される。
【００３５】
この重畳部１４からの付加情報が重畳されたデジタル映像信号は、ＤＣＴ処理部１５に供給される。このＤＣＴ処理部１５では、ブロックＢＬ単位のデータについて時間軸領域の信号を周波数領域のＤＣＴ係数に変換するＤＣＴ演算処理を行う（図２（Ｂ），（Ｃ）参照）。
【００３６】
ＤＣＴ処理部１５からの演算処理結果は、量子化部１６に供給されて量子化される。量子化部１６の出力は、動き補償回路１８を介してＤＣＴ処理部１５に供給されて、動き成分のＤＣＴ演算が行われる。すなわち、Ｉピクチャと呼ばれるイントラフレームでは、当該フレーム内でＤＣＴ演算処理が行われるが、ＢピクチャやＰピクチャなどのインターフレームでは、前、後のフレームの差分をとって、その差分をデータとして伝送するようにするが、その差分をできるだけ小さくするため、フレーム間の動きベクトルを検出して、その動き成分をも伝送するようにするものである。
【００３７】
量子化部１６の出力は、可変長符号化部１７でハフマン符号を用いた可変長符号化が行われて、例えば記録などの伝送のために出力信号Ｄｖとして出力される。
【００３８】
付加情報は次のようにしてスペクトラム拡散信号として生成されて、重畳される。すなわち、入力アナログ映像信号Ｖｉは、同期分離部２１に供給される。この同期分離部２１は、アナログ映像信号Ｖｉから、水平同期信号Ｈおよび垂直同期信号Ｖを分離し、分離した水平同期信号Ｈおよび垂直同期信号Ｖは、タイミング信号発生部２２に供給する。
【００３９】
タイミング信号発生部２２は、水平同期信号Ｈおよび垂直同期信号Ｖを基準信号として用いて、映像信号をデジタル化して圧縮処理を施すためのタイミング信号を生成する。タイミング信号発生部２２は、また、後述するように、スペクトラム拡散信号を生成するための拡散符号としてのＰＮ符号を発生させる区間を示すＰＮ発生イネーブル信号ＥＮや、ＰＮ符号の発生開始タイミングを示すＰＮ符号リセットタイミング信号ＲＥ（以下、リセット信号ＲＥと略称する）や、ＰＮクロック信号ＰＮＣＬＫを生成する。
【００４０】
図３は、この実施の形態のタイミング信号発生部２２を説明するためのブロック図である。この図３に示すように、この実施の形態のタイミング信号発生部２２は、ＰＮ発生タイミング信号生成部２２１、ＰＬＬからなるＰＮクロック生成部２２２、タイミング信号生成部２２３を備え、ＰＮ発生タイミング信号生成部２２１およびタイミング信号生成部２２３には、同期分離部１８からの水平同期信号Ｈおよび垂直同期信号Ｖが供給され、ＰＮクロック生成部２２２には同期分離部１８からの水平同期信号Ｈが供給される。
【００４１】
ＰＮ発生タイミング信号生成部２２１は、垂直同期信号Ｖを基準信号として用いて、スペクトラム拡散に用いる拡散用のＰＮ符号列の繰り返し周期を決める垂直周期のリセット信号ＲＥを生成する。ＰＮ発生タイミング信号生成部２２１は、また、ＰＮ発生イネーブル信号ＥＮを生成する。
【００４２】
ＰＮクロック生成部２２２は、ＰＬＬ回路を用いて、水平同期信号Ｈに同期し、かつ、ブロックＢＬ単位の画像データ周期のＰＮクロックＰＮＣＬＫを生成する。すなわち、ＰＮクロックＰＮＣＬＫは、１ブロックＢＬ分のデータ毎の周期、この例では、８×８＝６４画素周期のクロック信号である。このＰＮクロックＰＮＣＬＫは、拡散符号のチップ周期を決めるものである。
【００４３】
また、タイミング信号生成部２２３は、垂直同期信号Ｖおよび水平同期信号Ｈに基づいて、前述したように、この図１の装置において、映像信号のデジタル化および圧縮処理で用いられる各種のタイミング信号を生成する。このタイミング信号生成部２２３からのタイミング信号には画素単位のクロックを含む。
【００４４】
タイミング信号発生部２２からのＰＮ発生イネーブル信号ＥＮおよびリセット信号ＲＥ並びにＰＮクロックＰＮＣＬＫは、ＰＮ発生部２３に供給される。
【００４５】
ＰＮ発生部２３は、クロック信号ＰＮＣＬＫと、イネーブル信号ＥＮと、リセット信号ＲＥとに応じてＰＮ符号を発生する。すなわち、ＰＮ発生部２３は、リセット信号ＲＥにより、この例では、垂直周期でリセットされ、予め決められた符号パターンのＰＮ符号列ＰＳをその先頭から生成する。そして、ＰＮ発生部２３は、イネーブル信号ＥＮによりＰＮ符号発生可能状態（イネーブル状態）とされるときにのみ、クロック信号ＰＮＣＬＫに応じて、ＰＮ符号列ＰＳを発生する。
【００４６】
図４は、ＰＮ発生部２３の構成例を示す図である。この例のＰＮ発生部２３は、１５段のシフトレジスタを構成する１５個のＤフリップフロップＲＥＧ１〜ＲＥＧ１５と、このシフトレジスタの適宜のタップ出力を演算するイクスクルーシブオア回路ＥＸ−ＯＲ１〜ＥＸ−ＯＲ３とからなっている。そして、図４に示すＰＮ発生部２０は、上述したように、イネーブル信号ＥＮ、ＰＮクロック信号ＰＮＣＬＫ、ＰＮ符号リセットタイミング信号ＲＥに基づいて、Ｍ系列のＰＮ符号列ＰＳを発生する。
【００４７】
こうして得られたＰＮ発生部２３からのＰＮ符号列ＰＳは、ＳＳ（この明細書において、ＳＳはスペクトラム拡散の略である。以下同じ）付加情報生成部２４に供給される。ＳＳ付加情報生成部２４は、前述した複製防止制御信号と、ＰＮ発生部２３からのＰＮ符号列ＰＳとを乗算してスペクトラム拡散する乗算部を備え、ＳＳ付加情報として、ＳＳ複製防止制御信号を生成する。この場合、このＳＳ付加情報生成部２４に供給される、あるいはこの生成部２４でスペクトラム拡散される複製防止制御信号は、少なくとも、各１ブロックＢＬ内においては、同じ情報ビット内容となるようにされている。
【００４８】
そして、ＳＳ付加情報生成部２４は、生成したＳＳ複製防止制御信号を、重畳レベル制御部２５を通じて重畳部１４に供給する。
【００４９】
この場合、重畳レベル制御部２５は、ＳＳ複製防止制御信号のチップの値に応じたデジタルレベルであって、ＳＳ複製防止制御信号のチップの値が「０」のときには正の微小レベルを重畳レベルとして、「１」のときには負の微小レベルを重畳レベルとして、出力するものであるが、そのそれぞれの重畳レベルを、ブロックＢＬ毎のばらつき度に応じて可変に制御する。
【００５０】
この重畳レベル制御部２５での重畳レベルの制御のため、ブロック分割部１３からのブロックＢＬ単位の画像データは、ばらつき度演算部２６に供給され、ブロックＢＬ内における輝度レベルのばらつき度が演算される。この場合、ばらつき度σｖは、ブロックＢＬ内の各画素の値をＶｉとし、また、ブロックＢＬ内のすべての画素の平均値をＶevenとしたとき、
σｖ＝Σ（Ｖｉ−Ｖeven）2 ／Ｍ        ……（２）
として求められる。ここで、ＭはブロックＢＬ内の画素数であり、この実施の形態ではＭ＝６４である。このばらつき度演算部２６の、ばらつき度の演算結果が、重畳レベル制御部２５に供給される。
【００５１】
重畳レベル制御部２５は、ブロックＢＬ単位のばらつき度σｖと、重畳レベルを決定するための係数との対応テーブルを記憶しているルックアップテーブル２５１と、重畳レベル設定部としての掛け算回路２５２とからなる。ルックアップテーブル２５１は、例えば、図６に示すようなものとされる。すなわち、ばらつき度σｖが、０≦σｖ＜ａのときには、ルックアップテーブル２５１からの乗算係数値は、「１」とされる。また、ばらつき度σｖが、ａ≦σｖ＜ｂのときには、ルックアップテーブル２５１からの乗算係数値は、「２」とされる。また、ばらつき度σｖが、ｂ≦σｖのときには、ルックアップテーブル２５１からの乗算係数値は、「３」とされる。
【００５２】
そして、掛け算回路２５２で、スペクトラム拡散信号のチップ値「０」「１」に応じた正、負の、予め設定された微小な初期値に対して、前記ルックアップテーブル２５１からの乗算係数値が掛け算演算される。これにより、重畳レベル制御部２５からは、ブロック毎の画像のばらつき度に応じた重畳レベルとされたスペクトラム拡散信号が得られ、これが重畳部１４に供給されて、ブロック単位の画素データに重畳される。すなわち、図２（Ｂ）で網点を付して示すように、１ブロックＢＬ内のすべての画素に均等に、チップ値に応じた正、負の信号であって、ブロック内の画素値のばらつき度に応じたレベルの信号が重畳されることになる。
【００５３】
こうして、映像信号のブロック毎に、ブロック内の画素のばらつき度が大きく、ノイズが重畳されても目立たないときには、大きい重畳レベルで、ブロック内の画素のばらつき度が小さく、ノイズが重畳されると目に付くような平坦が部分では小さい重畳レベルで、それぞれスペクトラム拡散信号の各１チップが重畳されて、映像信号に付加情報が重畳される。したがって、重畳された付加情報が目立たず、しかも、スペクトラム拡散信号の検出感度の向上が期待できる状態で、スペクトラム拡散信号が映像信号に重畳される。
【００５４】
この場合に、重畳部１４からの信号をＤＣＴ変換したときには、図２（Ｃ）に示すように、重畳されたスペクトラム拡散信号の付加情報成分は、すべてＤＣＴ係数の直流成分である係数ＤＣに集中することになる。
【００５５】
そこで、後述もするように、この実施の形態では、付加情報として重畳されたＳＳ複製防止制御信号は、逆ＤＣＴ変換する前のＤＣＴ係数のデータの状態で、ＤＣＴ係数の直流分、すなわち、係数ＤＣのみを取り出して、逆スペクトラム拡散することで映像信号から検出することが可能になる。
【００５６】
こうして伝送される映像データは、復号化を行ったときには、逆ＤＣＴ演算の際に、係数ＤＣにＳＳ複製防止制御信号が含まれるため、このＳＳ複製防止制御信号は映像信号にほぼ劣化なく重畳されて復元される。周波数の高い成分の場合には、圧縮により、消失しまうことがあるが、直流成分である係数ＤＣは、必ず、圧縮信号中に含まれるからである。したがって、ＳＳ複製防止制御信号は確実に伝送され、複製制御が確実に実施される。
【００５７】
図５は、以上のように微小レベルで重畳されるスペクトラム拡散信号と、映像信号との関係をスペクトルで示したものである。スペクトラム拡散される付加情報信号は、これに含まれる情報量は少なく、低ビットレートの信号であり、図５（ａ）に示されるように狭帯域の信号である。これにスペクトラム拡散を施すと、図５（ｂ）に示すような広帯域幅の信号となる。このときに、スペクトラム拡散信号レベルは帯域の拡大比に反比例して小さくなる。
【００５８】
このスペクトラム拡散信号を、重畳部１４で映像信号に重畳させるのであるが、この場合に、図５（ｃ）に示すように、映像信号などの情報信号のダイナミックレンジより小さいレベルで、スペクトラム拡散信号を重畳させる。このように重畳することにより映像信号などの情報信号の劣化がほとんど生じないようにすることができる。したがって、スペクトラム拡散信号が重畳された映像信号がモニター受像機に供給されて、映像が再生された場合に、スペクトラム拡散信号の影響はほとんどなく、良好な再生映像が得られるものである。
【００５９】
しかし、後述するように、重畳されたスペクトラム拡散信号を検出するために、スペクトラム逆拡散を行うと、図５（ｄ）に示すように、スペクトラム拡散信号が再び狭帯域の信号として復元される。十分な帯域拡散率を与えることにより、逆拡散後の付加情報信号の電力が情報信号を上回り、検出可能となる。
【００６０】
この場合、映像信号等の情報信号に重畳された付加情報信号は、映像信号等の情報信号と同一時間、同一周波数内に重畳されるため、周波数フィルタや単純な情報の置き換えでは削除および修正が不可能である。
【００６１】
したがって、必要な付加情報信号を映像信号等に重畳して記録することにより、映像信号等に付随して、上述のような複製防止制御信号のような付加情報信号を確実に伝送することができる。しかも、上述の実施の形態のように、映像信号などの情報信号に比べて低い信号電力でスペクトラム拡散された付加情報信号を情報信号に重畳するようにした場合には、情報信号の劣化を最小にすることができる。
【００６２】
したがって、付加情報信号として、例えば複製防止用信号を映像信号に重畳した場合には、複製防止用信号の改ざんや除去が上述のように困難であるので、不正な複製を確実に防止することができる複製防止制御が可能になる。
【００６３】
また、上述の構成においては、垂直同期信号を基準信号とした、垂直周期のＰＮ符号列を用いてスペクトラム拡散を行うようにしたので、このスペクトラム拡散信号を映像信号から検出する場合に必要となる逆スペクトラム拡散用のＰＮ符号列は、映像信号から検出した垂直同期信号に同期した信号に基づき容易に生成することができる。すなわち、例えばスライディング相関器などを用いた逆拡散のためのＰＮ符号の同期制御は不要となる。このように、容易に逆拡散用のＰＮ符号列を生成することができるので、逆スペクトラム拡散を迅速に実行し、迅速にスペクトラム拡散されて映像信号に重畳されている複製防止制御信号などの付加情報信号を検出することができる。
【００６４】
なお、図１の例では、ＳＳ複製防止制御信号は、デジタル映像信号に重畳するようにしたが、Ａ／Ｄ変換前のアナログ映像信号に対して、ブロックＢＬ単位のデータに対応する複数画素に、スペクトラム拡散信号の１チップが対応するようにして重畳することも、もちろん可能である。
【００６５】
［付加情報の検出装置］
図７は、以上のようにして、ＳＳ付加情報が重畳された圧縮映像信号データから、元の映像信号を復元すると共に、付加情報である複製防止制御信号を検出する装置の実施の形態を示すものである。
【００６６】
図７に示すように、例えばＤＶＤディスクから読み出される等して得られる圧縮映像信号データＤｖは、可変長復号化部３１に供給されて、復号化され、逆量子化部３２に供給される。そして、この逆量子化部３２で逆量子化処理されることにより、ＤＣＴ係数からなるビットストリームのデータに戻される。この逆量子化部３２からのデータは、逆ＤＣＴ処理部３３に供給されて、周波数領域のＤＣＴ係数から、時間領域の画像データに戻される。そして、この逆ＤＣＴ処理部３３の出力がブロック分解部３４に供給されて、ブロックＢＬ単位のデータから元の時系列の画像データに戻され、Ｄ／Ａ変換器３５によりアナログ映像信号Ｖｉに戻される。
【００６７】
付加情報の検出は、この例の場合、次のようにしてなされる。すなわち、逆量子化部３２からのＤＣＴ係数からなるビットストリームのデータは、直流成分抽出部４１に供給されて、ＤＣＴ係数の直流成分である係数ＤＣが抽出される。
【００６８】
この係数ＤＣは、ＢピクチャーやＰピクチャーなどのインターフレームでの差分を積算して正しいデータを抽出するための加算器４２に供給される。この加算器４２の出力信号は、直流成分メモリ４３に一時格納される。直流成分メモリ４３は、ブロック単位の１フレーム分の記憶領域を備え、各ブロック単位の記録領域は加算器４２からの対応するブロックの新たな出力により更新される。そして、この直流成分メモリ４３からの各ブロック毎の直流成分出力は、スイッチ回路４４の一方の入力端に供給される。また、スイッチ回路４４の他方の入力端には、直流成分として「ゼロ（“０”）」が供給される。
【００６９】
このスイッチ回路４４は、可変長復号化部３１における入力デジタル圧縮データ中のヘッダ情報に含まれるイントラフレームか、インターフレームかの情報に応じて、切り換え制御される。すなわち、圧縮解凍中のデータが、イントラフレームのものであるとき、つまりＩピクチャでは、スイッチ回路４４は、“０”側に切り換えられる。このときの各ブロックＢＬのデータは、そのフレーム内で完結するデータであって、前後のフレームとの差分ではない当該フレーム内のデータであるからである。
【００７０】
一方、圧縮解凍中のデータが、インターフレームのデータであるときには、スイッチ回路４４は、直流成分メモリ４３側に切り換えられ、各ブロックについての差分がメモリ４３に蓄積され、その差分が次のフレームのデータに加算されて、正しいデータが復元されるものである。
【００７１】
以上のようにして、復元されたＤＣＴ係数の直流成分は、逆拡散部４５に供給される。一方、この逆拡散部４５には、重畳側のＰＮ符号と同期するＰＮ符号列が供給されて、逆拡散が施され、ＤＣＴ係数の直流成分に重畳されている付加情報が検出される。この場合、ＤＣＴ係数の直流成分には、前述したように、スペクトラム拡散信号である付加情報が、画像のばらつき度に応じて、再生画像上で目立たないブロック部分では重畳レベルが大きくされているので、逆拡散部４５での検出感度は上がっており、重畳されている付加情報が確実に検出される。検出された付加情報は、付加情報判定部４６に供給されて、付加情報のビットが判定される。
【００７２】
逆拡散用のＰＮ符号列は、次のようにして、重畳側に対して、同期して発生する。すなわち、圧縮映像信号データＤｖは、同期タイミング抽出部４７に供給されて、同期タイミング信号が生成される。この同期タイミング信号は、ブロック同期タイミング信号やフレーム単位のデータの同期タイミング信号を含む。この同期タイミング抽出部４７からの同期タイミング信号は、タイミング信号生成部４８に供給され、これにおいて、圧縮を解凍するために使用するクロックなどのタイミング信号や、逆拡散用の拡散符号を発生させるためのタイミング信号が生成される。
【００７３】
逆拡散用の拡散符号は、ＰＮ発生部４９から発生する。このＰＮ発生部４９は、前述した図４に示したＰＮ発生部とまったく同一の構成を有するものである。そして、タイミング信号生成部４８は、同期タイミング抽出部４７からの同期タイミング信号に基づいて、ＳＳ付加情報の重畳側で用いられたタイミング信号と同期するリセット信号ＲＥ、イネーブル信号ＥＮ、クロック信号ＰＮＣＬＫを生成し、それらをＰＮ発生部４９に供給する。
【００７４】
したがって、ＰＮ発生部４９からは、重畳側のＰＮ符号列と同期するＰＮ符号列が発生する。このＰＮ発生部４９からのＰＮ符号列により、逆拡散部４５においては、加算器４２の出力信号から付加情報が検出されるものである。
【００７５】
以上のようにして、検出され、判定された付加情報としての複製防止制御信号により、この実施の形態では、ビットストリームの段階のデジタル圧縮映像データについての複製が可能であるか否かを検出することができる。例えば、複製禁止であれば、バッファに取り込んだビットストリームデータを読み出さずに廃棄してしまう等の処理を行うようにすることができる。
【００７６】
そして、このように複製防止制御信号などの付加情報を検出するためにだけであれば、逆ＤＣＴ処理部は不要であるので、付加情報検出装置としての構成が簡単になり、安価になるというメリットがある。
【００７７】
例えば、ＤＶＤ再生装置やＤＶＤ記録再生装置では、ＭＰＥＧ２により圧縮された映像信号を時間軸領域の信号に戻すＭＰＥＧデコーダを備えているため、圧縮された映像信号を逆ＤＣＴ処理を行って、時間軸領域の映像信号に戻した後に、逆拡散を行って、付加情報を検出するようにすることが勿論できる。
【００７８】
しかし、ＤＶＤ−ＲＯＭドライバの場合には、ＭＰＥＧデコーダは備えておらず、このＤＶＤ−ＲＯＭドライバが接続されるパーソナルコンピュータなどにおいて、ＭＰＥＧデコードされることになる。その場合に、そのＭＰＥＧデコード前に、不正な複製を防止できれば有効な複製防止制御ができる。
【００７９】
そこで、上述した図７の各部３１、３２、４１〜４９からなる付加情報検出装置を、ＤＶＤ−ＲＯＭドライバに装備させるようにすれば、ＭＰＥＧデコーダのような高価な装置を用いなくても、比較的安価に、パーソナルコンピュータに取り込む前の段階で、ビットストリームのデータについて、複製防止などの制御処理が可能になる。
【００８０】
また、図７の各部３１、３２、４１〜４９からなる付加情報検出装置をＤＶＤ−ＲＯＭドライバ等とパーソナルコンピュータ等との間にアダプタ的に接続するようにしても、同様の作用効果が得られる。
【００８１】
なお、付加情報の検出は、以上のようにＤＣＴ係数の直流成分から検出するのではなく、逆ＤＣＴ処理部３３からのブロックＢＬ単位のデータについて行っても、勿論よい。
【００８２】
また、以上の実施の形態においては、垂直周期のＰＮ符号列によりスペクトラム拡散を行い、インターフレームにおける差分を考慮して、加算器４２および直流成分メモリ４３を設けた構成としてが、垂直周期のＰＮ符号列を、１差分をとるフレーム周期で反転させて、付加情報をスペクトラム拡散して重畳するようにすることにより、前記加算器４２および直流成分メモリ４３は、省略することができる。
【００８３】
［他の実施の形態］
以上の実施の形態においては、ばらつき度演算部２６では、ブロックＢＬ内のすべての画素の平均値を用いて、ブロックＢＬ内のすべての画素により、ばらつき度σｖを、前述の（２）式により求めるようにしたが、ブロックＢＬをさらに細かくサブブロックに分割し、そのサブブロック単位のばらつき度を考慮して、ブロック単位のスペクトラム拡散信号の１チップ当たりの重畳レベルを決定するようにすることもできる。
【００８４】
すなわち、例えば、図８（Ａ）に示すように、水平方向×垂直方向＝８×８画素のブロックＢＬを、４×４画素の４つのサブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４に分割し、そのサブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４毎に、図８（Ｂ）に示すように、前記（２）式によりばらつき度σｖ１、σｖ２、σｖ３、σｖ４を求める。そして、そのサブブロック毎のばらつき度の、例えば平均を求め、
σｖ＝（σｖ１＋σｖ２＋σｖ３＋σｖ４）／４
としてブロックＢＬのばらつき度σｖを求めるようにし、その求めたブロックＢＬ単位のばらつき度により、前述の実施の形態と同様にして、重畳レベルを決定するようにする。
【００８５】
このように、サブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４について求めたばらつき度から、ブロックＢＬ単位のばらつき度を求めた場合、より詳細な画像内容情報により、付加情報の重畳レベルが決定されるので、再生画像上で付加情報が目に付きにくく、かつ、検出感度を向上するというこの発明の目的を、より効果的に達成することができる。
【００８６】
また、サブブロックに分割したときに、スペクトラム拡散信号の１チップの重畳レベルを、ブロックＢＬ内で一定ではなく、サブブロック毎に、そのばらつき度に応じて変えるようにしてもよい。
【００８７】
図９は、その場合の例である。すなわち、図９（Ａ）に示すように、上述の例と同様に、ブロックＢＬを４つのサブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４に分割し、そのサブブロックＳＢ１，ＳＢ２，ＳＢ３，ＳＢ４毎に、前記（２）式によりばらつき度σｖ１、σｖ２、σｖ３、σｖ４を求める。そして、そのばらつき度σｖ１、σｖ２、σｖ３、σｖ４に応じて、各サブブロック単位の画素データに付いての重畳レベルを設定するようにする。
【００８８】
この場合のサブブロック単位の重畳レベルの設定方法としては、２通りがある。その一つは、ルックアップテーブル２５１をサブブロック単位で参照し、重畳レベルを変えるようにする方法である。
【００８９】
また、他の一つは、サブブロック単位のばらつき度σｖ１、σｖ２、σｖ３、σｖ４の平均により、ブロック単位のばらつき度σｖを求め、そのばらつき度σｖに応じてルックアップテーブル２５１を参照し、その参照結果の係数になるように、ブロック内の係数を、サブブロック毎に、そのばらつき度σｖ１、σｖ２、σｖ３、σｖ４に応じて配分する方法である。
【００９０】
後者の方法の例を図９（Ｂ）に示す。例えばブロック単位のばらつき度σｖによりルックアップテーブルを参照した結果の掛け算係数が「２」であったときに、サブブロック単位のばらつき度が、σｖ１＞σｖ２＞σｖ４＞σｖ３という関係があったとする。このときには、図９（Ｂ）に示すように掛け算係数をサブブロック単位に配分して、ブロックＢＬ全体としては、掛け算係数が「２」となるようにするものである。
【００９１】
いずれの方法においても、重畳レベルは、１チップ内で一定ではなく、サブブロック単位で重畳レベルが変わるようになる。このため、この実施の形態の場合には、ＤＣＴ係数の直流成分のみに付加情報が含まれる訳ではなくなるので、付加情報の検出は、逆ＤＣＴ変換を行った後の、ブロック単位のデータについて行うものである。
【００９２】
［変形例］
以上の説明では、ＳＳ付加情報は、１ブロックに１チップを対応させて映像信号に重畳するようにしたが、１ブロック以上の複数ブロック毎に１チップを割り当ててもよく、例えば４ブロック分であるマクロブロックが１チップに対応するように重畳してもよい。
【００９３】
また、水平および垂直の両方向の複数画素からなるブロックではなく、水平方向または垂直方向の一方向の複数画素からなるブロック毎に、あるいは、複数ブロック毎に１チップを割り当てて重畳するようにすることもできる。
【００９４】
また、この発明は、画像信号を圧縮して伝送する場合に限らず、ブロック単位にスペクトラム拡散信号の１チップを割り当てて重畳する場合のすべてに適用可能である。
【００９５】
また、スペクトラム拡散のための拡散符号のリセット周期は、１垂直周期ではなく、複数垂直周期であってもよい。さらに、拡散符号のリセット周期は、１水平周期または複数水平周期であってもよい。
【００９６】
また、上述の例では、拡散符号のチップの「０」「１」に応じて、重畳レベルを正、負に設定するようにしたが、一方が零レベルで、他方が正または負のレベルとして重畳するようにしてもよく、その場合には正または負のレベルについて上述したような固定パターンの重畳レベルパターンとすることにより、この発明は適用可能である。
【００９７】
また、上述の説明では、スペクトラム拡散して重畳する付加情報信号は、複製防止制御信号の場合であったが、この付加情報信号としては、複製防止制御信号に限らず、例えばデジタル映像信号に関連する情報、例えば各フィールドを識別するためのタイムコード情報、著作権情報などとすることもできる。著作権情報としては、例えば当該記録装置を特定する装置番号を用いることができる。この装置番号がデジタル映像信号Ｖｉに重畳して記録されていれば、複製された履歴を追跡することが容易にできるものである。
【００９８】
また、上述の説明では、デジタル映像信号にスペクトラム拡散信号を重畳する場合として説明したが、アナログ映像信号にスペクトラム拡散信号を重畳するようにすることも、もちろん可能であり、その場合にも、この発明は適用できることは言うまでもない。また、この発明は、映像信号ではなく、例えばイメージスキャナにより読み取った画像等の画像信号にスペクトラム拡散信号として付加情報を重畳する場合にも、勿論適用できる。
【００９９】
また、上述の説明では、付加情報ビットをＰＮ符号によりスペクトラム拡散するようにしたが、付加情報ビットに応じて系列の異なるＰＮ符号を重畳し、それらのＰＮ符号を検出することにより、スペクトラム拡散信号を検出する場合にももちろん適用できる。
【０１００】
また、例えば、ＰＮ符号を重畳した場合には「１」、重畳しない場合には「０」をそれぞれ伝送したものとすると言うように定めて、スペクトラム拡散信号としてＰＮ符号そのものを映像信号に重畳する場合にも、この発明は適用可能である。
【０１０１】
また、拡散符号としては、ＰＮ符号に限られるものではなく、ゴールド符号など、その他の符号を用いることもできることは言うまでもない。
【０１０２】
また、以上の説明では、記録再生システムに適用した場合について説明したが、画像信号に付加情報を重畳して、種々の伝送媒体、例えば電波、ケーブル、赤外線などにより、伝送する場合にも適用可能である。
【０１０３】
【発明の効果】
以上説明したように、この発明によれば、画像信号をブロック分割し、そのブロック単位にばらつき度を求めて、そのばらつき度に応じてスペクトラム拡散信号の重畳レベルを制御するので、ばらつきの大きな画像部分では比較的大きなレベルで重畳することができ、付加情報の検出感度を上げることができて、付加情報の誤検出確率を低下させることができる。しかも、ばらつきの大きい画像部分では、人間の視覚的な特性により、大きいレベルで重畳された付加情報は目に付きにくいため、再生画像の画質に対する付加情報の重畳による影響は少ない。
【０１０４】
また、ばらつき度の小さい画像部分では、もともとスペクトラム拡散信号の検出感度が高いので、このばらつき度の小さい画像部分で付加情報の重畳レベルが低くても、付加情報の誤検出確率は低くなるものである。
【図面の簡単な説明】
【図１】この発明による情報付加方法の実施の形態が適用された情報付加装置の例を示すブロック図である。
【図２】この発明による情報付加方法の実施の形態を説明するための図である。
【図３】図１の装置の一部の構成例を示す図である。
【図４】図１の装置の一部の構成例を示す図である。
【図５】情報信号と、スペクトラム拡散信号としての付加情報の重畳レベルとの関係を説明するための図である。
【図６】図１の装置の一部の構成を説明するための図である。
【図７】この発明による付加情報の重畳伝送方法の実施の形態が適用された付加情報検出側の装置の例を示すブロック図である。
【図８】この発明の他の実施の形態を説明するための図である。
【図９】この発明の他の実施の形態を説明するための図である。
【符号の説明】
１１…Ａ／Ｄ変換器、１２…有効画面切り出し部、１３…ブロック分割部、１４…重畳部、１５…ＤＣＴ処理部、１６…量子化部、１７…可変長符号化部、１８…動き補償回路、２１…同期分離部、２２…タイミング信号発生部、２３…ＰＮ発生部、２４…ＳＳ付加情報生成部、２５…重畳レベル制御部、２６…ばらつき度演算部
【図１】
0004003098.tif 000003
【図２】
0004003098.tif 000004
【図３】
0004003098.tif 000005
【図４】
0004003098.tif 000006
【図５】
0004003098.tif 000007
【図６】
0004003098.tif 000008
【図７】
0004003098.tif 000009
【図８】
0004003098.tif 000010
【図９】
0004003098.tif 000011