(57)【特許請求の範囲】
【請求項１】
動画像信号に対しフレーム間予測符号化を行って動画像符号化データを出力する符号化手段と、
前記符号化手段から出力される動画像符号化データをスクランブルするスクランブル手段とを有し、
前記スクランブル手段は、
(a) 前記動画像符号化データから前記符号化手段でフレーム間予測の参照画像として用いられないフレームに対応する動画像符号化データを選択し、
(b) 選択した動画像符号化データにおいて同一走査線上にあるマクロブロックに対して連続する複数のマクロブロック毎に第１の分割を行い、
(c) 第１の分割がなされた複数のマクロブロック内で連続する複数のマクロブロック毎に第２の分割を行い、
(d) 前記第１の分割がなされた複数のマクロブロック内で前記第２の分割を単位としたマクロブロックに対応する動画像符号化データの入れ替えを行い、
(e) 前記マクロブロックの動画像符号化データの入れ替えに応じて、前記各マクロブロックの動きベクトルの水平成分にオフセットを付加して前記動画像符号化データに多重することを特徴とする動画像スクランブル装置。
【請求項２】
前記スクランブル手段でのスクランブルのためのスライスあるいはマクロブロックの入れ替えパターンを生成する入れ替えパターン生成手段と、
前記入れ替えパターン、あるいは該入れ替えパターンを生成するための初期データをデスクランブルキーとして生成するデスクランブルキー生成手段と、
前記デスクランブルキーを前記符号化手段による符号化対象の動画像信号、前記スクランブル手段によりスクランブルされた動画像信号、前記符号化手段により得られた動画像符号化データ、および該動画像符号化データに付随する音声データの少なくとも一つに多重化する多重化手段とをさらに有することを特徴とする請求項１に記載の動画像スクランブル装置。
【請求項３】
請求項２に記載の動画像スクランブル装置により符号化およびスクランブルされた動画像符号化データを受信する受信手段と、
前記受信手段により受信された動画像符号化データを復号化して動画像信号を得る復号化手段と、
前記復号化手段により得られた動画像信号を前記でスクランブルキーを用いてデスクランブルするデスクランブル手段と、
前記受信手段により受信された動画像符号化データ、前記復号化手段により得られた動画像信号、前記デスクランブル手段から出力される動画像信号、および前記動画像符号化データに付随する音声データの少なくとも一つから、前記デスクランブルキーを抽出するスクランブルキー抽出手段とを有し、
前記デスクランブル手段は  (イ)前記動画像信号の中から前記復号化手段でフレーム間予測の参照画像として用いられないフレームを選択し、
(ロ)選択されたフレームの動画像信号において同一走査線上にあるマクロブロックに対して連続する複数のマクロブロック毎に第１の分割を行い、
(ハ)第１の分割がなされた複数のマクロブロック内で連続する複数のマクロブロック毎に第２の分割を行い、
(ニ)前記第１の分割がなされた複数のマクロブロック内で前記第２の分割を単位としたマクロブロックに対応する動画像符号化データの入れ替えを行う、
ことを特徴とする動画像デスクランブル装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の動き補償予測・直交変換符号化に対応した動画像スクランブル／デスクランブル装置に関する。
【０００２】
【従来の技術】
音声あるいは映像を含む著作物の権利保護を目的として、不正コピーや不正アクセスを防ぐために、様々な暗号化技術の研究・開発が進められ、あるいは実用化されている。
【０００３】
例えば、ＭＰＥＧ２ビデオ符号化を用いるＤＶＤ（Digital Versatile Disc）では、リージョンコード（地域コード）による再生地域の限定、ＣＳＳ（Contents Scrambling System）による符号化データの暗号化が用いられている。
【０００４】
また、ベースバンド映像信号に対するスクランブル手段として、各ライン毎にランダムなカット点を１点設定してカット点の左右を入れ替えるラインローテーションや、走査線のランダムな入れ替えを行うラインパーミュテーションと呼ばれる手法がある。ラインローテーションは、衛星放送やＣＡＴＶの有料番組のスクランブルとして、課金システムと連動したアクセス制限に利用されている。
【０００５】
また、民生用のアナログＶＴＲでの不正コピー防止を目的として、垂直ブランキング期間のＡＧＣ信号やカラーストライブ信号を操作し、ＴＶで表示する際の障害は発生しないが、ＶＴＲでの正常な記録を不可能としたマクロビジョン社のコピーガード技術が広く用いられている。
【０００６】
さらに、音声あるいは映像を含むディジタルコンテンツに対応した「電子透かし（ディジタルウォーターマーク）」と呼ばれる技術が知られている。電子透かしは、音声あるいは画像等のベースバンド信号または符号化データ中に、目や耳で知覚されないようにデータを埋め込む技術である。電子透かしで埋め込む情報としては、例えば、著作権情報、コピー世代管理情報、再生制御情報、スクランブル鍵情報等が挙げられる。
【０００７】
上述した各種の手法は、いずれも一長一短がある。例えば、リージョンコードによる管理は、指定された地域での再生は無条件に可能であり、またＣＳＳ等によるデータの暗号化は、正規のプレーヤでの再生を禁止するものではない。従って、リージョンコードやＣＳＳでは、符号化データそのもののコピーを防止することは可能となるが、復号された映像信号の不正コピーを防ぐことはできない。また、アナログＶＴＲでのコピーガードシステムは、ＶＴＲの種類に依存して、必ずしもコピーガードの効果が保証されず、しかも同期信号部分のみの操作であるため、不正アタックに対する耐性が高いとは言い難い。さらに、電子透かし等による著作権情報の埋め込みは、必ずしも映像信号の不正コピーを防止することを技術的に制限するものではない。
【０００８】
すなわち、映像信号の不正コピーを防止するためには、映像信号そのものに対する、より強固な著作権保護手段を用いることが必要となる。しかし、ラインローテーション等の従来の動画像スクランブル方式を用いた場合、スクランブルされた映像信号に対して、ＤＶＤやディジタル放送で採用されているＭＰＥＧ２による符号化を行うと、非スクランブル画像の符号化と比べて符号化効率の低下を招き、再生画像の画質を劣化させてしまう結果となる。なぜならば、従来の動画像スクランブルは、画像に対するランダム操作により画像の時空間相関を低下させることで元の映像を見えにくくする手法であり、画像の時空間相関を利用して符号化効率を上げているＭＰＥＧ２等の動き補償予測・直交変換符号化とは相反する操作となるためである。
【０００９】
この点について、さらに詳しく説明する。
ＭＰＥＧ２符号化では、映像信号の空間軸方向の相関（フレーム内相関）と、時間軸方向の相関（フレーム間相関）を利用し、これら両方向の冗長性を排除することでデータ量の圧縮を行う。ブロック単位の動き補償予測は、フレーム間相関を利用して映像信号パワーを削減する効果をねらったものである。また、フレーム内の近傍画素間の相関を考慮してＤＣＴ（離散コサイン変換）と可変長符号化を行い、さらに人間の視覚特性を考慮した周波数に依存した重み付きの量子化を行ってデータ量の削減を行うこと、また隣接ブロック間のＤＣ成分をその差分のみ可変長符号化することは、フレーム内相関を利用して映像信号パワーを削減する効果をねらったものである。
【００１０】
さらに、マクロブロック毎の動きベクトル情報の符号化に際しても、隣接マクロブロックのフレーム間の動きの類似性を考慮して、符号化すべき動きベクトルを隣接するマクロブロックの動きベクトルとの差分を取って可変長符号化することにより、伝送情報量の削減が行われる。
【００１１】
ところが、従来の動画像スクランブル方式では、前述の通り映像信号に対するランダムな操作により相関を低下させることで、映像の内容を見えにくくするようにしている。従来のラインローテーションやラインパーミュテーションの処理を施した映像信号をＭＰＥＧ２で符号化する場合、フレーム内のライン間相関が大幅に低下し、ＤＣＴと可変長符号化の組み合わせにおいて信号パワーの削減が期待されなくなる。
【００１２】
また、時間的に垂直方向の動き成分が存在する場合、マクロブロック単位の動き補償予測において、原画像では予測効率が高い映像であってもスクランブルにより参照画像と符号化対象画像の類似性が低下し、予測効率が大幅に低下することになる。すなわち、ＭＰＥＧ２の符号化で期待している映像信号の相関が大幅に低下し、その結果、映像信号パワーを削減することが困難になり、所定のビットレートでの符号化を行うためには、荒い量子化を行うことで符号量を削減せざるを得なくなり、復号画像の画質低下を招く。
【００１３】
【発明が解決しようとする課題】
上述したように、映像信号に対するより強固な権利保護手段としては、映像信号そのものに対するスクランブル処理が有効であると考えられるが、従来の動画像スクランブル方式では、ＭＰＥＧ２符号化のような時空間相関を利用した符号化方式と組み合わせた場合、符号化効率の低下を招き、再生画像の画質劣化を引き起こすという問題点があった。
【００１４】
そこで、本発明はＭＰＥＧ２符号化のような動き補償予測と直交変換を組み合わせた符号化においても、画質劣化を引き起こさない動画像スクランブル装置および動画像デスクランブル装置および動画像デスクランブル装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明はフレーム間予測符号化に際して参照画像として用いられないフレームを選択し、スライスを単位とした垂直方向の所定範囲内での画素入れ替え、または複数の連続するマクロブロックを単位とした水平方向の所定範囲内での画素入れ替え、あるいはその両方によりスクランブルを行うことにより、符号化効率の低下を抑えて画質を維持した動画像スクランブルを実現するものであり、より具体的には以下のように構成される。
【００１６】
（１）本発明に係る第１の動画像スクランブル装置は、動画像信号をスクランブルするスクランブル手段と、このスクランブル手段によりスクランブルされた動画像信号に対してフレーム間予測符号化を行う符号化手段とを有し、スクランブル手段は、動画像信号から符号化手段でフレーム間予測の参照画像として用いられないフレームを選択し、(b) 選択したフレームの動画像信号において同一走査線上にあるマクロブロックの集合であるスライスを単位として、フレーム内で垂直方向に連続する所定数のスライス毎にフレーム内でのスライスの入れ替えを行うことを特徴とする。
【００１７】
ここで、ＭＰＥＧ２符号化の場合、参照画像として用いられない画像とは、Ｂピクチャ（両方向予測符号化画像）の全てと、他のフレームから参照されないＩピクチャ（フレーム内符号化画像）、および他のフレームから参照されないＰピクチャ（前方予測符号化画像）を意味する。
【００１８】
この第１の動画像スクランブル装置では、フレーム間予測符号化の参照画像として用いられない画像のみスライス単位の垂直方向の入れ替えを行うことでスクランブルを行うため、参照画像の適切な位置から符号化マクロブロックの予測信号を通常の符号化と同じように切り出すことが可能となり、動き補償効率の低下が防止される。
【００１９】
また、ＭＰＥＧ２符号化におけるフレーム内相関は、ブロック内およびスライス内のブロック間でのみ利用されるため、フレーム内相関の低下も発生しない。さらに、動きベクトルの符号化に際しては、スライスの先頭以外では、スライス内で隣接するマクロブロック毎にその差分が符号化されるため、スライス先頭を除けば差分動きベクトルはスクランブルの有無に関わらず一定となり、動きベクトルデータの符号量の増加も抑えられる。
【００２０】
ＭＰＥＧ２符号化では、フレーム内の動きベクトルの水平、垂直成分それぞれの最大値で動きベクトルデータの符号化の際の可変長符号化方式が決定され、その値が大きいほど符号長が長くなる。従って、スライスの入れ替えを任意に行うと、動きベクトルの垂直成分の最大値が大きくなり、動きベクトルデータの符号量が増加することになるが、所定数のスライス毎にその中に閉じたスライスの入れ替えを行うことで、動きベクトルの垂直成分の増加量を所定値以下に抑えて、動きベクトルデータの符号量を小さく抑えることが可能になる。また、スライスの入れ替えに伴い、入れ替えが行われたスライスの各マクロブロックについて、参照画像に対する動きベクトルを検出する際、スライスの入れ替えに相当する動き量の増大分に合わせて、垂直方向の広い範囲から動きベクトル探索を行うことが望ましい。
【００２１】
（２）本発明に係る第２の動画像スクランブル装置は、画像信号に対しフレーム間予測符号化を行って動画像符号化データを出力する符号化手段と、この符号化手段から出力される動画像符号化データをスクランブルするスクランブル手段とを有し、スクランブル手段は、(a) 動画像符号化データから符号化手段でフレーム間予測の参照画像として用いられないフレームに対応する動画像符号化データを選択し、(b) 選択した動画像符号化データにおいて同一走査線上にあるマクロブロックの集合であるスライスを単位として、フレーム内で垂直方向に連続する所定数のスライス毎にフレーム内での各スライスに対応する動画像符号化データの入れ替えを行うことを特徴とする。
【００２２】
このように第２の動画像スクランブル装置では、スクランブル前の動画像信号を用いて例えばＭＰＥＧ２符号化を行った後に、符号化データのレベルで第１の動画像スクランブル装置と同様にフレーム内のスライス入れ替えを行うことにより、第１の動画像スクランブル装置によるスクランブルと等価なスクランブルが施された動画像符号化データを得ることができる。この場合、スクランブルに伴う動きベクトル探索範囲の拡大は必要とせず、通常の探索範囲内で動きベクトル探索を行えばよい。
【００２３】
（３）本発明に係る第３の動画像スクランブル装置は、動画像信号に対しフレーム間予測符号化を行って動画像符号化データを出力する符号化手段と、この符号化手段から出力される動画像符号化データをスクランブルするスクランブル手段とを有し、スクランブル手段は、(a) 動画像符号化データから符号化手段でフレーム間予測の参照画像として用いられないフレームに対応する動画像符号化データを選択し、(b) 選択した動画像符号化データにおいて同一走査線上にあるマクロブロックの集合であるスライスを単位として、フレーム内で垂直方向に連続する所定数のスライス毎にフレーム内での各スライスに対応する動画像符号化データの入れ替えを行い、さらに(c) 該動画像符号化データの入れ替えに応じて、スライスを構成する各マクロブロックの動きベクトルの垂直成分にオフセットを付加して動画像符号化データに多重することを特徴とする。
【００２４】
すなわち、この第３の動画像スクランブル装置は、第２の動画像スクランブル装置におけるスクランブル手段に、(c) の動きベクトルの垂直成分へのオフセット付加を追加したものである。
【００２５】
この第３の動画像スクランブル装置では、第２の動画像スクランブル装置と同様の効果が得られるほか、特にスライス単位の符号化データの入れ替えに合わせて、各スライスの先頭マクロブロック等の、動きベクトルデータが差分符号化されずに符号化されるマクロブロックについてのみ、その動きベクトルの符号化データについてスライス入れ替えに伴う垂直オフセット量を加算した動きベクトルの符号化データに置き換えることで、従来の動画像符号化システムをそのまま利用して得られた符号化データに対する処理のみで、第１の動画像スクランブル装置と等価な動画像スクランブルを行うことが可能となる。
【００２６】
（４）本発明に係る第４の動画像スクランブル装置は、動画像信号をスクランブルするスクランブル手段と、このスクランブル手段によりスクランブルされた動画像信号に対してフレーム間予測符号化を行う符号化手段とを有し、スクランブル手段は、(a) 動画像信号から前記符号化手段でフレーム間予測の参照画像として用いられないフレームを選択し、(b) 選択したフレームの動画像信号において同一走査線上にあるマクロブロックに対して連続する複数のマクロブロック毎に第１の分割を行い、(c) 第１の分割がなされた複数のマクロブロック内で連続する複数のマクロブロック毎に第２の分割を行い、(d) 第１の分割がなされた複数のマクロブロック内で第２の分割を単位としてマクロブロックの入れ替えを行うことを特徴とする。
【００２７】
参照画像として用いられないフレーム内において、同一スライス内における水平方向のマクロブロックの入れ替えによるスクランブルを行おうとすると、前述のようにマクロブロックの入れ替えに伴う動きベクトルの値、およびその隣接マクロブロック間の差分の値が大きくなり、結果として符号化効率の低下に伴う画質劣化が発生する場合があり得る。特に、マクロブロック単位にランダムな入れ替えを行うと、動きベクトルの隣接マクロブロック間の差分をとる効果がなくなり、また動きベクトルのオフセット量は最大で画面の水平サイズ近くまで拡大されることになる。
【００２８】
これに対して、第４の動画像スクランブル装置では、水平方向に連続する所定のマクロブロック毎に第１の分割を行い、その中を更に複数の連続するマクロブロックの集合に分ける第２の分割を行い、第２の分割が施されたマクロブロックの集合を単位として、第１の分割が施されたマクロブロックの集合内部での並べ替えを行っている。このようにすることで、マクロブロックの並べ替えに伴い各マクロブロックの水平方向の動きベクトルに対して付加されるオフセット量は、第１の分割のサイズで制限されることになる。
【００２９】
また、隣接マクロブロック間の水平方向の動きベクトルの差分については、第２の分割が施されたマクロブロック集合の先頭では差分量が一般に増加するが、第２の分割の先頭以外では差分量の増加は発生しない。すなわち、第４の動画像スクランブル装置によると、ＭＰＥＧ２符号化における動きベクトルデータの符号量の増加を抑えることで、符号化効率の大幅な低下（再生画像の画質低下）を伴わずに、水平方向のマクロブロック集合の入れ替えによる動画像スクランブルを行うことが可能となる。
【００３０】
（５）本発明に係る第５の動画像スクランブル装置は、画像信号に対しフレーム間予測符号化を行って動画像符号化データを出力する符号化手段と、この符号化手段から出力される動画像符号化データをスクランブルするスクランブル手段とを有し、スクランブル手段は、(a) 動画像符号化データから符号化手段でフレーム間予測の参照画像として用いられないフレームに対応する動画像符号化データを選択し、(b) 選択した動画像符号化データにおいて同一走査線上にあるマクロブロックに対して連続する複数のマクロブロック毎に第１の分割を行い、(c) 第１の分割がなされた複数のマクロブロック内で連続する複数のマクロブロック毎に第２の分割を行い、(d) 第１の分割がなされた複数のマクロブロック内で第２の分割を単位としたマクロブロックに対応する動画像符号化データの入れ替えを行うことを特徴とする。
【００３１】
この第５の動画像スクランブル装置によると、第２、第３の動画像スクランブル装置と同様に、スクランブル前の動画像信号を用いて例えばＭＰＥＧ２符号化を行った後に、符号化データのレベルでマクロブロック入れ替えを行うことで、スクランブルが施された動画像符号化データを得ることができる。
【００３２】
（６）本発明に係る第６の動画像スクランブル装置は、動画像信号に対しフレーム間予測符号化を行って動画像符号化データを出力する符号化手段と、この符号化手段から出力される動画像符号化データをスクランブルするスクランブル手段とを有し、スクランブル手段は、(a) 動画像符号化データから符号化手段でフレーム間予測の参照画像として用いられないフレームに対応する動画像符号化データを選択し、(b) 選択した動画像符号化データにおいて同一走査線上にあるマクロブロックに対して連続する複数のマクロブロック毎に第１の分割を行い、(c) 第１の分割がなされた複数のマクロブロック内で連続する複数のマクロブロック毎に第２の分割を行い、(d) 第１の分割がなされた複数のマクロブロック内で第２の分割を単位としたマクロブロックに対応する動画像符号化データの入れ替えを行い、(e) マクロブロックの動画像符号化データの入れ替えに応じて、各マクロブロックの動きベクトルの水平成分にオフセットを付加して動画像符号化データに多重することを特徴とする。
【００３３】
すなわち、この第６の動画像スクランブル装置は、第５の動画像スクランブル装置におけるスクランブル手段に、(e) の動きベクトルの水平成分へのオフセット付加を追加したものである。
【００３４】
この第６の動画像スクランブル装置によると、第４の動画像スクランブル装置によるスクランブルと等価なスクランブルが施された符号化データを通常の動画像符号化システムで符号化された符号化データに対する処理のみで得ることができる。
【００３５】
（７）本発明に係る第７の動画像スクランブル装置は、第１〜第３の動画像スクランブル装置の少なくとも一つと、第４〜第６の動画像スクランブル装置の少なくとも一つとを組み合わせたことを特徴とする。
【００３６】
前述したスライスの垂直方向の入れ替え、および複数の連続したマクロブロック単位の水平方向の並べ替えは、前述の通りいずれも符号化効率の低下がほとんどないため、第７の動画像スクランブル装置のように、これらを組み合わせた動画像スクランブルを行うことも可能である。両者を組み合わせることで、より強固な動画像スクランブルを実現することが可能となる。すなわち、スクランブルの組み合わせ数を多くすることで、不正アタックに対する耐性が強化され、また複雑なスクランブル操作になるほど、原画像を見えにくくする効果をより高めることが可能となる。
【００３７】
また、本発明による水平および垂直のスクランブルパターン、あるいはその組み合わせを制御することで、不正アタックに対する耐性や映像に見え方を、アプリケーションの要求に合わせて制御することも可能となる。
【００３８】
本発明の動画像スクランブル装置によりスクランブルされた動画像データは、伝送系に送られる。伝送系として蓄積媒体を用い、これにスクランブルされた動画像データを記録し、再生時にデスクランブルしてもよいし、あるいは伝送系として地上波、衛星、ケーブル、インターネット等の伝送路を用い、これらの伝送系を経由してスクランブルされた動画像データを実時間で伝送しデスクランブルしてもよい。
【００３９】
（８）本発明に係る第８の動画像スクランブル装置は、第１〜第７のいずれかの動画像スクランブル装置において、さらにスクランブル手段でのスクランブルのためのスライスあるいマクロブロックの入れ替えパターンを生成する入れ替えパターン生成手段と、この入れ替えパターン、あるいは該入れ替えパターンを生成するための初期データをデスクランブルキーとして生成するデスクランブルキー生成手段と、このデスクランブルキーを符号化手段による符号化対象の動画像信号、スクランブル手段によりスクランブルされた動画像信号、符号化手段により得られた動画像符号化データ、および動画像符号化データに付随する音声データの少なくとも一つに多重化する多重化手段とを有することを特徴とする。
【００４０】
前述したスライスの垂直方向の入れ替え、ならびに複数の連続したマクロブロック単位の水平方向の並べ替えパターンは、スクランブル装置においてランダムパターンを発生させ、そのランダムパターンから決定する構成とすることができる。このランダムパターン自体、あるいはランダムパターン発生器およびその初期値をデスクランブルのためのキー（デスクランブルキー：秘密鍵）として正規の受信者に送ることで、受信側でのデスクランブルが可能となる。
【００４１】
デスクランブルキー、あるいはデスクランブルキーの一部分は、動画像符号化データとは異なる経路、例えばＩＣカードや電話回線等を通じて伝送することができる。また、デスクランブルキーの一部を動画像符号化データ、あるいはこれに付随する音声データに多重することも可能である。後者の場合は、例えば前述の電子透かしの技術を用いてコンテンツに埋め込むことが可能である。電子透かしを用いて動画像信号にデスクランブルキーの一部を埋め込む場合、スクランブル前の動画像信号あるいはスクランブル後の動画像信号に埋め込む構成とすることが可能である。
【００４２】
スクランブルされた動画像信号にデスクランブルキーが埋め込まれている場合は、キーの検出後にデスクランブルを行うため、遅延なくデスクランブルすることが可能となる。また、スクランブル前の映像信号にキーが埋め込まれている場合、デスクランブル後の映像信号から、次のスクランブルされた映像に対するキーを取り出して、デスクランブル処理を行う構成となる。前者の場合、デスクランブルによりデスクランブルキー情報は消滅し、またキーの検出とデスクランブル処理との遅延を小さくすることができる。逆に、後者の場合は、デスクランブル後もデスクランブルキーを含む電子透かし情報は消えずに残っており、例えばデスクランブルキーともに、再生制御情報を埋め込むことも可能となる。
【００４３】
但し、埋め込まれたデスクランブルキーは、それ以降の時刻に入力される映像に対するデスクランブルキーでなければならない。この両者は、アプリケーションに応じて使い分けることが可能である。
【００４４】
また、動画像信号と関連する音声信号上に、スクランブルされた動画像信号をデスクランブルするキーを埋め込む構成としてもよい。通常、動画像信号と音声信号は対になって厳密に同期して再生される。つまり、音声信号上に対応する動画像信号のデスクランブルキーを埋め込んでおいても、その対応関係は厳密に保存されると考えられ、動画像信号のデスクランブルを正常に行うことが可能である。
【００４５】
このように、デスクランブルキーの一部を動画像信号あるいは音声信号上に埋め込んで伝送することで、スクランブルパターン、つまりデスクランブルキーを時間的に変動させても、スクランブルパターンとデスクランブルキーとの対応関係が乱れることなく、正常にデスクランブルすることが可能となり、また、連続する動画像信号中で頻繁にキーを変更することで、不正アタックに対する耐性を高めることができる。
【００４６】
例えば、デスクランブルキーのうち、頻繁に時間変化する部分を動画像あるいは音声信号上に埋め込み、番組単位等で固定の部分はＩＣカードや電話回線等の経路から得る構成とすることができる。また、電子透かしを用いたデスクランブルキーの埋め込みを行うことで、時間的に頻繁に変化するキーを動画像信号であるビデオ信号のブランキング期間情報や、あるいは別の信号経路を用いて伝送する必要がなくなり、機器間のインタフェースを簡素化することができる。
【００４７】
（９）本発明に係る動画像デスクランブル装置は、第１〜第８のいずれかの動画像スクランブル装置により、符号化およびスクランブルされた動画像信号を受信する受信手段と、この受信手段により受信された動画像符号化データを復号化して動画像信号を得る復号化手段と、この復号化手段により得られた動画像信号をデスクランブルするデスクランブル手段と、受信手段により受信された動画像符号化データ、復号化手段により得られた動画像信号、デスクランブル手段から出力される動画像信号、および動画像符号化データに付随する音声データの少なくとも一つから、前記デスクランブルキーを抽出するスクランブルキー抽出手段とを有し、デスクランブル手段は、スクランブルキー抽出手段により抽出されたデスクランブルキーを用いて、復号化手段により得られた動画像信号をデスクランブルすることを特徴とする。
【００４８】
このように本発明の動画像デスクランブル装置では、デスクランブルキーを検出し、動画像符号化データの復号化を行い、さらに検出したデスクランブルキーから定まるスクランブルパターンに基づいて、デスクランブル処理を行って動画像信号を出力することで、正常な動画像信号を再生することが可能となる。
【００４９】
また、正規の受信許可を得ていない受信者が、動画像符号化データの復号化を行っても、スクランブル処理が施された動画像信号しか得られないので、著作権保護が実現される。
【００５０】
さらに、本発明によると、第１〜第８の動画像スクランブル装置のいずれかにより符号化およびスクランブルされた動画像データを記録した記録媒体が提供される。本発明により符号化およびスクランブルされた動画像データは、データ自体を不正にコピーしても正常に再生されないため、記録媒体上でも著作権保護が作用することになる。
【００５１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る動画像スクランブル／デスクランブル装置を適用した動画像符号化／復号化システムの構成を示す。この動画像符号化／復号化システムは、ＭＰＥＧ２ビデオ規格に準拠して構成されている。これは以下説明する全ての実施形態において共通である。
【００５２】
図１において、動画像符号化システム１００Ａは、電子透かし多重器１０１、第１の電子透かし発生器１０２、スクランブラ１０３、乱数発生器１０４、第２の電子透かし発生器１０６、電子透かし多重器１０７およびビデオエンコーダ１０８からなる。一方、動画像符号化システム１００Ａに伝送系１２０を介して接続された動画像復号化システム２００Ａは、ビデオデコーダ２０１、デスクランブラ２０２、第２の電子透かし検出器２０３、および第１の電子透かし検出器２０４からなる。伝送系１２０はケーブル、衛星、地上波などの放送・通信系、あるいはＤＶＤ等の蓄積媒体のいずれでもよい。
【００５３】
まず、動画像符号化システム１００Ａについて説明する。
動画像符号化システム１００Ａに入力された動画像信号（以下、映像信号という）１１１は、まず電子透かし多重器１０１において第１の電子透かし発生器１０２により発生された電子透かし信号１１２が重畳された後、スクランブラ１０３によりスクランブルされる。スクランブラル１０３の構成および具体的なスクランブルの方法については、後に詳しく説明する。
【００５４】
電子透かし信号１１２には、著作権情報、再生制御情報などが含まれている。これらの情報の埋め込みを必要としない場合は、映像信号１１１に電子透かし信号１１２を重畳しなくともよい。スクランブラ１０３でのスクランブルパターンは、乱数発生器１０４で発生したスクランブルキー情報１１３およびビデオエンコーダ１０８から出力されるビデオ符号化情報１１７に基づいて決定される。
【００５５】
ビデオ符号化情報１１７には、各フレームの符号化ピクチャタイプ、すなわちＩフレーム（フレーム内符号化画像）、Ｐフレーム（前方予測符号化画像）、Ｂフレーム（両方向予測符号化画像）のどのタイプで符号化されるかという情報が含まれている。スクランブラ１０３は、ビデオ符号化情報１１７に基づいて、参照画像として用いられないフレームについて本発明に基づく動画像スクランブル処理を施す。
【００５６】
図１０に、ＭＰＥＧ２符号化におけるフレーム間の予測構造の例を示す。ここで、横軸は時間軸であり、各フレーム間の予測構造を参照画像から符号化画像への矢印で示している。図１０（ａ）〜（ｃ）は、それぞれ異なる予測構造の例を示したものである。図中の網掛けをしたフレームは、参照画像として用いられるフレームを示している。図１０（ａ）では、Ｂフレームは参照画像として用いられないため、全てのＢフレームがスクランブル対象となる。図１０（ｂ）では、全てのフレームをＩフレームとして、フレーム間予測が用いられないため、全てのフレームがスクランブル対象となる。また、図１０（ｃ）では、Ｐフレームを用いた予測が行われないため、全てのＰフレームがスクランブル対象となる。
【００５７】
スクランブラ１０３でスクランブル処理されたフレームを含む映像信号１１４には、電子透かし多重器１０７において第２の電子透かし発生器１０６により発生された電子透かし信号１１５が重畳され、この電子透かし信号１１５の重畳後の映像信号１１６がビデオエンコーダ１０８で符号化される。電子透かし信号１１５には、乱数発生器１０４からのスクランブルキー情報１１３に関連する情報が含まれている。ビデオエンコーダ１０８から出力される映像符号化データは、伝送系１２０に送出される。
【００５８】
次に、動画像復号化システム２００Ａについて説明する。
動画像復号化システム２００Ａは、伝送系１２０からスクランブルされた映像符号化データを入力し、まずビデオデコーダ２０１により通常のビデオ復号化処理を行う。この復号化により得られた映像信号２１１には、スクランブルが施されている。このスクランブルが施された映像信号２１１から、第２の電子透かし発生器１０６に対応した第２の電子透かし検出器２０３によりスクランブルキー情報２１２が検出され、デスクランブラ２０２へ送られる。
【００５９】
デスクランブラ２０２は、スクランブルキー情報２１２と外部から与えられるスクランブルキーに関連する第２の情報２１３とから、デスクランブルキーを再構成し、ビデオデコーダ２０１から出力される映像信号２１１に対するデスクランブル処理を行う。デスクランブラ２０２の構成については、後に説明する。
【００６０】
ここで、スクランブルキー情報に関連する第２の情報２１３は、許可を受けた動画像符号化システムあるいはユーザに与えられるものであり、正規の動画像符号化システムの内部に埋め込まれるか、あるいはＩＣカードやネットワークから必要に応じて与えられるものである。後者の場合、例えばペイパービューなどの課金システムに連動する構成となる。
【００６１】
デスクランブラ２０２によりデスクランブルされた映像信号２１４は、映像表示装置や記録装置への出力のために出力信号２１５として出力される。また、映像信号２１４に著作権情報、再生制御情報などの情報が電子透かしとして重畳されている場合は、この映像信号２１４が第１の電子透かし発生器１０２に対応した電子透かし検出器２０４に入力され、電子透かし情報２１６が出力される。電子透かし情報２１６は、著作権者特定や、映像再生制御、映像記録制御等に用いられる。
【００６２】
（第２の実施形態）
図２は、本発明の第２の実施形態に係る動画像スクランブル方法および装置を適用した動画像符号化／復号化システムの構成を示す図である。図１と相対応する部分に同一符号を付して第１の実施形態との相違点を中心に説明すると、本実施形態では動画像符号化システム１００Ｂにおけるスクランブルキー情報１１３の多重方法が第１の実施形態と異なっている。
【００６３】
すなわち、本実施形態では動画像符号化システム１００Ｂにおいて、乱数発生器１０４から発生されたスクランブルキー情報１１３が電子透かし発生器１０２に入力され、電子透かし多重器１０１で電子透かし信号１１２としてスクランブル前の映像信号１１１に重畳される。
【００６４】
一方、動画像復号化システム２００Ｂでは、ビデオデコーダ２０１およびデスクランブラ２０２を介して再生された映像信号２１４から、電子透かし検出器２０３によりスクランブルキー情報２１２が検出され、スクランブルキーに関連する第２の情報２１３とともに、デスクランブラ２０３へ入力される。
【００６５】
すなわち、図１に示した第１の実施形態では、スクランブルキー情報の検出とデスクランブルがフィードフォワードとなる構成となっており、スクランブルされた映像フレームに関するキー情報をスクランブルされた映像そのものに重畳することができる構成となっているのに対し、図２に示した第２の実施形態では、スクランブルキー情報の検出とデスクランブルがフィードバックとなる構成となっており、未来の映像フレームに対するスクランブルキー情報について、予め電子透かしによる重畳および検出を行う構成となっている。
【００６６】
また、本実施形態では動画像符号化システム１００Ａにおいて、再生制御情報などのスクランブルと関連しない情報を電子透かし発生器１０６により生成される電子透かし信号１１５に乗せて、スクランブルされた映像信号１１４に重畳することが可能である。動画像復号化システム２００Ｂにおいては、このような電子透かし情報はビデオデコーダ２０１による復号化で得られたスクランブル状態の映像信号２１１から、電子透かし検出器２０４により検出され、スクランブルされた映像信号２１１は、その後デスクランブラ２０２によりデスクランブル処理が施される。
【００６７】
このように本実施形態によれば、再生制御情報などの電子透かし情報はデスクランブル処理により自動的に消去することができる。一方、第１の実施形態ではスクランブル前の信号に著作権情報あるいは再生制御情報等を電子透かしとして重畳しているため、デコーダでの復号化およびデスクランブルによっても、その情報は保存される。これら第１、第２の実施形態の個々の特徴は、アプリケーションの要求に応じて適宜使い分けることが可能である。
【００６８】
（第３の実施形態）
図３は、本発明の第３の実施形態に係る動画像スクランブル方法および装置を適用した動画像符号化／復号化システムの構成を示す図である。
図１、図２と相対応する部分に同一符号を付して第１、第２の実施形態との相違点を中心に説明すると、本実施形態では動画像符号化システム１００Ｃにおいて、入力映像信号１１１に対して第１の電子透かし発生器１０２からの著作権情報および再生制御情報等の電子透かし信号１１２が電子透かし多重器１０１で重畳され、この電子透かし信号１１２が重畳された後の映像信号がビデオエンコーダ１０８で符号化される。そして、ビデオエンコーダ１０８から出力される映像符号化データ１２１に対してスクランブラ１０３によるスクランブル処理が施される。
【００６９】
すなわち、第１、第２の実施形態では入力映像信号１１１に対して先にスクランブルを行い、その後に符号化を行っていたのに対し、本実施形態では入力映像信号１１１を先にビデオエンコーダ１０８により符号化し、次いでスクランブラ１０３によりスクランブルを行う構成となっている。
【００７０】
また、乱数発生器１０４から発生されるスクランブルキー情報１１３は第２の電子透かし発生器１０６に入力され、電子透かし信号１１５としてスクランブルされた映像符号化データ１２２に電子透かし多重器１０７で重畳される。
【００７１】
一方、動画像復号化システム２００Ｃでは、受信されたスクランブルされた映像符号化データがビデオデコーダ２０１で復号化され、さら受信された映像符号化データから第２の電子透かし検出器２０３でスクランブルキー情報２１２が検出される。
【００７２】
ビデオデコーダ２０１による復号化で得られた映像信号２１１は、電子透かし検出器２０３で検出されたスクランブルキー情報２１２およびスクランブルキーに関連する第２の情報２１３と共にデスクランブラ２０２に入力され、デスクランブル処理が施される。デスクランブルされた映像信号２１４は、映像表示装置あるいは記録装置への出力のために出力信号２１５として出力されると共に、第１の電子透かし検出器２０４に入力され、著作権情報あるいは再生制御情報などの電子透かし情報２１６が出力される。
【００７３】
本実施形態の特徴は、動画像符号化システム１００Ｃにおいて映像符号化データ１２１に対してスクランブル処理を行っているにも関わらず、動画像復号化システム２００Ｃにおいてはスクランブル処理を施された映像符号化データをデスクランブルせずに復号化して、復号化された映像信号に対するデスクランブル処理によって、映像を再生できることにある。
【００７４】
ＣＳＳ等の通常の符号化データに対するスクランブルでは、ビデオデコーダの手前でデスクランブル処理を行い、復号化された映像は正常な映像となるが、本実施形態によれば、映像符号化データおよび復号化された映像信号の両者がスクランブルされた状態となっているため、その両者の信号に対する著作権保護が実現されることになる。
【００７５】
さらに、本実施形態によれば入力映像信号１１１をビデオエンコーダ１０８により符号化して得られた映像符号化データ１２１に対してスクランブラ１０３でスクランブルを施しているため、スクランブルに伴う動きベクトル探索範囲の拡大は必要とせず、通常の探索範囲内で動きベクトル探索を行えばよく、動きベクトル検出に関連して、通常の動画像符号化システムと同等の性能を引き出すことができる。
【００７６】
また、スクランブラ１０３は圧縮された映像符号化データ１２１に対するスクランブル処理を行うため、第１、第２の実施形態のような入力の映像信号１１１に対するスクランブル処理と異なり、圧縮率に応じて処理速度を低下させることが可能となる。
【００７７】
（第４の実施形態）
図４は、本発明の第４の実施形態に係る動画像スクランブル／デスクランブル装置を適用した動画像符号化／復号化システムの構成を示した図である。
本実施形態と図４に示した第３の実施形態との相違点は、動画像符号化システム１００Ｄにおいて乱数発生器１０４から発生されるスクランブルキー情報１１３を電子透かし発生器１０２に入力し、電子透かし信号１１２として電子透かし多重器１０１により入力映像信号１１１に重畳することにある。
【００７８】
一方、動画像復号化システム２００Ｄでは、ビデオデコーダ２０１により復号化された映像信号２１１をデスクランブラ２０２によりデスクランブルした映像信号２１４から、電子透かし検出器２０３によりデスクランブルキー２１２が検出され、スクランブルキーに関連する第２の情報２１３とともにデスクランブラ２０２に入力される。
【００７９】
（第５の実施形態）
図５に、本発明の第５の実施形態に係る動画像スクランブル／デスクランブル装置を適用した動画像符号化／復号化システムの構成を示す。
本実施形態では、動画像符号化システム１００Ｅにおいて入力映像信号１１１に対してスクランブラ１０３でクランブル処理が行われ、スクランブルされた映像信号１１４がビデオエンコーダ１０８で符号化されるとともに、入力映像信号１１１に関連する入力音声信号１４１がオーディオエンコーダ１３２で符号化される。そして、ビデオエンコーダ１０８から出力される映像符号化データと、オーディオデコーダ１３２から出力される音声符号化データとが多重化器１３３で多重化されて伝送系１２０に送出される。
【００８０】
一方、動画像復号化システム２００Ｅにおいては、受信された符号化データから分離器２３１で符号化映像データと符号化音声データが分離され、それぞれビデオデコーダ２０１およびオーディオデコーダ２３２で復号化される。ビデオデコーダ２０１から出力される復号化後の映像信号２１１は、デスクランブラ２０２でデスクランブル処理され、デスクランブル処理された映像信号２１５がオーディオデコーダ２３２からの復号化後の音声信号２３４と共に出力される。
【００８１】
ここで、動画像符号化システム１００Ｅにおいては、映像信号のためのスクランブルキー情報１１３を含む電子透かし信号１１２が電子透かし発生器１０２で生成され、入力映像信号１１１に関連する入力音声信号１４１に電子透かし多重器１３１で重畳される。これに伴い、動画像復号化システム２００Ｅにおいては、復号化後の音声信号２４１から電子透かしにより重畳された映像信号のためのスクランブルキー情報２４２が電子透かし検出器２０４によって検出され、スクランブルキーに関連する第２の情報２１３とともにデスクランブラ２０２に入力される。
【００８２】
（第６の実施形態）
図６に、本発明の第６の実施形態に係る動画像スクランブル方法および装置を適用した動画像符号化／復号化システムの構成を示す。
本実施形態は、図５に示した第５の実施形態に対して、動画像符号化システム１００Ｆにおける映像信号のスクランブラ１０８とビデオエンコーダ１０３の順序が逆になった構成であり、動画像復号化システム２００Ｆの構成は図５中の動画像復号化システム２００Ｅと全く同一である。
【００８３】
（スクランブラについて）
次に、本発明の実施形態における映像信号のためのスクランブラの構成について説明する。
図７は、図１、図２、図５におけるスクランブラ１０３の構成例を示したブロック図である。図７に示すスクランブラには、乱数発生器のシード４１および映像信号４２が入力され、スクランブルされた映像信号４４とデスクランブルキー４３が出力される。入力映像信号４２は、画像メモリ３８に一旦記録され、また入力映像信号４２から分離器３７で分離された同期信号４５がスクランブルパターン発生部３０Ａに入力される。
【００８４】
スクランブルパターン発生部３０Ａは、乱数発生器のシード４１に対応して画像メモリ３８に対する読み出しアドレス４７を生成し、この生成した読み出しアドレス４７に応じて画像メモリ３８から映像信号を読み出すことで、スクランブルされた映像信号４４を出力する。
【００８５】
スクランブルパターン発生部３０Ａの内部では、第１の乱数発生器３１に対するシード４１が入力され、この乱数発生器３１で生成された乱数からデスクランブルキー発生器３２によりデスクランブルキーが生成される。生成されたデスクランブルキーは、第２の乱数発生器３４に入力され、この乱数発生器３４で生成された乱数に応じて決定されたスクランブルパターンがスクランブルパターン発生器３５により発生される。
【００８６】
このスクランブルパターン発生器３５からのスクランブルパターンに基づき、画像メモリ３８における読み出しアドレス４７がアドレス発生器３６により生成され、画像データの読み出しが行われる。また、デスクランブルキー発生器３２により発生されたデスクランブルキーは、キーエンコーダ３３により符号化されてデスクランブルキー４３として出力される。
【００８７】
スクランブルパターン発生部３０Ａの構成要素の各アルゴリズムおよび第１の乱数発生器３１に対するシード４１の値は、公開されないものとする。また、スクランブルパターン発生部３０Ａの構成要素のうち、第１の乱数発生器３１に対するシード４１、第１の乱数発生器３１およびデスクランブルキー発生器３２のアルゴリズムは、各々の動画像符号化システムにおいて固有のものであり、各々の動画像符号化システムで独立に実装される。
【００８８】
一方、第２の乱数発生器３４、スクランブルパターン発生器３５およびデスクランブルキーエンコーダ３３のアルゴリズムは、動画像符号化システムと対応する動画像復号化システムとの間で共有化され、かつその内容は公開されないものとする。
【００８９】
図８は、図３、図４、図６におけるスクランブラ１０３の構成例を示した図である。図８におけるスクランブルパターン発生部３０Ｂの構成は、図７におけるスクランブルパターン発生部３０Ａと機能的には同一である。図８では、映像符号化データ４８と第１の乱数発生器３１のシード４１が入力され、スクランブルされた符号化データ４９と、デスクランブルキー４３が出力される。
【００９０】
映像符号化データ４８はメモリ５１に一旦記録され、可変長符号デコーダ５２により符号化データの構文解析が行われる。可変長符号デコーダ５２からは、フレームの切れ目、あるいはマクロブロックの切れ目といった位置に同期して、同期信号６１がスクランブルパターン発生部３０Ｂへ出力される。
【００９１】
スクランブルパターン発生部３０Ｂでは、第１の乱数発生器３１のシード４１に応じて、可変長符号デコーダ５２から入力される同期信号６１に同期して、図７のスクランブラと同様にスクランブルパターン６５の生成を行い、メモリ５１に記録された映像符号化データに対する読み出しアドレス４７の生成を行う。
【００９２】
シンタックス発生器５３では、可変長符号デコーダ５２で解析した符号化データとスクランブルパターン発生部３０Ｂで生成されたスクランブルパターン６５に応じて、符号化データのうち動きベクトルに関連する符号化データの修正を行う。具体的には、動きベクトルデータの修正は、スライスあるいはマクロブロックのフレーム内での入れ替えに伴うマクロブロック位置の移動量に対応して、動きベクトルの水平あるいは垂直成分にオフセットの加算を行い、再度動きベクトルの可変長符号化を行うことによりなされる。
【００９３】
多重化部５４では、スクランブルパターン６５に応じた映像データに対する読み出しアドレス４７に従って画像メモリ５１からの符号化データの読み出しを行い、符号化データの一部をシンタックス発生器５３で修正された符号化データ６３に置き換えて、スクランブルされた符号化データ４９として出力する。
【００９４】
図７の構成のスクランブラでスクランブルされた映像信号を符号化した映像符号化データと、スクランブルせずに符号化した映像符号化データに対して図８の構成で符号化データレベルでスクランブルしたデータは、動画像復号化システムで復号して表示したときに、スクランブルパターンが同一であれば、同一のスクランブルされた再生画像が得られる。すなわち、図８の構成のスクランブラを用いることで、符号化前に入力映像信号に対するスクランブル行うことと等価な処理を、符号化後に映像符号化データでのスクランブルを行うことにより実現することも可能である。
【００９５】
（デスクランブラについて）
次に、本発明の実施形態における映像信号のためのデスクランブラの構成について説明する。
図９は、図１〜７におけるデスクランブラ２０２の構成例を示した図である。このデスクランブラには、動画像復号化システムにおいて電子透かしや外部から与えられた符号化されたスクランブルキー８１と、復号化された映像信号８２が入力され、デスクランブルされた映像信号８３が出力される。入力される映像信号８２は、スクランブルがかかった状態の映像信号であり、そのままでは鑑賞に堪えない映像となっている。このスクランブルがかかっている入力映像信号８２は、分離器７５を介して画像信号８４として画像メモリ７６に一旦記録され、また入力映像信号８２から分離器７５で分離された同期信号８５は、スクランブルパターン再生部７０へ入力される。
【００９６】
スクランブルパターン再生部７０には、同期信号８５とともに、符号化されたスクランブルキー８１が入力される。符号化されたスクランブルキー８１は、キーデコーダ７１で復号化される。復号化されたデスクランブルキーに応じて、乱数発生器７２で乱数が発生され、この乱数に基づいてスクランブルパターン発生器７３でスクランブルパターンが再生される。再生されたスクランブルパターンから、アドレス発生器７４で画像メモリ７６の読み出しアドレスが算出され、そのアドレスにしたがって画像メモリ７６から映像信号の読み出しが行われることにより、デスクランブルされた映像信号８３が出力される。
【００９７】
このデスクランブラにおけるスクランブルパターン再生部７０において、キーデコーダ７１、乱数発生器７２およびスクランブルパターン発生器７３のアルゴリズムは公開されない。また、これらのアルゴリズムはスクランブラと同一のアルゴリズムを共有するものとする。
【００９８】
（動きベクトルの符号化方法）
次に、第１〜第６の実施形態におけるビデオエンコーダ１０８でのＭＰＥＧ２ビデオ符号化で用いる動きベクトルの符号化方法について、図１１を用いて説明する。ＭＰＥＧ２ビデオ符号化では、動きベクトルは符号化すべきマクロブロックに対して左側に隣接するマクロブロックの動きベクトルとの差分がとられ、その差分ベクトルが可変長符号を用いて符号化される。ただし、(1) スライスの先頭、(2) ベクトル情報を持たないイントラマクロブロックの直後、については差分ベクトルではなく、本来の動きベクトルが符号化される。
【００９９】
図１１において、参照符号１０，１１等はフレーム内のマクロブロックを示しており、点線で示した矢印（例えば矢印１５）が各マクロブロック毎に検出された動きベクトルである。これらの動きベクトルに対して、隣接マクロブロックとの差分をとったものが実線で示した矢印（例えば矢印１４）であり、この値が符号化される。また、隣接マクロブロック間で動きベクトルが一致している場合、符号化される動きベクトル成分は（０，０）となる。但し、１３および１６はスライスの先頭、また１７はイントラマクロブロックの直後となり、これらの部分については動きベクトルの差分はとられずに、そのまま符号化される。
【０１００】
各動きベクトルの可変長符号は、フレーム内での動きベクトルの最大値に応じて、フレーム内の各マクロブロックで固定長となる符号部分と、マクロブロック毎に可変長となる符号部分の組み合わせで符号化される。いずれも、動きベクトルの各成分の値が小さいほど、符号長が短くなるものとなっている。つまり、フレーム内の動きベクトルの最大値、および隣接マクロブロック間の動きベクトルの相関の度合に応じて、動きベクトルの符号量が左右されるものとなる。
【０１０１】
本発明による動画像スクランブル装置では、参照画像とならないフレームのみスクランブルを行うこと、符号化単位であるマクロブロックよりも細かいレベルでのスクランブルは行わないことで、動き補償予測効率の低下を防ぎ、またＤＣＴ係数の直流成分のＤＰＣＭ符号化、および交流成分の可変長符号化に対する符号化効率の低下を伴わない構成である。但し、スライスやマクロブロックの入れ替えによる動きベクトルの大きさの増加、あるいは隣接マクロブロック間の動きベクトル差分値の増大により、動きベクトル部分の符号量が増加する。しかし、本発明の動画像スクランブル装置によれば、動きベクトルデータの符号量の増加は十分小さく抑えることが可能となる。
【０１０２】
次に、本発明の第７〜第１１の実施形態として、第１〜第６の実施形態におけるスクランブラ１０３で行われる動画像スクランブル方法の具体例について説明する。図１２〜図１６は、本発明によるフレーム内でのスライスあるいは複数のマクロブロックの入れ替えによるスクランブル方法を示したものである。
【０１０３】
（第７の実施形態）
図１２は、本発明の第７の実施形態に係る動画像スクランブル方法を示した図である。図１２では、スライス単位の垂直方向の入れ替えの例を示している。図１２において、１，２，３，…はそれぞれスライスを示しており、図１２（ａ）はスクランブル前のフレームのスライス位置、図１２（ｂ）はスクランブル後のフレーム内のスライス位置をそれぞれ示している。図１２の例では、連続する３つのスライスを単位として、その３スライスの順序を３スライス単位毎にランダムに入れ替えている。
【０１０４】
図１２の画面情報の３スライスについてみると、スライス１，２，３の順序が２，１，３と変更されている。図１２（ａ）には、スライスの先頭の各マクロブロックの動きベクトルを矢印で示してある。図１２（ａ）と同様のマクロブロック単位の動き補償予測の参照関係を図１２（ｂ）のスクランブルされた映像で実現するためには、各マクロブロックの動きベクトルの垂直成分に対して、スライスの入れ替えに応じたオフセットを付加する必要がある。例えば、スライス１の各マクロブロックは、１スライス分のライン数に相当する負のオフセットを動きベクトルの垂直成分に加算する必要があり、スライス２の各マクロブロックは、１スライス分のライン数に相当する正のオフセットを動きベクトルの垂直成分の加算する必要がある。
【０１０５】
但し、スライス内で隣接マクロブロックとの差分ベクトルを符号化するマクロブロックについては、スライス内での動きベクトルのオフセット量は一定であるため、差分ベクトルにはオフセットを付加する必要がない。すなわち、スクランブルに伴う動きベクトルデータの符号量の増加は、スライスの先頭およびイントラマクロブロックの直後のマクロブロックのみでの僅かな増加にとどめることができる。
【０１０６】
また、スライスの入れ替えを３スライス内に限定しているため、動きベクトルの最大値の増加は、最大で２スライス幅に相当するライン数だけで済み、やはり動きベクトルデータの符号量の増加を抑える効果がある。デスクランブラにおいても、２スライス分のメモリ量でデスクランブルすることが可能となる。すなわち、垂直方向のスライス入れ替えを行う範囲を、所定範囲（この場合は３スライス）に限定して、その中に閉じた入れ替えを行うことで、例えばフレーム全体でのランダムなスライス入れ替えを行った場合に対して、動きベクトルデータの符号量の大幅な増加を抑えることが可能となり、符号化効率の低下による画質劣化を抑えることが可能となる。また、デスクラブラで必要な画像メモリの量も、大幅に削減することが可能となる。
【０１０７】
（第８の実施形態）
図１３は、本発明の第８の実施形態に関わる動画像スクランブル方法の例を示した図である。図１３では、図１２とは異なるスライス単位の垂直方向の入れ替えの例を示している。図１３の例では、スライス入れ替えを行う所定スライス数の最大値（ここでは４スライス）を定め、そのスライス数以下のスライス毎に、その内部でのランダムなスライス入れ替えを行う。図１３では、フレーム内の上端から、３、２、４、３、２、…とスライス入れ替え単位を決定し、その内部でのスライス入れ替えを行っている。スライス入れ替え単位自体も、所定値以下の範囲でランダムに決定する。これにより、スクランブルパターン数を増加させることが可能となり、スクランブルに対する不正アタックへの耐性を強化することが可能となる。
【０１０８】
（第９の実施形態）
図１４は、本発明の第９の実施形態に関わる動画像スクランブル方法の例を示した図である。図１４では、スライス内のマクロブロック入れ替えによるスクランブルの例を示したものである。図１４（ａ）は、原画フレーム内のマクロブロックの位置を示しており、図１４（ｂ）は、スクランブル後のマクロブロックの配置を示している。
【０１０９】
図１４では、スライス内で連続する１２個のマクロブロック毎に第１のカット点（９０，９１）を設定し、さらに連続する４マクロブロック毎に第２のカット点（９２，９３，９４，９５）を設定する。第１のカット点で分割される領域毎に、第２のカット点で分割される４個の連続マクロブロックを単位として、水平方向におけるランダムな入れ替えを行うことで、スクランブルを行う。入れ替えパターンは、第１のカット点で分割される領域毎に変化させる。
【０１１０】
図１４の例では、マクロブロック１〜４がマクロブロック９〜１２の位置に配置され、マクロブロック５〜８の位置はそのままでマクロブロック９〜１２がマクロブロック１〜４の位置に配置される。マクロブロックの入れ替えにより、動きベクトルの水平成分には、入れ替え量に応じたオフセットが付加されることになる。
【０１１１】
マクロブロック１，５，９について、図１４（ａ）の矢印で示した動きベクトルが検出された場合、スクランブル後の動きベクトルは、図１４（ｂ）に示すようにマクロブロック９および１については、４マクロブロック幅に相当する画素数分の水平オフセットがそれぞれ加算および減算された動きベクトルとなる。同様に、第２のカット点で分割された領域毎に、その領域に含まれる全てのマクロブロックの動きベクトル水平成分について、同一のオフセットが付加されることになる。
【０１１２】
但し、前述のように動きベクトルは、隣接マクロブロックの動きベクトルの差分値が符号化されるため、第２のカット点で分割される領域内では、その先頭のマクロブロックを除けば、符号化される差分ベクトルの値にはオフセットの付加は生じない。従って、第２のカット点の先頭マクロブロックについては、若干の動きベクトルデータの符号量の増加を伴うが、その他のマクロブロックについては、動きベクトルデータの符号量の増加はほとんどない。
【０１１３】
また、フレーム内の動きベクトルの最大値の増加による動きベクトルデータの符号量の増加についても、動きベクトルの大きさの増加が第１のカット点間の幅で制限されるため、フレーム内の動きベクトルの最大値の増加に伴う動きベクトルデータの符号量の増加も抑えることが可能となる。
【０１１４】
（第１０の実施形態）
図１５は、本発明の第１０の実施形態に関わる動画像スクランブル方法の例を示した図である。図１５では、スライス内のマクロブロックの入れ替えに際して、第１のカット点間の最大値、および第２のカット点間の幅の最大値を規定し、その既定値以下のランダムな間隔で第１のカット点を設定し、さらに、第１のカット点で分割される領域内で、既定値以下のランダムな間隔で第２のカット点を設定し、第１のカット点で分割される領域毎に、第２のカット点で分割された連続するマクロブロック単位での入れ替えを行うものである。図１５の例では、第１のカット点間の幅の最大値を１２マクロブロックとし、第２のカット点間の幅の最大値を６マクロブロックとしている。第１のカット点、および第２のカット点はスライス毎にも変化させる。
【０１１５】
フレーム内最上部のスライスでは１５０および１５１が第１のカット点、１５２、１５３、１５４、１５５がそれぞれ第２のカット点を示している。また、最上部から２つ目のスライスでは、１６０および１６１が第１のカット点、１６２、１６３、１６４、１６５がそれぞれ第２のカット点を示している。第１のカット点で分割される領域内での第２のカット点で分割される領域の入れ替えは、第１のカット点で分割される領域毎にランダムに設定される。
【０１１６】
以上の処理により、動きベクトルの増加を抑えて、なお且つ組み合わせ数が大きく、不正アタックに対して強固なスクランブルパターンを生成することが可能となる。
【０１１７】
（第１１の実施形態）
図１６は、本発明の第１１の実施形態に関わる動画像スクランブル方法の例を示した図である。図１６は、図１５の水平方向のマクロブロックの入れ替えに加えて、図１２あるいは図１３に示した垂直方向のスライス入れ替えを行うものである。
【０１１８】
このように、符号化効率の低下を抑えた水平方向のマクロブロックの入れ替えによるスクランブル方法と、垂直方向のスライス入れ替えによるスクランブル方法を組み合わせることで、再生画像の画質劣化をほとんど伴わずに、スクランブルによる映像を見えにくくする効果をより高めることが可能となり、またスクランブルパターンの組み合わせ数がさらに増えるため、不正アタックに対する耐性も高くすることが可能となる。
【０１１９】
【発明の効果】
以上説明したように、本発明によれば符号化側において参照画像として用いられないフレームを選択し、スライスを単位とした垂直方向の所定範囲内での画素入れ替え、あるいは複数の連続するマクロブロックを単位とした水平方向の所定範囲内での画素入れ替えによりスクランブルを行うことで、符号化で利用するフレーム内相関およびフレーム間相関を損なわず、また動きベクトルデータの符号量の増加を抑えることが可能となり、符号化効率を低下させることなく動画像信号に対してスクランブルを施すことが可能となる。一方、復号化側では復号化により得られた動画像信号に対してデスクランブルを行うことにより、正常な映像を再生することが可能である。
【０１２０】
従って、本発明による動画像スクランブル装置を用いることで、ＭＰＥＧ２等の符号化が用いられる動画像伝送システムにおいて、より強固な不正コピー防止システムや、より安全性の高い映像の課金システムを画質劣化を伴うことなく実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図２】本発明の第２の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図３】本発明の第３の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図４】本発明の第４の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図５】本発明の第５の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図６】本発明の第６の実施形態に係る動画像符号化／復号化システムの構成を示すブロック図
【図７】図１、図２、図５におけるスクランブラの構成を示すブロック図
【図８】図３、図４、図６におけるスクランブラの構成を示すブロック図
【図９】図１〜図６におけるデスクランブラの構成を示すブロック図
【図１０】ＭＰＥＧ２符号化におけるフレーム間の予測構造を示す図
【図１１】ＭＰＥＧ２符号化における動きベクトルデータの符号化方法を説明するための図
【図１２】本発明の第７の実施形態に係る動画像スクランブル方法を説明するための図
【図１３】本発明の第８の実施形態に係る動画像スクランブル方法を説明するための図
【図１４】本発明の第９の実施形態に係る動画像スクランブル方法を説明するための図
【図１５】本発明の第１０の実施形態に係る動画像スクランブル方法を説明するための図
【図１６】本発明の第１１の実施形態に係る動画像スクランブル方法を説明するための図
【符号の説明】
１００Ａ〜１００Ｆ…動画像符号化システム
１０１，１０７…電子透かし多重器
１０２，１０６…電子透かし発生器
１０３…スクランブラ
１０４…乱数発生器
１０８…ビデオエンコーダ
２００Ａ〜２００Ｆ…動画像復号化システム
２０１…ビデオデコーダ
２０２…デスクランブラ
２０３，２０４…電子透かし検出器
１１１…入力映像信号
１１２，１１５…電子透かし信号
１１３…スクランブルキー情報
１１４…映像信号
１１６…電子透かし信号重畳後の映像信号
１１７…ビデオ符号化情報
１２０…伝送系（蓄積媒体あるいは伝送路）
１２１…符号化された映像信号
１２２…スクランブルされた映像信号
１４１…入力音声信号
２１１…復号化された映像信号
２１２…スクランブルキー情報
２１３…スクランブルキーに関する第２の情報
２１４…デスクランブルされた映像信号
２１５…出力映像信号
２１６…著作権情報あるいは再生制御情報
２３１…分離器
２３２…オーディオデコーダ
２４１…復号化された音声信号
２４２…スクランブルキー情報
２４３…出力音声信号
３０Ａ，３０Ｂ…スクランブルパターン発生部
３１…第１の乱数発生器
３２…デスクランブルキー発生器
３３…キーエンコーダ
３４…第２の乱数発生器
３５…スクランブルパターン発生器
３６…アドレス発生器
３８…画像メモリ
４１…乱数発生器シード
４２…入力映像信号
４３…デスクランブルキー情報
４４…スクランブルされた映像信号
４８…映像信号符号化データ
４９…スクランブルされた映像信号符号化データ
５１…映像信号符号化データメモリ
５２…可変長符号デコーダ
５３…シンタックス発生器
７０…デスクランブラ
７１…キーデコーダ
７２…乱数発生器
７３…スクランブルパターン発生器
７４…アドレス発生器
７５…デマルチプレクサ
７６…画像メモリ
８１…デスクランブルキー情報
８２…スクランブルされた映像信号
８３…デスクランブルされた映像信号
【図１】
0004083302.tif 000002
【図２】
0004083302.tif 000003
【図３】
0004083302.tif 000004
【図４】
0004083302.tif 000005
【図５】
0004083302.tif 000006
【図６】
0004083302.tif 000007
【図７】
0004083302.tif 000008
【図８】
0004083302.tif 000009
【図９】
0004083302.tif 000010
【図１０】
0004083302.tif 000011
【図１１】
0004083302.tif 000012
【図１２】
0004083302.tif 000013
【図１３】
0004083302.tif 000014
【図１４】
0004083302.tif 000015
【図１５】
0004083302.tif 000016
【図１６】
0004083302.tif 000017