(57)【要約】【課題】人間の視覚特性にかかわらず、目標の劣化度と観察者の主観的な劣化度との評価誤差を低く抑えられる画像スクランブル方法および装置を提供する。【解決手段】スクランブル操作部４は、抽出された画像要素に対して目標劣化度Qtに応じたスクランブル操作を実行する。比較部５は、操作前の各画像要素と操作後の対応する各画像要素との差分を算出する。補正部６は、画像要素ごとに算出される差分を、各画像要素の変化が画像の主観劣化度に及ぼす影響力に基づいて補正することで、目標劣化度Qtと主観的な劣化度との関係を較正する。主観劣化度算出部７は、前記補正後の差分を利用して主観劣化度Qscrを算出する。操作量調整部８は、目標劣化度Qtと主観劣化度Qscrとの差分が縮小するように前記スクランブル操作部４における各画像要素への操作量を調整し、これを目標劣化度Qtと主観劣化度Qscrとが一致または両者の差分が所定の範囲内に収まるまで繰り返す。【選択図】図１
2010045728.tif 000002
【特許請求の範囲】
【請求項１】
スクランブル画像の目標劣化度を設定する手段と、
原画像の画像要素を前記目標劣化度に応じて操作する手段と、
操作前の各画像要素と操作後の対応する各画像要素との差分を算出する手段と、
各画像要素への操作が主観劣化度に及ぼす影響に基づいて、各画像要素の差分を補正する手段と、
前記補正された各差分に基づいてスクランブル画像の主観劣化度を算出する手段と、
前記目標劣化度と主観劣化度との偏差が縮小するように画像要素の操作量を調整し、これを前記偏差が所定の範囲内となるまで繰り返す手段と、
前記目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量で劣化された画像をスクランブル画像として出力する手段とを具備し、
前記各差分を補正する手段は、主観劣化度への影響が大きい画像要素の差分を、主観劣化度への影響が小さい画像要素の差分よりも相対的に拡大することを特徴とする画像スクランブル装置。
【請求項２】
前記補正手段は、原画像の中で空間周波数の低い領域の画像要素について算出された差分を、空間周波数の高い領域の画像要素について算出された差分よりも相対的に拡大することを特徴とする請求項１に記載の画像スクランブル装置。
【請求項３】
前記補正手段は、原画像の中でマスキング効果の影響を受けにくい領域の画像要素について算出された差分を、マスキング効果の影響を受けにくい領域の画像要素について算出された差分よりも相対的に拡大することを特徴とする請求項１に記載の画像スクランブル装置。
【請求項４】
前記補正手段は、オブジェクトの少ない画像の差分を、オブジェクトの多い画像の差分よりも相対的に拡大することを特徴とする請求項１に記載の画像スクランブル装置。
【請求項５】
前記操作量の調整を繰り返す手段は、
操作量と当該操作量での調整後における偏差とに基づいて単位操作量あたりの偏差の増減量を求める手段と、
前記目標劣化度と主観劣化度との偏差と単位操作量あたりの偏差の増減量とに基づいて次の操作量を決定する手段とを含むことを特徴とする請求項１ないし４のいずれかに記載の画像スクランブル装置。
【請求項６】
前記操作量の調整を繰り返す手段は、操作量の調整による主観劣化度の変化が小さい領域の操作量を、主観劣化度の変化が大きい領域の操作量よりも相対的に大きく調整することを特徴とする請求項１ないし５のいずれかに記載の画像スクランブ装置。
【請求項７】
前記操作量の調整を繰り返す手段は、原画像の中で空間周波数の高い領域の操作量を、空間周波数の低い領域の操作量よりも相対的に大きく調整することを特徴とする請求項６に記載の画像スクランブル装置。
【請求項８】
前記操作量の調整を繰り返す手段は、原画像の中でマスキング効果の影響を受け易い領域の操作量を、マスキング効果の影響を受けにくい領域の操作量よりも大きく調整することを特徴とする請求項６に記載の画像スクランブル装置。
【請求項９】
前記操作量の調整を繰り返す手段は、原画像の中でオブジェクトの多い画像の操作量をオブジェクトの少ない画像の操作量よりも大きく調整することを特徴とする請求項６に記載の画像スクランブル装置。
【請求項１０】
前記操作手段による操作量の初期値を設定する手段を具備し、
前記初期値を設定する手段は、初期値を前記目標劣化度の関数とすることを特徴とする請求項１ないし９のいずれかに記載の画像スクランブル装置。
【請求項１１】
前記操作手段による操作量の初期値を設定する手段を具備し、
前記操作量の調整を繰り返す手段は、前記目標劣化度と主観劣化度との偏差が所定の範囲内となるまで前記操作量を前記初期値から調整し、
前記原画像が複数フレームから構成される動画像であり、
前記初期値を設定する手段は、各フレームの画像領域に対する操作量を、前フレームで目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量に設定することを特徴とする請求項１ないし９のいずれかに記載の画像スクランブル装置。
【請求項１２】
スクランブル画像の目標劣化度を設定する手順と、
原画像の画像要素を前記目標劣化度に応じて操作する手順と、
操作前の各画像要素と操作後の対応する各画像要素との差分を算出する手順と、
各画像要素への操作が主観劣化度に及ぼす影響に基づいて、各画像要素の差分を補正する手順と、
前記補正された各差分に基づいてスクランブル画像の主観劣化度を算出する手順と、
前記目標劣化度と主観劣化度との偏差が縮小するように画像要素の操作量を調整し、これを前記偏差が所定の範囲内となるまで繰り返す手順と、
前記目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量で劣化された画像をスクランブル画像として出力する手順とを具備し、
前記各差分を補正する手順は、主観劣化度への影響が大きい画像要素の差分を、主観劣化度への影響が小さい画像要素の差分よりも相対的に拡大することを特徴とする画像スクランブル方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像にスクランブル処理を施す画像スクランブル方法および装置に係り、特に、設定された劣化度と観察者の主観的な劣化度との評価誤差を低く抑えられる画像スクランブル方法および装置に関する。
【背景技術】
【０００２】
放送のデジタル化や、パーソナルコンピュータおよび携帯電話向けの動画像配信など、動画像コンテンツが幅広く利用されている。これらのサービスにおいては、コンテンツの配信元と契約を結ぶことで利用可能となる有償コンテンツ等に関して、契約者のみが視聴可能となるように視聴制御が行われることがある。
【０００３】
この視聴制御の技術の一つに、画像情報を秘匿するスクランブル技術がある。この際、非契約者の購買意欲を高めるために、画面の一部のみにスクランブル処理を行ったり、スクランブル処理による画質劣化の度合いを制御したりするなど、秘匿性を任意に制御する処理が行われる。
【０００４】
特許文献１には、画像が所定の画素ブロック単位に分割され、このブロックごとに離散コサイン変換(DCT)が適用される動画像データに対して、そのDCT係数を操作することで秘匿性の制御を実現する技術が開示されている。特許文献１では、画像内でスクランブル対象となるブロック数や、ブロック内でスクランブル対象となるDCT係数の数を制御することでスクランブル画像の劣化度が制御される。
【０００５】
特許文献２には、スクランブル適用対象の最小単位（スクランブル単位）をいくつか集めた局所領域と、画面全体など画像内の大局的領域とに、それぞれスクランブル強度を制御するためのパラメータを割り振ることで画質制御を実現する手法が開示されている。
【特許文献１】特開平７−７９４２６号公報
【特許文献２】特開平９−３２７０１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の画質制御を目的としたスクランブル技術では、スクランブル対象となる画像要素の数を増減させたり、あるいはスクランブル対象となる画像要素の値を何段階かに分けて増減したりするなど、スクランブルの操作量を可変とすることで画質の劣化度が段階的に制御される。しかしながら、スクランブル画像の最終観察者が人間であることから、主に以下のような視覚特性が原因で、スクランブル処理の際に段階的に設定した各劣化度と、人間が主観的にとらえる各劣化度とに評価誤差が生じることがあった。
【０００７】
(1)空間周波数方向の視覚誤差
【０００８】
視覚特性として、高周波成分の変化は低周波成分の変化よりも知覚されにくい。したがって、空間周波の異なる画像に同一の劣化度でスクランブル操作を加えても、高周波成分を多く含む画像ではスクランブル操作が高周波部分に実施される確率が高くなるので、低周波部分を多く含む画像よりも主観的な劣化度が低くなってしまう。
【０００９】
(2)マスキング効果による視覚誤差
【００１０】
視覚特性として、テクスチャが複雑な部分に生じた劣化はマスキング効果の影響を受けやすいので、平坦な部分に生じた劣化よりも知覚されにくい。したがって、テクスチャの異なる画像に同一の劣化度でスクランブル操作を加えても、テクスチャが複雑な部分を多く含む画像ではスクランブル操作がテクスチャの複雑な部分に実施される確率が高くなるので、平坦な部分を多く含む画像よりも主観的な劣化度が低くなってしまう。
【００１１】
(3)オブジェクト数による視覚誤差
【００１２】
視覚特性として、オブジェクトが多く含まれる画像に生じた劣化はオブジェクトが少ししか含まれない画像に生じた劣化よりも知覚されにくい。したがって、オブジェクト数の異なる画像に同一の劣化度でスクランブル操作を加えても、オブジェクトが多く含まれる画像ではオブジェクトが少ししか含まれない画像よりも主観的な劣化度が低くなってしまう。
【００１３】
なお、このような視覚特性に起因した評価誤差を予め予測できれば、劣化度の目標値を予測値に基づいて補正することで評価誤差を解消できる。しかしながら、視覚特性による評価誤差は、スクランブル対象の画像や目標とする劣化度に依存するので、予め予測することはできない。
【００１４】
本発明の目的は、上記の従来技術を解決し、人間の視覚特性にかかわらず、スクランブル処理の際に設定される劣化度と観察者の主観的な劣化度との評価誤差を低く抑えられる画像スクランブル方法および装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明は、以下のような手段を講じた点に特徴がある。
【００１６】
(1)本発明の画像スクランブル装置は、スクランブル画像の目標劣化度を設定する手段と、原画像の画像要素を前記目標劣化度に応じて操作する手段と、操作前の各画像要素と操作後の対応する各画像要素との差分を算出する手段と、各画像要素への操作が主観劣化度に及ぼす影響に基づいて、各画像要素の差分を補正する手段と、前記補正された各差分に基づいてスクランブル画像の主観劣化度を算出する手段と、目標劣化度と主観劣化度との偏差が縮小するように画像要素の操作量を調整し、これを前記偏差が所定の範囲内となるまで繰り返す手段と、目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量で劣化された画像をスクランブル画像として出力する手段とを具備し、各差分を補正する手段は、主観劣化度への影響が大きい画像要素の差分を、主観劣化度への影響が小さい画像要素の差分よりも相対的に拡大することを特徴とする。
【００１７】
(2)補正手段は、原画像の中で空間周波数の低い領域の画像要素について算出された差分を、空間周波数の高い領域の画像要素について算出された差分よりも相対的に拡大することを特徴とする。
【００１８】
(3)補正手段は、原画像の中でマスキング効果の影響を受けにくい領域の画像要素について算出された差分を、マスキング効果の影響を受けにくい領域の画像要素について算出された差分よりも相対的に拡大することを特徴とする。
【００１９】
(4)補正手段は、オブジェクトの少ない画像の差分を、オブジェクトの多い画像の差分よりも相対的に拡大することを特徴とする。
【００２０】
(5)操作量の調整を繰り返す手段は、操作量と当該操作量での調整後における偏差とに基づいて単位操作量あたりの偏差の増減量を求める手段と、目標劣化度と主観劣化度との偏差と単位操作量あたりの偏差の増減量とに基づいて次の操作量を決定する手段とを含むことを特徴とする。
【００２１】
(6)操作量の調整を繰り返す手段は、操作量の調整による主観劣化度の変化が小さい領域の操作量を、主観劣化度の変化が大きい領域の操作量よりも相対的に大きく調整することを特徴とする。
【００２２】
(7)操作手段による操作量の初期値を設定する手段を具備し、初期値を目標劣化度の関数としたことを特徴とする。
【００２３】
(8)操作手段による操作量の初期値を設定する手段をさらに具備し、操作量の調整を繰り返す手段は、目標劣化度と主観劣化度との偏差が所定の範囲内となるまで操作量を初期値から調整し、原画像が複数フレームから構成される動画像であり、初期値を設定する手段は、各フレームの画像領域に対する操作量を、前フレームで目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量に設定することを特徴とする。
【発明の効果】
【００２４】
本発明によれば、以下のような効果が達成される。
【００２５】
(1)人間の視覚特性にかかわらず、スクランブル強度パラメータ（劣化度）と観察者の主観品質（主観的な劣化度）との評価誤差を低く抑えられるので、コピー回数や再生回数に応じて少しずつ画質を低下させるようなコンテンツの利用制御方式が実現可能になる。
【００２６】
(2)人間の視覚特性の一つである空間周波数方向の視覚感度を考慮し、知覚されやすい低周波成分の劣化を、知覚されにくい高周波成分の劣化よりも高く見積もるようにしたので、スクランブル強度パラメータと観察者の主観劣化度との評価誤差を低く抑えられるようになる。
【００２７】
(3)人間の視覚特性の一つであるマスキング効果を考慮し、マスキング効果の影響を受けにくい劣化を、マスキング効果の影響を受けやすい劣化よりも高く見積もるようにしたので、スクランブル強度パラメータと観察者の主観劣化度との評価誤差を低く抑えられるようになる。
【００２８】
(4)オブジェクトが少ない画像に生じた劣化を、オブジェクトが多く含まれる画像に生じた劣化よりも高く見積もるようにしたので、画像に含まれるオブジェクト数にかかわらず、スクランブル強度パラメータと観察者の主観劣化度との評価誤差を低く抑えられるようになる。
【００２９】
(5)単位操作量あたりの劣化を求め、これに基づいて次の操作量を決定するようにしたので、操作量を最適化することができ、その結果、主観劣化度が目標劣化度に到達するまでのループ処理の回数を減じることができる。
【００３０】
(6)操作量の調整による主観劣化度の変化が小さい領域の操作量を、主観劣化度の変化が大きい領域の操作量よりも相対的に大きく調整するようにしたので、主観劣化度が目標劣化度に到達するまでのループ処理の回数を減じることができる。
【００３１】
(7)操作手段による操作量の初期値を目標劣化度の関数としたので、目標劣化度の初期値を適正化することができ、その結果、主観劣化度が目標劣化度に到達するまでのループ処理の回数を減じることができる。
【００３２】
(8)各フレームにおいてスクランブル操作される画像要素への操作量の初期値を、前フレームで目標劣化度と主観劣化度との偏差が所定の範囲内となったときの操作量に設定するようにしたので、操作量を適正値に収束させるまでのループ処理の繰り返し回数を減少させることができるようになる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の最良の実施形態について詳細に説明する。図１は、本発明に係る画像スクランブル装置の主要部の構成を示したブロック図である。
【００３４】
画像入力部１には、スクランブル対象の静止画像や動画像（以下、画像で代表する）が入力される。スクランブル条件設定部２には、画像スクランブルによる劣化度の目標値（目標劣化度）Qtを初めとする様々なスクランブル条件が設定される。画像要素抽出部３は、スクランブル対象の画像から、転置、ビット反転、あるいは四則演算などのスクランブル操作の対象とされる画像要素を抽出する。たとえば、スクランブル対象がMPEG符号化された動画像であれば、符号化データを可変長復号して得られるDCT係数が画像要素となり得る。
【００３５】
スクランブル操作部４は、前記抽出された画像要素に対して、前記設定された目標劣化度Qtに応じたスクランブル操作を実行する。たとえば、抽出される画像要素がDCT係数であれば、目標劣化度Qtに応じた個数のDCT係数がスクランブル操作される。比較部５は、操作前の各画像要素と操作後の対応する各画像要素との差分を算出する。補正部６は、画像要素ごとに算出される差分を、各画像要素の変化が画像の主観劣化度に及ぼす影響力に基づいて補正することで、目標劣化度Qtと主観的な劣化度との関係を較正する。
【００３６】
すなわち、人間の視覚特性として、高周波成分の変化よりも低周波成分の変化の方が検知されやすいので、高周波成分が多い画像と低周波成分が多い画像とに同一の目標劣化度Qtでスクランブル操作を加えても、高周波成分が多い画像では低周波成分が多い画像よりも劣化が知覚されにくく、主観劣化度が高くなってしまう。換言すれば、観察者には高周波成分が多い画像は低周波成分が多い画像よりも劣化度が低く評価されてしまう。
【００３７】
そこで、本実施形態では低周波成分の差分を増量補正するか、あるいは高周波成分の差分を減量補正するなどして、低周波成分の差分を高周波成分の差分よりも相対的に拡大することにより、低周波成分が変化した場合には高周波波分が変化した場合よりも客観品質の低下が増幅されるようにしている。このようにすれば、目標劣化度Qtに応じて画像要素を定量的にスクランブル操作しても、目標劣化度Qtと主観的な劣化度との評価誤差を低く抑えられるようになる。
【００３８】
主観劣化度算出部７は、前記補正後の差分を利用して主観劣化度Qscrを算出する。操作量調整部８は、目標劣化度Qtと主観劣化度Qscrとの差分が縮小するように前記スクランブル操作部４における各画像要素への操作量を調整し、これを目標劣化度Qtと主観劣化度Qscrとが一致または両者の差分が所定の範囲内に収まるまで繰り返す。スクランブル画像生成部９は、目標劣化度Qtと主観劣化度Qscrとが一致または両者の差分が所定の範囲内になったときの操作量でスクランブル画像を生成する。
[第１実施形態]
【００３９】
次いで、図２のフローチャートに沿って本発明の第１実施形態の動作について説明する。ここでは、MPEG符号化された動画像データをスクランブル対象とし、Iフレームを構成する８×８画素の輝度ブロックをDCT変換して得られた６３個のAC成分にスクランブル操作を実施してスクランブル画像を生成する場合を例にして説明する。
【００４０】
ステップＳ１では、スクランブル強度パラメータの一つである目標劣化度Qtおよび擬似乱数rndを発生させるためのシードの値sが前記スクランブル条件設定部２に設定される。ステップＳ２では、画像入力部１にMPEGビットストリームが取り込まれる。ステップＳ３では、１フレーム分のビット列の取り込みが完了したか否かが判定され、完了したと判定されるとステップＳ４へ進む。ステップＳ４では、取り込まれた１フレーム分のビット列のフレームヘッダが参照されてIフレームであるか否かが判定される。IフレームであればステップＳ５へ進み、当該１フレーム分の符号化データが、前記画像要素抽出部３により可変長復号されて８×８輝度ブロックのDCT係数が抽出される。なお、IフレームでなければステップＳ２へ戻り、次の１フレーム分のビット列が改めて取り込まれる。
【００４１】
図３は、８×８輝度ブロックのDCT係数を二次元に配列した図であり、よく知られるように、左上角の１つのDC成分と、それ以外の６３個のAC成分とを含み、AC成分のDCT係数は、２次元配列上でジグザグ状に右または下へ行くほど周波数成分が高くなる。
【００４２】
ステップＳ６では、スクランブル操作の対象とする輝度ブロック数Nblkの初期値が決定される。輝度ブロック数Nblkの初期値は、劣化度の目標値Qtが高くなるほど大きくすることが望ましい。本実施形態では、輝度ブロック数Nblkの初期値を目標劣化度Qtの関数とし、目標劣化度QtがMパーセントであれば、スクランブル操作の対象とする輝度ブロック数Nblkも全体のMパーセントに設定される。ステップＳ７では、１フレーム分の全ての８×８輝度ブロックからNblk個の輝度ブロックが前記擬似乱数rndに基づいてランダムに選抜される。ステップＳ８では、前記Nblk個の輝度ブロックを対象に、前記スクランブル操作部４においてスクランブル処理が実行される。
【００４３】
図４は、前記スクランブル処理の第１実施形態の手順を示したフローチャートであり、ステップＳ３１では、選抜されたNblk個の輝度ブロックKBの一つKBi（iは輝度ブロックの識別子）が今回の注目輝度ブロックとして選択される。ステップＳ３２では、注目輝度ブロックKBiの全てのAC係数の符号化ビットを反転するスクランブル操作が実行される。ステップＳ３３では、前記比較部５において、スクランブル操作前後の対応するAC成分同士が比較され、AC成分ごとに差分値Dacj（jはAC成分の識別子）が算出される。ステップＳ３４では、前記補正部６において、各差分値Dacjに対してAC成分の周波数に応じた補正係数kfjが乗じられて補正後差分値DDacjが算出される。
【００４４】
図５は、補正係数kf1〜kf63の一例を示した図であり、本実施形態では、AC成分の周波数が高くなる、すなわちAC成分識別子jが大きくなるほど補正係数kfjが小さくなるような関数式またはデータテーブルを予め用意し、AC成分識別子jを前記関数式またはデータテーブルに適用することで補正係数kfjが求められる。この補正係数k1〜k63は、AC成分識別子jの増加に伴って単純増加（実線）する離散値であっても良いし、ステップ上に増加（破線）する離散値であっても良い。
【００４５】
ステップＳ３５では、今回の注目輝度ブロックKBiに関するブロック劣化度qiが、当該注目輝度ブロックの全AC成分の補正後差分値DDacjの総和ΣDDacjとして算出される。ステップＳ３６では、前記選抜された全て（Nblk個）の輝度ブロックに関してブロック劣化度qiの算出が完了したか否かが判定される。完了していなければステップＳ３１へ戻り、注目輝度ブロックKBiを切り替えながら上記の処理が繰り返される。
【００４６】
その後、前記選抜された全ての輝度ブロックKBに関してブロック劣化度qiの算出が完了するとステップＳ３７へ進む。ステップＳ３７では、今回の１フレーム分の画像に関する主観劣化度Qscrが、前記選抜された全ての輝度ブロックのブロック劣化度qiの総和Σqiとして算出される。
【００４７】
図２へ戻り、ステップＳ８で主観劣化度Qscrが上記のようにして求まると、ステップＳ９では、目標劣化度Qtと主観劣化度Qscrとが比較され、主観劣化度Qscrが目標劣化度Qtを大きく下回っている、すなわち劣化が不十分と判定されるとステップＳ１０へ進む。ステップＳ１０では、前記操作量調整部８において、スクランブル操作の対象となる輝度ブロック数Nblkが増量され、ステップＳ７へ戻って上記の処理が繰り返される。輝度ブロック数Nblkの調整は、最初は1/2・Nblk個の増量、次は1/4・Nblk個の増量…といったように、増量が漸減するような調整が好ましい。
【００４８】
これに対して、ステップＳ１１において、主観劣化度Qscrが目標劣化度Qtを大きく上回っている、すなわち劣化が過剰と判定されるとステップＳ１２へ進み、スクランブル操作の対象となる輝度ブロック数Nblkを減量してステップＳ７へ戻り、上記の処理が繰り返される。輝度ブロック数Nblkの調整も、最初は1/2・Nblk個の減量、次は1/4・Nblk個の減量…といったように、減量が漸減するような調整が好ましい。
【００４９】
一方、目標劣化度Qtと主観劣化度Qscrとが大差なく同等と判定されればステップＳ１３へ進み、スクランブル操作されたDCT係数がスクランブル画像生成部９で可変長符号化され、スクランブル画像として出力される。ステップＳ１４では、次フレームの有無が判定され、次フレームが有ればステップＳ２へ戻り、次の１フレーム分の画像データに対して同様の処理が繰り返される。
【００５０】
なお、本実施形態ではスクランブル対象としてIフレームの輝度ブロックを採用したが、本発明はこれのみに限定されるものではなく、PフレームやBフレームの輝度ブロックを採用しても良いし、更には輝度ブロックに代えて色差成分のブロックや他の画像要素をスクランブル対象としても良い。
【００５１】
さらに、本実施形態ではスクランブル操作として符号化ビットの反転を採用したが、本発明はこれのみに限定されるものではなく、８×８ブロックを処理単位としたブロック間でのDCT係数の入れ替え処理、マクロブロック内での８×８ブロックの入れ替え処理、あるいはランダムに選択されたAC係数の符号反転など、他の操作方法を採用しても良い。
【００５２】
本実施形態によれば、人間の視覚特性の一つである空間周波数方向の視覚感度を考慮して、知覚されやすい低周波成分の劣化が、知覚されにくい高周波成分の劣化よりも高く見積もられるようにしたので、目標劣化度Qtと主観劣化度Qscrとの評価誤差を低く抑えられるようになる。
[第２実施形態]
【００５３】
図６は、前記図２のステップＳ８で実行されるスクランブル処理の第２実施形態の手順を示したフローチャートである。上記の第１実施形態では、視覚特性の一つである空間周波数方向の視覚感度を較正したが、本実施形態では、テクスチャが複雑な部分に生じた劣化は平坦な部分に生じた劣化よりも感知されにくいというマスキング効果を考慮することで、目標劣化度Qtと主観劣化度Qscrとの評価誤差を低く抑えるようにしている。
【００５４】
ステップＳ５１では、選抜されたNblk個の輝度ブロックKBの一つKBiが今回の注目輝度ブロックとして選択される。ステップＳ５２では、注目輝度ブロックの全てのAC成分の二乗和が算出されて当該注目輝度ブロックの電力Piが算出される。ステップＳ５３では、注目輝度ブロックKBiの全てのAC係数の符号ビットを反転するスクランブル操作が実行される。ステップＳ５４では、前記比較部５において、スクランブル操作前後の対応するAC成分同士が比較され、AC成分ごとに差分値Dacjが算出される。ステップＳ５５では、前記電力Piに基づいて補正係数kpiが決定される。
【００５５】
ここで、各輝度ブロックの電力Piはテクスチャの形態に依存し、テクスチャが複雑であれば交流成分が多くなって電力Piが大きくなる一方、テクスチャが平坦であれば交流成分が少なくなって電力Piが小さくなる。そして、テクスチャが複雑な部分に生じた劣化は平坦な部分に生じた劣化よりも知覚されにくいので、本実施形態では、電力Piが大きくなるほど補正係数kpiが小さくなるような関数式またはデータテーブルを予め用意し、算出された電力Piを関数式またはデータテーブルに適用することで補正係数kpiが選択される。
【００５６】
ステップＳ５７では、今回の注目輝度ブロックKBiに関するブロック劣化度qiが、当該注目輝度ブロックの全AC成分の差分値Dacjの総和ΣDacjに前記補正係数kpiを乗じて算出される。ステップＳ５８では、前記選抜された全ての輝度ブロックに関してブロック劣化度qiの算出が完了したか否かが判定される。完了していなければステップＳ５１へ戻り、注目輝度ブロックKBiを切り替えながら上記の処理が繰り返される。
【００５７】
その後、前記選抜された全ての輝度ブロックに関してブロック劣化度qiの算出が完了するとステップＳ５９へ進む。ステップＳ５９では、今回の１フレーム分の画像に関する主観劣化度Qscrが、前記選抜された全ての輝度ブロックのブロック劣化度qiの総和Σqiとして算出される。これ以降は前記第１実施形態と同様に、目標劣化度Qtと主観劣化度Qscrとが大差なく同等となるまで、操作対象となる輝度ブロック数Nblkの調整が繰り返される。
【００５８】
本実施形態によれば、人間の視覚特性の一つであるマスキング効果を考慮し、マスキング効果の影響を受けにくい劣化が、マスキング効果の影響を受けやすい劣化よりも高く見積もられるので、目標劣化度Qtと主観劣化度Qscrとの評価誤差を低く抑えられるようになる。
[第３実施形態]
【００５９】
図７は、前記図２のステップＳ８で実行されるスクランブル処理の第３実施形態の手順を示したフローチャートである。本実施形態では、オブジェクトが多く含まれる画像に生じた劣化は、オブジェクトが少ししか含まれない画像に生じた劣化よりも知覚されにくいという視覚特性を考慮することで目標劣化度Qtと主観劣化度Qscrとの評価誤差を低く抑えるようにしている。
【００６０】
ステップＳ７１では、１フレーム分の全ての８×８輝度ブロックについて、DCT係数の全６３個のAC成分の二乗和（電力）が算出される。ステップＳ７２では、全ての輝度ブロックの二乗和の総和を輝度ブロック総数で除して当該１フレームの平均電力Paが算出される。ステップＳ７３では、前記平均電力Paに基づいて補正係数kpaが決定される。
【００６１】
ここで、１フレームの平均電力Paは画像に含まれるオブジェクト数に依存し、オブジェクトが多く含まれれば交流成分が多くなって平均電力Paが大きくなる一方、オブジェクトが少なければ交流成分が少なくなって平均電力Paが小さくなる。そして、オブジェクトが多く含まれる画像に生じた劣化はオブジェクトが少ない画像に生じた劣化よりも感知されにくいので、本実施形態では、平均電力Paが大きくなるほど補正係数kpaが小さくなるような関数式またはデータテーブルを予め用意し、算出された平均電力Paを関数式またはデータテーブルに適用することで補正係数kpaが選択される。
【００６２】
ステップＳ７４では、前記選抜されたNblk個の輝度ブロックKBの一つKBiが今回の注目輝度ブロックとして選択される。ステップＳ７５では、注目輝度ブロックKBiの全てのAC係数の符号ビットを反転するスクランブル操作が実行される。ステップＳ７６では、前記比較部５において、スクランブル操作前後の対応するAC成分同士が比較され、AC成分ごとに差分値Dacjが算出される。ステップＳ７７では、今回の注目輝度ブロックKBiに関するブロック劣化度qiが、当該注目輝度ブロックの全AC成分の差分値Dacjの総和ΣDacjとして算出される。
【００６３】
ステップＳ７８では、前記選抜された全ての輝度ブロックに関してブロック劣化度qiの算出が完了したか否かが判定される。完了していなければステップＳ７４へ戻り、注目輝度ブロックKBiを切り替えながら上記の処理が繰り返される。
【００６４】
その後、前記選抜された全ての輝度ブロックに関してブロック劣化度qiの算出が完了するとステップＳ７９へ進む。ステップＳ７９では、今回の１フレーム分の画像に関する主観劣化度Qscrが、前記選抜された全ての輝度ブロックのブロック劣化度qiの総和Σqiに前記補正係数kpaを乗じて算出される。これ以降は前記第１および第２実施形態と同様に、目標劣化度Qtと主観劣化度Qscrとが大差なく同等となるまで、操作対象となる輝度ブロック数Nblkの調整が繰り返される。
【００６５】
本実施形態によれば、オブジェクトの少ない画像に生じた劣化が、オブジェクトの多く含まれる画像に生じた劣化よりも高く見積もられるので、画像に含まれるオブジェクト数にかかわらず、目標劣化度Qtと主観劣化度Qscrとの評価誤差を低く抑えられるようになる。
【００６６】
なお、上記の各実施形態では、Iフレームごとに補正値（kfj，kpj，kpa）を算出するものとして説明したが、一般的に近接するフレーム同士は画像の内容が非常に類似しており、スクランブル処理を行った際の品質劣化の特性が類似していると考えられる。したがって、近接する前のフレームでの実施状況を反映させて処理負荷を減らすようにしても良い。例えば、前のフレームにおいて最終的にL個のブロックがスクランブル対象として選抜されていれば、次のフレームでは、輝度ブロックの操作数Nblkの初期値をL個に設定する。これにより、輝度ブロックの操作数Nblkが適正値に収束するまでのループ処理の繰り返し回数を減少させることができるので、処理負荷の軽減が可能になる。
【００６７】
さらに、上記の各実施形態では、図２のステップＳ９，１０において、目標劣化度Qtに対して主観劣化度Qscrが不足または過剰と判定されると、ステップＳ１０，Ｓ１２において、輝度ブロックKBの操作数Nblkを調整するものとして説明したが、このときの調整量Nkを画像の特性に応じて適応的に変化させても良い。
【００６８】
すなわち、空間周波数の高い画像、背景のテクスチャが複雑な画像、あるいは多くのオブジェクトが存在する画像では、スクランブル処理による劣化が目立ちにくい。そこで、このような画像を、例えば輝度ブロックKBのAC成分の二乗和（電力）に基づいて識別し、電力が大きいほど操作量の調整量Nkを大きくすれば、主観劣化度Qscrが目標劣化度Qtに到達するまでのループ処理の回数を減じることができる。
【００６９】
さらに具体的に説明すれば、原画像の中で空間周波数の高い領域の調整量Nkは、空間周波数の低い領域の調整量Nkよりも相対的に大きくすれば良い。同様に、原画像の中でマスキング効果の影響を受け易い領域の調整量Nkは、マスキング効果の影響を受けにくい領域の調整量Nkよりも大きくすれば良い。同様に、原画像の中でオブジェクトの多い画像の調整量Nkは、オブジェクトの少ない画像の調整量Nkよりも大きくすれば良い。
[第４実施形態]
【００７０】
図８は、本発明に係る画像スクランブル処理の第４実施形態の手順を示したフローチャートであり、図２と同一の符号を付したステップでは同一または同等の処理が実行されるので、その説明は省略する。
【００７１】
上記の各実施形態では、図２のステップＳ９，１０において目標劣化度Qtに対して主観劣化度Qscrが不足または過剰と判定されると、ステップＳ１０，Ｓ１２において輝度ブロックKBの操作数Nblkが漸増または漸減されるものとして説明したが、本実施形態では、過去の輝度ブロック操作数Nblk-1および主観劣化度Qscr-1に基づいて、次回の輝度ブロック操作数Nblkを最適化するようにしている。
【００７２】
本実施形態では、ステップＳ８において今回のスクランブル処理が終了したと判定されると、ステップＳ９ａでは、目標劣化度Qtと今回の主観劣化度Qscrとの偏差が基準範囲ΔQref内であるか否かが判定される。基準範囲内であればステップＳ１３へ進み、スクランブル操作されたDCT係数がスクランブル画像生成部９で可変長符号化され、スクランブル画像として出力される。
【００７３】
これに対して、前記偏差が基準範囲外と判定されるとステップＳ９ｂへ進み、目標劣化度Qtと今回の主観劣化度Qscrとの偏差ΔQtが算出される。ステップＳ９ｃでは、今回の輝度ブロック操作数Nblkと前回の輝度ブロック操作数Nblk-1との差分ΔNblk、および今回の主観劣化度Qscrと前回の主観劣化度Qscr-1との差分ΔQscrが算出される。ステップＳ９ｄでは、今回の輝度ブロック数Nblkが前回の輝度ブロック数Nblk-1として更新登録され、今回の主観劣化度Qscrが前回の主観劣化度Qscr-1として更新登録される。
【００７４】
ステップＳ９ｅでは、単位輝度ブロック（ここでは、１ブロック）当たりの主観劣化度Qscrの変化量（ΔQscr／ΔNblk）が算出され、さらに前記偏差ΔQtを前記変化量（ΔQscr／ΔNblk）で除して輝度ブロック操作数Nblkの調整量Nkが最適化される。ステップＳ９ｆでは、今回の輝度ブロック操作数Nblkに調整量Nkを加算して次回の輝度ブロック操作数Nblkが算出される。
【００７５】
本実施形態によれば、輝度ブロック操作数Nblkの調整量Nkを最適化できるので、主観劣化度Qscrが目標劣化度Qtに到達するまでのループ処理の回数を減じることができる。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る画像スクランブル装置の主要部の構成を示したブロック図である。
【図２】本発明の動作を示したフローチャートである。
【図３】８×８輝度ブロックのDCT係数を二次元に配列した図である。
【図４】スクランブル処理の第１実施形態の手順を示したフローチャートである。
【図５】補正係数kf1〜kf63の一例を示した図である。
【図６】スクランブル処理の第２実施形態の手順を示したフローチャートである。
【図７】スクランブル処理の第３実施形態の手順を示したフローチャートである。
【図８】スクランブル処理の第４実施形態の手順を示したフローチャートである。
【符号の説明】
【００７７】
１…画像入力部，２…スクランブル条件設定部，３…画像要素抽出部，４…スクランブル操作部，５…比較部，６…補正部，７…主観劣化度算出部，８…操作量調整部，９…スクランブル画像生成部
【図１】
2010045728.tif 000003
【図２】
2010045728.tif 000004
【図３】
2010045728.tif 000005
【図４】
2010045728.tif 000006
【図５】
2010045728.tif 000007
【図６】
2010045728.tif 000008
【図７】
2010045728.tif 000009
【図８】
2010045728.tif 000010