FIT2011（第 10 回情報科学技術フォーラム）RK-006
観察者に応じたプライバシー保護映像を生成可能な映像配信手法
Delivery of Viewer-Specific Privacy Protected Video
福岡 直也†
Naoya Fukuoka

1.

伊藤 義道†
Yoshimichi Ito

馬場口 登†
Noboru Babaguchi

まえがき

近年，治安の悪化を受けて監視カメラを用いた映像
サーベイランスの普及が進んでいる．それに伴い防犯効果が期待される一方，「監視社会」といった言葉があるよ
うに，プライバシー侵害の問題も顕在化し始めている．
このような状況において，単に監視社会を否定するのではなく，監視によって安全を確保し，同時にプライバシーを守ることにより，映像サーベイランスに伴うプライバシーの問題を解決する方法が，近年数多く提案されている [1],[2],[3],[4],[5],[6],[7]．
その方法の一つとして，知野見らは，サーベイランス
映像を見る者 (観察者) と見られる者 (被写体) との関係に応じて，透明化，ボックス表示，モザイク処理といった異なるプライバシー保護処理を被写体領域に施す手法を提案した [4],[5]．これにより，被写体それぞれが持つプライバシー感覚の差異を考慮した，柔軟なプライバシー保護を実現している．
このような観察者に応じたプライバシー保護映像を配信するための方法として，プライバシー保護処理を施すサーバがそれぞれの観察者の要求に応じてプライバシー保護映像を作成する方法が考えられる．しかし，この方法は，被写体と観察者に応じたプライバシー保護映像を全ての組み合わせに対して作成する必要があるため，サーバの負荷が非常に大きくなるという問題が生じる．サーバの負荷の観点からは，サーバが単一のプライバシー保護処理を施して映像を配信した後，観察者側が被写体との関係に応じてプライバシー保護映像を生成できるような方法が望ましいと考えられる．そこで本論文では，観察者側の端末で観察者の閲覧権限に応じたプライバシー保護映像を生成する映像配信手法を提案する．
これを実現するために，本論文では李らの提案した可逆型プライバシー保護画像処理の手法 [6],[7] に着目する．
可逆型プライバシー保護画像処理とは，プライバシー保護処理の施された画像から元の画像を復元することが可能な画像処理である．Li らは離散ウェーブレット変換(Discrete Wavelet Transform: DWT) によって得られる低解像度成分を拡大することによってプライバシー保護画像を作成し，高解像度成分を情報ハイディングの手法を用いてプライバシー保護画像中に埋め込むことにより，可逆型プライバシー保護処理を実現している．本論文ではこの手法を応用し，被写体領域の情報をより基本的な情報に分解してそれらを映像中に埋め込み，こうして作成された映像から観察者が閲覧権限に応じてそれらの情報のいくつかを抽出して統合することにより，観察者に応じた様々なプライバシー保護映像を作成できることを示す．これにより，家族が閲覧する場合は実写表示，面† 大阪大学大学院工学研究科, Graduate School of Engineering,Osaka University

図 1: 提案手法の概要
識のない人物が閲覧する場合はボックス表示，といったように，被写体が持つプライバシー感覚に基づき観察者に応じて見せ方を変えることが可能となる．また，本手法は情報ハイディング手法を用いるため，被写体領域の情報を別途付加する手法と異なり，ファイルサイズの増加や同期に伴う問題が生じないという利点を有する．
本論文では，実験を通して埋め込む情報の量や映像の劣化の程度を調べ，提案手法を評価する．

2.

提案手法

提案手法の概要を図 1 に示す．まず，サーバは，サーベイランスカメラで撮影された入力映像から背景を推定して背景映像を作成するとともに，被写体領域を抽出する．次に，被写体領域に対し DWT を施すことによって得られる低解像度成分と高解像度成分を，被写体領域の位置情報及び色差成分とともに背景映像に埋め込むことにより，配信映像を作成する．配信映像を受け取った観察者側の端末では，埋め込まれた被写体領域に関する情報のいくつかをそれぞれの観察者の持つ権限に応じて抽出し，それらを統合することによってプライバシー保護映像を生成する．提案手法の主要部分は，次に示す 3 つの部分からなる．

1. 被写体領域の情報の分解
2. 分解した被写体領域の情報の埋め込みと抽出
3. プライバシー保護画像の生成
以下，これらについて詳しく述べる．

2.1 被写体領域の情報の分解
本節では，ボックス，エッジ，モザイクなどの様々なプライバシー保護画像を生成するために，被写体領域の97( 第 3 分冊 )Copyright © 2011 by Information Processing Society of Japan andThe Instiute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2011（第 10 回情報科学技術フォーラム）2.2 分解した被写体領域の情報の埋め込みと抽出
2.1 節で述べた，領域情報，低解像度成分，高解像度成分，色差成分に対し，適切なアクセス権を設けて情報ハイディング手法を用いて埋め込むことにより，観察者が抽出できる情報に制限を設けることができる．これにより，観察者の閲覧権限に応じたプライバシー保護画像が生成できる．本節では，プライバシー情報を埋め込むための情報ハイディング手法について述べる．
まず，二次元配列で表された色差成分 Cr′ ，Cb′ を，次式によって一次元配列 Ĉr′ ，Ĉb′ に変換する．
Ĉr′ = rs(Cr′ ), Ĉb′ = rs(Cb′ ).

図 2: 被写体領域の情報の分解
情報を，領域情報，低解像度成分，高解像度成分，色差成分に分解する手法について述べる．被写体領域の情報の分解の流れを図 2 に示す．図 2 に示すように，まず，サーベイランスカメラから得られた入力画像に対し，ガウス混合モデル [8] を用いて背景モデルを作成し，被写体領域に相当する矩形領域を求める．ここでは，入力画像に対して xy 座標を設定する．このとき，被写体領域の左上を表す座標 (i1 , j1 ) と右下を表す座標 (i2 , j2 ) を領域情報と呼ぶ．図 2 の場合，領域情報は (10, 5)，(90, 100)である．
次に，被写体領域を (R,G,B) 表色系から (Y,Cr,Cb) 表色系に変換する．一般に，人間の目は色の変化より明るさの変化に敏感である．従って，輝度成分の劣化に対しては画質の劣化を感じやすいが，色差成分の劣化に対してはあまり画質の劣化を感じない．この特性を利用して，色差成分の情報量を 1/4 に間引くことにより埋め込み量を削減する．入力画像のサイズを 2M × 2N (pixel) とす
ると，色差成分の画像 Cr，Cb から情報量を間引くことにより得られる画像 Cr′ ，Cb′ は次式で与えられる．

Cr′ (i, j) = Cr(2i, 2j) (i = 0, · · · , M1 ; j = 0, · · · , N1 ),但し，rs(X) は行列 X の行展開であり，行列 X = [xuv ](u = 1, · · · , m; v = 1, · · · , n) に対し次式によって定義される．

rs(X) = [x11 , · · · , x1n , x21 , · · · , x2n , · · · , xm1 , · · · , xmn ].
また，領域情報 (i1 , j1 )，(i2 , j2 ) を一次元配列 G による表現 G = {i1 , j1 , i2 , j2 } に変換する．次に，一次元配列によって表現された低解像度成分 Ys ，高解像度成分
Yw ，色差成分 Ĉr′ ，Ĉb′ を量子化幅 ∆ で量子化する．なお，高解像度成分に関しては，0 周辺の値の出現頻度が高いため，0 に関するランレングス符号化を行い情報量を圧縮する．その後，これらと領域情報 G を 2 進数で表現し，データの区切りとして “2” を挿入することにより，
配列 EG ，EYw ，EYs ，ECr ，ECb を作成する．さらにこれらの配列を，区切りを表す “22” を挿入して順に結合することにより，埋め込み用の配列 E = {e1 , e2 , · · · , es }を作成する．以上により，配列 E は 0,1,2 から構成される配列となる．
分解した被写体領域の情報は，配信画像のビットマップ上に埋め込む．配列 E = {e1 , e2 , · · · , es } の埋め込みには Amplitude Modulo Modulation(AMM)[9] を用いる．AMM による埋め込みは次式によって行われる．

F k = argmin |F − Fk |.

Cb′ (i, j) = Cb(2i, 2j) (i = 0, · · · , M1 ; j = 0, · · · , N1 ).
但し，Ml = 2M −l − 1, Nl = 2N −l − 1 である．
Y 成分に対しては，Haar の DWT を施し，低解像度成分 Ys と高解像度成分 Yw に分解する．Y 成分の画像にレベル j の DWT を施すと，スケーリング係数 S (j) (p, q)
および，水平方向，垂直方向，斜め方向のウェーブレ(j)(j)(j)ット係数 WH (p, q)，WV (p, q)，WD (p, q) を得る．但し，p = 0, · · · , Mj ; q = 0, · · · , Nj である．Ys , Yw はそ(j)(j)
れぞれ，二次元配列 S (j) (p, q), WH (p, q)，WV (p, q)，(j)WD (p, q) から次式によって得られる一次元配列である．
[]
Ys = S (j) (0, 0) S (j) (0, 1) · · · S (j) (Mk , Nk ) ,[]Yw = Yw(1) · · · Yw(j) ,[]
(k)
(k)
(k)
Yw(k) = Yw,H(k = 1, · · · , j),
Yw,V Yw,D[](k)(k)(k)(k)
Yw,X = WX(0, 0) WX (0, 1) · · · WX (Mk , Nk )(X ∈ {H, V, D}).

(1)F ∈S(ek ,3)

但し， Fk ，F k (k = 1, · · · , 2M × 2N ) は，それぞれ k 番
目の画素における埋め込み前後の画素値を表す．また，S(ek , 3) は S(ek , 3) = {F | F ≡ ek (mod 3)} によって定義される集合である．式 (1) より，埋め込まれた値 ek は，F k を 3 で割った余りとして抽出できる．また，R，G，B の 3 つの成分に埋め込むことを考慮すると，AMM に
よって配列 E を全て埋め込むためには，s ≤ 3 · 2M +Nである必要がある．
観察者は，自らの権限に応じて配信画像から埋め込まれた被写体領域の情報を抽出することにより，権限に応じた被写体領域のプライバシー保護画像を生成できる．
生成手法は次節で詳しく説明する．

2.3 プライバシー保護画像の生成
提案手法において生成可能なプライバシー保護画像は，抽象度の高い順に，透明化，ボックス表示，エッジ処理，モザイク処理である．プライバシー保護画像生成に必要な情報を図 3 に示す．図 3 からわかるように，埋め込ま98( 第 3 分冊 )Copyright © 2011 by Information Processing Society of Japan and
The Instiute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2011（第 10 回情報科学技術フォーラム）3.

実験

3.1 実験概要
本節では，撮影した映像に対して提案手法を適用し，量子化幅 ∆ が，埋め込む情報の量や復元された実写映像の画質に与える影響を検討する．なお，埋め込む情報の量を表す尺度として，1 画素当たりの埋め込み量を表す平均プライバシー情報量 (Average of Privacy Information:API) を用いる．ただし，API は次式で定義される．
API =

図 3: プライバシー保護画像生成に必要な情報れた情報を抽出する権限を持たない観察者は，配信画像すなわち透明化画像しか閲覧できない．一方，全ての情報を抽出できる観察者には，実写を復元することが可能である．
まず，ボックス表示画像の生成法について述べる．ボックスは領域情報のみを用いて生成できる．抽出した領域情報 (i1 , j1 )，(i2 , j2 ) に対し，これらをそれぞれ左上，右下とする矩形領域中の画素において，それらの画素値を(R,G,B)= (0, 255, 0) に置き換えることにより，ボックス表示画像を生成できる．
次に，エッジ処理画像の生成法について述べる．エッジは高解像度成分，領域情報を用いて生成できる．まず，高解像度成分 Yw の内，レベル 1 の高解像度成分に相当
(1)
(1)
(1)
する WH (p, q)，WV (p, q)，WD (p, q) を重ね合わせた
画像 WHV D (p, q) を次式により作成する．
(1)

(1)

(1)

WHV D (p, q) = WH (p, q) + WV (p, q) + WD (p, q). (2)′次に，WHV D (p, q) を 2 倍に拡大した画像 WHV
D (p, q)′を作成する．そして，WHV D (p, q) の画素値が 1 以上であれば，対応する位置の配信画像の画素値を (R,G,B)=(0, 255, 0) と置き換えることにより，エッジ処理画像を生成する．
続いて，モザイク処理画像の生成法について述べる．
モザイクは低解像度成分，領域情報，色差成分を用いて生成できる．DWT のレベルが j の場合，低解像度成分に相当する S (j) (p, q) から成る画像を 2j 倍に拡大することにより，モザイク処理の元となる画像の Y 成分を生成する．また，色差成分 Cr′ ，Cb′ を 2 倍に拡大するこ˜ を生成する．それらを被写体領域の˜ ，Cbとにより，CrY ，Cr，Cb 成分の画像と置き換え，(Y,Cr,Cb) 表色系から (R,G,B) 表色系に変換する．こうして作成された画像を，領域情報を用いて配信画像中の対応する領域に上書きすることにより，モザイク処理画像を生成する．
最後に，実写画像の生成法について述べる．実写は低解像度成分，高解像度成分，領域情報，色差成分を用いて生成できる．低解像度成分，高解像度成分に対して逆DWT を施すことにより，被写体領域の Y 成分を復元する．Y 成分と拡大した色差成分 Cr′ ，Cb′ を，(Y,Cr,Cb)
表色系から (R,G,B) 表色系に変換することにより，被写体領域の実写を生成し，領域情報を用いて配信画像中の対応する領域に上書きすることにより，実写画像を生成する．

埋め込み用の配列 E の長さ.
被写体領域の総画素数

また，復元された実写映像の画質の劣化を表す尺度として，PSNR(Peak Signal to Noise Ratio) を用いる．実験に用いた映像について，画像サイズは 720 × 480(pixel)，
フレームレートは 3 フレーム/秒 である．離散ウェーブ
レット変換のレベルは 4 とする．
3.2 実験結果撮影された映像に対し，提案手法による処理を行った．
結果を図 4，図 5 に示す．図 4 は原映像と ∆ = 1 の場合の配信映像であり，図 5 は ∆ = 1 及び ∆ = 9 の場合のプライバシー保護映像である．図 5 より，エッジ処理映像は量子化幅 ∆ の増加によるエッジの劣化への影響が大きいことが分かる．これは，エッジの生成に用いる高解像度成分は 0 周辺の値の出現頻度が高いため，量子化幅を大きくとると高解像度成分が 0 となり，エッジが生成できなくなるためである．また，エッジ処理映像と比較して，モザイク処理映像とボックス表示映像は量子化
幅 ∆ の増加による画質の劣化への影響が小さいことが分かる．
また，量子化幅 ∆ が，埋め込む情報の量や復元された実写映像の画質に与える影響を調べた．結果を図 6 に示す．図 6 より，量子化幅が大きくなるにつれて，埋め込むべき情報の量が少なくなることが分かる．∆ = 1 の時，API は 6.02 である．埋め込むべき情報の量が最も少ない ∆ = 10 の場合では，API は 2.74 である．提案手法では，画素の RGB 成分に配列 E の要素を 1 個ずつ埋め込むことによって，1 画素当たり 3 個の要素を埋め込んでいる．よって，提案手法では ∆ ≥ 9 であれば，被写体領域に全ての被写体領域の情報を埋め込むことができる．しかし，量子化幅 ∆ を大きくした場合，画質の劣化が問題となる．図 6 より，量子化幅 ∆ が大きくなるにつれて，被写体領域における原映像と実写映像の PSNRは低くなり，画質が劣化することが分かる．∆ ≤ 5 の場
合には PSNR が 30(dB) を超えているため画質の劣化が小さいが，∆ ≥ 6 の場合，画質の劣化が大きいことが分かる．
また，∆ ≤ 8 の場合，被写体領域の大きさによっては，被写体領域の情報の一部を失う可能性がある．現在の手法では，1 画素当たり 3 個の要素の埋め込みを行い，画像中の全ての画素に情報を埋め込むと，その時点で埋め込み処理を終了する．そのため，全ての被写体領域の情報を埋め込む前に処理が終了した場合，残りの情報は失われ，生成したプライバシー保護映像の色合いに乱れが生じる．
現段階では，∆ = 1 の場合，被写体領域が映像全体の約 50 ％を超えると，被写体領域の情報の埋め込みの途中

99( 第 3 分冊 )Copyright © 2011 by Information Processing Society of Japan andThe Instiute of Electronics, Information and Communication Engineers
All rights reserved.

FIT2011（第 10 回情報科学技術フォーラム）れた実写映像の画質に与える影響を調べた．その結果，量子化幅の増加につれて埋め込む情報の量が減少し，それに伴い復元された実写映像の画質が劣化することが分かった．今後の課題として，埋め込む情報量の問題を解決するために，色差成分の間引きや 0 についてのランレングス符号化によって埋め込むプライバシー情報量を削減するだけでなく，より埋め込む情報量が小さくなるような埋め込みビット配列の作成手法を開発することが挙げられる．また，配列 E の要素を全て埋め込むために，より埋め込む情報の量が大きい埋め込み手法を検討することも課題となる．なお，本研究の一部は科学研究費補助金 (基盤研究 (A)) による．

図 4: 原映像と配信映像

参考文献[1] F. Dufaux, and T. Ebrahimi, “Scrambling forvideo surveillance with privacy,” In Proc. of IEEE
Computer Vision and Pattern Recognition Workshop on Privacy Research in Vision, 2006.
[2] W. Zhang, S.S. Cheung, and M. Chen, “Hiding privacy information in video surveillance system,” In Proc. of International Conference on Image Processing, 2005.

図 5: 生成したプライバシー保護映像[3] X. Yu and N. Babaguchi, “Privacy preserving:hiding a face in a face,” In Proc. of the 8th
Asian Conference on Computer Vision, pp. 651661, 2007.
[4] 知野見 健太, 李 光鎮, 中 嶋大介, 新田 直子, 伊藤義道, 馬場口 登, “PriSurv: プライバシー保護機能を有する映像サーベイランスシステム,” 情報処理学会論文誌コンピュータビジョンとイメージメディ
ア (CVIM22), vol. 1, no. 2, pp. 152-162, 2008.

図 6: 量子化幅Δに対する API と PSNRで埋め込みが終了することにより，情報の一部が失われ，生成されるプライバシー保護映像に乱れが生じる．量子化幅 ∆ を大きくすることによって情報を圧縮し，埋め込み量を減らすことができるが，∆ ≥ 6 の場合，PSNRが 30dB を下回り，被写体領域の情報の劣化が問題となる．図 6 より，被写体領域の大きさや量子化幅に関わらず，被写体領域に関する情報を全て埋め込むためには，1 画素当たり 7 個程度の要素の埋め込みが必要であることが分かる．

4.

まとめ

本稿では，観察者の権限に応じたプライバシー保護映像を生成可能な映像配信手法を提案した．分解した被写体領域の情報に対し適切なアクセス権を設けて配信映像中に埋め込むことにより，観察者は閲覧権限に応じて被写体領域の情報の一部を抽出し，モザイク，エッジ，ボックス，実写といったプライバシー保護映像を生成できることを確認した．また，撮影した映像に対して提案手法を適用し，量子化幅 ∆ が，埋め込む情報の量や復元さ[5] K. Chinomi, N. Nitta, Y. Ito, and N. Babaguchi,“PriSurv: Privacy Protected Video Surveillance
System Using Adaptive Visual Abstraction,”
Proc. of the 14th International MultiMedia Modeling Conference, pp. 144-154, 2008.
[6] 李 光鎮, 伊藤 義道, 于 小億, 新田 直子, 馬場口 登，“可逆型プライバシー保護画像処理,” 電子情報通信学会第 6 回マルチメディア情報ハイディング研究会，DS-3-3, pp.S-23-S-24, 2009.
[7] G. Li, Y. Ito, X. Yu, N. Nitta, and N. Babaguchi,“Recoverable Privacy Protection for Video Content Distribution,” EURASIP Journal on Information Security, vol. 2009, article ID 293031, online published, 2009.
[8] P. KaewTraKulPong and R. Bowden,“AnImproved Adaptive Background Mixture Modelfor Real-time Tracking with Shadow Detection,”
Proc. of the 2nd European Workshop on Advanced
Video Based Surveillance Systems, 2001.
[9] M. Wu and B. Liu,Springer, 2002.

100( 第 3 分冊 )Multimedia Data Hiding,

Copyright © 2011 by Information Processing Society of Japan andThe Instiute of Electronics, Information and Communication Engineers
All rights reserved.