クラウド映像サービスに向けたパーソナライズド映像圧縮アルゴリズムの開発代表研究者
共同研究者
共同研究者

京田鈴

地中木清雄
大介
一三

北九州市立大学国際環境工学部情報メディア工学科
東京農工大学大学院生物システム応用科学府
筑波大学 システム情報系 情報工学域

1 はじめにPC・スマートフォン等のデバイスや有線無線通信等，IT 環境を支えるあらゆる技術の性能進化は今日のクラウド情報時代を拓き，ユーザーは屋内外の任意の環境にて映像の視聴が可能になった．そして映像メディ
ア自身も，4K・8K 映像に代表される高精細映像関連の開発が急速に進んでおり，今後のクラウド映像サービ
スはますます活性化すると期待されている.
しかし，近年のインターネットユーザーの増加や映像メディアの高品質化により映像情報量は急増しており，ネットワークへの負荷が深刻な問題になっている．例えばモバイル無線通信では，キャリア各社共に高速通信サービスの利用制限（例：LTE 7[GB/月]）を設けており，更なる高品質な映像を「いつでもどこでも快適に」利用するためには，通信インフラの更なる強化が必要となる.
これまでの映像情報量削減の対策としては，映像圧縮[1,2]が主要技術として用いられており，現在も性能改善の検討がなされている．しかし従来方式は「単体映像の情報量を如何に削減するか」という方針で設計されているため，映像コンテンツ数の増加には対応できず，結果，全体の映像情報量増加を抑制できない問題がある．本研究で提案する方式では，従来考慮されることのなかった「ユーザーが利用している映像データの傾向」を圧縮アルゴリズム（パーソナライズド映像圧縮）に反映させる．ユーザーが視聴・保有する映像には，しばしば類似するコンテンツが多く存在する（図 1）.よって，事前解析した傾向に基づいてユーザー毎に圧縮方式をカスタマイズできれば，類似コンテンツが多いほど圧縮効率を特化できるため，結果，全体の総映像情報量を大幅に削減することが可能となる.
パーソナライズド映像圧縮アルゴリズムを構成するにあたり，本研究では画像の色差（色情報）成分には「参照画像を用いたカラリゼーション」を，輝度（濃淡情報）成分には「辞書を用いたスパース表現」を導入する．色差成分圧縮に用いるカラリゼーション[3,4]とは，濃淡画像にわずかな色情報を指定し，最適化問
題を解くことで画像全体の色情報を推定する手法である（図 2）．ユーザーが保有・視聴する類似性の高い映像には同色が多く含まれるため，わずかな色情報を多くの画像に指定することで，指定色情報を大幅に削減することができる（図 3）．また辞書による輝度成分のスパース表現[5]によって，ごくわずかな情報で様々な類似画像の輝度成分を効率よく表現できるようになる．ここでスパース表現のための辞書を設計する際，辞書のパラメータが膨大になる傾向があるため，本研究では離散コサイン変換に豊富な指向性を持たせた新たな固定辞書を二層学習(図 4)[6]に組み込むことにより，効率よく辞書を学習する方法を導入する．

圧縮画
像

原画像

図 2：カラリゼーション画像圧縮

図 1：類似コンテンツ

図 3：参照画像を用いたカラリゼーション画像圧縮

図 4：輝度成分圧縮用辞書の二層学習

1（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

以降本稿では，2 章にて従来の映像圧縮アルゴリズムについて述べる．次に 3 章にて本研究で導入した技術を説明し，4 章にて実験結果を示す．最後に 5 章にて本論文を結ぶ．

2 .従来の映像圧縮アルゴリズム
2-1 国際標準映像圧縮
映像は画像（フレーム）の列として構成され，隣接するフレームでは（被写体の大きな動き，シーンチェンジ等が無ければ）非常に似通った色を持つ．また同一フレーム内においても，ある注目画素とその周辺画素は似通った色を持っている．以上の映像の性質を利用するために，現在までの標準映像圧縮符号化アルゴリズムでは，
図 5 に示すように映像の各画像フレームを分割した小ブロック毎に，画面内予測（近傍類似画素のコピー）もし
図 5：国際標準映像圧縮方式概要
くは画面間予測（近傍フレームの類似ブロックのコピー）を行い，予測信号と当該ブロックの差分を離散コサイン変換（DCT: Discrete Cosine Transform）で鉛直・水平方向に変換し，量子化＋エントロピー符号化によって圧縮を行う．
国際標準映像圧縮である AVC/H.264[1]や HEVC[2]は全て上記方法に基づき，同画質の下で現世代規格の半分の符号量を達成しながら進化を遂げてきた．しかし，本方式は「如何に単一の映像データを圧縮するか」という観点で圧縮が行われているため，ユーザーが保有する映像ファイル数が増加した場合に情報を削減することができない．これに対して，本研究は映像コンテンツ群全体を最適に圧縮する特徴を持つ．
2-2 カラリゼーション画像圧縮
カラリゼーション画像圧縮とは画像中の各ピクセルの色が周囲のピクセルの色と近いことを前提に，少数の色情報を選択し，最適化問題を解くことによって全体の色を推定する技術である（図 2）．現在までにいく
つかのカラリゼーション画像圧縮が提案されているが[3,4]，ここでは本研究でベースとした文献[4]の方法を述べる．
文献[4]ではカーネルによる回帰問題を解くことで色を復元する．準備として輝度成分の濃淡値 I i ，およびその画素の x 座標 xi ，y 座標 y i を格納した u i = [ I i , xi , y i ] と，全画素の u i を集めてできる集合
TU = {u1 ,  , u n } ，指定する色の値（色差値）を表すベクトル y = [ y1 ,  , y L ]T を定義する．次に各 u i の K 近傍探索（つまり，u i と u i を除く全ての u j との誤差 u i − u j2を計算し，最も誤差の小さい上位 K 個の画素 u i ）によって近傍と判定された u i には 1，近傍でなければ 0 を割り当てることで隣接行列 W ∈ R
数行列 D ii =n×nと次∑ w を生成する．そして，グラフラプラシアン行列 L = D − W を求める．またガウシアンカijjーネル行列 K を以下の式で定義する．

 u −u 2 ij 2 
K ij = exp −2σσ 2 は分散である．以上より，指定色の伝播を行う式は係数ベクトル a = [a1 ,..., a n ]T を用いて，2a * = arg min a y − Φ y Ka + λ1a T Ka + λ 2 a T KLKa2で与えられる．ただし Φ y ∈ RL×nは色差値を指定する場所に対応する画素を抽出する行列である．上式を係数ベクトルについて微分・整理を行うと，

a * = ((Φ y K ) T (Φ y K ) + λ1K + λ 2 KLK ) −1 Φ y K T YX

2（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

となる．上式の計算コストは膨大なため，実際には Kernel PCA map[7] を用いることによって計算負荷を低減させる．

3 提案手法：色差成分圧縮のための参照画像を用いたカラリゼーション
本研究では 2 章で述べたカラリゼーション画像圧縮を応用し，類似画像の色情報を圧縮対象画像に転写する事によって，色情報の削減を可能とするアルゴリズムを構成する．ユーザーのストレージ内は類似画像を多く含み（図 1），ある画像の色情報が類似参照画像の少数の色情報から推定できると考えられる．そこで，・現在の領域の色と類似した領域参照画像の領域をマッチングによって特定し，色を選択・ガウスカーネルを用いた画像全体の色推定を構成する（図 6）．
3-1 ツリー構造ブロックマッチング
ツリー構造ブロックマッチングとは，発生する変位ベクトルの符号コストとブロックの予測誤差の合計値が最も小さくなるようにブロックサイズを変えるものであり，次式でコストを計算する．

J = λ1 D + λ 2 (t + v)
ただし， D はブロックマッチングで発生する予測誤差， t はツリー構造に必要な符号コスト， v は対象ブロックをブロックマッチングする際に発生する符号コストであり， λ1 と λ 2 は予測誤差と符号コストを調整する重み係数である．始めに最小ブロックサイズ n × n でブロックマッチングを行う( n は正の整数)．次のス

テップでは 2n × 2n のサイズでブロックマッチングを行うため，コスト J s は 4 ブロックの合計のコスト

J S = J 1 + J 2 + J 3 + J 4 である(図 7 参照)．その後，ブロックサイズ 2 L × 2 L でブロックマッチングを行い，コスト J L を求める．そして，求めたコストの比較を行い， J S ≥ J L ならば， J L のブロックサイズを採用し， J S < J L ならはそのままとし次のブロックに移り同様のことを行う．一通り終えたらブロックサイズを大きくし，繰り返し同様のアルゴリズムを実行し，最終的なブロックサイズを決定する．このツリー構造ブロックマッチングは発生する符合量とブロックの予測誤差とのトレードオフの関係に注意することにより，予測精度の低下を抑えながら符号量を減らすことが可能となる．
3-2 グローバルガウスカーネルの導入
従来のカラリゼーション画像圧縮では選択された画素を中心とするガウスカーネルを設定し，それらの重み付き線形和を用いて，原画像の色情報を予測する方式を用いており，本研究においても同じカーネルを使用している（図 8）．従来のカラリゼーションにおけるガウスカーネルは，その関数の概形の決定のために，輝度の濃淡値とピクセルの座標情報を用いているため，中心点から離れるほど減衰する分布を形成している（図 9 左）．そのため，選択された色情報が広範囲に伝搬せず，色選択数が制限された場合において，復元画像に著しい色劣化が生じることが分かった．
本問題を解決するために，本研究ではガウスカーネルの分布形状を決定するパラメータに座標情報を含めないものを用いる方法を導入している（図 9 右）．本研究では予め類似画像の色成分とマッチングを行ってい

図 6：参照画像を用いたカラリゼーション画像圧縮

図 7：ツリー構造ブロックマッチング

3（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

るため，ガウスカーネルのパラメータとして輝度の濃淡値ではなく，色（色差）の値を使用できる．この利点を積極的に活用することで，少ない色情報をより効果的に画像全体に伝搬することが可能となった．

4 提案手法：スパース表現辞書学習のための指向性 DCT
輝度成分の圧縮に関しては，ユーザーの類似画像をスパースに表現する辞書を設計し，圧縮対象画像のスパース符号化に適用する．この際，ユーザーストレージ内の画像コンテンツ数は膨大になるため，辞書の規模も膨大となる．辞書の効率的な学習のために二層学習，すなわちDCT のような基本辞書（図 4 の行列 D）を一つ設
図 8 ガウシアンカーネルによる色成分近似定し，それをカスタマイズする（図 4 の行列 Aを決定する）ことで学習パラメータの削減を行う．
ここで，従来の映像圧縮に搭載されている
DCT は，輝度変動の少ない画像を効率よくスパースに表現できるが，一方で輝度変動の激しい画像，特に特定の方向性を有する模様を多く含む画像に対しては，効率的なスパース表現を実現できない問題があった．一方，離散フーリエ変換（DFT：Discrete Fourier Transform）[8,9]に代表される指向性フレームは DCT 同様にブロック内処理が完結して（ブロック変換），並列化やメモリアクセスの効率に関して利点を有しながら，基底に斜め方向を向く atom が含まれてい図 9 ガウススカーネル関数
る．従来の指向性を備えたブロック変換としては DFT，離散ハートレー変換（DHT：DiscreteHartley Transform）[10] が挙げられる．DFT，DHT は可分型二次元変換によって画像の指向性の解析が可能となるが，DFT・DHT のフレームを構成する atom の中に同一の周波数帯域を示すものが含まれるため，疎表現の効率が低下する問題がある．
本 研 究 で は 従 来 の 指 向 性 ブ ロ ッ ク 変 換 の 弱 点 を 補 う た め ， DCT を 拡 張 し た 指 向 性 DCT （ DDCT ：DirectionalDCT）を二種類提案する．一つ目は，DCT と DST の並列構造に基づく DDCT で，DCT と異なり豊富な指向性が得られることを示す．二つ目は，DDCT で問題となる DC 漏れを解決するための，レギュラリテ
ィ制約[11] を課した DDCT（RDDCT：Regularity-constrained DDCT）を提案する．RDDCT は DST ではなく，レギュラリティ制約を課して修正した DST（RDST）と DCT の並列構造で構成される．RDDCT は方向選択数を犠牲にしてレギュラリティ制約を課しているため，高周波に富む画像の解析に関しては DDCT に劣るが，DC漏れが抑制できるため，低周波の多い画像に関しては DDCT よりも優れた特性を持つ．
以下でまず DDCT を導入する．まず DDCT の定義を以下のように与える．
［定義 1］サイズ M

2× M 2 の DDCT を FD を以下で定義する．

4（公財）電気通信普及財団 研究調査助成報告書 No.32 2017 1
 2 I1T 
FD := P1




1I22
12

I1

1I22


1I 2  F ⊗ F CP C21  FS ⊗ FS 
1 − I22 

ただし， FD と FD はそれぞれ DCT・DST 行列
1
M[FC ] k ,n = π21 cos k  n +   M2 M (k = 0)(k ≠ 0) 1
π1 

sin  ( M + 1) n +   (k = 0)
2  M
M[FS ] k ,n = 
π 
21 

sin  k  n +  (k ≠ 0)
2 MM 
I 1 ∈ R ( 2 M −1)×( 2 M −1) ， I 2 ∈ R ( M −1) ×( M −1) は単位行列， P1 は置換行列（要素の並べ替え）である．
2

2以上の DDCT によって DCT には無い指向性を課すことが可能となる．図 10(b)は DDCT のフレームを示しているが，DCT（図 10(a)）では斜め方向を示す atom が存在しないのに対し，DDCT では斜め方向を向く atomを含んでいることが分かる．また，テスト画像 Zoneplate （円状の模様を含む画像）に DDCT を施した後の半分の係数をサブバンド毎に並べ替えて表示したものを図 11(c)に示すが，±45 度が区別されている．
DDCT の問題点として“DC 漏れ” が挙げられる．図 11(c)から明らかなように，低周波のエネルギーが，高周波のサブバンドに分布しているのが分かる．この現象は，図 10(b) にあるように，DCT と DST を DFT の実部と虚部のように複素数の形に統合したときの周波数スペクトルを示したとき，いくつかのサブバンドの(a) DCT(b) DDCT(c) RDDCT

図 10：DCT・DDCT・RDDCT の周波数スペクトルとフレーム(a)原画像(b) DCT(c)DDCT(d) RDDCT

図 11：変換係数5（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

周波数応答が，周波数 ω = 0 で 0 に減衰していない事に起因する．この原因は， DST（ [FS ] k ,⋅ ）の行ベクトルの周波数スペクトルが ω = 0 でゼロにならないために，DCT（ [FC ] k ,⋅ ）と DST（ [FS ] k ,⋅ ）の行ベクトルの複素合成した周波数スペクトル F [[FC ] k ,⋅ + j[FS ] k ,⋅ ](ω ) も ω = 0 でゼロにならないためである．従って，DC 漏れを抑制するには，DST を近似するある行列 A で， F [[FC ] k ,⋅ + j[ A ] k ,⋅ ](0) = 0 となるものが設計できればよいことになる．これはすなわち， F [[ A ] k ,⋅ ](0) = 0 ，つまり[c 0  0]T = A1の条件を考えればよいことになる．この条件はレギュラリティ制約と呼ばれる．次節にて DST にレギュラリティ制約を課した行列（RDST）の設計アルゴリズムを示す．
4-1 RDST の設計
図 10(b)が示すように，DST は一般に奇数行がレギュラリティ制約を満たさないことが分かるので，レギュラリティ制約を課すためには，DST の奇数行ベクトルを，新たな行ベクトル a で 1 と直交するもので置き換えなければならない．そこで，まずはじめに，DST の 0 行目を DCT の 0 行目に置き換えた行列 S(0)を以下のように設定する．

1


M
[S ( 0 ) ] k ,n = 
π21 
sin  k  n +   M2 M (k = 0)(k ≠ 0)= [ s 0 , s1 ,  , s M −1 ]T .
次に， S(0)の 0 行目と直交していない各奇数行ベクトル (1 ≤ 2k + 1 ≤ M − 1) に対して，①~2k + 1 行目を 0 に置き換える．（ S ( k ) とおく．）

②

次に S

③V ( k ) = [ v (0k ) , v 1( k ) ,  , v (Mk )−1 ] とするとき， S (k ) の 2k + 1 行目に v (Mk )−1 を挿入し，新たな行列を S ( k +1)~ (k )~ (k )に特異値分解（SVD）を施す S= U ( k ) D ( k ) (V ( k ) ) T ．と置く．
(k )~ (k )を繰り返す．上のアルゴリズムの中で，新たに挿入された v M −1 は Sの核空間に含まれるベクトルであ~ (k ) (k )T (k )るので， S v M −1 = 0 ，すなわち 1 v M −1 = 0 となり，レギュラリティ制約を満たすことになる．
以上のアルゴリズムを全ての奇数行に順次適用して最終的に得られる行列 S(M / 2 )を FRS とおき，RDST と定める． DCT の行ベクトルを実部，RDST の行ベクトルを虚部として複素数としたときの周波数応答

F [[FC ] k ,⋅ + j[FRS ] k ,⋅ ](ω ) を図 10(c) に示す．周波数応答は ω = 0 で減衰し，また DFT 同様に片側の象限に分布しているため，DCT と RDST の並列構造による二次元変換は指向性を示す．
4-2 RDDCT の定義
前節で設計された RDST を用いて，次のように RDDCT を定義する．
［定義 2］ RDDCT を FRD ∈ R

M 2 ×M 2とするとき，以下のように定義する．

6（公財）電気通信普及財団 研究調査助成報告書 No.32 2017 1
 2 I3T 
FRD := P21I42121I42I3
1I4   F ⊗ F CCP2.
2
 FRS ⊗ FRS 1 − I42 (9)ただし， I 3 ∈ R( 4 M − 4 )×( 4 M − 4 )と I4 ∈ R( M − 2 ) 2 ×( M − 2 ) 2は単位行列， P2 は置換行列である．

図 10(c) に RDDCT の atom を図示する．明らかに指向性を有することが分かる．更に，図 11(c)に図示されたテスト画像 Zoneplate の変換係数を見ると，図 11(b)に見られた DDCT におけるエネルギーの拡散問題が解決されている事が分かる．

4 結果
実験では，提案手法を構成する際にベースにしたカラリゼーション画像圧縮との比較を行った．図 12(a)の原画像に対して従来のカラリゼーション画像圧縮を適用した結果画像図 12(b)を見ると分かるように，色情報量を大幅に削減した場合色むらの劣化が生じるが，提案法では色むらに頑健な情報量削減を行うことができた．また，原画像と圧縮後の画像の誤差を定量的に表す PSNR（[dB]）に関しても大幅な向上が見られた，

5 結論
本研究では新しい映像圧縮フレームワーク「ユーザーが保有・視聴する映像群の特徴を踏まえて圧縮を行うアルゴリズム」を提案し，その具体的なアルゴリズムとして，辞書を用いたスパース表現と，参照画像を用いたカラリゼーションによって構成し，有効性を確認した．
本研究は「パーソナライズド映像圧縮」の領域を拓くきっかけとなり，今後も盛んに研究されると考えられる．特に近年注目を集めている人工知能・機械学習分野の活用は映像圧縮性能をより改善すると考えられるため，今後導入したいと考えている．

【参考文献】[1] T. Wiegand, et. al., “Overview of the H. 264/AVC video coding standard,” IEEE Trans. Circuits Syst.
Video Technol.,vol. 13, no. 7, pp. 560‒576, 2003.
[2] K. Anderson, et. al., “High Performance, Low Complexity Video Coding and the Emerging HEVC
Standard,” IEEE Trans. Circuits Syst. Video Technol., vol. 20, no. 12, pp. 1688-1697, 2010.
[3] S. Lee et. al.“Colorization-Based Compression Using Optimization” IEEE Trans. Image Process., vol.
22, no. 7, pp. 2627-2636, July 2013.
[4] C. Zhang, et. al.“Image Compression by Learning to Minimize the Total Error” IEEE Trans. Circuit
Syst. Video Tenchol., vol. 23, no. 4, pp. 565-576, July 2013.
[5] M. Aharon, et. al., “K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse
Representation,” IEEE Trans. Signal Process., vol 54, no. 11, pp. 4311-4322, 2006.
[6] M. Aharon, et. al., “Double Sparsity: Learning Sparse Dictionaries for Sparse Signal
Approximation,” IEEE Trans. Signal Process., vol 58, no. 3, pp. 1553-1564, 2010.
[7] B. Sch¨olkopf and A. J. Smola, Learning with Kernels: Support Vector Machines, Regularization,Optimization, and Beyond. Cambridge, MA: MIT Press, 2001.
[8] J. W. Cooley and J. W. Tukey,“An algorithm for the machine calculation of complex Fourier series,”
Mathematics of Computation, vol. 19, pp. 297–301, Apr. 1965.
[9] Z. Wang,“On computing the discrete fourier and cosine transforms,” IEEE Trans. Acoust. Speech

7（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

Signal Process., Vol. 33, No. 4, pp. 1341–1344, 1985.
[10] R. N. Bracewell,“The fast hartley transform,” Proc. of the IEEE, vol. 72, no. 8, pp. 1010–1018, Aug.
1984.
[11] G. Strang and T. Q. Nguyen, Wavelets and Filter Banks. Wellesley, MA: Wellesley-Cambridge,
1997.

〈発題名Directional discrete cosine transforms
arising from discrete cosine and sinetransforms for directional block-wise
image representation
Guided-colorization-based color image
coding双直交指向性離散コサイン変換の設計
指向性離散コサインフレームの設計

表資料〉

掲載誌・学会名等

発表年月

IEEE International Conference on
Acoustics, Speech and Signal
Processing (ICASSP)

2017. 03

IEEE Picture Coding Symposium(PCS)
電子情報通信学会信号処理研究会
第 31 回信号処理シンポジウム
電子情報通信学会画像工学研究会(b) 圧縮画像(a) 原画像

2016. 122016. 112016. 06(c) 原画像

図 12：原画像と圧縮画像

表 1：原画像と圧縮画像
符号量
PSNR ([dB])

従来法：10563 byte
提案法：10490 byte
従来法：30.265
提案法：31.735

従来法：10563 byte
提案法：9398 byte
従来法：30.265
提案法：31.552

従来法：9107 byte
提案法：9214byte
従来法：29.969
提案法：31.245

8（公財）電気通信普及財団 研究調査助成報告書 No.32 2017