フィルタリング処理によるノンフォトリアリスティックレンダリングの動画への拡張
代表研究者

平 岡 透

長崎県立大学 情報システム学部 教授

1 はじめに
本研究では，次の三つのことを実施して明らかにした．
① 申請者がこれまでに開発してきた画像処理フィルタを用いた静止画の各種ノンフォトリアリスティックレンダリング（NPR）を，ちらつきとシャワードア効果を抑制して動画に拡張する方法の開発② 新しいタイプの画像処理フィルタの開発と NPR への拡張
③ 画像処理フィルタの高速化の方法の開発

2 画像処理フィルタの NPR の動画への拡張
静止画の NPR を動画の各フレームに適用するとちらつきとシャワードア効果が問題となるため，動画の前後のフレームを用いることでちらつきとシャワードア効果を抑制した．具体的には，逆アイリスフィルタを用いたセル風動画，逆アイリスフィルタを用いたチェッカー模様動画，逆線集中度フィルタを用いた縞模様動画，逆ソーベルフィルタを用いた波紋模様風動画，ストライプアート動画を生成した．以下，逆アイリスフィルタを用いたチェッカー模様動画の詳細を示す．
2-1 アイリスフィルタを用いたチェッカー模様動画（１）方法
256 階調で 𝐼 × 𝐽 画素のグレースケールの動画の 𝑚 番目のフレームの画素値を 𝑔 , , 𝑖 1,2, ⋯ , 𝐼; 𝑗
1,2, ⋯ , 𝑀 とする．𝑚番目のフレームから前後𝑁枚のフレームを用いて𝑓 , , を1,2, ⋯ , 𝐽; 𝑚

. ,| |

𝑓, ,(1)| |で計算する．
アイリスフィルタをかけた後の画素値を𝐼𝐹 𝑓 , , とする．アイリスフィルタは，注目画素 𝑖, 𝑗 から半径 𝑟 画素内の 𝑆 の周辺画 𝑘, 𝑙 を用いて実行される．周辺画素 𝑘, 𝑙 から注目画素 𝑖, 𝑗 へのベクトル 𝑖𝑘, 𝑗 𝑙 と 周 辺 画 素 𝑘, 𝑙 の 濃 度 変 化 量 か ら 求 め た ベ ク ト ル 𝑓 , ,𝑓 , ,𝑓 ,,𝑓𝑓
𝑓,,,,,,𝑐, ,𝑓𝑓,

𝑓 , ,𝑓 , ,𝑓 ,,𝑓 , ,𝑓𝑓𝑓𝑓,,,,,,,,,のなす角を𝜃 , , , , とすると，注目画素 𝑖, 𝑗 の集中度𝑐 , , は，,∑∑𝑐𝑜𝑠𝜃 , , , ,𝐼𝐹 𝑓 , ,255

, ,,,,,,, 𝑓𝑓 ,,,,(2)ただし，半径 r 以内の周辺画素のみを使用で計算される．この集中度𝑐 , , のうちの最小値を𝑐階調の値を持つ集中度𝐶 , , に式(3)で変換する．

𝐶, ,𝑓𝑓,,,，最大値を𝑐,として，集中度𝑐 , , を 256(3),𝐶 , , となる．

逆アイリスフィルタを

𝑓, ,𝑎 𝑓, ,𝐼𝐹 𝑓 , ,𝑔, ,(4)1で計算する．
ここで，𝑎 は正定数，𝑡は反復回数である．初期値𝑓 , , を𝑓 , , として，式(5)から𝑓 , , , 𝑓 , , ⋯を求める．
𝑓 , , が 0 より小さい値になった場合は 0，𝑓 , , が 255 より大きい値になった場合は 255 とする．また，𝑓 , , を前後𝑁枚のフレームを用いて，𝑓, ,| | , ,(5)| |で更新する．
逆アイリスフィルタを𝑇回かけて式(5)で作成されたチェッカー模様画像から生成された動画が提案チェッカー模様動画である．
（２）結果
提案法の有効性を評価する実験を行う上で，電子情報通信学会パターン認識・メディア理解研究専門委員会の評価用映像メディアデータベース検討部会の映像処理評価用映像データベースの友禅染めの動画（703
フレーム（30 フレーム/秒），大きさ 352×240 画素，256 階調，グレースケール）を用いた．この動画の100 フレーム目と 101 フレーム目，387 フレーム目，388 フレーム目を図 1 に示す．387 フレーム目と 388
フレーム目は，シーンが切り替わる前後のフレームである．この動画から生成された従来チェッカー模様動画と提案チェッカー模様動画を視覚的にかつ定量的に比較した．以下の実験では，文献[1]を参考に，従来法と提案法のパラメータ r, 𝑎，𝑇の値をそれぞれ 5，0.5，20 とした．

(a) 100 フレーム目(b) 101 フレーム目(c) 387 フレーム目
図 1 友禅染めの動画のフレーム(d) 388 フレーム目

まず，従来チェッカー模様動画と提案チェッカー模様動画を視覚的に比較した．ここで，従来チェッカー模様動画とは，動画の各フレームに対してチェッカー模様画像を作成してチェッカー模様動画にしたものである．提案法のパラメータ N の値を 3 とした．参考のため，従来チェッカー模様動画と提案チェッカー模様動画の 100 フレーム目と 101 フレーム目，387 フレーム目，388 フレーム目をそれぞれ図 2 と図 3に示しておく．従来チェッカー模様動画と提案チェッカー模様動画を見ると，提案チェッカー模様動画は，従来チェッカー模様動画のちらつきが抑制され，チェッカー模様が滑らかに変化することがわかった．

(a) 100 フレーム目(b) 101 フレーム目(c) 387 フレーム目
図 2 従来チェッカー模様動画のフレーム

2(d) 388 フレーム目

(a) 100 フレーム目(b) 101 フレーム目(c) 387 フレーム目
図 3 提案チェッカー模様動画のフレーム(d) 388 フレーム目

次に，従来チェッカー模様動画と提案チェッカー模様動画を定量的に比較した．従来チェッカー模様動画と提案チェッカー模様動画に対して，各フレームの画素値の差の絶対値の平均を求め，この平均の全フレームでの平均（以下，平均）を求めた．また，全フレームにおいて各フレームの画素値の差の絶対値が最大となる値（以下，最大値）も求めた．この平均と最大値が小さいほど，従来チェッカー模様動画および提案チェッカー模様動画のちらつきが少ないことを意味する．従来チェッカー模様動画の平均と最大値は，表 1 に示すように，それぞれ 23.871 と 83.096 であった．最大値は，シーンが切り替わる 387 と 388 フレーム目であった．一方，提案法のパラメータ N の値を 1，2，⋯，10 と変えて得られた平均と最大値を表 2 に示
す．最大値は，すべての場合でシーンが切り替わる 387 と 388 フレーム目であった．表 2 を見ると，N の値が大きいほど，平均と最大値が小さくなる傾向があることがわかった．表 1 と表 2 を見ると，提案チェッカー模様動画は従来チェッカー模様動画よりも平均と最大値がともに小さくなっていることがわかった．
つまり，提案チェッカー模様動画は従来チェッカー模様動画よりもちらつきが抑制されているといえる．

表 1 従来チェッカー模様動画の平均と最大値
平均
最大値
23.871
83.096
表 2 提案チェッカー模様動画の N による平均と最大値
N
平均
最大値
115.33664.0042
14.15159.8693
13.69757.9574
13.44657.050513.31256.423
6
13.25255.8457
13.19755.4258
13.13655.1159
13.10954.91610
13.11154.657

3 新しいタイプの画像処理フィルタの開発と NPR への拡張
新しいタイプ画像処理フィルタを開発して NPR に応用した．具体的には，k 平均法と逆フィルタを用いたストライプパッチワーク風ハーフトーニング，特異値分解と逆フィルタを用いた木炭画風画像，輪郭線とユークリッド距離を用いた文様群風画像，エントロピーと逆フィルタを用いたストライプパッチワー
ク風画像を生成した．これらの非写実的な画像を図 4 に示す．

3

(a) ストライプパッチワーク風ハーフトーニング(c) 木炭画風画像(b) 文様模様群風画像(d) ストライプパッチワーク風画像
図 4 非写実的な画像

4 画像処理フィルタの高速化の方法の開発
画像処理フィルタは計算量が大きく，NPR の画像処理フィルタを動画に拡張するとさらに計算量が大きくなるため，画像処理フィルタの高速化の方法を開発した．具体的には，バイラテラルフィルタ（BF）を用いてモアレ風画像を生成する処理において，BF の係数を二値化することで計算量を削減する方法を提案し，さらに生成されるモアレ風画像のクオリティを向上させた．
4-1 2 値係数バイラテラルフィルタによるモアレ風画像の高速化と高品質化（１）方法
モアレ風画像は，大きく二つの処理を実行することで生成される．一つ目の処理では，2 値係数 BF を用いて段階効果のある画像を作成する．二つ目の処理では，一つ目の処理で得られた画像に 2 値係数 BF とアンシャープマスクを組み合わせたフィルタ（反 2 値係数 BF）をかけて，段階効果を強調したモアレ風画像を生成する．
写真画像の座標 𝑖, 𝑗 での入力画素値を𝑓 , , をとして，BF での出力画素値𝑓 , , （ 𝑡 は反復回数）を式(6)と式(7)で計算する．
∑𝑓, ,𝑤,, , ,,, , ,∑𝑒, ,(6),, , ,,,(7), ,ここで，𝛼と𝛽は正定数，𝑊はウィンドウサイズである．

4

2 値係数 BF では，式(7)の代わりに式(8)を用いる．
1 𝛼 𝑖𝑤,, , ,𝑘𝑗 𝑘
0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

𝛽 𝑓, ,𝑓, ,𝐶

(8)

𝑗 𝑘
𝛽 𝑓, ,𝑓 , , が𝐶よ
ここで，𝐶は正定数である．式(8)は，BF の重み係数𝑤 , , , , を𝛼 𝑖 𝑘
り小さい場合は 0 に，それ以外は 1 とするものである．
2 値係数 BF を𝑇 回かけた後の画像𝑓 , , を𝑓 , , として，反バイラテラルフィルタでの出力画素値𝑓 , , （ 𝑡は反復回数）を式(9)と式(10)で計算する．
𝑓,,𝑤 ,, , ,2𝑓 , ,1 𝛼 𝑖∑,, , ,∑, ,(9),, , ,𝑘𝑗 𝑘
0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

𝛽 𝑓, ,𝑓, ,𝐶(10)ここで，𝛼と𝛽，𝑊，𝐶の値は， 2 値係数 BF と同じ値を用いる．
反 2 値係数 BF を𝑇 回かけた後の画像が提案法によって生成されるモアレ風画像である．
（２）結果
512×512 画素の大きさで 256 階調のレナの画像を用いて実験を行った．文献[2][3]を参考に，パラメー
タ𝛼，𝛽，𝑊の値をそれぞれ 0.01，0.01，20 とした．また，従来法においてを𝑇 と𝑇 の値をそれぞれ 20 と40 としてモアレ風画像（図 5 参照）を生成した．計算環境は，OS が Windows 10 Enterprise，CPU が3.20GHz，メモリが 8.00GB，グラフィックボードが Intel(R) HD Graphics 530，使用言語は VC++である．
まず，段階効果のある画像を作成する一つ目の処理を通して，提案法と従来法の計算時間について検証した．BF の反復回数 1 回の計算時間は 16.661 秒であった．一方，2 値係数 BF の反復回数 1 回の計算時間は 3.329 秒であった．つまり，提案法は従来法よりも処理を 5.005 倍高速化できることがわかる．

図 5 従来法のモアレ風画像
BF で𝑇20として作成した画像（BF 画像）を図 5 (a)に示す．2 値係数 BF で𝑇 と𝐶の値を変えた組合せによって作成された画像と BF 画像との画素値の差の絶対値の平均（較差平均）を表 3 に示す．このとき，𝑇 の値を 1 から 20 で 1 刻み，𝐶の値を 2.0，2.5，3.0，3.5，4.0 と変えて実験を行った．表 1 より，𝑇の値が大きくなるにつれて較差平均が小さくなり，ある値で極小値となり，それ以降は徐々に大きくなることがわかる．また，𝐶の値が大きくなるにつれて較差平均の極小値が小さくなり，ある値で極小値となり，それ以降は徐々に大きくなることもわかる．よって，𝑇 と𝐶の値はそれぞれ 12 と 3.0 前後がよいと考えられる．2 値係数 BF で𝑇 と𝐶がそれぞれ 12 と 3.0 の場合の画像を図 5 (b)に示す．図 5 を見ると，BF 画像と2 値係数 BF の画像はほぼ同じである．ここで，𝑇 は提案法で 12 回，従来法で 20 回で，提案法の方が従来法よりも𝑇 の値が小さいことから，提案法を用いることでさらなる処理の高速化が図れることがわかる．
5(a) BF 画像
図 5 BF（𝑇20）と 2 値係数 BF（𝑇(b) 2 値係数 BF の画像
12, 𝐶 3.0）の画像

最後に，提案法を用いて生成されるモアレ風画像を視覚的に確認した．提案法によって生成したモアレ風画像を図 6 に示す．このとき，前段落の結果を参考に𝑇 と𝐶の値をそれぞれ 12 と 3.0 とし，𝑇 の値を 10，20，30，40 と変えて実験を行った．図 6 より，𝑇 の値を大きくするにつれてモアレ模様が発生していく様子がわかる．図 6 (d)（𝑇40の場合）を見ると，従来法ではモアレ模様が発生しにくかった領域（図 5 (b)参照）にもモアレ模様が発生し，モアレ風画像全体に漏れなくモアレ模様が発生していることがわかる．
表 1 較差平均6(a) 𝑇(b) 𝑇

1020(c) 𝑇
30(d) 𝑇40
図 6 𝑇 の値を変えた場合の提案法のモアレ風画像

5 まとめ
申請者がこれまでに開発してきた画像処理フィルタを用いた静止画の各種 NPR を，ちらつきとシャワードア効果を抑制して動画に拡張する方法を開発した．また，新しいタイプの画像処理フィルタを開発し，NPR へ拡張した．また，画像処理フィルタの高速化の方法を開発した．
今後の課題は，まだ本研究において適用していない静止画の NPR を動画に拡張することである．また，静止画の NPR を 3 次元動画に拡張し，さらに本研究の動画の NPR と組み合わせた 3 次元動画の NPR を開発することも今後の課題である．

【参考文献】[1] 平岡透，熊野稔，浦浜喜一：逆アイリスフィルタによるチェッカー模様画像の生成，芸術科学会論文誌，
Vol.14，No.4，pp.165-169，2015．
[2] 平岡透，浦浜喜一：バイラテラルフィルタによるモアレ風画像の生成，映像情報メディア学会誌，Vol.67，No.2，pp.J74-J77，2013．
[3] 宮下啓，平岡透，浦浜喜一：モアレ風画像生成のためのバイラテラルフィルタのパラメータの検証，映像情報メディア学会誌，Vol.67，No.9，pp.J356-J35，2013．

7

〈発題

名Generating Stripe-Patchwork-LikeHalftoning by k-Means Clustering
and Inverse Filter
Generation of Charcoal-DrawingLike Images by Singular Value
Decomposition and Inverse Filter
輪郭線とユークリッド距離を用いた文様群画像の生成
Moire-Like Images Using BinarizedWeight Bilateral Filter for Higher
Quality and Speed
GenerationofStripe-Patchwork
Images by Entropy and Inverse Filter
GenerationofCell-LikeColorAnimation by Inverse Iris Filter
ストライプアート動画の生成表資料〉

掲載誌・学会名等

発表年月

ICIC Express Letters

May. 2017

ICIC Express Letters

Jul. 2017

産業応用工学会論文誌

Sep. 2017

ICIC Express Letters

Nov. 2017

ICIC Express Letters

Dec. 2017

ICIC Express Letters

Jan. 2018

産業応用工学会論文誌

Mar. 20188