人物シルエットをペンライトアート風に表現するシステム
理学専攻・情報科学コース
土屋 桃子

1

(指導教員：伊藤 貴之)

はじめにペンライトアート（図 1）とは，ペンライトで空中に絵を描き，光の軌跡を記録するアートのことである．
1 枚のペンライトアート写真を制作するには約 10 秒から 20 秒を要すると言われている．しかし，ペンライトアート動画を制作するためには大量のペンライトアート写真が必要となるため，膨大な時間を必要とする．そこで我々は，ペンライトアート風描画を実時間で実現するシステムを提案する．本システムは従来のペンライトアートにはない”インタラクティブ性”を採り入れた新たなペンライトアートを表現可能とするものである．さらに本論文では，本システムの応用例としてインタラクティブ作品を制作し評価した結果を示す．本手法の課題として，画像処理や CG の技術を応用したペンライトアート風の線画表現があげられる．
また，ペンライトアートによるインタラクティブアー
ト作品を制作するためには，運動する物体の線画表現を実時間で処理することが重要となる．そこで我々は高速な線画処理アルゴリズムを実装するとともに，対象物を「人物」に定め，その輪郭線抽出を専用ハードウェア（本研究では Microsoft 社の Xbox One Kinect）に頼ることにした．

3

提案手法

3.1

概要

1 フレームごとに，これら 5 つの処理を行う．詳細について以下に論述する．
1. 深度を用いたエッジ検出
2. エッジの簡略化
3. 手描き風描画
4. ネオン風描画
5. エフェクトの付与
3.2

3.3

2.1

手描き風の線画表現

Curtis ら [2] は 3D アニメーションから手描き風に変換したビデオの出力の研究を行なった．Haller ら [3]は，Curtis ら [2] のアルゴリズムを実時間で処理できるよう改善した AR システムを開発した．しかし Haller
ら [3] のシステムでは，フレームごとに手描き風描画を表現しているため，映像がちらついているように見えてしまうのが課題であった．そこで本システムでは，手描き風に変換する線を部分的に限定したことで，ちらつきを抑える処理を行った．本手法では Wood ら [4]の手描き風描画アルゴリズムを実装している．
2.2

手描き風描画本システムは，始点・終点・形状頂点のノードを選択し，それぞれの位置を乱数的に移動する．本システム
では，一つ前のフレームを参照し，現フレームのノードの位置に対応する前フレームのノードがあれば，その座標に乱数を加算し配置するように実装した．実装
方法を図 2 に示す．まず，現フレームのノードを囲む正方形領域（現時点の実装では縦横 40 画素）の中から最も近い位置にある前フレームのノードを探索（図2a 参照）する．前フレームのノードが存在すれば，そのノードを囲む領域（現時点の実装では距離 3 画素以内）に現フレームのノードを乱数的に配置する（図 2b参照）ことにした．以上の処理によって，フレーム間のノード位置の連続性を大きく崩すことなく，手描き風の線画形状を形成する．

図 1: ペンライトアート写真 [1]

関連研究

エッジの簡略化

エッジの簡略化のために本システムでは，エッジを構成する画素から一定数の画素を選択する．以下，それらをノードと定義する．これらのノードの位置を以降の処理で移動することで，人物の形状を手描き風にデフォルメする．

3.4

2

深度を用いたエッジ検出

本システムでは，Kinect に内蔵される深度センサを利用して深度を取得し，それを濃淡でイメージ化することによりエッジを検出する．この方法により，身体に重なる手などの部分のエッジも検出できるようになる．

人物インタラクション

Recollection Six[5] は，自分の影に色を装飾し実時間で様々な色に変化するインタラクション作品である．
VIDEOPLACE[6] は，違う部屋にいる人物のシルエット同士を一つのディスプレイに描画し，インタラクションさせる研究である．

(a) ノード位置変更前(b) ノード位置変更後

図 2: ノードの配置方法

1

3.5

ネオン風描画5

ペンライトアートは，光源を利用して描画しているため，見た目はネオン管によく似ている．ネオン管は明度が高い部分が人間の目には白く見える．言い換えれば，ネオン線の内側は彩度が低く明度が高いのに対して，外側は彩度が高く明度が低い．以上を踏まえてネオン風描画手法を開発した．本システムでは，ネオン風描画における外側と内側の線の色を特定のために，HSV 色空間で彩度と明度を調節する．描画時にはあらかじめ HSV 色空間から RGB 色空間へと 画素値を変換する．

3.6

本システムでペンライトアート風人物シルエットの実時間表現が可能となったので，インタラクション作品を制作した (図 4)．インタラクション作品では，本システムによるインタラクティブな人物シルエット表示に加えて， Kinect からの距離によって，背景が変化するようなインタラクションを搭載した．また評価実験も行ない，作品からどのような感情を持ったか，インタラクション作品についてのアイデアを集計した．

エフェクトの付与

本システムではペンライトアートをより印象的に演出するためのエフェクトを付与する機能を実装している．現時点の我々の実装では残像効果を実装している．
この実装では，現在のフレーム X ′ の直近 n 枚のフレームを保存し，それぞれのフレームの各 RGB に対し明度を段階ずつ下げ，X から n 枚の論理和を取ることで，新たなフレーム X’ を生成する．X の i フレーム前の画素値を Pi とするとき，残像を付与した画素値を∑
Ci Pi とする．ここで Ci は，C0 = i，Ci < Ci − 1を満たす定数であるとする．

4

インタラクション作品の制作と評価(a) Kinect から 1m 以内(b) Kinect から 1m 以外

図 4: 実行結果

6

まとめと今後の課題

本論文では，人物シルエットをペンライトアート風に表現するインタラクティブシステムを提案し，インタラクション作品の制作と評価を行なった．今後の課題として，ペンライトアートの特徴のひとつである一筆書きの実装を進めたい．また，新たなインタラクション作品を制作し，評価結果が変化するかを確認したい．

実行結果

図 3 に示す結果では，手などの身体に重なる部分のエッジが検出できており，手描き風描画とネオン風描画により，ペンライトアートのような表現が実現できている．また，表 1 より 1 フレームあたり 0.017 秒の処理時間で実行できており，ほぼ実時間で本システムが動作することがわかる．

参考文献[1] PiKAPiKA(Light Painting) - Flash at BEAT
IT,
https://www.youtube.com/watch?v=nVJJC17Un6Y&t=185s (2018/01/04).
[2] C.J. Curtis, Loose and sketchy animation, ACM
SIGGRAPH 98 Electronic art and animation catalog ACM, (1998) 145.
[3] M. Haller, et al. A loose and sketchy approachin a mediated reality environment, Proceedingsof the 3rd international conference on Computer
graphics and interactive techniques in Australasia
and South East Asia, (2005) 371-379.

(b) 残像効果を付与(a) 実行結果

図 3: 実行結果[4] J. Wood, et al. Sketchy rendering for information visualization, IEEE Transactions on Visualization and Computer Graphics, 18(12) (2012):
2749-2758.

表 1: 処理時間
手法

実行時間 (秒)深度を用いたエッジ検出

0.010

エッジの簡略化

0.001

手描き風描画

0.001

ネオン風描画0.002

エフェクトの付与

0.003[5] E. Tannenbaum. Recollections Six, (1981).
[6] M. W. Krueger, et al. VIDEOPLACE an artificialreality, ACM SIGCHI Bulletin, 16(4) (1985): 3540.

2