匠深 -TAKUMI- : 深度情報に基づく実時間 NPR システム
若間弘典†

片寄晴弘†

本稿はカメラから得られた実画像に対して遠近感や立体感を残したノンフォトリアリスティックレンダリング（NPR）をリアルタイムで実施するシステム「匠深-TAKUMI-」を提案する．これまで静止画に対して多くの NPR システムが提案されてきたが，画面全体に対し一様な輪郭線抽出やトーンの単純化を実施するため，遠近感や立体感が損なわれるという課題があった．そこで，本研究では実画像と対応した現実環境の深度情報を用いることでこの問題の解決を図る．アニメ画における輪郭線の遠近の描き分けに深度情報に基づく平滑化フィルタを用い，トーンの単純化行程における適切な平滑化に被写体の法線情報に基づいた平滑化フィルタを利用する．実画像と深度情報の取得には Kinectを利用し，GPU を利用することでフレームレート 30fps でのシステムの動作を確認している．本システムの利用により，実動画像からのアニメ生成等やエンタテインメントへの応用が期待される．

TAKUMI : Renderer for Animated Cartoon with Depth Map
Hironori Wakama† and Haruhiro Katayose†This paper proposes a new non-photorealistic rendering method using a depth map, andintroduces a real-time cartoon-like video converter called TAKUMI, based on the proposed
method. here have been proposed many systems that convert an given image into nonphotorealistic one. Images that these conventional methods renders lack in perspective, due
to processing equally applied to the whole image. We propose a method that solve using adepth map. The proposed method generates cartoon-like jump edges based on depth information, and adjusts the tone color of region of the same plane considering the values of normallines. TAKUMI, implemented the proposed method using Kinect, works at the frame rates or30fps. We expect TAKUMI to be used in the fields of entertainment and content production.

現実環境に仮想環境を重畳する技術に関する研究の中

1. は じ め にで，二つの環境の違和感を減らすために NPR を用いカメラから得られた実画像や CG を用いて作成されて実画像をアニメ画にするシステムを考案している．

た写実的な画像を非写実的な画像に変換する技術はノここでいうアニメ画とは輪郭や境界線をはっきりとしンフォトリアリスティックレンダリング (以下 NPR とた線で描き，色や影のグラデーションを単純化させ段記述) と呼ばれている．NPR は従来人の手で行われ階的に表現している画を指す．しかし，茅ら，浦浜らてきた絵画的表現を半自動化することが出来るため，の先行研究で生成された画像は，それぞれの描画スタ様々な分野でその技術応用が期待されている．

イルを上手く表現できていたが遠近感に乏しいものでこれまでに水彩画や鉛筆画，イラスト画等といったあった．また，Fischer らのシステムでは，実画像を描画スタイルをモデル化する多くの手法が提案されてアニメ画にする際に同色の異なる被写体が近接してい1)きた．例えば，茅らは実画像のベクトル場とホワイる時に色が混ざり合ってしまう問題を抱えていた．筆トノイズを組み合わせることで鉛筆画を作成する手法

者らは，これら二つの問題は実画像と対応した深度情を提案している．また，浦浜ら2) は実画像の自己商画報を用いることで解決し，さらに，Kinect を利用す像を用いることでイラスト画に適した輪郭線の抽出をることで実時間で映像から NPR 表現を生成する「匠行う手法を提案している．

深-TAKUMI-」を提案する．以下，アニメ表現に必要また NPR を効果的に用いている研究として Fis-cher ら3)の研究がある．彼らは拡張現実と呼ばれる† 関西学院大学 理工学研究科
School of Science and Technology, Kwansei Gakuin
Universityな要素とそれらを再現するアルゴリズムを簡単に紹介し，提案手法ならびに実験結果を述べ，続いて課題について議論する．

情報処理学会 インタラクション 2011

2. 提案手法の概略
2.1 アニメ表現に必要な要素
アニメ表現における特徴的な要素として輪郭や境界線をはっきりとした線で描き，色や影のグラデーションを単純化させて段階的に表現している点が挙げられる．アニメ画には視覚的な綺麗さと製作現場での作業効率を両立する必要があるためこのような表現技法となっていると考えられる．実画像からアニメ画を作成する際にはこれらの要素の再現が不可欠である．

2.2 NPR におけるアニメ画の生成手法と課題はっきりとした輪郭線を生成するための研究として，先述の浦浜らの自己商画像を用いた輪郭線抽出法がある．自己商画像とは入力となる実画像の画素値を，そ
図 1 本システムの処理概要

れを平滑化した画像の画素値で割ることで得られる画像のことである．自己商画像に対して閾値処理を用いて 2 値化を行うことでアニメ画に適した輪郭線を得ることができる．しかし，彼らの提案手法では被写体までの距離に関わらず画面全体に一様な処理を行うため，出力結果の遠近感が過度に失われてしまうという問題が有る．アニメ画の輪郭線に用いられる遠近の描き分け表現として，距離に応じた輪郭線の詳細さの変化と濃淡の変化がある．一般に遠くの被写体ほど輪郭線が省略され，薄く描かれるようになる．これは大気遠近法と呼ばれる絵画技法を簡略化したものであり，輪郭線に遠近感を持たせるためにはこの二つの再現が重要であると考えられる．

図2

Kinect から得られた深度情報アニメ画の段階的なトーン変化を実現するために従来様々な手法が提案されてきたが，多くの場合バイラテラルフィルタ (以下 BF と記述) が用いられてきた．

度情報から被写体表面の法線を計算し，その法線情報BF は平滑化フィルタの一種であり，平滑化の際に輝に基づいた重みを加えることで問題の解決を図る．深

度の変化量を考慮に入れた重み付けを行うことが出来度情報を得るデバイスとして Kinect を用い，処理のるため，エッジを保持したままトーンを単純化する必大半を GPU 内で実装を行うことで，NPR 画像を実要があるアニメ表現に適したフィルタである．しかし，時間で生成することができる．本システムを用いるこ

BF は色変化の少ない被写体に対して，一つの面で被とで従来手法より優れた NPR 表現を実時間で行うこ写体が構成されているかのような立体感の希薄な塗りとが出来る．

分けとなってしまう問題を抱えている．

2.3 本研究のアプローチ

3. 遠近感を残したアニメ画の輪郭線表現

本研究では，現実環境の深度情報を用いることで，本章では遠近感を残した輪郭線表現を行うための輪カメラから得られた実画像に対して従来手法では失わ郭線抽出法とその実装について述べる．まずはじめにれがちな遠近感や立体感を残したアニメ表現を行うレ深度情報に含まれる計測誤差の低減処理を行い，次にンダリングシステムを開発する．本システムの処理概

その深度情報に基づいた平滑化フィルタを用いて輪郭要を図 1 に示す．アニメ画におけるエッジの遠近の描線を抽出する．なお，本研究における目標の一つであき分けを深度情報に基づく適応的平滑化フィルタを用るリアルタイムでの動作を実現するため，本手法は全いて再現する．また，トーンの単純化に関しては従来て GPU 内で実装を行っている．以下に具体的な処理研究における BF の過度な平滑化を抑制するため，深手順を示す．

匠深 -TAKUMI- : 深度情報に基づく実時間 NPR システム

3.1 深度情報のノイズ除去

る．これを解消するため，以下の式による平滑化を実Kinect から得られた深度情報を伸長表示したもの施する．

を図 2 に示す．この図から分かるように深度情報には計測誤差が多く含まれている．このまま輪郭線の生成に用いると同一被写体内で輪郭線表現が異なる箇所が出てくる可能性がある．そこで，まず深度情報の平滑化を行う．本研究では被写体のエッジを残したままノイズを除去するという目的に対し，BF を用いた平滑化を実施する．

∑∑⃗h(x, y) = ∑ ∑v⃗2 w1 (x, y)w2 (v⃗1 , v⃗2 )w1 (x, y)w2 (v⃗1 , v⃗2 )(x2 + y 2 ))w1 (x, y) = exp (−2σ12(v⃗1 · v⃗2 )w2 (v⃗1 , v⃗2 ) = exp (−)
2σ22(1)(2)(3)

ここで，v1 は注目画素の法線ベクトル，v2 は参照画3.2 深度情報に基づく輪郭線生成素の法線ベクトルである．この式により，法線の向きアニメ画の輪郭線に遠近感を伴わせるためには，距が近い画素間では大きい重みが与えられ，その逆では，離に応じて詳細さと濃淡を変化させる必要がある．そ小さな重みが与えられる．この式を用いて法線の平滑こで，遠くの被写体であるほど輪郭線を少なく薄く描化を行なった様子を図 3 に示す．法線の向きが揃えら画する．最初に細部の描き込みを変化させる手法につれているにもかかわらず，その向きが大きく変化する

いて述べる．浦浜らの提案手法である自己商画像を用

被写体のエッジ部において変化が抑えられていること

いた輪郭抽出法は，実画像の画素の値を平滑化を行っがわかるた画像の画素の値で割り，画素値の変化の激しいエッ

4.2 法線情報を用いた平滑化フィルタ

ジ部の値を大きくすることで輪郭線の抽出を行ってい

BF に対して，注目画素と参照画素間での法線の向る．そこで，実画像に対して先に深度値を重み係数ときが大きく異なれば平滑化時の重みが小さくなるようして掛け合わせた平滑化処理を行い，遠くの被写体で項を追加する．以下に用いた式を示す．

あるほど詳細な輪郭線が抽出されないようにする．その後，浦浜らの提案手法を用いて輪郭抽出を行う．次に距離に応じた輪郭線の濃淡の違いを再現する手法について述べる．これは深度情報を透過度を示すαチャンネルとして用いることで，遠くに存在する被写体の輪郭線は薄く，近くに存在する被写体の輪郭線は濃く描くことができる．

4. 立体感を残したアニメ画の色表現∑∑d2 w(x, y, d1 , d2 , v⃗1 , v⃗2 )h(x, y) = ∑ ∑w(x, y, d1 , d2 , v⃗1 , v⃗2 )w = w1 (x, y)w2 (d1 , d2 )w3 (v⃗1 , v⃗2 )(x2 + y 2 ))w1 (x, y) = exp (−2σ12(d1 − d2 2 )w2 (x, y) = exp (−)
2σ22(v⃗1 · v⃗2 ))w3 (v⃗1 , v⃗2 ) = exp (−2σ32(4)
(5)
(6)
(7)
(8)

本章では立体感を残した色表現を行うための平滑化

v1 は注目画素の法線ベクトル，v2 は参照画素の法線フィルタとその実装方法について述べる．まずはじめ

ベクトル，σ 3 はそれら二つの法線の成す角度の分散に現実環境の深度情報から被写体の法線を求め，次にであり，その他の値は BF と同様である．BF では注

画像に対してその法線情報に基づいた平滑化を施す．

目画素と参照画素の輝度値の差のみを考慮に入れていリアルタイム性を維持するため，本処理についても前たため，異なる被写体であっても輝度値が近ければ同章と同様，GPU で動作する処理として実装されてい一領域として扱われてしまう問題点があった．しかし，る．以下に具体的な処理手順を示す．

法線の向きを重みとして組み込んだこの式を用いた場

4.1 被写体表面の法線計算

合，輝度値が近い場合においても法線の向きが異なれ

深度カメラから得られた深度情報を基に法線の計算

ば平滑化を抑え，エッジとして保持することができる．

を行う．射影変換のモデルとして正射影を用いた場合，現実環境の視体積の X，Y，Z 軸はそれぞれ実画像の5. 実 施 例

X，Y 軸と深度値に対応付けることができる．この時，本研究で提案したシステムがリアルタイムで動作しある注目画素の法線方向は注目画素と近傍 2 画素の 3ていることを述べ，その効果をスナップショットを用次元座標から外積を用いることで求められる．本研究

いて検証する．

では，ノイズの影響を小さくするため近傍 8 画素を用いて法線の計算を行っている．
以上により計算された法線には計測誤差が含まれ本検証で用いたハードウェア構成は Intel CPU

Corei7 2.93Ghz，メ モ リ 3GB，GPU は Nvidia
QuadroCX である．上記の構成で本手法を用いたシ

情報処理学会 インタラクション 2011

図 3 入力画像

図 5 色表現手法の比較

図 4 輪郭線抽出手法の比較

図 6 出力結果

ステムはフレームレート 30fps で動作することを確認した．以下に図 3 を入力画像として用いた結果を示す．

6. ま と め

図 4 はアニメ画の輪郭線抽出手法の比較である．

本研究では NPR 表現における従来のアニメ画生成

図 4 左の従来手法を用いた画像では被写体までの距離手法に対して，深度情報を用いることで遠近感や立体によらず画像全体に一様な輪郭線が現れており，変化感を付加することが可能であることを示した．深度情に乏しく遠近感をあまり感じさせない結果となってい報を用いた輪郭線の抽出手法と深度情報から得られた

る．図 4 右の提案手法を用いた画像では，被写体まで法線情報に基づくトーンの単純化手法が有用であるこの距離に応じて輪郭線の密度と濃淡に変化があり，従とを確認した．本手法は極めて汎用性が高く他の絵画来手法に比べ遠近感を感じさせる結果が得られている．

モデルを用いた手法に対しても応用可能である．今後濃淡の変化が遠近感の獲得に特に大きな影響を与えては鉛筆画や水彩画，油彩画等の表現技法において遠近いると思われる．図 5 はアニメ画におけるトーンの単感や立体感を獲得する手法を模索していきたい．

純化手法の比較である．図 5 左の従来手法を用いた画像では，本棚の異なる面が平滑化によって繋がってしまっており，立体感に欠ける結果となっている．図 5
右の法線情報を重みに加えた提案手法では，エッジ部分が消失せず立体感のある結果が得られている．このことは面における法線の向きの異なりによって平滑化が抑制されることを示しており，本研究の提案手法が正しく機能していることがわかる．なお，これらの出力を合成した最終結果を図 6 に示す.

参 考文献

1) 茅 暁陽, 長坂 好恭, 山本 茂文, 今宮 淳美：LIC法を利用した鉛筆画の自動生成, 芸術科学会論文誌, Vol. 1, No. 3, pp.147-159, 2002．
2) 景，井上，浦浜：自己商画像の非等方平滑化に基づくイラスト風画像の生成，電子情報通信学会
論文誌，J89-A, 5, pp.385-386, 2006．
3) Jan Fischer, Dirk Bartz：Real-time cartoonlike stylization of AR video stream on theGPU. Technical Report WSI-2005-18, Wilhelm
Schickard Institute, 2005