立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

ラフスケッチ画から高品質な 3D キャラクタを制作するための深層学習フレームワーク
Deep Learning- based Framework for 3D Character Design from Rough Sketch
2201023

研究代表者

東京大学
大学院情報理工学系研究科

助 教

福共同研究者

北陸先端科学技術大学院大学
先端科学技術研究科

講 師

謝里

司
浩

然

[研 究 の 目 的]
3DCG ソフトウェアの普及に伴い，3DCG 映像作品が世界中に発信されている。その一方，
3DCG 技術は，多大な手間と時間のかかる作業である上に，ソフトウェア自体を操作するための専門知識 (例：複雑なパラメータ調整) を要求されてしまうため，一般ユーザによる映像制
図1作は難しい。このような背景から，ユーザ側がDualFace [1]

一方的に「3DCG システムの原理」を理解する「3DCG システムを操作するためのパラメータのではなく，3DCG システム側が「ユーザがど(機械側)」と「ユーザが描いたスケッチ画 (人のような結果を求めているのか」を理解するた間側)」のギャップをどのように埋めるのかがめの方法が求められている。そこで本研究は，挙げられる。そこで本研究は，高品質な 3DCG最も直感的な方法の一つ「スケッチ入力」に着映像作品を生成するために，前工程である「ス目し，スケッチ画による 3DCG システムを制

ケッチ画 (ユーザ入力) 自体の品質を向上させ御するための基盤技術の構築を目指す。

るための方法」と後工程の「3DCG キャラクタの動きを製作するためのスケッチ操作方法」に関する研究に着手した。以下に，それぞれの研[研究の内容，成果]究内容について紹介する。
ユーザが描くラフなスケッチ画は，「鉛筆画一つ目の研究は，ユーザ自身のスケッチ画をのように線が重ね描きされている場合，形状情描くスキルを伸ばすために用いられる「既存の報 (例：輪郭) が曖昧となっている」「描かれ写真や手描きスケッチを下絵にしながら絵を描たパーツ形状 (例：目) やパーツ間の関係性く」方法を応用し，スケッチ制作自体をサポー(例：目と鼻の距離やサイズ比) が常に正しくト す る シ ス テ ム「DualFace」で あ る [1]。

描かれているわけではない」ため，高品質なDualFace を構築するにあたり，スケッチ画を3DCG モデル生成を行うための入力情報として描く工程が，(1)パーツのバランス (大域的なは 適 切 で は な い。技 術 的 な 課 題 と し て，特徴) を描く工程と(2)パーツ自体の形状 (局― 1 ―立石科学技術振興財団

所的な特徴) を描く工程の二つに分かれていることに着目し，ユーザが描きたい絵に対する，それぞれの工程の下絵 (ガイダンス) を表示する機能を検討する (図 1)。具体的な方法としては，ラフスケッチ画 (線画) のデータベースを事前に構築し，ユーザが描いている段階 (途中結果) に，システムが「どのような絵を描きたいのか」をリアルタイムに推定し，二種類のガイダンスを表示するものである。但し，各ガイダンスとして，データベース上の線画イラス
図2トを直接「表示」した場合，ガイダンス可能なイラストからの線画抽出 [2]

線画の種類がデータベース内に存在する絵のみに限られてしまい，ユーザは新しい絵を描くこれている。近年では，機械学習を用いた線画とができない。そこで本研究では，深層学習技データの抽出手法も考案されているが，こちら術を応用し，ユーザが描いたスケッチ画 (途中も膨大な規模のデータベース (カラーイラスト結果) に対する適切なガイダンスを「生成」すと線画のペア) を用意しなければならず，当初る (=ユーザが描きたい絵を推定)。今回は，の目的であった「イラスト線画のデータベース正面顔を対象とした線画データベースを構築し，の作成を支援すること」と矛盾してしまう。そ生成されるガイダンスのクオリティに関する定

こで我々は，基礎的な図形 (例：円，四角形，性的な評価とユーザ評価を通して有用性を示し直 線，曲 線) を 用 い て デ ー タ 量 を 拡 張 す る

た。

Data Augmentation 技法を用いることで，一DualFace は，線画データベースの種類を変組 (または小数) の画像ペアデータによる線画更することで，任意の線画を描くためのサポー抽出用の深層学習モデルを構築した。更に，後トができる (例：キャラクタ画)。つまり，本処理工程を追加することで，データ量が少ない

プロジェクトの目的「3D キャラクタの映像生状況下でも，従来手法と比べて高精度な線画抽成」用の入力データ (ユーザによって描かれる出を実現した (図 2)。

スケッチ画) の品質を向上させることができる。

線画データベースの構築を支援する二つ目のしかし，DualFace は事前に膨大な枚数のキャ方法として，少数の線画データ (サンプル) をラクタ線画のデータベースを用意しなければな基に，似ていながらも少し異なる線画 (例：中らず，データベース構築に非常に手間と時間が割画像) を大量に作る方法を検討した。これまかかってしまう。そこで次の研究として，線画でに中割画像を生成する手法は多数考案されてデータベース構築自体を支援するための技術にいるものの，それらはいずれもサンプル間での従事した。まず我々は，任意のカラーイラスト対応関係 (例：一枚目の画像の「顔の輪郭を表から線画データを自動抽出するアルゴリズムす線」と二枚目の「輪郭線」) を構築しなけれ[2] に考案した。入力画像から線画データを抽ばならない。対応関係を構築する際，線画内の出する代表的な手法として，Canny フィルタストローク線の形状類似度 (局所的な特徴) をが挙げられる。Canny は他の既存エッジ抽出用いる方法が一般的であるが，この方法は線画法より高品質な検出ができるものの，パラメーの大域的な情報 (パーツの位置関係) を考慮すタ数が多い点や実際の線 (輪郭線) とのずれをることは難しい。そこで我々は，イラスト内の引き起こしてしまうことが問題点として指摘さパーツの隣接関係や骨格情報を基に，線画内の― 2 ―Tateisi Science and Technology Foundation

図3

図5

線画間の対応関係の推定結果 [3](隣接関係を用いた場合)

Sketch2Motion [5]ラクタのポーズ (姿勢) を数枚描くアプローチが主であったものの，動きのタイミングの指定(時間設定) が難しい。そこで我々は，キャラクタの動きを表現する一般的なデータ形式，スケルトン構造の関節 (ジョイント) に着目し，各間接の軌道線をユーザが描く方式「Sketch2Motion」を 提 案 し た [5]。具 体 的 な手順として，スケルトン構造で表現されるモーションデータを用意する。次に，各モーションデータの各関節の時系列データ (3 次元的な座
図4

線画間の対応関係の推定結果 [4](骨格情報を用いた場合)

標情報) を 2 次元キャンバス上に射影し，2 次元 の 軌 道 線 の デ ー タ (特 徴 量) を 記 録 す る。

大域特徴を考慮した対応関係の自動推定手法をユーザは 2 次元キャンバス上に軌道線をスケッ提案した [3, 4]。更に，シンプルなユーザイチすることで，モーションデータの検索を実現

ンターフェースを導入することで，対話的な編する (図 5)。但し，スケルトン構造には関節集を可能とした。既存手法との比較した結果，間の距離 (例：腕の長さ) や関節角度に制限が推定精度及び修正回数で有用性を示した (図 3，あるため，ユーザはモーションの制約を意識し図 4)。

つつ，スケッチ画を作成しなければならない。

これまでに考案した手法を組み合わせること

そこで我々は，DualFace で用いた手法，「ユーで，ユーザが描くキャラクタ線画 (入力デー

ザの描いた絵 (途中結果) を基に下絵を生成すタ) の 品 質 を 向 上 で き る。そ れ に 伴 い，3Dキャラクタを生成するための技術の出力結果のクオリティ向上も期待できる。そこで我々は，
3D キャラクタ制作における次の工程，キャラクタの動きの制作支援に関する手法を検討する。
但し，スケッチ操作でキャラクタの動きを制御するためには，「ユーザはどのような絵を描くと良いのか」や「(これまでの研究と同様) ラフスケッチ自体の曖昧さをどのように解消するか」が求められてしまう。既存手法では，キャ図6― 3 ―ユーザのスケッチ操作に対する軌道線ガイダンスの一例

立石科学技術振興財団

る手法」を応用し，軌道線の下絵をキャンバスを生成することが挙げられる。更に，これらの上に表示する機能を開発した (図 6)。

研究成果は，すべてが独立したプログラムとこの機能を用いることで，ユーザはモーショなっているため，ユーザが気軽に扱うことは難ンの制約を直感的に理解することができる。今しい。そこで，3D キャラクタモデルの生成手

回は，シンプルなモーション (例：歩行やジャ法の工程を追加した上で，全ての処理を行うこンプ動作) を対象とし，キャラクタの進行方向とができるソフトウェアの開発及び，システムに対して横向きに射影した軌道線データベース公開を目指したい。

を作成し，ユーザ実験を行った。その結果，既存のモーション検索手法 (キャラクタのポーズを描く方法) と比べて，提案手法がより直感的かつ容易であることを示した。

[成果の発表，論文等][ 1 ] Z. Huang, Y. Peng, T. Hibino, C. Zhao, H. Xie, T.
Fukusato, K. Miyata. “DualFace : Two-Stage Draw-

更に，軌道線のスケッチ画を用いたモーショ
ン 検 索 技 術 [5] を 応 用 し，検 索 し た 複 数 のモーションデータを一つにまとめる手法も提案

ing Guidance for Freehand Portrait Sketching.”
Computational Visual Media, Vol. 8, Issue 1, pp. 6377, Springer, 2021.10.
[ 2 ] Z. Huang, Y. Peng, H. Xie, T. Fukusato, K. Miyata.

した [6, 7]。具体的には，スケッチ画によっ“One-shot Line Extraction from Color Illustrations.”て検索した各部位のモーションデータ (例：腕NICOGRAPH International 2021, pp. 19-22, 2021.のモーション，足のモーション) の時系列情報
を，スケルトンデータに直接埋め込むものである。ユーザ評価を通して本手法の有用性を示したものの，将来的には DualFace と同様，深層学習技術を用いて新しいモーションデータを合成する手法も検討したい。

07.09-10. Best Short Paper Award[ 3 ] R. Miyauchi, T. Fukusato, H. Xie, K. Miyata.
“StrokeCorrespondencebyLabeling

ClosedAreas.” NICOGRAPH International 2021, pp. 34-41,2021.07.09-10.
[ 4 ] R. Miyauchi, Y. Peng, T. Fukusato, H. Xie.
“Skeleton2Stroke : Interactive Stroke Correspondence Editing with Pose Features.” ACM SIGGRAPH
ASIA 2021 Technical Communications, pp.6 : 1-6 : 4,2021.12.14-17.

[今後の研究の方向，課題][ 5 ] Y. Peng, Z. Huang, C. Zhao, H. Xie, T. Fukusato,K. Miyata. “Sketch-based Human Motion Retrieval

本研究はラフなスケッチ画によって高品質な3DCG キャラクタアニメーションの制作を実現するために，ユーザが描くスケッチ画の品質をvia Shadow Guidance.” NICOGRAPH International
2021, pp. 42-45, 2021.07.09-10[ 6 ] Y. Peng, C. Zhao, Z. Huang, T. Fukusato, H. Xie,K. Miyata. “Two-Stage Motion Editing Interface for

向上させるシステム「DualFace」及び，イラ

Character Animation.” The 20th annual Symposium

スト画のデータベース構築を支援する方法 (カon Computer Animation (SCA), pp. 3 : 1-3 : 2, 2021.

ラーイラストからの線画抽出方法，中割制作向けの線画間の対応関係の構築方法)，3D キャ

09.07-10[7]

彭 以深，趙 春琪，黄 正宇，福里 司，謝 浩然，

宮田一乘．
“ラフスケッチによる 2 段階モーション

ラクタの動きを制御するためのスケッチ入力方

編集技術．
”第 184 回コンピュータグラフィックス法及びモーション生成方法「Sketch2Motion」とビジュアル情報学研究会，22：1-22：6, 2021.11.

を考案した。今後の研究方向として，提案した05-06.
[8]

Two Stage Design Strategy for Sketch-Based

Sketch2Motion の手法に深層学習アルゴリズム

Graphicalを組み合わせ，より高品質なモーションデータ

Valley, 2021.10.

― 4 ―Interface,ACM

SIGGRAPH

Silicon