AR を用いた人物画の描画支援井上 航†

小林 裕介†安田光†

市村哲†

本稿では，AR 技術による人物画の描画支援システムを提案する．従来の絵画創作学習支援は，絵画講師の肩代わりをし，アドバイスをするものであったが，今回筆者らは，手本の提示による手法を提案する．AR 技術を用いてデッサン人形を紙上にレイヤー表示することが可能な試作システムを開発した．デッサン人形は，操作用マーカーを用いることで配置や拡大縮小、ポーズの変更といった操作が可能となっている．

A drawing support tool with Augmented Reality technology
WATARU INOUE†KO YASUDA†YUSUKE KOBAYASHI†SATOSHI ICHIMURA†

In this paper, we propose a drawing support tool with Augmented Reality technology. Traditional approachfor supporting drawing is giving an advice On the other hand. We developed a digital drawing tool that display
a doll on the paper by Augment Reality. The system has functions that change place, scale and pose of the dollwith marker.

1. はじめに例えば人物画では，人体の中心である背骨を意識することが重要であり，それにより身体の正中線を意識し近年，科学技術の進歩により物質的には豊かになっやすくなるため，歪みを抑制することが可能になる．ているが，そういった生活の中で精神的な豊かさも求今回筆者らは，AR 技術を用いて手本となるデッサめる人々が増えてきている．精神的な豊かさを得るた

ン人形を紙上に提示する手法を提案し試作システムをめの手段として趣味がある．余暇には感性や技術を磨開発した．

いている人は少なくない．
多くの趣味の中で，古くから存在する絵画創作は今2. 既存研究および問題点もなお一定の人気を誇っている．絵画には，風景画・これまでに，初心者のスケッチやデッサンの学習を静物画・人物画など，様々な分野があるが特に，イラ支援する研究として，絵画講師の肩代わりをするシスストや似顔絵などの人物画は人気が高い．

テムが研究されている．曽我氏らは，学習者がデッサ絵画を始めるにあたり，いくつかの問題が存在する．

ンを描画する時の認知科学的な考察に基づいたシステ

3 次元の現実を 2 次元の紙上に描画するため，空間をムを設計構築し，デッサン描画中に助言を与えること把握する能力が必要不可欠であり，基本を学ばなけれで学習の支援をおこなってきている 1-3)．また，AR をばならない．特に人物画を描くにあたり，人体デッサもちいることによりシステムによる視点の制限などをンの重要性は非常に高い．我々は生活の中で多くの取り除いた学習支援環境も開発している 3)．

人々に会っており，人体のバランスを見る目は肥えてデジタル環境では，3D モデルを活用し下絵にするいる．そのため，人物を描いた場合に違和感を覚えやことで絵画創作を補助することがおこなわれている．

すい．しかしながら，デッサン能力が欠けていると違株式会社セルシスの ILLUST STUDIO4)は，消失点和感を覚えるが適切な修正をおこなえないという問題やアイレベルを設定することによりパースにあった線が出てしまう．

をスムーズに描けるパース定規や，デッサン人形をキ

空間的なバランスを把握する技法として，アタリをャンバス上に表示させ任意のポーズを取らせることがとる技術がある．絵画創作をする際に，大まかな形や可能なバーチャルデッサン人形といった機能を持って位置を決めることにより，バランスを取る手法である．

いる．
絵画講師の肩代わりをするシステムでは，モチーフ† 東京工科大学
Tokyo University of Technologyとデッサンを比較し誤り具合を判定するためのデータ

情報処理学会 インタラクション 2011

ベースや，適切なアドバイスを与えるためのデータベ

アタリは操作用のマーカーを用いてポーズの編集を行ースが膨大になってしまう．更に感覚的な評価をおこうことができる．アタリと操作用のオブジェクト同士なうとなると人工知能の必要性が大きくなるため，シを接触させることで，アタリの関節を掴み移動させたステムが非常に大きなモノになってしまう．また，静り，また回転移動や拡大縮小を行ったりなど編集を直物画デッサンへの支援が中心であり人物画に対する支感的に行うことができる．システムの利用者は，この援がおこなえていない．

アタリを参考にして絵を描くことになる．

3. 提案

4. 実装

本研究では，手本の提示をすることにより容易にバ

4.1

ランスの取れた人物画を描くことを可能にするシステムの設計と開発を行った．

ハードウェア

使用した環境にヘッドマウントディスプレイを用いた．デスクトップモニタを見ながら手元の紙に絵を描

デッサン人形を AR 技術により紙上にレイヤー表示

く場合，視点の差異が重大な問題になる．この問題をすることで，3D モデルの下地化が紙の上において可解決する為に，視点の差異が極めて少ないヘッドマウ能になる．デッサン人形は，絵画時の絵筆を持つメタ

ン ト デ ィ ス プ レ イ を 利 用 し た ． Vusix 社 の iWear

ファを用い，ペン型の操作用マーカーを用いて操作でVR920 は，ディスプレイにオプションでカメラが追きるようにした．それにより直感的なインターフェー加できるため，視点の差異を小さくできる（図 2）．

スで，自由にデッサン人形のサイズやポーズ，構図を実際にシステムを利用する場合はヘッドマウントディ変化させることが可能である．

スプレイに紙面上の描画を表示した状態で絵を描く．

なお AR 拡張現実感（AugmentReality）とは現実の環境に，コンピュータが作り出した情報を重ねあわせ，補足的な情報を与える技術である．映像や文字，画像などを重ねあわせ表示することで，肉眼では見えない部分を見えるようにしたり，関連情報を提供したりするものである．本研究は，空間把握の得手不得手に関わらず，AR の情報をもとに誰でも簡単に人体を描けるように支援を行うシステムである．

図 2 カメラ付きヘッドマウントディスプレイ
4.2

システム概要

3D ポリゴンモデラーソフトウェア「メタセコイア」
を用いて，人体の各関節部のパーツを作成した．その各関節パーツを mqoviewer for processing5)ライブラリを用いることにより，processing6)上で表示変更できるようにした．各パーツは，中心点を各関節部分に設置した為，processing 上で各モデルを移動させ，人体のモデルを組みなおした．
Processing とは，電子アートとビジュアルデザインのためのプログラミング言語であり，統合開発環境
図 1 利用風景(IDE)である．Java を単純化し，グラフィック機能に特化した言語とも言える．Processing 自体が Java で本システムでは，カメラ付きヘッドマウントディス書かれていて， Processing で書かれたプログラムはプレイ（HMD）を使用し，用紙の隅に配置されたマJava に変換されて Java プログラムとして実行されーカーを識別することで紙面上へ仮想的にアタリとなる．オープンソースソフトウェアであり，無償で使える 3D オブジェクトの表示を行う（図 1）．また，このる点やエディタが内蔵されすぐに作り始めることがで

AR を用いた人物画の支援きるといった手軽な点が特徴である．また，Java 用

標変換を行い，いずれか１つの座標系に統一する必要に作られたプラグイン利用しやすい といった特徴もがある．本システムでは表示用のマーカーの座標系をある．

基準の座標系として統一させた．

図 3 では，ヘッドマウントディスプレイ内に AR 表

まず，表示用マーカーの軸を中心とした回転角度を示されたモデルを，図 4 は，マーカーを用いて右手を求め，その値を用いてカメラ視点のウィンドウ上の座動かしている様子を示している．

標系と操作用マーカーの座標系に対して回転行列をかけることで，それらの座標系で扱う値に対して全て座標変換を行っている．
3D モデルを操作する際に使用する操作用マーカーは，各機能個別に用意した．また，同時に異なる複数の操作用マーカーが存在してもシステムの機能で競合が起きないように，各マーカーに対して優先度を与えた．
4.3.1

接触判定

接触判定には，球と球の距離を用いて判定するようにした．接触を行うオブジェクトを球体と考え，球同士の中心座標との距離を求め，またそれぞれの半径を足し合わせた値よりも座標間の距離が等しいか，または小さくなった時に接触していると判定を行うことができる．
図3

AR で表示されたモデル

また，オブジェクト同士が接触した後，操作用マーカーを動かすと動かした先で判定外に出てしまいやす
い．そのため，接触後は判定範囲を広げ，脚部の場合
ならば，膝の部分まで操作用マーカーを操作しても，判定が外れないように工夫している．
4.3.2

平行移動

モデルの平行移動は，操作用マーカーのオブジェク
トがモデルに接触した後，カメラからの操作用マーカ
ーの移動前後の座標の変化した数値を求め，その値を表示用マーカーの座標系へと変換して，変換した値をモデルの座標に加えて移動を行っている．
4.3.3

拡大縮小

モデルの拡大縮小は，カメラ視点上での操作用マーカーの移動した値を用いて行っている．操作用マーカ
図 4 操作用マーカーでポージング
4.3

実装した機能本システムで実装した主な機能は以下の通りである．
・操作用マーカーの接触判定
・モデル全体の平行移動
・モデル全体の拡大縮小
・モデル全体の回転・モデルの関節を曲げてポーズ変形
操作用マーカーと表示用マーカー，およびカメラ視点のウィンドウ上の座標系はそれぞれ異なるので，座ーでモデルと接触し，手前に移動すると縮小，奥へ移動すると拡大することが可能である．
4.3.4

回転移動

モデルの回転とポーズ変形は，モデルの中心座標に対して操作用マーカーの座標が回転した角度を求め，その得られた角度を用いてモデル全体の回転，および，関節の角度を曲げてポーズの変形を行っている．モデル全体の回転は，モデルの各パーツの移動も行う必要があるため，座標系全てを回転させている．また，関節の角度には上限下限があり，その値を超えて曲がらないようにしている．

情報処理学会 インタラクション 2011

モデルの座標を原点とした操作用マーカーの座標を

今後の展望としては，モデルのブレ等を抑制する為求め，その座標から tangent の値を求め， その得られに，AR 自体の精度を上げるプログラムや，人体の捻た値を tangent の逆三角関数を用いて角度を求め，操る，撚るといった動作に対応したボーン実装した人体作用マーカーの移動前後の値の差から回転角を求めてモデルを作成し，より自由なポージングが可能で，実いる．

用性の高いシステムの実現に向け研究をすすめる予定

この処理は平面に対する演算であるため，これらをである．

xyz の 3 軸に対してそれぞれ行っている．
4.4

開発環境

本研究で利用した開発環境は以下の通りである．
[PC]・CPU：Core i5 650
・メモリ：DDR3 2G・OS：Windows 7 Enterprise[カメラ付き HMD]・HMD：iWearVR920
・カメラ：CamAR[使用言語]
・Processing[ライブラリ]・NyARToolkit4psg
・OpenGL・MQOViewer[ソフトウェア]・WinVDIG version 1.01
・Metasequoia

5. まとめと今後の研究
本稿では，AR 技術を用いてデッサン人形を紙上にレイヤー表示することが可能なシステムを提案し，試作システムを構築した．
現在の NyARtoolkit は，マーカー「位置」の検出精度については高いが，マーカー「角度」（方向）の検出精度がそれほど良くなく，検出されるマーカーの角度は，マーカーやカメラが静止していても入力映像の微妙な揺らぎから小刻みに変化してしまうといった問題がある．これにより，表示される 3D のオブジェク
トとマーカーの距離が離れてくると小さな角度変化でも表示される CG モデルの位置が大きく動き，振動してしまうようになる．
マーカーの真上にオブジェクトを表示すれば，あまり問題にはならないが，今回の研究のようにマーカーから大きく移動して任意の位置へ表示させようとするとこの点が問題となってしまう．また，角度の検出精度の誤差により，検出した角度を用いて回転させて座標変換を行うと多少の誤差が出てきてしまう．

参考文献1) 合田 隆三，丸山 依子，川西 英彰，梶本 信幸，
高木 佐恵子，吉本 富士市：初心者のための鉛筆デッサン支援システム，情報処理学会研究報
告. グラフィクスと CAD 研究会報告，Vol.2002，No.16，pp.19-24 (2002)
2) 栗山 翔太，曽我 真人，松田 憲幸，瀧 寛和：
モチーフの構図・形状詳細化の過程を考慮したデッサン学習支援環境，電子情報通信学会技術
研 究 報 告 . ET, 教 育 工 学 ， Vol.108 ， No.210 ，pp.39-44 (2008)
3) 城内 和也，曽我 真人，瀧 寛和：AR で自由に決定した視点位置でのスケッチ描画を支援する
学習支援環境，インタラクション 2010
4) 株 式 会 社 セ ル シ ス ： IllustStudio.net ，http://www.illuststudio.net
5) Processing 上でメタセコイア形式データを表示
す る ラ イ ブ ラ リ ， http://www.hyde-ysd.com/recomemo/mqoview.html
6) Processing.org ，http://processing.org/