特集JVRSJ Vol.14 No.1 March, 2009

アンドロイドやエージェントに感じる人の存在感

23

特集 ■アンドロイドやエージェントに感じる人の存在感

CG キャラクタの存在感

森島繁生

早稲田大学

MORISHIMA SHIGEO

レスな表現の融合をめざす研究であり，3 次元 CG キャ

1．はじめに
昨今の CG キャラクタ合成技術は成熟の時を迎え，日ラクタに手描きの感性を演出的に付加する表現ツールをごろ目にする映画や TV コマーシャルなどに登場する実現するものである．現在，早稲田大学，OLM デジタル，

CG 合成された人物は，実写とほとんど見分けがつかな

ATR で構成されるデジタルアニメーションラボにおいい位に，そのリアリティは完成の域に達してきている．て，この研究を遂行している [1]．

これはフォトリアルなレンダリング技術はもちろんのこ

後者の例は，映画のキャストに観客の個性を短時間でと，実世界を模倣する物理シミュレーション技術，アク付加するインスタントキャスティングの実現である．こターの動作を忠実にリターゲット可能なモーションキャ

れは顔および全身の形状再現，歩容等の動作の個性，表プチャ技術などの様々な要素技術によって支えられて情変化時の個人の特徴，声優音声の声質変換による個人いる．しかし，コンテンツ中の CG キャラクタのリアリの声合成などを，観客自体に負担を与えず極めて簡単なティは，必ずしも観客に感動を呼び覚ます必要条件であ手順で短時間に特徴抽出し，リターゲットする技術であるとは限らず，むしろリアル過ぎるがために「不気味のる．これは，早稲田大学，大阪大学，ATR とのコラボレー谷」に陥ることもしばしば起こりうる．感動はあくまでションで研究を行っている [2]．
本稿では，この二つの研究例を通して，CG キャラクストーリが主体であり，CG 技術自体は裏方の役割であタの存在感について考察する．

り，それぞれのコンテンツ表現に応じた最適なキャラクタの存在感を与えてやることが，コンテンツの成功の鍵

2．手描きアニメ vs. 3 次元 CGとなると思われる．
CG キャラクタに存在感を与える試みとして，筆者ら

従来の 3 次元 CG 技術は，フォトリアルな表現を追求の研究グループでは，二つの立場から研究を遂行していすることに主眼がおかれ，実写シーンにコンポジットる．

しても違和感のないレンダリングおよびアニメーショ

一つは，クリエイタの視点から，CG キャラクタの質ン技術開発が主な目的とされてきた．しかし，より高度感，動作や表情に自由に演出を加え，時にはリアリティなリアリティが実現されるにつれて，実物との相違点をを削ぎ取ることによってむしろ感動を深め，作者の感ますます敏感に感じとり，様々なオブジェクト間のリア性によってキャラクタに息吹を吹き込む機能を実現する

リティのバランスや背景とのミスマッチなどがクローズ「ディレクタブル ( 演出可能な ) CG」の研究である．

アップされ，むしろ不気味さを感じさせることもしばしば起こっている．

二つ目は，コンテンツを鑑賞する観客に対して，スクリーンに登場するキャストに特別な親近感を抱かせ，自一方，日本のアニメ作品は，いわゆるフォトリアルな分自身ないしは共に鑑賞している仲間のスクリーン上のCG 表現とは対極に位置するものであり，手描き主体で姿を通して，ストーリへの没入感や臨場感を高める「ダかつリミテッドアニメーション等の手法で制作する独特イブイントゥザムービー」の研究である．のスタイルによって，長い間世界の多くの人々の心を捉前者の一例は，手書きアニメと 3 次元 CG とのシームえてきた．しかし日本のアニメ作品の中に，制作効率と23

24

日本バーチャルリアリティ学会誌第 14 巻 1 号 2009 年 3 月特集

アンドロイドやエージェントに感じる人の存在感いう観点で有利な 3 次元 CG を融合することは根本的により抽象的・記号的である．しかし，映画やアニメ等の困難な課題を含んでいる．すなわち，2 次元アニメ作品

映像制作の観点で言えば，まず演出意図が前提にあり，は，3 次元 CG とは相容れない要素を多く含み，実世界それを満たすという意味でのライティングと陰影付けがには存在しえないアニメ独特の世界観をも含むからであ必要となる．

る．そこで，従来のフォトリアル志向の 3 次元 CG 技術

ハイライトの演出に関しては，手続き型のハイライに，作者の感性を反映させて演出効果を付加する機能をトモデルをマウスドラッグベースの直感的方法で制御可持たせて，あたかも手描きアニメのように 3 次元 CG キャ

能な “HighlightShader” がすでに開発されている [3]．陰影ラクタを表現可能な技術が求められている．の演出に関しては，3 次元モデルの陰影領域をリアルタ

筆者らは，この 2 次元アニメと 3 次元 CG を融合しイムに編集制御できる局所制御可能なトゥーンシェーダ

効率的な作品制作を支援する様々な要素技術について“LoCoStySh” が開発された [4]．これらのツールはいずれ検討を行っている．これは，大きく分けて四つに分類

も Maya プラグインとして実現され，アニメ制作現場にすることができる．1）作者の感性を反映して思うままおいて活用されている．に光や影をコントロールすることができる演出シェー

一方，影は物体に付随するものではなく，それ自体ダ．2）手描きではほとんど不可能な，煙，炎，水，頭に主張や感情表現が求められる極めて重要な要素であ

髪の動きなどを物理シミュレーションに基づいて生成る場合が多い．影はあくまで付属品ではなく，それ自しアニメ調に高速変換するトゥーンシミュレータ．3）

体キャラクタの存在感を増長させる重要な役割を担う過去の作品やデータベースからキャラクタの動作や表表現要素である．ここで提案する二つの影の演出方法

情を再現するリユーザブルコーパス．そして 4）台詞やとは，1）3 次元キャラクタを対象として光源の移動や音声，音楽に合わせてキャラクタの唇，頭部，身体の物体自体の変形を伴わずに物体の落とす影の位置，大動きを自動制御するビヘイブシンクである．

きさ，形状を直感的に演出可能な影の制御方式，そしこれらの技術に基づき，アニメータにとって使い勝て 2）アニメ制作のワークフローに着目し，ユーザの意手のよいユーザインタフェースを備えたツールを開発し図する演出効果を持たせた影を，2 次元のキャラクタて，実際のアニメ制作現場にフィードバックし，映像制レイヤのみの情報から単純に生成する方式である．
図 1 に 1）の方式による 3 次元キャラクタの影の演出

作プロダクションとのコラボレーションによる実証映像制作を通じて技術の評価を行っている．

結果を示す．3 次元キャラクタの場合，左の例に示すよこれらの研究は，特に現実世界とは異なる 2 次元アニ

うに影は光源と物体の位置によって自動的に計算される

メ独特の世界を，3 次元 CG 技術を用いて再現できるこのが通常である．しかし，そこで，作者の感性が反映でとを目標とし，現実世界の単純なシミュレーションに留きる機能を持たせることは極めて重要である．まず，通まらず，作者の感性をも直感的にフィードバックできる常の計算で影を生成した後に，簡単なマウス操作によっ機能を重視している．これは，「ディレクタブル ( 演出て，影の形状をインタラクティブに演出可能なツールを可能な )」というキーワードで表現されるように，あく開発した [5]．このツールを用いて影部分を編集し，演出まで 3 次元 CG に基づく自動計算を基本としながら，後した結果が同図右である．この演出効果は影オブジェクで作者の感性を加えてモディファイすることが可能であトの形状変形と，光線の屈折を表現する属性によって記り，しかも空間的，時間的に違和感を生じないアニメ作述され，演出後の光源の移動や物体の運動変形にも違和品の制作を可能とする．作品制作に関わるコスト削減と制作期間の短縮が可能であるばかりではなく，従来の 2次元作品に新たなる表現のバリエーションを付加できる可能性がある．
3．光と影の演出
CG キャラクタ合成における光と陰影の効果は，存在感を際立たせる上で不可欠の要素である．いわゆる手描きアニメにおけるライティングや陰影付けは，3 次元
CG におけるフォトリアルな陰影とは根本的に異なり，

図1

24

3D 影の編集ツール（左：元の影、右：演出後）

特集

JVRSJ Vol.14 No.1 March, 2009

アンドロイドやエージェントに感じる人の存在感

25

あるが，手描きアニメに要求される機能は網羅的に実装されている．例えば影の単純化もパラメータによって制御される．足元の影は比較的くっきりと出し，頭部に向かうほどボケの量を増やすという表現も可能である．入力は 2 次元の画像情報だが，影生成の処理自体は 3 次元
CG 手法で実現しているため，キャラクタレイヤは 2 次
元で背景レイヤが 3 次元で作成された場合でも，違和感なく自動的に影を落とすことができる．また足元が水面の場合も，波のせせらぎに揺れる影を表現することができる．さらにキーフレームごとに影の演出を行えば，演出効果を補間したキーフレームアニメーションを実現す

図 2 影の編集ツール「影造」のインタフェース
影の位置、大きさ、方向、単純化を自在に制御可能©2003 松本零士 / プラネット・銀河鉄道管理局

ることが可能である．

©2006 早稲田大学

4．演出可能シミュレーション
CG キャラクタに存在感を与えるもう一つの要素として，運動が挙げられる．運動のリアルな再現方法としては，モーションキャプチャがよく利用されるが，例えばアニメ作品などの場合には，特に人物の動きがリアルすぎてシーンにマッチしないことがしばしばである．そこで，モーションキャプチャした動作データに演出を加える必要が生じる．また 3 次元 CG では，シミュレーショ
図3ンが多用されるが，このシミュレーション技術にいかに影造による影の演出の例©2007 ハウステンボス / 夢の友社 / 市川森一

演出可能性を持たせるかが重要な課題である．
4.1

感なく追従する．また光源情報に変形を加えていないことから，編集した影以外のシェーディング情報は変化せ

MoCaToon

モーションキャプチャデータから単位時間当たりのず，物理的に矛盾が生じない点が特徴である．

描画枚数を意図的に減らして制作されるリミテッドアニ

一方，2 次元の手描きアニメ作品では，影の表現に多メーション風のキャラクタの動きを再現する “MoCaToon”

くの制作時間をかけられないのが現実である．しかし，技術を開発した [7]．モーションキャプチャデータをその影は実体の表現と同等に重要な表現要素である．二つ目まま使用するのではなく，動きの意味を再現する姿勢のの影の演出方法として，ここで提案する “ 影造 ”( 図 2)[6]

みを抜き出すために，姿勢間距離の総和が最大となるよは，作画段階でなく，編集段階で影を自由に演出できるうな姿勢の系列をキーとして選択する．また，キー姿勢点が特徴である．必要とする入力情報は一般的なアニメの補間関数はフレーム間隔を考慮して適切なものが選択

制作会社で用いられている透明度付きのキャラクタの動できる ( サンプル＆ホールド，イーズイン＆イーズアウ

画像のみである．この動画像を読み込み，ユーザがいくト )．またキー配置を時間的にシフトして，動作の ｢ ためつかのパラメータを微調整するだけで，短時間で手描き｣ や ｢ ゆるみ ｣ を表現できる．これにより，モーションキャアニメ風の影レイヤの動画像を生成することができる．

プチャデータに特有の人間の生の動きから感じられる不3 次元モデルは一切必要とせず，コンポジット直前映像気味さが取り除かれ，作者の演出が可能となった．また，に対してアフターエフェクト的に影レイヤを自動挿入す編集対象となる姿勢の数を大幅に減らせることから，こることが可能である．

れまで困難と考えられてきたアニメ制作でのモーション

影を表現する要素は，影を生成する位置，影の大きさ，キャプチャデータの利用が実現される．

影の方向，そして影の形である．これらは，専用に用意された GUI により簡単なマウスの操作で指示するこ4.2とができる．影生成のアルゴリズムは極めてシンプルで

HairMotionDirector

風になびく頭髪や，身体動作に伴う頭髪の運動を，モー25

日本バーチャルリアリティ学会誌第 14 巻 1 号 2009 年 3 月

26

特集

アンドロイドやエージェントに感じる人の存在感

ションキャプチャによりモデリングする手法を開発した．頭髪の房に間隔をあけて反射テープを筒状に巻きつけることで，マルチボディセグメントに置換した頭髪運動を獲得でき，さらに各セグメントの回転角速度を計算することによって，風等により生じる頭部周りの外力場を推定することが可能となる．さらにこの外力場に置かれた任意の頭髪モデルにキャプチャした外力場による運図 5 表情筋モデルと Maya プラグイン
表情筋のカスタマイズ機能が付加された動をリターゲットすることが可能となった．
さらに特定のキーフレームに着目して，運動に演出を©2003 松本零士 / プラネット・銀河鉄道管理局©2006 早稲田大学施すことも可能である．マウスを用いて着目する頭髪房を指定し，所望の位置に房を移動したり変形することによって，この変形された房に関わる新たな外力場が計算

図 5 は，アニメキャラクタに自動配置された表情筋モデされ，頭髪全体にこの影響が及ぶことで，シミュレーショルのであり，表情筋の制御は Maya のプラグインツールンとしても違和感のない，作者の意図した頭髪運動が演“Phy-Ace” として実装されている．

出可能である [8]．
図 4 に，演出の前後の頭髪の様子を示す．より激しい

5．インスタントキャスティング
2005 年に開催された愛・地球博の「三井・東芝館」

風が吹いた場合の運動を，房の編集によって実現するこで好評を博した 12 分の映画作品 “Grand Odyssey” は，一とができていることがわかる．

つのスクリーンに登場する 20 名の配役を自由にカスタマイズして，毎回上映時に独自のキャスト構成を同一のストーリーで実現するという全く新しい発想のコンテンツ作品である．またこのコンテンツを支えるフュー
チャーキャストシステム [11] は，全ての観客の顔をレンジスキャンし，個人の顔モデルを短時間で自動生成して映画の登場人物に仕立て上げるシステムである．この観客の顔をもつ CG キャラクタはシナリオに従って演技
図 4 演出可能な頭髪アニメーション
運動場自体に演出を加えて頭髪運動を編集
演出前（左）、演出後（右）を付加され，表情を変形したり，台詞を喋ったりすることができる．
この作品では，背景映像は事前にプリレンダリングにより作成されており，この背景とリアルタイム合成され4.3

表情筋による表情制御た登場人物の顔表情映像とが合成されて映画のシーンがCG キャラクタの表情合成に関しては，表情筋モデル逐次生成される．顔情報のキャプチャからモデル生成，を用いた物理シミュレーションによる合成方法が有効でさらに映像送出・上映までのプロセスが全て自動化されある．
表情筋のカスタマイズによって，様々な個性のキャており，商用システムとしてすでに長崎のハウステンボラクタ生成が行えるばかりではなく，時系列変化も制御

スにて 2007 年 3 月より運用され，最も人気の高いアト可能である．表情筋への力の作用の瞬間を検出し，少なラクションの一つとなっている．この CG キャラクタのい注目点の動きから表情筋の強度と作用のタイミングを存在感について概観する．

自動推定し，顔全体の表情をリターゲットする方式の提案を行った [9]．

5.1

フューチャーキャストの概要

図 6 にフューチャーキャストシステムのデータフロー

またキャラクタの顔オブジェクトを入力して，自動的に表情筋の配置を決定し，また一部の筋肉の配置や追加，を示す．

物理特性などをカスタマイズ可能な機能を付加すること

音声は，基本的に声優声であり，正面画像からの男女によって，表情のバリエーションを増やしたり，誇張表推定結果にしたがって音声トラックが割り当てられる．

現が可能になるなど，表情演出の機能が強化された [10]．

また配役は推定年齢順にソートされて決定される．

26

特集

JVRSJ Vol.14 No.1 March, 2009

アンドロイドやエージェントに感じる人の存在感

3-D Range Scanner(2)である．また同時に，エンタテインメント体験の客観評

Attrndant PC(1)価尺度としての GSR の有効性を示す結果となった．

(5)
(4)

(7)

Screen

(8)

5.3

(10)

像中に発見できるかできないかに関わる．2005 年の愛・地球博の当時に比較して，CPU および GPU 能力は飛躍(9)的に向上し，計算コストの制約は取り除かれつつある．

(6)

図6

さらなる存在感を実現

感動する人，しない人，その分かれ目は自分自身を映(3)Face Modeling PCs

27

Data Storage Server

Rendering Cluster System

したがって，リアルタイム生成は，顔に限定する必要がなくなった．

フューチャーキャストのデータフロー

全身のリアルタイムレンダリングを考慮しつつ，頭髪
1) アテンダントの誘導のもと、観客の顔を撮影運動の付加や，表情表出時の個人性，声の個人性，歩容2) 顔画像データをモデリング PC に送信の個人性など，より多くの個人情報を CG キャラクタに3) 3D 顔モデルをサーバに格納反映したり，自らのモデルを独自にデザインできる機能

4) サムネイルでアテンダントが撮影状況をチェックを付加することにより，さらに存在感を高めることが可

5) モデリングの実行可否をアテンダントが指示能である．

6) 生成した顔モデルとキーシェープをサーバに格納
7) 年齢・性別推定結果，モデル完成度をチェック

図 7 は，新しいキャラクタと従来のキャラクタを比較モデルが著しく不完全な場合は撮り直しを指示したものである．頭髪の特徴を付加することによって，

8) 本編での役割分担、音声トラックの選択を確認より個性が忠実に反映されていることが分かる．また，

9) 全ての個人データをレンダリングクラスタに送信

図 8 は，自分のキャラクタに別にデザインされた頭髪

10) 背景映像に実時間合成された顔を重ねて映写を付加したものである．さらに登場人物として印象的にアレンジされていることが分かる．よって，個性を反映した CG キャラクタの要素は，必ずしも本人の忠実なコ

5.2

感動を呼び覚ますキャラクタの存在感

ピーよりも，よりキャストとしての相応しい装飾を行う

スクリーンに登場する CG キャラクタに対して，どれことによって，自分自身の印象が高まるだけでなく，キャだけ感動を感じているかは，本人の顔ないし自分の友人ラクタとしての存在感や見る者を魅了する効果がより高や家族の登場人物を鑑賞する際に，大きく現れると推定められると考えられる．

される．この感動度合いを Galvanic Skin Response (GSR)

全身のシルエットからキャラクタをカスタマイズするで客観的に評価する手法を提案した [12]．

方式，歩容のシルエット動画像から歩きの特徴を抽出す

これによれば，見知らぬ人物からキャスト構成される研究，表情の個人特徴を表情筋の運動と関連づけて抽た作品の場合には，特に感情的な高まりは発生しない出する方式，頭髪運動を含む動作のパフォーマンスキャが，一方で，自分自身が登場人物となったり，自分の友プチャ方式の研究，頭髪のリアルタイムレンダリングの人が登場人物となっている場合に，明らかに強い GSR

研究，皮膚の質感表現の研究，限られた発話から声をカ反応を示すことが評価実験により示された．GSR 反応スタマイズする方式の研究などを進めている．の増加は生理的な覚醒の度合いが高まっていることを意味する．複数の友人と共に共演する場合には社会的な存在感をも喚起しており，自分自身だけが登場する場合より強い傾向が現れた．作品の中では被験者の CG キャラ
クタが友達とともに宇宙船をコントロールする共同作業を行うシーンがある．上映後のインタビューでもこの共同作業が存在感の増加に寄与しているという意見が多くあった．
これは従来の映画鑑賞では不可能な体験であり，

図 7 新旧キャラクタ比較
ヘルメットを外し、後頭部モデルと頭髪モデルを付加した

観客と映画とのインタラクションやコミュニケーションを増強しようとする本システムの有効性を示唆するもの＊口絵にカラー版掲載

27

28

日本バーチャルリアリティ学会誌第 14 巻 1 号 2009 年 3 月

特集

アンドロイドやエージェントに感じる人の存在感

No.2, pp. 234-239 (2008)[6] 中嶋英仁，杉崎英嗣，上村周平，森島繁生：手描きアニメを利用した影生成システム〜影造〜，第 7 回

NICOGRAPH 春季大会論文 & アート部門コンテスト
審査員特別賞 (2008)[7] Shigeo Morishima, Shigeru Kuriyama, Shinichi Kawamoto,Tadamichi Suzuki, Masaaki Taira, Tatsuo Yotsukura, Satoshi
Nakamura : Data-driven efficient production of Cartoon
図8

Character animation, ACM SIGGRAPH 2007 sketches,

登場人物のデザイン機能の効果

Article No.76 (2007)[8] Yosuke Kazama, Eiji Sugisaki, Shigeo Morishima,Directable

6．まとめand Stylized Hair Simulation, INSTICC GRAPP2008

本稿では，CG キャラクタの存在感を増強するための，Conference DVD-ROM, pp.316-321 (2008)

演出方法の様々なバリエーションについて述べた．存在感は，必ずしもフォトリアリティに起因するものでは[9] 久保尋之，石橋康，前島謙宣，森島繁生：表情筋運なく，作者の意図する感性をいかに忠実にキャラクタに動モデルの過渡特性を考慮した表情アニメーション，再現可能であるかが重要なポイントである．もちろん実Visual Computing / グラフィクスと CAD 合同シンポジ

写の映画作品の場合は，現実世界に CG キャラクタを違

ウム 2008, 20.pdf (2008)

和感なく登場させるために，フォトリアリティや実世界[10] 久保尋之，上村周平，石橋康，前島謙宣，森島繁生：の物理シミュレーションは重要であるが，アニメ作品の筋配置のカスタマイズが可能な表情生成シミュレータ

場合には，むしろリアリティを大幅に削減し，背景や他の提案，日本顔学会誌，第８巻，第 1 号 , p.189 (2008)の手描き要素とマッチしたレンダリング法やシミュレー[11] Akinobu Maejima, Shuhei Wemler, Tamotsu Machida,ション法が必要である．また，自身を登場人物に仕立て

Masao Takebayahasi, and Shigeo Morishima : The Future

るインスタントキャスティングの場合には，現実そのまCast System, The IEICE Transaction on Information and

まよりも，より脚色され，美化された自分自身の仮想のSystem, Vol.E91-D, No.4, pp.1135-1148 (2008)[12] 森島繁生： 顔表情の CG 合成と感動評価，映像情報姿に人々は共感と感動を覚えることも確認できた．

メディア学会誌 , Vol.62, No.12, pp.1923 (20)-1927 (23)

今後のコンテンツ産業の行方は，様々なリアリティ(2008)のバリエーションを再現可能なオーサリングツール群によって，そのジャンルがさらに幅を広げてゆく可能性がある．いずれにしても，それぞれの作品のストーリや状【略歴】

況設定に応じた最適なキャラクタの存在感を与えること

森島繁生（MORISHIMA Shigeo）が重要な課題であることは間違いない．

早稲田大学

理工学術院教授

1982 年東京大学工学部卒業，1987 年東京大学工学系研
参考文献

究科電子工学専攻博士課程修了，工学博士．同年成蹊大[1] http://www.cavie-x.net/index.html

学工学部専任講師，1988 年同大助教授，2001 年同大教授，[2] http://www.diveintothemovie.net/jp/

2004 年より現職．現在，NICT 客員研究員，デジタルア[3] Ken-ichi Anjyo, Shuhei Wemler, and William V. Baxter :ニメーションラボ代表，早大 IT 研究機構デジタルエン

Tweakable light and shade for Cartoon animation, Proc.

タテインメント研究所所長を併任．専門は画像情報処理

NPAR 2006, ACM Press, pp. 133-139 (2006)

工学．1991 年電子情報通信学会業績賞受賞．

[4] Hideki Todo, Ken-ichi Anjyo, William Baxter,
Takeo Igarashi : Locally Controllable Stylized Shading,
SIGGRAPH2007, ACM Transactions on Graphics Volume 26,
Issue 3, Article No.17 (2007)[5] 中嶋英仁，杉崎英嗣，森島繁生：直感的に影を演出可能な編集ツール，映像情報メディア学会誌，Vol.62,

28