DEIM Forum 2012 C3-2

自然言語を利用した CG 創作環境の一手法
菅原衣織†

伊藤 貴之††お茶の水女子大学 理学部 情報科学科 〒112-8610 東京都文京区大塚 2-1-1
E-mail: †{iori, itot}@itolab.is.ocha.ac.jp
あらまし

我々は 3 次元 CG 制作の入力手段として音声を使うことを考えている．その前段階として本研究では，音声認識結果である自然言語からの CG 制作ツールを実現する一手法を提案する．本ツールでは入力文からキーワードを抽出し，それに対応する 3 次元モデルとテクスチャ画像を検索して組み合わせる．3 次元モデルとテクスチ
ャ画像には本ツール特有のタグが付与されるものとする．物体名を表す名詞が付与されると，その類似語や上位概念語も自動的に付与される．またユーザによって主観的に付与される形容詞や，色・周波数特性などの特徴算出値もタグに含む．これらのタグの検索結果として表示される物体に対して，入力文から指定される座標変換を施す．
以上を反復することで感覚的な 3 次元 CG 制作環境を実現する．
キーワード

3 次元 CG，自然言語．

A computer graphics modeling toolfeaturing a natural language based input interface
Iori SUGAHARA†

andTakayuki ITOH††Department of Information Sciences, Faculty of Science, Ochanomizu University
2-1-1 Otsuka, Bunkyo-ku, Tokyo, 112-8610 Japan
E-mail: †{iori, itot}@itolab.is.ocha.ac.jp
Abstract

We aim to apply a speech recognition technique as an input interface of computer graphics modelingenvironment. As a preliminary step of this goal, this paper proposes a computer graphics modeling technique featuring anatural language based input interface. This tool combines 3D shape models and texture images corresponding to the keywords
extracted from input sentences. Here, we suppose labels are manually assigned to the 3D shape models and texture images.
Synonym and the words of a superordinate concept are then automatically added as labels. Also, labels related feature values(e.g. color and frequency) are assigned to the texture images. Coordinate transformation specified from input sentences is also
applied to the 3D shape models. We think this tool realizes intuitive computer graphics creation by iterating those processes.
Keyword

3D computer graphics, Natural language.

1. 概 要3 次 元 CG 制 作 環 境 の 研 究 も 進 ん で い る ． 我 々 も 同 様

3 次 元 コ ン ピ ュ ー タ グ ラ フ ィ ッ ク ス (CG)の 制 作 環 境に，専門的な知識のあるユーザではなく初心者ユーザに は ，商 用 で は Maya や 3D Studio Max な ど ，ま た ウ ェを 対 象 と し た 手 軽 な CG 制 作 環 境 の 構 築 を 目 標 に し て

ブ 上 の ツ ー ル と し て は Google Sketch Up な ど ， 既 に 多いる．

数のものが知られている．しかし，いずれも習熟する

近 年 の ス マ ー ト フ ォ ン の 普 及 に 伴 っ て ，iPhone4S かた め に は 相 応 の 知 識 や 技 術 が 必 要 で あ り ， CG に 関 す

ら 対 応 に な っ た Siri や ， Android の 音 声 認 識 API に 代る専門知識の無いユーザや小さな子供にとって親しみ表されるように，音声認識技術の発達が著しい．我々やすいツールとは言いがたい．そこで近年ではスケッは こ の 音 声 認 識 技 術 を 用 い て 3 次 元 CG の 感 覚 的 な 制

チインタフェースなどを導入した 初心者ユーザ向けの作環境を構築することを目標にしている ．音声入力を導入することで例えば，マウスやタッチパネルなどの判別し，タッチペンでの描画に反映させるという研究

2 次元操作デバイスがもつ 3 次元操作の難しさが緩和である．この研究では主にオノマトペ，つまり擬音語されることが期待される．また，スマートフォンやポを採用しており，「 て ん て ん 」や「 き ら き ら 」と い っ たータブルゲーム機などの小型端末ゆえの操作の困難さ言葉に対応して描画スタイルを変化させている ．図 2からも解消されると期待される．さらに，一同に介しはオノマトペンの概念図と実物例である ．

た多数のユーザによる協調的な制作が容易 になると期待される．
本報告はその前段階として，自然言語を入力とした
3 次 元 CG 制 作 環 境 の 構 想 と ， そ の 実 装 に つ い て 論 じる．本手法では入力された自然言語からキーワードマッチングにより，あらかじめデータベースに登録されている 3 次元形状モデルとテクスチャ画像を抽出し，これらを組み合わせて表示する．

2. 関 連 研 究
2.1 自 然 言 語 に よ る 3 次 元 CG 制 作

図 2. オ ノ マ ト ペ ン [2]に よ る 実 行 例

2.3 テ キ ス ト ラ ベ ル と ス ケ ッ チ に よ る 画 像 生 成
文字情報によるデータの検索とキーワードマッチ

自然言語による幾何形状モデリング手法は以前にン グ の 手 法 と し て Sketch2photo[3] を 紹 介 す る ．

も 発 表 さ れ て い る [1]． こ の 研 究 で は 英 語 の SVO の 文

Sketch2photo は テ キ ス ト ラ ベ ル の 注 釈 と フ リ ー ハ ン ド

法に則って球や立方体などのプリミティブな 3 次元モで描いたスケッチから現実的な画像を生成する手法でデルを操作，配置し，組み合わせて物体を制作する 3ある．テキストラベルとスケッチが一致した複数の写

次 元 グ ラ フ ィ ッ ク シ ス テ ム ”Do”を 提 案 し て い る ． CG真をインターネットから検索し，新しい画像を生成すの専門的な知識のあるユーザと知識のないユーザを対る ．Sketch2photo に よ る 画 像 生 成 の 流 れ を 図 3 に 示 す ．

象とした実験を行っており，共通の物体を作成する際最適な組み合わせを見つけるために，検索された画像に掛かった時間や使った単語数を比較している ．図 1にはそれぞれ数値が割り当てられており，それによっは ”Do”を 使 っ て 制 作 さ れ た 雪 だ る ま の CG で あ る ．て画像が選出されている．

図 1. [1]に よ る 雪 だ る ま 作 成 例

図 3. Sketch2photo[3]に よ る 画 像 生 成 例(左 )Do 開 発 者 が 作 成 し た 雪 だ る ま(中 央 )CG 非 専 門 家 が 作 成 し た 雪 だ る ま(右 )CG 非 専 門 家 が 作 成 し た 雪 だ る ま3. 提 案 手 法
本章では提案手法について述べる．まず本手法におけ る 3 次 元 CG の プ ロ グ ラ ミ ン グ モ デ ル を 述 べ ， そ れ

実験の結果より，事前知識をほとんど要しない，オに対応する自然言語について論じる．続いて本手法でブジェクトの選択が容易であるという利点とともに ，自然言語を入力した際の処理手順について述べる ．

微調整がし難い，座標系の感覚がつかみにくいという問題点が挙げられている．以上の研究を踏まえ我々の提案する手法では，座標系を意識する必要のない手軽で 感 覚 的 な 指 示 に よ る 3 次 元 CG 制 作 を 目 指 す ．

3.1

3 次 元 CG の プ ロ グ ラ ミ ン グ モ デ ル

我 々 の 実 装 で は OpenGL と い う プ ロ グ ラ ミ ン グ 環 境を ベ ー ス に し て 3 次 元 CG を 表 示 す る ． こ の プ ロ グ ラミング環境では以下のような処理手順を要する ．

2.2 音 声 を 利 用 し た ユ ー ザ イ ン タ フ ェ ー ス

初 期 化 : ウ ィ ン ド ウ の 設 定 ，視 点 や 光 源 の 設 定 な ど ．

音声を利用したユーザインタフェースの一例とし物体単位の処理: 物体形状（頂点情報および位相情て，オノマトペを用いたマルチモーダルインタラクシ報）の定義，物体に貼りつけるテクスチャ画像の設

ョ ン [2]が あ る ．こ れ は オ ノ マ ト ペ ン と い う ツ ー ル と し

定，物体の座標変換（拡大縮小，平行移動，回転なて発表されており，マイクで拾った音声を音声認識でど ）， な ど ．

現時点での我々の実装は，この 2 種類の処理手順のう

3.3

ち物体単位の処理について，以下の 2 種類の自然言語入力を想定している．

タグとのマッチング

本手法で扱う 3 次元モデルやテクスチャ画像には，その内容を表す物体名や形容詞を ユーザが手動でタグ

1) 「 A で あ る B」（ A は 修 飾 語 ， B は 物 体 名 ） と いつけすることを想定する．そしてシステムは，手動でう構文により，B に相当する物体形状と，A にふさタグ付けされた単語の類似語や上位概念語を割り当て，わしいテクスチャ画像を検索して表示する ．

またテクスチャ画像においては色などの特徴量に対応

2) 座 標 変 換 を 表 す 予 約 語 の 入 力 に よ り ，物 体 の 拡 大する単語を自動で割り当てる．以下にタグの付与方法

縮小，平行移動，回転などを指定する．

を記す．

本手法における自然言語入力の例と，それに対応して構築されるデータ構造の例を，図 4 に示す．本手法で物体名: ユーザが手動で付与する．1 つの 3 次元形状

はまず物体形状とそのテクスチャ画像を自然言語からモデルやテクスチャ画像に対して複数の物体名 を付与検索し，続いて必要に応じてその座標変換を自然言語することも想定する．また，同じ物体名が複数の 3 次から設定する．

元形状モデルやテクスチャ画像 に対して付与されることも想定する．

「キラキラな猫」「フサフサな犬」

形容詞: ユーザが手動で付与する．ユーザの主観や趣「少し右」「反対向き」

向を反映するために有効である ．1 つの 3 次元形状モ
デルやテクスチャ画像に対して複数の形容詞 を付与す

猫の形状



猫の形状



キラキラ

フサフサした画像


平行移動した画像
回転図 4. 自 然 言 語 入 力 と デ ー タ 構 造ることも想定する．また，同じ形容詞が複数の 3 次元形状モデルやテクスチャ画像に対して付与されることも想定する．
同義語や上位概念語: 手動でタグ付けされた物体名をもとに，概念辞書を参照して自動的に付与する ．
特徴量に対応する単語: テクスチャ画像に対して色や周波数などの特徴量を算出し，それに対応する単語を以下本報告では，物体形状とテクスチャ画像の検索自動的に付与する．

方法と，座標変換の操作について論じる．
な お 我 々 の 実 装 で は ， 概 念 辞 書 と し て 日 本 語 Word

3.2

3 次元形状モデルとテクスチャ画像

Net[5] を 利 用 し て い る ． WordNet で は 各 単 語 の 概 念 が本 手 法 は 自 然 言 語 入 力 の た め 既 存 の CG 制 作 ツ ー ル"synset" と い う 単 位 に ま と め ら れ て お り ， さ ら に 関 連と同様に精度の高い形状モデリングは困難である．既の あ る synset と リ ン ク さ れ て い る ． 我 々 の 実 装 で は存 研 究 [1]に お い て も プ リ ミ テ ィ ブ な 3 次 元 形 状 の 組 みsynset に 属 す る 同 義 語 (synonym)と ， synset の リ ン ク を合わせだったために創作の範囲が限定されていた．そたどって得られる上位概念語を用いる ．

こで我々は，本ツール自体で 3 次元形状モデルを設計以上に記したタグ情報をもとにして，本手法は以下するのではなく，インターネット上にある 3 次元形状の手順で最適な 3 次元モデルとテクスチャ画像のマッ

モ デ ル デ ー タ ベ ー ス（ 例 え ば 3D Model Search Engine[ 4]）チングを図る．図 5 にタグ情報の格納例を示す．

からダウンロードした 3 次元形状を用いる．これらの

1.

3 次 元 形 状 モ デ ル は WRL 形 式 や STL 形 式 と い っ た 標
準的な書式で記述されている．

入 力 文 中 の 物 体 名 （ ま た は そ の 同 義 語 ）を タ グ に持つ 3 次元形状モデルを検索する．

2.

1.で 該 当 す る 3 次 元 形 状 モ デ ル が 複 数 存 在 す る 場

我々の実装では，後述するタグを付与された 3 次元合 に は ，手 動 で つ け た 3 次 元 形 状 モ デ ル に つ け ら

形状モデル群とテクスチャ画像群がデータベースに登れた形容詞を比較し，1 個でも多く共通の形容詞録されていることを前提とする．そして自然言語を入を入力文に含む 3 次元形状モデルを選ぶ．

力すると，その入力文を構成する単語とのマッチング

3.

により，3 次元形状モデルとテクスチャ画像を検索す

持 つ テ ク ス チ ャ 画 像 を 絞 り 込 む ．図 5 で は 黄 色 いる．以上の処理によって定義されたテクスチャ画像つきの 3 次元形状モデルを，以下「キャラクタ」と称す
る．

入 力 文 中 の 修 飾 語 （ ま た は そ の 同 義 語 ）を タ グ に欄「ふわふわ」が該当する．

4.

3.で 該 当 す る テ ク ス チ ャ 画 像 が 複 数 存 在 す る 場 合には，3 次元形状モデルと同一の上位概念語を共通に有するテクスチャ画像を優先的に選ぶ ．図 5
では緑色の欄「動物」が該当する ．

5.

4.で 上 位 概 念 語 を 共 通 に 有 す る テ ク ス チ ャ 画 像 がトを実施するなどしてユーザビリティを向上したい．

複 数 存 在 す る 場 合 に は ，手 動 で 3 次 元 形 状 モ デ ルとテクスチャ画像につけられた形容詞を比較し，1 個でも多く共通に有するテクスチャ画像を優先的に選ぶ．図 5 ではピンク色の欄「かわいい」が該当する．

図 7

座標変換文とその操作内容の一例

3.6 GUI 機 能我 々 の 実 装 に お け る GUI を 図 8 に 示 す ．画 面 中 央 は実行結果を表示する描画領域である．画面左側には，キーワードを入力するためのテキスト記入欄 や，表示
図 5. タ グ 情 報 の 格 納 例

されたキャラクタの拡大縮小，回転などの操作のためのチェックボックスを備えている ．画面右側には，タ3.4 デ ー タ ベ ー ス の 設 計

グによる優先度が次点以下だったテクスチャ を表示す我 々 の 実 装 で は デ ー タ ベ ー ス SQLite を 用 い て 3 次 元る領域を備えている．このとき，優先度が次点以下だモデルおよびテクスチャのタグを管理している．我々ったテクスチャをクリック操作で選択することで，3の実装におけるデータベースの構造を図 6 に示す．

次元モデルに割り当てるテクスチャ画像を切り替えられる．

図 8. GUI 上 で の 表 示 例
図 6． デ ー タ ベ ー ス の 構 造

3.5 座 標 変 換

4. 実 行 結 果
本手法を起動して自然言語を入力した例を図 9 に示
す ．こ の 例 で は 入 力 文 と し て「 し ま し ま 」「 ね こ 」と いキャラクタに平行移動や回転などの座標変換の操

う キ ー ワ ー ド を 入 力 し て い る ．こ の と き 描 画 領 域 に は ，作を加えるにあたり，本手法では数値表現ではなく口縞模様のテクスチャがマッピングされたねこのポリゴ語的な文章表現と座標変換を対応づける．口語的な表ンが表示され，右側の領域には，キーワードと一致し現を採用することにより，3 次元操作の簡易化を図る

た複数のテクスチャ画像が表示される．このとき 右側と と も に ，関 連 研 究 [1]の ユ ー ザ テ ス ト で 挙 げ ら れ て いの領域では，「 し ま し ま 」に 加 え て「 ね こ 」の 上 位 概 念た座標系の感覚がつかみにくいという問題点を緩和で語である「動物」とのタグを有するものを上半分に，きると期待できる．図 7 に座標変換文と操作内容の例「しましま」のタグのみを有するものを下半分に表示を示す．現時点で実装している操作内容は我々の主観する．現在の実装では出現したキャラクタの初期位置に基いて調節されているため，今後はユーザアンケーは全て一定となっているが，座標変換の入力文によってキャラクタの位置を操作することで， 図 9 のようにも追加しようと検討している．例えば いままでに選ば複数のキャラクタを画面上に表示することが可能であれたテクスチャ画像の特徴量や形容詞のタグと同一のる．

タグを有するテクスチャ画像を優先的に選ぶことで ，似たような色合いや雰囲気のテクスチャが優先 的に選ばれ，統一感のある空間を創ることが期待できる ．あるいは上位概念語のタグを利用して，あえて現実に起こりえない組み合わせのテクスチャ画像と 3 次元形状モデルを選ぶことで，現代アート風の空間を創ることが期待できる．
ユーザテストの実 施．本手法のシステムの改良を進めていくにあたってユーザビリティの向上は必須の課題であると考える．一例として，ある同一の風景を制作させ，制作時間とユーザの満足度を測る ，というような形でのユーザテストを検討している．
図 9. GUI 上 で の 表 示 例

参
5. ま と め と 今 後 の 課 題[1]

本報告では，自然言語入力によって 3 次元形状モデ[2]

神原啓介, 塚田浩二, オノマトペを用いたマルチモーダルインタラクション, 人工知能学会全国大

形容詞のタグの自動化．現時点での我々の実装では，

会 論 文 集 , 1C2-OS4b-12, 2011.
[3]

詞のタグは手動での付与になっている．テクスチャ画

Tao Chen, Ming-Ming Chen, Ping Tan, Ariel Shamir,Shi-Min Hu, Sketch2Photo: Internet Image Montage,
SIGGRAPH Asia ’09, Article No. 124, 2009.

層に関して，形容詞のタグつけの一部を 自動化するために画像認識の適用を考えている ．具体的には，各テ献42(5), 1161-1169, 2001.

今後の課題として，以下の点に取り組みたい．
3 次元形状モデルやテクスチャ画像についている形容

文

リングと画像合成の一手法, 情報処理学会論文誌，

ルとテクスチャ画像を検索することで ，感覚的に 3 次
元 CG を 制 作 す る 一 手 法 を 示 し た ．

考河合善之, 岡田稔, 自然言語による幾何形状モデ[4]

Princeton Shape retrieval and Analysis Group ,クスチャの周波数分布や色分布などの特徴量を算出し，3D Model Search Engine,データベース上の他のテクスチャ画像と比較し ，類似

http://shape.cs.princeton.edu/search.html

するテクスチャ画像と同じタグを付与する．これにより，主観性と客観性の両方を考慮したテクスチャ 画像の推薦ができるのではないかと考えている．
座 標 変 換 の 操 作 内 容 の 改 良 ．先 に も 述 べ た よ う に 現 時
点での我々の実装では，座標変換の操作内容は我々の主観に基いて調節されている．このユーザビリティを向上させるために，ユーザアンケートを実施し，その結果に沿って操作内容を改良したい．また，キャラクタの初期位置も同一にするのではなく， 3 次元モデルの上位概念を引用し，空に浮かんでいる物体は初期位置を空中に設定したり，筆記用具やパソコンなど地面に初期位置を設定しては不自然なものを別の物体の上に配置するなど，遊び心を交えたものにしようと検討している．
小 さ い 子 供 の 興 味 を 引 く よ う な GUI の 改 善 ．本 手 法 はCG の 専 門 知 識 の な い ユ ー ザ を 対 象 に し て い る ． GUIをより親しみやすいデザインにすることで ，いろいろな人にとって使いやすいシステムを開発したい ．
色 調 や 現 実 性 を 考 慮 し た モ ー ド の 設 定 ．形 容 詞 や 特 徴
量に関するタグを利用して多様な作風を目指せる機能[5]

独 立 行 政 法 人 情 報 通 信 研 究 機 構 (NICT), 日 本 語
Word Net, http://nlpwww.Nict.go.jp/wn-ja/