プロジェクト報告書（最終） Project Final Report

提出⽇(Date) 2024/1/17

クリエイティブAI
Creative AI
⼭本 拓摩 Yamamoto Takuma
1. 背景
近年, ⼈⼯知能に創造性を持たせる研究が数多く⾏われームのクオリティを上げる要素の実装」を主な課題に設定した.ている, 例として「きまぐれ⼈⼯知能プロジェクト作家で本プロジェクトでは, ゲームを構成する要素ごとに物すのよ」が挙げられる [1]. このプロジェクトは, ⼈⼯知能語・⾳響・視覚・システムの４つのグループに分かれ, ⾃動にショートショートを創作させることを⽬標としてお⽣成システムの開発や AI を利⽤した素材制作など各グルり, 2016 年には星新⼀賞の⼀次審査を通過したことで話題ープで設定した課題に取り組み, それぞれの成果物を統合を集めた. その他にも画像, ⾳楽など様々な分野に渡って⼈して１つのゲームを完成させることを⽬標とした. グルー

⼯知能で⾃動⽣成を⾏う研究が進んでいる.

プごとの課題は, 以下である.

ゲームにはゲームシステム, 視覚要素, BGM, ゲームシナリオなど様々な創作的な要素が含まれている. そこで, 本

2.1 物語班

プロジェクトでは, それらの制作に⼈⼯知能を利⽤するこ物語班は, ゲームシナリオの制作を担当する. 今年度は,とで, ⼈⼯知能を実際の開発現場でどのように活かし、⼈ループものシナリオの⾃動⽣成を⽬標として活動した. そ⼯知能を⽤いてどのように創造性を⽣み出すかを追求する.の⽬標を達成するために, キャラクター情報と世界観の設定, ループもの作品の分析, 分析結果を元にし, ⽣成系AI

2. 課題の設定と到達⽬標を⽤いたシナリオの制作を主な課題とした. また, OpenAIプロジェクトが開始して, まず制作するゲームのジャンの ChatGPT を代表とする⽣成系AI を利⽤する中で, 利ルを決めた. その結果, ２Dアドベンチャーゲームというゲ点をどのように⽣かすかや⽋点を⼈の⼒でどこまで補うか,ームジャンルに決定した. 特に, 繋がった広いマップを持検討し, 試⾏錯誤することも課題として取り組んだ.

ち, スタートに対して明確なゴールがないという特徴を持つ探索型２Dアクションゲームの完成を⽬指すこととなっ2.2 視覚班

た. そして, ⼈⼯知能を⽤いた創造性の再現やゲームの完成

視覚班は, 主にゲームのビジュアル要素の制作を担当すのために, 「ループものシナリオの⾃動⽣成」, 「曲の⾃動る. 今年度は, キャラクターや背景, その他の必要素材の制アレンジシステムの実現」, 「キャラクターアニメーショ作に加え, 特に歩きや攻撃といったキャラクターの映像をンの⾃動化」「ギミックやキャラクターアクションなどゲAI を⽤いて⾃動⽣成させることを⽬標とする. この⽬標の有意性は, AI によるアニメーションの制作により, 1フレー

今年度は, ChatGPT や StableDiffusion 等の⽣成系AIムごとに1つの絵を制作するという最も負荷が⾼い作業を⼤ツールの台頭により, 昨年度までと状況が変化した. 我々幅に軽減することが可能になることである.

は, それら⽣成系AI ツールも利⽤しながらプロジェクトに取り組んだ. 各グループは⾃動⽣成システムの開発や AI

2.3 ⾳響班⾳響班は, ゲームの没⼊感を向上させるための BGM の作成を担当する. 具体的にはゲームの雰囲気や状況に合わを利⽤した素材制作など各グループで設定した課題に取り組み, それぞれの成果物を統合して１つのゲームを完成させた. 以下が完成したゲームのプレイ画⾯である.

せた BGM を疑似的に⾃動⽣成することを⽬標とする. 現在，BGMを制作する際，状況・雰囲気・テーマに沿った，

表１ 完成したゲームのプレイ画⾯BGMを作曲家の感性で決めている．そのため，作曲者の感性に依存しており，作業量も⾮常に多い．そこで，作業量を減らし，感性に依存せずに曲の⽣成を違和感がないように⾏うために，雰囲気や状況に合わせてBGMを⾃動で⽣成するシステムの実装を⽬指す．また，ゲームのBGMであるため，⾳が途切れることのないループするBGMにもしたいと考えている．

2.4 システム班

各班は, 以下のように課題に取り組んだ.

3.1 物語班

システム班は, ゲームの基盤となるシステムの開発と各ループものシナリオの⾃動⽣成という⽬標を達成するた班が制作した成果物の統合を担当する. 各班の成果物が出め, まず他班の活動にも影響を与える世界観, キャラクター来上がるのは後期の終盤になるため, 最後に統合しやすい情報の設定を⾏った. 次に, 選定したいくつかのループものように⼯夫をしながら統合の基盤となるゲームの開発を⾏

作品を読み, ループもの「⾯⽩さ」を構成するものについうことを⽬標としている.て議論し, 分析する対象を決めた. その結果, 「ループの⼀また, 探索エリアを複数開発することや, ギミック, 敵キ周を単位として関係性を探る視点」「繰り返される出来事ャラクターを開発するなどさまざまな要素をゲームに追加に注⽬してその役割を探る視点」に分かれて注⽬し, 分析することを⽬標としている.

を⾏なった. そして, 決定した対象を分析し, 分析した内容

さらに, 強化学習を⽤いて⼀部の敵キャラクターの⾏動をもとに BingAI を利⽤してシナリオのあらすじを⽣成しを制御することも⽬標としている. 強化学習を⽤いることた. そのあらすじをもとにして, ⼈の⼿で最終的な成果物でによって, プログラムで設計した単純な⾏動ではなく, ⾃律あるシナリオを制作した.

的に状況に合わせた⾏動を可能にする.

物語班は, ⽬標としていたループものシナリオの⾃動⽣成を達成することができた. 実際に⾃動⽣成した部分は, シ

3. 課題解決のプロセスとその結果ナリオ執筆をするためのあらすじであったが, AI を効果的に利⽤することができ, AI がシナリオ制作の⼤きな⼿助け考えている. AI を⽤いなかった UI, 敵キャラクターは, ペとなった. また, プロンプトに細かな制約をたくさん加える

イントソフトや 3D モデリングソフト等を使⽤し必要な視など⼯夫を凝らすことで, 意図するあらすじを⽣成するこ覚的要素の制作を⾏った.とができた. これにより, シナリオ制作において⽣成系AIを有効に使う⽅法があるとわかった. また, ループものの分

3.3 ⾳響班

析においても, 「ループの⼀周を単位として関係性を探る

はじめに, 雰囲気や状況に合わせて BGM を⾃動でアレ視点」「繰り返される出来事に注⽬してその役割を探る視ンジするシステムを作るために必要な知識や技術について,点」両⽅で, 分析結果を得ることができ, 新たな発⾒や妥当教授や本プロジェクトの先輩⽅から, ⾳響信号や⾳響特徴と⾔える結果を得ることができた.

量, 開発環境の構築や昨年のシステムなどについて教えを受けた. その結果, 「ベース」「ドラム」「それ以外」のパ

3.2 視覚班
まず, 視覚班としてゲームのビジュアル要素を制作するートごとの⾳源を作成し, モデルの出⼒を利⽤してパートごとの⾳源をそれぞれ選択し, 合成することで⼀つの際にどのように AI を活⽤できるかを考えた. そこでBGM の完成とすること⽬標達成のための⽅針とした. こ「UI・MAP の⾃動⽣成」「敵キャラクターの⾃動⽣成」の⽬標を達成するために必要な要素を５つ設定した.

「キャラクターの動きの⾃動⽣成」が候補として挙がった.

まず１つ⽬が, 既存作品とその⾳源の分析である. モデル

2023年4⽉時点では, キャラクターの動きに関する⽣成は⼀に既存データとして⼊⼒するためのデータとして, いくつ貫性を持たせることが難しく, ゲーム制作以外の様々な場かの作品を分析した. 既存作品の分析では, ⾳源が再⽣され⾯で活躍することが⾒込まれる技術ということから,「キャた場⾯から感情のデータを作成し, 曲ごとの⾳響特徴量のラクターの動きの⾃動⽣成」を視覚班の主⽬的とした. 今

データとラベルづけをすることで, 分析の完了とした.

回のゲーム制作においてはキャラクターの攻撃や移動, ジ２つ⽬が、モデルに⼊⼒するデータを作成するシステム

ャンプなどのモーションを⽣成することを⽬標とし活動しの作成である. 先述した, 既存作品とその⾳源の分析の際,た. また, 現在の技術と倫理性を鑑みた結果, MAP・キャラ⾳響特徴量をラベルづけするシステムを作成した. まず, 既クターの動きは AI を⽤いて制作を⾏い, UI・敵キャラク

存作品の⾳源を読み取り, ⾳響特徴量それぞれの数値を計

ターは⼿動での制作を⾏った.

測するシステムを作成した. 次に, 計測した⾳響特徴量をモ

視覚班は, ゲームにおける視覚的要素全般を各班と連携デルに⼊⼒するために, データを成型するシステムを作成しながら制作した. 制作物には, AI を⽤いたアニメーショした. これらのシステムを⼀つのシステムとすることで, シン, マップ背景と, AI を⽤いなかった UI, 敵キャラクターステムの完成とした.

がある. AI を⽤いたアニメーション, マップ背景では, 既存３つ⽬が, 学習モデルの作成である. この学習モデルでの技術を組み合わせ独⾃に考案した⼿法を⽤いて制作を⾏は, 既存作品の⾳源の⾳響特徴量と⾳響班がつけた感情デった. AI を活⽤することで, 新たな可能性を⾒い出せたり,ータから, 物語の感情データに合う⾳響特徴量を出⼒する.

本来⾃⼒では作れなかったようなものが制作できた. また,４つ⽬が, 選択⽤⾳源の作成である. ⾳響班では, 「ベーアイディア出しや作業効率化といった⾯でも活⽤できたとス」「ドラム」「それ以外」とパート分けをし, それぞれ約15曲ほど作成した. これらは, あくまで今回のゲームのみ当の３つの担当に分かれて活動を⾏った. ゲームの基盤をでの使⽤となるため, テーマである「深海」「ホラー」と開発する担当は, ギミックや敵キャラクター, 主⼈公の制近しいイメージとなるような曲を作成した.

御, エリア, システム関連の開発を⾏った. マップデザイン

５つ⽬が, 選択⽤⾳源の選択, 合成を⾏うシステムの作成を開発する担当は,ゲームの基盤の開発をする担当が必要とである. 作成した選択⽤⾳源の⾳響特徴量を, ２つ⽬のシスするエリアの設計図を描く作業を⾏った. 強化学習をする

テムを活⽤して計測し, モデルの出⼒と⽐較し, ⼀致するも担当は, 強化学習を⾏うボスキャラクターの開発と強化学のを選択することで選択⽤⾳源の選択をするシステムを作習をする作業を⾏った.

成した. また, このシステムで選択された⾳源の⾳響特徴量

システム班は, 最終的に各班の成果物を1つに統合したゲを調整, ⾳源の合成を⾏うシステムを作成した. これらのシームを開発することができた. 各班の成果物は CSVファイステムを統合することで, 選択⽤⾳源の選択, 合成を⾏うシルの他, MP3ファイル, PNGファイルなど様々であった. こステムの完成とした.

れらをゲームに統合するために, 統合⽤のシステムを開発

⾳響班は, 感情データを⽤いて⾳響特徴量を予測する学する必要があり, そのシステムを開発することで各班の要習モデルを開発し, これにより場⾯に合った⾳源の選択が望を叶えられるような効率の良い統合を⾏うことができた.

可能となった. 感情データは Hevner の感情カテゴリーをゲームの基盤システムについても, システム班のメンバー基にした８次元ベクトルを採⽤し, 既存作品の BGM を参の要望を取り⼊れた要素の追加や調整を⾏うことができた.

考に評価した. このモデルを⽤いて, 物語班が作成したスト

⼀⽅で，敵キャラクターに対する強化学習については，学ーリーに応じて感情データを付与し, それに基づいて⾳響習が収束せず，複雑な⾏動をする敵キャラクターを開発す特徴量を予測した. 予測された⾳響特徴量を使って, 場⾯にることはできなかった．

適した⾳源を選択し,これらを組み合わせることで, 場⾯にマッチする BGM を⽣成することに成功した.

4. 今後の課題
今後は, 全体としても各グループとしてもいくつかの学

3.4 システム班
システム班では, ゲームエンジンとして Unity を⽤いてゲーム開発をすることが決定した. まず, Unity の使⽤⽅法

会に発表することを計画している. また, まだ未実装であるシステムの実装やゲームのバグを発⾒し, 除去することも予定している.

についての勉強から活動をスタートした. また, ２Dアドベンチャーゲームを開発するにあたって, このジャンルのゲ参考⽂献

ーム開発の知識が必要であったため, ２Dゲームの開発⽅法[1] 松原仁, 佐藤理史, ⾚⽯美奈, ⾓薫, 迎⼭和司, 中島秀之,について勉強をした. その後, ゲーム開発に実際に取り掛か瀬名秀明, 村井源, ⼤塚裕⼦. コンピュータに星新⼀のようった. ゲーム開発は, システム班内で前期は ２つの担当に,なショートショートを創作させる試み. ⼈⼯知能学会全国

後期では３つの担当に分かれて⾏った. 前期は, ゲームの基⼤会, 2D1-1(2013).

盤を開発する担当とマップデザインを開発する担当に分かれた. 後期はこれら２つの担当のほかに強化学習をする担