公立はこだて未来大学 2022 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2022 Systems Information Science PracticeGroup Report

プロジェクト名
クリエイティブ AI

Project Name
CreativeAI

グループ名
システム班
視覚班
音響班
物語班

Group Name
SystemVisualAudio
Scenario
プロジェクト番号/Project No.

5

プロジェクトリーダ/Project Leader
穂積佳

Kei Hozumi

グループリーダ/Group Leader
システム班

新屋拓海

視覚班 坂上翠
音響班

小林祐汰

物語班

坂本珠凜

SystemTakumi Shinya

VisualSui Sakagami

Audio

Yuta Kobayashi

Scenario

Jurin Sakamoto

グループメンバ/Group Member新屋拓海

Takumi Shinya

田中悠人

Yuto Tanaka

本前斗梧Togo Motomae

住吉聖也

Seiya Sumiyoshi

穂積佳

Kei Hozumi

坂上翠

Sui Sakagami

畑井梨里衣

Ririi Hatai

小林祐汰

Yuta Kobayashi

菊地陵雅

Ryouga Kikuchi

高橋昂大

Kota Takahashi

坂本珠凜

Jurin Sakamoto

幸崎駿祐

Shunsuke Kosaki

入舩真誠

Masato Irifune

西村秀幸

Hideyuki Nishimura

吉井史夏

Fumika Yoshii

指導教員
村井源 迎山和司 平田圭二

田柳恵美子 吉田博則

AdvisorHajime Murai Kazushi Mukaiyama Keiji Hirata Emiko Tayanagi Hironori Yoshida

提出日
2023 年 1 月 18 日

Date of Submission
January 18, 2023

-2-

概要
人工知能に創造性を持たせる研究が盛んに行われている．近年，気まぐれ人工知能プロジェク
ト「作家ですのよ」等といった，人工知能による創造的コンテンツの自動生成の研究が行われており，特に今年度は人工知能によってイラストを自動生成させる研究が大きく進歩した．また，現在ゲーム産業も大きく発展を遂げている．しかし，実際の現場では，ゲームを作る人材が不足しているのに対し，ゲーム制作における作業量は多くなっている．そこで，本プロジェク
トでは，ゲームコンテンツ制作を通して，人間と人工知能の協調作業の創造性を示すことを目的とした．ゲームに着目する意義はそこに含まれている多様な創造的要素を活かすことだ．まず，要素数の多さから，人材不足や作業量の多さが課題である．そこに人工知能による自動生成を加えることで，創造的要素の制作作業を代替することができる．次に，要素の種類の多さから，様々なアプローチから人工知能の可能性を検討することができる．この意義のもと，本プロジェクトでは，プロジェクトメンバーを 4 つの班に分け，活動を行った．1 つ目は視覚班
だ．ゲームのビジュアルや人工知能によるキャラクターデザイン制作を主に担当する．2 つ目は音響班だ．ゲーム内の音楽や人工知能を用いたゲームへの没入感を向上させる BGM を担当
する．3 つ目は物語班だ．ゲームの世界観の設定やシナリオの執筆，人工知能によるエンディ
ング・背景史の生成を担当する．4 つ目はシステム班だ．３つの班の成果物の統合とゲームの基礎システムの開発，マップギミックの自動生成を担当する．その結果，成果物として，各班が担当した自動生成システム及び 3D オープンワールドゲーム「Alice in the ideal world」を制作した．今後はプロジェクトの活動過程と成果物に関して評価を行い，成果物のブラッシュ
アップを図ることが望ましい．
キーワード

人工知能, プログラミング, 自動生成（※文責: 穂積佳）

-i-

Abstract
Research on artiﬁcial intelligence with creativity is ﬂourishing. In recent years, researchon automatic generation of creative contents by artiﬁcial intelligence, such as the whimsical artiﬁcial intelligence project ”It’s a Writer”, has been conducted, and especiallythis year, research on automatic generation of illustrations by artiﬁcial intelligence has
made great progress. In addition, the game industry is currently making great progress.
However, while there is a shortage of human resources to create games in the actual
ﬁeld, the amount of work involved in game production is increasing. Therefore, thisproject aims to demonstrate the creativity of cooperative work between humans andartiﬁcial intelligence through the creation of game contents. The signiﬁcance of focusing on games is to take advantage of the various creative elements contained in them.
First of all, the large number of elements makes the lack of human resources and theamount of work required a challenge. The addition of automatic generation by artiﬁcial
intelligence can replace the work of creating creative elements. Second, the variety ofelements allows us to examine the potential of artiﬁcial intelligence from various approaches. With this in mind, the project members were divided into four groups for thisproject: The ﬁrst group was the visual group. The second is the sound group, which isin charge of creating music and artiﬁcial intelligence for the game. The second group is
the sound group, which is in charge of the in-game music and background music thatenhances the immersive experience of the game using artiﬁcial intelligence. The fourthgroup is the System Group, which is responsible for integrating the three groups’ work,
developing the game’s basic system, and automatically generating map gimmicks. As
a result, each group has produced a 3D open world game ”Alice in the ideal world” aswell as an auto-generated system as their deliverables. In the future, it is desirable toevaluate the project’s activity process and deliverables, and to brush up the deliverables.
Keywordartiﬁcial intelligence, programing, automatically generation（※文責: 穂積佳）

- ii -

目次
第1章

初めに

1

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

プロジェクト概要

3

2.1

課題の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

到達目標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

班ごとの課題の割り当て . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3.1

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3.2

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.3.3

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.3.4

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

第2章

第3章

3.1

中間発表までの開発

6

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

マップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.1.1

3.1.2

3.1.3

3.1.4

3.1.1.1

マップ概要. . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.1.1.2

小屋 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.1.1.3

小屋設計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.1.1.4

小屋内装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.1.1.5

森 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93.1.1.6

城 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

キャラクター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.1.2.1

主人公の制御 . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.1.2.2

アイテム取得 . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.1.2.3

キャラクターの効果音 . . . . . . . . . . . . . . . . . . . . . . .

11

3.1.2.4

NPC の制御 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.1.2.5

小屋 NPC . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.1.2.6

カメラ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12ギミック . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

123.1.3.1

小屋 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.1.3.2

1 つ目のギミック . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.1.3.3

2 つ目ギミック . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.1.3.4

森・城 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.1.3.5

自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

シナリオ読み取りシステム . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.1.4.1

シナリオの読み取りシステムの概要- iii -

. . . . . . . . . . . . . . .

16

表示画面への実装 . . . . . . . . . . . . . . . . . . . . . . . . .

16

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.2.1

コンセプトアート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.2.2

自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.2.1

キャラクターイメージの共有 . . . . . . . . . . . . . . . . . . .

17

3.2.2.2

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.2.3

3D モデルの自動生成 . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.2.4

生成目標キャラクターのビジュアル. . . . . . . . . . . . . . .

18

3.2.2.5

生成アプローチ案 . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2.2.6

MonsterMesh . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.2.2.7

AvatarClip . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.2.2.8

Text2Mesh . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.2.2.9

キャラクターデザイン画の作成 . . . . . . . . . . . . . . . . . .

20

3.2.2.10 顔 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.2.2.11 実写画像の自動生成 . . . . . . . . . . . . . . . . . . . . . . . .

21

3.2.2.12 スタイル変換 . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.2.2.13 服 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

素材作り . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

3.2.3.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

3.2.3.2

3D オブジェクト . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.2.3.3

デザインの詳細 . . . . . . . . . . . . . . . . . . . . . . . . . .

25

3.2.3.4

立ち絵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

UI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

3.1.4.2
3.2

3.2.3

3.2.4
3.3

3.3.1

目標

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

3.3.2

先行研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

3.3.3

方針

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

3.3.4

データベース構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

3.3.5

曲決定システム. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.3.6

類似曲検索システム . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.3.6.1

手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.3.6.2

ニューラルネットワーク構築 . . . . . . . . . . . . . . . . . . .

30

3.3.6.3

曲のベクトル化 . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3.3.6.4

類似曲の検索 . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

シーンに合った曲の選択システム . . . . . . . . . . . . . . . . . . . . . .

31

3.3.7.1

手法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

3.3.7.2

文章からの曲決定 . . . . . . . . . . . . . . . . . . . . . . . . .

32

3.3.7.3

フィールドからの曲決定 . . . . . . . . . . . . . . . . . . . . .

32

3.3.8

曲繋ぎ場所検索システム . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

3.3.9

曲繋ぎシステム. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

世界観設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

3.3.7

3.4

3.4.1

- iv -

3.4.2

3.4.3

3.4.4

第4章

3.4.1.1

世界観決定までの経緯 . . . . . . . . . . . . . . . . . . . . . . .

33

3.4.1.2

世界観設定. . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

3.4.1.3

場所設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

3.4.1.4

キャラクター設定 . . . . . . . . . . . . . . . . . . . . . . . . .

35

シナリオ執筆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

3.4.2.1

シナリオについて . . . . . . . . . . . . . . . . . . . . . . . . .

37

3.4.2.2

あらすじ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

3.4.2.3

シナリオの流れ . . . . . . . . . . . . . . . . . . . . . . . . . .

37

背景史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.4.3.1

目標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.4.3.2

分析の目的. . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.4.3.3

作品選定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

3.4.3.4

分析準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

マルチエンディング . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

3.4.4.1

目標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

3.4.4.2

分析の目的. . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3.4.4.3

作品選定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3.4.4.4

分析準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

3.4.4.5

分析方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

中間発表

45

4.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

4.2

成果物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

4.2.1

ポスター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45

4.2.2

発表用スライド. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

4.2.3

動画

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

前期の反省と後期の方針

50

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.1.1

前期反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.1.2

後期方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.2.1

前期反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

5.2.2

後期方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

5.3.1

前期反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

5.3.2

後期方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

5.4.1

前期反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

5.4.2

後期方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

全体 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

前期反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

4.3
第5章

5.1

5.2

5.3

5.4

5.5

5.5.1

-v-

5.5.2
第6章

6.1

後期方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54

成果発表までの開発

55

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

マップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

6.1.1.1

森 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

6.1.1.2

城 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

6.1.1.3

城設計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

6.1.1.4

城マップのシーン遷移 . . . . . . . . . . . . . . . . . . . . . . .

57

キャラクター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

6.1.2.1

３ D モデルの差し替え・取り込み . . . . . . . . . . . . . . . .

58

6.1.2.2

瞬き機能の追加 . . . . . . . . . . . . . . . . . . . . . . . . . .

58

6.1.2.3

主人公制御スクリプトの改良 . . . . . . . . . . . . . . . . . . .

58

6.1.2.4

NPC の制御 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

6.1.2.5

小屋 NPC . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

6.1.2.6

城 NPC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

6.1.2.7

今後の展望. . . . . . . . . . . . . . . . . . . . . . . . . . . .

60ギミック . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

6.1.3.1

城 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

6.1.3.2

エリア作成. . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

6.1.3.3

自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

6.1.3.4

ギミック自動生成の背景 . . . . . . . . . . . . . . . . . . . . .

61

6.1.3.5

ギミックの分類 . . . . . . . . . . . . . . . . . . . . . . . . . .

62

6.1.3.6

ギミックの種類決定 . . . . . . . . . . . . . . . . . . . . . . . .

62

6.1.3.7

ギミックデータの収集 . . . . . . . . . . . . . . . . . . . . . . .

62

6.1.3.8

ギミックデータの分析 . . . . . . . . . . . . . . . . . . . . . . .

62

6.1.3.9

Unity での実装 . . . . . . . . . . . . . . . . . . . . . . . . . .

63

6.1.3.10 今後について . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

シナリオ読み取りシステム . . . . . . . . . . . . . . . . . . . . . . . . . .

63

6.1.1

6.1.2

6.1.3

6.1.4

6.1.5

6.1.6

6.1.4.1

シナリオの読み取りシステムの概要. . . . . . . . . . . . . . .

63

6.1.4.2

シナリオの読み取りシステムのデータ加工 . . . . . . . . . . . .

63

6.1.4.3

表示画面への実装 . . . . . . . . . . . . . . . . . . . . . . . . .

64

6.1.4.4

メニューの構成と基本機能 . . . . . . . . . . . . . . . . . . . .

64

6.1.4.5

表情差分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

6.1.4.6

オープニング . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

6.1.4.7

エンディング . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

6.1.4.8

立ち絵制御. . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

BGM 切り替えシステム . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

6.1.5.1

BGM 切り替えシステムの引継ぎ . . . . . . . . . . . . . . . . .

68

6.1.5.2

ゲーム内への実装 . . . . . . . . . . . . . . . . . . . . . . . . .

68

ゲームの統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

各種素材 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

6.1.6.1- vi -

城エリアの統合 . . . . . . . . . . . . . . . . . . . . . . . . . .

70

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

2D 自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

6.2.1.1

2D 自動生成概要 . . . . . . . . . . . . . . . . . . . . . . . . .

71

6.2.1.2

キャラクターデザイン案の画像自動生成概要 . . . . . . . . . . .

71

6.2.1.3

使用技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

6.2.1.4

ワークフロー . . . . . . . . . . . . . . . . . . . . . . . . . . .

72

6.2.1.5

シナリオを読む、情報抽出 . . . . . . . . . . . . . . . . . . . .

72

6.2.1.6

デザイン案を出力 . . . . . . . . . . . . . . . . . . . . . . . . .

73

6.2.1.7

デザイン案を選定 . . . . . . . . . . . . . . . . . . . . . . . . .

89

6.2.1.8

デザイン完成 . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

3D 自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92

6.2.2.1

3 次元モデル自動生成概要 . . . . . . . . . . . . . . . . . . . .

92

6.2.2.2

使用技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92

6.2.2.3

各パーツの生成 . . . . . . . . . . . . . . . . . . . . . . . . . .

93

6.2.2.4

パーツを組み合わせる (CLIP 利用). . . . . . . . . . . . . . .

93

6.2.2.5

リグ付け . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

アセット制作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

94

6.2.3.1

キャラクター立ち絵 . . . . . . . . . . . . . . . . . . . . . . . .

94

6.2.3.2

キャラクター 3D モデル

6.2.3.3

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

6.2.3.4

キャラアイテムの絵 . . . . . . . . . . . . . . . . . . . . . . . . 105

6.2.3.5

タイトルロゴ . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

6.2.3.6

エンディングイラスト . . . . . . . . . . . . . . . . . . . . . . . 112

6.2.3.7

3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

6.2.3.8

UV 展開 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

6.1.6.2
6.2

6.2.1

6.2.2

6.2.3

6.3

6.4

. . . . . . . . . . . . . . . . . . . . . 100

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

6.3.1

データベース構築 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

6.3.2

ループ素材生成

6.3.3

音源素材集め . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

6.3.4

前期システム改良 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

6.3.4.1

入出力データ調整 . . . . . . . . . . . . . . . . . . . . . . . . . 118

6.3.4.2

曲遷移場所検索の改良 . . . . . . . . . . . . . . . . . . . . . . . 119

6.3.4.3

曲繋ぎ方法の改良 . . . . . . . . . . . . . . . . . . . . . . . . . 119

6.3.5

オーディオビジュアライザーの作成 . . . . . . . . . . . . . . . . . . . . . 119

6.3.6

システム統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

6.4.1

6.4.2

メインシナリオ作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

6.4.1.1

前期からの変更・追加点 . . . . . . . . . . . . . . . . . . . . . 122

6.4.1.2

メインシナリオ執筆 . . . . . . . . . . . . . . . . . . . . . . . . 124

6.4.1.3

自動生成したシナリオを組み込むにあたっての調整 . . . . . . . 125

背景史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125- vii -

6.4.3

第7章

6.4.2.1

データ収集

6.4.2.2

カテゴライズ . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

6.4.2.3

分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

6.4.2.4

自動生成アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . 129

6.4.2.5

ファインチューニング . . . . . . . . . . . . . . . . . . . . . . . 130

6.4.2.6

両出力結果の比較 . . . . . . . . . . . . . . . . . . . . . . . . . 131

6.4.2.7

文章選定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

6.4.2.8

文章整形 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132. . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

マルチエンディング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

6.4.3.1

分析準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

6.4.3.2

相関係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

6.4.3.3

分析方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

6.4.3.4

分析結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

6.4.3.5

アルゴリズム作成 . . . . . . . . . . . . . . . . . . . . . . . . . 138

6.4.3.6

文章の自動生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 138

6.4.3.7

入力用プロンプト作成 . . . . . . . . . . . . . . . . . . . . . . . 139

6.4.3.8出力と選定，文章整形 . . . . . . . . . . . . . . . . . . . . . . . 141

成果発表

142

7.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

7.2

制作物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

7.2.1

ポスター . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

7.3

評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

7.4

課題と検討 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

第8章

7.4.1

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

7.4.2

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

7.4.3

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

7.4.4

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

まとめ

149

8.1

プロジェクト全体の成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

8.2

各グループの成果

8.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

8.2.1

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

8.2.2

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.2.3

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.2.4

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

今後の展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

8.3.1

全体

8.3.2

システム班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

8.3.3

視覚班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

8.3.4

音響班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

8.3.5

物語班 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152- viii -

参考文献

156

- ix -

CreativeAI

第 1 章 初めに
1.1

背景

近年，人工知能を用いた，文章や画像などの自動生成技術が大きな注目を集めている．文章では2021 年に公開された AI のべりすとや 2022 年の ChatGPT など，画像では Midjourney や Stable
Diﬀusion などの簡単に高クオリティなアウトプットを行えるツールの登場により，研究者だけではなくアーティストや一般の人々にまで生成系 AI が注目をされている．
一方，日本の代表的なエンターテイメント産業にゲーム事業がある．ゲームはシナリオ，ビジュ
アル，サウンド，システムなど様々な創作的なプロセスを経て 1 つの作品が出来上がる．
本学の前年度から続いている本プロジェクトでは，バトル作品やホラー作品がベースのゲームシ
ナリオの生成，RPG 内のイベント順を自動的につなぎ合わせるシステム，ダンジョンの自動生成，

BGM の自動選択システムの考案など，いくつかの創作的プロセスを伴うゲーム開発を人工知能の技術をもとに自動化をめざし進めてきた．
（※文責: 穂積佳）

1.2

目的

本プロジェクトの目的は，ゲームを構成するいくつかの要素を人工知能を用いた自動生成技術で実際に制作し，そのプロセスと成果物から，人工知能を用いた創造的な作業の代行を検討，評価を行うことである．今年度はアドベンチャーゲーム×オープンワールドゲームの制作を目標に人工知能システムとゲームの開発を進めていく．アドベンチャーゲームはテキストやグラフィックスによりプレイヤーの置かれている状況が提示され，プレイヤーが思考，選択を行いシナリオを進めていくゲームジャンルである．他のコンピュータゲームジャンルと比較してアドベンチャーゲームはシナリオが明確に存在しその内容をプレイヤーが体験することに趣を置いていることで区別される．
同じくプレイヤーの思考によりシナリオを進行させていくロールプレイングゲームやシュミレー
ションゲームに比べアドベンチャーゲームはプレイヤーが操作するキャラクターやゲーム内のキャラクターやオブジェクトなどに能力値（経験値，攻撃力，好感度）などの数値が非常に少ない，存在しないという特徴がある．オープンワールドゲームはゲーム内世界を構成する仮想空間が移動制
限が少なかったり，プレイヤーに操作的行動の自由やシナリオ的行動の自由を体験させるゲーム
ジャンルである．今回目標としているアドベンチャーゲームは不思議の国のアリスをテーマとした世界を舞台にプレイヤーがゲーム内の様々なギミックをこなしていきゲームクリアを目指すものである．
（※文責: 穂積佳）

1.3

課題

目標を達成するために解決するべき課題は以下の通りである．

Group Report of 2022 SISP

-1-Group Number 5

CreativeAI・制作するゲームの規模の決定・制作するゲーム内容の大枠な決定・制作するゲームを構成する要素の抽出
・自動生成させるゲーム内要素の決定
・分析対象とするゲーム作品の大枠の決定・自動生成する際の分析方法の決定
・要素を自動生成させる方法の選択
・自動生成の実装
・ゲームシナリオの制作
・キャラクターやワールドに設置するオブジェクトの制作
・BGM，SE の選択，制作
・ゲームギミックの実装
・ゲーム内要素の統合
本プロジェクトでは，制作するゲームの規模の決定，制作するゲーム内容の大枠の決定，制作するゲームを構成する要素の抽出，自動生成させるゲーム内要素の決定，分析対象とするゲーム作品の大枠の決定，自動生成する際の分析方法の決定，要素を自動生成させる方法の選択，自動生成の実装，ゲームシナリオの制作，キャラクターやワールドに設置するオブジェクトの制作，BGM や

SE の選択や制作，ゲームギミックの実装，ゲーム内要素の統合，を課題とした．
（※文責: 穂積佳）

Group Report of 2022 SISP

-2-Group Number 5

CreativeAI

第 2 章 プロジェクト概要
2.1

課題の設定

本プロジェクトは，ゲームコンテンツを成果とした，人工知能を用いた創造性の再現を行うことが目的である．初めにどのジャンルのゲームを作るかを話し合った．その結果，謎やギミックを解いていく 3D オープンワールドゲームを制作することとなった．そして，ゲームのジャンルに沿いかつ人工知能を用いて創造性の再現を行うため「マップギミックの自動生成」，「3d モデルの自動生成」，「キャラクターデザインの自動生成」，「マルチエンディングの自動生成」，「現実逃避しているキャラクターの背景史の自動生成」，「曲繋ぎの自動化」の実現を課題に設定した．今年度は課題の設定について新規性を重視し設定した．
（※文責: 入舩真誠）

2.2

到達目標

本プロジェクトでは，ゲーム要素ごとに 4 班に分かれ各班で新規性の高い自動生成システムの完成と，完成した自動生成システムが組み込まれたオリジナルゲームの完成を目標としている．シス
テム班は，マップギミックの自動生成システムとゲームシステムの開発，他班の制作したゲームの要素を 1 つにまとめ，より快適にゲームをプレイさせること，視覚班は 3d モデルの自動生成シス
テムとキャラクターデザインの自動生成システムの完成とキャラクターやゲームに必要な小物類のCG アセットの制作，音響班は曲繋ぎの自動化の実現と音響アセットの制作・監督，物語班はマルチエンディングの自動生成システムと現実逃避しているキャラクターの背景史の自動生成システムの完成とメインシナリオの執筆を目標としている．
（※文責: 入舩真誠）

2.3

班ごとの課題の割り当て

2.3.1

システム班

システム班では他班が作ったものを統合し,1 つのゲームとして完成させることを目標としている. 大きく分けてマップの作成、マップギミック、キャラクターの操作、UI の作成を班内で分けて作業を行っている。その中でも今年度のシステム班は「マップギミックを自動生成」を目標としている。システム班の中で重要であることは他班とのイメージの共有とその実装である。そのために話し合いを工夫しながら行った。
（※文責: 本前斗梧）Group Report of 2022 SISP

-3-Group Number 5

CreativeAI

2.3.2

視覚班

視覚班は，主にゲームのビジュアル要素のデザイン，制作を担当している．ゲーム制作においてビジュアル要素が必要な理由は 2 つある．まず，ビジュアル要素はゲームを楽しむために必要不可
欠だからだ．人間が受け取る情報のうち 8 割は視覚からの情報だ．これはゲームにおいても例外ではなく，ビジュアル要素はストーリーやキャラクターの魅力を伝えると共に，没入感のあるゲーム体験を提供する．次に，ビジュアル要素はゲーム制作の進行を助けるからだ．ゲームを制作するにあたり，チーム内で世界観などのイメージの共有は必須だ．そこで，一目でわかる画像を用いたイ
メージの共有を試みた．活動内容は以下の通りだ．まず，ゲーム内の CG アセットの制作だ．キャ
ラクターの立ち絵と 3D モデルや小物の 3D モデル，UI テンプレートの制作を行った．次にゲームの世界観のイメージ共有のためのコンセプトアートの制作を行った．複数枚制作し，プロトタイプ
制作の際のイメージ共有に使った．最後に，最も重要であるキャラクターの見た目の自動生成だ．
この活動においてはゲームに登場するキャラクターのビジュアルを自動生成を用いて制作することを目標としている．AI ツールを使用し，それに伴う創意工夫を行う．そして，AI を用いて生成したキャラクターデザインをゲーム内に実装できる形に持っていく．この目標の有意性は，キャラク
ターデザインの時のアイディア出しを簡易化することと，AI にしか作り出せないようなキャラク
ターデザインの生成をすることである．
（※文責: 坂上翠）

2.3.3

音響班

音響班は、ゲームシーンへの没入感を向上させる BGM 作成を目標として、具体的には、シーンや場面ごとに切り替わる BG Ｍをより滑らかに、シームレスにつなぐことを検討している。すでにある技術として、インタラクティブミュージックと呼ばれるものがあるが、実装するにあたって専用の曲を用意し、タイミングを制御して切り替える必要がある。そこで作業効率化やインタラク
ティブミュージック実装のハードルを低くするために、専用の曲でなくともより滑らかに変化する

AI を用いたインタラクティブミュージックの実装を目指す。
（※文責: 菊地陵雅）

2.3.4

物語班

物語班はゲームの世界観の設定や物語の執筆を担当している．今年度は「不思議の国のアリス」
をゲームの世界観として，これをベースに各班でゲーム制作を進める．シナリオは現実世界に辟易した人間が迷い込む「不思議の国」に主人公アリスが迷い込み．同じ境遇であるこの国の住人達と出会うというものだ．また，今年度の物語班の目標は「現実逃避しているキャラクターの背景史の自動生成」と「マルチエンディングの自動生成」としている．物語班内ではそれぞれの自動生成ア
ルゴリズムの構築のために，メンバーを背景史担当とエンディング担当に分けて活動を行う．なお，本プロジェクト内での背景史とは「ゲームシナリオ中では語られないキャラクターのバックス
トーリー」と定義することにした．キャラクターの背景史は複雑で多岐にわたるため，今年度は世界観と合うように「現実逃避しているキャラクター」に限定して，背景史の自動生成アルゴリズム

Group Report of 2022 SISP

-4-Group Number 5

CreativeAIの構築を目指す．
（※文責: 坂本珠凜）

Group Report of 2022 SISP

-5-Group Number 5

CreativeAI

第3章

中間発表までの開発

3.1

システム班

3.1.1

マップ

3.1.1.1

マップ概要

マップは，小屋，森，城の全 3 面構成となっており，オープンワールドとして作成予定である．
世界観は，登場キャラクターの現実からの逃げ場となるためポップな世界観であり，それに加えてポップながらも不気味さを感じさせるものとした．また，面同士の行き来を可能にすることで，ステージが徐々に広がり開拓していくようなイメージのマップ構成とした．マップは小屋から始まり，様々なギミックやキャラクターと出合いながら森，城へ進んでいく．小屋，森，城の 3 面構成になった理由としては，他班の成果物の統合やギミックの自動生成システムの開発など，システ
ム班が行う作業と並行して作成できるマップの最低ラインが 3 つであると判断したためだ．今後，余裕があれば森をお茶会・迷路に分割する予定である．また，ステージ構成とした経緯として，シ
ステム班内の話し合いでは，オープンワールドとして一つの面に小屋，森，城を実装する計画だった．しかし，シナリオ班との話し合いにより，あまりに自由に探索できてしまうとストーリーが複雑になることや，物語の流れがシステム面で見ても難しくなるという問題点が挙げられた．よって，「ある面をクリアすると別の面に行ける」といった，複数の面で構成することに決定した．
前期中間発表の段階では，プロトタイプを作成した．プロトタイプでは小屋ステージをメインに据え，物語のスタートから小屋を抜け森に出るところまでを作成した．小屋ステージ以降のステー
ジである森や城は，後期に作成予定である．また，マップにはギミックを組み込むため，ギミックと相性の良くなるようなマップ構成や建物造りとした．
（※文責: 住吉聖也）

3.1.1.2

小屋

小屋の設計には，ゲームエンジンの Unity の公式アドオンである ProBuilder を利用した．

ProBuilder は，Unity 内でモデリングができるアドオンであり，小物などのオブジェクトから建物などの大きなオブジェクトまで作成することができる．ProBuilder で作成したオブジェクトは自動的にメッシュが付くため，キャラクターなどの当たり判定のあるオブジェクトと干渉することができる．

ProBuilder の仕様として，オブジェクトの面は，片側のみ表示されるようになっている．例えば，四角形の面の板をオブジェクトとして追加するとした時，片側から見れば面があり，それには当たり判定もあるが，その面を裏側から見た時は，面は存在せずに当たり判定も無い仕様である．
作業していくにあたり，もう一つの仕様の様なものが見つかった.「様なもの」という表現をしている理由は，ある条件が満たされると発生するためである．ある条件とは，まず，ProBuilder で作成した２つ以上のオブジェクトのメッシュが重なっている時．次に，その重なっているオブジェクトの面が鋭角を成すように重なっている時である．例として，長方形のオブジェクトを十字にクロスするように重ね，それらが重なることで出来た角などである．これらの条件の時，角になった部分

Group Report of 2022 SISP

-6-Group Number 5

CreativeAIの「辺」に不具合が起こる．起こり易い例は，部屋の四隅の壁である．この四隅の壁の「辺」に，ある一定以上のスピードでキャラクターが辺に向かって進もうとすると，オブジェクトの当たり判定が消え，キャラクターがオブジェクトをすり抜けてしまう．これはオブジェクトの大きさの変更
やメッシュの厚みを変更してもその不具合は改善されなかった．また，アセットに付いているメッ
シュでも起こる．例えば，本棚を壁際に配置すると，壁のメッシュと本棚のメッシュが重なる．そして，キャラクターが壁と本棚の境目を通ろうとすると壁抜けが発生してしまう．
小屋を作成するにあたって、部屋の四隅，家具と壁の境目，廊下と部屋の繋ぎ目，ドア枠などで壁抜けが起きてしまうバグが多数発生した．このバグを修正するために壁に厚みを持たせたり，家具と壁の間を少し広めに取ったりすることを試したが，部屋としてのクオリティが低くなってしまうため，班内で改善案について話し合う機会を設けた．このバグの修正作業をしているうちに，重なったメッシュの角度が緩やかであればバグが発生しないことが判明した．例えば，三角形の部屋があるとしてその隅の角は，すり抜けるバグが起こるが，五角形や六角形になるとバグが起こりにくい．この特性を活かし最も安全かつ作業量の少ない改善案として，空のオブジェクトにメッシュを付けて配置し，すり抜けるバグが起こる部分に対して，からオブジェクトのメッシュ面が斜めになるように設置することにした．空のオブジェクトは見えない透明のオブジェクトである．この方法は，重なることで角になった部分の角数を増やすということであり，直角だった角を緩やかな角度にすることで，壁抜けバグを防ぐ様に改善した．

図 3.1 2 つ目の部屋

図 3.2

空オブジェクトの配置（※文責: 住吉聖也）

3.1.1.3

小屋設計

小屋は２つの部屋があり，それらが廊下で一列につながっている．1 つ目の部屋は，プレイヤーが操作し始める部屋であり，縦穴の底のような形状となっている．そして，この部屋は，筒状のオ
ブジェクトを広げて壁になるように配置した．天井が見えないくらい長く続いている縦穴のように見せるため，壁をある程度の高さまで伸ばし，少しずつ内径を狭くしていくことで永遠に続く縦穴をデザインした．筒状にしたオブジェクトは多角形であり，角数が多いほど処理が重くなってしまう．処理が重くならずに円形に見せるため角数を調節して２０角形とした．また，ProBuilder の仕様として，厚みのあるオブジェクトは中がくり抜かれているため，面だけで構成されたオブジェ
クトとなる．これにより，一部をくり抜いてオブジェクトに穴を開けたり，一部を切り取ってオブジェクトを小さくしたりすることが難しい．そのためドア用の穴を開ける際に，任意のサイズに切り抜けないという問題点が生まれた．これを解決するために，ProBuilder の Cut Tool 機能を利用

Group Report of 2022 SISP

-7-Group Number 5

CreativeAI
して，2 枚で構成された壁の面をそれぞれ作りたいドア穴の大きさに，手動でできるだけ正確に切り抜くことにした．この時，壁の中が空になっているため，2 枚の面でできた壁の間は，内側が見える様になってしまう．そこに Bridge Edges の機能を使って新たに面を加えることで，壁としての厚みを再現する様にした．ProBuilder では，オブジェクトをつなげて家を設計することや，形を変えずにシンプルな作りの建築であれば簡単に制作することができるが，１つ目の部屋で発生した問題点を踏まえ，複雑な形や細かい造形を ProBuilder で再現することは難しいと考えた．よって建物をモデリングするために Blender という 3D モデリングソフトの利用を検討している．
２つ目の部屋は，長方形で作成し，シンプルなものとした．四角いオブジェクトを壁や床として複数配置するのではなく，１つの四角いオブジェクトを Flip Normals という機能を使い，面の表
裏を反転させた．通常は，四角形の内側から外側を見た時，面はないが．Flip Normals の機能を使えば内側に面が出来る．そうすることで，四角形の内側から見た時に内壁がある様に設計した．
これは，オブジェクトとして当たり判定もあるため，部屋として利用することができる．しかし，四角形の外から反転されたオブジェクトを見た時，面がないため内装が剥き出しになってしまうという欠点がある．小屋として必要なのは，小屋内だけであるので，プロトタイプではこの造りとした．
３つ目の部屋は，森へ出るための出口があり，ドアを利用したギミックを実装するために六角形の部屋とした．１つ目の部屋と同様に，多角形の筒状のオブジェクトを利用し，六角形の壁を配置した．また３つ目の部屋はギミックがメインのため部屋の作りはシンプルなものとした．
それぞれの部屋を繋ぐ廊下もシンプルな長方形として配置し，１つ目から２つ目までの廊下はクランク状にして単調さを回避する様にした．また，廊下の長さは実際にキャラを操作して退屈にならない程度の長さにし，ドアの大きさやドア穴の大きさに合うよう調節した．
（※文責: 住吉聖也）

3.1.1.4

小屋内装

内装には Unity のアセットを利用し，既存の 3D オブジェクトやマテリアルなどをインストー
ルしインテリアとして配置した．不思議の国の世界観は，古い家具や木の家具，西洋風の煌びやかな家具などのイメージがあり，それらに沿ったアセットを Unity Asset Store で調べ，インストー
ルした．家具などを自分達で作成せずにアセットを利用した理由として，アセットはマテリアル
やメッシュなどが元々ついている物が多く，作業時間の短縮やクオリティの向上が見込めるため，

Unity のアセットを利用した．
１つ目の部屋のデザインコンセプトとしては，不思議の国であることがはっきり分かる様にした．そのために，壁紙を赤色に床を赤黒のチェックにすることで統一感を出した．また，インテリ
アも系統や大きさを変更して散らばるように配置し，主人公と一緒に部屋に落ちてきたようにした．この部屋にはギミックはなく，イベントが発生するという設定のため，インテリアを複雑にはせず，まず世界観を認識してもらうような作りとした．使用した家具は机や棚，イスなどの小屋内に存在しそうな木製の家具に絞って配置した．照明は，ライトであると世界観と合わずに不自然になってしまうため，蝋燭やランプなどの古いものを配置し，そこに光源があるように Unity のLight を重ねて配置した．この時，炎の色合いを出すために Light の色合いを温かみのある色合いにし，光量も抑えた．
２つ目の部屋のデザインコンセプトは，生活感のある部屋をイメージした．この部屋に用いたアセットは，暖炉やソファー，本棚，開かれた本，ドレッサーなどを配置した．ここに置かれた家具

Group Report of 2022 SISP

-8-Group Number 5

CreativeAIは，西洋風の豪華な家具にすることで普通とは離れた夢の国らしさを演出した．また，開かれた本やその周りに蝋燭を配置することで，最近まで誰かがいたような雰囲気を感じられる様にした．さらに，２つ目の部屋はギミックを実装するため，ギミック担当と話し合い，ギミックとして活用できそうな暖炉を配置することにした．壁紙や床は１つ目の部屋とは大きく変えて，青や黄色を使用した．そうすることで，本ゲームの世界観に沿ったポップな夢の国となるようにした．
３つ目の部屋のデザインコンセプトは，ギミックを重要視し，出来るだけシンプルなものとした．
この部屋は六角形の部屋であり，それぞれの壁の面には１つずつドアがついている．ドアの色は多色でポップさを演出した．３つ目の部屋に入るためのドアは通常のドアと一緒だが，その他の５つのドアにはドア用の穴はなく，開けても壁になっている．しかし，壁に当たるように進むとギミックが作動し，森へ遷移する．そのため５つのドアの壁穴は作らずに作業を減らすことにした．この部屋では，主人公が大きくなったり小さくなったりするギミックのために机が一つ配置され，それ以外は家具を置かない様にした．また，シンプルではあるが何も配置しない部屋では違和感があるため，天井に大きなシャンデリアを配置した．シャンデリアと言っても木製で，ライト部分は蝋燭が配置されている．これを配置することで部屋としての必要最低限なシンプルさを作り上げた．
（※文責: 住吉聖也）

3.1.1.5

森

小屋の次の面として，森を制作予定である．森ではお茶会などのイベントや，迷路などのギミックを実装予定である．また，屋外のためある程度の広さが必要である．プロトタイプでは，Unityの Terrain というアセットを用いて仮の森を作成した．Terrain とは地形を作成することができる
アセットである．1 枚の大きな地面を生成し，その地面の起伏を変化させ，木のアセットやマテリ
アルを貼ることで森を作り出すことができる．地面の形状を複雑にすると Unity の処理がかなり重くなり，キャラクターを操作すると Unity が落ちてしまう．また，木や岩などのアセットを大量に配置しても同様に処理が重くなる．そのため，森のマップを作る上で，地面の形状や設置するオブジェクトの量などを考えて作成する必要がある．プロトタイプでは，森のマップに遷移した時に，森であることがプレイヤーに伝わることが重要であり，森に遷移した時点でプロトタイプは終了する予定であったため，より現実の森に近づけるように地面の起伏を激しく設定し，地面から生える草や木を多く配置した．そうすることで，少ない時間でも森であることが認識できるようにした．今後の予定では，ギミックやイベントなどのオブジェクトなどが森に配置される予定であるため，マップ自体の処理をなるべく軽くするようにしていく必要がある．
（※文責: 住吉聖也）

3.1.1.6

城

城では，主人公が裁判にかけられる裁判場や，探索可能で複雑な作りの城内を実装予定である．
また，建物のモデリングには Blender を使用することを検討している．
（※文責: 住吉聖也）

Group Report of 2022 SISP

-9-Group Number 5

CreativeAI

3.1.2

キャラクター

3.1.2.1

主人公の制御ここでは，主人公の３ D キャラクターモデルの制御に関して解説を行う．今年度は，視覚班が３ D キャラクター制作ソフトウェア「VRoid Studio」で作成した主人公アリスの３ D モデルを頂き，それをゲーム開発エンジンである Unity の「Animator」の機能と，Unity の拡張ライブラリである「UniVRM」を利用し Unity 上で動かしている． ここで， Animator は，ゲーム内の３ D モ
デルにアニメーションを追加するために使用されるコンポーネント，また，UniVRM は， VRoidStudio で作成した 3D モデルを Unity 上に取り込み，動かすために必要となるものである．キャ
ラクターの身体的な動作は，Unity Asset Store で無料で配布されている 3D キャラクターのモーションアセットを用いて，待機状態，歩く，走る，ジャンプの４つで構成されている．モーション
や動作は， 当初， 待機状態と歩く状態の２つの行動パターンしかなかったが，3D オープンワール
ドゲームならもう少し動作やモーションのパターンがあったら面白いのではないかというメンバーの意見をもとに，新しく走る動作とジャンプの動作を追加した．

4 つのモーションの遷移方法については，Unity の Animator の機能を使用している．４つの動作ごとに boolean 型のパラメータを設定し，キャラクターの状態に合わせてパラメータを true や

false に変更するスクリプトを作成し，主人公のモデルにアタッチすることにより，適切なモーショ
ンを行うよう設定を行った．
キャラクターの移動，方向転換に関しては 2021 年度のキャラクター制御スクリプトの基盤を使用している．移動方向は, キーボードの入力のベクトルとカメラの向きのベクトルを合成して移動方向を決定して移動を行うように作成した．移動に関しては，プレイヤーの xyz 座標を示すコン
ポーネントの transform 内の position の値を変更することで実装した．
また，キャラクターのシステム的な制御に関しては，列挙型の変数 Status の中の列挙定数「Stop，Move，Run，Jump，Event，Pause」の 6 つを使用している．これらは，プレイヤーの状態を表しており，モーションの遷移や会話イベントが発生した際に，状態を切り替えることで，イベント
中のプレイヤーの操作など，ゲーム内状態の矛盾の解消と，プレイヤーの動きの管理を行うことができる．
中間発表地点では，主に 2021 年度の成果物から上で説明した， 主人公の制御に関連するシステ
ムの引き継ぎと, モーションの追加など今年度の成果物に合わせた新機能の作成の 2 つを行った。
前者は主人公の移動やモーション遷移, システム的制御など, うまく引き継ぎができたが，後者は，
ジャンプ動作や走る動作の不具合など, 改良が必要な点があるため，今後，新たに追加したシステ
ムをメインに，主人公制御システムの改良を行っていく．
（※文責: 新屋拓海）

3.1.2.2

アイテム取得

ここでは，アイテムの取得システムに関して解説を行う．アイテムは小屋や森，城に落ちており，プレイヤーの操作により取得できる．取得システムの仕組みとしては，あるオブジェクトとの接触があった際に動く，Unity の関数の，OnColisionEnter を利用して，アイテムの近くにプレイ
ヤーがいるかを判定し，存在している場合，アイテムの名前に応じてアイテム名を表示する．その後，キー操作によりアイテムにアタッチされている ItemGet スクリプトが動作しすることで，アGroup Report of 2022 SISP

- 10 -

Group Number 5

CreativeAI
イテムを取得し，そのアイテムをプレイヤーから見えないようにして，プレイヤーの持つ List 型の変数， ItemList にアイテムの名前を追加するという仕組みである．
中間発表時点では，ItemGet スクリプトおよびアイテム習得に関係するシステムが，小屋ステー
ジに登場する，鍵２つとサイズ変更のアイテム２つの計４つにしか対応していないため，今後制作する森や城のステージに登場するアイテムにも対応できるよう，スクリプトとシステムの改良を行っていく．
（※文責: 新屋拓海）

3.1.2.3

キャラクターの効果音

ここでは，キャラクターの効果音について解説を行う．中間発表地点では，キャラクターの歩
く・走る動作に応じて鳴る，足音の効果音を実装した．足音については，音響班から頂いた，足音の高さと足音がなる速度の異なる 2 種類の効果音を使用している．この 2 つの効果音を Unity 上に組み込み，Unity の機能の１つである，「AudioSource」の Play 関数と Stop 関数を使い，主人
公のモーションに合わせて足音の効果音を再生・停止することで効果音の制御を行っている．
現時点では効果音は足音のみとなっているため，今後は必要に応じて効果音を追加する作業を行っていく．
（※文責: 新屋拓海）

3.1.2.4

NPC の制御

制作中のゲームでは，小屋・森・城の３つのステージがあり，それぞれのステージに NPC が配置されている．以下では，各ステージに登場する NPC の３ D キャラクターモデルの制御に関して説明する．
（※文責: 新屋拓海）

3.1.2.5

小屋 NPC

小屋ステージでは，NPC として，白兎の３ D モデルが登場する．この３ D モデルは，主人公のアリスの３ D モデルと同様に，視覚班が VRoid Studio で作成したモデルを Unity の Animator
機能と拡張ライブラリの UniVRM を利用して動かしている．このモデルには大きく２つの機能がある．

1 つ目は会話イベント機能である，NPC にはシナリオ読み取りシステムを利用した LoadTextという会話イベントスクリプトが組み込まれており，衝突を検知する OnCollisionEnter 関数を利用し，プレイヤーが白兎に近づき，キー操作を行うことで， LoadText が動作する．そして，それにより，会話ウィンドウが表示され，場面に応じた会話が発生するという仕組みになっている．

2 つ目は待機モーション機能である．当初は３ D モデルをただ立たせる予定であったが，キャラ
クターが棒立ちだと見栄えが悪く，さみしいという意見があったため，ゲーム内で一定の時間が経過すると３ D モデルが伸びをするなどのモーションを行うスクリプトを作成し，NPC にアタッチしている．
中間発表地点では，白兎に会話発生機能と１つの待機モーションを付けた． 会話イベント機能に関しては問題なく実装できたが，待機モーションに関しては，モーションの途中で動作が終了しGroup Report of 2022 SISP

- 11 -

Group Number 5

CreativeAIてしまうことや，想定したタイミングで待機モーションを行わなかったことがあるなど，スクリプ
ト自体がまだ未完成のままである．また，小屋ステージ以降に登場する NPC についても，まだ実装予定のスクリプトができていない．そのため，今後は，待機モーション機能の改良および，他のNPC に関するスクリプト制作を視覚班から他のモデルを頂き次第行っていく．
（※文責: 新屋拓海）

3.1.2.6

カメラ

メインカメラの動きは，Unity レジストリ内に存在する「Cinemachine」機能の１つである「FreeLook Camera」を使い，制御している. FreeLook Camera は，Unity 内のメインカメラに設定することで，TPS ゲームのような三人称視点のカメラワークを実装することができるもので，プレイヤーを追従するようカメラ設定を行うことで，プレイヤーを常に画面の中心に捉えながら，マウスの動きに合わせてカメラの向きと座標を変更することができる．
また，場合によって、小屋の壁や森の木など，カメラがこれらの障害物を貫通してしまい，プレイヤーや NPC が映らないということが起こってしまうため，今年度では，FreeLook Cameraに「Cinemachine Collider」という機能を新たに追加している．これは，Unity 内に存在する，FreeLook Camera の拡張機能の１つであり，追従対象が障害物に貫通した際に，追従対象がカメラに映るような位置に自動的にカメラを移動させるというものである．カメラが障害物を貫通したかの判定は，Unity の「Collider」という衝突判定システムを使用しているため カメラが貫通して欲しくない障害物には Box Collider などの当たり判定をつけることで Cinemachine Collider の設定を行っている．
また，ゲーム中では，主人公の大きさを変更するアイテムが登場し，主人公のサイズを大きい状態・通常状態・小さい状態の 3 つの状態に変更することができる．しかし，ただサイズを変更するだけだと，FreeLook Camera に設定した，カメラが中心に捉える対象オブジェクトである「LookPos」の座標が変更後のカメラ座標と上手く合わなくなる場合があるため，サイズに応じて

LookPos の座標とカメラ座標を適した座標に変更するスクリプトを C#で作成し，実装を行っている．
さらに，メインカメラでは，会話ウィンドウの UI の表示も同時に行っている．Unity 内に配置している GameManager にアタッチされている「WindowController」スクリプトの「ShowTalk-

Window」と「HideTalkWindow」の 2 つの関数を使って UI の表示を管理し，会話イベントやアイテム取得が発生した際に，メインカメラで UI を映している．
（※文責: 新屋拓海）

3.1.3

ギミック

ギミックはゲームエンジンの一つである Unity とプログラミング言語である C#を使用して作成した．最終目標は自動生成を使って，マップに合ったギミックを生成していく予定である．だが，前期では著名なゲームのギミックの分析を行うことまでできなかった．そのため，前期制作の小屋でのギミックはシステム班のメンバーが考えたギミックを使っている．
（※文責: 田中悠人）

Group Report of 2022 SISP

- 12 -

Group Number 5

CreativeAI

3.1.3.1

小屋

小屋には３つの部屋が存在する．そのうち２部屋にひとつずつギミックを制作し配置した．
（※文責: 田中悠人）

3.1.3.2

1 つ目のギミック

小屋の２つ目の部屋で，「暖炉の灯を消すと鍵が落ちてくるギミック」を制作した．以下はそのギミックの説明である．
・ 暖炉の灯を消す
１つ目の部屋には，火が燃えている暖炉がある． 暖炉の前に Unity で生成することができる透明なオブジェクトである CreateEmpty を生成した．それに当たり判定を担ってくれる BoxColliderを付けた．BoxCollider の isTrigger を True にすることで，CreateEmpty への諸突判定をなくし，BoxCollider 内に入ったか入ってないかを OnTriggerEnter という，Unity が持っている関数を利用し，暖炉の前に立っているかどうかを判定できるようにした．CreateEmpty には，FireDelというスクリプトをアタッチした．スクリプトの概要としては，OnTriggerEnter が呼ばれたときに，BoxCollider 内に侵入してきたオブジェクトに付いているタグが Player に等しければ，近いかどうかの Bool 型の変数を True にするという作業を行っている．True であるとき，プレイヤーが E キーを押すと，暖炉の火が消えるようにした．暖炉の灯が消えるとき，一瞬で消えるのは不自然であるため，DoTween という Unity の機能を使用した．それを利用し，火がだん
だんと小さくなるのを表現するために，DOScale() という関数を用いた．スクリプトとしては，「transform.DOScale(new Vector3(0.0f， 0.0f， 0.0f)， 2.5f)」と記述し，「火の大きさを２．５秒で０にする」という指示をスクリプトで書いた．そうすることで，燃えている火が一瞬で消えるのではなく，自然にだんだんと小さくなっていくというように，表現することができた． 火が消えたら，火が消えたことを判定する Bool 型の変数を True にした．
・鍵が落ちてくる
火が消えたかどうかを判定する変数が True になると同時に，鍵のオブジェクトを表示させ，天井から落下させた．鍵には Rigidbody と呼ばれる，Unity で自動で物理演算をしてくれるコンポー
ネントを付けることで，鍵に対して重力がかかるようになったため，鍵が落下してくるようになった．しかし，鍵がただ真下に落ちてくるだけでは違和感を感じると話題に上がった．そのため，暖炉の時と同様に，CreateEmpty を作成し，BoxCollider を付け，鍵が落下してくる軌道上にそれを設置し，落下してきている鍵がそれにぶつかることで，鍵が回転するように工夫を行った．軌道上に置いた CreateEmpty には，衝突判定が起こるようにするために，isTrigger を false にしている．鍵に近づき，プレイヤーがＥキーを押すことで，鍵を入手することができ，鍵を入手しているかどうかの変数を True にした．それにより，次の部屋に向かうためのドアを開けることができる
ようになる．
（※文責: 田中悠人）

Group Report of 2022 SISP

- 13 -

Group Number 5

CreativeAI

3.1.3.3

2 つ目ギミック

小屋の３つ目の部屋にはその部屋に入ってくるための一つのドアと，５つのドアが六角形の部屋の各辺に配置されている．その部屋では，「６角形の部屋にある５つのドアの中から，ランダムに選ばれた１つの正しいドアを選ばないと次に進めない」というギミックを作成した．以下はそのギミックの説明である．
・ドアのランダム
５つのドアには，Unity 上で１〜５タグをつけてナンバリングを行っている．それぞれ５つのドアの前には，Unity で生成することができる透明なオブジェクトである CreateEmpty を生成し，それに当たり判定を担ってくれる BoxCollider を付けた．CreateEmpty につけられている，

BoxCollider の isTrigger を True にすることで，CreateEmpty への諸突判定をなくした．また，
BoxCollider 内に入ったか入ってないかを OnTriggerEnter という，Unity が持っている関数を利用し，５つのドアそれぞれの前に立っているかどうかを判定できるようにした．ランダムに１つのドアを選ぶためのシステムとして，RandomDoorSelect というスクリプトを作成した．スクリプ
ト内では，文字として１〜５を格納している配列を用意した．また，配列の何番目を取り出すのかをランダムで決定するため，Unity の機能である Random 関数を用いて，Random.Range(0,5) と記述することで，１〜４の範囲でランダムな整数値が返るようにした．それを，用意した変数に代入し，ランダムでドアの番号を取得することができるようにした．その後，プレイヤーが開けようとしているドアがランダムに選ばれた正しいドアであるかどうかを確かめるために，ナンバリング
されたドアの番号と，ランダムに選ばれたドアの番号が等しいかどうかを調べることで，正しいドアであるかどうかの判定を行った．判定を行う際に，Unity のオブジェクトにつけられたタグを呼び出す gameObject.tag という関数を利用して，判定を行った．この機能を使った時に，１つ問題が発生した．それは，gameObject.tag を利用した時の返り値は String 型で，Random.Range(1,5) の返り値は int 型であるため，単純に「gameObject.tag==Random.Range(1, 5)」という風に判別ができないという問題であった．その問題を解決するために，配列に String 型の１〜５を格納し，配列の値を取り出すという風に判定を行った．
・間違えたドアを選んだ時上で説明した動作を行うことで，プレイヤーが選んだドアが正しいかどうかの判定をすることができる．プレイヤーが選んだドアが正しければ，まだ実装はされていないが次のステージである森のエリアに進むことができる．もし間違えたドアを選んでしまったのであれば，キャラクターは３つ目の部屋に入ってくるためのドアがあった位置に移動させられ，正しいドアを選ぶまで同じ動作を繰り返すことになる．プレーヤーが間違えたドアを選んだ時に，キャラクターを３つ目の部屋に入ってくるためのドアに移動させるという動作は，スクリプトで管理している．もし，プレーヤー
が間違えたドアを選んだ時には，キャラクターの位置を Unity 上で制御している，Transform の値を３つ目の部屋に入ってくるためのドアの位置に強制的に変更させることで，キャラクターの位置を制御している．変更するために，ドアの空間座標を取得する必要があり，取得するために

Vector3 型の変数 DoorPos を用意し，ドアのｘ，ｙ，ｚ座標の値を格納している．プレーヤーが間違えたドアを選んだ時，キャラクターの位置を DoorPos の値に変更することで，強制的に移動させることが可能となっている．ただ単に移動させるだけでは，機械的で不自然な移動になってしまうという意見が班内でああがった．そのため，画面を一瞬暗転させ元に戻すという表現をするこGroup Report of 2022 SISP

- 14 -

Group Number 5

CreativeAIとで，ドアに入ったかのような演出を作成した．その演出を作成するために，Unity の機能である

Canvas を作成し，その中にある Panel を使った．Panel の色は黒にし，スクリプトで alpha 値を変更することで，自然な FadeIn・FadeOut を表現した．
・体の大きさを変えるアイテム
３つ目の部屋にある５つのドアは，普通のキャラサイズでは通過することが出来ないようになっている．そのため，プレイヤーはドアを通るためにキャラクターの身体のサイズを変更するアイテムを入手し，鍵を取得しなければならない．身体を大きくするためにはケーキ，小さくするためには小瓶を入手しなければならない．部屋に入ると，部屋の真ん中にテーブルとその上には小瓶が置いてある．その小瓶を手に入れることで，キャラクターは小さくなることができ，小さくなると大きいときには見えなかった箱がテーブルの足元に置いてあるのを見つけることができ，テーブルの上に鍵が出現する．小さい時には鍵は入手できず，元のサイズに戻す必要が生まれる．その箱を開けるとケーキを入手することができ，元のサイズに戻すことができるようになる．元のサイズに戻すことで鍵を入手することができるようになる．その後鍵を入手することで，ドアを開けられるようになる．
・ドアを開ける
ドアの前に Unity で生成することができる透明なオブジェクトである CreateEmpty を生成し，当たり判定を担ってくれる BoxCollider を付けた．BoxCollider の isTrigger を True にすることで，CreateEmpty への諸突判定をなくし，BoxCollider 内に入ったか入ってないかを

OnTriggerEnter という，Unity が持っている関数を利用し，ドアの前に立っているかどうかを判定できるようにした．CreateEmpty には，DoorOpen というスクリプトをアタッチした．スクリプ
トの概要としては，OnTriggerEnter が呼ばれたときに，BoxCollider 内に侵入してきたオブジェク
トに付いているタグが Player に等しければ，近いかどうかの Bool 型の変数を True にするという作業を行っている．True であるとき，プレイヤーが E キーを押すことで，ドアが開くようにした．
ドアが開く時には，一瞬で開くのは不自然であるため，DoTween という Unity の機能を使用し，キャラクターが開けるかのように，DORoatate という関数を用いて，「transform.DORoatate(newVector3(0.0f， 130f， 0.0f)，0.5f)」というように，「ドアの回転を０．５秒で１３０度回転させる」というスクリプトを書いた．そうすることで，ドアが瞬間移動して開くのでは無く，キャラク
ターが開けているかのように，表現することができた．ドアが開いたら，ドアが開いているかを判定する Bool 型の変数を True にし，通過できるようにした．
（※文責: 田中悠人）

3.1.3.4

森・城

前期では触れることができなかったため，後期に行う．
（※文責: 田中悠人）

3.1.3.5

自動生成

ドラゴンクエストやバイオハザードなどの著名な作品をプレイし，その中に出てくるギミックをリストアップし，要素分けを行い，それらの組み合わせを変更することで，新たなギミックを生成Group Report of 2022 SISP

- 15 -

Group Number 5

CreativeAIする予定である．
（※文責: 田中悠人）

3.1.4

シナリオ読み取りシステム

3.1.4.1

シナリオの読み取りシステムの概要

シナリオ読み取りシステムとは，物語班が人工知能により自動生成を行ったテキストデータをもとに，Unity，C#で作られたスクリプトを使用し，各イベントで起こるイベントシーンの読み取り，シナリオに合った自動生成された BGM の挿入，シナリオに沿ったデータをテキストボック
ス内へのテキストの表示等を行うシステムである．今回，中間発表までの開発では，物語班が自動生成を行わずに作成したテキストデータを読み込みテキストボックスに表示するシステムを作成した．
（※文責: 本前斗梧）

3.1.4.2

表示画面への実装

表示画面は大きく分けて 2 種類に分けられていて，キャラクターを操作する画面と会話やイベントを表示する画面に分けられている．キャラクターを操作する画面ではマップ内に存在するキャラ
クターに話しかけると会話ウィンドウ用のスクリプトが実行され，画面が切り替わる．会話やイベントを表示する画面では会話ウィンドウの立ち絵や背景，テキストボックス等は視覚班に依頼をして素材を作成して頂き，それを２ D オブジェクトとして表示させた．シナリオデータのテキス
トの読み取りに関しては，テキストを改行文字でスプリット操作を行い，現在話しているキャラク
ターの名前とセリフを配列に格納している．プレイヤーに話しかけたことを判定する関数である

OnCollisionEnter を使い，この関数を用いてプレイヤーへの会話を行ったうえで，UI の表示や表示画面の遷移を行う．後期からはこのプログラムを利用して，物語班が自動生成を行ったテキスト
データを読み込めるようなプログラムの修正を行っていく．シナリオ読み込みとは別に会話ウィン
ドウの表示に関して，ただシナリオを読み取るだけではなく，シナリオに応じてキャラクターの立ち絵が変化したり，BGM が変更したりといった，動きがついた会話ウィンドウを作成することによりゲームとしての完成度が上がるという改善案がグループ内の話し合いで上がった．他にもアイ
テムデータベースやキャラクターの背景史を図鑑のように表示するという話も上がり，アイテムを拾った時の UI やテキストを視覚班や物語班に依頼して作ってもらったが，前期では他の実装に時間を費やしてしまったため，アイテムデータベースや背景史一覧の UI 作成には至らなかった．
（※文責: 本前斗梧）

3.2

視覚班

3.2.1

コンセプトアート

班全体で決定したゲームの世界観やそれに伴うキャラクター等のイメージを，絵として表現することは重要である．また，プロジェクトメンバー内で世界観やキャラクターに対するイメージに違和感が出ないように，全体への共有は重要である．そこで，世界観となる「不思議の国のアリス」

Group Report of 2022 SISP

- 16 -

Group Number 5

CreativeAIに関連する参考資料を調べ，それを元にいくつかのコンセプトアートを制作した．これらは最終制作物に流用する意図は無く，あくまでイメージの共有のために制作したものである．
（※文責: 畑井梨里衣）

3.2.2

自動生成

3.2.2.1

キャラクターイメージの共有

キャラクターデザインの自動生成にあたり，はじめに物語班とキャラクターイメージの共有を行った．ここで決定したイメージを軸として，各キャラクターの自動生成に取り組んでいく．決定
内容としては，まずメインキャラクターを人型と異形の生物の二種類に分類した．分類する際は，

3D/2D モデルの制作コスト，シナリオやマップにおけるキャラクターの出現頻度などを参考に，
人形と異形のキャラクターの数とその内訳を決定した．さらに人型のキャラクターについては，いくつかのキーワードで見た目の特徴を決定した．見た目の特徴は，モチーフとなる「不思議の国のアリス」における描写や，世界観，統一感などを考慮したうえで話し合った．詳細は以下の通りである．
・人型のキャラクター
アリス：女性．8,10 才．140cm くらい．金髪．ワンピース．エプロンドレス．
女王：女性．6,8 才．110cm くらい．イメージカラーは赤と白．王冠．偉そう．ドレス．
チェシャ猫：男性．アリスと同年代．135cm くらい．イメージカラーは紫とピンク．パーカー，
短パン．猫耳，尻尾．
白うさぎ：男性．15 才．165cm くらい．フォーマルな服．眼鏡．赤い上着．うさ耳，尻尾．
・異形の生物トランプ兵，青虫，帽子屋，三月うさぎ（※文責: 畑井梨里衣）

3.2.2.2

概要

キャラクターの自動生成は 2 つのアプローチで行った。それは不思議の国のアリスに出てくるキャラクターが 4.2.1 で前述した通り「人型のキャラクター」と「異形の生物」の 2 種類に分けることができたためだ．人型のキャラクターの自動生成は汎用性の高さ，異形の生物はオリジナリ
ティが求められると考えた．このように，この 2 つの種類のキャラクターの自動生成はそれぞれ要求される能力が異なるため，アプローチも 2 分するべきだという判断をした．
（※文責: 坂上翠）

3.2.2.3

3D モデルの自動生成

物語班との打ち合わせを通して、ゲームの登場キャラクターのうち「トランプ兵」「青虫」「帽子屋」「三月うさぎ」の 4 体を自動生成技術を利用して生成することが決まった．これらのキャラク
ターはアリスやハートの女王のようなヒト型のビジュアルではなく、実際には存在しないクリー

Group Report of 2022 SISP

- 17 -

Group Number 5

CreativeAI
チャーとして造形することが決まった．架空の生物を自動生成の技術を用いて生成する．
（※文責: 穂積佳）

3.2.2.4

生成目標キャラクターのビジュアル生成目標である 4 体のキャラクターはどれも、「ヒト型×非ヒト型」の形を有しているのではな
いのかという意見がでた．トランプ兵ならば「兵隊×トランプ」、三月ウサギならば「紳士服を着た人間×ウサギ」のような人外の姿である．原作の帽子屋は人間のキャラクターとして描かれているが、物語班との打ち合わせの際、人間の姿よりも帽子をモチーフにしたクリーチャーとして描いた方が彼の「気が狂っている」キャラクターにマッチするのではないのかという意見があり、クリー
チャーとして帽子屋をデザインすることが決まった．
（※文責: 穂積佳）

3.2.2.5

生成アプローチ案

担当教員の吉田先生との相談を通して 3 つの方法案が出された．
１. 描いた絵を元に 3d モデルを自動生成する．
２. スタイル変換やテキスト入力から 3d モデルのテクスチャや法線情報，メッシュを変換する．
３. アクセサリーや手足のパーツごとにモデルを作成し，それらをキメラのように組み合わせてモデルを生成するアルゴリズムを考案する．
前期では１と２の案を検討していった．理由としては１と２の方法は，即座に試すことが出来る
ソースコードやツールが公開されているものがいくつか存在したからだ．3 の方法では実際に専用の 3D モデルデータを複数作る必要があり，１や２に比べて検討に時間がかかると判断したためである．
（※文責: 穂積佳）

3.2.2.6

MonsterMesh

MonsterMesh はペンツールで描いた絵を立体的に膨らまし，3D モデルを作ることが出来るツー
ルだ．写真やイラストなどの画像データを入力すれば，それに基づいてテクスチャも自動で張り付けることが出来る．前期では二本足で立つウサギの画像とトランプの兵隊の画像を元に，3D モデルを生成した．このツールの利点は平面に描ける形であれば自由に生成することが可能である点と操作が比較的簡単な点である．しかし，2D から 3D に膨らませてモデルを生成するため，膨らませたモデルに独特なシワや形状が出来てしまう点と，非対称の形を生成できないという欠点がある。
また、MonsterMesh 内のペンツールの仕様により，細かいデザインの造形物を描くことが難しい．
（※文責: 穂積佳）

Group Report of 2022 SISP

- 18 -

Group Number 5

CreativeAI

3.2.2.7

AvatarClip

AvatarClip は OpenAI である Clip を用いた技術である．Clip は自然言語処理技術を用いて画像の分類などに利用されるモデルだ．画像とテキストを結びつけることでラベルに設定できるカ
テゴリーの自由度が高く，事前学習によるゼロショット転移で高い精度を出すことが出来る学習モデルである．AvatarClip は Clip を用いて，文章を入力することでヒト型のモデルとモーションを出力することが出来る．例えば「A tall and fat Iron Man that is running.」と入力すれば，太ったアイアンマンのモデルが走っているデータを出力することが出来る．AvatarClip は Google

Colab をつかってブラウザ上でも動かすことが出来る．これを使いトランプ兵と三月ウサギの生成
を試みた．

図 3.3

生成されたモデル

トランプ兵は兵隊のような造形ではなくカラフルで道化師のような見た目のモデルが出来上がった．三月ウサギはヒト型のモデルの胴体にウサギの顔が浮かび上がり，ヒト型の顔に当たる部分にはウサギの耳が浮かび上がった．AvatarClip はベースになるヒト型のモデルがあり，その形を少し変形させたり，テクスチャを貼ることでモデルの生成を行っている．なのであまりにもヒト型から離れている造形の物を無理やり生成しようとすると，三月ウサギのように人間の身体にウサギの顔をボディペインティングしたようなモデルが生成されてしまうと考えられる．
（※文責: 穂積佳）

3.2.2.8

Text2Mesh

Text2Mesh は文章の入力により 3D モデルのスタイルを変えることが出来る学習モデルだ．文章から元となる 3D モデルのメッシュを変形させ造形を変えたり，適切な色をモデルに付けることが出来る．Text2Mesh は AvatarClip とはべつにベースとなるモデルをこちらが用意出来るため，
ヒト型以外の様々な形のモデルも生成することが可能だ．MonsterMesh で生成したウサギとトラ
ンプ兵のモデルをベースに Text2Mesh での 3D モデル生成を試みた．
三月ウサギは「a 3D rendering of Rabbit in a suit in unreal engine」という文章を入力した．
結果では確かにウサギの胴体のパーツに赤いネクタイと灰色のスーツの襟のラインと思われる形が浮かび上がっており，耳にもピンクのラインが浮き出ており，しっかりとウサギの耳とわかる造形になっている．顔も、歪ではあるがほっぺが膨らんで元の 3D モデルデータよりもウサギに近い造Group Report of 2022 SISP

- 19 -

Group Number 5

CreativeAI

図 3.4

生成されたウサギのモデル

形になっているように見える．しかし，身体の至る所に青の斑点の模様が浮かび上がっており，何を意図している描写なのかは不明だ．メッシュが荒く，形が歪んでしまっている箇所がいくつかあり，恐らくベースになる MonsterMesh で生成したモデルがローポリゴンであるのが原因だと考えられる．Text2Mesh のベースとなる 3D モデルは，頂点が極力均等で細かく設置されている物を使うのが望ましい．頂点の均等化は 3D データ編集ソフトの MeshLab を使って行った．

図 3.5

生成されたトランプ兵のモデル

トランプ兵は「a 3D rendering of Playing cards knight in unreal engine」という文章を入力した．結果は体中に様々な模様が浮かびあがり，色は AvatarClip の結果にカラーリングは似ている
モデルが生成できた．身体に浮かび上がった模様は数字やアルファベットのような文字が浮かび上がっており，トランプの要素がうかがえる．また鎖帷子のような凸凹模様も随所に表れており，恐らく兵隊の服装などから造形された要素だと思われる．
（※文責: 穂積佳）

3.2.2.9

キャラクターデザイン画の作成

ここでは，2D のキャラクターデザイン画を生成することを目的とする．物語班との打合せを通
して，
「アリス」
，
「女王」
，
「チェシャ猫」，「白うさぎ」のキャラクターデザイン画を生成することになった．ゲームに実装するまでの流れとしては，まずキャラクターの服装と顔のデザインをそれぞれ自動生成し，それらを組み合わせたデザイン画を班員の手で整える．そしてそのデザイン画を元に，実際にゲームで使用する立ち絵や 3D モデルを班員が制作する，という方針で行う．
キャラクターデザイン画の自動生成を服装と顔の二つの要素に分ける理由としては，キャラク
ターの全身画像を一括で自動生成するよりも，顔と服装それぞれの出力結果を組み合わせたほうが，より密度の高いデザイン画が制作できると期待したからだ．特に顔は，キャラクターの印象に関わる重要なパーツである．また，人間の顔の自動生成は研究が盛んな分野でもある．そのため，顔に焦点を絞ることで，より印象的で精度の高い結果が得られるとも考えた．
（※文責: 畑井梨里衣）

Group Report of 2022 SISP

- 20 -

Group Number 5

CreativeAI

3.2.2.10

顔キャラクターの顔の自動生成については以下の通りだ．まず，テキストからキャラクターのイメージに合った実写の顔画像を生成する．さらにその実写の顔画像を，班員が描いたイラストのデータセットを元に，イラスト調に変換する．このように二段階に分ける理由は，実写画像の自動生成のほうがデータセットや研究が豊富且つ精度が高いため，先に実写画像を生成してしまったほうがやりやすいと考えたからだ．
（※文責: 坂上翠）

3.2.2.11

実写画像の自動生成

実写画像の自動生成は StyleGAN+CLIP を利用した．

StyleGAN+CLIP はテキストを入力すると，そのイメージに合った存在しない実写の顔画像が出力されるモデルだ．まず，GAN とは画像生成でよく使用される機械学習の一手法だ．教師なしで学習したデータの特徴を元に実在しないデータを生成したり，データを変換することができる．そして，StyleGAN は派生 GAN モデルの 1 つだ．GAN とは異なり，特徴ベクトルを多次元に増やしたことにより，従来よりも高精度な画像の生成を可能としている．また，CLIP は画像の分類に使用される，ニューラルネットワークを用いたモデル (事前学習方法) だ．インター
ネットを利用して構築された４億組の画像と画像を説明する自由テキストのペアのデータセット(WebImageText) を利用している．画像とテキストの類似度を出力できる．
このモデルを採用した理由は以下の通りである．まず，キャラクターの自動生成についてを行う
にあたって顔画像の自動生成について詳しく解説している cedroBlog を参考にした．そこでキャラ
クターの顔画像を自動生成する方法として，転移学習する方法と StyleGAN+CLIP を利用する方法が挙げられた．転移学習する方法は膨大なデータセットが必要となる上に PC のスペックも要求される．一方，StyleGAN+CLIP は膨大なデータセットを作る必要がなく，ネット上で実行できる

GoogleColaboratory を利用できる．これらのことから，利便性と簡易性が高い StyleGAN+CLIPを採用した．
今回の自動生成では 3.2.2.1 でシナリオ班と共有したキャラクターのイメージを元に，テキストを作成して Deepl 翻訳を用いて英語に翻訳して入力した．例えばアリスなら，「She is a pretty

English girl between the ages of 8 and 10. She has white skin, big blue eyes, and long blonde
hair that is loosely wavy.」と入力した．ここではキャラクターの顔のパーツの情報を具体的に入力するように留意した．アリスと赤の女王の自動生成は特に問題なく実行できたが，白うさぎとチェシャ猫は生成された画像に青いノイズが出現したり，歪んだ顔画像が生成されたりした．そこで，以下の対策をとった．まず入力するテキストに形容詞を加え，詳細にした．例えば，「He is

English boy」を「He is a handsome English boy」にする．そうすると，ハンサムな印象の顔画像が生成されるようになった．次に，学習回数を増やした．そうすると，よりテキストに適した画像が生成されるようになった．例えば，「White hair」と入力したとき，学習回数が 101 のときはどちらかというと金髪の顔画像が生成されるが，700 にすると顔画像はより白い髪になった．
（※文責: 坂上翠）

Group Report of 2022 SISP

- 21 -

Group Number 5

CreativeAI

図 3.6

3.2.2.12生成された画像

スタイル変換StyleGAN NADA を用いてスタイル変換を行った．
StyleGAN NADA では絵柄のデータセットとテキストを入力すると，実写画像をテキストのイ
メージに合わせつつデータセットの絵柄に変換する．まず，変換する絵柄の設定のためにデータセットを作成した．1 人 1 日 2 枚を目標に，イラスト調の正面を向いている胸部から上の人間を描いた．現在までに 45 枚のデータセットを作成した．データセットをもとに StyleGAN NADA でスタイル変換を行った．StyleGAN NADA は StyleGAN の一種だ．
このスタイル変換の内容は以下の通りだ．

まず，テキスト入力を初期設定のまま，グループ全員のデータセットで写真からイラスト調にスタイル変換を行った．すると全体としては輪郭や顔のパーツ，髪に太めの主線が出現し，色が淡い色調になった．目は，瞳の色に赤みがかかり目の輪郭が大きくなった．また，描いた人ごとに画像を分類したデータセットでスタイル変換を行った．そうすると描いた人の絵柄の特徴が出力にも現れた．例えば，色彩や前髪の形，表情などの特徴だ．
次に，入力するテキストに変更を加えた．よりゲームに適した絵柄にスタイル変換する目的のた
めだ．
「Japanese anime cute girl face」と入力するとより幼い印象の顔になり，彩度がテキストを変更する前と比べて上がった．また，特定のゲームを指定するとどうなるか試した．今回は株式会
社 miHoYo が提供する原神というゲームを指定することにし，「Genshin character cute girl face」と入力した．すると表情が険しくなった．これは原神はキャラクターが戦闘をするゲームであるので凛々しい表情をしていることが多いことによるものだと考えられる．更に，特定のキャラクター
を指定するとどうなるか試した．今回は原神のパイモンというキャラクターを指定し，「GenshinGroup Report of 2022 SISP

- 22 -

Group Number 5

CreativeAI
character paimon face」と入力した．すると瞳は大きく，口は笑ったようになり，優しい印象の顔画像が出力された．これはパイモンが大きな目を持ち，笑っていることが多いキャラクターであることが理由に挙げられる．

図 3.7

生成されたモデル（※文責: 坂上翠）

3.2.2.13

服

キャラクターの服装デザインの自動生成については，BigGAN と CLIP を組み合わせることでテキストから画像を生成するモデルを利用した。BigGAN とは，画像生成でよく用いられる機械
学習の一手法である GAN の，派生モデルのひとつである．Imagenet という，1400 万枚以上もあるほど大規模な「カラー写真」の教師ラベル付き画像データベースの巨大なデータセットを学習したもので，1000 カテゴリーの画像を最大 512 × 512 ピクセルの高解像度で生成することができる．
一方 GAN モデルは，入力パラメータにランダムノイズを使用するため，基本的にランダムな画像
しか出力できない．そこで，3.2.2.4.1 の顔の自動生成でも説明のある，CLIP というモデルと組み合わせることで，テキストの内容に沿った画像を生成できるようにしたのがこのモデルである．
実際に自動生成を行う際は，ディープラーニング技術に関するブログ「cedro-brog」内で掲載された，BigGAN と CLIP を用いた画像生成の手法を説明する記事で紹介されているコードを，Google が提供する Colaboratory という環境で実行するという形をとった．Colaboratory は，環境構築が不要，GPU へ無料アクセスできる，等の利点があることからこの方法を採用した．

4.2.1 で物語班と共有したキャラクターのイメージを元にテキストの内容を考え，Deepl 翻訳を用いて翻訳した英文を入力テキストとして，服装デザインの自動生成を試みた．
まず，’An Alice in Wonderland Dress ，’Cheshire Cat Clothing’ といった，キャラクターの名前を直接織り交ぜたテキストを入力し，計 8 枚の画像を生成した．これは，世界的に有名な「不思議の国のアリス」というモチーフ作品が存在するために可能な手法でもある．しかし，キャラク
ターの名前の影響が強いためか，衣装の形と解釈できるような画像はあまり出力されなかった．これは，白うさぎやチェシャ猫といった動物モチーフのキャラクターで特に顕著な傾向であった．一方で，生成された画像では，それぞれのキャラクターを連想させるようなテクスチャが表現されているようにも感じた．そのため，衣装の形として解釈できないような画像は，服装デザインとして直接利用はせずとも，装飾の一部や柄として流用できる部分もあるのではと考えた．
次に，以上のような結果を受けて，衣装の形と解釈できるような画像を出力するためのテキストを模索し，計 15 枚の画像を生成した．例えば，’a doll of’，’fashion model in’ といった形式のテキストで人型のシルエットの出力を狙ったり，’ in white background’ といった形式のテキス
トで背景の雑味の解消を狙ったりした．結果，狙った効果は強くは得られなかったが，見た目の要素を具体的に描写することでより整然とした画像が出力できる傾向があることが分かった．
（※文責: 畑井梨里衣）

Group Report of 2022 SISP

- 23 -

Group Number 5

CreativeAI

図 3.8

図 3.9

3.2.3

素材作り

3.2.3.1

概要

生成された画像生成されたアリスの衣装

視覚班が制作を担当する素材は大きく、3D モデル、イラスト、UI コンセプト・素材の 3 つである。これらのアセットはゲームの世界観を表現するために大切な要素になる．視覚班は物語班とのやり取りをメインにキャラクターや世界観のイメージ共有を行い、ゲーム実装を行うシステム班と相談し素材データを制作していった。前期では、キャラクターモデル×２、アイテムモデル×４、Group Report of 2022 SISP

- 24 -

Group Number 5

CreativeAI
立ち絵×２、会話シーンの UI 素材を作成した．
（※文責: 穂積佳）

3.2.3.2

3D オブジェクト

3D モデルは 2 つの制作ツールを利用した．アイテムなどの小物類は 3DCG 制作・編集ソフト
である blender を用いて作業をすすめた．blender ではゲーム内アイテムや、ステージオブジェク
ト、キャラクター衣装などを作成することが活動のかなり初期の段階で決まっており、blender の扱いに慣れつつ素材作りを行うため、比較的制作難易度の低いと思われるシンプルな造形物から制作を始めていった．前期では「ケーキ」「カギ×２」「瓶」を制作した。ヒト型のモデルは blender
で制作を行うのは難易度が高いと判断したため VRoid Studio というヒト型の 3D モデルアバターを作成できるツールを利用した。VRoid Studio では、ヒト型モデルにパーツを加えたりパラメー
タを調節することで比較的容易にヒト型の 3D モデルを作ることが出来る．前期ではプロトタイプに実装する「アリス」と「白うさぎ」のモデルを作成した．
（※文責: 穂積佳）

3.2.3.3

デザインの詳細・カギ 1
プロトタイプに登場するキャラクターの一人である白うさぎをモチーフにデザインした．登場人物に共通しているトラウマを抱えているという特性や，「不思議の国のアリス」のどこか不条理な世界観を，いびつに曲がった鍵の形で表現した．
・カギ 2
プロトタイプに登場するキャラクターの一人であるアリスをモチーフにデザインした．鍵１のモ
ノトーンなデザインと差別化を図るために，カラフルな色使いにした．また，アリスの衣装の色をイメージした，ライトブルーのリボンを結んだデザインにした．
・ケーキ

EAT ME と書かれたアップルクーヘンである．「不思議の国のアリス」における，身体を大きくする作用のあるケーキをモチーフにデザインをした．ふっくらしていておいしそうに見えるよ
うにこだわった．
・瓶

Drink Me と書かれたタグが付いている小瓶である．「不思議の国のアリス」における，身体を小さくする作用のある飲み物をモチーフにデザインをした．不思議の国の世界観に合わせて，怪しげな見た目になるように，ピンクと水色が混じった独特な色合いにした．
・アリス
顔の造形については，6,8 才という年齢設定を基準にして適度に幼い顔にするために，頬をもっちりとさせる，目の位置や鼻の高さを低くする，などの調整を行った．髪型については，自動生成したアリスの実写画像をもとに，前髪はさっぱりとした印象のものにし，毛先は軽くウェーブのかGroup Report of 2022 SISP

- 25 -

Group Number 5

CreativeAIかったものにした．色味については，肌に関しては健康的で血色よく，髪や目の色に関してはコン
セプトアートを参考にやや褪せた色合いにした．服装に関しては，「不思議の国のアリス」に登場するアリスの服装を参考に，水色のエプロンドレスのような服装を VRoid Studio のプリセットか
ら用いた．
・白うさぎ
基本的に，プロトタイプ用に制作した立ち絵のデザインに近いものになるように造形した．より
フォーマルな印象になるように，髪型はあまりはねない整った印象のものにする，手袋を付ける，などの調整を行った．色味については，肌に関しては立ち絵の印象をもとにやや不健康で薄い色にし，髪や目の色に関してはアリスと同様にやや褪せた色合いにした．また，小物としてうさぎの耳を VRoid Studio のアセットから用いた．
（※文責: 畑井梨里衣)）

3.2.3.4

立ち絵

プロトタイプの会話シーンで使用するキャラクターの立ち絵を，MediBang Paint というデジタ
ルイラストツールを使って制作した．ここでは，アリスと白うさぎの二人を用意した．アリスについては，コンセプトアートとして描いたキャラクターイラストを使用した．デザインについては，
アリスは 6 8 才の幼い少女であるため，等身は低く，顔立ちは幼くなるように意識した．髪や目の配色・服装などは，「不思議の国のアリス」に登場するアリスの描写を参考にし，金髪碧眼で水色のエプロンドレスを着たデザインにした．白うさぎについては，シナリオ班と決定したキャラク
ターイメージや，大人しそうな性格という情報などから，新たにキャラクターをデザインして立ち絵を描いた．等身については，15 才の青年という設定から，アリスと適度な身長差を感じさせる身長にした．うさぎをモチーフとしたキャラクターであるため，耳は白い毛の生えたうさぎのものとし，それに合わせて髪色も白に統一した．服装は，「不思議の国のアリス」に登場する白うさぎの描写を参考に，タキシードのようなデザインにした．また，眼鏡，蝶ネクタイなどの小物を追加した．立ち絵のポーズとしては，白うさぎの性格に合わせて，伏し目がちにに片腕を抑えて立っている様子にした．また，アリスのデザインと統一感を出すために，全体的に彩度をやや抑えた配色にした．最後に，画面上でキャラクターを印象づけるためにキャラクターのシルエットで影をつけるなどの調整を行った．
（※文責: 畑井梨里衣）

3.2.4

UI

プロトタイプの会話シーンの UI を Figma で制作した．使用した素材は以下の通りである。世界観に合うように古紙のような素材を用意し，会話内容やキャラクター名，メニューボタンのテキ
ストボックスに適用した．また，フォントは丸みを帯びたフォルムと文字の末端のデザインが世界観に適していると判断し，Kaisei Opti を全体の文字に適用した．フレームは世界観に適していて且つ，使用フォントと似たようなデザインのものを選んだ．デザインは以下の通りである．まず，会話シーンにおいてクリックで会話の内容が切り替わるのを示唆するための逆三角形の記号を取り入れた。更にドロップシャドウを入れ他オブジェクトとの区別をした．

Group Report of 2022 SISP

- 26 -

Group Number 5

CreativeAI

図 3.10

テキストウィンドウ・キャラクター立ち絵・背景画像を配置した画像（※文責: 坂上翠）

3.3

音響班

3.3.1

目標

2.3「課題の割り当て」にて音響班は，インタラクティブミュージックの自動化を目標にしている．他にも目標を立てるにあたって，登場人物のテーマソングを職業や年齢などの感情以外のパラメータを用いて，すでにある曲から自動選択するという目標や，ストーリー場面やエリア画面において、雰囲気にあった曲を自動選択するという目標もあったが，インタラクティブミュージックの自動化を目標にした理由としては，ボス HP の数値によって戦闘 BGM が変化するインタラクティ
ブミュージックを昨年度実装しており，この技術を応用してエリア移動や画面遷移などでも実装できるのではないかと考えた．
また，選択しなかった目標は，どちらも曲を自動選択する技術を用いていることから，インタラ
クティブミュージックの自動化を実装するにおいて、曲を自動選択するシステムも含まれているた
め，今年度の目標はインタラクティブミュージックの自動化とした．
（※文責: 菊地陵雅）

3.3.2

先行研究

音響班が取り組むものと似ている技術として，以下の三つが挙げられる．
・pioneer 「MIXTRAX」
・AI DJ Project - A dialogue between AI
・インタラクティブミュージックの基本的な手法
まず一つ目のパイオニア株式会社が制作した PC 用楽曲管理アプリケーション「MIXTRAX」
は，PC 内にある音楽ライブラリーからテンポや曲調を分析し、自動で楽曲を選択，再生を行い，永遠と再生できる「ノンストップミックス再生」の機能がある．この技術は，インタラクティブ
ミュージックを実装するにあたっても，曲の類似度を把握するために必要なモノである．

Group Report of 2022 SISP

- 27 -

Group Number 5

CreativeAI
また，分析結果から，Beat, Chill, Thump, Distortion, High の五つの曲の雰囲気に分類することもできるが，ジャンルが EDM やヒップホップなどのダンスミュージックのみとなっているた
め，オーケストラや J-Pop などの幅広いジャンルには対応していない．
しかし，この技術を応用して曲の雰囲気を幅広く取得し，先の自動選択システムに取り込むことができれば，可能性があると考える．
さらに「MIXTRAX」では，曲を切り替える際にリバーブやフィルタなどのエフェクトを用いて，切り替える機能も実装している．この技術は，音響班が取り組むシステムにおいても，曲を切り替える際のアクセントになるのではないかと考える．
二つ目の「AI DJ Project - A dialogue between AI」は，本来，二人の DJ がお互いに曲を掛け合うプレイスタイルである「Back to Back」を，片方は AI で行うというプロジェクトである．
このプロジェクトでは，実機のターンテーブルを使用し，物理でかけているレコードを制御する．
システムの特徴として、曲の選択、かけている曲のビート合わせ、会場の雰囲気を読み、曲テー
マを選択するクラウドリーディングの三つの要素から出来ており、それぞれ異なる人工知能を用いている．
今回，音響班が開発するシステムに近いものとして，曲の選択を重視した．このプロジェクトでの曲の選択では，スペクトログラム画像から音楽ジャンル，使用している楽器，ドラムマシンを推定でき，それぞれに畳み込みニューラルネットワーク（CNN）を用いている．
音楽ジャンルの推定では，EDM やヒップホップなどのダンスミュージックに限定されており，幅広いジャンルには対応していない。しかし，楽器の推定ではありとあらゆる楽器を推定でき，ドラムマシンの推定においても，メーカーやモデルまで推定することが可能である．
推定した音源データから，あらかじめ用意した全音源データと比較し，似たような音楽的トーン
やムード，テクスチャをもった特徴量が最も近い曲を選択する．
この技術は，学習させるデータが膨大になってしまうが，類似精度を向上させることができるのではないかと考える．
また，選択する際のセンスも学習するために，ジャンルやアーティスト，レーベルなどの音楽メ
タデータを使用せず，オーディオデータのみ使用している。理由として，選曲する際の意外性を持たせるためである．
この技術は，音響班が取り組む曲を切り替えるシステムにおいて違和感がなく，かつ斬新な曲選択を実現させるには，参考になる技術である．
三つ目の「インタラクティブミュージック」は，実装する手法として書き記す．インタラクティ
ブミュージックには，「縦の遷移」と「横の遷移」の二種類の方法がある．
「縦の遷移」では，曲の展開は変わらないが演奏する楽器が変化する，いわゆる「曲のアレンジ」
が変化する．これを実装するには，アレンジが異なる曲を同時に再生し，音量変化させることで曲を切り替えることができる．システム面では容易に実装できるが，アレンジした曲が何種類か必要で，かつ，すでに出来ている曲から実装するには難しいため、一から作曲する必要もあり，労力に負担がかかる．
一方，「横の遷移」では「縦の遷移」とは異なり，曲のアレンジは変化しないが曲の展開が変化する．これを実装するには，現在再生している曲の再生位置を検知するシステムや次に再生する曲を違和感なく繋げるためのタイミングを計算するシステム，計算したタイミングから違和感なく曲を繋げ，次に再生する曲をあらかじめ再生するシステムが必要で，システム面での実装はかなり難Group Report of 2022 SISP

- 28 -

Group Number 5

CreativeAI
しくなる．しかし，必要となる曲数は立った一曲で，すでに出来ている曲からも実装できるため，労力の負担が軽減できる．
（※文責: 菊地陵雅）

3.3.3

方針

初めに，インタラクティブミュージックの実現方法について音楽的な手法で解決するのか，技術的な手法について解決するのかを検討した．その過程として，自分たちで具体的でかつ限定的なイ
ンタラクティブミュージックを生成することで，実際の実現方法の模索を行った．その結果，目標であるインタラクティブミュージックの実現のために最低限必要な要素を 2 つに設定した．一つはインタラクティブミュージックの素となるデータベースの構築である．これは，主に著作権に反さない BGM を集めたデータベースであり，実際のゲーム上で利用する BGM として使われる．もう一つはインタラクティブミュージックを実現するシステムである．このシステムは様々な階層ごとに分類でき，大別して 4 つのシステムからなっている．前期では，この 2 つの制作物を基礎としてインタラクティブミュージックの実現を目指していく．
（※文責: 小林裕汰）

3.3.4

データベース構築

データベース構築では，学習させる音源データから BPM，クロマグラム，スペクトルセントロ
イドの三つの音響特徴量を抽出するシステムを開発した．それぞれの特徴を以下に記す。
・BPM

BPM は，いわゆる曲のテンポを取得し，この特徴量によって曲の速さを推定することができる．
・クロマグラム
クロマグラムは，全周波数帯域のパワーを [C,Db,D,Eb,E,F,Gb,G,Ab,A,Bb,B] の 12 音階に落とし込み，ある区間の時間における音の成分を可視化したものである。この特徴量から分散をとり，調 (Key) を推定する．具体的には，特定の調を基準とし，分散が小さければ基準とした調が曲の調であると推定できる．
・スペクトルセントロイド
スペクトルセントロイドとは，スペクトル重心とも言い，音響波形から周波数分析によって取得したスペクトルの中点のことである。すなわち，その周波数を分割点として，上と下でエネルギーが拮抗する．この特徴量から音の明るさを推定でき，値が高ければ甲高い音が，低ければ重い音ということが分かる．
また、取得した音響特徴量を可視化できるように，データベースから CSV ファイルを出力できるように実装した．これにより，学習モデルへのデータ参照も簡略化することもできる．
これからの実装予定としては、取得した音響特徴量を学習モデルへ受け渡すために，変数を数値化する必要があるため，One-Hot ベクトルに変換するシステムを実装する．また，音響特徴量もGroup Report of 2022 SISP

- 29 -

Group Number 5

CreativeAI
曲の雰囲気をより正確に推定するにあたって，実装している三つの音響特徴量では不十分であるた
め，昨年度用いた音響特徴量も参考にしつつ，新たな音響特徴量を追加する必要がある．今現在，検討している音響特徴量は「音量」であり，音量によって，静かな曲や騒がしい曲の判別ができるのではないかと考える．
（※文責: 菊地陵雅）

3.3.5

曲決定システム

このシステムでは，流れている曲の特徴やシーンの雰囲気などを参照して，次回に流すべき曲を決定する．現在，ゲームなどに実装されているインタラクティブミュージックを調べていたとこ
ろ，それぞれに専用の曲が用意されていることが多く，その専用曲同士を行き来することで，自然な曲の遷移を可能にしていたことがわかった．それらの専用曲同士は，メロディーラインを共有していたり，遷移する場所同士の音の響きが非常に似ていることなどがわかった．これらのことを踏まえて，私たちは AI を用いることで，これらインタラクティブミュージックをリアルタイムに自動生成することが可能なのではないかと考えた．以下の 4.6 の類似曲検索システムでは，曲同士の繋がりを意識した曲選択，4.7 のシーンに合った曲の選択システムでは，場面との相性を意識した
曲選択を行い，これらを相互的に作用させることでインタラクティブミュージックに適している次回曲の選択を行う．
（※文責: 高橋昂大）

3.3.6

類似曲検索システム

3.3.6.1

手法

曲をそのままデータ化したもの同士の比較は，データが２次元（音程・時間）のため扱いづらい
ことや処理に時間を要することから，シームレスに曲を繋ぐインタラクティブミュージックの実装には不向きであると考えた．インタラクティブミュージックでは，ゲームへの没入感を上げるた
めに，シーン遷移やフィールドの遷移時に BGM も大きな遅延がなく遷移する必要がある．そのため，曲の選択行う際の処理を減らし，処理時間の高速化を行う必要もある．そこで，ニューラル
ネットワークを用いて事前に曲データを数値化し１つの曲を１つの１次元数列で表すことで，曲の選択行う際の処理を数列同士の比較に置き換えることができる．それに伴い，類似曲を見つける処
理の高速化も可能になる．上記より，事前処理としてニューラルネットワークを用いた，曲の１次元数列化を最初の目標とした．
（※文責: 高橋昂大）

3.3.6.2

ニューラルネットワーク構築

ニューラルネットワーク構築を始めるにあたって，学習用の入力データと出力データを決める必要がある．まず，曲ごとの正解データをジャンルとして，EDM や和風，ロックなどを含んだ 8
ジャンルをワンホットベクトル（1 つの成分が 1 で残りの成分が全て 0 であるベクトル）としてタグ付けを行った．そして入力データとして，任意の曲から 200ms ごとに取り出した 128 次元のクロマベクトルとした．これは 200ms ごとに取り出すことで大体の曲の特徴を概ね捉えることがGroup Report of 2022 SISP

- 30 -

Group Number 5

CreativeAIできるからである．これらの数値データを元に，128 次元のクロマベクトルを入力として，8 つのジャンルの中から１番特徴を捉えているジャンルを推定するニューラルネットワークを構築する．
結果として，128 次元の入力層，25 次元の中間層が 2 層，８次元の出力層としてニューラルネット
ワークと構築を行い，入力層・中間層のそれぞれにバイアス（他の数値に依存しない層に与えられたデータ）を１つずつ付与した．また活性化関数として出力層にはソフトマックス関数，他の層にはシグモイド関数を適用し，最適化アルゴリズムとして Adam を用いた．
（※文責: 高橋昂大）

3.3.6.3

曲のベクトル化

上記のニューラルネットワークをそのまま用いてしまうと，任意曲のクロマベクトルをジャンル分けするシステムになってしまう．そのため，ジャンルが確定する１つ前の中間層に注目してみた．８次元の出力層に比べて 25 次元の中間層は単純にベクトルの数が多く，細かく曲の特徴が反映されているのではないかと考えた．何より出力層データは，曲同士が似ているかよりもジャンルが同じかどうかを優先してベクトル付けを行ってしまう．現に，オリジナルと和風アレンジされた
オリジナルの曲は，中間層時点では，一番類似度が高い曲として認識されるが，出力層では，和風アレンジされたオリジナルは，他の和風曲との方が類似度が高いとみなされた．インタラクティブ
ミュージックでは，前者を類似曲としてみなすことが多いため，曲のベクトル化を行う際には出力層の１つ手前である中間層を用いてベクトル化を行うことにした．また，１曲ごとにベクトル化を行うため，曲をクロマベクトルに分解し，それぞれのクロマベクトルを 4.6.3 で構築したニューラ
ルネットワークを適用する．そしてそれぞれの出力結果を合算し，平均をとることで曲全体としての特徴を得ることができる．これらを任意の曲に対して同時に行うことで，１つの曲を 25 次元の特徴ベクトルとして表すことができる．
（※文責: 高橋昂大）

3.3.6.4

類似曲の検索4.6.3 で得ることができた，曲ごとの 25 次元の特徴ベクトルを比較することで，曲同士の類似度を求めることができる．この類似度は，ベクトル同士のコサイン類似度で求めている．そのため類似度の値として，０〜１の間で出力されることになり，０なら全く類似していない，１なら完全に一致と言うように１つの値のみで類似度を出力できるようになる. 上記のシステムの流れを一方の曲を固定して行うことによって，固定した曲との類似度を各曲ごとに得ることができる．
（※文責: 高橋昂大）

3.3.7

シーンに合った曲の選択システム

3.3.7.1

手法

昨年度までに開発されていた BGM 選択システムを，今回の目的に対して扱いやすいように改良を行う．昨年度では，Hevner による 8 つの印象語群を用いた感情特徴量からクロマベクトル，スペクトル重心，テンポの推定を行い曲を決定していた．今年度はそれらを元に文章からの曲決定とフィールドからの曲決定の大きく２つに分けて，曲決定を行っていく．

Group Report of 2022 SISP

- 31 -

Group Number 5

CreativeAI（※文責: 高橋昂大）

3.3.7.2

文章からの曲決定

文章からの曲決定では，昨年度と同様の手法をとる．加えて，今年度は文章に対しての感情分
析の自動化を検討している．python の ML-Ask ライブラリを使用することでテキストデータを「喜・怒・昂・哀・好・怖・安・厭・驚・恥」の１０種類の感情で表すことができる．これらを Hevnerによる 8 つの印象語群に落とし込むことで，昨年度のシステムや学習データを生かしながらも，より自動化の範囲が広がったシステムを構築することができる．また，曲ごとにシーンに合っている
適合度づけを行うことで，類似曲システム類似度との相互的な曲決定を行うことも可能になる．
（※文責: 高橋昂大）

3.3.7.3

フィールドからの曲決定フィールドからの曲決定では，あらかじめフィールドごとに振り分けられた曲の中から類似曲を探す処理を行う．また，曲の振り分けには 4.6.2 で構築したニューラルネットワークを用いること
で，ニューラルネットワークを書き換えることなく，正解データをフィールドのワンホットベクト
ルとするだけで大きなデータ数でも瞬時に振り分けられる．
また，類似曲を探す処理でも 4.6.4 のシステムを流用することで新しくシステムを構築することなくフィールドからの曲決定を実装することができる．
（※文責: 高橋昂大）

3.3.8

曲繋ぎ場所検索システム

曲繋ぎ場所検索システムでは，前述までのシステムで決められた曲同士を元に，曲の切り替わる
タイミングを決めるシステムである．タイミングの決定方法は，切り替わり時に違和感を与えない
ように，まず拍を合わせることを優先する．またテンポについては次項で説明を行うためここでは省略する．切り替わる前と後で拍のずれが生まれてしまうと，同時に違和感も生じてしまうため，切り替わるタイミングを小節の頭に限定して行うことにした．また，８小節を切り替えるタイミン
グにすることが音楽的には好ましいが，曲の切り替えに時間がかかってしまう可能性が高いため今回のインタラクティブミュージックの実装には向いていないと判断した．加えて，今回の曲同士はテンポが違う場合があるため，曲同士のテンポ合わせやより滑らかな遷移を実現したいと言う観点から，１小節かけて曲同士を調整し小節線で曲を完全に遷移させる方針に決定した．
上記の方針に合わせた曲同士の切り替わるタイミングを決定するために，4.6.3 の類似曲検索シ
ステムを流用することにした．１小節を局所的な短い曲と見て類似曲検索システムを適用すること
によって１小節のフレーズをベクトル化することが可能になる．この操作を切り替える前の１小節に適用しベクトル化する．その後，後続曲に対して全ての小節に対し同じ操作を行うことで小節それぞれのベクトルを得ることができる．この後続曲のベクトル群と切り替わる前のベクトルで類似度の測定を行う．この操作の中で１番類似度の高い１小節同士が曲の特徴が最も近いと見なすことができ，最も適切な切り替わるタイミングとすることもできる．

Group Report of 2022 SISP

- 32 -

Group Number 5

CreativeAI（※文責: 高橋昂大）

3.3.9

曲繋ぎシステム

上記全てのシステムを通して，曲の確定や切り替わるタイミングを含めたデータを得ることができた．本システムではこれまでの全てのデータを用いてインタラクティブミュージックの実装・出力を行う．具体的な手法としては現在考察中ではあるが，現状としてこのシステムでは３つの処理を行うこととしている．１つ目は曲のオーバーレイ (重ね処理) である．4.9 の曲繋ぎ場所検索シス
テム曲同士の繋がりが１小節であるとして，類似している１小節をそれぞれの曲中から探し出した．これらの小節をオーバーレイすることで単調なフェードイン・フェードアウトではない曲遷移を実現する．また，オーバーレイによって曲の切り替わりが行われるため，曲同士の切れ目がなくより一層インタラクティブミュージックに近づくことができ，没入感の向上にも期待できる．２つ目は曲同士のテンポを合わせる処理である．それぞれの曲にテンポアップやダウンの処理を適当に施すことで，曲同士の元テンポが異なっている場合でもオーバーレイ部分のテンポの相違を解消することができる．付随して，切り替わり後に元テンポに戻す処理も行う．これらの処理をすることでオーバーレイ部分の違和感を解消しつつ次の曲に繋ぐことが可能になる．もう１つの手法は音量の調整処理である．曲の切り替わり中にそれぞれの曲に相互的な音量調整を行うことで自然な遷移が可能になる．シンプルな方法を挙げるとクロスフェードが挙げられる．フェードインとフェードアウトをそれぞれ同時に行うことによって急な音量変化がなく，音量的に自然な曲遷移をすることが可能になる．これらそれぞれ適応することでインタラクティブミュージックを実装する．
（※文責: 高橋昂大）

3.4

物語班

3.4.1

世界観設定

3.4.1.1

世界観決定までの経緯

プロジェクト開始直後, プロジェクト全体でゲームの大まかなジャンルを, 「謎解き要素を含む
探索ゲーム」「ファンタジー」と定めた. また, 出来れば盛り込みたい要素として「ホラー」「SF」が候補に挙がった. これらの決定事項をもとに, 物語班で具体的なゲームの世界観を考え, 各班に提案することとなった. 世界観のアイディアとして, 遺跡, 近未来, 魔法世界, 神話世界, 「不思議の国のアリス」等が提案された. これらの中から, 物語班で, 「不思議の国のアリス」モチーフの世界観と, エジプトなどの古代の神話世界をベースとした世界観の 2 つに絞り込んだ. 詳細を以下に示す.
不思議の国のアリス
舞台は主人公が迷い込んだ「不思議の国」である. 「不思議の国のアリス」にちなんだ世界で探索を行い, 元の世界への帰還を目指す.
古代の神話の世界観
舞台は古代の神話をモチーフにした世界. かつて王であり殺害されたファラオのオシリスがなぜ亡くなったのか, 冥府を探索し関係者の霊魂と会話することで謎を解いていく.

Group Report of 2022 SISP

- 33 -

Group Number 5

CreativeAI
これら二つの世界観は, 「不思議の国のアリス」やエジプト神話など具体的な作品が元になって
おり, キャラクターやギミックなどの設定において一から新しく決めなければならないものが少な
いこと, メンバー間で世界観の共有が行いやすいことから選出された. その後, プロジェクト全体に対しこの二つの世界観を提案し, 多数決を行ったところ, より具体的であり, 世界観の共有が行いやすいとして「不思議の国のアリス」モチーフの世界観が選ばれた. 大まかな世界観が決定した後は,すでにゲームに盛り込むことが決定していた要素である「ギミックつきマップ」「キャラクターの背景史」を考慮しつつ「不思議の国のアリス」をもとに細かな世界観設定を行った. 世界観は全ての班の作業に関係する重要な要素であるため, 物語班の中で設定を確認した後はプロジェクト全体に共有し, 不明な点や改善点等の意見を貰った. ゲームの舞台となるマップについては, 「不思議の国のアリス」に登場する場所をベースに, システム班と面の数を確認しながら決定した. キャラク
ター設定については, キャラクターを「不思議の国のアリス」の登場キャラクターとするか, オリ
ジナルのキャラクターにするかという選択の余地があったが, イメージの共有がしやすいこと等から, 「不思議の国のアリス」のキャラクターをもとに, 動物のキャラクターを人型にするなど, 新たな要素を付け加える形で設定を行うこととした. 本作の登場キャラクターは全員, 不思議の国において演じている性格と, 現実世界における本来の性格の二つを持つが, 主に描写されるのは前者であるため, 不思議の国における性格のみ設定を行った. 主に視覚班と情報共有を行いながら, 物語班が主体となって設定を行った. 以下に決定した世界観の設定とキャラクター設定を示す.
（※文責: 吉井史夏）

3.4.1.2

世界観設定

ゲームの舞台である「不思議の国」は, ハートの女王が作り出した現実とは異なる世界である. 何らかのトラウマを抱え, 現実から逃げ出したいと願う人々が, この世界に迷い込む. 迷い込んだキャ
ラクターたちは, 現実での自分の記憶を持ったまま, 女王に与えられた「白うさぎ」「帽子屋」などの役割を演じることでこの世界の住人となる. 「不思議の国」に長く留まると現実世界での記憶を徐々に失う. 古くからいる「不思議の国」の住人たちの中には, 既に現実での記憶を完全に失った者もいる. 現実から逃げてきた人たちの心の拠り所としての世界であり, 辛い記憶を持つ彼らを楽しませたいことから, 「不思議の国」はカラフルで全体的に明るい雰囲気である. しかし, どことなく不安定で, 何かが狂っていることを本能的に感じさせる. 「不思議の国」には「小屋」, 「森」,「ハートの女王の城」が存在する. 「森」では帽子屋と三月うさぎによって「お茶会」が開かれている他, ハートの女王の城へとつながる「薔薇の迷路」がある. 「ハートの女王の城」には「裁判場」が併設されている. 「不思議の国」は始めは平和だったが, 次第にハートの女王が暴走し支配的になっていき, 住人たちは女王に不満を持つようになる. けれど女王に首を斬られたものはこの世界から追放され, 現実世界へと帰されるという噂があり, 現実におびえる住人たちは女王に歯向かうことができない.
（※文責: 吉井史夏）

3.4.1.3

場所設定

・小屋
ゲーム序盤においてアリスが迷い込むことになる家. 現実と「不思議の国」との間に存在する,「不思議の国」における入り口のような場所である. 実は白うさぎの家. 全体的にカラフルで明るいGroup Report of 2022 SISP

- 34 -

Group Number 5

CreativeAIが, その明るさが逆に訪れた人を不安にさせる. ケーキや飲み物などが置かれているが, これらを口にすると食べた人の体が大きくなったり, 小さくなったりする. これは, 白うさぎがここが現実ではないことを新しい住人に手っ取り早く説明するために用意しているアイテムである.
（※文責: 吉井史夏）

3.4.1.4

キャラクター設定・アリス
このゲームの主人公. 外見は 10 歳ほどの少女である. 一人称は「私」.
「不思議の国」に迷い込んだばかりであり, 女王からまだ役割を与えられてはいないものの「不思議の国のアリス」のアリスように好奇心旺盛な性格である. 自分の意見をはっきりと口にするが,基本的には見知らぬ人には敬語を使うなど礼儀正しい. 独り言が多く, 自分に対して話している言
葉と他人に対して話している言葉の区別がつきにくい. これがもとで周囲を混乱させてしまうこともある.
不思議の国に来て間もないため, 現実での出来事ははっきりと覚えており, それゆえ現実に戻りたくないという思いを強く持つ. 「不思議の国」では現実とは違う自分になりたい, 変わりたいと思っている. 現実のことは覚えているが, 不思議の国に来た当初から自分の名前は忘れてしまって
いる.
・白うさぎ
外見は 15 歳ほどの, 長身で眼鏡をかけた男性. アリスを「不思議の国」へと誘う.
女王から「不思議の国」の事務的な管理と, 住人となる資質を持っている人（トラウマを持ち, 現
実から逃げたいと願っている人）を勧誘する役目を与えられている. 加えて, 「少々臆病で気が弱いところがあり, それによって女王を困らせる」という役割も持つ. 与えられた役割として女王を困らせているので, 首をはねられることはない. 臆病な性格は不思議の国にいるとき限定のもので,現実世界でアリスを勧誘した際には, 極めて冷静でドライな本性を見せる. 一人称は基本「私」だが, 「僕」が時々混ざる. 口癖は「一応」「多分」.
不思議の国の住人としては古い方で, 自分が現実世界から来たことは覚えているものの, どのような人間だったかははっきりと覚えていない. また, 過去を窺わせるような発言もしない.
・チェシャ猫
外見はアリスと年の近い少年. 森でアリスに「不思議の国」のことを教えた後, 少しの間共に行動することになる.
飄々とした態度でいつもにやにやと笑っているが, アリスが森を抜けるためのヒントをさりげな
く教えてくれるなど, 優しいところもある. 女王から与えられた役割は, 「人を道に迷わせる」. 実
は不思議の国での自分の役割に飽きていて, 現実世界に戻ろうとしている.
不思議の国では古参の住人に当たり, 現実世界での記憶の大部分を失っている. だからこそかつての現実世界での自分に興味をもち, 記憶を取り戻すためにハートの女王に逆らおうとしている.
・芋虫
人間より虫に近いが完全に虫ともいえない外見を持つ住人. 森でアリスと出会い, 話をすることになる.

Group Report of 2022 SISP

- 35 -

Group Number 5

CreativeAI
難しい言葉やことわざなどを多用し, 年寄りくさい話し方をしているが, 本人は意味をきちんと理解できていない. そのため，答えのわからない質問をされたときは無茶苦茶な理論で押し通し,
怒り始める. 時々タバコを吸ってはむせている. 女王から与えられた役割は「賢そうにふるまう」．
不思議の国に来たのは割と最近で, 現実世界でのことも覚えている. ハートの女王の圧政に対し不満を持っているが, 現実には戻りたくないため, 表立って逆らうことはない.
・帽子屋
どう見ても人間ではない外見をしているが, 歩き回り, 人間のように話すこともできる.
三月うさぎと共に森でお茶会を開いている. 言動が奇妙で, 唐突になぞなぞを出すこともあれば,喚いた後, 急に静かになることもある. 女王から与えられた役割は「終わらないお茶会を開き, 狂ったように騒ぐ」．
不思議の国に来た当初は役割として仕方なく狂っているように演じていたが, 次第に本来の性格を忘れ, 演じていた性格が本当の性格になりつつある.
・三月うさぎ外見はノウサギ. 人間のように話し, 飲食もできる．
帽子屋と共に森でお茶会を開いている. 帽子屋と同じくおかしな言動をし, アリスとは会話がかみ合わない. 人の言葉に茶々を入れたがる. 女王から与えられた役割は帽子屋と同じく「終わらないお茶会を開き, 狂ったように騒ぐ」．
帽子屋よりも現実世界のことを覚えている. 次第に現実世界のことを忘れ, 三月うさぎとしての自分が当たり前になっていくことに恐怖を感じているが, 現実には戻りたくない.
・トランプ兵森と城をつなぐ薔薇園で庭師を務めている住人達. 手際が悪く, くだらないことで言い争ってばかりいる. また，女王のことを非常に恐れている. 女王から与えられた役割は庭の整備と, 「女王に忠実である」.
古参の住人ではないが, 完全に現実世界での記憶をなくしている. そのため, 女王に首を切られることを過剰に恐れているが, そもそも現実世界を認識していないため, 首を切られたらどうなるのかについてはわかっていない.
・ハートの女王
外見は, アリスよりも幼い少女.
強気な言動で, 傍若無人な性格である. 意味のないことでいつも怒っている. 自分の周りにたくさん人がいて, そのうえ自分の思い通りに動いてほしいという欲望を持つ. 癇癪持ちで衝動的に動いてしまう部分がある. 「首をはねろ！」が口癖だが, 癇癪の結果思わず口に出してしまう言葉というだけであり, これまで実際に首をはねたことはない．
不思議の国を作り出した張本人．迷い込んだ住民たちに役割を与え，その通りにふるまわせている．不思議の国においては自分が絶対だという考えを持っており，支離滅裂な考えであっても押し通してしまう．
（※文責: 吉井史夏）

Group Report of 2022 SISP

- 36 -

Group Number 5

CreativeAI

3.4.2

シナリオ執筆3.4.2.1

シナリオについて今年度のプロジェクトでは，「登場キャラクターの背景史」の自動生成に重きを置くことが決定していた．そのうえで，メインシナリオに自動生成要素を入れるか否かについては議論があったが，最終的にエンディングの自動生成のみを行い，それ以外の部分のメインシナリオについては全て人の手で執筆することとした．人間の手で執筆することで，自動生成した背景史やマルチエン
ディングに対し矛盾が無いようにメインシナリオを調節できることが期待される．さらに，先生から，メンバー自らシナリオを執筆する経験は，AI に物語を作成させるという課題に対して，クリエイティビティの発揮の面で非常に有意義となると助言をいただいた．ゲームの世界観決定後，まず物語班内でそれぞれメインシナリオの簡単な起承転結の案を出し合った．執筆担当者がそれらの案を参考に大まかな流れを考案し，物語班の中で共有した．システム班との話し合いにより，舞台となる場所は決まっていたので，考慮しながら作成した．さらに大まかな流れを起承転結に落とし込み，班内で了承を得た後，全体に共有した．現在は，プロローグと，プロトタイプ作成のために行った第一章の執筆が終了している．今後は物語の流れをブラッシュアップするとともに，自動生成を行うエンディングの前まで執筆を進めていく予定である．また，自動生成に適応できるよう内容の細かな調節も進める予定である．具体的には，マルチエンディングの自動生成に矛盾なくつなげられるように分岐を適切に配置するとともに，背景史の自動生成が完了次第，作成された背景史をメインシナリオ内に組み込むことを想定している．
（※文責: 吉井史夏）

3.4.2.2

あらすじ

トラウマを抱え，ままならない現実に思い悩むアリスは，白うさぎに導かれて「不思議の国」へと迷い込む．「不思議の国」の住人たちは，女王から与えられた役割をこなすことで不思議の国にとどまり，現実世界から逃げ続けていた．アリスは「不思議の国」の住人となることを望むが、「不思議の国」に長く居続けた場合，現実での記憶を失ってしまうことを知る．女王の圧政を目の当たりにし，自らと境遇の近い住人たちと関わる中で，アリスは徐々に現実と向き合うことを考え始める．そんな中，アリスが関わった住人の一人であるチェシャ猫が裁判にかけられて，斬首されるかもしれないということを耳にする．裁判に乱入したアリスは，チェシャ猫から女王に逆らって共に現実へ戻らないかと誘われる．アリスは，現実に戻るか，不思議の国にとどまるか決断を迫られる．
（※文責: 吉井史夏）

3.4.2.3

シナリオの流れ

シナリオは，全 5 章を想定している．以下にその大まかな流れを記述する．
プロローグ
・アリスは現実世界で何かしら問題を抱え，思い悩んでいる．
・アリスの前に白うさぎが現れる．白うさぎはアリスを不思議の国へと誘う．
・アリスは白うさぎを追ってうさぎ穴へ落ちる．その後，小屋へとたどり着く．

Group Report of 2022 SISP

- 37 -

Group Number 5

CreativeAI
1章
舞台：小屋
登場人物：アリス，白うさぎ
・アリスは，白うさぎを追って小屋から出ようとする．
・小屋の探索．

2章
舞台：森
登場人物：アリス，チェシャ猫，芋虫・アリスが小屋を出ると，森へと出る．そこでチェシャ猫と出会う．
・チェシャ猫から，ここがハートの女王が管理する世界である「不思議の国」だということと，
この世界の住人になりたいのなら，まず女王に会いに行くべきだということを聞く．アリスは住人となるため，女王に会おうと城を目指すことにする．
・森を探索し，芋虫に出会う．
・芋虫から女王の圧政に対する不満を聞く．アリスはなぜ女王に不満を伝えないのか聞くが，現実から逃げたい住人たちは女王には反抗できないのだと教えられる．

3章
舞台：森，お茶会
登場人物：アリス，帽子屋，三月うさぎ，白うさぎ
・アリスは森の中でお茶会を見つける．そこで，なんでもない日を祝っている帽子屋と三月うさぎに出会う．
・帽子屋と三月うさぎは，現実の記憶を忘れつつある．アリスはこれまでの記憶が無くなり，狂っていくことに恐怖を覚える．
・お茶会に白うさぎが通りかかり，アリスはチェシャ猫が裁判にかけられることを耳にする．
・アリスは，裁判場のある城に急いで向かうことにする．

4章
舞台：森，薔薇の迷路
登場人物：アリス，トランプ兵
・バラの迷路の探索中，アリスはバラを赤く塗るトランプ兵に出会う．
・トランプ兵たちは，現実のことを忘れ，ただ女王のために動くようになっていた．彼らの様子を見たアリスは，この世界の住民にはならず，現実と向き合うことを考え始める．

5章
舞台：城，裁判場
登場人物：アリス，白うさぎ，チェシャ猫，女王・城を抜けたアリスは裁判場に到着する．裁判場では，ちょうどチェシャ猫の裁判が始まるところだった．
・アリスは，女王に対面し，チェシャ猫の弁護を名乗り出る．
・アリスは女王の無茶苦茶な意見に対して反論するが，女王は自分に逆らうとこの世界にいられなくなると脅す．現実にトラウマがあるアリスは悩む．

Group Report of 2022 SISP

- 38 -

Group Number 5

CreativeAI・チェシャ猫は，現実に戻りたくてわざと裁判にかけられたとアリスに言う．女王に首を切られたら現実世界に戻れるかもしれないことが判明する．
・アリスは，自分の意見を貫いて女王に首を切られるか，女王に従って現実から逃げるか決断を迫られる．
エンディングは分岐によって自動生成を行う予定である．
（※文責: 吉井史夏）

3.4.3

背景史

3.4.3.1

目標

近年，物語の自動生成分野は目覚ましい発展を遂げている．物語には主人公をはじめとして，ヒロインや道を行き交う町人などの多種多様なキャラクターが登場する．彼らは物語の展望を左右す
る重要な存在であることもあれば，ただの通りすがりの一般人であることもある．特に，キャラク
ターの過去や生い立ちといった経歴は，物語にも大きく関与することがある．これらを踏まえて，物語においてキャラクターの存在は必要不可欠であると考えた．しかし，物語に登場するキャラク
ター固有の経歴の自動生成は先行研究がない．そこで，キャラクターの背景史を自動生成すること
で人工知能を用いた（物語の自動生成分野に）新たな創造性の再現を試みようと考えた．なお，ここでは表現の簡略化を図るため「キャラクター固有の経歴」を「背景史」と定義した．現実の世界に存在する全ての人間はそれぞれが唯一無二の背景史を持っており，物語に登場するキャラクター
も同じく背景史を持っていると考えたためだ．また，今年度はゲームのキャラクターが「現実世界に辟易している」という共通点があるため，「現実逃避しているキャラクターの背景史の自動生成」
を目指す．
（※文責: 坂本珠凜）

3.4.3.2

分析の目的

自動生成アルゴリズムの構築において，想定される出力には入力させる値との有意性が求められる．現実逃避しているキャラクターの背景史を自動生成するにあたって，既存の作品の登場人物がなんらかのトラウマを想起する過程の膨大なデータアセットを用意する必要がある．これは背景史の自動生成が新規性のある研究課題であり，適切な既存のデータアセットがないためだ．そこで，背景史担当では登場人物のトラウマの想起に関するデータアセットを作成することにした．このデータアセットから各データの相関性を分析することで，「どんな人物がどのような経緯を経てトラウマを抱えるに至ったか」をパターンとして抽出する．このパターンをもとに「現実逃避しているキャラクターの背景史」の自動生成アルゴリズムの構築が可能になると考えた．
（※文責: 坂本珠凜）

3.4.3.3

作品選定

背景史を自動生成するアルゴリズムの生成のために必要なデータを収集した．現実逃避しているキャラクターの背景史を自動生成する為に，作中で現実逃避をしている人が多く登場する作品を分Group Report of 2022 SISP

- 39 -

Group Number 5

CreativeAI
析対象とした．分析作品は何らかの賞を受賞している作品または，アニメ化されていて一般的に完成度が高いと認識されていることを収集基準とした．これらの基準から前期の段階では，名探偵コナン，おジャ魔女どれみ，ハリー・ポッター，笑ゥせぇるすまんを分析対象に決定した．そのほかにも闇金ウシジマくんも分析対象となっていた．しかし，登場するキャラクターの多くが，お金に関する現実逃避をしていることが予測された．お金に関する現実逃避は世界観とマッチしておらず，データの偏りを防ぐために闇金ウシジマくんは分析対象から外された．
・コナン

2001 年に第 46 回小学館漫画賞少年部門で受賞している．また，アニメ化や映画化もされている．この作品では，殺意を抱くほどのトラウマを抱えるキャラクターのデータが収集できることに期待し分析対象に決定した．
・おジャ魔女どれみ

1999 年にアニメ化された．また，映画化もされ，主人公らの 16 歳以降の物語が書かれた小説も出版された．この作品では，小学生年代のキャラクターが多く登場する．そのため，この作品に出てくる現実逃避の原因の多くが大人にとっては問題にもならないが，小学生の年代にとってはとても深刻な出来事の場合が多い．また，小説版では，高校生年代のキャラクターが多く登場する．小説版では，思春期特有の現実逃避の原因が多く存在する．そのため，子供特有の現実逃避と思春期
特有の現実逃避をしているキャラクターのデータが収集出来ることに期待し分析対象に決定した．
・ハリー・ポッター

2018 年にハリーポッターシリーズの全世界累計発行部数が５億を突破した．また，映画化もしており，映画シリーズは８本ある．この作品は，魔法世界の物語なので，キャラクターの持つ現実逃避の原因が魔法などのファンタジー要素である現実逃避をしているキャラクターのデータが収集できることに期待し分析対象に決定した．
・笑ゥせぇるすまん

1989 年にアニメ化された．また，2017 年には原作エピソードにオリジナルエピソードを追加した笑ゥせぇるすまん NEW が放送された．この作品では，人間の愚かさや醜さ，人間関係が原因で現実逃避をしているキャラクターのデータが収集出来ることに期待し分析対象に決定した．
（※文責: 入舩真誠）

3.4.3.4

分析準備

分析を行うにあたり，まずデータの収集を行いそのデータを用いて解析を行う．ここでは，データの収集についてと解析を行う前の前準備に分けて記述する．
・データの準備
分析の為のデータ収集は，分析の目的で述べた「どんな人物がどのような経緯を経てトラウマを抱えるに至ったか」という点をデータとして記述する必要がある．そのため，まずどのような物をトラウマとして判定するかを決定した．今回のデータ収集では，ある人物が現実世界において「辛い目に遭うこと」や「尾を引くような問題を抱えている」ことを対象にデータを収集した．その際に，問題の大小は考慮しない物として収集している．以上のような人物の属性を以下に示すようにGroup Report of 2022 SISP

- 40 -

Group Number 5

CreativeAI分けた．人物の年齢や職業を示す「人物ステータス」，人物のトラウマの内容をテキストで記述した「トラウマ」，人物がトラウマに対してどのような認識をしているのかを示す「現状認識」，トラ
ウマによって人物に表れた影響を示す「影響 (言動・感情)」，第三者がトラウマを負った人を見た際にトラウマを推測する手がかりとなる「手がかり」，トラウマの要因を環境，人間，自己の 3 つに示した「分類」．これらの 6 つの属性に分けた．上記のデータの属性で選定した作品全ての対象者をデータとして記述した．
・解析の準備解析を行うにあたり，収集したデータを解析に適した形に変更する．そのために KJ 法を用いた分析データのフォーマットの作成を行った．今回想定している現実逃避の要因の属性を共起分析や因子分析のような解析を行うためには，必要な情報としてベクトル化した情報が必要である．分析
前に収集したデータでは，属性ごとに記述しているデータである「現状認識」と「影響」をベクトルで表すフォーマットが無い状態である．またトラウマおよび現実逃避の要因をデータとして示した物は，テキストの状態であり，ベクトルの表記がしやすいよう必要な属性に細分化するフォー
マットの再考が必要である．データのフォーマットの決定の為に，KJ 法を用いてデータの属性を類似な物にまとめ，それらをベクトルで表記できるよう決定を行った．以上の操作を「影響」という指標においてどのように決定したのかを見ていく．「影響」の指標では，トラウマによる影響を感情・行動の二つを混ぜて示している．そのため手順として，まず，現実逃避をするような事象による感情への影響と行動への影響を二つに分け，それぞれに KJ 法を適用する．さらに詳しく分別した感情への影響を見ていく．感情への影響は，エクマンの感情モデルである，楽しみ・嫌気・悲
しみ・恐れ・怒りを利用して分割を行った．感情への影響を分割した後，各感情を 1 0 で表される

5 次元のベクトルとして表現するように決定した．例えば，恐怖であれば，(0,0,0,1,0) というように恐れに該当する部分に「1」が入りそのほかには「0」が入る。先に示したようなベクトルとして表現する方法を決定した．上記で挙げた例のような手順を，他の属性およびテキストにあてはめ，
ベクトルとして表現するフォーマットを作成している．
（※文責: 西村秀幸）

3.4.4

マルチエンディング

3.4.4.1

目標

エンディングは，全ての作品に必ず含まれており，作品に大きな影響を与える部分でもある．実際に，エンディング以外が素晴らしい完成度でも，エンディングに何かしらの失敗が見られた場
合，その作品のイメージは大きくダウンする．また，昨今では，マルチエンディングという，プレイヤーの選択や行動により，エンディングが良い方向，悪い方向などに変化するものを採用するゲーム作品が多くなっている．このマルチエンディングを入れることにより，物語に幅を持たせる
ことができる．また、プレイヤーに選択させ，緊張感を持たせることで，ゲーム作品に良い影響を与えることができる．そこで，今回はマルチエンディングの自動生成システムを作成し，人工知能の新たな視点から，創造性を再現することを試みる．この自動生成システムには，先行研究がないため，新規性が高い．また，物語の幅を従来の作品より広げることが可能になると考えている．
（※文責: 幸崎駿祐）

Group Report of 2022 SISP

- 41 -

Group Number 5

CreativeAI

3.4.4.2

分析の目的

自動生成システムの作成において，どのような値を入力をするかを考えなければならない．加えて，エンディングのパターンを導き出し，それをもとに出力するプログラムを構築する必要がある．そのため，入力の値とエンディングのパターンを探し出すために，条件に適した作品を探し，その作品のエンディングを分析する必要がある．
（※文責: 幸崎駿祐）

3.4.4.3

作品選定

エンディングを自動生成するアルゴリズムを生成するため，エンディングデータを多く集める必要がある．本項では，エンディングデータを収集する作品の選定について記述する．データを収集するとき，良質なデータを集める必要がある．このことを踏まえて，選定対象作品に 2 つの条件を設けた．

1 つ目の条件は，対象作品が，日常から非日常に遷移する物語であることである．今回，クリエ
イティブ AI が作る作品は「不思議の国のアリス」をモチーフにした作品である．また，シナリオ
も「不思議の国のアリス」を元に，手動で作成する．そのため，日常から非日常に遷移する物語のエンディングを取らなければ，全体のシナリオと自動生成したエンディングを結合した際に，矛盾が生じる可能性があるためである．

2 つ目の条件として，何かしらの賞を受賞している，またはノミネートされている作品であることである．エンディングデータを収集する際，良質なデータを収集する必要がある．良質なデータでなければ，目標として出したい出力に相違が生まれる可能性があるため，必須である。ことでこのことを踏まえて，評価の高い作品，つまりはアカデミー賞，日本ゲーム対象といった賞を受賞している作品，もしくはそれらの賞を取るまでには行かなかったがノミネートまで残った作品を選定するのが良いと考えた．
上記の条件をもとに，映画，ゲーム，小説等の作品を調べ上げた結果，38 本の作品が見つかった．
作品例として、4 つの作品を紹介する．1 つ目は，
「千と千尋の神隠し」である．あらすじを紹介する．主人公の千尋は不思議な町に迷い込み，両親が豚にされ，湯婆婆の元で働くことになる．その後，湯婆婆からの難題をクリアし，両親と日常の生活に戻ることができたが，異世界のことは忘れてしまう．この作品は，映画作品であり，条件の 1 つ目である日常から非日常に遷移する物語を満たしている．2 つ目の条件では，2002 年に日本アカデミー賞 最優秀作品賞を受賞している．以上の点から，選定対象作品とした．2 つ目は「アンダーテール」である．この作品は，人間世界に住む主人公が，魔物が住む地下世界へと落ちてしまい，脱出する方法を探すというストーリーだ．主人公の行動によって 4 つのエンディングに遷移するという特徴がある．この作品はゲーム作品であり，1 つ目の条件の日常から非日常に遷移する物語を満たしている．2 つ目の条件では，2018 年に日本ゲーム大賞優秀賞を受賞している．以上の点から，選定対象作品とした．3 つ目は「ゼロ・グ
ラビティ」である．あらすじとして，主人公のライアンが地球から宇宙へ行き，スペースシャトル
で作業をしていたときに事故に巻き込まれ，宇宙空間に吹き飛ばされてしまう．その後，様々な困難を乗り越え，無事に地球へと帰還する．この作品は SF 映画であり，地球から宇宙へと日常から非日常に遷移しているため，1 つ目の条件を満たす．2 つ目の条件では，2014 年に英国アカデミー
賞 英国作品賞を受賞している．以上の点から，選定対象作品とした．4 つ目は「十二国記」である．あらすじとして主人公の陽子が，異世界に送られ，困難に直面する．陽子は現実に戻るべきかGroup Report of 2022 SISP

- 42 -

Group Number 5

CreativeAI
十二国で王となるべきか迷うが，荒れた国で苦しむ民を救うことが現実に戻ることよりも自らのやるべきことだと感じたため，現実には帰らないことを選ぶ．この作品は，小説作品であり，日常から非日常に遷移しているため，1 つ目の条件を満たしている．2 つ目の条件では，2014 年に本屋大賞を受賞しているため，条件を満たしている．以上の点から，選定対象作品とした．このような条件をもとに選定対象作品を探した．なお，作品は今後追加する可能性がある．
（※文責: 幸崎駿祐）

3.4.4.4

分析準備

分析可能な状態にするため，属性を決める作業を行った．まず，条件に当てはまる作品の中から数十作品を抽出し，エンディングの摘出を行った．エンディングのあらすじを書きだし，属性の共通点を洗い出した．そして属性の共通点を元に仮のフォーマットの作成を行った．その後，仮のフォーマットに，収集したエンディングのデータを当てはめた．
全てのエンディングを仮のフォーマットに当てはめた後，入力する値の統一とデータフォーマッ
トを決定するため，KJ 法を用いた．実際に，当てはめた属性の入力の値にばらつきが見つかった「帰れる or 帰れない理由」と「感情」に KJ 法を用いて，入力する値を統一することができた．加
えて，KJ 法を用いることで，属性内の対比関係があることが明らかになった．例として，「感情」
では，「興奮」と「安心」といった対比関係があることが分かった．この関係性をもとに，後に述べるベクトル化を行った．
入力する値を統一することを行ったため，仮のフォーマットを元に，正式なフォーマットを作成した．各属性を「主語」，「帰る or 帰らない」，「何人で帰えるのか」，「帰える or 帰らない理由」，「感情」，「後日譚があるか」，「後日譚の主語」，「状態」，「行動」と決定し，選定した作品をこれらに当てはめてデータフォーマットを作成した．このとき，「作品名」と「エンディングのあらすじ」
についても記入をした．なお，これらのフォーマットは次に記述するフォーマットの再考により，変更する可能性がある．
各属性を記入後，フォーマット全体を見直し，修正する部分が無いかを確認した．現時点で，属性に，「実際どうなったか」「なぜ帰れるのか（帰れないのか）」「なぜ帰ること（帰らないこと）を望んだのか」と最初に作成したフォーマットよりさらに詳細に書くことで出力結果に良い影響を与えるのではないかと考察した．このフォーマットの再考は試作段階であり，適応は現段階では行っていないため，後期のプロジェクト学習で行う予定である．
（※文責: 幸崎駿祐）

3.4.4.5

分析方法

KJ 法を用いたことにより，属性の対比関係が明らかになった．この対比関係を行列のベクトルとして可視化表現した．「帰れる or 帰れない」は 3 つのベクトル，「感情」は 5 つのベクトル「帰れる or 帰れない理由」は 8 つのベクトルで表現し，[1，0，-1] の 3 つの数値で表現した．この数
値は相関係数を出し，属性の強い関係性を表すために使用した．
属性間の相関係数を出すために，ベクトルとして可視化表現した表を Excel で CSV ファイルに置き換え，R という統計解析向けのプログラミング言語に入れた．結果として，「確保，喪失」と「可能，不可能」が 0.60，「恋愛あり，恋愛無し」と「決意，迷い」が 0.50，「救う，見捨てる」と「他人，自身」が-0.45 のように，相関係数を出すことができ，関係性が強い属性も明らかになった．

Group Report of 2022 SISP

- 43 -

Group Number 5

CreativeAI
しかし，データフォーマットの再考，作品データの追加により，これらの相関係数は変わってくると予測する．後期では最終決定したデータフォーマットと追加分の作品データをもとに相関係数を出す作業を行う．
（※文責: 幸崎駿祐）

Group Report of 2022 SISP

- 44 -

Group Number 5

CreativeAI

第 4 章 中間発表
4.1

概要

2022 年 7 月 8 日，公立はこだて未来大学において対面形式での中間発表会が行われた．事前準備として，プロジェクトの活動内容を説明するためのポスター 1 枚と，実際の発表で使用する，プ
ロトタイプのデモ映像を含めた 14 枚の発表用スライドを作成して当日に臨んだ．当日は前半発表と後半発表毎に発表者を分け，10 分のスピーチを行い，その後 5 分間の質疑応答時間を設けた．

15 分間の一連の流れを前半後半それぞれ 3 セット，合わせて 6 セット行った．また，聴衆に発表
内容と発表技術についてのアンケートに答えてもらい，10 段階での評価とコメントを回答してもらった．
（※文責: 小林裕汰）

4.2

成果物

4.2.1

ポスター

本プロジェクトの今年度のポスターは A1 サイズで日本語と英語のバイリンガルとなっており，

Adobe Illustrator 2022 を使用して制作した．全体は白と黒を基調としており，班ごとにイメージ
カラーを設定して各班の領域が視覚的に明確になるように配色した．下図に中間発表用に制作したポスターを記載する．
Creative AI

Group.05
システム班 / team: System
新屋拓海
田中悠人
本前斗梧
住吉聖也

Takumi Shinya
Yuto Tanaka
Togo Motomae
Seiya Sumiyoshi

視覚班 / team: Visual
坂上翠
穂積佳
畑井梨里衣

Sui Sakagami
Kei Hozumi
Ririi Hatai

音響班 / team: Audio
小林祐汰
菊地陵雅
髙橋昂大

Yuta Kobayashi
Ryoga kikuchi
Kota Takahashi

物語班 / team: Story
坂本珠凜
幸崎駿祐
入舩真誠
西村秀幸
吉井史夏

Jurin Sakamoto
Shunsuke Kosaki
Masato Irifune
Hideyuki Nishimura
Fumika Yoshii

教員 Professors：村井 源 Hajime Murai / 迎山 和司 Kazushi Mukaiyama / 平田 圭二 Keiji Hirata / 田柳 恵美子 Emiko Tayanagi / 吉田 博則 Hironori Yoshida

プロジェクト概要 Project Overview
本プロジェクトは人工知能を用いた創造性の再現の検討をゲームコンテンツを成果物として行う。ゲームコンテンツに含まれる「シナリオ」「ビジュアル」「システム」「サウンド」など様々な創作的コンテンツに適した人工知能技術を検討しゲーム制作を行うため大きく 4 つの班に分かれ活動する。前期の活動ではプロジェクト全体で制作するゲームのコンセプトを「不思議の国のアリスをテーマにしたオープンワールドゲーム」に決定し、それぞれの班が目標とする自動生成要素の学習と学習モデルやデータセットの用意、ゲーム制作の土台となるシステムの実装を行った。

This project will examine the reproduction of creativity using artiﬁcial intelligence,using game content as the deliverable. The project will be divided into four majorgroups to examine artiﬁcial intelligence technologies suitable for various creative
contents such as "scenarios," "visuals," "systems," and "sounds" included in gamecontents, and to create games. In the ﬁrst semester, the concept of the game to becreated by the entire project was decided as "an open world game based on the themeof Alice in Wonderland," and each group learned the target automatic generation
elements, prepared learning models and data sets, and implemented the system thatwould serve as the foundation for game creation.

グループ活動 Group Works
システム班 / team: System【システムの開発 System Development】

音響班 / team: Audio【BGM の選択 BGM Selection】

システム班は、ゲームの基礎システムの開発・各班の成果物の統合・ギミックの自動生成の 3 つが目標である。開発環境は「Unity」で、
キャラ、
UI、
マップ、
ギミッ
ク担当が連携を取り行っている。

音響班は、インタラクティブミュージックの実現を目標としており、ゲームシーン
への没入感を上げるための BGM の作成、監修を行う。
The goal of the sound team is to realize interactive music, and they will create and supervise thecreation of background music to increase the immersion in the game scene.

【曲繋ぎの自動生成 Automatic generation of song connections】

The System Team has three goals: to develop the basic system forthe game, to integrate the work of each team, and to automaticallygenerate gimmicks. The development environment is "Unity," andthe teams in charge of characters, UI, maps, and gimmicks areworking together.

曲と曲の切り替わりをシームレスに行うための学習モデルの構築をメインで行って、曲ごとの自動ジャンル分け・類似度の選定を行う曲分類機を完成させた。それに伴い、上記の曲分類機のモデルを作るニューラルネットワーク及びニューラル
ネットワーク学習用の仮データベースを完成させた。

【ギミックの自動生成 Automatic generation of gimmicks】

We completed a song classiﬁer that performs automatic genre classiﬁcation and similarity selection
for each song by mainly building a learning model for seamless song-to-song switching. Accordingly,
we completed the neural network and the provisional database for neural network training to create
the model for the above song classiﬁer.

ギミックの自動生成は、マップに沿ったギミックの自動生成が目標である。そのため、著名なゲーム作品のギミックの要素を KJ 法で分析している。最終的には要素同士の選択・合成・変形をしてマップに沿ったギ
ミックの自動生成を行う。

The goal of the automatic generation of gimmicks is toautomatically generate gimmicks that follow the map. For thispurpose, elements of gimmicks from well-known game productions
are analyzed using the KJ method. Finally, the elements are
selected, combined, and transformed with each other toautomatically generate gimmicks that follow the map.

視覚班 / team: Visual

物語班 / team: Story【メインシナリオの執筆 Writing the main scenario】【CG アセットの制作 CG Asset Production】

物語班は、ゲーム内の世界観とシナリオの制作を担当し、エンディングと登場人物の背景史の自動生成を目標としている。

視覚班はゲーム内の CG アセットの制作を担当している。
The visual team is in charge of creating the CG assets in the game.

The storytelling team is responsible for the creation of the game's world andscenario, with the goal of automatically generating endings and backgroundhistories for the characters.

【キャラクターデザインと 3d モデルの自動生成
Automatic character design and 3d model generation】【背景史とエンディングの自動生成 Automatic generation of
background history and endings】

ゲーム中のキャラクターデザインと空想上の生き物の 3dモデルの自動生成を行う。キャラクターデザインは、容姿（顔と服装）の画像を文章から生成し、班員が描いたイラストを元にスタイル変換させてデザイン案の生成を試みる。空想上の生き物の 3d モデルは、「不思議の国のアリス」の異形の生物たちを目標に、複数のモデリングツールやア
ルゴリズムを探索した。

それぞれの自動生成アルゴリズムの作成のために、エンディン
グ担当と背景史担当に分かれてデータ収集・分析を行っている。
エンディング担当は主人公が別世界に行く過程のある作品を、背景史担当はトラウマを持つキャラクターを分析対象としている。また、分析作品は「アニメ化や賞に受賞・ノミネートされている認知度の高い作品」に限定した。

The project will automatically generate character designs and 3dmodels of imaginary creatures in the game. For character design,
images of appearance (face and clothing) will be generated from text,
and an attempt will be made to generate design proposals bytransforming styles based on illustrations drawn by team members. For
the 3d models of imaginary creatures, we explored multiple modelingtools and algorithms, targeting the deformed creatures in "Alice inWonderland".

進捗と課題 Progress and Issues
プロトタイプが完成
Prototype completed

・自動生成アルゴリズムが未実装

Automatic generation algorithm not yet built
・データセットが未完成
Data set not yet complete
・各班の成果物の統合

Integration of each group's deliverables

図 4.1

In order to create the respective automatic generation algorithms, the datacollection and analysis is divided into two groups: one for endings and theother for background history. The ending section focuses on works in which
the main character goes to another world, while the background history
section analyzes characters with traumatic experiences. In addition, theanalyzed works were limited to "highly recognized works that have been
animated or nominated for awards.

今後の展望 Future Prospects
システム班：ギミックの自動生成、各班の成果物の統合、プロトタイプで実装したステージ以降の開発
Automatic generation of gimmicks, integrating deliverables of each teams, developing after those implemented
in the prototype stage
視覚班 : イラストのデータセットの完成、３D モデルの自動生成に利用するツールや方法が決定、アイテムやオブジェクトの CG アセットの制作、UI テンプレートやキャラクターイラストの制作
Completion of illustration data set, determine tools and methods to be used for automatic generation of 3D models,creation of CG assets for items and objects, creation of UI templates and character illustrations
音響班：データベースの完成、曲繋ぎの完成
Database Completion, completion of song joints
物語班：背景史・エンディングの自動生成アルゴリズムの構築、メインシナリオの執筆

Building algorithms for automatic generation of background history and endings, writing main scenarios

中間発表用ポスター

図 7.1 のポスターの上部にはプロジェクト名・プロジェクト番号と班員・担当教員名を記載し，本プロジェクトが 4 つの班で構成されていることを明確にした．また，ポスターの本文には「プロジェクト概要」「グループ活動」「進捗と課題」「今後の展望」について記載した．プロジェクト概要

Group Report of 2022 SISP

- 45 -

Group Number 5

CreativeAIには本プロジェクトの目的や班構成，制作するゲームのコンセプトについて記載した．ポスター制
作当初は「ゲームのコンセプトに沿って新たな物語を自動生成する」ことをプロジェクト概要として記載していたが，これは手段であって目的は前述の通りであるためそのように修正した．グルー
プ活動には前期での各班の活動について，各班の領域に分割して記載した．こちらもポスター制作
当初はダイアグラムを用いて各班の連携を表現しようと努めたが，矢印等を使うと本文を記載するスペースがなくなるなどしてうまくいかなかった．そこで，本プロジェクトの担当教員からご提案いただいた Puzzle Radial List というダイアグラム案を参考にした．このダイアグラムはパズルを基調としており，ピースが噛み合う様子が各班の強固な連携を表現できると考え採用した．また，グループ活動の本文は各班に記載してもらうように要請したが，提出された本文の分量が班ごとに異なったため，それらを日本語で 200 字程度に収まるように添削した．その後添削した本文をポスターの各班の領域に記載したが，本文が日本語と英語だけでは見栄えが悪く見づらいという意見が担当教員から出された．そこで，本文の近くに添付することを想定して，各班に現状の活動内容がわかるような画像をいくつか提出してもらうように要請した．その結果，比較的進捗が成果物として反映されているシステム班や視覚班から，数枚の画像が提出された．音響班と物語班は成果
物が音楽やテキストであるため，自動生成アルゴリズムの構築に際し生じた画像や表を画像形式で提出してもらった．これらを活用することで，各領域のスペースをうまく活用して見やすいレイア
ウトを実現できた．進捗と課題には前期の活動を振り返り，プロジェクト全体で得た進捗と残った
課題についてまとめたものを記載した．プロジェクト全体で得た進捗としては「プロトタイプの完成」が挙げられたが，課題としては以下の 3 点が挙げられた．
・自動生成アルゴリズムが未実装
・データセットが未完成
・各班の成果物の統合
これらは前期の活動では実現には至らなかったが，後期を含めた 1 年間で達成する目標であるため，今後は実現に向けて活動を進める．今後の展望には各班で具体的な後期の活動方針についてまとめたものを記載した．上述した課題はプロジェクト全体での課題だが，ここでは各班で取り組むべき課題について詳細に記載した．このように「プロジェクト全体での課題」と「各班の課題」を分別して記載したことで，各班の課題解決がプロジェクトの達成と直結していることがわかった．
ポスターに関しては，レイアウトやダイアグラムといったデザインはおおむね見やすく作ることができた．特に白と黒を基調とした配色や，班ごとに設定したイメージカラーは後期の成果報告会でも継続して採用する．しかし，成果報告会では今回と同じ構成やダイアグラムを使用しない可能性があるため，今回のポスター制作に際しアドバイスいただいたことを活かして，プロジェクトの活動と並行してポスター制作を円滑に進めることができるように努める．
（※文責: 坂本珠凜）

4.2.2

発表用スライド

今年度は対面形式の発表だったため，聴衆に活動内容を理解してもらうべく、14 枚のスライドを作成した．作成時は予め各班の進捗を確認後，スライド制作担当者が 10 分で行うスピーチの内容を先に決定する方式を選択した．そこから各班でスライドの中身を作成してもらい，最終的にスGroup Report of 2022 SISP

- 46 -

Group Number 5

CreativeAI
ライド制作担当者がそれらを統合し，一つのスライドとして完成させた．スライドの内容は三つに大別でき，それぞれプロジェクトの概要，制作ゲーム内容，AI を用いた自動生成で構成されている．最初にタイトルと目次を載せたスライドを一枚使用し、プロジェクトの概要ではスライドを二枚作成した．最初のスライドでプロジェクトの目的と目的達成の意義について，次のスライドでプ
ロジェクトの進め方について説明した．制作ゲーム内容のスライドでは，制作予定ゲームのコンセ
プト説明とプロトタイプの動画の二枚のスライドを作成した．自動生成要素の説明のスライドは 8枚作成した．各班でメインとなる一つの自動生成要素が存在し，最初の一枚を用いて各班で扱った自動生成を簡単に紹介した．その後システム班一枚，視覚班，シナリオ班，音響班で二枚のスライドを使用して各班の自動生成要素の解説を行った．最後のスライドは最初のスライドと同じものを用いて，全体のまとめを行った．スピーチではプロジェクトの概要で 2 分，制作ゲーム内容で 2分，自動生成の内容で 6 分強となるよう設定していた．自動生成要素の説明では各班で発表者を選出した．時間がかなりギリギリで，伝えたいことが多く取捨選択を行ったが詰めきれない部分が存在した．そのため実際の発表では 10 分でおさまらないことが多々あった．
（※文責: 小林裕汰）

4.2.3

動画

中間発表までの作業内容を視覚的に表現するためにプロトタイプを作成し，それをプレイしている動画をデモ動画とした．当初、デモ動画の時間は３０秒であったが，中間までに完成させた見せたい部分をすべて動画に収めると，既定の時間からオーバーしてしまうことが分かった．そのため，一度録画したものを再編集し，デモ動画に充てる時間を 30 秒から 45 秒に調整した．デモ動
画の最後では，小屋ステージの続きである森ステージを，主人公が駆け抜けるアニメーションをUnity で作成し編集した．これは今後制作予定であるステージの１つに森のステージが含まれており，システム班の今後の展望を伝えるために，動画に加えた．
（※文責: 田中悠人）

4.3

評価

前述した聴衆からのアンケートで 47 名の評価を受けた．47 名の内，42 名が本学の学生を占め，残りの 5 名が本学の教員であった．評価の平均は前年度よりも高い数値となった．
発表技術についてコメントは 38 件の回答をいただいた．参考になるコメントの一例を以下に示す．
・全体的にグループ毎で内容がまとめられており分かりやすかった．ただし，ポスターは細すぎて読めない．また，スライドの 1 ページの量が多いためもっと分けてもいいかもしれない．
・原稿は見ないで発表をした方が良いと思います．
・文字が少し小さく，分かりづらかった．
・声がよく聞こえず，よく分からない部分があった．

Group Report of 2022 SISP

- 47 -

Group Number 5

CreativeAI
表 4.1

評価点

中間発表会の評価

発表技術

発表内容

1

0

0

2

0

0

3

0

0

4

1

0

5

0

1

6

6

3

7

11

4

8

13

17

9

11

13

10

10

9

平均

8.94

8.38

・発表資料の前に発表者が立っていたり，扇風機が置いてあったりして，資料が見えなかったです．
・スライドの文字が小さく見づらい部分があると感じた．
・スライドや説明が詳しさもあり，端的でもあって聞きたい部分をよく聞けたなと思います．
・せっかくポスターがあるのだから，うまく連動したらよいのでは？ (メインポスター)
・動画の使用によりイメージがしやすかった．スライドも必要なことだけ記載されていて見やすく
わかりやすかった．
・全体的にグループ毎で内容がまとめられており分かりやすかった。ただし、ポスターは細すぎて読めない。また、スライドの 1 ページの量が多いためもっと分けてもいいかもしれない
・スライドに動画を埋め込んだりして、飽きないような工夫を感じられた全体としてプロトタイプの動画に関しては好評であった．スライドについては賛否両論であった．わかりやすいと意見もあれば文字数が多い，この量では理解しきれないなどの率直な感想が多かった．ポスターについては文字が小さいとの意見が多かった．発表では主にスライドを利用し，直接ポスターについて言及せず，より詳細が知りたい人のために用意していたため，近づかないと見えないという齟齬が生まれてしまったと考える．また話し方については声が小さい，原稿を見て発表しているなどの評価が多くみられた．
発表内容についてコメントは 39 件の回答をいただいた．参考になるコメントの一例を以下に示す．
・非常に面白い発表だと思います．AI のどの技術を用いて実装するかについて説明してもらえるGroup Report of 2022 SISP

- 48 -

Group Number 5

CreativeAIとより良いと思いました．
・プロジェクトの紹介や概要，目標の有意性等を具体的に説明しており，何をやるプロジェクトなのかを深く理解できた．
・AI を用いた創造性の再現とは？目的と作っているアプリの関係は？どうなったら AI を用いた再現性を検討できたと言えるか．
・千と千尋とアリスを比べていた図がイマイチよくわからなかった．帰る帰らない等の説明が欲しかった．
・自動生成のダンジョンなどを冒険するゲームはすでに存在するので，どう差別化するかが気になります．でも顔やキャラクター，テキストまで自動生成するものはなかなかないと思うので完成が楽しみです．
・グループごとにではなく，プロジェクトで内容ごとに担当を分けて一つの成果物を作るという点が自分のプロジェクトと違って興味深いと思いました．デザインのポスターが個人的に好きです。
どんなシナリオになるのか楽しみです．もっと今後の活動を知りたいです．実際にゲームしてみたいです．
・現在の状況と今後の展望がしっかり書かれているので，わかりやすい発表だなと感じました．AI
との関連性をもっとスライドに組み込んでくれるともっとわかりやすいかなとも感じました．
・内容は興味深かったがあえて AI を使う理由がいまいち伝わらなかった．
・深層学習の量に注目したい．期待してます．
・自動生成が AI 要素？マップギミックの自動生成なら、ローグライクが参考になる？キャラク
ターのアイディアだしのための自動生成？実際のゲーム中のキャラクターの自動生成？自動生成でそのアルゴリズムを取りあげた理由は？背景史はなにに使う？エンディング生成との関係は？マル
チエンディングはどう作る？ (最後はテキスト出力？それはゲームでどう使う？)

BGM の自然なつながり？（切り替えはどのようなタイミングを想定？ゆるくつなぐでよいの？）
全体として好意的な意見が多く，今後の成果に期待するような内容が大半であった．また，少量ではあるが今回の発表で伝えきれなかった内容についての疑問や，根本的な課題についての指摘もあり，後期の活動で参考になる意見も見られた．
（※文責: 小林裕汰）

Group Report of 2022 SISP

- 49 -

Group Number 5

CreativeAI

第5章

前期の反省と後期の方針

5.1

システム班

5.1.1

前期反省

前期では，最初に Unity の使い方についてメンバーで確認した後，制作ゲームのプロトタイプである小屋ステージの制作を目標に、メンバーを、ギミック担当・キャラクター担当・マップ担当・

UI 担当の４つに分け，作業を行った．メンバーの中には，初めて Unity を使う人もいたため，本格的な制作や話し合いを行う前に，Unity のチュートリアルを通して使い方を学ぶことで，今後の制作のイメージづくりを行うことができた．プロトタイプの制作では，主要な要素ごとに担当を分けたことで，それぞれの役割と成果物を明確にできた．作業中は他班と，世界観やゲーム内の要素などについてまめに話し合いや情報共有を行い，制作しようとしているゲームの方向性がぶれてしまわないようにした．また，担当ごとの成果物を１つに統合する際に，データの競合が起こってしまったため，成果物の統合に手間取ってしまった．また，それに伴い，メンバー 1 人に作業量が偏ってしまった．そのため，今後，データの受け渡しや，作業量の分担について工夫が必要である．また，前期はプロトタイプの制作をメインに行っていたため，ギミックの自動生成システムの開発に着手することができなかった．
（※文責: 新屋拓海）

5.1.2

後期方針

後期では，主に，プロトタイプ以降のステージ制作と，ギミックの自動生成システムの２つの作業を主として行う．

プロトタイプ以降のステージ制作では，森・城ステージの制作をメインに行

う予定である．また，それと同時に，他班からの成果物や自動生成システムをゲーム内に統合する作業を同時に行う．また，作業を行うに当たり，前期の反省点であった，作業量の偏りとデータ受け渡し時のデータ競合の改善のために，後期では，メンバー 1 人 1 人の作業量とデータの共有方法の見直しをする．ギミックの自動生成システムでは，前期に着手することができなかったギミックのデータ収集および分析を行う．そして最終的に，ゲーム内ギミックを自動生成するシステムの実装を目指す．また，前期に引き続き，他班との話し合いや情報共有をまめに行うことで，最終的な成果物の方向性がぶれないよう努める．
（※文責: 新屋拓海）

5.2

視覚班

5.2.1

前期反省

前期の活動から，分かったことは以下の通りだ．まず，CLIP を利用する際に入力するテキスト
によって出力されるデータが異なることが分かった．そこで，出力をより狙ったものにするため，Group Report of 2022 SISP

- 50 -

Group Number 5

CreativeAI
入力するテキストの調整が必要になる．どのようなテキスト入力がより効果的なのか模索していかなくてはならない．次に，イメージ共有の重要性が分かった．イメージを共有することでゲーム制
作全体の流れの方針を示すことができる．また，前期の活動の問題点もある．それはデータセット
作成の方針を変更する必要があるということだ．現在の方針は最低 100 枚のデータセットを作成する予定だ．その内容は年齢は 6〜18 歳くらいの見た目の男性キャラクターのイラスト 50 枚、女性キャラクターのイラスト 50 枚だ．しかしデータセット作成は滞っており，入力するデータが 45枚の今でも十分にスタイル変換が可能だ．そして，今後データセットを増やすことによって出力に変化はあるのか，データセットは各キャラクターでそれぞれ用意しなくていいのかという課題が浮かび上がってきた．これらのことからデータセット作成の方針の変更を検討しなくてはならないという結論に至った．
（※文責: 坂上翠）

5.2.2

後期方針

後期のキャラクターの自動生成の方針は以下の通りだ．まず，画像やモデルを生成する際に，ある程度ゲームに適した形で出力できるように入力するテキストを調整する．そして調整の仕方に一定の法則を見つけ出す．次に，キャラクターの顔のデザインの自動生成で用いるデータセットの作成についての方針を検討する．最後に，キャラクターを自動生成した後は，自動生成されたものを実際にゲームに組み込める形まで人の手でブラッシュアップをしていく．素材づくりの方針は以下の通りだ．ゲーム実装を進めるにあたり，UI やキャラクターの立ち絵などの 2D 素材，キャラク
ターや小物・オブジェクトなどの 3D 素材の制作作業が増えると予想できる．まず，キャラクター
や小物・オブジェクトの見た目や雰囲気，立ち絵の表情差分は，シナリオの描写に関わる要素だ．
このことから特にシナリオ班との連携が重要である．また，2D 素材/3D 素材共に，ゲームシステ
ムに問題なく組み込める規格に合わせる必要がある．これはシステム班との連携が必要である．このように，適宜他の班と情報共有を行いながら，必要な素材の種類やフォーマットなどを把握管理し，各種素材の制作に取り掛かっていく予定だ．
（※文責: 坂上翠）

5.3

音響班

5.3.1

前期反省

前期では音響班による AI による自動生成要素について検討し，様々な案をだすことができた。
そして早い段階で前期の目標を設定することで作業への取り掛かりも早めることができた. 5 月では音響分析についても勉強を行いつつ，具体的な作業の検討を行った．具体的には，前期の目標である状況に応じたシームレスに BGM が変化するインタラクティブミュージックの実現方法について検討した．実現方法の模索段階では，音楽的な手法で解決するのか，技術的手法で解決するのかで難航し，少なくない時間を有した．その後のインタラクティブミュージックの実現のための作業分担がうまくいかず，班員間の負担がバラバラになってしまう問題もあった．また，他班との情報共有の意識が高くなく，進捗報告の際に正しく活動内容について伝えることができていなかった．
後に，グループ全体での活動内容について共有するのではなく、個人の活動内容をそれぞれ報告すGroup Report of 2022 SISP

- 51 -

Group Number 5

CreativeAIることで、他の班との情報共有の精度を改善することに成功した．終盤の中間発表会の際には，他の班の制作物をまとめたプロトタイプの作成が必要になった．この際に音響班全体ではなく，一人の班員にその作業を一任してしまった．
（※文責: 小林裕汰）

5.3.2

後期方針

後期では，前期での反省を踏まえて作業分担を見直し班員の負担を均一化する．それに加えて，
インタラクティブミュージックを制作を行い，実際のゲーム上の動作環境でのインタラクティブ
ミュージックの実装を行う．具体的には，作成したインタラクティブミュージックをプレイヤーの行動やシナリオ展開に応じて正しく動作させるシステムを新たに生成する．それ以外にも，前期の段階で検討していた，キャラクターごとの専用 BGM の自動選定にも取り掛かる．具体的には、キャラクターと使用できる BGM にパラメータを設定し，そのパラメータに近いキャラクターと曲を紐づける．昨年も同じことを行っているため，新たなパラメータを追加したりなどして精度を上げていく．そして，最終的に他班の制作物と合わせ，完成品を組み立てることを視野にいれて，早い段階から他班との情報共有を行い，ゲームを完成させる．
（※文責: 小林裕汰）

5.4

物語班

5.4.1

前期反省

物語班は背景史担当とエンディング担当に分かれて活動しているため，中間発表会やポスター，
中間報告書の制作に向けて物語班全体の進捗をまとめるのが大変だった．背景史担当はデータ収集に時間がかかった．これは，制作するゲームに必要な「現実逃避しているキャラクター」の要素や「一般的に完成度が高い作品」の選別について話し合う時間が長くなってしまったことと，データの収集量の目標を 100 としていたためだ．また，データ収集後のフォーマットの作成にも時間がかかった．これは，フォーマットをデータの収集量が増えるごとに繰り返し改良を重ねているためだ．これらの要因から，前期はデータ分析に着手することができなかった．現状としては収集したデータをカテゴライズし，データ分析に向けてフォーマットを調整している段階だ．エンディング
担当はデータ分析に着手しているが，収集したデータ量が少ない．これは作品の収集基準が「日常から非日常に遷移する物語」かつ「一般的に完成度が高い作品」であり，基準を満たす作品が少ないためだ．データ数の少なさは抽出したパターンの有意性の程度に直結するため，データ収集の強化が必要だ．
（※文責: 坂本珠凜）

5.4.2

後期方針

引き続き，背景史班とマルチエンディング班の二班の形式で活動を行っていき，ストーリー作成
については，担当者が進めていく．まず，物語班全体の後期方針としては，完成したメインシナリGroup Report of 2022 SISP

- 52 -

Group Number 5

CreativeAI
オに背景史とマルチエンディングの自動生成の成果物を統合することを方針とする．メインシナ
リオは，完成するコトを基本に，マルチエンディングに合わせた物語の執筆を行い、背景史の生成ができしだい，その背景史を匂わせる文章を作成して行くことを後期の具体的な方針として定める。背景史では，シナリオ班全体の方針に向けて自動生成を行うコトが大きな方針となる．そのため，自動生成を行うアルゴリズムを生成することが基本の方針となる．以上を満たすためにまず，前期でも行っていたデータの分析を続行する．現在，分析が途中である作品を分析することで作品数をさらに増やし出力データの安定を計る．また，収集したデータにおいてテキストの部分がある
ため，この部分の属性を分割を行いベクトルでの表現をしやすいようにする．また，既存のデータのデータフォーマットが決定していない部分があるため，その部分の決定を行っていきたいと考えている．同時進行で、データが有意かどうかを統計的な処理をしながら判断し適宜データアセットの増強とデータフォーマットの改良を行う．以上のようなデータから背景史を出力するアルゴリズ
ムを構築していく．マルチエンディングでは，物語のマルチエンディングを自動生成していくことを後期の主な方針とする. 現在、出力している相関係数などから得た結果からデータフォーマット
の改良を逐次行っていく. また，改良したフォーマットを用いてそのほかにもデータの解析を行う予定である. また，データ数との兼ね合いからデータとして採用する作品の基準を大幅に下げるかどうかを決定するコトも後期方針として盛り込まれる。特にアニメ化している作品を分析データに入れるかどうかは、後期において決定する内容となる。データの分析においては，相関分析の他にもいくつか検討中の段階であり，データ数の兼ね合いによって背景史班と同様の分析手法をめどに分析活動の決定とそれを元にした分析活動を行う. 以上で得たデータを用いてマルチエンディング
を自動で生成するアルゴリズムを完成させるコトを後期の具体的な方針とする.
（※文責: 西村秀幸）

5.5

全体

5.5.1

前期反省

全体での前期の反省点をあげていく．今期では制作するゲームの大まかな方向性が決まりメン
バーをグループに分けた後，各グループにプロジェクトの大まかなグループレベルでのスケジュー
ルを計画してもらった．この作業は各グループの今後の方針をより具体的にすると同時に，別グループの作業計画も理解してもらいスムーズなプロジェクト進行を図るものであった．前者のグループの活動方針の具体化は比較的どの班もうまく行えていたようにうかがえた．
教員からの指摘があった点で，個人やグループの週報，議事録の内容が詳細に書かれていないことが挙げられる．その日行ったことをただ書くのではなく，具体的にその作業に至った経緯や活動状況についてより具体的に記載すべきだった．週報や議事録のクオリティをあげることは，プロジェクトの進捗管理と報告書の質を上げることにつながる．
各班，完璧に計画道理の進行が行われているわけではないが，中間発表の段階である程度，計画目標としていた段階まで作業を進められていたようにうかがえた．前期では各グループがスムー
ズに作業が進み，別グループの進捗が遅れることによる作業の中断などは比較的少なかった．しかし，後期になると，実際にゲームとして各班が担当している要素を組み込んでいく作業が増えていき，グループ同士の進捗が大きくプロジェクト全体の進捗に関わってくる．その点などを踏まえると，グループやそのメンバーのタスクがどれだけ残っているのかをメンバー一人一人が理解しておくのが望ましいだろう．そのためにもメンバーの進捗をいつでも確認できるツールや，より状況把Group Report of 2022 SISP

- 53 -

Group Number 5

CreativeAI
握がしやすい議事録を記録していく必用があるだろう．
（※文責: 穂積佳）

5.5.2

後期方針

前期の反省を踏まえ，後期に向けて作業スケジュールの見直しを行いたい．大まかなスケジュー
ルから，月レベルの細かなスケジュールを決めていき，班同士で共有を行う．この作業は 1 度で終わるものではなく，定期的に行うことで，各班の進捗のズレやスケジュールの荒を見つけ出す作業に繋げていきたい．そのため，Google カレンダーやエクセルシートなどのツールをうまく活用していきたい．
また，前期では連絡や，オンラインでの会話に Slack を利用していたが，Slack の仕様が 9 月以降に変更される予定が発表されており，今後のプロジェクトにそぐわない可能性があるので，Slackの代替ツールを探す必要がある．
ほかにも後期の活動を行っていくにあたり，様々な問題点，反省点が新たに生まれることが予想されるが，それらをうまく改善して円滑なプロジェクトの運営に努めていく．
（※文責: 穂積佳）

Group Report of 2022 SISP

- 54 -

Group Number 5

CreativeAI

第 6 章 成果発表までの開発
6.1

システム班

6.1.1

マップ

6.1.1.1

森

小屋マップを攻略すると森マップに進むように初期は想定していた．しかし，製作にかかる時間と工程を改めて見直し，物語班と話し合った．その結果，森マップよりエンディングに関わる城
マップを先に製作することに決定した．また，城マップを製作していくにあたり，森マップの製作に着手することが難しいと判断し，森マップの製作は行わず，イベントのみで進めることとした．
今後の予定として森マップを新たに作り，イベントと差し替えることで作品の完成度を高めていきたい．
（※文責: 住吉聖也）

6.1.1.2

城

城マップに関して，前期の小屋マップ製作の反省を活かして Unity 内での建物製作では無く，モ
デリングソフトの Blender を利用して製作した．そして，城マップは 1 階，2 階，そして地下や謁見の間など複数の部屋が存在する．そこをキャラクターが行き来するため，同一のシーンに部屋を配置するとアセットの関係などで動作が重くなってしまう恐れがある．よって今回作成した城マップは複数のシーンにそれぞれ 1 階や 2 階などを配置し，シーンを分けて管理する様にした．
城マップ製作の手順として，まず部屋の形の仮モデルを作成し，Unity 内に仮配置する．次にキャラクターとの縮尺を確認して問題がなければ，Blender で再度ディティールアップをする．形が完成し次第，順次 Unity に取り込み，Unity 内で家具などのアセットを配置した．また，壁紙や床に関しては小屋マップでは Unity 内でテクスチャを貼り付けていたが，城マップは Blender 内
で UV 展開をしてテクスチャを貼り付けることとした．
城マップを製作するにあたり，小屋マップで発生したような壁をすり抜けてしまうバグや，ア
セットと壁の境目をキャラクターが登ってしまうようなバグは発生しなかった．また，Blenderで製作したオブジェクトは.blend 形式で Unity に取り込むことができ，製作したオブジェクトをUnity に合うように変換しなくてよいため，かなり効率よく進めることができた．

図 6.1

図 6.2

城の部屋の内装

Group Report of 2022 SISP

- 55 -

城の一階の内装

Group Number 5

CreativeAI（※文責: 住吉聖也）

6.1.1.3

城設計

城の形は西洋の城のような作りを想定した．小屋とは作りを大きく変えて，階段や部屋を増やし
豪華な城を作り上げた．また，イベントで必要な牢屋に関しては鉄格子を作り，地下であることをイメージしたため階段を下るような設計とした．
外観に関して，視覚班と話し合い余裕があれば製作してもらう予定であった．アセットで最低限の城オブジェクトが見つかったため，現在はそれを設置している．また，視覚班が新たな城オブジェクトを製作した場合，置き換えることは容易であるため，アセットの城は仮設置としている．
地面は前期に引き続き Unity の Terrain を利用した．シナリオの関係上，城へ向かう道とは別に裁判所へ向かう道があるような設計とした．これは，地下牢にさえ行っていれば，城を全て探索しな
くてもエンディングを迎えられるようにするためである．外の世界観は落ち着いた印象で，明るさを抑えるようにした．今回のストーリーにとって城というものは，重要なアイテムやキャラクター
がいる場所である．また，シナリオ的にも真相が分かる場所でもあるので，それに合わせた外観を製作した．
城内部の設計として，まず城に入ると正面には大きな階段が設けられている．これは西洋の城や宮殿のイメージとして合っているものを調べ，画像を元に設計した．階段の中間程まで登ると，一度踊り場があり，そこから左右両方に階段が枝分かれしているような設計である．1 階は部屋というより城のエントランスというイメージが強かったため，階段以外のオブジェクトは造形していな
い．また，1 階に隣接するように料理部屋を作り，1 階の階段横の壁にドアを設置して行き来できる様にした．キッチンは地下牢に行くために必要だったため製作した．料理部屋は，階段のある 1
階の大きさを目立たせるためあまり大きな作りにはせず，キッチンと戸棚があるといったシンプルな作りにした．階段を登ると 2 階へ遷移するようになっている．2 階は，部屋が 2 部屋ある造りである．特に部屋数の指定はなかったが，造りやすさと探索のしやすさを考慮して 2 部屋製作した．

2 階の壁に付いているドアを開けて入ると謁見の間に行けるようにした．謁見の間では特にイベン
トはなく城を設計する上で，大きな謁見の間を設置すると世界観がディティールアップできると考えた．また，探索してアイテムを集めることが重要であるため，広い部屋などはアイテムの置き場所としても有効活用できると考えた．謁見の間を奥に進むと女王の部屋に行ける様になっている．
女王の部屋は，女王に関する重要なアイテムを置く予定だったため，部屋を作った．城の造りとしては以上であり，階段のある一階，料理部屋，地下牢，2 階 (2 部屋)，謁見の間，女王の部屋といった部屋数となった．小屋は 3 部屋しかなく，またキャラクターと比較しても小さかったため，城はかなり大きく，そして広く作ることが出来た．
城の製作方法として，Blender を利用して部屋の大体の形を造り，そこからキャラクターの大きさと比較して細かく調整していった．前期作った小屋の最初の部屋は円形であったが，円形はドア用の穴を壁に開けるのがかなり難しく手間がかかってしまったので，城製作では，なるべく四角形などの平面を多用した作りとすることにした．また階段は Blender の機能である階段を生成できるツールを利用したのだが，形がシンプルになり過ぎてしまった．しかし，視覚班の Blender に詳しいメンバーに部屋のモデルを渡し，形を調節してイメージに沿った造りに改良することを手伝ってもらった．
（※文責: 住吉聖也）

Group Report of 2022 SISP

- 56 -

Group Number 5

CreativeAI

図 6.3

6.1.1.4

図 6.4

城の女王の部屋の内装

城の外装

城マップのシーン遷移

前期製作した小屋マップは，全ての部屋が廊下で繋がっているため，マップに関してのシーンは一つであり，遷移はシナリオに移る場合のみであった．後期製作した城マップは，部屋ごとにシーンを分けて作ったため，例えば，「1 階から 2 階に上がる時」や「2 階から謁見の間に進む時」など
でシーン遷移を行う必要性が生まれた．通常シーン遷移をすると遷移先のシーンが初めからロードされる．そこで，キャラクターの開始位置が固定されてしまう問題が発生した．今回作りたいゲー
ムでは，部屋を行き来することや，一度訪れた部屋に何度も来られることを想定している．例えば，2 階は 1 階とも謁見の間とも繋がっている．そのため，「1 階から 2 階に遷移した時」と「謁見の間から 2 階に遷移した時」では，キャラクターが出現する位置が違わなければいけない．通常のシーン遷移では，シーンを保存した時の情報がキャラクターの初期位置となるため，階段にキャラ
クターがいる状態で保存した場合，謁見の間から 2 階にシーン遷移すると，ドア前ではなく関係のない階段の上にキャラクターが出現することとなる．Web サイトなどで Unity のシーン遷移について調べても，一方向のシーン遷移は多く記事になっているが，行き来するようなシーン遷移の情報はほぼ無いといった結果だった．よって，シーン遷移に関するスクリプトを自分で考え，実装することにした．問題は，キャラクターの出現位置である．つまり，何らかの形でキャラクターの位置を保存したり，指定したりすることができれば，遷移が上手くいくと考えた．
シーン遷移のスクリプトに関して具体的に記述する．まず，遷移に必要なオブジェクトを２つ用意し，これを一つのセットとして考える．一つはキャラクターの位置を指定するためのオブジェク
トである．ここでは仮に位置オブジェクトと呼ぶ．もう一つは，スクリプトが付属したシーン遷移をするためのオブジェクトである．ここでは，遷移オブジェクトと呼ぶ．まずゲームが始まると，スクリプトが起動し，キャラクターを初期の位置へ移動させる．キャラクターが移動し，遷移オブジェクトに触れると，指定したシーンへ遷移する．遷移先では，再度スクリプトが起動し，キャラクターをそのシーンの位置オブジェクトの位置へ移動させる．これは，戻ってくる場合でも同じように適用される．これらのオブジェクトはプレイヤーが現在いるシーンから行くことが可能なシーンの数だけ，このオブジェクトセットを配置する．例えば，2 階の場合は一階に行くためのオ
ブジェクトセットと，謁見の間に行くためのオブジェクトセットが必要となる．そして，2 つ以上
オブジェクトセットを置く弊害として，遷移先のシーンに位置オブジェクトが２つあるのでキャラ
クターの移動先が被ってしまう問題が発生した．この問題には遷移前のシーンを記録し，それに合わせた位置オブジェクトを選択するようにスクリプトを改良することで解決した．このシーン遷移のオブジェクトセットとスクリプトさえあれば，どのようなマップでもシーンの行き来が可能になり，汎用性のあるシステムが完成することができた．
（※文責: 住吉聖也）

Group Report of 2022 SISP

- 57 -

Group Number 5

CreativeAI

6.1.2

キャラクター

6.1.2.1

３ D モデルの差し替え・取り込み

成果物の統合に当たり，前期で使用していた仮３ D モデルを，視覚班が後期に制作した正規３

D モデルへ差し替える作業と前期に統合できなかった３ D モデルの取り込みを行った．差し替えを行ったのは，アリスと白うさぎのモデル，また，新たに Unity 内に取り込んだのは，チェシャ猫と女王のモデルである．これらのモデルについては，前期と同様に、視覚班が３ D キャラクター制
作ソフトウェア「VRoid Studio」を用いて作成を行った．また，Unity 内での動作も，前期と同じ
く，Unity の「Animator」機能と，Unity の拡張ライブラリである「UniVRM」を利用した．また，トランプ兵の 3D モデルも仮モデルからの差し替えを予定していたが，モデルの統合作業が発表会直前になってしまった影響で作業を終わらせることができず，成果発表会の時点では，統合を行うことが出来なかった．
（※文責: 新屋拓海）

6.1.2.2

瞬き機能の追加

後期では，トランプ兵のモデル以外のアリス・白うさぎ・チェシャ猫・女王の４つのモデルに対して瞬き機能の追加を行った．この機能は，各キャラクターに組み込まれた「AutoBlink」ス
クリプトによって実装されている．VRoid Studio で作られたモデルには顔の部位や，喜怒哀楽などに対応したパラメータが設定されており，これにより顔の表情を自由に変えることができる．

AutoBlink スクリプトでは，そのうちの目の開閉を管理するパラメータの「fcl EYE Close」を制御しており，ゲーム内の経過時間が，予め設定した瞬きの発動時間である「blinkTriggerTime」変数よりも大きくなった時に，「CloseEye」関数と「OpenEye」関数を用いて制御し，機能を実装した．また，瞬きを行う際，関数を呼び出すごとに、blinkTriggerTime の値に 5.0 から 10.5 までのランダムな実数を代入することで、一定の感覚ではなく，不規則に瞬きを行うようになり，より自然な瞬きを実現した．
成果発表会時点では，予定していた全てのキャラクターに機能を実装できたが，一部キャラク
ターで，目をつぶった際に表情が不自然になってしまうことがあった．
（※文責: 新屋拓海）

6.1.2.3

主人公制御スクリプトの改良

後期では，前期に引き継ぎ・改良を行った「PlayerContoller」に対し，さらに何点か改良を行った．まず，ジャンプ機能の廃止である．前期の地点で森ステージにアクション要素のあるギミックの作成が予定されており，このことから，主人公のアクションの１つとして「ジャンプ」が実装されていたが，制作工程に置いて，城ステージを優先的に制作し、森ステージを会話イベントのみで進めるということをメンバーとの話し合いで決定したため、ジャンプ機能が必要では無くなり，結果的にジャンプ機能が廃止された．また，それに伴い，Animator にあったモーションや，プレイ
ヤーの状態を表す列挙型変数である Status の中の列挙定数「Stop，Move，Run，Jump，Event，Pause」のうち，機能として無くした「Jump」の定数を消去した．次に，走る動作の修正である．
前期の地点で既に走る動作は実装されていたが、走る動作中，マウスの右クリックボタンを押したGroup Report of 2022 SISP

- 58 -

Group Number 5

CreativeAI
まま，入力していた W キーを離すと、その場でキャラクターが走り続けてしまうというバグが残っていた．そのため，後期では，条件文を追加することによって，走る動作のバグを修正することが出来た．さらに、変数の整理も追加で行った．前期の地点では，会話ウィンドウの表示を管理するための「WindowController」の関数を「PlayerController」から参照するために「myWindow」変数が宣言されていた．しかし，統合の際に変数に紐付けされていたオブジェクトの参照が無くなったことによるエラーの多発や，会話イベントの仕組みその物が，会話ウィンドウの表示・非表示による切り替えから，シーンそのものの切り替えによる会話イベントの実装に変わったことから、変数が必要では無くなり，消去した。他にも、機能として必要では無くなったものや、変数の型の変更が必要になったものに対しては、変数の消去や整理を行った。これにより，スクリプトひとつでプレイヤーの動きが完結するようになり、統合を行う際にも，前期よりもスムーズにプレイヤーオ
ブジェクトの受け渡しができるようになった．成果発表会時点では，中間発表時から作成を続けていたものをゲーム内に統合し，実際に動かすことに成功した．一方で，ゲームの進行上問題はない
が，プレイヤーの挙動やモーションに軽微なバグが残ってしまった．
（※文責: 新屋拓海）

6.1.2.4

NPC の制御

中間発表後，新たに城ステージに配置する NPC を制御するスクリプトを制作した．もともとは森ステージ及びそこに登場する NPC も制作予定であったが，前述の通り，制作工程に置いて城ス
テージを優先的に制作し，森ステージを会話イベントのみにすることになったため，森ステージに登場する NPC の制作は行わなかった．成果発表会では，白うさぎ・チェシャ猫の３ D モデルを
ゲーム内の小屋や城に配置し，実際に動かすことができた．しかし，女王に関しては，モデルや機能は完成したがゲーム内に配置することはできなかった．また，トランプ兵に関しては，機能は完成したが，6.1.2.1 で記述した通り，３ D モデルの差し替えができなかったため，こちらもゲーム
内への配置はできなかった．以下では，小屋・城ステージに登場する NPC の 3D キャラクターモ
デルの制御及び改良点についての詳細を説明する．
（※文責: 新屋拓海）

6.1.2.5

小屋 NPC

小屋ステージには，中間発表時と同様に，白うさぎが NPC として登場する．中間発表の地点では，会話イベント機能と待機モーション機能の２つの機能がついていたが，会話イベント機能の仕組みが，会話ウィンドウの表示・非表示による切り替えからシーンそのものを切り替えになったことで，実装方法を変更することになり，NPC についていた LoadText スクリプトが不要になった
ため，会話イベント機能を廃止した．成果発表会地点では，待機モーション機能に加え，キャラク
ターの自動瞬き機能を実装した．待機モーション機能に関しては，前期同様，ゲーム内で一定の時間が経過すると３ D モデルが伸びをするなどのモーションを行うスクリプトを作成し NPC に紐づけしている． 前期の地点で、待機モーションが途中で終わってしまうなどの不具合があったが，後期では，アニメーション遷移を見直し，狙ったタイミングでモーションが発生，また，モーショ
ンが途中で終わらないようにすることができた．自動瞬き機能に関しては，6.1.2.2 で記述した通り，設定した時間ごとに瞬きをする機能を追加した．

Group Report of 2022 SISP

- 59 -

Group Number 5

CreativeAI

図 6.5

改良後のアニメーション遷移図（※文責: 新屋拓海）

6.1.2.6

城 NPC

城ステージにはチェシャ猫・女王・トランプ兵が NPC として登場する．チェシャ猫，女王に関しては，白うさぎと同様に，待機モーション機能・自動瞬き機能が付いており，ゲーム内で一定の時間が経過するとモーションや瞬きを行うようになっている．また，トランプ兵に関しては「CardSoldierContoller」スクリプトが組み込まれている．このスクリプトでは，キャラクターをある一定の地点まで移動させることができる「NavMeshAgent」という Unity の機能を利用し，設定した複数の地点を障害物を避けながら巡回する機能を実装している．具体的には，巡回させたい座
標を保存しておくための List 型変数「pointList」に座標を何箇所か入れておく．その後，スクリ
プトを動かすと，「GotiNextPoint」関数により，pointList に入った座標が目的地に設定され，その場所に向かってトランプ兵が動くようになる．目的地に付くと，再度 GotoNextPoint 関数が呼び出され，目的地が再設定される．これを繰り返すことにより，トランプ兵が城内を見回りしているような動きを実装することができた．また，このスクリプトには，プレイヤーが近づくことで，動きを一時停止させる機能がついている．この機能は，衝突を感知する「OncollisionEnter」関数
を用いて実装しており，プレイヤーが近づいた時に，トランプ兵の目的地をプレイヤーの座標にすることで，その場にトランプ兵をとどまらせるような挙動を実装することができた．
（※文責: 新屋拓海）

6.1.2.7

今後の展望

今後の展望として，まず，主人公制御システムに関しては，残ったバグの修正を行うと同時に，システムのブラッシュアップ作業を行う．次に，瞬き機能に関しては，一部キャラクターで発生した瞬きの不自然さを解消できるよう，スクリプトの改良や視覚班と協力してモデルの改良を行う．
最後に，NPC に関しては，トランプ兵がゲーム内で NPC として機能するよう，３ D モデルの統合作業やスクリプトの改良を行っていきたい．また，白うさぎ，チェシャ猫，女王の３キャラク
ターについては，モーションパターンの追加や表情の追加などを行い，ゲーム内への実装を行ってGroup Report of 2022 SISP

- 60 -

Group Number 5

CreativeAI
いく．
（※文責: 新屋拓海）

6.1.3

ギミック

ここでは，ギミックについての説明を行う．
（※文責: 田中悠人）

6.1.3.1

城

後期は城エリアの作成を行った．森エリアは時間の関係上作成することができなかった．そのため，森エリアを飛ばして城エリアを作成した．城エリアでは，会話イベントや階移動のシステムを組み込んでいる．以下では，城エリア作成の細かい内容について説明を行う．
（※文責: 田中悠人）

6.1.3.2

エリア作成

システム班では，「UI」「ギミック」「キャラクター」「マップ」という役割で分担している．城エリア作成では「マップ」の担当者が Blender という３ D モデルを作成するアプリケーションを用いて作成を行い，「城の前の庭」「城の一階部分」「城の二階部分」「謁見の間」「女王の屁鵜や」「牢屋」の 6 個の部屋を行き来できるように統合した．部屋を行き来するためのシステムは，マップ制
作担当者が作成していたものを組み込んだ．組み込んだ方法として，特定の位置にプレイヤーが来ると特定の位置に移動するというスクリプトを C#で作成されていたものを Unity に組み込んだ．
（※文責: 田中悠人）

6.1.3.3

自動生成

ここでは自動生成について説明する．後期ではギミックのアイデアをもとに，ギミックの出現場
所を提案するシステムの構築を行った．
（※文責: 田中悠人）

6.1.3.4

ギミック自動生成の背景

ギミックはゲームの中で最も面白い要素である．しかしそんな中，マップに沿ったギミックの自動生成は過去に事例がない．そこに新規性を感じギミック自動生成システムの構築を目的とし，制作に取り組んだ．
（※文責: 田中悠人）

Group Report of 2022 SISP

- 61 -

Group Number 5

CreativeAI

6.1.3.5

ギミックの分類

ギミックには様々な種類がある．その中で，今回の自動生成でどのギミックを作成して用いるのかを，KJ 法という方法を用いて考えた．KJ 法とは，「断片的な情報・アイディアを効率的に整理するために用いられる手法」である．大きめの模造紙と，付箋を用いて KJ 法を行った．KJ 法ではまず，付箋に思いつくマップギミックを書き出していった．それはチームメンバー全員で行い各々が思いつかなくなるまで，書き出しを続けていった．全員が書き出し終わったら，付箋に書いてある内容ごとに分類分けをした．分類分けしたものの中から，どのマップギミックを選択し作成していくのかを決定するために話し合いを重ねた．マップギミックの分類を進めたことによって，「アイテムなどを集める，収集系」「物を移動させる・壁を壊すなどの，アクション系」「スイッチギミック・物の大きさ操作などの，操作系」「落とし穴・動く床などの，トラップ系」「パズル・暗証番号などの，謎解きパズル系」の五つの系統に分けることができた．
（※文責: 田中悠人）

6.1.3.6

ギミックの種類決定

ギミックの種類決定にあたり，先ほどあげた５つの系統の中からどれを選択するのが良いかを思考した．それぞれの系統での良い点や悪い点についてそれぞれ出し合い決めていった．その結果，様々なゲームを基に収集できるデータ数が多く，ギミックの要素分解や組み合わせる等のギミックの派生が行いやすいという点が利点として挙げられたため，収集系ギミックの中の特にお使いギ
ミックを自動生成の対象に使用という事に決まった．お使いギミックとは，アイテム等を収集し依頼人に渡す・仕掛けに使う等することによってゲームを進行させる仕組みのことをいう．
お使い系ギミックの例としては，「宝箱から鍵を入手し，鍵を使って扉を開ける．」「町の住民の悩み (物を届ける等) を解決し，ゲームの進行に必要なヒントをもらう．」等といったものがある．
このように決定したことで自動生成としてどのようなデータを集めなければならないのかという話
し合いも重ねて行った．
（※文責: 田中悠人）

6.1.3.7

ギミックデータの収集

ギミックの種類を決め，それに伴ってどのようなデータが必要になってくるのか再び話し合った．データの収集においてどのようなデータが，どのくらい必要になってくるのかを分析の方法を伺うとともにプロジェクトの担当教員と確認を行った．データ数については，最低でも 100 データ
ほど必要になってくるという風に説明を頂いた．システム班のメンバーで分担して，実際に著名なゲームをプレイしデータを Google スプレッドシートにまとめるという風に決定しデータを集めていった．しかし，実際に集めたデータ数は 100 もいかず，約 30 データほどしか集まらなかった．
（※文責: 田中悠人）

6.1.3.8

ギミックデータの分析

実際に集めたデータを，[いつ][どこで][誰が][誰に][どこで][何を][どうする] という７つの要素に分解した．これにより，データの関係性を見極めることができた．分かった関係性や傾向を，今回Group Report of 2022 SISP

- 62 -

Group Number 5

CreativeAI
扱うデータにも反映させる事ができるように Python を用いてさらに詳しくデータ分析することになった．Python で行った事としては，集めたデータから傾向のある組み合わせを見極めて，ある程度のパターンを作成した．その組み合わせを決定するために，Python のランダム機能を用いてパターンの作成を行った，拾うアイテムには [拾える場所][どのようにして入手するか][どのアイテ
ムを入手するか] の３つの組合せを作成した．
（※文責: 田中悠人）

6.1.3.9

Unity での実装

先ほど作成したデータを Unity で利用しようとすると上手く扱うことができなかった．そのため，集めたデータを再整形しなければならなかった．そのため，先ほど用いたデータを数値データで変更し，Unity で動かせるようにした．Unity では，テキストデータを収集してアップロードを行い，読み込んだうえで一区切りに置き換え，利用していった．
（※文責: 田中悠人）

6.1.3.10

今後について今後は，ギミックデータを更に集めていきたい．現在自動生成システムとして行えているのはある程度指定された位置の中からランダムに選択しその位置にランダムに選ばれたアイテムを置くというようになっている．完全な自動生成を目指すためには，三次元の X，Y，Z 軸の位置を自動で決めて配置されるように新しいシステムを作成していきたいと考えている．ゲーム自体の完成度を向上させていくために，自動生成システムの向上を目指して行きたいと思う．
（※文責: 田中悠人）

6.1.4

シナリオ読み取りシステム

6.1.4.1

シナリオの読み取りシステムの概要

シナリオ読み取りシステムとは，物語班が人工知能により自動生成を行ったテキストデータをもとに，Unity，C#で作られたスクリプトを使用し，各イベントで起こるイベントシーンの読み
取り，シナリオに合った自動生成された BGM の挿入，シナリオに沿ったデータをテキストボッ
クス内へのテキストの表示等を行うシステムである．中間発表までの開発では，物語班が自動生成を行わずに作成したテキストデータを読み込み，テキストボックスに表示するシステムを作成した． 全ての会話シーンで適用可能にするためにスクリプトを変更するのではなく，メモ帳等のテキストデータの変更をすることでシナリオの変更をしている．シナリオの読み取りシステムはLoadText.cs というスクリプトで実装した．
（※文責: 本前斗梧）

6.1.4.2

シナリオの読み取りシステムのデータ加工

シナリオの読み取りシステムは渡されたテキストデータをそのまま使用することができない．また，文字がテキストボックスに収まりきらない場合や現在話しているキャラクターが誰か，シナリGroup Report of 2022 SISP

- 63 -

Group Number 5

CreativeAI
オがどこで終わりなのか等の判定はテキストデータ上の文字列で行っていた．このことから，物語
班から素材データとして受け取った文章を加工する作業を行った．加工をする際に当初はスクリプ
トにシナリオを埋め込もうとしたが，ソースコードの量が多く修正する時に大変であると考えた
ため，元のテキストデータを加工することでシナリオをそのまま読み取りシステムに適用することにした．また，テキストデータを分割しそのまま文字列として利用することができると分かった
ため，それを利用して，現在話しているキャラクターと現在話している内容に分け，加工を行ったデータを表示した．
また，データの加工を行う上でキャラクターの表情差分を，テキストデータ上でこのセリフが読まれた場合は，この表情を表示させるというように，セリフと表情を対応させて表示するシステムを開発予定だったが，開発の際，スクリプトを分けて独立的させた方が修正や作業をしやすいと考えたため，データ加工にキャラクターの表情差分を組み込まなかった．今後の展望としてはシナリ
オの読み取りシステムが現在選んだセリフに応じて表情を AI が読み取ってくれる自動システムの開発をすることで，よりゲームの創造性を広げることができると考えられる．
（※文責: 本前斗梧）

6.1.4.3

表示画面への実装

表示画面は大きく分けて 2 種類に分けられていて，キャラクターを操作する画面と会話やイベントを表示する画面に分けられている．キャラクターを操作する画面ではマップ内に存在するキャラクターに話しかけると会話ウィンドウ用のスクリプトが実行され，画面が切り替わる．会話やイベントを表示する画面では会話ウィンドウの立ち絵や背景，テキストボックス等は視覚班に依頼をして素材を作成して頂き，それを 2D オブジェクトとして表示させた．シナリオデータのテキス
トの読み取りに関しては，テキストを改行文字でスプリット操作を行い，現在話しているキャラク
ターの名前とセリフを配列に格納している．プレイヤーに話しかけたことを判定する関数である

OnCollisionEnter を使い，この関数を用いてプレイヤーへの会話を行ったうえで UI の表示や表示画面の遷移を行う．後期からはこのプログラムを利用して，物語班が自動生成を行ったテキスト
データを読み込めるようなプログラムの修正を行っていく．シナリオ読み込みとは別に会話ウィン
ドウの表示に関して，ただシナリオを読み取るだけではなく，シナリオに応じてキャラクターの立ち絵が変化したり，BGM が変更したりといった，動きがついた会話ウィンドウを作成することによりゲームとしての完成度が上がるという改善案がグループ内の話し合いで上がった. 他にもアイ
テムデータベースやキャラクターの背景史を図鑑のように表示するという話も上がり，アイテムを拾った時の UI やテキストを視覚班や物語班に依頼して作ってもらったが，前期では他の実装に時間を費やしてしまったため，アイテムデータベースや背景史一覧の UI 作成には至らなかった．後期では前期での反省を踏まえて，アイテム管理のメニューや物語班からもらった背景史の統合から背景史一覧画面の実装ができた．UI に関しては前期で視覚班が作成したフレームやテキストバーを流用した．
（※文責: 本前斗梧）

6.1.4.4

メニューの構成と基本機能

メニューはマップ上で開くことができ，アイテム，BGM，背景史欄の三つのタブから構成される．メニューはタブキーから開くことができ，閉じるときは画面内の UI のバックボタンから閉じGroup Report of 2022 SISP

- 64 -

Group Number 5

CreativeAIることができる．メニューのタブを切り替える際に効果音を設定している．これはゲームのクオリ
ティを上げるためでゲーム体験の向上につながる．また背景の画像の明瞭度を薄くすることによりメニューの UI をより際だてられるようにしている．
・アイテムメニュー
アイテムメニューではキャラクター操作のシーンで拾った背景史のアイテムが表示されるようになっている．まだ未取得のアイテムに関しては別のイメージを配置し，アイテム取得の bool 値を設定し true にすることでアイテム欄に背景史アイテムの表示を行っている．
・図鑑メニュー
背景史メニューではキャラクター操作中に取得した背景史アイテムを取得することで表示または閲覧することが可能となっている．取得する前の段階では未取得用の画像を表示している．キャラ
クターの立ち絵と背景史は視覚班と物語班からの成果物を統合している．
・基本設定メニュー
予定では SE と BGM の音量調節とゲーム終了を行えるようにするものだったが，バグ取りの時間の調整を行った結果，この機能はゲーム終了だけ行えるようになっており，SE と BGM の音量調節は未実装となっている．今後の展望としてはこの細かい実装できなかった機能を実装していければいいと考えている．
（※文責: 本前斗梧）

6.1.4.5

表情差分

表情差分システムに関してはストーリーを進めるにつれてキャラクターのセリフに合った表情を表示，切り替えをするシステムを開発した．このシステムはシーンごとに作成を行った．シーンは

1-1，1-2，1-3，2-1，2-2，2-3，2-4，2-5，4-1，4-2 に加えてオープニングとエンディングの計 12個のシーン分あったので 12 個のスクリプトを用意した．
スクリプト名: FaceController
機能：会話を進行のための左クリックした際に，表示している画像を切り替える．会話やセリフにあったそのキャラクターの表情を表示する．
引数：配列に格納したテキスト番号
返り値：なし表情差分に用いた素材としてアリスが alice disappointed，alice doubt，alice panic，alice sad，

alice shadow，alice sleep，alice smile，alice standard，alice standard smile，alice surprised 1，
alice surprised 2 の計 12 個，チェシャ猫が cheshirecat cool，cheshirecat disappointed，cheshirecat smile， cheshirecat standard， cheshirecat standard2， cheshirecat surprised の計 6 個，女王が怒，泣，笑，通常，絶望の計 5 個，白うさぎが white rabbit cool，white rabbit disappointed，white rabbit standard，white rabbit standard2， white rabbit surprised の計 5 個で，これらのすべてをシーン上で切り替えを行った．

Group Report of 2022 SISP

- 65 -

Group Number 5

CreativeAI（※文責: 本前斗梧）

6.1.4.6

オープニング

オープニングではタイトル画面の次にオープニングに入るようにし，タイトル表示のフェードア
ウト，フェードイン機能を実装し，会話が少し進んでからゲームの始まりを意識させるようにした．グループの中で，オープニングをどういう風にタイトルを出すかということを話し合いフェー
ドインとフェードアウトを利用することで緊張感を持たせることができ，ゲームの完成度があがるのではないかという意見の基，フェードイン，フェードアウトの実装に至った．フェードアウトとフェードインの中身の部分に関しては，黒の image を Unity 内で配置し，FadeController というスクリプトを Panel に付けて Unity 内の image である Panel を変数の fadeimage に代入すること
で fadeImage.color.a から Panel のα値を変更することでフェードイン，フェードアウトの処理を行っている．

FadeController.cs
関数名：StartFadeIn
機能：このメソッドが呼び出されたときにフェードインを開始する．fadeSpeed でフェードの速度を変更する．
引数：なし

FadeController.cs
関数名：StartFadeOut
機能：このメソッドが呼び出されたときにフェードアウトを開始する．fadeSpeed でフェードの速度を変更する．
引数：なし

FadeController.cs
関数名：SetAlpha
機能：このメソッドが呼び出されたときに image の色の初期化を行っている．
引数：なし（※文責: 本前斗梧）

6.1.4.7

エンディング

今回作成したゲームのエンディングは分岐式となっており，エンディング A，エンディング B，
エンディング C，エンディング D，エンディング E，エンディング F の 6 つに分岐される. この分
岐は物語班と話し合いで決まったものである．分岐することで本プロジェクトの目標である，ゲームの創造性を広げるといった趣旨を考慮した結果，自動生成と合わせて何度プレイしても飽きないゲームに近づけることができた．分岐方法としてはゲーム内アイテムである，背景史アイテムといわれているアイテムの収集率とシナリオ 4 − 2 時の会話の選択によって決まる．まずゲーム内の背景史アイテムは 4 つ存在している．そして選択肢は UI で上と下の二つの選択肢を提示される．
一回目の提示の時に上の選択肢を選ぶとエンディング A，下の選択肢を選んだ後は二回目の提示をGroup Report of 2022 SISP

- 66 -

Group Number 5

CreativeAIされその時に上の選択肢を選ぶとエンディング B，二回目の提示時に背景史アイテムが 1 つ以下で下の選択肢を選ぶとエンディング C，三回目の提示で上の選択肢を選ぶとエンディング D，三回目の提示で背景史アイテムが 3 以上で下の選択肢を選ぶとエンディング E，2 つであればエンディ
ング F に進むという場合分けとなっている．尚，この処理は SceneChange というスクリプトにまとめられている．SceneChange のスクリプトは Unity 内での SceneManagement というライブラ
リですべてのシーン遷移の処理を行っている．以下より操作画面から会話画面への遷移の方式やSceneChange のスクリプトの関数を説明する．
SceneChange.cs
関数名：OnCollisionEnter
機能；オブジェクトに当たったときの関数．イベントというタグがついたオブジェクトに触れているかつ，Unity のヒエラルキー上のオブジェクト名でどのキャラクターに話しかけたかでシーンの遷移先を決定している．
引数：話しかける対象

SceneChange.cs
関数名：Ending1
機能：シナリオ 4 − 2 で上の選択肢として提示されるボタンの処理．エンディング A，エンディ
ング B，エンディング D への遷移．
引数：なし

SceneChange.cs
関数名：Ending2
機能：ナリオ 4 − 2 で下の選択肢として提示されるボタンの処理．エンディング C，エンディン
グ E，エンディング F への遷移．
引数：なし（※文責: 本前斗梧）

6.1.4.8

立ち絵制御

会話ウィンドウ内の立ち絵の制御に関しては，LoadText.cs というスクリプトで制御している．
立ち絵の切り替えタイミングは物語班の方に委任し，システム班が編集したテキストデータ上で切り替えを行った．最初は切り替えを行っていなかったが，それだとゲームの完成度としてあまりいいものではなかったため，急遽切り替えを行った．その際に，効率よくまた使いまわしがしやすい
ようにテキストデータ上のセリフの前に特定の文字列を入れることによって立ち絵の制御をしている．LoadText.cs では物語班のシナリオのテキストデータを改行ごとに区分けし，区分けした文字列を配列に格納し Regex.Match メソッドを使用しテキストデータとその文字列を正規表現で特定する処理を行った．会話が終わったかどうかの判定と全シナリオの立ち絵を切り替えるタイミング
や切り替えパターンを合わせると 32 パターンとなった．このパターンの詳細としては，白うさぎが消える，白うさぎが出現，チェシャ猫が消える，チェシャ猫が出現，トランプ兵 A が消える，トランプ兵 A が出現，トランプ兵 B が消える，トランプ兵 B が出現，アリスが消える，アリスが出
現，三月うさぎが消える，三月うさぎが出現，女王が消える，女王が出現，女王が消える，トランGroup Report of 2022 SISP

- 67 -

Group Number 5

CreativeAI
プ兵 A と B が消える，トランプ兵 A と B が出現，シナリオ 4 − 2 の特別制御 1， シナリオ 4 −2 の特別制御 2， シナリオ 4 − 2 の特別制御 3，シナリオが終わったかどうか，エンディング選択
肢出現，帽子屋が消える，帽子屋が出現する，シナリオ 2 − 4 の特別制御 1，シナリオ 2 − 4 の特別制御 2，エンディング A 背景，エンディング B 背景，エンディング C 背景，エンディング D 背景，エンディング E 背景，エンディング F 背景，の計 32 パターンの処理を正規表現として処理している．反省点として立ち絵の制御と背景 (Background) の制御を一緒のスクリプトに記述してしまっているが，分けた方が見やすいコーディングにつながるという点ともう一つ，今回は 32 パ
ターンを正規表現で立ち絵の制御を行ったが，これだと制御するソースコードだけで 400 行以上のコード量となってしまうため改善できる点として挙げられる．
（※文責: 本前斗梧）

6.1.5

BGM 切り替えシステム

ここでは、BGM 切り替えシステムについて説明を行う．本システムは，音響班が制作を行った，「インタラクティブミュージックの自動化システム」を使用し，成果物のゲームにマッチするよう調整を行うことで実装を行った．以下では，音響班からのシステム引継ぎとシステムの調整について説明する．
（※文責: 新屋拓海）

6.1.5.1

BGM 切り替えシステムの引継ぎ

中間発表後，音響班が制作を行っていたインタラクティブミュージックの自動化システムの引継ぎを行った．このシステムは，現在流れているフィールドの曲から，最も類似度が高い曲と，最適な曲繋ぎの場所を検索し，シームレスに曲を切り替えるシステムになっている．システム自体は「NextMusic Search」と「NextPoint Search」という２つのスクリプトが Python によって構築されていたが，そのままでは，Unity で制作しているゲーム内に実装することが難しいと予想されたため，作成したプログラムを実行ファイル形式に変換し，それを Unity 内で読み込み，「Cross Music」という類似度の高い曲と最適な曲繋ぎの場所を検索するスクリプトを動かすこと
で実装を行うことを考えた．しかし，システム作成者と実行環境が異なっていることや，成果物のゲームにおいて，実行ファイル形式でプログラムを動かした場合にゲームが重くなってしまうことがあった．このことから，既存の Python のプログラムを Unity でスクリプトを記述する際に使う

C#言語を用いて再構築を行い，Unity に組み込むことで，音響班のシステムの引継ぎを行うことができた．
（※文責: 新屋拓海）

6.1.5.2

ゲーム内への実装

音響班からのシステム引き継いだ後，成果物のゲームにマッチするよう，Cross Music スクリプ
トの機能をいくつか調整した．まずは，シーンの選択方法である．元々は，矢印キーを用いて行い，入力があった際にそのキーに応じて小屋・森・お茶会・城の４つのどれかに切り替えるというものであった．調整後では，「Change Music」スクリプトを新たに作成し，各シーンの名前が付いたオブGroup Report of 2022 SISP

- 68 -

Group Number 5

CreativeAI
ジェクトに紐づけを行った．このスクリプトには，衝突を感知する関数である「OncollisionEnter」
を使用し，プレイヤーがオブジェクトに触れることで，シーン名を Cross Music スクリプトに受け渡すことで，シーンの切り替えを行った．次に，曲の切り替えフラグの立て方である．元々はスペースキーを押すことで曲の切り替えフラグが立ち，曲を切り替えることができた．調整後では，「Change Music」内で，オブジェクトから離れたことを検知する関数である「OncollisionExit」を使用し、プレイヤーがオブジェクトから離れることで，曲の切り替えフラグが立ち、曲を切り替えることができた．これらの機能をまとめることで，プレイヤーがステージの床に埋め込まれているオブジェクトを通過することにより，シーンに沿った曲をシームレスに切り替えるシステムを

Unity 内に実装することができた．
成果発表会の時点では，音響班から引継いだシステムの調整はできたが，引継ぎ・調整に時間がかかってしまい，ゲーム本編に統合することはできなかった．今後の展望としては，ゲーム本編へのシステム統合及び，ゲーム内でシステムが正常に動作するかの確認を行っていく．また，音響班と協力し，システムの改良も並行して行っていく．
（※文責: 新屋拓海）

6.1.6

ゲームの統合視覚班，音響班，物語班，システム班の４班のそれぞれの成果物を一つのゲームとするために，

Unity で統合作業を行った．以下では，統合素材の詳細と後期に統合を進めた城エリアについての説明を行う．
（※文責: 田中悠人）

6.1.6.1

各種素材

ここでは，システム班以外の３つの班から頂いたゲームの素材について説明する．
・視覚班の素材
視覚班からは，キャラクターの立ち絵やキャラクターモデル，背景イラスト，タイトルロゴなど
デザインに関する素材を提供して頂いた．
・音響班の素材
音響班からは，BGM や SE 等のゲーム中の音楽に関する素材と BGM 切り替えシステムを提供して頂いた．
・物語班の素材
物語班からは，ストーリー文章や個々のキャラクターの背景史の文章，マルチエンディングの分
岐条件，アイテムの説明文等提供して頂いた．
（※文責: 田中悠人）

Group Report of 2022 SISP

- 69 -

Group Number 5

CreativeAI

6.1.6.2

城エリアの統合

マップ作成の担当者からもらった Blender のデータを用いて，城エリアの統合を行った．城エリ
アには階層ごと，部屋ごとにモデルを分けて作成して．その部屋間を行き来するシステムはマップ作成者が制作を行った．そのため各システムを城エリアに組み込む作業を担当した．それに加え，ギミックの作成も行った．アイテムを回収するためのギミックを何種類か作成した．アイテムを入手するために，[扉を開けると中からアイテムが出現する] というギミック，[柱を壊すとその中にアイテムが入っている] というギミック，[牢屋に行くために体のサイズを変更する] というギミッ
クを作成した．ギミックは自分で考えて作成した物を利用した．ギミックを利用するにあたって，[設置する場所][それを利用して何を得れるのか][どうしてそれをしないといけないのか] という三点について考えながら，ギミックの作成を行った．今回は自作のギミックを利用してアイテムを入手するという方針を立ててたが，今後の展望としてはギミック自体を自動で生成できるように新しいシステムとして組み込んでみたいと思っている．
（※文責: 田中悠人）

Group Report of 2022 SISP

- 70 -

Group Number 5

CreativeAI

6.2

視覚班

6.2.1

2D 自動生成6.2.1.1

2D 自動生成概要

目標はキャラクターデザインの自動生成である．前述した前期の方向性に基づき，自動生成は 2つのアプローチで行った．1 つ目はキャラクターデザイン案の画像，2 つ目は異形キャラクターの3 次元モデルだ．これは 2 次元イラスト，3 次元モデルの自動生成の特徴と，人型かそれ以外かのキャラクターデザインの特徴を考慮した結果である．
（※文責: 坂上翠）

6.2.1.2

キャラクターデザイン案の画像自動生成概要

目標はキャラクターデザイン，つまり三面図の制作である．今回は，「アリス」「チェシャ猫」「女王」「白うさぎ」の 4 体のキャラクターの三面図を制作した．このために，AI にはたくさんのキャラクターデザイン案を出力する役目を担ってもらった．しかし，AI が出力する全身のキャラ
クターイラストは顔の情報が曖昧であることが多い．今回は顔のパーツと服装の情報がどちらも重要となっているため，2 つに分けてデザイン案を出力させることにした．
（※文責: 坂上翠）

6.2.1.3

使用技術

キャラクターデザイン案自動生成で主に使用した技術は Stable Diﬀusion と textual inversion
である．

まず，Stable Diﬀusion(安定拡散) とは Latent Diﬀusion Model(潜在拡散モデル) を採用した訓練済みモデルである．Latent Diﬀusion Model(以下 LDM とする) の中身は以下の通りである．

1. 元画像をピクセル空間からエンコーダで潜在空間に潜在変数（特徴量のベクトル）として出力する．2. 潜在空間で潜在変数に拡散モデルを適用して，元画像からノイズ画像になるまでの過程を学習させて，ノイズ画像から元画像に復元するまでの過程を予測させて，画像を生成させる．
（上記の元画像，ノイズ画像，画像はすべて潜在変数である）3. CLIP というモデルを使い，上記で生成した画像 (潜在変数) と入力テキストとの類似度を評価する．4. 2 と 3 を繰り返し，類似度がより高くなるように画像 (潜在変数) を生成する．5. 生成した画像 (潜在変数) を潜在空間からデコーダでピクセル空間に画像 (ピクセル画像) として出力する．
今まではピクセル空間に拡散モデルを適用していた．そうすると，人間が知覚できないレベルの部分も処理するため，膨大な GPU と時間が必要になる．しかし，LDM は潜在空間のみに拡散モデルを適用する．そうすると，人間にとって意味のあるレベルの部分のみを処理する．また，拡散モデルで処理する情報が今までより低次元になる．このようなことから前者よりも少ない GPU と時間で済むようになるのだ．
次に，textual Inversion は 3 5 枚の画像を使用し，ファインチューニングを行う方法だ．自分が用意した画像でニューラルネットワークのごく一部を訓練し，新しい画像を生成するときに結果をGroup Report of 2022 SISP

- 71 -

Group Number 5

CreativeAI使用できる．こうすることで，StableDiﬀusion に独自のオブジェクトや画風を覚えさせることができる．
（※文責: 坂上翠）

6.2.1.4

ワークフロー

2 次元イラストの生成を取り入れたキャラクターデザインができるまでの過程をワークフロー図にした．人間と AI の協調作業の過程を明確化するためだ．

図 6.6

ワークフロー図（※文責: 坂上翠）

6.2.1.5

シナリオを読む、情報抽出

シナリオやキャラクター設定から，キャラクターの情報を抽出した．抽出した各キャラクターの情報は以下の通りである．
・アリス
抽出したアリスの情報は 2 つある．

1 つ目は以下の通りだ．キャラクター設定「基本的に礼儀正しい」，シナリオのチェシャ猫の台詞「外見で勝手に判断させてもらうと，キミは礼儀正しそうだと思ったのだけどねぇ」から，アリスは実際に礼儀正しそうな表情，行動をしていることが読み取れる．そこから，会話の時に相手をしっかり見ていると解釈し，背筋を伸ばし，目をしっかり開け，程よく口角をあげ微笑んでいるという身体的特徴を導き出した．

2 つ目は以下の通りだ．キャラクター設定「自分の意見をはっきりと言う」から，アリスは比較的気が強い性格をしていると解釈した．そこからつり目という身体的特徴を導き出した．
・チェシャ猫抽出したチェシャ猫の情報は 3 つある．

1 つ目は以下の通りだ．キャラクター設定「いつもにやにやと笑っている」から，チェシャ猫は何かを企んでいそうな笑みを浮かべていると解釈した．そこから，にやけた顔という身体的特徴を導き出した．

Group Report of 2022 SISP

- 72 -

Group Number 5

CreativeAI
2 つ目は以下の通りだ．このキャラクターは猫である．現実の猫は特徴的な耳と尻尾を持っていることから，このキャラクターも猫の特徴を持った耳と尻尾，まるい釣り目を持っていると解釈した．

3 つ目は以下の通りだ．キャラクター設定「飄々とした態度で」，シナリオのチェシャ猫の台詞「言い忘れていたけど，オレは女王から森にいる人を迷わせる役目を受けてるんだ」から，チェシャ
猫は森で活動できるような身軽で動きやすい恰好をしていると解釈した．そこから，スニーカー，
短パン，ゆったりした服，ショートカットの髪型という身体的特徴を導き出した．
・白うさぎ
抽出した白うさぎの情報は 3 つある．

1 つ目は以下の通りだ．キャラクター設定「「少々臆病で気が弱いところがあり，それによって女王を困らせる」という役割」から，白うさぎは臆病で気が弱い行動をとっていることが読み取れる．そこから，人目を避け，人と目を合わせないと解釈した．そして，たれ目で伏し目という身体的特徴を導き出した．

2 つ目は以下の通りだ．キャラクター設定「現実では極めて冷静で，ドライな本性を見せる」，シ
ナリオ「白うさぎの表情は不思議の国の時と違って冷静で無感情」から，白うさぎは役割を演じているとき以外は冷めた表情をしていることが読み取れる．そこから，冷めた目をしている身体的特
徴を導き出した．

3 つ目は以下の通りだ．このキャラクターは白うさぎである．現実の白うさぎは白い体毛と赤い目を持っていることから，白い髪に赤い目をしていると解釈した．
・女王
抽出した女王の情報は 3 つある．

1 つ目は以下の通りだ．キャラクター設定「意味のないことでいつも怒っている．」から，女王はいつも怒っていて，目がつり上がっていると解釈した．そこから，つり目という身体的特徴を導き出した．

2 つ目は以下の通りだ．キャラクター設定「不思議の国においては自分が絶対だという考えを持っており」，シナリオのトランプ兵 A の台詞「そんなふうに女王様を疑うお前が裁判にかけられるべきだ！」やトランプ兵 B の台詞「そ，そうだそうだ！女王様を疑う者の首は刎ねるべきだ！」，
トランプ兵たちの台詞「…女王陛下の仰せのままに」から，女王はトランプ兵を従えており，それを顕示するような性格であると解釈した．そこから，トランプに使われる配色（黒・赤基調）や大
きな王冠，豪華なドレス，ハイヒールなどの身体的特徴を導き出した．

3 つ目は以下の通りだ．キャラクター設定「外見は，アリスよりも幼い少女．」，シナリオのアリスの台詞「え，この子が女王…？」から，女王は幼さが一つの特徴的な要素であり，子供っぽい髪型をしていると解釈した．そこから，髪は短めであるか，高い位置で結んであるという身体的特徴を導き出した．
（※文責: 坂上翠）

6.2.1.6

デザイン案を出力

ここでは、3.2.2.2.2.1 でシナリオやキャラクター設定から抽出した情報を元に、AI にキャ
ラ ク タ ー デ ザ イ ン 案 を 出 力 し て も ら う 。使 用 し た AI モ デ ル は 、「Stable Diﬀusion TrinArt

Group Report of 2022 SISP

- 73 -

Group Number 5

CreativeAI
Characters model v1」（ 以 下「TrinArt v1」）と い う 、ア ニ メ・マ ン ガ 的 な イ ラ ス ト 表 現 に特 化 し た モ デ ル だ 。こ れ は 、3.2.2.2.1.1 で 説 明 し た Stable Diﬀusion と い う AI に 、1920
万 枚 の 画 像 を 追 加 で 学 習 さ せ た モ デ ル で あ り 、2022 年 10 月 に 公 開 さ れ 、無 料 で 利 用 で きるようになった。

TrinArt V1 を AUTOMATIC1111 + Google Colab で 手 早 く 動 か す(URL:https://note.com/uchidama/n/n34bb62cf0bf6 ) を参考し、この「TrinArt v1」モデルを
Google Colab 環境で実行するという形で利用した。

図 6.7

実際に TrinArt V1 を Google Colab で動かす画面

実行画面は，プロンプト入力欄・ネガティブプロンプト入力欄・生成画像欄・各種設定欄等から構成される．各種設定欄では，自動生成する画像のサイズや枚数などを設定することができる．
プロンプトの基本的な入力方式としては，英単語をカンマ記号で区切って羅列する．重みづけに関しては，プロンプトの各要素を () やなどの記号で囲むことで強調することができる．また，基本的に，AI はステップごとに左から順番にプロンプトを読んで適用しようとする．従って左の方にある要素ほど最初の段階（トピックや画風が決定づけられる段階）で優先されやすく，右の方にある要素ほど後から画像をその方向に「引っ張る」役割を果たす．よって，強調したいトピックがある場合，プロンプト中に何度も割り込ませるようにして重複して書くという方法も有効である．
さらに，ネガティブプロンプトを利用して，極力除外する要素を記述することが可能である．ネガ

Group Report of 2022 SISP

- 74 -

Group Number 5

CreativeAI
ティブプロンプトの記述に関しては，絵の細やかさクオリティの高さを求めるにあたって，主に元素法典（中国語圏コミュニティによって制作された，画像生成 AI に対する入力プロンプト・ネガ
ティブプロンプト等の設定がまとめられた PDF ファイル）を参照した．加えて，各キャラクター
によってデザインの観点から適宜記述した．例えば，チェシャ猫の入力プロンプトに cat ears を加えたところ，猫耳だけに収まらずもはや猫のような見た目が出力されたため，それを防ぐためにネ
ガティブプロンプトに cats を加えた．
入力プロンプトを決める際は，「絵の構図」「画風や品質」「抽出したキャラクターの情報」という三つの主な観点から複数の単語を選出し，様々な組み合わせを試すという方針で設定した．以下に，それぞれの観点から採用した入力プロンプトを記す．
「絵の構図」デザイン案の自動生成にあたって，今回は「顔」と「服装」に着目し，それらを別の画像で出力するという手法を取った．「顔」については，正面から見た一人のキャラクターのバ
ストアップの構図が欲しいという点から，「standing, portrait, perfect symmetrical pretty face,frontispiece, 1girl, 1boy」等を採用した．「服装」については，正面から見た一人のキャラクターの体全体が映った構図が欲しいという点から，「standing, stand on the ground, Full body, costumedesign, character design, 1girl, 1boy」等を採用した．
「画風や品質」
クオリティの高い作品が望ましいという点から，「illustration,masterpiece,backlighting,ﬁnely

detail,Depth of ﬁeld,extremely detailed CG,extremely detailed wallpaper 」等を採用した．また，現代のイラスト風の出力をしたいという点から，「virtual youtuber,GenshinImpact,kawaii,2022

Artstyle preset」等を採用した．
「抽出したキャラクターの情報」
・アリス
背筋を伸ばし，目をしっかり開け，程よく口角をあげ微笑んでいるという身体的特徴から「smilingface」，つり目という身体的特徴から「slant or almond-shaped eyes」等を採用した．
・チェシャ猫にやけた顔という身体的特徴から「smirking face」，耳と尻尾，まるい釣り目を持っているという身体的特徴から「cat ears, cat tail, big round suspended eyes」，スニーカー，短パン，ゆったりした服，ショートカットの髪型という身体的特徴から「sneaker boots, short pants, loose-ﬁtting

clothing, loose-ﬁtting jacket」等を採用した．
・白うさぎ
たれ目で伏し目という身体的特徴から「drooping eyes, downcast look eyes, sad face」，冷めた
目をしている身体的特徴から「dark eyes」，白い髪に赤い目をしているから「white hair, red eyes」
等を採用した．
・女王
つり目という身体的特徴から「big glaring upturned suspended eyes, irritated look」，トラン
プに使われる配色（黒・赤基調）や大きな王冠，豪華なドレス，ハイヒールなどの身体的特徴から

Group Report of 2022 SISP

- 75 -

Group Number 5

CreativeAI「black hair, red, big queen’s crown, red dress, beautiful detailed dress, gorgeous dress, high‐ heeled shoes」，髪は短めであるか，高い位置で結んであるという身体的特徴から「short hair,high twin-tail」等を採用した．
また今回は，世界観のモチーフとして「不思議の国のアリス」という作品を設定していることから「Alice in Wonderland」を各キャラクターに採用した．加えて各キャラクターの年齢設定によって「6 to 8 years old, 8 to 10 years old, 15 years old, loli, shota」等を採用した．
以下に，後述の 3.2.2.2.2.3 でデザイン案として選定された各画像を出力する際に用いた，実際のプロンプトを記す．
・アリス/ 顔/ 1 枚目

図 6.8

生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece, 1girl, Amazing, virtual youtuber, GenshinImpact, perfect symmetrical pretty face, beautiful detailed eyes, extremely detailed face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper,
beautiful detailed girl, cute girl, loli, child girl, Alice, Alice in Wonderland, 8 to 10 years old,
smiling face, (slant or almond-shaped eyes), big round suspended eyes, (2022 Artstyle preset),
Alice, Alice in Wonderland, bold line drawing
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits,
cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, big nose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 20112012 2013 2014 2015 2016 2017 2018 2019, hat, monochrome picture＊ () やは強調表現として使われている．（以下のプロンプトについても同様）
・アリス/ 服/ 1 枚目

Group Report of 2022 SISP

- 76 -

Group Number 5

CreativeAI

図 6.9

生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (best quality),((illustration)),(portrait),masterpiece, 1girl, Amazing, virtual youtuber, GenshinImpact,
perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely
detailed wallpaper, beautiful detailed girl, cute girl, loli, child girl, Alice, Alice in Wonderland,
8 to 10 years old, smiling face, (slant or almond-shaped eyes), big round suspended eyes, (2022
Artstyle preset), shoes, Alice, Alice in Wonderland, bold line drawing
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits,
cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, big nose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 20112012 2013 2014 2015 2016 2017 2018 2019, monochrome picture
・チェシャ猫/ 顔/ 1 枚目

Group Report of 2022 SISP

- 77 -

Group Number 5

CreativeAI

図 6.10

生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece,1boy,Amazing,virtual

youtuber,GenshinImpact,perfect symmetrical pretty face,beautiful detailed eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed wallpaper,bishonen,cool
boy,beautiful detailed boy,child boy,shota,purple hair,cat ears,cheshire cat in Alice inWonderland,short hair,8 to 10 years old, masterpiece,best quality,1boy,Amazing,beautiful
detailed eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed
wallpaper,child boy,shota,purple hair,(smirking face),big round suspended eyes,cat ears,(2022
Artstyle preset)
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra
digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature,
watermark, username, blurry,cats,aqua eyes,red eyes
・チェシャ猫/ 服/ 1 枚目

Group Report of 2022 SISP

- 78 -

Group Number 5

CreativeAI

図 6.11

生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (bestquality),((illustration)),(portrait),masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely
detailed CG, extremely detailed wallpaper, beautiful detailed boy, bishonen,cool boy,child

boy,shota,

sneakerboots,shortpants,detailed

ﬁneclothes,loose-ﬁtting

cloth-

ing,purple hair,cat ears,cat tail,cheshire cat in Alice in Wonderland,short hair,8 to 10
years old, (smirking face), big round suspended eyes, }, (2022 Artstyle preset), sneakerboots,short pants, bold line drawing
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra
digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature,
watermark, username, blurry,cats
・チェシャ猫/ 服/ 2 枚目

Group Report of 2022 SISP

- 79 -

Group Number 5

CreativeAI

図 6.12生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (best quality),((illustration)),(portrait),masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact,
perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper, beautiful detailed boy, bishonen,cool boy, child boy,shota, sneakerboots,short pants,detailed ﬁne clothes,loose-ﬁtting jacket,purple hair,cat ears,cat tail,cheshire
cat in Alice in Wonderland,short hair,8 to 10 years old, (smirking face), big round suspended
eyes, }, (2022 Artstyle preset), sneaker boots,short pants, bold line drawing
ネガティブプロンプト↓（チェシャ猫/ 服/ 1 枚目のものと同一）
・チェシャ猫/ 服/ 3 枚目・4 枚目

図 6.13生成された画像

図 6.14生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (best qualGroup Report of 2022 SISP

- 80 -

Group Number 5

CreativeAIity),((illustration)),(portrait),masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact,
perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper, beautiful detailed boy, bishonen,cool boy, child boy,shota, sneakerboots,short pants,detailed ﬁne clothes,lightweight clothing,purple hair,cat ears,cat tail,cheshire
cat in Alice in Wonderland,short hair,8 to 10 years old, (smirking face), big round suspended
eyes, }, (2022 Artstyle preset), sneaker boots,short pants, bold line drawing
ネガティブプロンプト↓（チェシャ猫/ 服/ 1 枚目のものと同一）
・チェシャ猫/ 服/ 5 枚目

図 6.15生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (bestquality),((illustration)),(portrait),masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely
detailed CG, extremely detailed wallpaper, beautiful detailed boy, bishonen,cool boy,child boy,shota, shoes,sneaker boots,short pants,detailed ﬁne clothes,lightweight clothing,purple hair,cat ears,cat tail,cheshire cat in Alice in Wonderland,short hair,8 to 10 years
old, (smirking face), big round suspended eyes, (2022 Artstyle preset), shoes,sneakerboots,short pants, lightweight clothing,bold line drawing
ネガティブプロンプト↓（チェシャ猫/ 服/ 1 枚目のものと同一）
・白うさぎ/ 顔/ 1 枚目

Group Report of 2022 SISP

- 81 -

Group Number 5

CreativeAI

図 6.16生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece,

1boy,

Amazing,

virtualyoutuber, GenshinImpact, perfect symmetrical pretty face,beautiful detailed eyes, ﬁnely
detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper, beautiful detailed
boy, ikemen, cool boy, rabbit ears, The White Rabbit in Alice in Wonderland, 15 years
old,red eyes, white hair, sad face, drooping eyes, big round suspended eyes, downcast lookeyes, masterpiece, best quality, 1boy, Amazing, beautiful detailed eyes, ﬁnely detail, Depthof ﬁeld, extremely detailed CG, original, extremely detailed wallpaper, rabbit ears, (2022
Artstyle preset), dark eyes
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits,
cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit,
fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, wide-eyed eyes, slant or almond-shaped eyes, rabbits, strong man,cats, big nose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 20132014 2015 2016 2017 2018 2019, girl・白うさぎ/ 顔/ 2 枚目・3 枚目

Group Report of 2022 SISP

- 82 -

Group Number 5

CreativeAI

図 6.17

生成された画像

図 6.18生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece,

1boy,

Amazing,

virtualyoutuber, GenshinImpact, perfect symmetrical pretty face,beautiful detailed eyes, ﬁnely
detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper, beautiful detailed
boy, ikemen, cool boy, rabbit ears, The White Rabbit in Alice in Wonderland, 15 years
old,red eyes, white hair, sad face, drooping eyes, big round suspended eyes, downcast lookeyes, masterpiece, best quality, 1boy, Amazing, beautiful detailed eyes, ﬁnely detail, Depthof ﬁeld, extremely detailed CG, original, extremely detailed wallpaper, rabbit ears, (2022
Artstyle preset)
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits,
cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit,
fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, wide-eyed eyes, slant or almond-shaped eyes, rabbits, strong man,cats, big nose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 20132014 2015 2016 2017 2018 2019, girl・白うさぎ/ 服/ 1 枚目

Group Report of 2022 SISP

- 83 -

Group Number 5

CreativeAI

図 6.19生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece,

1boy,

Amazing,

virtualyoutuber, GenshinImpact, perfect symmetrical pretty face,beautiful detailed eyes, ﬁnely
detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper, beautiful detailed
boy, ikemen, cool boy, rabbit ears, The White Rabbit in Alice in Wonderland, 15 years
old,red eyes, white hair, sad face, drooping eyes, big round suspended eyes, downcast lookeyes, rabbit ears, (2022 Artstyle preset), dark eyes
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,username, blurry, wide-eyed eyes, slant or almond-shaped eyes, rabbits, strong man, cats, bignose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 2012 2013 20142015 2016 2017 2018 2019, girl・白うさぎ/ 服/ 2 枚目

Group Report of 2022 SISP

- 84 -

Group Number 5

CreativeAI

図 6.20

生成された画像

入力プロンプト↓

standing, stand on the ground, Full body, costume design, character design, (best quality),((illustration)),(portrait),masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact,
perfect symmetrical pretty face, beautiful detailed eyes, ﬁnely detail, Depth of ﬁeld, extremely
detailed CG, extremely detailed wallpaper, beautiful detailed boy, ikemen, cool boy, rabbit ears, shoes, The White Rabbit in Alice in Wonderland, 15 years old,red eyes, white hair,sad face, drooping eyes, big round suspended eyes, downcast look eyes, rabbit ears, (2022
Artstyle preset), dark eyes
ネガティブプロンプト↓（白うさぎ/ 服/ 1 枚目のものと同一）
・白うさぎ/ 服/ 3 枚目

図 6.21

Group Report of 2022 SISP

生成された画像- 85 -

Group Number 5

CreativeAI
入力プロンプト↓

standing, stand on the ground, full body, costume design, character design, ﬂoor, the ground,(best quality), ((illustration)), (portrait), masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed
CG, extremely detailed wallpaper, shoes, beautiful detailed boy, ikemen, cool boy, rabbit ears,
The White Rabbit, Alice in Wonderland, 15 years old, red eyes, white hair, poor face, drooping eyes, big round suspended eyes, downcast look eyes, shoes, (best quality), ((illustration)),(portrait), masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetricalpretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper,
rabbit ears, (2022 Artstyle preset), shoes, The White Rabbit, Alice in Wonderland, bold line
drawing, Single-color background, simple background
ネガティブプロンプト↓

girl, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer
digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra
digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature,
watermark, username, blurry, wide-eyed eyes, slant or almond-shaped eyes, rabbits, strong
man, cats, big nose, retro style, 1980s, 1990s, 2000s, 2005 2006 2007 2008 2009 2010 2011 20122013 2014 2015 2016 2017 2018 2019, girl・白うさぎ/ 服/ 4 枚目

図 6.22生成された画像

入力プロンプト↓

standing, stand on the ground, full body, costume design, character design, ﬂoor, the ground,(best quality), ((illustration)), (portrait), masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetrical pretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed
CG, extremely detailed wallpaper, shoes, beautiful detailed boy, ikemen, cool boy, rabbit ears,
Group Report of 2022 SISP

- 86 -

Group Number 5

CreativeAI
The White Rabbit in Alice in Wonderland, 15 years old, red eyes, white hair, sad face, drooping eyes, big round suspended eyes, downcast look eyes, shoes, (best quality), ((illustration)),(portrait), masterpiece, 1boy, Amazing, virtual youtuber, GenshinImpact, perfect symmetricalpretty face, ﬁnely detail, Depth of ﬁeld, extremely detailed CG, extremely detailed wallpaper,
rabbit ears, (2022 Artstyle preset), shoes, The White Rabbit in Alice in Wonderland, boldline drawing, Single-color background, simple background
ネガティブプロンプト↓（白うさぎ/ 服/ 3 枚目のものと同一）
・女王/ 顔/ 1 枚目

図 6.23生成された画像

入力プロンプト↓

standing,(best quality),((illustration)),(portrait),masterpiece,1girl,Amazing,virtual

youtuber,GenshinImpact,perfect symmetrical pretty face,beautiful detailed eyes,ﬁnely
detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed wallpaper,cutegirl,beautiful detailed girl,child girl,loli,black hair,big queen’s crown,queen of hearts in Alicein Wonderland,short hair,6 to 8 years old, masterpiece,best quality,1girl,Amazing,beautiful
detailed eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed
wallpaper,child girl,loli,black hair,(irritated look),big glaring upturned suspended eyes,bigqueen’s crown,(2022 Artstyle preset)
ネガティブプロンプト↓

nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark,username, blurry, nsfw, lowres, bad anatomy, bad hands, text, error, missing ﬁngers, extra
digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature,
watermark, username, blurry,aqua eyes

Group Report of 2022 SISP

- 87 -

Group Number 5

CreativeAI・女王/ 服/ 1 枚目

図 6.24生成された画像

入力プロンプト↓

standing,whole body,character design, (best quality), ((illustration)), (portrait),masterpiece,1girl,
Amazing,virtual youtuber,GenshinImpact,perfect symmetrical pretty face,beautiful detailed
eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed wallpaper,cute girl,beautiful detailed girl,child girl,loli,black hair,big queen’s crown,red,beautiful
detailed dress,gorgeous dresses,high heeled shoes,queen of hearts in Alice in Wonderland,queenof hearts,trump card pattern,short hair,6 to 8 years old,standing, whole body,masterpiece,best
quality,1girl,Amazing,beautiful detailed eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed wallpaper,child girl,loli,black hair,(irritated look),
big glaring upturned suspended eyes,big queen’s crown,red,beautiful detailed dress, gorgeous
dress,high heeled shoes,queen of hearts,standing,whole body,character design,(2022 Artstylepreset)
ネガティブプロンプト↓（女王/ 顔/ 1 枚目のものと同一）
・女王/ 服/ 2 枚目

Group Report of 2022 SISP

- 88 -

Group Number 5

CreativeAI

図 6.25生成された画像

入力プロンプト↓

standing,whole body,character design, (best quality), ((illustration)), (portrait),masterpiece,1girl,
Amazing,virtual youtuber,GenshinImpact,perfect symmetrical pretty face,beautiful detailed eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed

wallpaper,cutecrown,redgirl,beautiful

dress,beautiful

detaileddetailedgirl,childdress,gorgeous

girl,loli,black hair,big

dresses,high-heeled

queen’sshoes,queenofhearts in Alice in Wonderland,queen of hearts,trump card pattern,short hair,6 to 8
years old,standing, whole body,masterpiece,best quality,1girl,Amazing,beautiful detailed
eyes,ﬁnely detail,Depth of ﬁeld,extremely detailed CG,original, extremely detailed wallpaper,child

girl,loli,black hair,(irritatedlook),

big glaring upturned suspended eyes,bigqueen’s crown,red dress,beautiful detailed dress, gorgeous dress,high ‐ heeled shoes,queen ofhearts,standing,whole body,character design,(2022 Artstyle preset)
ネガティブプロンプト↓（女王/ 顔/ 1 枚目のものと同一）（※文責: 畑井梨里衣）

6.2.1.7

デザイン案を選定

AI が出力した多数のデザイン案を選定するにあたり，まず以下の 2 点を条件とした．1 つ目は人体の構造が著しく破綻していないという点だ．足が長すぎたり，肩から足が生えていたりするものなどが却下された例だ．2 つ目は複数のキャラクター間でデザインの被りを少なくするという点だ．例えば，白うさぎは髪の色が「白」と予め決まっているので，アリスでは白系の髪色を避けた．
この条件で前述の「デザイン案を出力」で紹介した画像を選出した．
（※文責: 坂上翠）

Group Report of 2022 SISP

- 89 -

Group Number 5

CreativeAI

6.2.1.8

デザイン完成選定したデザイン案を元に，「アリス」「チェシャ猫」「女王」「白うさぎ」の 4 キャラクターの三面図を制作した．使用ソフトは MedibangPaint だ．三面図を制作する際，以下の 2 点について考慮した．1 つ目は AI が出力した画像の不鮮明な点を補完するということだ．AI が出力した画像には整合性がとれていない箇所や曖昧になっている箇所がある．例えば，一見問題ないように見えるフリルでも，よく見ると現実には再現不可能なものになっていることがある．そのような点を人間の手で補完，修正する必要がある．2 つ目はできるだけゲームに実装しやすい形に落とし込むということだ．1 つ目の点を考慮したとしても，限られた期間で完成させるにしては細かすぎるデザインが残っていることがある．このような点を人間の手で簡略化し，今持っている時間と技術に見合うデザインに修正した．
・アリス

図 6.26

アリスの三面図・チェシャ猫Group Report of 2022 SISP

- 90 -

Group Number 5

CreativeAI

図 6.27

チェシャ猫の三面図・女王図 6.28女王の三面図・白うさぎ

Group Report of 2022 SISP

- 91 -

Group Number 5

CreativeAI

図 6.29

白うさぎの三面図（※文責: 坂上翠）

6.2.2

3D 自動生成6.2.2.1

3 次元モデル自動生成概要

後期は，前期の活動を踏まえて使用技術の検討を行った．前期では，トランプ兵，三月うさぎ，
帽子屋の３キャラクターを生成する予定であったが，後期に入りシステム班を中心にスケジュー
ルの見直しを行った結果，一部の予定していたゲームステージの実装を変更した．その結果，森ス
テージに使用する予定だった三月ウサギと帽子屋の３Ｄモデル素材が必要なくなり，トランプ兵のみの生成を行うことになった．
（※文責: 穂積佳）

6.2.2.2

使用技術

CLIP-Mesh はテキスト入力から，ゼロショットで３ D モデルを生成する技術である．テキストを入力すると，テクスチャマップ，法線マップ，メッシュデータを生成，３ D モデルを obj で出力する．CLIP-Mesh は，メッシュ，テクスチャマップ，法線マップの 3 種類のデータを生成します．
このデータを多角度から複数枚レンダリングし CLIP が評価，入力テキストとの類似度をより高くなるようにデータを変化させていきます．CLIP は 4 億組の画像と画像を説明する自由テキストのペアデータセットを自然言語教師データとして学習させており，自由なテキストと画像の類似度をゼロショット転移で出力できるモデルです．CLIP-Mesh を使用する利点は 2 つあり，1 つ目の利点は生成時間が短いことである．前期に検討した text2Mesh や，AvatarCLIP と比較して数時間かかった生成が Google Colaboratory での実行で 15 分から 20 分程度で CLIP-Mesh は生成が完了する．2 つ目の利点は，生成されるモデルデータがゲームの素材として流用しやすいことにある．モデルデータは，メッシュデータの OBJ ファイル，テクスチャマップと法線マップの PNG
ファイル，そしてメッシュとマップデータを紐づける MTL ファイルが生成される．このデータセットは，ゲームのモデルデータとしてそのまま流用することができる．一方，人体，動物などの凹凸が激しいモデルや，槍やトランプなど，極端に薄い形状や細長い形状のものは生成の制度が低いことが，何度かの生成で分かった．以上のことから，CLIP-mesh によるキャラクター（トランGroup Report of 2022 SISP

- 92 -

Group Number 5

CreativeAIプ兵）モデルの生成は一度の生成で完成させることが難しいと判断し，キャラクターをパーツに分け（トランプの胴体や顔など），それを組み合わせることで生成するようにした．
（※文責: 穂積佳）

6.2.2.3

各パーツの生成トランプ兵のパーツは，顔，トランプの体，手，靴を CLIP-Mesh で生成した．上記で述べたよ
うに，手のような複雑な形のものや，トランプのような極端に細長い形状のものは CLIP-Mesh での生成が難しかった．したがって，手やトランプは通常 CLIP-Mesh の機能を一部変更して生成した．通常，CLIP-Mesh が３ D モデルを生成する際は，球体のメッシュデータの頂点を移動させ形を生成していくが，オプションを設定することで，前もって制作したモデルを元にスタイル変換や
メッシュ変形させることが出来る．これを利用し，本来 CLIP-Mesh で生成しづらい形状の３Ｄモデルを生成した．
（※文責: 穂積佳）

6.2.2.4

パーツを組み合わせる (CLIP 利用)

パーツを組み合わせる作業の自動化を CLIP を利用して行う検討をした．想定する仕様は，自由テキストと複数の３Ｄモデルデータを入力，テキストに応じて３Ｄモデルを配置するというものである．例えばシルクハットのモデルデータと石膏像の顔のモデルデータと「シルクハットをかぶった男」というテキストを入力すると，顔のモデルの上にシルクハットを移動させＯＢＪファイ
ルとしてエクスポートする．配置した複数のオブジェクトを移動させてその都度レンダリング画像
を CLIP で評価，類似度が高くなるようにさらに移動をさせて任意のオブジェクト配置を自動で行
う．2 つの３Ｄモデルを 1 次元移動のみで制御するまでは実装できたが，それ以上の実装はゲームの統合作業に間に合わないと判断し断念した．結果的には，blender を利用しパーツを組み合わせてトランプ兵を完成させた．
（※文責: 穂積佳）

6.2.2.5

リグ付け生成した３ D モデルアニメーションなどの動きを付けるために，リグ付け作業を行った．リグ
付けは，ボーンの配置，ボーンとモデルの関連付け（スキニング），ウェイト調整，などの作業を行うが，いくつかのアプリケーションではこの過程を自動的に行うことが出来る．アニメーション
制作が出来る web サービスの Mixamo には人型のモデルに，手，腰，頭，など数点の位置を指定するだけで人型のリグ付けが自動的に行われる機能がある．この機能を使用してトランプ兵のモデ
ルのリグ付けを行おうとしたが，正常にリグ付けが完了しなかった．これは，トランプ兵の関節ごとのパーツが分離していることや，人型からやや離れた形状をしていることが考えられる．こちらも結果的には blender を利用して手動でリグ付けを行うことになった．
（※文責: 穂積佳）

Group Report of 2022 SISP

- 93 -

Group Number 5

CreativeAI

6.2.3

アセット制作

6.2.3.1

キャラクター立ち絵

三面図を元に「アリス」「チェシャ猫」「女王」「白うさぎ」を，自動生成した 3D モデルを元に「トランプ兵」を，オリジナルで「帽子屋」の立ち絵を MedibangPaint を用いて制作した．「三月ウサギ」の立ち絵は StableDiﬀusion で自動生成した．また，物語班で必要と判断された表情の差分を用意した．制作の際，ラフや色塗りの途中の段階でグループメンバー内で以下の 2 点を確認した．1 つ目はポーズだ．キャラクター設定に合っているか，人体の構造としておかしくないかなどの点を確認し，必要があれば修正した．2 つ目は色合いだ．ゲームの世界観に合っているか，自動生成された背景に合っているかなどの点を確認した．この時，実際に自動生成された背景と立ち絵を合わせるなどの作業も行った．結果，世界観に合わせて立ち絵の彩度は落とし，キャラクターを目立たせる目的で右側にグレーの影を付けることになった．
・アリス
アリスは 11 種類の差分を用意した．
ポーズは服の自動生成の際に出てきた画像を元に設定した．
「通常の表情」は三面図に忠実に，キャラクター設定も踏まえて芯が強そうに表現した．
「驚いた表情」は主に目を見開き，眉を上にずらすことで表現した．口を閉じた差分と開けた差分を用意することで驚きの程度の差を付けた．
「笑った表情」は主に口元の微笑みで表現した．目が開いているものと目が笑って糸目になっているものを用意して笑顔の程度の差を付けた．
「悲しい表情」は困り眉と閉じた口，伏せた目元で表現した．また，目線を斜め下にすることで目の前の状況から目を背けたくなるような悲しさを表現した．
「疑う表情」は困り眉と汗で困惑と疑念の感情を表現した．
「焦る表情」は困り眉と見開いた目，汗で表現した．
「残念に思う表情」は，じとっと相手を睨むような目つきや困り眉，汗，少しだけ開けた口で表現した．
「眠る表情」は瞑った目で表現し，眉の形状でなるべく穏やかな表情になるようにした．
「陰る表情」は顔から前髪にかけて影を付けることで表現した．

Group Report of 2022 SISP

- 94 -

Group Number 5

CreativeAI

図 6.30

アリスの「通常の表情」の立ち絵・チェシャ猫
チェシャ猫は 6 種類の差分を用意した．
ポーズは手を猫のようにし，体の向きをトレードマークである尻尾がよく目立つような後ろ向きに設定した．
「通常の表情」は三面図に忠実に，キャラクター設定も踏まえてにやにやとした表情にした．また，口を閉じた差分と口を開けた差分を用意して，にやにやとした表情に程度の差を付けた．
「笑った表情」は眉を下げることで表現した．「通常の表情」のにやにやとした表情とは打って変わって穏やかにほほ笑んだ表情にした．
「残念に思う表情」は，困り眉や汗，苦笑いのように開けた口で表現した．
「冷たい表情」は閉じた口元で表現した．
「驚いた表情」は見開いた目とハイライトの消えた瞳，閉じた口元で表現した．

Group Report of 2022 SISP

- 95 -

Group Number 5

CreativeAI

図 6.31

チェシャ猫の「通常の表情」の立ち絵

・女王
女王は 5 種類の差分を用意した．
ポーズは胸を張り，右手は腰に，左手と両足は大きく外に広げて，女王の威厳を誇張するように設定した．
「通常の表情」は三面図に忠実に，キャラクター設定も踏まえてツンとした表情にした．
「笑った表情」は笑った口元と細めた目で表現した．特に口元は口角を片方だけ上げることによって得意げな表情にした．
「怒る表情」は吊り上がった眉の目，大きく開けた口で表現した．
「泣く表情」は困り眉と涙，開けた口で，見た目年齢相応に幼い子供が大きく声を上げて泣く様子を表現した．
「絶望の表情」は見開いた目とハイライトの消えた瞳，小さく開けた口で表現した．

Group Report of 2022 SISP

- 96 -

Group Number 5

CreativeAI

図 6.32女王の「通常の表情」の立ち絵

・白うさぎ
白うさぎは 5 種類の差分を用意した．
ポーズは，手を後ろに組み足を肩幅に広げることで，女王の忠実な側近であることを表現するように設定した．
「通常の表情」は三面図に忠実に，キャラクター設定も踏まえて困ったような表情にした．また，口を閉じた差分と開けた差分を用意し，困った様子の程度に差を付けた．
「残念に思う表情」は，困り眉や汗，閉じた目，開けた口で呆れて溜息をついている様子を表現した．
「冷たい表情」は閉じた口元で表現した．
「驚いた表情」は見開いた目とハイライトの消えた瞳，閉じた口元で表現した．

Group Report of 2022 SISP

- 97 -

Group Number 5

CreativeAI

図 6.33

白うさぎの「通常の表情」の立ち絵

・トランプ兵
トランプ兵は 1 種類の差分を用意した．ポーズは 3D モデルを自動生成した時に入れた間接の場所が分かるようなもの，出力されたモデルの雰囲気に沿った無機質さを感じるものに設定した．

図 6.34

Group Report of 2022 SISP

トランプ兵の立ち絵- 98 -

Group Number 5

CreativeAI・三月ウサギ
三月ウサギは 2 種類の差分を用意した．
他キャラクターとは異なる実写のようなタッチにすることで，三月ウサギがいるお茶会会場やそもそもの不思議の国全体が狂った空間であることを表現した．
「通常の表情」は透過素材に編集しやすいように，背景が青い茶色い西洋のうさぎの画像を生成した．
「楽しげな表情」は前述の「通常の表情」を imagetoimage にかけて楽しげな表情のうさぎの画像を生成した．

図 6.35

三月ウサギの「通常の表情」立ち絵

・帽子屋
帽子屋は 1 種類の差分を用意した．
人型ではない異形の生き物というコンセプトで，人間とは異なる身体の構造をしているということを表現した．

図 6.36

帽子屋の立ち絵（※文責: 坂上翠）

Group Report of 2022 SISP

- 99 -

Group Number 5

CreativeAI

6.2.3.2

キャラクター 3D モデル

三面図を元に，「アリス」「チェシャ猫」「女王」「白うさぎ」の 3 次元モデルを，VRoid studio を用いて制作した．まず，顔・体型・服装についてパーツの選択・編集を用いて大まかに設定した後，テクスチャ編集で詳細なデザインを再現した．テクスチャ編集は，VRoid studio のテクスチャ編集機
能と MedibangPaint を併用しながら行った．さらに「チェシャ猫」「白うさぎ」については，尻尾のパーツを髪型のメッシュを複製するという方法で制作したため，VRoid studio の設定では尻尾が頭の動きに追従してしまう．そのため，尻尾を身体の動きに追従させるために blender を用いて調整を行った．調整にあたって，解説動画 【VRoid 正式版】Blender を使って尻尾をちゃんと動かす！
ウェイトとボーン親子変更の解説 (URL: https://www.youtube.com/watch?v=tLTOV15o5UA) を参考にした．

図 6.37

キャラクター 3 次元モデル（※文責: 畑井梨里衣）

6.2.3.3

背景

ゲーム内背景を Trinart v1 を用いて自動生成した．「夜の都会」「森」「お茶会会場」「薔薇の迷路」「白うさぎの小屋 1」「白うさぎの部屋 2」「城外観」「裁判場 1」「裁判場 2」「地下牢」の 10 枚を自動生成した．1 つのテーマにつき数枚画像を自動生成し，グループ内で話し合って選定した．
画像と入力プロンプトは以下の通りである．
・夜の都会

Group Report of 2022 SISP

- 100 -

Group Number 5

CreativeAI

図 6.38

夜の都会の画像

入力プロンプト↓

Concept art of people in intersection in Skyscraper district at night, Shinjuku in Japan,
Medium shot angle, masterpiece, Unreal Engine, Game Background, realistic photo, highly
detailed, realistic, photorealistic
ネガティブプロンプト↓

helicopter shot, Overhead-angle
・森

図 6.39

森の画像

入力プロンプト↓

Illust of dark forest in a fantasy world with colorful mushrooms, many trees, old wooden
signboard, magical world, Anime background, Long shot angle, Granblue Fantasy, Low key
Light, Game Background・お茶会会場

Group Report of 2022 SISP

- 101 -

Group Number 5

CreativeAI

図 6.40

お茶会会場の画像

入力プロンプト↓

fantasy vivid colors, sweets and teapots and tea sets on colorful cloth-covered tables andmany chairs in dark forest, Alice in Wonderland, colorful, fantasy, magical world, Anime
background, Long shot angle, Game Background, perfect lighting
・薔薇の迷路図 6.41

薔薇の迷路の画像

入力プロンプト↓

masterpiece, concept art of very beautiful white rose garden with several narrow stone
paths, many white rose shrubs, labyrinth, stepladder, paint and brushes, vivid color, Alicein Wonderland, colorful, fantasy, magical world, Anime background, close-up angle, Game
Background, perfect lighting
ネガティブプロンプト↓

big tree, buildings
・白うさぎの小屋 1Group Report of 2022 SISP

- 102 -

Group Number 5

CreativeAI

図 6.42

白うさぎの小屋 1 の画像

入力プロンプト↓

masterpiece, concept art illustration of the small simple round room, pink checkered tile ﬂoor
and pink wallpaper, antique small brown color sofa, small bottle on small antique table, Alicein Wonderland, concept art, colorful, Granblue fantasy, magical world, Anime background,Game Background
ネガティブプロンプト↓

low-quality
・白うさぎの小屋 2

図 6.43

白うさぎの小屋 2 の画像

入力プロンプト↓

masterpiece, concept art illustration of the small simple round room, pink checkered tile
ﬂoor and pink wallpaper, antique small brown color sofa, small bottle on small antique table,
Alice in Wonderland, colorful, fantasy, magical world, Anime background, Game Background
ネガティブプロンプト↓

low-quality
・城外観

Group Report of 2022 SISP

- 103 -

Group Number 5

CreativeAI

図 6.44

城外観の画像入力プロンプト↓

front of the red and white castle of the Queen of Hearts in Alice in Wonderland, from front
side extreme close-up angle, highly detailed, Alice in Wonderland, colorful, fantasy, magicalworld, Anime background, Game Background, perfect lighting
・裁判場 1

図 6.45

裁判場 1 の画像

入力プロンプト↓

masterpiece, concept art of the outdoor parliament space in garden, red ﬂoor, The presiding
judge’s seat is high in the center, and the witness stand is across from it, illustration of thecourtroom in garden, highly detailed, Medium shot angle, concept art, Alice in Wonderland,colorful, fantasy, magical world, Anime background, Game Background, perfect lighting
ネガティブプロンプト↓

low-quality, blue ﬂoor
・裁判場 2

Group Report of 2022 SISP

- 104 -

Group Number 5

CreativeAI

図 6.46

裁判場 2 の画像

入力プロンプト↓

masterpiece, concept art of the outdoor parliament room in garden, red ﬂoor, The presiding
judge’s seat is high in the center, the witness stand, highly detailed, concept art, Alice inWonderland, colorful, fantasy, magical world, Anime background, Game Background, perfectlighting
ネガティブプロンプト↓

row-quality
・地下牢

図 6.47

地下牢の画像入力プロンプト↓

concept art of In front of the jail cell, dimly lit and narrow stone dungeon, jail, iron grill,
dim light, concept art, fantasy, magical world, Anime background, Game Background, perfectlighting（※文責: 坂上翠）

6.2.3.4

キャラアイテムの絵

各キャラクター（「アリス」「白うさぎ」「チェシャ猫」「女王」）の背景史と関連したアイテムの絵（「猫のキーホルダー」「時計」「食べかけのチェリーパイ」「絵本」）を，Trinart v1 を用いて自動生成した画像を元に，人の手で作成した．以下に，各アイテムの完成画像，デザインの元となる
自動生成された画像，画像を自動生成する際に用いたプロンプトを記す．

Group Report of 2022 SISP

- 105 -

Group Number 5

CreativeAI・猫のキーホルダー

図 6.48

完成画像＜デザインの元となる画像 1 ＞

図 6.49

自動生成された画像

入力プロンプト↓a mascot keychain, cat, cute, a plush keychain, For Girl
＜デザインの元となる画像 2・3・4・5 ＞

Group Report of 2022 SISP

- 106 -

Group Number 5

CreativeAI

図 6.50

完成画像

入力プロンプト↓a mascot keychain, cat, cute, a plush keychain, For Girl, Alice in Wonderland
・時計

図 6.51

完成画像＜デザインの元となる画像＞

Group Report of 2022 SISP

- 107 -

Group Number 5

CreativeAI

図 6.52

自動生成された画像

入力プロンプト↓A pocket watch design, master piece, Alice in Wonderland, A pocket watch, classical design,
Belongings of the White Rabbit in Alice in Wonderland, rabbit ears
・食べかけのチェリーパイ

図 6.53

完成画像＜デザインの元となる画像＞

Group Report of 2022 SISP

- 108 -

Group Number 5

CreativeAI

図 6.54

自動生成された画像

入力プロンプト↓

uneaten cherrypie, dirty dish.
・絵本

図 6.55

完成画像＜デザインの元となる画像 1 枚目＞

Group Report of 2022 SISP

- 109 -

Group Number 5

CreativeAI

図 6.56

自動生成された画像

入力プロンプト↓

Thick three-dimensional picture book decorative design from an angle, masterpiece, cute,
gothic, Alice in Wonderland.
＜デザインの元となる画像 2 枚目＞

図 6.57

自動生成された画像

入力プロンプト↓

Thick, three-dimensional picture book decorative design seen from an angle, cute, gothic,
Alice in Wonderland（※文責: 畑井梨里衣）

Group Report of 2022 SISP

- 110 -

Group Number 5

CreativeAI

6.2.3.5

タイトルロゴ「Alice in the ideal world」のタイトルロゴを作成した．作成手順として，はじめに手書きで案出しを行った後，いくつかのフォントやカラーバリエーションを試しながら，以下の画像のような複数のロゴを作成した．制作にあたり，少女のシルエット部分の作成は MediBangPaint，その他の編集は Adobe Illustrator を用いて行った．

図 6.58

タイトルロゴ案

さらに，候補を三つに選んだ（画像の 1,2,3）．各デザインの意図を以下に記す．
・1
プロジェクトのテーマとして人工知能が大きく関わるため，Alice の文字における Al の部分を白抜きにして強調することで，同時に人工知能 (AI) の意味合いを含めた．また，不思議の国のア
リスという童話をモチーフとしていることから，絵本を連想させるような手書き風の味わいのある
フォントを選んだ．the ideal world の文字については，物語の舞台は理想郷であると同時に，逃げ出したくなるような過去を抱えた者が集まる逃避の地であり，女王の圧政に支配されているという
歪んだ印象を与えるため，文字の並びを少々崩した．さらに世界観を表現するために，主人公アリスをイメージした少女のシルエットを配置した．
・2,3
まず，各キャラクターの背景史には現実逃避という共通項がある．さらに，物語の一つの軸として異世界からの脱出という要素がある．作品全体に関わるこれらの「逃避・脱出」という要素を，「逃げ出す」という意味を持つ非常口のデザインに結び付けた．非常口らしい特徴的なデザイン要素として，矢印記号を A の文字に取り入れ，ピクトグラムを主人公アリスをイメージした少女のシルエットに置き換えた．配色は従来の非常口になぞらえ，白地に緑とした．また，1 と同様の意図で Al を強調するために，Alice の文字の Al と ice の部分を隔てた．
最終的に，タイトル画面で使用するにあたって，背景画像やメニューボタンのデザインと合わせて画面全体の統一感などを考慮した結果，1 の案を採用した．
（※文責: 畑井梨里衣）

Group Report of 2022 SISP

- 111 -

Group Number 5

CreativeAI

6.2.3.6

エンディングイラスト

自動生成されたエンディングシナリオを元にエンディングイラストを 6 枚制作した．使用ソフト
は MediBangPaint である．

A.
エンド A は，アリスが現実に帰ることを決め，チェシャ猫は現実へ希望を託すもう一人の自分であることに気付くエンドだ．鏡越しに向かい合う二人を描くことで「もう一人の自分」を表現した．

B.
エンド B は，アリスがチェシャ猫と共に現実へ帰るエンドだ．互いに見つめあい，ほほ笑む二人を描くことで，自分の意思で希望を持って現実に帰ることを表現した．

C.
エンド C は，まだここでやらなければならないことがあると，不思議の国に残ったアリスを先に現実世界に帰ったチェシャ猫が迎えに来るエンドだ．逆光の中，優しく微笑みながらこちらに手を差し伸べる姿を描くことで，これから希望のある現実に導いてくれるのだということを表現した．

D.
エンド D はアリスの目の前でチェシャ猫が処刑されてしまい，ショックで記憶喪失になったア
リスが不思議な渦に飛び込み現実へ帰るエンドだ．アリスがチェシャ猫の血を踏んで渦へと向かう様子を描くことで，アリスがチェシャ猫を本当に忘れてしまったということを表現している．

E.
エンド E は処刑されそうなチェシャ猫をかばってアリスが殺されてしまうエンドだ．大切な人を守ることができた安心感でほほ笑むように息を引き取るアリスを抱えてうなだれるチェシャ猫の姿を描くことで，悲壮感溢れる状況を表現した．

F.
エンド F は，チェシャ猫を処刑されたショックで，アリスが女王を殺してしまい，次の不思議の国の女王になるというエンドだ．処刑されたチェシャ猫やそれを見てほほ笑む白うさぎ，アリスが殺してしまった女王など，アリスにとって衝撃的な出来事を背景にしつつ，血濡れの王冠を被った
アリスを中央に描くことで，絶望的な状況を表現した．

Group Report of 2022 SISP

- 112 -

Group Number 5

CreativeAI

図 6.59エンド A B C D E F のイラスト（※文責: 坂上翠）

6.2.3.7

3D

後期では主に城ステージの内装に使用する３ D モデルを制作した．内装に使用するモデルはインターネットでダウンロードしたフリー素材をメインに用意をしたが，適切な素材が見つからない
際は，視覚班が制作した．後期には城のシャンデリア，女王の玉座を制作した．制作には blenderを使用した．城のステージの３ D モデルを生成した．城ステージは１階，２階，謁見の間，女王の部屋，牢屋の３つに分かれており，システム班が大まかな城の構造をスケッチ，それを参考に３D モデルを生成した．シンプルな構造の部屋は，unity 内で単純なモデルを合わせて作ることが出来るが，複雑で細かなモデルは blender で制作することになった．制作の段取りとしては，まずシステム班が部屋のサイズやドアの位置がわかる程度の大まかなモデルを生成，それをもとに，視覚班がより細かい装飾を施すといったように進めていった．一部の部屋やテクスチャは，システム班
や物語班のメンバーに協力をしてもらい完成させた．
（※文責: 穂積佳）

6.2.3.8

UV 展開

Blender で作製したマップを Unity 側に移動させ，内装を施すため壁や床などにマテリアルを付け加える作業を行った．しかし，マテリアルの表示にいびつが発生し，その修正作業のために UV展開を行った．UV 展開は Blender，Unity どちらでも可能であったが，操作性の点から Blenderを使用した．UV 展開をするにあたり，Blender 上で，マテリアルがどのように表示されているか確認したところ，UV 座標の頂点や辺が線状または点状，1 部分のみだけ表示といった問題が多々あることが分かった．この問題を解決するため，Blender の UVeditor を開き，UV の表示される範囲の変更を行った．まず，1 部分のみ表示されている部分の修正を行った．UV を確認した際に，2 つの直角三角形で長方形，または正方形となり，マテリアルを表示している場合が殆どであった．
Group Report of 2022 SISP

- 113 -

Group Number 5

CreativeAI
そこで，2 つの三角形を Blender の機能である「溶解」を行い，UV 展開がしやすい長方形，正方形に変更した．次に，線状，点状になっている UV を修正するために，Blender の機能の「スマート展開」を行った．これは本来では，モデルに適した UV 展開を自動で行う機能である．しかし，UV 展開をするモデルに問題があったのか，自動で適した UV 展開にならず，マテリアルを表示する範囲が微小ながら展開された．これにより，手動ながら UV 展開を修正が容易に行えるようになった．最後に，ドア付近の UV 展開は Blender の機能である「ビューから投影」を行った．これは Blender の視点から UV 展開をする機能である．そのため，ドア付近などの UV 展開が複雑になっている部分の修正に適している．また，マップの細部の部分にマテリアルを合わせる際に，全体を表示するように UV 展開をすると，表示が細かくなり，逆効果になってしまう．この場合も「ビューから投影」を行い，壁の模様に合う形で修正を施した．以上のような方法でマテリアルに合わせて UV 展開を行い，マテリアルを正しく表示した．その後，Blender 状で UV 展開をしてマテリアルの調節をしたマップを Unity に移動させ，マテリアルのデータも Unity 上に反映させ，正しく表示されていることを確認した（※文責: 幸崎駿祐）

Group Report of 2022 SISP

- 114 -

Group Number 5

CreativeAI

6.3

音響班

6.3.1

データベース構築

曲の雰囲気をより詳細に学習させるために，学習用の音源データベースを構築した．
音源データベースの構築では，学習させる音源データから BPM，クロマグラム，スペクトルセ
ントロイド，ZCR，バンド幅，RMS の六つの音響特徴量を抽出するシステムを開発した．それぞれの特徴を以下に記す．
・BPM

BPM は，いわゆる曲のテンポを取得し，この特徴量によって曲の速さを推定することができる．
・クロマグラム
クロマグラムは，全周波数帯域のパワーを [C，Db，Eb， E， F， Gb， G， Ab， A， Bb，

B] の 12 音階に落とし込み，ある区間の時間における音の成分を可視化したものである．この特徴
量から分散をとり，調 (Key) を推定する．具体的には，特定の調を基準とし，分散が小さければ基準とした調が曲の調であると推定できる．
・スペクトルセントロイド
スペクトルセントロイドとは，スペクトル重心とも言い，音響波形から周波数分析によって取得したスペクトルの中点のことである．すなわち，その周波数を分割点として，上と下でエネルギーが拮抗する．この特徴量から音の明るさを推定でき，値が高ければ甲高い音が，低ければ重い音ということが分かる．
・ZCR

ZCR とは，ゼロクロッシングレートとも言い，信号波形が正からゼロへ，または負からゼロへ変化する割合で，主にメロディとパーカッションの音を分類するなどに使用され，今回においては，
楽曲の中でノイズがどれぐらい入っているのかを示す指標，要するに ZCR の数値が大きければ騒がしい曲，反対に数値が小さければ静かな曲と分類することではないかと考え，採用した．
・バンド幅
バンド幅とは，信号の周波数において最高周波数と最低周波数の幅を示すものである．前述のZCR を用いて高音のみで構成された楽曲を分析すると，ノイズが多い楽曲の波形と近似するため，
ZCR 単体では分類しにくいデメリットがある．
そこでバンド幅を採用することによって，あらかじめ全体的な楽曲の高低音を把握し ZCR でノイズの割合を分析することができるのではないかと考え，採用した．
・RMS

RMS とは，実効値とも言い，音響特徴量としては音量を指し示す．この特徴量から，音量が大
きいか小さいかを推定することができる．
また，取得した音響特徴量を可視化できるように，データベースから CSV ファイルを出力できるように実装した．これにより，学習モデルへのデータ参照も簡略化することもできる．

Group Report of 2022 SISP

- 115 -

Group Number 5

CreativeAI
さらに，取得した音響特徴量を学習モデルへ受け渡すために，変数を数値化する必要があるため，One-Hot ベクトルに変換するシステムを実装した．
（※文責: 菊地陵雅）

6.3.2

ループ素材生成

今回，ゲーム内でＢＧＭを実装させるためにフリーＢＧＭを利用した．利用したフリーＢＧＭのサイトを（6.3.3 音源素材集め）に記す．フリーＢＧＭを利用するにあたって，利用する価値が高いもののループ再生できない楽曲が多く，無理やりループ再生させるとゲームの雰囲気に見合わな
くなってしまう問題があった．
そこで，ループ再生できない楽曲を違和感なくループ再生できるように，ループ楽曲素材を生成するシステムを，昨年度のシステムを改良して開発した．大まかな概要としては，ループ再生できない楽曲から曲構成を基に楽曲を分割し，分割した曲をループ楽曲素材として生成する．以下に具体的なシステムの流れを記す．(図 6.60)

図 6.60Group Report of 2022 SISP

システムの流れ- 116 -

Group Number 5

CreativeAI
楽曲構造の分析には，Python の音楽情報処理ライブラリと機械学習ライブラリ scikit-learn を用いた．対象はゲーム内に用いるフリー BGM 全 170 曲で，すべて mp3 形式のファイルである．
楽曲を読み込む際のサンプリングレートは 22050 である．
まず，音源フォルダから mp3 ファイルを読み込み，ビートを取得し，ビート間に含まれる周波数の値の合計を算出した．ビートとは拍のことであり，楽曲のまとまりに大きく関係する．よって，決まった時間間隔ではなくビートごとにまとめ直すことによって，後のクラスタリングでより自然な区切りで楽曲を区切ることができるようにする．まず Librosa 内の関数 librosa．onset．

onset strength で音の開始点を表す Onset の時間変化を計算し，Librosa 内の関数 librosa．beat．
beat track を用いることで位置を検出した．
次に，Librosa 内の関数 librosa．stft を用いて楽曲を短時間フーリエ変換し，周波数スペクトルの時間経過の行列を算出した．窓の長さは 2048 で，窓の移動幅は 512 である．これにより，1 秒
を約 43 分割した範囲で，0Hz から 11025Hz を 1025 分割したそれぞれの周波数成分を得ることができる．時間分解能は約 23．26ms で，周波数分解能は約 10．76Hz である．また，短時間フーリ
エ変換によって得られる周波数成分は約 23．26ms ごとに分けられているため，それぞれのビート
間の時間に該当する部分のデータを加算した．
最後に整理したデータに対し，クラスタリングを行った．昨年度ではクラスタリングに scikit-

learn 内の K-Means++ クラス (図 6.61) を用いていたが，今回は scikit-learn 内の Agglomerative
Clustering クラスを用いた．Agglomerative Clustering クラスとは，階層的クラスタリング(Hierarchical Clustering) であり，個体からクラスタへ階層構造で分類する分析方法の一つである．(図 6.62) このクラスタリングの長所として，特定の数のクラスタを仮定する必要がなくなる．
そして，楽曲構造分析によって分類されたまとまりごとに楽曲を分割し，ループ素材を生成した．

図 6.61 K-Means++ クラスによるクラスタリング

図 6.62 Agglomerative Clustering クラスによるクラスタリング

昨年度のシステムに加えた機能として，曲の指定再生時間以下の音源ファイルを生成しない機能である．従来のシステムでは，楽曲を分割すると再生時間が極めて短い音源ファイルも生成されてしまい，質の高いループ素材の厳選に時間がかかってしまっていた．そこで，違和感なくループ再生できるように小節単位で時間指定し，時間指定以下の音源ファイルを生成しないようにした．今回においては，分割したループ素材が 8 小節以下だった場合生成しないように設定した．また，曲の分割が細かすぎ，分割したループ素材がすべて時間指定以下だった場合には，原曲をそのままコピーするようにした．
結果として，生成されたループ素材は音符一個程度の誤差に収まった．また，まれに区切りの悪いループ素材や分割できなかった楽曲が存在した．これらには三つの原因が考えられる．
一つ目は，楽曲に「アウフタクト」という表現方法が用いられた場合である．
「アウフタクト」とは別名弱拍とも言い，一拍目 (強拍) 以外の弱拍から曲，またはフレーズが始まる表現方法で，今Group Report of 2022 SISP

- 117 -

Group Number 5

CreativeAI
回のシステムでは強拍を基準に楽曲を分割していたため，区切りが悪くなってしまったと考えられる．
二つ目は，分割前の楽曲そのものがループ素材だった場合である．元々ループ素材の楽曲は，曲の展開が穏やかな楽曲が多かった．今回のシステムでは，曲の展開がはっきりしているほど分割する精度が良く，曲の展開が穏やかに変化していく楽曲に対しては展開がつかみにくく，区切りが悪くなってしまったと考えられる．
三つ目は，拍子の問題である．先述した曲の指定再生時間以下の音源ファイルを生成しない機能において，拍子を考慮する必要があった．今回は全ての楽曲に対して 4/4 拍子で 8 小節をカウントしたため，3/4 拍子や 6/8 拍子といったような楽曲には，不自然な区切りのまま生成されたと考えられる．
（※文責: 菊地陵雅）

6.3.3

音源素材集めフリー BGM は DOVA-SYNDROME や甘茶のお茶工房，BGMer，MusMus，魔王魂，PeriTuneのサイトから，フリー BGM を約 200 曲ダウンロードし，それぞれ「森」「タイトル」「小屋」「城」「その他」の雰囲気に合わせて，フォルダ分けした．物語班とシステム班と事前に曲の雰囲気を決めていたため，「森」は暗い雰囲気，「タイトル」はオルゴール調の雰囲気，「小屋」は明るめの曲調だが奇妙さがある雰囲気，「城」は高貴な雰囲気にあう BGM を中心に収集した．

SE は，効果音ラボというフリー効果音サイトを用いて策定した．SE も物語班やシステム班と事前に相談していたため，決定音，キャンセル音，アイテム取得音，衝撃音，ドアの開閉音，草を踏む音，水滴の音，都会の喧騒音を収集し，足音に至ってはプレイヤーの移動に合わせて SE を鳴らす要望があったため，足音の SE を加工した．
（※文責: 菊地陵雅）

6.3.4

前期システム改良

6.3.4.1

入出力データ調整

前期の音響システムに対して，統合に向けた入力・出力形式の調整を行なった．具体的には，入力データを曲名にしていたものを候補曲の格納されている場所のファイルパスに変更した．この変更によって，使用楽曲を指定ファイルに置く操作のみで使用楽曲をシステムから呼び出せるようになった．また，出力データに対しての調整も行なった．出力データに各楽曲のテンポデータを追加した．この変更によって，前期で行なっていた自動テンポ取得に比べて，処理時間の短縮だけではなく，曲の拍や小節の把握がより容易・明確になり，結果的に楽曲同士のずれの解消にも繋がった．
出力データの増加に伴い，楽曲とテンポのを紐付けた CSV 形式のファイルを用意し，そのファイ
ルからデータを摘出する形をとった．
（※文責: 高橋昂大）Group Report of 2022 SISP

- 118 -

Group Number 5

CreativeAI

6.3.4.2

曲遷移場所検索の改良

現在の曲から後続曲に繋ぐ際に現在の曲の次の小節を参照して，参照した小節に似ている部分を後続曲の中から検索する手法を実装することにした．前期開発では，構想段階で止まっていたため後期の開発ではこのシステムがメインとなった．まず，全ての曲を前期と同様に全てデータ化を行い，曲名と現在の再生位置を指定するといつでもデータを得られるように下準備をしておく．この下準備をしておくことで，曲の再生を行いつつ次小節の楽曲データを参照することができる．このデータ化を行なっているプログラムは構築済みのニューラルネットワークを用いている．また，全ての楽曲に対して同じものを使用しているため，曲が似ていると出力デーも似ている．そのため，
現在曲の次小節データを摘出し，後続曲の中から似ているデータを探してその位置を記録することで，後続曲の似ている部分への遷移が可能になる．
（※文責: 高橋昂大）

6.3.4.3

曲繋ぎ方法の改良

前期の曲繋ぎでは，後続曲のテンポに合わせて現在流れている曲のテンポを少しづつ近づけていく動作を python で実装した．しかし，最終の統合作業は unity で行うため曲繋ぎシステム自体を移行する必要があった．unity と python では言語が違うこともあり，音響系の操作についても多少の違いがあり解消する必要があった．具体的には，テンポ変更をした際に unity では曲の音程も同時に変わってしまうことである．unity では，楽曲を 1.2 倍すると周波数も 1.2 倍されるため曲自体の音程が高くなってしまう．また，楽曲を１倍未満にした際も同じ原理で曲自体の音程が低くなってしまう．この楽曲の音程が変わってしまう現象を対処するために unity のオーディオミキサーを導入し，その中のエフェクトである PitchShifter を使用した．PitchShifter を利用すること
で，unity のスクリプト上からオーディオミキサーに格納されている楽曲の音程を逐次変更することが可能になる．今回の曲繋ぎシステムでは，楽曲のテンポを少しづつ変えていくため音程変更もそれに合わせて変えていく必要がある．PitchShifter の音程変更は倍率で操作するものであったため，常に周波数＊音程倍率＝ 1.0 になるように周波数の数値に合わせて，音程倍率も同時に変化するようにスクリプトを変更した．
（※文責: 高橋昂大）

6.3.5

オーディオビジュアライザーの作成

最終発表会に向けて，オーディオビジュアライザーの作成にも取り組んだ．音声データのみで発表を行う予定であったが，視覚的にデータ化されたものがあった方がより理解も容易で説明もしや
すいと感じたため，音響システムを可視化するオーディオビジュアライザーの作成に取り組んだ．
また，制作・実装は unity 上で行なった．

Group Report of 2022 SISP

- 119 -

Group Number 5

CreativeAI

図 6.63

ビジュアライザー寒色系

図 6.64

ビジュアライザー暖色系

上記の図ように寒色と暖色，2 パターンの色を準備し，曲の切り替わる瞬間に色も切り替わるよ
うに表現した．また，周波数によってサイズの変わるバーを円形に配置することで音楽が流れている様子がわかり易く表現できるし，音楽が切り替わる際に互いの音量関係なども可視化することができた．アンケートでも，音声データの可視化が見やすくわかりやすかったという意見も見られた．結果的に音声データのみで行うよりも効果的に表現を行うことができたといえる．
（※文責: 高橋昂大）

6.3.6

システム統合前期で開発したシステムや後期で改良を行なったシステムを全て統合し，unity に移行する作業を行なった．初期の段階では，unity 側では全体の流れのみをスクリプトで記述し，必要になった
際に，python で記述した実行ファイルを呼び出して実行する方法をとった，この実行ファイルは，

PyInstaller を使用して exe 化を行なった．しかし，システムの受け渡しの際に OS の違いがあり
PyInstaller で exe 化したファイルがうまく読み込めなかったりと多くのエラーが発生した．そのため，これまで python で実行していたファイルを unity のスクリプトで再構築する手法に切り替えた．

図 6.65

プログラムの流れ

最終的なシステムの流れを上記の図として再構築を行なった．また，入力のデータは，ゲームにおける次のシーンや場所などの文字データ (お茶会・森など) と曲を切り替えるタイミングの 2 つGroup Report of 2022 SISP

- 120 -

Group Number 5

CreativeAIとし，出力データは，ゲームで流れている音楽とした．具体的な流れとしては，シーンや場所などの文字データを入力で受け取った際に，現在の曲との相性と後続のシーンとの親和性を考慮して，
音響システムが次回曲の選定を行い決定する．この決定した地点から現在曲の小節毎に後続曲への遷移場所を検索する．そして曲を切り替えるタイミングを受け取った際には曲の切り替えを行い，後続曲のあらかじめ決められていた小節に対して曲繋ぎの処理を行う．また，裏ではこのような動作を常に行うようにしているが，表では絶えず音楽が流れているように設定し，全ての楽曲をループ可能にしているため楽曲の終わりで曲がと途切れることもない．この一連の流れを下図にまとめた．

図 6.66

処理の流れ

最終的には，ゲーム中に楽曲が途切れることない音響システムの構築を行うことができた．しかし，曲の繋ぎ方や繋ぎ目の荒さが気になることも少なくはなかった．今後は，楽曲同士のテンポ差
や雰囲気の差，音程の差などの違いによって曲同士の繋ぎ方を工夫していくなどの改良を行なっていきたいと思う．
（※文責: 高橋昂大）Group Report of 2022 SISP

- 121 -

Group Number 5

CreativeAI

6.4

物語班

6.4.1

メインシナリオ作成

6.4.1.1

前期からの変更・追加点

メインシナリオ担当は，前期の活動で世界観の設定やメインシナリオの構成の決定，第 1 章の執筆を行った．後期の活動において，考案していたシナリオ全てを実装するには時間が足りなくなると判断したことや，執筆上での都合から，幾つか設定の変更や追加を行った．以下に具体的な変更点を記述する．
第一に，シナリオ構成の変更を行った．前期では全 5 章を想定していたが，システム面での実装が間に合わないことが懸念されたことから，全 4 章に変更した．また，2 章と 3 章はステージの実
装が間に合わず，シナリオの表示のみとなったため，その形式に合うようにシナリオを変更した．
具体的なシナリオ構成の変更点を以下に記述する．

2章
・芋虫が登場しなくなり，アリス，チェシャ猫のみ登場
・女王の圧政についての情報は芋虫からではなく，チェシャ猫から聞く

3章
・4 章の薔薇の迷路の内容が 3 章に組み込まれる・登場人物にトランプ兵を追加

4章
・前期の活動で作成したシナリオ構成の 5 章の内容が 4 章になる
・裁判の前に，城での探索と，城の地下牢でチェシャ猫と遭遇するイベントが発生する・地下牢でアリスはチェシャ猫が現実に戻りたいと考えていることを知る・地下牢でアリスとチェシャ猫が話していると，女王が登場し，チェシャ猫を裁判に連れていく．
その後，裁判に繋がる第二に，世界観設定の変更を行った．シナリオ展開上，「女王に首を斬られたら現実に帰ることができるのではないか」と推測しているのはチェシャ猫のみとするため，「女王に首を斬られたもの
は不思議の国から追放され, 現実世界へと帰されるという噂がある」という設定を無くした．また，実際に現実世界に帰る条件は，マルチエンディングで行った自動生成の結果に委ねることとした．
第三に，具体的な場所の設定の追加を行った．追加した場所は森，お茶会，薔薇の迷路，女王の城，裁判場の 5 箇所である．以下に詳しく記述する．
・森
不思議の国の面積のほぼ大半を占める森．カラフルな他の場所と違い，鬱蒼としていて薄暗い．
キノコが数多く生えていて，現実では考えられないほど大きなものもある．キノコは食べると不思
議な効果をもたらす．整備されているとは言えないものの一応道は存在する．しかし，道がたくさんあり，かつ入り組んでいるのと，道のそばにはいろいろな方向を示す看板が立てられていて，道行く人を迷わせる．道のそばにある大きな木の上にはチェシャ猫がいて，道に迷ったものを上からGroup Report of 2022 SISP

- 122 -

Group Number 5

CreativeAI
見下ろしてにやにやしている．森のはずれには帽子屋と三月うさぎが開くお茶会が，森と女王の城の間には薔薇の迷路がある．
・お茶会
帽子屋と三月うさぎが「なんでもない日」を祝ってほぼ毎日開催しているお茶会．開けた草原に
大きなテーブルと椅子がセットされ，テーブルの上にはティーセットとたくさんのお菓子が置かれている．鬱蒼とした森の中でのカラフルなお茶会は非常に奇妙に見える．
・薔薇の迷路
森の出口，女王の城の入り口に位置する，白と赤の薔薇の木で構成された迷路．常に庭担当のトランプ兵が常駐し，整備を行っている．女王は気分で薔薇の色を指定するため，すぐに薔薇の色が変えられるようにペンキと刷毛が用意されている．
・女王の城
薔薇の迷路の先にある，ハートの女王が住む城．トランプ兵が常駐している他，白うさぎも仕事上よく訪れる．横には裁判場も併設してあり，外から入ることができる．地下を除き，全体的に赤，白，金を基調とした豪華なデザインが特徴的である．一階，二階，地下が存在する．一階は入ってすぐに大きなホールがあるほか，厨房もある．厨房には，地下にごみを捨てるためのダクトがある．二階には女王の部屋があり，玉座と，女王のお気に入りの小物が置かれている．地下には
裁判前の罪人を収容するための石造りの地下牢があり，薄暗いその雰囲気は上の二つの階とは全く異なる．一階にある地下への入り口は，トランプ兵によって厳重に警備されている．
・裁判場
女王の城に併設されている裁判場．「裁判場」といっても，屋内ではなく外にある．裁判長の席は数段高くなっており，ハートの女王が座っている．裁判長席と向かい合うようにして被告人の席があるほか，横には白うさぎが座るための席もある．周りはトランプ兵によって厳重に警備されている．
第四に，キャラクター数の変更，キャラクター設定の変更を行った．キャラクター数について
は，シナリオを短縮したことにより芋虫が登場しないこととなったため減少した．キャラクターの設定については，キャラクターの背景史の自動生成との関係も考慮し，各キャラクターの現実での基本的な設定を追加した．加えて，帽子屋，三月うさぎ，トランプ兵についてはこれらのキャラクターが登場するシナリオを前期時点ではまだ執筆していなかったこともあり，実際の執筆に伴って不思議の国でのキャラクター設定も追加した．以下に具体的に追加した設定を記述する．
・アリス
現実では，20 代の女性である．
・白うさぎ
現実では，10 代後半の男性である．
・チェシャ猫
現実では，30 代半ばの男性である．

Group Report of 2022 SISP

- 123 -

Group Number 5

CreativeAI・帽子屋
アリスのことは，帽子屋にとっての常識が通用しないことから見下している．
現実では，40 代前半の男性である．
・三月うさぎ帽子屋と同じくおかしな言動をするが，多少の常識は残っているため，意味の通じる会話は可能．語尾に「ねぇどうして？」とつけるのが口癖．不思議の国に来てもなお現実を捨てきれないア
リスに対して苛立ちのような，うらやましいような複雑な感情を持っている．しかし自分は不思議の国側であるため，帽子屋の態度にのっとってアリスのことは見下している．
現実では，20 代後半の男性である．
・トランプ兵二人のトランプ兵が登場する (以下トランプ兵 A，B とする)．トランプ兵 A は態度が大きく話し方も厳しい．トランプ兵 B は気が小さいが調子に乗りやすい性格である．
現実では，30 代から 40 代の男性である．
・ハートの女王現実では 10 代前半の女性である．
（※文責: 吉井史夏）

6.4.1.2

メインシナリオ執筆

中間発表までの活動の項目でも述べた通り，エンディング以外のメインシナリオは全て人の手で執筆することとなった．また，中間発表までの時点ではプロローグとプロトタイプのための第 1 章の執筆が完了していたが，前述したようなシナリオ構成の変更もあり，プロローグと第一章の内容も修正しつつ，エンディング直前までの全 4 章の執筆を完了した．第一稿の執筆後はプロジェクトのメンバーに意見を貰って修正を行った．加えて，自動生成されたマルチエンディングや背景史と合わせたときに矛盾が無い状態となるようにシナリオを調整したほか，キャラクターの言動にそのキャラクターの背景史を窺わせるものものを追加し，伏線を張るなどしてメインシナリオがより重厚となるよう意識して執筆を行った．具体的な内容は次の章に記述する．
前期でメインシナリオを人手で執筆することが決定した際，自らシナリオを執筆する経験は AIに物語を作成させるという課題に対して，クリエイティビティの発揮の面で非常に有意義となると先生に助言をいただいた．実際執筆しているときには，「この展開は本当に面白いのか」と悩むことが何度もあり，自らの発想力の限界にも向き合うことになった．しかし，だからこそ，AI が自動生成した結果に対して，自分にはなかった発想を得られることに価値を感じることができた．自動生成した内容にあわせて調節を行うための人手での執筆作業だったが，この過程を通して，AI の価値を再認識することができた．
（※文責: 吉井史夏）

Group Report of 2022 SISP

- 124 -

Group Number 5

CreativeAI

6.4.1.3

自動生成したシナリオを組み込むにあたっての調整

物語班では，キャラクターの背景史に関するテキストと，マルチエンディングを自動生成した．
具体的な自動生成については後述の各章に譲るが，自動生成したこれらの内容に対して矛盾が無い
ようにメインシナリオの調整を行った．
背景史とメインシナリオの調整については，先述の通り，メインシナリオ中のキャラクターの言
動にそのキャラクターの背景史を窺わせるものを追加した．具体的な一例を紹介する．主人公であるアリスの背景史に，友人が自殺してしまうという描写があった．そこで，アリスが決意する場面の台詞を
アリス「それに，ここで引き下がったら，私はたぶんずっと後悔する…だから」というものから
アリス「それに，もう二度と恩人を死なせたくない…．だから」と変更することで，アリスは過去に親しい人間を無くしているのではないかという考察につなぐことができるように工夫し，アリスの背景史への伏線とした．マルチエンディングとメインシナリ
オの調整については，メインシナリオが自然にマルチエンディングに繋がるように工夫した．エン
ディングは 6 つあり，それぞれのシナリオが，アリスが現実に帰ることを決意するのかそれとも不思議の国に留まろうとするのか，また，実際にどういう結果となるのかという内容を含んでいる．
マルチエンディングの項目で詳しく触れるが，エンディングはエンディング直前に示される選択肢とアイテム入手率によって決定する．「現実へと帰る手段を持っていると思われるチェシャ猫に，アリスが現実へと帰ることを提案される」という場面でメインシナリオを終了させ，分岐条件となる選択肢に，そしてその先のエンディングの内容に自然と繋がるように執筆を行った．
（※文責: 吉井史夏）

6.4.2

背景史

6.4.2.1

データ収集

前期の活動では，背景史の自動生成のために「現実逃避しているキャラクター」が登場する完成度が高い 4 作品を分析対象として取り上げた．プロジェクト学習開始当初より，背景史の自動生成に必要なデータは 100 個程度と見積もっていた．後期の活動開始時点ではデータ量が 100 個を超えていたため，新たなデータ収集の優先度は自動生成アルゴリズムの構築に比べて低かった．しかし，必要なデータ量が想定よりも多かった場合に備えて，データ分析や自動生成アルゴリズムの構築と並行してデータ収集を行うことにした．分析対象は，ハリー・ポッターシリーズの「ハリー・ポッターと賢者の石」を取り上げた．選定理由は，前期の活動で収集したハリー・ポッターシリー
ズのデータ量が他の 3 作品よりも少なく，同作品が若年層のキャラクターが多く登場するファンタ
ジー作品で，収集済みのデータの補完という観点でも最適であると判断したためだ．
プロジェクト学習の終盤では，背景史のデータ総数は 122 個となった．データ量の内訳は，名探偵コナンが 34 個，おジャ魔女ドレミが 25 個，ハリー・ポッターが 25 個，笑ゥせぇるすまんが 38個である．
（※文責: 坂本珠凜）

Group Report of 2022 SISP

- 125 -

Group Number 5

CreativeAI

6.4.2.2

カテゴライズ

収集したデータは，前期に作成したフォーマットに従ってデータの特徴ごとにカテゴライズしてGoogle スプレッドシートに入力した．フォーマットに設定したカテゴリのうち，「現状認識」，「影響」，「分類」はベクトルの表記に直す必要があった．これは，収集したデータを分析しやすい形に置き換えるためである．
上記のカテゴリのデータをベクトルに直すにあたって，細分化されたデータの統合を図った．これは，分析に使う個々のデータが想定以上に細分化されてしまい，そのままの状態だと分析に適さなかったためだ．ここで，「影響」のカテゴリのデータを例に挙げて，細分化と統合の過程を見ていく．
「影響」のデータには，「逃走」や「忘却」，「忌避」というものがあった．これらは 1 つ 1 つのデータ量が乏しかったため，「逃避」という小カテゴリに統合して分析に使える水準のデータ量にした．この作業を「現状認識」と「分類」のカテゴリにも行い，最終的に全 6 個のカテゴリを 13個の小カテゴリに分割した．
このとき，13 個の小カテゴリのデータは全てテキストで保存されていたが，分析に使うデータはベクトルである必要があった．そこで，データ分析前の最終準備として．データのベクトル化を行った．ここで，13 個の小カテゴリのうち「逃避」を例に挙げて，ベクトル化の過程を見ていく．
上記にあるように，「逃避」は「影響」に属する小カテゴリであり，トラウマによって現れた「影響」のうち，トラウマの対象からの「逃避」を意味するデータを持つ．このデータのベクトル化には，トラウマの対象に相対したキャラクターが，逃避したか否かを 1 と 0 の 2 値で判別する必要がある．つまり，キャラクターが逃避した場合は 1，逃避しなかった場合は 0 を Google スプレッド
シートに入力した．この作業を全 13 小カテゴリに行い，データ分析の準備を終えた．
なお，後期より本格的にデータ収集を開始したハリー・ポッターは，データのベクトル化時点ではデータ数が少数だったため，データ分析に用いたデータの総数は 101 個となった．
（※文責: 坂本珠凜）

6.4.2.3

分析

背景史を自動生成する為に，収集したデータの分析を行った．分析手法としては収集したデータの中でトラウマとして多くみられる要素の発見のため，またデータ数とカテゴライズしたカテゴ
リー数の関係から因子分析を採用した．因子分析とは外的規準の無い大量データから共通因子を見つけ出し，データの背後にある少数の要因を統計的に推測する方法である．これにより，背景史やマルチエンディングのよくあるパターンを探索できると考えた．そこで，カテゴライズしたデータ
を因子分析に適用できるように，カテゴライズした項目のベクトル化を行った．この際データ数は

101 個，変数は 33 個であった．実際の変数の種類と，どのようにベクトルで表現したかを具体的に説明する．
「年齢」では，キャラクターの年齢が 20 歳未満の場合を-1，60 歳以上の場合を 1，それ以外は

0 を割り当てて表現した．「性別」ではキャラクターが女性の場合を１，男性の場合を０と割り当てて表現した．「認識」ではトラウマを認識している場合を１，認識していない場合を０と割り当てて表現した．「行動」ではトラウマに対して解決しようと行動する場合を１，行動しない場合を０，行動していないわけではないが解決に向けての行動ではない場合を−１と割り当てて表現した．「責任」ではトラウマの原因が自分にある場合を１，不明な場合を０，他者にある場合を−１と割り当てて表現した．「恐怖」ではトラウマに対して恐怖をしている場合を１，恐怖をしていなGroup Report of 2022 SISP

- 126 -

Group Number 5

CreativeAIい場合を０，恐怖しているが立ち向かっている場合を−１と割り当てて表現した．「落ち込み」ではトラウマに対して落ち込んでいる場合を１，落ち込んでいない場合を０と割り当てて表現した．
「忘却・現実逃避」ではトラウマを忘れようとしている場合を１，忘れようとしていない場合を０と割り当てて表現した．「逃走・忌避」ではトラウマから逃走している場合を１，逃走していない
場合を０と割り当てて表現した．「怒り」ではトラウマの原因に対して怒りを感じている場合を１，
怒りを感じていない場合を０と割り当てて表現した．「嫌悪」ではトラウマの原因に対して嫌悪を感じている場合を１，嫌悪を感じていない場合を０と割り当てて表現した．「恐怖」ではトラウマの原因に対して恐怖を感じている場合を１，恐怖を感じていない場合を０と割り当てて表現した．
「悲しみ」ではトラウマの原因に対して悲しみを感じている場合を１，悲しみを感じていない場合を０と割り当てて表現した．「驚き」ではトラウマの原因に対して驚きを感じている場合を１，驚きを感じていない場合を０と割り当てて表現した．「逃避行動」ではトラウマに対して逃避行動をしている場合を１，逃避行動をしていない場合を０と割り当てて表現した．「奮い立たせる」ではトラウマの解決に向かい自分を奮い立たせている場合を１，奮い立たせていない場合を０と割り当てて表現した．「攻撃的」ではトラウマを想起したときに攻撃的になる場合を１，攻撃的にならない場合を０と割り当てて表現した．「精神的疲労」ではトラウマが原因で精神的疲労を感じている場合を１，精神的疲労を感じていない場合を０と割り当てて表現した．「混乱」ではトラウマを想起したときに混乱する場合を１，混乱していない場合を０と割り当てて表現した．「受容」ではトラウマを受容している場合を１，受容していない場合を０と割り当てて表現した．「友人関係」
ではトラウマの原因が友人関係である場合を１，友人関係でない場合を０と割り当てて表現した．
「家族関係」ではトラウマの原因が家族関係である場合を１，家族関係でない場合を０と割り当てて表現した．「会社関係」ではトラウマの原因が会社関係である場合を１，会社関係でない場合を０と割り当てて表現した．「恋人関係」ではトラウマの原因が恋人関係である場合を１，恋愛関係でない場合を０と割り当てて表現した．「不思議」ではトラウマの原因が不思議な現象である場合
を１，不思議な現象でない場合を０と割り当てて表現した．「理不尽な扱い」ではトラウマの原因が理不尽なものである場合を１，理不尽なものでない場合を０と割り当てて表現した．「大切なモノ・ヒト」ではトラウマの原因が大切な物や人である場合を１，大切な物や人でない場合を０と割り当てて表現した．「ネガティブイベント」ではトラウマの原因が運悪く遭遇してしまっただけの場合を１，そうではない場合を０と割り当てて表現した．「劣等感」ではトラウマの原因が自分の劣等感である場合を１，自分の劣等感ではない場合を０と割り当てて表現した．
「自分に非がある」
ではトラウマの原因が自分に非がある場合を１，非がない場合を０と割り当てて表現した．
「願望」
ではトラウマの原因が自分の願望に関係している場合を１，自分の願望に関係していない場合を０と割り当てて表現した．「ショック」ではトラウマの原因がショックを受けるような場合を１，ショックを受けるようなものでない場合を０と割り当てて表現した．「いやだ」ではではトラウマの原因が自分が嫌だと思っている場合を１，嫌だと思っていない場合を０と割り当てて表現した．
このようにベクトル化を行い因子分析を行ったが，カテゴライズの時点でデータを細かく分類し過ぎてしまったために，因子を見つけることが出来なかった．そのためカテゴリーの似通っている
項目の統合や削除を行った．結果変数は 14 個になった．実際の変数の種類と，どのようにベクトルで表現したかを具体的に説明する．
「年齢」ではキャラクターの年齢が 20 歳未満の場合-1，60 歳以上の場合 1，それ以外は 0 と割り当てて表現した．「性別」ではキャラクターが女性の場合を１，男性の場合を０と割り当てて表現した．「行動」ではトラウマに対して解決しようと行動する場合を１，行動しない場合を 0．行動
していないわけではないが解決に向けての行動ではない場合を−１と割り当てて表現した．
「責任」

Group Report of 2022 SISP

- 127 -

Group Number 5

CreativeAI
ではトラウマの原因が自分にある場合を１，不明な場合を０，他者にある場合を−１と割り当てて表現した．「恐怖」ではトラウマに対して恐怖をしている場合を１，恐怖していない場合を０，恐怖しているが立ち向かっている場合を−１と割り当てて表現した．「落ち込み」ではトラウマに対して落ち込んでいる場合を１，落ち込んでいない場合を０と割り当てて表現した．「逃避」では忘却・現実逃避・逃走・忌避いずれかがある場合を１，いずれかがない場合を０と割り当てて表現した．
「負の感情」では怒り・嫌悪・恐怖・悲しみ・攻撃的いずれかがある場合を１，いずれかがない場合を０と割り当てて表現した．「ポジティブな行動」では奮い立たせる・受容いずれかがある場
合を１，いずれかがない場合を０と割り当てて表現した．
「対人関係」では友人・会社・恋人いずれかがある場合を１，いずれかがない場合を０と割り当てて表現した．「ネガティブイベント」ではネガティブイベント・理不尽な扱い・大切なモノ/人いずれかがある場合 1，トラウマの原因が不思議な現象である場合を０と割り当てて表現した．
「自己要因」では劣等感・自分に非がある・願望・
ショック・拒絶いずれかがある場合を１，いずれかがない場合を０と割り当てて表現した．「精神的疲労」では驚き・精神的疲労・混乱いずれかがある場合を１，いずれかがない場合を０と割り当てて表現した．

R の関数を使用し因子数を決定する際，実行した R のバージョンの違いや OS の違いによって出力される因子数に違いが出ることが分かった．Windows で R のバージョン 4．1．3 を使用すると因子数が３，Windows で R のバージョン 4．2．1 を使用すると因子数が４，Mac で R のバー
ジョン 4．2．1 を使用すると因子数が５と出力された．そこでグラフを出力させて確認を行った．

図 6.67

スクリープロット

グラフのように因子数 3，4，5 ではほとんど差がないことが分かった．このことから，今回の因子分析では因子数 3，4，5 それぞれで分析を行うことにした．
それぞれの分析の結果を見て各因子の解釈を行った．ここでは因子負荷量の絶対値が 0．5 以上のものを強く働いていると解釈し，それに付随するいくつかの変数も解釈に使用した．因子数３で分析して出た因子の解釈は「対人関係でない場合は自己要因である」「少女は行動する」「精神的疲労があると負の感情はなく逃走する」である．因子数４で分析して出た因子の解釈は「少女は行動する」「対人関係がないときは自己要因である」「精神的疲労があるときは負の感情がない」であった．因子数４で分析を行った際，因子内の変数の因子負荷量が絶対値 0．5 を超えるものがない因Group Report of 2022 SISP

- 128 -

Group Number 5

CreativeAI
子が 1 つ存在したため解釈を 3 つとした．因子数 5 で分析して出た因子の解釈は「精神的疲労があるときは負の感情やポジティブな行動がない」「対人関係でないときは自己要因である」「少女は行動する」「自分に責任があるときは不屈である」「ネガティブイベントがないときは自己要因がある」であった．その後，背景史を作成するキャラクターが 4 人であったため，各キャラクターの設定にある程度沿っていて背景史に利用しやすい解釈を 4 つ決定し使用することにした．
（※文責: 入舩真誠）

6.4.2.4

自動生成アルゴリズム

自動生成にあたって，大規模言語モデルである GPT-2 の採用を検討した．しかし，本プロジェ
クトでは背景史を日本語で生成することを目標としていたため，日本語に特化した言語モデルが必要だった．そこで，一般的な日本語テキストの特徴を有した高度な日本語文章の自動生成が可能である GPT2-japanese と，その後継となる GPTSAN を採用した．

GPT-2 は，単語レベルの確率の組み合わせから文の確率を計算する言語モデルである．そのため，背景史を自動生成させるためにはプロンプトと呼ばれる命令文を入力する必要が生じた．プロ
ンプトは出力したい文章と同じような構成，文量である必要がある．そこで，データ分析によって発見された因子を命令文の形に整形し，GPT2-japanese と GPTSAN に入力する手法をとった．
最終的に，因子とプロンプトとして与えた文章の組み合わせは以下の 4 つである．
因子 1：少女は行動する”彼のことが好きな女の子たちは、彼に近づこうとする私を虐めた。私は女の子たちに無視され、私の家の鍵はゴミ箱に捨てられた。それでも、私は彼の隣にいたかった。”
因子 2：精神的疲労があるとき，負の感情はない”友人が津波に巻き込まれて死んだと遺族から聞いた。あの日、興味本位で津波を見に行くと言った友人を、なぜ俺は止めなかったのだろう。今でもあの時のことを思い出すと動悸がする。”
因子 3：精神的疲労があるとき，逃避する”俺の両親は多額の借金を抱えていた。仕事で精神を病んだ父親に殴られて泣いて謝る母親を、俺はただ見ていた。あのとき母親を助ける勇気を持てなかったことを、今でも後悔している。”
因子 4：自分に責任があるとき，不屈である”私は子供の頃はエレクトーンのコンクールで数々の賞を獲得していた。しかし、徐々に賞を取れなくなり、周囲の大人たちからも期待されなくなっていった。でも、たくさん練習して次こそはコンクールで最優秀賞を取ると決めた。”
各プロンプトは 3 つの文からなる短い文章として，データ分析によって発見された因子を重複しないように取り入れて作成した．しかし，プロンプトは抽象的であればあるほど生成される文章も表現が曖昧なものとなり，具体的であればあるほどプロンプトに近いものが生成されることが予想された．そこで，プロンプトの適切な情報量を探るべく，最初は因子を簡単な文章にしてプロンプ
トとして与え，自動生成を繰り返す過程で適宜修正を加えていった．また，プロンプトは「本プロジェクトのゲームキャラクターに与えたい背景史」を自動生成できるように意識して作成した．例Group Report of 2022 SISP

- 129 -

Group Number 5

CreativeAI
えば，因子 1 は少女に関する内容であったため，主要ゲームキャラクターの 1 人である「ハートの女王」に与える背景史としてプロンプトを作成した．因子 1 のプロンプトは当初「彼女はトラウマの解決に向かって奮起した」だったが，繰り返し生成させた文章にいじめや恋愛に関する記述が比較的多く見られたため，最初からプロンプトとしてそれらの要素を与えることで徐々に具体的な背景史を生成できるように誘導した．なお，「ハートの女王」に与える背景史であるからといって，
プロンプトの主語を「ハートの女王」に置き換えることは避けた．これは，ハートの女王という単語が様々な単語を連想させてしまい，原典である「不思議の国のアリス」から設定を引用してしまう恐れがあったためだ．
プロンプトの他にも，GPT-2 には自動生成する文章の特徴を設定するパラメータがあらかじめ割り振られている．このパラメータには「文章長の最大と最短」や「生成される文章の無作為性」を設定するものがあり，こちらもプロンプトと同様に自動生成を繰り返しながら各パラメータの値を調整した．上記で設定したパラメータとプロンプトを入力として生成した背景史の一例を図6.68 に示す．

図 6.68

自動生成結果（※文責: 坂本珠凜）

6.4.2.5

ファインチューニング

プロンプトの入力で言及される作業によって GPT-2 を用いた自動生成は完了した．しかし，物語班としては，追加の目標として「文章を読むことで解釈の余地がいくつも存在する」ような文章を作成したいと考えた．また，文体を統一することで文章の統一感を出すコトも目的となった．
実現の方法として，大規模言語モデルに目標とするような文章に近いデータをファインチューニ
ングすることで，出力を調整する方法を採用した．
ファインチューニングは，自動生成で用いた GPT2-japanese で行った．本モデルの採用理由として，このモデル以外では，言語モデルが大規模でも，外部のサイト等を用いてデータを扱わなければならず作業が複雑になる．しかし，本モデルでは，python 環境のみで解決するため採用に至った．
ファインチューニングを行うデータとしては，2022 年 Game of the year を受賞した Elden

Ring や Ultimate Game of All Time を受賞した DARK SOULS シリーズを中心にデータの収集を行った．収集するデータ部分は，ゲーム内のアイテムテキストであった．アイテムテキストは，
アイテムそのものの説明の文章とそのアイテムに関係する内容を示した文章部分で主に構成される．データとして扱ったのは，アイテムに関係する文章部分であった．文章として採用されるモノ
は，人物の行動やゲーム世界の歴史に関係するモノを抜粋し収集を行った．文章は，データとして扱うため改行を消し，1 行の文章の形に変更し，文末に文章の終了を意味する¡—endoftext—¿を加えた．このようなデータを 300 ほど集めた．
ファインチューニングは，GPT-2 japanese が推奨する Japanese-BPEEncoder を用いてデータ

Group Report of 2022 SISP

- 130 -

Group Number 5

CreativeAI
形式を npz 方式に変更して学習を行った．学習では，gpt-2 が提供する medium モデルを 300 エ
ポックほど学習した．

Python の環境は諸事情からデータの npz 形式の変更と学習の作業を異なる python 環境で行っている．学習は，コマンドプロンプト形式の python3 を使用しているが，データの形式変更はGoogle Colaboratory を利用している．データの形式を変更する処理をコマンドプロンプトの
python で行った場合，分散系の処理に問題が発生しエラーが起きるため，Google Colaboratoryを利用している．一方で学習過程は，本来，学習を Ctrl+C で停止することができるが，Google

Colaboratory だと，学習を途中で打ち切ることが出来ないためコマンドプロンプト形式の python
で学習を行った．
学習を行った GPT-2 に前回と同じプロンプトを用いて入力を行い Google document で文章量が 10 ページになるよう出力を行った．
学習前に示していた出力結果と同様のプロンプトで行った出力結果を図 6.69 に示す．

図 6.69ファインチューニング後の自動生成結果（※文責: 西村秀幸）

6.4.2.6

両出力結果の比較

ファインチューニングを行う前後を比較すると大きな違いがいくつかあることが分かった．まず，学習前では，一人称が「私」，「俺」等，安定しなかったのがファインチューニング後の出力では「私」の頻度が多くなった．また，文章の接続の自然さも上昇した．学習前の出力結果では，文章間の接続表現が少なく．文章の区切りの後の文章が，文脈上続いているような文章が出力されている．学習前の出力である図 6.68 の「あのころの俺は何も出来なかった．俺を支えてくれ たのが，母親だった．」文章では，初めの文章と後の文章は読むことは可能ではあるが，文章間の接続においては，出来なかったという言葉と俺を繋ぐ言葉がないため不自然に感じる．しかし，学習後の図 6.69 では，「もう」，「浸り」というような接続が可能な言葉や動詞を連用形にして接続することで読みやすく自然な文章へと変化している．学習後は，文脈に合わないような表現が減り，言い回しとして許容出来るものが増加した．図 6.68 では，始めの１行目の部分は，「見つけ出す作業を必死に仕上げている」というような旨の文章があり，作業という言葉から仕上げるというワードが表れたと考えられるが，自然な日本語とはいえない．しかし，学習後では，「せめて海の向こうの人々の思い出の一部」という文章の接続の関係上自然であり，違和感を感じずに読むことが出来る表現が出力されている，また，「あの」や「その」，「 だと」といった抽象的な表現が増加している．
学習後の文章では，「 だろうか」や「 と」という表現が語尾に増えているとともに，「あの日」といった表現も増えている．これらは，ファインチューニングによる大きな効果として感じられる．
（※文責: 西村 秀幸）

Group Report of 2022 SISP

- 131 -

Group Number 5

CreativeAI

6.4.2.7

文章選定

GPT-2 で生成した Google document で 40 ページ分の文章の中から 4 つの文章の選定を行った．選定基準として 4 つの基準を設けた．具体的には，出力された 256 字以下の文章である程度のストーリーの流れが存在し，その内容が妥当であること，入力したプロンプトやファインチューニ
ングで使用したデータにない創造性 (新しい単語や表現の発露が見られる) が見られること，文章の繋がりが著しく破綻していないこと，本人が精神的な快方に向かっている描写がない，泣いているといった負の感情が発露している，否定的なワードが表れているなどトラウマとして判断できること，を基準とした．また，必須ではないが読み手に創造性を与えることが出来る (感情の想像の余地を与えている) 文章も選定の対象とした．下記に選定した文章の一例と選定理由を記す．

図 6.70選定した文章例

選定理由としては，「彼女の夢を支える決心をして，応援していたが彼女の努力が実らず自殺してしまった」というストーリーの流れが存在し，その内容が妥当であり，「あの青い瞳は ，描けば切り裂かれてしまいそうだ．」という文章はプロンプトやファインチューニングのデータにない創造性があると考えたためである．また，文章の繋がりが著しく破綻している箇所が見られず，彼女の夢を支えることを決心したが彼女が自殺してしまうというストーリーからトラウマとして判断できるため，この文章を選定した．このような選定方法で，23 個の文章を選定した．しかし，今回プ
ロジェクトでは 4 キャラクター分の背景史で十分であるため，メンバーと話し合い最終的に 4 つの文章を選定した．
（※文責: 入舩真誠）

6.4.2.8

文章整形

文章の選定を行った際，GPT-2 では日本語として分かりづらい文章やプロンプトとして使用した「\n 背景史」などの意味をなさない物，URL などの文章として成立していないものが出力されることが分かった．そのため，出力される文章をそのままゲーム内に実装することは出来ないと考えた．改善の作業として，わかりづらい日本語の修正，文章として意味を成さないものの削除，より文章のテーマが伝わりやすくなるような文の追加を行った．下記に修正した 4 つの修正前と修正後の文章と，修正した箇所の詳細を記す．

Group Report of 2022 SISP

- 132 -

Group Number 5

CreativeAI

図 6.71

アリスの背景史における修正前と修正後の文章比較

図の修正点を挙げる．文章の最初の「だけど，努力が失敗した．彼女は自殺した．諦めきれず，
私はコンクール上位者に憧憬を見せた．」という文を文章の終わりの文にすることで，応援していたけれど彼女は努力が実らず自殺してしまったというストーリーが伝わりやすいように変更した．
「美術門を開き」という文は，彼女の今までにない美術という分野の新たな挑戦と解釈したが，美術門という単語は存在せずわかりづらいものになってしまうため，「美術の道を拓き」という文に変更した．
「たとえ，その夢が甘かったとしても．」という文を「彼女は自殺した」とういう文の少し前に置くことで「私」が彼女が自殺してしまうことを予感していたのではと考えることが出来るようにした．
「\n 背景史：」というプロンプトの入力に使用した意味のなさないものを削除した．

図 6.72

Group Report of 2022 SISP

白うさぎの背景史における修正前と修正後の文章比較- 133 -

Group Number 5

CreativeAI
図の修正点を挙げる．
「私は，いつか生まれ変わりたいと思った．
」という文の前に同じような意
味の「私は生まれ変わりたいと願った．」という文がある．連続して同じ意味の文が出てくるのは日本語として読みづらいため，間に「私はきっと，ライブで歌い踊り，人々の願いを叶える．」という文を差し込むことで，より読みやすい文になるようにした．この変更によって，何度も「生まれ変わりたい」と願う「私」の気持ちが強調されるようになっている．さらに，「私は，いつか生
まれ変わりたいと思った．
」の前に「だが，現実は厳しい．
」を持ってくることで，私は生まれ変わりたいと願っている．でも現実は厳しく生まれ変わることなどできない，それでも生まれ変わりたいという強い願いを表現した．
「私はそう信じている．」と「私は彼女たちとともにライブを支える『凄い人』になるのだ．
」という文の順番を逆にすることで，最後まで生まれ変わりたいという願いが変わることがないということを表現した．「\n 背景史：」というプロンプトの入力に使用した意
味のなさないものを削除した．

図 6.73チェシャ猫の背景史における修正前と修正後の文章比較

図の修正点を挙げる．
「私は，彼女たちの，そして，彼らの言葉を思い 出す．
」という文には，読点が多く日本語として読みづらくなっている．さらに，その前の文章で，「私」という主語は登場しているため「私は，」をこの文からは削除した．
「助けて，助けて，助けて，と．
」では，
「助けて」
がくり返しになっていて，文が「と．
」で終わるため，「助けて，助けて，助けて」はセリフだと解釈した．そのため鍵括弧で囲んだ．
「女の子たちが，それを教えてくれた．」，「あなたの声が殺し屋にイジメられたとき，偶然通りがかった孤児院の手口が脳裏に焼き付いている．」の 2 文を削除した理由としては，入力に使用したプロンプトの性質上 \n 背景史：の後に続く文は場面が異なる場
合があり，これらの文は文章のテーマと少しずれてしまい，文章がわかりづらいものになっている
ため削除した．「彼女は悪名高い殺し屋であり，その手口は他の人殺しに知られたくないものばかりであ」という文の「彼女は」が「彼は」に変わっている理由は，文章中に登場する殺し屋は「私」
であり，今回この背景史が割り当てられたキャラクターがチェシャ猫であった．設定上チェシャ猫の性別は男であるため，「彼女」を「彼」に変更した．また，文末が，「ばかりであ」と切れてしまっている．これは，GPT-2 で出力をする際の一回の出力で出てくる文字数の上限を設定していGroup Report of 2022 SISP

- 134 -

Group Number 5

CreativeAIたためそれを超えてしまい文の途中で切れてしまっている．そのため「ばかりである．」ときれいに終わるように修正した．「私たちは元から何でも出来たのだ．その声はあなたの元に届くのだろうか．」という文を，「私たちは」というのが「彼女たち」で「私」と「彼女たち」が昔から知り合いであったことを示唆していて，「その声」が「助けて，助けて，助けて」というセリフであり，殺し屋であり非情な「私」に助けを求める声は届くのだろうかと「彼女たち」が考えてると解釈した
ため，解釈をわかりやすく伝えるために文章の最後に持ってきた．「\n 背景史：」というプロンプ
トの入力に使用した意味のなさないものを削除した．

図 6.74

ハートの女王の背景史における修正前と修正後の文章比較

図の修正点を挙げる．この文章は，あまり修正の必要がなかったため最小限の変更にとどめた．
修正前では，「そんな顔をさせるくらいなら，いっそ死んだ方がマシだ」の後に，そのまま文が続いていたが，文が長くなってしまうために「と．」を文の最後につけて文を区切り，セリフらしさを出しつつ文の長さの調整を行った．また，「あの日，思ったのだろう か，もう母親の顔を思い出したくないと．」の文は，前の文で同じような文の終わり方をしてしまっているので，少し修正して，「あの日，思ったのだろうか，もう母親の顔を思い出したくないのだと．」に変更した．「\n 背景史：」というプロンプトの入力に使用した意味のなさないものを削除した．
（※文責: 入舩真誠）

6.4.3

マルチエンディング

6.4.3.1

分析準備

前期では，正式なフォーマットを作成後，ベクトルを元に数値化を行い，属性間の相関係数を出力した．しかし，フォーマットを詳細に書くことで出力結果に良い影響を与えると考察したため，
フォーマットの改定を行った．具体的な改定としては属性の追加，削除を行った．追加した属性として，「実際どうなったか」「なぜ帰れるのか（帰れないのか）」「なぜ帰ること（帰らないこと）を望んだのか」の 3 つを追加し，「後日譚の主語」，「状態」，「行動」を削除し，「後日譚のパターン」

Group Report of 2022 SISP

- 135 -

Group Number 5

CreativeAIとして纏めた．
「後日譚のパターン」として，「帰るパターン」と「帰らないパターン」に分け，「帰るパターン」では，「異世界でのことを忘れる」，「普通の日常に戻る」，「異世界での経験によって日常が変化する」，「異世界の仲間と現実で再会する」，「帰れたことを喜ぶ」，「異世界の経験を誰かに話す」，「もう一度異世界に戻ろうとするが，失敗する」に分け，「帰らないパターン」では「普通に暮らす」，「統治する」，「あきらめずに帰る方法を探す」に分け，当てはまるパターンを要素として記入した．この改定したフォーマットを元に，作品のデータを当てはめ直した．なお，作品は前期のデータに加え，選定条件は変えずに作品を探し，10 作品を追加した．具体的な作品名として，「信長協奏曲」，「クレヨンしんちゃん 嵐を呼ぶ アッパレ！戦国大合戦」，「泣くな，はらちゃん」な
どがあげられる．「信長協奏曲」は，主人公であるサブローが，戦国時代にタイムスリップし，織田信長として生きていく物語である．そして，秀吉に光秀とされ，追われる立場になる．その後，秀吉につかまり，家臣に戦いのない世界を託し，死亡する．気づいたら平原にいたサブローは現代に戻ったを気づく．時がたち，サブローと同じようにタイムスリップした人々が現代に戻り，サブローが皆に託した通りの世界になっており，涙した．この作品は，前期で設定した条件の 1 つ目である日常から非日常に遷移する物語を満たしている．2 つ目の条件では，第 80 回ザテレビジョン
ドラマアカデミー賞最優秀作品にノミネートされているため，条件を満たしている．以上から選定対象作品とした．クレヨンしんちゃん 嵐を呼ぶ アッパレ！戦国大合戦」は，主人公のしんのすけとその家族が戦国時代にタイムスリップし，幾多の困難を乗り越える．その後，しんのすけは死んだ又兵衛に託された短刀で金丁をうち，廉姫と別れを告げる．車に乗ると春日部に戻っていた．この作品は，1 つ目の条件である日常から非日常に遷移する物語を満たしている．2 つ目の条件では，
第 6 回文化庁メディア芸術祭アニメーション部門で大賞を受賞しているため，条件を満たしている．以上から選定対象作品とした．「泣くな，はらちゃん」は，現実世界にいる越前と，漫画の世界にいるはらちゃんの恋愛物語である．物語の終盤で，漫画の世界にいる越前さんは元の世界にいな
くても自分がいなければいいと考えてた．しかしはらちゃんに説得され，はらちゃんと共に現実世界へ出る．その後，はらちゃんはお世話になった人に別れを告げ，自分の世界が好きであるため，漫画の世界へ帰る物語である．この作品は，1 つ目の条件である日常から非日常に遷移する物語を満たしている．2 つ目の条件は，第 76 回ザテレビジョンドラマアカデミー賞において，最優秀作
品賞を受容しているため満たされる．以上から選定対象作品とした．このように追加した作品を，フォーマットに当てはめ再度 KJ 法を行った．結果として，「なぜ帰ることを望んだのか」に，対比関係があることが分かった．例として，「自分のため」か「他人のため」や，「主人公の行動が積極的」か「主人公の行動が消極的」，「主人公が感情的になった」か「主人公が何か行動をしたい」のような対比関係が 6 つ存在することが分かった．属性の関係性を調べるために相関係数を用いる
ため，「なぜ帰ることを望んだのか」を 6 つのベクトルで表現し，「-1，0，1」の 3 つの数値で表現
した．
（※文責: 幸崎駿祐）

6.4.3.2

相関係数

前期では，属性間の関係性を表すために相関係数で分析することにした．改定前のフォーマットを元に作成したベクトルを表としてまとめ，Excel で csv ファイルに変換した．そして，変換した csv ファイルを R という統計解析向けのプログラミング言語に入れ，実際に相関係数を出力した．後期では，改定したフォーマットを元に作成した新たなベクトルを用いて，可視化表現をし直した．そして同じ手順で相関係数を出力した．しかし，相関係数の数値に変動は発生したが，変動Group Report of 2022 SISP

- 136 -

Group Number 5

CreativeAIが微小であり新たに追加したベクトルに関しても，前回の相関係数と似たような出力になった．また，相関係数は属性間の関係を示すため 1 つの属性に対し 1 つの属性の出現確立を調べるため，複数の属性に対し 1 つの属性がどのような関係を持つかは調べることができなかった．
（※文責: 幸崎駿祐）

6.4.3.3

分析方法

先で述べたように，相関係数では，複数の属性と 1 つの属性との関係性が調べられないことがわ
かった．そのため，別の分析手法を取る必要があり，因子分析を行うことにした．因子分析は，外的規準の無い大量データから共通因子を見つけ出し，データの背後にある少数の要因を統計的に推測する方法である．因子分析を用いることで，エンディングのよくある属性の組み合わせパターンを模索でき，ぞれぞれのパターンにおいてどの属性が強く影響しているかが分かる．以上の点から
因子分析を採用した．分析をするにあたり，可視化表現した表を csv ファイルに変換し，相関係数と同じように R という統計解析向けのプログラミング言語を用いて因子分析を行った．
（※文責: 幸崎駿祐）

6.4.3.4

分析結果

R で因子分析をする方法として，まず，R のバージョンを 4．1．3 で使用した．その後，R のパッケージから因子分析用のための「psych」のパッケージをインポートした．パッケージのインストール後，因子分析を行った．R を用いて因子分析を行った結果，図で示す通り，6 つの因子があることが分かった．なお，今回は因子分析で出た因子負荷量が 0．25 以上または-0．25 以下のものを強く働いているとして採用している．1 つ目の因子は「可」，「実際に帰った」，
「自身（感
情）」，
「確保」，「積極」，「感情」の属性が含まれていることがわかった．2 つ目の因子は「希望する」，「実際帰った」，「自身（望む理由）
」
，
「行動」
，
「恋愛なし」の属性が含まれていることがわかった．3 つ目の因子は「可」，「正の感情」，「興奮」，「他人（帰れる帰れない理由）」，「他人（帰るまたは帰らないを望む理由）」，「感情」の属性が含まれていることがわかった．4 つ目の因子は「決意」，「死」，「他人（帰るまたは帰らないを望む理由）」，「積極的」，「恋愛あり」の属性が含まれていることがわかった．5 つ目の因子は，「正の感情」，「自身に向けた感情」，「日常が変わる」，「生きる」の属性が含まれていることがわかった．6 つ目の因子は，「興奮」，「目的の達成」
，
「生きる」
，
「能動」
，
「積極的」の属性が含まれていることがわかった．以上の 6 つの因子にそれぞれ違った属性が存在していることが分かった．それぞれの因子を分かりやすくするために，1 つ目の因子から順に「仲間のために帰還するエンディング」，「自分のことを優先的に考え帰還するエンディング」，「仲間を思いやるエンディング」，「恋愛があり，誰かが死んでしまうエンディング」，「日常が変わる幸せ要
素を含むエンディング」，「積極的に何かを成し遂げるエンディング」とした．しかしながら，これら 6 つの因子のうち，4 つが現実世界に帰るのかそれとも帰ることなくとどまるのかを示す因子負荷量が強く働いていなかった．そこで，決定木アルゴリズムを作成し，どの因子が決まるのかを明確にするとともに，因子負荷量が強く働いてない属性をいくつか追加するシステムを開発した．
（※文責: 幸崎駿祐）

Group Report of 2022 SISP

- 137 -

Group Number 5

CreativeAI

6.4.3.5

アルゴリズム作成

決定木アルゴリズムを作成するにあたり，最初に因子分析で判明した 6 つのパターンを出力するアルゴリズムを作成した．なお，このアルゴリズムには，エンディングの要素を配列とした「element」を配置している．このアルゴリズムでは，5 つの質問を用意し順番に質問を問い，回答
を「Y」か「N」を入力し，「Y」を回答したところで因子を出力するものである．なお全て「N」の場合でも該当する因子を出力するようにした．質問の内容として，「帰ることを希望しますか」，「帰る手段はありますか」，「帰る帰らない時の感情は主人公に対するものですか」，「感情は良い方向のものですか」，「恋愛はありますか」と設定した．「帰ることを希望しますか」が「Y」の場合，「自分のことを優先的に考え帰還するエンディング」．「帰る手段はありますか」が「Y」の場合，「仲間のために帰還するエンディング」．
「帰る帰らない時の感情は主人公に対するものですか」が「Y」の場合，「日常が変わる幸せ要素を含むエンディング」．
「感情は良い方向のものですか」が「Y」の場合，「仲間を思いやるエンディング」．「恋愛はありますか」が「Y」の場合，「恋愛があり，誰かが死んでしまうエンディング」．全ての質問に「N」と答えた場合，「積極的に何かを成し遂げるエンディング」とした．続いて，6 つのパターンを出力するアルゴリズムに，因子負荷量が弱い要素を付け加えるアルゴリズムを作成した．最初に，各パターンに当てはまる作品を分析した作品の中から探し，各パターンで現れた強い因子負荷量以外の要素を比較し，確率を求めるマルコフ連鎖を適用した．しかしながら，パターンに当てはまる作品が極端に少なく，確率を求めることが難しいと判断したため，マルコフ連鎖の適用を断念し，ランダムで因子負荷量が弱い要素を付け加えることにした．ランダムで要素を付け加えるため，パターンとの間に矛盾が生じる場合がある．例として，「自分のことを優先的に考え帰還するエンディング」の要素に「実際に帰った」とあるが，ランダムで要素を出す際に「帰ることは不可」と出力された場合，矛盾が生じてしまう．このような矛盾が生じないように，パターンが決まった際に，パターンと矛盾が生じるような要素を配列のelement から除外するようにした．最後に，現実世界に帰るのか，それともとどまるかがわからな
い 4 つのパターンに対して，「帰ることが可能か不可能か」，「帰ることを希望するのか希望しないのか」，「実際に帰ったのかもしくは実際に帰らなかったのか」の 3 つの要素を必ず出力するように変更を加えた．なおこの 3 つの要素が 1 つでも入っている場合は，その他の 2 つの要素を出力するように調整を行った．以上の形で因子分析で出力されたパターンをエンディングのプロンプトとして入力しやすいように要素を出力する決定木アルゴリズムを作成した．このアルゴリズムを用いて，各パターンごとに 10 回出力を行った．
（※文責: 幸崎駿祐）

6.4.3.6

文章の自動生成

因子分析結果やアルゴリズムで出力した内容をもとにマルチエンディング文章の自動生成を行った．自動生成の流れを以下の図に示す．
まず，アルゴリズムで出力した属性の組み合わせパターンをもとに，背景史の項目で先述した

GPT-2 に入力するための文章を執筆した．ひとつの属性の組み合わせパターンにつきひとつのエンディングシナリオを執筆したため，エンディング因子 6 個×約 10 個の属性の組み合わせで，約60 個のエンディングシナリオを執筆した．入力文章の執筆については次章で詳しく説明する．その後執筆した文章を GPT-2 に入力し，各エンディング因子に対応するテキストをそれぞれ数 10個出力した．出力したテキストはそのまま使用することができなかったので，いくつかの文章を抽Group Report of 2022 SISP

- 138 -

Group Number 5

CreativeAI

図 6.75エンディング自動生成の流れ

出し組み合わせて最終的なエンディング文章を作成した．具体的な文章作成については次次章で説明する．このようにして因子分析における各因子につきひとつのエンディングシナリオ，つまり合計 6 つのエンディングシナリオを生成した．
（※文責: 吉井史夏）

6.4.3.7

入力用プロンプト作成

マルチエンディング作成においても，背景史と同じように GPT-2 を使用して文章生成を行った．
また，求めている文章に近い形の出力を得るため，こちらも背景史と同じようにプロンプトエンジ
ニアリングの手法を採用した．方針として，まずアルゴリズムで出力した属性の組み合わせと，その属性の組み合わせに対応する，人手で執筆したエンディングの内容を入力することを考えた．実際の入力内容の一部を以下に示す．
入力：現実世界に帰ることは可能か: 現実世界に帰ることは可能 \n 現実世界に帰ることを希望す
るか: 現実世界に帰ることを希望する \n…(省略)…エンディング: アリスは不思議の国で自らが周りの意見に流されず、自分の意思をもって発言し続けたことに対し、自信を持つ。チェシャ猫にも背中を押されたことで、現実世界に帰り、自分自身の力で状況を変えることを決意する。そのはじめの一歩として、女王の理不尽な態度にも一歩も引くことなく反論し、結果的に死刑を下される。
その後、アリスは現実世界で目を覚ます。\n 現実世界に帰ることは可能か:…
上に示した通り，各属性を「\n」で区切り入力した後，執筆したエンディングの内容を入力した．また，同じエンディング因子の異なる属性の組み合わせと，それに対応するエンディングの内容を続けて入力した．この形式では，エンディング文章の内容を入力しただけで，実際ゲームに使用できる形でエンディングを執筆していないため，出力もそのまま使用できる形ではないものになってしまった．また，出力された内容を解釈し，人手で執筆し直すという方法も考えたが，常識

Group Report of 2022 SISP

- 139 -

Group Number 5

CreativeAI的ではない内容の出力が多く，執筆し直すのには時間がかかり困難だと考えた．そこで，属性に対応するエンディング文章を，実際に使える形で執筆するという案が考えられた．具体的な入力内容を以下に示す．
入力：現実世界に帰ることは可能か: 現実世界に帰ることは可能 \n 現実世界に帰ることを希望す
るか: 現実世界に帰ることを希望する \n…(省略)…エンディング: 私はチェシャ猫を信じることにした。彼はずっと私に真実を教えてくれていたから。きっと女王に処刑されることが、現実世界に帰る条件だ。…けれど。
「ごめんなさい、チェシャ猫さん。私、現実には帰らない」「私はこの世界を放っておくことができない。自分の意思をなくして女王の言いなりになっている住民たちを助けたいの。だから」…
事務的な内容を示すだけだった後半の文章が，アリス目線の一人称での文章となったことで，実際に使用できるような表現になったことがわかる．この入力を行ったところ，GPT-2 が実際に使用できそうな表現を以前より数多く出力するようになった．ただ，始めに属性の集合を入力すると，出力がその表記に引っ張られてしまうことがあった．その具体的な例を以下に示す．
出力：でも私は、チェシャ猫を信じる。ここにいるのは偽りの彼だけかもしれない。でも私は現実に帰れる。私は現実世界に帰れる \n 現実世界に戻ることは不可能ではない。ここにいるのは偽りの現実であって現実になりえない。
表現としては使えそうだが，「\n」が含まれており入力の表記に引っ張られてしまっていることがわかる．また，「でも私は現実に帰れる．私は現実世界に帰れる」という文章は，「現実世界に帰ることは可能か: 現実世界に帰ることは可能」という属性の入力に影響を受けており，そのまま使う文章としては不自然であるといえる．そこで，属性の集合を入力から取り除き，執筆したアリス
目線のエンディング文章のみを入力することとした．また，入力の最後に，ほしい出力に合わせた書き出しの一文を付け加えることで求める出力が得やすくなることを発見した．具体例を以下に示す．
入力：私はチェシャ猫を信じることにした。彼はずっと私に真実を教えてくれていたから。きっと女王に処刑されることが、現実世界に帰る条件だ。…けれど。
「ごめんなさい、チェシャ猫さん。
私、現実には帰らない」「私はこの世界を放っておくことができない。自分の意思をなくして女王の言いなりになっている住民たちを助けたいの。だから」…(一部省略)…「決めた。私はチェシャ
猫さんと一緒に現実に帰る」「…本当にいいのかい？」「うん。
出力：私は現実で、チェシャ猫さんとまた会いたい。だから」「…ありがとう、アリス」…
入力から属性の集合が削除されていることがわかる．また，入力の最後に台詞のような形の文を入力したため，それに続く形で出力がされていることがわかる．このように，ひとつの属性の組み
合わせにつきひとつのエンディング文章を執筆したあと，同じ因子の物を続けて入力し，最後に書き出しの一文を付け加えるという形で全６因子分の入力を行った．
（※文責: 吉井史夏）

Group Report of 2022 SISP

- 140 -

Group Number 5

CreativeAI

6.4.3.8出力と選定，文章整形

前章のような方針で作成した入力用の文章を GPT-2 へ入力し，因子ごとに幾つかの出力を得た．
その後，得られた出力から実際に使用する部分を抽出する作業へと移った．抽出する際には，内容の構成として使用するものと，表現として使用するものに分けてそれぞれ抽出した．抽出の条件としては，構成として使用するものは内容が因子に合っているもの，表現として使用するものは内容が因子に合っている，かつ表現が印象的だと判断したものとした．後に人手で解釈し，執筆し直すため，日本語の表現としての間違いは気にしないこととした．以下に「仲間のために帰還する」エンディング因子における抽出例を示す．
抽出例 1（構成として使用するもの）：彼がいてくれたから、私は今現実世界でも生きていける\n だから。「決めた。私は私で現実で生きよう」\n 現実世界と現実の扉が開く。そこに居たのは私だった \n 彼だった。
抽出例 2（表現として使用するもの）：あなたは今でも、あなたが信じられないでいた私たちを信じてくれた。
例を見ればわかる通り，属性の集合を入力していた頃よりは自然な文章での出力となったものの，抽出した文章をそのまま使用することはできない．そこで，自動生成された内容を解釈し，書き直す必要がある．抽出例 1 では，「私」は「彼」の影響で現実世界へと帰ることを決心している．
そして現実世界への扉が開いたとき，「私」は「彼」と再会する．この「私」をアリス，「彼」をチェ
シャ猫だと解釈し，この流れをエンディングとして採用した．抽出例 2 では「あなたは今でも，あなたが信じられないでいた私たちを信じてくれた」という言い回しが印象的であったため採用した．このように構成として抽出した部分をもとにシナリオを組み立て，表現として使用するものを組み合わせて最終的なエンディングシナリオを作成した．以下に，実際に作成した「仲間のために帰還する」エンディングシナリオの一部を記述する．
私は不思議の国に来てからのことを思い返す。私はこの国で、チェシャ猫に助けられた。チェ
シャ猫は初めからきっと私を信じてくれていた。私は彼を信じていなかったのに。…(省略)…「決めた。私は現実で生きる」
気が付くと私たちは真っ白い空間にいた。隣にはチェシャ猫がいた。彼が私に微笑みかける。
「ありがとう、アリス」…
抽出例 1 をもとにした流れであること，そして抽出例 2 の表現が「チェシャ猫は初めからきっと私を信じてくれていた．私は彼を信じていなかったのに．」という形に変わって使用されていることがわかる．このように出力を抽出し，人手で解釈してつなぎ合わせ，1 つの因子につき 1 つ，合計 6 つのエンディングシナリオを完成させた．
（※文責: 吉井史夏）

Group Report of 2022 SISP

- 141 -

Group Number 5

CreativeAI

第7章
7.1

成果発表

概要

中間発表では，プロジェクト全体で 15 分の発表を行った．しかし，成果発表の際には，各班の成果を丁寧に詳しく説明するため，前半数分をプロジェクト全体の説明，後半を班ごとにブースを分けて，視聴者には気になる，班の発表を視聴していただく形式をとった．この形式では，すべての班の発表を視聴するのは困難であるが，各班の成果内容から検討した結果，各班で丁寧に発表していく形式が無難だと判断した．視聴者からのフィードバックでは発表技術が 10 段階評価で，平均 7.7，発表内容に関しては，平均 8.5 という数値であった．フィードバックコメントでは，各班の発表内容が詳しく説明されいることに対して評価が高く，おおむね好評であることから，今回の形式が成功したことがうかがえる（※文責: 小林裕汰）

7.2

制作物

7.2.1

ポスター

本プロジェクトの成果発表用のポスターは，中間発表用に制作したポスターのデザインや大まかなレイアウトを踏襲した．成果発表会では各班が自身のブースで発表を行う方式を採用したため，ポスターは各班のブースでどのような発表がされるのかイメージできる構成にする必要があった．
下図に期末発表用に制作したポスターを記載する．

Group Report of 2022 SISP

- 142 -

Group Number 5

CreativeAI

図 7.1

成果発表用ポスター

本プロジェクトでは，各班で制作したゲームコンテンツを 1 つのゲームに統合する手法で開発を行った．しかし，この開発態勢では各班が最終的にどのような成果物を獲得して，どんなゲームが完成したのか不透明になることが懸念された．そこで，期末発表用ポスター制作過程の初期工程で，各班の成果物や今後の展望をまとめることと並行して互いの成果物の詳細を確認した．これにより，ゲームにおける互いの成果物の関連性を再認識することができた．
図 7.1 のポスターは，図 4.1 の中間発表用ポスターと比べて成果物の画像を多めに配置した．これは，中間発表時に比べて各班の成果物が格段に増えたことと，各班の活動内容や成果を聴衆に視覚的に提示する狙いがあったためだ．また，全体的に文字のサイズも小さくしている．これは，今回のポスターに求められる役割が観衆の関心を惹くことであるためだ．詳細な各班の活動内容についてはポスターのテキストではなく各班のブースで発表することが決まっていたため，テキストの重要性は画像に比べて相対的に低くなった．文字サイズの縮小は可読性を損なわないように意識したほか，英語を日本語よりも小さめの文字サイズに設定した．これは英語の高い可読性を利用した工夫である．
ポスターの最上部にあるプロジェクト名や班名，班員や教員の方々の記述は中間発表用のポスターと同様の記載である．変更点としては，プロジェクト名の下にキャッチコピーとプロジェクトで制作するゲームのタイトル，ポスターの右上にゲームのロゴを追加した点である．これまでは，プロジェクトの活動や方針を一言で表現できるキャッチコピーがなかった．中間発表や

HAKODATE アカデミックリンク 2022 での発表時も「Creative AI AI ×ゲーム」のような紹介しかできなかったことが反省点となり，成果発表用のポスターを制作するタイミングでキャッチコ

Group Report of 2022 SISP

- 143 -

Group Number 5

CreativeAI
ピーを作成した．キャッチコピーの案は複数あったが，メンバー全員の投票により「AI と作るゲー
ムの世界」に決定した．キャッチコピーはポスターのプロジェクト名の下に配置したほか，発表ス
ライドにも記載するなどプロジェクトメンバーと観衆の両方に浸透するよう努めた．また，ゲーム
タイトルのロゴに関しては視覚班がいくつか候補を挙げて，最もメンバーに好評だったものを採用した．
ポスター上部にあるプロジェクト概要のテキストは，中間発表用ポスターに比べてさらにわかりやすく的確な表現に変更した．また，中間発表時は決まっていなかったゲームタイトルについても言及した．
ポスターのグループ活動を紹介するテキストは，中間発表時の反省を踏まえて，あらかじめ指定
した文字数で各班の担当者に依頼した．しかし，指定した文字数でも文章量が多かったため，情報密度を損なわないように添削した．ポスター中央のダイアグラムは中間発表用のポスターと同じ
く，各班の連携を表現できるように努めた．ポスター制作当初はこのダイアグラムが中間発表用のポスターと同じ色合いで光沢がなかった．その後，ダイアグラムをもっと強調してほしいという要
望をメンバーから受けて，光沢や色の彩度を調整することで立体感を演出した．各班のテキストの周りには，各班に対応した成果物の画像を添付した．これによって，各班がどんな活動を通してどんな成果を得たのか一目でわかる構成になった．
ポスター下部にある今後の展望・活動のテキストは，上述のグループ活動のテキストと合わせて依頼した．ここには各班が 1 年間のプロジェクト学習で得た成果物から考えられる今後の展望や活動方針を記載した．
成果発表用ポスターは，中間発表用ポスターとは異なり，各班の活動に興味を持ってもらえるよ
うな構成を意識して制作した．これは，中間発表と成果発表で発表方式が変更されたためだが，ポスター制作に着手する前の決定事項だったため対応することができた．また，中間発表用ポスターと比べて，成果発表用ポスターでは各班の成果物の画像も大量に添付することができた．これは，ポスター制作を始める前に各班に画像を大量に用意してもらうように依頼していたためだ．豊富な画像データのおかげで円滑に制作を進められたほか，採用できなかった画像をプリントして発表会
場の装飾に使うことで観衆の興味を惹くことができた．今回のポスター制作では，徹底した事前準
備とポスターの意義の再確認を行ったことが最も重要だった．
（※文責: 坂本珠凜）

7.3

評価

発表技術についてコメントは４９件の回答をいただいた．参考になるコメントの一例を以下に示す．
・スライドが見やすかった。説明が詳しくされていた。すぐ隣に音声を流すブースがあるので、発表の声をもっと大きくするか、発表ブースの配置にもう少し余裕を持たせられるとさらに良くなると思った。
・全体的に声や音が小さく、聞き取りづらかった。スライドはとても見やすかった。
・4 つの班がバラバラで一個しか聞けないのが悲しい体育館で周りの声もするのでほとんど聞こGroup Report of 2022 SISP

- 144 -

Group Number 5

CreativeAI
表 7.1

成果発表会の評価

成果発表会でのアンケートでは 60 名に評価をしてもらった．中間発表会の際のアンケート数は 47名であったため，中間発表よりも注目度が高かったのではないかと推測する．アンケートに答えてもらった 60 名のうち４名が本学の教員であった．また，外部からお越しいただいた評価者は 6 名で，残りの 50 名が本学の学生だった．評価の平均は，発表技術に関しては中間発表時の 8.94 よりも低い 7.73 であった．一方，発表内容に関しては中間発表時の 8.38 よりもやや高い 8.5 という結果になった．
評価点

発表技術

発表内容

1

0

0

2

0

0

3

0

0

4

3

1

5

5

1

6

2

1

7

12

10

8

19

15

9

11

15

10

8

17

平均

7.73

8.5

えなかった
・発表を興味のある班に分けて聞けるのはとても良いと思った。ただ少し原稿を見過ぎな気がしました。
・内容が整理されていたので、聞きやすかったです。スライドの切り替えがよりスムーズだと話が入ってきやすいと思いました。
・班のブースが近すぎて動きづらくて聞きにくかった
中間発表の時よりも改善点を記入してくれているコメントが多くみられた．指摘にもある通り，
体育館という広い場所での発表を活かして切れてない部分が多々あった．中間発表時は全体を通してのみの発表で，狭いスペースでの発表を行っていた．そのため，体育館の広さを考慮しきれず，全体として声が小さい発表になってしまった．
発表技術についてコメントは４８件の回答をいただいた．多くのコメントが発表を行なった班に関する内容なので，詳細に関しては後述する．

Group Report of 2022 SISP

- 145 -

Group Number 5

CreativeAI

7.4

課題と検討

7.4.1

システム班

まず，成果発表について位置的な課題が挙げられる．プロジェクトの発表方法はコの字型で行い，システム班は奥に位置していた．全体の発表から班の発表に移行した時，観覧者はコの字の中心から一番近い視覚班や物語班のブースに行くことが多い印象だった．よって，奥まった位置にあるシステム班の発表ブースまで足を運び辛くなっていると感じた．次に，発表の時間配分と内容に関して課題が見つかった．後期までの作業や成果物について，まとめて発表する予定だったが，話す内容の情報量が多くなってしまい早口で発表することとなった．聞き手側の理解するスピードをあまり考慮せずに発表をする形となってしまったので，聞き手が理解できない部分があったと感じる．また，ゲームを実際にプレイすることで，成果物を見せながらゲームの統合やギミックの自動生成について発表したが，後期に製作した部分を少ししか見せることができなかった．
検討として，発表の位置的な問題に関しては，観覧者が各班の発表ブースへ移動する時間をしっ
かり設けられていたので，システム班が自ら観覧者を呼び込み，アピールすべきだったと考える．
また，コの字形の入り口部分で人の流れが滞留していたので，観覧者をシステム班のブースへと誘導させることも必要だったと感じる．発表内容に関しては，かなり内容を省き簡略化したが，もう少し伝えたいことを取捨選択すべきだった．詳しい説明はスライドなどに書き込み，実際に話す内容の文章量は減らすことで，聞き手にとっても聴き易い発表をするようにすべきだった．ゲームプ
レイをしながらの発表についても同じであり，プレイする部分を最初から通しで実行してしまったので，見せたい部分まで見せることができなかった．プレイする部分をダイジェストにしたり，後期に製作した部分からプレイしたりするなど，ゲームプレイに関しても内容を取捨選択し省略する必要があった．
（※文責: 住吉聖也）

7.4.2

視覚班

視覚班の成果発表はパネルとスライドを使用した．パネルには自動生成をもとにデザインしたキャラクターイラストを印刷し，スライドはテレビモニターに表示させた．発表内容は，視覚班全体の目標を説明したのち，2 次元画像生成と 3 次元モデル生成の 2 つの成果を紹介した．スライドの製作は視覚班のメンバー 3 人全員で Google スライドを使用した．成果発表には，高校生や一般の来客者など，学外の方も参加することが予想されたので，専門的な用語を少なくし，図をメインにスライドと発表内だけでプロジェクト学習の成果が理解できるよう意識をした．成果発表の際に視聴者からいくつかの質問をいただくことがあった．いただいた質問としては「AI が制作したデザインや，AI が学習の際に利用した画像の著作権に関する質問」と「AI をもとに生成したデザイ
ンにオリジナリティが存在するのか」というものがあった．この 2 つの質問は創作 AI では話題にあげられることが多い問題であり，視聴者からの質問が予測できたのにも関わらず，スムーズな受け答えを出来るよう意見共有をメンバー内で行っていなかった．想定される質問の答えを前もって共有をするべきであっただろう．
（※文責: 穂積佳）

Group Report of 2022 SISP

- 146 -

Group Number 5

CreativeAI

7.4.3

音響班

成果発表では，二つの問題点が挙げられる．
一つ目は，発表における位置に問題があった．今回の発表では，コの字でのブースで行い，音響班はブースの角に配置された．実際に発表してみると，物語班や視覚班のブースに聴衆者が集まりやすく，音響班ブースに聴衆者が集まりにくいことが分かった．また，音響班はデモンストレー
ションを行うために，スピーカーを用いて発表を行ったが，隣接する視覚班の発表に影響が出ることも考え，度々音量を調整する必要があった．位置の検討として，発表では他のブースに影響がな
いように配置する必要があると考える．また，聴衆者を集めるために，自身のブースをアピールする必要があったと考える．
二つ目は，発表における仕方に問題があった．発表は 10 分間で行われたが，前半の発表において約 6〜7 分程度で速めに発表を終わらせてしまった．発表が短くなってしまった原因として，事前に原稿を用意し，発表では原稿の通りに発表していたため，アドリブが少なく早く終わってしまったのではないかと考える．また，発表において成果物のデモンストレーションも行ったが，デモンストレーションを行う時間を詳細に決めていなかったため，発表が短くなってしまったと考える．
発表の検討として，原稿を用意した上でアドリブを加えたり，デモンストレーションにおいても詳細に時間を決めつつ，アドリブを加える必要があると考える．
（※文責: 菊地陵雅）

7.4.4

物語班

成果発表における，物語班の課題と検討について，発表の仕方，発表内容の 2 点を焦点に課題と検討を記述する．
まず，発表の仕方についてである．成果発表評価では，「声が小さい」「原稿を見すぎている」という旨の内容が多く散見された．物語班では，台本を作っていたが，その多くに頼ってしまったことや，台本を見るために聴衆の方向を見ずに声を出す関係で声が届かなかったものだと考えられた．この点について，ある程度の話しの流れを覚えることや，スライドを見ることである程度，聴衆を見て話せるように練習することを検討している．しかし，中心に声が集まってしまうのは，ブースの配置の問題のため，この点については様々な配置を検討している．もう一つ，発表の仕方について，課題として実際に自動生成を行う様子を見てもらう際に多くの手間がかかると共に，一度接続が切れると復旧に時間がかかる点が挙げられる．前半の発表では，うまく機能していたが，後半では接続が切れてしまい，発表の内容を変更するに至った．今後の検討では，接続が一方で操作可能なアプリ等を用いて発表途中で問題が起きても即座にリカバリーできるような体制を整える
ことを検討している．
次に，発表内容である．成果発表評価では，マルチエンディングがゲーム上でどのような機能を果たすのか，そしてどのようにテキストの組み込みを行ったかを問われる評価が見られた．今回のスライドでは，大規模言語モデルを用いてどのように自動生成を行ったかに焦点を当てている．また，具体的な例も生成物の文章量から背景史の内容を引っ張り出しており，マルチエンディングと成果物の組み込みについて言及してなかったといえる．この点について，具体例の表示に背景史とマルチエンディングを交互に用いて実装例について表現することを反省としている．また，組み込Group Report of 2022 SISP

- 147 -

Group Number 5

CreativeAI
みの説明については，システム班との協力が必要であり，この点についてシステム班と協議する必要性があった．
（※文責: 西村 秀幸）

Group Report of 2022 SISP

- 148 -

Group Number 5

CreativeAI

第 8 章 まとめ
8.1

プロジェクト全体の成果

人工知能の発達は目覚ましく，今年度は様々な人工知能を用いた自動生成システムが登場した．
そのような中で，本プロジェクトでは人工知能を用いた自動生成による創造的な作業の実現可能性
をゲーム制作というアプローチで検証した．
５月頭からプロジェクトを開始し，プロジェクトメンバー１５人で具体的な成果物の方針を決定した．５月中旬からは以下の４つのグループに分かれて活動を始めた．ゲームのビジュアル部分のデザインや人工知能の自動生成を活用してキャラクターのビジュアル制作を行う視覚班，ゲームへの没入感を向上させるような BGM を人工知能の自動生成を活用して制作する音響班，ゲームの世界観の設定や物語の執筆を人工知能の自動生成システムを活用して制作する物語班，そしてこの３つの班の成果物を最終的に統合し，ゲームの基本骨子やゲーム進行に必要なマップギミックを人工
知能の自動生成を活用して製作するシステム班である．７月の中間発表会形式で行われ，プロジェ
クトメンバー全員で協力し，プロジェクト全体での発表を行った．夏休み期間中も各自で必要に応じて活動を行い，ゲーム制作に邁進した．後期の活動もグループごとに分かれて活動を行った．１
１月にはアカデミックリンクという，函館市内の 8 つの高等学校教育機関の学生が，普段研究している内容や成果などを発表する合同研究発表会にブースセッション形式で参加し，様々な反応を得られた．また，この時期にはゲーム制作が佳境に入り，必要に応じてグループ間で人員の移動を行い成果物の完成を目指した．１２月の成果発表会も中間発表と同じ対面形式で行われた．プロジェ
クト全体での発表と，各グループの発表という分割形式での発表となった．
成果物である制作したゲームに関しては一通りプレイできるような完成度に仕上げることができた．現在細かい挙動の修正やバグの除去，操作性の向上などの最終調整を行っている．
（※文責: 小林裕汰）

8.2

各グループの成果

8.2.1

システム班

システム班では，班員がそれぞれ作った「マップ」「UI」「キャラクター」「自動生成」の統合に加え，他班が作成したキャラクターや BGM や自動生成で作成したシナリオ等の成果物を「ゲーム」という形で実装できた．ゲームの完成度としては当たり判定の問題があることや UI の小さな修正が必要なものはあるものの大きなバグがなくストーリーはすべて完成しているので，完ぺきではな
いがゲームとして動かせるものを実現することができた．
（※文責: 本前斗梧）Group Report of 2022 SISP

- 149 -

Group Number 5

CreativeAI

8.2.2

視覚班

視覚班は，物語班が用意したキャラクター像をもとに自動生成技術を用いてキャラクターデザイ
ン，キャラクターモデル生成を行った．当初，物語班からリクエストがあったキャラクターは 7 体
いた．視覚班ではこのキャラクターたちを「バックボーンがしっかりと設定されている主要キャラ
で人型であるキャラクター」と「人間とは違う造形をしたキャラクター」の 2 つに分け，それぞれ別のアプローチでキャラクタービジュアルの自動生成を行った．前者はテキスト入力から 2 次元画像を生成，それをもとに人の手でキャラクターデザインを完成させ，後者はテキスト入力から３次元モデルを生成，それを組み合わせてゲーム素材を制作した．今回の大きな目標は，シナリオをもとに，自動生成技術を用いて，キャラクターの造形をデザインすることであり，全自動とはいかな
くとも，大まかな造形やほとんどのモデル生成を自動で行うことが実現できた．
（※文責: 穂積佳）

8.2.3

音響班

音響班では，ゲーム内でのイベントやフィールド遷移時に生じる BGM 遷移の際に，ゲームシーンへの没入感を向上させる BGM をより滑らかに，シームレスにつなぐことのできる音響システムを作成した，そのために必要なデータやシステムも多数収集，制作した．実際にゲーム上で使用するフリー BGM やフリー SE の素材集めを行い，十分な量のデータを収集した．収集したフリー

BGM に関しては，そのままの素材ではループ再生の際に違和感が生じてしまうため，ループ時の違和感を消す加工も行った．
そしてその収集した BGM データを用いて，音響システムで生成するために必要なデータベースも構築した．音響システムで使用する 6 つの音響特徴量を抽出できるようシステムもデータベースに実装した．このデータベースの音響特徴量を用いて，BGM をよりシームレスに繋ぐことのできる音響システムを作成した．これにより，従来のゲームより BGM の遷移を自然に行うことが可能になった．
（※文責: 小林裕汰）

8.2.4

物語班

物語班の成果を記述する．物語班では，背景史とマルチエンディングを統計の分析を用いて自動生成し，4 つの背景史と 6 つのエンディングを生成した．加えて，これらの内容を本筋のストーリーに組み込み物語の執筆を行った．これらの成果物から，物語班の成果として，大規模言語モデ
ルで自動生成したものを物語の執筆に組み合わせることが出来るということ，自動生成には未だ人
手による調整が必要であることがわかった．また，他のモデルと比較して GPT-2 の生成の特徴を明確にした．
まず，物語の執筆に自動生成の要素を組み合わせる点についてである．「6．1．3 自動生成したシナリオを組み込むにあたっての調整」にあるように，自動生成の要素によって作成途中の物語に新しい要素を与えていることがわかる．物語の伏線の決定や，物語のキャラクター性をある程度決定することが出来る．この点から自動生成した成果物は，物語執筆において発想の手助けになるほGroup Report of 2022 SISP

- 150 -

Group Number 5

CreativeAIか，物語の展開を限定的な範囲で担うことが出来るということが成果としてわかった．
次に，自動生成には未だ人手による調整が必要であることがわかった．背景史，マルチエンディ
ングの成果物作成には，文章の選定・整形の手順を必要としている．両者とも，言語モデルの出力結果がそのままでは文章として利用できないため行う必要がある．これは，大規模言語モデルそのものの問題であると考えられる．
以降では，大規模言語モデルに触れたことによる成果について，生成過程で扱ったモデルとその他の言語モデルを用いて比較する．今回の生成では，GPT2-japanese のモデルを利用して生成した．この GPT-2 では，文脈を持ったストーリーを生成する上でいくつかの問題が見えた．まず，文脈に沿った長文を生成できないことである．100 字を超えるような文章を作成する場合，文脈に関係ない単語や登場人物が登場し，その単語に引きずられる形で文章が変化する．また，瞬間的な単語によって文章を作成している性質上，長文になるほど初めのプロンプトの内容から逸脱した内容になる傾向が見られる．これは，GPT2-Japanese の後継モデルである，GPTSAN にも同様の傾向がみられた．加えて GPTSAN の場合は，物語展開よりもニュースやネット記事に近いような内容の出力することがあった，GPT2-japanese の学習データに比べて多くのデータを学習していることがうかがえる．ただし，物語の生成においてはこのバリエーションの高さが時に望む出力の内容からそれることがあり，この観点からはプロンプトの工夫等が必要であった．GPT-2 の他に我々が試した言語モデルとして chat-GPT を試した．こちらは，物語の生成を行う上で GPT-2よりも高い精度を示した．言語モデルが GPT-2 よりも大規模な GPT-3 を用いている点からも，文章生成においては GPT-2 よりも自然な文章を生成した．長文生成については，途中で文章が止まってしまうことが多いため確認することができなかったが，短い文章であれば自然な文章を作成することが可能であった．例えば，「アリスは隕石に巻き込まれた」という内容から文章を作るよう命令した際に，「地球に落下したとアリスが思った．
」という旨の内容から，後の文章で，実は落ちた場所は地球ではないというように物語としてオチの回収までを自然な文脈で行えるというような，高度な生成を行えることを確認した．ただ，物語を生成する上でいくつかの問題があることも確認した．プロンプトを「アリスは地上で隕石に巻き込まれた」という文章に変更する．この文章
では，地上が恐らく地球上を指している可能性が高いことを想像できるが，chat-GPT は「隕石の衝突で地球に落ちたとアリスが考えた．」という旨の内容を返す．また，生成された文章は，初めのプロンプトから大きな変化が起きていないことから，文法の能力は向上しているが，文章の文脈の整合性をとれないという GPT-2 から続く問題は解決されていないのではないかと考えている．
そのため，物語の作成には短文を組み合わせる手法が今でも現実的である．一方で，プロンプトへの理解はかなり上昇していると言える．今回，私たちが利用したプロンプトは，プロンプト入力で説明があったような生成したい特徴を備えた文章をそのまま入力する形式であったが，chat-GPT
では，「この物語の続きを作って」というような自由度の高い形式で命令することができる．私たちの成果物が生成した直後のものを見ると，プロンプトの名残が残っておりこれらを人手で修正する必要があった．これは，プロンプトを入力した際にプロンプトの内容を GPT2 が理解できていないため発生したと考えられる．しかし，chat-GPT では，文章を用いて正確に命令内容を伝えることが出来るため，今回利用した GPT-2 に比べて命令への理解度は高かった．そのため，その点はとても進歩していると考えられる．
（※文責: 西村 秀幸）

Group Report of 2022 SISP

- 151 -

Group Number 5

CreativeAI

8.3

今後の展望

8.3.1

全体

プロジェクト全体を通しての今後の展望については，いくつかの学会発表を行うことを検討している．プロジェクトメンバーから希望者を募り，それぞれがメインで担当した内容に合致した学会
での発表形式で行う予定である．そのためプロジェクト全体の内容を学会発表するのではなく，プロジェクト内での活動のうち，特筆するものをいくつか選んでの学会発表となる．
（※文責: 小林裕汰）

8.3.2

システム班

システム班は，ゲーム作品のブラッシュアップとバグの修正・マップに沿ったギミック自動生成システムの改良の 2 点を行う．
成果発表会の時点では，ゲームを最初から最後まで問題なく遊べるところまで機能の実装と他班の成果物の統合を行うことができた．今後は背景史や音響システム・キャラクターモデルなど，他班から新規の成果物や修正されたものがあった場合は，その成果物をゲーム内に統合，及び既存の成果物を修正する作業を行っていく．また，ゲーム内システムの機能追加やバグの修正，ゲーム内演出の改善などといったゲーム開発も，担当ごとにそれぞれ継続して行っていく．
また，ギミック自動生成については，設定したギミックの要素をランダムに組み合わせて配置するといったところまでしか開発が進まなかったため，今後は，分析するギミックデータを増加させることや分析手法の改善，Unity 側でギミック配置方法の改善を行い，より自由度の高い自動生成システムの構築を目指す．
以上の２点の作業に取り組むことにより，成果物であるゲーム作品やギミック自動生成システムの完成度の向上に努めていきたい．
（※文責: 新屋拓海）

8.3.3

視覚班

キャラクターデザイン案の画像に関する今後の展望は，2 つある．

1 つ目は，シナリオからキャラクターの情報を抽出する作業の自動化だ．今回は人間の手で行ったが，AI がこの作業をできるようになれば，キャラクターデザイン制作はさらに効率化できるだろう．

2 つ目は，texual Inversion を用いた独自の画風のファインチューニングを用いて出力され た 画 像 を キ ャ ラ ク タ ー デ ザ イ ン 案 に 使 用 す る こ と だ ．フ ァ イ ン チ ュ ー ニ ン グ を す る 目 的
は ，AI が 出 力 し た 画 像 に 視 覚 班 の メ ン バ ー の 絵 柄 を 取 り 入 れ る た め だ ．今 回 は ，以 下 のよ う な 方 法 で 試 み た が 採 用 ま で に は 至 ら な か っ た ．独 自 の 画 像 を Google Colab で 学 習 をし ，モ デ ル を Stable Diﬀusion Concepts Library に 登 録 し た ．「Google Colab で は じ め る

Textual Inversion ｜ npaka ｜ note」 (URL: https://note.com/npaka/n/n63dc6617a14d)と「Stable Diﬀusion Concepts Library に 独 自 の フ ァ イ ン チ ュ ー ニ ン グ モ デ ル を 登 録

Group Report of 2022 SISP

- 152 -

Group Number 5

CreativeAI
す る ｜ npaka ｜ note」 (URL: https://note.com/npaka/n/nf7080c6bf4dd) を 参 考 に した ．ま ず ，縦 横 比 が 等 し い 512 × 512 の jpg 画 像 を 5 枚 用 意 し ，google drive に 保 存 した ．前 期 に デ ー タ セ ッ ト と し て 描 い た も の で ，比 較 的 配 色 が 似 て い る も の を 選 択 し た ．

Google Colab で Textual-inversion ﬁne-tuning for Stable Diﬀusion using diﬀusers (URL:
https://colab.research.google.com/github/huggingface/notebooks/blob/main/diﬀusers/
sd textual inversion training.ipynb) を実行しファインチューニングを行った．この際，モデルをStable Diﬀusion Concepts Library に登録するために，Huggingface で書き込みに対応したトークンを取得し，使用した．ファインチューニングは約 3 時間程で終了した．このファインチューニ
ングモデルは「AliceBeta」という名前で登録され，¡Alice-style¿というプロンプトで利用できるよ
うになっている．このファインチューニングモデルを使用し，imagetoimage にかけると独自の画像のような太めの手描きの線が特徴的な画像になった．参考サイトによると画像には共通のコンテ
キスト情報が含まれている必要があり，同じオブジェクトを異なる視点から移し，画風は配色とアートスタイルを一貫した方が良いとのことだった．しかし，用意した画像は同じキャラクターを描いたものではなく，描いた人も別々である．これらの点を改善してもう一度試したい．

図 8.1

図 8.2

訓練用に用意した 5 枚の画像

ファインチューニングモデルで image-

toimage にかける前の画像
図 8.3

ファインチューニングモデルで image-

toimage にかけた後の画像

キャラクターの３次元モデルに関する今後の展望は，キャラクターデザイン制作の効率化をという観点から，今回の製作過程で人間が行った箇所を自動化することだ．特に，数千種類もの三次元
モデル素材から適切な素材の選択や配置を CLIP に判断させるシステムを開発することで，テキス
ト入力からゲーム素材として利用できるモデルデータ群を生成することが出来る．
（※文責: 畑井梨里衣）

Group Report of 2022 SISP

- 153 -

Group Number 5

CreativeAI

8.3.4

音響班

今年度の音響班は，すべての BGM をゲームイベント，フィールド遷移時などのタイミングにあわせてシームレスに変化していくインタラクティブミュージックを実現するという目標として活動していた．インタラクティブミュージックの実現は昨年度も行っていたが，ゲームの重要なボスとの戦いの際に使用する BGM のみという限られた状況のみをインタラクティブミュージックを実装していた．この昨年度の成果を参考に，今年度ですべての BGM に対して実装することができた．特に音響特徴量はクロマベクトル，セントロイド，BPM，ゼロクロッシングレートの 4 つであったが，今年度ではこれに加えて，バンド幅，RMS という 2 つの要素を追加した．音響特徴量に関してはこれ以上の追加は複雑化するため難しいと思われる．
一方，今年度行いたいものとして，昨年度用いていた感情特徴量の追加を考えていたが，昨年度用いていた Hevner による 8 つの印象語群を用いた感情特徴量をそのまま使用した．感情特徴量に関してはまだ追加や改善の余地があるため，来年度に期待したい．
その他にも今年度行いたいものであったが実現できなかったものとしては登場人物のテーマソン
グの実装，エフェクトの選択，曲の自動選択が挙げられる．
登場人物のテーマソングに関しては，登場人物の職業や年齢などの感情以外のパラメータを用いることで，その場面での登場人物にあった BGM を自動選択を目標としていた．音響特徴量をそのまま用いることもできず，具体的なパラメータの設定を行う余力がなかったので，来年度以降の活動に期待する．エフェクトの選択に関しては，より自動生成したインタラクティブミュージックの質を上げることも考慮していた．安易にエフェクトを実装しても逆に質を下げてしまう可能性もあるため，実装を見送った．曲の自動生成については，昨年度行っていたものであり，今年度もそれを参考に改良したいと考えていた．これも時間が足りず具体的な計画立案もできなかった．まだまだ人工知能の活用案はたくさんあるため来年度の活動に期待する．
（※文責: 小林裕汰）

8.3.5

物語班

物語班は，生成した成果物は完成している為，成果物のクオリティー向上を主な今後の展望としていく．
まず背景史は，三つの展望を考えている．一つ目は，キャラクターの属性に合わせた背景史を出力することである．今回の成果物は，プロンプトに文章を入力することで生成している．そのため，キャラクターの属性に合わせた生成は難しく，キャラクターの属性が乖離してしまう可能性が高い．これらを解決するため，今後，キャラクターの属性をプロンプトとすることで背景史を出力できる手法を追求していきたいと考えている．二つ目に出力の幅を増やしたい．今回の因子分析の結果では，大きく分けて 4 つの特徴が抽出された．しかし，抽出されたものは選定した作品の影響が大きく出ていたり，新しい発見となるような特徴的な因子の発見には至らなかった．そのため今後は，データベースの拡大を検討するとともに分類カテゴリの増強も考えている．まず，選定作品の影響は，データとする作品を増やすことで影響度合いを少なくするとともに本質的なトラウマ
キャラクターの因子を抽出したいと考えている．また，カテゴリの増強はトラウマを持つキャラク
ターの特徴についてもっと詳細にカテゴリを分類することで分析の際の特徴性をさらに細かに表現したいと考えている．三つ目に，さらに大規模な言語モデルを使用した生成を行いたいと考えてGroup Report of 2022 SISP

- 154 -

Group Number 5

CreativeAIいる．今回使用した GPT-2 には，学習データ数をさらに増加した GPT-3 や Google が発表した

BERT 等耐規模言語による表現を用いて生成を行いたいと考えている．試作の段階では，これらのモデルが GPT-2 よりも長い文章に対応できることや，プロンプトへの理解度が高いということが分かっており，これらを用いてさらに長い背景史の生成を行うことを目標とする．以上３点を今後の展望とする．
マルチエンディングでは，二つの展望を考えている．まず，ファインチューニングを行い目標にあった文章が出力されるようにすることである．マルチエンディング班では，後期の反省にもある
ように，成果物のファインチューニングが行うことが出来なかった．今回生成した成果物は，ス
トーリーを作成した本人がプロンプトを作成し入力としたが，それだけでは，雰囲気に合ったものが作成されることは難しい．言語モデルそのものを物語の雰囲気にあったものに調整するとより物語に合うような生成物が生成出来る可能性が高まる．そこで今後の展望の一つとして，物語の雰囲気にあった文章の内容になるようにデータを決定しファインチューニングを行うことを展望とする．二つ目に，プロンプトを ED 手前まで入力することで出力が可能となるプロンプトを追求することである．今回のマルチエンディングのプロンプトは，執筆者本人がエンディングの内容を全て書いたものをプロンプトとしている．そのため，以上の作業を各パターン分用意しなければならず
膨大な時間が必要になる．また，物語本体の内容を反映させてプロンプトを作成したいと考えており，上記の方法を用いることが良いと判断した．そのためには，どのような展開を経て ED に向かうのかというデータセットが必要となるため，そのようなカテゴリを増やしたデータセット作成の必要がある．以上２点を今後の展望とする．
物語の執筆では，背景史やマルチエンディングの生成結果に関する伏線をはりたいと考えている．今回の作業進捗では，生成した成果物を物語の本体に組み込むことは日程上難しく組み込むに至らなかったため，生成物を組み込んだ作品作りを今後の展望とする．
（※文責: 西村 秀幸）

Group Report of 2022 SISP

- 155 -

Group Number 5

CreativeAI

参考文献[1] 松原仁，佐藤理史，赤石美奈，角薫，迎山和司，中島秀之，瀬名秀明，村井源，大塚裕子. コ
ンピュータに星新一のようなショートショートを創作させる試み．人工知能学会全国大会，

2D1-1（2013）

Group Report of 2022 SISP

- 156 -

Group Number 5