プロジェクト報告書 Project Report

提出日(Date) 2019/01/16

クリエイティブ AI
Creative AI1016157 鈴木諒輔
1. 背景・目的

Ryosuke Suzuki
タを収集する物語分析班，物語を生成するのに必要なプロ

近年，物語自動生成を実現することが人工知能分野におットを生成するためのシステムやプロットに沿って映像化ける目標の一つになっており，研究が進められている．例

するためのシステムを開発するシステム班，プロットからを挙げると，コンピュータに星新一のようなショートショ映像を生成するのに必要となるカメラワークやモーション，ートを自動生成させることを目指した松原らの，「人工知能モデルを作成する視聴覚班の 3 つの班に分かれて活動した．

プロジェクト 作家ですのよ」がある[1]．また，物語自動

なお，本プロジェクトにおけるプロットとは，物語の開生成においては文章に合わせた画像や音声も自動生成して始から終了における，各場面定義とその関係性の設定を時統合的な映像化を行うものも研究されてきている[2]．

系列的に行うものである．また，本プロジェクトにおいて物語の表現方法としては，言語表現による物語や映像表

ホラーは非現実的な現象によって鑑賞者が恐怖を感じる物

現による物語，音声表現による物語などが存在し，多種多語を指し，バトルは登場人物が連続的な戦闘を行うことで，様である．しかしながら，物語を自動生成できるシステムある目的を達成していく様を描く物語を指す．には，言語や映像，音声などの要素のうち一つを自動生成するものがほとんどである．また，現在の物語生成の方法

2.1 物語分析班

論としては，既存の物語構造のパターンに自動生成できる

物語分析班では，漫画やゲームを用いて物語分析を行い，要素をあてはめるもの([1,2]など)と，ある場面の次の展開をシステムが物語を生成し映像化するために必要となるデー

データベースや推論システム，エージェントなどを用いてタの収集を行うことを課題とした．データを集める上で，自動生成するもの([3,4]など)の二種類に大別できる．

データ形式を定義するとともに，プロット分類によってカ本プロジェクトにおいては，全体的な物語構造のパターテゴリーごとにデータを収集しまとめた．

ンに依拠しつつ前の場面から自然とつながる連続的な展開を生成する手法を検討した．また従来の画像と音声を合わ

2.2 システム班

せた統合的な物語生成システムにおいて課題であったカメ

システム班では，物語分析班が収集をしたデータから物ラワークに関しても，既存作品におけるカメラワークの展語を自動生成するために必要な物語プロットを生成するシ開のパターンを情景描写に取り入れることで，より自然なステムと，物語プロットから映像化を行うシステムを実装映像の生成を目指した．

することを課題とした．システムを実装するために，物語プロットを生成する方法を考案し，それに基づきシステム

2. プロジェクトの課題設定と到達目標を実装した．

本プロジェクトでは，ホラージャンルとバトルジャンルの統合的な物語を自動生成するシステムを開発し，評価実

2.3 視聴覚班

験によって自動生成された物語に破綻がないかについて調

視聴覚班では，生成された物語を 3DCG で視覚化するこ査することを課題として設定した．また，物語プロットをとを課題とした．視覚化にあたり，カメラワークアルゴリ自動生成し，そのプロットに基づく映像表現を 3DCG で視ズムやモデル，モーションの実装を行った．カメラワーク

覚化することで，鑑賞に堪えうる統合的な物語の生成を行

アルゴリズムは既存の映像作品を分析することで実装した．

うシステムを開発することを到達目標とした．本プロジェ

また，モデルやモーションは blender，PmxEditer，MMD を

クトでは課題解決のために，既存の物語構造を分析しデー用いて制作した．

3. 課題解決のプロセスとその結果な物語構造のパターンをシステムに取り入れるために，プ本プロジェクトでは，統合的な物語を自動生成するシス

ロット分類の結果から遷移確率モデルを作成した．このモテムの開発とそのシステムの評価を行った．よって，そのデルはマルコフ連鎖モデルをベースにアレンジしたものをプロセスと結果，評価を以下に記す．

用いて作成した．この遷移確率モデルを作成することで，物語構造の特徴を活かした物語の遷移と物語の多様性を実

3.1 システムの開発
統合的な物語を自動生成するシステムの開発にあたって，現した．
以上によって得られたデータや遷移確率モデルは他の班

第 2 項で記した課題を解決し目標を達成するために，プロと共有し，他の班からの要望や仕様変更などがあったときジェクトメンバーを 3 つの班に分けた．また，自動生成のには，その都度データのフォーマット等は変更を行った．

対象とする物語のジャンルはホラーとバトルという 2 つのジャンルに属する物語群を選択した．なお，本プロジェク

3.1.2 システム班

トにおいてホラーは非現実的な現象によって鑑賞者が恐怖システム班では，まず Python で物語分析班が収集した物を感じる物語を指し，バトルは登場人物が連続的な戦闘を語分析データを基に物語構造データベースを構築し，その通じて，ある目的を達成していく様を描く物語を指す．こ

物語構造データベースと遷移確率モデルによって物語プロれらのジャンルを選択した理由は以下の通りである．

ットを生成した．そして Unity を用いて生成されたプロッl

どちらも普遍的に広く人気のあるジャンルである

トに基づく 3D 映像を出力することで映像化を実現した（図l両ジャンルともに，特徴ある典型的な物語構造のパタ

1 参照）
．

ーンが存在すると考えられる
Ø

ホラー：人間ではない何かが出現し主人公を脅か物語分析データす点が共通点である
Ø

バトル：敵との戦闘が幕間の物語を挟むことで連物語構造データベース

続する構造が共通点である
l

視覚化表現がパターン化によって容易である

3.1.1 物語分析班
物語分析班では，漫画やゲームを用いて物語分析を行い，システムが物語を生成し映像化するために必要となるデー

プロット⽣成映像化
図 1 システムのフローチャートタの収集を行った．それを行うにあたって，分析対象となる作品からどのようなデータをどのように収集していくか

なお，ジャンルごとに物語プロットの生成方法を考案し，を決めた．また，複数人で作業を行う点やシステムが読みそれに基づいてシステムを実装した． 映像化を行うにあ込めるような形式にデータを集めなければいけない点から，たって，プロット上の物語分析点において画面に選択肢をデータ形式の定義を他の班と相談の上で決定した．その後，表示し，ユーザーに選ばせるようなインタラクティブ性をホラージャンルとバトルジャンルの物語を自動生成するたもたせたシステムになっている（図 2）．さらに，バトルジめに必要となるデータの収集のために分析を行った．

ャンル物語においては戦闘シミュレーションで生成された分析にあたって，プロット分類を行うことで物語の共通知識や物語における場面の役割，物語の典型的なパターンなどを構築していった．その際，分析対象作品から得られたデータはできるだけ抽象的な記号に変換し，あらかじめ決めておいたフォーマットに従ってデータを整理していった．さらに，分析対象作品から得られた共通知識や典型的バトルシーンを表現できる（図 3）．
また，理論上はホラーで 24 万超，バトルで 550 億超パターンの物語が生成可能である．

3.2 システムの評価
3.2.1 目的本プロジェクトの目標は，自動生成された多種多様なプロットに基づく魅力的な映像を鑑賞できるシステムを開発することである．この目標の達成を確認するために評価実験を行った．また，目標の達成を確認するために以下のよ
うな 3 つの観点を定めた．
図 2 ホラーの物語の生成結果

1.

自動生成された物語が物語として成立していること

2.

自動生成された物語が読み手に対して，影響を与えることができていること

3.

適切なカメラワークの選択により，シーンの意味を理解できていること

3.2.2 方法
評価実験では，目的で述べた 3 つの観点をシステムで生成された物語が満たしているか調べるために，5 段階（「良図 3 バトルの物語の生成結果い〜悪い」）でのアンケート調査を実施した．被験者は 10 代から 20 代前後の男女 12 人である．アンケートの質問項目

3.1.3 視聴覚班

は，以下の 3 問である．

視聴覚班では，生成された物語を 3DCG で視覚化するた

1.

話が自然であっために必要となるカメラワークアルゴリズムやモデル，モー2.

物語を楽しめたションの実装と作成を行った．

3.

物語の全体を通して場面の状況が理解できる

カメラワークアルゴリズムの実装にあたって，既存の映また，実験の手順は以下の通りである．実験では，被験者同像作品を分析し，カメラワークデータベースを構築した．

士および実験者との物語に関する会話を禁止した．

そのデータベースに基づき，システムで再生するプロット

1.

周りが静かな集中できる場所に被験者を待機させるからキャラクターのデータやシーンなどの情報を受け取り，

2.

被験者に同意書を書いてもらい，実験の目的とアンケ

どのようなカメラワークが良いかを確率的に求めることで，生成される映像における最適なカメラワークを実現した．

ートの説明を教示する
3.

また，モデルとモーションの作成にあたって，blender，PmxEditer，MMD などのツールを制作に用いた．
blender は，
3D モデルの形を作りテクスチャを貼るために制作に使用

アンケート用紙を被験者に渡し，開発したシステムで自動生成された物語を見せる

4.

被験者が物語を見終わった後にアンケートに回答してもらうした．PmxEditer は，関節を曲げるために必要なボーン，顔を自然に動かして表情をつけるためのモーフなどの制作に3.2.3 結果使用した．MMD は，人型のモデルにポーズを取らせるため実験結果より得られた図（図 4，図 5）から，ホラーの物のモーションの制作に使用した．制作内容は，人型（11 種

語に関して，目的で定めた３つの観点を十分に満たしてい類）や武器（12 種類）のモデリングと人型を動かすのに必る一方で，バトルの物語に関して，目的で定めた３つの観要なモーション（日常シーン用 15 種，戦闘シーン 14 種の点を十分に満たすことはできていない．

計 29 種類），人型の顔モーションとして喜びや怒り悲しみなどの表情の基本パターン（11 種類）と汗や涙などの付属品（9 種類）である．

4. プロジェクトの成果と今後の課題

86

本プロジェクトでは，プロットの自動生成とそれに対応4する映像化を行うシステムの開発を行った．システムの開20
とても良い

良い

普通

悪い

とても悪い

発をするためにプロジェクトメンバー15 人を既存の物語を分析しデータ化・物語生成アルゴリズムの考案を行う物語話が自然であった

分析，Python を用いた物語自動生成の実装と Unity を用い物語を楽しめた
物語の全体を通して場面の状況が理解できる

図 4 ホラーの物語に関する評価実験結果た映像化のシステムを実装するシステム班，映像化に使用するモデルの作成とカメラワーク生成アルゴリズムの考案・実装を行う視聴覚班の計 3 つのグループに分かれて作業を行った．また，自動生成された物語が破綻していない

86かを知るために，システムの評価実験を実施した．さらに，4

課外活動としてプロジェクトの成果を外部に積極的に発信

20
とても良い

良い

普通

悪い

とても悪いすることにも努めた．
現在，システムで生成可能な物語数としては，，ホラージ話が自然であった物語を楽しめた物語の全体を通して場面の状況が理解できる

ャンルでは約 24 万通り，バトルジャンルでは約 550 億通りとなっている．

図 5 バトルの物語に関する評価実験結果

我々が考えている本プロジェクトで開発したシステムにおける課題としては，下記の事項が挙げられる．

3.2.4 考察l

ユーザーが，さらに物語に没入できるように，インタ

評価結果から，ホラーとバトルの物語の内容や表現の違いが評価の良し悪しに影響を与えたと考えられる．

ラクティブ性を向上させることl

魅力的な視覚化を実現するために，より効果的なカメ

特に「物語が自然であった」という観点について考えると，ホラーの物語では初めに物語の世界観の説明から入り，ラワークを実装することl

自動生成される物語をより良くするために，データの主人公が目的を達成していくようになっていた．評価結果

質を向上させ，データの矛盾を解消することを見ても，物語自体に不自然と感じるところはなかったと

評価実験より，物語の表現方法にまだまだ工夫の余地が考えられる．一方で，バトルの物語では初めに物語の最終ある等の問題点・改善案が得られた．今後は，評価実験など的な戦闘部分を一部見せてから，主人公がその最終的な戦で得られたユーザーの意見や要望などを取り入れたりする闘に至る様子を描いている．被験者がバトルの物語をあまことも必要であると考える．

り自然と感じなかった理由として，「主人公が戦闘を行う明確な理由が作中で記述されていなかったこと」や「主人公参考文献の存在する世界観が不明確」であったことが考えられる．

[1]

また，
「物語の全体を通して場面の状況が理解できる」という観点について考える．バトルの物語では，おかしなカメラワークが散見された．例を挙げると，登場人物の持つ武器にズームがされる点や登場人物がセリフを話しているシーンでカメラが背景だけを映してあった点などである．
戦闘中のセリフの表示は開発チームの負担が大きくなり，時間的にも厳しかったため，実装には至らなかった．よって，物語のデータ作成時に登場人物の位置関係や場面の映し方に工夫を凝らす必要があると考える．

松原仁, 中島秀之, 佐藤理史, 赤石美奈, 角薫, 迎山和司, 村井源, 大塚裕子, 平田圭二, 瀬名秀明. コンピュータによるショートショートの自動生成の試みについて. エンターテイン
メントコンピューティングシンポジウム, 2013, p. 34-35.
[2] 豊澤修平, 工藤はるか, 石田晃大, 遠藤史央里, 川瀬稜人, 菊池亮太, 工藤健太郎, 栗原将風, 櫻井健太郎, 佐藤好高, 玉置秀基, 根本裕基, 原科充快, 久野露羽, 平田郁織, 村井源, 椿本弥生, 角薫, 松原仁. 推理小説プロットを自動生成し映像化する統合的インタラクティブシステムの開発と評価. 研究報
告人文科学とコンピュータ, 2018, Vol. 13, p. 1-5.
[3] The What-If Machine Project. 2013. “The What-If Machine.”
2018/11/26
参照.
http://ccg.doc.gold.ac.uk/research/whim/resources/poster_UC.pdf.
[4] 松山諒平, 佐藤理史, 松崎拓也. 人狼ログからの小説の自動生成, 言語処理学会 第 23 回年次大会 発表論文集, pp. 32-35,
2017.