とめ研究所若手研究者懸賞論文

2022 年

補完的物語生成手法に基づき拡張した
あらすじ文を用いた映画の興行的成功予測
飯倉 陸
大阪府立大学大学院工学研究科
Riku Iikura
Graduate School of Engineering, Osaka Prefecture University

1の予測精度向上のボトルネックになりうる．そこで本緒言

研究では，収集したあらすじ文データに対してテキス
映画産業は，製作費が数 100 億円以上にも及ぶ大規

トデータ拡張手法を適用することで，学習モデルの予模なビジネスである．そのため，映画の企画段階で，そ測精度の向上を図る．テキストデータ拡張手法としての映画が興行的に成功するか否かを予測することは，はこれまでに，変形的なデータ拡張 [8, 9] および生成製作陣や製作費の投資家にとってきわめて重要といえ的なデータ拡張 [10, 11] の観点から，複数の手法が提る．近年の深層学習技術の発展に伴い，映画の興行収案されている．本研究では，物語的文章の性質に着目入を予測する手法は複数提案されてきた [1, 2, 3, 4]．

した文生成モデルを新たに構築し，それに基づく映画

その手法の多くは，監督や出演者，公開年などの，映画のあらすじ文の生成的な拡張手法を提案する．

のメタ情報を特徴量として利用している．一方で，そ例えば，伝統的な映画の脚本構成である三幕構成では，れらメタ情報に，物語の流れを表現したあらすじ文の物語の最初と最後が一貫性を保ちながら，感情的な起言語情報を合わせた特徴量を使用する研究は，ほとん

伏を伴う多様なイベントによって関連付けられている．

ど報告されていない．興行的に成功した映画のあらす

筆者はこの性質を踏まえ，一貫性のある物語を生成する

じ文は，感情的な起伏に富んでいる傾向にあるというためには，指定された結末の情報を適切に考慮すること

研究報告 [5] が存在することから，映画のあらすじ文が有効であると考えた．そこで本研究では，文章の最の言語情報を特徴量として利用することは有効である

初と最後の文から，それらを適切に連結する文章を補完と考えられる．そこで本研究では，映画のメタ情報と，的に生成する， Variational Hierarchical Conversation

事前学習済みの Bidirectional Encoder Representation

Recurrent Neural Network（VHCR）[12] ベースの補完from Transformers（BERT）[6] モデルに基づき処理し的物語生成手法（VHCR-based Complementary Story

たあらすじ文の言語情報を合わせたマルチモーダルな

Generation Model, VHCR-CSGM）[13, 14] を新たに構

特徴量を用いて，映画の興行的成功の予測精度の向上

築する．VHCR は対話生成タスクで提案された Hier-を図る．

archical Recurrent Encoder Decoder（HRED）[15] と映画のあらすじ文データに関して，
例えば CMU Movie

Variational Hierarchical Recurrent Encoder Decoder

Summary Corpus [7] などの英語のデータセットは整（VHRED）[16] を発展させた文生成モデルであり，Vari-

備されている一方で，日本語のデータセットは未だ十ational Auto-Encoder（VAE）[17] の構造を応用して分でない．そのため本研究では，日本語 Wikipedia1 にいる．本研究では，VHCR-CSGM に基づき，映画のおける映画のあらすじ文データ，一般社団法人日本映

あらすじ文データを拡張する手法を提案する．従来の2画製作者連盟（映連）
によって毎年発表される映画のテキストデータ拡張手法との比較実験を通じて，提案

国内興行収入上位作品の情報，および映画レビューサ

手法の有効性について検討する．本研究の貢献は以下

イト Filmarks3 上のメタ情報に基づき，映画の興行的のとおりである．

成功予測のためのデータセットを新たに構築した．
しかしながら，収集可能な映画のデータ数は限られ（1）日本語の映画あらすじ文およびメタ情報をもつているため，作成したデータセットのサイズがモデル

データセットを新たに作成し，それを用いた映画の興行的成功予測に取り組んだ．

1 https://ja.wikipedia.org/wiki/（2）映画のメタ情報とあらすじ文の言語情報の両方を2 http://www.eiren.org/toukei/
3 https://filmarks.com/

利用したマルチモーダルな手法により，興行的成1

功の予測精度を向上させた．

CMU Movie Summary Corpus ように，英語で書かれた映画のあらすじ文データを対象とした興行収入分（3）VHCR-CSGM を用いたテキストデータ拡張手法

析の研究に対して，日本語のあらすじ文データを用いを提案し，その適用によって学習モデルによる映た研究はほとんど存在しない．その理由の 1 つとして，画の興行的成功の予測精度が向上することを実験

日本語のあらすじ文データを含む映画のオープンデー

的に確認した．

タセットが存在しないことが挙げられる．そのため，本研究では日本語あらすじ文データを用いて興行的成功を予測するためのデータセットを新たに構築した．

関連研究

2

上記を踏まえた本研究の特徴は，映画のメタ情報と本章では，（1）映画の興行収入予測，（2）物語の自あらすじ文データの両方を利用する点と，後述する提動生成，および（3）データ拡張の関連研究について，

案手法によりあらすじ文データを拡張してデータセッ

概括する．

トのサイズ不足を補い，学習モデルの予測精度向上を図る点である．

2.1

映画の興行収入予測

2.2

近年，映画の興行的な成功を予測する機械学習ベー物語の自動生成スの手法が多数報告されている [1, 2, 3, 4]．Galvão ら

物語の自動生成は，自然言語処理研究におけるフロ[3] は重回帰分析やニューラルネットワーク，決定木をンティアであり，これまでに人間による創作物と類似用いて映画の興行収入を推定した．彼らは，その映画した物語を生成するためのモデルが多数提案されてきが続編であるか否か，MPAA レイティング，ジャンル，

た [23, 24]. 近年では，ニューラルネットワーク技術が4

製作費，アカデミー賞 ® などの映画賞の受賞あるい導入され，物語生成の研究は多様化している．

はノミネートの有無，公開時期，監督や俳優，IMDB

例えば，計算機による物語の理解と生成のためのタや Metacritic から収集した批評家の評価などを特徴量

スクとして，入力文に続く物語の適切な結末を選択するとして採用した．他にも，Liu ら [18] や Kim ら [19]Story Cloze Test [25, 26] などが提案されている．このは Twitter などのソーシャルメディア上の評価を収集

タスクでは特に，機械翻訳や文章要約などの文生成タス

して特徴量として用いる手法を提案した．これらの手

クにおいて高い精度を記録した sequence-to-sequence

法は，映画の公開後に得られる興行収入と密接に関係モデル（Seq2Seq） が多く適用される．Roemmele らする情報を使用している．しかし，本研究のモチベー[27] は，Recurrent Neural Network（RNN） の一種でションは，映画の企画段階における興行的成功の予測ある LSTM を使用して，与えられたコンテキストに対精度向上であるため，映画の公開前に取得可能と考えして適切な最終文を生成するタスクである Story Cloze

られる情報のみを特徴量として採用する．

Test に取り組んだ．また Guan ら [28] は，Story Cloze

また，Kim ら [5] は CMU Movie Summary Corpus

Test の発展タスクとして，与えられた文章から欠落しの映画のあらすじデータから，Rotten Tomatoes5 におている文を生成する Story Completion タスクを提案

ける評価値の高低を分類するタスクに取り組んだ．彼した．理論上，RNN は文章中の次の文字や単語，さらは ELMo [20] による文章の埋め込み表現と，NLTK

らには文の出現確率を予測するように学習する．RNNの Vader [21] により算出された各文の感情スコアを結などのニューラルネットワークに基づいたモデルは一合して，Convolutional Neural Network や Long Short-

様な文を出力する傾向にあり，独創的な物語の生成がTerm Memory（LSTM）[22] への入力とする手法を提困難であることが問題視される．Gupta ら [29] はこ

案した．そして実験を通じて，興行的に成功する映画れに対して，コンテキストに存在する重要語に重みをのあらすじ文は感情的な起伏に富んでいる傾向にある

付与することや出現頻度の低い単語の出力を促進することを示した．この研究報告は，筆者が映画の興行的ことにより，物語の多様な結末を生成する手法を提案

成功の予測モデルへの入力とする特徴量として，あらした．さらに Mori ら [30] は，実際の文章執筆支援のすじ文の言語情報を付与することが有効であると考え場面を想定し，補完すべき文の場所を指定する従来のる根拠の 1 つである．

Story Completion タスクに，文が欠落している場所を推定する操作を追加した．

4 https://www.oscars.org/
5 https://www.rottentomatoes.com/

2

文を連続的に出力して 1 つの物語を生成する研究で研究で提案する補完的物語生成手法に基づくデータ拡

は，独立した説明文を連結し 1 つの物語を生成するシ

張手法は，VAE ベースの生成的なデータ拡張手法に分ステム [31] や，物語のシナリオを生成する操作とそれ類される．

を物語へと変換する操作を組み合わせた階層的な物語
生成システム [32] などが提案されている．Martin ら

データセット構築

3[33] はテキストをイベントのシーケンスに変換し，与えられたイベントからそれに続くイベントを生成する手

本章では，映画の興行的成功予測のためのデータセッ

法（event2event） と，イベントから自然言語文を生成

トの具体的な構築手順と，データセットに含まれる各する手法（event2sentence） を提案した．Yao ら [34]特徴量どうしの関係について詳述する．

は与えられたタイトルあるいはトピックからキーワー
ドベースのプロットやストーリーラインを作成し，それに基づいて物語を生成することでその品質を向上さ3.1

せることを図った．また，物語における主人公の感情

構築手順

映連のホームページでは，年間の興行収入が 10 億の遷移をモデル化し，さらに設定した感情の遷移に基円以上であった作品が興行収入上位作品として公表さづいて物語を生成する手法 [35] などがある．

れている．それに準拠し，本研究では年間興行収入が上記の物語的文章の生成におけるアプローチと本研

10 億円以上であることを，興行的な成功と定義する．

究の提案手法の主たる相違点は，物語の最初の文だけ

本研究では 2010 年から 2019 年までの 10 年分の発表でなく，最後の文についても入力として与える点であ

資料，Wikipedia 上の映画作品記事におけるあらすじ

る．さらに VAE の構造を利用することで，語彙的に文および Filmarks で管理されている映画の情報を参

多様な物語の生成が期待できる．

考に，データセットを構築する．なお，データセットとしての品質を考慮し，MeCab [42] を使用した形態素

2.3

データ拡張

解析の結果，含まれる単語数が 256 以上のあらすじ文を取得対象とする．取得した映画は 661 本であり，そデータ拡張は，学習モデルの性能を向上させるためのうち映連の発表資料に作品名が掲載されていた，つに訓練データを人工的に生成する，正則化手法の 1 つ

まり，年間の興行収入が 10 億円以上の作品は 255 本である．提案されているほとんどの手法は，データのであった．一方で，映連の発表資料に作品名が掲載さ

変形または生成に基づくものに大別される．

れていなかった作品は 406 本であった．以降では，便変形的なデータ拡張では，外部知識が組み込まれた，宜的に前者を正例，後者を負例と称する．

パラメータ化されていないデータ変換関数に依存して新
たなデータポイントが合成される [36]．変形的なデータ拡張手法は，画像認識分野で広く使用されており，例

3.2

えば訓練画像を回転や移動などの線形変換により拡張

各特徴量と興行的成功の関係

表 1 に，データセットに含まれる特徴量を示す．ますることで，訓練モデルの性能が向上する場合がある

た，図 1 に各量的変数どうしの相関関係を表現するヒー[37]．

トマップを示す．映画の興行的成功はカテゴリ変数と一方，生成的なデータ拡張手法は，潜在変数モデルをして，その他の項目は量的変数として，それぞれの相利用して訓練データとして妥当なデータサンプルを生成

関比および相関係数を算出した．図 1 に示した各量的する．VAE や Generative Adversarial Networks [38]変数は，映画の興行的な成功とほとんど相関がないとなどの強力な生成モデルをデータ拡張に活用することいえる．

の可能性が議論されている．例えば，Visual Question

一方で，カテゴリ変数としての各映画の監督名と，映Answering タスク [39] や，一般的な画像分類タスク [40]

画の興行的成功の相関比は 0.91 と強い正の相関を示しにおいて，学習モデルの性能向上が報告されている．

た．しかし監督名の総数は 464 と訓練用データの総数

自然言語処理におけるデータ拡張では，テキスト中に対して多く，また 1 人が監督を務めた映画の最大本の単語をシソーラスを用いて置換したり，ノイズを混

数は 7 本であったことから，Zero-shot 学習になる可ぜたりすることが一般的である [8]．また，複数の文生能性が高い．そのため，テスト時の精度向上に大きく成タスクで高い性能を示した GPT-2 [41] を使用する

寄与するとは考え難い．

生成的なデータ拡張手法も提案されている [10, 11]．本

3

表 1: データの特徴量
名称

次元数

success1

release year

1

release month1

release day

1

runtime1

説明
映画が興行的に成功したか否か（正例，負例）をバイナリで表す目的変数．
映画の公開年を表す説明変数．2010 年から 2019 年までの公開年について，最小値が 0，最大値が 1 となるよ
うに標準化する．
映画の公開月を表す説明変数．1 月から 12 月までの公開月について，最小値が 0，最大値が 1 となるように標準化する．
映画の公開日を表す説明変数．1 日から 31 日までの公開月について，最小値が 0，最大値が 1 となるように標準化する．
映画の上映時間を表す説明変数．46 分から 209 分までの上映時間について，最小値が 0，最大値が 1 となる
ように標準化する．
映画のジャンルを表す説明変数．“アクション” や “サスペンス”，“アニメ” など 27 種類のジャンルを one-hot

genre

27

表現する．ジャンルが登録されていない映画が存在し，各映画は最大 3 つのジャンルに属する．ジャンルの組
み合わせは 154 通り存在する．
映画の製作国を表す説明変数．“日本” や “アメリカ”，“イギリス” など 38 の国を one-hot 表現する．製作国

country38が登録されていない映画は存在せず，各映画の製作国は最大 5 カ国とする．製作国の組み合わせは 67 通り存在する．

director

464

actor

3,609

映画の監督を表す説明変数．464 人の人物を one-hot 表現する．監督が登録されていない映画が存在し，各映画の監督は最大 1 人である．
映画の出演者を表す説明変数．3,609 人の人物を one-hot 表現する．出演者が登録されていない映画は存在せず，各映画に対して登録する出演者数は最大 10 人とする．

plot word num

1

映画のあらすじ文に含まれる単語数を表す説明変数．最小値が 0，最大値が 1 となるように標準化する．

title

768

事前学習済み BERT モデルを用いて得られる，タイトルの言語情報を表す 768 次元の分散表現．

plot

768

事前学習済み BERT モデルを用いて，4.1 節に示す手順で取得したあらすじ文の言語情報を表す 768 次元の分散表現．

また，各映画が属するジャンルの組み合わせは 154

データの性質に大きな差異はないといえる．

通りあった．図 2 に，映画のジャンルの組み合わせと興行的成功の関係を示す．最大 3 つのジャンルの組み映画の興行的成功予測モデル

4

合わせと興行的成功の相関比は 0.65 であり，やや強い正の相関を示した．さらに，図 3 に製作国の組み合わ

本章では，提案手法である映画の興行的成功予測モ

せと興行的成功の関係を示す．最大 5 カ国の製作国のデルについて詳述する．

組み合わせは 67 通り存在し，興行的成功との相関比
は 0.34 であった．
図 4 に，公開年ごとの正例および負例の数を示す．

4.1

公開年と興行的成功にほとんど相関がないことを踏ま特徴量としてのテキストデータの処理

映画のタイトル名およびあらすじ文のテキストデータ

え，2010 年から 2014 年までに公開された映画を訓練特徴量として使用するために，事前学習済みの BERT モ

および検証用データ，2015 年から 2019 年までに公開

デル（cl-tohoku/bert-base-japanese-whole-word-masking7 ）された映画をテスト用データとして使用する．表 2 に，を用いて処理し，分散表現を取得する．BERT は複数作成したデータセットの統計情報を示す．なお，あらの双方向 Transformer [45] に基づく汎用言語モデルですじ文を文単位に分割するために，自然言語処理フレーあり，入力された単語系列および，含まれる各単語にムワークである spaCy6 に基づき実装された GiNZA

対応する分散表現を出力する．

[43, 44] を採用した．訓練，検証用データと，テスト用

7 https://huggingface.co/cl-tohoku/
bert-base-japanese-whole-word-masking

6 https://spacy.io/4図 3: 映画の製作国と興行的成功の関係

図 1: 各特徴量どうしの相関関係

図 4: 映画の公開年と興行的成功の関係

具体的には，あらすじ文の前方から 50 トークンが重複するように 200 トークンごとのチャンクに分割し，それぞれのチャンクの先頭に付与される [CLS] トークン
図 2: 映画のジャンルと興行的成功の関係．ただし，に対する分散表現を取得する．取得した各チャンクに‘No-genre’ はジャンル情報がない場合である．

対する分散表現の平均を，対象のあらすじ文の分散表現とする．また，タイトル名とあらすじ文を合わせて分散表現を取得する場合は，タイトル名を最初のチャ
ンクとみなす．

映画のタイトル名を事前学習済み BERT モデルに入力し，入力系列としての前処理で先頭に付与される[CLS] トークンに対する分散表現を，タイトル名に対4.2する分散表現として扱う．
使用する事前学習済み BERT モデルに対する入力

特徴量とモデルのアーキテクチャ

本研究で検討した，映画の興行的成功予測のための系列は，最大長を 512 トークンとする制限が設けられ

特徴量の組み合わせは以下の通りである．

ているため，それより多いトークン数が含まれるあらmeta-only:

すじ文は前処理段階で先頭 512 トークンのみが抽出さ

公開年月日（‘release year’, ‘release month’,

れる．その場合，あらすじ文の後半に含まれる情報は‘release day’），上映時間（‘runtime’），ジャンル無視されるため，効果的にあらすじ文を利用できない．

（‘genre’），製作国（‘country’），監督（‘director’），本研究では，Pappagari ら [46] に着想を得た手順であ出演者（‘actor’）に関する情報（メタ情報）を表
す 4,142 次元の特徴量．

らすじ文の分散表現を取得する．図 5，6 に，あらすじ
文のチャンク分割の例と分散表現取得の概略図を示す．

plot-only:5

あらすじ文に対する 768 次元の分散表現．

表 2: データセットの統計情報
訓練および検証

テスト

データ総数

323

338

正例数

127

128

負例数

196

210

平均文数

25.1

27.4

最小文数

7

6

最大文数

94

156

平均単語数

752.8

817.1

最小単語数

257

259

なマルチモーダル学習手法は，Early Fusion と Late

最大単語数

3,026

3,536

Fusion に分類される．前者は異なるモダリティから得

図 6: あらすじ文に対する分散表現取得の概略図

られた特徴量を連結し，後者は異なるそれぞれのモダ
リティに対する個別の分類結果を組み合わせて分類結果を決定する手法である．また，深層学習に基づく分類では，ニューラルネットの隠れ層を連結する手法が一般的に使用される [50, 51]．
分類器への入力を，メタ情報 i とテキスト情報 t か
図 5: あらすじ文のチャンク分割例

らなる x = {i, t} ∈ X とし，メタ情報の数値表現を

8

γ(i) ∈ Rn ，BERT に基づき取得したテキストに対する（Wikipedia: 「007 スカイフォール」より）

分散表現を ψ(t) ∈ Rm とする．入力 x と付随するラベル y ∈ Y が与えられたとき，モデルは最も予測確率

meta+plot:

メタ情報を表す 4,142 次元の特徴量と，の高い y を予測ラベルとして出力する．

あらすじ文に対する 768 次元の分散表現．

meta+plot word num+title:ŷ = arg max P (Y = y | x),y

メタ情報とあらすじ(1)

文に含まれる単語数を表す 4,143 次元の特徴量

ここで，x = i あるいは x = t であれば，ユニモーダと，タイトル名に対する 768 次元の分散表現．

ルな分類器となる．

meta+title+plot:

図 7 に，メタ情報とテキストデータを用いた分類にメタ情報を表す 4,142 次元の特おける特徴量の結合方法を示す．

徴量と，タイトル名およびあらすじ文に対する768 次元の分散表現．

図 7a に示す Early Fusion は，メタ

Early Fusion:
メタ情報とあ情報に対する特徴量とテキストデータに対するらすじ文に含まれる単語数を表す 4,143 次元の分散表現を連結し，分類器への入力とする手法で特徴量と，タイトル名およびあらすじ文に対するある．

meta+plot word num+title+plot:x′ = [γ(i); ψ(t)],768 次元の分散表現．

(2)

ここで，[v1 ; v2 ] はベクトルの連結を表し，x′ ∈上記の特徴量を，分類器としての 3 層の Multi Layer

R(n+m) は連結により得られる新たな特徴ベクト

Perceptron（MLP），Random Forest（RF）[47]，XG-

ルである．

Boost（XGB）[48], および LightGBM（LGBM）[49]への入力とし，映画の興行的成功（‘success’）を 2 値

Late Fusion:

また図 7b に示す Late Fusion は，メ

タ情報とテキスト情報の特徴量をもとにそれぞれ分類予測する．
メタ情報に対する特徴量とテキストデータに対する独立に学習した分類器の予測結果を合わせて，最分散表現は，異なるモダリティから得られる情報であ

終的な予測結果とする手法である．本研究では，るため，マルチモーダル学習の側面を備える．伝統的映画の興行的成功の正負に対する各分類器の予測

8 https://ja.wikipedia.org/wiki/007_スカイフォール

6

(a) Early Fusion(b) Late Fusion(c) Joint Fusion

図 7: メタ情報とテキストデータを用いた分類における特徴量の結合確率の平均値を，最終的な予測確率として用いる．

5.1

パラメータ θ を有する RNN は，出力全体の確率分布ŷ = arg max(mean(P (Y = y | i), P (Y = y | t))),yを分解することにより，可変長のシーケンス {w1 , . . . , wM }(3)

をモデリングする．

ここで，mean(·) は平均値を表す．

Joint Fusion:

図 7c に示す Joint Fusion は，ニューpθ (w1 , . . . , wM ) =ラルネットワークに基づく分類器のための結合手

モデルはそれぞれの観測値を再帰的に処理する．各タ
イムステップで，モデルは要素を観察し，以下の式のる必要があるため，4 式，5 式の線形層が追加さように内部の隠れ状態を更新する．

れる．

(4)

2

(5)

2

ψ̃(t) = W̃ ψ(t) + b̃ ,ここで，γ̃(i) ∈ R , ψ̃(t) ∈ R , W̃ ∈ R

R

l

1

n×l

pθ (wm | w1 , . . . , wm−1 )p(w1 ).
(8)

ル γ(i) ∈ Rn ，ψ(t) ∈ Rm の次元数を同一にす

γ̃(i) = W̃ 1 γ(i) + b̃1 ,

M
∏
m=2

法である．Pooling 処理を適用する場合，ベクト

l

RNNLM

hm = fθ (hm−1 , wm ),(9)

ここで，hm ∈ Rdh は，隠れ状態と称され，位置 m ま, W̃ ∈
2でに観察されるトークンのベクトル表現として機能す, b̃ ∈ R , および b̃ ∈ R である．

る．特に，最終隠れ状態 hM は，すべてのトークンの順

本研究では，6 式に示す線形層の出力を連結する序に依存する隠れ状態の要約とみなすことが可能であ手法（Concatenation）と，7 式に示す線形層のる．また，関数 fθ は双曲線正接関数，LSTM や GRU

m×l

1

l

2

l

出力に Element-wise Max Pooling 処理を適用す[53] のゲート付き回帰ユニットなどの活性化関数と呼る手法（Max Pooling）を検討する．

ばれる非線形関数である．言語モデリングのタスクでは，hm でエンコードされたコンテキスト情報を使用しx′ = [γ̃(i); ψ̃(t)],(6)

x′ = pooling(γ̃(i), ψ̃(t)).

(7)て，文における次のトークンを予測する．

pθ (wm+1 | w1 , . . . , wm ) = pθ (wm+1 | hm ).

(10)

出力が語彙 V 内に存在すると仮定するとき，RNNLM

5

補完的物語生成手法[52] は，隠れ状態 hm のアフィン変換に適用されるソ
フトマックス関数を用いて，出力分布をパラメータ化

本章では，技術的背景である Recurrent Neural Net-

する．モデルのパラメータは，最急降下法を使用してwork Language Model（RNNLM）[52] ，HRED，VAE，

対数尤度を最大化することで学習される．

VHRED，および VHCR について概説したのち，本研
究の提案手法である VHCR-CSGM について述べる．

7

5.2

HRED

HRED [15] は，RNNLM の拡張手法であり，エンコーダ・デコーダモデルの構造を対話生成のために拡張したものである．HRED は，各出力系列がサブシー
ケンスのシーケンスと，トークンのサブシーケンスという 2 段の階層にモデル化可能であることを前提としている．文章は文というサブシーケンスが連なるシー
ケンスであり，各文は単語が連なるシーケンスとして表現できる．
図 8: HRED のグラフィカルモデル

本研究では， 1 つのあらすじ文 T を，N 個の文からなる系列 T = {S1 , . . . , SN } として考える．Sn はそれぞれ Mn 個のトークンで構成されており，Sn =デコーダ RNN fθdec は，コンテキスト RNN の隠れ{wn,1 , . . . , wn,Mn } である．ここで，wn,m は語彙 V に状態を取得して，次の発話のトークン全体における確基づき，文 Sn における位置 m のトークンを表現す

率分布を生成することで，次の文を予測する．デコー

る．文章生成モデルは，生成されうる任意のあらすじ

ダ RNN と RNNLM の重要な相違点は，次の文予測に文に対して，パラメータ θ により制御される確率分布

おいてコンテキスト RNN の隠れ状態を利用する点でpθ をパラメータ化する．T の確率分布は以下の 11 式

ある．

のように表される．

pθ (S1 , . . . , SN ) =N∏pθ (Sn | S<n ) = fθdec (S | hctxn ).
pθ (Sn | S<n ),本研究では，エンコーダ，コンテキスト，およびデコー

n=1

=

Mn
N ∏
∏

(14)

ダ RNN のために GRU を採用し，他の場所では活性化関数として双曲線正接関数を採用する．

pθ (wn,m | S<n , wn,<m ),n=1 m=1

(11)

5.3
ただし，
S<n = {S1 , . . . , Sn−1 }, wn,<m = {wn,1 , . . . , wn,m−1 }であり，これらは Sn より前にあるトークンである．

VAE [17] とは，変分ベイズ法を応用したモデルである．VAE では，事前分布 p(z) からサンプリングさ

図 8 に，HRED のグラフィカルモデルを示す．HREDれる潜在変数 z から，データポイント x が生成されの最大の特徴は，エンコーダ RNN，コンテキスト RNN，る．ここで，θ をパラメータとする条件付き確率分布

デコーダ RNN という 3 つの RNN モジュールで構成pθ (x | z) を仮定し，対数周辺尤度 log pθ (x) の最大化されている点である．本研究で扱うタスクにおいて，を目的とする．しかし，log pθ (x) を直接的に最大化す

あらすじ文における各文は，エンコーダ RNN fθenc にることは困難であるため，認識モデル qϕ (z | x) によ

よって実数値のベクトルに決定論的にエンコードされり pθ (z | x) を近似し，変分下界の最大化を試みる．

る．ここで，文ベクトルは文に含まれる最後のトークンが処理されたのちに取得される隠れ状態である．
enc
henc
n−1 = fθ (Sn−1 ).

VAElog pθ (x) ≥ L(θ, ϕ; x)= Eqϕ (z|x) [log pθ (x | z)] − DKL (qϕ (z | x) || pθ (z)) ,

(12)

(15)
エンコーダ RNN の最終状態は 1 段上の階層であるコ

ここで，DKL (· || ·) は，カルバック・ライブラー・ダ

ンテキスト RNN fθctx に入力として与えられる．コン

イバージェンス（KL 情報量）を表す．

テキスト RNN は内部の隠れ状態を更新してその時点までのすべての情報を反映する．文 Sn を処理したの
ち，時刻 n までの文情報を要約したコンテキスト RNN

5.4の隠れ状態は，次の文 Sn+1 を予測するために使用さ

VHRED

VHRED [16] は，対話モデリングのために提案されれる．
ctx ctxenc
hctx
n = fθ (hn−1 , hn−1 ).

た，発話ごとの潜在変数を HRED に導入した文生成(13)

モデルである．図 9 に，VHRED のグラフィカルモ

8

デルを示す．本研究のあらすじ文生成に適用する場合，
あらすじ文における過去の文の系列 S1 , . . . , Sn−1 が与えられたとき，VHRED は続く文 Sn を次のように生成する．時刻 n において，エンコーダ RNN fθenc は
文 Sn−1 を入力として受け取り，エンコードベクトル

henc
n−1 を出力する．
enc
henc
n−1 = fθ (Sn−1 ).

(16)

コンテキスト RNN fθctx は，エンコードベクトルを用いて隠れ状態を更新しながら，あらすじ文のコンテキ

図 9: VHRED のグラフィカルモデル

ストをモデリングする．
ctx ctxenc
hctx
n = fθ (hn−1 , hn−1 ).

(17)

snt
コンテキストベクトル hctx
n は，条件付き確率 pθ (zn |S<n ) を定義する．これは，平均 µn と対角分散 σn がフィードフォワードニューラルネットワークによって与えられる，分解されたガウス分布である．

pθ (znsnt | S<n ) = N (z | µn , σn I),
where µn = MLPθ (hctx
n ),

(18)

σn = Softplus(MLPθ (hctxn )).
最終的に，デコーダ RNN fθdec は，コンテキストベク
snt
トル hctxn と潜在変数 zn を条件として文 Sn を生成する．

図 10: VHCR のグラフィカルモデル
sntpθ (Sn | S<n ) = fθdec (S | hctx
n , zn ).

(19){

変分事後分布は，分解されたガウス分布であり，平均

hctx
n =

と対角分散は，ターゲットとなる文とコンテキストから次のように予測される．

if n = 0,

enc
pltfθctx (hctx),
n−1 , hn−1 , z

otherwise.

(22)

snt pltpθ (Sn | S<n , znsnt , z plt ) = fθdec (S | hctx).
n , zn , z

qϕ (znsnt | S≤n ) = N (z | µ′n , σn′ I),
where µ′n = MLPϕ (Sn , hctxn ),MLPθ (z plt ),

(23)
(20)

pθ (z

σn′ = Softplus(MLPϕ (Sn , hctx
n )).

plt

) = N (z | 0, I).

(24)pθ (znsnt | S<n , z plt ) = N (z | µn , σn I),
plt
where µn = MLPθ (hctx
),
n ,z

5.5

plt
σn = Softplus(MLPθ (hctx
)).
n ,z

VHCR

(25)
VHCR [12] は，対話生成タスクで提案された VHREDの発展モデルであり，階層的かつ回帰的な VAE モデル

本研究における，あらすじ文全体を制御する潜在変数

z plt を推論するために，エンコーダ RNN により生成さを用いて対話の全体的な特徴と個々の発話をモデル化れた文ベクトルに対して，双方向 RNN f plt を用いる．

する．図 10 に VHCR のグラフィカルモデルを示す．

VHCR は，VHRED で導入された各ステップでの発話

plt
qϕ (z plt | S≤n ) = N (z | µplt
n , σn I),のエンコードと生成に使用されるローカルレベルの潜

enc
where hplt = f plt (henc
1 , . . . , hn ),在変数に加えて，より複雑な対話構造をエンコードす

plt
µplt
n = MLPϕ (h ),るためのグローバルレベルの潜在変数を導入する．
enc
henc
n−1 = fθ (Sn−1 ).

σnplt = Softplus(MLPϕ (hplt )).
(21)
9

(26)

ローカル潜在変数 z snt は，グローバル潜在変数 z plt とそれ以前に観測された文情報に条件付きで依存する．

qϕ (znsnt | S≤n , z plt ) = N (z | µ′n , σn′ I),plt
where µ′n = MLPϕ (Sn , hctx
),
n ,z
plt
σn′ = Softplus(MLPϕ (Sn , hctx
)).
n ,z

(27)

5.6

VHCR-CSGM

本研究で提案する VHCR-CSGM は，対象とするあらすじ文の最初と最後の文を入力とし，その間の文章を補完的に生成することにより 1 つの物語を完成させる．図 11 に，VHCR をベースとする CSGM のグラ
フィカルモデルを示す．図 11 中の hctx
n は時刻 n − 1
以前の文の情報をエンコードするコンテキスト，znsnt
は各文レベルの潜在変数，z plt はあらすじ全体のコン
テキストを提供するグローバルな潜在変数である．文

図 11: VHCR-CSGM のグラフィカルモデル

plt
snt
を条件として生成される．時刻
Sn は，hctx
n , zn , z

n における文をエンコードするためのエンコーダ RNN
fθp-enc と，最終文 SN をエンコードするためのエンコー

従来のテキストデータ拡張手法を用いて拡張したデー

ダ RNN fθl-enc を使用する．それぞれの最終隠れ状態

タに基づく学習モデルのタスク解答性能について確認

を Element-wise MaxPooling により処理することで，する．

時刻 n におけるコンテキスト RNN fθctx のための入力
を得る．
p-enc
hp-enc(Sn−1 ),
n−1 = fθhl-enc= fθl-enc (SN ),
N

(28)

6.1

数値実験 1: 特徴量と分類器の比較

6.1.1

手法

4.2 節で示したデータ特徴量と分類器に加えて，あ

p-enc
l-enc
henc
).
n−1 = pooling(hn−1 , hN

らすじ文のみを入力として転移学習した BERT モデル

以降の処理は，VHCR における 22-27 式の処理に従う．

をベースライン手法とする．前述のとおり，使用する本研究におけるデータ拡張のためのあらすじ文生成

事前学習済み BERT モデルでは，入力系列の最大長をでは，元のあらすじ文に付随するラベル情報に即した512 とする制限が設けられている．この制限に対して文章を生成するために，入力とするあらすじ文の最初

Sun ら [54] は，重要な情報は文章の最初と最後に書かの文の先頭にラベルを付与する．

れる場合が多いことに着目し，対象の文章の先頭と末S1 = {y, [SEP], w1,1 , w1,2 , . . . , w1,M1 },尾を連結した入力系列を使用した．Sun らは，IMDB(29)におけるレビュー文の 2 値分類タスク [55] と，中国語

ここで，y はあらすじ文 T を持つデータサンプルに付の Sogou ニュースコーパス [54, 56] のカテゴリ分類タ随するラベル，[SEP] はラベルと単語系列を分割する

スクにおいて，その有効性を確認した．上記を踏まえ，ための特別なトークンをそれぞれ表す．

本実験では次の入力系列を使用する．

head-only:6

あらすじ文の先頭から 512 トークンを入力系列とする．

数値実験

head+tail:本章ではまず，予測において使用する，特徴量の組

あらすじ文の先頭から 256 トークン，末尾から 256 トークンをそれぞれ切り出し，連結

み合わせおよびモデルのアーキテクチャに関する比較

して 512 トークンの入力系列とする．

実験について述べる．続いて，VHCR-CSGM および

10

6.1.2

ハイパーパラメータ

4.2 節で示したデータ特徴量と分類器を用いて，表2 に示したデータセットにおける映画の興行的成功（‘success’）を 2 値分類する．実験は 10 分割交差検証に基づき，試行ごとに各モデルのハイパーパラメー
表 3: 各モデルのハイパーパラメータの値あるいは探タを Optuna [57] によって自動調節する．本実験で索範囲．

は，使用する RF，XGB，LGBM，および MLP を，それぞれ Python のオープンソースライブラリである

分類器

scikit-learn9 ，XGBoost Python-package10 ，LightGBM

パラメータ名

Optimizer

Python-package11 ，および Pytorch12 に基づいて実装
する．表 3 に，探索対象としたハイパーパラメータ名

BERT fine-tuning

値あるいは探索範囲

Adam

Learning rate

[1 × 10−5 , 1 × 10−4 ]Loss function

Cross Entropy Lossとその探索範囲を示す．Optuna の探索回数はそれぞ

Train epochs[5, 20]れ 100 回とし，表 3 に記載されていないハイパーパラ

Train batch size

{16, 32}

メータについては，それぞれデフォルトの値を使用す

n estimators

る．なお，BERT の転移学習では，全層の重みを更新

max depth[1, 128]

min samples split[2, 16]min samples leaf

[1, 8]

RFする実験時間の都合上，Optuna によるパラメータ探
索回数を 10 回とする．各試行で検証データに対して{2, 4, 8, 16, 32, 64, 128, 256}

booster

最も高い評価値（F1 値）が得られたモデルを用いてテ{“gbtree”, “gblinear”, “dart”}

lambda[1 × 10−8 , 1.0]

ストデータのラベルを予測する．

alpha[1 × 10−8 , 1.0]

6.1.3

評価指標
XGB

本実験では，評価指標として Accuracy と F1 値を

subsample[0.2, 1.0]

colsample bytree[0.2, 1.0]

max depth[3, 9]

min child weight[2, 10]eta
gamma

使用する．また本研究では，国内の年間興行収入が 10
億円以上であることを，映画の興行的な成功と定義した．表 4 に，正例映画の興行収入の統計情報を示す．

[1 × 10−8 , 1.0]

grow policy{“depthwise”, “lossguide”}

sample type{“uniform”, “weighted”}

normalize type

さらに図 12，13 に，正例映画の公開年およびあらすじ[1 × 10−8 , 1.0]{“tree”, “forest”}[1 × 10−8 , 1.0]
[1 × 10−8 , 1.0]

文の単語数と，興行収入の関係をそれぞれ示す．正例

rate drop
skip drop

映画の公開年と興行収入の相関係数は 0.164，あらすじ

boosting type“gbdt”

文の単語数と興行収入の相関係数は 0.235 である．

learning rate

[1 × 10−8 , 1 × 10−1 ]正例映画においても興行収入には差があり，例えば，興行収入が 10 億円の作品と，100 億円の作品では予測

LGBM

lambda l1[1 × 10−8 , 10]

lambda l2[1 × 10−8 , 10]

num leaves[2, 256]の難易度に差があることが考えられる．そこで，正解feature fraction[0.4, 1.0]

ラベルが正例である映画について，その予測結果と興bagging fraction[0.4, 1.0]

bagging freq

行収入の実数値の関係を確認するために，負例と予測

min child samples

された正例の映画の興行収入の平均値（Mean Wrong

Optimizer

Revenue, MWR）を 30 式のように定義する．

Learning rate

MWR =

1

pos
N
∑

N pos i=1

MLP

ri (1 − ŷipos ),(30)

Cross Entropy Loss

Hidden unit

{128, 256, 512, 1024, 2048}

Train batch sizeする．また，N pos は正例の総数，r は正例の映画の興9 https://github.com/scikit-learn/scikit-learn
10 https://github.com/dmlc/xgboost
11 https://github.com/microsoft/LightGBM
12 https://github.com/pytorch/pytorch

11

Adam
[1 × 10−8 , 1 × 10−4 ]Loss function
Train epochs

ここで，正例および負例ラベルはそれぞれ 1, 0 の値と[1, 8][5, 100][30, 50]{4, 8, 16, 32}

表 4: 正例映画の興行収入の統計情報[単位: 億円]

平均（標準偏差）訓練および検証テスト

29.70 (29.2)

38.80 (34.0)

最小値

10.0

10.0

25%

14.2

15.55

中央値

20.2

27.90

75%

33.0

50.725

最大値

255.0

250.3

図 13: 正例映画のあらすじ文の単語数と興行収入の関係

特徴量の組み合わせの比較:

表 5 より，メタ情報のみを特徴量とした場合と，メタ情報とあらすじ文に対する分散表現を合わせて特徴量とした場合を比較すると，Late Fusion により特徴量を結合する

RF 以外の手法について，後者の方が Accuracyと F1 値が高いことが確認された．また MWRの値が小さくなっていることから，あらすじ文の情報を付与することで，興行収入の高い正例の映図 12: 正例映画の公開年と興行収入の関係

画作品について正しく予測可能であるといえる．
これらの結果は，映画の興行的成功を予測するた
行収入，および ŷ

posは正例に対する予測ラベルを表す．

めに，メタ情報とテキスト情報を合わせたマルチ

この MWR の値が低いほど，より興行収入の高い正例

モーダルな特徴量が有効であることを示唆してい映画のラベルを正しく予測したといえる．すべての正る．さらに，meta+title+plot および meta+plot

例を正しく予測した場合に MWR は最小値 0 となる．

word num+title に対する評価値より，あらすじ

一方，テストデータにおけるすべての正例を誤って予文自体の代わりにあらすじ文の単語数を使用した

測した場合に MWR は最大値となり，その値はすべて場合の予測評価値は低かった．このことから，単の正例の興行収入の平均値である 38.8 である．

にあらすじ文の長さだけではなく，言語的な情報が有効に利用され，予測精度が向上したことが考

6.1.4

察される．

結果と考察

特徴量の結合手法の比較:表 5 に，各特徴量と分類器による予測結果の評価値

表 5 より，メタ情報とテキスト情報の結合手法として Early Fusion を採を示す．ここで，Random モデルは無作為に予測ラベ用した場合の方が，Late Fusion を採用した場合

ルを生成した場合であり，結果は平均（標準偏差）で表よりも予測評価値が高くなった．これは，Late

される．また，ボールド体の数値は，各分類器を使用

Fusion ではメタ情報とテキスト情報に関するそした場合に得られた各評価指標の最高値を表す．まず，れぞれの分類器を独立に学習させたことで，メタベースライン手法である，映画のあらすじ文のみを入力

情報とテキスト情報の相互関係を適切に利用できとして転移学習した BERT による予測では，入力系列なかったためであると考えられる．

を head+tail とした場合の方が，head-only とした場
合よりも Accuracy と F1 値は高くなった．そして，検さらに，学習器として MLP を用いた場合の実験結討したすべての特徴量と分類器の組み合わせについて

果について確認すると，特徴量として meta+plot，

比較すると，特徴量 meta+plot word num+title+plot

特徴量の結合手法として Max Pooling を採用しを Early Fusion によって結合した XGB によって予測た場合の Accuracy と F1 値が最大となった．結した場合に最も高い Accuracy と F1 値が得られた．

合手法のみを比較すると，Early Fusion，Concate-12nation，および Max Pooling のそれぞれを採用

みに基づき代替となる単語を予測するため，テキした場合の最高値にはほとんど差がなく，優劣はストデータに付与されたラベル情報については確認されなかった．

考慮されない．そこで Wu ら [9] は，データに付与されたラベルとコンテキストの情報からマ6.2

数値実験 2: テキスト拡張手法の比較

6.2.1

手法

スクされた単語を予測する条件付き言語モデリ
ング（Conditional Masked Language Modeling）
を BERT モデルの転移学習のためのタスクとして設定した．モデルはテキストデータ拡張におい提案手法である VHCR-CSGM を含む，テキストデーて，任意の確率でマスクされた文章中の単語を，タ拡張手法を用いて映画のあらすじ文を拡張し，それデータに付与されたラベルとコンテキストの情報に基づき訓練したモデルの予測性能について確認する．

に基づき，異なる単語に置換する．

具体的には，テキストデータ拡張手法により，交差検証における訓練データサンプルのあらすじ文からそれ

3. GPT-2context [10, 11]:

GPT-2 [41] に基づくテ

ぞれ 9 つのあらすじ文を生成し，訓練データサイズを

キストデータ拡張手法．GPT-2 は Transformer

10 倍に拡張する．なお，生成されたサンプルのメタ情に基づくモデルであり，Web 上のテキストコー

報は元のサンプルと同一である．比較のために使用しパスに基づいて事前学習される．使用されるコーたテキストデータ拡張手法は以下のとおりである．

パスは，U = {w1 , w2 , . . . , wn } で表されるトー

1. Easy Data Augmentation（EDA）[8]:クン列である．モデルは，U に対して以下の損失

以下の関数を用いて事前訓練される．

4 つの操作のうち 1 つを無作為に選び実行する

L(U) = −データ拡張手法．

∑

log P (wi | wi−j , . . . , wi−1 ; Θ),i

ストップワー(31)

ドでない任意の数の単語を無作為に選択し

ここで，j はコンテキストのウィンドウサイズで類義語と置換する．

あり，条件付き確率 P はパラメータ Θ を持つ(1) Synonym Replacement:(2) Random Insertion:

ニューラルネットワークを用いてモデリングされストップワードでなる．これらのパラメータは，確率的勾配降下法にい任意の数の単語を無作為に選択し，それ基づいて学習される．

らの類義語を文章中に無作為に挿入する．

(3) Random Swap:

GPT-2context は，ラベルの情報がコンテキスト

任意の数の単語のペアをの一部として使用するために，訓練データセット

無作為に選択し，それらの位置を入れ替える．

(4) Random Deletion:に含まれるすべての系列を以下のように連結した

文章中の単語を任意

系列を用いて転移学習される．

の確率で削除する．

U ∗ = y1 [SEP]x1 [EOS]y2 · · · yn [SEP]xn [EOS]

なお，本研究ではあらすじ文を単語に分割する手(32)

法として MeCab を使用する．また，SlothLib で

ここで y, x は，それぞれデータのラベルとテキ管理されているストップワードリスト13 と，日ストを表す．また，[SEP] は文とラベルを区切

本語の概念辞書である日本語 WordNet [58] を使るための特別なトークンであり，[EOS] は文の用する．

終了を意味する特別なトークンである．生成時

BERT のには yi [SEP] w1 · · · wk をプロンプトとしてモ

事前学習時に対象とする，
Masked Language Mod-

デルに入力し，[EOS] が生成されるまで出力をeling タスクに着想を得た，文脈とラベル情報に続行する．ここで，w1 · · · wk は xi に含まれる即した単語の置換ベースのテキストデータ拡張

先頭から k 個のトークン列である．本研究では，手法．従来の Masked Language Modeling タス

Kumar ら [11] の設定に従い k = 3 とする．ま2. Conditional BERT（CBERT）[9]:た，GPT-2 の事前学習済みモデルとして，日本

クのみを学習した BERT モデルは，文脈情報の語 CC-10014 と日本語 Wikipedia からなる約 75

13 http://svn.sourceforge.jp/svnroot/slothlib/CSharp/
Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.
txt

14 http://data.statmt.org/cc-100/13表 5: 各特徴量と分類器の予測評価値
分類器

結合手法

特徴量

Random--BERT fine-tuning (head-only)--

69.9 (1.9)

66.3 (2.1)

17.5 (3.3)

BERT fine-tuning (head+tail)--71.5 (3.5)

67.9 (5.4)

15.4 (3.9)

meta-only

70.3 (1.7)

62.4 (3.2)

23.4 (3.2)

plot-only

69.2 (4.4)

65.3 (4.9)

17.5 (3.7)

meta+plot

70.9 (1.9)

67.3 (2.3)

16.7 (2.0)

meta+plot word num+title

62.3 (3.7)

54.4 (4.0)

26.4 (4.0)

Unimodal

Early Fusion
RF

Late Fusion

Unimodal

Early Fusion
XGB

Late Fusion

Unimodal

Early Fusion
LGBM

Late Fusion

Unimodal

Early Fusion

MLP
Concatenation

Max Pooling

Accuracy (↑)

F1 値 (↑)

MWR (↓)

49.0 (1.6)

48.2 (1.7)

19.4 (1.8)

meta+title+plot

70.1 (3.2)

66.5 (3.3)

16.5 (2.2)

meta+plot word num+title+plot

69.3 (3.2)

66.2 (3.0)

15.7 (2.2)

meta+plot

66.9 (1.5)

51.8 (4.1)

31.0 (3.1)

meta+plot word num+title

65.8 (1.5)

49.7 (4.3)

32.4 (2.5)

meta+title+plot

66.9 (1.1)

52.1 (2.8)

30.6 (2.0)

meta+plot word num+title+plot

69.3 (1.7)

57.9 (4.2)

26.8 (3.3)

meta-only

72.7 (1.5)

66.9 (1.6)

20.3 (3.8)

plot-only

70.2 (2.5)

66.4 (2.2)

17.1 (2.4)

meta+plot

74.0 (2.1)

69.3 (1.9)

17.5 (1.1)

meta+plot word num+title

69.2 (2.6)

65.0 (2.6)

17.5 (2.5)

meta+title+plot

74.9 (2.7)

71.1 (2.3)

15.5 (1.4)

meta+plot word num+title+plot

75.5 (2.4)

71.4 (2.2)

15.9 (1.8)

meta+plot

74.4 (1.1)
70.6 (2.1)

70.2 (1.5)
65.0 (3.3)

15.6 (1.7)
20.7 (2.3)

meta+plot word num+title
meta+title+plot

74.0 (1.4)

70.0 (2.1)

14.8 (2.4)

meta+plot word num+title+plot

73.6 (2.3)

69.8 (2.5)

14.8 (2.5)

meta-only

71.7 (1.0)

67.6 (1.2)

15.7 (1.5)

plot-only

71.8 (1.6)

68.1 (2.3)

15.8 (2.8)

meta+plot

72.0 (1.4)

68.9 (2.1)

14.6 (3.4)

meta+plot word num+title

69.6 (1.0)

63.9 (2.6)

19.1 (3.6)

meta+title+plot

73.1 (1.4)

70.6 (1.6)

12.8 (3.3)

meta+plot word num+title+plot

72.3 (1.5)

69.3 (1.8)

14.2 (2.9)

meta+plot

74.0 (2.4)

69.3 (3.7)

16.4 (3.2)

meta+plot word num+title

72.1 (1.8)

65.5 (2.3)

19.4 (2.3)

meta+title+plot

74.2 (1.8)

69.8 (2.7)

15.6 (2.4)

meta+plot word num+title+plot

74.0 (1.8)

70.2 (2.4)

14.6 (2.3)

meta-only

72.1 (6.2)

67.3 (5.4)

20.2 (4.1)

plot-only

68.1 (8.2)

65.0 (8.4)

13.9 (6.5)

meta+plot

72.2 (6.2)

69.0 (7.7)

13.8 (4.2)

meta+plot word num+title

67.5 (5.0)

63.3 (5.8)

19.6 (5.7)

meta+title+plot

73.0 (6.1)

67.8 (9.4)

17.8 (6.7)

meta+plot word num+title+plot

74.2 (2.5)

70.8 (1.8)

14.2 (4.5)

meta+plot

74.3 (5.5)

70.5 (4.8)

15.6 (4.9)

meta+plot word num+title

70.0 (7.3)

65.0 (7.2)

20.7 (4.9)

meta+title+plot

72.3 (9.2)

69.0 (7.8)

14.9 (3.2)

meta+plot word num+title+plot

74.4 (4.6)

70.6 (3.5)

15.5 (3.9)

meta+plot

74.5 (5.7)

70.9 (4.8)

14.7 (3.8)

meta+plot word num+title

67.2 (8.8)

62.0 (8.2)

20.4 (4.8)

meta+title+plot

73.3 (5.3)

68.0 (8.6)

17.2 (7.6)

meta+plot word num+title+plot

72.3 (7.4)

67.3 (8.3)

18.9 (4.8)

14

GB のテキストコーパスに基づき事前学習されたに最も高い予測評価値が得られた．これらの結果を踏

rinna/japanese-gpt2-medium15 を採用する．

まえて，各テキストデータ拡張手法によって拡張されたあらすじ文を含む訓練データに基づき，以下の分類

4. VHCR-CSGM: 本研究の提案手法．電子図書館

手法を用いて，表 2 に示したデータセットを対象とし「青空文庫16 」より作成した約 100 MB のコーパスて映画の興行的成功（‘success’）を 2 値分類予測する．

（14 作家，2,124 作品，約 800,000 文）に基づく事前学習済みのモデルを，表 2 の訓練，検証データに対(1) 分類器: XGB，特徴量: plot-only

して転移学習させることで，データ拡張のための(2) 分類器: LGBM，特徴量: plot-only

VHCR-CSGM を構築する．転移学習時のモデルへの入力は，映画の興行的成功予測（‘success’）のラ(3) 分類器: XGB，結合手法: Early Fusion，特徴量:

ベル情報と，元のあらすじ文の最初と最後の文とす

meta+title+plot

る．訓練および検証用データにおけるあらすじ文(4) 分類器: LGBM，結合手法: Early Fusion，特徴の平均文数は 25.1 であることを踏まえて，入力と量: meta+plot word num+title+plot

して用いる元のあらすじ文の最初および最後の文と合わせて 25 文となるように，モデルの出力文を

6.1 節の実験と同様に，実験は 10 分割交差検証に基づ

23 文とする．つまり，生成される新たなあらすじ

き，試行ごとにモデルのハイパーパラメータを Optuna

文は 25 文からなる．訓練時に使用するあらすじ[57] によって自動調節する．パラメータの値および探文は，cl-tohoku/bert-base-japanese-whole-word-

索範囲は，表 3 に示したものと同一である．各試行でmasking で使用されるトークン化手法に倣い，

検証データに対して最も高い評価値（F1 値）を示した

MeCab+IPAdic+NEologd [59] に基づく MeCab

モデルを用いてテストデータのラベルを予測する．

によりトークン化されたのち，WordPiece [60] でサブワードに分割される．また，cl-tohoku/bert-

評価指標

base-japanese-whole-word-masking の 32,000 語

6.2.2の語彙データを使用する．

5. VHCR: 従来の VHCR [12] を用いて生成したあ

6.1 節の特徴量と分類器の比較実験と同様に，映画の興行的成功（‘success’）の 2 値分類予測における評価

らすじ文を用いたデータ拡張手法．モデルへの入指標として Accuracy，F1 値，および MWR を使用す

力は VHCR-CSGM と異なり，元サンプルのラる．さらに，生成されたあらすじ文について，（1）元

ベル情報と，あらすじ文の最初の文である．そののあらすじ文との語彙的な距離，（2）元のあらすじ文

ため，学習時および生成時にの各ステップで最終との分散表現の類似度，（3）生成されたあらすじ文の文の情報は考慮されない．モデルは 24 文を出力

語彙的な多様性に関する，以下の指標を使用して評価

し，入力とした元のあらすじ文の最初の文と合わする．

せて，25 文からなる新たなあらすじ文が生成さ

BLEU: 生成されたあらすじ文と元のあらすじ文のれる．なお，VHCR-CSGM と同様に，「青空文語彙的な距離を，BLEU [61] によって計測する．

庫」より作成したコーパスに基づく事前学習済み

BLEU は，表層類似性に基づく機械翻訳システムのモデルを転移学習させる．

の標準的自動評価尺度である．システムが出力す

6.1 節で述べた特徴量と分類器の比較実験では，あらする翻訳文集合を H，それに対応する参照文集合をじ文のみ（‘plot-only’）を特徴量とした場合には，分類R とする．システム翻訳文 hi ∈ H には，対応す器として LGBM を利用した場合に最も高い予測評価値

る参照文の集合 Ri ∈ R が割り当てられおり，Riが得られることを確認した．なお，分類器を LGBM との j 番目の参照文を rj とする．BLEU は，シスした場合の最も高い F1 値は，特徴量 meta+title+plot

テムが出力する翻訳文と参照文の N -gram の一を Early Fusion によって結合した場合に得られた．メ

致度に基づき，次の式で算出される．
(
)
N
1 ∑
BLEU-N = BP · exp
log Pn .
N

タ情報と言語情報を両方利用したマルチモーダルな分類においては，特徴量 meta+plot word num+title+plot

(33)

n=1

を Early Fusion によって結合する XGB を用いた場合

BP, Pn は，それぞれ短いシステム翻訳文に対するペナルティと N -gram 適合率であり，以下の15 https://huggingface.co/rinna/japanese-gpt2-medium
16 https://www.aozora.gr.jp/

15

34, 35 式で算出される．
{
1,
if η > ρ,BP =exp(1 − ρ/η), otherwise,
∑
Pn =

∑
i=1

ここで，vorg , vaug はそれぞれ元のあらすじ文および生成されたあらすじ文に対する分散表現であ(34)

る．BERT に基づき取得された分散表現には，あらすじ文の意味的な情報が圧縮されていると考え

tn ∈hi min (Count(hi , tn ), MaxRefCount(Ri , tn ))

∑

i=1

∑

tn ∈hi Count(hi , tn )られるため，PVS の値が高いほど，元のあらす,

じ文と生成されたあらすじ文はより意味的に類似(35)

ここで，η, ρ は，それぞれシステム翻訳文と参しているといえる．

照文の平均文長であり，N は N -gram の語数

Distinct-N （DIST-N ）:である．また， Count(hi , tn ) はシステム翻訳

生成されたあらすじ文の語彙的な多様性に関して，Distinct-N（DIST-N ）文 hi における任意の N -gram tn の出現頻度，[63] の値により評価する．DIST-N は，以下の式で算出される．

MaxRefCount(Ri , tn ) は参照文集合 Ri における
tn の出現頻度の最大値 maxrj ∈Ri Count(rj , tn ) である．

DIST-N (G) =一般に，BLEU では原文に対して複数の参照翻訳

UniqueN (G),CountN (G)(38)

文が存在することを想定している．本研究では，

ここで G = {T1 , T2 , . . . , TK } は K 個のあらすじ

元のあらすじ文を参照文として使用し，各テキス

文の集合を表し，UniqueN はユニークな N -gram

トデータ拡張手法により生成されたあらすじ文にの数，CountN はすべての N -gram の数を表す．

対する BLEU を算出する．この BLEU の値がDIST-N の値が高いほど，より語彙的に多様なあ高いほど，生成されたあらすじ文と元のあらすじ

らすじ文が生成されたといえる．

文はより語彙的に類似しているといえる．

Shi ら [62] は，BLEU に基づく文生成モデルの評

6.2.3

価指標を提案した．まず Forward BLEU（BLEUF ）映画の興行的成功予測:

は，テストデータを参照文として生成文を評価を示す．拡張したあらすじ文に対する分散表現のBackward BLEU（BLEUB ）は，生成文を参照文み（‘plot-only’）を特徴量としたユニモーダル分として使用し，生成文がテストデータにおける類の結果について，分類器を XGB および LGBM

N -gram をどの程度カバーしているかを測定すとしたいずれの場合も，EDA を用いて拡張される．直感的には，BLEUF は生成モデルの適合率

たあらすじ文に基づいて訓練されたモデルに対す（precision）を測定することを目的とし，BLEUB

る予測評価値が最も高くなった．また，提案手法

は再現率（recall）を測定することを目的とするである VHCR-CSGM を用いた場合についても，違いがある．Harmonic BLEU（BLEUHA ）は，

データ拡張前と比較して高い予測評価値が得られ

36 式で求められ，BLEUF と BLEUB を組み込たことから，手法の有効性は確認できた．

んだ総合的な評価指標である．

2 × BLEUF × BLEUB.
BLEUF + BLEUB

Plot Vector Similarity（PVS）:

さらに，拡張したあらすじ文と元のサンプルのメ(36)

タ情報およびタイトルを特徴量としたマルチモーダル分類の結果について，分類器を XGB および生成されたあらLGBM としたいずれの場合も，提案手法である

すじ文と元のあらすじ文に対するそれぞれの分散

VHCR-CSGM を用いた場合の Accuracy および表現の距離を Plot Vector Similarity（PVS）に

F1 値がそれぞれ最大となった．この結果は，映より計測する．具体的には，4.1 節で示した手法

画の興行的成功予測において，特徴量であるあらにより取得した，元のあらすじ文とテキストデー

すじ文の拡張手法として提案手法が高い性能を有タ拡張手法により生成されたあらすじ文に対するすることを示唆している．また，特に LGBM をそれぞれの分散表現の余弦類似度を，以下の 37

分類器とした場合について，すべての手法によっ式で算出する．
⊤
vorg
vaug
,
PVS(vorg , vaug ) =|| vorg || || vaug ||表 6 に，各手法により拡張した訓練データに基づくモデルのテスト予測評価値

する通常の BLEU と同一である．それに対して

BLEUHA =結果と考察て拡張された訓練データに基づくモデルの予測性能が大きく向上した．データ拡張前のあらすじ(37)

文のみを特徴量とする予測実験において，分類器

16表 6: 各テキストデータ拡張手法により拡張した訓練データに基づくモデルのテスト予測評価値
分類器

結合手法

Unimodal

特徴量plot-only

XGB

Early Fusion

Unimodalmeta+plot word num+title+plot

Accuracy (↑)

F1 値 (↑)

MWR (↓)

拡張なし

70.2 (2.5)

66.4 (2.2)

17.1 (2.4)

EDA

70.7 (2.1)

68.1 (2.2)

14.9 (1.9)

CBERT

70.2 (1.4)

67.3 (1.9)

16.1 (3.2)

GPT-2context

68.9 (2.4)

65.8 (3.7)

16.5 (3.7)

VHCR

69.6 (2.2)

66.7 (3.0)

15.9 (3.6)

VHCR-CSGM（提案手法）

70.6 (1.8)

67.3 (1.8)

16.3 (2.1)

拡張なし

75.5 (2.4)

71.4 (2.2)

15.9 (1.8)

EDA

75.4 (2.2)

71.6 (2.3)

15.6 (2.9)

CBERT75.9 (2.5)

72.5 (2.7)

13.6 (3.1)

GPT-2context

74.9 (2.8)

72.0 (2.7)

12.8 (2.5)

VHCR

75.4 (1.2)

71.5 (1.9)

15.1 (4.6)

VHCR-CSGM（提案手法）

76.4 (2.7)

73.3 (3.6)

12.9 (4.9)

拡張なし

71.8 (1.6)

68.1 (2.3)

15.8 (2.8)

EDA

74.2 (1.3)
72.5 (2.0)

71.5 (1.8)
69.7 (2.7)

13.3 (1.5)
13.7 (3.4)

CBERT
GPT-2context

plot-only

LGBM

Early Fusion

拡張手法

meta+title+plot

71.2 (1.1)

68.2 (1.6)

15.3 (2.8)

VHCR

71.7 (1.7)

68.6 (2.2)

15.4 (1.1)

VHCR-CSGM（提案手法）

72.7 (2.4)

69.7 (2.9)

14.2 (2.2)

拡張なし

73.1 (1.4)

70.6 (1.6)

12.8 (3.3)

EDA

75.1 (1.3)

72.6 (1.7)

11.9 (1.7)

CBERT

76.4 (1.1)

73.9 (1.7)

11.3 (3.3)

GPT-2context

76.2 (2.4)

72.7 (4.2)

12.2 (3.8)

VHCR

76.5 (1.4)

73.8 (1.7)

11.2 (1.1)

VHCR-CSGM（提案手法）

77.3 (1.0)

74.7 (1.1)

10.3 (1.2)

として LGBM を用いた場合に最大の評価値が得に最も類似したあらすじ文を生成することが確られたことから，他の分類器を用いる場合よりも認された．また，GPT-2context に対する BLEU，

あらすじ文の言語情報が重要になることが推察さ

PVS の値が最小となった．

れる．

図 14-18 に，各テキストデータ拡張手法を用いて
表 7 に，元のあらすじ

拡張したあらすじ文に対する 768 次元の分散表現

文を参照文とする，各テキストデータ拡張手法

を，t 分布型確率的近傍埋め込み法（t-Distributedにより生成したあらすじ文に対する BLEU-N お

Stochastic Neighbor Embedding, t-SNE）[64] によび PVS の値を示す．EDA に対する BLEU，

より 2 次元に圧縮した結果を示す．図 14 およびPVS の値がそれぞれ最大となり，それに次いで図 15 より，置換的拡張手法である EDA および

CBERT に対する BLEU および PVS の値が高CBERT によって生成されたあらすじ文に対するくなった．EDA と CBERT は，元のあらすじ文

分散表現（正例: ▲，負例: ▲）は，元のあらすじ生成されたあらすじ文の評価:

における単語を置換する操作に基づく手法である

文の分散表現（正例: ●，負例: ●）とほとんど重ため，元のあらすじ文との語彙的，意味的な類似

複して描画されている．一方で，図 16 に示した

度が高くなるのは妥当といえる．

GPT-2context を用いて生成したあらすじ文の分散生成的なテキストデータ拡張手法である GPT-2context ，

VHCR，および VHCR-CSGM を比較すると，表現は，元のあらすじ文の分散表現と離れた位置にクラスタを形成していることが確認できる．さらに図 17 に示した，VHCR により生成されたあ

VHCR-CSGM に対する BLEU，PVS の値が最らすじ文の分散表現についても，元のあらすじ文大であり，元のあらすじ文と語彙的および意味的17表 7: 生成されたあらすじ文の評価
評価指標

EDA

CBERT

BLEUF -2

0.847

0.432

BLEUF -3

0.791

0.420

BLEUF -4

0.741

0.408

BLEUF -5

0.697

0.397

BLEUB -2
BLEUB -3

0.847

0.524
0.509

VHCR

VHCR-CSGM（提案手法）

0.0501

0.248

0.314

0.0342

0.178

0.251

0.0259

0.139

0.212

0.0211

0.116

0.186
0.331
0.264

GPT-2context

0.121

0.260

0.495

0.08240.0623

0.187
0.146

BLEUB -4

0.790
0.741

BLEUB -5

0.697

0.482

0.0506

0.121

0.196

BLEUHA -2

0.847

0.474

0.0708

0.253

0.322

BLEUHA -3

0.791

0.460

0.0484

0.182

0.257

BLEUHA -4

0.741

0.447

0.0366

0.142

0.217

BLEUHA -5

0.697

0.435

0.0298

0.118

0.191

PVS

0.98050.97820.90180.91460.9154

DIST-20.148

0.08570.197

0.06720.0680

DIST-3

0.316

0.170

0.497

0.182

0.188

DIST-4

0.425

0.220

0.718

0.314

0.325

0.223

の分散表現とは離れた位置に描画された．また図18 は，提案手法である VHCR-CSGM を用いて生成したあらすじ文の分散表現を表している．生成的拡張手法である GPT-2context ，VHCR，および VHCR-CSGM を比較すると，VHCR-CSGM
を用いて生成したあらすじ文は，元のあらすじ文の分散表現と最も接近して描画されていることが観察できる．
生成されたあらすじ文の語彙的な多様性:

表 7 に，元

図 14: EDA を用いて拡張したあらすじ文に対する分のあらすじ文と生成されたあらすじ文の分散表現

散表現に対する PVS の値および生成されたあらすじ文
に対する DIST-N の値を示す．GPT-2context により生成されたあらすじ文に対する DIST-N の(1) 日本語のあらすじ文を含んだ映画の興行収入に関値がそれぞれ最大となった．GPT-2context に次するデータセットが整備されていない．

いで高い値を得た EDA は，あらすじ文中のトークンに対して無作為に変更を加えるため，文章(2) 映画のメタ情報のみ，あるいはあらすじ文の言語のコンテキストを保持する必要がなく，より多様

情報のみを特徴量として使用する研究は存在してな N -gram をもつあらすじ文を生成すると考えいるが，その両方を使用するマルチモーダルな予られる．

測手法はほとんど検討されていない．
上記の課題に対して，日本語のあらすじ文を含む映画の興行的成功予測のためのデータセット新たに構築した．

7

結言

3 章では，構築したデータセットの特徴量について述
べた．続いて 4 章では，提案手法である，映画のメタ本研究では，まず 2 章で映画の興行的成功予測の研情報と，BERT を用いて処理したあらすじ文の言語情究分野の現状を示し，以下のように課題を整理した．

報の両方を用いたマルチモーダルな映画の興行的成功

18

図 15: CBERT を用いて拡張したあらすじ文に対する

図 17: VHCR を用いて拡張したあらすじ文に対する分

分散表現

散表現

図 16: GPT-2context を用いて拡張したあらすじ文に対

図 18: VHCR-CSGM を用いて拡張したあらすじ文にする分散表現対する分散表現予想モデルについて詳述した．また，構築したデータセットのサイズが予測モデルの性能向上のボトルネッ

報を擬似的に生成する操作や，メタ情報に基づいてあクになると考え，テキストデータ拡張手法を用いてあらすじ文を生成する操作の検討が，今後の課題として

らすじ文データを拡張した．5 章では，技術的背景と挙げられる．

合わせて，提案手法である VHCR-CSGM と，それに基づくあらすじ文拡張について述べた．

参考文献

そして 6 章では，映画の興行的成功予測モデルと，

VHCR-CSGM に基づくあらすじ文データ拡張の有効[1] Michael T. Lash and Kang Zhao. Early predic-

性を確認する数値実験について述べた．実験の結果は，tions of movie success: The who, what, and when

映画のメタ情報だけでなく，あらすじ文およびタイトof profitability. Journal of Management Informa-

ル名の言語情報を特徴量として用いることで予測精度

tion Systems, Vol. 33, pp. 874–903, 2016.

が向上することを示唆していた．さらに，従来の置換的拡張手法および生成的拡張手法を用いた場合よりも，[2] Travis Ginmu Rhee and Farhana Zulkernine.

VHCR-CSGM を用いて拡張したあらすじ文データを

Predicting movie box office profitability: A neu-

含む訓練データに基づく予測モデルは，高い性能を有

ral network approach.

することを実験的に確認した．

15th IEEE International Conference on Machine

In Proceedings of the

Learning and Applications, pp. 665–670, 2016.

本研究では，映画のあらすじ文データのみを拡張し，元のサンプルと同一のメタ情報を使用して新たなサン[3] Marta Galvão and Roberto Henriques. Forecast-

プルを生成した．そのため，より多様かつ妥当なサン

ing movie box office profitability.

プルを生成するために，映画のメタ情報を考慮したデー

Information Systems Engineering and Manage-

タ拡張に改良の余地があるといえる．例えば，メタ情

ment, Vol. 3, , 2018.
19

Journal of[4] Quazi Ishtiaque Mahmud, N. Z. Shuchi, Fa-[11] Varun Kumar, Ashutosh Choudhary, and Eunah

zle Mohammed Tawsif, Asif Mohaimen, andCho. Data augmentation using pre-trained trans-

Ayesha Tasnim. A machine learning approach

former models. In Proceedings of the 2nd Work-to predict movie revenue based on pre-released

shop on Life-long Learning for Spoken Language

movie metadata. Journal of Computer Science,

Systems (ACL-2020), pp. 18–26, 2020.

Vol. 16, pp. 749–767, 2020.
[5] You Jin Kim,

[12] Yookoon Park, Jaemin Cho, and Gunhee Kim. A

Yun Gyung Cheong,andhierarchical latent structure for variational con-Jung Hoon Lee. Prediction of a movie’s successversation modeling. In Proceedings of the 2018from plot summaries using deep learning mod-Conference of the North American Chapter ofels. In Proceedings of the 2nd Workshop on Storytelling (ACL-2019), pp. 127–135, 2019.

the Association for Computational Linguistics:
Human Language Technologies, pp. 1792–1801,
2018.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep
bidirectional transformers for language under-[13] 飯倉陸, 岡田真, 森直樹. 潜在変数付き階層型エンコーダ・デコーダモデルに基づく物語の補完的

standing. In Proceedings of the 2019 Conference

生成手法の提案. 人工知能学会全国大会論文集,

of the North American Chapter of the Associa-

3D4OS12c03, 2021.

tion for Computational Linguistics: Human Lan-[14] Riku Iikura, Makoto Okada, and Naoki Mori.

guage Technologies, Volume 1 (Long and Short

Cvae-based complementary story generation con-Papers), pp. 4171–4186, 2019.
[7] David

Bamman,Noah A. Smith.

Brendansidering the beginning and ending. In DistributedandComputing and Artiﬁcial Intelligence, Volume 1:

Learning latent personas ofO’Connor,18th International Conference, pp. 22–31, 2022.

film characters. In Proceedings of the 51st An-[15] Iulian Vlad Serban, Alessandro Sordoni, Yoshua

nual Meeting of the Association for Computa-

Bengio, Aaron Courville, and Joelle Pineau.

tional Linguistics, pp. 352–361, 2013.

Building end-to-end dialogue systems using gen-[8] Jason Wei and Kai Zou. EDA: Easy data aug-

erative hierarchical neural network models. In

mentation techniques for boosting performance

Proceedings of the 30th AAAI Conference on Ar-

on text classification tasks.

tiﬁcial Intelligence, pp. 3776–3783, 2016.

In Proceedings ofthe 2019 Conference on Empirical Methods in[16] Iulian Vlad Serban, Alessandro Sordoni, Ryan

Natural Language Processing and the 9th Inter-

Lowe, Laurent Charlin, Joelle Pineau, Aaron

national Joint Conference on Natural Language

Courville, and Yoshua Bengio. A hierarchical la-

Processing, pp. 6382–6388, 2019.

tent variable encoder-decoder model for generat-[9] Xing Wu, Shangwen Lv, Liangjun Zang, Jizhonging dialogues. In Proceedings of the 31st AAAI

Han, and Songlin Hu. Conditional bert contex-

Conference on Artiﬁcial Intelligence, pp. 3295–

tual augmentation. In International Conference

3301, 2017.

on Computational Science, pp. 84–95, 2019.

[17] Diederik P. Kingma and Max Welling. Auto-[10] Ateret Anaby-Tavor, Boaz Carmeli, Esther Gold-

encoding variational bayes. In 2nd International

braich, Amir Kantor, George Kour, Segev Shlo-

Conference on Learning Representations, 2014.

mov, Naama Tepper, and Naama Zwerdling. Do[18] Ting Liu, Xiao Ding, Yiheng Chen, Haochen

not have enough data? deep learning to the rescue!

Chen, and Maosheng Guo.

In Proceedings of the AAAI Conference

Predicting movie

box-office revenues by exploiting large-scale so-on Artiﬁcial Intelligence, Vol. 34, pp. 7383–7390,

cial media content. Multimedia Tools and Appli-

2020.

cations, Vol. 75, pp. 1509–1528, 2014.

20

[19] Taegu Kim, Jungsik Hong, and Pilsung Kang.

LSDSem 2017 shared task: The story cloze test.

Box office forecasting using machine learning al-

In Proceedings of the 2nd Workshop on Linking

gorithms based on SNS data. International Jour-

Models of Lexical, Sentential and Discourse-levelnal of Forecasting, Vol. 31, No. 2, pp. 364–390,

Semantics (ACL-2017), pp. 46–51, 2017.

2015.

[27] Melissa Roemmele, Sosuke Kobayashi, Naoya In-[20] Matthew E. Peters, Mark Neumann, Mohit
Iyyer, Matt Gardner, Christopher Clark, Ken-oue, and Andrew Gordon. An RNN-based binary

ton Lee, and Luke Zettlemoyer. Deep contextu-

the 2nd Workshop on Linking Models of Lexical,

alized word representations. In Proceedings of theSentential and Discourse-level Semantics (ACL-2018 Conference of the North American Chapter2017), pp. 74–80, 2017.

classifier for the story cloze test. In Proceedings ofof the Association for Computational Linguistics:[28] Jian Guan, Yansen Wang, and Minlie Huang.

Human Language Technologies, Volume 1 (Long

Story ending generation with incremental encod-

Papers), pp. 2227–2237, 2018.

ing and commonsense knowledge. In Proceedings of the AAAI Conference on Artiﬁcial Intel-[21] C. Hutto and Eric Gilbert. Vader: A parsimonious rule-based model for sentiment analysis ofligence, Vol. 33, pp. 6473–6480, 2019.

social media text. In Proceedings of the Inter[29] Prakhar Gupta, Vinayshekhar Bannihatti Kumar, Mukul Bhutani, and Alan W Black. Writer-

national AAAI Conference on Web and Social
Media, Vol. 8, pp. 216–225, 2014.

Forcing: Generating more interesting story end[22] Sepp Hochreiter and Jürgen Schmidhuber. Long

ings. In Proceedings of the Second Workshop on

short-term memory. Neural computation, Vol. 9,

Storytelling (ACL-2019), pp. 117–126, 2019.

No. 8, pp. 1735–1780, 1997.
[30] Yusuke Mori, Hiroaki Yamane, Yusuke Mukuta,[23] Rafael PÉrez Ý PÉrez and Mike Sharples. Mex-

and Tatsuya Harada. Finding and generating a

ica: A computer model of a cognitive accountmissing part for story completion. In Proceedingsof creative writing. Journal of Experimental &of the 4th Joint SIGHUM Workshop on Compu-

Theoretical Artiﬁcial Intelligence, Vol. 13, No. 2,

tational Linguistics for Cultural Heritage, Social

pp. 119–139, 2001.

Sciences, Humanities and Literature, pp. 156–
166, 2020.

[24] Hugo Liu and Push Singh. MAKEBELIEVE: using commonsense knowledge to generate stories.

[31] Parag Jain, Priyanka Agrawal, Abhijit Mishra,

In Proceedings of the 18th National Conference

Mohak Sukhwani, Anirban Laha, and Karthik

on Artiﬁcial Intelligence and 14th Conference on

Sankaranarayanan.

Innovative Applications of Artiﬁcial Intelligence,

Story generation from se-quence of independent short descriptions.

pp. 957–958, 2002.

In

arXiv preprint arXiv:1707.05501, 2017.

[25] Nasrin Mostafazadeh, Nathanael Chambers, Xi-[32] Angela Fan, Mike Lewis, and Yann Dauphin. Hi-

aodong He, Devi Parikh, Dhruv Batra, Lucyerarchical neural story generation. In Proceedings

Vanderwende, Pushmeet Kohli, and James Allen.

of the 56th Annual Meeting of the Association for

A corpus and cloze evaluation for deeper under-

Computational Linguistics (Volume 1: Long Pa-

standing of commonsense stories. In Proceedingspers), pp. 889–898, 2018.

of the 2016 Conference of the North American
Chapter of the Association for Computational[33] Lara Martin, Prithviraj Ammanabrolu, Xinyu

Linguistics: Human Language Technologies, pp.

Wang, William Hancock, Shruti Singh, Brent

839–849, 2016.

Harrison, and Mark Riedl. Event representations
for automated story generation with deep neural[26] Nasrin Mostafazadeh, Michael Roth, Annie

nets. In Proceedings of the AAAI Conference on

Louis, Nathanael Chambers, and James Allen.

Artiﬁcial Intelligence, Vol. 32, 2018.
21

究報告自然言語処理（NL）, Vol. 161, pp. 89–96,[34] Lili Yao, Nanyun Peng, Ralph Weischedel, Kevin

2004.

Knight, Dongyan Zhao, and Rui Yan. Plan-andwrite: Towards better automatic storytelling. In[43] 松田寛, 大村舞, 浅原正幸. 短単位品詞の用法曖昧Proceedings of the AAAI Conference on Artiﬁcial

性解決と依存関係ラベリングの同時学習. 言語処Intelligence, Vol. 33, pp. 7378–7385, 2019.

理学会第 25 回年次大会発表論文集, pp. 201–204,[35] Faeze Brahman and Snigdha Chaturvedi. Model-

2019.

ing protagonist emotions for emotion-aware sto-[44] 松田寛. Ginza - universal dependencies による実rytelling. In Proceedings of the 2020 Conference

用的日本語解析. 自然言語処理, Vol. 27, No. 3,

on Empirical Methods in Natural Language Pro-

pp. 695–701, 2020.

cessing, pp. 5277–5294, 2020.

[45] Ashish Vaswani, Noam Shazeer, Niki Parmar,[36] Tri Dao, Albert Gu, Alexander J. Ratner, Vir-

Jakob Uszkoreit, Llion Jones, Aidan N Gomez,

ginia Smith, Christopher De Sa, and Christopher

L ukasz Kaiser, and Illia Polosukhin. AttentionRé. A kernel theory of modern data augmentation. In arXiv preprint arXiv:1803.06084, 2019.

is all you need. In Advances in Neural Information Processing Systems, Vol. 30, pp. 5998–6008.

[37] Alex Krizhevsky, Ilya Sutskever, and Geoffrey E

2017.

Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural[46] Raghavendra Pappagari, Piotr Żelasko, JesúsVillalba, Yishay Carmiel, and Najim Dehak. Hi-

Information Processing Systems, Vol. 25, 2012.

erarchical transformers for long document classification. In arXiv preprint arXiv:1910.10781,[38] Ian Goodfellow, Jean Pouget-Abadie, Mehdi
Mirza, Bing Xu, David Warde-Farley, Sherjil

2019.

Ozair, Aaron Courville, and Yoshua Bengio.
Generative adversarial nets.

[47] Leo Breiman. Random forests. Machine learning,

In Advances inVol. 45, No. 1, pp. 5–32, 2001.

Neural Information Processing Systems, Vol. 27,
2014.

[48] Tianqi Chen and Carlos Guestrin. Xgboost: A
scalable tree boosting system. In Proceedings ofthe 22nd acm sigkdd international conference on[39] Kushal Kafle, Mohammed Yousefhussien, andChristopher Kanan. Data augmentation for vi-

knowledge discovery and data mining, pp. 785–sual question answering. In Proceedings of the794, 2016.

10th International Conference on Natural Language Generation, pp. 198–202, 2017.

[49] Guolin Ke, Qi Meng, Thomas Finley, Taifeng
Wang, Wei Chen, Weidong Ma, Qiwei Ye, and[40] Alexander J Ratner, Henry Ehrenberg, Zeshan

Tie-Yan Liu. Lightgbm: A highly efficient gradi-

Hussain, Jared Dunnmon, and Christopher Ré.

ent boosting decision tree. In Advances in neu-

Learning to compose domain-specific transfor-

ral information processing systems, Vol. 30, pp.

mations for data augmentation. In Advances in3146–3154, 2017.

Neural Information Processing Systems, Vol. 30,
2017.

[50] Chi Thang Duong, Remi Lebret, and Karl
Aberer.

[41] Alec Radford, Jeff Wu, Rewon Child, DavidMultimodal

analysing social media.

Luan, Dario Amodei, and Ilya Sutskever. Lan-classificationfor

In arXiv preprint

arXiv:1708.02099, 2017.

guage models are unsupervised multitask learners. 2019.

[51] Ferda Ofli, Firoj Alam, and Muhammad Imran.
Analysis of social media data using multimodal[42] 工藤拓, 山本薫, 松本裕治. Conditional random

deep learning for disaster response. In 17th In-

fields を用いた日本語形態素解析. 情報処理学会研

ternational Conference on Information Systems
for Crisis Response and Management, 2020.
22

study on how to use it effectively for information[52] Tomas Mikolov, MartinKarafiát, LukásBurget,
Recurrent

retrieval (in japanese). In Proceedings of the 23rdneural network based language model. In IN-

Annual Meeting of the Association for Natural

TERSPEECH, pp. 1045–1048, 2010.

Language Processing, pp. NLP2017–B6–1, 2017.

JanCernocký, Sanjeev Khudanpur.

[53] Kyunghyun Cho, Bart van Merriënboer, Caglar[60] Yonghui Wu, Mike Schuster, Zhifeng Chen,

Gulcehre, Dzmitry Bahdanau, Fethi Bougares,
Holger Schwenk, and Yoshua Bengio. Learn-

Quoc V. Le, Mohammad Norouzi, Wolfgang

ing phrase representations using RNN encoder–

Klaus Macherey, Jeff Klingner, Apurva Shah,decoder for statistical machine translation. In

Melvin Johnson, Xiaobing Liu, Lukasz Kaiser,

Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp.

Stephan Gouws, Yoshikiyo Kato, Taku Kudo,
Hideto Kazawa, Keith Stevens, George Kurian,

1724–1734, 2014.

Nishant Patil, Wei Wang, Cliff Young, Ja-

Macherey, Maxim Krikun, Yuan Cao, Qin Gao,son Smith, Jason Riesa, Alex Rudnick, Oriol[54] Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing

Vinyals, Greg Corrado, Macduff Hughes, Jef-

Huang. How to fine-tune bert for text classifica-

frey Dean.

tion? In Chinese Computational Linguistics, pp.

Google’s neural machine transla-tion system: Bridging the gap between human

194–206, 2019.

and machine translation.
[55] Andrew L. Maas, Raymond E. Daly, Peter T.

In arXiv preprint

arXiv:1609.08144, 2016.

Pham, Dan Huang, Andrew Y. Ng, and ChristoLearning word vectors for senti-[61] Kishore Papineni, Salim Roukos, Todd Ward,

ment analysis. In Proceedings of the 49th An-

and Wei-Jing Zhu. Bleu: a method for automaticnual Meeting of the Association for Computa-

evaluation of machine translation. In Proceedings

tional Linguistics: Human Language Technolo-of the 40th Annual Meeting of the Association for

gies, pp. 142–150, 2011.

Computational Linguistics, pp. 311–318, 2002.

pher Potts.

[62] Zhan Shi, Xinchi Chen, Xipeng Qiu, and Xuan-[56] Canhui Wang, Min Zhang, Shaoping Ma, andAutomatic online news issue con-jing Huang. Toward diverse text generation withstruction in web environment. In Proceedingsof the 17th International Conference on World

inverse reinforcement learning. In Proceedings ofWide Web, pp. 457–466. Association for Com-

tiﬁcial Intelligence, pp. 4361–4367. International

puting Machinery, 2008.

Joint Conferences on Artificial Intelligence Orga-

Liyun Ru.

the 27th International Joint Conference on Ar-

nization, 2018.
[57] Takuya Akiba, Shotaro Sano, Toshihiko Yanase,Takeru Ohta, and Masanori Koyama. Optuna:[63] Jiwei Li, Michel Galley, Chris Brockett, Jian-

A next-generation hyperparameter optimization

feng Gao, and Bill Dolan. A diversity-promoting

framework.

In Proceedings of the 25rd ACM

objective function for neural conversation mod-SIGKDD International Conference on Knowl-els. In Proceedings of the 2016 Conference ofedge Discovery and Data Mining, 2019.

the North American Chapter of the Association
for Computational Linguistics: Human Language[58] Hitoshi Isahara, Fransis Bond, Kiyotaka Uchi-

Technologies, pp. 110–119, 2016.

moto, Masao Utiyama, and Kyoko Kanzaki. Development of the japanese wordnet. In Proceed-[64] Laurens van der Maaten and Geoffrey Hinton.

ings of the 6th International Conference on Lan-

Visualizing data using t-sne. Journal of Machine

guage Resources and Evaluation, 2008.

Learning Research, Vol. 9, No. 86, pp. 2579–2605,
2008.

[59] Toshinori Sato, Taiichi Hashimoto, and Manabu
Okumura. Implementation of a word segmentation dictionary called mecab-ipadic-neologd and23