修士論文

2019 年度

俳句生成を題材とした機械創造性の研究

武藤 英樹（学籍番号：81833675）

指導教員 教授 小木 哲朗

2020 年 3 月

慶應義塾大学大学院システムデザイン・マネジメント研究科
システムデザイン・マネジメント専攻
1

論
学籍番号

文

要

81833675

氏 名

旨
武藤英樹

論 文 題 目 ：俳句生成を題材にした機械創造性の研究（内容の要旨）
本論文では、機械(深層学習を用いたコンピュータ)が創造的なふるまいをするためにはどのようなアプローチがあるか、またどう実装するかを論じる。
深層学習を用いた創造的なアプローチは、深層生成モデルによるものが中心である。深層生成
モデルによるアプローチは、学習データ中心の複製アプローチであり、創造的なふるまいとはい
いきれない。
本論文では、創造性の定義を、「解の集合(解空間)の外にあり、かつ妥当である解を発見するもの」と定義した。その発見アプローチを、チェスの名人であるカスパロフを破った Deep Blue、囲碁の名人であるイ・セドルを破った AlphaGo の対比から、芸術作品をはじめとする生成物に対して、
本論文で定義する創造的なものにするための 2 つのアプローチを考えた。本論文では、その内の一つに対して深層学習を用いて設計し、検証した。
今回、深層学習を用いて俳句を生成し、その創造性を考える材料とした。俳句を題材として選んだ理由は三点ある。一つは、明確なルールがあること、もう一つは、長い歴史があり良質な教師
データが沢山あること、最後に、日本語というコンテクスト内においては、専門家か否かに関わらず、比較的評価しやすい芸術であること、である。
先行研究から、解空間の外の創造性には、Borden の心理的創造性と Newell が定義した創造
性の新規性と有用性、それらをブント曲線に基づいた適切な範囲の中でコントロールするものであると考えた。また、そのものの生成物の価値も心理的創造性の評価が高いものが前提である。
本研究では、実験において LSTM(Long Short-Term Memory)による生成を行なった。また、イテ
レーティブな生成と評価を敵対的生成ネットワークにより行なった。同時に、解空間を飛び出すた
めに、言語ベクトルを利用して、似た意味を持つ言語の割り当てを行なった。
実験結果を評価したところ、生成俳句 15 件のうち 6 件が人の詠んだ俳句と遜色ない(p<0.01)という評価をした。最後に俳句評価者に共通する暗黙の指標で評価したところ、俳句の評価に足り、かつ優れた評価の俳句があることがわかった。
俳句の生成としてはある程度成功し、定義した創造性についても、創造的であるということができた。しかし、俳句の特性から偶発的に良句が生まれた可能性も否定できない。
最後に、今後の課題を提示する。
キーワード（5 語）
機械創造性, 計算論的創造性, 俳句, 深層学習,

2

SUMMARY OF MASTER’S DISSERTATION
Student
Identification
Number81833675

Name

Hideki Muto

Title
A Study on the Creativity of Deep Learning with Haiku Generation

Abstract
In this paper, we discuss what approaches and how to implement creative behavior ofmachines (computers using deep learning).
Creative approaches using deep learning are mainly based on deep generation models.
The approach based on the deep generation model is a learning data-centric replication
approach, and cannot be regarded as a creative behavior.
In this paper, the definition of creativity is defined as "finding solutions that are outside
the set of solutions (solution space) and are valid". We define this discovery approach interms of products such as works of art by comparing Deep Blue, who defeated the chessmaster Kasparov, and AlphaGo, who defeated Go master Lee Sedol. We considered two
approaches to be creative. In this paper, we designed and verified one of them using deeplearning.
This time, we created a haiku using deep learning and used it as a material to think about
its creativity. There are three reasons why I chose haiku as the subject. One is that there
are clear rules, and the other is that there is a long history and a lot of high-quality teacher
data. Finally, in the context of Japanese, whether or not an expert The art must be easy toevaluate.
Previous studies have shown that creativity outside the solution space includes Borden's
psychological creativity and the novelty and usefulness of creativity defined by Newell,controlling them within an appropriate range based on the Bundt curve. Thought. It isalso assumed that the value of the product itself has a high evaluation of psychologicalcreativity.
In this study, we generated LSTM (Long Short-Term Memory) in the experiment. In
addition, iterative generation and evaluation were performed by a hostile generation
network. At the same time, in order to jump out of the solution space, we assigned
languages with similar meanings using language vectors.
When the experimental results were evaluated, 6 out of 15 generated haikus were
evaluated to be comparable to those written by humans (p <0.01). Finally, we evaluatedthe haiku with an implicit index common to haiku evaluators, and found that there was ahaiku that was sufficient for haiku evaluation and had a good evaluation.
He succeeded in creating haiku to some extent, and was creative in the creativity hedefined. However, it cannot be denied that good haiku was accidentally born from thecharacteristics of haiku.
Finally, we present future work.
Key Word(5 words)
Machine Creativity, Computational Creativity, Haiku, Deep learning

3

目次
第1章
1.

序論 ..................................................................................................................... 6

本論文の背景 .............................................................................................................. 6
深層学習の先にある課題 .............................................................................................. 7
なぜ創造性なのか ......................................................................................................... 72.

本論文の目的 .............................................................................................................. 83.

本論文の構成 .............................................................................................................. 8

第2章

提案する機械創造性の定義と境界 ...................................................................... 9

2.1

機械創造性とは何か ............................................................................................... 9

2.1.1

機械創造性をめぐる状況 ................................................................................. 9

2.1.2

機械創造性を実現している既存手法 ............................................................. 13

2.1.3

深層生成モデルとは何か ............................................................................... 13

2.1.4

識別モデルと生成モデルの違い .................................................................... 13

2.1.5

主要な深層生成モデルのアルゴリズム ......................................................... 14

2.2

本研究の機械創造性の定義................................................................................... 17

2.2.1

創造的な解の定義 .......................................................................................... 17

2.2.2

創造的な解の導出方法................................................................................... 20

2.3

機械創造性に関する定義と境界 ........................................................................... 26

2.3.1

機械創造性の定義と評価に関する先行研究 .................................................. 26

2.3.2

考察 ............................................................................................................... 31

2.3.3

結論 ............................................................................................................... 32

第3章

提案する機械創造性とその手法 ........................................................................ 33

3.1

題材としての俳句生成 .......................................................................................... 33

3.1.1

なぜ俳句生成なのか ...................................................................................... 33

3.1.2

深層学習での俳句生成のコンセプト <音の組み合わせ>.............................. 33

3.1.3

深層学習での俳句生成のコンセプト <形態素の組み合わせ> ...................... 34

3.1.4

LSTM を用いた生成...................................................................................... 35

3.2

何が良い生成物であるか ...................................................................................... 39

3.2.1

生成物の評価 ................................................................................................. 39

3.2.2

生成物の評価手法 .......................................................................................... 393.2.3

何がよい生成物なのか................................................................................... 46

第4章

実験 ................................................................................................................... 49

4.1

構成....................................................................................................................... 49

4.2

動作環境 ............................................................................................................... 49

4.3

実験データ ............................................................................................................ 49

4.4

実験設定 ............................................................................................................... 50

4.4.1

俳句生成器の設定 .......................................................................................... 50

4.4.2

俳句識別器の設定 .......................................................................................... 50

4.4.3

敵対的生成ネットワークの設定 .................................................................... 50

4.5

実験経過 ............................................................................................................... 50

4.6

実験結果 ............................................................................................................... 51

第5章

評価 ................................................................................................................... 55

5.1

評価....................................................................................................................... 55

5.1.1

人による生成物の評価................................................................................... 55

5.1.2

人による生成物の評価結果 ........................................................................... 57

5.1.3

俳句の生成物そのものの評価 ........................................................................ 59

5.1.4

機械創造性の視点からの評価 ........................................................................ 62

第6章

結論と今後の展望 ............................................................................................. 64

6.1

結論....................................................................................................................... 646.2

今後の展望 ............................................................................................................ 64

第7章

参考文献 ............................................................................................................ 66

謝辞 ..................................................................................................................................... 702

図目次
図 1 人工知能による肖像画「Edmond de Belamy」 [6] ....................................... 10
図 2 The Next Rembrandt プロジェクト[7]で作成した絵画 .......................................... 11
図 3 A Neural Algorithm of Artistic Style のアルゴリズムフロー [10]より引用 .. 12
図 4 chainer-gogh[11]でスタイル変換した画像 ........................................................ 12
図 5 識別モデルと生成モデルの違い ........................................................................ 14
図 6 オートエンコーダ .............................................................................................. 15
図 7 変分オートエンコーダ(VAE) ........................................................................... 16
図 8 (芸術作品などの特徴を) 便宜的に 2 次元に次元圧縮した表現 ....................... 17
図 9 集合 𝑃𝑥の解空間 .............................................................................................. 18
図 10 解空間から導出する生成データ..................................................................... 19
図 11 創造的な解の定義 .......................................................................................... 20
図 12 深層学習を用いた解の導出フロー ................................................................. 21
図 13 芸術作品等の解の導出フロー......................................................................... 21
図 14 機械特有のロジックを用いた解 ..................................................................... 22
図 15 AlphaGo の入出力 [22]を元に図式化 .............................................................. 23
図 16 さらに抽象化した出力を仮に設定する .......................................................... 23
図 17 アプローチ１の手法 ....................................................................................... 24
図 18 アプローチ 2 の手法 ...................................................................................... 25
図 19 ブント曲線 [24]をもとに図式化 .................................................................. 25
図 20 Boden の H 創造性と P 創造性の概念をもとに図式化 .................................. 27
図 21 映画の Unexpectedness の可視化 [32]から引用 .......................................... 31
図 22

borden が触れていない創造性の領域 .......................................................... 32

図 23 RNN 「古池」->「や」のシーケンス ......................................................... 36
図 24 RNN 「や」->「蛙」のシーケンス .............................................................. 36
図 25 時系列順に多層パーセプトロンを並べて、隠れ層を次のパーセプトロンに引き継ぐ...................................................................................................................... 37
図 26 リカレントニューラルネットワーク(RNN)の概念図 .................................... 37
図 27 LSTM の概念図 ............................................................................................. 38
図 28 俳句のチューリングテスト ............................................................................ 39
図 29 深層学習によるチューリングテスト ............................................................. 40
図 30 GAN のアルゴリズム [17]より引用 ............................................................... 42
図 31 俳句チューリングテストの V&V アクション ................................................ 43
図 32 イテレーティブな V&V ................................................................................. 443

図 33 Requirements と俳句の関係 ......................................................................... 45
図 34 本研究の俳句生成評価プロセス..................................................................... 46
図 35 俳句の V モデル ............................................................................................. 47
図 36 創造的俳句を実現する２つの機能 ................................................................. 48
図 37 実験に利用したソフトウェア構成 ................................................................... 49
図 38 事前学習の様子(縦軸: loss 横軸:エポック) ..................................................... 51
図 39 設定した敵対的生成ネットワークの様子(縦軸:loss 横軸:回数) .................... 51
図 40 人による妥当性確認 [39]を参考に作図 ....................................................... 55

4表目次
表 1 形態素解析結果の例......................................................................................... 34
表 2 本研究と先行研究との違い .............................................................................. 46
表 3 実験サーバ環境.................................................................................................. 49
表 4 生成俳句 15 句 ................................................................................................. 56
表 5 現代俳句 15 句 ................................................................................................. 57
表 6 生成俳句の評価結果......................................................................................... 58
表 7 現代俳句の評価結果......................................................................................... 59

5

第1章

序論

1. 本論文の背景

人工知能の定義を初めて行ったダートマス会議(1956 年)では、人間と同じような知的能力をもつ計算機(人工知能)の実現のために 7 つの課題を提示している。[1]1. Automatic Computers（自動コンピュータ）
2. How Can a Computer be Programmed to Use a Language（言語を使うようにコンピュータをプ
ログラムする方法）
3. Neuron Nets（ニューラル・ネットワーク）
4. Theory of the Size of a Calculation（計算規模の理論）
5. Self-Improvement（自己改善）
6. Abstractions（抽象化）
7. Randomness and Creativity（無作為性と創造性）
上記 7 つの課題のうち、人工知能の創造性が本格的に議論されるようになったのは、2012 年に ILSVRC で SuperVision が畳み込みネットワークを用いて圧倒的な成果を上げて深層学習が注目されるようになってからである。
人工知能の創造性は、ICCC( International Conference on Computational Creativity )[2]でも議論されているが、未だ定まった見解は存在していない。[3]
本論文では、先述の人間に似た知的能力を持つ計算機(人工知能)が可能にする創造性を、「機械創造性」と定義する。

6

深層学習の先にある課題

現在、深層学習の成果により人工知能は再び脚光を浴び、加えて目覚ましい成果を挙げている。しかし、深層学習が達成していることは数学的な処理であり、より端的にいうならば、空間 X を空間 Y に写像するだけの仕組みである。
それらは、ある設計されたフレーム内で、局所的な解を導きたい場合には有効である。
局所的な解を導く場合には、設定した出力に従い、解が導き出せるようにチューニングを行う。
しかし、ある対象について一般的な最適解を出すことは難しい。
今後、社会がより多様化し複雑化していく中で、十分にチューニングされた計算機や知覚機械としての人工知能は、もちろん重要な役割を果たしていくことは間違いない。
しかし、指数関数的に増える課題を抱える社会の中で最も重要になってくることは、限定された問題を解決することではなく、問題を限定する能力であり、問題を発見する能力である。
そのような人材が増えることが最適解ではあるが、問題に比例して人の数や教育水準が上がるわけではない。高度な能力を担う人をアシストする、もしくは高度な能力を担う人の一部を代替する機能が必要になる。
そのような状況下において、人の高度な能力を代替するような能力を兼ね備えた人工知能が求められることとなるだろう。
将来の技術革新と計算機性能の向上、量子計算機の実用化に伴って、人工知能が高度な知性を持つ未来は予想されている。しかし、アーキテクチャレベルで高度な知性を達成する人
工知能は未だ提案されていない。(2020 年 1 月現在)
自ら問題を発見し、発見した問題をフレームし、解決の糸口を見出していく人工知能があるとしたら、どのような機構が求められるのだろうか。それが、本研究に至った契機である。

なぜ創造性なのか

人工知能研究は、多くの脳科学研究の知見をモデル化することによって成果を上げてきた。
ニューロコンピュータは脳のニューロンをモデル化したものであるし、AlphaGo の開発者で有名な Demis Hassabis は、脳研究の知見をもとに AlphaGo を開発したと言われている。[4]
脳研究の見地では、問題を発見する、フレームする、解決の糸口を見出す、といった機能は前頭前野にあるとされ、それらの前頭前野の機能を担うメカニズムは、創造性やひらめきに大きく関与していることがわかっている。[5]まず前提として、機械と人の脳は全く異なる仕組みである。そもそも並列に並べて議論する

7

ものではない。
しかし、人工知能の発展と発見の歴史から、脳の機構を参考にすることや、脳との比較をおこなうことは決して間違いではないのかもしれない。
今回、多くの問題解決の糸口となりそうな創造性と、2015 年前後から議論が活発になってきた機械学習や深層学習の創造性研究を契機に、どういう創造性があり、創造的な機械とはどういうものかを、実装と研究、学習も含めて行ってきたのが今研究と創造性の関わりである。

2. 本論文の目的
本研究の目的は、機械学習が目指すべき創造性を定義し、それを先行理論や先行アルゴリズ
ムを活用しつつ実装することによって、創造性の出現に必要なアプローチや手法、効果的な手法などを、仮説設定から設計、開発、検証の各段階を通して検証していくことを目的とする。
本研究では、その検証の素材として俳句生成を題材に選び、設計と開発、検証までを行った。

3. 本論文の構成
本論文の構成は、第 1 章から第 6 章で構成する。
第1章では序論として、本研究の背景とその課題、本研究の目的を述べる。第2章では、機械学習によってもたらされている創造性とはどのようなものであるか、また、それらを実現している
アルゴリズムがどのような理論に基づいているのかを説明する。加えて、それらのアルゴリズムによる創造性の限界と、本論文で考える創造性の定義について説明する。第３章では、その機械創造性の応用例として俳句生成を用いて実際に実装を行う。また、本研究の新規性もこ
こで説明する。第４章は、実験と実験結果について述べ、第５章で評価を行う。第６章では、本研究の結論と今後の展望を述べる。

8

第2章

提案する機械創造性の定義と境界

2.1 機械創造性とは何か
2.1.1 機械創造性をめぐる状況
2018 年 10 月 25 日、ニューヨークのオークション「クリスティーズ」で、AI による肖像画「Edmond de Belamy」が 43 万 2500 ドル(日本円で約 4750 万円：ドル円 110 円として換算)という高値で落札された。[6]フランスを拠点に AI を使った絵画を研究しているチーム「OBVIOUS」による作品である。
この作品は、14 世紀から 20 世紀に描かれた肖像画 1 万 5000 点のデータを基に生成された作品である。

9

図 1 人工知能による肖像画「Edmond de Belamy」 [6]

この絵画の右下には、この生成に利用されたアルゴリズムの価値関数が記載されている。
「The Next Rembrandt」[7]は、バロック絵画の代表的な画家レンブラントの作風をコンピュータ
ーで再現するプロジェクトである。レンブラントの絵画すべて(346 作品)をデジタルスキャンし、
タッチ/色使い/レイアウトの特徴などを学習データとして学習させる。それらの学習データから、新しいレンブラントの絵画を作成するものである。(図 2 The Next Rembrandt プロジェクト[7]で作成した絵画)「The Next Rembrandt」は、その生成のクオリティから、「カンヌライオンズ」（2016 年）のサイバ
ー部門とクリエイティブデータ部門にてグランプリに輝いた。[8]10図 2 The Next Rembrandt プロジェクト[7]で作成した絵画

これらの事例から、ここ数年の成果により、深層学習は芸術分野でも大きな成果を上げているように思われる。
「A Neural Algorithm of Artistic Style」[9]は、葛飾北斎やゴッホらの画風を特徴量（「スタイル」と呼ばれる）として学習し、任意の画像にスタイルを重ねて出力することで、北斎風やゴッホ風のように変換できるアルゴリズムである。
「図 3 A Neural Algorithm of Artistic Style のアルゴリズムフロー」中の上図の左がスタイルを抽出するプロセス、右がコンテンツ（写真の対象物）を抽出するプロセス、真ん中がこれらを合成するプロセスとなっており、左右から中央に伸びる矢印は損失関数の要素を意味している。

11図 3 A Neural Algorithm of Artistic Style のアルゴリズムフロー [10]より引用

コンテンツ画像

スタイル画像生成された画像

図 4 chainer-gogh[11]でスタイル変換した画像

以上のような視覚的な創造性の他にも、文章や物語を生成する言語的創造性、クラシック音
楽やジャズなどの音楽を生成する音楽的創造性の事例もある。
DeepJazz[12]は、MIDI ファイルを与えることで、オリジナルのジャズ楽曲を作成するアプリケー
ションである。実装には、Machine Learning of Jazz Grammars[13]を参考にした JazzML[14]を利用しており、Keras と Theano によって開発が行われている。
DeepBach[15]は、バッハの賛美歌曲 352 曲とそれを転調させたもの 2503 曲を元に学習し、統計的なモデルでバッハ風の楽曲を生成する事例である。

12

2.1.2 機械創造性を実現している既存手法
先に述べた機械創造性を実現するアルゴリズムは、深層生成モデルによって多くを実現されている。主要な深層生成モデルは、Kingma らの VAE (変分エンコーダ) [16]や Goodfellow
ら の GAN( 敵 対 的 生 成 ネ ッ ト ワ ー ク )[17] 、 Hochreiter ら の LSTM(Long short-term
memory)[18]等が比較的高頻度で利用されるアルゴリズムである。
それらの手法は、一般的に深層学習で利用される畳み込みニューラルネットワーク(CNN)のよ
うな分類・識別する「深層識別モデル」とは異なり、「深層生成モデル」と呼ばれるものに基づい
ている。

2.1.3

深層生成モデルとは何か

深層生成モデルは、深層ニューラルネットワークを用いて生成される生成モデルである。
深層生成モデルは、学習データから、その裏に潜む統計的な法則や共通性を学習し、その学習結果によって形成された解空間から、ランダムにサンプリングすることにより作品の生成を実現させている。

2.1.4

識別モデルと生成モデルの違い

生成モデルとは、観測データを生成する確率分布を想定し、観測データからその確率分布を推定する手法である。
識別モデルは、データに決定境界を設けることで分類する手法である。
識別モデルは、例えば、観測データ x がクラス y に分類される条件付き確率𝑃(𝑦|𝑥)と表す時に、個々の観測データ x がどこに分類されるか、その確率を求めるモデルである。
一方、生成モデルは、データ分布に近いモデル分布を求める手法である。
観測データ x がクラス y に分類される条件付き確率𝑃(𝑦|𝑥)と表記されるのは同じであるが、これらを事後確率と捉えて、ベイズ的に求めるのが生成モデ
ルの特徴になる。
生成モデルの場合、観測データ x がクラス y に分類される条件付き確率𝑃(𝑦|𝑥)であれば、ベイズの定理を用いて以下のように書き直される。

13

𝑃(𝑦|𝑥) =𝑃(𝑥|𝑦)𝑃(𝑦)𝑃(𝑥))になったときに*である確率 ∙)である確率*

つまり、x の状態のとき、y である確率は、と表現できる。

になる確率

識別モデルと生成モデルの考え方を図式化すると、下記のようになる。

×
× ×
×
×
× ×
×

○

○
○

×
×

×
× ×
×
×

○

○

○

○
× ×

○

×

○

○
×
×

×

識別モデル

○

○

○

○

×

○

○

生成モデル

図 5 識別モデルと生成モデルの違い

データを分類する決定境界を求めるのが識別モデル、データ分布に近いモデル分布を求めるのが生成モデルである。

2.1.5

主要な深層生成モデルのアルゴリズム（1）変分オートエンコーダ①オートエンコーダ
オートエンコーダは、自己符号機と呼ばれるものであるが、これ自体は生成モデルではない。
一般的なオートエンコーダのモデルは図 6 にあるような、[入力層 – 隠れ層 – 出力層]のネットワークというシンプルな構造である。
オートエンコーダの特徴は下記である。
-

オートエンコーダは、入力と出力が同じになるよう学習を行う。

14

-

隠れ層の次元は入力層・出力層の次元より小さくする

オートエンコーダの目的は、次元削減によりデータから圧縮された特徴表現を抽出することにある。モデルが上記 2 つの特徴を満たすことによって、データの潜在的な特徴が隠れ層の値
z としてモデル内に保持される。
入力層から隠れ層に到る間で、データの特徴が少ない次元に圧縮され、隠れ層から出力層に到る間で、圧縮された特徴が復元される。
この入力層から隠れ層にいたる処理をエンコーダと呼び、隠れ層から出力層にいたる処理をデコーダと呼ぶ。
エンコーダで圧縮した特徴をデコーダで復元できれば、入力𝑥の不要な次元を削減した潜在変数を得ることができる。機械学習の方法としては、出力𝑥′が入力𝑥と一致するように、両者を比較して復元誤差を求め、誤差逆伝播によりエンコーダとデコーダの 2 つの重みを調整する。

入力 !

出力 ! (

!"

!"(

隠れ層 )

!#

!#(

)"

!$

!"(

)#

!%

!
!
!

!$(

!&

)'

!%(

!
!
!

!
!
!

!'

!'(

エンコーダ

潜在変数

デコーダ

図 6 オートエンコーダ②変分オートエンコーダ
変分オートエンコーダ(VAE)[16]は、ネットワーク構造はオートエンコーダと同じものであるが、オートエンコーダの潜在空間のデータ構造が正規分布になるように条件を追加したものである。
生成モデルとして機能する VAE には、デコーダ𝑃(𝑥|𝑧)を正規分布として明示的にモデル化
する。

15

入力 !

出力 ! *

!"

!"*

!#

!#*

!$

(

+"

!"*

!%

Σ

+#

!$*

!&

!%*

!
!
!

!
!
!

!'

!'*

エンコーダ

潜在変数

デコーダ

図 7 変分オートエンコーダ(VAE)

上図のμはガウス分布の平均、Σはガウス分布の分散を表す。VAE は、確率分布を導入することによって、多様な潜在変数をサンプリングできる手法である。

（2）敵対的生成ネットワーク(GAN)
敵対的生成ネットワークは、2015 年に Ian Goodfellow らが提案した深層生成モデルを活用したフレームワークである。詳しくは 3.2 で後述するが、先の変分エンコーダ(VAE)と同じく統計モ
デルをもとにデータを複製するモデルである。

16

2.2 本研究の機械創造性の定義
2.2.1 創造的な解の定義

先の機械創造性を実現する生成モデルは、人が過去に作成した素晴らしい芸術作品（絵画、写真、音楽、小説など）を入力データとして、その裏側に潜んでいる統計的な手法や法則性を学習し、その潜在空間からサンプリングをする手法であった。

個々の芸術作品

図 8 (芸術作品などの特徴を) 便宜的に 2 次元に次元圧縮した表現

図 8 は、多様体仮説[19]に基づき２次元で表現したモデルである。
多様体仮説とは、「この世界で人が認識できるデータは、非常に低次元の非線形多様体に集中している」という実証の中から確認されてきた仮説である。この仮説に基づいて開発された多くの機械学習アルゴリズムのパフォーマンスが高いことから、経験的に仮説が支持されている。
図 8 の点は、個々の芸術作品を２次元空間にマッピングした座標である。
これらの座標をもとに、芸術作品などの学習データをもとにした集合𝑃(𝑥)の分布構造ができる。
(図 9)

17

P(#)
個々の芸術作品

図 9 集合 𝑃(𝑥)の解空間

上記の空間で表現されるこれらのサンプリングした学習データ群に基づいて形成された集合
𝑃(𝑥)が、レンブラントの絵画であれば、𝑃(𝑥)の解空間からランダムにデータをサンプリングすると「レンブラント風の(特徴を持つ)絵画」、葛飾北斎の絵画であれば、「葛飾北斎風の(特徴を持つ)絵画」となる。(図 10)

18

P(#)
個々の芸術作品

生成するデータ

生成するデータ

図 10 解空間から導出する生成データ

さて、これらのメカニズムを考えると、深層生成モデルの創造性分野への応用は、過去の人々が作成した芸術作品から、その裏側に潜む統計的な法則や共通性を模倣する手法ともいえる。
人の創造性を模倣することで、機械でも創造的だと感じる(P 創造性)[20]を発揮することができる。しかし、その場合創造力の源泉は人であり、人の作成した作品に依存する。換言すると、機械の創造性とは、結局のところ機械自体のものではなく、人の創造性に依存したものである。

19

解空間の外にあるが、妥当である解P(#)
個々の芸術作品

生成するデータ

生成するデータ

図 11 創造的な解の定義

それでは、以上のような観点から考えた場合、機械の創造性とはなにか。どう定義するべきか。
本研究では、潜在空間の外にあるが、妥当とみなされる解に創造性のヒントがあるのではないかと提案する。(図 11)
例えば、 IBM のスーパーコンピュータ”DEEP BLUE”とチェスの名人のゲイリー・カスパロフの対戦の際、カスパロフが「究極の知性」と感じた一手があった。その一手は、正しい手筋の解空間内にあったものではなく、バグによって出力された一手であった。しかし、結果としてその解は結果として「妥当な」解であったことがわかる。

2.2.2

創造的な解の導出方法

解空間外に妥当な解を求めることは、極めて難しい。一般的には、この条件で解を導出するためには、探索アルゴリズムの利用を考えることになる。また、少ない計算量でより多くの探索を行うことを考えると、遺伝的アルゴリズム(GA)[21]の活用などが候補になる。
しかし、「創造的な解」には、GA でいうところの適応度や適応度地形に基づく最適解を評価する関数がない。その点で、探索アルゴリズムの各種や GA の活用は現段階では難しいことがわかる。

20

創造的な解の導出方法は、囲碁や将棋のような明確な制約と最終解があるものと、芸術作品のような明確な制約と最終解がないものは異なっている。
囲碁や将棋の場合は、明確な制約と最終解があるため、制約に従い解を導出すれば良い。
探索アルゴリズムと評価関数があれば、計算資源次第では人のアルゴリズムや概念を超えることは理論上可能に見える。

図 12 は、深層学習を用いて解を導く際の導出フローを便宜上図式化したものである。

入力

処理

ロジック
<深層学習>(人の概念)

図 12 深層学習を用いた解の導出フロー

一方、芸術作品などの場合は、明確な制約と解が存在しない。
入力

処理/出力

ロジック
<深層学習>(人の概念)

人の概念を真似る

図 13 芸術作品等の解の導出フロー21

出力そのため、最終的なゴールは人の概念に適合していくことになる。(図 13)
その場合、実際の出力結果は創造的な作品に見えるかもしれないが、本研究で扱う創造性とは異なる。これらは、深層生成モデルを利用して生成される芸術作品などを含む。
囲碁や将棋のような、明確に評価可能なものについては、人の概念に依存しない、機械特有のロジックを用いても解を導くことができる(図 14)。このアプローチを用いると、人の創造的解法とは異なる解を導くことができる。

入力

処理

出力

ロジック
<人の概念>

ロジック<機械特有のロジック>

図 14 機械特有のロジックを用いた解

これに類する事例としては、2016 年囲碁ソフトウェアの AlphaGo に敗れたイ・セドル(世界トップ棋士)が、人の過去のどの対戦結果にも属さない優れた手が出たことにより「自分が知っていた囲碁は、囲碁の一部分でしかなかった」と表現された、神の一手と呼ばれた手である。これは、機械特有のロジックのみでは成し得ず、ディープラーニングを用いた人の概念の学習（直感的な打ち手）と機械特有のロジック（モンテカルロツリー探索と強化学習）によって成し得た手[22]であり、これは人の作成したデータによる解空間を超える事例、本研究で扱う創造的な解と言える。

22

入力

出力

処理

ロジック
<深層学習>(人の概念)
ロジック
<探索>
ロジック
<強化学習>
図 15 AlphaGo の入出力 [22]を元に図式化

では、図 13 のような、芸術作品等の創造的な解の導出において、本研究で扱う「創造的な」解を導くためにはどのようにするか。
本研究では、2 つのアプローチを考えている。

（1）アプローチ 1

入力

出力

処理

ロジック
<深層学習>(人の概念)
人の概念を、さらに抽象化したゴールを設定図 16 さらに抽象化した出力を仮に設定する

23

図 16 にあるように、本来はないゴールを設定してしまう手法である。解空間をさらに抽象化(次元圧縮)などした上で、それを抽象的な仮ゴールとして設定する。その上で、図 17 にあるよ
うに、出力結果に合わせて、探索や強化学習も用いた生成を行う。

入力

出力

処理

ロジック
<深層学習>(人の概念)
ロジック<機械のロジック>

人の概念を、さらに抽象化したゴールを設定

図 17 アプローチ１の手法

このようなアプローチを採用することで、中心となる概念をぶらさず、人とは異なるアプローチでの導出が可能になる。

（2）アプローチ 2
深層学習によって導いた解空間の外に、(1) P-創造性[20]に該当する心理的創造性を刺激する(2) Newell の創造性[23] にあるような新規で有用であるもの
を参考に、小さな振れ幅で解空間から少し離れたデータを生成するアプローチである。小さな
振れ幅に関しては、(1)かつ(2)を満たすような、ブント曲線(図 19)に基づいた新奇性の適切な幅が最適かと思われる。

24

入力

処理/出力
ブント曲線に基づいた適度な新規性の追加ロジック<深層学習>(人の概念)

人の概念を真似る

図 18 アプローチ 2 の手法

1

心地よい

0

新奇さ

快
最適な新奇さの範囲で逸脱させる-1

苦痛

図 19 ブント曲線 [24]をもとに図式化

25

2.3

機械創造性に関する定義と境界

2.3.1

機械創造性の定義と評価に関する先行研究（1）機械創造性の定義

機械（計算機）は、そもそもただの計算機である。その計算機が、創造的な力を持つというのはおかしな話である。
そもそも、人間の創造性自体が解明されていない機構であり、メカニズムがわからない以上、計算機に実装することは難しい。
しかし、出力結果のみを評価するのであれば、人間も機械も同じ評価点での評価が可能である。
計算機の創造性について、早くから考えたのは、Newell, Shaw,Shimon である。
彼らは、計算機の創造性を考えるにあたり、人の創造性の特徴を捉え、創造的なふるまいとは、
単に特別な種類の問題解決行動であると仮定した。
その仮定から創造的なふるまいによる問題解決と一般的なふるまいによる問題解決は何が違うのかを比較し、下記 4 つの指標を提示した[23]。
-The answer is novel and useful (either for the individual or for society).

-

The answer demands that we reject ideas we had previously accepted.

-

The answer results from intense motivation and persistence.

-

The answer comes from clarifying a problem that was originally vague.

Newell らは、創造的ふるまいや活動とは、新しくかつ価値のあるものを生み出すものであると定義した。
こ の 定 義 は 、 Association for Computational Creativity や ICCC(International
Conference on Computational Creativity)の論文の多くに参照されており、機械創造性の研究においては、「新しく」「価値がある」ものを提供する能力が創造性である、という見解は共通した見解のように見える。
では、機械にとって「新しく」、「価値のある」ものとは何なのか。
「新しい」については本章で、また「価値がある」は、本章の機械創造性の評価において
FACES/IDEA フレームワーク[25]について少し触れるが、本論文では深入りしない。

26

FECS/IDEA フレームワークは、 colton らによって提案された創造性評価のフレームワーク
で、FACES は原因、IDEA はその原因として生じた影響力として、影響力がすなわち価値とする考え方を指す。

（2）「新しい」とは何か
Newell らの創造性の定義で触れられた「新しい」にはかなりの曖昧さを含む概念である。
Boden は、創造性の議論となる「新しさ」について、２つに分類している。
H-Creativity(Historical Creativity) と P-Creativity(Psycological Creativity) で あ る 。
[26][20]
H-Creativity(Historical Creativity)とは、人類の歴史を通してみた上での新しいアイデア、
P-Creativity(Psycological Creativity)とは、人々個々が新しいと感じるアイデアを指す。

!

! − #$%&'()('* ⇒ - − #$%&'()('*
図 20 Boden の H 創造性と P 創造性の概念をもとに図式化

Boden によると、H-Creativity(歴史的創造性)はかならず P-Creativity(心理的創造性)でもあるため、P-Creativity がより議論されるべきだと主張する。
本 研 究 で は 、 Boden の 主 張 ( 𝐻 − 𝐶𝑟𝑒𝑎𝑡𝑖𝑣𝑖𝑡𝑦 ⇒ 𝑃 − 𝐶𝑟𝑒𝑎𝑡𝑖𝑣𝑖𝑡𝑦 ) に 対 し て 、 𝐻 −::::::::::::::::::::𝐶𝑟𝑒𝑎𝑡𝑖𝑣𝑖𝑡𝑦 ∩ 𝑃− 𝐶𝑟𝑒𝑎𝑡𝚤𝑣𝚤𝑡𝑦 の可能性について考え、追って 2.3.2 考察にて提案する。

①「新しい」はどのように生み出されるのか
Boden は、「新しい」機械の創造性について、３種のパターンを提案している。[27]1. 組み合わせによる(新しい)創造性: new combinations of familiar ideas

27

I/O

input

ideas

outputvariations of ideas in the input

2. 探索による(新しい)創造性: generation of new ideas by exploration of a space of concepts
I/O

input

a search space

outputpoints in the space

3. 変形による(新しい)創造性: involves a transformation of the search space so newkinds of ideas can be generated.
I/O

input

a search space

outputpoints in a modifies space

Boden の提案する「組み合わせ」による創造性、「探索による」創造性、「変形による」創造性は、
ブルーナーの組み合わせによる創造性[28]や、吉田らのアイデア探索空間[29]など、心理学の分野でも見られる表現である。
今回、本研究では 2.探索による創造性と 3.変形による創造性を機械創造性として扱う。

（3）機械創造性の評価

何をもって創造的なアイデアとみなすのか、どのような回答をすると創造的なのか、を定義することは難しい。そのため、人の創造性研究での評価手段としては、専門性のある第三者によって評価するという方法や、アイデア生成数、アイデアの多用性を数値化するといった手段がある。[30]
機械創造性の分野においても、創造性評価は非常に難しい。
特に、機械創造性の評価は、まだ始まったばかりの研究分野である。ICCC では 2014 年から議論されている分野であるが、現時点では何を持って評価とするかの定まった軸がない、というのが現時点での状況である。
今回は、定性評価については、多くの論文に参照されている主要２つの評価方法、定量評価についても同じく一つの評価方法を紹介する。

28

この評価方法については、本研究の評価に関してはマッチしないため、本研究では下記評価
方法は利用しない。

①創造性の定性評価
評価方法 1: 創造性の三脚

コルトンは、創造性を、3 つの関連する要素の出力結果であるとする。
コルトン自身は、「創造的なシステムに必要なアクション」として、コルトン自身の言葉で三脚(tripod)と呼んでいる。
-

skill

-

appreciation-

imagination

コルトンは、Newell らの定義を参照した上で、創造的なものの出力は、「スキルなしには生み出せない、感謝がなければ価値のあるものは生み出せない、想像力がなければ他の人の作品のものしか生み出せない」とする。しかし、機械の創造性においては、上記３脚は出力結果から想像せざるを得ず、また指標としても計量可能ではないため、本研究では扱わない。
※現在、この三脚は多様な評価指標を加えて三脚から 12 指標に変化している。
評価方法 2: FACES/IDEA フレームワーク

FACES/IDEA フレームワークは、機械の創造性を定性的に評価するフレームワーク[31]である。この提案は、創造的を記述するための FACE モデルと、創造性がどのように影響を与える可能性があるかを示す IDEA モデルの二つを使って評価する。
創造的な行為を記述する FACE モデルの評価指標は下記の 8 つ。
𝐸 < : an expression of a concept
𝐸 = : a method for generating expressions of a concept
𝐶 < : a concept
𝐶 = : a method for generating concepts
𝐴 < : an aesthetic measure
𝐴= : a method for generating aesthetic measures
𝐹 < : an item of framing information
𝐹 = : a method for generating framing information29これらの指標を使い、定性的に評価する。
例えば、ソフトウェア S の創造性評価については、下記のように評価するとしている。
B<<< (𝑐 , 𝑒 )::::𝑎𝑣𝑒𝑟𝑎𝑔𝑒(𝑆) = C ∑CEFB 𝑎
E
E
<

<

C
< (𝑐 , 𝑒 ))::::𝑏𝑒𝑠𝑡_𝑒𝑣𝑒𝑟(𝑆) = 𝑚𝑎𝑥EFB(𝑎E
EC< (𝑐 < , 𝑒 < ))::::𝑤𝑜𝑟𝑠𝑡_𝑒𝑣𝑒𝑟(𝑆) = 𝑚𝑖𝑛EFB(𝑎
E
E

𝑅𝑒𝑙𝑖𝑎𝑏𝑖𝑙𝑖𝑡𝑦(𝑆) = 𝑏𝑒𝑠𝑡_𝑒𝑣𝑒𝑟(𝑆) – 𝑤𝑜𝑟𝑠𝑡_𝑒𝑣𝑒𝑟(𝑆)IDEA モデルとされる創造性の影響力の評価は、(I)

Iterative(D)

Development(E)

Execution(A)

Appreciation

上記 4 つの評価指標で決まるとする。

（4）創造性の定量評価

先に紹介した創造性の三脚や FACES/IDEA フレームワークは、定性的な創造性の評価であったが、定量的評価については、IBM India の Shrivastava らの論文にある。[32]
Shrivastava らは、Newell らの新規性や価値、colton の FACES/IDEA モデルの影響力など
から、4 つの指標を定量評価として提案した。
Shrivastava らの提案指標は下記 4 つ。
・Value・Novelty
・Influence
・Unexpectedness
Shrivastava らは、創造性の定量評価のために、映画情報を活用した。どれが創造的な映画であるかを定量評価する試みである。
影響力は、PageRank アルゴリズムを活用し、リンク-被リンクの関係性を計測した。
Unexpectedness は、映画の前後に発表した映画の類似度の平均値や最大値から意外性を算出する。( 図 21 )30

図 21 映画の Unexpectedness の可視化 [32]から引用

最終的には、上記の創造性の指標の数値をもとに、SVM などで映画の評価の回帰予測モデ
ルを作成している。Shrivastava らの指標をもとにした場合には、視聴者や批評家が予測するだろう映画の評価をよりよく推測できるようになるだろう、と提案した。

2.3.2

考察

Borden の H-Creativity(歴史的創造性)と P-Creativity(心理的創造性)については、
Borden の見解とは異なり、H-Creativity ではあるが、P-Creativity ではない領域もあるのではないかと考える。
先に提案した、「解空間の外にあるが妥当な解」は、図 22 部分の”3”に該当する、HCreativity(歴史的創造性) かつ P-Creativity(心理的創造性)ではない部分で、この”3”部
分から”1”部分に持っていくのが創造的活動なのではないか、と考える。
この 3 の領域から 1 の領域にもっていくことが、ひとつ創造的な活動になるのではないか。

31

P-創造性
内側

内側

外側

1

H

P

3

2

1

3

H-創造性

外側

2

4
4

P-CreativityとH-Creativityのベン図

P-CreativityとH-Creativityの4象限
図 22

borden が触れていない創造性の領域

2.3.3 結論
これらの先行研究の研究結果や定義を基として、本論文では、一旦、機械創造性を「新規性があり有用性がある(Newell[23])」かつ、先の考察を踏まえ、心理的創造性 (P-Creativity)があるものとした。

32

第3章

提案する機械創造性とその手法

3.1

題材としての俳句生成

3.1.1

なぜ俳句生成なのか

俳句には明確なルールがあり、その長い歴史によって優れた教師データが数多く存在していることから、他の芸術と比較して評価がしやすい、深層学習に向いているといった多くのメリットがある。そのため、本研究には最適である。
本研究では芸術の生成に深層学習を利用する一例として俳句を使用し、その有用性を検証する。

3.1.2 深層学習での俳句生成のコンセプト <音の組み合わせ>
音の組み合わせのみで俳句を生成する場合、俳句を全てかな表記で 5・7・5 で表現するとす
ると、
俳句データℎはℎ = (𝑥B, 𝑥T, 𝑥U, 𝑥V, 𝑥W, ……, 𝑥BX)で表せる。
生成する俳句 ℎ<YC は、5・7・5 の各音が任意の値をとる同時確率分布になるので、ℎ<YC = (𝑥B, 𝑥T, 𝑥U, 𝑥V, 𝑥W, ……, 𝑥BX)と表現できる。
これらから、すべての𝑥について確率密度分布𝑃(𝑥)を出すことができれば、確率密度分布に従い俳句を生成できる。

33

3.1.3 深層学習での俳句生成のコンセプト<形態素の組み合わせ>
17 のかなの組み合わせの場合、50 音では、平仮名 46 音、濁音半濁音拗音 61 音の合計
107 音になる。その場合の重複順列は、107BX となる。
これらの解空間を探索し、日本語として成立させるためには、相当量の計算資源が必要となる。
当研究では、音の組み合わせではなく、形態素の組み合わせによって俳句生成を行う。
形態素には、現代俳句協会の現代俳句データベース[33]に登録されている俳句を素材とし、形態素解析器の MeCab[34]を利用して形態素解析を行った。
形態素には、「分かち書き」で分割する。
分かち書きは、以下の原則にて行う。[35]原則 1: 文節は切り離す
原則 2: 文節内の一部分が文節を作れる時は、その部分を切り離す
原則 3: 間に別の言葉を割り込ませることが可能な場合は切り離す
原則 4: 後ろに言葉を続けられる部分は切り離す
例文は下記のようになる。
}

古池 | や| 蛙 | 飛び込む | 水 | の | 音

表 1 形態素解析結果の例
書字形

発音形

語彙素読み

語彙素

品詞

古池

フルイケ

フルイケ

古池

名詞-普通名詞-一般

や

ヤ

ヤ

や

助詞-副助詞

蛙

カワズ

カワズ

蛙

名詞-普通名詞-一般

飛び込む

トビコム

トビコム

飛び込む

動詞-一般

水

ミズ

ミズ

水

名詞-普通名詞-一般

の

ノ

ノ

の

助詞-格助詞

音

オト

オト

音

名詞-普通名詞-一般

抽出した形態素は、ひとつひとつを固有の ID に変換する。
古池: 1
や: 2

34

活用型

活用形

五段-マ行

連体形-一般蛙: 3
飛び込む: 4
水: 5
の: 6
音: 7
この結果、俳句は ID の集合、組み合わせになる。
形態素の ID への変換は、GENSIM[36]の token2id を利用した。
「古池や蛙飛び込む水の音」の場合、下記例のようになる。
[1,2,3,4,5,6,7]
これらを one-hot ベクトルに変換を行う。
one-hot とは、一つだけ High（１）で、他は Low(0)のビット列を指すものである。one-hot ベク
トルとは、同様に一つだけ High(1)で、他がすべて Low(0)の n 次元ベクトルである。
「古池や蛙飛び込む水の音」の形態素の組み合わせ[1,2,3,4,5,6,7]の場合、古池 1 = [1,0,0,0,0,0,0]や

2 = [0,1,0,0,0,0,0]蛙

3 = [0,0,1,0,0,0,0]

飛び込む

4 = [0,0,0,1,0,0,0]

水

5 = [0,0,0,0,1,0,0]の

6 = [0,0,0,0,0,1,0]音

7= [0,0,0,0,0,0,1]

注目する形態素組み合わせ[𝑤], 𝑤B, 𝑤T, … . , 𝑤C`B ]があるとすると、単語𝑤E は、𝑖 + 1番目だけ 1でそれ以外が 0 の n 次元ベクトルで表現できる。
今回利用した形態素の総数は 13803 個であるから、13803 次元ベクトルでの表現となる。

3.1.4 LSTM を用いた生成
LSTM(Long short-term memory)[18]とは、リカレントニューラルネットワーク(RNN)の亜種
である。

35

基本的な処理は多層パーセプトロンを前提とし、形態素の組み合わせ[‘古池’,’や’,’蛙’,’飛び込む’,’水’,’の’,’音’]の場合、組み合わせの順に従って、下記のような処理を行う。

[古池]

[や]

隠れ層 128
入力層 13803

出力層 13803

図 23 RNN 「古池」->「や」のシーケンス

[や]

[蛙]

隠れ層 128
入力層 13803

出力層 13803

図 24 RNN 「や」->「蛙」のシーケンス

図 23、図 24 にあるように、単語の順に入力と出力を設定し、その隠れ層のパラメータを調整
する。

36

!"
!#

!" と!# の隠れ層!" と!# の隠れ層と!# と!% の隠れ層 と!%!#!%!&図 25 時系列順に多層パーセプトロンを並べて、隠れ層を次のパーセプトロンに引き継ぐ

これらのパーセプトロンは時系列に沿って循環的に同じ処理を行う。加えて、時系列に沿って先のパーセプトロンの隠れ層の値が次のパーセプトロンの処理として引き継がれる。
具体的には、「古池」の入力で「や」を出力するパーセプトロン、(「古池」),「や」の入力で「蛙」を出力するパーセプトロン、(「古池」,「や」),「蛙」の入力で「飛び込む」を出力するパーセプトロン、という具合である。
これらは、循環して同じ形の多層パーセプトロンを利用するため、再帰的な(recurrent)ニューラルネットワークと呼ぶ。

出力NN

リカレント結合入力
図 26 リカレントニューラルネットワーク(RNN)の概念図

一般的には、RNN は、図 26 のような図で表現される。
上記の図で表される単純再帰型 RNN は、考案者の名前をとってエルマン型ネットワークとも
呼ばれる。

37

RNN は、時系列などの連続したデータ処理に向いたニューラルネットワークで、系列データの順序や記憶を保持できるなど、多くの利点がある。
しかし、再帰が多くなればなるほど、勾配消失により古い記憶のウェイトが弱くなっていく弱点がある。
その弱点を補うために考えられたアルゴリズムが Long short-term memory (LSTM) [18]である。
LSTM は、図 27 にあるようにエルマン型ネットワークの RNN と構造は同じである。

出力

LSTM
Block

リカレント結合入力
図 27 LSTM の概念図

LSTM は、RNN の弱点(長期の記憶を保持できない)を補うために改良された RNN で、ゲート付き RNN とも呼ばれる。
LSTM は、RNN にメモリセルを追加し、そのメモリセルを 3 つのゲート（入力ゲート・忘却ゲー
ト・出力ゲート）を使って制御するようにしたものである。
これらの処理とフローにより、深層学習を用いて俳句の学習が可能になる。

38

3.2

何が良い生成物であるか

3.2.1 生成物の評価
3.1.4 によって、俳句の生成が可能になった。では、これらの俳句をどのように評価すれば良いのか。
2.3.1 章の機械創造性の先行研究と定義を参考にすると、創造的な生成物は、ランダムなもの
でも突拍子もないものでもなく、有用でありながら新規[23]である必要がある。
また、AlphaGo の解の導出方法からも分かる通り、人間の直感に該当する部分(深層学習による潜在空間の学習)は不可欠である。
本研究では、先ず 2.2.2 のアプローチ 2(解空間の外の新規性)に対して実験を行う。

3.2.2 生成物の評価手法
機械による生成俳句

多くの人に評価されている俳句

チューリングテスト

図 28 俳句のチューリングテスト

生成俳句の評価は、過去に詠まれ、多くの人に評価されている現代俳句との比較評価によって行う。(図 28)
生成された俳句を評価する際、多くの人に評価される俳句に比べて遜色がない場合、一定の基準をクリアしていると見做せる。
チューリングテスト[37]とは、1950 年にアラン・チューリングが「機械は思考できるのか」という問題意識から提案されたテスト方法である。
チューリングテストのテスト方法は、二つの出力結果のうち、どちらが人間による出力によるものかを判別する。審査員が機械か人間かの判断に困る場合、その機械は十分な知性を持っているものと仮に見なす。

39

本研究では、チューリングテストを人ではなく機械で行なっている。
そもそもチューリングテストとは、人が行なって初めてチューリングテストといえるもので、機械が行うものではないが、一旦機械で仮チューニングテストを繰り返し行なった上で、最終的に人のチューリングテストを行う。
最終的に人でチューリングテストを行うことは変わらないが、チューリングテストの前に、図 28と同じ構造のチューリングテストを機械同士で行う。（ 図 29 ）機械による生成俳句(生成器) – 深層生成モデル

多くの人に評価されている俳句

チューリングテスト(識別器) – 深層識別モデル

図 29 深層学習によるチューリングテスト

この図 29 の場合の生成器は、3.1.4 にある、LSTM によって生成する俳句である。識別器は、
深層識別モデル(CNN など)による二値識別である。深層識別モデルによる識別は、活性化関数に sigmoid 関数を用いることにより、最終的に 0 または 1 を出力する。
深層識別モデルは、チューリングテストと同じく、生成器によって生成された俳句か、俳人の俳句かを伏せた上で評価を行わなければならない。
深層識別モデルの評価結果(0 または 1)は、もし誤答であった場合には、深層識別モデルの損失関数を最小にするように誤差の逆伝播を行い、深層識別モデルの精度が向上するよう調整される。
もし深層識別モデルの評価結果が正答であった場合には、深層生成モデルの精度を向上させるよう、深層生成モデルに対して誤差の逆伝播を行い、深層生成モデルの精度を向上させる。
これらの処理により、深層生成モデル、深層識別モデルの双方の精度が向上し、これらの処理を限りなく連続して行うことによって、直接の比較対象となる人間の俳句を介して、徐々に生成物の精度を高めていく手法である。
これらの基本的な考え方は、2015 年に Ian Goodfellow らが考案した敵対的生成ネットワー
ク(Generative Adversarial Network - GAN)[38]というフレームワークで提唱されたアプロ
ーチで、非常に大きな発見のひとつとされている。現在、敵対的ネットワークを活用した深層学
習アルゴリズムは非常に多く提案され、活用されている。

40

GAN の価値関数は下記のようになる。

D は深層識別モデルによる識別器、G は深層生成モデルによる生成器を意味する。
左辺は、D が V を最大化する場合、V を最小にする G を選ぶことを表現する。
右辺は、最終的に 0 または 1 を返す深層識別モデルである。
この場合、人のデータには 1,深層生成モデルが生成したデータには 0 が振られているとする。
右辺第一項は、人の俳句が D(識別器)にきたときのスコアである。
人の俳句のため、𝐷(𝑥) = 1を出力したい。
𝐷(𝑥)が 1 に近いほど、log 𝐷(𝑥) は 0 (最大)に近づき、𝐷(𝑥)が 0 に近いほど log 𝐷(𝑥)は −∞に近づく (最小)。
右辺第二項は、深層生成モデルの生成した俳句が D(識別器)にきたときのスコアである。
深層生成モデルの生成した画像であるため、0 を出力したい。
𝐺(𝑧)は、深層生成モデルの出力であり、深層識別モデル D が𝐺(𝑧) を受けて 0 にできればlog (1 − 𝐷(𝐺(𝑧)) 部分は log (1 − 0)となり、0 で最大化できる。
全体のアルゴリズムとしては、この価値関数を用いて D(深層識別モデル)と G（深層生成モデル）の学習を交互に繰り返す。（図 30）41

図 30 GAN のアルゴリズム [17]より引用

まずは D の学習のために G を固定して V を最大化させる。
ついで、G の学習のために D を固定して V を最小化させるように学習していく。
これが、GAN を構成するアルゴリズムである。
さて、俳句のチューリングテストをモデル化した場合、validation を INCOSE SE Handbook[39]の FIGURE4.18 Alain Faisandier の図に当てはめると、下記
図 31 のようになる。

42

Reference
俳人の句

Used by

Item(G)深層学習による生成俳句

Submitted to

V&V action

Defines

Produces

Expected result(人の俳句)

Obtained result(生成俳句または人の俳句のどちらか)Comparison
Verification
Conformance?

Yes

No

Uncertainty
Yes

Acceptable?

No

Validation
図 31 俳句チューリングテストの V&V アクション

このモデルは、人がチューリングテストを行う場合も、機械がチューリングテストを行う場合も同じである。
最終的には、人の鑑識眼によって Delivery of validated system となるが、その前段階で機械によって Delivery of validated system elements となるべき妥当性確認が繰り返し行われる。(図 32)43

( Delivery of validated system elements )( Requirements )チューニングされた深層識別モデル

トレーニングする
深層生成モデルD(識別器)

G(生成器)
妥当性確認

相互に実行
生成結果
( Delivery of validated system elements )( Requirements )トレーニングする深層識別モデル

チューニングされた深層生成モデルD(識別器)

G(生成器)

妥当性確認

生成結果

図 32 イテレーティブな V&V

このイテレーティブなプロセスにより、生成と評価が繰り返し行われ、より比較対象と遜色のない成果物が出力できるようになってくる。
さて、ここで気になるのが、V モデルの左上にある Requirements である。
俳句の Requirements は、
一般的には・上五、中七、下五の韻律を踏む構造である・季語が最大１つ最小 1 つ含まれるというものである。
しかし、これらの Requirements を満たしたとしても俳句としては成立しない。
(必要条件でも十分条件でもない) (図 33)

44

形式的な
Requirements

俳句・五七五の韻律
・季語があるなど

図 33 Requirements と俳句の関係

ただ、この図 33 の構造は、図 18 のアプローチ２の創造性の構造に近い。俳句という概念か
らは離れているが、ブント曲線の間で驚きのある俳句（つまり、本研究で創造性のアプローチ 2で考えた）創造性のある俳句を適度に生成できる可能性もある。
しかし、上五中七下五の韻律や季語だけでは、形式だけの俳句になり、人の感性に合う俳句ができる確率は低い。
本研究では、出来る限り人が俳句らしいと感じる解空間をベースに、少しだけ逸脱させることを狙っている。
そのためには、人の俳句に関する感性や直感に相当するものを Requirements として用意する必要がある。
では、人の感性や直感をどのように Requirements とするのか。
IEEE1220[39]によれば、良い要求はテスト可能であり、計測可能であるものとされる。
A requirement is a statement that identifies the product or process operational,

functional or design constraints or characteristics, which is unambiguous, testable,
or measurable, and necessary for a product or process acceptability (by consumers
or internal quality assurance guidelines) [IEEE1220]
感性や直感のままでは ambiguous で、testable でも measurable でもない。
一方、感性や直感が、もし俳句を学習した結果として n 次元の潜在変数として反映されているのであれば、unambiguous であり、testable かつ measurable の条件を満たす。
本研究では、上五中七下五の韻律や季語などの Requirements を一切用意しない。
上五中七下五や季語等の俳句の Requirements は、人の俳句から徐々に学習を行なった潜在変数をもとに評価を行う。(図 34)

45

芸術作品

人の評価

要求の元となる観測変数
・5-7-5になっている・季語が含まれているなど要求の元となる潜在変数

生成結果

・俳句から抽出された
抽象的な要求妥当性確認
潜在変数

Generator

Discriminator
生成
イテレーティブなプロセス

図 34 本研究の俳句生成評価プロセス

また、本研究の他の先行研究との違いもここにある。(表 2)
表 2 本研究と先行研究との違い

既存研究

本研究

アルゴリズム

アプローチ

生成手法

評価

最終評価

LSTMによる生成

形式的な特徴の抽出

形式的特徴の適用

機械による形式的特徴の評価

人による評価

潜在的特徴の抽出

潜在的特徴の適用

機械による潜在的特徴の評価

人による評価LSTM+GANによる生成

3.2.3 何がよい生成物なのか
俳人の句と生成俳句を評価する上で難しいのは、評価である。何をもって機械の俳句とし、なにをもって優れた俳句とするのか。
俳句の場合は、先にも述べた通り、形式を満たす (「5-7-5 になっている」、「季語の重なりがな
い」)から秀句である、といえるわけではない。
あくまで、句の全体の雰囲気をもとに、人の直感や感性で評価を行うのが俳句である。

46

「直感や感性」と表記した部分は、人間特有のものである。そのため、機械に「直感や感性」を持たせることは不可能である。しかし、「直感や感性」を n 次元の潜在変数と解釈すると、評価が可能である。( 図 35 )直接計測可能な特徴
観測変数で表されるもの(上五、中七、下五など)

計測可能なものの評価
俳句テンプレートの適用など

計測可能なものの評価

直接計測不可能な特徴
n次元の潜在変数(句のもつ全体的な特徴)

識別器(深層識別モデル)
による識別
直感や感性 (評価)

直感や感性 (生成)図 35 俳句の V モデル

生成物の「良い」「悪い」は、判定が難しい。そのため、「良い」「悪い」の判断は、「良い」特性を備えた比較対象との比較で行うことになる。本研究では、明治以降の名句と、生成物の比較に
よって「良い」「悪い」の二値での判断を行う。
創造的プロセスはどこに入るのか

名句との比較だけであれば、本研究での「創造的」な俳句にはならない。
むしろ、名句と異なっているほうがいい。
名句や名作と異なっている、という観点では、Berlyne らが、2017 年に絵画の分野で、どれだけ既知のどのカテゴリにも属さないかを判断基準として、創造的な絵画を作成しようとした。[40]
本研究では、データの特性が離散値であることから、「名句と異なる」ではテキストとして収束しづらい。
俳句の生成においては、名句の概念に近づけることを目標とし、そこから少し離れることを狙った。
それらを実現するために、俳句生成の機能を２つの機能として分割した。
ひとつは、過去の名句の直感や感性に近づける機能（敵対的生成）、もうひとつは過去の名句の直感や感性から離す機能（言語ベクトル等を利用）の二つである。( 図 36 )47

名句に近づける機能

名句から離す機能・シーソーラス (WordNet)

・敵対的生成＋・言語ベクトル (word2vec)
・偶発的なゆらぎ

図 36 創造的俳句を実現する２つの機能

本研究では、「名句から離す機能」として、言語ベクトルに wikipedia 日本語版を使ったもの[41]、朝日新聞言語ベクトル[42]などを利用して、生成句の言語空間から離す作業を行った。
結果としては、名句から極端に離れてしまい、日本語として意味が通らない乖離具合になった。
俳句として成立したものは、敵対的生成の途中で偶発的に生成されたものであったため、「名句から離れる」機能については、意図的に生成できたものではなかった。

48

第4章

実験

4.1 構成4.2 動作環境
本研究では、下記環境を用いて実験を行なった。

コンテナ

TensorFlow Docker
Images (Ubuntu 18.04)
コンテナツール

NVIDIA Docker
GPUドライバ

NVIDIA Driver
ベース OS

Host OS Ubuntu Linux 18.04

図 37 実験に利用したソフトウェア構成
表 3 実験サーバ環境
CPUIntel(R) Xeon(R) CPU E5-1620 v4 @ 3.50GHz

MemoryDDR4 DIMM 128GB

GPU 1

TITAN X (Pascal) 12187MiB

GPU 2

TITAN X (Pascal) 12187MiB

CUDA Version

10.1

NVIDIA Driver

430.5

OS

Ubuntu Linux 18.04.1 x86_64 GNU/Linux

Kernel

5.0.0-37-generic4.3 実験データ
現代俳句協会の「現代俳句データベース」[33]を用いて、夏の季語を用いる俳句 8893 句を利
用した。

49

取得には、HTML や XML からデータを抽出するパーサーライブラリの Beautiful Soap[43]を利用した。

4.4 実験設定
SeqGAN[44]を応用するにあたり、SeqGAN の Keras への実装[45]を参考にした。

4.4.1 俳句生成器の設定
LSTM ブロック数は、先行研究[46]を参考に 1024 に設定した。
最適化手法は Adam、学習率を 0.001(1e-3)、ドロップアウトを 0.01 とした。

4.4.2 俳句識別器の設定
俳句識別器のアルゴリズムは生成器と同じ LSTM を利用した。
LSTM ブロック数は 128、最適化手法は Adam、学習率を 0.001(1e-3)、ドロップアウトを 0.01とした。

4.4.3 敵対的生成ネットワークの設定
敵対的生成回数は 10 とした。
俳句生成器、俳句識別器とも、敵対的生成によって学習する回数は敵対的生成 1 回につき 1回とした。

4.5 実験経過
実験経過は下記の通り。

50

7.000
6.208

6.000

5.441
5.000

4.953

4.537

4.000

4.151

3.844

3.651

3.000

3.424 3.260

3.099

2.000
1.000
0.000
1/10 2/10 3/10 4/10 5/10 6/10 7/10 8/10 9/10 10/10

図 38 事前学習の様子(縦軸: loss 横軸:エポック)

0.800
0.7100.7010.7000.713
0.672
0.623
0.5800.580
0.5630.548
0.5250.516
0.503
0.484

0.700
0.600
0.500
0.400
0.300
0.200
0.100

9

10

8

7

6

5

4

3

2

1

Ep
o

ch
1/
4
2/
4
3/
4
4/
4

0.000

図 39 設定した敵対的生成ネットワークの様子(縦軸:loss 横軸:回数)

4.6

実験結果

1 回の実験中に 10 回の敵対的生成が行われ、88930 句が生成された。
敵対的生成１回目( head 10 )嬰児立ち夕は鮎の咲きたる信濃の滝

田草取歩いていく鮮緑なり

51

葉桜や働く日をたたく

ゆく夏は真水ありよ燕かな

出雲路の心に伸びている

穂高下り詩と出かねたりけり

誰んおんのどこかと子衣をひらく

生きすぎて濯ぐ風鈴の音にして

海ほおずき影に目方は減らず一人

田植女の駅へ時計通り蟬の羽化

敵対的生成 2 回目( head 10 )湖に雨の疲れた昔かな

蓮の水音いまも濡れながら螢火やゆかりといふもほす母ほくそえむ

夫突放し次に朝顔ゆく涼しさ藤よ気きれず梅雨の海上る母梅雨落葉

挫折て蛙を大切少年のサングラス

田水張られていきなり鷗現に新緑の下に猫いる合わないかな

練習たちに紙へみどりに硯あり

襟足のんこの世は初夏なり

敵対的生成 3 回目( head 10 )ずばり言うことばが笑ってる

落し文地球ジーパンいつもの火

またごはんといふ門の井戸絵二階蛍狩

たまゆらのふかはせんと富士の裸

蜘蛛の囲の夕日の夾竹桃十株

骨一人にゐたる夜は左傾

母上を洗ったばかり新緑

赤富士へぱつと振りて泳ぐ

大蛾にあらば音のやうに万里をゆく夏を言ひ詰める

敵対的生成 4 回目( head 10 )玻璃戸より先は信濃ひとつ

握りたる鮎のちから見えるだらかな

朴の花えの月日や蚊喰鳥

新緑に蚯蚓地球わたる焦げてゐる

沙羅漬いまに蜥蜴現れたち

揚羽の風残りをり雲の峰

山群れし滝傘は如何に暑く寵愛の穴江戸百本上の海へ

夜あまた人が太陽食べるなりもろもろの浴衣に江戸のビール午前

敵対的生成 5 回目( head 10 )52

窓際の静かな親が立ちにけり

むきだしのところにあらわる祭涼

扉開き人が帽子梅雨籠りけり

聖五月駅で笑う

かぶと虫ほどと炎天を顧みる

藍の枚に一匹売には知らず

船上のごとき夏野の背中旱なり

上下男の中はみている祭

三人の箸が揃いない茗荷汁

向日葵のうしろ百木夏の暮

敵対的生成 6 回目( head 10 )蚊帳辺に紫陽花のある如く石斧あり幾夕焼の柄も食む睡ぢ

万骨の鮎といふ五月の海がれきから無傷の生れゆく子や青柿や化粧ど一なりうすら繭

歩かねば芭蕉になれず蟬を焼く

壊しにいて麦秋の無人熱し

その下に白き道あり夏はきぬ

向日葵の一枚の蝶にしている睨めつこして会話たる五月かな

敵対的生成 7 回目( head 10 )向き合いたきものまたかしこくめたり西日

夏山へ連れ出す手だなき夕焼

幽のごとくにその心師の水羽抜鳥かくしたきこと骨へ

牡丹生けてうすきしなやかに冷やしミルク

向日葵に箝口令のゆきわたり

いま星も大きな力夏梅雨の蝶

ここもまただれかや梅雨の明

さるすべり空にこれとさるすべり甲斐の木

大いなる蒲の穂わたくしたりランプ

敵対的生成 8 回目( head 10 )空蟬の膳に子が痛みだす

島人水の骨にはあらざりき

夏草に沈みて水の落ちる

釘箱から言ひらを開けているかな

誰んと会いと炎天に突きあたる

個人情報保護法夏負けす

癌るるるるに大きな扇風機

脳外科の空蟬個個に歩き出す

夏足袋の闇外厠青薄暑

羽抜鳥かくしたき夜の梅を干す53

敵対的生成 9 回目( head 10 )すだれ巻く山の向うの武者幟

早乙女に二も見し蟹がない魂の地に同じ夏の海

時鳥厠半ばに出かねたりけり

薬師寺の尻切れつづけ午後の月

長さ遠くて泳ぐかな

あり余るひとりの闇の夏日

どこやらに硝子がわれを殺したるきよ

炎天に人間ひとり生え帰る

あぢさゐていのち拾ひしたいこむ

敵対的生成 10 回目( head 10 )灯涼し足逃れさのちが蟬しぐれ

ライオンは寝たひゐて蟻の列

炎天の峡の山の土に更衣

渾身雨いつかこのところに冷やしミルク

夕虹の根に深入りしたる

炎暑かな文字の痩せてゐてをり

尺嬰の熱きのは水より映りゐ

父逝きぬ珊瑚はひ濃紫陽花

鳥瞰図には佐渡の姿に胡瓜もみ

黒揚羽虚無の視線の切り絵に

54

第5章
5.1

評価
評価

敵対的ネットワークを活用してイテレーティブな生成と評価を機械によって行なった。
評価においては、敵対的生成を人の俳句と比較して生成を行なった最終プロセスとして、人による生成物の評価をおこなった。
人による生成物の評価は２つある。
1 つは、敵対的生成プロセスに関する妥当性確認を人によって評価するプロセスである。
このプロセスにより、敵対的生成によるサブシステムをサブシシテムとして稼働させることができる。これは、5.1.1 で述べる。
もう 1 つは、俳句の生成物そのものの評価である。この評価により、提案したシステムの出力結果の評価を行うことができる。それを、5.1.3 で述べる。

System realization

System definition

Validateagainst

芸術作品

Delivery of
Validated system
人の評価要求の元となる観測変数
・5-7-5になっている・季語が含まれているなど要求の元となる潜在変数

生成結果

・俳句から抽出された
抽象的な要求妥当性確認
潜在変数

Generator

Discriminator
生成

図 40 人による妥当性確認 [39]を参考に作図

5.1.1

人による生成物の評価

55

慶應義塾大学院 SDM 研究科に在籍する修士課程の学生 64 名から協力の同意を得て生成
俳句のチューリングテストを行った。(調査期間: 2020 年 1 月 15 日から 2020 年 1 月 18 日)
チューリングテストに使用した俳句は 30 句、その内生成俳句が 15 句、現代俳句が 15 句の均
等な数を用意した。
生成俳句と現代俳句の詳細は下記の通り。
生成俳句 15 句：
敵対的生成 10 回目の 8893 句より、俳句の形をしていないものを除外(5-7-5,季語がない、
二重季語)した上で、秀句にみえるものを 15 句選出
現代俳句 15 句：
現代俳句協会が選んだ、明治以降の広い意味での秀句、歴史的に価値のある俳句作品の一部から 15 句選出
生成俳句は、下記 15 句を利用した。
表 4 生成俳句 15 句
生成俳句 15句

1.

夜を干す体育祭の坂の下

2.

晩夏の水ぶっかけてくれてゆく

3.

ひとりでは五月の雲の長廊下

4.

真っ青な影さかしまに夏の水5.

釣り上げし鮎それぞれの白さかな

6.

水の底くらし暗しと動じない

7.

ヨサコイソーラン梅雨無き日に透きとほる

8.

日常の奥へ奥へと飛行雲

9.

山中や寝冷えしさうな宿畳10.

玉虫の腹より黒き夜の底

11.

磐梯の夏の国体続きおり

12.

夏シャツにつまずいている私です13.

パラソルの折目正しき端座なり

14.

診療のちょっと嬉しき夏はじめ

15.

深々と同じ憂ひをひろげゆく

現代俳句は、下記 15 句を利用した。

56

表 5 現代俳句 15 句
現代俳句 15句

1.

東京の空のみんみん山頭火

2.

生きるさみしさは蟬の尿しぶく見え

3.

教会の奥ほど氷雨激しかり

4.

海図貼る喫茶を冷房に沈め

5.

灯台のように遠くて裸足です6.

人体の自在に曲がる螢の夜

7.

抜歯して昼の蝙蝠となれり

8.

翡翠の影こんこんと遡り

9.

我心或時軽し罌粟の花

10.

老鴬や珠のごとくに一湖あり

11.

淡紅の蓮咲きむごい時間かな

12.

サングラスの射程ぞくぞく蓮の花

13.

湧く雲無尽そうめんのびちゃった

14.

わが城あり緑を窓に工場崩れ

15.

倒立の団栗眼夏来る

回答者の属性に関する質問には、下記を用意した。
1. ご自身で俳句を詠む機会はありますか？
2. 俳句を見る機会はありますか？（ある・ない）
3. 性別（男女）4. 年齢（～19 歳, 20 歳～29 歳, 30 歳～39 歳, 40 歳～49 歳, 50 歳～59 歳, 60 歳～69 歳,
70 歳～）

5.1.2

人による生成物の評価結果

母集団となる 64 人の回答者の回答から、各句毎に生成俳句を「人」と評価したか、「機械」と評価したかを集計した。そのうち、人が詠んだと評価したものが半数を超えた場合をチューリング
Pass とし、またその統計結果について、1 変量のカイ 2 乗検定を行った。
深層学習により生成した俳句の結果は下記の通り。

57

表 6 生成俳句の評価結果
生成俳句 15句

人

機械

1.

夜を干す体育祭の坂の下

16

48

2.

晩夏の水ぶっかけてくれてゆく

37

27

3.

ひとりでは五月の雲の長廊下

29

35

4.

真っ青な影さかしまに夏の水

49

15

5.

釣り上げし鮎それぞれの白さかな

476.

水の底くらし暗しと動じない

7.

ヨサコイソーラン梅雨無き日に透きとほる

8.

チューリング

P値
0.0001Pass**

0.21130.4533*Pass

0.0000

**

17

Pass

0.0002

**

44

20

Pass

0.0027

**

34

30

Pass

0.6171

日常の奥へ奥へと飛行雲

40

24

Pass

0.4550*9.

山中や寝冷えしさうな宿畳

47

17

Pass

0.0002**10.

玉虫の腹より黒き夜の底

49

15

Pass

0.0000**11.

磐梯の夏の国体続きおり

42

22

Pass

0.0124*12.

夏シャツにつまずいている私です

26

38

13.

パラソルの折目正しき端座なり

48

16

14.

診療のちょっと嬉しき夏はじめ

25

39

15.

深々と同じ憂ひをひろげゆく40

24

0.1336
Pass

0.0000**0.0801
Pass

0.0455*** p< .01 * p< .05

結果、生成俳句において、人が作成した俳句として判断される句が 11 句あった。
その内で一変量の𝜒 T 検定を利用した p 値が 0.01 未満、統計的に有意とみなせる句が 6 句あった。
参考まで、現代俳句の場合の結果は下記の通りとなった。[13]58表 7 現代俳句の評価結果
チューリング

P値

現代俳句 15句

人

機械

1.

東京の空のみんみん山頭火

19450.0012

2.

生きるさみしさは蟬の尿しぶく見え

30

340.6171

3.

教会の奥ほど氷雨激しかり

32

32

4.

海図貼る喫茶を冷房に沈め

17470.0002**5.

灯台のように遠くて裸足です11

53

0.0000**6.

人体の自在に曲がる螢の夜

23

41

0.0244*7.

抜歯して昼の蝙蝠となれり

29

35

0.45338.

翡翠の影こんこんと遡り

2539

0.0801

9.

我心或時軽し罌粟の花

32

32

Pass

1.000010.

老鴬や珠のごとくに一湖あり

35

29

Pass

0.453311.

淡紅の蓮咲きむごい時間かな

34

30

Pass

0.6171

12.

サングラスの射程ぞくぞく蓮の花

1648

0.000113.

湧く雲無尽そうめんのびちゃった

31

33

0.802614.

わが城あり緑を窓に工場崩れ

17470.000215.

倒立の団栗眼夏来る

23410.0244Pass**

1.0000****** p< .01 * p< .05

現代俳句では、人が作成したとみなされる俳句が 15 句のうち 4 句、その中で検定結果により有意といえるものはなかった。
逆に、機械の句であるとみなされた句は 15 句中 11 句、そのうち有意であるといえる結果は 5句となった。

5.1.3

俳句の生成物そのものの評価（1）評価の設定

生成俳句 15 句のうち、人の句と判定された(p<0.0001)下記 3 句と古典的名句を１句抽出し、これらの俳句がどのように評価できるか、調査を行った。
1. 真っ青な 影さかしまに 夏の水 (生成俳句)
2. 玉虫の 腹より黒き 夜の底 (生成俳句)593. パラソルの 折り目正しき 端座なり (生成俳句)
4. 古池や 蛙(かわず)飛び込む 水の音 (松尾芭蕉)
評価には、多くの俳句選者が評価指標とする見方[47]を示した上で、アンケート参加者に俳句の評価を行っていただいた。
俳句の評価指標として提示した項目は下記である。
(1)-(3)は、皆川らの、俳句評価者に共通する評価指標[47]、(4)は、創造性の要素となる、解空間からの適度な乖離を、心理学者 Bundt の表現[24]を使い、「程よい驚き」とした。
-(1) 情景描写が的確で具体性がある-(2) 作者の心情が適度に表現されている-(3) 想像の余地を残す-(4) 程よい驚きを感じる

選択肢は、以下の４項目とした。
全く同意できない

同意できない同意できる

非常に同意できる

実施日： 2020 年 1 月 23 日から 2020 年 1 月 24 日の間
アンケート対象者：慶應義塾大学大学院 SDM 研究科の新卒学生・社会人学生・卒業生
サンプル数：42（2）評価結果

評価結果は下記の通り。

60

61

（3）評価結果の考察

評価の結果、機械の俳句に関しては、
・「想像の余地を残す」という評価項目において比較的高い評価を得られた。
・「情景描写が的確で具体性がある」という評価項目においては、3 句中 2 句で評価を得られた。
・「作者の心情が適度に表現されている」という評価項目においては、「同意できない」との回答が多かった。アンケート説明欄に、「人工知能が作った俳句」と説明してしまったことから、バイアスがかかってしまった可能性がある。
これらの観点から総合して考えると、ある程度は俳句としての水準を達成し、また「良い」と思われる要素も一部含んだ俳句を生成できているのではないか、と考えられる。

5.1.4 機械創造性の視点からの評価
本論文では、一旦先行研究の研究結果や定義を基として、機械創造性を「新規性があり有用である(Newell[23])」かつ、先の考察を踏まえ、心理的創造性 (P-Creativity) があるものと
した。

新規性：

62

ここでいう新規性は、生成俳句であることから、過去施行されていない可能性の高い組み合わせである。これは、 H-Creativity(歴史的創造性)である。
また、多くの人に心理的に受け入れられたことから、P-Creativity(心理的創造性)でもある。
有用性：

有用性については、生成物が確かに俳句として成立し、効果的であることをもって確認できる。
俳句は、有用性があった、ということができる。
心理的創造性：

先に新規性の項目で述べた通り、心理的創造性は達成している、といえる。

63

第6章
6.1

結論と今後の展望
結論

本研究では、機械創造性の可能性と現在の主流となる生成メカニズム、本論文で定義する創造性について論じ、敵対的生成ネットワークを活用して、俳句の生成と評価を行なった。
本研究では、創造的なものの生成には、２つの要素の生成機構が必要であると考えた。
１つは、人の概念や直感に近い概念をもつ機構、もう 1 つは前者から適度に離れる機構、この二つの機構が組み合わさって創造的な出力が可能になるのではないか、という仮説であった。
今回、俳句生成を題材として、先行研究をもとに独自の創造性を定義し、その範囲内でかろ
うじて小さな創造性を見つけることができたことになるが、結果として偶発的なゆらぎによって生じた生成物が俳句としては良い結果が出た。
本来の意味で「創造的」と評価できるには、もう一歩先の「妥当な解」の発見プロセスを再現可能な形に落とし込むことが必要だと考えている。本研究では、そこまで到ることができず、多くの課題を積み残した。

6.2

今後の展望

本研究を進めていく過程で、多くの課題が見つかった。
1. アプローチ 1 について、設計と実験と検証を行いたい。
アプローチ１は、仮のゴールを設定するというアイデア中心の手法である。
このアプローチが正しければ、より狙った形で創造的な出力を出せる可能性があるかもしれない。次元圧縮のさらに次元圧縮というありふれた手法であるが、このような使い方をするアイデアは（もしかしたら）成果次第では有効な手法になるかもしれないと考えている。
2. 言語ベクトルを利用した解空間の拡張を、より高い精度で行う。
本研究では、言語ベクトルを利用した言語空間の拡張も行なったが、良い成果を得られることができなかった。その理由としては、十分に言語ベクトルの特性を生かした
言語置換ができていなかったことに起因する可能性もあると考えている。引き続き研64

究を行いたい。
3. マルチモーダルな入力による俳句生成の可能性の試行
入力を文字だけではなく、俳句を、映像や情景主体のマルチモーダルなデータとしてとらえる。画像や文字、可能であればその他の五感の感覚も含めた上で、俳句の出力を行いたい。
これは、俳句を自然言語処理のアプローチにより始めた段階から抱いていた課題間であり、映像や情景を短い言語表現に収めることが可能になれば、俳句生成という意
味においては良い成果を出せそうであると考えている。
4. 機械の創造性の評価について、科学的プロセスに落とし込む手法を考えたい。
機 械 学 習 に よ る 創 造 性 の 研 究 は 、 2014 年 か ら 年 次 で 開 催 さ れ て い る
ICCC( International Conference on Computational Creativity )を中心に多くを議論されているが、まだまだ歴史の浅い、研究者も限られた分野のため先行する研究も多くはない領域である。研究としてまだまだ浅い領域で、かつ学際的で分野横断的な難しさも含むが、このような曖昧で生まれたての分野であればこそ、システムエンジニア
リングで学んだ手法やアプローチが生きてくるかもしれないと考えている。

65

第7章
[1]

参考文献

J. McCarthy, M. L. Minsky, N. Rochester, and C. E. Shannon, “A proposal for thedartmouth summer research project on artificial intelligence, august 31, 1955,” AI Mag.,
vol. 27, no. 4, p. 12, 2006.

[2]“Association for Computational Creativity.” [Online]. Available:
http://computationalcreativity.net/home/. [Accessed: 29-Dec-2019].

[3]

T. Veale and A. Cardoso, Computational Creativity: The Philosophy and Engineering ofAutonomously Creative Systems. Springer, 2018.

[4]“Google’s Intelligence Designer - MIT Technology Review.” [Online]. Available:
https://www.technologyreview.com/s/532876/googles-intelligence-designer/. [Accessed:
22-Jan-2020].

[5]

坂本一寛, 創造性の脳科学 : 複雑系生命システム論を超えて /. 東京: 東京大学出版会, 2019.

[6]“Edmond de Belamy - Obvious Art.” [Online]. Available: http://www.obviousart.com/edmond-de-belamy.html. [Accessed: 21-Jan-2020].

[7]“The Next Rembrandt.” [Online]. Available: https://www.nextrembrandt.com/.
[Accessed: 29-Dec-2019].

[8]“ING’s ‘The Next Rembrandt’ and the Spanish National Lottery’s ‘Justino’ Win Cyber
Grand Prix | AdAge.” [Online]. Available: https://adage.com/article/special-reportcannes-lions/rembrandt-justino-cyber-grand-prix/304641. [Accessed: 29-Dec-2019].

[9]

L. A. Gatys, A. S. Ecker, and M. Bethge, “A neural algorithm of artistic style,” arXiv
Prepr. arXiv1508.06576, 2015.

[10]

L. A. Gatys, A. S. Ecker, and M. Bethge, “Image Style Transfer Using Convolutional
Neural Networks,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., vol.
2016-Decem, pp. 2414–2423, 2016.

[11]“mattya/chainer-gogh.” [Online]. Available: https://github.com/mattya/chainer-gogh.
[Accessed: 29-Dec-2019].

[12]“jisungk/deepjazz: Deep learning driven jazz generation using Keras & Theano!”[Online]. Available: https://github.com/jisungk/deepjazz. [Accessed: 29-Dec-2019].

[13]

J. Gillick, K. Tang, and R. M. Keller, “Machine learning of jazz grammars,” inComputer Music Journal, 2010, vol. 34, no. 3, pp. 56–66.

66

[14]

“evancchow/jazzml: A (very incomplete) project that combines machine learning withmusic.” [Online]. Available: https://github.com/evancchow/jazzml. [Accessed: 29-Dec2019].

[15]

G. Hadjeres, F. Pachet, and F. Nielsen, “DeepBach: a Steerable Model for Bach Chorales
Generation,” Dec. 2016.

[16]

D. P. Kingma and M. Welling, “Auto-Encoding Variational Bayes,” no. Ml, pp. 1–14,
2013.

[17]

I. Goodfellow et al., “Generative adversarial nets,” in Advances in neural information
processing systems, 2014, pp. 2672–2680.

[18]

S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol. 9,
no. 8, pp. 1735–1780, 1997.

[19]

S. Rifai, Y. N. Dauphin, P. Vincent, Y. Bengio, and X. Muller, “The manifold tangent
classifier,” in Advances in neural information processing systems, 2011, pp. 2294–2302.

[20]

M. A. Boden, “Computer models of creativity,” AI Mag., vol. 30, no. 3, pp. 23–34,
2009.

[21]

J. H. Holland, Adaptation in natural and artificial systems: an introductory analysis withapplications to biology, control, and artificial intelligence. MIT press, 1992.

[22]

D. Silver et al., “Mastering the game of go without human knowledge,” Nature, vol. 550,
no. 7676, pp. 354–359, 2017.

[23]

A. Newell, J. C. Shaw, and H. A. Simon, “The processes of creative thinking.,” inContemporary Approaches to Creative Thinking, 1958, University of Colorado, CO, US;
This paper was presented at the aforementioned symposium., 1962.

[24]

D. E. Berlyne, “Novelty, complexity, and hedonic value,” Percept. Psychophys., vol. 8,
no. 5, pp. 279–286, 1970.

[25]

A. Pease and S. Colton, “Computational Creativity Theory: Inspirations behind the
FACE and the IDEA models.”[26]

M. A. Boden, “Creativity,” pp. 267–291, 1995.

[27]

M. A. Boden, The creative mind: Myths and mechanisms. Routledge, 2004.

[28]

J. S. Bruner, “The conditions of creativity.,” in Contemporary Approaches to Creative
Thinking, 1958, University of Colorado, CO, US; This paper was presented at the
aforementioned symposium., 1962.

[29]

吉田靖, 服部雅史, and 尾田政臣, “アイデア探索空間と創造性の関係,” 心理学研
究, vol. 76, no. 3, pp. 211–218, 2005.

[30]

阿部慶賀, 創造性はどこからくるか : 潜在処理、外的資源、身体性から考える /. 東
京: 共立出版, 2019.

67

[31]

S. Colton, J. Charnley, and A. Pease, “Computational Creativity Theory: The FACE and
IDEA Descriptive Models.”[32]

D. Shrivastava, S. A. CG, A. Laha, and K. Sankaranarayanan, “A Machine Learning
Approach for Evaluating Creative Artifacts,” Jul. 2017.

[33]“現代俳句データベース - 現代俳句協会.” [Online]. Available: http://haikudata.jp/index.php. [Accessed: 03-Jan-2020].

[34]“MeCab: Yet Another Part-of-Speech and Morphological Analyzer.” [Online].
Available: https://taku910.github.io/mecab/. [Accessed: 03-Jan-2020].

[35]“分かち書き.” [Online]. Available: https://green.adam.ne.jp/roomazi/wakatigaki.html.
[Accessed: 03-Jan-2020].

[36]

R. Rehurek and P. Sojka, “Software framework for topic modelling with large corpora,”
in In Proceedings of the LREC 2010 Workshop on New Challenges for NLP
Frameworks, 2010.

[37]

A. M. Turing, “Computing machinery and intelligence,” in Parsing the Turing Test,
Springer, 2009, pp. 23–65.

[38]

I. J. Goodfellow et al., “Generative Adversarial Networks,” pp. 1–9, 2014.

[39]

D. D. Walden, G. J. Roedler, K. Forsberg, R. D. Hamelin, and T. M. Shortell, Eds.,
Systems engineering handbook : a guide for system life cycle processes and activities /,4th ed. Hoboken, New Jersey: Wiley, 2015.

[40]

A. Elgammal, B. Liu, M. Elhoseiny, and M. Mazzone, “CAN : Creative Adversarial
Networks Generating ‘ Art ’ by Learning About Styles and Deviating from Style Norms∗ arXiv : 1706 . 07068v1 [ cs . AI ] 21 Jun 2017,” no. Iccc, pp. 1–22, 2017.

[41]“shiroyagicorp/japanese-word2vec-model-builder: A tool for building gensim word2vec
model for Japanese.” [Online]. Available: https://github.com/shiroyagicorp/japaneseword2vec-model-builder. [Accessed: 24-Jan-2020].

[42]“朝日新聞単語ベクトル：朝日新聞社メディアラボ 人工知能研究の取り組み.”[Online]. Available: https://cl.asahi.com/api_data/wordembedding.html. [Accessed: 24Jan-2020].

[43]“Beautiful Soup: We called him Tortoise because he taught us.” [Online]. Available:
https://www.crummy.com/software/BeautifulSoup/. [Accessed: 17-Jan-2020].

[44]

L. Yu, W. Zhang, J. Wang, and Y. Yu, “SeqGAN: Sequence Generative Adversarial
Nets with Policy Gradient,” Sep. 2016.

[45]“tyo-yo/SeqGAN: SeqGAN with keras.” [Online]. Available: https://github.com/tyoyo/SeqGAN. [Accessed: 17-Jan-2020].

68

[46]

米田航紀, 横山想一郎, 山下倫央, and 川村秀憲, “LSTM を用いた俳句自動生成器の開発,” in 人工知能学会全国大会論文集 第 32 回全国大会 (2018), 2018, pp.
1B2OS11b01-1B2OS11b01.

[47]

C. Gene- and S. Differential, “Towards Extracting Knowledge based on Haiku Text
Analysis † Masami Suzuki, KDDI R&D Laboratories Inc. ‡ Naohiro Minagawa, Naruto
University of Education,” pp. 2007–2008, 2007.

69

謝辞

本研究を進めるにあたり、多くの方々にお世話になりました。この場を借りて、お礼申し上げます。
主査であり指導教員である小木哲朗教授には、研究の右も左もわからない状態だった私に、研究とは何か、研究を進めていく上での方法や考え方など、ゼミの短い時間や研究発表の合間を通じて、数多くのことを学ばせていただきました。特に、研究を深く掘り続けていくことによって、少しばかりの自分らしさ、独自性が出てくる、というアドバイスは、研究を続ける上での大事な道標になりました。そしてなにより、研究をすることの面白さを気づかせていただきました。
心から感謝申し上げます。
また、本論文の副査を努めて下さいました谷口尚子准教授には、研究を仕上げるにあたり、多くの示唆をいただきました。面白い研究であるといっていただけたのは励みになりました。
本研究を進めるにあたり、俳句の使用をご快諾いただきました現代俳句協会様、言語ベクトル
データをご提供いただきました朝日新聞メディアラボの皆様にも、心からお礼申し上げます。
また、小木哲朗研究室の同期の皆様、諸先輩方にも、大変お世話になりました。
時折参加させていただいたヒューマンラボの皆様、そして前野隆司教授には、いつも私にない視座を与えていただき、そしてなにより、短い時間でしたが、かけがえのない時間を過ごさせていただきました。本当にお世話になりました。
共に学び、共に苦しみ、ともに励まし合った 11 期の同期の皆様には、感謝してもしきれません。
この１１期と、同じ時間を過ごすことができて、本当に幸せでした。
そして何より、二年間お世話になりましたシステムデザイン・マネジメント研究科の教員の皆様と職員の皆様にも、深く感謝を申し上げます。
ここには書ききれませんが、多くの皆様にお世話になり、研究を進めることができました。この場を借りてお礼申し上げます。
最後に、暖かく支えてくれた家族に、心から感謝申し上げます。本当にありがとうございました。

70