言語処理学会 第25回年次大会 発表論文集 (2019年3月)

小説を対象とした文書分類手法の検討
三輪拓也

松本忠博

岐阜大学 大学院 自然科学技術研究科{miwa, tad}@.mat.info.gifu-u.ac.jpのが多い．これらの記事は読者に読みやすく，伝わり1 はじめにやすくする必要があるため，客観的な事実や意見を一

文書分類は，与えられた文書を指定したクラスのい定の語彙の範囲で簡潔に述べたものが多く，著者によずれかに分類する問題であり，分類器としてサポートる表現の違いが出にくいため，著者に依存せず，文書中ベクターマシン（SVM）やニューラルネットワークをの語による分類（ジャンルの推定）が比較的行いやすい使用した研究が盛んに行われている．しかし，分類対ものと考えられる．

象はニュース記事などの情報伝達を目的とした文書でだが，芸術作品である小説では表現上の制約が少なあることが多く，小説をジャンルによって自動分類す

く，語の選択，文体は自由であり，編集者等によって大る研究はまだ少ない．

きく修正されることも少ないと想像される．そのため近年では電子書籍や Web 小説などで小説を入手しや小説には，ジャンルごとの特徴だけでなく，著者ごとのすくなり，西原ら [1] の登場人物の関係抽出や高田ら特徴が現れる．また，小説はジャンルが重複する作品[2] のオンライン小説推薦手法など，小説を利用した研が存在するため，従来使用されているデータよりも分究が多く行われるようになった．

類が難しいと予想できる．

小説のジャンル推定の精度が向上すれば，読者は未知の小説に対して好みのジャンルかどうか判断ができ，3 先行研究Web 小説サイトの運営者は作品に対して客観的にジャ馬場ら [3] は，特徴量とする語の種類と重み付けの方ンルを分類できるようになる．しかし，小説は一つの法を変化させて，SVM（one-versus-rest 法）による小作品の中に，SF，ホラー，恋愛など複数の要素が含ま説の分類精度を比較した．語の種類については，すべれる場合が珍しくないなど，ニュース記事等と比較しての語を特徴量とした場合と，内容語（動詞，名詞，副て分類が難しい面がある．

詞，形容詞，未知語）のみを特徴量とした場合，重み付

本研究では小説を対象とした文書分類を行った馬場けについては，0 か 1 の 2 値とした場合と，tf-idf を用ら [3, 4] の手法を基に，文章の前処理，特徴語の抽出方いた場合の合わせて 4 通りの方法で分類を試み，正解法，特徴語の選別などの改良を加え，Web 上から取得率を比較している．

した小説を対象に評価実験を行い，分類精度の比較を行った．

図書内容情報データベース「BOOK」に含まれる小説の要旨を学習データ（4,737 件），ネット小説検索サイト「楽園」から収集した小説をテストデータ（558 件）

2 分類対象としての小説の特徴として，
「童話」
「現代物」
「恋愛小説」「ミステリー」「歴小説は，長さ（短編，長編），発表形式（連載，書き史小説」「SF・ファンタジー」の 6 ジャンルに分類する

下ろし，オンライン），著者，内容（ジャンル，純文学実験を行った結果，内容語のみを特徴量とし，重みを／大衆文学），国（日本文学，英米文学）などによって0/1 とした場合に最も高い正解率（45.4%）を得た．学分類されるが，本研究では一般的なジャンルによる自習データは要旨であり，ジャンルによらず文体はほぼ動分類を考える．

一定で，テストデータである小説の文章とは性質が異文書分類における従来の研究では，ニュース記事やなる．

論文などの情報伝達を目的とした文書を対象としたも― 594 ―

学習データとテストデータの両方に小説を用いた場

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

合と，両方に要約を用いた場合の分類も行っており，結だが，出現頻度が低すぎる特徴語は学習には役に立た

果は，小説の場合は正解率 31.5%（すべての語と tf-idf）ず，ただ学習時間が増加してしまう．また，逆に出現が最高であり，要旨の場合は 77.7%（すべての語と 2頻度が高い単語もあまり学習に役に立たない．よって，値重み）が最高であった．

収集した全作品を対象に，各ジャンルの出現頻度が 30

また馬場ら [4] は，小説のジャンル推定では，学習％以上かつ全体の出現頻度が 80 ％未満の単語を抽出しデータとして，分類対象と同じ性質を持つ少量のデーた特徴語リストを作成し，リストにある単語のみを特タ（小説）と，異なる性質を持つ大量のデータ（要旨）徴語として使用する．

を併用することで，小説だけ，あるいは，要旨だけを学（手法 4）使用する作品の選別

習データとした場合より高い正解率が得られることを小説には複数のジャンル要素を含んだ作品が多く存示した．このとき，正解率の最大値は 58.2% で，すべ在する．複数のジャンル要素を含む小説が学習データての語を特徴量とし，重みを 0/1 としたときに得られに含まれていると，分類精度の低下につながることがている．

予想される．そこで，複数のジャンルの要素を含む作品を学習・テストデータから除外する．

4 分類手法の改良先行研究では学習データとして，大量の要約で少量の小説を補っていたが，本研究では要約は用いず，学習5 評価実験と考察
5.1

実験方法と評価データ，テストデータともに小説を用いる．基本的に形 態 素 解 析 は MeCab*1 ，形 態 素 解 析 用 の 辞 書 は先行研究と同様，小説中の語を特徴量とし，重み付けにmecab-ipadic-NEologd*2 ，分類器は SVM を使用し，tf-idf などを用いて，SVM による分類を行うが，分類５分割のクロスバリデーションで行った．先行研究の精度の向上を図るために，学習データ・テストデータと手法をベースラインとして，提案手法の結果を比較すなる小説に対して以下に述べる処理を加える．

る．なお，先行研究における手法は著者が収集した作（手法１）文書に対する前処理品で行った結果，すべて語と内容語を特徴語として比文章をベクトル化する前に以下の処理を行う．

較したとき，差が 0.2 ％と正解率にほぼ差がなかったため，内容語を特徴語とし，重みは tf-idf とした手法と• 文字種を全角に統一するする．提案手法は，先行研究の手法に手法 1〜3 の改良• 数字を０に置きかえるを行った提案手法 1，手法 1〜4 の改良を行った提案手

文字種が違うと同じ単語でも別の単語として認識し法 2 とする．また，比較のため，先行研究の手法で新てしまうため，全ての単語の文字種を全角に統一する．

聞記事の分類も行う．

数字は全ての文章に共通して多く出現するため，分類5.2

使用データの際に特徴語としてあまり役に立たないと判断した．

小説のデータは小説を読もう*3 から「推理」，「歴史」，

ただし，漢数字の場合，「一緒」のように「漢数字 + 漢「ホラー」，「SF」，「恋愛」，「ファンタジー」の 6 つのジャ字」で構成する特徴語が存在するため，形態素解析の結ンルから合計 23189 作品，新聞記事のデータは 2005 年

果が「数」となる数字のみを置きかえる．

毎日新聞コーパスから「社説」，「国際」，「経済」，「家（手法 2）特徴語の抽出

庭」，「読書」，「芸能」，「スポーツ」，「社会」の 8 つの小説では多くの固有名詞が出現する．だが，固有名ジャンルから 8800 文を収集し，両データとも各ジャン詞は形態素解析用の辞書に存在せず，分割して解析さル 1100 作品・文を実験で使用し，小説は文字数が 3〜れてしまうことが多いと予想できる．よって，連続し10 万字の作品とする．また，提案手法 2 においては，て「名詞」と解析された単語を 1 つの単語として抽出使用する作品を選別したため，各ジャンル 390 作品をする．

使用する．

（手法 3）特徴語リストの作成
小説は基本的に文字数制限がないことや固有名詞が多く出現することから特徴語が多くなると予想できる．

― 595 ―

*1 http://taku910.github.io/mecab/*2 https://github.com/neologd/mecab-ipadic-neologd*3 https://yomou.syosetu.com/

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1 実験結果

表2

表3

定義が難しく，互いの類似性が高いことが挙げられる．

実験方法

正解率（％）

また，同様の手法で行った場合，13 ％の差があるこ

ベースライン

72.62とから小説は新聞記事よりも分類が難しいことが確認

提案手法 179.23

できた．

提案手法 284.36

6 おわりに

新聞記事

85.94
本研究では，学習データとなる小説に対する数字の提案手法 1 による各ジャンルごとの正解率置換などの前処理，特徴語の調整，学習データの選別

ジャンル正解率（％）

推理

80.55

果を確認した．しかし，新聞記事に対して改良前の分

歴史

88.82

類手法を適用した結果と比較すると正解率はまだ低く，

ホラー

75.09

小説のジャンル推定の難しさを再確認する結果となっ

SF

75.64

た．今後は，深層学習など他の機械学習手法の利用，分

恋愛

85.64

類が難しいジャンルへの対応，マルチラベル分類問題

ファンタジー

69.73

としての分類手法の検討などを進めていきたい．などにより分類精度の向上を図り，実験によりその効提案手法 2 による各ジャンルごとの正解率参考文献

ジャンル

正解率（％）

推理88.46[1] 西原弘真，白井清昭，物語テキストを対象とした登歴史

88.97

場人物の関係抽出，言語処理学会第 21 回年次大会

ホラー

76.41

発表論文集，pp.628-631，2015．

SF

80.77

[2] 高田叶子，佐藤哲司，文体の類似度を考慮したオ

恋愛

94.1

ンライン小説推薦手法の提案，DEIM2017 第 9 回ファンタジー

77.44

データ工学と情報マネジメントに関するフォーラム
論文集，B5-2，2017[3] 馬場こづえ，藤井 敦，石川徹也，小説テキストを対5.3

象としたジャンル推定と人物抽出，言語処理学会第実験結果・考察

11 回年次大会発表論文集，S1-5，2005．

実験の結果，表 1 に示すように正解率は改良前と比較して 7 ％向上した．正解率向上の要因として，特徴[4] 馬場こづえ，藤井敦，石川徹也，小説テキスト自動語リストを導入したことが挙げられる．表 2 より，各分類のためのジャンル推定と人物抽出，第 4 回情報

ジャンルの正解率を比較すると「ファンタジー」の正

科学技術フォーラム講演論文集，pp.67–70，2005．

解率が他のジャンルより低いことがわかった．原因としては，「ファンタジー」にはファンタジー要素が強い「ハイファンタジー」と要素が低い「ローファンタジー」があり，「ローファンタジー」の作品が他のジャンルと間違えやすかった．
表 3 より，ジャンルが重複していない作品で分類をしたときの各ジャンルの正解率を比較すると，「ホラー」，「SF」，「ファンタジー」の正解率が他のジャンルより低いことがわかった．これらのジャンルの正解率が低い
原因として，「ホラー」はジャンルの定義が「読者に恐怖感を与える」であり，作中の舞台や世界観などに特徴がないこと，「SF」と「ファンタジー」は両ジャンルの― 596 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.