テキストマイニングツールのログからの実験設定の説明文生成森田 康介 ∗

西村 太一 ∗

亀甲 博貴 †

森 信介 †

概要
実験設定を適切に記述することは，科学技術論文において重要である．本研究では，テキストマイニングツールのログから実験設定の説明文を生成することを目的とする．人文科学分野において広く使用されているKH Coder を用いている論文を対象に収集し，論文中の実験設定の記述と実際のツールの実行ログを再現したもののペアからなるデータセットを構築した．また，このデータセットを用いて論文中の記述から実行ログを推定するモデルを構築し，アノテーションしていない論文に適用することにより自動的にデータセットを拡充した．これらを用いて，実験ログから説明文を生成するモデルを構築した．

操作を説明する文を生成することができれば，論文1 はじめにの書き手に対する執筆の補助になり，読み手の実行

科学技術論文の実験において，その実験設定を正内容の理解度と再現性が高まる．反対に，論文に記しく記述し残すことは重要である．なぜなら，実験されている操作の説明文からテキストマイニング設定を残すことによって論文を書いた本人だけでなツールのログを生成することができれば，実行内容く，論文を読んだ人間も行った実験の再現が容易にの再現がより容易になる．

なるからである．近年では，あらゆる分野で論文の元来は人間が作成した規則やテンプレートをもと再現性が問題となる事例が発生しており，ますますにしたコンピュータによる文の自動生成が考えられその重要性が高まっている．てきた [1, 2]．しかし，自然な文を自動で生成するテキストマイニングとは，文章を解析して情報をためには，膨大な規則の構築が必要となるという欠取り出す分析方法のことである．例えば，語の出現点がある．この問題を解決するために，近年では深頻度や同時に出現（共起）しやすい単語などの情報層学習を利用したアプローチが注目されている．深から共起ネットワークや対応分析といった分析を施

層学習のアプローチが十分な性能を発揮するためにすことにより，文のテーマやトピックを探ることがは規模の大きいデータセットを用意しなければなできる．現在，テキストマイニングツールが用いららず，その作成にはコストがかかるという問題があれている論文は社会学や文学をはじめとした幅広いる．これを解決するために，データセットを自動で分野で執筆されている．

拡張する手法がとられてきた [3, 4]．

本研究では，それらの論文の執筆に焦点を当て本研究ではテキストマイニングツールを利用する

る．一般的に，ツールの利用にあたってはどのようことを想定し，仮想的なログを定義する．そして，な処理が行われたかを示すログが生成される．テキ

固有表現認識とテキスト分類を用いて半自動的にストマイニングツールにおいてもログは生成されログと説明文のペアからなるデータセットを構築

る．テキストマイニングツールのログから行なったする．構築したデータセットで T5 [5] を学習させ，ログから操作の説明文の生成と，その反対の操作である説明文からログの生成を行う．生成した説明文∗ 京都大学大学院情報学研究科について，文の自動評価尺度を用いて評価を行う．

† 京都大学学術情報メディアセンター

1ログ：共起ネットワーク(最小出現数=3, 上位=60, 最小スパニングツリーだけを描画=on)

トを出力することでデータセットを拡張した [3]．

Qader らはデータの値しかないサンプルに対して実験設定の説明文： KH coderの共起ネットワーク機能を用い、最小出現数を3回および上位60語に設定し、結果図は最小スパニングツリーを強調表示している。

図1

一度テキストに変換した後，再びデータに変換し損失を計算することによりデータセットを拡張する半教師ありの手法を考案した [4]．

入出力の例

これらの結果を用いて，van der Lee らはデータ拡張と疑似ラベリングの 2 つの半教師あり学習の手
ここで，データセットの拡張の有無による評価結果法を 3 種の Data-to-Text のデータセットに適用すの違いについて考察する．その結果，データセットることで拡張したのち，それぞれの組み合わせにおを拡張することで，性能が向上したことが明らかにける自動評価・人手での評価での違いを T5 を用いなった．て検証し定量的にまとめた [12]．

2 関連研究3 提案手法He らは実際のログを処理する一連の流れを説明

3.1

データセットの手動作成し，各工程における手法を調査しまとめている [6]．

最初に，小規模なデータセットを人手で作成すログの処理の工程の中の Log Parsing とは，ログをる．本研究では，テキストマイニングツールとして表形式に加工する処理のことである．

KH Coder [13] を用いる．まず，KH Coder を用い記号の組み合わせや表などデータとして記述されるにあたって，使用者が変更可能な設定を予めリスたものをテキストで説明することは Data-to-Text

トアップした．と呼ばれるタスクとして扱われている [7, 8]．近年

次に，KH Coder を用いた論文のリスト*1 からの深層学習による手法として，Liu らは単語の情2021 年の論文をダウンロードした．そして，それ報だけでなく表における位置を組み込んだ Dual-らの論文から KH Coder でテキストマイニングをattention の モ ジ ュ ー ル を 考 案 し た [9]．Pudup-行った際の操作の説明にあたる文を抽出した．例

pully らは入力の表のどの部分を出力するかをデを図 1 の実験設定の説明文に示した．共起ネット

コーダーに示すための Content Selection と Con-ワークか対応分析を使用している論文がほとんどでtent Planning というモジュールを考案した [10]．

あったため，どちらかが行われている論文のみを対

これらの先行研究ではパイプライン式に RNN や象にした．

Attention を使用したモジュールを組み合わせたエ

その後，リストアップした設定をもとに説明文にンコーダー・デコーダーモデルを提案している．一

対応するログを擬似的に人手で作成した．ログの先方で，Kale らは，そのような従来のパイプライン頭部分には分析方法を記述し，続く括弧の中には各式のモデルだけでなく BERT や GPT-2 と比較し設定項目に対する値が「(設定項目)=(値)」というても，T5 [5] を用いたモデルは Data-to-Text のタ形式でコンマによって区切って記述されるようにロスクにおいてより高いスコアを獲得できることを示

グの記述方法を定めた．ログの例を図 1 に示した．

した [11]．

ここで作成したデータセットの概要を表 1 に記載

深層学習のモデルが高いパフォーマンスを発揮する．

するためには大きいサイズのデータセットが必要である．そのため，近年では Data-to-Text のタスクにおいても，データセットの拡張が行われてきた．Chang らはデータのスロットの値を置き換えることに加えて，言語モデルを使用し多様なテキス*1 https://khcoder.net/bib.html

2

文分割

論文ファイル・KH coderの共起ネットワーク機能を用い、最小出現数を3回および上位60語に設定し、結果図は最小スパニングツリーを強調表示している。

図2

・共起ネットワーク(最小出現数=3, 上位=60, 最小スパニン
グツリーだけを描画=on)

自動でデータセットを構築する一連の流れ

対応分析

合計

192
213

3840

230
253

操作数

分析手法の予測・(最小出現数=3, 上位=60, 最小スパニングツリーだけを描画=on)

共起ネットワーク
論文数

表1

固有表現抽出み込む．

2. 読み込んだ論文に対して spaCy*3 の文分割機能を用いて自動で文単位に分割する．

手動作成したデータセットの概要

3. 分割した文それぞれに対して NER のモデルを適用し，固有表現を予測する．これによって固3.2
3.2.1

有表現が予測された文と固有表現のペアを得るデータセットの自動作成ことができる．

固有表現抽出を用いた設定部分の自動作成

4. 予測された固有表現をはじめに定義したログの次に，手動作成のデータセットをもとに，データ形へとまとめ，整える．

セットの自動拡張を行う．擬似的に定義したログには実験設定の情報が含まれている。そのようなログ

この手順により，509 件の論文から 5,291 個の固のデータセットを自動で作成するために，どのよう有表現が抽出された．同じ文に対する固有表現をまな設定で分析を行ったのかを表す表現を説明文からとめると，4,087 対の文とログの括弧部分の組みが抽出する固有表現認識（NER）を行う．まず，手得られた．このようにして，自動で説明文とそれに動作成のデータセットの説明文を MeCab [14] を用対応したログの括弧部分が得られる．

いて単語分割した．そして，説明文に含まれる実験

Flair の固有表現の予測において，確信度を示す設定を固有表現とし，単語に IOB 形式でアノテースコアも出力される．学習するデータの質による生ションを施した．表 2 にアノテーションした固有成されるテキストの違いを検証するために，スコア表現の一覧を示す．

をしきい値として 0 から 0.9 まで 0.1 刻みで値を変Flair [15] を用いて固有表現認識器を学習した．

化させ，それより小さい確信度の固有表現を除外す

学習にあたっては，Flair 内で提供されている日本ることで異なるデータセットを作成する．これは，語の文字単位の事前学習済みの埋め込みベクトルをスコアを確信度としてみなし，確信度が低いものは使用した．

データとして適切ではないという仮定に基づいてこのようにして得られた学習済みモデルを利用行った．それぞれのデータセットにおける全体の固し，2020 年の論文 509 件に対し，以下の手順で固有表現の数と文とログの組の数を表 4 に示す．

有表現認識を行なった．

3.2.2

BERT を用いた分析方法の予測

次に，ログの分析方法部分のアノテーションを自*2

1. pdfminer を用いて論文の pdf ファイルを読動化するために，文からその分析方法を予測するモ*2 https://pdfminersix.readthedocs.io/en/*3 https://spacy.io/

latest/3

タグの種類タグの説明

出現数

MINAPP
JAC
TOP
JACNUM
EXT
BOLD
SUBG
BUBBLE
PART
UNIT
TREE
MINDOC
DIF
ORI
MAXAPP
STAN
COS
TYPE
BUBSIZEMAXDOC

語の最小出現数を表す

79
77
69
33
33
25
2422
11108843332111417

Jaccard 係数を使用したことを表す
共起関係の強い語の上位何件まで表示するかを表す

Jaccard 係数の最小値を示す外部変数を表す
共起関係の強さによって線の太さを変えることを表す
サブグラフ検出の種類を表す
バブルプロットを使用したことを表す
分析対象の品詞を表す
分析単位を表す
最小スパニングツリーのみを描画したことを表す
最小文書数を表す
差異が顕著な語を分析に使用することを表す
原点から離れた語のみラベル表示することを表す語の最大出現数を表す係数の標準化を表す
コサイン類似度を使用したことを表す
共起関係の種類を表す
バブルプロットの大きさを表す
最大文書数を表す

合計
表2

共起ネットワーク・対応分析における固有表現デルを作成する．固有表現抽出によって自動で作成したデータセットのうち，18 件の論文にあたる 205件のペアに対してその分析方法を人手でアノテー

precision

recallmacro-f1

support

いずれでもない

0.909

1.000

0.952

20

共起ネットワーク

1.000

0.957

0.978

23

対応分析

1.000

0.750

0.857

4

ションした．さらに，このデータセットに，はじめ

表 3 BERT による分析手法の分類の結果に手動で作成したデータセットのペア 253 件も加え，合計で 458 件のデータセットを作成した．
固有表現抽出では分析とは関係のない文も固有表的な学習済みモデルとした．この時のテストデータ現として予測され，取得される場合がある．そのたにおける accuracy は 0.9574 であった．その他のめ，共起ネットワーク，対応分析，それ以外の 3 ク

結果を表 3 に示す．

ラスの分類を行う問題として学習させる．

このモデルを自動で作成した固有表現抽出によりモデルは transfromers の BERT [16] を用いた．

作成したデータセットに適用した．この分類によ

事前学習済みモデルには東北大学乾研究室のモデり，文が共起ネットワークか対応分析であると分類

ル cl-tohoku/bert-large-japanese*4 を用い，ファイされたデータのログの先頭に分析方法の記述を追ンチューニングを行った．データセットを学習デー加したものを最終的なデータセットに用いる．そのタ: 検証データ: テストデータで 8:1:1 に分割したデータ数を表 4 の分類後のデータ数に示す．

後，学習データで 20 エポック学習させ，そのうち3.3

検証データにおける損失が最も小さいモデルを最終テキストとログの生成得られたデータセットを使用して，ログを入力としたテキスト生成とテキストを入力としたログ*4 https://huggingface.co/cl-tohoku/

生成を行う．ここではモデルとして T5 [5] を用い

bert-large-japanese4θ = 0.0

θ = 0.1

θ = 0.2

θ = 0.3

θ = 0.4

θ = 0.5

θ = 0.6

θ = 0.7

θ = 0.8

θ = 0.9

固有表現の数

5291

5279

5249

5217

5152

5038

4833

4361

3263

1498

ペア数（文の数）

4087

4077

4058

4044

4016

3950

3819

3492

2665

1221

分類後のデータ数

718

718

718

717714708691657557374

表4

自動作成したデータの概要

る．T5 とは”Text-to-Text Transfer Transformer”

トのものを用いた．評価指標には，BLEU [19] とを略した名称である．入力と出力の両方をテキス

METEOR [20] を用いる．交差検定におけるテス

トに統一し，Transformer[17] をベースとして大規トセットでのスコアの平均値を計測した．

模な言語コーパスを用いて学習させる．その後，転比較のため，単純な規則でログから説明文を生成移学習を行うことで質問応答や文書分類などのさするシステムを作成した．具体的なアルゴリズムとまざまなタスクを解くことができるモデルである．

しては，ログの形式が「分析方法 (設定項目=値, 設

Data-to-Text のタスクの中でも T5 の有用性は示定項目=値...)」であることを用いて「(設定項目) をされていることから [11]，今回はこれを用いること(値)，」という文字列を繰り返し，最後の設定項目まにした．

で達した場合「とし (分析方法) を行った」と出力する．例えば，「共起ネットワーク (最小出現数=3,4 実験
4.1

上位=60, 最小スパニングツリーだけを描画=on)」というログが入力として与えられた場合，「最小出T5 を用いたログからの説明文生成作成したデータセットをもとに，ログからの説現数を 3，上位を 60，最小スパニングツリーだけを明文生成を行う．モデルには T5 を用いる．日本

描画を on とし共起ネットワーク分析を行った．
」と語の事前学習済みモデルとして，園部 勲氏によりなる．
表 5 に結果を示す．これらの結果から，BLEU-transformers に公開されている sonoisa/t5-base*5

japanese を使用した．この事前学習済みモデル

1 に関しては手動で作成したデータセットのままを作成したデータセットでファインチューニングのスコアが高いことがわかる．一方で，BLEU-2，する．

BLEU-3，BLEU-4，METEOR に関しては固有表

本研究で人手で作成したデータセットのサイズは現抽出のしきい値 θ を 0.3 にして自動作成したデー

大きくない．そのため，以下の手続きに則って交差タを追加した場合が最もスコアが高かった．また，検定を実施した．まず，手動で作成したデータセッ

テンプレートと比較するとどのしきい値であってもトをランダムに 8:2 に訓練データおよびテストデー

BLEU では大きい差ができていることがわかる．

タと検証データに分割した．その後，前者のデータ特筆すべき点として，どのしきい値の場合でも何を 9:1 に分割して交差検定を行った．この際，後者もデータを加えない場合と比較して METEOR スの検証データを用いて BLEU-4 の性能が最も高いコアが高くなっている．
また，BLEU-2 と BLEU-3，BLEU-4，METEORモデルを評価に用いた．また，評価結果は交差検定のスコアが固有表現抽出でのしきい値が 0.3 の場合の平均値を示している．
パラメータの更新には Adam [18] を用い，学習率に最も高いという結果からデータの量に加えて擬似は 3e-4，ϵ は 1e-8 とした．学習は 50 エポック行っ

データに対してもある程度以上の質が求められていた．その他のハイパーパラメータの設定はデフォルると考えられる．しかし，しきい値が 0.0 から 0.5の時に見られるように，ほとんど同じデータセット*5 https://huggingface.co/sonoisa/の大きさであるにもかかわらず，しきい値が上がる

t5-base-japanese5θ = 0.0
θ = 0.1
θ = 0.2
θ = 0.3
θ = 0.4
θ = 0.5
θ = 0.6
θ = 0.7
θ = 0.8
θ = 0.9
オリジナル
ルールベース

BLEU-1
21.10
18.70
18.57
21.23
21.11
20.74
20.77
17.97
21.03
21.73
22.01
10.00
表5BLEU-2
13.70
12.70
12.77
14.69
14.20
13.23
14.06
12.08
14.10
14.49
13.60
6.10

BLEU-3
9.31
9.16
9.38
10.74
10.26
8.97
10.13
8.45
10.20
10.14
8.98
3.91

BLEU-4
6.70
6.94
7.21
8.18
7.84
6.45
7.75
6.24
7.78
7.47
6.16
2.75

METEOR
23.13
24.40
22.52
25.73
24.71
22.07
25.60
23.65
24.86
23.45
21.27
20.49

ログから生成した説明文の評価と必ずしもスコアが高くなるという結果が得られた

項目と値が予測と完全に一致している割合を recall

わけではない．この原因については，固有表現抽出として計算した．例えば，生成されたログの設定を行なっているのも深層学習のモデルであることか

項目を「(最小出現数=3, 上位=60)」，正解のログのら，しきい値が絶対的なものではないということが設定項目を「(最小出現数=3, 上位=60, 最小スパニ考えられる．

ングツリーだけを描画=on)」とすると，precision

4.2

T5 を用いた説明文からのログ生成は 2/2 となり，recall は 2/3 となる．precision と次に，テキストからログを生成する．4.1 項の実

recall の調和平均を f1-options とし表に掲載した．

験から入力と出力を入れ替えた学習を行う．ここで結果を表 6 に掲載した．これらの結果から，全体は，検証データにおける損失関数の値が最も小さい的な傾向としてはログを生成する場合においても今モデルを採用した．その他の設定については前項と回のデータ拡張の手法によってスコアが著しく低下同じにしたまま実験を行った．ログには分析の方法することはないことがわかった．f1-method においと設定を表す部分が存在するが，これを分けて評価ては θ = 0.0 の場合に最もスコアが高く，そのほかを行う．の場合ではオリジナルのデータセットのスコアを超分析方法については，ログの先頭部分に記述するえることはなかった．さらに，説明文の生成の場合ように定義している．生成されたログからこの部分と同様にしきい値が高くなるにつれてスコアが高くを抜き取り，正解データに対する分類精度を一般的なる傾向は確認できなかった．

な分類タスクと同様に計算した．ここでは F1 の値一方で，f1-options においてはすべてのしきい値を計算し，f1-method として表に掲載した．

でオリジナルのデータセットよりもスコアが高く分析の設定については，ログの先頭部分の後に続なった．しかし，こちらもしきい値とスコアの関連く括弧の中に記述するように定義している．括弧の性は確認できなかった．

中には各設定項目に対する値が「(設定項目)=(値)」

なお，生成されたログの形式が定義したものと合という形式で区切り文字コンマにより記述されてい致しない場合があった．ここでは「共起ネットワー

る．これら設定項目と値の組みの１ブロックを予測ク」「対応分析」のどちらかの文字列で始まり，それとみなし，スコアを計算する．具体的には，予測さに続いて「(」で始まり「)」で終わるものでなかっれたブロックのうち正解と設定項目と値が完全に一たものをエラーとして計測する．表 6 にその数を致している割合を precision とし，正解のうち設定記載する．なお，f1 の値はそのようなデータは除外

6θ = 0.0

θ = 0.1

θ = 0.2

θ = 0.3

θ = 0.4

θ = 0.5

θ = 0.6

θ = 0.7

θ = 0.8

θ = 0.9

オリジナル

f1-method

0.989

0.959

0.970

0.953

0.964

0.953

0.964

0.953

0.959

0.958

0.982

f1-options

0.750

0.735

0.757

0.760

0.759

0.761

0.758

0.735

0.745

0.744

0.690

エラー数

0122

1

01

1

1126

表6

説明文から生成したログの評価

して計算した．エラーの割合はしきい値につき平均

natural language generation: A false oppo-

して全テストデータ 202 件中 3.2 件であった．しかsition?

し，すべてのエラーのうち約 74% である 26 件はオ

No. 1, pp. 15–24, 2005.

Computational linguistics, Vol. 31,

リジナルのデータセットのみを訓練データとした場[3] Ernie Chang, Xiaoyu Shen, Dawei Zhu, Vera合であった．この結果からデータ数の増加により正Demberg, and Hui Su. Neural data-to-text

しい形式の学習がより可能になることがわかる．

generation with lm-based text augmentation. arXiv preprint arXiv:2102.03556, 2021.

5 おわりに[4] Raheel Qader, François Portet, and Cyril

本稿では，テキストマイニングの際に出力されるLabbé.

Semi-supervised neural text gen-

ログを仮想的に定義し，そのログからの説明文生成

eration by joint learning of natural lan-とその反対の操作である説明文からのログの生成

guage generation and natural languageを行なった．これを深層学習的なアプローチで行う

understanding models.

にあたって少量のデータセットを補完するための，arXiv:1910.03484, 2019.

arXiv preprint

データの構造性を利用した固有表現認識による半自[5] Colin Raffel, Noam Shazeer, Adam Roberts,

動のアノテーション手法も提案した．半自動で構築

Katherine Lee, Sharan Narang, Michaelしたデータセットを用いた実験において，拡張前のMatena, Yanqi Zhou, Wei Li, Peter J Liu,

データセットとの自動評価尺度による比較も行な

et al. Exploring the limits of transfer learn-い，その影響を調査した．その結果，今回用いたほing with a unified text-to-text transformer.

ぼ全ての指標で最もスコアが高くなるのはデータ

J. Mach. Learn. Res., Vol. 21, No. 140, pp.

セットを拡張した場合であることが確認できた．特

1–67, 2020.に生成した説明文の BLEU-3，BLEU-4，生成した[6] Shilin He, Pinjia He, Zhuangbin Chen,

ログのオプションで今回の手法の有用性が確認でき

Tianyi Yang, Yuxin Su, and Michael R Lyu.

た．また，ログの生成において，オリジナルのデー

A survey on automated log analysis for relia-

タセットだけでは出力すべき形式を十分に学習でき

bility engineering. ACM Computing Surveysていなかったことからもデータ拡張の有用性が確認(CSUR), Vol. 54, No. 6, pp. 1–37, 2021.

できた．

[7] Ernie Chang, Jeriah Caplinger, Alex Marin,
Xiaoyu Shen, and Vera Demberg.

参考文献[1] EliGoldberg,

Dart:

A lightweight quality-suggestive data-to-text
NorbertDriedger,andannotation tool. In Proceedings of the 28th

Richard I Kittredge. Using natural-language

International Conference on Computational

processing to produce weather forecasts.

Linguistics: System Demonstrations, pp. 12–IEEE Expert, Vol. 9, No. 2, pp. 45–53, 1994.

17, 2020.

[2] Kees Van Deemter, Mariët Theune, and[8] Thiago Castro Ferreira, Chris van der Lee,

Emiel Krahmer. Real versus template-based

Emiel Van Miltenburg, and Emiel Krahmer.
7

Neural data-to-text generation: A compari-training of deep bidirectional transformers

son between pipeline and end-to-end archi-for language understanding. arXiv preprint

tectures. arXiv preprint arXiv:1908.09022,

arXiv:1810.04805, 2018.

2019.

[17] Ashish Vaswani, Noam Shazeer, Niki Par-

[9] Tianyu Liu, Kexiang Wang, Lei Sha, Baobaomar, Jakob Uszkoreit, Llion Jones, Aidan NChang, and Zhifang Sui. Table-to-text gen-Gomez, Lukasz Kaiser, and Illia Polosukhin.

eration by structure-aware seq2seq learning.

Attention is all you need. Advances in neu-

In Thirty-Second AAAI Conference on Arti-

ral information processing systems, Vol. 30,ﬁcial Intelligence, 2018.

, 2017.

[10] Ratish Puduppully, Li Dong, and Mirella La-[18] Diederik P Kingma and Jimmy Ba. Adam:pata. Data-to-text generation with content

A method for stochastic optimization. arXiv

selection and planning. In Proceedings of thepreprint arXiv:1412.6980, 2014.

AAAI conference on artiﬁcial intelligence,[19] Kishore Papineni, Salim Roukos, Todd

Vol. 33, pp. 6908–6915, 2019.
[11] Mihir Kale and Abhinav Rastogi.

Ward, and Wei-Jing Zhu. Bleu: a method for
Text-automatic evaluation of machine translation.

to-text pre-training for data-to-text tasks.

In Proceedings of the 40th annual meeting ofarXiv preprint arXiv:2005.10433, 2020.

the Association for Computational Linguis-[12] Chris van der Lee, Thiago Castro Ferreira,tics, pp. 311–318, 2002.

Chris Emmery, Travis Wiltshire, and Emiel
Krahmer.

[20] Satanjeev Banerjee and Alon Lavie.

Me-Neural data-to-text generation

teor: An automatic metric for mt evaluationbased on small datasets: Comparing thewith improved correlation with human judg-

added value of two semi-supervised learningments. In Proceedings of the acl workshop on

approaches on top of a large language model.

intrinsic and extrinsic evaluation measures

arXiv preprint arXiv:2207.06839, 2022.

for machine translation and/or summariza-[13] 樋口耕一. テキスト型データの計量的分析―2

tion, pp. 65–72, 2005.

つのアプローチの峻別と統合―. 理論と方法,

Vol. 19, No. 1, pp. 101–115, 2004.
[14] Taku Kudo. Mecab: Yet another part-ofspeech and morphological analyzer. http://mecab.sourceforge.net/, 2005.
[15] Alan Akbik, Tanja Bergmann, Duncan
Blythe, Kashif Rasul, Stefan Schweter, andRoland Vollgraf.

FLAIR: An easy-to-use

framework for state-of-the-art NLP.

In

NAACL 2019, 2019 Annual Conference of
the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54–59, 2019.
[16] Jacob Devlin, Ming-Wei Chang, Kenton
Lee, and Kristina Toutanova. Bert: Pre8