テキストアナリティクスツールの操作ログからの実験設定の説明文生成森田康介 1

西村太一 1 亀甲博貴 2 森信介 22 京都大学 学術情報メディアセンター{morita.kosuke.45c,nishimura.taichi.43x}@st.kyoto-u.ac.jp{kameko,forest}@i.kyoto-u.ac.jp

1 京都大学大学院 情報学研究科

テキスト

概要
本研究では，テキストアナリティクスツールの操作ログと実験設定の説明文の相互生成を目的とする．人文科学分野において広く使用されている
KH Coder を使用した論文を対象に収集し，論文中の実験設定の記述と実際のツールの操作ログを再現したものからなるデータセットを構築した．また，このデータセットを用いて論文中の記述から操作ログを推定するモデルを構築し，アノテーションしてテキストアナリティクス
ツール

分析結果

実験設定の説明⽂
KH coderの共起ネッ
トワーク機能を⽤い、最⼩出現数を5回および上位60語に設定し、結果図は最⼩スパニングツリーを強調表⽰している。

操作ログ
説明⽂⽣成モデル<MINAPP>

5

<TOP>

60

<TREE>

on

図 1 利用シーンの例．

いない論文に適用することやデータの値を置換することで自動的にデータセットを拡張した．これらをのことである．テキストアナリティクスツールは人用いて，操作ログと説明文を相互生成するモデルを文科学の分野で頻繁に使用されているため，我々は構築した．

その操作の説明文を生成することで貢献ができると

1

はじめに考えた．利用シーンの例を図 1 に示した．
本研究の課題のように，グラフや表などのデータ科学技術論文の実験においてその実験設定を正しとして記述されたものについてテキストで説明する

く記述し残すことは，論文を書いた本人だけでなくタスクは Data-to-Text と呼ばれる [3]．元来は規則や論文を読んだ人間も行った実験の再現が容易になる

テンプレートをによる手法が考えられてきた [4, 5]

ことから重要である．近年では，あらゆる分野で論が，自然な文を自動で生成するためには，膨大な規文の再現性が問題となる事例が発生しており [1, 2]，則の構築が必要である．そのため，近年では深層学習を利用した手法が注目されている [6, 7]．深層学ますますその重要性が高まっている．
科学実験においてはツールを使用して研究するこ習モデルが十分な性能を発揮するためには大規模なとが多いが，一般的にツールの利用にあたってはどデータセットを用意しなければならず，その作成にのような処理が行われたかを示す操作ログ（以下ロはコストがかかるという問題がある．これを解決すグと表記）が出力される．実験に使用したツールのるために擬似的にデータを生成してデータセットをログから行なった操作の説明文の生成ができれば，自動で拡張する手法がとられてきた [8, 9, 10]．

論文の書き手に対する執筆の補助になり，読み手の本研究ではテキストアナリティクスツールを利用実行内容の理解度と再現性が高まる．反対に，論文に記されている操作の説明文からツールのログの生した際の仮想的なログを定義し，データセットを構築する．さらに，3 種のデータ拡張手法を導入する．

成ができれば，実行内容の再現がより容易になる．

その後，T5 [11] を学習させ，ログから操作の説明文

本研究では，様々なツールの中でもテキストアナの生成と説明文からのログの生成を行う．生成したリティクスツールに焦点を当てる．テキストアナリ

説明文とログについて，自動評価尺度による評価をティクスとは，文章を解析して情報を取り出す分析行う．ここで，データセットの拡張の有無やその手法による評価結果の違いについて考察する．

2

タスクの定義2.1

使用するツール

では，(1) 擬似ラベルに基づく手法，(2) 値の入れ替えによる手法，(3)2 つの手法の併用，の 3 種の拡張手法を用いる．本章では各手法について記述する．

本研究では，テキストアナリティクスツールとし

3.1

擬似ラベリングて KH Coder [12] を用いる．KH Coder を使用した文

ここでは，新たにダウンロードした論文ファイル

献は累計で 5,686 件に上っており，社会学や文学をに固有表現認識とテキスト分類によって自動的なアはじめとした人文情報学の幅広い分野で使用されてノテーションを行う．

いるツールである．
3.1.1

アノテーション

2.2

論⽂

KH coderの共起ネットワーク機能を⽤い、最⼩出現数を5回および上位60語に設定し、結果図は最⼩スパニングツリーを強調表⽰している。

る固有表現認識（NER）を行う．まず，手動作成の共起ネットワーク(最⼩出現数=5, 上位=60, 最⼩スパニングツリーだ
けを描画=on)

操作ログ

実験設定の説明⽂

まず，使用者が変更可能な設定を予めリストアップした．次に，KH Coder を用いた論文のリスト1）から 2021 年の論文をダウンロードした．そして，それらの論文からテキストマイニングを行った際のKH Coder での操作の説明にあたる文を抽出した．
例を図 2 の実験設定の説明文に示した．共起ネット
ワークか対応分析を実施している論文がほとんどであったため，どちらかの説明文のみを収集した．
その後，設定のリストをもとに説明文に対応するログを人手で作成した．ログの先頭部分には分析方法を記述し，続く括弧の中には各設定項目に対する値が「(設定項目)=(値)」という形式でコンマによって区切って記述されるようにログの記述方法を定めた．ログの例を図 2 に示した．ここで作成したデー
タセットの概要を表 1 に記載する．
対応分析
3840

合計230253

表 1 手動作成したデータセットの概要．

3分割した．そして，説明文に含まれる実験設定を固有表現とし，IOB 形式でアノテーションを施した．
付録 A にその固有表現の種類と数の詳細を示す．
Flair [14] を用いて固有表現認識モデルを作成し最初に，少量のデータセットを人手で作成する．

論文数
データ数

データセットの説明文を MeCab [13] を用いて単語た．学習にあたり，Flair 内の日本語の文字単位の事

図 2 アノテーションの例．

共起ネットワーク
192
213

固有表現認識ここでは，実験設定の情報を説明文から抽出す

データ拡張手法

前学習済みの埋め込みベクトルを使用した．テスト
セットにおける予測結果の詳細を付録 B.1 に示す．
得られたモデルを利用し，人手でダウンロードした 2020 年の論文と Web スクレイピングによってダウンロードした 2019 年以前と 2022 年の論文計 2,132
件に対して固有表現認識を行なった．まず，論文の pdf ファイルを pdfminer2）で読み込み，spaCy3）の文分割機能を用いて自動で文単位に分割する．その後，分割した文それぞれに対して NER のモデルで固有表現を予測し，定義したログの形へ整形した．
Flair の固有表現の予測においては確信度を示すスコアも出力される．ノイズが多いデータはモデルの性能向上を妨げるとされていることから [15]，しきい値を 0.5 に設定し，それより小さい確信度の固有表現を除外した．
3.1.2

テキスト分類

次に，文から分析方法を予測するモデルを作成する．固有表現抽出では分析とは無関係の文からも固有表現が予測される場合がある．そのため，共起ネットワーク，対応分析，それ以外の 3 クラスの分類タスクとして扱う．2020 年の 18 件の論文から固深層学習モデルが十分な性能を発揮するために有表現が予測された 205 文に対してその分析方法をは大量のデータが必要となるが，人手でのアノテーションは費用や時間の点で高コストである．その問人手でアノテーションした．さらに，これらのデータに手動で作成したデータを加え，データセットを題に対処するためにデータ拡張を実施する．本研究1） https://khcoder.net/bib.html

2） https://pdfminersix.readthedocs.io/en/latest/3） https://spacy.io/

作成する．

を 使 用 し た．Raﬀel ら [11] と 同 様 に パ ラ メ ー タ

モデルには BERT [16] を用いた．事前学習済みモの 更 新 に は Adafactor [18] を 用 い，学 習 率 は 1e-3，

デルには東北大学乾研究室のモデル cl-tohoku/bert-scale parameter を false, relative step を false と し た．

base-japanese-whole-word-masking4）を用い，ファインバッチサイズを 8 とし 100,000 ステップの学習をチューニングを行った．データセットを学習デー行った．1,000 ステップごとに

タ: 検証データ: テストデータで 8:1:1 に分割した後，BLEU-4 の値が最も高いモデルで評価を行う．その学習データで 20 エポック学習させ，そのうち検証他のパラメータはデフォルトのものを用いた．

validation を行い，データにおける損失が最も小さいモデルを最終的な本研究で人手で作成したデータセットのサイズは学習済みモデルとした．この時のテストデータにお大きくない．そのため，以下の手続きで交差検定をける結果の詳細は付録 B.2 に示す．

実施した．まず，手動で作成したデータセットをラこのモデルを 3.1.1 項で得られた文に適用した．

ンダムにシャッフルした後，4:1 に「訓練データおよ

この分類により，文が共起ネットワークか対応分析

び検証データ」と「テストデータ」に分割し，交差であると分類されたデータに対して分析方法の記検定を行う．さらに，前者のデータは学習データと述を追加したものを最終的なログとする．これにより，平均して 3,339 のデータが作成された．

検証データに 4:1 に分割する．この訓練データと検証データを用いてデータセットを拡張する．なお，

3.2

スワップ

評価結果は交差検定における平均値を示している．
BLEU に 代 表 さ れ る 自 動 評 価 尺 度 は 人 間 に よ

ここでは，先行研究 [8, 9] と同様に説明文とログる 評 価 と 相 関 が あ る こ と が 示 さ れ て い る [19]．の設定に関する値を置換することによりデータ拡張

そ の た め，説 明 文 の 評 価 指 標 に は BLEU [20] とを行う．具体的なアルゴリズムは付録 C に示す．こMETEOR [21], BERTScore[22] を用いる．また，単純れにより，平均して 1,620 のデータが作成された．

な規則でログから説明文を生成するシステムも作成

3.3

ハイブリッド3.1 節と 3.2 節で作成したデータセットを結合させて学習を行う．

4

実験

4.1

実験設定

し比較を行う．具体的な生成方法は付録 D に示す．
ログには分析の方法と設定を表す部分が存在す
るが，これを分けて評価を行う．まず，生成されたログから分析方法についての部分を抜き取り，正解データに対する分類精度を一般的な分類タスクと同様に計算した．その F 値を F1-method として表に掲載した．続いて，分析の設定については括弧の中に各設定項目に対する値が「(設定項目)=(値)」とモデルには T5 [11] を用いる．Data-to-Text のタスいう形式で区切り文字コンマにより記述されていクに対して T5 の有用性は示されていることからる．これら設定項目と値の組の１ブロックを予測[17]，本研究ではこれを用いることにした．とみなし，スコアを計算する．具体的には，予測のT5 は入力に preﬁx と呼ばれる語句を付加すること

うち正解と設定項目と値が完全に一致している割でタスクを識別し，１つのモデルで複数のタスクを合を Precision とし，正解のうち設定項目と値が予実行することが可能である [11]．本研究でも，preﬁx

測と完全に一致している割合を Recall として計算を用いたマルチタスク学習を行う．具体的にはログした．例えば，生成されたログの設定項目を「(最からの説明文の生成には入力の先頭に「translate log

小出現数=3, 上位=60)」，正解のログの設定項目をto text : 」を，説明文からのログの生成には「translate「(最小出現数=3, 上位=60, 最小スパニングツリーだ

text to log : 」を付加する．全ての訓練データに対しけを描画=on)」とすると，Precision は 2/2 となり，てこれらの 2 通りの入出力を作成する．さらに，シRecall は 2/3 となる．Precision と Recall の調和平均

ングルタスクの場合でも実験を行い比較する．

を F1-options とし計算した．さらに，「共起ネット

事前学習済みモデルには園部 勲氏により transformers に公開されている sonoisa/t5-base-japanese5）

ワーク」「対応分析」のどちらかの文字列で始まり，それに続いて「(」で始まり「)」で終わるものでな

4） https://huggingface.co/cl-tohoku/
bert-base-japanese-whole-word-masking5） https://huggingface.co/sonoisa/t5-base-japanese

かったものをログの形式のエラーとして計測する．
なお，F 値の計算にはエラーデータは除外している．

ルールベース
追加なし
追加なし (マルチタスク)
擬似ラベリング
擬似ラベリング (マルチタスク)
スワップ
スワップ (マルチタスク)
ハイブリッドハイブリッド (マルチタスク)

BLEU-1
11.12
36.55
36.98
33.32
33.07
35.36
34.06
34.45
35.84

BLEU-2
6.96
24.49
24.4721.82
21.33
23.46
22.24
22.83
23.85

BLEU-3
4.59
18.49
18.20
15.84
15.32
17.43
16.20
16.90
17.43

BLEU-4
3.29
15.09
14.64
12.40
11.89
14.08
12.85
13.48
13.74

METEOR
21.66
31.40
30.35
27.66
27.81
29.85
29.39
30.03
29.40

BERT-P
0.791
0.735
0.734
0.729
0.730
0.720
0.723
0.731
0.742

BERT-R
0.708
0.742
0.739
0.724
0.727
0.735
0.733
0.736
0.736

BERT-F1
0.747
0.737
0.736
0.726
0.727
0.727
0.727
0.732
0.738

表 2 ログから生成した説明文の評価．

4.2ログからの説明文生成4.3

表 2 に実験の結果を示す．まず，ルールベースに説明文からのログ生成

追加なし
追加なし (マルチタスク)
擬似ラベリング
擬似ラベリング (マルチタスク)
スワップ
スワップ (マルチタスク)
ハイブリッドハイブリッド (マルチタスク)と T5 による結果を比較すると BLEU では大きい差ができていることがわかる．一方で，BERTScore のPrecision はルールベースによる生成が最も高くなった．この結果からルールベースによる生成では情報を的確に伝えられているが，論文で記述される文章

F1-method
0.94420.9616
0.9514
0.94270.93990.96030.93370.9672

F1-options
0.73790.71060.69250.71730.68230.69790.69730.7035

エラー数
83
102
421

表 3 説明文から生成したログの評価．とは似ていないと考えられる．
次に，データセットを拡張する場合としない場合結果を表 3 に掲載した．まず，F1-method においを比較すると，データ拡張を行わない場合がスコアが高くなった．データ拡張手法によってスコアが向ては擬似ラベリングのスコアが最も高くなった．次に，F1-options においては拡張しない場合のスコア

上しなかった理由として，追加したデータの質が考が最も高かった．一方，エラーが多かったのはデーえられる．擬似ラベリングでは論文ファイルを新たタ拡張をしない場合とスワップによる拡張の場合にダウンロードして自動でアノテーションを行なっだった．この結果からエラー数の減少に対するデーた．このファイルの読み込み時にテキスト順序が本タ拡張の有用性が確認できた．
また，マルチタスク学習を行うことによりスコア来のものでない場合や本文中にない pdf ファイルの記号がテキストとして入る場合があり，これらがノが下がりエラー数が減少する傾向が確認できた．こイズになっていたと考えられる．また，ダウンロー

ちらもマルチタスク学習を行うことがが必ずしも良ドした論文によって読点を表す記号が異なるため文いとは限らないと考えられる結果となった．

分割を使用したが，この精度が高くないということも理由の 1 つとしてあげられる．そして，スワップ

5

おわりに

では文字列の置換を行うが置換すべき対象ではない

本研究では，テキストアナリティクスの際に出力文字列まで置換されてしまうことがあるため，それされるログと説明文の相互生成を行なった．これをが学習の妨げとなってしまった可能性がある．
データ拡張手法内では全体的に見てスコアが最も深層学習的モデルで行うにあたって，少量のデータセットを拡張するための固有表現認識とクラス分類高いのはハイブリッドだった．これは擬似ラベリンによる自動アノテーション手法と値の置換による拡グでは BERTscore の Precision が高く，スワップでは張手法を提案した．実験において，データセットをRecall が高くなっているという特徴があり，ハイブ拡張しない場合と各拡張手法を自動評価尺度によっ

リッドはこの両手法の長所を取り入れてより良い学習が可能になった結果だと考えられる．て比較した．その結果，指標によってはデータ拡張そして，マルチタスク学習を行うことでスコアが本研究ではログを仮想的に定義したが，その他の上がる場合と下がる場合があった．この結果からタ

一般的なツールにおいても本研究と同じ形式でアスクに特化したモデルを得るためにマルチタスク学

ノテーションを施すことによって同様の生成手法・習を行うことがが必ずしも良いとは限らないと考えデータ拡張手法をとることができるという点で応用られ，これは Raﬀel ら [11] の結果と一致している．

可能性があると考えられ，研究の余地がある．そのをすることでスコアが向上することが確認できた．

ため，様々なデータへの適用や適切な拡張手法の考案は今後の課題である．

参考文献[1] Jeremy Freese and David Peterson. Replication in socialscience. Annual review of sociology, Vol. 43, pp. 147–165, 2017.
[2] Scott E Maxwell, Michael Y Lau, and George S Howard.
Is psychology suﬀering from a replication crisis? what
does failure to replicate really mean? American
Psychologist, Vol. 70, No. 6, p. 487, 2015.
[3] Thiago Castro Ferreira, Chris van der Lee, Emiel Van Miltenburg, and Emiel Krahmer. Neural data-to-text generation: A comparison between pipeline and end-to-end
architectures. arXiv preprint arXiv:1908.09022, 2019.
[4] Eli Goldberg, Norbert Driedger, and Richard I Kittredge.
Using natural-language processing to produce weatherforecasts. IEEE Expert, Vol. 9, No. 2, pp. 45–53, 1994.
[5] Kees Van Deemter, Mariët Theune, and Emiel Krahmer.
Real versus template-based natural language generation: A
false opposition? Computational linguistics, Vol. 31,No. 1, pp. 15–24, 2005.
[6] Tianyu Liu, Kexiang Wang, Lei Sha, Baobao Chang, andZhifang Sui. Table-to-text generation by structure-aware
seq2seq learning. In Thirty-Second AAAI Conferenceon Artiﬁcial Intelligence, 2018.
[7] Ratish Puduppully, Li Dong, and Mirella Lapata. Datato-text generation with content selection and planning. In
Proceedings of the AAAI conference on artiﬁcial intelligence, Vol. 33, pp. 6908–6915, 2019.

[8] Ernie Chang, Xiaoyu Shen, Dawei Zhu, Vera Demberg,and Hui Su. Neural data-to-text generation with lm-based
text augmentation. arXiv preprint arXiv:2102.03556,2021.
[9] Ernie Chang, Vera Demberg, and Alex Marin. Jointly
improving language understanding and generation withquality-weighted weak supervision of automatic labeling.
In Proceedings of the 16th Conference of the European Chapter of the Association for Computational
Linguistics: Main Volume, pp. 818–829, Online, April

2021. Association for Computational Linguistics.
[10] Chris van der Lee, Thiago Castro Ferreira, Chris Emmery, Travis Wiltshire, and Emiel Krahmer. Neuraldata-to-text generation based on small datasets: Comparing the added value of two semi-supervised learning approaches on top of a large language model. arXiv preprint
arXiv:2207.06839, 2022.
[11] Colin Raﬀel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, WeiLi, Peter J Liu, et al. Exploring the limits of transfer
learning with a uniﬁed text-to-text transformer. J. Mach.
Learn. Res., Vol. 21, No. 140, pp. 1–67, 2020.
[12] 樋口耕一. テキスト型データの計量的分析―2 つのアプローチの峻別と統合―. 理論と方法, Vol. 19,No. 1, pp. 101–115, 2004.
[13] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.net/,2005.
[14] Alan Akbik, Tanja Bergmann, Duncan Blythe, Kashif Rasul, Stefan Schweter, and Roland Vollgraf. FLAIR: An

easy-to-use framework for state-of-the-art NLP. In NAACL
2019, 2019 Annual Conference of the North American Chapter of the Association for Computational
Linguistics (Demonstrations), pp. 54–59, 2019.

[15] Benoı̂t Frénay and Michel Verleysen. Classiﬁcation in thepresence of label noise: a survey. IEEE transactions onneural networks and learning systems, Vol. 25, No. 5,pp. 845–869, 2013.
[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.
[17] Mihir Kale and Abhinav Rastogi. Text-to-text pre-training
for data-to-text tasks. arXiv preprint arXiv:2005.10433,2020.
[18] Noam Shazeer and Mitchell Stern. Adafactor: Adaptive
learning rates with sublinear memory cost. In International Conference on Machine Learning, pp. 4596–4604. PMLR, 2018.
[19] Ehud Reiter and Anja Belz. An investigation into the validity of some metrics for automatically evaluating natural
language generation systems. Computational Linguistics, Vol. 35, No. 4, pp. 529–558, December 2009.
[20] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a method for automatic evaluation of machinetranslation. In Proceedings of the 40th annual meetingof the Association for Computational Linguistics, pp.
311–318, 2002.
[21] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl
workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization,

pp. 65–72, 2005.
[22] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. arXiv preprint arXiv:1904.09675, 2019.

A

アノテーションした固有表現

タグの種類
MINAPP
METTOPEXT
METNUMBOLD
BUBBLE
SUBG
PART
UNIT
TYPE
TREE
MINDOC
DIF
ORI
MAXAPPSTAN
BUBSIZEMAXDOC
合計

タグの説明
語の最小出現数
共起関係の計算手法
共起関係の表示件数
外部変数
共起関係のしきい値共起関係の強さによって線の太さを変える
バブルプロットを使用
サブグラフ検出の種類
分析対象の品詞
分析単位
共起関係の種類
最小スパニングツリーのみ描画
最小文書数
差異が顕著な語を分析に使用
原点から遠い語のみラベル表示
語の最大出現数係数の標準化
バブルプロットの大きさ
最大文書数

出現数
79
79
73
41
3425252113101088633311443

表 4 共起ネットワーク・対応分析における固有表現．

B

テストセットにおける予測結果

B.1

固有表現認識MINAPP
TOP
MET
BOLD
EXT
METNUM
BUBBLEPARTMINDOC
TREE
STAN
SUBG
UNIT
DIF
TYPE
ORI
micro avg

Precision

Recall

F1-score

Support

0.714
0.947
1.000
0.222
0.000
1.000
0.429
0.000
1.000
1.000
0.000
0.500
1.000
1.000
0.000
0.000
0.7101.000
0.833
0.882
0.250
0.000
0.857
0.500
0.000
0.667
0.333
0.000
0.500
1.000
1.000
0.000
0.000
0.676

0.833
0.923
0.938
0.235
0.000
0.923
0.462
0.000
0.800
0.500
0.000
0.500
1.000
1.000
0.000
0.000
0.693

2020
178876433322
110105表 5 固有表現認識モデルによる予測結果．交差検定 1 回分の結果を示した．高い頻度かつ単語数の少ない固有表
現であるほど予測精度が高いという結果が得られた．

B.2

分類モデル

Precision

Recallmacro-F1

Support

0.944
1.000
1.000

0.944
0.957
0.750

0.944
0.978
0.857

18477

いずれでもない
共起ネットワーク
対応分析

表 6 BERT による分析手法の分類の結果．交差検定 1 回分の結果を示した．

Cスワップのアルゴリズム

Algorithm 1 Swap
1: Input: original dataset D, value-set V
2: Output: swapped dataset 𝐷 𝑠
3: for 𝑖 = 1 to 𝑙𝑒𝑛(𝐷) do
4:𝑙, 𝑑 = 𝐷 [𝑖] [ ′ 𝑙𝑜𝑔 ′ ], 𝐷 [𝑖] [ ′ 𝑑𝑒𝑠𝑐𝑟𝑖 𝑝𝑡𝑖𝑜𝑛′ ]5:𝑛 = 𝑙𝑒𝑛(𝑙.𝑜 𝑝𝑡𝑖𝑜𝑛𝑠)6:𝑐𝑛𝑡 = 0

7:
8:

for 𝑖𝑡𝑟 = 1 to 1000 do
for 𝑗 = 1 to 𝑛 do

9:𝑟 = 𝑟𝑎𝑛𝑑𝑜𝑚 𝑖𝑛𝑡 (1, 𝑛)

10:𝑘, 𝑣 = 𝑙.𝑜 𝑝𝑡𝑖𝑜𝑛𝑠[𝑟]11:𝑛𝑣 = 𝑟𝑎𝑛𝑑𝑜𝑚 𝑠𝑎𝑚 𝑝𝑙𝑒(𝑉 [𝑘] \ 𝑣)

12:

𝑙.𝑜 𝑝𝑡𝑖𝑜𝑛𝑠[𝑟] = 𝑘, 𝑛𝑣

13:

𝑑 = 𝑑.𝑟𝑒 𝑝𝑙𝑎𝑐𝑒(𝑣, 𝑛𝑣)

14:

if (𝑙, 𝑑) ∉ 𝐷 𝑠 then15:

𝐷 𝑠 ∪ (𝑙, 𝑑)

16:𝑐𝑛𝑡+ = 117:

if 𝑐𝑛𝑡 = 20 then

18:

break

ス ワ ッ プ の ア ル ゴ リ ズ ム．value-set は 各 設 定 項 目 をキーとしてデータセット内の全ての取りうる値のリストを返す辞書である．

D

ルールベースによる生成

本研究では，ルールベースによる生成を行なった．具体的なアルゴリズムは，ログの形式が「分析方法 (設定項目=値, 設定項目=値...)」であることを用いて「(設定項目)を (値)，」という文字列を繰り返し，最後の設定項目まで達した場合「とし (分析方法) を行った．」と出力する．
例えば，「共起ネットワーク (最小出現数=3, 上位=60, 最小スパニングツリーだけを描画=on)」というログが入力として与えられた場合，「最小出現数を 3，上位を 60，最小スパニングツリーだけを描画を on とし共起ネットワー
ク分析を行った．
」となる．