テキストアナリティクスツールの説明文に含まれる設定キーの認識
仲田将斗 1

亀甲博貴 2 森信介 22 京都大学 学術情報メディアセンター
nakata.masato.26m@st.kyoto-u.ac.jp {kameko,forest}@i.kyoto-u.ac.jp
1 京都大学大学院 情報学研究科

概要

語モデルによる変換モデルを実現した．
森田らは「ログからの説明文生成」と「説明文かテキストアナリティクスツールは，テキスト集合らのログ生成」の双方向の変換を試みたが，そのの性質を統計的に明らかにすることを目的として，うちログ生成タスクにおいて以下の問題を抱えて人文学において広く用いられている．こうした分野

いる：

において，テキストアナリティクス実験の再現性• ログは構文解析できるようにフォーマットが定を保証するために，論文の説明文から分析手法やめられているが，出力が正しいフォーマットにそのパラメータを正しく特定することが大事とな従っているとは限らない．

る．我々はこれをいくつかのサブタスクへ分解し，• 存在しないパラメータや表記の僅かに誤ったパ

そのうちの一つである設定キー認識タスクに焦点を当てた．ここでは設定キーごとの二値分類として定式化し，事前学習済みの言語モデルに基づくencoder-decoder モデルを提案する．

1

はじめに人文学分野において，研究対象のテキスト集合を統計的手法によって分析するために，テキストアナリティクスツールが注目を集めている [1]．こうした手法は，単語の出現頻度による分析やクラスター分析，潜在的ディリクレ配分法（LDA）など多岐に渡るが，これらの手法を使いこなすには情報学の専門知識が必要となる．それは分析結果の論文を読み書きする際も例外ではなく，分析手法のパラメータに関して必要十分に説明文を記述する，あるいはその説明文を読み解き正しくパラメータを特定する，という作業は特に非専門家にとって苦労を要している．
こうした労力を軽減するために，森田ら [2] はテキストアナリティクスツールの操作ログと説明文の間の相互変換モデルを提案した．操作ログ（以下ログと表記）とはテキストアナリティクスの分析手法とそのパラメータの対のことを言い，ツールが直接扱えるような構造化データとなっている．森田らはログと説明文の正解対からなるデータセットを作成し，これを「原文と翻訳文」の対と見做すことで言ラメータを出力することがある．
そこで我々はログを “生成” するのではなく “認識・抽出” するという立場で，実用的な精度まで引き上げることを目標とする．
まずログ生成タスクをより細かなサブタスクに分解し，認識や抽出のタスクに帰着させる．分解の詳細については 2 節で述べる．続いてサブタスクの一つである設定キー認識，つまり分析手法のパラメータのうち「どのパラメータが明示的にセットされているか（デフォルト値でないか）」を特定するタスクを取り上げ，それを解くためのモデルを 3 節で提案する．最後に，このモデルの精度評価について 4節で解説する．

タスク詳細

2

本節ではまずタスクに係る用語の定義をし，ログ生成タスクについて述べる．その後，ログ生成タスクのサブタスクを説明し，本研究での対象範囲を規定する．

2.1

用語の定義

一つのテキストアナリティクスツールは，分析手法と呼ばれる機能（functions）の集合 F を持つ．分
析手法は，ユーザが与えたテキスト集合を分析するための統計的手法または機械学習による手法であり，たとえばあるテキストアナリティクスツール

にはのような分解を考えることができる．
共起ネットワーク, 対応分析 ∈ F

以上から示唆を得て，ログ生成タスクを次の三つのサブタスクへ分解する．

といった手法が存在する．
各分析手法 𝑓 ∈ Fは固有の設定キー（configurationkey）集合 K𝑓 を持ち，それぞれの設定キー 𝑘 ∈ K𝑓には設定可能な設定値（configuration values）の集
合 V𝑓 ,𝑘 が対応する．これらの集合はツールの仕様によって事前に定められている．たとえばあるテ
キストアナリティクスツールの共起ネットワーク

1. 分析手法分類 —— 𝑝(𝐹 | 𝐷) に対応．説明文がどの分析手法に対しての記述なのかを判定する．
2. 設定キー認識 —— 𝑝(𝐾 | 𝐹, 𝐷) に対応．説明文中に明示された設定キーを列挙する．
3. 設定値抽出 —— 𝑝(𝑉 | 𝐾, 𝐹, 𝐷) に対応．説明文
中からそれぞれの設定値を特定し，設定キーと（CN ∈ F と表記する）には
MinTF := 語の最小出現数 ∈ KCNなどの設定キーがあり，設定値として 0 以上の整数を指定できる：の対応付けを構築する．
設定キー認識および設定値抽出に関しては図 1 も見よ．

2.3

VCN,MinTF ⊂ ℤ>0 .
ところで，設定値というものは必ずしも明示的

本研究の範囲上で見た三つのサブタスクのうち，本研究では 2.に指定されるわけではなく，デフォルトの値が暗設定キー認識を扱う．

黙的に用いられることも多い．そのため，分析手

3

法 𝑓 ∈ F の設定を，設定キー集合のある部分集合
𝐾 ⊂ K𝑓 に対する設定値の対応{(𝑘, 𝑣 𝑘 ) | 𝑘 ∈ 𝐾 }𝑣 𝑘 ∈ V𝑓 ,𝑘として定義し，𝐾 に含まれない設定キーについては提案モデル
設定キー認識（2.2 節）を解くためのモデルとして，設定キーごとの二値分類器を提案する．
より詳細に説明するために，設定デフォルト値であると見做す．このような定式化は

𝑐 = {(𝑘, 𝑣 𝑘 ) | 𝑘 ∈ 𝐾 }タスクの本質には影響しないが，これによって後述を持つログ ℓ = ( 𝑓 , 𝑐) を考えよう．記法についてはの設定キー認識を単純なモデルで解くことができるようになる（3 節）．そこでは，説明文中には 𝐾 に含まれる設定キーのみ現れるという仮定を置く．
最後に，テキストアナリティクスツールの操作ロ
グあるいは単にログとは，分析手法 𝑓 ∈ F とその設
定 𝑐 の対 ( 𝑓 , 𝑐) を意味し，それを自然言語により論2.1 節を見よ．このログから作られた説明文 𝑑 があるとして，設定キー認識とは 𝑑 から設定キー集合𝐾 ⊂ K𝑓 を推定する問題となる．（分析手法 𝑓 は予め推定できているとする．）そこで我々が目指すのは，各設定キー 𝑘 ∈ K𝑓 に対して二値分類器
Found 𝑘 : {説明文} → {0, 1}

文等で説明したものを説明文と呼ぶ．

2.2 ログ生成タスクとその分解
こ の よ う に 定 式 化 し た と き，ロ グ 生 成 タ ス ク
は「説 明 文 𝐷 が 与 え ら れ た と き，条 件 付 き 確 率𝑝(𝐿 | 𝐷) が最大となるログ 𝐿 を生成せよ」というタスクと言い換えることができる．このログ 𝐿 を分析手法 𝐹 と設定 𝐶 という二つの確率変数によって書き直せば，を，与えられた説明文 𝑑 について{𝑘 ∈ K𝑓 | Found 𝑘 (𝑑) = 1} = 𝐾が成り立つように構築することである．つまり，Found 𝑘 (𝑑) = 1 は説明文の元となったログ ℓ 中に設定キー 𝑘 が明示的に現れていることを意味し，= 0は明示的には現れずデフォルト値が使われていることを意味する．たとえば図 1 の入力例 𝑑 の場合であ𝑝(𝐿 | 𝐷) = 𝑝(𝐹, 𝐶 | 𝐷) = 𝑝(𝐶 | 𝐹, 𝐷) · 𝑝(𝐹 | 𝐷)

れば，Found上位 (𝑑) = 1，Found外部変数 (𝑑) = 0 などとという関係を得る．さらに設定を設定キーの集合

そしてこの分類器を，事前学習された言語モデルなる．

𝐾 ⊂ K𝐹 とそれらの値対応 𝑉 に分けて概念的にによる transformer encoder と，線形 decoder からなる

𝑝(𝐶 | 𝐹, 𝐷) = 𝑝(𝑉 | 𝐾, 𝐹, 𝐷) · 𝑝(𝐾 | 𝐹, 𝐷)

確率モデルで実現する（図 2）．Transformer encoder入力：KH Coder の共起ネットワーク機能を用い，最小出現数を 3 回および上位 60 語に設定した．

設定キー：語の最小出現数
上

設定値：語の最小出現数 ↦−→ 3 回位
図1上

設定キー認識（左）および設定値抽出（右）．には BERT [3] を用い，説明文を表現ベクトルの列に変換させる．線形 decoder 層はその表現ベクトルを受け取り，線形変換した後 活性化関数によって 0以上 1 以下の実数を出力する．
比較として，transformer encoder に BERT の代わりに T5 [4]，GPT-2 [5]，RoBERTa [6] を使用したモデルも提案する．T5 などは transformer encoder-decoder
ではあるが，単にある次元のベクトルを出力するニューラルネットワークと見做し，BERT の部分を置き換えた．

4位 ↦−→ 60 語

実験

インのモデルとして，サブタスクへの分解をしない
森田ら [2] によるモデルの実験も行った．

4.1 データセット
実験には森田らによって作成されたデータセットを用いた．このデータセットは，広く普及したテキストアナリティクスツールである KH Coder [7] を用いた実際の論文を集め，それらにログと説明文をアノテーションすることで作られた．共起ネットワー
クおよび対応分析の二つの分析手法について，合わせて約 250 エントリーを収録している．

4.2 実験設定

Wikipedia

CC 100OSCAR

BERT
T5○○○○○

GPT-2○○-RoBERTa○○-表 1 Encoder に用いたモデルを事前学習したコーパス．
○とマークされたコーパスが使用された．

メトリクス

Found 𝑘 (𝑑) = 1 を陽性（positive），= 0を陰性（negative）として，全体に占める真陽性と真陰性の割合
acc =2.2 節で述べたサブタスクへの分解，および 3 節のモデルを検証するための実験を行った．ベースラモデル

true positive + true negativetrue positive + true negative+ false positive + false negativeをメトリクスとして採用した．
4.2.2

先行研究のモデル

森田らの提案した，T5 [4] によるマルチタスクモ
デルを用いた．T5 モデルは，我々のモデルと同じコーパスで事前学習されている．学習時（validation
データ上での評価）のメトリクスとして，森田ら
は 4-gram に対する BLEU [12] を採用したが，データセットのサイズを考慮して代わりに 1-gram に対する BLEU を採用した．
テストデータ上での評価の際には，出力されたログから設定キーを抽出し，それを設定キー認識の結果とした．この結果をさらに設定キーごとに分け，それぞれの設定キーについて上記のメトリクス acc

4.2.1 提案モデルを計算した．なお，データセット中のログはすべて事前学習 それぞれのモデルの encoder には，日本語の大規模なコーパスで事前学習され，公開され出力も同じフォーマットであるとは限らない．そこているものを用いた．事前学習に使用したコーパスには Wikipedia，CC 100 [8, 9]，OSCAR [10, 11] がある（表 1）． CC 100 および OSCAR は多言語を含むコーパスであるが，そのうち日本語の部分に限定している．

一定のフォーマットに従っているが，言語モデルので，正しくないフォーマットの場合は設定キーが存在しない，つまり 2.1 節の記法で 𝐾 = ∅ と見做して評価を行った．
4.2.3

共通の設定交差検証 データセットのサイズを考慮し，5-fold交差検証を実施した．

0/1
Decoder

Transfer

Encoder

Input

Wikipedia, CC 100, etc.

図 2 モデルの概略図．大規模なコーパス（表 1）で事前学習された encoder と，単層の decoder との組み合わせ．入力にはトークン列に変換した説明文を与える．

設定キー

CNCA

合計

語の最小出現数

68

1179

上位541165

描画する共起関係の選択

61

162

外部変数

83442

品詞による語の取捨選択

12113

最小文書数

718

集計単位

7

18

1.0

0.9

0.80.7

表 2 共通の設定キーと出現頻度．CN は共起ネットワー
クを，CA は対応分析を表す．

設定キーの選択0.6

3 節の分類器 Found 𝑘 は本来は分析手法にも依存する概念であるが，データセットを分析手法ごとに分割するとサイズが小さくなり，学習が十分でなくなる恐れがある．したがってデー
タセット内の共起ネットワーク，対応分析いずれの分析手法にもに対応できるよう，共通の設定キーK共起ネットワーク ∩ K対応分析に対してのみ分類器を学習した（表 2）．
これは「分析手法によらず，同じ設定キーなら似たような説明文（したがって似た分類器）となる」という仮定に基づく選択である．

4.3 結果
交差検証の各 fold においてメトリクス acc を計算し，モデルごとに集計した．メトリクスの分布の五数要約を図 3 に示す．
五数要約のいずれの指標においても，BERT によるモデルが最も高い精度を達成できていることが確かめられる．特に最小値および第 1 四分位数において大きな精度差が見られる．このことは，我々の提B

TGRM

図 3 評価結果．acc の分布についての五数要約を箱ひげ図で並べた．横軸のラベルはそれぞれ BERT，T5，GPT-2，RoBERTa，森田らによるモデルを表す．

案モデルが一定以上の精度を維持することができ，その意味で安定していることを意味する．

5

おわりに
テキストアナリティクスツールのログ生成タスクについて，まず分析手法分類，設定キー認識，設定値抽出の三つのサブタスクへの分解ができることを述べた．そのうちの設定キー認識のためのモデルとして，事前学習された言語モデルに基づく設定キーごとの分類器を提案した．その結果，我々の提案モデルは安定して高い精度を記録することができた．
これを設定キーに依存しない一般的な分類器へと汎用化することは，今後の課題となっている．また，ここで触れなかった他のサブタスクに関しても，さらなる研究が必要である．

参考文献[1] David M. Berry. Introduction: Understanding theDigital Humanities, pp. 1–20. Palgrave Macmillan UK,London, 2012.
[2] 森田康介, 西村太一, 亀甲博貴, 森信介. テキストアナ
リティクスツールの操作ログからの実験設定の説明
文生成. In Proceedings of the Twenty-ninth Annual
Meeting of the Association for Natural Language
Processing, pp. 2785–2790, Okinawa, Japan, 2023. 言語処理学会.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings ofthe 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapolis, Minnesota, June 2019. Association for ComputationalLinguistics.
[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine
Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li,and Peter J. Liu. Exploring the limits of transfer learningwith a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1–67,2020.
[5] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario
Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.
[6] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar
Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019.
[7] 樋口耕一. テキスト型データの計量的分析. 理論と方法, Vol. 19, No. 1, pp. 101–115, 2004.
[8] Alexis Conneau, Kartikay Khandelwal, Naman Goyal,Vishrav Chaudhary, Guillaume Wenzek, FranciscoGuzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer,
and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. In Dan Jurafsky, Joyce Chai,Natalie Schluter, and Joel Tetreault, editors, Proceedingsof the 58th Annual Meeting of the Association for
Computational Linguistics, pp. 8440–8451, Online,July 2020. Association for Computational Linguistics.
[9] Guillaume Wenzek, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, ArmandJoulin, and Edouard Grave. CCNet: Extracting high quality monolingual datasets from web crawl data. In Nicoletta Calzolari, Frédéric Béchet, Philippe Blache, KhalidChoukri, Christopher Cieri, Thierry Declerck, Sara Goggi,
Hitoshi Isahara, Bente Maegaard, Joseph Mariani, Hélène
Mazo, Asuncion Moreno, Jan Odijk, and Stelios Piperidis,
editors, Proceedings of the Twelfth Language Resources and Evaluation Conference, pp. 4003–4012,Marseille, France, May 2020. European Language Resources Association.
[10] Pedro Javier Ortiz Su’arez, Laurent Romary, and Benoit
Sagot. A monolingual approach to contextualized word

[11]

[12]

embeddings for mid-resource languages. In Proceedingsof the 58th Annual Meeting of the Association
for Computational Linguistics, pp. 1703–1714, Online,
July 2020. Association for Computational Linguistics.
Pedro Javier Ortiz Su’arez, Benoit Sagot, and Laurent Romary. Asynchronous pipelines for processing huge corpora
on medium to low resource infrastructures. Proceedings ofthe Workshop on Challenges in the Management of Large
Corpora (CMLC-7) 2019. Cardiff, 22nd July 2019, pp.
9 – 16, Mannheim, 2019. Leibniz-Institut f”ur DeutscheSprache.
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics, pp. 311–318, Philadelphia, Pennsylvania, USA,July 2002. Association for Computational Linguistics.