DEIM Forum 2023 3a-6-1

被引用統計データのセル特定手法の検討
中野

優†

加藤

誠††

† 筑波大学大学院 人間総合科学学術院 〒 305–8550 茨城県つくば市春日 1–2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †{yunakano,mpkato}@acm.org
あらまし

本論文では文書中の数値の真偽を検証するために，数値が参照する統計データのセルを自動的に特定する手法について検討する．我々はまず行数や列数の多い統計データにも適用可能な表質問応答手法を用いてセルを特定する手法を提案する．加えて統計データにおけるセル特定特有の課題を解決するために，1. 文書中の複数の数値を区別するために特殊トークンを導入し，2. 学習データのラベル不均衡を解消するために負例のアンダーサンプリングを行うことを提案する．さらに既存のセル特定データセットを用いて実験を行い，提案手法が比較手法と比べて高い性能となることを示すとともに，提案した 2 つの要素の両方が性能の改善に寄与していることを明らかにした．
キーワード ドメイン指向アプリケーション（統計データ），検索モデル（言語モデル），質問応答，データ検索，表
質問応答
デルに入力し，質問に対する答えを抽出・生成する．しかしな

1 はじめに主張に対してその根拠を示すことは主張の正しさを示す上で重要である．例えば論文において何らかの主張する際には，その主張を支持する根拠がなければ，その主張の正しさを示した
ことにはならない．その際に統計データを引用して主張を行うことがよく行われており，論文においても近年増加傾向にある [30]．統計データは専門家によって作成された高品質なデー
タであり，このような信頼性のあるデータを用いて主張の正しさを示すことは重要である．
しかしながら統計データを理解して利用することは容易ではない．多くの統計データは表形式であるが，統計データは行数・列数が非常に多く，また多数の表が含まれることが多い．そのため人手で統計データを読み解き利用することは非常に時間がかかるという問題がある．
このような状況に対して，与えられたテキストと統計デー
タを自動的に紐付ける統計データ検索の研究が行われてきた [6, 19, 36, 38]．これらの研究は事実に対してその根拠として
統計データの表を示したものであると言えるが，表の内容は利用者自身が読み解く必要があり，統計データの利活用は未だに時間がかかると考えられる．これに対して，テキストと統計
データのセルを直接対応付けるセル特定問題に取り組んでいる研究も存在する [4, 16]．しかしながらこれらの研究では，テキストとセルの単語の厳密一致に基いてテキストとセルを対応付けている．そのため利用者がその統計データで用いられる単語
を知らなければ単語のミスマッチの問題が発生し，良い精度でテキストとセルを対応付けることは難しい．
そこで本研究ではセル特定問題のためのニューラル言語モデルを用いた新たな手法を検討する．セル特定問題に類似する問題として表質問応答問題が存在する [12, 17, 22, 33]．表質問応
答の多くの手法においては質問文と表全体をニューラル言語モ

がら，既存の表質問応答で想定されている表の行数や列数は統計データと比較すると小さい．そのため入力長の制限がある
ニューラル言語モデルにおいて，既存の表質問応答の手法をそのまま用いることは難しい．
そこで本研究では表全体ではなく，行ごと・列ごとの情報を利用する表質問応答手法 [12] をベースとしたセル特定手法を提案する．この手法においてはまずテキストと表を入力として，
行と列のそれぞれについてテキストに適合する確率を計算する．
その後，テキストに対する行の適合確率と列の適合確率の積を取ることでテキストとセルの適合確率を計算する．さらにこの手法に対して統計データに対するセル特定問題に特有の問題を考慮し，2 つの改良を行う．1 つ目は特殊トークンを用いた特定対象の明確化である．表質問応答で与えれる質問文とは異なり，セル特定問題で与えられるテキストは複数の数値が含まれ，それぞれが異なるセルに対応付けられる．そこで複数の数値を区別するために，現在着目している数値であることを表す特殊なトークンを用いて数値を囲むことで，より正確にテキストとセルとの対応付けを行えるようにする．

2 つ目は学習データにおける負例のアンダーサンプリングである．統計データは既存の表質問応答で用いられる表よりも行数や列数が多いことが知られている [37]．そのため既存の表質
問応答手法と同様に，正解となる行や列を正例とし，統計デー
タ中のそれ以外の行や列を負例として学習すると，学習時間が長くなってしまう．その上，作成された学習データは正例と比較して負例が極端に多いクラス不均衡なデータであり，学習したモデルの性能が低くなる可能性がある．これらの問題を解決するために負例のアンダーサンプリング行うことで，訓練コス
トを軽減させ，かつ性能を向上させる．
さらに提案した手法の性能を検証するための検証実験を行った．この実験においては，Wikipedia の記事が引用する統計デー
タを用いて作成されたセル特定データセット WikiStatCells [37]

を利用して性能を検証した．その結果提案手法は nDCG@1 に
おいて，BM25 などのアドホック検索と比較して約 3.2 倍，表
質問応答手法 [12] と比較して約 1.5 倍の性能となることが判明した．さらに Ablation Study を実施し，提案した 2 つの改良の両方が性能向上に寄与していることを示した．
本論文の貢献は以下のとおりである．
（ 1 ） 文章中の数値から被引用統計データのセルを特定する問題に対して，ニューラル言語モデルを用いた新たな手法を提案した．
（ 2 ） 既存のデータセットを用いた実験により複数の検索手法の比較検証を行い，提案手法の優位性を示した．
本論文の構成は次の通りである．第 2 節ではセル特定問題に関連する研究について説明する．第 3 節でセル特定問題の問題
設定について説明した後，第 4 節において提案手法を説明す
る．第 5 節で検証実験の設定について説明し，第 6 節で実験結果を説明する．第 7 節では本論文の結論とともに今後の課題
について説明する．

困難である．

2. 2 文とセルを対応付ける研究
文章において，表を用いて説明を行うことは一般的である．
これに対して，文章とその文章に含まれる表のセルを対応付ける研究が行われている [18, 20]．Kim らは論文や金融関連の報告書などの PDF の文書において，表を参照する文を特定し，その文が参照するセルをハイライトして文とともに提示するシ
ステムを提案している [20]．また，Ibrahim らは，Web 上の文書と付随する表に対して，文書中の数値と表のセルを対応付ける手法を提案している [18]．
これらの研究は文章と表のセルを対応付けるという点において，本論文のセル特定の問題設定と類似している．しかしながらこれらの研究は，文章中に含まれる表に対してセルを対応付ける研究である．よって，表のサイズが文章に収まる程度に小さいことが多く，また表周辺の文のみからセルを対応付けることが可能である．一方で，本論文は引用されている外部の表に対してセルを対応付ける研究である．そのため，表のサイズは2 関連研究これらの研究と比較して大きいことが多く，文書のタイトルなどの文以外の情報も対応付けに必要となるという点において，

本節ではセル特定問題に関連する問題設定を持つ研究として，上記の研究とは異なる．

2. 1 節で表事実検証の研究，2. 2 節で文とセルを対応付ける研究，2. 3 節で表質問応答の研究を紹介する．その後，関連する研究として 2. 4 節で表検索の研究，2. 5 節で統計データ検索の研究を紹介する．

2. 1 表事実検証

2. 3 表質問応答
表質問応答は与えられた表と質問に対して，表の情報を用いて与えられた質問に回答するタスクであり，数多くの研究が取り組まれてきた [12, 17, 22, 33]．表質問応答における質問は，表の 1 つのセルが答えとなる Lookup 質問と，表の複数のセルをセル特定に関連するタスクとして，本節では表事実検証に関集約した結果が答えとなる Aggregation 質問の 2 つに分けらする研究を紹介する．表事実検証（表含意関係認識）とは，文れる [12]．これまでの多くの表質問応答の研究においては，答章と表が与えられたときに，表が文章を含意するか否かの 2 値えを計算するために SQL などの論理形式を出力する手法が提（もしくは無関係を加えた 3 値）に分類するタスクである [5]．

案されてきた [22, 33]．しかしながらこれらの手法は，正解とな

表事実検証には 2 種類の手法が存在する．1 つ目は与えられたる論理形式が教師データとして必要であり，大規模なアノテー

文章に対して，SQL などの表において実行可能なプログラム

ションにはコストがかかるという問題がある．この課題に対しを生成する手法である [23, 32, 35]．2 つ目は BERT [9] などのて，論理形式を経由せずに質問の回答を作成する手法が提案さニューラル言語モデルに対して文章と表の関係を学習するためれている [12, 17]．これらの手法は，BERT [9] などのニューラに，事前学習とファインチューニングを行う手法である [10, 21]．

ル言語モデルの事前学習と弱教師ラベルに基づくによるファイ

しかしながらこれらの手法は単に含意するか否かのみを出力

ンチューニングにより，質問の回答に用いられるセルの確率とするだけであり，モデルが表のどの部分をもとに答えを判断し用いられる演算を予測することによって，論理形式を経ずに質たが不明であるため，解釈性に欠けるという課題がある．この問に回答することを可能にしている．

課題を解決するために，含意するか否かの判断に用いたセル

表質問応答のうち，特に Lookup 質問は，文 (質問) から対を提示するタスクに取り組む研究も存在する．SemEval-2021

応するセルを探すという点において本研究と類似している．特Task 9 においては，表事実検証タスクに加えて証拠セル選択に，論理形式を経由しない表質問応答手法は，文 (質問) に対タスクが提案されている [27]．Gupta ら [13, 15] は表が文章を応するセルを確率として予測するため，セル特定問題の問題設含意するかの根拠となる行を検出する根拠行選択タスクを提案

定に適用可能である．具体的には，検証対象の数値が含まれる

し，データセットを作成している．これらのタスクは文章とセ

文と表を入力として，表の各セルの確率を計算することで，文ルや行を対応付けているという点でセル特定タスクと類似して章に対応するセルを特定できる．しかしながら，セル特定問題いる．一方で表 1 に示すとおり，既存の表事実検証のデータと表質問応答は次の 3 つの点で異なる: (1) 本論文の入力は質セットに含まれる表は，統計データと比較して行や列の数が少問文ではなく平叙文である，(2) 本論文のセル特定においてはない．そのため，多くの手法は表全体がニューラル言語モデル

数値周辺の文だけでなくタイトルなど別の情報も必要となる，に入力できることを前提としており，そのまま適用することが(3) 本論文が扱う統計データは表質問応答が扱う Web 上の表

表1

表事実検証とセル特定のデータセットの表の大きさに関する比較．列数と行数はともに中
央値．

表の出典

TabFact [5]SEM-TAB-FACTS [27]InfoTabS [14]WikiStatCells（英語） [36]Wikipedia の表

論文の表

Wikipedia の INFOBOX

統計データ

行数

12

7

9

172

列数

6

5

2

13

と比較してサイズが大きい．

2. 4 表 検 索
統計データに類似するアイテムとして，表を対象とした検索の研究を説明する．アドホック表検索タスクはテキストをクエリとして，クエリに適合する Web 上の表を検索するタスクである [1, 7, 24–26, 34]．Zhang と Balog はアドホック表検索タ
スクのデータセットである WikiTables データセットを提案し，さらにランキング学習を用いて表を検索する手法や単語埋め込

キテクチャとユーザインタフェースを提案した [16]．Cao らは
統計データ検索において，適合する統計データに合わせて適合するセルを表示するために，セルをスコア付けする方法を提案
した [4]．Balalau らは Cao らの手法に基づいて，統計データとそのセルを検索するためのシステムを構築した [2]．これらの研究はテキストからセルを検索し対応付けているという点で本研究と関連しているが，次の 2 点で異なる．1 つ目は既存研究
は単語の厳密一致に基づくセル検索手法を採用している点である．もしユーザが統計データ中で利用されている語彙に詳しく

みとエンティティ埋め込みを用いた Semantic Matching によっない場合，単語の厳密一致に基づく手法は検索性能が低くなるて表を検索する手法を提案している [34]．アドホック表検索タと考えられる．これは統計データの内容に詳しくないことが予

スクにおいては Zhang と Balog が提案した WikiTables デー
タセットを対象に研究が行われており，パッセージ検索と多様想される非専門家がユーザである場合に問題となる．2 つ目はこれらの研究は統計データ（表形式データ）の検索の補助とし体学習を用いる手法 [24]，行列分解を用いる手法 [1]，マルチてセルを提示しており，提示されたセルがクエリに適合するか

モーダル深層学習を用いる手法 [25]，BERT を用いる手法 [7]，を評価していない点である．そのため，これらの研究においてグラフニューラルネットワークを用いた手法 [26] など様々な手提案されたセル検索の手法がそれ以外の手法と比較して良い手

法がこれまでに研究されてきた．既存の表検索データセットで法であるかは明らかではない．

対象となる Web 上の表は，表のサイズが小さい点や数値セルの割合が大きい点など，本論文が扱う統計データとは異なる点

3 問題設定が存在する [37]．
本節ではセル特定タスクの問題設定と定式化について説明す2. 5 統計データ検索

る．セル特定タスクとは，文書中の数値が与えられたときに，テキストから統計データを対象として検索を行う研究を説明

数値に対応する統計データのセルを特定する問題である．セルする [6, 19, 36, 38]．Kato らは日本とアメリカの政府統計デー

特定問題の定式化を行う前にまず統計データについて定義し，

タポータルの統計データを収集し，アドホック統計データ検索

その後セル特定問題の定式化を説明する．

のベンチマーク用データセットを提案した [19]．Chen らは，統a ) 表と統計データ

計データから抽出した列名を検索に用いることで，統計データ

ま ず 表 と 統 計 デ ー タ に つ い て そ れ ぞ れ 定 義 す る ．TR 行の検索性能を向上させる手法を提案した [6]．さらに，data.govの統計データを対象として 6 つの検索タスクを設定して統計

TC 列を持つ表 T を，ヘッダ HT = (h1 , . . . , hTC ) とセル
値 VT = (vi,j ) (1 <= i <= TR , 1 <= j <= TC ) か ら な る 組

データ検索用のデータセットを構築し，ベースライン手法と比T = (HT , VT ) と定義する．ここで，ヘッダ hi やセル値 vi,j

較して提案手法が良い検索結果を提示できることを示した．岡はテキストデータであり，単語列とみなせる．これらは整数

本と宮森は統計データにカテゴリを付与し，検索時にクエリかや実数などの数値と解釈できる場合もあるが，本論文ではテらカテゴリを絞り込むことで統計データの検索性能を向上でき

キストデータとして扱う．このとき統計データ T を表の集合ることを示した [38]．中野と加藤は Wikipedia の文章をクエ

T = {T1 , . . . , T|T | } と定義する．このように定義される統計

リとして統計データを検索する際に，クエリとなる文章と統計データとして，Excel などのスプレッドシート形式のデータやデータの両方のフィールドを利用することで検索性能を向上で

CSV 形式のデータが該当する．

きることを示した [36]．これらの研究は与えられたテキストとb ) 数値を含む文書

多数の表の集合の中からテキストに対応する表を検索するタス

本節では数値と数値を含む文書をそれぞれ定義する．数クである一方で，本論文はテキストと 1 つの表からテキストに

値 v q を 単 語 列 と 定 義 す る ．こ の と き 数 値 v q を 含 む 文

対応する表のセルを特定するタスクであり，問題設定が異なる．

書 d に つ い て ，数 値 v q を 連 続 部 分 列 と し て 含 む 単 語 列

また，与えられたクエリから統計データのセルを対応付ける研究も行われている [2, 4, 16]．Heﬂin らはセル中心インデック

d = (w1 , . . . , wn ) で あ る と 定 義 す る ．つ ま り，あ る 1 <=qi <= n について v = (wi , . . . , wj ) であり，文書 d は= j <スを提案し，クエリからセルを検索するシステムのためのアー

3 つの列 ctxtl , v q , ctxtr を連結した列として表せる．ただし

ctxtl = (w1 , . . . , wi−1 ), ctxtr = (wj+1 , . . . , wn ) とする．
qられる．

数値 v は文書 d において引用されている統計データの集合

そこで本研究では，行と列ごとにクエリとの適合確率を判定

cited(d) に含まれる統計データ T ∈ cited(d) に含まれるいず

する行・列交差モデル（Row-Column Intersection，以下 RCI）

れかのセルに対応しているとする．ただし数値 v q は値の丸め[12] を採用する．RCI は表全体ではなく行ごと・列ごとにそのqや誤引用などの影響により，数値 v と値が一致するセルが統内容をニューラル言語モデルへ入力する．そのため，たとえ行

計データ T において存在するとは限らないものとする．

数や列数が大きい場合であっても，表全体を入力する場合よりc ) セル特定問題も入力の際に失われる情報が少なくなるという利点を持つ．

本節ではセル特定タスクをアドホック検索問題として定義す

RCI におけるクエリに対するセルの適合確率を計算する方る．つまり．クエリ q ∈ Q 検索対象の統計データの集合 D に法を説明する．まずクエリ q と行 rowi の組を Cross-Encoder

対して，本検索タスクは D に含まれる統計データのセルをラン

モデルの入力として，クエリが行に適合する確率 prowi を得る．

ク付けする問題であり，出力としてランキング (v1 , v2 , . . . , vK )また，同様の方法でクエリ q が列 colj に適合する確率 pcolj をを返す．ただし，各 k (1 <= K) について vk はある統計=k<得る．つまり，式にすると以下の通りである．

データ T ∈ D に含まれるセルとする．
本問題におけるクエリ q ∈ Q は検証対象の数値 v q と数値をprowi = softmax(MLP(TFrow (τq,rowi )[CLS] ))1(1)含む文書 d の組 q = (v q , d) である．ただし，Q は任意のクエ

pcolj = softmax(MLP(TFcol (τq,colj )[CLS] ))1(2)リの集合である．
本論文ではこのランキング問題を，クエリ q ∈ Q と検索対
象文書の統計データ T ∈ D に含まれるセル v を入力として，スコアを出力するスコア関数 s : Q × V → R を設計する問題とみなす．つまり，スコア関数 s の出力するスコアの降順に結果を並べることで最終的なランキングを得る．ただし V は統計データの集合 D に含まれる全ての統計データの表のセルの集合であるとする．

4 提案手法た だ し ，τq,rowi , τq,colj は そ れ ぞ れ 次 節 で 説 明 す る ク エ リと 行 の 入 力 表 現 ，ク エ リ と 列 の 入 力 表 現 を 表 す．ま た ，TFrow (·), TFcol (·) はそれぞれ行と列のためのトランスフォー
マーモデル（ニューラル言語モデル）を表し，本論文ではこれらのモデルをそれぞれ行モデル，列モデルと呼ぶ．TF· (·)[CLS]
は Transformer の最終層のベクトルのうち [CLS] トークンのベクトルを表す．
最終的に行と列の確率の積により，クエリがセルに適合する確率を計算する．つまりクエリ q とセル vi,j に対して，スコア関数 s(q, vi,j ) を以下で定義する．

本節ではまずクエリに対するセルのスコアを得るためのモデs(q, vi,j ) = prowi · pcolj

ルについて説明する．その後，クエリと統計データの入力表現(3)について説明し，クエリの入力表現における特殊なトークンを

このスコアを用いてクエリ q に対するセルのランキングを作成用いたクエリの数値の明確化についても説明する．最後に，学する．

習データのクラス不均衡問題に対処するための負例のアンダー
サンプリングについて説明する．

4. 2 クエリと統計データの入力表現
本節ではクエリと統計データの入力表現について説明する．

4. 1 モ デ ル

前節で述べた通り，本研究で用いる RCI は Cross-Encoder

本節ではセルの確率を得るためのモデルについて説明する．

モデルであるため，クエリと行の組，クエリと列の組をそれぞ

まず，既存の表質問応答手法とその問題点について説明する．

れ行モデル TFrow (·) と列モデル TFcol (·) の入力とする．つま2. 3 節で説明した通り，論理形式を経由しない表質問応答手法

り，行モデルと列モデルの入力表現 τq,rowi , τq,colj は以下のよ

はセル特定可能であると考えられる．例えば TaPaS [17] は質

うに書ける．

問文と表全体を BERT [9] などのニューラル言語モデルに入力
し，どのセルを質問の回答に用いるかを計算する．そのため，

τq,rowi = [CLS]τq [SEP]τrowi [SEP](4)

このセルの確率が高い順にセルを並べ替えることで，クエリにτq,colj = [CLS]τq [SEP]τcolj [SEP](5)

対するセルのランキングを作成できる．
ここで，既存の表質問応答で用いられているデータセットに含まれる表は行数や列数が統計データよりも少ないことが知られている [37]．そのため表全体を入力したとしても，ニューラ
ル言語モデルが持つ入力長制限がモデルの性能に影響を与えることは少ないと考えられる．一方で統計データのようにの表の行数や列数が多い場合においては，TaPaS のような表全体を入力とするモデルを用いると，ニューラル言語モデルの入力長制限がモデルの性能に影響を与える可能性が大きくなると考え

ただし，τq , τrowi , τcolj はそれぞれクエリ q ，行 rowi ，列 coljの入力表現とする．

a ) クエリの入力表現
3 節で述べたとおり，本研究のセル特定問題におけるクエリ
は検証対象の数値 v q と数値を含む文書 d の組である．単純には文書 d をそのまま入力に用いることが考えられるが，文書 d
は一般に長いため，ニューラル言語モデルの入力長制限が問題となる．
そこで文書の一部のみを用いることで，この問題を解決する．

具体的には，文書のタイトルなどのメタデータと，数値を含む
文などの数値の周辺情報を入力として用いることとする．
さらに，クエリとなる数値を明確にするために，周辺情報の

表 2 5 交差検証における Fold ごとのデータセットの統計情報（Foldごとの平均）．負例の括弧内は訓練時の負例のアンダーサンプリ
ング後の値を表す．
クエリ数

うちクエリとなる数値 v q をクエリであることを表す特殊トー

正例

負例

クン [NUM], [/NUM] で囲む．このように，入力表現中の特に

行モデル

254

279 296,595 (29,453)

着目すべき対象を明確化するために特殊トークンを用いる方法

列モデル

254

318

17,489 (9,607)

はエンティティ検索 [28] や関係分類 [3]，共参照解析 [29] などのタスクで用いられている．セル特定においても同じ文に複数の検証対象の数値が存在する場合があり，どの数値が検証対象

5 実験設定の数値かを明確にすることはセル特定の性能につながると考え

5. 1 データセットられる．
q

よって，クエリ q = (v , d) の入力表現 τq は以下のようになる．

本節では評価実験に利用するデータセットについて説明する．
本論文では中野と加藤が作成したデータセットである Wik-τq = metad [/META] ctxtl [NUM] v q [/NUM] ctxtr (6)iStatCells [37] を利用して評価実験を行う．このデータセット
は Wikipedia とその記事が引用する統計データを利用して作

ただし，metad は文書 d のメタデータを表し，ctxtl , ctxtr は数成されたセル特定タスクのためのデータセットである．つまり

値 v q のそれぞれ左側，右側の周辺情報を表す．また，[/META]

Wikipedia 記事中の数値に対して，その記事が引用する統計

はメタデータと数値の周辺情報との区切りを表す追加の特殊

データ中のセルを人手で対応付けられたデータセットとなってトークンを表す．

いる．

b ) 統計データの入力表現

本実験ではこのデータセットのうち英語版データセットを用い行の入力表現 rowi と列の入力表現 colj は RCI と同様の入て実験を行う．英語版データセットにおいては英語版 Wikipedia

力表現を用いる．具体的には以下のように，ヘッダとセルの値の 560 個の記事に含まれる 1,268 個の数値に対して対応するを用いた入力表現を用いる．

統計データのセルが付与されている．統計データとしてはアメτrowi = h1 : vi,1 | h2 : vi,2 | · · · | hTC : vi,TC |(7)

τcolj = hj : v1,j | v2,j | · · · | vTR ,j |(8)

リカの国勢調査局とイギリス国家統計局の 154 個の統計デー
タを対象としており，ファイル形式としては Excel ファイルとCSV ファイルを対象としている．

4. 3 負例のアンダーサンプリング
本節では学習データにおける負例のアンダーサンプリングについて説明する．
まず，RCI における学習データの作成とその問題点を説明す
る．RCI においては，クエリの数値に対応するセルが属する行（列）をクエリに対する正例となる行（列）とし，それ以外を負5. 2 統計データの前処理提案手法の統計データの入力表現においては列ヘッダが必要となる．しかしながら，本実験で利用する統計データは Excel
ファイルや CSV ファイルであり，ファイル中のどの部分がヘッダであるかを判定する必要がある．

例とみなして学習データを作成する．しかしながら，本研究がそこで本実験においては，既存手法を用いて Excel ファイル対象とする統計データは既存の表質問応答や表事実検証のデー

や CSV ファイルに含まれる表のどの部分がヘッダであるかをタセットに含まれる表よりも，表の行数や列数が多い [37]．そ抽出する．具体的には，Excel ファイルと CSV ファイルのそれのため正例に加えてすべての負例を学習に用いた場合，学習コ

ぞれについて，Ghasemi-Gol らの手法 [11] と Christodoulakis

ストが大きくなるという問題がある．

らの手法 [8] を用いてヘッダの抽出を行う．

また学習データにおけるクラス不均衡により，モデルの性能が低下する可能性が懸念される．既存の表事実検証データセッ
トである InfoTabS [14] データセットにおいては，正例 1 つあたり負例は約 6 個である [13]．一方で，セル特定データセット

WikiStatCells [37] においては表 2 に示す通り，行モデルでは
正例 1 つあたり負例は 1000 個以上となる．このように，正例に対して負例が極端に多いクラス不均衡データにおいて，そのまま学習を行うとモデルの性能が低くなるという問題がある．
これら 2 つの問題を解決するために，負例のアンダーサンプ
リングを行う．具体的には 1 つのクエリに対して最大 nneg 個の負例を全体からサンプリングし，正例とサンプリングした負例を用いて学習を行う．これにより，学習の高速化と性能の向上が期待できる．

5. 3 データセット分割
本実験では 5 交差検証で性能を検証する．表 2 に各 Fold ごとの統計情報を示す．
またデータセット分割を行う際に，ある 2 つのクエリの正解
セルが同じ統計データに含まれる場合には，その 2 つのクエリが同じテストデータのグループに含まれるように交差検証の分割を行う．つまりこの分割においては，テストデータで正解となるセルを含む統計データが，学習時に含まれないように分割が行われる．
このような分割を行う理由は，本データセットの特有の性質を考慮するためである．本データセットにおいては，ある 2 つのクエリの正解セルが同じ統計データに含まれる場合において，

正解となる 2 つのセルの行もしくは列が同じになりやすいという性質がある．もし前段落で述べた分割を行わない場合，列表3

実験結果．提案手法の結果については独立に 5 回学習を行った
結果の平均と標本標準偏差を表している．

モデルや行モデルは訓練データにおいて正例となる行や列を覚MRR nDCG@1 nDCG@10

えておき，テスト時においてもその行や列を上位とすれば性能

BM25

0.311

0.192

0.352

が良くなってしまう．つまり，このように学習された列モデル

QLD

0.312

0.181

0.355

や行モデルはクエリの意味を理解せずに統計データのみから適

SDM

0.311

0.175

0.360

合・不適合の判定を行っている．そのため，たとえこのような

RCI [12]

0.532

0.405

0.568

モデルにおいて性能が高くなったとしても，真にセル特定の問

提案手法

題が解けているとは言い難いと考えられる．このような問題を

0.698

0.618

0.715

(±0.012)(±0.017)(±0.017)

回避するために，テストデータで現れる統計データが学習時に
表 4 Ablation Study の結果．括弧内は提案手法の結果との差分を表出現しないように分割を行う．

している．

5. 4 ベースライン手法

MRR

本実験では 2 種類のベースライン手法と比較を行う．1 種類
目は単語の厳密一致によるアドホック検索手法である．具体的には，BM25，クエリ尤度モデル + ディリクレ平滑化 (QLD)，

Sequential Dependence Model (SDM) の 3 つの手法を用い

nDCG@1

提案手法

0.654

特殊トークンなし

0.564 (-0.090) 0.435 (-0.118)

0.554

アンダーサンプリングなし 0.606 (-0.048) 0.521 (-0.032)
両方なし

0.532 (-0.122) 0.405 (-0.148)

る．実装としては Anserini [31] を利用し，統計データの各セ
ルを 1 つの文書としてインデックスする．セルをインデックス
する際には，そのセルを含む列のヘッダとそのセルを含む行のヘッダからなる文字列をセルに対応する文書とする．また，各検索手法のパラメータは Anserini のデフォルトのパラメータを利用する．

2 種類目は表質問応答手法である．具体的には，提案手法のベースとなった RCI [12] と比較を行う．この手法は提案手法
から 4. 2 節で説明した対象の数値の明確化と 4. 3 節で説明し

ク検索においてよく用いられている平均逆数順位（Mean Re-

ciprocal Rank，以下 MRR），nDCG@1，nDCG@10 を用いる．実装としては PyNTCIREVAL 1 を用い，nDCG@{1,10}は Microsoft バージョンの MSnDCG を用いて計算する．

6 実験結果
本節では WikiStatCells データセットでの実験結果についてた負例のアンダーサンプリングを行わない場合の手法とみなせ説明する．加えて，Ablation Study として提案手法の要素ごる．実装については次節の提案手法の実装と同様に行う．

との検証の結果と，列モデルと行モデルのそれぞれのモデルごとでの結果について説明する．

5. 5 提案手法の実装
提案手法のモデルの学習について説明する．提案手法の行モ

6. 1 実 験 結 果

デル，列モデルの学習においては，ベースとなる RCI [12] の設

実験結果を表 3 に示す．この表より提案手法は，BM25 など定にしたがって学習を行う．4. 3 節で説明したサンプリングすの単語の厳密一致に基づくアドホック検索や表質問応答手法でる負例の数は，クエリ 1 つにつき nneg = 128 個とする．4. 2

ある RCI と比較して，全ての評価指標において良い性能となっ節で説明した追加の特殊トークン [NUM], [/NUM], [/META]

た．具体的には，比較手法の中で最も良い性能となった RCIは事前学習時は存在しないトークンである．そのため提案手法と比較して，MRR で 0.16 ポイント以上，nDCG@1 で 0.21の学習時（ファインチューニング時）において，事前学習済み

ポイント以上，nDCG@10 で 0.14 ポイント以上の改善が見らモデルの埋め込み層に対して，追加する特殊トークンに対応すれた．

る埋め込みベクトルを追加した上で学習を行う必要がある．本
実験ではランダムに初期化したベクトルを用いて，特殊トークンに対応する埋め込みベクトルをモデルの埋め込み層に追加

6. 2 Ablation Study
本節ではセル特定の性質を考慮した改良に関する Ablation

Study の設定とその結果について述べる．

した．
クエリとなる数値を含む文書の設定について説明する．またAblation Study として，4 節で説明した提案手法について，クエリの文書表現においては，文書のメタデータ metad とし手法に含まれる特定の要素を除いた場合の手法について性能のて文書 d のページタイトルと，数値 v q が属するセクションと検証を行った．具体的には，以下の 3 つの手法について実験をそのセクションの全ての上位セクションのセクションタイトル

行った．

q

を用いる．数値 v の周辺情報 ctxtl , ctxtr としては，数値 vqを含む文を用いる．

（ 1 ） 特殊トークンなし: 4. 2 節で説明した，クエリとなる
数値の明確化のために用いた特殊トークンを使わない場合の手法である．

5. 6 評 価 指 標
本実験では 3 つの評価指標を用いる．具体的には，アドホッ

1：https://github.com/mpkato/pyNTCIREVAL（2022/01/10 閲覧)表5行モデルと列モデルの結果．提案手法の結果については独立に 5回学習を行った結果の平均と標本標準偏差を表している．

MRR nDCG@1 nDCG@10
RCI [12]
行モデル

提案手法

0.659

提案手法

ダーサンプリングの改善を行うことが考えられる．
謝辞

本研究は JSPS 科研費 21H03554，および JST 次世

0.701

代研究者挑戦的研究プログラム JPMJSP2124 の助成を受けたものです．ここに記して謝意を表します．

0.749

0.640

0.782

(±0.009)(±0.014)(±0.009)

0.732

0.603

0.780

0.843

0.788

0.864

(±0.014)(±0.020)(±0.012)

RCI [12]
列モデル

0.553

今後の課題としては，データやモデルに基づいた負例のアン（ 2 ） アンダーサンプリングなし: 4. 3 節で説明した，学習データの負例のアンダーサンプリングを行わない場合の手法である．
（ 3 ） 両方なし: 上記 2 つの両方を行わない場合の手法であり，比較手法である RCI [12] に相当する手法である．
また，負例のアンダーサンプリングについては，1 クエリあた
り 100 個の負例を使用して実験を行った．

Ablation Study の結果を表 4 に示す．この表の結果から，特殊トークンなし，アンダーサンプリングなし，両方なしのいずれの場合においても，提案手法と比較して性能が低下した．
よって，クエリとなる数値の明確化のための特殊トークンと，学習データのラベル不均衡のための負例のアンダーサンプリングの両方の工夫が性能の改善に寄与していると考えられる．

6. 3 行モデルと列モデル
本節では行モデルと列モデルの結果について説明する．4 節
で説明した通り，RCI のアーキテクチャに基づいた提案手法は，
行と列のそれぞれについてクエリとの適合確率を計算し，その確率をもとにセルとの適合確率を計算する手法であった．そのため，行のモデル（行モデル）と列のモデル（列モデル）のそ
れぞれについてランキングを作成し，データセットに対して評価指標を計算することが可能である．
行モデルと列モデルのそれぞれに対して評価指標を計算した
結果を表 5 に示す．この表の結果から，行モデルと列モデルの両方において，すべての評価指標で RCI よりも性能が改善していることがわかった．

7 ま と め
本論文では文書中の数値の真偽を検証するために，数値が参照する統計データのセルを自動的に特定する手法について検討した．我々はまず行数や列数の多い統計データにも適用可能な
表質問応答手法を用いてセルを特定する手法を提案した．加えて統計データにおけるセル特定特有の課題を解決するために，

1. 文書中の複数の数値を区別するために特殊トークンを導入
し，2. 学習データのラベル不均衡を解消するために負例のアン
ダーサンプリングを行うことを提案した．さらに既存のセル特定データセットを用いて実験を行い，提案手法が比較手法と比べて高い性能となることを示すとともに，提案した 2 つの要素の両方が性能の改善に寄与していることを明らかにした．

文

献[1] Ebrahim Bagheri and Feras N. Al-Obeidat. A latent model
for ad hoc table retrieval. In Proceedings of the 42nd European Conference on IR Research, pages 86–93. Springer,
2020.
[2] Oana Balalau, Simon Ebel, Théo Galizzi, Ioana Manolescu,
Quentin Massonnat, Antoine Deiana, Emilie Gautreau, Antoine Krempf, Thomas Pontillon, Gérald Roux, and Joanna
Yakin. Statistical claim checking: Statcheck in action.
In Proceedings of the 31st ACM International Conferenceon Information & Knowledge Management, Atlanta, GA,
USA, October 17-21, 2022, pages 4798–4802. ACM, 2022.
[3] Livio Baldini Soares, Nicholas FitzGerald, Jeﬀrey Ling, andTom Kwiatkowski. Matching the blanks: Distributional
similarity for relation learning. In Proceedings of the 57th
Annual Meeting of the Association for Computational Linguistics, pages 2895–2905, Florence, Italy, July 2019. Association for Computational Linguistics.
[4] Tien Duc Cao, Ioana Manolescu, and Xavier Tannier.
Searching for truth in a database of statistics. In Proceedings of the 21st International Workshop on the Web andDatabases, Houston, TX, USA, June 10, 2018, pages 4:1–
4:6. ACM, 2018.
[5] Wenhu Chen, Hongmin Wang, Jianshu Chen, Yunkai
Zhang, Hong Wang, Shiyang Li, Xiyou Zhou, andWilliam Yang Wang. Tabfact: A large-scale dataset fortable-based fact veriﬁcation. In Proceedings of 8th International Conference on Learning Representations, 2020.
[6] Zhiyu Chen, Haiyan Jia, Jeﬀ Heﬂin, and Brian D. Davison.
Leveraging schema labels to enhance dataset search. In Proceedings of the 42nd European Conference on IR Research,
Part I, pages 267–280. Springer, 2020.
[7] Zhiyu Chen, Mohamed Trabelsi, Jeﬀ Heﬂin, Yinan Xu, andBrian D. Davison. Table search using a deep contextualized
language model. In Proceedings of the 43rd International
ACM SIGIR conference on research and development inInformation Retrieval, pages 589–598. ACM, 2020.
[8] Christina Christodoulakis, Eric Munson, Moshe Gabel, Angela Demke Brown, and Renée J. Miller. Pytheas: Patternbased table discovery in CSV ﬁles. Proc. VLDB Endow.,
13(11):2075–2089, 2020.
[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers), pages
4171–4186, Minneapolis, Minnesota, June 2019. Association
for Computational Linguistics.
[10] Julian Eisenschlos, Syrine Krichene, and Thomas Müller.
Understanding tables with intermediate pre-training. In
Findings of the Association for Computational Linguistics:
EMNLP 2020, pages 281–296, Online, November 2020. Association for Computational Linguistics.
[11] Majid Ghasemi-Gol, Jay Pujara, and Pedro A. Szekely. Tabular cell classiﬁcation using pre-trained cell embeddings.
In 2019 IEEE International Conference on Data Mining,
ICDM 2019, Beijing, China, November 8-11, 2019, pages
230–239. IEEE, 2019.

[12] Michael Glass, Mustafa Canim, Alﬁo Gliozzo, Saneem
Chemmengath, Vishwajeet Kumar, Rishav Chakravarti,
Avi Sil, Feifei Pan, Samarth Bharadwaj, and Nicolas Rodolfo Fauceglia. Capturing row and column semantics in transformer based question answering over tables. In
Proceedings of the 2021 Conference of the North American
Chapter of the Association for Computational Linguistics:
Human Language Technologies, pages 1212–1224, Online,
June 2021. Association for Computational Linguistics.
[13] Vivek Gupta, Riyaz A. Bhat, Atreya Ghosal, Manish Shrivastava, Maneesh Singh, and Vivek Srikumar. Is my modelusing the right evidence? systematic probes for examining
evidence-based tabular reasoning. Transactions of the Association for Computational Linguistics, 10:659–679, 2022.
[14] Vivek Gupta, Maitrey Mehta, Pegah Nokhiz, and Vivek
Srikumar.
INFOTABS: Inference on tables as semistructured data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages
2309–2324, Online, July 2020. Association for Computational Linguistics.
[15] Vivek Gupta, Shuo Zhang, Alakananda Vempala, Yujie He,
Temma Choji, and Vivek Srikumar. Right for the right reason: Evidence extraction for trustworthy tabular reasoning.
In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 3268–3283, Dublin, Ireland, May 2022. Association for Computational Linguistics.
[16] Jeﬀ Heﬂin, Brian D. Davison, and Haiyan Jia. Exploringdatasets via cell-centric indexing. In Proceedings of the Second International Conference on Design of Experimental
Search & Information REtrieval Systems, Padova, Italy,
September 15-18, 2021, volume 2950 of CEUR Workshop
Proceedings, pages 53–60. CEUR-WS.org, 2021.
[17] Jonathan Herzig, Pawel Krzysztof Nowak, Thomas Müller,
Francesco Piccinno, and Julian Eisenschlos. TaPas: Weakly
supervised table parsing via pre-training. In Proceedings of
the 58th Annual Meeting of the Association for Computational Linguistics, pages 4320–4333, Online, July 2020.
Association for Computational Linguistics.
[18] Yusra Ibrahim, Mirek Riedewald, Gerhard Weikum, and
Demetrios Zeinalipour-Yazti. Bridging quantities in tables
and text. In 35th IEEE International Conference on Data
Engineering, pages 1010–1021. IEEE, 2019.
[19] Makoto P. Kato, Hiroaki Ohshima, Ying-Hsang Liu, andHsin-Liang Chen. A test collection for ad-hoc dataset retrieval. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 2450–2456. ACM, 2021.
[20] Dae Hyun Kim, Enamul Hoque, Juho Kim, and Maneesh
Agrawala. Facilitating document reading by linking text
and tables. In The 31st Annual ACM Symposium on User
Interface Software and Technology, pages 423–434. ACM,
2018.
[21] Qian Liu, Bei Chen, Jiaqi Guo, Morteza Ziyadi, Zeqi
Lin, Weizhu Chen, and Jian-Guang Lou. TAPEX: table
pre-training via learning a neural SQL executor. In The
Tenth International Conference on Learning Representations, ICLR 2022, Virtual Event, April 25-29, 2022. OpenReview.net, 2022.
[22] Panupong Pasupat and Percy Liang. Compositional semantic parsing on semi-structured tables. In Proceedings of the
53rd Annual Meeting of the Association for Computational
Linguistics and the 7th International Joint Conference on
Natural Language Processing (Volume 1: Long Papers),
pages 1470–1480, Beijing, China, July 2015. Association for
Computational Linguistics.
[23] Qi Shi, Yu Zhang, Qingyu Yin, and Ting Liu. Learn to combine linguistic and symbolic information for table-based fact

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

veriﬁcation. In Proceedings of the 28th International Conference on Computational Linguistics, pages 5335–5346,
Barcelona, Spain (Online), December 2020. International
Committee on Computational Linguistics.
Roee Shraga, Haggai Roitman, Guy Feigenblat, andMustafa Canim. Ad hoc table retrieval using intrinsic andextrinsic similarities. In Proceedings of the Web Conference
2020, pages 2479–2485. ACM / IW3C2, 2020.
Roee Shraga, Haggai Roitman, Guy Feigenblat, andMustafa Canim. Web table retrieval using multimodal deeplearning. In Proceedings of the 43rd International ACM
SIGIR conference on research and development in Information Retrieval, pages 1399–1408. ACM, 2020.
Fei Wang, Kexuan Sun, Muhao Chen, Jay Pujara, andPedro A. Szekely. Retrieving complex tables with multigranular graph representation learning. In Proceedings ofthe 44th International ACM SIGIR conference on researchand development in Information Retrieval, pages 1472–
1482. ACM, 2021.
Nancy X. R. Wang, Diwakar Mahajan, Marina Danilevsky,
and Sara Rosenthal. SemEval-2021 task 9: Fact veriﬁcationand evidence ﬁnding for tabular data in scientiﬁc documents(SEM-TAB-FACTS). In Proceedings of the 15th International Workshop on Semantic Evaluation (SemEval-2021),
pages 317–326, Online, August 2021. Association for Computational Linguistics.
Ledell Wu, Fabio Petroni, Martin Josifoski, Sebastian
Riedel, and Luke Zettlemoyer. Scalable zero-shot entity linking with dense entity retrieval. In Proceedingsof the 2020 Conference on Empirical Methods in Natural
Language Processing (EMNLP), pages 6397–6407, Online,
November 2020. Association for Computational Linguistics.
Wei Wu, Fei Wang, Arianna Yuan, Fei Wu, and Jiwei Li.
CorefQA: Coreference resolution as query-based span prediction. In Proceedings of the 58th Annual Meeting of
the Association for Computational Linguistics, pages 6953–
6963, Online, July 2020. Association for Computational Linguistics.
An Yan and Nicholas M. Weber. Mining open government
data used in scientiﬁc research. In Proceedings of the 13th
International Conference on Information, pages 303–313.
Springer, 2018.
Peilin Yang, Hui Fang, and Jimmy Lin. Anserini: Reproducible ranking baselines using lucene. ACM Journal of
Data and Information Quality, 10(4):16:1–16:20, 2018.
Xiaoyu Yang, Feng Nie, Yufei Feng, Quan Liu, Zhigang
Chen, and Xiaodan Zhu. Program enhanced fact veriﬁcation
with verbalization and graph attention network. In Proceedings of the 2020 Conference on Empirical Methods in
Natural Language Processing (EMNLP), pages 7810–7825,
Online, November 2020. Association for Computational Linguistics.
Pengcheng Yin, Graham Neubig, Wen-tau Yih, and Sebastian Riedel. TaBERT: Pretraining for joint understandingof textual and tabular data. In Proceedings of the 58th
Annual Meeting of the Association for Computational Linguistics, pages 8413–8426, Online, July 2020. Association
for Computational Linguistics.
Shuo Zhang and Krisztian Balog. Ad hoc table retrieval
using semantic similarity. In Proceedings of the 2018 World
Wide Web Conference on World Wide Web,, pages 1553–
1562. ACM, 2018.
Wanjun Zhong, Duyu Tang, Zhangyin Feng, Nan Duan,
Ming Zhou, Ming Gong, Linjun Shou, Daxin Jiang, JiahaiWang, and Jian Yin. LogicalFactChecker: Leveraging logical operations for fact checking with graph module network.
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 6053–6065, On-line, July 2020. Association for Computational Linguistics.
[36] 中野優, 加藤誠. クエリと文書のフィールドを考慮した被引用統計データの検索. 情報処理学会論文誌データベース（TOD）,
14(4):49–60, 2021.
[37] 中野優, 加藤誠. 被引用統計データのセル特定データセットの構
築. 日本データベース学会論文誌データドリブンスタディーズ,
1(1), 2023.
[38] 岡本卓, 宮森恒. 被検索文書の絞り込みと補強，クエリ拡張に基づく統計データ向けアドホック検索. 情報処理学会論文誌データ
ベース（TOD）, 14(4):36–48, 2021.