日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月

Wikipedia に含まれる数値に対して，その数値に対応する統計デ

被引用統計データのセル特定データータのセルがアノテーションされたデータセットである．本論文

セットの構築ではこのデータセットを，Wikipedia の記事と記事からリンクされている統計データを用いてクラウドソーシングでアノテーショ

中野優1ンを行い，日本語と英語の 2 つの言語のデータセットを構築し

加藤誠2

た．
本問題の難しさを検証するために，作成したデータセットを用いて実験を行った．特に，クエリとしてどの情報を用いるべきか

本論文では文書中の数値の真偽を検証するために，数値が参照
する統計データのセルを自動的に特定する問題を提案する．我についての比較と，ニューラル言語モデルを用いた表質問応答手々はこの統計データのセル特定問題をアドホック検索問題と見法を含む複数の手法についての性能の比較を行った．その結果，なし，数値と数値を含む文書の組をクエリ，統計データのセル

数値周辺の単語だけでなくタイトルもクエリとして用いた場合

を検索対象の文書として問題を定式化した．またセル特定問題の方が性能が向上することが判明した．また，表質問応答手法はのためのデータセットとして， Wikipedia と統計データへのリ

fine-tuning をしない状態であっても，一部の基本的な検索手法をンクを用いて日本語と英語の 2 つの言語からなるデータセット

上回る性能を発揮することが判明した．

WikiStatCells を作成した．さらに本問題の難しさを検証するた

本論文の貢献は以下のとおりである．

めに，ニューラル言語モデルを含む複数の検索手法を実装し，作

1. 文章中の数値から被引用統計データのセルを特定する問題を成したデータセットを用いて実験を行った．

提案し，この問題をアドホック検索問題として定式化した．

2. 統計データに対するセル特定問題のための新たなベンチマー

1 はじめに

ク用データセットを構築した．

3. 構築したデータセットを用いた実験により，複数の検索手法

文章を書く際において，数値的な情報の根拠として統計データの比較検証を行った．

を引用することは多い．このような引用は統計データ引用と呼ばれ，論文においても統計データ引用は年々増加傾向にある [15]．

本論文の構成は次の通りである．第 2 節では関連研究として文しかしながら，統計データは正しく引用されない場合 (誤引用) が章中の数値からセルを対応付ける研究と，表を対象とした質問応存在する．我々のこれまでの研究によると，Wikipedia における答の研究について説明する．第 3 節ではセル特定問題の問題設

統計データ引用において，記述されている数値と被引用統計デー

定と定式化について説明する．第 4 節では構築したセル特定問タ内の数値が異なる例が複数存在することが判明している [20]．

題のためのデータセットである WikiStatCells について説明する．

このような状況に対して，我々はこれまでの研究において，文第 5 節では構築したデータセットを用いた評価実験について説明

章からどの統計データが引用されているかを特定する研究を行っし，第 6 節では本論文の結論とともに今後の課題について説明すてきた [20]．この研究においては，文章から統計データを検索る．

し，文章に関連する統計データのランキングを提示している．し2 関連研究かしながら誤引用をより詳細に検証するためには，提示された統計データの中から文章中の数値に対応するセルを特定する作業が本節ではセル特定問題関連する研究として，2.1 節で類似する必要となる．我々の調査によると大半の統計データは数百から数問題設定を持つ，文とセルを対応付ける研究を紹介した後， 2.2

万という多くのセルを持つため，セルを特定するためには多くの節で表検索の研究について紹介し，2.3 節で関連する問題設定で時間がかかるという問題がある．

ある表質問応答の研究を紹介する．

そこで本論文では文章中の数値から統計データ中のセルを特定

2.1 文とセルの対応付けする問題 (セル特定問題) を提案する．この問題においては，数

文章において，表を用いて説明を行うことは一般的である．こ

値とその数値を含む文書に加えて，文書において引用されているれに対して，文章とその文章に含まれる表のセルを対応付ける研

統計データが与えられたときに，数値に対応する統計データ中の究が行われている [7, 9]． Kim らは論文や金融関連の報告書など

セルを特定する．本論文ではこの問題をアドホック検索の問題との PDF の文書において，表を参照するような文を特定し，そのして定式化する．つまり，数値と数値を含む文書の組をクエリと文が参照するセルをハイライトして文とともに提示するシステム

みなし，統計データに含まれる全てのセルを検索対象とみなしてを提案している [9]．また Kim らはこのシステムを用いたユーザ検索を行う問題として定式化する．

スタディを実施し，文とセルをハイライトした表を提示すること

さらに本論文では，セル特定問題のためのベンチマーク用で，ユーザは文章とセルの対応関係をより正確かつ素早く理解で

データセット WikiStatCells を作成した． このデータセットはきるようになることを示している．また，Ibrahim らは，Web 上の文書と付随する表に対して，文書中の数値と表のセルを対応付

1 学生会員ける手法を提案している [7]．

筑波大学大学院人間総合科学学術院

これらの研究は文章と表のセルを対応付けるという点においs2030514@s.tsukuba.ac.jp
2 正会員

筑波大学図書館情報メディア系 / JST さきがけて，本論文のセル特定の問題設定と類似している．しかしながら

mpkato@acm.org

1

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月

これらの研究は，文章中に含まれる表に対してセルを対応付ける

る [5]．これまでの多くの表質問応答の研究においては，後者の研究である．よって，表のサイズが文章に収まる程度に小さいこ

Aggregation 質問に対応するために Semantic Parsing を用いた手とが多く，また表周辺の文のみからセルを対応付けることが可能

法が提案されてきた [10, 17]． Semantic Parsing とは与えられたである．一方で，本論文は引用されている外部の表に対してセル

文を論理形式に変換するタスクであり，表質問応答においては与を対応付ける研究である．そのため，表のサイズはこれらの研究えられた質問を SQL などの論理形式に変換し，その論理形式をと比較して大きいことが多く，文書のタイトルなどの文以外の情表上で実行することで質問の回答を行う． Yin らは，Web 上の表報も対応付けに必要となるという点において，上記の研究とは異と周辺テキストから事前学習を行う TaBERT を提案し，TaBERT

なる．

によって得られた質問や表の表現ベクトルを既存の深層学習を用

2.2 表検索・統計データ検索

いた Semantic Parsing 手法の入力とすることで，表質問応答の性能を改善した [17]．

統計データに類似するアイテムとして，表を対象とした検索の研究を説明する．アドホック表検索タスクはテキストをクエ

しかしながら深層学習を用いた Semantic Parsing 手法は，正解リとして，クエリに適合する Web 上の表を検索するタスクであとなる論理形式が教師データとして必要であり，大規模なアノテる [1, 3, 11–13, 18]． Zhang と Balog はアドホック表検索タスクーションにはコストがかかるという問題がある．これに対して，のデータセットである WikiTables データセットを提案し，さらBERT [4] などのニューラル言語モデルと弱教師あり学習を用いにランキング学習を用いて表を検索する手法や単語埋め込みとエて質問の回答に用いられるセルの確率と用いられる演算を予測

ンティティ埋め込みを用いた Semantic Matching によって表を検することによって，論理形式を経由せずに質問の回答を作成する

索する手法を提案している [18]．アドホック表検索タスクにおい手法が提案されている [5, 6]． Herzig らは，BERT [4] をベースては Zhang と Balog が提案した WikiTables データセットを対象として Wikipedia の表と周辺のテキストを元にした事前学習を行に研究が行われており，パッセージ検索と多様体学習を用いる手い，質問と答えのみから回答に用いられるセルと演算を予測する法 [11]，行列分解を用いる手法 [1]，マルチモーダル深層学習をFine-tuning を行うことによって，論理形式を経由しない表質問用いる手法 [12]，BERT を用いる手法 [3]，グラフニューラルネ

応答手法を提案した [6]． Glass らは，質問から回答に使われるットワークを用いた手法 [13]など様々な手法がこれまでに研究さ行と列をそれぞれ予測し，そこから回答に使われるセルを求めるれてきた．既存の表検索データセットで対象となる Web 上の表手法を提案している [5]．この手法は特に Lookup 質問に対しては，4.2 節で説明する通り，表のサイズが小さい点や数値セルの高い性能を示し，WikiSQL データセット [19] のテストデータに割合が大きい点など，本論文が扱う統計データとは異なる点が存

おける Lookup 質問において 97.99% という高い正解率を達成し

在する．

た．

また，テキストから統計データを対象として検索を行う研究も

表質問応答のうち，特に Lookup 質問は，文 (質問) から対応存在する [2, 8, 20, 21]． Kato らは日本とアメリカの政府統計デするセルを探すという点において本研究と類似している．特に，

ータポータルの統計データを収集し，アドホック統計データ検索

Semantic Parsing を用いない表質問応答手法は，文 (質問) に対応のベンチマーク用データセットを提案した [8]． Chen らは，統するセルを確率として予測するため，本論文の問題設定に適用可計データから抽出した列名を検索に用いることで，統計データの能である．具体的には，検証対象の数値が含まれる文と表を入力

検索性能を向上させる手法を提案した [2]．さらに， data.gov のとして，表の各セルの確率を計算し，確率が高い順にセルを並べ統計データを対象として 6 つの検索タスクを設定して統計デー

替えることで，セルのランキングが作成できる．しかしながら，

タ検索用のデータセットを構築し，ベースライン手法と比較して本論文の入力は質問ではなく文であることと，本論文のセル特定提案手法が良い検索結果を提示できることを示した．岡本と宮森

においては数値周辺の文だけでなくタイトルなど別の情報も必要

は統計データにカテゴリを付与し，検索時にクエリからカテゴリとなること，本論文が扱う統計データは表質問応答が扱う Webを絞り込むことで統計データの検索性能を向上できることを示

上の表と比較してサイズが大きいという違いが存在する．

した [21]．中野と加藤は Wikipedia の文章をクエリとして統計

3 セル特定問題

データを検索する際に，クエリとなる文章と統計データの両方のフィールドを利用することで検索性能を向上できることを示し

本節ではセル特定の問題設定について説明する．セル特定タス

た [20]．これらの研究は与えられたテキストと多数の表の集合のクとは，文書中の数値から，その数値を引用している統計データ

中からテキストに対応する表を検索するタスクである一方で，本におけるセルを特定するタスクである．つまり，数値とその数値

論文はテキストと 1 つの表からテキストに対応する表のセルを特が含まれる文書，被引用統計データが与えられ，数値と一致する

定するタスクであり，問題設定が異なる．

セルを特定する．
本研究ではセル特定問題をアドホック検索タスクとして定式化

2.3 表質問応答

する．つまり，数値と数値を含む文書をクエリ，統計データのセ表質問応答は与えられた表と質問に対して，表の情報を用いて与えられた質問に回答するタスクであり，数多くの研究が取ルを文書とみなして，統計データのセルをランキングする．

り組まれてきた [5, 6, 10, 17, 19]．表質問応答における質問は，表3.1 定式化
本節では，セル特定問題をアドホック検索問題として定式化すの 1 つのセルが答えとなる Lookup 質問と，表の複数のセルを集約した結果が答えとなる Aggregation 質問の 2 つに分けられる．

2

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月

入力として与えられたクエリ 𝑞 と検索対象文書の集合 𝐷 に対

統計データ

Wikipedia の記事して，本検索タスクは 𝐷 に含まれる文書をランク付けする問題

３ 都道府県別の作付⾯積、収穫量(13) ほうれんそう

ホウレンソウ

であり，出力としてランキング (𝑑1 , 𝑑2 , . . . , 𝑑 𝑘 ) を返す．ただし，

栽培 > 収穫量と作付⾯積 > ⽇本

…⽇本における 2013 年の年間⽣産量は 250,300t であり、…

各 𝑖 について 𝑑𝑖 ∈ 𝐷 である．
本問題におけるクエリ 𝑞 ∈ 𝑄 は検証対象の数値と数値を含む①数値と統計データへのリンクの抽出文書の組である．ただし，𝑄 は任意のクエリの集合である．

全国農業地域
都道府県

作付⾯積
ha

収穫量
t

全国
21,300 250,300
③クラウド
北海道
687
6,750
ソーシングでの⼀致確認 ②抽出した数値と値が⼀致するセルの列挙

本論文における検索対象文書 𝑑 ∈ 𝐷 は組 (𝑐, 𝑇) で表される．
図1𝑐, 𝑇 はそれぞれセルと表を表しており，𝑐 ∈ 𝑇, 𝑇 ∈ T の関係にあ

データセット構築手順

る．ただし， T は統計データを表す．
本論文において統計データとして扱うファイル形式は，スプレッドシート形式 (Excel) もしくは CSV 形式のファイルのみとする． また，本論文においては，統計データ T を表の集合

T = {𝑇1 , . . . , 𝑇| T | } として定義する．ここで，スプレッドシート
図2

形式のファイルについては，それぞれのシートが統計データに含アノテーション対象の数値が含まれる文章の例

まれる表 𝑇𝑖 ∈ T に対応しているとみなし，CSV 形式のファイルについては，必ず |T | = 1，つまり 1 つの表しか含まれていないータは数値に対応するセルを数千から数万のセルの中から探すことする．

ととなる．その結果，1 つのデータを作成するためのアノテーシ

本論文ではこのランキング問題を，クエリ 𝑞 ∈ 𝑄 と検索対象

ョンの作業時間と費用が大きくなり，大規模なデータセットを作文書の統計データのセル 𝑑 ∈ 𝐷 を入力として，スコアを出力す成することが困難になってしまうという問題がある．

るスコア関数 𝑠 : 𝑄 × 𝐷 → R を設計する問題とみなす．つまり，そこで本研究では，事前にアノテーションの候補となるセルをスコア関数 𝑠 の出力するスコアの降順に結果を並べることで最終絞り込むことによって，アノテーションにかかる時間が少なくな的なランキングを得る．

4

るようにした．セルを絞り込むことにより，アノテータは絞り込
まれたセルの行名や列名，表の説明のみを確認するだけで良い．

WikiStatCells データセット

よって，表全体をそのまま提示した場合と比較して，アノテータ

本節ではセル特定問題のためのデータセット WikiStatCells のは膨大なセル数を持つ表の中から対応するセルを特定する必要が構築方法について説明した後，構築したデータセットの統計情報

なくなり，効率的にアノテーション作業を行うことができるようについて説明する．

になると考えられる．

4.1 構築手順

作成手順を図 1 に示す．まず，Wikipedia 記事に含まれる統計

本節では Wikipedia 記事と，記事が引用する統計データを用

データへのリンクを抽出し，そのリンクが含まれる記事のセクシ

いて WikiStatCells データセットを構築する方法について説明すョンから，引用されている数値の候補を抽出した．次に，リンクる．

先の各統計データに対して，統計データに含まれるセルのうち，

表形式データに関するデータセット作成においては，表全体を抽出した数値と値が一致するセルを機械的に全て列挙した．ただアノテータに提示し，アノテーション作業を行ってもらうというし，抽出された数値と一致するセルの数が 10 個より大きい数値

形式が一般的である．例えば，表質問応答のデータセットであるについては，アノテーション対象に含むとアノテーション対象のWikiTableQuestions [10] データセットの作成においては，アノテセルの総数が膨大になってしまうため，アノテーション対象からータにまず Wikipedia に含まれる表を提示し，そこからアノテー除外した．最後にクラウドソーシングを用いて，列挙したセルのタは表から回答可能な質問を自由に作成してもらうという手順を値と抽出した数値が意味的に一致する値であるかを，セルの列名取っている．

や行名，表の説明などの情報から人手で判定を行った．

しかしながら，本論文の扱う表形式データである統計データ

クラウドソーシングによるアノテーションのより詳細な設定

は，一般の表形式データセットと比較して，行数や列数が大きについて説明する．クラウドソーシングに関しては，日本語デいという違いが存在する [20]．表形式データセットにおいてはータセットでは Lancers *1 を，英語版データセットでは Amazon

Web 上の表が用いられることが多く，後述する通り Web 上の表

Mechanical Turk *2 を用いた．また，抽出された数値と絞り込まを用いたセル特定データセットである BriQ [7] においては列数れたセルの組に対して，日本語と英語でともに 3 人ずつのアノテや行数が中央値でともに 5 であるなど，表のサイズが小さいことータを割り当てた．

が多い．しかしながら本研究の扱う統計データは，英語版データ

クラウドソーシングにおけるアノテーション対象のデータの例

セットにおける列数と行数の中央値がそれぞれ 13 と 172 であり，を説明する．アノテーション対象の数値を含む文章の例を図 2 に

既存のデータセットと比較して表のサイズが大きい．

示す．文章においては，どの数値がアノテーション対象となる数

このような状況において，統計データに対するセル特定データセット作成のために，検証対象の数値とその周辺の文章に合わせ*1 https://https://www.lancers.jp (2021/12/01 閲覧)*2 https://www.mturk.com (2021/12/01 閲覧)て統計データをアノテータに対してそのまま提示すると，アノテ

3日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月

表2 データセットに含まれる表に関する比較．値は各データセットにおける中央値を表す．

日本語

英語

BriQ [7]WTQ [10]

行数

70

172

5

15

列数

22

13

5

6

89.6%

66.6%

50.0%

20.7%

数値セル率
図3

アノテーション対象のセルの例 (意味的に一致する例)

100

(%)

80

BriQ
WTQ

60
40
20

図4

0

アノテーション対象のセルの例 (意味的に一致しない例)

101
表1

102

103

104

105

106

アノテーション結果

日本語

英語

データ数 (一致判定されたセル数)

178

1,268

アノテーション対象セル数

955

6,068

一致判定されたセルの割合

20.2%

26.5%

アノテータ間一致率 (Fleiss’s 𝜅)

図5 表に含まれるセル数と数値セル率の散布図

BriQ [7] と表質問応答のデータセットである WikiTableQuestions(WTQ) [10] を用いた．結果を表 2 に示す．この表から，作成し

70.0%

86.2%

Wikipedia 記事数

た WikiStatCells データセット (日本語，英語) は，既存の Web 上

77

560

の表に関するデータセットと比較して，行数や列数が大きく，か

統計データ数26

154

つ数値セル率が高い．

1分5秒

1分41秒

セルあたりのアノテーション時間

またこれらのデータセットに関して，表に含まれるセル数と表の数値セル率の散布図を図 5 に示す．ただし，表の数が 100 を超えるデータセットはその中から 100 個をランダムにサンプリ

値かがハイライトされている．また，上記の数値に対応するアノテーション対象の統計データの例を図 3 に示す．この図の例におングしてプロットした．この図において WikiStatCells データセ

けるセル C16 は「シーベリーの収穫量が 5 トンである」ことをット (日本語，英語) は右上側に多くの点が集まっている．つま表すセルであるため，このセルは文章中の数値と意味的に一致す

り WikiStatCells データセットはセル数が多く，かつ数値セル率

るセルである．一方で，図 4 は文章中の数値と意味的に一致しなが高い表が多い．一方で BriQ や WTQ は左側に多くの点が集まいセルの例である．これらのセルは文章中のハイライトされた数っており，セル数が少ない表が多く，作成したデータセットとは値と同じ値を持つものの，文脈的に一致しない．例えば C17 の表のサイズに関する違いが存在する．

セルは「ブラックベリーの収穫量が 5 トンである」ことを示すセ

5 実験

ルであり，品目名が異なる．

本節では前節で構築したデータセットに対して，ベースライン

4.2 アノテーション結果

手法を用いて比較を行う．まずは実験設定について説明した後，アノテーション結果を表 1 に示す．日本語データセットにおいては，77 個の Wikipedia 記事と 26 個の統計データから，178 個

実験結果について説明する．

の統計データを引用する数値と対応する統計データのセルのペア

5.1 実験設定
本節では実験設定について説明する．

を得ることができた．一方で英語データセットにおいては，560
個の Wikipedia 記事と 154 個の統計データから，1,268 個の統計

本実験では 4 つの手法を比較する．具体的には，基本的な検データを引用する数値と対応する統計データのセルのペアを得る

索手法である BM25，クエリ尤度モデル + ディリクレ平滑化ことができた．また，アノテータ間一致率 (Fleiss’s 𝜅) は日本語

(QLD)， Sequential Dependence Model (SDM) の 3 つに加えて，と英語でそれぞれ 70.0%, 86.2% となった．

表質問応答手法である Row-Column Intersection Model (RCI) [5]統計データと Web 上の表を比較するために，作成した統計デを比較する． BM25，QLD，SDM は Anserini [16] *3 を用いて実ータに関するデータセットである WikiStatCells (日本語，英語)

装し，これらの検索手法の持つパラメータは Anserini のデフォと既存の Web 上の表のデータセットを比較した．既存の Web
上の表のデータセットとして，セル特定データセットである*3 http://anserini.io (2021/05/19 閲覧)

4

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月

表3

クエリ

検索手法

BM25
周辺単語のみタイトル+周辺単語

実験結果

日本語

英語

MRR

nDCG@10MRR

nDCG@10

0.137

0.194

0.100

0.107

QLD

0.175

0.246

0.110

0.118

SDM

0.175

0.248

0.109

0.118

RCI

-

-

0.164

0.184

BM25

0.187

0.259

0.195

0.213

QLD

0.218

0.291

0.294

0.327

SDM

0.207

0.285

0.295

0.331

RCI

-

-

0.223

0.247

ルトのものを使用する．

また，基本的な検索手法 (BM25, QLD, SDM) の結果と表質問

RCI については，HuggingFace Transformers [14] を用いて実装

応答手法 (RCI) の結果を比較すると，周辺単語のみをクエリとしし， WikiTableQuestions データセットで Fine-tuning されたモデて用いた場合は表質問応答手法が基本的な検索手法を上回る結果

ルを利用する．ただし，RCI については日本語モデルが存在せずとなった．一方で，周辺単語に加えてタイトルもクエリとして用

日本語データセットへの適用が難しいため，英語データセットのいた場合は，BM25 に対しては表質問応答手法が上回る結果となみに適用する．また，RCI へ適用する際には表のヘッダの特定がった一方で， QLD と SDM に対しては表質問応答は下回る結果必要となるため，本実験ではルールベースでヘッダを抽出する．

となった．この結果から，本実験で用いた表質問応答手法が質問

具体的には，値が空でないセルが 2 個以上含まれる行のうち，最応答データセットに対して Fine-tuning されていることも考慮す

も先頭の行を表のヘッダとみなすこととする．

ると，表質問応答手法はセル特定問題において強力なベースライ

また，クエリとして用いる情報を変化させた場合について比較

ン手法となりうることが示された．

する．具体的には，既存の類似する研究 [7, 9] において用いられ6 まとめている，クエリ周辺の情報のみを用いた場合と，クエリ周辺の情

本論文では文書中の数値の真偽を検証するために，数値が参照

報に加えてタイトルを用いた場合を比較する．

する統計データのセルを自動的に特定する問題を提案した．我クエリ周辺の情報としては数値を含む文を用いることが考えられるが，本データセットにおいては検証対象となる数値が同じ文々はこの統計データのセル特定問題をアドホック検索問題と見に複数個含まれる場合が存在する．このような場合，検証対象のなし，数値と数値を含む文書の組をクエリ，統計データのセル

数値が異なる場合であってもクエリが同一となり，ランキングのを検索対象の文書として問題を定式化した．またセル特定問題

結果も同一となるため，セル特定の性能が低くなる可能性が考えのためのデータセットとして， Wikipedia と統計データへのリられる．例えば，図 2 の文において「5 トン」と「4 ヘクタール」

ンクを用いて日本語と英語の 2 つの言語からなるデータセット

がともに検証対象の数値であった場合，これらの数値ではクエリ

WikiStatCells を作成した．さらに本問題の難しさを検証するたが同一の文となる．そこで本実験では検証対象の数値ごとに異なめに，作成したデータセットを用いて実験を行った．その結果，るクエリとするため，クエリ周辺の情報として数値の前後 𝑘 単語

クエリとしては数値周辺の情報に加えてタイトルの情報を用いたずつ (𝑘 = 10) を用いることとする． 𝑘 を変えた場合の性能の変方が検索性能が向上することが判明した．また，ニューラル言語

化に関する検証については今後の課題とする．

モデルを用いた表質問応答手法がセル特定において強力なベース

評価指標としては，アドホック検索においてよく用いられる評

ラインとなりうる可能性が示された．
今後の課題としては， RCI モデルを fine-tuning した場合につ価指標である，平均逆数順位（Mean Reciprocal Rank, MRR）とnDCG@10 を用いる．

いて検証すること，日本語データセットに対して表質問応答手法

5.2 結果を適用することなどに取り組む予定である．

本節では実験結果について説明する．実験結果を表 3 に示す．

謝辞

クエリとして，数値周辺の単語のみを用いた場合と，数値周辺の単語に加えてタイトルも用いた場合を比較すると，全ての手法

本研究はJSPS科研費 18H03244，21H03554，JST さきがけ JP-

において，数値周辺の単語に加えてタイトルの情報を用いた場合

MJPR1853，および JST 次世代研究者挑戦的研究プログラムのほうが評価指標が向上した．この結果から，既存研究の問題設JPMJSP2124 の助成を受けたものです．ここに記して謝意を表し

定とは異なり，本論文のセル特定においては，数値周辺の情報にます．

加えてタイトルなどの情報を利用する必要があることが示された．

5

日本データベース学会データドリブンスタディーズ
一般論文

Vol. 1, Article No. 1, 2023年 3月[15] An Yan and Nicholas M. Weber. Mining open government data usedin scientific research. In Proceedings of the 13th International Conference on Information, pages 303–313. Springer, 2018.
[16] Peilin Yang, Hui Fang, and Jimmy Lin. Anserini: Reproducible
ranking baselines using lucene. ACM Journal of Data and Information
Quality, 10(4):16:1–16:20, 2018.
[17] Pengcheng Yin, Graham Neubig, Wen-tau Yih, and Sebastian Riedel.
TaBERT: Pretraining for joint understanding of textual and tabular
data. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8413–8426. Association for
Computational Linguistics, 2020.
[18] Shuo Zhang and Krisztian Balog. Ad hoc table retrieval using semantic
similarity. In Proceedings of the 2018 World Wide Web Conferenceon World Wide Web,, pages 1553–1562. ACM, 2018.
[19] Victor Zhong, Caiming Xiong, and Richard Socher. Seq2sql: Generating structured queries from natural language using reinforcement
learning. CoRR, abs/1709.00103, 2017.
[20] 中野優, 加藤誠. クエリと文書のフィールドを考慮した被引用統計データの検索. 情報処理学会論文誌データベース（TOD） ,14(4):49–60, 2021.
[21] 岡本卓, 宮森恒. 被検索文書の絞り込みと補強，クエリ拡張に基づ
く統計データ向けアドホック検索. 情報処理学会論文誌データベー
ス（TOD）, 14(4):36–48, 2021.

参考文献[1] Ebrahim Bagheri and Feras N. Al-Obeidat. A latent model for ad hoc
table retrieval. In Proceedings of the 42nd European Conference on
IR Research, pages 86–93. Springer, 2020.
[2] Zhiyu Chen, Haiyan Jia, Jeff Heflin, and Brian D. Davison. Leveraging schema labels to enhance dataset search. In Proceedings of the
42nd European Conference on IR Research, Part I, pages 267–280.
Springer, 2020.
[3] Zhiyu Chen, Mohamed Trabelsi, Jeff Heflin, Yinan Xu, and Brian D.
Davison. Table search using a deep contextualized language model.
In Proceedings of the 43rd International ACM SIGIR conference on
research and development in Information Retrieval, pages 589–598.
ACM, 2020.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
BERT: pre-training of deep bidirectional transformers for language
understanding. In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pages 4171–4186. Association for
Computational Linguistics, 2019.
[5] Michael R. Glass, Mustafa Canim, Alfio Gliozzo, Saneem A. Chemmengath, Vishwajeet Kumar, Rishav Chakravarti, Avi Sil, Feifei Pan,
Samarth Bharadwaj, and Nicolas Rodolfo Fauceglia. Capturing row
and column semantics in transformer based question answering overtables. In Proceedings of the 2021 Conference of the North American
Chapter of the Association for Computational Linguistics: Human
Language Technologies, pages 1212–1224. Association for Computational Linguistics, 2021.
[6] Jonathan Herzig, Pawel Krzysztof Nowak, Thomas Müller, Francesco
Piccinno, and Julian Martin Eisenschlos. TaPas: Weakly supervised
table parsing via pre-training. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 4320–
4333. Association for Computational Linguistics, 2020.
[7] Yusra Ibrahim, Mirek Riedewald, Gerhard Weikum, and Demetrios
Zeinalipour-Yazti. Bridging quantities in tables and text. In 35th
IEEE International Conference on Data Engineering, pages 1010–
1021. IEEE, 2019.
[8] Makoto P. Kato, Hiroaki Ohshima, Ying-Hsang Liu, and Hsin-Liang
Chen. A test collection for ad-hoc dataset retrieval. In Proceedingsof the 44th International ACM SIGIR Conference on Research andDevelopment in Information Retrieval, pages 2450–2456. ACM, 2021.
[9] Dae Hyun Kim, Enamul Hoque, Juho Kim, and Maneesh Agrawala.
Facilitating document reading by linking text and tables. In The 31st
Annual ACM Symposium on User Interface Software and Technology,
pages 423–434. ACM, 2018.
[10] Panupong Pasupat and Percy Liang. Compositional semantic parsing
on semi-structured tables. In Proceedings of the 53rd Annual Meetingof the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the AsianFederation of Natural Language Processing, pages 1470–1480. The
Association for Computer Linguistics, 2015.
[11] Roee Shraga, Haggai Roitman, Guy Feigenblat, and Mustafa Canim.
Ad hoc table retrieval using intrinsic and extrinsic similarities. In
Proceedings of the Web Conference 2020, pages 2479–2485. ACM /IW3C2, 2020.
[12] Roee Shraga, Haggai Roitman, Guy Feigenblat, and Mustafa Canim.
Web table retrieval using multimodal deep learning. In Proceedingsof the 43rd International ACM SIGIR conference on research anddevelopment in Information Retrieval, pages 1399–1408. ACM, 2020.
[13] Fei Wang, Kexuan Sun, Muhao Chen, Jay Pujara, and Pedro A.
Szekely. Retrieving complex tables with multi-granular graph representation learning. In Proceedings of the 44th International ACM
SIGIR conference on research and development in Information Retrieval, pages 1472–1482. ACM, 2021.
[14] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond,
Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi
Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick vonPlaten, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le
Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander M. Rush. Transformers: State-of-the-art natural language processing. In Proceedings of the 2020 Conference on Empirical Methods in
Natural Language Processing, pages 38–45. Association for Computational Linguistics, 2020.

6