Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.18
2023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report

クラウドソーシングを用いたアノテーションにおける不良回答の検出手法
福光 嘉伸1,2,a)

松田 裕貴1,2,b)

諏訪 博彦1

安本 慶一1

概要：アノテーション作業をクラウドソーシングで行うことにより，低コストで機械学習のための学習データを収集できる．しかし，対価として報酬を付与すると可能な限り速く回答を行おうとする行動が起こり，不良回答が発生する問題がある．そこで，本研究ではアノテーションタスクを対象として不良回答をリアルタイムで検出することを目指し，作業中の画面操作から得られるカーソル移動量や操作時間などの特徴量を用いた検出手法を提案する．本稿では，手法実現のための基礎的な分析として，提案する特徴量と不良回答との関係性を調査した結果，および構築した適切回答・不良回答の分類モデルの評価結果について報告する．
キーワード：アノテーション，不良回答検出，機械学習1. はじめに生を検知・防止することが求められている．
社会心理学といった質問紙調査（アンケート調査）を多マイクロタスク型クラウドソーシングとは，インターく取り扱ってきた分野では，より正確な回答結果を得るた

ネット上で不特定多数の群衆に短時間で遂行可能な業務をめに努力の最小限化の傾向を検出する手法が考案されてい水平分散的に委託することで，低コストで大規模のデータる．三浦ら [3] は The Attentive Responding Scale（ARS）を取得および解析することを可能とする方法であり，様々という矛盾を問う評価尺度を質問紙に取り入れることで，な用途での活用が進んでいる．特に機械学習の分野におい努力の最小限化の傾向を示す個人を検出する方法を提案しては，モデル構築・精度向上のために大量の学習データがている．しかし，回答者を疑うような質問を回答者自身が必要となることから，データのアノテーション作業をクラ認識可能な形で提示する方法は，回答者に心理的負担を与ウドソーシングで行うことで低コストで学習データを収集え，回答者の内発的動機が損なわれることで，その質問自することが重要となる．しかし，コストと引き換えに得ら体が努力の最小限化の傾向を引き起こす可能性がある．それるデータの品質に大きなばらつきがあり，品質管理が課こで，後上ら [4], [5] らは，評価尺度を取り入れずに努力題となっている [1]．クラウドソーシングでは，アノテーの最小限化の傾向を検出することを目的として，スマートションを行うユーザが必ずしも正確に回答するとは限らフォンの画面操作記録を特徴量とする機械学習による検出ず，回答の対価として報酬を付与する場合に可能な限り速手法を提案している．しかし，この手法ではアンケートのく回答を行おうとするように行動すること（努力の最小限回答が全て終わってからしか検出を行うことができないこ化）が考えられる．人間は思考に時間を使うことで様々なとが問題となりうる．同一人物が一度しか実施することが誤りを減らすため [2]，努力の最小限化によって思考時間ができないタスク（調査内容を知る前と知った後で回答が変減少することにより誤ったラベリングを行い不良回答が発化する性質があるもの）など，データの母集団が限られて生するという問題がある．誤ったラベルが多量に含まれるいる場合，これまでの方法では不良回答の影響によって最学習データを用いた場合，機械学習モデルの精度が低下す終的に得られるデータが不足してしまう恐れがある．このる恐れがあるため，そうしたノイズとなりうるデータの発観点はアノテーションについても同様に問題となりうる．
本人しかアノテーションができないようなタスクの場合，

12a)b)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
共同第一著者，Co-ﬁrst author
fukumitsu.yoshinobu.ft5@is.naist.jp
yukimat@is.naist.jpⓒ2023 Information Processing Society of Japan

対象者が不良回答を行った場合にはそのデータを利用できなくなったり，最終的に構築するモデルの精度に悪影響を及ぼしたりすることが懸念される．このことから，アノ

1Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.18
2023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report

テーション作業中にリアルタイムに不良回答の検知を行う

表 1

重要性が高いと考える．
本研究では，データのアノテーションタスクを対象とし抽出する特徴量

特徴量
回答時間単位s

非操作時間sて不良回答をリアルタイムに検知する手法を提案すること別ウインドウ移動回数回を目指す．提案手法では，アノテーション作業中のクリッカーソル移動量 (x 軸, y 軸, 合計)

px

クやマウスカーソルの移動等の画面操作をリアルタイムにクリック回数回

カーソル n 秒以上停止回数 {n=1,3,5,10,30}回記録し，得られる特徴量を用いた不良回答検出を行う．これに対し本稿では，不良回答の分類モデルを作成するためクリック間隔 平均時間s

クリック間隔 分散

s2に，固有表現ラベリングのタスクを対象として学習データ最長/最短クリック間隔sの取得実験を実施する．実験により得られた画面操作記録

文字選択回数回から特徴量を抽出し，正常回答群と不良回答群 (アノテーn 秒毎のカーソル移動速度の最大/最小値 {n=0.5,1,3,5,10}px/s

n 秒毎のカーソル移動速度の分散 {n=0.5,1,3,5,10}(px/s)2

ション結果が基準に満たない) それぞれで各特徴量について母平均の差の検定を行う．その後，分類モデルを作成しモデルの評価を行う．さらに，得られた結果についての分らず，取得したデータの一部を不良データとして削除しな析結果について報告する．

ければならない可能性がある．アノテーションやマイクロ

2. 関連研究

タスクに対する既存研究 [8], [9] では，やる気や定着率を向上させる点に留まっており，出力結果（データセット）の不良回答を検出する既存研究としては，リッカート式や質を向上させることは難しい．待ち時間を作業前に設ける

テキストベースのアンケートを対象としたものが一般的で研究 [10] では，数%の改善にとどまっている，かつ長い思ある．後上ら [4], [5] は，一回のスクロール操作による画面考時間が必要となるタスクではその効果は小さいと考えら

移動量やスクロール速度などの画面操作を記録するシステれる．これらのことから，リアルタイムに不良回答の検出ムを作成し，画面操作を特徴量として用いることで，85.9%を行い，不良回答を改善することのできる方法を検討するの検出率を達成している．加えて，中川ら [6] は，アンケー重要性は高いと考えられる．

ト回答中の迷いが反映されたタッチ操作ログを取得するべく，スライドバーや拡大鏡を活用した 2 種類の回答 UI を提案している．

3. 実験
3.1 画面操作記録システム

アノテーションに関して客観的な品質を測る指標につ画面操作が記録可能なシステムについて述べる．オー

いても研究されている．Otani ら [7] は，物体検出精度のプンソースソフトウェアのアノテーションツールである品質を測る指標として，一般的な mAP（Mean Average

LabelStudio [11] に対して，ユーザのブラウザ上の操作をPrecision）に加え，誤差を含む検出結果を正解に修正する記録する機能を実装することで，アノテーション中の画面ためのコスト OC-cost（Optimal Correction Cost）を提案

操作データを随時データベースに格納する．

している．

次に，画面操作データから抽出する特徴量について述べ

また，アノテーションやマイクロタスクに対するユーる．本研究では，アノテーションタスクに対応でき，リアザのモチベーションや作業及びデータの質を向上させるルタイムに抽出することができる特徴量を追加する．さらための研究は多数行われている．Sihang ら [8] は，クラウに，各タスクの実施をトリガーとし特徴量を抽出する．

ドソーシングでマイクロタスクを作業として与える際に，表 1 に用いる特徴量とその単位を示す．特徴量は，対象従来の Web インターフェースの代わりに会話型インターとするアノテーションタスクの操作内容に合わせて考案さフェースを用いることで，ユーザのやる気を向上させる手れている．今回対象とする固有表現ラベリングタスクは，法を提案している．Jeﬀrey ら [9] は，長時間の作業中に適文章中から固有名詞（人名や書籍名など）や日時表現など度な休憩を与えることで，ユーザの定着率を大幅に改善し，固有表現を抽出し，ラベルを付与するタスクである．タス作業に対する関与を高めることを明らかにした．また，香クには，マウスカーソルを移動させることによる文字選

川ら [10] は，膀胱鏡画像が異常か正常か判断するタスク択（該当単語をドラッグ操作で囲う）や，選択した領域へにおいて作業前に 1 秒待ち時間を設定することでアノテーのラベル付与（指定されたリストから対応するラベルを選ション品質を向上できることを明らかにした．

択する）といった画面操作が含まれる．タスクの実施時にこのように，不良回答を検出する既存研究 [4], [5] では，は，文章を見てどの単語が固有表現であり，どのカテゴリリアルタイム性がなく，回答が全て終わってからしか不良に属するかを判断する認知処理が必要とされる．不良回答回答の検出を行うことができないという課題を残していでは，速く回答を行うために十分な数の単語にラベルを付る．また，不良なクラウドワーカーへの対応策を講じてお与していないことや，文章中の固有表現に適切なラベルがⓒ2023 Information Processing Society of Japan2

Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.182023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report
表 2

各データセットに含まれるデータ数
データセット D±0

データセット D±50

適切回答

472572

不良回答

616516示すように，ラベルをクリックで選択して，任意の文字を範囲選択することで行うことができる．対象となる文章，およびラベル付の例を以下に示す．



新大阪駅に到着しまし自宅を出てのぞみに乗り山を越え.......
.........
図 1

ラベル付与を行う画面例．

た． .新大阪駅からJR奈良駅に.........
. . . .京都線とバスを乗り継ぎ，.......
.......
着きました．猿沢池までの道は歩きました．
.......
凡例
地名（固有名詞）・地名（一般名詞）..................
施設名（固有名詞）・施設名（一般名詞）.....................
乗り物名（固有名詞）・乗り物名（一般名詞）.......................
路線名（固有名詞）・路線名（一般名詞）.....................


図 2

ラベル付与の様子．



本実験はデータセットのうち日本語文章の 23 文を選択した．全ての文へのアノテーションの終了，もしくは作業付与されていないこと，回答に迷ってマウスカーソルの速実施から 30 分を経過した時点でのタスクへのアノテーショ度にばらつきがあることが考えられる．そのため，適切/ンの終了をもって，本実験の作業終了とした．

不良回答間で回答時間，文字選択回数やカーソル移動量・

3.2.2 データセット速度等に違いが出ると考えられる．

旅行記データセットのグラウンドトゥルースと，実際に被験者がラベリングを行った各タスクを比較し，適切回答

3.2 学習データ取得実験であるか不良回答であるかを判別する．被験者 61 人のう3.1 節で述べた画面操作記録システムを用いて実施した

ち，指示通りに作業を実施した 56 人のデータを分析対象

学習データ取得実験および取得データセットについて説明とする．また，前処理としてタスクの回答時間が 10 秒未する．なお，本研究は奈良先端科学技術大学院大学人を対満，5 分以上のデータに関しては異常値として取り除く．

象とする研究に関する倫理審査委員会の承認を受けて実施

ラベル範囲・ラベル種類の両方がグランドトゥルースとした（承認番号：2020-I-2）．本実験は，奈良先端科学技術一致したもののみ正解とし，そのときの F1 score（F1 値）

大学院大学の学生を対象として募集を行い，被験者数は 61を評価値とする．以下の式 1，2，3 より F1 値を算出する．

人であった．被験者に，実際にアノテーション作業を実施

不良回答とみなす F1 値の閾値について，付与対象が最もしてもらいその際の画面操作を記録することで学習データ少ない 3 つの場合に，1 つのラベル付与間違いまでは許容を取得する．被験者には，報酬として 1000 円相当のギフするように設定する．そのため，F1 値が 0.7 以上のラベトカードを付与した．実験で用いたアノテーション作業のル済みデータを適切回答，0.7 未満を不良回答として扱い設計と取得データについて以下で述べる．

データセット D±0 を作成する．

3.2.1 アノテーション作業の設計

また，自然言語領域においてラベル範囲に関しては，文本実験におけるアノテーション作業としては，地球の歩字数の ±N% までは正解とみなすとして部分一致を許容す

き方旅行記データセット*1 [12], [13] を用いた固有表現ラベる場合もある．明確に許容範囲の値が決められているわけ

リングを対象とした．アノテーション作業は図 1 に示すよではなく，対象とするアノテーション作業にあわせて設定

うに LabelStudio 上で行い，被験者は 80〜120 字の日本語する必要がある．本アノテーション作業でラベル付与の範文章がシステムから順に与えられる．この文章中の固有表囲不足が発生する原因に，複合名詞に対して片方の名詞に現の内，地名・施設名・乗り物名・路線名や道・橋等の経のみラベルを付与する場合が挙げられる．そのため，文字路に対して固有名詞/一般名詞を区別してラベルを付与す数の ±50% までの部分一致を正解とみなして，F1 値を算る．この 4 種類に該当しない表現や単語はラベル付与の対出し，データセット D±50 を作成する．

象外であり，各タスクには 3〜9 個の付与対象の固有表現が含まれる．LabelStudio を用いたラベル付与は，図 2 に*1作成した各データセットに含まれる適切回答・不良回答のデータ数を表 2 にそれぞれに示す．

https://www.nii.ac.jp/dsc/idr/arukikata/ⓒ2023 Information Processing Society of Japan3

Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.18
2023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report

P resition =正解ラベル数
付与ラベル数(1)

表 3

適切回答群に対する不良回答群の母平均の大小と検定結果（データセット D±0 ）母平均の大小有意差

回答時間

Low

-

非操作時間

Low

-

別ウインドウ移動回数High-

カーソル移動量 (x 軸, y 軸, 合計)

Low-

クリック回数Low*

カーソル n 秒以上停止回数 {n=1, 5}

High-

カーソル n 秒以上停止回数 {n=3, 10, 30}

Low-

クリック間隔 平均時間

High-

クリック間隔 分散High-

最長クリック間隔

Low-の各特長量を，母平均の差を有意水準 5%とするウェルチ

最短クリック間隔High-の t 検定によって検定する．

文字選択回数Low*n 秒毎のカーソル移動速度の最大値

Low-High-

Low-

Recall =正解ラベル数
グランドトゥルースのラベル数

2 ∗ Precision ∗ Recall
F 1score =Precision + Recall

特徴量(2)(3)

3.3 分析
実験により取得した画面操作データから 3.1 節で説明した特徴量を抽出したデータセット D±0 ，D±50 それぞれに対して本節で示す各分析を行う．適切回答群と不良回答群

その後，特徴量を用いて機械学習による分類を行う．機械学習のアルゴリズムとして，LightGBM（LGBM）[14]を用いる．LightGBM は一般的に少ないサンプルデータでも高い精度が出やすい，かつ決定木ベースのアルゴリズムであるため不要な特徴量が含まれていても精度が低下しにくいという特徴がある．汎化性能を考慮した上で分類精度を算出するために，すべての学習データ 1 件ずつに対して，その被験者のものでないデータを集め，検証用データとし{n=0.5, 1, 3, 5, 10}
n 秒毎のカーソル移動速度の最小値{n=0.5, 1, 3, 5, 10}
n 秒毎のカーソル移動速度の分散{n=0.5, 1, 3, 5, 10}

表 4

適切回答群に対する不良回答群の母平均の大小と検定結果（データセット D±50 ）て分類させる. 分類の評価指標として Precision，Recall，母平均の大小有意差

回答時間

Low

*

Accuracy を用い，モデルの評価を行う．

非操作時間

Low

*

別ウインドウ移動回数Low-

カーソル移動量 (x 軸, y 軸, 合計)

Low*

クリック回数Low*

カーソル n 秒以上停止回数 {n=1}High-

カーソル n 秒以上停止回数 {n=3, 5, 10, 30}Low-

クリック間隔 平均時間

High-

クリック間隔 分散

Low-か小さい（Low）かを示す．
「有意差」欄では，統計的な有最長クリック間隔

Low-意差があるか否かを示している．「−」印は有意差がないこ

最短クリック間隔High-と，「*」印は有意差があることを表している．表 3，表 4

文字選択回数Low*

n 秒毎のカーソル移動速度の最大値

Low*

High-Low*

4. 実験結果・考察
各データセットにおける特徴量の検定結果を表 3，表 4に示す．「母平均の大小」欄では，適切回答群と不良回答群の母平均を比較したとき，不良回答群の方が大きい（High）

からどちらのデータセットにおいても，クリック回数・文特徴量{n=0.5, 1, 3, 5, 10}

字選択回数は有意差があり，不良回答群は適切回答群に比n 秒毎のカーソル移動速度の最小値

べてこれらの特徴量の平均が小さいことが分かる．また，{n=0.5, 1, 3, 5, 10}

データセット D±0 に比べてデータセット D±50 は，より多{n=0.5, 1, 3, 5, 10}

n 秒毎のカーソル移動速度の分散

くの特徴量で有意差がある．このことより，ラベル付与範囲の部分一致を許容することで，適切回答群と不良回答群の一部特徴量の違いが大きくなるといえる．
どちらのデータセットでも有意差が認められたクリック
回数と文字選択回数について，適切回答群と不良回答群との比較を箱ひげ図で図 3，図 4 に示す．図より，データセット間で大きな傾向の違いはないといえる．また，適切回答群に比べて不良回答群は，クリック回数の中央値が小さい値であり，文字選択回数の第二四分位数から最大値にかけての値のばらつきが小さいことが分かる．これらの特徴は機械学習での不良回答で有用な特徴であると考えられる．
データセット D±0 で有意差が見られない，かつデータⓒ2023 Information Processing Society of Japan

図 3

クリック回数．

セット D±50 で有意差がある特徴量のうち，適切回答と不良回答間で違いが出ると仮定していた回答時間とカーソル移動速度の分散の箱ひげ図をそれぞれ図 5，図 6 に示す．

4

Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.18
2023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report

図 4

図 5

文字選択回数．

回答時間．

図より，データセット D±0 では回答時間とカーソル移動速度の分散共に違いがあまりないといえる．また，どちらの特徴量においても適切回答群，不良回答どちらにも外れ値が多数存在する．データセット D±50 についても，四分位範囲自体に大きい違いはなく外れ値が多数存在する．回答
時間とカーソル移動速度の分散の特徴量で有意差がある要因として，外れ値の影響が挙げられる．図 6 で 2 つのデー

図 6

タセットを比較すると，データセット D±0 の不良回答群

n 秒毎のカーソル移動速度の分散（n = 0.5, 1, 3, 5, 10）．
表 5で存在していた外れ値が，データセット D±50 では一部存

データセット D±0 の分類結果
予測の特徴の適切回答群と不良回答群の母平均の差はデータ全体での特徴ではなく，外れ値の影響が大きいため機械学習

正解在しない点から母平均に違いが出たと考えられる．これら

での不良回答で有用な特徴であるといえない．

適切回答

不良回答

適切回答

191281

不良回答

211

405

Presicion: 0.475

Recall: 0.405

Accuracy: 0.548

表 5，表 6 に画面操作記録から抽出した特徴量を学習し表 6たモデルの分類結果を示す．表中に正解データの適切回答/データセット D±50 の分類結果
予測

表下部に分類モデルの各評価指標の値を示す．データセッ
ト D±0 は 0.548，データセット D±50 は 0.528 の Accuracyであった．このことから，今回抽出した特徴量では適切回正解

不良回答それぞれに対して予測した結果をデータ数で示し，
適切回答

適切回答不良回答

329

243

不良回答

270

246

Presicion: 0.549

Recall: 0.575

Accuracy: 0.528

答/不良回答の間の違いを表すことが難しく分類することができなかったと考えられる．主な原因として，アノテー

そのため，似た画面操作記録でもタスクによって F1 値がション作業の実施において作業速度や本人の能力などの個異なってしまい分類が上手く出来なかったと考えられる．

人差や問題毎の難易度が存在し，適切回答/不良回答間で特徴が混在していることが挙げられる．

これらの結果から，作業速度や本人の能力に依存せず適切回答/不良回答間の画面操作の違いを表すことのできる

次に，各タスクで全被験者の F1 値を箱ひげ図にしたも特徴量の考案や，適切回答/不良回答の F1 値の基準を一律のを図 7 に示す．横軸はタスク番号，縦軸は F1 値を表しで設定するのではなくタスク毎に設定をする必要がある．ている．箱ひげ図から各タスクで F1 値の中央値や四分位範囲に違いがあることが分かる．この結果から，アノテー

5. おわりにション作業においてタスク間に難易度差が生じていたため，

本研究はクラウドソーシングにおけるマイクロタスク，各タスクで F1 値のばらつきに違いが出たと推測できる．

特に機械学習のためのアノテーションタスクを対象とし，ⓒ2023 Information Processing Society of Japan5

Vol.2023-MBL-108 No.18
Vol.2023-UBI-79 No.18
Vol.2023-CDS-38 No.18
Vol.2023-ASD-27 No.18
2023/9/25

情報処理学会研究報告
IPSJ SIG Technical Report

[6]

[7]

[8]

図 7

タスク毎の F1 値の違い．

[9]ユーザが取る不良回答をリアルアイムに検知する手法を提案し，学習データにおける統計量分析を実施した．提案手法はアノテーション作業中の画面操作をリアルタイムに記[10]録し，特徴量を抽出することで作業実施中の不良回答検出を実現する．分析の結果から，固有表現ラベリングのアノテーション作業において，適切回答群に対して不良回答群[11]

ではクリック回数と文字選択回数の特徴量で母平均が小さく有意差があることがわかった．機械学習モデルによる分[12]類では，上手く適切回答/不良回答を分類することができず，被験者それぞれの能力や作業速度などの個人差やタスク間の難易度差の影響が原因である可能性が示唆された．

[13]

今後は，タスク毎に F1 値の基準を設定する方法や，作業速度や本人の能力に依存しない特徴量について模索するとともに，適切回答・不良回答の分類モデルの精度向上を目指す.
謝辞

本研究の一部は，JST さきがけ（JPMJPR2039）の助成を受けたものである．
参考文献
[1]

[2]

[3]

[4]

[5]

[14]

CESS.2021.3069049 (2021).
Nakagawa, T., Arakawa, Y. and Nakamura, Y.: Augmented Web Survey with enhanced response UI for
Touch-based Psychological State Estimation, 2022 IEEE
4th Global Conference on Life Sciences and Technologies, LifeTech, pp. 91–95 (2022).
Otani, M., Togashi, R., Nakashima, Y., Rahtu, E.,Heikkilä, J. and Satoh, S.: Optimal Correction Costfor Object Detection Evaluation, The IEEE/CVF Computer Vision and Pattern Recognition Conference,
CVPR’22 (2022).
Qiu, S., Gadiraju, U. and Bozzon, A.: Improving Worker
Engagement Through Conversational Microtask Crowdsourcing, Proceedings of the 2020 CHI Conference on
Human Factors in Computing Systems, CHI’20, pp. 1–12 (online), DOI: 10.1145/3313831.3376403 (2020).
Rzeszotarski, J. M., Chi, E., Paritosh, P. and Dai, P.: Inserting micro-breaks into crowdsourcing workﬂows, TheFirst AAAI Conference on Human Computation andCrowdsourcing, HCOMP’13, pp. 62–63 (2013).
香川璃奈，白砂大，池田篤史，讃岐勝，本田秀仁，野里博
和： 1 秒待つことによるアノテーション品質の向上：作業能力向上と心的負担のトレードオフを考慮した作業環境への介入，第 36 回人工知能学会全国大会 (2022).
HumanSignal, Inc.: Label Studio, https://github.com/heartexlabs/label-studio (2019). (Accessed on2023-09-01).
Ouchi, H., Shindo, H., Wakamiya, S., Matsuda,Y., Inoue, N., Higashiyama, S., Nakamura, S.
and Watanabe, T.: Arukikata Travelogue Dataset,arXiv, No. 2305.11444, pp. 1–6 (online), DOI:
10.48550/arXiv.2305.11444 (2023).
Higashiyama, S., Ouchi, H., Teranishi, H., Otomo,
H., Ide, Y., Yamamoto, A., Shindo, H., Matsuda,Y., Wakamiya, S., Inoue, N., Yamada, I. and Watanabe, T.: Arukikata Travelogue Dataset with Geographic Entity Mention, Coreference, and Link Annotation, arXiv, No. 2305.13844, pp. 1–11 (online), DOI:
10.48550/arXiv.2305.13844 (2023).
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W.,
Ma, W., Ye, Q. and Liu, T.-Y.: LightGBM: A HighlyEﬃcient Gradient Boosting Decision Tree, Advancesin Neural Information Processing Systems, NIPS’17,Vol. 30 (2017).

Daniel, F., Kucherbaev, P., Cappiello, C., Benatallah, B.
and Allahbakhsh, M.: Quality Control in Crowdsourcing: A Survey of Quality Attributes, Assessment Techniques, and Assurance Actions, ACM Comput. Surv.,
Vol. 51, No. 1 (online), DOI: 10.1145/3148148 (2018).
Kolvoort, I. R. and van Maanen, L.: Causal reasoning
under time pressure: testing theories of systematic nonnormative reasoning patterns, Proceedings of the Annual
Meeting of the Cognitive Science Society, Vol. 43, No. 43(2021).
三浦麻子，小林哲郎： オンライン調査における努力の最小限化を検出する技法，社会心理学研究， Vol. 32, No. 2(2016).
後上正樹，松田裕貴，荒川豊，安本慶一： オンラインアン
ケート回答時のスマートフォン画面操作状況に基づく不適切回答検出，第 25 回一般社団法人情報処理学会シンポジウム・インタラクション 2021，pp. 11–20 (2021).
Gogami, M., Matsuda, Y., Arakawa, Y. and Yasumoto,K.: Detection of Careless Responses in Online Surveys
Using Answering Behavior on Smartphone, IEEE Access, Vol. 9, pp. 53205–53218 (online), DOI: 10.1109/AC-ⓒ2023 Information Processing Society of Japan6