All labels	Yes	ProbYes	Middle	ProbNo	No
P	R	F1	F1	F1	F1	F1	F1
Majority Baseline	0.18	0.42	0.25	0.59	0.00	0.00	0.00	0.00
RoBERTa without context and tuned with ...
MNLI	0.24	0.20	0.12*	0.32	0.00	0.14	0.00	0.00
BoolQ	0.20	0.35	0.25	0.50	0.00	0.00	0.00	0.00
Circa	0.31	0.34	0.32	0.58	0.04	0.05	0.03	0.35
MNLI+BoolQ	0.08	0.20	0.10*	0.32	0.00	0.00	0.00	0.00
MNLI+Circa	0.20	0.23	0.21	0.42	0.09	0.00	0.04	0.14
BoolQ+Circa	0.19	0.18	0.11*	0.22	0.00	0.00	0.00	0.24
MNLI+BoolQ+Circa	0.26	0.29	0.24	0.50	0.00	0.20	0.04	0.03
SwDA-IA_Q	0.18	0.43	0.26	0.45	0.18	0.22	0.22	0.18
SwDA-IA_A	0.42	0.45	0.43*	0.60	0.29	0.40	0.09	0.31
SwDA-IA_QA	0.44	0.45	0.44*	0.62	0.31	0.33	0.08	0.44
MNLI+SwDA-IA_QA	0.46	0.43	0.45*†	0.58	0.25	0.44	0.16	0.36
BoolQ+SwDA-IA_QA	0.39	0.42	0.39*†	0.58	0.22	0.32	0.06	0.36
Circa+SwDA-IA_QA	0.42	0.44	0.42*†	0.60	0.27	0.24	0.21	0.36
MNLI+BoolQ+SwDA-IA_QA	0.47	0.44	0.45*†	0.62	0.32	0.30	0.18	0.32
MNLI+Circa+SwDA-IA_QA	0.41	0.43	0.42*†	0.62	0.29	0.28	0.22	0.31
BoolQ+Circa+SwDA-IA_QA	0.46	0.48	0.46*†	0.64	0.22	0.45	0.24	0.42
MNLI+BoolQ+Circa+SwDA-IA_QA	0.41	0.40	0.40*†	0.54	0.30	0.34	0.20	0.34
RoBERTa with full context and tuned with ...
MNLI	0.19	0.16	0.13*	0.12	0.00	0.20	0.00	0.00
BoolQ	0.20	0.18	0.10*	0.32	0.00	0.00	0.00	0.00
Circa	0.24	0.28	0.27	0.55	0.03	0.00	0.00	0.20
MNLI+BoolQ	0.23	0.16	0.14*	0.30	0.00	0.00	0.00	0.14
MNLI+Circa	0.30	0.15	0.13*	0.20	0.02	0.24	0.05	0.16
BoolQ+Circa	0.24	0.33	0.28	0.50	0.24	0.00	0.16	0.07
MNLI+BoolQ+Circa	0.21	0.26	0.23	0.34	0.28	0.08	0.00	0.10
SwDA-IA_Q	0.32	0.39	0.33	0.57	0.08	0.26	0.02	0.24
SwDA-IA_A	0.38	0.40	0.38	0.53	0.22	0.26	0.12	0.38
SwDA-IA_QA	0.41	0.43	0.43*	0.59	0.24	0.32	0.14	0.39
MNLI+SwDA-IA_QA	0.44	0.42	0.42*†	0.54	0.38	0.16	0.14	0.38
BoolQ+SwDA-IA_QA	0.38	0.44	0.39*†	0.59	0.20	0.23	0.00	0.36
Circa+SwDA-IA_QA	0.36	0.40	0.39*†	0.58	0.11	0.30	0.00	0.38
MNLI+BoolQ+SwDA-IA_QA	0.38	0.39	0.37*†	0.56	0.18	0.16	0.10	0.32
MNLI+Circa+SwDA-IA_QA	0.36	0.38	0.37*†	0.58	0.20	0.18	0.11	0.31
BoolQ+Circa+SwDA-IA_QA	0.39	0.42	0.40*†	0.58	0.24	0.26	0.14	0.28
MNLI+BoolQ+Circa+SwDA-IA_QA	0.34	0.40	0.36*†	0.56	0.19	0.20	0.16	0.18
RoBERTa with annotator-selected context and tuned with ...
MNLI	0.18	0.15	0.08*	0.30	0.00	0.02	0.00	0.14
BoolQ	0.02	0.12	0.04*	0.20	0.00	0.00	0.00	0.00
Circa	0.30	0.34	0.32	0.58	0.04	0.04	0.00	0.38
MNLI+BoolQ	0.22	0.18	0.18*	0.30	0.00	0.00	0.00	0.21
MNLI+Circa	0.30	0.41	0.34*	0.58	0.14	0.04	0.00	0.33
BoolQ+Circa	0.33	0.41	0.28	0.58	0.06	0.06	0.04	0.04
MNLI+BoolQ+Circa+SwDA-IA_QA	0.24	0.34	0.30	0.56	0.24	0.00	0.00	0.00
SwDA-IA_Q	0.34	0.37	0.35*‡	0.54	0.22	0.12	0.11	0.23
SwDA-IA_A	0.46	0.42	0.44*‡	0.58	0.24	0.40	0.17	0.36
SwDA-IA_QA	0.43	0.47	0.45*	0.62	0.24	0.40	0.12	0.42
MNLI+SwDA-IA_QA	0.45	0.43	0.44*†	0.62	0.31	0.30	0.12	0.38
BoolQ+SwDA-IA_QA	0.42	0.44	0.43*†‡	0.58	0.30	0.35	0.14	0.41
Circa+SwDA-IA_QA	0.44	0.40	0.42*†	0.58	0.16	0.50	0.12	0.51
MNLI+BoolQ+SwDA-IA_QA	0.44	0.42	0.42*†	0.59	0.24	0.30	0.19	0.37
MNLI+Circa+SwDA-IA_QA	0.52	0.48	0.49*†‡	0.64	0.40	0.42	0.16	0.42
BoolQ+Circa+SwDA-IA_QA	0.43	0.46	0.45*†	0.62	0.27	0.40	0.17	0.40
MNLI+BoolQ+Circa+SwDA-IA_QA	0.44	0.46	0.44*†‡	0.64	0.30	0.37	0.15	0.41
Table 7: Results obtained with the test set. These results complement Table 3 in the main paper (Table 3 is subsumed by this one). We indicate statistical significance (McNemar's test (McNemar, 1947) with  $p < 0.05$ ) as follows: * indicates better results with respect to the baseline, † with respect to the same fine-tuning except SwDA-IA, and ‡ with respect to the model with full context. Training with real conversation (SwDA-IA) is crucial, and annotator-selected context yields the best results.