Table 1: All results of the static models. cos: Cosine Measure, dist: Distance Correlation, kend: Kendall's Tau, knn: K-Nearest Neighbors,svm: Support Vector Machine, fnn: Feed-Forward Network. The gap in Levy is due to its small training set and the corresponding small vocabulary. (A gray cell indicates significant values at  $p < 0.01$ )
BERT-Base	BERT-Large	RoBERTa	ElectraGen	Albert
cos	m-s	m-t	knn	svm	ffn	cos	m-s	m-t	knn	svm	ffn	cos	m-s	m-t	knn	svm	ffn	cos	m-s	m-t	knn	svm	ffn	cos	m-s	m-t	knn	svm	ffn
Room	bathroom	0.57	0.13	0.52	0.72	0.87	0.93	0.65	0.30	0.59	0.78	0.93	0.93	0.21	0.24	0.52	0.55	0.83	0.88	0.58	0.32	0.34	0.49	0.72	0.73	0.24	0.18	0.39	0.52	0.75	0.90
bedroom	0.48	0.33	0.43	0.53	0.66	0.77	0.44	0.41	0.44	0.44	0.87	0.78	0.23	0.18	0.36	0.17	0.53	0.60	0.32	0.31	0.37	0.37	0.37	0.39	0.23	0.22	0.47	0.31	0.44	0.68
kitchen	0.56	0.25	0.58	0.62	0.81	0.83	0.43	0.24	0.54	0.72	0.77	0.79	0.39	0.27	0.59	0.16	0.62	0.73	0.34	0.24	0.36	0.48	0.34	0.39	0.25	0.17	0.30	0.05	0.56	0.69
living room	0.30	0.37	0.26	0.51	0.78	0.79	0.23	0.38	0.24	0.57	0.49	0.66	0.13	0.38	0.28	0.49	0.74	0.65	0.26	0.48	0.33	0.15	0.27	0.26	0.15	0.35	0.54	0.20	0.29	0.40
office	0.46	0.39	0.28	0.40	0.59	0.61	0.40	0.37	0.31	0.25	0.52	0.71	0.14	0.37	0.38	0.18	0.74	0.63	0.17	0.37	0.23	0.42	0.27	0.36	0.23	0.22	0.42	0.45	0.66	0.81
CONC	0.43	0.26	0.33	0.54	0.73	0.78	0.34	0.26	0.36	0.55	0.72	0.78	0.19	0.22	0.31	0.28	0.69	0.71	0.22	0.30	0.27	0.38	0.40	0.43	0.19	0.15	0.23	0.25	0.53	0.69
Bed	0.55	0.41	0.51	0.51	0.69	0.79	0.49	0.41	0.55	0.56	0.69	0.69	0.20	0.42	0.62	0.49	0.52	0.60	0.37	0.31	0.43	0.44	0.44	0.43	0.26	0.40	0.54	0.36	0.66	0.71
dishwasher	0.22	0.16	0.22	0.27	0.31	0.28	0.30	0.18	0.31	0.29	0.17	0.18	0.16	0.19	0.19	0.13	0.24	0.17	0.26	0.19	0.21	0.01	0.23	0.36	0.17	0.18	0.25	0.26	0.25	0.23
door	0.19	0.32	0.20	0.34	0.65	0.63	0.13	0.28	0.39	0.47	0.60	0.62	0.15	0.33	0.27	0.52	0.42	0.51	0.14	0.20	0.17	0.41	0.57	0.60	0.13	0.29	0.21	0.36	0.50	0.54
mortise lock	0.12	0.14	0.09	0.16	0.26	0.28	0.14	0.23	0.11	0.19	0.26	0.35	0.07	0.29	0.12	0.08	0.18	0.28	0.16	0.18	0.15	0.39	0.59	0.39	0.09	0.27	0.22	0.16	0.31	0.39
refrigerator	0.44	0.21	0.40	0.48	0.47	0.54	0.38	0.21	0.54	0.42	0.51	0.50	0.18	0.38	0.45	0.49	0.43	0.49	0.37	0.33	0.43	0.46	0.45	0.53	0.44	0.27	0.51	0.66	0.51	0.61
toilet	0.18	0.16	0.29	0.16	0.34	0.45	0.25	0.16	0.26	0.36	0.55	0.50	0.22	0.34	0.41	0.45	0.51	0.51	0.34	0.26	0.42	0.26	0.41	0.46	0.24	0.23	0.25	0.22	0.31	0.46
CONC	0.20	0.20	0.24	0.33	0.45	0.49	0.22	0.21	0.28	0.39	0.46	0.46	0.07	0.29	0.29	0.39	0.39	0.43	0.21	0.19	0.23	0.32	0.45	0.47	0.08	0.23	0.27	0.35	0.42	0.49
eat	0.78	0.65	0.67	0.89	0.84	0.90	0.65	0.58	0.72	0.80	0.89	0.90	0.26	0.66	0.81	0.65	0.87	0.86	0.62	0.64	0.76	0.74	0.79	0.79	0.53	0.61	0.74	0.57	0.84	0.85
listen to	0.46	0.53	0.51	0.42	0.52	0.57	0.50	0.52	0.50	0.43	0.55	0.52	0.30	0.53	0.55	0.23	0.49	0.54	0.57	0.47	0.59	0.00	0.36	0.39	0.23	0.47	0.51	0.07	0.44	0.57
play	0.63	0.58	0.69	0.54	0.58	0.61	0.55	0.60	0.73	0.54	0.64	0.66	0.37	0.64	0.65	0.38	0.53	0.59	0.64	0.53	0.69	0.64	0.65	0.37	0.42	0.52	0.45	0.60	0.62
read	0.42	0.46	0.65	0.34	0.73	0.65	0.30	0.42	0.66	0.42	0.77	0.59	0.26	0.29	0.59	0.21	0.44	0.44	0.41	0.43	0.63	0.51	0.68	0.69	0.31	0.19	0.57	0.35	0.63	0.60
wash with	0.49	0.46	0.33	0.49	0.66	0.63	0.42	0.53	0.45	0.61	0.62	0.60	0.30	0.56	0.30	0.23	0.60	0.59	0.42	0.50	0.35	0.52	0.40	0.41	0.33	0.42	0.32	0.18	0.46	0.51
wear	0.66	0.64	0.76	0.88	0.90	0.92	0.62	0.57	0.74	0.79	0.90	0.85	0.24	0.64	0.77	0.36	0.72	0.79	0.53	0.62	0.74	0.90	0.84	0.83	0.30	0.61	0.77	0.61	0.77	0.86
CONC	0.53	0.53	0.38	0.59	0.69	0.71	0.37	0.50	0.44	0.60	0.73	0.68	0.20	0.55	0.37	0.28	0.59	0.64	0.49	0.51	0.37	0.60	0.61	0.62	0.15	0.40	0.26	0.29	0.62	0.67