Frazer, 2016 referandumundan önce Avrupa Birliği içinde kalmayı destekledi. Temmuz 2016'da HM Paymaster Genel Sekreteri Özel Bakanı ve Kabine Ofisi Bakanı Ben Gummer oldu.