Den 5. september 2019 kunngjorde han sin uttreden fra regjeringen og tilkjennegav at han ikke ville stille til valg til det britiske underhuset. Har begrunnet dette med brexit-spørsmålet der han stod i et spenningsfelt mellom lojalitet til familien og den nasjonale interesse.