Asimismo, era jefe militar cuando se produjo la derrota de la Casa de Lancaster en la Batalla de Towton. Escapó a Escocia tras la batalla, y posteriormente se unió a la reina Margarita en su exilio en Francia. Fue desposeído de sus cargos en 1461, y sus territorios fueron entregados a su mujer, que se separó de él en 1464. Durante el breve período de la restauración de Enrique VI (octubre de 1470 – mayo de 1471) recuperó muchos de sus cargos y territorios.