Il était également commandant de l'aile gauche à la défaite de Towton. Il fuit en passant par l'Écosse, et rejoint la reine Marguerite exilée en France. En 1461, il fut déchut de ses titres, qui furent donnés à son épouse. Celle-ci se sépara de lui en 1464. Pendant la brève période de restauration d'Henri VI en 1470, il put récupérer ses titres, ses biens et ses charges.