Nach der Flucht des Earl of Salisbury und des Earl of Warwick, der Hauptunterstützer von Richard von York nach Calais 1459 sollte Woodville als Constable von Rochester Kent vor einem Angriff der Yorkisten beschützen. Er wurde jedoch selbst 1460 bei Sandwich von den Yorkisten überrascht und unter demütigenden Umständen gefangen genommen. Nach seiner Freilassung kämpfte er weiter für das Haus Lancaster, bis er nach der Niederlage von Towton, als die Rosenkriege für das Haus Lancaster verloren schienen, die Seiten wechselte. Er wurde nicht enteignet, musste sich aber im Kampf gegen die verbliebenen Lancastrianer in Nordengland bewähren.