In 1447 trouwde hij met Anna van York (1439-1476), zuster van de toekomstige koning Eduard IV, maar bleef op vijandige voet leven met het Huis York. Hij was een aanvoerder in de Lancastriaanse overwinningen bij Wakefield (1459) en St Albans, en in de nederlaag bij Towton (1461). Na deze nederlaag vluchtte hij naar Schotland, en vervoegde later koningin Margaretha in Frankrijk. De nieuwe koning Eduard IV verklaarde hem vervallen van zijn titels en goederen, die aan zijn echtgenote werden toegekend.