I 1447 blev han gift med Anne, den otte år gamle datter af Richard af York. Imidlertid forblev han i Rosekrigene loyal over for Henrik 6.mod Yorkisterne . Han blev fængslet på Wallingford Castle, da York kortvarigt tog magten efter Det 1. slag ved St Albans i 1455. I 1458 deltog han i "Kærlighedsdagen", et forsøg på forsoning mellem de rivaliserende fraktioner. Han var en af hærførerne i Lancaster-sejrene i Slaget ved Wakefield i 1460 og Det 2. slag ved St Albans i 1461 og i det afgørende nederlag ved Towton i 1461. Han flygtede til Skotland efter slaget og sluttede sig derefter til dronning Margrete i hendes eksil i Frankrig. Han fik frataget sin ære, liv og gods i 1461, og hans godser blev givet til hans hustru, der blev separeret fra ham i 1464. I løbet af den korte periode under Henrik 6.'s restaurering var han i stand til at genvinde mange af sine godser og embeder.