Da Elizabeth Woodvilles slektninger, særlig hennes bror Anthony Woodville, 2. jarl Rivers, begynte å utfordre Warwicks posisjon i det politiske samfunnet, konspirerte Warwick med sin svigersønn, George Plantagenet, 1. hertug av Clarence, kongens yngre bror. En av hans tilhengere anklaget Elizabeths mor, Jacquetta av Luxembourg, for å praktisere trolldom. Hun ble frikjent det påfølgende året. Warwick og Clarence gjorde to ganger opprør, og flyktet deretter til Frankrike. Warwick inngikk en vanskelig allianse med tidligere dronning Margaret av Anjou og fikk gjeninnsatt hennes ektemann Henrik VI på den engelske tronen i 1470, men det påfølgende året kom Edvard IV tilbake fra landflyktighet og beseiret Warwick i slaget ved Barnet og lancasterne i slaget ved Tewkesbury. Henrik IV ble drept kort tid etterpå.