Da Elizabeth Woodvilles slægtninge, især hendes bror Anthony Woodville, 2. jarl Rivers, begyndte at udfordre Warwicks øverste stilling på den politiske scene i England, konspirerede Warwick sammen med sin svigersøn Georg, hertug af Clarence, kongens yngre bror. En af hans støtter beskyldte Elizabeth Woodvilles mor, Jacquetta af Luxembourg, for at udøve hekseri. Hun blev frikendt årrt efter. Warwick og Clarence gjorde to gange oprør og flygtede derefter til Frankrig. Warwick dannede en usikker alliance med Lancaster-dronningen Margrete af Anjou og genindsatte hendes mand Henrik 6. på tronen i 1470. Men i 1471 vendte Edvard 4. tilbage fra eksil og besejrede Warwick i Slaget ved Barnet og Lancaster-hæren i Slaget ved Tewkesbury. Henrik 6. blev dræbt kort efter.