Missnöjet hos adeln hade vuxit under Henriks VI:s regeringstid och betydelsefulla adelsmän som earlernas av Warwick och , tog saken i egna händer genom att stötta det rivaliserande Huset Yorks anspråk, först på förmyndarskapet och sedan på själva tronen. Efter en våldsam kamp mellan husen Lancaster och York, (se Rosornas krig), avsattes Henrik 4 mars 1461 av sin kusin, Edvard av York, som blev kung Edvard IV av England. Men Edvard misslyckades att tillfångata Henrik och hans drottning och de kunde fly i exil utomlands. Under den första tiden av Edvard IV:s regeringstid, fortsatte det lancastriska motståndet under ledning av drottning Margareta och några få adelsmän som var lojala henne i de norra grevskapen i England och Wales. Henrik tillfångatogs av kung Edvard 1465 som därefter höll den avsatte kungen fången i Towern.