Ο Ερρίκος βρέθηκε μπροστά σε μεγάλες αντιδράσεις λόγω της καταστροφικής του πολιτικής στη Γαλλία και της κατάρρευσης του νόμου και της τάξης στην πατρίδα του. Την πρωτοβουλία της αντίδρασης ανέλαβε ο δημοφιλής ξάδελφός του Ριχάρδος της Υόρκης από τον αντίπαλο Οίκο της Υόρκης, που ζημιώθηκε σημαντικά από τις απώλειες στη Γαλλία. Οι εντάσεις ξεκίνησαν ανάμεσα στον Ριχάρδο και τη βασίλισσα Μαργαρίτα του Ανζού σχετικά με το ποιός θα κηδεμονεύσει τον ανίκανο βασιλιά και θα τον διαδεχτεί στο θρόνο. Οι συγκρούσεις ξεκίνησαν το 1459 και έμειναν γνωστές ως Πόλεμος των Ρόδων. Ο Ερρίκος ΣΤ΄ εκθρονίστηκε μετά από μεγάλη συντριβή στις 29 Μαρτίου 1461 στη "μάχη του Τάουτον" από τον γιο του Ριχάρδου, Εδουάρδο, που ανέβηκε στο θρόνο ως Εδουάρδος Δ΄ της Αγγλίας. Η Μαργαρίτα εξακολουθούσε να αντιστέκεται στον Εδουάρδο, αλλά ο Ερρίκος ΣΤ΄ συνελήφθη και φυλακίστηκε στον Πύργο του Λονδίνου (1465). Ο Ερρίκος ΣΤ΄ επανήλθε στο θρόνο (1470), αλλά την επόμενη χρονιά ηττήθηκε ξανά από τον Ερρίκο Δ΄ και φυλακίστηκε ξανά στον Πύργο του Λονδίνου.