I 1470, etter at Warwick hadde skiftet side, satt Edvard IV i fangenskap på Middleham en kort tid. Warwick falt neste år, og etter Edvards gjeninnsettelse på tronen giftet Gloucester seg med Warwicks yngste datter, Anne Neville. De valgte slottet som sitt hovedhjem, og gjorde ytterligere forbedringer og utvidet det. Deres sønn Edward ble født og døde der.