I omkring hundre år hadde Rådet for Wales og Marches sete på slottet. Tre kongelige barn hadde sitt hjem der: Edward, sønn av Edvard IV; Arthur Tudor og Mary Tudor.