Slottet ble først bygget i det 12. århundre av en normannisk lord. Det var i slektene de Lacy og Mortimers eie, frem til det ved Edvard IVs tiltredelse ble overtatt av kronen. I Tudortiden ble det utført betydelige ombygginger på slottet, og det forble i kongelig eie helt til 1811. Det tilhører nå jarlen av Powis.