Slottet ble reist i 1069 av Hugh av Avranches. Det ble beleiret under den engelske borgerkrig. Fra 1790-årene begynte arkitekten Thomas Harrison å bygge det om til et fengsel, noe som tok 37 år.