Den første festningen på dette stedet ble bygget i 1080 av Osmund, biskop av Salisbury. Denne festningen brant ned i 1113 og ble deretter bygget på nytt i stein av Roger, biskop av Salisbury, i 1120. Han okkuperte det under kong Henrik I av England og på nytt under kong Stefan av England. Roger stilte seg på Stefans side under den første engelske borgerkrigen. Festningen ble erobret og gjenerobret til den forble en eiendom under kronen og ble brukt som et fengsel under kongene Henrik II og Henrik III.