Il castello fu costruito nel 1067 e per oltre cento anni fu sede del Governo dei Re Normanni. Enrico II costruì un mastio in pietra per ospitare il tesoro reale e il Domesday Book. È ancora visibile una torre circolare del castello originale completa di porta di sicurezza. Nel 1141, durante l'Anarchia, le forze dell'Imperatrice Matilda furono assediate dalle forze del re Stefano al castello, in una rivolta.