En 1091 Robert Fitzhamon comenzó a trabajar en el castillo para preservar las murallas de la antigua fortaleza romana.