L'estructura més antiga que preval en el lloc on es va construir el castell data del ; no obstant això, se sap de l'existència d'algun tipus de baluard anterior a la conquesta normanda. Eduard el Màrtir va ser assassinat en aquest lloc el 18 de març de 978.