O primeiro castelo era de madeira. Foi erigido por William de Lovetot em princípios do século XII, e destruído durante a Segunda Guerra dos Barões, em 1266, tal como o resto da cidade. O edifício foi substituído por outro, este de pedra, em 1270.