Entre 1087 y 1089, Guillermo II pidió a Gundulf, obispo de Rochester, que construyera un nuevo castillo de piedra.