La sua costruzione iniziò poco dopo la Conquista normanna dell'Inghilterra, e venne affidato in custodia a Oddone di Bayeux dal fratellastro Guglielmo il Conquistatore. Quando nel 1088 si scatenò il conflitto per la successione Oddone appoggiò il nipote Roberto II di Normandia a scapito dell'altro Guglielmo II d'Inghilterra ed il castello vide in quell'occasione il suo primo scontro militare. Oddone vi venne infatti assediato dal nipote Guglielmo, e quando il primo fu costretto a capitolare la struttura venne abbandonata. L'anno dopo Guglielmo chiese a Gundulf, vescovo di Rochester (morto il 7 marzo 1108) di costruire un nuovo edificio in pietra che portò il castello alle dimensioni attuali.