Guglielmo il Conquistatore sbarcò da queste parti e nel 1066, dopo la Battaglia di Hastings partì da qui per dirigersi verso l'Abbazia di Westminster dove doveva essere incoronato. Quando Enrico II d'Inghilterra salì al trono nel 1154 il castello cominciò a prendere forma sotto la guida dell'architetto Maurizio l'Ingegnere, che costruì qui un maschio a pianta rettangolare, uno degli ultimi a essere costruiti.