Sakserne hadde et fort, eller en burgh, rundt kirken St Mary de Castro. Etter slaget ved Hastings i 1066, begynte Vilhelm Erobreren og hans styrker en marsj mot London. De gikk en stor omvei, via Romney, Dover, Canterbury, Surrey og Berkshire. Dover hadde lenge vært et viktig sted, og dette hadde blitt tydeliggjort da Cinque Ports ble opprettet i 1050. Vilhelm hadde fått rapporter om at festningen ved Dover var uinntagelig, og at det var en stor engelsk styrke der. Men da han nærmet seg, stolte engelskmennene verken på festningen eller sitt overlegne antall, og var forberedt på å overgi seg vilkårsløst. Normannerne satte fyr på festningen. Vilhelm betalte for bygging av et nytt slott, og tilbrakte åtte dager med å planlegge dette.