Den første borgen ble bygget i forbindelse med normannernes invasjon i 1066. Vilhelm av Normandie beordret før og rett etter invasjonen bygging av tre borganlegg: Pevensey Castle i september 1066, Hastings Castle rett før slaget ved Hastings og Dover Castle noen dager etter slaget. Hastings Castle ble først bygget som en motte-and-bailey. I 1070 beordret Vilhelm bygging av en ny borg i stein. Et kapell viet til jomfru Maria ble bygget samtidig.