Robert, greve av Mortain (halvbror av Vilhelm Erobreren) ble gitt Pevensey kort tid etter den normanniske erobringen. Mortain benyttet den eksisterende festningen som grunnlag for å bygge en borg en gang i 1100, utførte kun mindre forbedringer på murene for å danne en ytre borgmur, og bygde en palisade av tre i en uregelmessig formet indre borgmur mot den romerske muren. Kort tid etter ble et rektangulært borgtårn av stein reist, satt sammen med deler av den østlige ytterveggen og en romersk bastion. Den opprinnelige hovedinngangen i sørvest og i øst ble også reparert.