Etter Normannernes invasjon av England i 1066 bestemte William de Percy i 1078 at klosteret skulle gjenetableres til ære for sankt Peter og sankt Hilda. Helt frem til Elizabeth Is styre var Whitby ikke stort annet enn en liten fiskerhavn. I 1540 var det mellom 20 og 30 hus der, med en befolkning på rundt 200 mennesker.