Le monastère a été détruit entre 867 et 870 par les Vikings dans une série de raides venu du Danemark et menés par Ivar et Ubbe. Son site est resté en désolation pendant plus de 200 ans jusqu'à la Conquête normande de 1066. Après la conquête, la région a été accordée à Guillaume de Percy qui en 1078 a donné la terre pour fonder un monastère bénédictin dédié à saint Pierre et sainte Hilda. Guillaume de Percy a aussi fait don de terres pour le monastère, la ville et le port de Whitby et l'église Sainte-Marie et des chapelles dépendantes à Fyling, Hawsker, Sneaton, Ugglebarnby, Dunsley et Aislaby, cinq moulins dont Ruswarp, Hackness avec deux moulins et deux églises. Vers 1128, Henry I a accordé le burgage de l'abbaye à Whitby et la permission d'y organiser une cérémonie à la sainte Hilda le . Une deuxième cérémonie a aussi été organisée durant la période hivernale aux environs de la foire Saint-Martin. Les droits de commerce ont été accordés à l'abbaye ainsi qu'à la liberté. L'abbaye Whitby a été rendue en décembre 1539 lorsque Henry VIII a dissout les monastères.