Einen tiefen Einschnitt bedeutete auch für Waltham die europäische Pestepidemie der 1350er Jahre, einen weiteren der englische Bauernaufstand 1381. 1410 wurde das Stift Opfer eines bewaffneten Raubüberfalls, 1423 kündigten die Ministerialen mehrerer abhängiger Güter ihre Leistungen auf.