Etter at jarlen av Northumberland var blitt fanget og utlevert til Elizabeth i 1572, flyktet Westmorland flyktet til det spanske Flandern, og ble i 1571 dømt av Parlamentet (Act 13 Eliz. I c. 16). Der led han under den ekstreme fattigdom. Han skulle aldri igjen se sin hustru, Jane Howard (hun døde i 1593) og deres sønn og fire døtre. Hans enorme arvegods ble konfiskert; Brancepeth, Nevillenes festning i krig, og Raby, borgen med deres festhall i fredtider, var gitt over til fremmede hender.