Han er, for øvrig, fortsatt omtalt i negative vendinger i området rundt Kirkby Stephen for å ha ødelagt og fjernet byen Wharton ettersom den lå i vegen for hans utsikt over dalen. Han er beskrevet som en bestemt mann og en tyrannisk herre. Han var konstant i krangle med folk i sitt nabolag. Senere i livet flyttet han fra Wharton Hall til Healough i Yorkshire ettersom han var konstant i frykt for at noen av hans fiender ville drepe ham. Han døde ved Healaugh i 1568.