Au début du , sous le coup des ravages de la Guerre des Deux-Roses, Sutton Coldfield était entrée en décadence. Les marchés étaient désertés et le manoir commençait à se délabrer. Vers 1510, un officier de la Couronne ordonna sa démolition, et vendit les charpentes à Thomas Grey, qui les réemploya à la construction de Bradgate House dans le Leicestershire. L'enfance de John Harman se passa dans ce bourg abandonné. Employé à la ferme de "Moor Hall", il parvint à aller étudier à Magdalen College (Oxford). Là, il se lia d'amitié avec Thomas Wolsey et entra dans les ordres, d'abord comme chapelain de la chapelle privée de Saint-Blaise en 1495. De promotion en promotion, Harman devint le chapelain du roi Henri VIII, puis en 1519 Évêque d'Exeter : c'est alors qu'il changea son nom pour celui de Vesey, John Vesey.