Til slutt gjorde hans ustyrlige puritanisme ham til fryktet person selv for engelske biskoper. Han ble fratatt sin posisjon og selv kastet i Tower of London. Han ble til sist løslatt, men da var hans helse ødelagt og i mars 1584 døde han i sitt hus i Sharpenhoe, Bedfordshire.