Su hijo mayor, John "Mad Jack" Byron, fue a su vez el padre del poeta, George Gordon Byron, el futuro 6 º Barón de Byron.