El matrimonio tuvo tres hijos: Byron, el heredero, nacido el 12 de mayo de 1836; Anne Isabella (llamada Annabella, posteriormente Lady Anne Blunt), nacida el 22 de septiembre de 1837; y Ralph Gordon, nacido el 2 de julio de 1839.