Henry mantuvo un contacto esporádico con su hermano menor a medida que ambos crecían, a menudo por correspondencia, e incluso lo visitó una vez en los 1820.