Era el sexto de los siete hijos de la pareja, pero solo tres de sus hermanos sobrevivieron a la infancia: su hermano Orion (17 de julio de 1825-11 de diciembre de 1897), Henry, que murió en la explosión de una embarcación fluvial (13 de julio de 1838-21 de junio de 1858) y Pamela (19 de septiembre de 1827-31 de agosto de 1904).