Su hermana Margaret (31 de mayo de 1830-17 de agosto de 1839) falleció cuando él tenía tres años, y su hermano Benjamin (8 de junio de 1832-12 de mayo de 1842) murió tres años más tarde.