Robert se convirtió en hijo único, cuando su hermano menor, Richard Henry, falleció debido a una deformidad de la columna.