Contrajo matrimonio con la norteamericana miss Gabriella Chapman, con la que tuvo siete hijos: Luis Emilio (casado con María Cespedes), Emily Mildred (que contrajo matrimonio con don Carlos Caro y Caro, conde de Caltavuturo e hijo del IV marqués de la Romana ), Emmanuele Henry, John Henry, Robert Lee (casado con Alice George) María Gabriella (casada con Richard Tilhman) y Marie Eugenie, esta última era conocida con el apelativo de la "Pensée".