Contrajo matrimonio con Floretta Seligman, hija de James Seligman, un socio principal en la firma J & W Seligman un prominente banquero de Nueva York, y de Rosa Seligman (de soltera, Content) con quien tuvo tres hijas, una de ellas, la futura mecenas Peggy Guggenheim.