Tras vivir tres años en Riverdale, Nueva York, su esposa enfermó en 1903 y se trasladaron a Italia, buscando por recomendación médica un clima más cálido; vivieron en "Villa di Quarto", en las afueras de Florencia, hasta que Olivia falleció en 1904 de un paro cardíaco.