Su mujer, Anna Murray Douglas, falleció en 1882 y le dejó sumido en una profunda depresión, de la que le sacó su asociación con Ida B.