Después de la muerte de su esposa Jeanie en 1888, la sobrina de Fleming, la señorita Elsie Smith, hija de Alexander y Lily Smith, de Kingussie, Escocia, se hizo cargo de su hogar en "Winterholme" 213 Chapel Street, Ottawa, Ontario.