જ્યારે તેમણે લશ્કરી સેવા છોડી (1854-1861), દંપતિ અને તેમના ચાર બાળકો ખાસ કરીને સારી રીતે કરી ન હતી