I Christiania flyttet de inn i et hus like ved festningen. Edvards yngre søsken ble født her. De fikk navnene Peter Andreas (1865), Laura Cathrine (1867) og Inger Marie (1868). Han hadde også en eldre søster, Johanne Sophie. Moren var syk, og etter fødslene forventet hun ikke at hun skulle overleve. Den 12. januar 1868 skrev hun et avskjedsbrev til familien. Brevet er til hennes eldste datter, og hun skrev at «vi alle, som Gud så nøye har bundet til hinannen, måtte samles i Himmelen for aldri mer at skilles». Dette brevet ble ofte lest høyt blant de nærmeste i familien.