Daae hadde giftet seg så snart han var blitt ansatt som lærer ved skolen i Drammen, i 1859 med Johanne Sigvarda Koren (1835–1899), datter av lensmannen i Nes på Romerike, hvor stefaren var blitt sogneprest i 1856. De fikk fem barn. Familien kunne midt på 1870-tallet flytte inn i en nybygd villa, «Elvestrøm», ved Drammensveien utenfor bygrensen av Kristiania, hvor Drolsum var nærmeste nabo. Her bodde Daae resten av livet, og her hadde han sitt arbeidsrom og bibliotek. I 1899 ble han enkemann, da hans kone, som led av «åndelig depresjon», døde fra ham. Det var også et hard slag at hans eldste sønn, overrettssakfører Jens Daae, fikk hjernebetennelse og døde fra sin unge familie.