Han var selv gift med Drude Cathrine Haar (f. 1739), de to fikk tilsammen 15 barn. Daae var bestefar til historiker Ludvig Kristensen Daa og presten Claus Daae, dessuten oldefar til politikeren Ludvig Daae (1829–1893), historikeren Ludvig Daae og Suzannah Ibsen.