Foreldrene var Anders Daae (1680–1763) og Birgitte Munthe. En rekke av hans egne barn og barnebarn ble prester og offiserer på Vestlandet.