Han var sønn av kaptein Ludvig Daae (1792–1879) og Barbara Henrike Wind (1800–1860). Moren Barbara ble foreldreløs og vokste opp i Molde hos sin tante Anna Cecilie og hennes mann Frederik Motzfeldt. Senere flyttet Barbara til tanten Jacobine Caroline og hennes mann Andreas Landmark i Brandal på Hareid. Ludvig skrev selv at han ved dette ekteskapet (med Barbara) ble en meget velstående mann. Faren Ludvig var ordfører i Skodje.