Daa var gift med Julie Christence Augusta Henriksen (1823–1842), deretter med Pernille Marie Kobroe Daae (1821–1911) datter av søskenbarnet Ludvig Daae (1795–1865). Pernilles mor var Helene Margrete Fritzner (1790-1850). Pernille fikk åtte barn.