Med sin venn Johan Fredrik Eckersberg som forlover ble David Arnesen gift den 30. oktober 1845 med Karen Marie Hansen (1821-1894), datter av bøkkersvenn Andreas Hansen. De fikk i alt seks barn: Deres førstefødte, Gustav, ble født 30. august 1846, men levde kun i 15 dager. Som dødsårsak har kirkeboka oppført «en Byld paa Brystet». 26. april 1850 fikk de tvillingene Charlotte Amalie og Caroline Mathilde. Caroline ble den 14. mars 1877 gift med skipsfører Kristian Hansen (f. 1840). Den eneste sønnen som vokste opp var Carl August, født i 1852. Han ble den 28. oktober 1881 gift med Ragnhild Margit Bolstad (f. 1857) fra Horten. Carl August ble cand. med. og praktiserte som lege i Levanger. Datteren Martha Elise (f. 21. oktober 1856) etterfulgte sin far og ble introdusert i malerkunsten med ham som læremester. Martha ble gift med skipsfører Kristian Fredrik Hansen (f. 1846), og fikk den 16. oktober 1888 sønnen Karsten Fredrik Skarpaas. Yngst var Nini Nathalie, født 14. februar 1859. Nini døde ugift som rentenist i Arbins gate 14 den 14. mai 1940.