Dahl kom fra gården Vestre Eskedal på Hesnes ved Grimstad. Faren var gårdbruker og skipsbyggmester Anders Madsen Eskedal (1714 – 1787) og moren var Anne Christoffersdatter Røed.