Han var sønn av Christoffer Wilhelm Eckersberg i hans første ekteskap med Christine Rebekka Hyssing. Etter foreldrenes skilsmisse i 1816 vokste han opp hos farens venn, pleiefaren Oluf Olufsen Bagge.