Han var sønn av Peter Albrigt Sundt (1796–1847) og Inger Nielsen (1806–1883). Faren var kjøpmann i Farsund.