Carl var sønn av Elisa Margretha Sundt og Lauritz Wilhelm Hansen, stadshauptmand i Stavanger. Faren var opprinnelig dansk, moren var fra en gammel velstående kjøpmannsfamilie, og planen var at Carl skulle overta familiefirmaet Ploug & Sundt. Imidlertid ville Carl heller bli kunstner, så han overlot familiefirmaet til den yngre broren Wilhelm Severin Hansen.