Carl Stoltenberg var sønn av sogneprest Mathias Stoltenberg (1725–1798) og Lucie Henriette Monrad (1734–1817). Han hadde tre brødre på farssiden som drev forretning, som alle døde i rask rekkefølge slik at Carl arvet familiens kjøpmannsvirksomhet som tyveåring. Han tjente seg opp en av Tønsbergs største formuer under Napoleonskrigene.