Stoltenberg ble født i Tønsberg, og var eldste sønn av kjøpmannen og eidsvollsmannen Carl Peter Stoltenberg (1767–1830) og Karen Mathea Bull (1775–1859). Familien hadde dominert Tønsbergs økonomiske og politiske liv siden begynnelsen av 1700-tallet. Ved Riksforsamlingen på Eidsvoll i 1814 var Carl Peter Stoltenberg, som representerte Tønsberg, en ivrig tilhenger av Selvstendighetspartiet, og han var medlem av det overordentlige storting i 1814 og stortingsrepresentant i 1815 til 1816 og i 1824. Han hadde tenkt seg en embetsmannskarriere for sønnen, og sendte ham til presten Jacob A. Wille i Våle for å få privatundervisning.