Gaten er oppkalt etter Carl Stoltenberg (1770-1830) som var Tønsbergs representant i Riksforsamlingen på Eidsvoll. Stoltenbergs gate nevnes i folketellingene for Tønsberg i 1801, 1865 og 1910. Gaten ble forlenget helt til Kanalbrua i 1932, og fikk sitt offisielle navn i bystyret 15. juni samme år. I 1940 ble den forbundet med Farmannsveien.