Stoltenberg var valgt som representant fra Finnmarkens amt til Stortinget i periodene 1857–1858, 1859–1861 og 1862–1864, og fra Nordlands amt i periodene 1865–1867, 1874–1876 og 1877–1879.