Stoltenberg var medlem av Stortinget fra 1815 til 1816 og satt i komiteene for finans-, skatte-, bank- og pengevesen og komiteen om bergverksloven og Kongsberg Sølvverk. I 1824 satt han i tollkomiteen, protokollkomiteen og komiteen om kjøpstadsskatten. Han deltok også i riksrettssaken mot statsråd Frederik Gottschalk von Haxthausen.