Han var sønn av gårbruker Jens Andreas Stoltenberg og Birgitte Maria Holmboe, datter av fogd Jens Holmboe. Han overtok farsgården og var gårdbruker der til han i 1861 ble fyrvokter på Hjertholmen fyr ved Lødingen. Han hadde flere kommunale verv, og var også medlem av flere kongelige kommisjoner, i 1855 om Lofotfisket, 1859 om sildefisket i Nordland og Finnmark, 1861 om handelen i Finnmark og 1877 om havnevesenet. Han var ordfører i Trondenes fra 1853 til 1862.