Stoltenberg lærte en portrettstil med vekt på realistisk gjengivelse av ansiktstrekkene, med sterke kontraster mellom lyse og mørke partier. Det tidligste kjente arbeidet av Stoltenberg er fra 1822, et mannsportrett som er en kopi etter Anthonis van Dyck. I Ringsaker kirke henger Stoltenbergs portrett av sogneprest G.G.G. Bergh som forfatteren Tryggve Andersen har udødeliggjort i romanen fra 1897.