Frem mot 1835 malte Stoltenberg også en rekke barneportretter, hvor han gjerne brukte kraftigere farger enn i voksenportrettene. Oppdragene fant han som oftest i Skiens-distriktet og i Hedmark.