Stoltenbergs bror, Christian, var sogneprest i Steigen, og i årene 1835 til 1839 var Stoltenberg på to lengre turer i Nord-Norge, med Steigen som base. Høsten og vintrene 1836 og -38 bodde Stoltenberg i Trondheim hvor han hadde arbeid som tegnelærer. Ett av hans viktigste barneportretter, av Laura Bull, ble malt på Vågan i Lofoten.