Mot slutten av tiåret bodde Stoltenberg dels i Tønsberg, dels i Christiania, hvor han igjen prøvde å få litt oppmerksomhet, og stilte ut tre portretter i Christiania Kunstforening i mars 1839. Senere samme år søkte han en stilling som lærer ved Døvstumme Instituttet i Trondheim. Han skrev søknaden på fransk, og rettet den til kong Carl Johan personlig, men kongen fikk aldri søknaden forelagt, og Stoltenberg fikk ikke stillingen. I januar 1841 søkte han en utlyst stilling som lærer ved Tegneskolen, men søknaden ble henlagt uten å bli behandlet. Videre søkte han i 1842 om et reisestipend for å studere portrettmaleri i europeiske samlinger, men søknaden ble avslått.