Etter 1854 slo han seg ned på Vang i Hedmark, og bodde de siste årene på gården Diesen. I folketellingen for 1865 står han som «Logerende» på Diesen Østre, med «Portrætmaler» som yrke. På Vang ble Stoltenberg kjent som Mathias Finsnekker, så han måtte nok spe på inntektene med snekkerarbeid. Han døde som fattiglem på Vang.