Stifter var også aktiv som landskapsmaler. Livet ble besværlig; han mistet ungdomskjæresten Fanny Greipel, fikk et grått ekteskap og mistet to stedøtre på opprivende vis. Han fikk omsider, 45 år gammel, en borgerlig stilling som skoleinspektør i Øvre Østerrike. Han var en lidenskapelig natur, og da han i 1863 ble syk, med leverkreft, gikk han inn i en periode med depresjoner, gråteanfall, angst og frykt for kolera. Sykdommen ble forverret av de inntrykkene han fikk av at Preussen angrep Østerrike i 1866, og depresjonene førte ham til sist til selvmord.