Ole Bull ga Tarjei flere oppdrag i årene som fulgte, og dette ga ham såpass med inntekt at han kunne kjøpe bruk i Rauland. Men han var ikke styren med pengene sine, og det gikk etterhvert ut med bruket. På sine gamle dager flyttet han til en husmannsplass i Arabygdi ovenfor Rauland. Mot 1860 var det heller ikke så lett å spille for byfolk lenger. Begeistringen hadde lagt seg, og Myllarguten fikk det vanskelig. Han kunne av og til være svært motløs, og kjente seg sliten. I de verste stundene forbannet han både Ole Bull og fela som hadde formet hele livet hans. Han spilte allikevel i København i 1862. Der ute var det knapt noen som forsto hardingfelespill. Danskene kalte slåttene «ensformig, umelodieus dansemusik».