Etter rundt 20 år i rockbransjen ble Van Vliet lei av ikke å få den oppmerksomheten som han syntes han fortjente. I 1982 trakk han seg tilbake fra musikken og flyttet med sin kone til Mojaveørkenen for å konsentrere seg om kunstmaling. I 1954 var han blitt tilbudt et stipend for å studere i Europa, noe som foreldrene hans imidlertid avslo. Han hadde flere utstillinger, også en del steder i Europa. Van Vliet kunne leve bedre av maleriene enn av musikken. Noen av bildene hans ble solgt for mer enn dollar.