Etter at Anderson forlot stillingen som finansminister i 1961 ble han aktiv innenfor forretningsvirksomhet, investeringer– og bankanliggender, men kom likevel inn i politikken igjen da han takket ja til å utføre enkelte diplomatiske oppdrag på vegne av president Lyndon B. Johnson på slutten av 1960-tallet. Hans karriere endte for øvrig opp i personlig krise og ydmykelse da han ble innlagt på sykehus flere ganger på grunn av alkoholisme. Han ble på midten av 1980-tallet også dømt skyldig og satt i fengsel for å ha brutt flere banklover og for skatteunndragelse, samt for å ulovlig ha operert en Anguilla–registrert bankfilial i New York, noe som førte til at flere investorer mistet formuen sin. Anderson døde den 14. august 1989 i New York på grunn av spiserørskreft.