På midten av 1980-tallet var Feinstein landskjent som en kabaretsager og pianist, berømt for å være en dedikert tilhenger av den store amerikanske sangboka. I 1986 spilte han inn sin første CD, (1987), en samling av George og Ira Gershwins musikk. Han utga i rask rekkefølge: (1986); (1987); (1988), og sitt første album med orkester: og (1989), en samling musikk fra Amerika og Europa under Første verdenskrig. Feinstein spilte også inn sine eneste barnesanger: , i 1992. I 1987 kom "But Not For Me" fra TV-serien hvor han sang "But Not For Me", "Love Is Here to Stay" og .