Goldsteins musikalske repertoar strakte seg fra musikk av Froberger, J.S. Bach, Händel, Telemann, Zipoli, D. Scarlatti til virtuos musikk fra romantikkens klaverlitteratur: Chopin, Liszt, Brahms og Busoni. Goldstein var representant for en historisk informert oppføringspraksis og spilte overveiende inn musikk på tidsriktige instrumenter.