I musikkretser ble Stern berømt for sine innspilninger og for å gå i spissen for enkelte yngre utøvere. Blant hans oppdagelser, var cellisten Yo-Yo Ma, og fiolinistene Itzhak Perlman og Pinchas Zukerman. Han spilte også en betydelig rolle i å redde New York bys Carnegie Hall fra nedrivning i 1960. Auditoriet i Carnegie Hall er oppkalt etter ham.