Neumann studerte ved hjembyens musikkonservatorium. Han var førstefiolinist og en av grunnleggerne av Smetana-kvartetten, før han fikk sin første post som dirigent i Karlsbad og Brno. I 1956 ble han dirigent ved Komische Oper i Berlin, og i 1965 ble han sågar dirigent for det verdensberømte Gewandhausorchester Leipzig. Denne stillingen innehadde han til 1968, da han ble førstedirigent for den tsjekkiske filharmonien (frem til 1990). Ved avslutningen av sin karrière opplevet han den demokratiske revolusjonen i Tsjekkoslovakia, og ble selv et av revolusjonens viktigste kunstneriske symboler. I samarbeide med borgerrettsforumet OF (Občanské Fórum) ble revolusjonen feiret med en festkonsert med Beethovens 9. symfoni, som Neumann dirigerte.