I 1955 etterfulgte han Wilhelm Furtwängler som musikalsk leder på livstid for Berliner Philharmoniker. I ettertid er det for sitt samarbeid med dette orkesteret at han huskes mest. Sammen turnerte de verden over og skapte sensasjon med sin spesielle musikalske klang og vellyd. De utgav en lang rekke klassiske plateinnspillinger som stadig regnes som uovertrufne av mange musikk-kjennere.