Dopo la presa del potere da parte dei Nazisti il 30 gennaio 1933, cominciò uno dei capitoli più oscuri per la città, che organizzò la discriminazione degli Ebrei e degli altri "non ariani". Il NSDAP divenne il primo partito della città col 45,8% dei voti alle elezioni del Reichstag (5 marzo 1933). In aprile tutti i dipendenti pubblici "non ariani" furono esonerati d'autorità; fra il 1933 e il 1939 l'Università di Heidelberg perse più di un terzo del corpo docente per ragioni razzistiche o politiche. Durante la "Notte dei cristalli" (9 novembre 1938) i nazisti di Heidelberg diedero fuoco alle Sinagoghe di Altstadt e Rohrbach, e deportarono 150 abitanti ebrei nel Campo di concentramento di Dachau. Meno di due anni dopo, il 22 ottobre 1940, più di 6000 Ebrei del Baden, compresi 280 di Heidelberg, furono deportati nel campo di Gurs. Solo pochissimi sopravvissero.