Med Kristalno nočjo 9. novembra 1938, so nacisti požgali sinagoge na dveh lokacijah v mestu. Naslednji dan so začeli sistematično deportacijo Judov v koncentracijsko taborišče Dachau. 22. oktobra 1940 so v času "dogodka Wagner Buerckel", nacisti deportirali 6000 lokalnih Judov, vključno 281 iz Heidelberga, v koncentracijskem taborišču na Camp Gurs v Franciji. V nekaj mesecih je kar 1.000 od njih (201 iz Heidelberga), umrlo od lakote in bolezni. Med deportiranci iz Heidelberga je bil pesnik Alfred Mombert (1872-1942), ki je zapustil tabor aprila 1941 zahvaljujoč švicarskemu pesniku Hansu Reinhartu. Od leta 1942 so bili deportiranci, ki so preživeli internacijo v Gursu prepeljani v vzhodno Evropo, kjer je bila večina od njih umorjena.