Do dziś widoczne są na cmentarzu ślady okresu rządów nazistów i II wojny światowej. W trakcie pogromu ludności żydowskiej (Noc kryształowa) 9 listopada 1938 zostały wysadzone sale ceremonii oraz zniszczone liczne groby na starym i nowym cmentarzu żydowskim. W okresie 1938-1945 chowano na nim członków ruchu oporu i dezerterów z Wehrmachtu którzy decyzją Sądu Okręgowego w Wiedniu byli rozstrzeliwani i chowani w masowych grobach szybowych na zamkniętej dla ludności części cmentarza. Krewni ofiar nie byli poinformowani o miejscu ani czasie pochówku. Obecnie sektor 40 gdzie znajdują się te groby decyzją władz Wiednia stanowi pomnik historii.