Durante il dominio nazista in Austria, i due camposanti ebraici del Cimitero Centrale di Vienna furono devastati e quasi totalmente distrutti (solo circa tombe rimasero intatte). Il cimitero subì altri gravi danni soprattutto durante la seconda mondiale: infatti, nel 1945, fu scena della tragica e sanguinosa battaglia di Vienna, durante la quale fu distrutta gran parte degli edifici e la cupola della chiesa di San Carlo Borromeo bruciò. Sempre nello stesso anno, il cimitero fu chiuso temporaneamente al pubblico perché vi furono giustiziati e poi sepolti in fosse comuni i disertori politici.