Nel 1938, l'anno in cui l'Austria venne annessa dalla Germania nazista, Adolf Hitler venne ricevuto in città con tutti gli onori. La fiorente comunità ebraica venne spazzata via e la sinagoga bruciata. Dopo la guerra una piccola comunità ebraica ritornò a Graz nonostante tutto. Nel 2000, il giorno dell'anniversario della notte dei cristalli, come segno di riconciliazione il comune di Graz offrì alla comunità ebraica una nuova sinagoga.