1938 wurde der Friedhof durch die Eingemeindung der Gemeinde Wetzelsdorf nach Graz Teil des Grazer Stadtgebiets. Im Verlauf des Novemberpogroms wurde die Zeremonienhalle am 10. November 1938 um 11 Uhr in Brand gesteckt und zerstört. Die in der Hallenwand eingemauerten mittelalterlichen jüdischen Grabsteine, die 1853/54 aus dem Abbruchmaterial der Grazer Burg geborgen worden waren, wurden dabei vernichtet. 1940/41 wurde das Friedhofsgelände „arisiert“ und an die Stadt Graz verkauft. Bereits im Frühjahr 1940 war Graz nach der Vertreibung und Deportierung der jüdischen Bewohner als „judenfrei“ gemeldet worden. Da der steirische Landeskonservator auf Grund der späten Gründung keine denkmalpflegerische Voraussetzung für eine Erhaltung attestiert hatte, war der Jüdische Friedhof in Graz von der Auflassung und der Verwertung der Grabsteine bedroht. Dennoch blieb der Friedhof mit Ausnahme der Zeremonienhalle und einiger weniger Gräber nahezu unzerstört. Eine Verwertung der Grabsteine wie in anderen steirischen Gemeinden erfolgte nicht.