Durch diese Ereignisse verlor die Hakoah allmählich ihren Glanz. Nach zwei schwachen Jahren in denen nur der achte Tabellenrang erspielt werden konnte, kam im Spieljahr 1934/35 mit dem neunten Platz die schlechteste Erstligaplatzierung des Vereins und damit verbunden der endgültige Abstieg in die 2. Klasse. Dort konnte sich die Hakoah zwar wieder erfangen, mit dem Einmarsch der deutschen Truppen in Österreich kam im März 1938 aber das endgültige Aus für den Verein. Der Sportclub Hakoah Graz wurde zwangsaufgelöst und die über dreißigjährige Geschichte des jüdischen Sports in der Stadt Graz fand ein Ende.