In der Nacht vom 9. auf den 10. November 1938 wurde die Hauptsynagoge von marodierenden SA-Trupps in Brand gesetzt. Der letzte Oberkantor und Rabbinatsverweser, Nathan Saretzki, drang in die brennende Synagoge ein und rettete historisch wertvolle liturgische Kompositionen, die er anschließend im Philanthropin sicherte. Die alarmierte Feuerwehr kam rasch an den Brandort, unternahm aber nichts, um das Feuer zu löschen. Das Gebäude brannte bis auf die Außenmauern nieder. Im Januar 1939 beauftragte die Stadt einen Bauunternehmer mit dem Abbruch der Ruinen der Hauptsynagoge und der nahegelegenen Börneplatzsynagoge. Aus den noch verwendbaren Steinen baute man eine 165 Meter lange Mauer entlang der Eckenheimer Landstraße, um die wenige Jahre zuvor angelegten Erweiterungsflächen des Hauptfriedhofs einzufrieden. Am 1. April 1939 nötigte der nationalsozialistische Oberbürgermeister Friedrich Krebs die israelitische Gemeinde zur Unterschrift unter den sogenannten Judenvertrag. Darin trat die Gemeinde alle ihre Liegenschaften, auch das Grundstück der bereits abgetragenen Hauptsynagoge, gegen eine geringe Entschädigung an die Stadt ab.