Während des Novemberpogroms 1938 wurde die Wormser Synagoge in Brand gesteckt und brannte in der Nacht vom 9. auf den 10. November 1938 vollständig aus. Die noch erhaltenen Mauern wurden im Anschluss durch Öldruckpressen zum Einsturz gebracht, eine Maßnahme, die sich bis Ende 1940 oder Anfang 1941 hinzog. Anschließend standen nur noch wenige Mauerreste in geringer Höhe. Zwischen 1938 und 1945 wurden aus den Ruinen von Friedrich Maria Illert einzelne Bauteile geborgen, unter ihnen die Kopie der Stifterinschrift und beim späteren Aufbau wiederverwendet. Insgesamt sind 39 Bauinschriften von dem Gebäude bekannt.