Gleich neben dem Hauptfriedhof liegen der Alte jüdische Friedhof Rat-Beil-Straße und der Neue Jüdische Friedhof an der Eckenheimer Landstraße mit separaten Eingängen und eigener Verwaltung. Die 165 Meter lange Mauer des Hauptfriedhofs entlang der Eckenheimer Landstraße, zwischen Neuem Portal und Neuem Jüdischen Friedhof, wurde 1939 aus Trümmern zweier bei der sogenannten "Reichskristallnacht" am 9. November 1938 zerstörten Synagogen errichtet, der Hauptsynagoge und der Börneplatzsynagoge. Hieran erinnert heute eine Gedenktafel.