Westlich des heute verbliebenen Friedhofsgeländes, im Unabhängigkeitspark, befinden sich drei Höhlen. Mehrere mittelalterliche muslimische Legenden thematisieren die Märtyrerhöhle ("Shuhada cave") und bringen sie mit der Bestattung von Tausenden ermordeter Einwohner nach der Eroberung von Jerusalem durch die Sassaniden im Jahr 614, oder mit den Gebeinen der im Jahr 1099 bei der Einnahme Jerusalems von den Kreuzrittern getöteten Muslime in Zusammenhang. Die Berichte von Historikern des Mittelalters und einige archäologische Befunde beziehen sich möglicherweise zum Teil auf andere Grabhöhlen im Stadtteil Mamilla, die nicht mit dem Mamilla-Friedhof in Zusammenhang stehen.