Der Friedhof wurde bereits im frühen 7. Jahrhundert genutzt, als nach der Eroberung von Jerusalem durch die Sassaniden Tausende ermordete Bewohner der Stadt in Höhlen in der Umgebung des Mamilla-Beckens begraben wurden. Archäologische Befunde aus einer Höhle und einer byzantinischen Zisterne stammen aus dieser Zeit. Die ersten Erwähnungen des Friedhofs sind in arabischen und persischen Schriften des 11. Jahrhunderts enthalten, die teilweise auf Überlieferungen des 8. Jahrhunderts beruhen. Muslimische Quellen nennen bis zu 70.000 gefallene muslimische Märtyrer, deren Schädel nach der Eroberung von Jerusalem im Jahr 1099 in der Löwenhöhle auf dem Friedhof bestattet wurden. Nach der Zurückeroberung Jerusalems von den Kreuzfahrern ließ Saladin seine im Kampf gefallenen Krieger auf dem Mamilla-Friedhof begraben. In den folgenden Jahrhunderten entwickelte sich der Mamilla-Friedhof zum größten muslimischen Friedhof Jerusalems. Zahlreiche religiöse und weltliche Würdenträger wurden hier beigesetzt.