W 1920 roku na terenie dawnego placu ćwiczeń wojskowych jednostki saperów byłej austriackiej cesarsko-królewskiej armii, znajdującego się na przedmieściu Warszawskie przy ul. Prandoty, powstał niewielki, liczący 10 kwadratowych kwater, cmentarz wojskowy. Pierwszymi chowanymi tu osobami byli zmarli żołnierze i oficerowie Wojska Polskiego oraz członkowie ich rodzin, weterani powstania styczniowego, żołnierze polegli w wojnie polsko-bolszewickiej, powstańcy śląscy, powstańcy wielkopolscy. Gdy w latach 30. ubiegłego wieku zwiększono obszar Cmentarza Rakowickiego, obie nekropolie dzieliła tylko ul. Prandoty. W okresie II wojny światowej grzebano na cmentarzu żołnierzy Wojska Polskiego, żołnierzy niemieckich, jeńców brytyjskich, a w 1945 r. żołnierzy Armii Czerwonej.