Mezarlık 1786'da sosyal ve ekonomik olarak elit yerel Presbiteryenler topluluğu olan Birinci Presbiteryen Kilisesi tarafından kuruldu. Sonraki 60 yılda burası, önemli ve etkili tüccarlar, politikacılar, devlet adamları ile onlarca Amerikan Bağımsızlık Savaşı ve 1812 Savaşı gazisinin gömüldüğü yer haline geldi. Bugün Baltimore'un ilk zamanlarına ilişkin olan bu durum, Ekim 1849'daki ani ve gizemli ölümünün ardından buraya gömülmüş olan yazar Edgar Allan Poe'nun varlığı nedeniyle gölgelenmiştir. 1852'de mezarlığın tepesinde bir kilise inşa edildi. Mezar taşlarının yakınındaki tuğladan ayakları ve yeraltı mezarları, Baltimoreluların buraya "catacombs" (yeraltı mezarları) adını vermesine yol açtı. Yıllarca Gothic Revival tarzı Westminster Presbiteryen Kilisesi'nin, şehrin dini yapılara komşu olmayan mezarlıkları yasaklamasına ilişkin kararı nedeniyle inşa edildiği düşünüldü. Tarihçi Michael Franch'in 1980'lerin başında yaptığı araştırma ise, böyle bir kararın bulunmadığını ve amacın daha karmaşık olduğunu ortaya çıkardı. Topluluk (Birinci Presbiteryen Kilisesi), yeni kilisenin Baltimore'un büyüyen Batı Yakasına hizmet edeceğini düşündü. Zira o zamanlar yeni kiliseler, nüfustaki ciddi artış nedeniyle şehrin her köşesinde türemekteydi. Ayrıca bu yeni kilisenin, artık kimsenin uygun bir ebedi istirahat mekânı olarak görmediği, eskiyen ve modası geçen 18. yüzyıl tarzı mezarlık alanına koruma sağlaması da amaçlandı.