Kirkegården ble innviet 10. august 1666 og den første begravelsen fant sted samme ettermiddag da båtsmann Mogens Andersen Mörchtüe ble begravet av Holmens kirkes daværende sogneprest Hans Hansen Seidelin. Kirkegårdens nåværende utseende stammer fra overkrigskommissær F.C. Schmidts utforming fra 1798.