Został otwarty jako cmentarz miejski w 1924, na powierzchni kilkunastu hektarów. W okresie Wolnego Miasta Gdańska nosił niemiecką nazwę "Zentralfriedhof". Przez pierwsze lata urządzona była tylko jego dolna część, przyległa do wejścia i głównej alei. Po wybuchu II wojny światowej i włączeniu Gdańska do III Rzeszy, cmentarz został zaplanowany dla żołnierzy Wehrmachtu poległych na różnych frontach oraz zasłużonych osób cywilnych. Pierwszych pochówków wojennych żołnierzy niemieckich, poległych podczas oblężenia Westerplatte, dokonano we wrześniu 1939.