Parken ligger på grunnen til Dannevigsløkka, som omfattet også det området kirken står på, og som lå like utenfor bymarka. Ingeniør-, senere veivesenet brukte området til materiallager og pukksteinslåing fra 1850-årene, da gatene på Moløkka nord for parken ble opparbeidet. «Graabeinsletten er forvandlet fra at være en ørken med pukstenshauger til en nydelig liten park», skrev byarkitekt Harald Aars i 1924. Parken ble opparbeidet i årene 1920-1922. Under annen verdenskrig ble Gråbeinsletta brukt til felles potetdyrking. Etter krigen var det i en periode kommunal parktanteplass i det nordvestlige hjørne av parken.