I likhet med Tivoli, Botanisk Have og Østre Anlæg er parken anlagt på en del av Københavns gamle vollterreng, idet den omfatter arealet fra Ahlefeldts Bastion til Helmers Bastion. Mellom disse lå Hahns Bastion, hvor det i 1876 ble stilt opp et monument med en statue av H.C. Ørsted utført av Jens Adolf Jerichau. Det ga anledning til en del polemikk ettersom mange mente at den planlagte parken dermed ville få hans navn – noe som jo også skjedde.