Høyden ligger fint til som sted for viktige bygninger, og fra midten av 1800-tallet til 1920-årene ble det diskutert å bygge blant annet rådhus her. Byens myndigheter har på Hammersborg langt på vei forspilt mulighetene for å utnytte en flott høyde. Arkitekt Odd Brochmann sier i boken (Cappelen 1971): «Hammersborg – en gang et markant høydedrag, berikende for byens geografi – klarer man på denne tid med nidkjærhet å omgjøre til en kollisjon av bygninger, terreng, gater og motstridende hensyn».