Før Haakon VIIs gate ble anlagt, gikk Klingenberggata helt til Munkedamsveien, gjennom det området Oslo konserthus er oppført på. Piperviken småkirke, som hadde adresse Munkedamsveien 12, hadde tårn og inngang ved Klingenberggata.