Kipptogene over Havnebanen var et kjent innslag i bybildet, ettersom toget blokkerte biltrafikken idet det passerte Rådhusplassen. Togene kjørte i gangfart. Det gikk alltid en jernbanemann foran lokomotivet og varslet togets ankomst ved å ringe med en bjelle. Da jernbanetunnelen Oslotunnelen åpnet i 1980 var det ikke lenger behov for Havnebanen. Den ble nedlagt samme år, og det meste av sporet ble fjernet i 1983. Senere er deler av traséen forbi festningsmurene omgjort til park, hvor også minnesmerket for jødene som ble deportert under andre verdenskrig er plassert. I 2003 vedtok Oslo bystyre å erklære Havnebanen som verneverdig for å hindre at det som gjenstår av Havnebanens trasé og tunneler gjenfylles.