Tollmuren var i utgangspunktet kun en palisade, men ble erstattet på nordsiden av elven fra 1787 av en massiv, delvis rettet steinmur for bedre å dele området. På 1860-tallet begynte denne muren å bli revet etter hvert som byen vokste utover tollmurens grenser, og denne rivingsprosessen fortsatte til 1880-årene. Selv de arkitektonisk utsmykkede byportene, blant dem også Hamburger Tor, ble ikke spart for riving. Av de ti portene i den nordlige delen av tollmuren var det bare Neues Tor i Friedrich-Wilhelm-Stadt som overlevde.