Senere på 1800-tallet ble stasjonen hovedstasjon for fjerntog sørover fra Berlin, og den store nye stasjonsbygningen, bygget i 1880, ble sentrum i det livlige stasjonsdistriktet som vokste frem rundt den tidligere byporten. I flere år var dette Europas største stasjonsbygning, der porten var inkorporert. Imidlertid var funksjonen til tollmuren allerede opphevet i 1860 og i 1868 ble denne delen av muren, inkludert porten, revet. Muren rundt Anhalter Bahnhofs inngangsportal, som har vært bevart som en ruin siden bombingen under Andre verdenskrig, kalles noen ganger , og er blitt et fredet kulturminne. En kortere del av tollmuren er bevart på nærliggende Stresemannstraße.