I 1790 ble USAs hovedstad flyttet til Philadelphia, og det som hadde vært Federal Hall fungerte som kontorer for New York City frem til 1812, da bygningen ble revet.. En del av det opprinnelige rekkverket og balkongen hvor Washington ble innsatt er utstilt i minnehallen. Den nåværende bygningen tatt i bruk av tolletaten i 1842, og er et av de best bevarte eksemplene på klassisk arkitektur i New York. Det ble tegnet av John Frazee og oppført i Tuckahoe-marmor, og det tok mer enn et tiår på å fullføre den.