1853年（咸豊3年）、小刀会の蜂起によって大税関所は焼失、1860年（咸豊10年）には、再建された大税関所は太平天国軍により焼き払われ、新税関所が実質的な税関の本部になり、以降大税関所は再建されなかった。