当中南宋庆元六年（1200年）时有较详细的记载。何时荒废已不可考，但至少在嘉庆年间《新安县志》记载时已经荒废。到了清朝中期，香港割让之后，该处曾于同治七年（1868年）重新设立税关，至1898年租予英国才被废置。
发现经过.1962年，香港教师朱维德（后来成为无线电视节目主持、艺员）在该处发现一块残缺石碑，惟当时并无引起香港政府注意。至1979年，古物古蹟办事处考察该址，发现由4阙断碑组成的一通石碑，上刻「德怀交趾国贡赋遥通」，下刻「税厂值理重修」，亦发现一些石柱、石板和基石等，因