清朝中期，香港割让之后，该处曾于同治七年（1868年）重新设立税关，至1898年租予英国才被废置。
发现经过.1962年，香港教师朱维德（后来成为无线电视节目主持、艺员）在该处发现一块残缺石碑，惟当时并无引起香港政府注意。至1979年，古物古蹟办事处考察该址，发现由4阙断碑组成的一通石碑，上刻「德怀交趾国贡赋遥通」，下刻「税厂值理重修」，亦发现一些石柱、石板和基石等，因此被认为是一处税关遗址，惟具体年份至现时还未能确认。