悬海外的缘故，林则徐下令撤防。两座砲台在之后的第一次鸦片战争中被英军所佔领，并且被炸毁和拆卸。现时官涌街和炮台街就是昔日的遗址。1906年，香港发生了一场严重的风灾，史称丙午风灾，损失极为巨大。于是香港政府在1909年通过《建筑避风塘条例》，兴建油麻地避风塘。官涌山被夷平，而所得沙石则被用作填平旺角至油麻地一带的浅滩和建筑防波堤。