In 1810 werd er een klein fort aan de kust gebouwd. In 1842, toen keizer Daoguang aan de macht was, werd het eiland Hongkong afgestaan aan Groot-Brittannië onder het Verdrag van Nanjing. De Hongkongse autoriteiten voelden door dit verdrag de noodzaak om het fort te versterken om aan de macht te blijven in de rest van het land en om verdere Britse invloed te beperken. De versterking, die bestond uit de bouw van een ontzagwekkende muur, werd in 1847 voltooid. In 1854 was de stad een aantal weken in handen van rebellen tijdens de Taipingopstand. Het tegenwoordige Dapeng Association House is het overblijfsel van het garnizoen van Lai Enjue.