После того, как Линь Цзэсюй попытался пресечь незаконную торговлю опиумом, британцы развязали Первую опиумную войну (1839—1842), в ходе которой «Тринадцать факторий» были сожжены дотла. По условиям Нанкинского договора Китай уступил британцам Гонконг и открыл для внешней торговли Шанхай, Нинбо, Фучжоу и Сямынь, что существенно ударило по привилегированному положению Кантона. В апреле 1847 года британский флот провёл карательную экспедицию и захватил китайские форты вдоль Жемчужной реки. В начале Второй опиумной войны (1856—1860) «Тринадцать факторий» вновь сгорели и уже не были восстановлены. Иностранные коммерсанты сначала обосновались на острове Хэнань, а после окончания войны построили себе новый анклав на острове Шамянь, рядом со старыми факториями.