La vigorosa supresión del narcotráfico británico orquestada por el virrey Lin Zexu en 1839 condujo al estallido de la Primera Guerra del Opio, durante la cual el distrito de las factorías ardió pasto de las llamas. En 1842, el tratado de Nankín abolió el Sistema de Cantón. Los británicos adquirieron la soberanía de la isla de Hong Kong, y se abrieron al comercio los puertos de Shanghái, Ningbo (actual Ningpo), Amoy (actual Xiamen), and Fuchow (actual Fuzhou). El recinto amurallado de Cantón quedó abierto a los extranjeros, aunque los gobernadores locales se resistieron a ello con una serie de pretextos. Las factorías fueron reconstruidas, pero debido a su pérdida de importancia, no fueron reconstruidas tras volver a ser arrasadas durante el comienzo de la Segunda Guerra del Opio. Después de esta contienda, las operaciones comerciales de los europeos se trasladaron a la vereda sur del río de las Perlas, a la isla de Shamian, donde todavía perduran algunos antiguos edificios comerciales.