En 1859 durante la Segunda guerra del Opio, el comercio de Cantón se trasladó a un nuevo sitio en el banco de arena recuperado de la Isla Shamian, a poca distancia al oeste de las antiguas factorías. Para entonces, gran parte del comercio exterior con China se había desplazado a la entonces colonia británica de Hong Kong (adquirida por Gran Bretaña en virtud del Tratado de Nankín), y a los puertos del norte de China, con su ventaja de la proximidad de Pekín, el Gran Canal y el valle del río Amarillo, ambas arterias vitales en el comercio interior de China. Para 1866, solo 18 empresas extranjeras mantenían todavía oficinas en Cantón, y solo 60 residentes extranjeros se dedicaban al comercio; esto excluía a los indios británicos y tidewaiters (que abordaban barcos como parte de las inspecciones de aduanas) empleados por el Servicio Imperial de Aduanas Marítimas, dirigido por Sir Robert Hart.