Muutkin kuin brittiläiset kauppiaat olivat kiinnostuneita siirtomaasta. Toiset eurooppalaiset kauppiaat käyttivät vapaasatamaa hyödyksi ja perustivat saarelle yrityksiä. Manner-Kiinan työntekijät olivat kiinnostuneita työskentelemään Hongkongin infrastruktuurin kanssa ja Hongkongin yrityksille. Saaresta tuli paikka maastamuutolle, ja monet kiinalaiset muuttivat Singaporeen, Malakkaan, Kaliforniaan tai Indonesiaan. Taiping-kapina toi toisen aallon pakolaisia, jotka yrittivät paeta manner-Kiinan levottomuuksia. Vuoteen 1861 mennessä Hongkongin väkiluku oli noussut 120 000:een ja tilasta alkoi tulla ongelma.