建人经由香港移居海外，或被运往海外充当苦力。当时香港的华人圈子及洋人圈子壁垒分明，洋人主要聚居在中环一带，华人则主要聚居在上环一带。华人聚居地的卫生问题一直为人诟病。1890年代，华南发生鼠疫。1894年春，在广州传出逾10万人死亡的消息。同年5月，上环太平山街一带的中国人集中聚居的地区亦爆发鼠疫，每天的死亡人数最多达100人。结果当年之内共有2,552人死于瘟疫，为数约十万名的华人离开香港，贸易额亦一度大幅下降。之后30年内，鼠疫仍然偶尔出现，1898年至1900年期间，再有1,290人死于鼠疫。