1898年租借新界的时候，增加的新界居民则有10万左右。 香港已知最早的详细人口记录是1845年，全港有23817人，其中男19201人、女2862人，其余1754人是儿童。很久以后才有较多家庭南移，令性别失衡得以纾缓。关于早期香港的社会，可参考亚视解密百年香港。
土客械斗以及苦力聚居.香港满清灭亡前的人口大多为苦力以及建筑工人，但亦有一部份商家，一名商家便请了十名以至上千名的苦力，所以此时的香港人口大多为非商家。苦力聚居的主要原因为土客械斗。土客械斗是香港早期历史最重要的一节，而