灭亡后，大批南宋皇族和官员的后裔流落定居于香山。明朝香山北部地区开始淤积成陆，此时才与大陆相连。清朝珠江三角洲一带开始逐步修筑防洪防潮的河道堤围，香山县围垦的田地在不断增加，农业产量也在提高。在清朝嘉庆年间，由于农业的发展，香山由原来的下等县改成与南海、番禺、东莞等县同列的大县。第一次鸦片战争时期，位于珠江口西岸的香山是战场之一。1839年，林则徐来广东主持禁烟，8月16日驻兵香山县城，令澳葡当局驱逐英商义律等人。1840年，第一次鸦片战争爆发之后，英国战船驶至澳门关闸，强行登陆，香山的清朝驻军曾作勉强