南宋末年，宋端宗在元军的追杀下，曾逃往香山躲避，南宋灭亡后，大批南宋皇族和官员的后裔流落定居于香山。明朝，香山北部地区开始淤积成陆，此时才与大陆相连。清朝，珠江三角洲一带开始逐步修筑防洪防潮的河道堤围，香山县围垦的田地在不断增加，农业产量也在提高。在清朝嘉庆年间，由于农业的发展，香山由原来的下等县改成与南海、番禺、东莞等县同列的大县。澳门原本属于香山县。明朝嘉靖三十二年（1553年），葡萄牙人借机在澳门半岛定居。第一次鸦片战争时期，位于珠江口西岸的香山是战场之一。1839年，林则徐来广东主持禁烟，8