南宋咸淳年间，失势的皇贵妃胡妃（另一说为苏妃）逃出皇宫，隐居在广州府的南雄珠玑巷。后来消息走漏，咸淳九年（1273年），当时的皇帝宋度宗为追究此案，扬言要屠村灭口，于是发生南雄珠玑巷居民避祸南迁之役。咸淳十年甲戌（1274年）珠玑巷有部份难民逃至珠江支流西江江畔的顺德县，以打鱼为生。相传当时有一“通天桥”，连接顺德与香山县小榄。渔民都到对岸的“大榄”和“小榄”两个丘陵上休憩、晒网。时值秋高气爽，月白风清，渔民见这里土地肥沃，气候温和，黄菊遍野，溢香流金，景物宜人，认为是上天赐予的福地，于是在这片黄花盛开的地