Во времена империи Северная Сун в 1082 году в дельте Жемчужной реки было основано укреплённое поселение Сяншань («Благоухающая гора»), вскоре ставшее значительным торговым центром. Рост благосостояния и населения привели к тому, что в 1152 году уезд Сяншань (香山县) был выделен из состава уезда Дунгуань. После свержения монгольскими войсками династии Южная Сун многие императорские чиновники, военные и другие придворные нашли убежище в Сяншане. В период империи Цин в уезде Сяншань благодаря масштабным намывным и мелиоративным работам были значительно расширены сельскохозяйственные угодья и построены многочисленные дамбы, защищавшие деревни от наводнений.