Byen Nanhai ble grunnlagt i 1271 av to brødre som hadde flyktet fra Nordkina og hadde med seg sin avdøde fars ben. De var på flukt fra mongolene på en bambusflåte ned elven da de kom ut i uvær og flåten ble knust. Brødrene slo seg ned på stedet, og bygde en helligdom til minne om hendelsen.