Fjellene har vært kjent i lang tid for sine mange taoistiske klostre. Noen av dem var akademiske sentra, andre steder er man praktiserte kampsport, eller meditasjon, kinesisk medisin, taoistiske jordbruksmetoder eller lignende. Allerede under det østlige Han-dynastiet tiltrakk fjellene seg keiserlig interesse. Under Tang-dynastiet (618-907) ble fjellenes første gudstjenestested, De fem dragers tempel, bygget.