Fra Qindynastiets tid var Huang Shan kjent som . Dagens navn fikk fjellene 747 e.Kr. ved et keiserlig dekret, etter at den høyt skattede dikteren Li Bai fra Tang-dynastiets tid benyttet dette navnet i sin poesi. Men fjellene er ikke gule. Det er forskjellige antagelser om motivet bak dette navnet. Man antar gjerne at det var en oppkalling etter Huang Di (), en kinesisk urkeiser fra legendenes verden som mytologisk anses som hankinesernes stamfar, og en beslektet legende vil at at disse fjellene var hvorfra Den gule keiser steg opp til Himmelen. Nok en legende hevder at Den gule keiser «styrket den moralske karakter i fjellene og utviklet udødelighetspiller her», og dermed gav fjellene sitt navn.