黄帝率手下大臣容成子、浮丘公来此炼丹，并最终得道升天。唐天宝六年（747年），依此传说，信奉道教的唐玄宗改黟山为黄山。但是在汉代刘向所写的《列仙传》中就有一篇叫做《黄山记略》的文章。因此黄山之名的由来仍然不能确证。南唐时，工匠们已经开始用黄山松烟制作徽墨。黄山被尊为中国山水画的摇篮。明末清初形成的黄山画派以黄山为背景作画，驻足于黄山，潜心体味黄山真景，描绘黄山神妙绝伦的风景名胜。其中代表人物梅清、石涛、渐江更被称为黄山画派三巨子。石涛更是第一次把黄山72峰全部入画。此外黄宾虹自称为“黄山山中人”。