宋代以前，该山西面的悬岩峭壁紧逼长江，山下南侧是当时的水陆码头，渡江南来的旅客登岸后首先入目的便是这座石头山。前333年，楚威王熊商灭越国，在此埋金以镇“王气”，并筑金陵邑。孙权在此修建石头城，成为江防要塞。五代时，南唐后主李煜在山中兴建避暑行宫，后改清凉寺，辟为清凉道场，从此改名清凉山，成为金陵名胜之一。1961年辟为公园。文革中遭到破坏。1970年代末，开辟城西干道（后定名为虎踞路）时，为降低路面高度，挖掘山体，切断了清凉山，道路以东部分恢复为清凉山公园，山上有清凉寺、扫叶楼、还阳井、崇正书院、翠微亭、