在6000－8000年之前就有人类活动，并创造了“双肩石器文化”，其打造的细石器和双肩石斧精细实用，深刻的影响了珠江流域的原始文明，被誉为“珠江文明的灯塔”，广东省四大名山之一。东晋时，西樵山是全国道教中心之一，明清两代为佛道并存之地。明朝和清朝，包括湛若水、何白云在内的一大批文人相继隐居西樵山，在此探求理学，吟诗作画，湛甘泉、方献夫、霍韬、陈白沙等在西樵山开坛讲学、研究理学，使西樵山获得了“南粤理学名山”的美誉。而当中最有名的莫过于康有为，年青的他正是从西樵山出来，开始开拓他的维新大业。西樵山还是以黄飞鸿