新石器时代珠江三角洲主要采石场和石器制作场，是华南地区唯一大型古石器制作场，史学界称为“西樵山文化”。自古便有“南粤名山数二樵”之誉。西樵山早在6000－8000年之前就有人类活动，并创造了“双肩石器文化”，其打造的细石器和双肩石斧精细实用，深刻的影响了珠江流域的原始文明，被誉为“珠江文明的灯塔”，广东省四大名山之一。东晋时，西樵山是全国道教中心之一，明清两代为佛道并存之地。明朝和清朝，包括湛若水、何白云在内的一大批文人相继隐居西樵山，在此探求理学，吟诗作画，湛甘泉、方献夫、霍韬、陈白沙等在西樵山开坛讲学、