西樵山是全国道教中心之一，明清两代为佛道并存之地。明朝和清朝，包括湛若水、何白云在内的一大批文人相继隐居西樵山，在此探求理学，吟诗作画，湛甘泉、方献夫、霍韬、陈白沙等在西樵山开坛讲学、研究理学，使西樵山获得了“南粤理学名山”的美誉。而当中最有名的莫过于康有为，年青的他正是从西樵山出来，开始开拓他的维新大业。西樵山还是以黄飞鸿为代表的“南拳文化”的发源地，黄飞鸿一百多年前诞生于此地，苦炼武功，修心养德，成为武术界的一代宗师。现代，也有不少文人墨客如秦牧、黄施民等都在此留下赞美的诗句。