对后世影响深远。795年，李渤隐居山中，养白鹿自娱，其居所即今之白鹿洞书院。815年，诗人白居易被贬为江州司马，并在北炉下筑草堂。821年，李渤任江州刺史时再次登山，并在次年筑九江甘棠湖堤的同时，将山麓的白鹿洞进行扩建，请智常禅师主持栖贤寺。880年，受高骈之乱波及，白居易之文集及慧远的《庐山集》混乱中被毁。937年，南唐人升元在白鹿洞购地办学，是谓称庐山学。951年，南唐李璟称帝前，斥银万两在山上购地筑读书台，后下诏建西林寺塔。
宋至清.1008年，白鹿洞书院扩建，师生总数空前壮