归属楚国境内的庐子国、庐邑，六国统一后，属九江郡。公元前201年，归属豫章郡，汉文帝时再属庐江国。公元前126年，司马迁游山，他在《史记》中记述：“余南登庐山，观禹疏九江”，“庐山”一名始有文字记载。公元前122年的汉武帝时，庐山属豫章郡柴桑县，221年孙权将柴桑县划归武昌郡后属武昌郡，至291年西晋惠帝置江州时又属江州浔阳郡柴桑县。367年，西林寺建成，慧远任寺院住持。405年，陶渊明于山中隐居，作《归去来兮辞》。412年，高僧慧远于山中逝世。467年，陆修静上山修道，住太虚观。483年，祥符观于紫霄峰麓