江郡。公元前201年，归属豫章郡，汉文帝时再属庐江国。公元前126年，司马迁游山，他在《史记》中记述：“余南登庐山，观禹疏九江”，“庐山”一名始有文字记载。公元前122年的汉武帝时，庐山属豫章郡柴桑县，221年孙权将柴桑县划归武昌郡后属武昌郡，至291年西晋惠帝置江州时又属江州浔阳郡柴桑县。367年，西林寺建成，慧远任寺院住持。405年，陶渊明于山中隐居，作《归去来兮辞》。412年，高僧慧远于山中逝世。467年，陆修静上山修道，住太虚观。483年，祥符观于紫霄峰麓建成，之后，栖贤寺和先天观（景德观）也分别于