彭世昌于1187年创办，地点在江西贵溪上清镇东南的应天山，象山精舍的宗旨是："明理"、"志道"、"做人"。由于陆九渊的影响力，象山精舍吸引了成百上千的问学者。1191年 (绍熙二年)，陆九渊离开精舍后，第二年即去世，象山书院后趋于衰落。1231年 (绍定四年)，象山精舍迁建于贵溪县城河对岸的三峰山下徐岩，第二年得诏赐"象山书院"匾额，书院逐渐发展兴旺。此后元朝时趋于没落。1484年 (明成化二十年)，再度奉诏修缮象山书院，正德、嘉靖年间，象山书院更加发展壮大。但到了1579年 (明万历七年)，由于张居正