1231年 (绍定四年)，象山精舍迁建于贵溪县城河对岸的三峰山下徐岩，第二年得诏赐"象山书院"匾额，书院逐渐发展兴旺。此后元朝时趋于没落。1484年 (明成化二十年)，再度奉诏修缮象山书院，正德、嘉靖年间，象山书院更加发展壮大。但到了1579年 (明万历七年)，由于张居正的影响，象山书院跟其他许多书院一样被废除。明朝时期，象山书院与白鹿洞书院、鹅湖书院、白鹭洲书院并列为江西四大书院。清朝时期，在江西先后出现过