弘治十七年（1504年），由知州林延玉倡建。初建于茶陵城南郊狮口山（今茶陵一中内），清干隆六年（1741年）迁城内南关，五十九年复迁旧址。院舍有堂5，两侧列主敬、行恕、修德、凝道等书斋，并有御书楼、吸秀亭、乡贤祠等附属建筑。清代茶陵名儒肖锦忠（状元）、曹诒孙（榜眼）等曾任主讲。书院有历代士民所捐田产租额500余石。清光绪二十八年（1902年）改为高等学堂。