1871年），兴宣大院君下达时，朝鲜全境仅保留47座书院，遯巖书院为其中之一。遯巖书院原址在旁，易遭受水患，于朝鲜高宗十八年（1880年）迁至原址西北方约1.5公里、地势较高的现址。金长生除了金长生之外，遯巖书院的祠堂于朝鲜孝宗九年（1658年）入祀金集、朝鲜肃宗十四年（1688年）入祀宋浚吉、肃宗二十一年（1695年）入祀宋时烈。金集为金长生的儿子，宋浚吉、宋时烈为金集的门生，金集、宋浚吉、宋时烈三人亦均列入东国十八贤。
建筑与重要文化财.遯巖书院入口为入德门，入德门后有养性