长生于朝鲜孝宗八年（1682年）封谥为文元公，被列为东国十八贤之一，得以入祀孔庙。金长生去世后，其弟子们及儒林人士设立祠堂以缅怀金长生，并于于仁祖十二年（1634年）在祠堂的基础上创设遯巖书院。「遯巖」之名称源自于书院西北方有巨大的岩石。遯巖书院于朝鲜显宗元年（1660年）获君王赠与匾额，成为「赐额书院」，朝鲜高宗八年（1871年），兴宣大院君下达时，朝鲜全境仅保留47座书院，遯巖书院为其中之一。遯巖书院原址在旁，易遭受水患，于朝鲜高宗十八年（1880年）迁至原址西北方约1.5公里、地势较高的现址。