建于明中晚期。文林湖为明万历十三年（1585）所凿，呈长方形，长约400米，与涧水相通，湖内种以荷花。1939年后在文庙内创办县立简易师范和遂安初级中学，1949年8月合并为遂安中学。五狮书院位于县署东五十步，原为南宋状元詹骙故宅（一说此为南宋枢密詹大方故宅，书院后状元台处为詹骙故宅），后为公馆，明隆庆时重修并改为狮山书院，万历时改名五狮书院。书院后有状元台，巨石高三仞，上建亭台，下有二池分列。
坛庙.县城外筑有先农坛、社稷坛、风云雷雨山川坛和邑厉坛四座主要的祭坛，除先农坛外的