内创办县立简易师范和遂安初级中学，1949年8月合并为遂安中学。五狮书院位于县署东五十步，原为南宋状元詹骙故宅（一说此为南宋枢密詹大方故宅，书院后状元台处为詹骙故宅），后为公馆，明隆庆时重修并改为狮山书院，万历时改名五狮书院。书院后有状元台，巨石高三仞，上建亭台，下有二池分列。
坛庙.县城外筑有先农坛、社稷坛、风云雷雨山川坛和邑厉坛四座主要的祭坛，除先农坛外的其它三座祭坛均始建于明洪武时，最初社稷坛和风云雷雨山川坛位于城南半里，万历三年（1575）分别改置于城西二百步和城东四百