离县衙东北半里的现址再次新建。庆元元年（1195年），重建大成殿和明伦堂。嘉定四年，建立育英、养贤、升俊、达材四斋，同时在泮池上新建石桥，桥外设立重门，并于戟门内设立左右两庑。元延佑五年（1318年），在泮池西修建杏坛和文昌祠，又在杏坛东侧修建光霁亭。明正统年间，重建大成殿并维修明伦堂。成化六年（1470年），在大成殿两旁建东西两庑。弘治初年，文庙东侧开辟射圃。嘉靖十六年（1537年），文庙进行大修，扩建明伦堂，增建号舍，此后文庙多次重修。崇祯元年（1628年）八月，文庙毁于台风，七年后重新建成大成殿及