肇家浜（今复兴东路）北岸（淘水场一带），县衙之西兴建了新文庙。但仅四年之后（延祐元年，1314年），县丞王珪又将文庙迁回原址，并扩大庙制。当时文庙中还有天光云影池，池中有岛名为“芹洲”，洲上建有止庵、杏坛、盟鸥渚、洗心亭、舞雩桥、酸窝、古井、焦石堂诸胜。至正十一年（1351年），知县刘辉增建教谕厅、讲席堂，监县兀奴罕、县丞张议重建庙门、斋舍；后来知县何缉还在庙左建明伦堂，堂前东西分建育英、致道二斋。有富僧觉元捐田产六百余亩，以资修葺费用。明正统四年（1439年），提学御史彭勋、巡按御史肖启命知县张祯拓展