可以追溯到西晋，当时内史皮溥始建郡学。北宋景祐年间（1034—1038年），始在饶州城北州学内建文庙，到元末毁于兵乱。明初，里人将原庙内塑像移至城西隅之天宁寺，知府陶安以其地，改建为大成殿，并增修附属建筑，至明末颓败。清顺治七年（1650年），饶州知府翟凤翥申请在明藩王府废址改建。此王府为明正统元年（1436年），淮靖王朱瞻墺从韶州迁鄱阳后建造，其子朱祁铨又增建了永寿宫，明亡后被毁。翟凤翥在永寿宫废址上重新改建，府学宫文庙成，有大成殿、明伦堂、教谕署、崇圣祠等。康熙十八年，知府黄家遴重修大成殿、两庑、明伦堂