绍圣年间（1094年），当时殿址在今之城北的旧城，元末毁于兵乱。明洪武初年重修，永乐十六年（1418年）、成化、嘉靖年间相继重修。万历五年（1577年）因旧城毁于洪水，迁至新城今址重建。清雍正、干隆间也有修葺。文庙曾有石坊、棂星门、教育署、训导署、大成殿、崇圣祠、明伦堂等建筑。石坊上书“太和元气”，现四字尚存。棂星门和二署在民国间已破坏，崇圣祠和明伦堂毁于文革。今唯大成殿幸存。1980年，文庙成为县级文物保护单位，2004年被公布为安徽省文物保护单位。省、县两级曾多次维修，现为县博物馆所在地。