宁年间（1068～1077年）仿照山东曲阜孔庙的规制而建立，是始建年代较早的孔庙。金贞祐年间（1213～1216年），庙宇毁于战火，到元末更为颓败。明洪武二年（1369年）重建。成化十年（1474年），知府蔡晟增两庑像龛，建坊树屏，十三年（1477年），巡按御史梁泽拓大殿、两庑，建戟门、棂星门、明伦堂等。以后又重修数次。清代也有修葺，但基本格局未改。1946年，山东省立第二实验小学创建，使用文庙作为校址。中华人民共和国成立后，改称芙蓉街小学。1964年，学校拆除明伦堂等建筑，新建三层的办公教学楼，并将校门