认为杨芳声在兴隆庄建孔庙应是康熙二十五年（1686年）的事。康熙四十三年（1704年），台风侵袭、虫蛀，几乎倾圯。该年，凤山知县宋永清修建文庙，除增设祭祀孔子先世五代的启圣祠，完备孔庙格局，还在孔庙旁兴建义学。康熙五十八年（1719年）凤山知县李丕煜大规模重修，有大成殿、启圣祠、东西两庑和櫺星门，《凤山县志》形容「规制悉周、壮丽巨观」。雍正二年（1724年），启圣祠重新订名为「崇圣祠」。干隆十年（1745年），知县吕钟琇进行大规模修建，次年（1746年）完工。干隆十七年（1752年），知县吴士元再度