追溯到北宋大观年间，明洪武二年（1545年）迁建于今址。万历十五年（1587年）重建。后屡有增修。建筑群坐北朝南，有文庙和岑山书院两座院落。文庙院内现仅存大成殿及东西庑；岑山书院则有明伦堂及东西存心、养心二斋尚存。大成殿面阔五间，深三间，为单檐歇山顶建筑。明伦堂面阔三间，深一间，为单檐硬山顶建筑。