预定孔庙基地为682平方公尺，佔总面积的千分之二点五。地区属王田里。但该地原先有驻军，次年1962年5月17日经黄宗焜与驻军罗军长交涉后获得解决，军队迁至他处，日内发包兴建。在1963年报导时，庙宇仅完成大成殿，却因募款部分不足，其余回廊、棂星门、围墙等工程尚缺经费而未建。次年县长何茂取在此孔庙举行祭孔。原先庙门前有十二门古砲，后1975年县长陈嘉雄兴建楼前湖亭时迁走。重修玉峰书院碑记则置于孔庙右前方。1980年代初，嘉义市市民张玉兰读到一篇拜孔能让子女会读书的杂志文章，便开始来此庙祭拜。她