孔庙位于凤山县旧城北门外，据廪生卢德嘉汇纂的《凤山县采访册》记载当时孔庙规制未备，旧时建筑朝东南南，创建略嫌草率。而关于建庙年代，根据高拱干《台湾府志》（1696年）、李丕煜《凤山县志》（1719年）等书记载，为康熙二十三年（1684年）由凤山首任知县杨芳声创建。然而此一说法与其他文献有所冲突，例如蒋毓英《台湾府志》（1685年）便记载杨芳声是在康熙二十四年（16685年）于府城附近的土墼埕将现有房屋修改成文庙（孔庙），而台湾道周昌〈详请开科考试文〉（1686年）也提到当时台、诸、凤三县都只是用简单房屋供奉