当时孔庙在县治东南，北宋靖康年间毁于火。后来金国占领山东，守臣高召在城西择地重建孔庙，到元末又毁，仅存故址。明洪武二年（1369年），知州罗希孟组织重修；正统年间，知州贺祯再修。后来弘治、正德年间皆有增建。到嘉靖三十五年（1556年），庙庑圮坏，东兖道任希祖再次重建。清干隆、道光、光绪年间又分别重修。1948年解放军占领临沂城时，孔庙建筑尚大体完整。“文化大革命”期间，大量建筑遭到破坏，仅大成殿、明伦堂及两棵银杏树幸存。1982年起，省、市政府先后对孔庙进行了三次维修。1992年6月，临沂孔庙被列入第二批省