金代在曲阜鲁国故城东北角建有颜子庙，明昌四年（1193年）十月曾大修。蒙古兴起初年，颜子五十二代孙颜泉发起重建，经历十载而成。元大德末年，旧庙毁坏，延祐四年（1317年），江南行台监察御史段杰上疏请修，迁颜庙至陋巷故址新建，并迁旧庙之颜子像入新庙祭祀。到至正九年（1349年）正式立碑记成。明代进行大修，奠定了现存庙宇的规模。清代也屡有修葺。1930年中原大战期间，颜庙遭到炮击，正殿毁坏50余处，庙内几无完室。1934年，山东省政府拨款维修了正殿。文化大革命期间，颜庙建筑所受破坏不大，唯复圣殿内的颜子座像被毁