被列为浙江省文物保护单位，1996年11月20日被列为全国重点文物保护单位。
历史.北宋靖康二年（1127年），金国攻陷汴京开封府，掠走徽钦二帝，史称“靖康之变”。不久徽宗之子赵构在扬州登基，改元建炎，孔子第四十八世孙，衍圣公孔端友随行。建炎二年（1128年），宋高宗于扬州行宫举行郊祀，孔端友奉孔子夫妇楷木像奉诏侍祀。建炎三年高宗定都临安后，以衢州无战事侵扰且交通便捷，赐孔氏家族在衢州建家。绍兴六年（1136年），高宗下诏权以衢州州学为孔氏家庙。孔端友南渡后，金太宗立孔端友