家庙毁于兵燹，旋迁于城南。祥兴二年（元至元十六年，1279年）崖山之战后南宋覆灭。至元十九年（1282年），元世祖忽必烈敕孔洙返曲阜奉祀，孔洙以“祖先庐墓在衢州，且衢州已建家庙，不忍举家北上”为由，让爵给曲阜族弟孔治。从此孔氏南宗在衢州永久定居。 明正德十五年（1520年）迁建孔氏南宗家庙于现址，次年落成。清道光元年至三年（1821年-1823年）家庙大修，成今日之规模。1998年至2000年衢州市政府投资1600万元，复建了家庙西轴线和孔府。2004年在此举办首届纪念孔子诞辰2555年的“衢州