祐元年（1253年）仲夏，孔子第五十三世孙衍圣公孔洙及衢州知府孙子秀奏请新建家庙，宋理宗拨款三十六万缗，诏建家庙于城东北菱湖芙蓉堤上，次年仲春落成，有玄圣殿、郓国夫人殿、齐国公殿、鲁国太夫人殿，祠祀沂水、泗水二侯于两庑之中，还有思鲁堂和咏春亭等建筑。景炎元年（1276年），菱湖家庙毁于兵燹，旋迁于城南。祥兴二年（元至元十六年，1279年）崖山之战后南宋覆灭。至元十九年（1282年），元世祖忽必烈敕孔洙返曲阜奉祀，孔洙以“祖先庐墓在衢州，且衢州已建家庙，不忍举家北上”为由，让爵给曲阜族弟孔治。从此孔氏南宗