安后，以衢州无战事侵扰且交通便捷，赐孔氏家族在衢州建家。绍兴六年（1136年），高宗下诏权以衢州州学为孔氏家庙。孔端友南渡后，金太宗立孔端友的胞弟孔端操为衍圣公，从此遂有“南宗”、“北宗”之分。 宝祐元年（1253年）仲夏，孔子第五十三世孙衍圣公孔洙及衢州知府孙子秀奏请新建家庙，宋理宗拨款三十六万缗，诏建家庙于城东北菱湖芙蓉堤上，次年仲春落成，有玄圣殿、郓国夫人殿、齐国公殿、鲁国太夫人殿，祠祀沂水、泗水二侯于两庑之中，还有思鲁堂和咏春亭等建筑。景炎元年（1276年），菱湖家庙毁于兵燹，旋迁于城南