建炎二年（1128年），宋高宗于扬州行宫举行郊祀，孔端友奉孔子夫妇楷木像奉诏侍祀。建炎三年高宗定都临安后，以衢州无战事侵扰且交通便捷，赐孔氏家族在衢州建家。绍兴六年（1136年），高宗下诏权以衢州州学为孔氏家庙。孔端友南渡后，金太宗立孔端友的胞弟孔端操为衍圣公，从此遂有“南宗”、“北宗”之分。 宝祐元年（1253年）仲夏，孔子第五十三世孙衍圣公孔洙及衢州知府孙子秀奏请新建家庙，宋理宗拨款三十六万缗，诏建家庙于城东北菱湖芙蓉堤上，次年仲春落成，有玄圣殿、郓国夫人殿、齐国公殿、鲁国太夫人殿，祠祀沂水、