。孔端友返回曲阜后，因金兵大举入侵，遂恭负传家宝“孔子及亓官夫人楷木像”（据传为子贡亲手雕刻）、“唐吴道子绘孔子佩剑图”和“至圣文宣王庙祀朱印”等，与部分族人南迁，后家于浙江衢州。其子孙孔玠、孔搢、孔文远、孔万春、孔洙依次承袭衍圣公，史称南宗。元朝灭南宋后的至元十九年（1282年），元世祖议立孔子后，以寓衢者为大宗，欲召孔洙回曲阜袭封奉祀。孔洙称先代庐墓在衢州，不忍离去，乃辞让。元世祖大加赞赏，称孔洙“宁违荣而不违亲，真圣人后也”。于是下诏免去孔洙的衍圣公爵号，任命其为国子祭酒、承务郎，兼提举浙东学校事