高祖父李安社（后追封穆祖）因与当地全州知州不睦，迁至江原道三陟。这时约170户跟随李安社迁居。后该知州又调至三陟任职，于是李安社全家再度迁至当时位于元朝境内的德源（今属朝鲜江原道）()，然后定居在今中国吉林省延边地区。李安社后来成为元朝斡东千户所的达鲁花赤。其子李行里（后追封翼祖）、孙李椿（后追封度祖）亦曾出任图们地区的元朝千户。李椿之子李子春（后追封桓祖）任元朝双城总管府（在今朝鲜江原道永兴）的千户。在高丽第31位国王恭愍王向东北方向开拓疆域的战争中，李子春曾作为内应，协助高丽军队攻占双城，因此被高丽