迁徙到濠州耕种，让李善长管理他们，留在濠州数年。洪武七年，朱元璋提升李善长之弟李存义为太仆丞，李存义之子李伸、李佑都为群牧所官。洪武九年（1376年），朱元璋以临安公主下嫁其子李祺，授为驸马都尉。李家受宠显赫，时人极为羡慕。李祺与公主结婚一个月后，御史大夫汪广洋、陈宁上疏说：“李善长恃宠自纵，陛下因病几乎十日不能上朝，他不来问候。驸马都尉李祺也六日不来朝见，召他至殿前，又不认罪，这是对陛下极大的不敬。”李善长因此获罪，被削年禄一千八百石。不久，朱元璋又命李善长与曹国公李文忠一起统领中书省、大都督府、御史