位到了顶点，心里慢慢变得傲慢起来，朱元璋开始对他有所反感。洪武四年（1371年），李善长因病辞官归居，朱元璋赐临濠地若干顷，设置守坟户一百五十家，赐给佃户一千五百家，仪仗士二十家。一年后，李善长病愈，朱元璋便命他负责修建临濠宫殿，将江南富民十四万人迁徙到濠州耕种，让李善长管理他们，留在濠州数年。洪武七年，朱元璋提升李善长之弟李存义为太仆丞，李存义之子李伸、李佑都为群牧所官。洪武九年（1376年），朱元璋以临安公主下嫁其子李祺，授为驸马都尉。李家受宠显赫，时人极为羡慕。李祺与公主结婚一个月后，御史大夫汪广