为拒绝婚事遭人攻击，李世达辩白无罪。郎中杨应宿、郑材上奏诋毁李世达，他便接连上奏请求退休。回乡七年去世。赠太子太保，谥敏肃。
着作.有《少保李公奏议》。
家族.曾祖李宽；祖父李柰；父李廷相。母王氏。有子李梓。