关系甚差。宪宗重用门达，门达则命其党羽多投匿名书诬陷李贤。李贤于是乞罢，有诏慰留。吴皇后被废时，有言官要求严惩宦官牛玉，言及李贤。宪宗命卫士住宿李贤家，护送其进出。成化二年，李贤父丧，后诏起复，李贤三次请辞，不予批准。后再次请辞，同年冬去世。宪宗震悼，赠太师，谥文达。
评价.李贤为政持大体，尤以惜人才、开言路为急。其举荐的年富、轩輗、耿九畴、王竑、李秉、程信、姚夔、崔恭、李绍等人，均为一代名臣。当时皇帝延见大臣，有所荐，必先与吏部、兵部商定。李贤为人不专断，但庸小之辈均对其发难。