朝最有权势的人物是肃宗妻张皇后和殿中监宦官李辅国。苗晋卿和崔圆都小心侍奉他们，但李麟不如此。这使得李辅国不悦，在他怂恿下，干元元年（758年）五月，李麟被罢相为太子少傅。改封兖国公。二年（759年）七月卒，追赠太子太傅，赙绢二百匹，谥号德。下葬当日，诏京兆府差官护送，所须由官府报销。李麟好学能文，曾编写收集唐朝制集五十卷，在当时流行。