会昌五年（845年），协助唐武宗灭佛运动，一次拆毁伽蓝四千六百余所，还俗僧尼二十六万余人。会昌元年（841年）兼左仆射，及讨泽潞功成，拜太尉、封卫国公。武宗死后，会昌六年（846年），德裕被刚即位的唐宣宗罢相。初出为荆南节度使，俄徙东都留守，寻贬潮州司马。大中二年（848年）宣宗发布了，再贬为崖州司户参军，流放到海南岛。李德裕在海南积极为当地百姓传授儒学，颇受百姓爱戴。
晚年.李德裕在位时奖掖寒门后进，在他南谪时，有人写诗曰：“八百孤寒齐下泪，一时回首望崖州”。其表弟某侍郎遣人