和宰相李训、将军郑注计划根除统领内省的当权宦官（即后来的甘露之变），作为计划的一部分，文宗将李载义召回长安兼侍中，又守太傅，任李训的党羽户部尚书判度支王璠为新任河东节度使，使其可以调动军队。计划失败后，李训、郑注及几位宰相及几名同谋者被杀，文宗实际被宦官软禁，但李载义被允许留任河东。李载义晚年变得骄傲而残忍。开成初年，他与卢龙节度使史元忠累表为潮州司户参军事李宗闵辩解，使其被徙为衢州司马。二年（837年）四月，李载义在太原去世，追赠为太尉。唐武宗会昌四年（844年），河北三镇曾遣使者至京，宰相李德裕曾面