宦官软禁，但李载义被允许留任河东。李载义晚年变得骄傲而残忍。开成初年，他与卢龙节度使史元忠累表为潮州司户参军事李宗闵辩解，使其被徙为衢州司马。二年（837年）四月，李载义在太原去世，追赠为太尉。唐武宗会昌四年（844年），河北三镇曾遣使者至京，宰相李德裕曾面谕李载义为国尽忠，即使被军人驱逐也做了使相，而杨志诚不敬朝廷，被军中所逐后不被朝廷赦免的例子，对河北三镇，告知祸福。武宗也认可李德裕对河北三镇明告此言，三镇因而不敢有异志。