挖出他的心来祭奠母亲。文宗拒绝了，而当史元忠把杨志诚秘制的天子衮冕送给文宗、表示杨志诚想称帝时，文宗将杨志诚流放，并在途中杀了他。九年（835年）十一月，李载义又被加更高的宰相荣衔兼侍中。当李载义的部下提出要立碑纪念李载义的功勋时，文宗同意了，并请前宰相李程起草碑文。写碑文要写出当事人的字，但当时李载义还没有字，文宗就下诏取《尚书》“凡厥正人，既富方谷”之句，给他赐字方谷。当月，文宗和宰相李训、将军郑注计划根除统领内省的当权宦官（即后来的甘露之变），作为计划的一部分，文宗将李载义召回长安兼侍中，又守太傅