官骆奉先（仆固怀恩的监军）、鱼朝恩造谣，诬陷仆固怀恩与回纥勾结，因而更加激起唐代宗的怀疑。仆固怀恩气不过辛云京，还派儿子仆固玚与辛云京交战，云京大败。唐代宗更加怀疑仆固怀恩，继续夺去仆固怀恩的兵权。最终联合向激反仆固怀恩。鱼朝恩借此以自己宦官集团的神策军替代原守卫关中的朔方军，朔方军被分为京西北八镇。大历三年（768年）八月庚午卒，册赠太尉，辍朝三日，谥忠献。妻子李氏的墓志显示他最终的官职、爵位为“河东节度使、检校尚书左仆射、同中书门下平章事、金城郡王”。金城郡王何时所封不详。Section::