瑱镇守襄阳时，程元振曾求他办事，遭到拒绝。程元振怀恨在心，唆使王仲升诬其与贼通谋，荆南节度使吕諲也说来瑱收揽人心恐怕久后难制，导致来瑱辖下四个州被另置观察使，辖区只剩六个州。而来瑱也记恨王仲升，在王仲升被史朝义将谢钦让围攻数月时不救，于是王仲升兵败被俘。广德元年（763年）正月，被流放播州（今贵州遵义），流放途中赐死于鄠县，籍没其家。来瑱冤死，藩镇无不痛恨元振。杜甫有诗曰：“来瑱赐自尽，气豪直阻兵”。其余部由襄州右兵马使梁崇义统领。