军司马裴奰献计称：“瑱善谋而勇，恐后难制，即除之，可一战禽也。”后召入京任兵部尚书、同中书门下平章事，充山陵使。宦官骠骑大将军兼内侍监程元振与来瑱不和，当初来瑱镇守襄阳时，程元振曾求他办事，遭到拒绝。程元振怀恨在心，唆使王仲升诬其与贼通谋，荆南节度使吕諲也说来瑱收揽人心恐怕久后难制，导致来瑱辖下四个州被另置观察使，辖区只剩六个州。而来瑱也记恨王仲升，在王仲升被史朝义将谢钦让围攻数月时不救，于是王仲升兵败被俘。广德元年（763年）正月，被流放播州（今贵州遵义），流放途中赐死于鄠县，籍没其家。来瑱冤死，藩镇