南淮南游弈招讨使，干元二年，官至山南东道节度使。上元二年春天，击破史思明于鲁山，再战于汝州，又大破之。因功自傲，行军司马裴奰献计称：“瑱善谋而勇，恐后难制，即除之，可一战禽也。”后召入京任兵部尚书、同中书门下平章事，充山陵使。宦官骠骑大将军兼内侍监程元振与来瑱不和，当初来瑱镇守襄阳时，程元振曾求他办事，遭到拒绝。程元振怀恨在心，唆使王仲升诬其与贼通谋，荆南节度使吕諲也说来瑱收揽人心恐怕久后难制，导致来瑱辖下四个州被另置观察使，辖区只剩六个州。而来瑱也记恨王仲升，在王仲升被史朝义将谢钦让围攻数月时不救，于