小随父征战，因功升为殿中侍御史、北庭行军司马。天宝中期官至赞善大夫，左拾遗张镐荐其才干，任为颍川（今河南许昌）太守。安史之乱爆发后，坚守颍川，安禄山军多次攻颍川，无法攻克，皆畏之，称之“来嚼铁”。因功升防御使、河南淮南游弈招讨使，干元二年，官至山南东道节度使。上元二年春天，击破史思明于鲁山，再战于汝州，又大破之。因功自傲，行军司马裴奰献计称：“瑱善谋而勇，恐后难制，即除之，可一战禽也。”后召入京任兵部尚书、同中书门下平章事，充山陵使。宦官骠骑大将军兼内侍监程元振与来瑱不和，当初来瑱镇守襄阳时，程元振