昭义军节度使刘从谏献犬马，横海节度使刘约献白鹰，李珏请求推辞以示四方。迁太尉、门下侍郎，为文宗山陵使，奉命奉册上文宗尊谥、庙号。在计划安葬文宗时，正值秋雨，文宗梓宫在送往陵墓的路上经过安上门时陷于泥泞不能前进，武宗怪罪李珏，八月，将其罢相，改任太常卿，京兆尹敬昕贬为郴州（在今湖南郴州）参军。武宗得知李珏和杨嗣复不支持他继位，所以罢黜了他们，九月召回李党领袖前宰相李德裕，任命为首席宰相。韦温感慨：“杨三、李七如果听我的话，岂至如此啊！”李珏被认为刘弘逸、薛季稜之党，被遣出长安任检校兵部尚书、桂州刺史，充桂管防