加中书侍郎，授同中书门下平章事为实质宰相，充集贤殿大学士，仍判户部。转门下侍郎，历户、吏二部尚书。
唐宣宗年间.会昌六年（846年），唐武宗崩，叔唐宣宗继位。宣宗不满李德裕专权，罢其相位，遣出京城。李回维持相位，为武宗山陵使，但大中元年（847年）八月他也被遣出京城任成都尹、西川节度使。李商隐《樊南文集》有《为荥阳公上西川李相公状》。大中二年（848年）正月，李德裕被弹劾误以盗用粮钱及强娶民女之罪杀江都令吴湘，李回和郑亚当时在复核和确认对吴湘处以死刑时都有责任，李回因而以剑南西川节