他也被遣出京城任成都尹、西川节度使。李商隐《樊南文集》有《为荥阳公上西川李相公状》。大中二年（848年）正月，李德裕被弹劾误以盗用粮钱及强娶民女之罪杀江都令吴湘，李回和郑亚当时在复核和确认对吴湘处以死刑时都有责任，李回因而以剑南西川节度、光禄大夫、检校吏部尚书、同平章事、成都尹、上柱国、陇西郡开国公、食邑二千户被贬为湖南观察使、潭州刺史。当月，李商隐曾为他作《为湖南座主陇西公贺马相公登庸启》以贺新任宰相马植。李回不久又以湖南都团练观察处置等使、光禄大夫、行潭州刺史兼御史大夫、上柱国、陇西郡开国公、食邑二千户