二年（861年），李回被召回长安任兵部尚书，又再次被遣出为成都尹、西川节度使，在那里过世，赠司徒，谥文懿。但《新唐书》称李回卒于抚州，大中九年（855年），唐宣宗追复他为湖南观察使，赠刑部尚书。《唐摭言》载：太和初年李回任京兆府参军时，不送刚中进士的魏谟，魏谟很记恨。会昌年间李回为刑部侍郎，魏谟为御史中丞，提起当初李回不送魏谟之事，李回说如今也不送，魏谟更愤恨。李回被贬为建州刺史，魏谟拜相，李回的上疏魏谟都不采纳。后来李回将一衙官杖责停职，衙官愤恨自己因停职损失收入，逃到京城找宰相喊冤，宰相们都不问，旁