回娶同姓女入门。当时李回已迁邓州刺史，行到九江，被御史问罪，只得回建州，最终因罪被贬为抚州司马，卒于任上。郁贤皓《唐刺史考全编》未列李回任抚州刺史及第二次任西川节度使事，且据大中五年十月魏谟拜相直至十一年罢相，考证李回被贬建州刺史当在魏谟拜相时。《稽神录》载建州有梨山庙，被当地人称为“故相李回之庙”，李回去世当年，建安人都梦到李回乘白马入梨山。此记载可佐证李回曾被贬建州刺史。六年邓州刺史为苏庄，九年刺史为薛弘宗，李回被迁邓州刺史当在此间。
子孙.族曾孙李涛、李瀚。