曾祖李元懿为唐高祖李渊第十三子。父李择言，曾为汉、褒、相、岐四州刺史。李勉幼通经史，沉雅清峻，官至开封尉。安史之乱时，随唐肃宗来到灵武，拜监察御史。入朝为太常少卿。因不附和李辅国，出为汾州、虢州刺史。大历二年（767年），入朝拜为京兆尹兼御史大夫。与鱼朝恩不和，不久罢官。大历四年，任除广州刺史兼岭南节度观察使。大历十年（775年），内召为工部尚书。大历十一年（776年），汴宋留后田神玉逝世后，下诏命李勉为汴州刺史、汴宋节度使，未行。第二年，复诏李勉为汴宋节度使，移理汴州。779年，唐德宗登基，加检校吏