素检校工部尚书节度其军，治有异绩。元和初年（806年），召拜御史大夫。大夫，自贞元后，朝廷因难得御史大夫之材，不设，而李元素因素有名望被召拜，中外都希其风采。然而他没有建树，希望作宰相，久之不被用，就对宾客说：“别以散官外放我。”见属吏就先拜，人人失望。李锜反叛，李元素拜浙西节度使。数月回京，为国子祭酒，进户部尚书、判度支。李元素少孤，奉长姊谨悌，长姐死后，悲鲠成疾，辞职屏居。其妻是石泉公王方庆的孙女。李元素前妻所生子皆不肖，李元素溺爱姬侍不理睬王氏。李元素生病久后更是昏惑，休弃王氏。王氏诉之于朝，诏免