宰相李泌的堂弟，曾担任侍御史，当时东都留守杜亚欲陷害大将令狐运，有强盗在洛水以北抢劫运绢车队，杜亚下令逮捕令狐运四十余人。元素为此冤案平反，唐德宗曾大怒喝斥“出”、“去”。迁给事中，再迁尚书右丞。郑滑节度使卢群卒，拜李元素检校工部尚书节度其军，治有异绩。元和初年（806年），召拜御史大夫。大夫，自贞元后，朝廷因难得御史大夫之材，不设，而李元素因素有名望被召拜，中外都希其风采。然而他没有建树，希望作宰相，久之不被用，就对宾客说：“别以散官外放我。”见属吏就先拜，人人失望。李锜反叛，李元素拜浙西节度使。数月回京