果然获罪下台。十七年（801年）十一月，李藩第三女李孙二去世，年仅十六岁。次月，李藩为她作《赵郡李氏殇女墓石记》。李藩后又历任主客员外郎、右司员外郎。
唐顺宗年间.二十一年（805年），唐德宗崩，子唐顺宗继位。顺宗立皇子李淳为太子。尽管李淳还不是皇帝，并非太子属官的王纯却改名王绍以避其讳，时人非之，认为他是在讨好太子。李藩却说：“自古以来，总有不识大体的大臣坏事，王绍的所为不足为奇。”
唐宪宗年间.
担任京官.当年末，顺宗病重