父李至远在武则天年间任壁州刺史，祖父李畲在玄宗年间任考功郎中，官终国子司业，赠太子宾客，都名重一时。
唐德宗年间.
年少成名.李藩的父亲李承在唐德宗年间为湖南观察使。少年时的李藩恬静淡泊，仪表文雅，又好学。建中四年（783年）李承去世，留给李藩一笔巨额家产。亲戚来奔丧，李藩任由他们任取财物，还广为布施，于是几年间耗尽家产，陷入贫困。李藩四十多岁了还没有当官，在扬州读书，无力应付家用，妻子因此埋怨，他也处之泰然。东都洛阳留守杜亚与李承为友，上任后辟李藩为从事