和他论佛经，说：“佛教说的果报有吗？”李藩说：“有。”杜佑说：“这样的话，君应该遇事不慌。”向他出示敕令，而李藩并不怕死，神色不变，说这是杜兼的报应。杜佑上表为李藩辩护。德宗仍不信任李藩，召他进京面讯，觉得他仪态自然优雅，认为不可能会是谋反罪人，任他为秘书郎。当时户部尚书王纯当权，想会见李藩，表示只要李藩顺从他就会予以提拔，但李藩拒绝会见。当时王仲舒、韦成季、吕洞等郎官广交朋友，经常聚在一起喝酒。他们知道李藩有名声，就请他也来共饮。李藩拗不过他们，去了，却厌恶他们轻浮的言行和席间的杂戏，再也没有加入他们