露二年（前52年），杜延年卒，朝廷征他回朝治丧事，嗣爵为建平侯，拜为太常。管理关中的各个陵县，每冬月封具狱日，常去酒省食，官属称他有恩。汉元帝即位，当时谷贵民流，西羌反叛。他为平西羌之叛，上书捐助钱谷以助军用，前后达数十万。后来犯法免官，以列侯奉朝请。汉成帝时杜缓卒。