西汉杜陵县（今陕西省西安市一带）人。杜周之孙，杜延年的长子，杜钦之兄。杜缓少年时为郎。汉宣帝本始年间，担任校尉随从蒲类将军赵充国攻打匈奴。回朝任谏大夫，转任上谷郡都尉，雁门郡太守。甘露二年（前52年），杜延年卒，朝廷征他回朝治丧事，嗣爵为建平侯，拜为太常。管理关中的各个陵县，每冬月封具狱日，常去酒省食，官属称他有恩。汉元帝即位，当时谷贵民流，西羌反叛。他为平西羌之叛，上书捐助钱谷以助军用，前后达数十万。后来犯法免官，以列侯奉朝请。汉成帝时杜缓卒。