延寿原来担任丞相司直，汉元帝初元三年（前46年）汉元帝以繁延寿为执金吾，取代冯奉世。建昭二年（前37年）以繁延寿担任卫尉，建昭三年（前36年）以繁延寿担任御史大夫，取代匡衡。繁延寿和丞相匡衡对甘延寿、陈汤出使西域诛斩郅支单于邀功受赏不满意，引起朝议反复。竟宁元年（前33年），繁延寿去世，由张谭接替担任御史大夫。