父亲官至郡守，少年丧父，后来以孝廉为郎，和外戚王音、王商关系较好，王商为大司马大将军，任命他为主簿。汉哀帝时为凉州刺史，几年后因病免官。之后举方正，上书抨击外戚傅氏、丁氏专权，其实他是王氏外戚的心腹。前2年因病而卒。他对文字学有造诣，儿子杜林继承之，在汉光武帝时任大司空。