送至境边说：“何夺我贤太守也！”章献太后对他很赏识，封“祁国公”。仁宗景祐三年（1036年）诏令御史中丞杜衍裁汰三司冗员，有吏员500余人到杜衍住所叫骂，“乱掷瓦砾”，此事遂不了了之。宝元二年（1039年）复知永兴军。庆历四年（1044年）九拜同平章事、集贤殿大学士，兼枢密使，爲相仅百日而罢，出知兖州。杜衍拜相时，常收到皇帝替他人求职的“内降”，一概不予放行，“积诏旨至十数，辄纳帝前”，宋仁宗只好收回成命。宝元二年(1039)，迁刑部侍郎，知永兴军。为官清廉，不置私产，退休后，寄居应天府回车院，“居