太武帝授杜遗侍中、安南将军、开府、相州刺史。入为内都大官，进爵广平公。杜遗个性忠厚，历任州郡，所在都有好名声。兴安元年（452年）十二月戊寅，魏文成帝进建业公陆俟爵为东平王，进广平公杜遗爵为广平王。兴安二年（453年）正月辛巳，广平王杜遗薨，进其子司空杜元宝爵为京兆王。赠太傅，谥号宣王。