为辅国将军、梁南秦二州刺史。宋后废帝继位后，朝政仍然由阮佃夫等明帝倖臣掌握，而杜幼文则与阮佃夫亲好，入为散骑常侍，并聚敛了大量财富，每天都在府中演奏音乐，并有女伎数十人。元徽五年（477年），阮佃夫因图谋废立而被诛杀，废帝遂很忌惮幼文，不过幼文仍旧和沈勃及孙超之一起，一晚后废帝夜出时听到幼文府内演奏的音乐，愈想愈不忿，最终在六月甲戌日（7月18日）亲自领宿衞兵诛杀幼文等，连带兄长长水校尉杜叔文以及一众子姪都被杀。