信柳欣慰的谋反计划，柳欣慰更寻求幼文、左将参军宋祖珍及前鄀令王陵伯的支持，刘袆亦送了一个金盒贿赂幼文，但幼文还是将事件报告给明帝。最终柳欣慰等人被杀，刘袆亦被逼自杀，而幼文则拜黄门侍郎。后幼文转为辅国将军、梁南秦二州刺史。宋后废帝继位后，朝政仍然由阮佃夫等明帝倖臣掌握，而杜幼文则与阮佃夫亲好，入为散骑常侍，并聚敛了大量财富，每天都在府中演奏音乐，并有女伎数十人。元徽五年（477年），阮佃夫因图谋废立而被诛杀，废帝遂很忌惮幼文，不过幼文仍旧和沈勃及孙超之一起，一晚后废帝夜出时听到幼文府内演奏的音乐，愈想愈