性孝顺宽厚，勇勐过人，太清年间和兄长杜崱一同归附梁元帝，元帝任命为云麾将军、西荆州刺史，封华容县侯，食邑一千户；并下令他与平南将军王僧辩在长沙讨伐河东王萧誉，平定后又在太清二年（548年）命他带着一万名精兵协助左卫将军徐文盛征讨侯景。他在贝矶遇上侯景部将任约，两军大战，杜幼安最后战胜，斩杀仪同叱罗子通、湘州刺史赵威方等人，将他们的首级送到江陵。官军大举进攻，与侯景部下相持，又另外攻下武昌；侯景经过芦洲上流迫近徐文盛，杜幼安与众军攻打，侯景大败，官军取得其出船舰。适逢侯景秘密派人袭击郢州，擒获刺史萧方诸，令梁