幼安家世从北边归南，定居雍州襄阳，祖父杜灵启是南齐给事中，父亲杜怀宝则是南梁的骁勐将军、梁州刺史。他个性孝顺宽厚，勇勐过人，太清年间和兄长杜崱一同归附梁元帝，元帝任命为云麾将军、西荆州刺史，封华容县侯，食邑一千户；并下令他与平南将军王僧辩在长沙讨伐河东王萧誉，平定后又在太清二年（548年）命他带着一万名精兵协助左卫将军徐文盛征讨侯景。他在贝矶遇上侯景部将任约，两军大战，杜幼安最后战胜，斩杀仪同叱罗子通、湘州刺史赵威方等人，将他们的首级送到江陵。官军大举进攻，与侯景部下相持，又另外攻下武昌；侯景经过芦洲上流迫