积累许多财物，所得的仪仗经常放在斋中，对自己自娱。别人说：「这是羽仪，你名声隆重，不应这样。」他回应：「我喜欢这样，不用见怪。」出游时亦随身携带仪仗，别人都笑他。承圣二年（553年），胡僧祐进官车骑将军、开府仪同三司，其他依旧。西魏入侵，朝廷任命他僧祐为都督城东诸军事。魏军四面攻至，同时出击，他亲自抵挡箭和垒石，日夜督战，奖励士兵，赏罚分明，各人都被感动，愿意拼死一战，所向披靡，敌军不敢前进。不久他中流矢逝世，虚岁六十三，梁元帝知道后赶过去哭泣，于是内外惶恐，城池陷落。