欢读书，但不理解文辞意义，然而他每次在宴会中总会强行赋诗，文辞粗俗被嘲笑，胡僧祐神色自若，称自己有实力，愈来愈夸耀自己。之后他在萧绎处担任镇西录事参军，侯景作乱，西边沮蛮反叛，萧绎命令胡僧祐征讨，并要求杀死当地渠帅，他劝谏萧绎不要这样做，就被判忤旨入狱。大宝二年（551年），侯景入侵荆陕，在巴陵包围王僧辩，于是萧绎释放胡僧祐，拜任假节、武勐将军，封新市县侯，命令他支援。临行前他对儿子说：「你可以开两扇门，一扇红色，另一扇白色。吉利的话我从红门进屋，我死了就从白门抬入屋，我不打胜仗不会回家。」萧绎听说后认为他