被北魏俘虏，至中大通元年（529年），陈庆之送回北魏北海王元颢到洛阳时他又可以回国，除授南天水、天门二郡太守，有德政。胡僧祐喜欢读书，但不理解文辞意义，然而他每次在宴会中总会强行赋诗，文辞粗俗被嘲笑，胡僧祐神色自若，称自己有实力，愈来愈夸耀自己。之后他在萧绎处担任镇西录事参军，侯景作乱，西边沮蛮反叛，萧绎命令胡僧祐征讨，并要求杀死当地渠帅，他劝谏萧绎不要这样做，就被判忤旨入狱。大宝二年（551年），侯景入侵荆陕，在巴陵包围王僧辩，于是萧绎释放胡僧祐，拜任假节、武勐将军，封新市县侯，命令他支援。临行前他对儿子