少勇敢果断，有武功才能，在北魏担任银青光禄大夫，大通二年（528年）回到南梁，经常上奏奏章，令梁武帝器重他，拜假节、超武将军、文德主帅，防守项城。项城失陷，他被北魏俘虏，至中大通元年（529年），陈庆之送回北魏北海王元颢到洛阳时他又可以回国，除授南天水、天门二郡太守，有德政。胡僧祐喜欢读书，但不理解文辞意义，然而他每次在宴会中总会强行赋诗，文辞粗俗被嘲笑，胡僧祐神色自若，称自己有实力，愈来愈夸耀自己。之后他在萧绎处担任镇西录事参军，侯景作乱，西边沮蛮反叛，萧绎命令胡僧祐征讨，并要求杀死当地渠帅，他劝谏萧绎不