胡以郡将出身，为人能人善辩，处事安排允当，升任队主后在讨伐蛮族上屡建功勋，蛮人都很怕他。元嘉二十八年（451年），刘胡获授振威将军，率领三千步骑进攻上如南山就溪蛮，大破对方。孝建元年（454年），刘胡获时任雍州刺史朱脩之任命为他的平西外兵参军、宁朔将军、建昌太守，并在该年参与讨伐起事的豫州刺史鲁秀，除建武将军、东平阳平二郡太守。后刘胡入朝任太宰刘义恭的参军，并加龙骧将军。景和元年（465年），前废帝一度以建安王刘休仁出任雍州刺史，遂让刘胡任其安西中兵参军、冯翊太守。不过休仁没有获外调，雍州刺史一职由原安西司