督青、徐二州诸军事。嘉平四年（252年）冬十一月，胡遵与征南大将军王昶、镇南将军毌丘俭等征讨东吴，同年十二月被东吴将领诸葛恪所击败。正元二年（255年）因平定毌丘俭等有功，升任卫将军。甘露元年七月己卯日（256年8月12日）逝世，死后追封为车骑将军、阴密侯。另二子名不详