懿的指示下击破公孙渊将领卑衍、杨祚。嘉平三年（251年）司马师掌权，胡遵与诸葛诞、毌丘俭、王昶、陈泰各守一方，出任征东将军，都督青、徐二州诸军事。嘉平四年（252年）冬十一月，胡遵与征南大将军王昶、镇南将军毌丘俭等征讨东吴，同年十二月被东吴将领诸葛恪所击败。正元二年（255年）因平定毌丘俭等有功，升任卫将军。甘露元年七月己卯日（256年8月12日）逝世，死后追封为车骑将军、阴密侯。另二子名不详