龙元年（233年），安定保塞匈奴大人胡薄居姿职等反叛，司马懿派胡遵等去讨伐，成功平乱。次年，被司马懿派去与郭淮抵御诸葛亮。景初二年（238年），辽东公孙渊造反，胡遵在司马懿的指示下击破公孙渊将领卑衍、杨祚。嘉平三年（251年）司马师掌权，胡遵与诸葛诞、毌丘俭、王昶、陈泰各守一方，出任征东将军，都督青、徐二州诸军事。嘉平四年（252年）冬十一月，胡遵与征南大将军王昶、镇南将军毌丘俭等征讨东吴，同年十二月被东吴将领诸葛恪所击败。正元二年（255年）因平定毌丘俭等有功，升任卫将军。甘露元年七月