魏臣张既起用，傅畅称其“以才兼文武，累居籓镇”，曾参与诸葛亮北伐、魏灭燕之战、东兴之战、毌丘俭之乱等。
生平.青龙元年（233年），安定保塞匈奴大人胡薄居姿职等反叛，司马懿派胡遵等去讨伐，成功平乱。次年，被司马懿派去与郭淮抵御诸葛亮。景初二年（238年），辽东公孙渊造反，胡遵在司马懿的指示下击破公孙渊将领卑衍、杨祚。嘉平三年（251年）司马师掌权，胡遵与诸葛诞、毌丘俭、王昶、陈泰各守一方，出任征东将军，都督青、徐二州诸军事。嘉平四年（252年）冬十一月，胡遵与征南大将军