轻时能干，泰始年间起家散骑黄门郎、给事、散骑常侍。泰始年间，尚书令史“恂”（姓失载）等因是故少府鲍融故吏，去其丧所服丧，何遵与廷尉何桢认为不合礼法，上书驳斥。而侍中太尉荀顗、尚书吴奋等则认为应服丧。何遵后历任侍中，咸宁年间累转大鸿胪。奏观阳伯华表世子华廙已因收受鬲令袁毅贿赂而获罪免为庶人，不应袭爵，应由华廙的儿子即华表世孙华混袭封。有司认为华廙虽有罪但仍能袭爵，武帝也下诏认同。有司奏免何遵官，诏何遵出钱赎罪。咸宁初年，有司奏何劭、何遵等受袁毅贿赂财货，虽被赦免，但此类事应该禁止。事下廷尉。晋武帝下诏称何