代替司马权督守邺城。转任安西将军、都督关中事。太康初年，入朝为散骑常侍、前将军，领邺城门校尉，因病去职。后代替司马孚的儿子下邳王司马晃为尚书右仆射。又到地方任镇西将军，领护西戎校尉、假节，代扶风王司马骏都督关中军事，因病还京。永熙元年十月，接替石鉴为司空，领太子太保。杨骏被杀的时候，司马泰统领杨骏的军营，加侍中，晋惠帝补给他步兵二千五百人，战马五百匹。司马泰坚辞，乃给千兵百骑。楚王司马玮被皇后贾南风收押，司马泰率兵将去救，祭酒丁绥劝谏：“公为宰相，不可轻动。且夜中仓卒，宜遣人参审定问。”司马泰听从了