尚书右仆射。又到地方任镇西将军，领护西戎校尉、假节，代扶风王司马骏都督关中军事，因病还京。永熙元年十月，接替石鉴为司空，领太子太保。杨骏被杀的时候，司马泰统领杨骏的军营，加侍中，晋惠帝补给他步兵二千五百人，战马五百匹。司马泰坚辞，乃给千兵百骑。楚王司马玮被皇后贾南风收押，司马泰率兵将去救，祭酒丁绥劝谏：“公为宰相，不可轻动。且夜中仓卒，宜遣人参审定问。”司马泰听从了。司马玮被杀后，以司马泰录尚书事，迁太尉，守尚书令，改封高密王，食邑万户。元康九年六月戊戌日（299年7月17日）去世，追赠太傅，谥号文献。