为宗正，又迁太常，后改任宁北将军，持节都督并州诸军事，并任并州刺史。永安元年（304年），东海王司马越率晋惠帝起兵讨伐邺城的成都王司马颖失败，晋惠帝更被俘获。但与此同时，司马腾和安北将军王浚合谋杀死司马颖所任命的幽州刺史和演，后二人更与鲜卑段务勿尘和乌桓羯朱两个胡族势力联手讨伐司马颖，司马颖则派王斌和石超抵抗。王浚和司马腾军先后击王斌和石超，并且逼近邺城，令邺城民众大惊，司马颖只好带着晋惠帝仓皇回洛阳，司马腾后获升任安北将军。同时，司马腾在拓跋猗㐌的支持下，于304年和305年两度击败匈奴的刘渊。光