迁至校尉，马腾提升为军司马，后以军功迁偏将军。
勇冠四州.中平四年（187年）夏四月，韩遂乃杀边章及北宫伯玉、李文侯，拥兵十余万，进围陇西。凉州刺史耿鄙讨金城贼韩遂，太守李参反，与韩遂结盟，共杀凉州刺史耿鄙。韩遂寇汉阳，汉阳太守傅燮战死。而韩遂联合耿鄙司马马腾，亦拥兵反叛、与汉阳人王国并叛，自号「合众将军」，共同推举王国为主帅，朝廷名为「三辅作乱」。189年，王国被朝廷派来的军队击败，马腾和韩遂等人共是废掉王国，又劫持阎忠为主帅。不久阎忠病死，马韩等人互相攻伐，势力有所衰弱。