马腾性情贤能敦厚，人多敬之。当时凉州刺史耿鄙委任治中程球，程球为贪官，士人怨之。 汉灵帝中平元年十一月（185年），胡人北宫伯玉与先零羌人联合起兵反叛汉，还有百姓王国造反。“州郡募发民中有用力者，欲讨之，马腾在募中。”耿鄙征马腾为军从事，统领部队，与庞德一同攻击反叛的羌人和氐族，有功，庞德升迁至校尉，马腾提升为军司马，后以军功迁偏将军。
勇冠四州.中平四年（187年）夏四月，韩遂乃杀边章及北宫伯玉、李文侯，拥兵十余万，进围陇西。凉州刺史耿鄙讨金城贼韩遂，太守李参反，与韩遂结盟，