举武勇豪迈，家中巨富，在地方上结识了许多豪杰人士。后担任金城的校尉。大业13年（617年），隋朝衰落，各地大乱，金城一带饥民众多，盗贼蜂起，金城令郝瑗募兵镇压。薛举在出征前的宴会中劫持郝瑗，以他的名义发兵逮捕地方官，开仓救齐灾民。他号称西秦霸王，年号秦兴，击败隋的地方军队，佔领陇西地区，随即称帝于兰州。其后欲进攻关中，为李世民所败，薛举因此有降唐之心。但郝瑗反对，于是欲联合突厥莫贺咄设合攻长安，但因莫贺咄设被李世民所怀柔未发兵而失败。618年再度与唐朝军队作战，主帅李世民以及唐朝将领刘文静、殷开山等