Li Gui kom fra kommanderiet Wuwei (武威, omtrent det moderne Wuwei), og var offiser i lokalregjeringens milits. Hans familie var velstående, og han brukte dette for å hjelpe de fattige. Dette fav ham et godt omdømme. Han var også belest og god i debatter og med logiske resonnementer. Sommeren 617, da Xue Ju gikk til opprør mot Sui-dynastiets styre i Jincheng (金城, i det moderne Lanzhou), drøftet Li med sine frender Cao Zhen (曹珍), Guan Jin (關謹), Liang Shuo (梁碩), Li Yun (李贇) og An Xiuren (安修仁) muligheten for et eget opprør for Sui – resonnementet var at de fryktet at Xue ville plyndre i Wuwei med mindre noen stod ham i mot, og at Sui-lederne ikke ville være i stand til det. De bestemte seg for å utføre denne plan. Da tiden var inne for å velge leder, foreslo Cao at ettersom profetier hadde tilsagt at den neste keiser ville være av navnet Li, skulle Li Gui bli deres leder.