Lǐ Bái var sønn av en rik kjøpmann. Man vet ikke sikkert hvor han ble født; steder i provinsen Gansu har blitt foreslått, men også Suiye i Sentral-Asia (nær dagens Tokmok, Kirgisistan) et sted hans oldefar skal ha blitt forvist til. Visse språklige trekk fra dette området rundt Suiye lar seg spore i Lǐs verk.