Bai föddes i Guilin i Guangxi-provinsen och var ättling till en persisk handelsman som slagit sig ned i Kina. Hans födelsenamn var Omar Bai Chongxi. Efter att han studerat vid militärhögskolan i Guangxi blev han och hans klasskamrater Huang Shaohong och Li Zongren känd för sitt stöd till revolutionären Sun Yat-sen. Efter Xinhairevolutionen som störtade Qingdynastin 1911 lyckades Bai, Huang och Li underkuva de lokala krigsherrarna i Guangxi och gav sitt stöd till den nyupprättade Republiken Kina.