Bai Juyi kom fra en fattig konfuciansk mandarinfamilie som antakelig hadde sine røtter noen århundre tidligere i Sentral-Asia. Som tiåring ble han sendt for utdannelse nær Chang'an. Han oppnådde graden i 799 og tiltrådte sin karriere i den offentlige forvaltning året etter. Han ble så tidlig medlem av Hanlin-akademiet (807) og venstre rådgiver fra 808 til 815. Dette var en stilling med direkte tilgang til keiseren. Han tok den sedvanlige sorgpermisjon i 811 da moren døde, men vendte så tilbake. Han ble ledende medlem i kronprinsens stab. Der kom han i alvorlige politiske problemer. I 815 ble han sendt i eksil for å fremføre motforestillinger for kraftfullt.