Da Lǐ Bái var fem år gammel, flyttet familien til Jiangyou i nærheten av dagens Chengdu i provinsen Sichuan. Lǐ fikk inntrykk både fra konfucianismen og taoismen, men å hans ringe opphav gjorde det ikke lett å flyte til topps i Tang-dynastiet. Selv om han ønsket å bli embetsmann, deltok han ikke i den keiserlige embetmannssprøven. I stedet begynte han som 25-åring å reise rundt i Kina, en livsførsel sterkt i kontrast til idealbildet av en konfusiansk nobelmann.