Allerede etter to år forlot Lǐ statstjenesten, uklart av hvilke grunner. Trolig var det på grunn av enkelte intriger som omfattet evnukker, konkubiner og poesi. Resten av sitt liv streifet han rundt om i Kina. Høsten 744 og igjen året etter traff han Dù Fǔ (杜甫), den andre berømte dikteren fra denne epoken. Selv om de traff hverandre bare to ganger, skulle deres bekjentskap sette varige spor etter seg i fremfor alt Dù Fǔs verk: han dediserte et dusin dikt til kollegaen Lǐ Bái, som på sin side bare dediserte ett til Dù Fǔ.