I 200 startet han et felttog mot den rivaliserende krigsherren Cao Cao, men han ble knust i slaget ved Guandu. Selv om Cao Cao først var sjanseløs mot Yuan Shaos tårn, hvorfra hans bueskyttere sendte haglestrømmer av piler over Wei-styrkene, klarte Cao Cao å fremskaffe seg artilleri i løpet av natten, og slik knude befestningene og nedkjempe Yuan Shaos styrker. Deretter kom Yuan på defensiven mot Cao Cao, og gjenvant aldri initiativet. I 201 fulgte nok et nederlag i slaget ved Cangting (i det som i dag er Yanggu fylke i Shandong).