Men Li klarte ikke å erobre den viktige byen Shanghai, som han angrep i august 1860. Han måtte da gi tapt for , da ledet av den amerikanske leiesoldaten Frederick Townsend Ward.