贺州士兵士气跌入谷底。宋军前锋抵达芳林的时候，龚澄枢由于过度惧怕，而直接乘坐小船逃回广州。宋军随即包围贺州。刘鋹召集大臣商议抵御的最佳将领人选，起初大臣们推举潘崇彻，但由于长时间没有得到启用，潘崇彻的积极性早已丧失，于是以眼病推脱。刘鋹一怒之下启用伍彦柔为大将，出师援救贺州。宋军在得到伍彦柔部前来的情报之后，撤退二十里，同时在南乡设伏。伍彦柔率部乘坐船只，于破晓时分抵达南乡，宋军伏兵突然冲出，伍彦柔部大乱，被杀死人数占到了全军的十分之七到十分之八。伍彦柔于阵中被擒，并被斩首，头颅被展示给贺州城内守军