以海风太大为由拒绝前进，派人秘密与南越联络。公元前112年冬季，汉军攻破番禺城的时候，余善并没有率军前来，因此杨仆上表请求讨伐东越。汉武帝以「士卒劳倦」为由拒绝了他的请求，令大农张成、故山州侯齿等屯军豫章待命。元鼎六年（前111年）秋季，余善得知杨仆有进攻东越的意图，而且汉军兵临边境，于是大怒，自称东越武帝，刻皇帝之玺自立，发兵拒守要道。同时封驺力等人为「吞汉将军」，进攻汉朝的白沙、武林、梅岭，杀死地方官员。大农张成、故山州侯齿等屯军豫章按兵不动，汉武帝大怒，将他们处决；同时派横海将军韩说从句章出发