12年）秋季，汉朝发兵征讨南越，余善上书汉廷，请求发兵八千人跟随楼船将军杨仆讨伐南越。行军至南越国的揭扬地区时，余善以海风太大为由拒绝前进，派人秘密与南越联络。公元前112年冬季，汉军攻破番禺城的时候，余善并没有率军前来，因此杨仆上表请求讨伐东越。汉武帝以「士卒劳倦」为由拒绝了他的请求，令大农张成、故山州侯齿等屯军豫章待命。元鼎六年（前111年）秋季，余善得知杨仆有进攻东越的意图，而且汉军兵临边境，于是大怒，自称东越武帝，刻皇帝之玺自立，发兵拒守要道。同时封驺力等人为「吞汉将军」，进攻汉朝的白沙、武