帝之玺自立，发兵拒守要道。同时封驺力等人为「吞汉将军」，进攻汉朝的白沙、武林、梅岭，杀死地方官员。大农张成、故山州侯齿等屯军豫章按兵不动，汉武帝大怒，将他们处决；同时派横海将军韩说从句章出发，由海路进攻；楼船将军杨仆自武林、中尉王温舒自梅岭、越侯自若邪、白沙，一齐进攻东越。公元前111年冬季，东越军队顽强抵抗，徇北将军曾在武林一度击败汉朝的杨仆部，但终于被杨仆打败并杀死。汉朝指使东越的越衍侯吴阳劝说余善投降，余善不听。吴阳率所部七百人倒戈，在汉阳袭击东越军。此时，闽越的另一位君主繇王居股与建成侯敖合谋杀