顾建生有三子,长子顾省,史籍无考,且无后嗣。次子顾贵继承父兄之职。汉建元三年(公元前138年),东瓯王位传到了安朱第四代后人时,其部族开始受到闽越的进攻,于是向汉求援。汉政府派遣中大夫庄助发会稽兵渡海支援东瓯,闽越闻讯即退兵。迫于闽越的压力这支越人被迫向中央要求内迁,汉武帝就封其为驰义侯,迁其部众于江淮地区。 另一支越人闽越于建元六年(公元前135年)攻击了处于更南面的南越,汉武帝再次派遣大行王恢出兵豫章(今江西省),大农韩安国出兵会稽反击闽越。闽越王郢发兵凭险抵抗。但是郢的弟弟余善联合了宗族谋杀了郢,并将其首级献给了汉朝廷。汉于是下令停战,封早先的越王无余的孙子繇君丑为越繇王统治闽越部众。由于余善杀兄自立,族众多有不服,纷纷脱离余善,汉政府就派兵分立繇君丑和余善。 元鼎三年(公元前114年),受了汉朝恩惠的余善却反戈一击,偷袭汉领地并杀了汉政府的三个校尉。汉朝只能再次发兵,派出横海将军韩说出句章渡海攻击;还派楼船将军杨濮出武林,中尉王温舒出梅岭,越人也有多族协同,多路进击。