同年，赵眜死去，赵婴齐继承王位。此前南越君主对汉朝自称「藩王」，在国中则自称「皇帝」。赵婴齐即位之后，废去了赵佗、赵眜在位时所称的帝号，在国中改称「国王」，将先帝的玉玺藏于国库中不再使用。赵婴齐去长安之前，曾经在南越娶当地的南越女人为妻，并生了长子赵建德，赵婴齐去长安做宿卫后，又娶了邯郸樛家的女儿做妻子，生了儿子叫赵兴。赵婴齐继承南越王位后，向汉武帝请求立妻子樛氏为王后，赵兴为太子，汉武帝批准了他的请求，此举舍长立幼，为将来南越国之乱种下了祸根。赵婴齐是一个暴君，喜欢恣意杀人，汉武帝屡次派使者到南越