怕被汉武帝找借口扣留，就一直称病没去，只是把太子赵婴齐送到了汉武帝身边做宿卫，长达10年之久。前125年，赵眜病重，赵婴齐向汉武帝请求回到南越国。同年，赵眜死去，赵婴齐继承王位。此前南越君主对汉朝自称「藩王」，在国中则自称「皇帝」。赵婴齐即位之后，废去了赵佗、赵眜在位时所称的帝号，在国中改称「国王」，将先帝的玉玺藏于国库中不再使用。赵婴齐去长安之前，曾经在南越娶当地的南越女人为妻，并生了长子赵建德，赵婴齐去长安做宿卫后，又娶了邯郸樛家的女儿做妻子，生了儿子叫赵兴。赵婴齐继承南越王位后，向汉武帝请求立妻子